5.3、SPSS非线性回归—零基础入门教程

SPSS非线性回归

一、非线性回归原理

非线性回归是用来建立因变量与一系列自变量之间的非线性关系， 与估计线性模型的线性回归不同，通过使用迭代估计算法，非线性回归可估计自变量和因变量之间具有任意关系的模型。

对于看起来是非线性的模型，但是可以通过变量转换化成线性的模型，称之为本质线性模型，例如

y =e   (β 0   +β 1x 1+β 2x 2+ …+β n x n +ε ) , 只要两边取自然对数，

方程就以写成ln（y ）=β 0 +β 1x 1+β 2x 2+ …+β n x n +ε

有的非线性模型不能通过简单的变量转换化成线性模型，称之为本质非线性模型，例如

对于可以通过定义和转换能变成线性关系的本质线性模型，可以采用线性回归来估计这一模型，对于不能转换成线性模型的本质非线性模型模型，就要采用非线性模型进行分析。

二、常用非线性模型

下表是SPSS中常用的一些非线性模型，可以作参考，不能随意套用。

根据作图观察或经验等来确定一个本质非线性模型，要求模型能尽可能精确的反应因变量和自变量之间的关系，只有在指定的函数能够准确描述因变量和自变量的关系的情况下，结果才是有效的。

三、参数设置

（1）打开数据文件，选择“分析” →“ 回归” →“非线性” ，弹出“非线性回归”对话框，如下图所示，各项含义如下。

●    因变量列表：将左侧的变量列表中的一个数值型变量选入其中。

●    模型表达式：在框中输入和编辑合适的模型表达式，在函数组、函数和特殊变量中选择函数送入模型表达式的框中，通过按钮将变量列表中的变量选入模型表达式，模型表达式至少包含一个自变量，可以从符号区域选择数字或运算符。

（2）单击按钮，弹出“非线性回归：参数”对话框，如下图所示，各项含义如下。

●    名称框：输入参数名，注意参数名要与模型表达式中使用的名称一致。

●    初始值：框中输入初始值，初始值要尽可能接近期望值，单击按钮将其加入参数列表，再进行下一个参数的定义，直到定义完所有的参数。选中某个参数，可以单击按钮和按钮可以对其进行剔除或修改。

●    使用上一分析的起始值：选择此项，即用上次分析时所定义的参数值。在非线性回归中，准确地估计参数的初始值非常重要，以保证迭代过程正常、迅速收敛，得到全局最优的解，常用的估计初始值的方法如下。

●    利用样本数据作图，通过图形确定参数的取值范围。

●    根据确定的非线性方程的数学特性进行变换，在通过图形确定参数的取值范围。

●    直接使用数值来代替某些参数，从而来确定其他参数的取值范围。

●    转换数据，使用线性回归模型来估计参数的初始值。

●    使用非线性模型的属性来估计参数的估计值。

（3）单击损失心。   按钮，弹出“非线性回归：损失函数”对话框，如下图所示，各项含义如下。

●    残差平方和：使用残差平方和作为损失函数，系统默认。

●    用户定义的损失函数：用户自定义损失函数。

在非线性回归中，损失函数是对某统计量的运算法则，是由算法最小化的函数，SPSS默认的是用最小残差平方和做为损失函数，用户也可以自定义损失函数，如果选择用户定义的损失函数，则必须定义其总和（针对所有个案）应由所选参数值最小化的损失函数。

（4）单击按钮，弹出“非线性回归：参数约束”对话框，如下图所示，各项含义如下。

●    未约束：默认对参数的值不做任何约束。

●    定义参数约束：用户自定义对参数的约束条件。选择参数列表中的参数通过按钮选入定义参数约束的框中，在运算符下拉列表中“=” 、“ ＜=” 、“ ＞=”3种中选择一种，在右侧框中输入 一个数值，单击按钮，将约束表达式送入右下角框中， 采用相同方法，可以对多个参数进行约束，同时通过按钮和 按钮可以对参数表达式进行删除或修改，单击按钮，返回主界面。

在非线性模型中，一般情况下都要将参数限制在有意义的区间中，在利用迭代方法求解的过程中对参数进行限制。

参数的约束方法有两种，线性约束是在约束表达式里只能对参数进行线性运算，比如乘以常数等等，在步骤执行前计算，来避免可能导致溢出的步骤。而非线性约束是在约束表达式里，至少有一个参数与其他参数进行乘除或幂运算等，在步骤执行后计算。

（5）单击按钮，弹出“非线性回归：保存”对话框，如下图所示，可以保存的新变量有预测值、残差和导数，各项含义如下。

●    预测值：保存因变量的预测值，变量名为PRED_。

●    残差：保存残差，变量名为RESID。

●    导数：保存导数，变量名为“D ．参数名的前6个字符”。

●    损失函数值：只有用户自定义了损失函数，才会保存损失函数的变量值，变量名为LOSS_。

（6）单击 按钮，弹出“非线性回归：选项”对话框，如下图所示，各项含义如下。

●    标准误差的Bootstrap估计：选择此项，是反复从原始数据中抽样对标准误进行估计的一种方法，使用重复抽样对每个抽样样 本建立相应的非线性回归模型，计算每个参数估计的标准误， 作为标准误的Bootstrap估计。用原始数据的参数值作为每个抽 样样本进行估计时的初始值。

●    估计方法。

➢   序列二次编程：适用于约束模型和不约束模型，如果确定了一个限制模型，或者用户定义了一个损失函数，则系统默认选择此项，它利用了双重迭代算法进行求解，每一步迭代建立一个二次规划算法，来确定寻找的方向，把估计参数不断带入损失函数进行求值，直到寻找

过程发生收敛。供设置的依据有以下5个：

✧   最大迭代：输入最大迭代次数。

✧   步长限制：输入一个正值作为参数向量长度的最大允许变化量。

✧   最优性容差：在下拉列表中选择最优性容差，即目标函数的精度，如果容差为1E-6 ，表示目标函数要保留6位有效数字，最优性容差应大于函数精度。

✧   函数精度：在下拉列表中选择函数精度，取值范围为0至1 ，要小于最优性容差，当函数值较大时，作为相对精度，当函数值较小时，作为绝对精度。

✧   无限步长：在一步迭代过程中参数的变化大于设置值，则迭代终止。

➢   Levenberg-Marquardt ：只适合非约束性模型，供设置的 判据有以下3个。

✧   最大迭代：输入最大迭代次数。

✧   平方和收敛性：当残差平方和的变化量小于设置值，则迭代终止，系统默认为1E-8。

✧   参数收敛：任何一个参数的变化量小于设置值，则迭代终止，系统默认为1E-8。

四、非线性回归的SPSS实现

实例三：“data09-03.sav”数据文件是多个公司广告费用和销售量的一些资料，如下图所示。现要求利用广告费用对销售量拟合非线性回归方程。

数据文件：数据文件\Chapter09\data09-01.sav

视频文件：视频文件\Chapter09\非线性回归．avi

（1）数据的初步分析

●    选择“ 图形” →“ 图形构建器” ，弹出“ 图表构建器”对话框，在左下角“选择范围” 中选择“散点图/点图” ，将“广告费用”拖入x轴，将“销售量（万）”拖入y轴，如下图所示，单击确起按钮，输出结果如下图所示，可见当x值刚开始增加时，y值迅速增加，当x值持续增加时，y值增速减弱，并最终趋于平稳，故选择Metcherlich   Law   of Diminishing模型，即, b 3 ＞0 ，此模型符合效益递减规律。

●    参数初始值的选择。

➢   b1代表了销售量上升的最大值，结合图和数据发现最大值接近13 ，因此设定b1的初始值为13。

➢   b2是当x=0时，y值减去b1得到的值，有数据可知，当x=0时，y值为2 ，故b2的初始值为-11。

➢   b3的初始值可以用图中两个点的斜率来表示，取两个点 （2.15,8.75）（5.75,12.74），得到斜率为1.1 ，故b3的初始值为1.1。

（2）打开“data09-03.sav”数据文件，选择“分析” →“ 回归” →“非线 性”弹出对话框，弹出“非线性回归”对话框。

（3）在左侧的变量列表中选中“销售量（万）”变量，单击按钮，将其选入“ 因变量列表” ，在模型表达式框中编辑模型表达式：b1+b2×EXP（-b3×广告费用）。

（4）单击   按钮，弹出“非线性回 归：参数”对话框，b1,    b2,    b3三个参数进行定值，分别为：“b1=13” 、“b2 =-11” 、“b3 =1.1” ，单击按钮返回主对话框。

（5）单击按钮，弹出“非线性回归：损失函数”对话框，使用系统默认的残差平方和，单击按钮返回主对话框。

（6）单击按钮，弹出的“非线性回归：参数约束”对话框，在参数列表中选择b1（13）进入表达式编辑区，选择逻辑 符号“ ＞=” ，然后在右边的输入框中输入“0” ，单击按钮，“b1   ＞ =0”加入约束条件列表，同理加入“b2   ＜=0” 、“b3   ＞=0” ，单击按钮返回主对话框。

（7）单击按钮，弹出“非线性回归：保存”对话框，勾选“预测值”和“残差” 复选框，单击按钮返回主对话框。

（8）单击按钮，弹出的“非线性回归：选项”对话框，设置均选择系统默认，单击按钮返回主对话框。

（9）完成所有设置后，单击退按钮执行命令。

五、线性回归的结果分析

从下表可以看出模型共经过11次迭代得到最优解。

从下表可以得到参数b1,b2,b3的值，分别为12.866,-11.690,0.477 ，得到非线性模型

y =12.866− 11.690 ×e( −0.477× x ）

从标准错误列中发现b1   、b2   、b3的标准误都很小，所以3个参数的估计值都是可信的。

从下表可以看出3个参数估计值之间的相关性。

从下表可以得到方差分析的结果，R方=0.959 ，可见模型能解释95.9%的变异，说明模型的拟合效果很好。

如果上述教程没有解决您的问题，可以联系分析师获取支持：

分析师服务（24小时在线）

如果您需要代做服务，可选择下方服务选项：

‍1、问卷设计、问卷调查：点击联系

2、数据分析、实证分析：点击联系‍

3、科研配图、论文配图：点击联系

4、文章指导、润色美化：点击联系

5、数据查找、代查代下：点击联系

6、数据修改、调整合理：点击联系‍

7、职称评审、课题申报：点击联系

8、格式排版、文章翻译：点击联系‍