前言

岭回归：岭回归分析是在构造多元线性回归模型时，对基于“最小二乘原理”导出的估计回归系数的计算公式进行修正，使回归系数更加稳定。

当自变量之间存在较强的多重共线性时，得到的多元线性回归模型很不稳定； 尤其是当某些自变量的回归系数的符号与实际问题的专业背景不符时，岭回归分析可以很好地解决这个问题。

1 实施的一般步骤

1 岭回归分析通常需要先对X变量进行居中和标准化，使不同的自变量处于同一数量级，以便于比较。

2 确定k值

① 山脊追踪图

岭迹法主要是在同一张图片上绘制β(k)的分量βi(k)的岭迹，并从图片中选择尽可能小的k值，使得各回归系数的岭估计总体稳定，即，图上各元件的脊迹曲线趋于与X轴平行。

选择k值的一般原则是：①各回归系数的岭估计基本稳定； ② 对于最小二乘估计时符号不合理的回归系数，岭估计的符号将变得合理； ③回归系数的大小实际上应该是一致的，即从专业上来说，对因变量影响较大的自变量的系数绝对值也越大； ④ 均方误差不会增加太多。

②方差膨胀因子法

方差膨胀因子 cjj 衡量多重共线性的严重程度。 一般情况下，当cjj>10时，模型存在严重的多重共线性。

3.过滤变量并根据岭迹图重新确定k值。

应用岭迹法进行回归分析中自变量选择时，基本原则为：

(1)去除岭回归系数相对稳定且绝对值较小的自变量。 这里，由于假定设计矩阵 X 是中心归一化的，因此可以直接比较岭回归系数。

(2) 去除岭回归系数不稳定但随着k值增大而很快趋于零的自变量。

(3)剔除岭回归系数不稳定的一个或几个自变量。 如果存在很多不稳定的岭回归系数，对于去除多少、去除哪些没有一个通用的原则。 这应该根据发现的复杂共线关系以及去除它后重新进行岭回归分析的效果来确定。

4表达模型并做出专业结论

进行岭估计后，应根据估计的参数写出回归方程，并利用专业知识判断方程中各变量的系数和符号是否与实际情况一致。 最后根据回归系数的大小，判断各变量对因变量的影响程度，并根据得到的回归方程进行预测。

2 案例分析

以下是11名孩子的智力测试数据。 尝试拟合以 IQ 作为因变量的多元线性回归模型。 其中，变量为常识（X1）、算术（X2）、理解（X3）、拼图（X4）、积木（X5）、解码（X6）和智商（Y）。

数据类型：自变量（X1~X6）、因变量Y均为定量数据； 根据研究目的，尝试采用多元线性回归模型进行分析。

3 SPSS操作

(一)首先拟合多元线性回归模型

（二）输出结果

为了说明问题，仅列出系数表；

变量X1~X6的p值均大于0.05，即纳入多元线性回归模型中没有统计学意义； 其次，在共线性诊断中，VIF(·)大于10，表明变量之间存在多重共线性。

由于多重共线性的存在，导致多元线性回归模型不稳定，岭回归分析可以很好地解决这个问题。

4 SPSS Ridge 返回

SPSS中没有专门的菜单模块可以进行岭回归分析，但您可以编写一个额外的程序文件：ridge.sps。 用户可以编写一段代码来调用程序进行岭回归分析。

在，

'文件 Ridge .sps 所在的路径'。

ENTER = 参数

/DEP = 因变量

/START = k值的起始值

/STOP = k值终值

/INC = k值步长

【运行】点击运行☞全部

运行结果：

岭回归：岭迹图。 从图中大致可以看出，当k≥0.1时，脊线轨迹曲线趋于稳定。

输出变量X1~X6是不同K值下的回归系数。

（在SPSS中，原始数据已标准化）

当k=0.1时验证模型，

验证结果：

这个结果并不理想，仅供参考~~~

因此，岭回归方程可以写成： y= ~~~~