system: [SYSTEM]

user: 3. 结果与分析 3.1. 回归方程的建立 3.1.1. 回归方程的初步建立 由于数据为多元的，因而无法用一元回归分析的方法绘制散点图。为探究各个属性与响应变量的关系，我们先对其建立线性回归模型，讨论模型的合理性。回归系数及p值见表2。 Table 2 Coefficients of regression equation and their p value Estimate Std. Error t value Pr(>|t|) CRIM −0.101 3.07E−02 −3.287 0.001087 ZN 0.118 3.48E−02 3.382 0.000778 INDUS 0.0153 4.59E−02 0.334 0.738288 CHAS 0.0742 2.38E−02 3.118 0.001925 NOX −0.224 4.81E−02 −4.651 4.25E−06 RM 0.291 3.19E−02 9.116 <2e−16 AGE 0.00212 4.04E−02 0.052 0.958229 DIS −0.338 4.57E−02 −7.398 6.01E−13 RAD 0.290 6.28E−02 4.613 5.07E−06 TAX −0.226 6.89E−02 −3.28 0.001112 PTRATIO −0.224 3.08E−02 −7.283 1.31E−12 B 0.0924 2.67E−02 3.467 0.000573 LSTAT −0.407 3.94E−02 −10.347 <2e−16 表2. 回归方程的系数及其p值 统计量 F = 108.1 ， p < 2 .2e   −   16 ，给定显著性水平 α = 0.05 ，则 p < α ，因而拒绝原假设，认为回归方程是显著的。但是，根据上表可知部分回归系数不显著。此时残差的标准差为0.516， R 2 = 0.7406 ，调整的 R 2 = 0.7338 ，拟合效果一般。 3.1.2. 回归方程的进一步分析 由于回归方程中部分回归系数不显著，因而剔除不显著的变量。首先剔除变量中p值最大的，进行回归分析，然后在剩下的变量中剔除最大的，进行分析，依次进行，直至回归方程中所有的回归系数都显著为止。回归方程与逐步回归选择变量结果相同。 建立的回归方程为： M ^ = − 0.101 C R ^ + 0.116 Z ^ + 0.075 C H ^ − 0.219 N ^ + 0.290 R M     − 0.342 D ^ + 0.284 R A − 0.216 T ^ − 0.223 P ^ + 0.092 B ^ − 0.406 L ^ 说明：由于变量较多，为适当精简方程，将变量的首字母作为变量，同时回归系数保留三位小数。 此时，统计量 F = 128.5 ， p < 2 .2e   −   16 ，回归方程显著，调整的 R 2 = 0.7348 ，并且回归方程的各个回归系数都已显著。 3.2. 违背基本假设情况的检验与解决 回归方程的残差为 ε ^ = Y − Y ^ = ( I − H ) Y 其中 H = X ( X ′ X ) − 1 X ′ 称H为帽子矩阵。 在得到回归方程后，计算残差，可以对残差进行正态性检验。 检验结果 p < α ，因而认为残差不满足正态性假设。另外由残差的QQ图(见图1)也可以看出残差不满足正态性假设。 左上图为残差与拟合图，用来检验线性，若散点集中分布在一条直线附近，则表示线性关系良好； 右上图为QQ图，用来检验正态性，若散点集中分布在Q-Q图中的直线上，则表示残差正态性良好； 左下图为位置尺度图，用来检验同方差性，若点在曲线周围随机分布，则表示同方差性成立； 右下图为残差与杠杆图，可以观测出离群点、高杠杆点和强影响点。独立性是无法从图中分辨出来的。 从图上可以看出该模型的残差并未随机分布，而是呈现异方差的问题。 同样，未标准化的模型也具有异方差性，下面对未标准化的数据进行变换。 对模型进行Box-Cox正态变换，求得 E s t   P o w e r = 0.1158 ，这里取0.116。 记变换后的MEDV为y，回归系数见表3，则回归方程为 y = 5.0748 − 0.01354 CRIM + 1.7157 e   −   03 ZN + 0.1516 CHAS − 1.0424 NOX     + 0.1422 RM − 0.0761 DIS + 0.0191 RAD − 7.896 e   −   04 TAX     − 0.0542 PTRATIO + 5.917 e   −   04 B − 0.0397 LSTAT 回归方程、回归系数皆通过显著性检验，且 σ ^ = 0.2688 ，比之前模型有所降低， R 2 = 0.7884 。比之前有所提高，绘制残差图发现残差也有所改善，因而模型较之前有所改善。变化前后的残差比较见图2。 图1. 绘制残差与拟合图、QQ图、位置尺度图、残差与杠杆图 图2. 变换前后两残差的比较 Table 3 Regression coefficient after Box-Cox transformatio Estimate Std. Error t value Pr(>|t|) (Intercept) 5.0748 0.2876 17.646 <2e−16 CRIM −0.0135 1.8603e−03 −7.278 1.34e−12 ZN 1.7157e−03 7.674e−04 2.236 0.02582 CHAS 0.1516 0.0485 3.128 0.00186 NOX −1.0424 0.2006 −5.196 2.99e−07 RM 0.1422 0.0231 6.167 1.44e−09 DIS −0.0761 0.0105 −7.216 2.03e−12 RAD 0.0191 3.5981e−03 5.309 1.67e−07 TAX −7.896e−04 1.914e−04 −4.126 4.34e−05 PTRATIO −0.0542 7.3246e−03 −7.399 5.94e−13 B 5.917e−02 1.517e−04 3.899 0.00011 LSTAT −3.9745e−02 2.6914e−03 −14.767 <2e−16 表3. Box-Cox变换后的回归系数 由表3可以看出，部分回归系数较小，且自变量较多。 3.3. 多重共线性的诊断 使用函数vif(myfit)，可以求出各个自变量的方差扩大因子。方差扩大因子均小于10，不存在多重共线性。 使用条件数求得 k = 62 .47931 ， k = 7 .904386 ，设计矩阵X没有多重共线性，同样由岭迹图也可以看出。 3.4. 降维 虽然以上求得的模型通过了检验，但是自变量数量较多，尝试使用达到降维的目的。 通过Lasso回归得到的 R 2 = 0.788 ，截距项为4.332224。 Lasso回归后不为零的回归系数见表4。 Table 4 Non-zero Lasso regression coefficien CRIM CHAS NOX RM DIS −9.672307e−03 1.374909e−01 −6.228825e−01 1.671858e−01 −3.813086e−02 RAD TAX PTRATIO B LSTAT 1.103018e−03 −3.993305e−05 −4.779697e−02 4.879095e−04 −3.971597e−02 ZN 0.0000000000 表4. 不为零的Lasso回归系数 从结果可以看到，ZN项的系数为0，TAX系数的绝对值是剩下的所有项中值最大的，这里也可以看出来，其他项虽然系数都非常小但不为0，这是因为这些项之间的关系是非线性的，无法用线性组合互相表示。 由图3可以看到图中的竖线对应于Lasso中迭代的次数，对应的系数值不为0的自变量即为选入的，竖线的标号与step相对应。 在进行Lasso回归后，自变量的数量只减少一个，且各回归系数取值较小，不好处理。 图3. 展示自变量被选入的顺序