system: [SYSTEM]

user: 5. 多元线性回归模型 5.1. OLS回归 5.1.1. 拟合OLS回归模型 使用逐步回归，对回归子集进行选择。本文使用leaps()函数实现逐步回归，对模型的选择依据的是调整后的R 2 ，调整后的R 2 值越大即预测变量解释响应变量的程度越大。根据调整后的R 2 大小，选择调整后的R 2 最大的值为0.7233854。其对应的OLS回归(1)模型为如表1所示，由于ZN和AGE的系数不显著，剔除这两个变量，重新拟合OLS回归(2)模型，如表1所示。虽然调整后的R 2 值减小了，但是只减少了0.0011，减少幅度不大。则拟合的OLS回归模型为： Table 1 The coefficients and significance of OLS regression (1) and (2) model OLS回归(1)系数 OLS回归(2)系数 截距 52.57004*** 50.04133*** CRIM −0.11131** −0.10626** ZN 0.33454 . CHAS 2.73477* 2.77260* NOX −19.25825*** −20.87625*** RM 4.32148*** 4.34167*** AGE −0.79081 . DIS −1.54062*** −1.26070*** RAD 0.27064*** 0.27666*** TAX −3.96964** −3.73767** PTRATIO −1.00185*** −1.10388*** B 1.38320* 1.36656* LSTAT −0.47606*** −0.48774*** 调整后的R 2 0.7234 0.7223 Signif. codes: 0 “***” 0.001 “**” 0.01 “*” 0.05 “.” 0.1 “ ” 1 表1. OLS回归(1)、(2)模型系数及其显著性 M E D V ^ = 50.04133 − 0.10626 ∗ C R I M + 2.77260 ∗ C H A S − 20.87625 ∗ N O X     + 4.34167 ∗ R M − 1.26070 * D I S + 0.27666 ∗ R A D − 3.73767 ∗ T A X     − 1.10388 ∗ P T R A T I O + 1.36656 ∗ B − 0.48774 ∗ L S T A T Adjusted R -squared = 0.7223 5.1.2. OLS回归统计假设检验 (1) 从图1 Normal Q-Q上可以看出，标准化残差散点大部分都没有落在45˚角的直线上，且散点双侧严重偏离直线，违反了OLS回归残差服从正态性的假设。 (2) 从图1 Residuals vs Fitted上可以看出，残差值和拟合值有明显的曲线关系，这说明残差项里面还存在着未被提取出来的与拟合值线性相关的变量，即违反了多元线性回归自变量和因变量线性相关的假设。 (3) 从图1 Scale-Location上可以看出，残差方差随着拟合值水平的变化而变化，标准化残差散点并不是随机分布的，即该多元线性回归违反了同方差性。 (4) 使用Durbin-Watson检验函数检验残差的序列相关性，检验结果显示D-W统计量的值为1.742645，p值为0.024。在5%的显著性水平下，拒绝残差值之间相互独立的原假设，残差值之间是相关的，违反了多元线性回归残差独立性的统计假设。 使用OLS回归来预测房价固然其预测误差较小，但是其实都是经不起推敲的。从上述OLS回归统计假设的检验可以看出，其实现实中的数据并不符合OLS回归的统计假设，因此相比OLS回归更适合使用非参数回归拟合模型来预测房价。 图1. OLS回归诊断图 5.2. 非参数回归 5.2.1. Lasso回归 为了比较模型之间预测能力的优劣，将数据集划分为训练集和测试集，在测试集上拟合模型，并利用测试集预测变量来检验模型的预测能力。cv.glmnet()函数自带交叉检验的功能，用cv.glmnet()函数选择拟合Lasso回归来确定最优的lambda (惩罚力度)值，交叉验证结果如图2所示，最优的log(lambda)值在(−1， 0.5)区间内，即最优lambda值在(0.368，1.649)区间内。由“lambda_Lasso = Lasso.regression$lambda.1se”选择误差在最小值的1个标准误差内的lambda值，则最优的lambda的值为0.451622。使用最优的lambda，用glmnet()函数确定最终的Lasso回归，结果如图3所示。Lasso回归将ZN、INDUS、AGE、RAD的系数压缩至0。对所建立的Lasso回归的预测能力进行模型评估，得到的MSE为23.42612。该Lasso回归所得房价的预测值和实际值误差较小。 图2. 基于Lasso回归不同lambda值所对应的模型误差 图3. Lasso回归预测变量系数值 5.2.2. Ridge回归 与Lasso回归一样，使用十折交叉验证法确定最优的lambda值，十折交叉验证结果显示(如图4)，最优的lambda值在(2.718，7.389)区间。最终提取最优的lambda值为5.19255。根据最优的lambda值确定最终的Ridge回归模型，大部分响应变量的系数都被压缩至接近于0，结果如图5所示。Ridge回归将变量CRIM、ZN、INDUS、RAD等系数压缩至接近于0，但是并不等于0，因此Ridge回归适用于研究不希望去掉当中的任何一个变量。对所建立的Ridge回归进行模型评估，得到的MSE为24.30997。 图4. 基于Ridge回归不同lambda值所对应的模型误差 图5. Ridge回归预测变量系数值 5.3. 模型选择 在上述分析中，Lasso回归的预测能力为23.4255比Ridge回归的小，但是仔细观察发现，其实两个值之间相差不大。为了选择预测能力最强的模型，以下将对模型进行选择。 从图6上看，VS不呈正态分布。它的置信区间通过代码“boot.ci(results， type=c(perc， bca))”，结果显示，使用Percentile方法生成的置信区间为(0.859，2.732)，用BCa方法生成的置信区间为(0.570， 2.119)。两种方法的置信区间都表明，Ridge回归模型的预测效果比Lasso回归模型的预测效果存在差异，且Lasso回归模型的预测效果相较之下更好一点。 比较多次交叉验证所得出的不同lambda值，实验结果显示，“value”值显著异于0，即表示Lasso回归和Ridge回归在预测能力上存在显著性差异，95%的置信区间为(0.1341764， 0.3513815)，表明Ridge回归的预测误差大于Lasso回归的预测误差，即Lasso回归的拟合效果更好。 综上所述，为了避免样本随机性和交叉验证带来的随机性，对Lasso回归和Ridge回归的预测能力进行比较分析。实验结果均表明，Lasso回归的拟合效果更好且不受随机性的影响。 图6. 自助法所得的Ridge与Lasso回归MSE差(VS)的均值 5.4. 模型的拟合效果 通过上述分析，Lasso回归的拟合效果更好，因此本文将采取Lasso回归对模型进行拟合。为了更好的拟合模型，采取全部的数据重新拟合Lasso回归，交叉验证选择的最优惩罚力度为0.4564，则拟合的Lasso回归模型为： M E D V ^ = 16.92617 − 0.00816 ∗ C R I M + 1.66474 ∗ C H A S + 4.26095 ∗ R M     − 0.15784 ∗ D I S − 0.79626 ∗ T A X − 0.71296 ∗ P T R A T I O     + 0.66186 ∗ B − 0.52029 ∗ L S T A T 其拟合效果如图7。图中的散点为响应变量真实值和拟合值的差，除了个别异常值，图中散点基本在0处上下波动，拟合效果是很不错的。 图7. Lasso回归的拟合效果