system: [SYSTEM]

user: 3. 模型建立 3.1. 最优子集回归模型 回归的方程的选择就是依据某种选择变量的准则，从对因变量y有影响的自变量集合中选择最优的子集，它与y构成如下回归方程： y = β 0 + β i 1 x i 1 + ⋯ + β i q − 1 x i q − 1 + e 衡量最优子集的常用标准主要有： 1) BIC或AIC达到最小； 2) Cp统计量达到最小； 3) 复判决定系数达到最大。 以下使用R语言中ISLR包和leaps包来进行影响财政收入(y)的最优子集的选择。 首先采用交叉验证法来选择最优模型的个数，由此方法所得的最优子集的个数为5个，并且调整后的R 2 为0.9998。 对整个数据集使用R语言中函数regsubsets( )来进行最优子集选择，以获得该5变量模型的参数估计结果，具体见表5。 结论：因此运用该方法选择的最优子集为(x 1 ，x 8 ，x 9 ，x 11 ，x 16 )。得到的回归模型为 y = 101.347 − 0.196 x 1 + 0.725 x 8 − 0.909 x 9 − 0.301 x 11 + 0.132 x 16 我们得出测试均方误差MSE为36，345.680，RMSE为190.645。 3.2. 向前逐步选择回归模型 y先用全部1个变量建立回归方程，然后再从模型中增加变量。之后对重要的变量重新建立回归模型，并对此模型进行系数的显著性检验，以此类推，逐步增加模型的变量。 通过利用R语言程序regsubsets( )函数可得本次向前逐步回归法选择BIC最小的模型(BIC最小值为−214.5707，变量是为11个)作为最优模型，如图1所示。并且各影响因素在回归模型中的系数如表6所示。 Table 4 Variance inflation factor tes x 1 x 2 x 3 x 4 x 5 x 6 x 7 x 8 6909 56 2173 4586 815 318 492 133，329 x 9 x 10 x 11 x 12 x 13 x 14 x 15 x 16 724 88 130，704 8608 9508 12，766 17，684 13，871 表4. 方差膨胀因子检验 Table 5 Optimal subset parameter estimation tabl Intercept x 1 x 8 x 9 x 11 x 16 101.347 −0.196 0.725 −0.909 −0.301 0.132 表5. 最优子集参数估计表 图1. BIC对向前逐步选择回归模型产生的结果 Table 6 Forward stepwise regression model coefficient Intercept x 1 x 3 x 4 x 6 x 8 583.588 −0.185 −0.001 0.014 −0.128 0.794 x 9 x 10 x 11 x 12 x 15 x 16 −0.885 0.454 −0.324 −0.020 0.060 0.091 表6. 向前逐步回归模型系数表 并且调整后的R2为0.9997。运用向前逐步选择方法得到的回归模型为： y = 583.588 − 0.185 x 1 − 0.001 x 3 + 0.014 x 4 − 0.128 x 6 + 0.794 x 8 − 0.885 x 9     + 0.454 x 10 − 0.324 x 11 − 0.020 x 12 + 0.060 x 15 + 0.091 x 16 我们得出测试均方误差MSE为154，046.770，RMSE为232.480。 3.3. 向后逐步选择回归模型 先用全部m个变量建立回归方程，然后再从模型中剔除不重要的变量。之后对剩下的变量重新建立回归模型，并对此模型进行系数的显著性检验，以此类推，逐步减少模型的变量。 通过利用R语言程序regsubsets( )函数可得本次向后逐步回归法选择BIC最小的模型(BIC值为−221.90878，变量是为12个)作为最优模型，如图2所示。并且各影响因素在回归模型中的系数如表7所示。 图2. BIC对向后逐步选择回归模型产生的结果 Table 7 Backward Stepwise regression model coefficient Intercept x 1 x 2 x 3 x 4 x 5 x 6 2599.662 0.042 −0.287 0.002 0.031 −0.036 −1.255 x 7 x 9 x 11 x 13 x 14 x 15 1.177 −1.069 0.038 0.031 −1.027 0.140 表7. 向后逐步回归模型系数表 并且调整后的R 2 为0.9997，运用向后逐步选择方法得到的回归模型为： y = 2599.662 + 0.042 x 1 − 0.287 x 2 + 0.002 x 3 + 0.031 x 4 − 0.036 x 5 − 1.255 x 6     + 1.177 x 7 − 1.069 x 9 + 0.038 x 11 + 0.031 x 13 − 1.027 x 14 + 0.140 x 15 我们得出测试均方误差MSE为169，698.56，RMSE为264.005。 3.4. 岭回归模型 假定自变量数据矩阵 X = { x i j } 为 n × p 的，通常最小二乘法回归寻求那些使得残差平方和最小的系数 β ，即 ( α ˜ ( ols ) ， β ˜ ( ols ) ) = arg min ∑ i = 1 n ( y i − α − ∑ j = 1 p x i j β j ) 2 岭回归则需要一个惩罚项来约束系数的大小，其惩罚项就是上面的公式中增加一项 λ ∑ j = 1 p β j 2 ，即岭回归的系数既要使得残差平方和小，又不能使得系数太膨胀： ( α ˜ ( ridge ) ， β ˜ ( ridge ) ) = arg min ∑ i = 1 n ( y i − α − ∑ j = 1 p x i j β j ) 2 + λ ∑ j = 1 p β j 2 使用交叉验证选择最优的lambda值为245.85。用训练集数据在最优lambda条件下建立岭回归模型，此模型的系数如下表8。 运用岭回归方法得到的回归模型为： y = 848.268 + 0.038 x 1 + 0.067 x 2 + 0.001 x 3 + 0.007 x 4 + 0.031 x 5 − 0.649 x 6     + 0.371 x 7 + 0.016 x 8 + 0.092 x 9 + 11.313 x 10 + 0.008 x 11 + 0.010 x 12     + 0.012 x 13 + 0.281 x 14 + 0.021 x 15 + 0.009 x 16 我们得出测试均方误差MSE为18，227.41，RMSE为135.009。 3.5. Lasso回归模型 Lasso方法的参数估计定义如下： β ^ ( lasso ) = arg min β ‖ y − ∑ j = 1 p x j β j ‖ 2 + λ ∑ j = 1 p | β j | 在上式中 λ ∑ j = 1 p | β j | ，是惩罚项。 首先使用交叉验证选择最优的lambda值，得到的最优的lambda值为45.008，相应的测试误差MSE为12，951.780，RMSE为113.806。 通过Lasso方法所得到的模型系数如表9所示。 Table 8 Model coefficients of ridge regressio Intercept x 1 x 2 x 3 x 4 x 5 848.268 0.038 0.067 0.001 0.007 0.031 x 6 x 7 x 8 x 9 x 10 x 11 −0.649 0.371 0.016 0.092 11.313 0.008 表8. 岭回归模型系数表 Table 9 Coefficients of Lasso mode Intercept x 3 x 4 x 10 x 12 −228.350 0.008 0.004 4.090 0.030 表9. Lasso模型系数表 图3. Lambda的均方误差 运用Lasso回归方法得到的回归模型为： y = − 228.350 + 0.008 x 3 + 0.004 x 4 + 4.090 x 10 − 0.030 x 12 通过上述图3可以得知 log 10 lambda 的均方误差在4-5之间较好，所以我们可以选择出四变量模型，分别与旅游创汇收入、城镇单位就业人员平均工资、第三产业与第二产业产值比、全部金融机构人民币存款余额这四项指标有关。