system: [SYSTEM]

user: 4. AIC， BIC， CV模型选择与分析 4.1. 问题回顾 本章用线性模型研究“对数薪水”和其他协变量之间的关系，考虑12个带有嵌套结构的备选模型 模型1： y i = β 0 + ε i ， ε i ~ i i d N ( 0 ， σ 2 ) 模型2： y i = β 0 + β 1 x i + ε i ， ……… 模型12： y i = β 0 + β 1 x i + ⋯ + β 11 x 11 ε i ， ε i ~ i i d N ( 0 ， σ 2 ) 旨在用AIC， BIC， CV来从这12个模型中选择合适的模型，更好的解释对数薪水与其他协变量之间的关系，其中的变量说明见表1。 4.2. 对WAGE2中的全部数据来进行模型选择 1) 本节目的：依托WAGE2中所有的935个数据，使用CV，AIC和BIC，从上述12个备选模型里选择合适的模型。 2) 根据2.2节AIC， BIC模型的实现步骤先对全部数据进行模型选择，运行MATLAB代码，见附录3，可以得到AIC， BIC选择模型的结果。 结果如下表6。 Table 6 AIC values of 12 model 12个模型的AIC MODEL1 MODEL2 MODEL3 MODEL4 MODEL5 MODEL6 MODEL7 MODEL8 MODEL9 MODEL10 MODEL11 MODEL12 1039.3 1039.2 940.51 899.48 880.18 859.21 842.4 843.43 823.75 814.16 800.79 759.2700765 表6. 12个模型的AIC值 其中最小的AIC的值为759.2700765，对应的模型为12，故有AIC准则确定最优的模型应该为第12个。 Table 7 BIC values of 12 model 12个模型的BIC MODEL1 MODEL2 MODEL3 MODEL4 MODEL5 MODEL6 MODEL7 MODEL8 MODEL9 MODEL10 MODEL11 MODEL12 1049 1053.7 959.87 923.68 909.23 893.09 881.13 887 872.16 867.4 858.87 822.1971814 表7. 12个模型的BIC值 由表7知，其中最小的BIC的值为822.1971814，对应的模型为12，故由BIC准则确定最优的模型也是第12个。 3) 用CV来对全部数据处理，选出最优的模型。 用935个数据，每次抽出一行作为验证集，剩下的934个样本作为训练集，总共需要进行935次，运行MATLAB代码得到如下次结果，代码见附录4。 将CV记作12个模型935次预测误差求和，则最小的CV值就对应最优的模型。 Table 8 CV values of 12 model 12个模型的CV(935次的预测误差求和) MODEL1 MODEL2 MODEL3 MODEL4 MODEL5 MODEL6 MODEL7 MODEL8 MODEL9 MODEL10 MODEL11 MODEL12 166.01 166.14 149.5 143.1 140.21 137.11 134.71 134.87 132.06 130.7 128.87 123.2714065 表8. 12个模型的CV值 由上表8的结果知，最小的CV值为123，2714065，对应的模型为第12个，故由CV的判别准则第12个模型是最优的。 综上：AIC， BIC， CV这三个判别准则所选的模型都是第12个模型，所以第12个模型就是最优模型。 4) 用最小二乘法对第12个模型进行拟合，运行MATLAB代码，见附录5，加结果如下： 第12个模型中y与x的散点图如下图4。 图4. 第12个模型的散点图 最小二乘估计的参数结果如下表9。 Table 9 CV values of 12 model β 0 β 1 β 3 β 4 β 5 β 6 β 7 β 8 β 9 β 10 β 11 5.2797 −0.006 0.0033 0.0035 0.0492 0.0105 0.01 0.0054 0.195 −0.142 −0.081 0.1775 表9. 12个模型的CV值 第12个模型拟合的方程如下 y = 5.2797 − 0.006 x 1 + 0.0033 x 2 + 0.0035 x 3 + 0.0492 x 4 + 0.0105 x 5 + 0.01 x 6     + 0.0054 x 7 + 0.195 x 8 − 0.142 x 9 − 0.081 x 10 + 0.1775 x 11 4.3. 经济学原理对4.2的结果进行解释 由4.2的结果知，AIC， BIC与CV所选的模型都为第12个模型，且由最小二乘估计得到了第12个模型的拟合的方程 y = 5.2797 − 0.006 x 1 + 0.0033 x 2 + 0.0035 x 3 + 0.0492 x 4 + 0.0105 x 5 + 0.01 x 6     + 0.0054 x 7 + 0.195 x 8 − 0.142 x 9 − 0.081 x 10 + 0.1775 x 11 我们发现， 1) y与变量x1的系数为负值，说明lwage与hours是成反比的关系，hours每减少1个单位，lwage增加0.006个单位，说明了现代社会对效率的要求越来越高，效率越高，报酬越多； 2) y与变量x2的系数为正值，说明lwage与IQ是成正比关系，说明智商每增加一个单位，对数工资就增加0.0033个单位，同时也说明了智商高的人获得的工资报酬就越高； 3) y与变量x3的系数为正值，说明lwage与kww是成正比关系，说明世界工作知识得分每增加一个单位，对数工资就增加0.0035个单位； 4) y与变量x4的系数为正值，说明lwage与educ是成正比关系，说明教育每增加一个单位，对数工资就增加0.0492个单位； 5) y与变量x5的系数为正值，说明lwage与exper是成正比关系，说明工作经验每增加一个单位，对数工资就增加0.0105个单位。 6) y与变量x6的系数为正值，说明lwage与enure是成正比关系，说明与现任雇主共事年限每增加一个单位，对数工资就增加0.01个单位。 7) y与变量x7的系数为正值，说明lwage与age是成正比关系，说明在一定的年龄范围内，年龄每增加一个单位，对数工资就增加0.0054个单位。因为在一定年龄范围内，年龄大的人相对来讲工作经验会多一点，知识储备会多一些，所以获得的工资报酬也会相对的高一些。 8) y与变量x8的系数为正值，说明lwage与married是成正比关系，说明已婚每增加一个单位，对数工资就增加0.195个单位。 9) y与变量x9的系数为负值，说明lwage与black是成反比关系，说明黑人获得的工资会更少一些，同时也说明了现代社会依然存在着种族歧视。 10) y与变量x10的系数为负值，说明lwage与south是成反比关系，说明越靠近南边，工资越少，因为当前全球区域经济发展不平衡，例如南非，经济发展落后，所以工资报酬会更低一点。 11) y与变量x11的系数为正值，说明lwage与urban是成正比关系，说明了生活在标准城市统计区的人工资报酬会更高一点。因为标准城市区域经济会相对发达一点，所以工资报酬会相对较高一点。 4.4. 将WAGE2的数据分为训练集与测试集，重新进行模型选择 在4.2节中，我们只对模型进行了一次选择，并不很具有说服力，所以在本小节，我们对模型重复进行1000次选择，采用随机抽样的方法将数据集随机地分为训练集(500个样本)和测试集(435个样本)，依托训练集，使用CV，AIC和BIC，从12个备选模型里选择模型，并用选出的模型预测测试集里的测试样本，考察预测误差评价CV，AIC和BIC三种模型选择准则中哪种准则的表现最好。 运行MATLAB代码，得到结果，代码见附录6。 1) 图5是12个模型与运行1000次得到的AIC，维度为12行1000列。由于空间有限，仅显示部分结果。 图5. 运行1000次得到的AIC值 可以发现，1000次运行结果中都是第12个模型的AIC的值最小，故选择第12个模型为最优模型。 下图是最小AIC对应模型的预测误差(即第12个模型的预测误差)，因为重复进行1000次，故有1000个预测误差，空间有限仅显示前10次的结果，见表10。 Table 1 0 Prediction error of corresponding model for minimum AI 最小AIC对应模型的预测误差(即第12个模型的预测误差) 第1次 第2次 第3次 第4次 第5次 第6次 第7次 第8次 第9次 第10次 0.12283 0.12899 0.13141 0.13486 0.12908 0.14693 0.13845 0.1344 0.12962 0.11813 表10. 最小AIC对应模型的预测误差 2) 下图是12个模型与运行1000次得到的BIC，也仅展示部分结果，见图6。 图6. 运行1000次得到的BIC值 同样可以发现，1000次运行结果中都是第12个模型的BIC的值最小，故选择第12个模型为最优模型。 下图是最小BIC对应模型的预测误差(即第12个模型的预测误差)，因为重复进行1000次，故有1000个预测误差，空间有限仅显示前10次的结果，见表11。 Table 1 1 Prediction error of minimum BIC corresponding mode 最小BIC对应模型的预测误差(即第12个模型的预测误差) 第1次 第2次 第3次 第4次 第5次 第6次 第7次 第8次 第9次 第10次 0.122830573 0.128987541 0.131413267 0.134855128 0.129082835 0.146934749 0.138448017 0.134397175 0.129622311 0.118126556 表11. 最小BIC对应模型的预测误差 3) 下图是CV运行1000次得到的预测误差，共12行1000列，篇幅限制，仅展示部分结果，见图7。 图7. 运行1000次CV的预测误差 下图是1000次中每次选中的模型，篇幅限制，仅展示部分结果，见表12。 Table 1 2 Optimal model for each selection in 1000 time 1000次中每次选中的最优模型 第1次 第2次 第3次 第4次 第5次 第6次 第7次 第8次 第9次 第10次 7 11 4 6 7 12 12 1 3 12 表12. 1000次中每次选中的最优模型 下图是1000次中每个模型被选中的概率。 Table 1 3 Proportion of each model selected in 1000 time 1000次中每个模型被选中的比例 MODEL1 MODEL2 MODEL3 MODEL4 MODEL5 MODEL6 MODEL7 MODEL8 MODEL9 MODEL10 MODEL11 MODEL12 0.114 0.093 0.111 0.088 0.052 0.062 0.043 0.038 0.036 0.042 0.093 0.228 表13. 1000次中每个模型被选中的比例 由表13，可以发现第12个模型被选中的比例最高，为22.8%，其他模型被选中的比例明显都比较小，所以CV模型选中的依然是第12个模型。 综上：AIC， BIC， CV三个模型选出的全部为第12个模型最优，故认为第12个模型为最优的模型。