system: [SYSTEM]

user: 3. 实证研究 3.1. 模型原理及形式 1) 建立二分类Logit模型 在研究本文采用对于一个有两个结果的随机试验，实验的两个可能结果分别是有高血压和没有高血压，这也就是最简单的概率模型就是伯努利实验，该实验假定成功的概率为p失败的概率为1 − p。二项分布就是由多次伯努利实验导出的。在实际生活中，有各种不同的因素干扰随机实验结果。那么成功和失败的概率就不是固定的，而是其他变量的一个函数。 假定自变量向量为X，那么一个简单的函数为公式(1)： (P为患高血压病的概率) (1) 2) 建立随机森林模型 在机器学习中，随机森林是一个包含多个决策树的分类器， 并且其输出的类别是由个别树输出的类别的众数而定。 随机森林的原理为：从所有(n个)观测值中抽取n个观测值作为自助法样本(bootstrap sample)，也就是说，等概率地放回抽取和原数据同样样本量的样本，然后根据这个新样本建造一个(分类)决策树，在建造树的过程中并不用所有的变量当候选拆分变量，而是随机地挑选部分变量来竞争拆分变量，这样，不仅仅是每棵树所用的数据是随机抽取的，而且每个节点的拆分变量的选择都是随机的；不断重复上一步骤直到建成的决策树个数等于指定的数目为止(这里用的程序包randomForest中的randomForest()函数的默认值为500棵树)；如果来了新的数据，每棵树给出一个预测值，然后所有的树(默认500棵树)用简单多数投票来决定其因变量的预测值。 3.2. 模型结果分析 1) 对种族为白人的数据进行模型结果分析 ① Logit参数估计结果分析 对数据nhanes_1用Logit方法进行建模分析，之前介绍过，选择HBP作为因变量，其余变量作为自变量。我们用软件R中的glm()函数进行分析，得到了表2中的结果。 表2表示各因素分类中的变量对高血压影响的参数估计结果。 从结果中可以看出，在0.05的显著性水平下，种族为白人的时候，只有性别、受访者吸烟 > 100支香烟 = 2、现在受访者抽烟状况 = 2这三种因素不显著(现在受访者抽烟状况 = 3缺失)，其余的因素对高血压都是有显著影响的。由于年龄的系数为正，也就是说随着年龄的增长对高血压的影响会越来越大；性别为负数可以看出男性比女性患高血压的几率要小一点；体重的系数为正数可以看出越胖的人得高血压的可能性要稍微大一点点；身高的系数为负数表示身高越高的人得高血压的风险就越低；血清胆固醇对患高血压稍微有点影响，血清胆固醇高的话得高血压的概率要稍微大一点。 Table 2 Effect of various factors on hypertension (white 变量名 系数 标准误 Z值 P值 截距 −12.590 0.830 −15.178 0.000 年龄(A) 0.104 0.003 39.574 0.000 性别 = 1 (B(1)) −0.159 0.089 −1.777 0.076 体重(C) 0.004 0.001 3.893 0.000 身高(D) −0.084 0.012 −6.781 0.000 平均舒张血压(E) 0.124 0.004 31.845 0.000 受访者吸烟 > 100支香烟 = 2 (F(2)) −0.161 0.914 −1.760 0.078 现在受访者抽烟状况 = 2 (G(2)) −0.125 0.093 −1.338 0.181 现在受访者抽烟状况 = 3 (G(3)) NA NA NA NA 血清胆固醇(H) 0.003 0.001 4.205 0.000 表2. 各因素对高血压的影响(白人) 表2的参数表达式为公式(2)： (2) 用公式(2)得到的模型进行预测，我们可以得到用logit方法的误判率为0.142 (在数据nhanes_1中对 于变量HBP，将0误判给1的有504个，将1误判给0的有1024个，正确判断的有9239， )， 因此这个误判率稍微有点高。下面我们来看随机森林的结果。 ② 随机森林分析结果 跟据吴喜之 [ 9 ] 的介绍，我们可以利用R软件的randomForest()函数构建一个随机森林分类模型，并且画出各因素对高血压影响的重要性示意图(如图1)。 从图1中我们可以看出在种族为白人的时候，对高血压影响最为显著的因素是年龄(HSAGEIR)和平均舒张血压(PEPMNK5R)，且年龄的重要性要高于平均舒张压。而且这两个都是呈正相关影响，其余的几个因素对高血压的影响都不是特别显著。简单来说，年龄越大，越容易得高血压；平均舒张血压值越高，也越容易得高血压。抽烟对得高血压并没有显著影响，在某些情况下，抽烟甚至会对高血压有反作用。 通过所建立的随机森林模型对数据进行预测，分类结果如下表3 (行是真实值，列是预测值)，并得到误判率为0.006，跟Logit方法相比减少了很多。也就是说，用随机森林得到的结果要比用Logit方法得到的结果准确率更高。 2) 对种族为黑人的数据进行模型结果分析 ① Logit参数估计结果分析 仿照前面的建模方法对数据nhanes_2构建模型，并用软件R进行运算，得到了表4中的结果。 表4表示各因素分类中的变量对高血压影响的参数估计结果。 从结果中可以看出，在0.05的显著性水平下，种族为黑人的时候，只有身高和血清胆固醇这两种因素不显著(现在受访者抽烟状况 = 3缺失)，其余的因素对高血压都是有显著影响的。也就是说，身高、血清胆固醇对高血压几乎没有影响。由于年龄的系数为正，也就是说随着年龄的增长对高血压的影响会 图1. 各因素对高血压影响的重要性(白人) Table 3 Classification results of nhanes_1 data in random fores HBP = 0 HBP = 1 HBP = 0 8447 0 HBP = 1 65 2255 表3. 随机森林对nhanes_1数据的分类结果 Table 4 Effect of various factors on hypertension (black 变量名 系数 标准误 Z值 P值 截距 −16.229 1.479 −10.976 0.000 年龄(A) 0.101 0.004 23.226 0.000 性别 = 1 (B(1)) −0.445 0.149 −2.983 0.003 体重(C) 0.003 0.001 2.282 0.022 身高(D) −0.031 0.021 −1.469 0.142 平均舒张血压(E) 0.143 0.006 23.678 0.000 受访者吸烟 > 100支香烟 = 2 (F(2)) −0.415 0.127 −3.274 0.001 现在受访者抽烟状况 = 2 (G(2)) −0.493 0.146 −3.370 0.001 现在受访者抽烟状况 = 3 (G(3)) NA NA NA NA 血清胆固醇(H) 0.001 0.001 1.190 0.234 表4. 各因素对高血压的影响(黑人) 越来越大；性别的系数为负数可以看出男性比女性患高血压的几率要小一点；体重的系数为正数可以看出越胖的黑人得高血压的可能性要稍微大一点点；平均舒张血压对高血压是正相关；抽烟的各种系数均为负数，也就是说不抽烟会对高血压产生负影响。 表4的参数表达式为公式(3)： (3) 同时我们可以得到用Logit方法的误判率为0.124，这个误判率稍微有点高了。下面我们来看随机森林的结果。 ② 随机森林分析结果 图2是通过随机森林得到的各因素对高血压影响的重要性示意图。 从图2中我们可以看出在种族为黑人的时候，对高血压影响最为显著的因素是平均舒张血压(PEPMNK5R)和年龄(HSAGEIR)，且平均舒张压的重要性要高于年龄。而且这两个都是呈正相关影响，其余的几个因素对高血压的影响都不是特别显著。简单来说，年龄越大，越容易得高血压；平均舒张血压值越高，也越容易得高血压。抽烟对得高血压并没有显著影响。 通过所建立的随机森林模型对数据进行预测，分类结果如表5 (行是真实值，列是预测值)，并得到误判率为0.003，跟Logit方法相比减少了很多。 3) 对种族为其他的数据进行模型结果分析 ① Logit参数估计结果分析 仿照前面的建模方法对数据nhanes_3构建模型，，我们用软件R中的glm()函数进行分析，得到了表6中的结果。 表6表示各因素分类中的变量对高血压影响的参数估计结果。 从结果中可以看出，在0.05的显著性水平下，其他种族的情况下，只有性别(男)、受访者吸烟 > 100支香烟 = 2和血清胆固醇这三种因素不显著(现在受访者抽烟状况 = 3缺失)，其余的因素对高血压都是有较为显著影响的。由于年龄的系数为正，也就是说随着年龄的增长对高血压的影响会越来越大；体重的系数为正数可以看出越胖的人得高血压的可能性要稍微大一点点；身高的系数为负数表示越高的人得高血压的可能性越小；平均舒张血压对高血压是正相关；抽烟的各种系数均为负数，也就是说不抽烟会对高血压产生负影响。 表6的参数表达式为公式(3)： 同时我们可以得到用Logit方法的误判率为0.088。 ② 随机森林分析结果 图3是通过随机森林得到的各因素对高血压影响的重要性示意图。 从图3中我们可以看出在种族为其他的时候，对高血压影响最为显著的因素是年龄(HSAGEIR)和平均舒张血压(PEPMNK5R)，且年龄的重要性要高于平均舒张压。而且这两个都是呈正相关影响，其余的几个因素对高血压的影响都不是特别显著。简单来说，年龄越大，越容易得高血压；平均舒张血压值越高，也越容易得高血压。现在不抽烟对得高血压并没有显著影响。 此时我们可以得到随机森林的误判率为0。 综上，我们可以得到随机森林分类模型都比Logit分类准确率要高。但是随机森林无法给出一个准确的公式，而Logit方法可以给出。 图2. 各因素对高血压影响的重要性(黑人) Table 5 Classification results of nhanes_2 data in random fores HBP = 0 HBP = 1 HBP = 0 3507 0 HBP = 1 13 845 表5. 随机森林对nhanes_2数据的分类结果 Table 6 Effect of various factors on hypertension (other 变量名 系数 标准误 Z值 P值 截距 −5.784 4.701 −1.230 0.219 年龄(A) 0.109 0.013 8.129 0.000 性别 = 1 (B(1)) 0.897 0.518 1.731 0.083 体重(C) 0.012 0.006 2.127 0.033 身高(D) −0.194 0.077 −2.514 0.012 平均舒张血压(E) 0.121 0.020 6.014 0.000 受访者吸烟 > 100支香烟 = 2 (F(2)) −0.571 0.423 −1.348 0.178 现在受访者抽烟状况 = 2 (G(2)) −1.442 0.509 −2.833 0.005 现在受访者抽烟状况 = 3 (G(3)) NA NA NA NA 血清胆固醇(H) −0.002 0.004 −0.580 0.562 表6. 各因素对高血压的影响(其他) 图3. 各因素对高血压影响的重要性(其他)