system: [SYSTEM]

user: 4. 模型分析 4.1. 随机森林模型分析 由于本文中变量自个数有p = 23个，因此随机森林模型选择 个数较为适合，因此选择变量节点数为5个。从表3中看出ntree个数500~1000内OOB误差以及F得分并无明显区别，在随机森林模型中决策树的树的个数一定要设置的比较合理，树的个数比较少会导致训练的不够充分，树之间的相关性会变得越来越小，反之比较大则会大大的增加模型的计算量，因此我们选择ntree = 500即可。 接下来为了建立一个预测效果好的随机森林模型，我们将Smote方法与随机森林结合起来。表4即为smote不同采样比例下的相关预测指标，我们主要考察OOB误差率以及F得分来选择smote参数。综合评价这两个指标，选择Pr. Over = 600，Pr. Under = 120，此时OOB为3.88%，F得分49.95%。相比较于表3中未平衡处理得出的OOB (18.42%)，随机森林模型的预测效果明显增强了。 随机森林选择出的特征的重要性如图2，基于其他文献资料大多使用Mean Decrease Accuracy指标，本文着重阐释Mean Decrease Accuracy指标。图2左图即为Mean Decrease Accuracy指标，是指平均精确度的降低，就是对每一个变量比如X1随机赋值，如果X1重要的话，预测的误差会增大，所以误差的增加就等同于准确性的减少，精确度减小也就是反映了这个变量越重要。在图中我们看到了这些变量的重要性排序，前几个重要变量依次是X5 (年龄)、X6 (2005年9月的还款状态)、X12~X17 (9月~4月的账单)、X1 (信用卡总的信用额度)。很容易理解，前几个月份的还款及账单情况对于10月份的违约与否有着比较直接的影响。 我们还可以继续分析特定某个变量对随机森林模型的影响，如图3和图4，横坐标表示变量取值，纵坐标则为该变量对模型的影响程度，这里我们显示X1 (信用卡总的信用额度)、X5 (年龄)对模型的影响情况。信用卡额度在40万的时候对模型的影响程度最大，其次是在40万额度上升阶段的情况下，而最后是在额度比较低的情况下影响最小即违约可能性最小。这可以理解成一般都是财富、资本多的少数人才会去申请40万以上的高额度，此时此类申请人有资本去还款，并且因为高额度违约风险太大，这样也导致了不敢轻易冒险违约。X5 (年龄)变量值在35岁左右对模型影响程度最大即预测的违约概率最大，其次是20多岁的年龄阶段，最后为老年龄。这个可以解释为客户35岁左右正是成家立业阶段，信用卡使用动机强而且额度也会相应比较高，因此风险也比较大。而20多岁的客户一般刚出校园进入社会，资本匮乏，大多数事业也还未起步，对于信用卡的使用不敢冒太大风险，相对于35岁左右的客户风险低违约率也就降低，最后最不判为违约的就是老年龄了，这个也是比较符合常理的。 Table 2 Confusion matri True class Yes No Predicted class Yes TP FP p No FN TN n P N 表2. 混淆矩阵 Table 3 Selection of trees numbe ntree 500 600 700 800 OOB 18.42% 18.48% 18.32% 18.30% F Scores 48.30% 48.13% 48.80% 48.61% 表3. 树的个数选择 Table 4 Correlation prediction index of smote under different sampling proportion Prec.over Prec.under OOB F scores precise recall 300 100 8.74% 49.50% 42.08% 60.08% 400 100 5.16% 50.36% 45.31% 56.68% 500 100 5.16% 50.49% 45.41% 56.83% 600 100 4.19% 49.78% 45.33% 55.21% 300 100 8.74% 49.50% 42.08% 60.08% 500 120 4.53% 49.63% 47.28% 52.45% 600 120 3.88% 49.95% 47.51% 52.66% 700 120 3.78% 49.61% 47.25% 52.21% 500 80 5.85% 49.87% 47.25% 52.21% 表4. Smote不同采样比例下的相关预测指标 同时可发现这些变量特征按重要性大小的顺序大致可以划分为如下几个方面：第一组，X5 (年龄)，X6 (9月的还款情况)，X12~X17 (9月~4月的账单金额)，第一方面的特征对于10月份还款情况的影响比较明显；第二组，X1，X2，X4，X3，对应的是信用卡的总额度、教育水平、婚姻状况以及性别，这几个即为客户的个体特征，在某些程度上是一种主观影响因素；第三组，X18~X23，为4~9月的支付金额；第四组，X7~X10，为3~8月(中间月份)的还款延期情况。其中，表现出来的一现象是，X6~X11，X12~X17，X18~X23作为4~9月份的三组变量，9、8、7月份的还款情况对10月的还款情况影响最大。即对于10月份信用卡的违约预测中，样本数据的最近三个月份的消费、还贷情况比其他月份的影响要大。 4.2. Lasso-Logistic模型分析 接下来看看Logistic模型的建立以及模型结果分析，表5为smote不同采样比例下的相应指标，可以 图2. 变量特征重要性评估 图3. X1变量对模型的影响 看出预测效果F得分最高的是Prec.over = 600，Prec.under = 120，F得分为53.47%，对应的precise为51.15%，recall = 56.02%。 我们用此组参数来建立Lasso-Logistic模型，通过交叉验证方法选得的惩罚参数 = 0.01541进行变量选择建立Logistic模型得到表6系数，其中X1 (信用卡总额度)，X2 (性别)，X3-3 (教育水平–“高中生” 图4. X5变量对模型的影响 Table 5 Correlation prediction index of smote under different sampling proportion Prec.over Prec.under F scores precise recall 300 100 51.32% 41.25% 67.90% 400 100 52.62% 44.41% 64.55% 500 100 34.83% 32.84% 37.07% 600 100 52.48% 46.35% 60.49% 600 120 53.47% 51.15% 56.02% 500 120 53.31% 50.56% 56.38% 700 120 53.45% 51.66% 55.37% 500 80 48.65% 36.62% 72.44% 300 100 51.32% 41.25% 67.90% 400 100 52.62% 44.41% 64.55% 表5. Smote不同采样比例下的相关预测指标 Table 6 Coefficient of Lasso-Logistic mode Intercept X1 X2 X3-3 X4-1 X6 X7 X8 X9 X11 X18 X19 X20 X21 X22 −0.235 −0.173 −0.225 0.133 0.012 0.834 0.089 0.109 0.059 0.048 −0.080 −0.101 −0.004 −0.039 −0.040 表6. Lasso-Logistic模型系数 哑变量)，X4-1 (“已婚”哑变量)，X6~X10 (5月份~9月份还款延期情况)，X18~X22 (5月份~9月份的支付金额)，这些经过筛选出来的变量在某种程度上来说对于违约预测的影响是比较大的，其中说明了高中生及已婚客户更易发生违约。 变量X2性别系数为−0.225，说明男性比女性更易发生违约。X18~X22 (9月份~5月份的支付金额)系数都为负，说明支付额越多越不易发生违约，支付越少越易发生违约。其中X6影响系数较大，即客户在9月份的还款延期会很大程度的导致10月份发生违约，并且X10~X6即5、6、7、8、9月份的影响系数有逐月递增的趋势，说明越到信用卡的后期延期，则违约性质越严重，10月份被判为违约的可能性越大。 4.3. 模型预测效果对比 本文建立了随机森林以及Lasso-Logistic两种模型作为本文信用卡违约的预测模型，两种模型的预测效果即预测准确率(Accuracy)以及F scores (Precise， recall)指标如表7所示：发现随机森林预测准确度以及F得分都比Lasso-Logistic高。因此在本文信用卡违约预测模型分析中，随机森林预测效果要优于Lasso- Logistic模型。 随机森林在本文数据集的基础上表现良好，源于随机森林本身所具有的优势。随机森林能够处理高维度大数据，在处理过程中不需要做特征选择，但在训练完后，能够给出哪些特征变量比较重要，并且可以进行并行化的训练，训练速度快。因此数据挖掘技术在很多时候能解决经典统计方法在进行数据分析的时候所遇到的一些问题。