system: [SYSTEM]

user: 4. 模型分析 4.1. 模型参数设置 本文选取逻辑回归、朴素贝叶斯、决策树、随机森林、支持向量机五种分类器对上述数据进行训练，以观察和评估训练器的性能。由于随机森林和决策树之间存在集合关系，此处对随机森林分类器的参数进行具体说明。随机森林是决策树的集合，它包含了决策树分类器的所有优点，同时还避免了决策树的一些缺点，故随机森林分类器优于决策树分类器。随机森林分类器中有3个参数可以调整：n_estimators，max_features，min_sample_leaf，更改这三个参数可以提高模型的预测能力。构造随机森林模型时，保持其他参数默认，分别更改这三个参数，观察分类器的准确性。 首先确定参数n_estimator，即决策树的个数，更改决策树的个数，观察分类器准确性的变化，如图2所示。 图2. 随机森林模拟器精度随树的数目的影响 一般来说，树的数量越多，性能越好，但是代码越慢。但我们由图一得出，当随机森林中数目发生改变时，随机森林分类器的精度呈现波动状，波动范围在0.7615~0.7645之间，故应设置随机森林分类器的n_estimators参数为20或30为宜。 由于在构造随机森林时，每个决策树对应的数据集都各不相同，决策树的每次划分基于特征值的不同子集，此时我们需要max_features的参数对数据集的特征进行选择，max_features表示随机森林允许在单个树中尝试的最大特征数，当max_features的值过大，则随机森林中的决策树相似度非常高，反之，max_features的值越小，随机森林中的树的差异越大，保持其他值不变，更改参数max_features的值，观察精度的变化，如图3所示。 图3. 随机森林模拟器精度随特征个数的影响 由图2可以看出，设置随机森林最大特征数为None和0.95时获得的精度最高，其中None表示max_features直接等于特征总数，0.95表示允许随机森林在单独运行中获取95%的变量。 在构建随机森林模型时，最小样本叶大小十分重要。叶是决策树的末端节点。较小的叶片使模型更容易捕捉列车数据中的噪声，但最小样本叶过小很容易产生过拟合的现象。 如图4所示，调整随机森林中最小样本尺寸，当最小样本尺寸小于25时，精度随最小样本尺寸的增加明显增大，故在运用随机森林分类器时，应将最小样本尺寸设置为25~50之间。 图4. 随机森林模拟器精度随叶片尺寸的影响 4.2. 模型性能评估 本文使用的性能评估指标包括精度(accurary)，准确度(precision)，召回率(recall)，f-分数(f-score)，这些评估指标在之前的很多研究中都被使用，每一个指标都有它的优点和局限性，选择指标的组合能够更好的评估分类器的性能。针对本文的二分类问题的评估结果，混淆矩阵是一种全面的表示方法。该矩阵中的每个元素代表对申请人在类别中的位置的正确或不正确预测的数量。 如表2所示，TP (True Positive)为真正例，表示客户属性是守信，分类器判断为守信；TN (True Negative)为真反例，表示客户属性是违约，分类器判断为违约；FP (False Positive)为假正例，表示客户属性为守信，分类器判断为违约；FN (False Negative)为假反例，表示客户属性为违约，分类器判断为守信。 Table 2 Description of credit data confusion matri 测试输出 违约客户 守信客户 违约客户 TN FP 守信客户 FN TP 表2. 信贷数据混淆矩阵说明 精度(accuracy)：精度表示分类器正确分类的样本所占的比例，精度表示模型的成功率，精度可由下式进行定义： accuracy = TP + TN TP + TN + FP + FN (10) 准确率(precision)表示真正的正例占被预测为正例样本的比例，在本文中表示被预测为守信中守信客户占总客户的比例，准确度可表示为 precision = TP TP + FP (11) 召回率(recall)反应了分类器避免假反例的性能，本文中召回率度量的守信客户中有多少被预测为守信客户，召回率可表示为 recall = TP TP + FN (12) 将准确率和召回率进行汇总，作调和平均，即得到f-分数(f-score)，f-score的计算方式如下式： f = 2 × precision × recall precision + recall (13) ROC曲线又名受试者工作特征曲线，ROC曲线考虑了分类器的阈值的变化，呈现了分类器分类的假正例度和真正例度，真正例度即召回率，假正例度FPR的计算方式如下式： FPR = FP FP + TN (14) 由ROC曲线可算出分类器的AUC值，ROC曲线与FPR轴线形成的面积即为AUC值。AUC值表示一种概率值，它表示将正样本排在负样本前面的概率，AUC值越大，表示分类器越有可能将正样本排在负样本前面，意味着分类器能得到更好的分类结果。 将分类器分别对BLS算法处理后的数据进行分类，得出分类器性能的比较，如表3所示。 Table 3 Evaluation index and score of credit score of different classification 分类器 accuracy precision recall f-score Logistics回归 0.7797 0.7510 0.8366 0.7916 朴素贝叶斯 0.5272 0.5142 0.9854 0.6758 随机森林 0.8039 0.7922 0.8194 0.8056 支持向量机 0.7678 0.7137 0.8944 0.7939 表3. 不同分类器信用评分评估指标与评分 在信贷数据集中，accuracy体现了分类器预测正确的概率，precision表示了分类器对负样本的区分能力，即对违约客户的区分能力，recall表示分离器对正样本的区分能力，即对守信客户的区分能力，f-score作为precision和recall的综合，表现了分类器的稳健，四项评估指标值越高，说明分类器在该项能力上性能越好。从预测结果来看随机森林的分类精度高于逻辑回归分类器和支持向量机分类器，其中朴素贝叶斯分类器的精度表现较差，故朴素贝叶斯分类器不能用于信用评分问题。随机森林在避免假正例方面的性能表现依然最好，模型的准确率高于其他分类器；从客户数据集中找到违约人，在避免假反例的需求下，各分类器的表现良好。其中朴素贝叶斯分类器的性能远强于其他分类器，其次支持向量机分类器强于随机森林和逻辑回归分类器；同时，在综合度量评分下，随机森林的性能也高于支持向量机和逻辑回归分类器，而朴素贝叶斯在综合评分下表现较差。 如图5~8的ROC图像的结果我们可以看出，随机森林的ROC图像更靠近左上方，其次是逻辑回归和支持向量机的ROC图像，因此基于决策树的随机森林在此项指标上表现出更好的分类能力，这意味着调节决策树和随机森林的阈值，可以对客户的信用起到很好的分类效果。 从表4中的AUC值的结果可以看出，随机森林分类器的AUC值高于其他分类器的AUC值，而朴素贝叶斯的AUC值较其他分类器偏低。这表明，通过调节随机森林的阈值，可以得到对数据集更好的分类结果。 Table 4 AUC value of credit score of different classification 分类器 AUC值 Logistics回归 0.8596 朴素贝叶斯 0.7534 随机森林 0.8871 支持向量机 0.8681 表4. 不同分类器信用评分AUC值 图5. 逻辑回归ROC图 图6. 朴素贝叶斯ROC图 图7. 随机森林ROC图 图8. 支持向量机ROC图