system: [SYSTEM]

user: 4. 数据建模 样本数据集特征维度高，往往会占用计算资源，增加模型计算时间，无形中降低预测模型的效率，同时也会一定程度上影响模型预测效果 [ 12 ]。特征选择是一种有效的高维特征数据集降维的措施，主要方法有卡方检验、相关系数法、主成分分析法、粗糙集、模型选择等。本文主要对比了未进行特征选择，用决策树进行特征选择，用随机森林模型进行特征选择三种情况下，模型的AUC值和准确率，召回率，F1值的不同。 4.1. 逻辑回归模型 逻辑回归模型是一种经典的数据模型，由于其可读性使得该模型在各个领域被广泛使用，我们将未进行特征选择的所有特征带入逻辑回归模型中进行训练和测试，得到准确率和评估报告表，如表2： Table 2 Evaluation report for Precision Recall F1-Score Support 0 0.89 1.00 0.94 21996 1 0.98 0.64 0.77 7186 Avg/total 0.91 0.91 0.90 29182 表2. 评估报告表 Accuracy is: 0.907340. 通过分析评估报告发现，进行预处理之后的数据带入逻辑回归模型中，有较好的准确率和f1分数。由此可见，数据清洗对于建模有着非常大的影响。 4.2. 基于决策树特征选择的逻辑回归 4.2.1. 决策树特征选择 由于指标众多，且指标对客户承保的影响不同，有的指标对客户承保的影响较大，有的影响较小，所以在这里我们使用决策树模型查看各个指标对模型的影响程度，并挑选出对模型影响较大的指标，运用这些指标去进行预测。如下为使用决策树模型得出的特征重要性的降序排列，如表3： Table 3 Ranking chart of feature importanc 1. feature 7 (0.743086) CALLLISTCNT_JB 2. feature 18 (0.091831) TC_POSSIBILITY 3. feature 27 (0.068687) TC_SALEPROCESS 4. feature 22 (0.046774) TALKCNT_LASTCL 5. feature 26 (0.016253) IDNOFLAG 6. feature 13 (0.014980) TALKLONG 7. feature 24 (0.003628) MAX_TALKLONG_LASTCL 8. feature 19 (0.002003) TC_ENDING 9. feature 23 (0.001487) AVG_TALKLONG_LASTCL 10. feature 21 (0.001312) DAILCNT_LASTCL 表3. 特征重要性排序图 通过分析发现，在上述指标中，客户成交的可能性，是否提供身份证信息，通话次数，通话时长，以及投放给销售系统的批次数对客户是否承保的影响较大。 4.2.2. 决策树与Logistic模型融合 通过决策树模型进行特征筛选之后，我们按照正负样本比例为7:3的原则将数据集划分为训练集和测试集，训练集用于对模型进行训练，测试集用于对模型进行测试和评估，然后通过评估报告查看模型的效果。如下即为进行特征筛选后带入逻辑回归模型中，得到的准确率和评估报告，如表4： Table 4 Evaluation report for Precision Recall F1-Score Support 0 0.91 0.98 0.95 21996 1 0.93 0.71 0.81 7186 Avg/total 0.92 0.92 0.91 29182 表4. 评估报告表 Accuracy is: 0.915393. 通过报告发现，该模型的准确率和f1分数达到0.91，效果不错。但将使用决策树模型进行筛选后的特征带入逻辑回归模型与未进行特征筛选的所有特征带入逻辑回归模型相比，并没有什么显著提升。分析认为，决策树模型作为弱分类器，本身容易产生过拟合现象，致使模型的泛化效果不好。 4.3. 基于RF特征选择的逻辑回归 4.3.1. RF特征选择 随机森林模型是在bagging框架的基础上创建的，该模型的各个弱学习器之间不存在相互的依赖关系，与boosting模型相比，大大减少了调参的难度。通过随机森林模型进行特征选择，最大限度的保留了数据的业务含义，同时降低了模型的计算量和运行时间，降低了噪音变量信息对模型效果的影响。如下为特征重要性的降序排列，如表5所示： Table 5 Ranking chart of feature importanc 1. feature 7 (0.205882) LAST_CALLLIST_DATATYPE 2. feature 9 (0.175655) TALKLONG 3. feature 10 (0.140973) MAX_TALKLONG 4. feature 8 (0.120436) DAILCNT 5. feature 16 (0.079408) DAILCNT_LASTCL 6. feature 20 (0.074790) TC_SALEPROCESS 7. feature 17 (0.059765) AVG_TALKLONG_LASTCL 8. feature 18 (0.032545) MAX_TALKLONG_LASTCL 9. feature 19 (0.026736) IDNOFLAG 10. feature 13 (0.025911) TC_POSSIBILITY 11. feature 2 (0.020011) CALLLISTCNT 12. feature 14 (0.010909) TC_ENDING 13. feature 12 (0.010357) TC_DAILSTATE_PRIOR 14. feature 3 (0.009299) CALLLISTCNT_XH 15. feature 4 (0.001710) CALLLISTCNT_QT 16. feature 6 (0.001607) FIRST_CALLLIST_DATATYPE 17. feature 1 (0.001311) MARRIAGE 18. feature 15 (0.001014) FREESENDCNT 19. feature 5 (0.001001) CALLLISTCNT_NOTAKL 20. feature 11 (0.000678) TC_PHONESTATE 表5. 特征重要性排序 通过上述有序序列可知，前13个特征的重要性大于0.1，我们选择前13个特征带入逻辑回归模型中进行预测。同时，通过对这些特征分析发现，客户的通话次数，通话时长，以及客户是否提供身份证号对客户是否承保的影响较大。同时，随机森林模型是对决策树模型的 4.3.2. RF与Logistic模型融合 使用随机森林进行特征选择后，我们使用划分好的训练集和测试集进行训练和测试，如下即为使用随机森林模型进行特征筛选后的特征带入逻辑回归模型得到的评估报告，如表6所示： Table 6 Evaluation report for Precision Recall F1-Score Support 0 0.96 0.98 0.97 21996 1 0.93 0.87 0.90 7186 Avg/total 0.95 0.95 0.95 29182 表6. 评估报告 Accuracy is: 95.196. [RFC full test] 通过观察发现，基于随机森林特征选择的逻辑回归模型相较于单一的逻辑回归模型和基于决策树特征选择的逻辑回归模型来说，有较大的提升，分析认为，随机森林模型作为集成模型本身是比较优秀的模型，有较好的抗噪能力，同时能解决过拟合问题。