system: [SYSTEM]

user: 3. 实证研究 3.1. 数据介绍 德国信用数据(German Credit Data)，来源于美国的加州大学欧文分校(University of California， Irvine)所建立UCI Machine Learning Repository。数据集包含样本(实例)数目1000个，其中信用为“好”的样本有700个，信用为“坏”的样本有300个。数据集完整，但类别不平衡，包含20个评估指标和1个决策属性，其中3个为连续型(F2、F5、和F13)，17个为离散型，详情见表1。 3.2. 合成少数类过采样技术 鉴于德国信用数据集的类别不平衡现状，本文采用合成少数类过采样技术(Synthetic Minority Over-sampling Technique， SMOTE)对少数类进行过采样处理，以使得数据集类别平衡。SMOTE是一种基于“插值”的为少数类合成新样本的技术。利用合成少数类过采样技术对德国信用数据集进行类别平衡(算法参数 N = 133.5 × 300 和 k = 5 )，使得处理后的数据集具有信用好的样本700个，信用坏的样本700个。 3.3. 布尔逻辑离散化技术 本文的研究主题是基于粗糙集属性约简，是否能够在分类器的性能近似不变的前提下，减少数据集的评估指标。粗糙集属性约简算法是对决策表进行操作的，它要求决策表中的值必须为离散的。然而，德国信用数据集中有3个评估指标的值是连续的，这就要求在属性约简前必须先将这3个评估指标的值离散化。对于德国信用数据集中值为连续的评估指标，如F2 (支票账户持续时间)、F5 (贷款金额)和F13 (年龄)，将持续时间或贷款金额人工的划分为几个整数区间未免过于主观，因此本文将采用布尔逻辑离散化技术，并对比基于不同的离散化处理对分类器性能的影响。Nguyen H.S.和Skowron发明的布尔逻辑离散化是一种“客观的”离散化技术，这是一种启发式算法，它遵循贪心原则根据断点值的重要性依次把断点加入到断点集中 [ 10 ] 。德国信用数据集的离散化结果见表2。 Table 1 German credit dat 评估指标 符号 类型 值域 现有支票账户情况 F1 离散 F11 F12 F13 F14 支票账户持续时间 F2 连续 [ 4 ， 72 ] 信用历史记录 F3 离散 F30 F31 F32F33 F34 贷款目的 F4 离散 F41 F42 F43 F44 F45 F46 F47 F48 F49 F410 贷款金额 F5 连续 [ 250 ， 18424 ] 储蓄账户/债券情况 F6 离散 F61 F62 F63 F64 F65 在职时间 F7 离散 F71 F72 F73 F74 F75 分期付款占可支配收入的比率 F8 离散 F81 F82 F83 F84 性别与婚姻状况 F9 离散 F91 F92 F93 F94 F95 债务人/担保人 F10 离散 F101 F102 F103 在现居住地居住时间 F11 离散 F111 F112 F113 F114 资产情况 F12 离散 F121 F122 F123 F124 年龄 F13 连续 [ 19 ， 75 ] 拥有其他信贷情况 F14 离散 F141 F142 F143 住房情况 F15 离散 F151 F152 F153 在本银行的贷款次数 F16 离散 F161 F162 工作情况 F17 离散 F171 F172 F173 F174 法定抚养人数 F18 离散 F181 F182 电话 F19 离散 F191 F192 是否为外国人 F20 离散 F201 F202 信用情况 D 离散 D1 (好) D2 (坏) 表1. 德国信用数据 Table 2 Discretization of German credit data set 评估指标 原始的连续取值区间 人工离散化取值区间 布尔逻辑离散化取值区间 F2 (支票账户持续时间) [ 4 ， 72 ] ， ( 6 ， 12 ] ， ( 12 ， 18 ] ， ( 18 ， 24 ] ， ( 24 ， * ) [ 0 ， 21 ) ， [ 21 ， * ) F5 (贷款金额) [ 250 ， 18424 ] [ 0 ， 1000 ] ， ( 1000 ， 5000 ] ， ( 5000 ， 10000 ] ， ( 10000 ， * ) [ 0 ， 1286 ) ， [ 1286 ， 2067 ) ， [ 2067 ， 4152 ) ， [ 4152 ， * ) F13 (年龄) [ 19 ， 75 ] [ 18 ， 35 ) ， [ 35 ， 60 ) ， [ 60 ， * ) [ 18 ， 27 ) ， [ 27 ， 33 ) ， [ 33 ， 42 ) ， [ 42 ， * ) 表2. 德国信用数据集的离散化 3.4. 德国信用数据集的最小属性约简 交叉概率 P c = 0.8 ，变异概率 P m = 0.05 ，最大繁殖代数 g max = 100 万代的遗传属性约简算法得到的德国信用数据集的多个最小属性约简(最小评估指标集)，评估指标由原来的20个约简为10个，约简率达50% [ 11 ] 。下面给出的最小评估指标集经过测试，是使得分类器性能下降最少的。德国信用数据基于遗传约简算法的最小评估指标集见表3。 Table 3 German credit data is based on the minimum evaluation index set of the genetic reduction algorith 符号 评估指标 F1 现有支票账户情况 F3 信用历史记录 F4 贷款目的 F5 贷款金额 F7 在职时间 F8 分期付款占可支配收入的比率 F9 性别与婚姻状况 F11 在现居住地居住时间 F12 资产情况 F13 年龄 表3. 德国信用数据基于遗传约简算法的最小评估指标集 3.5. 个人信用风险评估结果及其对比分析 本文采用的建模软件是由新西兰的怀卡托大学(The University of Waikato)开发的怀卡托智能分析环境(Waikato Environment for Knowledge Analysis， WEKA)。训练上述分类器的训练集与验证集的划分采用10次10折交叉验证。在本文使用的各种技术中，有些技术只能够处理离散的数据，因此本文使用的第一个数据集(以下简称“1”)是经过布尔逻辑离散化处理的数据集；第二个数据集(以下简称“2”)是先经过主观的人工离散化，再进行SMOTE类别平衡处理的数据集；第三个数据集(以下简称“3”)是先经过布尔逻辑离散化，再经过SMOTE类别平衡处理的数据集；第四个数据集(以下简称“4”)是在3的基础上对评估指标进行了约简(表4~7)。 通过比较上述四张表中的1、3可以得出，基于SMOTE对德国信用数据的类别平衡处理能够提升分类器的分类精度、PRC Area和AUC，且大大地降低了第二类错误率，这是符合预期的，因为原数据集信用好的样本远远多于信用坏的样本，原数据集训练出的分类器会以非常大的概率把真实坏的样本也分类预测为好的样本，即第二类错误率非常高。这样的分类器即使其总分类精度再高，也是没有任何意义的。SMOTE提升了所有的评价指标，这印证了“Garbage in， garbage out.”。 基于3训练的分类器的性能显著高于基于2训练的，这说明布尔逻辑离散化技术较人工离散化对分类器的性能是有所提升的，因此后续的评估指标约简应在3的基础上进行。 基于遗传约简算法得到了德国信用数据集的多个最小评估指标集，这里挑选了能够使得分类器性能下降最少的那个最小评估指标集作为代表，即数据集4。不幸的是，基于4训练的各种分类器的性能大多所下降，但下降幅度很小，如C4.5决策树分类器的总分类精度仅仅下降了0.1%，见表5，性能下降幅度最大的BP神经网络分类器的总分类精度下降了4.5%，见表6。 令人欣慰的是，德国信用数据集由最初的20个评估指标约简为10个，约简率高达50%，这使得分类器的训练耗时大幅度的缩短，在这里本文并没有给出实验中建模的时长，这是没有必要的，因为本文并没有针对各种模型理论进行改进，也就是说模型的时间复杂度和空间复杂度并没有任何改变，而且同样的实验在不同的环境下的运行的速度是不同的，单纯地比较模型的训练时长是没有意义的。 最后，本文发现经过评估指标约简的C4.5决策树分类器的性能在某种程度上有所提升，见表5，ROC Area提升了0.016，PRC Area提升了0.023，这从侧面反映了评估指标的减少缓解了C4.5决策树分类器的过拟合。 Table 4 Performance comparison of personal credit evaluation classifier based on logistic regressio 总分类精度(%) 第二类错误率(%) F-Measure ROC Area 总PRC Area 1 75.0 49.0 0.744 0.776 0.793 2 76.2 22.4 0.762 0.841 0.832 3 76.6 22.4 0.766 0.841 0.829 4 75.1 23.7 0.751 0.824 0.813 表4. 基于Logistic回归的个人信用评估分类器的性能比较 Table 5 Performance comparison of personal credit evaluation classifier based on C4.5 decision tre 总分类精度(%) 第二类错误率(%) F-Measure ROC Area 总PRC Area 1 73.1 55.3 0.721 0.685 0.692 2 74.1 27.9 0.741 0.756 0.706 3 75.2 26.1 0.752 0.757 0.708 4 75.1 24.4 0.751 0.773 0.731 表5. 基于C4.5决策树的个人信用评估分类器的性能比较 Table 6 Performance comparison of personal credit evaluation classifier based on BP neural networ 总分类精度(%) 第二类错误率(%) F-Measure ROC Area 总PRC Area 1 72.5 49.0 0.722 0.736 0.763 2 79.4 18.4 0.793 0.870 0.861 3 79.2 18.9 0.792 0.865 0.849 4 74.7 22.1 0.747 0.822 0.807 表6. 基于BP神经网络的个人信用评估分类器的性能比较 Table 7 Performance comparison of personal credit evaluation classifier based on support vector machin 总分类精度(%) 第二类错误率(%) F-Measure ROC Area 总PRC Area 1 74.5 48.7 0.740 0.679 0.684 2 75.5 23.7 0.755 0.755 0.693 3 77.2 22.4 0.772 0.772 0.710 4 75.0 23.1 0.750 0.750 0.688 表7. 基于支持向量机的个人信用评估分类器的性能比较