system: [SYSTEM]

user: 3. 基于改进SMOTE算法的Logistic回归信用评分模型 3.1. 分箱与WOE编码 基于SMOTE的过采样方法无法直接对字符串、二值等属性的离散型变量直接进行插值操作，一般需要先对离散型变量进行编码。Logistic回归信用评分模型在特征处理上，为增强模型鲁棒性，通常会对变量进行分箱和WOE编码 [ 9 ]。 3.1.1. 基于高风险样本占比差异最大化的分箱 输入：待分箱数据集X，离散型变量col，最大分箱数n，每箱最少样本数占总体样本比例p。 输出：分箱结果。 初始化：当前箱数 n b i n 为变量col的取值个数。 Step1：若 n b i n > n / 2 ，计算变量 各个箱的高风险样本占比并按降序排序，并将差值最小的两箱进行合并， n b i n = n b i n − 1 ；否则，直接结束分箱。 Step2：若 n b i n > n ，回到step1；否则，到step3。 Step3：若当前存在箱的最小样本占总体样本比例小于p且当前箱数大于 n / 2 ，将该箱与其相邻高风险样本占比差值最小的箱合并，直至所有箱的最小样本占总体样本比例不小于p或当前箱数不大于 n / 2 ，然后结束分箱；否则，直接结束分箱。 3.1.2. WOE值计算 分箱后的WOE值计算公式如下： WOE i = ln ( p y i p n i ) 其中，pyi是分箱中高风险样本占总体高风险样本的比例，pni是箱中低风险样本占总体低风险样本的比例。 3.2. 数据标准化与度量 数据标准化方法：离差标准化 x i ∗ = x i − min 1 ≤ j ≤ n x j max 1 ≤ j ≤ n x j − min 1 ≤ j ≤ n x j ， i = 1 ， 2 ， ⋯ ， n 样本距离度量：欧氏距离 d ( x ， y ) = ( x 1 − y 1 ) 2 + ( x 2 − y 2 ) 2 + ⋯ + ( x n − y n ) 2 = ∑ i = 1 n ( x i − y i ) 2 3.3. 预训练：计算Logistic回归的变量权重 设训练样本集为 X t r a i n ，训练样本集的标签为 y t r a i n ，样本的变量为 F l = ( f 1 ， ⋯ ， f n ) 。 输入：训练集 ( X t r a i n ， y t r a i n ) 。 输出：变量权重向量 W = ( w 1 ， ⋯ ， w n ) 。 Step1：以 F l 为输入变量，训练Logistic回归模型并调节参数。 Step2：若Logistic回归模型k折交叉验证准确率大于等于60%，提取输入变量回归系数 A = ( a 1 ， a 2 ， ⋯ ， a n ) ；否则，回到Step1。 Step3：通过归一化A获取变量权重向量 W = ( w 1 ， ⋯ ， w n ) 。 3.4. 考虑变量重要性的SMOTE过采样(FW_SMOTE)——基于Logistic回归分类器 不同的分类器具有不同的分类原理，因此改进SMOTE过采样算法对于不同分类器也可能会有不同的适用性。Logistic回归模型是对数线性模型，回归系数可以直观反映变量对输出概率值的相对影响程度，一般对分类越重要的变量变动越大，其对逻辑回归输出结果的直接影响也越大。此外，由于损失函数是基于所有训练样本的似然函数，迭代求解回归系数的过程受多数类样本的错分影响更大，所以样本不平衡会对参数估计造成较大影响。因此，考虑到Logistic回归的特点和原始SMOTE算法容易合成噪声的问题，本文提出一种基于变量重要性来加权合成辅助样本的FW_SMOTE算法。 FW_SMOTE算法的基本思想就是在辅助样本的选择时，首先通过预训练获取变量权重，然后以整体变量为维度选取k近邻样本，在k近邻样本中依次以各个变量为单独维度选取各个变量维度上与根样本最相近的样本，再按照各个变量的权重将各变量维度上的最相似样本加权合成辅助样本，最后将根样本和辅助样本进行插值得出新样本。FW_SMOTE算法步骤如下： 输入：少数类样本集合 X 1 ，需要扩增的样本数量 n u m ，参考的近邻样本数量k。 输出：扩增的样本 X n e w 。 初始化计数变量 c o u n t = 0 。 Step1：预训练获取变量权重 W = ( w 1 ， ⋯ ， w n ) 。 Step2：从 X 1 中随机选取一个少数类样本 x i ，令 X c = X 1 − { x i } 。 Step3：计算 x i 与 X c 中所有候选样本的整体距离，将距离最小的前k个近邻样本加入集合 X i 中。 Step4：将变量按权重进行降序排序，依次取权重最大(设第p大的权重记作 w ( p ) )的变量 f ( p ) ，以 f ( p ) 为单一维度来计算 x i 与 X i 中样本的距离，取距离最接近的样本 x i ( p ) 作为该变量维度下的最优插值样本。以此类推，直到选完权重最小的变量对应的最优插值样本，可得到 X w = ( x i ( 1 ) ， ⋯ ， x i ( n ) ) 。 Step5：进行插值。选取[0，1]之间的随机数r，令 x n e w = x i + r ∗ ∑ k = 1 n w k ∗ ( x i ( k ) − x i ) ，将 x n e w 加入 X n e w 。 Step6： c o u n t = c o u n t + 1 ，若 c o u n t ≥ n u m ，结束插值；否则，返回step2。 3.5. FW_SMOTE_Logistic回归信用评分模型 3.5.1. 建模流程 1) 获取信用评分数据。 2) 数据预处理：包括数据清洗、3.2提到的高风险样本比例差异最大化为原则的分箱、WOE编码处理、数据标准化处理。 3) 划分训练/测试集：为进行五折交叉验证，将数据集划分为五份，每次取四份为训练集，一份为测试集。 4) 少数类样本衍生:采用3.4提出的FW_SMOTE过采样方法对训练集的少数类样本进行扩增。 5) 训练Logistic回归分类模型：将扩增样本后的训练集数据放进Logistic回归模型中进行训练，调节Logistic回归模型的参数。 6) 模型评价：将测试集数据输入训练后的Logistic回归模型，通过3.5.2模型评价方案考察模型分类效果。 7) 建立评分映射：对输出概率进行评分映射。(由于本文主要是研究改进SMOTE算法对Logistic回归信用评分模型中的分类性能的改善效果，因此实验中的将省略评分映射的步骤。) 3.5.2. 模型评价方案 为检验本文提出的FW_SMOTE过采样方法对Logistic回归信用评分模型中的分类性能的改善效果，将同时对比不做重采样、SMOTE过采样、BorderlineSMOTE过采样、ADASYN过采样方法的Logistic回归信用评分模型中的分类效果。模型评价的从以下三方面进行： 1) 模型分类准确性评价 混淆矩阵：如表1。 Table 1 Confusion matri 预测为负 预测为正 实际为负 TN (真负类数量) FP (假正类数量) 实际为正 FN (假负类数量) TP (真正类数量) 表1. 混淆矩阵 准确率：可以用来衡量整体的预测精度，即被判别正确的样本数量占整体样本数量的比值。 A c c u r a c y = TN + TP TN + FN + TP + FP 召回率：可以评价原始样本中的高风险(正)样本有多少被分类器鉴别出来。 Recall = TP TP + FN 2) 模型泛化能力评价 通过比较训练集/测试集的精度差异(即训练集/测试集在模型评价指标表现的差异)，若两者相差不足5%，可以认为模型过拟合风险较低，具有较好的泛化性能。 3) 模型综合性能评价 F score ：采取F_score作为综合评价指标，其中 β 值代表了查准率和召回率的相对重要性，设置 β 越大，认为召回率越重要。本文将采取F 1 和F 2 作为综合评价指标。 F β = ( 1 + β 2 ) × Precision × Recall ( β 2 × Precision ) + Recall