system: [SYSTEM]

user: 3. 模拟 3.1. 平衡数据模拟 我们通过数据模拟来验证我们的结论。我们随机生成了两类数据 ， 。它们均服从 元正态分布，其中 ， 。这里我们取 ， ， ， 满足： ， (3.1) 我们采用五折交叉验证的方法，此方法被Breiman等[ 6 ] 提议并广泛应用于实际，取数据集的4/5作训练集，剩下的1/5作测试集。然后用训练集拟合判别函数，用测试集评估分类性能。我们分别在 的八种情况下，用距离判别、判别I-III这四种方法对测试集样本判别归类。其中，判别I-III即在Theorem 2.2提出的判别方法中分别取： ， ； ， ； ， 得到的三种判别方法。我们重复模拟试验1000次，最终得到各自的平均错判率如表1。 显然，在判别I-III中： 且 。由表1可知：用判别I-III三种方法判别时的模拟错判率相等，这与Theorem 2.2 (1)相符。此外，当 时，用距离判别与用判别I-III这三种方法判别时的模拟错判率相等，满足Theorem 2.2 (2)。此外，我们还可从表格中看出：用以上四种方法对平衡数据 进行判别时，模拟得到的错判率随着维数 的增加而增加，即判别效果随之降低。 3.2. 不平衡数据模拟 基于上3.1中提到的两类数据，我们分别取p = 10，50，100，并分别在这三种情况下取 ， 。之后分别用距离判别，Bayes判别，判别I-III这五种方法对前面9种情况做判别，我们重复模拟试验1000次并取平均值，模拟结果如表2。 这里我们将用一些特定的评价标准评估不同判别方法的分类性能。当数据不平衡 时，Weiss [ 7 ] 指出：为提高分类准确率，分类器往往倾向于将新样品预测为多数类而导致少数类样本的识别率较低，所以错判率不能很好的反映判别方法对不平衡数据集的判别效果。因此我们采用不平衡数据集分类中常用的评价标准：F-value [ 8 ] 和G-mean [ 9 ] 来衡量不同方法判别效果的好坏。这里记： (3.2) Table 1 The misclassification rate of four discriminant method p 距离判别错判率 判别I错判率 判别II错判率 判别III错判率 10 0.0925 0.0925 0.0925 0.0925 30 0.1153 0.1153 0.1153 0.1153 50 0.1430 0.1430 0.1430 0.1430 70 0.1741 0.1741 0.1741 0.1741 90 0.2095 0.2095 0.2095 0.2095 110 0.2542 0.2542 0.2542 0.2542 130 0.3089 0.3089 0.3089 0.3089 150 0.3910 0.3910 0.3910 0.3910 表1. 四种判别方法的错判率比较 Table 2 The discriminant outcome comparison of unbalanced dat 判别标准 距离判别 Bayes判别 判别I 判别II 判别III (150， 10) 错判率 0.0897 0.0938 0.1062 0.1062 0.1062 F-value 0.8903 0.8738 0.8782 0.8782 0.8782 G-mean 0.9090 0.8886 0.9004 0.9004 0.9004 (300， 10) 错判率 0.0863 0.0942 0.1919 0.1919 0.1919 F-value 0.8417 0.7716 0.7212 0.7212 0.7212 G-mean 0.9117 0.8019 0.8567 0.8567 0.8567 (600， 10) 错判率 0.0840 0.0687 0.3002 0.3002 0.3002 F-value 0.7586 0.6874 0.4876 0.4876 0.4876 G-mean 0.9137 0.7328 0.8027 0.8027 0.8027 (150， 50) 错判率 0.1279 0.1292 0.1439 0.1439 0.1439 F-value 0.8438 0.8259 0.8364 0.8364 0.8364 G-mean 0.8693 0.8497 0.8627 0.8627 0.8627 (300， 50) 错判率 0.1058 0.1078 0.2124 0.2124 0.2124 F-value 0.8065 0.7363 0.6972 0.6972 0.6972 G-mean 0.8871 0.7766 0.8377 0.8377 0.8377 (600， 50) 错判率 0.0921 0.0743 0.3088 0.3088 0.3088 F-value 0.7346 0.6582 0.4792 0.4792 0.4792 G-mean 0.8960 0.7118 0.7949 0.7949 0.7949 (150， 100) 错判率 0.1868 0.1833 0.2020 0.2020 0.2020 F-value 0.7735 0.7559 0.7727 0.7727 0.7727 G-mean 0.8085 0.7932 0.8039 0.8039 0.8039 (300， 100) 错判率 0.1369 0.1264 0.2406 0.2406 0.2406 F-value 0.7514 0.6922 0.6642 0.6642 0.6642 G-mean 0.8482 0.7480 0.8098 0.8098 0.8098 (600， 100) 错判率 0.1047 0.0833 0.3199 0.3199 0.3199 F-value 0.6985 0.6135 0.4675 0.4675 0.4675 G-mean 0.8713 0.6815 0.7836 0.7836 0.7836 表2. 不平衡数据的判别结果比较 其中 ， ， 。P：正类(少数类)，N：负类(多数 类)。TP与TN分别表示被正确分类的正类和负类样本的数目；FN表示真实类标是正类却被误分为负类的数目，FP表示真实类标是负类而被误分为正类的数目。 ：少数类的查全率， ：多数类的查全率， ：查准率。陶新民等 [ 10 ] 指出：F-Value既考虑了查全率又考虑了查准率，只有在查全率和查准率的值都大时，F-value才会大。同样，只有少数类和多数类样本的查全率同时都大时，G-mean值才会大。因此，F-value和G-mean能综合考虑少数类和多数类两类样本的分类性能，是对不平衡数据分类性能的两个较好的评测指标。 由表2最后三列知：就错判率及不平衡数据的评价标准：F-Value，G-Mean而言，当数据不平衡 时，判别I-III的判别结果相同且 ，此时用距离判别与用判别I-III判别得到的结果不同。 此外，当数据的维数 固定不变时，随着数据不平衡程度 的增加，距离判别及Bayes判别的错判率、F-value和G-mean值变化相对较小，即受不平衡程度的影响较小，判别效果较好；当数据不平衡程度 固定不变时，随着维数p的增加，距离判别及Bayes判别得的错判率较低且F-value，G-Mean值较高，判别效果较好；然而我们可以结合线性模型的变量选择方法如：Tibshirani [ 11 ] 提出的LASSO (Least Absolute Shrinkage and Selection Operator)、Fan和Li [ 12 ] 提出的SCAD (Smoothly Clipped Absolute Deviation)、AIC、BIC及Fan和Lv [ 13 ] [ 14 ] 提出的SIS (Sure Independence Screening)等方法选择重要变量对数据降维，与此同时，用线性回归的方法对新样品判别归类。用这种方法，我们在降维的同时对数据做判别，可能会使得判别I-III的判别效果得到提高，然而这还有待我们以后做进一步研究。 3.3. 实例分析 此外，我们对“Wisconsin Diagnostic Breast Cancer (WDBC)”中的真实数据进行了分析。本文采用的数据来源于http://www.datatang.com/data/515。 该数据集包含了关于人体细胞核的30个相关指标(如：细胞核面积、周长、平滑度等)的大量数据，我们从第一类(未患乳腺癌)和第二类(患乳腺癌)的观测样本中各取 、 个样品，用五折交叉验证的方法，并分别用距离判别、Bayes判别、判别I-III这五种方法对这 个样品“是否患有乳腺癌”进行分析判别，并得到各自的模拟结果如表3。 Table 3 WDBC discriminant result compariso 判别标准 距离判别 Bayes判别 判别I 判别II 判别III (200， 200) 错判率 0.0375 0.0375 0.0375 0.0375 0.0375 F-value 0.9632 0.9632 0.9632 0.9632 0.9632 G-mean 0.9623 0.9623 0.9623 0.9623 0.9623 (200， 100) 错判率 0.0467 0.0867 0.0700 0.0700 0.0700 F-value 0.9651 0.9389 0.9445 0.9445 0.9445 G-mean 0.9417 0.8630 0.9412 0.9412 0.9412 (200， 50) 错判率 0.0320 0.0720 0.1120 0.1120 0.1120 F-value 0.9805 0.9577 0.9243 0.9243 0.9243 G-mean 0.9216 0.7803 0.9198 0.9198 0.9198 (200， 40) 错判率 0.0292 0.0583 0.1417 0.1417 0.1417 F-value 0.9831 0.9670 0.9069 0.9069 0.9069 G-mean 0.9121 0.7734 0.9010 0.9010 0.9010 (200， 20) 错判率 0.0318 0.0409 0.1818 0.1818 0.1818 F-value 0.9825 0.9782 0.8884 0.8884 0.8884 G-mean 0.8817 0.6811 0.8719 0.8719 0.8719 (200， 10) 错判率 0.0143 0.0238 0.2524 0.2524 0.2524 F-value 0.9925 0.9877 0.8465 0.8465 0.8465 G-mean 0.8811 0.6811 0.8130 0.8130 0.8130 表3. WDBC判别结果比较 由表3知：由于判别I-III中的 相等，用判别I-III三种方法模拟的判别结果相等。当 时，距离判别与判别I-III的判别结果相同；当 时，它们的判别结果不同。而且，随着不平衡程度 的增加，距离判别及Bayes判别的错判率较低，F-value值较高，受不平衡程度的影响较小，判别效果较好。