system: [SYSTEM]

user: 4. 实验及分析 4.1. 数据预处理 本文实验使用乳腺癌威斯康星州诊断(WDBC)数据集作为仿真数据。该数据集来自UCI的机器学习知识库。它包括569名实验对象的32个肿瘤特征。这32个特征由30个实际的肿瘤特征、一个实验对象的ID号和一个表明每个研究对象为良性或恶性肿瘤的类标签组成。如表1所示在这个数据集中，每个细胞核评估10个实值因子。由于医疗数据均比较冗余，导致计算工作量增多，冗余数据的误差传导也影响诊断结果的准确率，需要对数据进行预处理即数据降维。本文采用主成分分析和逐步回归分析对数据进行降维。 Table 1 Dataset propertie 特征编号 特征 特征编号 特征 1 半径(中心到圆周上各点距离的平均值) 6 紧密度 2 纹理(灰度值的标准差) 7 凹陷度(轮廓凹部的严重程度) 3 周长 8 凹陷点数(轮廓凹面部分的数量) 4 面积 9 对称度 5 平滑度(半径长度的局部变化) 10 断裂度 诊断结果 恶性为1，良性为−1 表1. 数据集属性 4.1.1. 主分分析 PCA是运用最广泛的线性降维方法之一，主成分分析的实质是：通过正交变换将数据转换为相等数量的线性不相关变量，尽可能保留原始数据特征。PCA算法的主要步骤如下： 1) 输入样本数据 X = { X 1 ， X 2 ， ⋯ ， X n } 为n行m列，对数据进行标准化得到矩阵M， M = X i j − X ¯ j v a r ( X j ) ，     i = 1 ， 2 ， ⋯ ， n ;   j = 1 ， 2 ， ⋯ ， m ， (12) 其中： X ¯ j = 1 n ∑ i = 1 n X i j ， v a r ( X j ) = 1 n − 1 ∑ i = 1 n ( X i j − X ¯ j ) 2 ，     j = 1 ， 2 ， ⋯ ， m 。 (13) 2) 求矩阵M对应的协方差矩阵： M b = 1 n − 1 M T M 。 (14) 3) 求矩阵M b 的非负的特征根 λ 1 > λ 2 > ⋯ > λ P ≥ 0 ，p为非负特征根的数量， λ i 对应的特征向量记为： v i = ( v i 1 ， v i 2 ， ⋯ ， v i P ) ， i = 1 ， 2 ， ⋯ ， P 。 (15) 且满足 v i v j T = ∑ k = 1 P v i k v j k = { 1 i = j 0 i ≠ j 。 (16) 4) 计算累计贡献率即某个特征值占全部特征值合计的比重： η = ∑ λ i ∑ i = 1 P λ i 。 (17) 本文取 η 的取值范围为85%~100%，得到贡献率与准确率之间的关系图，如图2所示，准确率随着贡献率大小先升后降，其临届值为95%，此时准确率最高为0.9714。因此本文选取 η 为95%，得到贡献率最大的前10个主成分，即21， 22， 23， 24， 25， 26， 27， 28， 29， 30这10个属性。其主成分贡献率直方图如图3所示。 图2. 贡献率与准确率关系图 图3. 贡献率直方图 4.1.2. 逐步回归分析 逐步回归分析通过逐个引入变量进行F检验(检测过程参见文献 [ 13 ] )，保证最后所得的变量均为显著的。经过逐步回归后得到6， 8， 11， 14， 15， 17， 21， 22， 24， 27， 28， 29， 30的13个属性。 4.2. 评价指标 为检验模型有效性，本研究以准确率、误差、漏诊率、灵敏度、特异度和Youden指数作为分类评价指标。假设样本总数为sum，TP是将恶性肿瘤诊断为恶性肿瘤数量，FN是将恶性肿瘤诊断为良性数量， FP是将良性诊断为恶性肿瘤数，TN是将良性类诊断为良性数。 a) 准确性：相对于测试的样本总数sum，正确分类为给定类别的肿瘤的百分比，公式为： Accury = TP + TN sum 。 (18) b) 漏诊率MDR (Missed diagnosis rate)：漏诊率是实际为恶性肿瘤的样本中，预测为良性的占比，公式为： MDR = TP TP + FP 。 (19) c) 灵敏度Sen (Sensitivity)：研究对象诊断为恶性肿瘤的概率，公式为： Sen = TP TP + FN 。 (20) d) 特异度Spe (Specificity)：实际上良性被诊断为良性的概率，公式为： S e n = T P T P + F N 。 (21) e) 约登指数：是评价筛查试验真实性的方法，公式为： Y o u d e n = T P T P + F N + T N T N + F P − 1 。 (22) f) 误差率：相对于测试的总样本数sum，错误分类为给定类别的肿瘤的百分比，公式为： E r r o r = F P + F N s u m 。 (23) 为了研究主成分分析和逐步回归分析对准确率的影响，表2列出了10折交叉验证100次两种模型的准确率，误差率，漏诊率，灵敏度，特异度和约登指数，可见在约登指数上，逐步回归归分析相对于主成分分析提高了0.007，在漏诊率上，逐步回归归分析相对于主成分分析降低了了0.196，其原因可能是主成分分析降维为10个属性，丢失的信息较多，且其降维后得到的属性也有差距，每个属性代表的信息不同，因此主成分分析的约登指数略低，漏诊率略高。因此本文选用逐步回归方法对数据进行预处理。 Table 2 Stepwise regression and principal component analysi 预处理方法 属性 准确率 灵敏度 特异度 约登指数 误差率 漏诊率 逐步回归分析 13 0.973 0.962 0.981 0.944 0.027 0.037 主成分分析 10 0.971 0.954 0.981 0.937 0.028 0.046 表2. 逐步回归与主成分分析 4.3. 混合集成与单一算法比较 为了验证提出的混合集成模型的有效性，将混合集成模型与单一算法统一采用逐步回归对数据进行约简，并将其准确率，误差率，漏诊率，灵敏度，特异度和约登指数做比较。各指标10折交叉验证100次的平均值如图4所示。 图4. 贡献率直方图。(a) 四种模型的特异度盒图；(b) 四种模型的灵敏度盒图；(c) 四种模型的漏诊率盒图；(d) 四种模型的准确率盒图；(e) 四种模型的误差盒图；(f) 四种模型的Youden指数盒图 如图4(a)和图4(b)所示，BP、RBF和本文的混合模型都具有较高的特异度和灵敏度，这表明三种网络能更好的逼近函数，使模型的特异度和灵敏度较高。在灵敏度上本文的混合模型均值为0.962，BP均值为0.951，RBF均值为0.958，Naïve Bayes均值为0.892，可见本文的混合模型均优于其他三种模型，说明本文的算法能更好的检测出患病的样本。在特异度上本文的混合模型均值为0.981略低于BP网络0.983，可能是由于本文降低了健康样本被错分为患病样本的权重，以致降低了检测出健康样本的概率。 如图4(c)和图4(d)所示，在准确率上本文的混合模型均值为0.973，BP均值为0.970，RBF均值为0.970，Naïve Bayes均值为0.935。在漏诊率上本文的混合模型均值为0.037；BP模型的均值为0.048；RBF模型的均值为0.043；Naïve Bayes模型的均值为0.107；可见在准确率和漏诊率上本文的混合模型都优于单一的算法，说明本文的混合模型提高了单一算法的准确率，且能更容易的检测出患病样本。 如图4(e)和图4(f)所示，在误差率上本文的混合模型均值为0.027，BP均值为0.030，RBF均值为0.032，Naïve Bayes均值为0.065；在Youden指数上本文的混合模型上均值为0.944，BP均值为0.933，RBF均值为0.936，Naïve Bayes均值为0.855；由此说明本文的混合模型增强了模型的真实性，提高了综合诊断能力。 综上所述BP、RBF和本文的混合模型由于可以任意精度的逼近任何非线性函数，各指标均比Naïve Bayes高。本文的混合模型在准确率、误差、漏诊率、灵敏度和Youden指数方面都优于这些单一算法，但在特异度上略低于BP网络，可能是本文降低了健康样本被错分为患病样本的权重，以致降低了检测出健康样本的概率。