system: [SYSTEM]

user: 3. 实证分析 3.1. 特征选择结果 在这三种特征选择方法的基础上，采用基于AUC性能指标值的支持向量机分类器的5次交叉验证，得到了基于DNAdset的最优特征选择方法。详细结果见表1。 Table 1 The AUC of three feature selection methods based on 5-fold cross-validation for SVM on DNAdse Feature selection methods Machine learning Classifier AUC LASSO SVM (C = 6， γ = −5) 0.9523 Filter-based (mrmr) SVM (C = 9， γ = −8) 0.9384 Wrapper-based (RF-SVM) SVM (C = 10， γ = −9) 0.9546 表1. 三种特征选择方法在数据集DNAdset上基于5折交叉验证和支持向量机的AUC结果 在表1中，结果表明，与其他两种基于支持向量机(SVM)分类器的5次交叉验证的特征选择方法相比，Wrapper-based (RF-SVM)特征选择方法具有更高的AUC值。在独立数据集(DNAiset和DNArset)上，采用支持向量机的最优参数和阈值0.49 (基于AUC值)来测试方法的性能。此外，利用Wrapper-based (RF-SVM)算法对选取的33个特征，在阈值0.44范围内得到ACC、MCC、精密度、灵敏度、特异度和F-测度值。具体评价结果见表2。此外，DNAdset、DNAiset和DNArset的ROC曲线如图3所示。 Table 2 Performance of prediction model on DNAdset， DNAiset and DNArse Datasets threshold value AUC ACC MCC F-measure Sensitivity Specificity Precision DNAdset 0.44 0.9546 0.8896 0.7819 0.8940 0.9307 0.8485 0.8600 DNAiset 0.44 0.8698 0.8277 0.6169 0.7463 0.7732 0.8543 0.7212 DNArset 0.44 0.7383 0.6055 0.1776 0.1923 0.7732 0.5947 0.1098 表2. 预测模型在DNAdset、DNAiset和DNArset上的性能表现 图3. 在数据集DNAdset、DNAiset和DNArset上的ROC曲线 3.2. 两类特征预测性能分析 为了研究两类特征对DNA结合蛋白和非DNA结合蛋白的区分能力是否具有统计学意义，本文采用双侧t检验，显著性水平为0.05，33个特征中有24个(24/33 = 72.7%)具有显著性。因此，所选特征对区分DNA结合蛋白和非DNA结合蛋白具有统计学意义。 在选取的33个特征中，包含两种特征类型。其中属于氨基酸的物理化学性质的特征较多，为19个；属于氨基酸组成的较少，为14个。结果表明，融合后的33个特征会提高对DNA结合蛋白的预测性能(如图4所示)，两类特征均对DNA结合蛋白的预测有重要影响。具体评价结果见表3。 在AAindex数据库(Tomii和Kanehisa，1996)中，理化性质指标基于最小生成树方法可以分为六类：Alpha and turn properties (A)、Beta propensity (B)、Composition (C)、Hydrophobicity (H)、Physicochemical properties (P)和Other properties (O)。将所选择的19个基于氨基酸物理化学性质的特征与六类属性对比表明(如表4所示)，蛋白质序列中氨基酸残基的Hydrophobicity (H)、Physicochemical properties (P)和Alpha and turn properties (A)，是区分DNA结合蛋白和非DNA结合蛋白的主要原因。 3.3. 与其他方法对比分析 为了验证grDNA-Prot方法的有效性，将grDNA-Prot方法与现有的三个web服务器(DNAbinder、iDNA-Prot和DNA-Prot)在两个独立测试数据集DNAiset和DNArset上进行了性能比较。详细结果见表5。对于DNAiset，grDNA-Prot对ACC、AUC、MCC和F-measure的性能评价高于DNAbinder和DNA Prot。 图4. 在DNAdset中三种类型特征的比较 Table 3 The performance of the three feature types in DNAdse Feature information AUC ACC MCC Sensitivity Precision F-measure Composition of AAs 0.9477 0.8853 0.7744 0.9351 0.8504 0.8907 Physicochemical 0.9351 0.8701 0.7443 0.9221 0.8353 0.8765 33 features 0.9546 0.8896 0.7819 0.9307 0.8600 0.8940 表3. 在DNAdset中三种类型特征的性能 Table 4 The distribution of 19 features based on physicochemical properties of amino acids in six group A B C H P O BUNA790101 1 0 0 0 0 0 CHAM820102 0 0 0 1 0 0 EISD860102 0 0 0 1 0 0 FASG760103 1 0 0 0 0 0 FAUJ880103 0 0 0 0 1 0 FUKS010104 0 0 1 0 0 0 HOPT810101 0 0 0 1 0 0 LEVM760101 0 0 0 1 0 0 MAXF760104 0 0 0 0 0 1 MEEJ800101 0 0 0 1 0 0 MITS020101 0 0 0 0 1 0 MIYS990101 0 0 0 1 0 0 OOBM770105 0 0 0 0 1 0 RACS770103 0 0 0 1 0 0 RADA880103 0 0 0 0 1 0 ROSG850101 0 0 0 0 1 0 TANS770101 1 0 0 0 0 0 WOLR790101 0 0 0 1 0 0 ZIMJ680104 0 0 0 1 0 0 TOTAL 3 0 1 9 5 1 表4. 19个基于氨基酸物理化学性质的特征在六类属性中分布情况 Table 5 Comparison of the predicted results by grDNA-Prot and other methods on DNAiset and DNArse Datasets Methods ACC AUC MCC Sensitivity Specificity Precision F-measure DNAiset DNAbinder 0.709 0.809 0.459 0.845 0.643 0.536 0.656 iDNA-Prot 0.889 - 0.752 0.659 1.000 1.000 0.795 DNA-Prot 0.824 0.732 0.589 0.526 0.969 0.894 0.662 grDNA-Prot 0.828 0.870 0.617 0.773 0.854 0.721 0.746 DNArset DNAbinder 0.3845 - 0.1007 - - - 0.143 iDNA-Prot 0.614 - 0.132 - - - 0.172 DNA-Prot 0.735 - 0.152 - - - 0.197 grDNA-Prot 0.606 0.738 0.178 - - - 0.192 表5. grDNA-Prot在独立测试集DNAiset和DNArset上与其他方法的预测结果比较 此外，在DNArset的真实环境中，grDNA-Prot比DNAbinder、iDNA-Prot、DNA-Port获得更高的MCC，比DNAbinder、iDNA-Prot获得更高的F-measure。本文提出方法的性能接近iDNA-Port和DNA-Prot，但在两个数据集上的综合效果最优。这些结果表明grDNA-Prot方法可以有效地鉴定DNA结合蛋白。