system: [SYSTEM]

user: 4. 实验结果与分析 针对本次蛋白质二级结构预测，我们对模型中的超参数设置了多组对比试验，分别进行了Bi-LSTM层数和隐藏单元的调整，模型学习率的调整，Dropout值的调整以及正则化系数的调整。实验调参过程体现均以CASP10作为测试集。 4.1. 网络层数和隐藏单元 在实验模型中，Bi-LSTM层的数量会直接影响到网络的复杂程度以及网络的学习能力，不合理的隐藏单元数也会导致模型过拟合，在网络结构上我们希望设计一个复杂程度合理的模型，在适当的训练时间下拥有良好的泛化性。因此我们针对网络层数和隐藏单元数进行了调整实验，U 1 代表第一层Bi-LSTM的隐藏单元数，U 2 代表第二层Bi-LSTM的隐藏单元数。 Table 2 Experimental results of setting up one layer of Bi-LST U 1 200 400 600 800 1000 1200 Q 3 (%) 81.39 80.92 81.48 81.27 81.21 81.51 表2. 设置一层Bi-LSTM的实验结果 Table 3 Experimental results of setting up two layers of Bi-LST U 1 = U 2 200 400 600 800 1000 1200 Q 3 (%) 81.74 81.79 81.74 81.07 82.38 82.20 表3. 设置两层Bi-LSTM的实验结果 从表2可以看出，只设置一层Bi-LSTM的情况下，网络的学习能力是较为欠缺的，隐藏单元的改变并不会对实验结果有太大的影响，因此需要增加网络层数，以第一层每一时间步的隐藏单元输出作为下一层相应时间步隐藏单元的输入，网络进行了更加深层次的特征学习。实验结果表明，这种操作对结果有一定的提升，但隐藏单元数的确定便十分重要，由于是双层网络，因此两层隐藏单元数之间的选择是相互影响的，如表3所示，单纯的使用第一层网络下最好的方案去确定第二层的单元数，得到的结果并不是最优解，因此我们需要找到最优的组合，结果表明，两层隐藏单元为1000的组合下，可到的最优组合。考虑到实验的可行性和模型复杂度，最终的网络结构确定为两层Bi-LSTM，隐藏单元都别为1000。 4.2. 学习率 网络模型采用了Adam优化算法，相比于传统的随机梯度下降方式，Adam通过计算梯度的一阶矩估计和二阶矩估计为不同的参数设计独立的自适应性学习率，适合解决含大规模数据和参数的优化问题 [ 19 ]。学习率的初始值会对结果产生较大影响，因此本组实验为确定合适的初始学习率，实验结果如图4所示，首先以10倍缩量进行粗调节，然后在合适的量级下进行细调节，最终确定为0.0006，Q3结果可达84.64%，训练过程中学习率以每4个epoch进行10倍缩放的方式训练。 图4. 不同学习率下的实验结果 4.3. Dropout 由于模型采用的双层Bi-LSTM的设计，同时加入了大量的隐藏单元，模型可能会存在过拟合且训练时间过长的问题，因此在每一层后引入了Dropout，以一定的概率使部分神经元失活，我们将两层Dropout设置为相同值进行同步调整，从图5中可以看出，在数据集CASP10上，两个Dropout值同为0.2时，结果最优，且明显高于其他值，分析原因可能是因为Dropout在0.2的状态下失活神经元的概率更符合本模型的训练方式，这样网络模型可以获得更好的泛化性。表4中D 1 代表第一层Dropout，D 2 代表第二层Dropout，可以看出，设置两层Dropout是更好的设计方案。 图5. 不同Dropout值的实验结果 Table 4 The impact of different amounts of Dropou Dropout D 1 = 0， D 2 = 0 D 1 = 0.2， D 2 = 0 D 1 = 0， D 2 = 0.2 D 1 = 0.2， D 2 = 0.2 Q3(%) 84.61 84.52 84.57 84.68 表4. 不同数量Dropout的影响 4.4. 正则化系数 为防止模型过拟合，实验过程中加入了参数正则化方式，选择L 2 正则化，在损失函数中增加惩罚项，L 2 正则化的惩罚项是指权值向量w中各个元素的平方和然后再求平方根，可表示为 λ ‖ w ‖ 2 2 ，调节 λ 系数控制惩罚项的大小。实验结果表明，调整L 2 正则化系数，对实验结果有进一步的提升，在CASP10上结果可达86.83%，实验结果如图6所示，L 2 正则化系数最终确定为0.000005。 图6. 不同L2正则化系数的实验结果 经过上述的参数调整，网络最终确定的结构如表5所示。 Table 5 Finalized network structure parameter 参数 参数值 输入维度 62 第一层Bi-LSTM隐藏单元 1000 第一层Dropout 0.2 第二层Bi-LSTM隐藏单元 1000 第二层Dropout 0.2 初始学习率 0.0006 L2正则化系数 0.000005 全连接层 3 分类器 Softmax 输出结果 C、E、H 表5. 最终确定的网络结构参数 4.5. 预测评估 1983年，Wolfgang Kabsch提出DSSP，将二级结构被划分为α螺旋(H)、β折叠(E)、3 10 螺旋(G)、β桥(B)、π螺旋(I)、转角(S)、β转角(T)和无规则卷曲(C)8种结构 [ 20 ]，实验中将上述8态结构以“GHI→H”，“BE→E”和“其他结构→C”的规则转为3态结构，进行3态二级结构预测。CULLPDB中的DSSP来自于蛋白质的PDB文件，评估标准为Q 3 精度 [ 3 ] [ 7 ] [ 8 ] [ 10 ] [ 11 ]，Q 3 为正确预测的氨基酸数占所有氨基酸的比例，计算公式如下： Q 3 = Q C + Q E + Q H S ∗ 100 % 将测试集输入模型，得出预测数据，同真实DSSP进行对比。其中，Q C 为正确预测的转角数，Q E 为正确预测的折叠数，Q H 为正确预测的螺旋数，S为总的氨基酸数。文献 [ 10 ] 在五折交叉验证下，使用CULLPDB数据集获得了73.2%的八态分类结果。文献 [ 21 ] 使用TR9993数据集进行十折交叉验证，Q 3 准确率为72.42%。文献 [ 22 ] 使用25PDB数据集进行三折交叉验证，Q 3 准确率可达80.18%。表6为本实验使用CULLPDB做十折交叉验证的结果，为了保证不同长度的蛋白质均匀分布，在划分训练集和测试集之前未将CULLPDB根据蛋白质长度排序，数据集均分为10份，每次取9份作为训练集，1份作为测试集，十次训练的数据集数量见表6，十折交叉验证的平均值可达83.08%，比CASP测试集结果低0.7%~2.7%，结果表明，实验避免了数据集划分不合理而出现过拟合现象。 Table 6 10-fold cross validation of CULLPD 验证次数 1 2 3 4 5 6 7 8 9 10 平均 训练集数量/测试集数量 12780/1419 12779/1420 12779/1420 12779/1420 12779/1420 12779/1420 12779/1420 12779/1420 12779/1420 12779/1420 - Q 3 (%) 83.54 82.36 83.30 83.09 82.68 83.17 83.70 83.19 83.47 82.32 83.08 表6. CULLPDB十折交叉验证 表7列出了在测试集CASP9，CASP10，CASP11和CASP12 [ 23 ] [ 24 ] 上Q 3 准确率以及转角、折叠和螺旋结构的预测准确率，其中Q 3 的识别率分别有85.74%，86.83%，84.73%和83.79%。值得注意的是，模型对折叠E的预测准确值较低，分析后发现实验选取的CASP数据有部分蛋白质没有转角结构，相比于预测效果更加稳定的螺旋和转角结构，总体基数较少。为了验证加入42基团特征是有效的，我们进行了对比试验，如图7所示，在最终确定的网络结构下，分别以PSSM和PSSM+42基团为输入。单纯使用PSSM作为输入特征，在CASP9-12上结果分别为85.17%，85.83%，83.54%和82.71%。实验结果表明，在四组CASP测试集上，加入42基团特征对模型分类能力有进一步的提升，Q 3 提升约1%。 Table 7 Experimental results under the CASP test se 实验结果(%) 测试集 Q 3 Q C Q E Q H CASP9 85.74 84.07 74.65 84.28 CASP10 86.83 85.59 79.32 83.57 CASP11 84.73 83.78 77.25 78.33 CASP12 83.79 78.98 81.93 83.42 表7. CASP测试集下实验结果 图7. PSSM和PSSM+42基团两种特征对模型的影响 实验选取了SPINE-X [ 25 ]，SSpro [ 26 ]，PSIPred，DeepCNF和MUFOLD五种预测方法，在测试集CASP10，CASP11和CASP12上进行对比，其中SPINE-X采用的多步神经网络，SSpro模型是双向递归神经网络，PSIpred采用的两层前馈神经网络，Jpred使用两层来自SNNS神经网络包的人工神经网络，MUFOLD采用深度神经网络(五种方法结果均摘自文献 [ 2 ] )。对比结果如表8所示。相比与上述模型方法，本模型使用双向长短时记忆循环网络和多维特征融合的预测方式有效的提高了3态蛋白质二级结构预测结果。 Table 8 Comparison of prediction result 模型 特征输入 CASP10 CASP11 CASP12 SPINE-X PSSM+物理特性 80.7 79.3 76.9 SSpro PSSM 78.5 77.6 − PSIpred PSSM 81.2 80.7 78.0 Jpred PSSM+隐马尔可夫模型特征 81.6 80.4 75.1 DeepCNF PSSM+21个元素的二进制向量 84.4 84.7 82.1 MUFOLD 氨基酸理化性质+PSSM+隐马尔可夫模型特征 85.98 83.59 80.59 本文模型 PSSM+42基团特征 86.83 84.73 83.79 表8. 预测结果对比