system: [SYSTEM]

user: 3. 结果与讨论 3.1. 同源序列的结构保守性 SIPSS预测能力主要依靠SPSSM变量，而SPSSM变量是同源比对模板库的结果。因此我们预测方法的理论基础是同源序列的结构保守性。实际上，所有机器学习方法都建立在同源序列的结构保守性之上。一方面，我们无法要求机器学习方法能够准确预测一条完全与训练集不同序列的二级结构；另一方面，我们可以将所有蛋白质序列看做是20种氨基酸组成的“同源”序列。关键问题是同源片段的长短，同源片段短，比如小于3个氨基酸片段，对应的二级结构保守性很差，根本无法用于预测。采用长的同源片段，比如氨基酸数目大于9，结构保守性是可以保证了，但匹配的训练样本却找不到了，因此也无法用于预测。多重同源比对(PSI-BLAST)用动态规划很好地解决了这个问题 [ 14 ] 。它采用打分(e value等)，氨基酸取代(BLOSUM-62)和多次循环等，保证了查询同源序列的质量。我们的实验证实，PSI-BLAT找到的同源序列片段，二级结构是高度保守的，可以提高二级结构预测的准确度 [ 15 ] 。 我们用训练集(8507条序列)建模，初始模板库(21553条序列)做比对库，预测测试集(1169条序列)。由于测试集与训练集及初始模板库的序列同源性很低(<25%)，整体预测准确度Q 3 约为72%。仔细分析预测的各条序列，我们看到如果一条待预测序列能在初始模板库找到同源序列或同源序列片段，预测准确度一般都能超过90%。如果一条待预测序列找不到同源序列片段，预测准确度就降低到50%~60%左右，预测水平与现有的优秀预测器差不多(参见表2)。 测试集的预测准确度改善的办法是增加变量，比如溶剂可及性，伪氨基酸编码等，但是增加改进效果不明显且额外增加计算费用。而用更新模板库却效果明显。一旦我们用2016年3月更新模板库，训练模型不变，预测准确度Q 3 超过94%。因此SIPSS最终采用SPSSM变量和能够持续更新的模板库。 3.2. 自动更新模板库的预测结果 我们以上述训练模型和2016年3月模板库为基础，测试SIPSS的性能。每月程序自动下载PDB发布的新蛋白质序列及其结构。根据设定的条件自动更新模板库。从2016年4月到12月的更新前后预测结果见表1。 从表中我们可以看到，每月大约有1百条左右的新序列与先前模板库冗余度较低。这些序列及其结构加入模板库后预测准确度明显提高。 SIPSS是一个简洁的预测器，它不能准确预测与模板库序列同源性很低蛋白的二级结构，但是它能及时学习新的蛋白质结构知识，是新颖的有在线学习能力的蛋白质二级结构预测器。 3.3. 与现有预测器的比较 由于采用可持续更新的模板库，SIPSS有很强的自学能力，能够随着时间推移，不断学习新的知识，增强预测能力。我们用上述训练模型，初始模板库、2016年8月的模板库和12月模板库，对CASP12 Table 1 Comparison of performances between before and after updating the template librar 年月 学习前 学习后 H E C 3 H E C 3 2016.04 (102) Q (%) 78.6 67.0 54.5 69.4 96.8 95.6 90.4 94.9 SOV 80.2 81.2 71.4 78.2 88.3 92.8 85.2 88.7 2016.05 (91) Q 79.4 62.9 51.1 67.3 96.3 96.1 90.5 94.7 SOV 81.2 79.9 71.1 78.1 88.2 92.8 85.0 88.6 2016.06 (95) Q 80.9 61.2 52.9 68.0 96.5 95.8 90.5 94.8 SOV 82.3 78.9 72.2 78.8 88.2 92.6 84.7 88.4 2016.07 (101) Q 77.2 70.1 58.4 70.3 96.1 96.2 90.3 94.7 SOV 80.8 81.8 73.3 79.1 88.1 92.7 84.9 88.5 2016.08 (116) Q 78.9 67.3 55.4 69.6 96.3 96.0 91.2 94.9 Sov 79.2 80.5 70.5 77.3 87.8 92.9 85.2 88.5 2016.09 (114) Q 78.9 67.5 56.0 69.4 95.7 96.8 90.4 94.6 Sov 80.3 80.4 71.9 78.1 87.8 93.4 85.8 88.9 2016.10 (112) Q 77.5 62.0 54.5 66.4 95.6 96.0 92.3 94.8 SOV 79.9 76.2 69.2 76.0 88.7 92.6 85.6 88.9 2016.11 (102) Q 78.7 66.9 57.4 70.0 95.8 96.1 90.4 94.5 SOV 81.7 82.6 73.5 79.8 88.4 93.2 84.9 88.8 2016.12 (79) Q 77.8 62.7 55.6 68.0 96.1 95.0 90.8 94.4 SOV 80.3 81.9 72.3 78.6 87.6 93.1 84.8 88.4 表1. SIPSS更新模板库前后预测结果比较 注：年月后面的括号内数据是当月预测准确度低于0.88的蛋白条数。 的测试目标进行预测，准确度Q 3 分别为62.9% (SOV 3 :54.9)，79.1% (73.4)和94.4% (92.4)。为了进行比较，我们选了5个优秀的且被广泛使用的二级结构预测器：DeepCNF [ 6 ] ，SPIDER2 [ 5 ] ，PSIPRED3 [ 2 ] ，Jpred4 [ 4 ] 以及Porter4 [ 3 ] 。这些预测器在发布的当时是十分优秀的，并且随后又不断改进，发布了新版本。PSIPRED是第一个用PSSM预测二级结构的预测器 [ 24 ] ，它现在可用版本是3.3。Jpred和Porter都有了新的4版本。SPIDER2采用交叉预测的方法提高了预测的准确度。DeepCNF则用深度学习的方法以序列和PSSM为变量，显著改进了预测准确度。上述5种方法以及我们用2016年8月模板库预测结果列于表2。 从预测结果我们可以看出，如果是用初始模板库，我们的方法是不好的。但是随着时间推移，我们的更新模板库逐渐包含了CASP12的预测序列或者相似序列。SIPSS的预测准确度不断提高，到2016年8月就超越其它所有预测器。这说明任何机器学习的预测器如果不及时改变模板和模型，很快将失去它的优势。比如DeepDNF对CASP10和CASP11的Q 3 都超过84%，但对于CASP12只有72.9%。而我们的SIPSS具有在线学习能力，能够及时跟上新的变化，能准确地推演出我们已知几乎所有蛋白质的二级结构。 3.4. 新蛋白的预测例子 SIPSS预测器不但能够准确预测已学习的序列二级结构，它还能利用序列同源性，预测新蛋白的二级结构。我们用2016年12月的模板库预测2017年1月25日发布的整合素αvβ6：5FFG [ 25 ] 。整合素是细胞表面跨膜受体家族，在信号传递，调控和许多生命活动中起重要作用。5FFGb蛋白链有257氨基酸，SIPSS预测Q 3 是88.4%，预测结果如图2表示。 Table 2 Comparison of different predictors on CASP1 SIPSS DeepCNF SPIDER2 PSIPRED3 Jpred4 Porter 4 Q 3 (%) 80.6 72.9 72.6 69.5 67.8 72.7 Qh 88.9 71.5 75.9 65.6 66.5 74.0 Qe 80.7 65.4 64.1 60.8 58.0 66.5 Qc 69.2 85.1 79.4 86.3 82.6 79.2 SOV 3 74.9 58.7 61.6 54.7 54.5 60.0 SOVh 81.6 63.2 68.8 59.4 60.7 65.2 SOVe 75.6 61.0 60.0 57.7 54.7 61.4 SOVc 64.8 49.3 54.0 44.5 45.9 51.1 表2. 不同预测器对CASP12预测结果比较 图2. 蛋白质5FFGb预测结果示意图。图中，红色代表已正确预测的α螺旋类型。绿色代表已正确预测的无规卷曲类型。蓝色代表正确预测的β折叠类型。灰色表示错误预测的结构。黄色代表从DSSP是计算不出的二级结构。5ffgb三维结构是用Pymol画的