system: [SYSTEM]

user: 4. 肺结节分类研究进展 图像分类中，传统的图像分类需要人工提取特征，再将特征输入分类器中从而对不同类别的图像进行分类，典型的人工特征有：方向梯度直方图(histogram of oriented gradient， HOG)特征、Gabor特征和Haar特征，针对肺结节的人工特征有：结节的大小、强度、形状、纹理以及位置 [ 12 ]。基于深度学习的图像分类能通过深层架构自动学习更多抽象层次的数据特征，无需对特定的图像数据或分类方式设计具体的人工特征，能够以图像特征的识别和分类来训练模型，并利用模型的准确率、特异性等多重评价标准来反向指导特征的提取 [ 13 ]，最重要的深度学习方法有：自动编码器(autoencoder， AE)、深度信念网络(deep belief network， DBN)、深度玻尔兹曼机(deep Boltzmann machines， DBM)以及卷积神经网络(convolutional neutral network， CNN)，但是目前用于肺结节分类任务中的较多为AE、DBN和CNN。当然，肺结节数据集的选择和最终分类的类别也很重要，这两点决定了最终实现的模型是否具有临床意义和价值。 4.1. 基于传统人工特征的肺结节分类研究 传统的图像分类需要人工提取特征，再将特征输入分类器中从而对不同类别的图像进行分类，处理流程如图2所示。Liu [ 14 ] 等通过提取肺部低剂量CT中24个放射学特征，当包含基于尺寸的特征时，利用线性分类器进行训练及验证，对于预测肺结节的恶性肿瘤最高准确率可达74.3%。Samuel [ 15 ] 等在CT筛查时从不确定的肺结节中提取放射组学特征子集，利用分类器进行训练及验证，预测癌症或非癌症的后续发生的总体准确率为80%。Samantha [ 16 ] 等提取肺部CT图像中结节定量特征、肺实质特征以及全局特征，通过统计分析以及逐步向前选择法对提取的特征进行选择，最后将最好的特征集利用人工神经网络(artificial neural network， ANN)，通过留一法，进行训练及验证，得到的结节良恶性分类最高的准确率可达96%。Hugo [ 17 ] 等在分析不同恶性程度肿瘤的放射组学特征、临床数据和基因表达有何关系时，从肺部CT中提取四种放射组学特征，分别是肿瘤的强度、肿瘤的形状、肿瘤的纹理以及小波特征，将这四种特征与它们相应的临床数据和基因表达相对比，最终发现放射组学特征对肺癌的预后和验证都有很强的作用，并且放射组学特征与基因表达谱相关。Wang [ 18 ] 等使用LIDC-IDRI数据库，从593个病人的CT图像中提取了150个放射学特征，利用随机森林算法(random forest， RF)从150个特征中选择最终特征集，将最终15个具有预测价值的定量放射组学特征作为支持向量机(support vector machine， SVM)的输入，进行训练验证，最终在肺肿瘤的良恶性分类上可达到的最好的准确率为76.1%。 图2. 采用人工特征的机器学习算法处理流程 4.2. 基于深度学习的肺结节分类研究 4.2.1. 基于SDAE的肺结节分类研究 自编码器是一种无监督学习的特殊神经网络，用于特征提取和数据降维。最简单的自动编码器由一个输入层、一个隐含层和一个输出层组成，如图3所示，该网络的前一部分是一个编码器 h = f ( x ) ，后半部分是一个生成重构的解码器 r = g ( h ) ，最后使得x约等于 g ( f ( x ) ) ，训练完成后，只使用编码器而不再需要解码器，编码器的输出结果被进一步使用。栈式自编码器(stacked AE， SAE)由多层AE堆叠构成，每一层都以前一层的表达特征为基础，抽取出更加抽象、更加适合的复杂特征。在SAE的输入层引入噪声，基于加噪数据来重构原始数据，可构成泛化能力更优，鲁棒性更高的去噪自动编码器(stack denoising AE， SDAE)。Chen [ 19 ] 等人开发了三个多任务学习模型，从LIDC-IDRI数据集中随机选取2400个结节作为样本，对每个样本手工提取Haar特征和Hog特征，利用SDAE和CNN对每个样本提取深度特征，将四种特征进行异构作为多任务学习模型的输入，为了方便SDAE的输入，将样本尺寸从28 × 28的二维矩阵拉伸为1 × 784的一维矩阵，通过SDAE的无监督学习，最终将100维的矩阵作为每个样本的特征，SDAE在此研究中作为一个特征提取器，其第一、二隐藏层对应的神经元个数分别为200和100。 图3. 一种简单的自动编码器网络 4.2.2. 基于DBN的肺结节分类研究 DBN的单元为受限玻尔兹曼机(restricted Boltzmann machines， RBM)，DBN的思想是把多个RBM串联堆叠起来形成一个更深的神经网络，它既可以作为一个自编码机用于非监督学习，也可以作为分类器用于监督学习。杨佳玲 [ 20 ] 等将DBN引入肺结节的良恶性诊断，选取LIDC-IDRI数据库中2096个结节作为训练样本，每个样本的特征集是由4个方面(形状、灰度、纹理和空间位置)提取的87个不同的特征构成，研究中DBN分类器由3个RBM组成，依次对三个RBM训练得到整个DBN的全局参数，通过大量实验，当DBN的隐含层数为3，隐含层节点数依次为90、120和90个节点，RBM训练学习率为0.12时网络可以达到最佳性能，在测试集上的分类准确率高达95.3%。 4.2.3. 基于CNN的肺结节分类研究 卷积神经网络是一种监督学习的判别模型，一般是由输入层、卷积层、池化层、全连接层和输出层构成，具有局部链接、权值共享、下采样及挖掘数据局部特征，对图像的平移、缩放和旋转等表现出较高的稳健性，卷积层是由多个滤波器构成，滤波器即指卷积核，不同大小的卷积核可以提取不同的特征信息，低层卷积易提取边缘和曲线底层特征，高层卷积易提取抽象特征，而肺结节的分类仅靠底层特征是难以分类的，因此自从CNN问世以来，众多肺结节的分类研究都会用到CNN，权值共享是为了防止过拟合、降低模型复杂度以及提高泛化能力，CNN网络的收敛能力是评判此网络好坏的一个关键指数，网络在训练时的过拟合、梯度消失以及梯度爆炸都会造成网络的收敛能力差，因此研究者们就提出了三种解决办法，分别是运用随机失活(dropout)方法，批量归一化处理(batch normalization， BN)，以及用预处理的网络进行参数初始化加速学习的过程来增强网络的泛化能力。 在肺结节分类中，常用的深度学习方法有二维卷积神经网络(two dimension convolutional neural network， 2D-CNN)、三维卷积神经网络(three dimension convolutional neural network， 3D-CNN)、多流多尺度卷积神经网络(multi-stream multi-scale convolutional neural network， MMCNN)。 Lecun [ 21 ] [ 22 ] 等在1989年首次提出卷积神经网络，由于当时计算能力有限以及可用于训练和测试的标记样本不足，导致当时的卷积神经网络没有得到广泛的应用和发展。随着标记数据的增长和计算机计算能力的快速提升，Krizhevsky [ 23 ] 等在2012年创新性地提出了卷积神经网络模型AlexNet，并且该模型在当年的ImageNet竞赛中获得第一名，使卷积神经网络在图像领域得到了广泛的应用和快速的发展。之后，不断有新的卷积神经网络被提出，比如VGG NET [ 24 ]、ResNet [ 25 ]、和GooleNet [ 26 ]。因为2D-CNN在图像识别领域的优秀表现，使得计算机视觉领域得到进一步的发展，越来越多的科研人员将2D-CNN应用于肺结节的分类中。Hua [ 27 ] 等在2015年将2D-CNN应用于肺结节的分类中，解决了传统计算机辅助诊断系统性能不够稳定、由人工制定的诊断规则不够全面和无法持续提高准确率等问题。该方法的数据集来自于LIDC-IDRI，由1010名患者的已注释肺部CT图像组成，从数据集中筛选出2545个直径大于3 mm的肺结节进行实验。最终，该方法的灵敏度为73.3%，特异度为78.8%，工作效率高于传统的计算机辅助诊断系统。Rekka [ 28 ] 等利用两个CNN网络分别提取特征，再通过外矩阵乘积对每个图像、相同位置的特征进行合并，利用SVM分类器进行肺结节与非结节的二分类，最终得到的最好准确率可达91.99%。吴世洋 [ 29 ] 等首先对LIDC-IDRI数据集中的肺部CT图像进行分割获得肺结节图像，然后利用CNN进行特征提取，将每张肺结节图像转化为一个192维的特征图，最后利用Logistic分类器进行模型构建与测试，取得了84.4%的分类结果。Shen [ 30 ] 等提出了一个多尺度卷积神经网络，通过从不同尺度的肺结节图像中提取结节特征来捕获良恶结节之间的异质性，然后将提取的同一个结节的三种不同尺度的抽象特征进行融合，输入到一个SVM或RF分类器来对结节进行分类，准确率达86.8%。实验结果证明，深度学习在肺结节分类领域有广泛的发展前景。 但是，2D-CNN会丢失肺结节的立体信息，未来解决此问题，Liu [ 31 ] 等在2017年提出将3D-CNN应用于肺结节分类的想法，3D-CNN结构如图4所示，Liu [ 31 ] 等设计了2个不同结构的3D-CNN在相同的数据集进行训练和测试，通过对实验结果所生成的ROC曲线进行评估，选出性能较好的网络结构。实验结果表明第1个3D-CNN的AUC为0.732，第2个3D-CNN的AUC为0.698，该实验继续设计2D-CNN用于对比3D-CNN的效果，实验结果表明，2D-CNN的AUC为0.688，小于3D-CNN的0.732，故3D-CNN的效果更好。实验证明，3D-CNN的效果较好，并且不需要依靠特定的专业知识，通过不断学习便有助于系统的进一步完善，提高了肺结节的诊断效率和准确性。但是3D-CNN存在特征较多、数据量较大和计算时间较长等问题。 Ciompi [ 32 ] 等提出了一种应用于肺部检测的基于多流多尺度卷积神经网络的方法。此多流多尺度卷积神经网络不需要进行分割等预处理操作，可以直接处理原始数据。相比于提取单一尺度特征的卷积神经网络，Ciompi [ 32 ] 等通过分析任意数量二维界面图来学习肺结节的三维表示，能够提取到多尺度的特征，从而更加有利于肺结节的分类。Zheng [ 33 ] 等提出了一种包含尺度转移模块和多特征融合运算的深度卷积神经网络STM-Net。该网络可以放大小目标，适应不同分辨率的图像。评估数据来自复旦大学中山医院(ZSDB)提供的CT数据库，此数据集是肺腺癌数据集，所有资料均有病理标签。该方法对肺腺癌肺结节的精度和AUC分别为95.455%和0.987。Shen [ 34 ] 等采用多裁剪卷积神经网络对卷积特征图中裁剪不同区域，来获得肺结节的主要信息，实验对LIDC-IDRI数据集进行了测试，良恶性分类准确率达到87.14%，AUC达到0.93。 图4. 3D-CNN结构图 4.3. 数据集的选择 目前利用公开数据库进行肺结节分类的研究，主要利用的是LIDC-IDRI数据库，但是良恶性评估的标签来自于这个数据库提供的两个数据：1) 利用4位胸腔放射科医生对肺结节良恶性的5个主观评估作为肺结节的良恶性等级评价，这个主观评价由可扩展标记语言(extensible markup language， XML)文件中提取，如图5所示；2) 利用数据集提供的157个病人的诊断结果作为肺结节的良恶性等级评价，这个评价是来自“tcia-diagnosis-data.csv”，如图6所示。国内外公认的诊断肺癌的“金标准”是细胞、组织学诊断方法，这种方法的诊断正确性优于其他任何诊断方法 [ 35 ]，所以将利用“金标准”诊断方法的数据用于研究将更具有临床意义。 刘一璟 [ 36 ] 等利用LIDC-IDRI数据集，将4位胸腔放射科医生对肺结节良恶性的5个主观评估作为肺结节的良恶性等级评价，这5个主观评估的分数为从1到5的整数，分数越高则肺结节为恶性越明显，而后分别为对每一个肺结节的医生良恶性评估进行平均，高于3的划为恶性，低于3的划为良性，等于3的划为不确定。最终得到2637个肺结节样本，其中1361个良性样本，640个恶性样本，636个不确定样本，不确定样本不用于实验。最后在提出的DenseNet-centercrop-BC网络中AUC分值最高可达到0.9313。 Devinder [ 37 ] 等利用LIDC-IDRI数据集提供的157个病人的诊断结果作为肺结节的良恶性等级评价，这157个病人的诊断结果来自于活检、外科手术、随访两年这三种手段，三个等级评价分别为良性、原发性恶性和转移性恶性，相对于放射科医生对肺结节的主观判断，诊断结果作为肺结节的良恶性等级评价更应该是金标准。而后，通过将提取的肺结节放射组学特征作为训练目标，在自动编码器上训练及测试，最终获得了75.01%的准确性。 图5. 部分XML文件 图6. 部分“tcia-diagnosis-data.csv”文件 4.4. 肺结节多分类 一般对于肺结节的分类研究，研究者们选择将肺结节分为两类，即良性与恶性，很少有研究者们选择对肺结节恶性再进行分类的研究，目前多分类研究有对肺结节的恶性程度进行等级分类，但是对于恶性结节的种类进行分类，例如原发性恶性和转移性恶性，在临床上是个难题，这两个诊断相当重要，极大影响了患者肺癌分期、后续治疗手段选择，甚至决定了患者能否治愈或预后。 Kang [ 38 ] 等利用LIDC-IDRI数据集提供的157个病人的诊断结果作为肺结节的良恶性等级评价，采用三维多视图卷积神经网络(MV-CNN)来探讨肺结节的分类，对肺结节进行二分类(良性和恶性)和三元分类(良性、原发恶性和转移恶性)，最后的二分类错误率为4.59%，三元分类错误率为7.70%。