system: [SYSTEM]

user: 3. 肺结节检测框架 肺结节检测框架一般包括三个部分：肺实质分割、候选结节检测以及假阳性剔除，如图1所示。肺实质分割是检测前十分重要的预处理步骤。在胸部CT中，通常会出现躯干、主气管以及床板等肺实质以外的图像信息，在检测时会出现将这些信息检测为肺结节的情况。为了避免这种情况，在进行肺结节检测之前，将肺实质区域从胸部CT中分割提取出来是保证检测有效性的必要前提。候选结节检测的目的是在保证一定精准率和召回率的情况下尽可能多的检出图像中疑似为结节的区域，肺结节检出的越多，漏检的可能越小，患者的生存率越高。为了保证候选结节检测时的高召回率，候选结节中通常含有大量的假阳性结果，因此需要进行假阳性剔除来进一步精确检测结果。通常采用有效的分类器对检测到的候选结节进行分类，进而剔除假阳性候选结节。 3.1. 肺实质分割 目前研究人员在肺实质分割领域做了大量的研究，采用不同的技术方法实现肺实质的自动分割，主要分为基于传统图像处理的分割方法和基于深度学习的分割方法。 图1. 肺结节检测框架 3.1.1. 基于传统图像处理的分割方法 基于传统图像处理的肺实质分割主要有 [ 9 ] 基于阈值的方法和基于区域的方法。基于阈值的方法是最基本的一种分割方法，由于肺实质区域内多为气体，其密度值小于周围组织，因此易于寻找阈值对肺实质进行分割。基于阈值的方法是假设CT图像中只包含两类体素：身体及胸壁结构的高密度体素和肺内气体以及体外空气的低密度体素。利用最优阈值法 [ 10 ] [ 11 ] [ 12 ] [ 13 ] 计算出合适的分割阈值，从而将肺实质区域进行初步的分割。一般初步分割后的结果并不准确，需要采用形态学方法对初步分割区域的组织进行分离，目的是得到分离的左右肺并移除主气管以及肺内的主支气管。最后对左右肺上由血管或结节形成的孔洞进行填充，并对其边界上的凹陷以及凸起进行平滑。基于阈值的分割方法比较直观，分割速度快且计算成本较低，结果一般具有可复现性。但由于阈值法通常不考虑分割目标的空间特征，因此不同成像条件下产生的噪声或成像伪影会对分割效果造成一定影响。 基于区域的方法是假设同一区域内的相邻体素值较为相似，其中应用最多的是区域生长法 [ 14 ] [ 15 ] [ 16 ]，一般步骤是选取某个体素与其相邻体素进行比较，如果满足预设标准，则认为该体素与其一或多个相邻体素属于同一类。区域生长法的不足在于难以选取合适的预设标准，但相较于基于阈值的分割方法，区域生长法更为准确有效。分水岭算法 [ 13 ] [ 17 ] 也是基于区域的一种分割方法，主要思想是将图像看做拓扑地貌，图像中的灰度值作为该点海拔，区分“高山”与“湖泊”的界限即为分割线，分水岭算法对微弱边界的响应较强，但同时图像中的噪声及细微变化会导致过度分割的现象。文献 [ 17 ] 使用内部和外部标记对肺部区域精准标注，对标注后的图像与原始数据的梯度图合并后的图像应用分水岭算法，消除了一定过度分割的现象。除了上述两种方法，还有随机游走 [ 18 ] [ 19 ]、模糊连通性 [ 20 ] 等基于区域的方法。基于区域的分割方法利用了图像中的空间邻域信息，在应对成像伪影等问题时具有较强的鲁棒性。 3.1.2. 基于深度学习的分割方法 深度学习目前在图像处理和计算机视觉任务中的表现优于其他方法，继而出现了许多基于深度学习的肺实质分割方法。Harrison等 [ 21 ] 提出一种基于HNN [ 22 ] 的渐进式整体嵌套网络(progressive holistically-nested networks， P-HNNs)用于肺实质分割，P-HNNs在HNN的基础上增加了渐进的多分辨率路径连接，在不需要额外的网络参数的情况下，解决了HNN输出模糊以及全卷积网络分辨率粗化的问题。实验结果表明，该方法在929个胸部CT数据上的平均Dice系数 [ 23 ] 为0.985。 Ronneberger等 [ 24 ] 提出并实现了一种用于生物医学图像分割的U型全卷积网络结构—U-Net。如图2所示，U-Net包括一个用于收缩路径与其对称的扩展路径，在收缩路径与其对称扩展路径间有多条特征通道。由于U-Net的特殊结构，通常只需要很少的训练样本，便能在分割任务上提供了很好的性能 [ 24 ] [ 25 ]。此外，其端到端的训练方式可以在前向计算过程中处理整个图像并直接生成分割图。文献 [ 26 ] 采用11层卷积构成的U-Net进行了肺实质分割实验，研究人员将267张尺寸为128 × 128像素的肺部图像缩小为32 × 32像素，随后按7:3的比例划分训练集与测试集，模型在测试集上的分割精度为96.78%。但由于对原图像缩小比例过大，在高清CT图像(通常为512 × 512像素)上的分割效果并不理想，分割后的肺实质图像无法进行后续的检测工作。 图2. U-Net结构 Pang等 [ 27 ] 提出一种将U-Net与传统图像处理方法相结合的肺实质分割方法，该方法将预处理和分割作为一个迭代过程：首先预处理部分采用维纳滤波(Wiener Filter)对CT图像进行去噪，随后分割部分利用灰度共生矩阵生成初始分割图像，最后U-Net再对初始分割图像进一步的细化并输出分割图像，直至当前U-Net输出的分割图像与上一次输出相同时，得到最终的分割图像。文献 [ 25 ] 在U-Net的基础上结合ResNet [ 28 ] 和RCNN [ 29 ] 提出了两种实现分割任务的模型：RU-Net和R2U-Net。两个模型在包含267个图像的肺实质分割数据集 [ 30 ] 上训练与测试，Dice系数最高分别为0.9863和0.988。 3.2. 候选结节检测 早期的候选结节检测多采用一些传统方法，如阈值分割、形态学运算、聚类、区域生长等 [ 4 ] [ 5 ] [ 6 ] [ 31 ] [ 32 ]。这些传统的图像处理方法多是根据像素值以及图像的低层特征发展而来，由于结节的形状、大小以及纹理变化较大，传统方法很难提取到判别性特征。这会导致生成大量的假阳性候选结节，给后续的假阳性剔除工作带来很大的难度。随着深度学习的广泛应用，越来越多基于深度神经网络的检测算法被提出。目前，基于卷积神经网络(Convolutional Neural Network， CNN)的方法即能获取图像的低层特征，又能提取高层特征。常见的检测网络主要采用残差网络(Residual Network， ResNet) [ 28 ]、U-Net、特征金字塔网络(Feature Pyramid Network， FPN) [ 33 ]、区域卷积神经网络(Region Convolutional Neural Network， RCNN) [ 34 ] 等结构。 由于Faster RCNN [ 35 ] 出色的检测性能，因此被广泛应用于候选结节检测方向。Ding等 [ 36 ] 提出了一种基于2D Faster RCNN的候选结节检测方法，如图3所示，图像经过深度卷积神经网络(DCNN)特征提取，由区域建议网络(Region Proposal Network， RPN)给出感兴趣区域(Region Of Interest， ROI)，随后经过ROI池化将感兴趣区域的特征图变为统一尺寸，并送入全连接网络对其分类和位置精修。相较于原始的Faster RCNN模型，该方法在RPN前加入反卷积层，恢复了更多的细粒度特征，使得检测灵敏度提升了12.9%。由于肺结节的尺寸要比自然图像中的检测目标更小，因此经过VGG-16 [ 37 ] 的五组卷积后不能清晰地描述结节特征，导致检测ROI的性能下降。此外，为了解决直接将原始CT的三维数据作为网络输入计算开销较大的问题，研究人员将待检测的切片与其相邻的两个切片按轴连接，并重新缩放为600 × 600 × 3像素的图像作为输入。但这种方式同时丢失了结节的部分空间特征，会生成较多假阳性候选结节。 图3. Faster RCNN检测流程 Liao等 [ 38 ] 提出一种利用3D RPN进行候选结节检测的方法。该模型由特征提取和定位两部分组成，特征提取部分采用残差块(Residual Block)与U型网络结构结合的3D DCNN，定位部分使用3D RPN直接输出结节的坐标与置信度。由于DCNN中加入了U型网络结构，其收缩与扩展两个路径使得RPN可以接受到更多细粒度特征，因此对于候选结节的定位更准确。文献 [ 39 ] 将双路径网络(DPN)与U型网络结构相结合，利用26个双路径块来学习三维数据更高层次的特征，随后将特征送入3D RPN得到候选结节区域。但由于候选结节的位置直接经过RPN进行输出，并未进行进一步的分类和回归，因此对于结节的检测具有一定的局限性。 Tang等 [ 40 ] 提出一种基于3D Faster RCNN的多任务端到端的模型，该模型将候选结节检测、假阳性剔除与结节分割整合到同一框架内。其中候选结节检测部分采用类似U-Net的网络结构对CT数据进行特征提取，随后将特征图送入两个平行的1 × 1 × 1的三维卷积层，分别生成特征图每个体素对应的置信度和对应锚点(Anchor) [ 35 ] 的六个回归项(深度、高度、宽度以及中心的三个轴坐标)以提取相应的ROI。由于使用耦合特征进行学习会降低网络性能 [ 41 ]，因此用于分类和回归的ROI取自比RPN更浅层的特征图，使分类和回归能够学到与RPN不同的特征。实验结果表明，该方法在LIDC-IDRI数据集上的平均CPM为0.8727。 Ozdemir等 [ 42 ] 提出一种能够在任意尺寸CT上进行候选结节检测的模型，该模型是基于V-Net [ 43 ] 的3D全卷积网络，网络采用三个编码器与解码器的块对，除了输入层和输出层外加入对应的跨层连接。编码器使用两层卷积核尺寸为3的下采样卷积，并加入残差连接。与编码器基本相同，解码器采用两层上采样反卷积。首先根据LUNA16数据集提供的肺结节注释，制作其对应CT的结节掩码。由于结节相对于完整CT尺寸太小，将整个CT作为输入会导致网络不收敛，无法进行训练。研究人员在原始CT中随机采集结节附近64 × 64 × 64体素的立方数据，将其作为训练样本，使用交叉熵损失函数训练网络。通过对网络输出的体素阈值化，并基于每个体素的连通度来标记所有的独立区域，得到候选结节的区域。该方法成功地使用全卷积网络来进行候选结节检测的任务，候选结节的定位更加直观，但由于使用交叉熵损失函数，全卷积网络对于较小的结节不够敏感，容易造成漏识的情况。此外，对于不同成像条件下的CT图像，其网络输出的阈值需要进行一定的调整。 Masood等 [ 44 ] 基于云计算提出一种多层RPN的候选结节检测模型，通过使用多个RPN提取ROI增强特征提取的过程，使候选结节的定位更加准确。该模型通过VGG-16的五组卷积块和一层反卷积层后得到特征图，随后将特征图分别送入多个RPN进行给出区域建议。为了容纳不同尺寸的结节，研究人员为每个RPN设置了7组不同长宽比和尺寸的Anchor。采用多层RPN进行候选结节检测可以同时考虑结节的直径和体积，因此结节的检测效率显著提升。该模型在LDIC-IDRI数据集上的实验结果表明，使用多层RPN可以提升0.7%的召回率。 3.3. 假阳性剔除 传统的假阳性剔除工作通常利用人工设计的特征，将特征送入支持向量机、k近邻或Adaboost等分类器来降低假阳性 [ 4 ] [ 45 ] [ 46 ]。但由于结节形态、纹理和大小较为多变，因此针对一种结节设计的特征的表达能力较为有限，往往不适用于具有不同特征的其他类型结节。此外，由于肺内环境十分复杂，这些特征不具有较强的判别性来区分肺结节与其他组织，难以对大量的假阳性候选结节进行准确的剔除。近年来，CNN在医学图像分析领域取得了出色的效果，研究人员提出了大量卓有成效的基于CNN的假阳性剔除方法。 Zuo等 [ 49 ] 对HNN [ 22 ] 进行了知识转移(Knowledge Transfer)，利用HNN能够从不同的深度的隐含层提取特征的能力，可以解决由于肺结节大小、形状不一致以及CT影像不均匀造成的特征表达困难。研究人员将以LUNA16中1186个标注结节的坐标中心生成的切片作为正样本，以肺实质区域随机生成坐标为中心的切片作为负样本。将候选结节经过不同深度的卷积与池化后的输出作为不同分支，每个分支可以得到不同层次和分辨率的特征，然后将这些特征裁切至相同尺寸后进行合并，合并后的特征经过全连接网络进行分类。实验结果表明，该方法在LUNA16数据集上进行假阳性剔除的准确率为97.33%。通过多分辨率的方式分析结节特征，该方法将一些不明显的结节正确识别，但由于完整的肺结节分布在多张切片上，使用2DCNN在获取切片间的上下文信息存在局限性。 Liu等 [ 47 ] 受到运动历史图(Motion History Image， MHI) [ 48 ] 的启发，提出一种位置历史图(Location History Image， LHI)算法进行假阳性剔除。首先通过3D FPN进行候选结节检测，将候选结节的立体数据生成LHI，随后将LHI送入一个由两层卷积和三层全连接组成的2D CNN中进行分类。由于真实结节在连续切片上的变化趋向于向轮廓外扩展或向中心递减，因此利用这一变化可以将结节切片间的上下文信息通过二维数据进行表达。实验结果表明，将这一方法应用在候选结节检测后，能够成功减少84.5%的假阳性。该方法采用2D CNN有效减少了计算成本，但由于LHI丢失了结节的密度、纹理等信息，对于假阳性剔除具有一定的局限性。 Dou等 [ 50 ] 提出了一种基于多尺度信息融合的3DCNN模型，首先以候选结节为中心提取尺寸分别为20 × 20 × 6，30 × 30 × 10和40 × 40 × 26的立方数据，三种尺寸的立方数据分别包含结节周围不同层次的背景信息。以结节的周围范围作为网络的感受野，通常感受野过大会导致冗余信息过多，造成网络性能下降，感受野太小会导致上下文信息不足，网络得不到充分训练，无法处理结节背景过大的变化。该模型由三个不同感受野大小的3D CNN组成，每个CNN结合候选结节周围的多层次背景信息给出各自的预测结果，随后将三组结果进行融合得出最后的分类结果。 Kim等 [ 51 ] 提出一种多尺度逐步积分3D CNN，通过逐步整合多尺度上下文信息有效的完成假阳性剔除。首先候选结节被处理为文献 [ 50 ] 中三种尺寸的立方数据，将其处理为同一尺寸，此时三种立方数据虽然对应同一结节坐标中心，但具有不同的分辨率。随后三种立方数据按照尺度变大和变小两种路径逐步进行特征提取。在放大路径上网络的视野逐渐变小，网络逐渐聚焦于结节区域，能够提取到更多结节的细节特征，同时缩小路径上网络的视野逐渐变大，网络逐渐聚焦于结节的周围区域，与周围区域的上下文相结合能够提取到结节的形态特征。通过两个路径得到的特征经过整合后送入后续的卷积层和全连接层，形成一个完整的端到端的网络。该方法在LUNA16数据集上的平均CPM为0.942，在假阳性剔除任务上取得很好的性能。