system: [SYSTEM]

user: 2. 数据和方法 2.1. 数据集构成 本次研究针对产生EGFR-TKI耐药性的晚期NSCLC患者，患者数据主要来源于广西医科大学第一附属医院。由于每个病例检查次数的不同以及用药后的反应差异，只有满足采集标准的数据才会被纳入研究，纳入研究的标准如下：1) 接受EGFR-TKI治疗时间超过6个月；2) 病理检查和基因检测证实了对EGFR-TKI产生耐药性；3) 至少具有3次CT检查图像资料：接受EGFR-TKI治疗后第1、第3以及第6个月的CT检查图像。最终共收集到168个满足标准的病例，并根据Yang的标准将这些病例分为快速进展组、局部进展组和缓慢进展组，同时对他们的CT检查图像进行标注。不同时期的肿瘤大小不一，为了能够获取更多的肿瘤图像的信息，选取2.5 mm薄层平扫CT成像来构成数据集，以3:1的比例将其划分为训练集和测试集，分别用于模型构建和性能评估。 2.2. 图像预处理 由于肿瘤存在时间上的特异性，每次检查的CT图像中含有肿瘤的切片数量通常都不同，一般选择病灶体最大的切片作为研究对象。图1显示了患者在接受药物治疗后3个不同时期的肺部CT影像，为了能够让模型更好地学习病灶体特征，输入模型的图像只包含了病灶体部分，通过从原图中裁剪出一个矩形ROI (Region of Interest)来实现 [ 10 ]，如图1中的黄色虚线标注区域。 图1. 时序医学图像 通过这种方式获取的ROI大小可能会受到不同时期病灶体大小变化的影响，针对这一问题，本文使用了三次样条插值的方法将裁剪图像统一调整为50 × 50像素大小，来满足CNN对输入图像尺寸大小的要求。此外，显现出病灶体区域较大的切片图像通常包含了更多的有用信息，可以采用图2中的方法将病灶体较大的切片及其上下两层的切片融合成一张三通道的图像作为CNN的输入图像，提升模型的学习能力。 图2. 三通道融合图像 2.3. 神经网络结构 2.3.1. 卷积神经网络 卷积神经网络的基本架构如图3所示，主要由卷积层、池化层和全连接层三个部分组成，一些卷积神经网络还包括批量归一化层(BN) [ 11 ] 和dropout [ 12 ] 层。 图3. 卷积神经网络基本架构 卷积层是卷积神经网络的核心部分，也被称为特征提取层，主要用于提取输入数据的特征。一个卷积层包含多个卷积核，不同的卷积核提取不同的数据特征，卷积核越多，能学习到的特征就越丰富。输入图像与卷积核进行卷积操作并通过一个非线性激活函数计算后可得到一系列特征图，即卷积层提取到的数据特征，可通过式子(1)表示： y ( i ) = f ( ∑ h = 1 n ∑ w = 1 n ∑ d = 1 m x h ， w ， d × w h ， w ， d i + b i ) (1) 式中n表示卷积核的高度和宽度，d表示卷积核的深度， x h ， w ， d 表示与卷积核相连区域的(h， w， d)处的值， w h ， w ， d i 表示卷积核(h， w， d)处的权重参数， b i 表示卷积核的偏置项， f ( ⋅ ) 表示激活函数。 池化层也叫下采样层，通常紧跟在卷积层之后，可以降低特征图的分辨率，从而减少计算量，加速网络训练。 全连接层位于多个卷积层和池化层之后，是多层感知机(Multilayer Perceptron， MLP)的隐藏层部分，层中的每个神经元与前一层的所有神经元进行全连接。全连接层的作用是整合卷积层或者池化层中具有类别区分性的局部信息 [ 13 ]。 2.3.2. 循环神经网络 循环神经网络能够处理任意长度的时间序列，常用于机器翻译、对话生成以及语音识别等自然语言处理领域，网络结构如图4所示。 图4. 循环神经网络结构 其中，每一个圆圈代表一个全连接的神经网络，分别用来处理不同时间点的输入数据，两两之间通过一个权重矩阵相连，通过这种方式来将过去时间点的输入考虑到当前时间点的输出中，具体过程如式(2)所示： o t = g ( V f ( U x t + W f ( U x t − 1 + W f ( U x t − 2 + ⋯ ) ) ) ) (2) 式中 o t 表示t时刻的输出向量， x t ， x t − 1 ， x t − 2 ， ⋯ 表示不同时刻的输入向量，这些向量构成了时间序列，W表示连接不同神经网络的权重矩阵，U表示一个神经网络中输入层到隐藏层的权重矩阵，V表示一个神经网络中隐藏层到输出层的权重矩阵。 2.3.3. CNN + RNN融合模型 本文基于CNN和RNN的特点提出了一种融合二者的模型，该神经网络模型在Keras深度学习框架上完成构建，包括python 3.6.5、Keras 2.3.1以及TensorFlow 1.14.0等工具。模型由CNN和RNN两个部分构成，CNN部分用于提取病灶体的特征，这些特征在时间轴上存在特定的关系，这种关系可以被RNN处理。本文使用经过预训练的Inception-V3网络作为图像的特征提取器，即CNN部分，Inception-V3 [ 14 ] 是一种深度卷积神经网络模型，在各种计算机视觉任务中均取得了出色的表现；RNN部分，选择长短时记忆网络(Long Short Term Memory Network， LSTM)来处理特征提取器输出的时序特征向量。 据此可以构建出如图5所示的网络模型，其中CNN部分包含三个卷积神经网络，分别用来处理不同时期的病灶体输入图像。图像经过卷积及池化后再通过一个全连接层整合输出，输出向量包含该时期病灶体抽象信息的同时与其他输出向量构成时间上的联系。三个输出向量构成了一个时间序列，使用三个时间步的LSTM网络来接收这些时间序列，内部的神经网络结构可以关联这些时间序列信息，并在LSTM中前向传播，在网络的最后一个时间步输出。在输出端引入一个全连接层，用来汇聚LSTM网络的输出信息，同时提高模型的学习能力，并在其之后应用一个BN层和一个dropout层来提高模型的泛化能力，最后通过一个softmax层输出最终的预测结果。 图5. 神经网络结构 2.4. 迁移学习和数据增强 医学图像数据的收集相对比较困难，主要有两个原因：第一，医学图像数据涉及病患的隐私和安全等信息，因此公开的医学图像数据会比较少；第二，对医学图像进行标注的过程十分繁琐，需要至少一名该领域的专家才能确保数据标注的准确性，这个过程将消耗大量的时间成本。网络训练的过程中，数据集过小可能带来过拟合等问题，针对这些问题，许多医学图像领域的研究使用迁移学习和图像增强的方法来弥补数据集较小带来的影响。 迁移学习是一种知识共享技术，网络模型首先在一个具有大量自然图像的数据集上训练，学到了大量丰富的特征以及复杂数据之间的非线性关系，当迁移到一个新的任务上时，降低了对新数据的依赖，从而减少构建深度学习模型所需的训练数据并提高模型的泛化能力。另外，医学图像和自然图像也有一定的共性，如图像中的物体都会有轮廓、纹理、线条等低级的特征，因此当预训练模型在新的数据集上训练时，可以在一定程度上加快收敛的速度。本文使用微调的方式来实现模型的迁移学习，模型的每一个Inception-V3网络首先在ImageNet数据集上进行预训练，该数据集含有1.4亿张自然图像，卷积神经网络能够从中学习到大量的抽象特征。当训练迁移到我们的数据集上时，固定模型CNN部分的权重参数，只训练模型RNN部分的权重参数。 迁移学习使模型的训练更高效，但并未从根本上解决数据集较小的问题。为进一步扩充训练数据，可以使用图像增强的方法，利用相关算法或技术对现有的数据进行处理，以此获得新的样本数据，从而达到扩充数据集的目的。常用的数据增强操作有旋转平移图像、扭曲图像特征、改变图像尺寸大小以及增强图像噪音等。这些增强数据的操作只应用于模型的训练集，为了避免训练样本的类别不平衡，不同类别的训练样本将进行不同规模的数据扩充。