system: [SYSTEM]

user: 3. 基于生成对抗网络的医学图像计算研究进展 3.1. 从潜层向量中合成医学图像 从潜层向量中合成医学图像又称医学图像的无条件合成，潜层向量一般从高斯分布或是均匀分布中采样而来，为了确保合成图像可以用于后续的医学图像分析任务，研究者们通常会对合成每一种模态图像都单独训练一个生成器。Frid-Adar [ 21 ] 等使用三个DCGAN分别生成了三类肝损伤(囊肿，转移酶和血管瘤)的CT图像。由于训练数据集样本有限，该研究使用了增强数据来训练生成对抗网络。在肝脏病变分类的实验中，该研究发现当合成样本与真实的训练数据结合使用时，分类结果的敏感性和特异性得到了同时提高，证明生成图像可用于病变数据增强，以改善疾病分类任务的性能。 Bermudez等 [ 22 ] 使用生成对抗网络来研究正常大脑的隐性流形，并生成新的高质量磁共振(magnetic resonance， MR)图像。为了验证生成图像的质量，作者先将生成图像与训练集进行互相关验证，证明合成图像并非是真实图像经过简单的图像处理手段得来的。其次，由两名神经放射科的医生评估真实图像和生成图像，生成图像的质量得分与真实图像的质量得分基本重叠。这项工作进一步证明了生成对抗网络合成逼真的医学图像数据的能力。 恶性及良性肺结节的区分在临床诊断上仍是一个较困难的挑战，放射科医生往往需要借助计算机辅助诊断系统来寻找与恶性和良性结节相对应的鉴别成像特征。为了进一步学习在肺结节上最有区别的特征，Chuquicusma等 [ 23 ] 利用DCGAN来逼真地生成肺结节样本。在对两名放射科医生进行的视觉图灵测试中，医生也很难将合成的肺癌结节图像与真实图像区分开，从而验证了所生成图像的质量。该研究随后还提出了合成图像的三种用途：1) 通过挖掘具有高度区分性的成像特征来改善疾病的诊断决策；2) 培训放射科医生；以及3) 作为数据增强方法以训练需要大量数据的深度网络。 与许多利用机器学习进行医学图像分析的任务一样，皮肤图像分析长期遭受缺乏标签数据和数据类不均衡的困扰，并且对皮肤病变分割或分类的模型更依赖于高分辨率的图像数据。Baur等人 [ 24 ] 成功地利用渐进式生成对抗网络从潜层向量中合成了具有高分辨率的逼真皮肤病变图像。定性和定量的实验表明这种渐进式结构相比常用的DCGAN等结构在合成高分辨率医学图像上的优势，并且即使是专业的皮肤科医生也很难将合成图像与真实的皮肤病变图像区分开。 由于生成对抗网络存在模式崩溃、训练不稳定的困难，以往的工作局限于二维切片的生成，很少尝试从潜层向量中直接合成三维医学图像。Kwon等 [ 25 ] 提出了一个三维生成对抗网络模型，该模型成功地从潜层向量中产生了全新的三维脑部MR图像。该研究将α-GAN [ 26 ] 的结构应用于三维医学图像生成，通过在现有的生成器和判别器之上引入附加的自动编码器和编码判别器网络来解决模式崩溃和生成图像模糊的问题。还利用带梯度惩罚的Wasserstein GAN [ 18 ] 损失函数来防止训练不稳定。为了证明模型的通用性，该研究分别在脑肿瘤和脑卒中的数据集上训练了多个模型，并证明了提出模型可以生成多类型(如正常或病变)和多模态(如T1、T2或FLAIR)的逼真三维脑部MR图像。由于该模型仅需要少量的训练数据，因此有望广泛应用于医学图像分析任务，特别是对罕见疾病的诊断任务。 考虑到大多数现有合成方法仅考虑全局上下文信息，而忽略了前景的结构细节，例如血管，骨骼等，在这些细节中可能包含了病变标志物。为此，Zhang等 [ 27 ] 提出了一种带有Sketching-Rendering架构的无条件生成对抗网络，以引入先验约束来指导医学图像的生成。在该研究提出的模型中，Sketching模块用于从随机噪声中生成高质量的结构草图，然后Rendering模块提出一种颜色渲染映射应用到生成的结构草图中，类似于添加背景外观。实验结果表明，所提出的模型在合成各种不同模态的医学图像上都达到了最好的结果，包括视网膜眼底图像，X光图像，CT图像和MR图像。此外，该研究还表明，通过将合成图像用作医学图像分割上的数据增强，可以使分割性能得到改善。 3.2. 跨模态合成医学图像 医学图像在各种临床应用中起着至关重要的作用。然而，由于多种考虑，例如成本和辐射剂量，某些模态图像的获取可能受到限制。跨模态医学图像合成是一种通过已有模态数据合成所需模态数据的方法，由于它不需要实际成本就能获取所需模态图像，引起了人们的广泛关注 [ 28 ] [ 29 ] [ 30 ]。Nie等 [ 31 ] 提出了生成器为全卷积网络(fully convolutional network， FCN)的生成对抗网络架构，实现了从MR图像生成CT图像和从3T-MR图像生成7T-MR图像两种任务。具体来说，该研究先训练了一个FCN以在给定源域图像的情况下生成目标域图像，并使用对抗训练策略来更好地建模从源域到目标域的非线性映射并生成更逼真的目标图像。该研究将基于图像梯度差的损失函数融入网络训练中，可以避免生成模糊的目标图像；并进一步应用了自动上下文模型细化生成结果。在三个不同的数据集上的实验结果表明，该研究提出的方法是准确而可靠的，可以从源域图像中准确合成相应的目标域图像。 对于多发性硬化症而言，PET是一种可靠的生物标记物，可用于测量多发性硬化症患者体内髓磷脂含量的变化。然而，PET成像昂贵且具有侵入性。尽管MR是一种非侵入性的且成本更低的技术，但迄今为止，现有的MR图像尚不能提供髓磷脂含量变化的直接标志物。为此，Wei等 [ 32 ] 提出了一种三维Sketcher-Refiner GAN用于脑部MR到PET的合成。该方法设置了两个生成过程来提升合成图像的质量，并使GANs训练过程更加稳定。具体来说，该研究先利用Sketcher模块生成初步的解剖和生理信息，再通过Refiner模块进行细化并生成可反映人脑组织中髓磷脂含量的图像。此外，该研究还设计了一种自适应对抗损失，使得Refiner模块更加关注多发性硬化症病变和髓磷脂含量的预测。评估结果表明，该方法有可能成为针对多发性硬化症患者临床管理的有效工具。 此外，多模态的神经图像，例如MR和PET可以提供互补的疾病信息，因而广泛用于脑部疾病的诊断，例如阿尔茨海默症等。然而在实际的临床场景中，某种模态的数据缺失往往是不可避免的，比如在ADNI [ 33 ] 数据集中，就有大量受试者缺乏PET模态的数据。解决这一问题的简单策略是直接将缺少PET数据的受试者移出训练集，但这将大大减少训练可靠诊断模型的受试者数量。由于从同一受试者获得的不同模态图像之间往往存在潜在的相关性，Pan等 [ 34 ] 提出了针对阿尔茨海默症的合成和分类两阶段深度学习框架。在第一阶段，通过使用CycleGAN根据现有的MR数据估算相应的缺失PET数据。在第二阶段，借助原始的MR数据和合成的PET数据，开发了用于阿尔茨海默症诊断和轻度认知障碍转换预测的深层多实例神经网络。在ADNI数据集上的实验结果表明，该研究合成的PET图像是合理的，而且在阿尔茨海默症的诊断方面也优于最新方法。更进一步地，为了避免合成模型会同等地处理三维图像中的所有体素，从而忽略了多模态图像中传达的疾病图像特定信息的问题，Pan等 [ 35 ] 提出了一个使用不完整的多模态神经影像数据进行图像合成和疾病诊断的联合深度学习框架。该框架包括用于图像合成的特征一致性生成对抗网络和用于诊断的疾病图像特定分类网络，诊断网络在其特征图中编码疾病图像的特异性以协助生成网络的训练，而生成网络估算缺失的图像以提高诊断网络的诊断性能。实验结果表明该框架能将生成和分类两个任务互相促进，从MR图像中合成更高质量的PET图像，并且利用合成图像进行多模态融合分类，提升了疾病诊断效果。 不同模态的MR可以从不同的角度表明肿瘤引起的组织变化，因此获取多种模态的MR图像有益于脑肿瘤的分割。考虑到获取多模态图像的成本，Yu等 [ 36 ] 设计了一种三维条件生成对抗网络，从脑肿瘤的T1-MR图像合成脑肿瘤的FLAIR-MR图像，并通过一种凸组合优化策略来进一步增强合成图像的细节。将合成图像用作多模态数据融合后，可以有效地提升在脑肿瘤分割任务上的表现。在另一方面，由于病理影像数据通常较少，医学影像数据集往往呈现类不均衡的情况，这为训练相应的深度学习诊断模型带来了重大挑战。Shin等 [ 37 ] 利用生成对抗网络从基于脑肿瘤或脑解剖结构的分割掩膜合成带有脑肿瘤的异常脑部MR图像。该研究展示了医学图像合成提供的两个独特优势：首先，通过利用合成图像作为肿瘤分割的数据增强方法提升了分割性能；其次，当在合成数据上训练模型与在真实受试者数据上训练模型时，肿瘤分割结果具有可比性，这证明了生成对抗网络作为匿名化工具的价值。该研究为解决深度学习在医学影像处理中面临的类不均衡问题和病理数据不共享问题提供了可能的解决方案。 尽管CycleGAN在不具有配对数据的医学图像合成中取得了显著成果，但是由于输入图像和合成图像之间缺少直接约束，因此CycleGAN无法保证两图像之间的结构一致性，而这种结构一致性在多模态医学图像中是极为重要的。为了克服这个问题，Yang等 [ 38 ] 提出了一种具有结构约束的CycleGAN，实现了不含有配对数据的脑部MR到CT的合成。该研究基于模态独立的邻域描述符定义了一种结构一致性损失，并附加到对抗损失上，以约束输入图像与合成图像之间存在结构一致性。此外，该研究提出了一种基于位置的选择策略来选择训练图像，而不同于以往常用的完全随机的数据选择方案。定性和定量的实验结果表明，该方法在医学图像合成上的效果比常规的CycleGAN更好。更进一步地，尽管CycleGAN及其改进框架已成功应用于脑部的不配对CT和MR图像，但由于骨盆区域存在关节和肌肉，骨盆区域图像的强度变化要比脑部图像更强。Hiasa等 [ 39 ] 通过添加梯度一致性损失来进一步扩展CycleGAN方法，用于骨盆区域的CT图像到MR图像的跨模态合成，以克服较大的图像结构变化与提高边界处的合成表现。为了评估图像合成结果，该研究对训练数据的数量和梯度一致性损失对图像合成表现的影响进行了研究，并通过合成图像的分割精度证明了所提出方法的适用性。 医学图像的自动分割在临床研究中具有广泛的应用。Zhang等 [ 40 ] 也提出了一种基于CycleGAN的跨模态综合框架来实现心血管MR图像到CT图像的三维合成，并通过将合成图像用于数据增强来改善分割结果。该研究的巧妙之处在于联合学习跨域转换的生成网络和性能更优的分割网络，生成网络用于增强训练样本有限的模态数据，而分割网络除了以在线学习的方式使用合成数据提高分割表现之外，还通过计算一种新颖的形状一致性损失，以保证输入MR图像和合成CT图像具有一致的解剖结构，解决在跨模态合成中经常存在几何失真的问题，提升生成网络的合成图像质量。二者以一种端到端的训练方式从一个联合优化目标中受益。实验结果表明，将合成数据用作线下的数据增强的表现不如该研究提出的端到端在线数据增强方法。分割和合成两种任务彼此有益，并且将它们结合起来处理比单独处理具有更好的表现。此外，CT图像能显示和分割出清晰的骨结构，因此在颅颌面部的诊断和手术计划中起着至关重要的作用。但是，CT成像会对被扫描的对象造成辐射风险，而MR则不存在这个问题。Zhao等 [ 41 ] 提出了一种具有深度监督判别器的级联生成对抗网络，先从MR中生成高质量的CT图像，再基于原始的MR图像和生成的CT图像来自动分割骨结构。与传统的判别器不同，深度监督判别器在不同的特征图层次上将生成的CT图像与真实的CT图像区分开。此外，该研究还加入了抽象感知损失，以提升合成数据在分割任务上的表现。实验结果表明，该方法生成的CT图像具有更清晰的结构细节，并且可以更准确地分割出骨结构。 3.3. 医学图像超分重建 在临床上，高分辨率的医学图像有助于医生对患者病情的分析和诊断更加精准。然而，受限于硬件设施、示踪剂剂量或成像时间等因素，医学图像的信噪比通常较低，获取高分辨率的医学图像相对困难。随着生成对抗网络在图像生成领域的广泛应用，研究人员也对其在医学图像超分辨率上的应用进行大量研究 [ 42 ]。 Mahapatra等 [ 43 ] 提出利用渐进式生成对抗网络 [ 7 ] 来实现多阶段渐进式地提升医学图像分辨率。该模型使用了两个相同结构的渐进式生成对抗网络同时学习从低分辨率眼底图像到高分辨率眼底图像的生成，并引入三元损失计算两个生成对抗网络损失，使得模型能利用前一阶段的输出作为基准逐步提高图像质量。该模型除了在图像定量评价指标上优于对比模型，在利用获得的高分辨率眼底图像和心脏图像分别进行血管分割和微动脉瘤监测实验上也有着更高的精确度。该研究利用分割和检测的准确度来评价模型性能的方式是对超分辨率图像质量客观和主观评价指标的有效补充。 Zhao等 [ 44 ] 提出了结合拉普拉斯金字塔 [ 45 ] 的生成对抗网络模型，生成视觉效果更好的高分辨率心血管超声图像以辅助诊断和治疗。该方法利用拉普拉斯金字塔结构在不同的尺度分析重建的超分辨率图像的高频细节特征，通过最小方差损失消除梯度消失效应，并引入密集残差块作为网络的基本单元以加深网络的深度。通过以上措施，使模型具有更强的超分辨率性能，避免产生局部伪影，并且在峰值信噪比和结构相似度指标上都具有更好的得分。该方法将拉普拉斯金字塔和生成对抗网络结合起来，更加注重于图像的高频细节，有效地提高了超分辨率质量。 为了使生成的超分辨率医学图像保留更多有用的图像细节，同时避免生成高频部分的错误信息，Bing等 [ 46 ] 提出一种基于生成对抗网络的医学图像超分辨率改进模型。通过对Squeeze and Excitation (SE)块 [ 47 ] 中的激活函数进行修改，使其能更高效地利用隐藏层信息和避免中间层的数值过小。该研究将改进的SE块集成到简化的EDSR [ 48 ] 网络中构建基于生成对抗网络的超分辨率改进模型，并通过融合相关损失进一步增强改进模型对图像低维特征的约束。在眼底数据集上的大量实验表明，该研究提出的方法比SRGAN [ 49 ]，EDSR [ 48 ]，VDSR [ 50 ] 和D-DBPN [ 51 ] 等经典方法具有更好的超分辨率性能。 You等 [ 52 ] 以CycleGAN为基本框架，结合深度卷积网络和残差网络，提出了一个从有噪声的低分辨率CT图像生成高质量的高分辨率CT图像的生成对抗网络模型。通过输入配对CT图像，网络的正向循环根据低分辨率图像生成高分辨率图像，反向循环则利用高分辨率图像生成低分辨率图像。为了增强低分辨率CT和高分辨率CT间的跨域循环一致性，该方法引入了循环一致性约束。此外，模型中引入联合约束以利用先验信息提高模型去除噪声以及保留高分辨率CT图像的解剖学结构的能力。通过在胫骨和腹部CT数据集上的实验，证明了该模型在CT图像超分辨率上具有优秀的性能。 为了解决临床实际上配对的低分辨率和高分辨率PET图像缺乏，而超分辨率模型训练需要大量配对图像的矛盾，Song等 [ 53 ] 提出了一种基于对偶生成对抗网络的自监督医学图像超分辨率方法。该模型通过引入VDSR [ 50 ] 方法的高维特征作为辅助信息，有效地增强了模型的超分辨率性能。并通过自监督方式减少了对配对的PET图像的需求，更加符合实际临床场景，然而该模型需要高分辨率的MR图像作为辅助信息，这会对实际应用造成一定的阻碍。 为了进一步解决超分辨率生成对抗网络训练不稳定的问题，Zhu等 [ 54 ] 提出一种基于多尺度生成对抗网络的病灶聚焦超分辨率模型，实现更加稳定和高效的训练并且生成感知上更加真实的超分辨率医学图像。具体而言，该研究首先利用预训练的病灶聚焦模型将病变区域分割出来，随后利用多尺度的生成对抗网络将分割出来的区域进行超分辨率。该研究提出的方法不仅可以实现病变区域的超分辨率，而且不会引入人造伪影。通过和其他超分辨率模型的比较，该模型在融合领域专家先验知识的评价意见得分中取得了最高评分。 为了辅助医生查看医学病理图像，Huang等 [ 55 ] 提出一种基于生成对抗网络的医学图像超分辨率方法。考虑到病理图像通常具有较大的无组织区域，该研究中先通过预处理手段获取组织区域，然后再通过生成对抗网络生成超分辨率的组织病理图像。该模型应用了小批量的相对判别器对生成图像和真实图像进行相对判别，促进模型学习更多的先验知识，提高超分辨率图像的质量。同时添加了额外的损失函数，使得在图像中病理组织变化较大的情况下模型也能具有较好的稳定性。最后，该研究提出了一种特征相似性 [ 56 ] 指标，能更好地评价超分辨率图像的特征重建效果。相关实验表明该模型在重建图像的颜色和细胞间的细节纹理上具有较大优势。 上述方法大多利用单一模型实现医学图像超分辨率，目前有学者对利用集成学习技术综合多个超分辨率模型实现医学图像超分辨率生成进行了研究。比如Lyu等 [ 57 ] 提出了一个深度集成学习框架进行MR图像的超分。具体而言，该研究首先在同一数据集上应用了五个常用的超分辨率模型，生成了五个具有先验互补性的放大MR数据集。接着通过一个生成对抗网络对放大后的五个MR数据集进行超分，生成超分辨率的MR图像。最后再利用另一个生成对抗网络对生成的超分辨率图像进行进一步细化合成，获得最终的超分辨率MR图像。相比于单个超分模型，该方法能有效融合多个方法的优点，在抑制伪影和保留图像细节上更具优势。该研究提出的通过集成学习技术对多个超分辨率模型进行集成的想法，非常具有进一步研究的价值。 3.4. 医学图像辅助诊断 在临床上，医学图像是医师对患者病情进行评估和诊断的重要依据，医师往往需要花费大量时间对病人的病理图像进行细致地观察和分析，白白耗费了宝贵的医疗资源。同时，医师对医学图像的分析存在主观差异，容易造成偏差。因此研究基于医学影像的辅助诊断技术具有重要意义，有利于提高医师对医学图像分析的效率和对患者病情诊断的精确度，有利于缓解医疗资源紧张的局面。 随着机器学习尤其是深度学习在医学图像计算上研究的深入，医学图像辅助诊断技术得到快速发展，如利用弥散张量图像(diffusion tensor image， DTI)进行脊髓型颈椎病(cervical spondylotic myelopathy， CSM)病变程度预测和诊断 [ 58 ] [ 59 ]；利用尺骨桡骨的X光片进行骨龄成熟度预测 [ 60 ] [ 61 ]；利用脑补磁共振(magnetic resonance， MR)图像进行阿尔茨海默症(Alzheimer’s disease， AD)的预测和诊断 [ 62 ] [ 63 ] [ 64 ] [ 65 ] [ 66 ]。由于生成对抗网络博弈对抗学习的方式具有半监督/无监督训练的特性，基于生成对抗网络的医学图像辅助诊断技术也受到广泛关注。 Yu等 [ 67 ] 提出了一种基于张量化和二阶池化的三元生成对抗网络模型(TGAN)利用MR图像的三维信息进行阿尔茨海默症的分类辅助诊断。该模型通过Tensor-train张量分解方法优化三元生成对抗网络的结构，有利于保留MR图像的三维脑部解剖结构信息。同时，通过引入二阶池化，能够充分利用整体MR图像的二阶信息，在自注意力机制的作用下提取与病变相关的更有判别性的特征，从而提高阿尔兹海默症的辅助诊断准确率。实验结果表明，基于张量化和二阶池化的三元生成对抗网络模型在NC (正常对照组) vs. AD (阿尔茨海默症组)上的辅助诊断率最优达到95.92%。 Lei等 [ 68 ] 提出了一种用于皮肤镜损伤区域分割的皮肤病辅助诊断生成对抗网络模型(DAGAN)。该模型中生成器模块由一个基于跳跃连接和密集空洞卷积的U-Net网络(UNet-SCDC)构成，有利于生成保留了细粒度信息的深度表示。判别器模块由两个子判别器构成，其中一个子判别器使用传统的对抗损失专注于判别分割区域与基本对照区域在边缘上的差异，另一个子模块使用条件判别损失检测原始图像中目标对象的上下文环境。通过在2017和2018的International Skin Imaging Collaboration (ISIC)皮肤损伤挑战赛公共数据集上进行验证，DAGAN对损伤区域分割的准确率达到了93.5%。 Wang等 [ 69 ] 提出半监督机制的多通道生成对抗网络(MGAN)用于糖尿病视网膜病变诊断。MGAN先利用多通道机制提取眼底图像中不同的糖尿病视网膜病变特征，再进行病变特征的结合表示，有效地对分散的病变特征进行提取。此外，MGAN设计了半监督的学习机制，减少了模型训练中对标注数据的依赖，有利于无压缩地识别出视网膜中的损伤特征。在公共数据集Messidor上的实验结果表明，MGAN对糖尿病视网膜病变的诊断准确率达到了84.23%，比其他模型的最高准确率提高了4.06%。