system: [SYSTEM]

user: 3. 实验与结果 3.1. 数据集 为了评估本文所提出的图像超分辨重建网络算法的性能，使用三个真实的核磁共振(MR)图像数据库。第一个真实的核磁共振图像数据集是从iSeg-2017对于6个月的婴儿大脑核磁共振图像的分割任务中获得的(http://iseg2017.web.unc.edu/)。第二个真实的核磁共振图像数据集是从大脑分割测试网站下载的ALVIN数据集 [ 17 ] (https://sites.google.com/site/brainseg/)。第三个临床数据集来自2015脑肿瘤图像分割基准BRATS数据集 [ 18 ] (https://www.smir.ch/BRATS/Start2015)。所有数据集均采用轴向平面中常用的T1维度的核磁共振图像。 3.2. 实验评价指标 在实验中，使用以下两个个指标来评估图像重建算法：1) 峰值信噪比(PSNR) [ 19 ] 2) 结构相似性(SSIM) [ 20 ]： P S N R = 10 log 10 ( ( 2 n − 1 ) 2 M S E ) (20) M S E = 1 H × W ∑ i = 1 H ∑ j = 2 W ( X ( i ， j ) − Y ( i ， j ) ) 2 (21) 其中MSE表示当前图像X和参考图像Y的均方误差，n是每个像素的位数，如果每个像素都由8位二进制来表示，那么灰度图像的最大像素值为255。 X ( i ， j ) 和 Y ( i ， j ) 分别代表当前图像与参考图像的像素值，H和W代表图像的长和宽。PSNR是图像评价的客观标准，PSNR数值越高，图像的失真就越小。 S S I M ( X ， Y ) = l ( X ， Y ) ⋅ c ( X ， Y ) ⋅ s ( X ， Y ) (22) 其中 l ( X ， Y ) 、 c ( X ， Y ) 和 s ( X ， Y ) 代表亮度、对比度和图像相似性，SSIM数值越高，代表生成图像与参考图像的相似度越高。 3.3. 实验结果 将原核磁共振图像进行双三次插值Bicubic [ 21 ] 再下采样，得到与原高分辨HR图像大小相同的低分辨率LR图像作为算法的输入，并将其切片成31 × 31大小的图像，用于超分辨算法的训练，上述超分辨对比算法均在python2.7的pytorch框架上进行运算，实验的操作系统为Ubuntu16.04，CPU为Intel(R)E5-2620@2.1 GHz，GPU配置为TITAN X。本文提出的算法损失函数中的参数 φ 取值为0.1，多尺度残差模块的个数取为4，则网络深度为19。使用Adam算法来优化模型，迭代地更新神经网络的权重，其中权重衰减(weightdecay)设为0.0001，动量(momentum)设为0.9，一次训练所选取的样本数(BatchSize)为64。训练时每30个时期(epoch)进行学习率衰减，从初始值 10 − 3 降低至 10 − 5 。 为了验证我们的方法对大脑核磁共振图像数据集的影响，将此方法与其他超分辨图像重建方法进行比较，包括了超分辨率卷积神经网络(SRCNN)、加速图像超分辨率卷积神经网络(FSRCNN)、残差通道注意力网络(RCAN)、残差密集深度网络(RDN)、深度全局残差学习网络(VDSR)、深度递归残差图像超分辨网络(DRRN)。为了保持对照实验的公平性，将网络深度较大的RCAN、RDN与DRRN中各自的模块个数减小，使其网络深度与本算法类似进行对比实验。 3.3.1. iSeg-2017数据集 我们在iSeg-2017数据集上进行实验，此数据集为临床六个月的婴儿大脑核磁共振图像。我们随机地抽取15个T1维度的核磁共振3D图像，图像大小为 144 × 192 × 256 ，在每一个3D核磁共振图像中选取第131张到160张，也就是30张轴向平面图像用作训练。 图3展示了由不同的超分辨算法在婴儿大脑图像iSeg-2017数据集上生成的结果，本文提供的算法提供了更丰富的细节和显著的边缘，表1展示本算法获得了最佳峰值信噪比(PSNR) 36.92 dB和最佳结构相似度(SSIM) 0.9262。 Table 1 Results of different algorithms on the iSeg-2017 T1 MR Image databas PSNR (dB) SSIM SRCNN 34.78 0.8649 FSRCNN 35.10 0.9150 RCAN 33.56 0.8906 RDN 36.41 0.9225 VDSR 36.67 0.9250 DRRN 36.75 0.9249 Proposed 36.92 0.9262 表1. iSeg-2017 T1 MR图像数据库上不同算法的结果 图3. iSeg-2017 MR T1数据示例图像上不同算法重建的高分辨率SR图像的结果 3.3.2. ALVIN数据集 我们在ALVIN数据集上进行实验，此数据集为临床成人大脑核磁共振图像。我们随机地抽取15个T1维度的核磁共振3D图像，图像大小为 180 × 256 × 256 ，在每一个3D核磁共振图像中选取第131张到160张，也就是30张轴向平面图像用作训练。 图4展示了由不同的超分辨算法在在成人大脑图像ALVIN数据集上生成的结果，本文提供的算法提供了更丰富的细节，表2展示本算法获得了最佳峰值信噪比(PSNR) 38.42 dB和最佳结构相似度(SSIM) 0.9619。 Table 2 Results of different algorithms on the ALVIN T1 MR Image databas PSNR (dB) SSIM SRCNN 34.47 0.9028 FSRCNN 35.27 0.9268 RCAN 35.06 0.9311 RDN 36.62 0.9307 VDSR 37.74 0.9568 DRRN 38.11 0.9594 Proposed 38.42 0.9619 表2. ALVIN T1 MR图像数据库上不同算法的结果 图4. ALVIN T1 MR数据示例图像上不同算法重建的高分辨率SR图像的结果 3.3.3. BRATS数据集 我们在BRATS数据集上进行实验，此临床数据集为脑肿瘤图像。随机选择了20个T1对比增强型MRI图像与胶质母细胞瘤图像，图像大小为 240 × 240 × 155 ，在每个3D核磁共振图像中选取第65片到第99片，也就是35个轴向平面图像。由于该图像空白处过大，将轴向平面图像截取至 155 × 177 用作后续训练。 图5展示了由不同的超分辨算法在成人大脑肿瘤图像BRATS数据集上生成的结果，本文提供的算法提供了更丰富的细节，表3展示本算法获得了最佳峰值信噪比(PSNR) 36.35 dB和最佳结构相似度(SSIM) 0.9579。 3.4. 实验结果分析 在这项工作中，我们提出了一种新的基于多尺度残差学习和正则化的超分辨算法，用于核磁共振图像的重建。基于三个真实MR图像数据集的结果显示，本文提出的算法优于其他超分辨算法。 全局残差学习用于学习图像细节信息，在基于卷积神经网络的超分辨算法中已经得到了广泛的应用，在算法的。但是由于图像细节信息在比较深的卷积神经网络中会因退化问题而丢失，所以其性能会受到一定的限制。局部残差学习结构可以在一定程度上克服这个问题，因为局部残差学习使用的短连接传输细节信息，以此补偿某些缺失的信息。我们结合了基于浅层网络模块的局部残差学习与传统的全局残差学习，来提高算法的图像重建性能。 我们在网络中的非线性映射部分使用局部残差学习模型，该部分由多个多尺度残差模块堆叠。在多尺度残差模块中，实施浅层卷积分支与深层卷积分支的多尺度要素总和的策略。如图2多尺度残差模块结构图所示，浅分支为深分支提供了叠加的更丰富的高频特性，而深分支则将细节信息传输到较远的残留方块。为了研究多尺度残差连接对网络的影响，我们删除 7 × 7 与 5 × 5 的卷积特征提取及短连接，在ALVIN数据集上进行相同环境下的训练，实验结果显示在表4中。 大部分深度学习超分辨重建网络损失函数仅使用一项，为L1正则化或L2正则化，本文引入全变分正则化项，它能去除图像噪声，有效地保留图像边缘信息，有助于优化重建图像。为了研究全变分正则化项对网络的影响，我们在损失函数中删除此正则化项，在ALVIN数据集上进行相同环境下的训练，实验结果显示在表4。 由表4可看出多尺度残差学习对算法的实验结果有比较大的提升，更多更丰富的高频信息得以保留并传输到网络的下一层继续训练，全变分正则化降低生成噪声，当正则化项参数选取得当的情况下对训练结果有一定的提升。 Table 3 Results of different algorithms on the BRATS T1 MR Image databas PSNR (dB) SSIM SRCNN 34.97 0.9392 FSRCNN 34.99 0.9454 RCAN 35.32 0.9511 RDN 35.39 0.9489 VDSR 35.66 0.9538 DRRN 36.06 0.9560 Proposed 36.35 0.9579 表3. BRATS T1 MR图像数据库上不同算法的结果 图5. BRATS T1 MR数据示例图像上不同算法重建的高分辨率SR图像的结果 Table 4 Model analysis of this method on the ALVIN image verification se 多尺度残差学习 全变分正则化 PSNR (dB) SSIM 38.06 0.9578 38.34 0.9605 38.42 0.9619 表4. ALVIN图像验证集上对此方法的模型分析