system: [SYSTEM]

user: 2. 模型的建立 2.1. 图像超分辨重建网络框架 网络框架见图1整体网络框架，和传统的超分辨网络基础框架类似，它具有三个主要组成部分，分别为特征提取、非线性映射和图像重建。特征提取部分将输入的低分辨图像x提取出浅层特征，这些浅层特征接着传输进非线性映射部分，非线性映射部分由一系列模块构成，最后将收集到的层次特征输入图像重建部分，来生成整个模型的高分辨图像y。 图1. 整体网络框架 2.1.1. 特征提取 如图1所示，用x和y分别代变网络的输入和输出图像，使用两层卷积网络来提取浅层的特征，第一层卷积网络从输入的x提取出特征 F 1 。 这里采用参数化纠正线性单元PReLU作为每个卷积层后的激活函数，来代替常用的修正线性单元ReLU [ 6 ] [ 16 ] 激活函数，PReLU引入了一个可学习的参数，可以避免ReLU中零梯度造成后续特征不可被激活的情况。PRELU被定义为： σ ( x i ) = max ( x i ， 0 ) + a i min ( x i ， 0 ) (1) 其中 x i 是第 i 层卷积层的输入，而 a i 是负部分的系数，当 a i = 0 时PReLU就退化为ReLU。 F 1 = σ ( H 1 ( x ) ) (2) 其中 H 1 ( ⋅ ) 表示特征提取部分中的第一层卷积操作，第一个卷积层有128个滤波器，使用 3 × 3 的卷积核，步长为1，生成的特征图通道数为128， σ ( ⋅ ) 表示PReLU激活函数。 将输出的浅层特征 F 1 输入进第二层卷积层 F 2 = σ ( H 2 ( F 1 ) ) (3) 其中 H 2 ( ⋅ ) 表示特征提取部分中的第二层卷积操作，第二个卷积层有128个滤波器，使用 3 × 3 的卷积核，步长为1，生成的特征图通道数为128， σ ( ⋅ ) 表示PReLU激活函数，其输出的特征为 F 2 。 2.1.2. 非线性映射 非线性映射层是超分辨重建中的关键步骤，其映射的高维矢量代表了相应的高分辨率部分 [ 6 ]。由多个组合的多尺度残差模块堆叠而成，来实施非线性映射。将 F 2 输入进第一个模块，同时引入局部残差学习的方法将 F 2 通过短连接的方式加到每一个模块后，从而改善信息流，提高网络表现能力，以此产生更好的性能。 F B 1 = H B 1 ( F 2 ) + F 2 (4) 其中 H B 1 ( ⋅ ) 代表第一个多尺度残差模块的复合函数操作，包括了一系列卷积和激活函数，输出的特征 F B 1 继续输入进后面的模块 F B n = H B n ( F B n − 1 ) + F 2 (5) F B N = H B N ( F B N − 1 ) + F 2 = H B N ( H B N − 1 ( ⋯ ( H B 1 ( F 2 ) + F 2 ) ⋯ ) + F 2 ) + F 2 (6) 其中 n = ( 1 ， ⋯ ， N ) ， H B n ( ⋅ ) 表示第 n 个模块的复合函数操作， F B n − 1 和 F B n 分别表示第 n 个模块的输入和输出，当 n 取到 N 时，得到整个线性映射部分的输出 F B N 。 2.1.3. 图像重建 在提取完局部与全局特征后，将 F B N 输入 3 × 3 的卷积层进行图像重建，生成的特征图通道数设为1，步长设为1，使用PReLU作为激活函数，其输出为图像 F R F R = σ ( H R ( F N ) ) (7) 其中 H R ( ⋅ ) 表示卷积操作， σ ( ⋅ ) 表示PReLU激活函数，其输出为图像 F R ，接着利用全局残差学习来获得特征图，整体网络的输入图像 x 通过残差学习短连接的方式对图像 F R 进行补充，输出高分辨图像 y y = F R + x (8) 2.2. 多尺度残差模块 图2展示了非线性映射部分的多尺度残差模块的细节，普通的残差网络是将每个残差单元短连接来构建深度比较大的网络。在本模块中将输入图像进行多尺度的卷积操作后，利用残差方式短连接到输入图像，可以补充更多丰富的高频信息，来有效地进行局部残差学习。此外，这种多尺度短连接可以携带更多的高频信息进入到更深的网络。 图2. 多尺度残差模块结构图 模块的输入为 F B n − 1 ，将其进行两层 3 × 3 卷积与PReLU激活 F B n − 1 ， 1 = σ ( H B n − 1 ， 1 ( F B n − 1 ) ) (9) F B n − 1 ， 2 = σ ( H B n − 1 ， 2 ( F B n − 1 ， 1 ) ) (10) 其中 H B n − 1 ， 1 ( ⋅ ) 和 H B n − 1 ， 2 ( ⋅ ) 表示卷积操作，卷积层滤波器个数均为128， σ ( ⋅ ) 表示PReLU激活函数。 使用 7 × 7 的卷积核提取 F B n − 1 高频的图像信息用短连接的形式添加在 F B n − 1 ， 1 上 F B n − 1 ， α 1 = H B n − 1 ， α 1 ( F B n − 1 ) (11) F B n − 1 ， M = F B n − 1 ， 1 + F B n − 1 ， α 1 (12) 其中 H B n − 1 ， α 1 ( ⋅ ) 表示 7 × 7 卷积操作，卷积层滤波器个数为128。 接着将 F B n − 1 ， M 作为输入，继续进行两层 3 × 3 卷积与PReLU激活 F B n − 1 ， 3 = σ ( H B n − 1 ， 3 ( F B n − 1 ， M ) ) (13) F B n − 1 ， 4 = σ ( H B n − 1 ， 4 ( F B n − 1 ， 3 ) ) (14) 其中 H B n − 1 ， 3 ( ⋅ ) 和 H B n − 1 ， 4 ( ⋅ ) 表示卷积操作，卷积层滤波器个数均为128， σ ( ⋅ ) 表示PReLU激活函数。 使用 5 × 5 的卷积核提取 F B n − 1 高频的图像信息用短连接的形式添加在 F B n − 1 ， 4 上 F B n − 1 ， α 2 = H B n − 1 ， α 2 ( F B n − 1 ) (15) F B n = F B n − 1 ， 4 + F B n − 1 ， α 2 (16) 其中 H B n − 1 ， α 2 ( ⋅ ) 表示 5 × 5 卷积操作，卷积层滤波器个数为128。 2.3. 损失函数 在超分辨重建中，损失函数用于测量生成的高分辨SR图像与真实的高分辨HR图像之间的差异，并指导模型进行优化，正则化可以防止模型在训练中出现过拟合。 像素损失用来测量两个图像像素之间的差异，通常采用L1正则化和L2正则化。为了简化表示，将 I ^ 代表模型生成的高分辨SR图像，I代表原始作为目标的高分辨HR图像，这里采用L2正则化，即最小平方误差 L p i x e l _ l 2 ( I ^ ， I ) = 1 h w c ∑ i ， j ， k ‖ I ^ i ， j ， k − I i ， j ， k ‖ 2 (17) 其中 h 、 w 、 c 分别是图像的长、宽和通道数。 为了抑制生成图像的噪声，我们将全变分正则化 [ 16 ] 引入此超分辨重建算法中，它能去除图像噪声，有效地保留图像边缘信息，有助于优化重建后的图像。它被定义为相邻像素之间绝对差异的总和，并测量图像中的噪声量，对于模型生成的高分辨SR图像 I ^ ，全变分正则化函数定义为 L t v ( I ^ ) = 1 h w c ∑ i ， j ， k ( I ^ i ， j + 1 ， k − I ^ i ， j ， k ) 2 − ( I ^ i + 1 ， j ， k − I ^ i ， j ， k ) 2 (18) 模型的损失函数结合了L2正则化与全变分正则化 L = L p i x e l _ l 2 ( I ^ ， I ) + φ L t v ( I ^ ) (19) 其中 φ 为参数。