system: [SYSTEM]

user: 3. 方法 从低分辨率图像 I L R 中恢复相应的高分辨率图像 I H R 是单图像超分辨率重建的主要目标。高分辨率图像的重建基于双重判别。生成器G的主要目的是通过生成类似于真实高分辨率图像的超分辨图像 I S R 来欺骗这两个鉴别器，使高分判别器 D 1 无法将伪造的高分辨率图像与真实的高分辨率图像区分开，并使低分判别器 D 2 无法区分伪造的低分辨率图像和真实的低分辨率图像。高分判别器和低分判别器的训练目标是防止被生成器欺骗。生成器和两个判别器的目标函数如下。 min G L ( G ) = 1 2 { E I H R ~ p ( I H R ) [ D 1 ( I H R ) ] − E I L R ~ p ( I L R ) [ D 1 ( G ( I L R ) ) ] } 2   + 1 2 { E I L R ~ p ( I L R ) [ D 2 ( I L R ) ] − E I L R ' ~ p ( I L R ' ) [ D 2 ( I L R ' ) ] } 2 (1) min D 1 L ( D 1 ) = − 1 2 { E I H R ~ p ( I H R ) [ D 1 ( I H R ) ] − E I L R ~ p ( I L R ) [ D 1 ( G ( I L R ) ) ] } 2 (2) min D 2 L ( D 2 ) = − 1 2 { E I L R ~ p ( I L R ) [ D 2 ( I L R ) ] − E I L R ' ~ p ( I L R ' ) [ D 2 ( I L R ' ) ] } 2 (3) 其中， I L R ' 表示生成的高分辨率图像降采样后得到的低分辨率图像。 p ( I H R ) 和 p ( I L R ) 分别表示真实的高分辨率图像和真实的低分辨率图像的分布， p ( I L R ' ) 表示降采样得到的低分辨率图像的分布。生成器和两个判别器以交替的方式训练。训练生成器时，两个判别器保持不变，并且生成器生成尽可能真实的高分辨率图像。当重建的高分辨率图像更接近实际的高分辨率图像时，真实的低分辨率图像和重建高分辨率图像的降采样图像也更接近。当训练两个判别器时，生成器保持不变。高分判别器判别重建的高分辨图像与真实的高分辨率图像，低分判别器判别超分辨图像的降采样图像与真实的低分辨率图像。 下面将详细讨论生成器和判别器的网络结构以及双重判别的判别原理。 3.1. 生成器网络 在SRGAN和ESRGAN中，用于恢复高分辨率图像的信息只是从最后一个残差块中提取的深层特征，而忽略了前面残差块提取的浅层特征。最后一个残差块不能代表前面所有残差块的贡献。经过一系列卷积运算后，网络前端提取的特征将发生变换、改变甚至丢失。将这些特征传输到网络末端后，它们与网络前端的浅层特征有很大的不同。浅层特征很难保留，但这些特征对于高分辨率图像的重建并非没有意义。因此，为了利用不同层的特征，将从每个残差块提取的特征直接传送到网络的末端。然而，每个残差块位于网络的不同位置，这些位置代表特征演化的不同阶段。因此，不同残差块提取的特征对图像超分辨率重建性能的影响不同。因此，必须变换这些特征，然后再将其直接送到网络末端进行融合，以重建准确的高分辨率图像。RDB用作基本残差块。提出的生成器网络模型在图1中进行了说明。生成器网络简记为TRDN。k表示卷积核的大小，n表示卷积核的数目，s表示卷积的步长。 图1. 生成器网络结构 生成器网络包括浅层特征提取、多层变换特征融合、全局残差学习和上采样操作。 3.1.1. 浅层特征提取 首先，提取输入的低分辨率图像的浅层特征： F 0 = H 0 ( I L R ) (4) 其中 H 0 表示浅层特征提取操作，并且 F 0 表示浅层特征。 3.1.2. 多层变换特征融合 提取的浅层特征用于多层特征提取： F i = H i ( F i − 1 ) ， i = 1 ， 2 ， ⋯ ， 16 (5) 其中 H i 表示多层特征提取操作，并且 F i − 1 和 F i 分别表示第i个残差块的输入特征和输出特征。然后，获得的浅层特征 F 0 和特征 F i ( i = 1 ， 2 ， ⋯ ， 16 ) 被变换： T i = t r a n s ( F i ) ， i = 0 ， 1 ， 2 ， ⋯ ， 16 (6) 其中， t r a n s ( . ) 表示变换操作，并且 T i 表示变换后的多层特征。变换操作的目的是使每个残差块提取的不同层的特征发挥不同的作用，而不是被同等对待。为了简化计算，使用大小为3 × 3的卷积核完成此变换操作。然后将变换后的特征进行融合以获得多层特征： M F = f 3 × 3 ( C ( T 0 ， T 1 ， T 2 ， ⋯ ， T 16 ) ) (7) 其中 C ( ⋅ ) 表示在特征在通道维度上的叠加， f 3 × 3 ( ⋅ ) 表示3 × 3卷积运算， M F 并且表示多层特征。 3.1.3. 全局残差学习 为了促进网络中信息的有效传输，执行全局残差学习： G = F 0 + M F (8) 其中G表示全局特征。 3.1.4. 上采样操作 最后，将获得的全局特征上采样两次： I S R = f 3 × 3 ( H u p × 2 ( H u p × 2 ( G ) ) ) (9) 其中 H u p × 2 表示上采样操作，上采样因子为2。 3.2. 双重判别 对抗损失的使用使生成的高分辨率图像有更多的高频纹理细节。一些现有的判别算法(例如SRGAN，ESRGAN和A-SRGAN)仅包括高分辨率图像的判别，却忽略了低分辨率图像的作用。根据一张低分辨率图像，可以获得许多高分辨率图像。但是，根据一张高分辨率图像，只能获得一张低分辨率图像。实验中使用的低分辨率图像都是通过双三次插值方法进行降采样得到的。如果重建的高分辨率图像足够准确，则对超分辨图像进行降采样获得的低分辨率图像也应该与最初的低分辨率图像相同。因此，通过对低分辨率图像的判别保证了生成的高分辨率图像可以被正确地降采样到原始的低分辨率图像，以此来指导超分辨图像的生成。判别器网络包含高分判别器和低分判别器，分别用来判别高分辨率图像和低分辨率图像。高分判别器和低分判别器的网络结构如图2所示。 图2. 判别器网络结构 生成器损失函数包含内容损失和对抗损失的加权总和： L G = L C o n t e n t + α L A d v e r (10) 其中 α = 0.00001 。 内容损失定义为真实的高分辨率图像和生成的高分辨率图像之间的均方误差(MSE)： L C o n t e n t = 1 r 2 W H ∑ x = 1 r W ∑ y = 1 r H ( I x ， y H R − G θ G ( I L R ) x ， y ) 2 (11) 其中W和H分别表示低分辨率图像的宽和高，r表示上采样因子。 对抗损失包括高分辨率图像和低分辨率图像的判别，定义为： L A d v e r = [ D 1 ( I H R ) − D 1 ( G ( I L R ) ) ] 2 + [ D 2 ( I L R ) − D 2 ( I L R ' ) ] 2 (12) 根据输入的低分辨率图像，生成器生成尽可能真实的超分辨图像。如果超分辨图像足够准确，则超分辨图像的降采样图像也应与真实的低分辨率图像一致。 高分判别器和低分判别器分别区分高分辨率图像和低分辨率图像的特征，并且将损失函数定义为 L D 1 = − [ D ( I H R ) − D ( G ( I L R ) ) ] 2 (13) L D 2 = − [ D ( I L R ) − D ( I L R ' ) ] 2 (14) 高分判别器区分真实和重建的高分辨率图像，低分判别器区分真实的低分辨率图像和超分辨图像的降采样图像。