FIT2016（第 15 回情報科学技術フォーラム）RI-0054 出力の畳み込みニューラルネットワークを用いた超解像Super-Resolution with Four Output Convolutional Neural Networks
加藤 裕†
Yu Kato大谷 真也†
Shinya Ohtani

黒木 修隆†
廣瀬 哲也†
Nobutaka Kuroki Tetsuya Hirose

1. はじめに
近年，ディジタルカメラ，携帯型情報端末，4K テレビなど，あらゆる映像機器の高解像度化が進んでいるが，高解像度の表示機器に低解像度の画像を入力する際には，何らかの解像度変換技術が必要となる．従来の線形フィルタによる補間法では，拡大後の画像にボケやジャギーといった画像の劣化が生じる問題がある．一方，元の画像に含まれない高周波成分を推定・復元する技術は，「超解像」と呼ばれ研究が盛んに行われている．Freeman ら [1] は補間法によりアップサンプリングされた低周波成分画像に対して高周波成分を加える手法を提案した．低周波成分に対応する高周波成分については，多くの事例をデータベース化し，辞書として保持するため，このような手法は事例参照型超解像と呼ばれる．以来，この枠組の手法は数多く提案されているが [1] – [8]，その中でも近年はスパースコーディングを取り入れた A+ [8] が高い性能を示している．
一方，Chao ら [9],[10] はニューラルネットワークを用いた超解像 (SRCNN) を提案し，驚異的に画質を向上させた．この手法では，Bicubic 法によって仮拡大した低周波成分画像から畳み込みニューラルネットワーク (CNN)を用いて，対応する高周波成分画像を生成する．事前学習
においては，低周波成分画像を入力，高周波成分画像を教師信号とすることにより，end-to-end で CNN を訓練する．
ただし，この手法には 1 つの問題点がある．CNN にはアップサンプリングの能力がないため Bicubic 法による仮拡大処理が必要となるが，Bicubic 法は CNN の学習プロセスに含まれていないため，そのフィルタ係数は最適化されない．この場合，初段の Bicubic 法は単なる次元拡大に過ぎず，高周波成分の生成には関わっていない．拡大後に CNNを動作させることは，メモリコストおよび計算コストの観点から非常に効率が悪い．
そこで，本研究では，Bicubic 法を用いずに CNN のみで超解像を実現するための新たなアーキテクチャを提案する．第 2 章で従来の SRCNN について説明したのち，第 3沼 昌宏†
Masahiro Numa

章で CNN を用いた 3 つのアーキテクチャを提案する．第4 章で様々な超解像手法との比較実験を行う．

2.

従来手法

本章では Chao ら [9],[10] が提案する従来の CNN を用いた超解像（SRCNN）の概要と問題点について述べる．

2.1. 概要
図 1 に SRCNN の概要を示す．入力画像を Bicubic 法で拡大したのち，3 層の CNN を通して高周波成分を推定す
る．Bicubic 法により拡大された低周波画像 Y に対し，1 層目の特徴マップ F1 は，F1 (Y ) = max(0, W1 * Y + B1 )(1)のように求められる．ここで，W1 は畳み込みのためのフィルタ群， B1 はバイアスである．W1 は 4 次元のテンソルであり，そのサイズは（入力チャンネル数 × フィルタの高さ× 幅 × 出力チャンネル数）となる．つまり，1 層目のフィルタサイズを f1 × f1 ，特徴マップ数を n1 とすると， W1 のサイズは 1× f1 × f1 × n1 である．2 層目の特徴マップ F2 は，F2 (Y ) = max(0, W2 * F1 (Y ) + B2 )(2)のように求められる． W2 のサイズは 2 層目のフィルタサ
イ ズ を f 2 × f 2 ， 特 徴 マ ッ プ 数 を n2 と す る と ，n1 × f 2 × f 2 × n2 である．最後に，超解像画像は，F (Y ) = W3 * F2 (Y ) + B3(3)のように求められる． W3 のサイズは n2  f3  f3  1 である．
学習段階では原画像群と，それらを Bicubic 法で縮小した後に再び拡大したボケ画像群を準備する．ボケ画像群を入力，原画像群を正解ラベルとして扱い，CNN の学習を行う．この学習により，CNN のフィルタ係数 W1 , W 2 , W3
およびバイアス B1 , B2 , B3 を決定する．

図 1 従来の SRCNN の流れ
Fig.1 Overview of conventional SRCNN.

†神戸大学大学院工学研究科,Graduate School of Engineering, Kobe University

23
第 3 分冊Copyright © 2016 by
The Institute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.

FIT2016（第 15 回情報科学技術フォーラム）3. 提案手法

2.2. 問題点
従来の SRCNN では Bicubic 法を用いて仮拡大した画像に対して CNN を適用するが，この仕組みが 2 つの問題を生む．第一の問題は，Bicubic 法における 16 個の係数が，CNN に含まれていないため，最適化されないことである．
図 2 に Bicubic 法における 2×2 倍拡大時の参照画素および出力画素の配置を示す．出力画素数は入力画素数の 4 倍である．1 つの出力画素は 16 個の参照画素に対する重み付き線形和により求められる．ただし，A，B，C，D の位置によって 16 画素に対する重みが異なる．そのため，出力画像の奇数行，偶数行，奇数列，偶数列の画素は，異なる計算によって得られたものと言える．これによって図 3 に示すように，拡大画像に周期的な縞模様が発生する．後段の CNN はこれを補正する役割を負うことになる．
もう 1 つの問題は，計算コストおよび利用メモリの増加である．例えば 2×2 倍拡大の場合，Bicubic 法で生成された画像は入力画像の 4 倍の大きさであるため，CNN も入力画像の 4 倍の大きさの特徴マップを全ての層で保持しなければならない．これはメモリを浪費するだけでなく，各層のフィルタサイズも相対的に大きくする必要があるため，計算コストの増加を引き起こす．

画像の 2×2 倍拡大を行うためには，1 つの入力画素あたり 4 つの画素を出力する構造が必要である．本章では，Bicubic 法を使用せずに CNN のみで超解像を実現するため，3 種類のアーキテクチャを提案する．

3.1. Type A: 4 並列の CNN (4P)2 章で述べたように，出力画素は最も近い入力画素から見て (A) 左上，(B) 右上，(C) 左下，(D) 右下の画素群に分類することができる．我々は CNN がそれぞれの画素群に特化するべきと考え，すでに図 4 に示すような 4 並列のCNN を用いた超解像 (4P) を提案している [11]．
この手法では，4 枚の画像がそれぞれ独立した CNN から生成される．例えば，CNN-A は画素群 (A) から構成される画像 FA (Y ) のみ生成する．画像 FA (Y ) は，

FA1 (Y ) = max(0, WA1 * Y + BA1 )(4)

FA2 (Y ) = max(0, WA2 * FA1 (Y ) + B A2 )(5)

FA (Y ) = W A3 * FA2 (Y ) + BA3(6)と表される．なお，添字の A はその変数または関数が画素群 (A) 専用であることを示す．このとき，入力画像と参照画素
出力画素

図 2 Bicubic 法における参照画素
Fig.2 16 Reference pixels of Bicubic method

Fig.3

図 3 Bicubic 法の係数に起因する縞模様Periodical degradation derived from Bicubic filter

図 4 Type A: 4 並列の CNN
Fig.4 Type A: Four parallel CNNs

24
第 3 分冊Copyright © 2016 by
The Institute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.

FIT2016（第 15 回情報科学技術フォーラム）CNN-A の出力画像のサイズは同じである．同様に画素群(B)，(C)，(D) に対応する CNN-B，CNN-C，CNN-D を独立に構成し，画像 FB (Y ) ， FC (Y ) ， FD (Y ) を求める．最後に
図 5 のように 4 枚の画像を再構成し，1 枚の超解像画像
F (Y ) を         F Y  A FA Y   B FB Y   C FC Y   D FD Y(7)のように求める．ここで， A Y  ， BY  ， CY  ， DY は A~D それぞれの位置に対するアップサンプリングを示す．この手法は，Bicubic 法による事前拡大を必要とせず，拡大前の画像と拡大後の画像との間で完全に end-to-end の学習が可能になる．

3.2. Type B: 4 つの出力チャンネルを持つ CNN(4CH)
次に，4 つの出力チャンネルを持つ CNN (4CH) を提案する．処理の流れを図 6 に示す．Type A では画素群 (A)，(B)，(C)，(D) をそれぞれ独立した 4 つの CNN から生成していたが，Type B では，それらの画素群を 1 つの CNNの 4 つの出力チャンネルから生成する．1 層目と 2 層目の出力は Type A と同様に
F1 Y   max0,W1 *Y  B1 (8)F2 Y   max0,W2 * F1 Y   B2 (9)によって求めるが，3 層目の出力のみ

F3 (Y ) = W3 * F2 (Y ) + B3(10)のように求める．ここで，式 (10) の F3 Y  は，式 (3) や式 (6) の F (Y ) とは異なり，4 チャンネルである．つまり，
W3 のサイズは n2  f 3  f3  4 である．このとき，F3 Y  の各チャンネルをそれぞれ F3.1 Y  ， F3.2 Y  ， F3.3 Y  ， F3.4 Y とすると，超解像画像 F Y  は，()()()()

F (Y ) =↑A F3.1(Y ) + ↑B F3.2 (Y ) + ↑C F3.3 (Y ) + ↑D F3.4 (Y )(11)と求められる．Type B は 1 つの CNN のみを用いるため，4 つの CNN を用いる Type A と比較して学習コストおよび処理時間を抑えることができる．

3.3. Type C: 回転平均を用いた 4CH (4CH-R)
次に前述の Type B に対して回転平均処理を導入する．
実際の利用環境においては，たとえユーザが入力画像を90 度，180 度，270 度に回転しても，同じ品質の超解像画像を出力することが望ましい．そこで，Type C では図 7 のように入力画像を 0°，90°，180°，270°に回転し，それぞれを Type B で拡大する．次に拡大後の画像を 0°，–90°，–180°，–270°に逆回転する．画像の回転を R Y  で表すと4 枚の画像は，F Y   R F R Y (12)と表される．この処理は CNN の内部構造を 0°，90°，180°，270°回転させることと等価である．もし CNN のフィルタ係数が上下左右対称ならば，4 枚の画像は同一のものとなるが，バックプロパゲーションによる学習過程の中でフィルタが完全な対称形になることは極めて稀である．そこで最終的に 4 枚の画像を平均して，F(Y ) = (F(Y ) + F90° (Y ) + F270° (Y ) + F180° (Y )) 4(13)のように超解像画像を得る．Type C では入力画像の方向に依存しない安定した品質の画像を生成することが可能である．

4. 実験
本章では CNN のトレーニングを行った後，超解像処理後の画質について評価を行い，最後に最新の超解像技術を含む 7 手法について処理時間を含めた性能評価を行う．
図 5 4 画素の分離と再構成
Fig.5 Separation and reconstruction of four pixels

4.1. 実験条件i)

比較手法は以下の 5 つである．
Bicubic 法

図 6 Type B: 4 つの出力チャンネルを持つ CNN
Fig.6 Type B: Single CNN with four output channels

25
第 3 分冊Copyright © 2016 by
The Institute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.

FIT2016（第 15 回情報科学技術フォーラム）ii) 従来手法：Bicubic 法 + CNN (SRCNN)iii) Type A：4 並列の CNN (4P)iv) Type B：4 つの出力チャンネルを持つ CNN (4CH)v) Type C：回転平均を用いた 4CH (4CH-R)
従来の SRCNN のフィルタサイズは文献 [10] に則り，
f1  9 ，f 2  5 ，f3  5 とし，提案手法のフィルタサイズは，
f1  5 ， f 2  5 ， f3  3 とした．いずれの手法も 1 層目と 2層目の特徴マップ数は n1  64 ， n2  32 とした．
なお，超解像は画像の Y 成分 (輝度成分) にのみ適用し，評価も Y 成分について行う．画質評価には PSNR (PeakSignal to Noise Ratio) の値を用いる．全ての処理は CPU：Intel Core i7 3.50 GHz，メモリ：8.00 GB の PC 上で行う．

4.2. CNN のトレーニング
まず 91 枚の画像 [10] を教師信号として CNN のトレーニングを行う．入力用の低解像度画像はこれら 91 枚をBicubic 法により 1/2 倍に縮小したものとする．バックプ
ロパゲーションは最大 1.6 億回とする．学習係数は 1 層目と 2 層目が 0.0001，3 層目が 0.00001 とする．
バックプロパゲーションに対する PSNR の変化を図 10に示す．ここに示した PSNR は図 8 に示す評価画像 (Set5) の PSNR の平均値である．33.66 dB の水平線は Bicubic
法の PSNR である．図 10 より，従来の SRCNN および 4Pに比べ，4CH および 4CH-R は PSNR が速やかに上昇していることが分かる．4CH と 4CH-R ではフィルタサイズ f1 ，f 2 ， f3 が小さいことと，単一の CNN しか持たないことから，パラメータが速やかに収束したと考えられる．

BC4P
4CH-R

図 8 評価画像 (Set 5)
Fig.8 Image Set 5

SRCNN
4CH

37.5
37.0

PSNR [dB]

36.5
36.0
35.5
35.0
34.5
34.0
33.5
33.0
0.0E+00

3.2E+07

6.4E+079.6E+07

1.3E+08

1.6E+08

バックプロパゲーション [回]図 9 評価画像 (Set 14)
Fig.9 Image Set 14

図 10 バックプロパゲーションの回数に対する PSNR の変化
Fig 10 Average PSNR curve for the number of back propagation

図 7 Type C: 回転平均を用いた 4 チャンネル出力の CNN
Fig.7 Type C: Four channel CNN with rotary averaging technique26
第 3 分冊Copyright © 2016 by
The Institute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.

FIT2016（第 15 回情報科学技術フォーラム）表 1 PSNR 測定結果 (Set 5)
PSNR [dB]
評価画像

baby
bird
butterfly
headwoman
平均値

従来手法
bibubic 法
SRCNN [10]
36.95
38.22
36.81
40.80
27.4932.60
34.74
35.55
32.30
35.27
33.66
36.49

Type A : 4P [11]
38.20
40.75
32.80
35.54
35.32
36.52

提案手法
Type B : 4CH
38.16
40.72
32.81
35.52
35.25
36.49

Type C : 4CH-R
38.38
41.40
33.29
35.62
35.70
36.88

提案手法
Type B : 4CH
25.66
28.32
27.84
30.50
28.19
35.50
32.93
38.90
36.37
30.78
37.26
36.95
29.80
33.32
32.31

Type C : 4CH-R
25.76
28.47
27.98
30.61
28.43
35.59
33.27
39.10
36.59
30.94
37.76
37.11
30.17
33.76
32.54

表 2 PSNR 測定結果 (Set 14)
PSNR [dB]
評価画像

baboonbarbarabridge
coastguard
comic
face
flowers
foremanlenna
manmonarchpepper
ppt3
zebra
平均値

bibubic 法
24.86
27.91
26.63
29.22
25.80
34.71
30.16
35.43
34.55
29.14
32.73
35.00
26.64
30.46
30.23

従来手法
SRCNN [10]
25.65
28.42
27.86
30.54
28.14
35.53
32.88
38.95
36.37
30.76
37.12
36.96
29.86
33.46
32.32

4.3. 超解像処理後の画質評価
評価画像は文献 [10] と同様に図 8 に示す 5 枚および図9 に示す 14 枚とする．なお，これらの画像は学習用の 91枚には含まれていない．これらを理想画像とし，Bicubic 法によって 1/2 倍に縮小した画像を超解像処理によって再び元のサイズに戻す．
図 11 に Set 5 の butterfly の処理結果の一部を示す．
Bicubic 法による拡大画像 (b) では，全体がボケていることに加え，斜めエッジの近辺に 2 画素周期の微かな縞模様が現れている．それに対して超解像による画像 (c)，(d)，(e)，(f) は鮮鋭であることが確認できる．以上の傾向は他の画像についても同様であった．
次に Set 5 および Set 14 の全画像の PSNR を，それぞれ表 1 および表 2 に示す．いずれの超解像手法も Bicubic 法に比べて 1dB～3dB 程度高い PSNR を示すことが確認できる．従来の SRCNN，Type A : 4P，Type B : 4CH の 3 手法については，PSNR 上の大きな差は見られないが，言い換えれば，Type B : 4CH は省メモリのアーキテクチャでありながら，他の 2 手法と同等の性能を維持していることが分かる．このことから，1 つの CNN の出力チャンネルを 4 つに分割する構成がメモリ削減の観点で高効率と言える．
一方，Type C : 4CH-R は，全画像について最高の PSNRを示した．これは回転平均の導入による効果が大きい．このことから，CNN 単体の特性は上下左右の方向に対してType A : 4P [11]
25.66
28.39
27.85
30.52
28.16
35.51
32.95
38.92
36.39
30.78
37.27
36.94
29.70
33.39
32.32

多少の不均衡があると考えられるが，それらを是正することで大きな画質改善につながることが分かる．回転平均の導入は，画像の入力方向に依存しない品質が得られる点でも大きな意義がある．

4.4. 各種超解像技術の性能比較
最後に，他の高性能な超解像技術 (ANR [7]，A+ [8]，SRCNN [10]) と提案手法 (4P，4CH，4CH-R) の性能を比較する．図 12 の横軸，縦軸はそれぞれ処理時間と Set 5 のPSNR の平均値である．図より，4CH が Bicubic 法を除いて最も高速であることが分かる．これは，4CH が 1 つのCNN のみで構成されており，さらにその内部のフィルタサイズが小さいためである．一方で 4CH-R が最も高い
PSNR を示した．4CH-R の処理速度は 4CH に比べ 4 倍遅いが，SRCNN に比べ 1.2 倍速い結果となった．よって計算コストよりも品質を重視する場合は Type C : 4CH-R が有利である．なお，4CH-R において画像の回転および平均に要する時間は極めて短く，CNN の処理に比べて無視できる程度であった．以上の結果から我々が提案した 4 出力の CNN を用いたアーキテクチャの有用性が確認できた．

5. まとめ本研究では，4 出力の CNN を用いた超解像アーキテク
チャを提案した．従来の CNN を用いた超解像 (SRCNN)は Bicubic 法による仮拡大処理が必要であったが，我々は，

27
第 3 分冊Copyright © 2016 by
The Institute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.

FIT2016（第 15 回情報科学技術フォーラム）

参考文献

[1]

[2]

[3]

[4]

[5]

[6]

[7]

W. T. Freeman, E. C. Pasztor, and O.T.Carmichael,“Learning low-level vision,” International Journal ofComputer Vision, vol.40, no.1, pp.25-47, Oct. 2000.
H. Chang, D. Y. Yeung, and Y. Xiong, “Super-resolution
through neighbor embedding,” IEEE Conference on
Computer Vision and Pattern Recognition, 2004.
R. Timofte, V. D. Smet, and L. V. Gool, “Anchoredneighborhood regression for fast example-based superresolution,” IEEE International Conference on ComputerVision, pp.1920-1977, 2004.
J. Yang, J. Wright, T. Huang, and Y. Ma, “Image superresolution as sparse representation of raw image patches,”
IEEE Conference on Computer Vision and PatternRecognition, 2008.
K. I. Kim and Y. Kwon, “Single-image super-resolution
using sparse regression and natural image prior,” IEEE
Transactions on Pattern Analysis and Machine Intelligence,
vol.32, no.6, pp.1127–1133, 2010.
J. Yang, J. Wright, T. Huang, and Y. Ma, “Image superresolution via sparse representation,” IEEE Transactions
on Image Processing, vol.19, no.11, pp.2861–2873, 2010.
M. Bevilacqua, A. Roumy, C. Guilemot, and M. L. A.
Morel, “Low-complexity single-image super-resolution(a) 原画像(d) Type A: 4P(32.80 dB)

based on nonnegative neighbor embedding,” British
Machine Vision Conference, 2012.
[8] R. Timofte, V. D. Smet, and L. V. Gool, “A+: Adjusted
anchored neighborhood regression for fast superresolution,” Asian Conference on Computer Vision, 2014.
[9] C. Dong, C. C. Loy, K. He, and X. Tang, “Learning a deep
convolutional network for image super-resolution,”
European Conference on Computer Vision, 2014.
[10] C. Dong, C. C. Loy, K. He, and X. Tang, “Image superresolution using deep convolutional networks,” Computer
Vision and Pattern Recognition, 2014.
[11] 大谷 真也，加藤 裕，黒木 修隆，廣瀬 哲也，沼昌宏，“4 並列の畳み込みニューラルネットワークを用いた超解像”，IEICE Transactions on Information andSystems，vol.J99-D，No.5，May 2016．
37.5
37.0

4CH-R
4PA+4CH

36.5

PSNR [dB]

Bicubic 法を必要とせず，直接 4 倍の画素を生成する超解像手法を実現した．実験では，Type B : 4CH が SRCNN よりも 4.3 倍速い処理速度を実現した．さらに，Type C : 4CHR が従来 SRCNN に比べ PSNR で 0.39 dB 高い 36.88 dB を達成した．今後は 3×3 倍以上の拡大倍率に対応するとともに，カラー画像に対応する予定である．

36.0

SRCNN

ANR

35.5
35.0
34.5
34.0

Bicubic

33.5
33.0
1.00E+01

1.00E+00

1.00E-01

1.00E-02

1.00E-03

Slower ‹------- 処理時間 [s] -------› Faster

図 12 各種の超解像技術の性能比較
Fig.12 Performances of several super-resolution techniques(b) Bicubic 法(27.49 dB)(c) 従来 SRCNN(32.60 dB)(e) Type B: 4CH(f) Type C: 4CH-R(32.81 dB)(33.29 dB)
図 11 超解像処理後の“butterfly”の一部
Fig.11 A part of “butterfly” after super-resolution

28
第 3 分冊Copyright © 2016 by
The Institute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.