H ∞ 最適線形フィルタによる静止画像の超解像処理○銭谷謙吾 山本裕 永原正章 (京都大学)

Super-Resolution Processing of Still Images via H ∞ -Optimal Linear Filters∗ K. Zenitani, Y. Yamamoto, and M. Nagahara (Kyoto University)
Abstract– In this article, we propose a new super-resolution processing of still images via sampled-data
H ∞ optimal ﬁlters. The proposed super resolution is executed by enlarging a digital image by using anup-sampler and a digital ﬁlter, which is linear processing with low computational complexity, while existing
methods such as TV (total variation) regularization methods require high computational cost. Moreover,since our method takes account of analog characteristics of original images, the reconstructed images containless artifacts. Examples are presented to show the eﬀectiveness of our method.
Key Words: Super resolution, image processing, sampled-data control, H ∞ optimization

1

はじめに

超解像処理とは，観測による劣化を受けた低解像度・低画質の観測画像から，高解像度・高画質の原画像を復元する画像処理である 7) ．扱いやすい定式化として，処理は次のようにモデル化される．まず，画素の集まりで表される高解像度・高画質の原画像が存在するものとする．そして，原画像に対するノイズ付加やダウンサンプルといった画質劣化処理を観測とみなす．原
画像の観測によって得られる低解像度・低画質の画像が観測画像である．この観測画像から原画像を復元する処理が超解像処理である．
超解像処理は入力となる観測画像の数によって 2 種類に分類できる．すなわち，1 枚の静止画像を入力とするものと，複数の静止画像を入力とするものである．
本研究で取り組むのは，1 枚の静止画像を入力とする超解像処理である．1 枚の静止画像からの超解像処理としては，バイリニア法，バイキュービック法 6) ，Lanczos法 3) などが従来よりよく用いられる．これらはローパス特性を持った線形フィルタによる処理であり，実装が容易である一方で，高周波成分の再現には向かず，エッジのシャープネスを保った復元が難しい．これに対して，近年，TV（Total Variation）正則化にもとづく手法が提案されている 2, 8) ．TV 正則化による超解像処理では，エッジをシャープに保ちつつ，リンギングやオーバーシュートをほぼ解消できる．しかし，その処理には最適化問題を解くための反復計算が必要であり，計算量が膨大になるため，リアルタイム処理には適していない．
これらの問題に対処するために，本研究では，観測に伴うゲイン低下の影響を考慮した上で，サンプル値
制御理論 10, 12) にもとづく H ∞ 最適線形フィルタ 4) による超解像処理を提案する．この処理は線形処理であり，計算量は TV 正則化法に比べ非常に少ない．さらに，復元性能は Lanczos 法や TV 正則化法よりも優ることをいくつかの画像処理実験により示す．

2

サンプル値 H ∞ 最適フィルタによる超解像処理

2.1

問題設定

本研究で考察する静止画像の超解像処理問題を次のように定式化する．

   



Fig. 1: YY フィルタ設計のための誤差系
問題 1 原画像を R ∈ RH×W , H, W ∈ N とする．観測画像 X ∈ Rh×w , h, w ∈ N は未知の観測関数によって原
画像 R を 1/Z に縮小した画像であり，H/h = W/w =Z ∈ N とする．観測画像 X と縮小倍率 Z とが与えられたとき，原画像 R を復元せよ．
この問題は明らかに悪条件問題であり，一意に解を決定することはできない．超解像処理とは，無数の解の候補から，なんらかの意味で「最適」な復元画像 Y ∈RH×W を一つ定める処理であるといえる．

2.2

サンプル値制御理論にもとづく方法

本研究では，超解像処理をサンプル点間補間処理とみなし，サンプル値制御理論を用いた線形補間フィルタによる超解像処理を提案する．提案法においては，バイキュービック法や Lanczos 法などの従来法と同じく，観測画像 X の Z 倍のアップサンプルデータに対する 2次元の線形畳み込みによって，超解像処理を行うものとする．従来法と異なるのは，畳み込みカーネルの設計にサンプル値制御理論を用いる点である．
カーネルに用いる線形フィルタの設計のための誤差形を Fig. 1 に示す．この誤差系における w から e へのシステムの H ∞ ノルムを最小化する最適化問題を解
き，得られる最適フィルタ K(z) のインパルス応答によって，畳み込みカーネルを定義する．
この最適線形フィルタ K(z) はサンプル点間補間を行う離散時間フィルタであり，復元したいアナログ信号の持つ特性を連続時間の伝達関数 F (s) として与えることで，この特性に極力忠実に補間を行う 4) ．
超解像処理への適用においては，原画像を与えるサンプル対象となった連続的な風景が，復元したいアナログ信号に当たる．しかしながら，適当な観測モデルを仮定し，原画像から観測画像を作り出して超解像処



60

原画像スペクトル50 gain (dB)40   A
30

Fig. 3: 超解像処理フィルタ設計のための誤差系

2010B0 -21010-1100

frequency (0~2π)

Fig. 2: 観測モデルに応じた u の変化
理実験を行うと，上記の方法では，復元画像と原画像の一致度が Lanczos 法に劣る．

2.3 観測によるゲイン低下への考慮
これまでのサンプル値制御理論にもとづく方法 4) の問題点は，観測モデルの影響が考慮されていない点にある．通常，観測モデルは未知である．しかし，ローパス特性を持つことは明らかであり，また，一般的な状況を想定することは可能である．例えば，コンピュータ上での画像処理を通じて観測画像が作られる場合には，原画像に対する平均化とダウンサンプルの組み合わせを想定しうる．あるいは，カメラなどの光学系を経て観測画像が得られる場合には，ガウシアンフィルタによるぼけの追加としてモデル化が可能である．
これに対して，Fig. 1 の誤差系では，K(z) に与えられる入力 u は，復元したいアナログ信号 r をサンプル，アップサンプルした信号である．前述のような平均化やぼけを含む観測モデルとは異なっている．この差違は，u のゲイン特性の差違として立ち現れる．観測モデルに応じた u の変化の例を，Fig. 2 に示す．このグラフは，標準テスト画像セットに含まれるある画像のDCT スペクトルにもとづくゲイン線図である．
Fig. 2 において，Fig. 1 の誤差系が想定する u を Aとおく．A は，テスト画像を原画像と見なして，これをサンプル，アップサンプルしたものである．観測画像が原画像の平均化とダウンサンプルによって作られる場合の u は B で表している．B のゲインが A よりも低下していることが分かる．この変化は，サンプル，アップサンプルの組み合わせよりも，平均化処理が低周波寄りのローパス特性を持つことに由来する．観測モデルとしてガウシアンフィルタによるぼけの追加を想定する場合にも同様の変化が生じる．従って，一般的な状況下では，K(z) にはフィルタ設計時の想定よりもゲインの低い信号が与えられることになる．このことは，復元信号 y におけるゲインの低下に繋がり，復元性能にも影響を及ぼす．
以上の考察を踏まえ，Fig. 3 の誤差系にもとづく K(z)の設計を本研究では提案する．
ここで P (s) はポストフィルタと呼ばれ，ホールド要
素 Hh/M の出力を周波数領域で重み付けする．P (s) をローパスフィルタとすると，P (s) によるゲイン低下を補うよう，中高域における K(z) のゲインが高まる．このことを利用して，観測モデルによるゲイン低下が補われるよう P (s) を設計する．このゲイン補償によって復元画像のスペクトルはより原画像に近付き，超解像Fig. 4: Lena (grayscale)処理の復元性能も向上すると考えられる．

3提案法による超解像処理例

3.1 実験概要
提案法について検証するために 3 つの実験を行う．
最初の実験では，P (s) を与える場合と与えない場合とで提案法の結果を比較し，観測モデルに由来するゲイン低下が補償されることと，それによって復元性能が向上することを確かめる．
次の実験では，標準テスト画像セットに含まれる自然画像を対象にバイリニア法，Lanczos 法，提案法による超解像処理を行い，提案法の復元性能を従来法と比較する．
最後の実験では，Lanczos 法，TV 正則化法，提案法による超解像処理を行い，復元画像を比較することで画質の考察に繋ぐ．
3.2 ゲイン補償効果の確認
原画像として用いるテスト用グレイスケール画像をFig. 4 に示す．Fig. 4 を縦横 1/2 に縮小して観測画像とする．縮小に当たっては，2 × 2 画素を平均化した後，2 倍ダウンサンプルする．
次に，提案法による超解像処理に用いる K1 (z), K2 (z)を設計する．K1 (z) の設計には Fig. 1 の誤差系を用い，K2 (z) の設計には Fig. 3 の誤差系を用いるものとする．
設計に当たっては次のパラメータを用いる．
F (s) =

1,(10s + 1)2P (s) =1.
0.28s + 1

サンプリング周期 h を 1 とし，ディレイ m を 4 とする．サンプル値 H ∞ 最適化を解くための FSFH (FastSampling/Fast hold) 近似 5, 11) における高速サンプル
倍率 N は 2 とする．

5040

原画像スペクトル

gain (dB)

302010Y10Y2-10-20 -21010-110010Fig. 6: Lena1Fig. 7: Baboon

frequency (0~2π)

Fig. 5: 復元画像 Y1 , Y2 のスペクトル以上の設定の下で超解像処理を行う．実験結果として得られる復元画像のスペクトルを Fig. 5 に示す．ゲイン補償のない K1 (z) から得られる復元画像を Y1 ，ゲイン補償のある K2 (z) から得られる復元画像を Y2 とする．
Y1 と原画像の PSNR（Peak Signal to Noise Ratio）は30.6999dB，SSIM (Structural Similarity)9) は 0.9687である．Y2 と原画像の PSNR は 35.2726dB，SSIM は0.9996 である．この処理結果より，ゲイン補償を導入したほうが PSNR および SSIM の指標に関して良い結果が得られることがわかる．

よび提案法のフィルタ設計パラメータは前節の実験と同じとする．2 倍超解像処理の実験については，復元画像と原画像が同一の大きさとなるため，PSNR および SSIM による復元度の評価を行う．
ここで，実験に用いる TV 正則化法は，8) を参考として次の手順に沿う．

1. 観測画像を骨格画像とテクスチャ画像に分離する．
2. 骨格画像を DCT にもとづくシャノンの内挿法で拡大し，TV 正則化を適用する．
3. テクスチャ画像を Lanczos 法で拡大する．
4. 処理後の骨格画像とテクスチャ画像を合成し，結果画像を得る．

3.3 復元性能評価
Kodak 社の Photo CD PCD09921 に含まれる 24 枚のカラー自然画像を対象に，バイキュービック法，Lanczos法，提案法を用いて 2 倍の超解像処理を行い，復元性能を比較する．実験に当たっては，テスト画像を原画像として，その縮小画像を観測画像とみなす．縮小の方法や提案法におけるフィルタ設計パラメータは前節の実験に準ずる．復元画像と原画像を比較して得られる PSNR および SSIM の平均値を Table 1 に示す．こ

骨格画像とテクスチャ画像への分離には 1) の方法を用いる．分離制御のパラメータは μ = 10, λ = 1 とする．
TV 正則化には 2) の方法を用いる．正則化パラメータは λ = 0.5 とし，反復回数は 500 回で固定とする．観測関数には特に仮定を設けない．
各復元画像と原画像の一致度を示す客観評価指標値
を Table 2 と Table 3 に示す． 2 倍超解像処理後の復Table 1: 復元性能評価結果

Table 2: 復元画像の再現性評価 (PSNR 値)

手法
提案法
Lanczos 法
バイキュービック法

PSNR 平均

SSIM 平均29.6286
29.4433
29.2284

0.9972
0.99230.9893

画像名
LenaBaboon

Lanczos 法
33.549723.2691

TV 正則化法
33.3760
23.2303

提案法
33.6748
23.2813

Table 3: 復元画像の再現性評価 (SSIM 値)
れらの結果より，PSNR および SSIM の指標に関して，提案法が，バイキュービック法および Lanczos 法に比べて優れていることがわかる．

3.4 画質評価
ここでは，標準テスト画像セット1 に含まれる 2 つのカラー画像，Lena (Fig. 6) と Baboon (Fig. 7) を対象に超解像処理を行い，画質を比較する．適用対象となる手法は，Lanczos 法，TV 正則化法，提案法である．
実験に当たっては，テスト画像 Lena と Baboon を原画像とし，これを 1/2 に縮小したものを観測画像と見なして，2 倍の超解像処理を適用する．縮小の方法お1 Kodak Lossless True Color Image Suite
http://r0k.us/graphics/kodak/
1 Image Database
Signal and Image Processing Institute, University of Southern
California
http://sipi.usc.edu/database/database.php?volume=misc

画像名LenaBaboon

Lanczos 法
0.99620.9881

TV 正則化法
0.99620.9893

提案法
0.99920.9989

元画像を以下に示す．Baboon の左目周辺の拡大画像を切り出している． 提案法に比べ Lanczos 法は若干ぼやけた画像になっている．また TV 正則化法はエッジが強調されすぎており人工的な印象を与える．

4

結論

本研究では，サンプル値制御理論を用いて設計された最適線形フィルタによる超解像処理を提案した．フィルタ設計に当たって，観測に伴うゲイン低下への補償を取り入れることにより，従来法に比して同等以上の復元性能を与えることを示した．

Fig. 8: Lanczos 法による 2 倍拡大 (Baboon)

Fig. 10: 提案法による 2 倍拡大 (Baboon)
像復元, 修士論文, 京都大学 (2005)

5) J. P. Keller, B. D. O. Anderson, A new approach to
the Discretization of continuous-time controllers,IEEE Trans. on Automatic Control, vol. 37, issue
2. pp.214-223 (1992)
6) R. G. Keys, Cubic convolution interpolation for
digital image processing, IEEE Trans. on Acoustic, Speech and Signal Processing, vol. 29, issue 6,
pp. 1153-1160 (1981)
7) S. C. Park, M. K. Park, M. G. Kang, Superresolution image reconstruction:a technicaloverview, IEEE Signal Processing Magazine, vol.
20, issue 3, pp.21-36 (2003)8) 齊藤, 1 枚の画像からの超解像度オーバーサンプリ
ング―サンプリング定理の壁を打ち破る, 映像情報
メディア学会誌, vol. 62, no. 2, pp.181-189 (2008)
Fig. 9: TV 正則化法による 2 倍拡大 (Baboon)

参考文献

9) Z. Wang, A. C. Bovik, H. R. Sheikh, E. P. Simoncelli, Image quality assessment: from error visibility to structural similarity, IEEE Trans. on Image
Processing, vol. 13, no. 4 (2004)

1) J.-F. Aujol, G. Aubert, L. Blanc-Féraud, A.
Chambolle, Image decomposition into a boundedvariation component and an oscillating component, Journal of Mathematical Imaging and Vision, vol. 22, pp.71-88 (2005)

10) Y. Yamamoto, A function space approach tosampled-data control system and tracking problems, IEEE Trans. on Automatic Control, vol.39,
no. 4, pp.703-712 (1994)

2) A. Chambolle, An algorithm for total variation
minimization and applications, Journal of Mathematical Imaging and Vision , vo.20, no. 1-2 (2004)

11) Y. Yamamoto, A. G. Madievski, B. D. O. Anderson, Computation and convergence of frequency
response via fast sampling for sampled-data control systems, Proceedings of the 36th IEEE Conference on Decision & Control, pp.2157-2162 (1997)

3) C. E. Duchon, Lanczos filtering in one and twodimensions, Journal of Applied Meteorology, vol.
18, issue 8, pp.1016-1022 (1979)
4) 掛水, サンプル値 H ∞ 制御理論によるディジタル画

12) 山本, 藤岡, 原, サンプル値制御理論 VI―ディジタ
ル信号処理への応用, システム/制御/情報, vol. 7,
no.6, pp.1-9 (2000)