26 Ｍ－ 02「ユーザの嗜好を反映できる高画質・高品質画像表示装置の開発」
亀田昌志（ソフトウェア情報学部、准教授）
鶴崎裕貴・中村星玲名（ソフトウェア情報学研究科）
本研究では、高解像度デバイスで高画質・高品質な画像を表示することを目的とした超解像処理技術を開発する。画像のテクスチャ領域における TV 正則化パラメータの値をあえて負の値にして発散させることで、主観的に高画質となる詳細成分を生成する。提案手法により出力された拡大結果は、従来手法と比べたときに不自然なノイズを発生することなく、画像の鮮明度が改善されていることが明らかになった。

１ 研究の概要

することにより、これまでの画像表示装置では困難であった高画質・高品質の画像再現を実現する。
さらに、出力結果の画質を評価する際、画像符号化等の画質評価でよく用いられる PSNR[4] やSSIM[4]は適切であるとは言えない。その理由は、上記の評価尺度が正解である原画像との比較に基づく参照型のものであるのに対し、超解像処理によって得られた出力画像には正解が存在していないためである。従来においては、超解像処理の画質評価を主観評価により行うことが一般的であったが、評価に時間がかかることや評価者に依存して評価結果がばらつくといった問題が残されていた。そこで本研究では、画像の輝度値ヒストグラムの形状が質感を伴う画質に影響していることに着目して、超解像処理による出力画像における特に鮮明度を評価するための客観的評価尺度を提案する。その上で、提案した評価尺度に基づいて、本研究において開発された新しい超解像処理の性能評価を行い、従来手法のものと比較する。

近年の画像デバイスの技術発展により、解像度の高い画像が表示可能になった。しかしな
がら、表示機器の性能に対して撮像機器のハードウェア技術が追いついていないことから、表示できるコンテンツの数が少ないのが現状である。その場合、既に取得された低解像度のコンテンツを活用するために、ソフトウェア技術を用いて高解像度・高品質のコンテンツに変換することが必要不可欠となる。このとき、従来手法のように線形補間等を用いて画素を単純に追加しただけでは、解像度の高い画像に必要とされる詳細成分が追加されないため、拡大画像は鮮鋭度の低いものとなり、ボケや不要な歪が発生する。
それに対して、画像に超解像処理 [1] を適用することで、線形補間の問題を解決し、高画質・高品質の画像再現を行うことが可能になる。超解像は、画像の拡大を行う際に、元の低解像度画像には含まれていない詳細成分を推測し、補填する処理である。この詳細成分を生成するために、本研究では Total Variation(TV) 正則化 [2] に注目する。TV 正則化を画像に適用することで、エッジと大まかな構造により構成される骨格成分と、画像の模様等に相当するテクスチャ成分に分離することができる。TV 正則化に基づいた従来の超解像手法 [3] では、エッジの鮮明化には対応できているものの、テクスチャ領域における質感表現は十分な品質であるとは言えない。これは、TV 正則化によって成分の分類が行われたとしても、各成分に対してどのような詳細成分を補填するのが適切であるかが明らかにされていないためと考えられる。
本研究では、テクスチャ領域とその他の領域において必要とされる詳細成分が異なることを明らかにした上で、TV 正則化に基づいて各領域に適切な詳細成分を補填する超解像処理を開発

２ 研究の内容

図 1 は、提案する超解像手法の処理手順を示している。提案手法では、入力画像に TV 正則化と TV 正則化拡大 [5] をそれぞれ適用し、テクスチャ画像と拡大骨格画像を作成する。このとき、TV 正則化では、テクスチャ領域とその他の領域の2種類のテクスチャ画像を作成する。

図 1：提案手法の処理手順
15画素から上下左右 4 方向に探索するもので、探索条件として注目画素と探索画素の誤差が閾値(TH1) 未満である場合に同じ領域とする。これをすべての画素に適用することで領域を分割するが、上述した分割方法では粒状の小領域が多く発生してしまうため、多数決フィルタ [6] を用いて粒状の各領域を周辺のよく似た領域と統合する。その後、拡大骨格画像をダウンサンプ
リグし、入力画像と差分により得られたテクスチャ画像を拡大する。求められた拡大テクスチャ画像と深さ優先探索による領域分割結果を用いて、各領域の拡大テクスチャ画像における画素値の絶対値平均が閾値 (TH2) よりも大きかった場合、テクスチャ領域とした。図 4 に、
画像 Lenna の領域分割結果を示す。図 4 の領域分割結果は、白画素がテクスチャ領域、黒画素がその他の領域となっており、このときのパラメータは、TH1=2、TH2=4 を選択した。

次に、拡大骨格画像とそれをダウンサンプリングした後に入力画像との差分を求めることで得られるテクスチャ画像を用いて、テクスチャ領域とその他の領域に入力画像を分割する。最後に、領域分割結果を用いて、拡大骨格画像にそれぞれの拡大テクスチャ画像を加算する。
まず、図 1 における TV 正則化について述べる。TV 正則化は以下の関数 F(u) の最小化問題の解を求めるものとして定義されている。

式 (1) は式 (2) の反復計算を用いることで解くことできる。

fi,j は原画像、ui,j は骨格画像、P、Q は入力画像の縦と横の画素数、N は繰り返し回数、∆tはステップ幅、λは平滑度を調整するパラメータである。図 2 に、画像 Lenna に対して TV正則化を適用した結果を示す。骨格画像とは、低周波成分とエッジ成分を含んだ画像であり、入力画像と骨格画像との差分であるテクスチャ画像は、高周波成分が多く含まれた画像になる。また、TV 正則化を応用した技術に TV 正則化拡大がある。図 3 において、画像 Lennaに TV 正則化拡大を適用した結果と、骨格画像を Bicubic 補間で拡大した結果の比較を示している。TV 正則化拡大は、線形補間等で拡大する場合と比べて、骨格画像のエッジの形状を高画質に保ったまま画像を拡大できる手法となっていることが確認できる。
次に、図 1 における領域分割について説明する。拡大骨格画像を対象として、深さ優先探索に基づいた領域分割を行う。これは、注目(a) 入力画像図 4：画像 Lenna における領域分割結果
2.1 テクスチャ領域におけるパラメータの決定式 (1) に示した TV 正則化のパラメータであるλは、特徴ごとに適切な値が異なっていることが実験により明らかになった。図 5 は、正と負のλを用いた場合の画質を比較したものである。図 5(c) では、負のλが用いられており、複雑な構造であるテクスチャ領域を鮮明にできているが、その他の領域ではノイズが発生している。一方図5(b) は、正のλを用いたものであり、テクスチャ領域の鮮明化については十分でないものの、その他の領域ではノイズが発生していない。このことから、拡大画像を作成する際は、テクスチャ領域では負のλ、その他の領域では正のλを用いることが望ましい。しかしながら、負のλを用いる場合、式 (1) の収束性が満足されないことから、繰り返し回数をあらかじめ指(b) 骨格画像(c) テクスチャ画像
図 2：TV 正則化の適用例(a) 入力画像(b) λ >0(c) λ ≤0
図 5：正と負のλを用いた場合の画質比較
上段：テクスチャ領域 下段：その他の領域(b) Bicubic 補間で拡大(a)TV 正則化拡大
図 3：拡大骨格画像の比較
16放物線を描く結果となっている。これは、いずれの入力画像を用いても同様の傾向が観測された。図 9 は、各λの値で PSNR が最大となる繰り返し回数をプロットした結果である。すべての点を用いて曲線近似をすると以下の式 (3)が得られる。

定する必要がある。その繰り返し回数の求め方を以下に述べる。
繰り返し回数を決定するために、図 6 に手順を示す実験を行い、適切な繰り返し回数を求める式を導出する。実験に使用した画像群を図 7に示し、実験結果を図 8 と図 9 に示す。図 6 中の理想画像とは、256 × 256 画素の入力画像に対する、512×512画素の原画像のことである。
図 9 は画像 Pepper の実験結果を示しており、λ ≤0 の場合、どの値をとっても PSNR の値は式 (3) は負のλを指定した場合に繰り返し回数 N を計算する式となっている。提案手法においては、式 (3) を用いて自動でパラメータの設定が行われる。
2.2 拡大画像に対する客観評価尺度の検討
出力結果の画質を評価する際、画像符号化
等 の 画 質 評 価 で よ く 用 い ら れ る PSNR[4] やSSIM[4] は適切であるとは言えない。その理由は、上記の評価尺度が正解である原画像との比較に基づく参照型のものであるのに対し、超解像処理によって得られた出力画像には正解が存在していないためである。拡大画像の主観評価においては様々な要因が存在するが、その中でも鮮明度に着目した客観評価尺度の検討を行う。
図 10 は、テクスチャのみで構成された入力画像に対して Bicubic 補間と提案手法をそれぞれ適用した拡大結果を比較したものである。また図 11 は、図 10 の拡大画像の輝度値ヒストグラムを示しており、縦軸は発生回数、横軸は左から 0 〜 255 の輝度値を表している。図 10と図 11 を比べれば、画像が鮮明になるにつれて、輝度値ヒストグラムの形状が横に広がっていることが観測される。
しかしながら、
図10(c) では過度な強調となっているため、その影響により輝度値 0 と 255 の発生回数が増えている。提案手法では、輝度値ヒストグラムの形状を数値化することで、拡大画像の鮮明度を客観的に評価する手法を開発す

図 6：実験手順(a)Airplane (b)Baboon(c)Lenna(d)Pepper

図 7：実験に使用した入力画像

図 8：各λの値における PSNR と計算回数の関係(a)Bicubic 補間(b) 提案手法(c) 提案手法(N=24)(N=32)
図 10：テクスチャのみが写されている入力
画像の拡大結果(a)Bicubic 補間

図 9：各λの値で PSNR が最大値となる繰り返し回数(b) 提案手法
(N=24)(c) 提案手法(N=32)

図 11：図 10 の輝度値ヒストグラム
17る。具体的には、輝度ヒストグラムの尖り具合を数値化するために尖度を用いることとした。
ヒストグラムの尖度は、式 (4) を用いて計算される。

この鮮明度 S が高いほど主観画質で鮮明感の得られる出力画像になっている。
表 2：図 10 の鮮鋭度 S
鮮明度

尖度

図 10(b)

図 10(c)

2.40

2.55

2.68

xi,j は拡大画像、x は拡大画像の画素値平均、s は拡大画像の画素値の標準偏差である。表 1より、尖度はヒストグラムの裾野の形状までを考慮するため、裾野が広がっている図 10(c) が一番高い値となっている。そこで裾野の広がり具合を一般的な尖度とは逆に反映した新たな尖度を計算するための式を以下の式 (5) に示す。

図 10(c)0.190.22－ 23.53

３ これまで得られた研究の成果

v は拡大画像の分散を示している。この を用いて、拡大画像の鮮明度を計算するために、式 (6) を提案する。

図 12 と図 13 に Bicubic 補間、Glasner らの手法 [7]、従来手法 [3]、提案手法の性能比較を示している。Glasner らの手法とは、その性能が高いことから超解像の研究ではしばしばランドマークとして用いられる手法である。提案手法のパラメータをλ = －0.5 とした場合に、その繰り返し回数は、式 (3) を用いて 18 回に決定される。図 12 は、161 × 241 画素の入力画像を縦横 3 倍に拡大した実験結果である。図このとき、d は異常画素の画素数を示している。異常画素とは、過度な強調により、輝度値ヒストグラムの形状が横に広がりすぎたために発生した画素値 0 と 255 のことを意味する。

(a)Bicubic 補間

図 10(b)

表 2 は、式 (6) を用いて図 10 の拡大画像の鮮明度 S を計算した結果である。図 10(c) の鮮明度が負の値になっている理由は、過度な強調により、異常画素が多く含まれているためである。提案した客観評価尺度 S は相対比較として用いることはできるが、具体的にどのような値が良い画質であるかを定義することが困難であるため、絶対比較として用いることは現段階ではできていない。また、テクスチャ領域の鮮明度しか正しく評価できないため、今後はその他の領域が多く含まれている自然画像においても評価できるように改善する必要がある。

表 1：図 10 の尖度
図 10(a)

図 10(a)(c) 従来手法 [3](b)Glasner ら [7](d) 提案手法

図 12：画像 Koala を用いた各手法の性能比較(a)Bicubic 補間(b)Glasner ら [7](c) 従来手法 [3]図 13：画像 Wall を用いた各手法の性能比較
18(d) 提案手法

ムにおける裾の広がりに注目した鮮明度評価尺度を開発した。この新しい評価尺度を用いて提案手法によって出力された拡大結果と従来手法のものと比べたときに、不自然なノイズを発生することなく、画像の鮮明度が改善されていることが示された。

12 において、提案手法の拡大画像は、テクスチャにあたるコアラの毛皮が他の手法よりも鮮明であると観測される。また図 13 は、64 ×64 画素のテクスチャのみで構成された入力画像を縦横 2 倍に拡大した実験結果である。図13 より、提案手法は、他の手法よりも壁のザラつきが表現されており、鮮明な拡大画像を作成することができている。これらの結果は、TV 正則化で生成された発散成分が、拡大画像のテクスチャの主観画質に対して効果的に作用したためと考えられる。
次に、図 12 と図 13 の拡大画像の鮮明度を式 (6) を用いて計算した結果を表 3 と表 4 に示す。これらの結果から、提案手法の鮮明度がすべての手法の中で一番高いことがわかる。この結果から、式 (6) による鮮明度の客観評価尺度は、主観画質に対応していることが明らかになった。

４ 今後の具体的な展開

提案手法による拡大画像の画質は、従来手法のものと比べて改善されてはいたものの、画像の内容や種類に依存して、さらなる高画質の結果を得られるパラメータが存在することが実験より明らかになりつつある。これは、提案手法
では二乗誤差に基づいた評価値である PSNRに基づいてパラメータを決定しているが、テクスチャの質感に対する画質が二乗誤差では十分に評価できないことが原因であると考えられる。
一方、超階調の実現に向けて、信号の階調方向の画質を改善するために、提案手法ではランダムノイズを付加し、それによって生じる信号の振動を強調する処理について検討した。これにより見かけ上の画質は改善されるものの、PSNR 等の客観評価尺度を用いて品質の改善を適切に評価することは困難である。これらの解
決には、質感の変化を数値的に表現可能な評価尺度を新たに提案することが必要である。

表 3：図 12 の鮮明度 S
図 12(a) 図 12(b) 図 12(c) 図 12(d)鮮明度

0.170.180.190.20

表 4：図 13 の鮮明度 S
図 13(a) 図 13(b) 図 13(c) 図 13（d）
鮮明度

0.28

0.30

0.28

0.31

５ 論文・学会発表等の実績

１）Hiroki Tsurusaki, Masashi Kameda,
Prima Oky Dicky Ardiansyah, "SuperResolution from a single image based on
total variation regularization", Proceedings of The 2nd International Conference on Intelligent Systems and Image
Processing, GS6-2, pp.204-208, 2014.9.
２）鶴崎裕貴、亀田昌志、プリマ オキ ディッキ アルディアンシャー、" 超解像による拡大画像の鮮明度に対する客観評価手法の提案 "、2014 年画像符号化シンポジウム（PCSJ2014）、P-4-12、2014.11.
３）石川雄大、" 粒状付加による画像の質感向上と画像特徴の関係 "、2014 年度卒業論文
要旨集、pp.230-231、2015.3.

本研究では、高解像度デバイスで高品質な画像を表示することを目的として、画像処理技術の開発を行った。超解像と呼ばれる画像処理は、単純な線形補間と比べて高周波成分を新たに生成することが可能であるが、従来手法においては、エッジのボケを改善されているものの、テクスチャ領域における質感の表現は十分であるとは言えなかった。そこで、画像をテクスチャとその他の領域に分類した後、テクスチャ領域の再現に適したパラメータの値を、複数枚の実画像を用いる実験により決定した。その結果、テクスチャ領域においては、本来収束させるために正の値を与えている正則化式のパラメータを、あえて負の値にして発散させることで、視覚的に高画質となる新たな成分を追加できることが明らかになった。一方で、テクスチャとは異なる領域で同様の処理を行った場合は、過度な強調によって主観的な画質が低下してしまうことが実験により確認された。以上の検討に基づいて、画像を複数の領域に分類した後、正則化式のパラメータの値を領域の特徴に応じて可変とする超解像処理を開発した。さらに、拡大結果の画質を、質感の改善も考慮して客観的に評価するための手法として、画像のヒストグラ

６ 受賞・特許なし

７ 参考文献[1] 田 中 正 行、 奥 富 正 敏、“ 画 素 数 の 壁 を 打
ち破る 複数画像からの超解像技術 ”、映情 メ 学 誌、Vol.62、No.3、pp.337-342、
2008.
19

[2] L. Rudin, S. Osher and E. Fatemi, “Nonlinear total variation based noise removalalgorithms”, Physica D, 60, pp.259-268,
1992.
[3] 桜井優、吉川明博、鈴木彰太郎、後藤富郎、 平 野 智、“Total Variation 正 則 化 手法と事例学習法を組合せた超解像画像の復元法 ” 、映情メ学誌、Vol.64、No.11、pp.1613-1620、2010.
[4] Z. Wang, A. C. Bovik, H. R. Sheikh and
E. P. Simoncelli, “Image quality assessment: from error visibility to structuralsimilarity”, IEEE Transactions on Image
Processing, Vol.13, No.4, pp.600-612,
2004.
[5] 齋藤隆弘、“ サンプリング定理の壁を打ち破る：1 枚の画像からの超解像オーバー
サ ン プ リ ン グ ”、 映 情 メ 学 誌、Vol.62、No.2、pp. 181-189、2008.
[6] 山本究一、村上伸一、“K 平均法を用いた画像の領域分割に関する一検討 ”、信学技報、IE2003-145、pp.83-88、2003.
[7] D. Glasner, S. Bagon and M. Irani,“Super-resolution from a single image”,
Computer Vision, 2009 IEEE 12th International Conference, pp.349-356,
2009.

20