(57)【要約】【課題】ボケ等の画像劣化の無い良好な高解像度の拡大画像を得る。【解決手段】拡大フィルタ１３はフィルタアルゴリズムに応じて、画素Ａの拡大画素群Ｄを生成し、更にその拡大画素群Ｄに元画素Ａを加えたパターンＥを生成し、テンプレートとして出力する。パターンマッチング部１４はフレームメモリ１２から、原画像１１内の自己合同性の利用を自己相似性の利用に拡大した比較対象パターンＥ’を含んだ画素群を読み出し、その画素群内の比較対象パターンＥ’と、拡大フィルタ１３から供給されるテンプレートＥとの評価関数を計算する。このときの評価関数は撮像センサの動作モデルを考慮した評価関数である。パターンマッチング部１４は、比較対象パターンＥ’の中で、上記の評価関数が最小となるパターンを画素Ａの最終的な拡大画素群として出力する。【選択図】図１
2013021623.tif 000002
【特許請求の範囲】
【請求項１】
原画像内の解像度変換対象の画素から拡大フィルタ処理により、前記画素の周辺位置のｍ個（ｍは自然数）の候補補間画素群を求め、その候補補間画素群に前記画素を加えたテンプレートを生成するテンプレート生成ステップと、
前記原画像内の自己相似性を利用した比較対象パターンを含む所定画素数の画素群を取得する画素群取得ステップと、
前記所定画素数の画素群内の比較対象パターンのうち、前記テンプレートと比較対象パターンとの間の、低解像度撮像センサ画素値は高解像度撮像センサ画素値の平均値であるという撮像センサの動作モデルを考慮した所定の評価関数が最小となる比較対象パターンを前記テンプレートとのパターンマッチングにより探索し、その探索された比較対象パターンの画素群を拡大画素群として出力するパターンマッチングステップと、
を含むことを特徴とする画像解像度変換方法。
【請求項２】
前記パターンマッチングステップにおける前記所定の評価関数は、
前記テンプレートの画素群の第１の平均値と比較対象パターンの画素群の第２の平均値との差分の絶対値と、前記テンプレート内の前記解像度変換対象の画素の値と比較対象パターンの画素群内の前記解像度変換対象の画素に対応する画素の値との誤差の絶対値と、前記テンプレートの画素群の各画素とその画素に対応する比較対象パターンの画素群の各画素との間の画素差分値の絶対値の積算値との和であることを特徴とする請求項１記載の画像解像度変換方法。
【請求項３】
原画像内の解像度変換対象の画素からフィルタ処理により、前記画素の周辺位置のｍ個（ｍは自然数）の候補補間画素群を求め、その候補補間画素群に前記画素を加えたテンプレートを生成する拡大フィルタ手段と、
前記原画像内の自己相似性を利用した比較対象パターンを含む所定画素数の画素群を取得する画素群取得手段と、
前記所定画素数の画素群内の比較対象パターンのうち、前記テンプレートと比較対象パターンとの間の、低解像度撮像センサ画素値は高解像度撮像センサ画素値の平均値であるという撮像センサの動作モデルを考慮した所定の評価関数が最小となる比較対象パターンを前記テンプレートとのパターンマッチングにより探索し、その探索された比較対象パターンの画素群を拡大画素群として出力するパターンマッチング手段と、
を備えることを特徴とする画像解像度変換装置。
【請求項４】
前記パターンマッチング手段における前記所定の評価関数は、
前記テンプレートの画素群の第１の平均値と比較対象パターンの画素群の第２の平均値との差分の絶対値と、前記テンプレート内の前記解像度変換対象の画素の値と比較対象パターンの画素群内の前記解像度変換対象の画素に対応する画素の値との誤差の絶対値と、前記テンプレートの画素群の各画素とその画素に対応する比較対象パターンの画素群の各画素との間の画素差分値の絶対値の積算値との和であることを特徴とする請求項３記載の画像解像度変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像解像度変換方法及び画像解像度変換装置に係り、特に入力画像をその画像よりも画素数の多い拡大画像に変換する画像解像度変換方法及び画像解像度変換装置に関する。
【背景技術】
【０００２】
一般的に、自然画では近傍の画素間には強い相関性を持つことが知られている。画像を拡大する解像度変換の場合、その相関性を利用し、近傍の画素をフィルタ処理することで拡大した場合の補間画素を生成する。また、同じフレーム内の似た変化を有する画像の性質である画像の自己合同、あるいは画像の相似性を利用した場合は、補間対象位置の近傍の画素で、画面内をパターンマッチングしながら探索し、最も自己合同、相似性の高い画素パターンを、補間画素値として用いる。
【０００３】
ところで、一般的に、補間拡大方式による画像解像度拡大の場合、バイリニア方式やバイキュービック方式等が用いられる（例えば、特許文献１参照）。これらのアルゴリズムは、図７（Ａ）に示す画素のインパルス応答として、同図（Ｂ）に示すようなシンク関数を用いた画素の理想インパルス応答を想定し、その理想インパルス応答の同図（Ｃ）に示す波形の近似を用いて、同図（Ｄ）に示すように拡大画像を得るものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−１４３３９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の補間拡大方式による画像解像度拡大では、画像内のエッジが滑らかに再現されるものの、画素のピークが保存されず、ボケ等の画像劣化が生じ易い。特に、低解像度撮像センサの撮像画像から上記の補間拡大方式により図７（Ｄ）に示すような解像度拡大画像を得た場合、図７（Ｅ）に示す高解像度撮像センサの撮像画像の近傍画素ａ0'とａ1'の平均画素値が、低解像度撮像センサの画素値ａになるという前提と不一致になり、正確な画像拡大結果を得ることができないという問題がある。
【０００６】
本発明は上記の点に鑑みなされたもので、ボケ等の画像劣化の無い良好な高解像度の拡大画像を得ることができる画像解像度変換方法及び画像解像度変換装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の画像解像度変換方法は、原画像内の解像度変換対象の画素から拡大フィルタ処理により、画素の周辺位置のｍ個（ｍは自然数）の候補補間画素群を求め、その候補補間画素群に画素を加えたテンプレートを生成するテンプレート生成ステップと、原画像内の自己相似性を利用した比較対象パターンを含む所定画素数の画素群を取得する画素群取得ステップと、所定画素数の画素群内の比較対象パターンのうち、テンプレートと比較対象パターンとの間の、低解像度撮像センサ画素値は高解像度撮像センサ画素値の平均値であるという撮像センサの動作モデルを考慮した所定の評価関数が最小となる比較対象パターンをテンプレートとのパターンマッチングにより探索し、その探索された比較対象パターンの画素群を拡大画素群として出力するパターンマッチングステップと、を含むことを特徴とする。
【０００８】
ここで、上記のパターンマッチングステップにおける所定の評価関数は、テンプレートの画素群の第１の平均値と比較対象パターンの画素群の第２の平均値との差分の絶対値と、テンプレート内の解像度変換対象の画素の値と比較対象パターンの画素群内の解像度変換対象の画素に対応する画素の値との誤差の絶対値と、テンプレートの画素群の各画素とその画素に対応する比較対象パターンの画素群の各画素との間の画素差分値の絶対値の積算値との和であることを特徴とする。
【０００９】
また、上記の目的を達成するため、本発明の画像解像度変換装置は、原画像内の解像度変換対象の画素からフィルタ処理により、画素の周辺位置のｍ個（ｍは自然数）の候補補間画素群を求め、その候補補間画素群に画素を加えたテンプレートを生成する拡大フィルタ手段と、原画像内の自己相似性を利用した比較対象パターンを含む所定画素数の画素群を取得する画素群取得手段と、所定画素数の画素群内の比較対象パターンのうち、テンプレートと比較対象パターンとの間の、低解像度撮像センサ画素値は高解像度撮像センサ画素値の平均値であるという撮像センサの動作モデルを考慮した所定の評価関数が最小となる比較対象パターンをテンプレートとのパターンマッチングにより探索し、その探索された比較対象パターンの画素群を拡大画素群として出力するパターンマッチング手段と、を備えることを特徴とする。
【００１０】
ここで、上記のパターンマッチング手段における所定の評価関数は、テンプレートの画素群の第１の平均値と比較対象パターンの画素群の第２の平均値との差分の絶対値と、テンプレート内の解像度変換対象の画素の値と比較対象パターンの画素群内の解像度変換対象の画素に対応する画素の値との誤差の絶対値と、テンプレートの画素群の各画素とその画素に対応する比較対象パターンの画素群の各画素との間の画素差分値の絶対値の積算値との和であることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、ボケ等の画像劣化が無い良好な高解像度拡大画像を得ることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の画像解像度変換装置の一実施の形態のブロック図である。
【図２】撮像センサのモデルから得られる拡大の解の概念図である。
【図３】拡大候補のパターンマッチングによる修正の一例を示す図である。
【図４】元画素をテンプレートに加えた場合のパターンマッチングを示す図である。
【図５】二乗誤差を評価関数にした場合の説明図である。
【図６】本発明における評価関数の説明図である。
【図７】従来の画像解像度拡大方法の一例と、その問題を説明する図である。
【発明を実施するための形態】
【００１３】
次に、本発明の実施の形態について図面を参照して説明する。
【００１４】
図１は、本発明になる画像解像度変換装置の一実施の形態のブロック図を示す。同図に示すように、本実施の形態の画像解像度変換装置１０は、原画像１１を１フレーム単位で記憶するフレームメモリ１２と、フレームメモリ１２から読み出された画素Ａ及びその周辺の各画素データが供給される拡大フィルタ１３と、パターンマッチングを行って拡大画像１５を出力するパターンマッチング部１４とを有する構成であり、拡大倍率ｍが「２」の例である。
【００１５】
ところで、ある解像度の撮像センサで撮影した画像をｍ倍に拡大し、解像度のｍ倍の撮像センサで撮影した画像を推定することは所謂逆問題であり、通常、解は不定となる。拡大対象画像をＦとし、拡大対象画像Ｆをｍ倍（画素数としてはｍ2倍）に拡大する場合、ある座標の画素Ａはｍ2個の画素群
Ｄ＝{A'p0,A'p1,・・・,A'pn,・・・,A'pm2-1} 
に拡大される。ここで、拡大後の画像Ｆ’は解像度がｍ倍の撮像センサで撮影されたものだと考えると、以下の関係となる。
【００１６】
Ａ＝（ΣA'pn）/ｍ2      (0≦ｎ≦ｍ2-１)      (1)
上記（１）式のみを拡大の拘束条件とした場合、図２に示した画素群のどれもが、画素Ａの拡大の解として成り立つことになる。図２はｍ＝２の例で、画素Ａの画素値を「３」とした場合、図２（Ａ）に示すA'p0＝A'p1＝A'p2＝A'p3＝３の場合、同図（Ｂ）に示すA'p0＝２、A'p1＝１０、A'p2＝A'p3＝０の場合、同図（Ｃ）に示すA'p0＝１２、A'p1＝A'p2＝A'p3＝０の場合、同図（Ｄ）に示すA'p0＝２、A'p1＝A'p2＝３、A'p3＝４の場合のいずれも（１）式で表わされる画素Ａの値が「３」となり正解となる。図２（Ａ）〜（Ｄ）に示す場合以外にも（１）式を満たす画素Ａの周辺画素A'p0、A'p1、A'p2、A'p3の値の組み合わせは多数ある。
【００１７】
そこで、本発明ではまず画像Ｆを、既存の拡大手法でｍ倍に拡大し、拡大対象画像内の画素Ａに対して候補補間画素群Ｄのｍ2個の画素{A'p0,A'p1,・・・,A'pn,・・・,A'pm2-1}を得る。候補値を得るための拡大手法は任意であるが、最終的に修正を行うので、ボケ等の劣化要因があっても処理量の少ないアルゴリズムが望ましい。従って、通常のフィルタ処理で候補補間画素群を求めてもよい。
【００１８】
前述したように、拡大画像の推定は逆問題であり、解は不定となる。通常のフィルタ処理によりこの逆問題の解を求めた場合は、実際に解像度のｍ倍の撮像センサで撮影した画像よりボケたものになるのが一般的である。そこで、本発明では画像の自己合同性を利用してフィルタによる拡大画像を修正する。
【００１９】
この場合、図３に示すように、画素Ａをフィルタ処理することで得られた拡大画素群
Ｄ＝{A'p0,A'p1,・・・,A'pn,・・・,A'pm2-1}
をテンプレートとして、画像Ｆ内をパターンマッチングし、最も類似度が高いパターン
Ｄ'＝{A"p0,A"p1,・・・,A"pn,・・・,A"pm2-1}
を見つける。その後、図３に示すように、画素Ａの最終拡大画素群として、拡大画素群Ｄをパターンマッチング後の画素群Ｄ’で置き換える。パターンマッチング後の画素群Ｄ’はパターンマッチング前の拡大画素群Ｄに較べてフィルタ処理がかけられていないため、ボケがなく良好な拡大画像となる。なお、図３はｍ＝２の例を示しているので、
Ｄ＝{A'p0,A'p1,A'p2,A'p3}，  Ｄ'＝{A"p0,A"p1,A"p2,A"p3}
である。
【００２０】
しかし、テンプレートとして用いる拡大画素群Ｄは逆問題の性格上、拡大前の画素Ａの情報を完全には保存できていないため、パターンマッチングの結果である画素群Ｄ’が画素Ａの正確な拡大画像としては誤差が大きいという問題がある。そこで、本発明ではテンプレートとして用いる拡大画素群Ｄに元画素Ａを加えた図４に示すパターンＥをテンプレートとする。
【００２１】
Ｅ＝{A,A'}＝{A,A'p0,A'p1,・・・,A'pn,・・・,A'pm2-1}      (2)
ただし、図４に示すように、パターンＥをテンプレートとして、画像Ｆ内をパターンマッチングしても画像Ｆ内にはパターンＥと合同なパターンが存在しないため、パターンマッチングできない。そこで、自己合同性の利用を、自己相似性の利用に拡大し、図４のパターンＥ’をパターンマッチングの探索対象とする。画像の自己相似性はフラクタル画像圧縮にも利用される良く知られた性質であるため、この拡張は妥当なものと考えられる。
【００２２】
そして、パターンＥとパターンＥ’とを評価関数に基づいて、パターンマッチングを行う。このパターンマッチングの評価関数は、一般的には二乗誤差、若しくは絶対値誤差の総和が用いられる。しかし、これらの評価関数では、前述した“低解像度撮像センサ画素値は、高解像度撮像センサ画素値の平均値である”という性質が考慮されないため、正確なパターンマッチングができない。
【００２３】
例えば、図５（Ａ）に示すようなA'p0＝A'p1＝A'p2＝A'p3＝３のパターンの拡大画素群Ｄを、同図（Ｂ）に示すA'p0＝A'p1＝A'p2＝３、A'p3＝４のパターンＢと、同図（Ｃ）に示すA'p0＝２、A'p1＝A'p2＝３、A'p3＝４のパターンＣとを、二乗誤差を評価関数に用いてパターンマッチングした場合、同図（Ｃ）のパターンＣが平均値は「３」であるので、本来なら解の一つであるが、平均値の異なるパターンＢが二乗誤差により選択されてしまう。
【００２４】
そこで、本発明では二乗誤差、若しくは絶対値誤差の総和を評価関数として用いず、以下の評価関数を用いてパターンマッチングする。
【００２５】
argMin{a*|A"−A|＋b*|ΣA"pn−ΣA'pn| 
＋c*Σ|A"pn−A'pn|}       (０≦ｎ≦ｍ2−1)        (3)
なお、（３）式のargMin{}は、{}を最小にする変数を求めるという意味を示す。すなわち、（３）式の{}内の値を最小とする{A"p0,A"p1,・・・,A"pn,・・・,A"pm2-1}を求めるパターンマッチングを行うことになる。
【００２６】
ここで、（３）式には、図６に示すように、絶対値誤差の積算項（Σ|A"pn−A'pn|）以外に、平均値同士の差分項（ΣA"pn−ΣA'pn）と、拡大前の画素相当の誤差項（|A"−A|）が加わっているので、前述した拡大前画素情報の欠落、センサモデルにおける平均値処理の欠如が解消され、より推定の精度が上がった拡大画像相当のパターンが選択される。
【００２７】
なお、（３）式中、a,b,cは任意の定数であり、どの要素を重視するかで変更可能であるし、これをノイズ状況などの情報で動的に変化させてもよい。
【００２８】
図１に戻って説明する。図１に示す本実施の形態の画像解像度変換装置１０は、上記のアルゴリズムに従った装置で、フレームメモリ１２は蓄積した原画像１１の画素Ａのデータと、ｍ倍（ここではｍ＝２）の拡大のフィルタ処理に必要な画素Ａの近傍の画素のデータとを同時に拡大フィルタ１３に供給する。
【００２９】
拡大フィルタ１３はフィルタアルゴリズムに応じて、画素Ａの拡大画素群Ｄを生成し、更にその拡大画素群Ｄに元画素Ａを加えた（２）式に示したパターンＥを生成し、このパターンＥをパターンマッチング部１４にテンプレートとして出力する。
【００３０】
パターンマッチング部１４はフレームメモリ１２に対し、原画像１１（画像Ｆ）内の自己合同性の利用を自己相似性の利用に拡大した比較対象パターンＥ’を含んだ所定画素数の画素群の読出しアドレスを順次送信することで、フレームメモリ１２から読み出した比較対象パターンＥ’を含んだ画素群を取得する。続いて、パターンマッチング部１４は、フレームメモリ１２から取得した比較対象パターンＥ’を含んだ画素群と、拡大フィルタ１３から供給されるテンプレートＥとの評価関数を計算するパターンマッチングを行う。このときの評価関数は前述の（３）式であり、撮像センサの動作モデルを考慮した評価関数である。
【００３１】
そして、パターンマッチング部１４は、取得した画素群内の比較対象パターンＥ’の中で、上記の評価関数が最小となる比較対象パターンを、パターンマッチングで探索した画素Ａの最終的な拡大画素群として出力する。最終的な拡大画素群を順に出力することで原画像１１の２倍（ｍ＝２）の拡大画像１５がパターンマッチング部１４から得られる。
【００３２】
このように、本実施の形態によれば、通常の拡大フィルタ処理で生成した候補補間画素群に元画素を加えたパターンであるテンプレートＥと、原画像１１内の自己相似性を利用した所定画素数の比較対象パターンＥ’とを、撮像センサの動作モデルを考慮した評価関数に基づいてパターンマッチングを行い、評価関数が最小となる比較対象パターンを最終的な拡大画素群としたため、フィルタ型画素補間のような低域フィルタ処理を行わないため、低域フィルタ処理に起因するボケの無い良好な解像度拡大画像を得ることができる。
【符号の説明】
【００３３】
１０  画像解像度変換装置
１２  フレームメモリ
１３  拡大フィルタ
１４  パターンマッチング部
【図１】
2013021623.tif 000003
【図２】
2013021623.tif 000004
【図３】
2013021623.tif 000005
【図４】
2013021623.tif 000006
【図５】
2013021623.tif 000007
【図６】
2013021623.tif 000008
【図７】
2013021623.tif 000009