(57)【要約】【課題】画像拡大を行う画像処理装置において、画像の解像度を向上させる。【解決手段】入力画像のテクスチャ成分を拡大するテクスチャ成分拡大部と、前記入力画像の拡大骨格成分と前記テクスチャ成分拡大部によって得られた拡大テクスチャ成分とを合成する成分合成部と、を備え、テクスチャ成分拡大部は、参照画像を利用した学習法に基づいてテクスチャ成分を拡大する。【選択図】図１
2011111819.tif 000002
【特許請求の範囲】
【請求項１】
入力画像のテクスチャ成分を拡大するテクスチャ成分拡大手段（１０、２０）と、
前記入力画像の拡大骨格成分と、前記テクスチャ成分拡大手段（１０、２０）によって得られた拡大テクスチャ成分と、を合成する成分合成手段（４、９）と、を備え、
前記テクスチャ成分拡大手段（１０、２０）は、参照画像を利用した学習法に基づいて前記テクスチャ成分を拡大することを特徴とする画像処理装置。
【請求項２】
前記拡大骨格成分および前記テクスチャ成分は、ＴＶ正則化手法を用いて得られることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記参照画像はテクスチャ成分画像であることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
入力画像の骨格成分を拡大する骨格成分拡大手段（２）を備え、
前記成分合成手段（４、９）は、前記骨格成分拡大手段（２）によって得られた前記拡大骨格成分と前記テクスチャ成分拡大手段（１０、２０）によって得られた前記拡大テクスチャ成分とを合成することを特徴とする請求項１ないし３のいずれか１つに記載の画像処理装置。
【請求項５】
前記入力画像から前記拡大骨格成分を得る拡大骨格成分取得手段（５）と、
前記拡大骨格成分をダウンサンプリングして、前記入力画像と同じサンプル数の画像となる骨格成分を得るダウンサンプリング手段（７）と、
前記ダウンサンプリング手段（７）にて得られた前記骨格成分を前記入力画像から減算して前記テクスチャ成分を得る減算手段（６）と、を備え、
前記テクスチャ成分拡大手段（１０、２０）は、前記減算手段（６）にて得られた前記テクスチャ成分を拡大することを特徴とする請求項１ないし３のいずれか１つに記載の画像処理装置。
【請求項６】
前記テクスチャ成分拡大手段（１０、２０）は、
前記参照画像をダウンサンプルした参照低解像度画像と、前記参照画像としての参照高解像度画像とを記憶する記憶手段と、
前記テクスチャ成分に基づく画像を複数のブロックに分割した元ブロック毎に、前記参照低解像度画像を同様に分割した参照ブロックの中で当該元ブロックに類似した１つ以上の参照ブロックを選択し、当該１つ以上の参照ブロックに対応する前記参照高解像度画像のブロックを用いて、当該元ブロックに対応する前記拡大テクスチャ成分のブロックを構成する手段と、を有することを特徴とする請求項１ないし５のいずれか１つに記載の画像処理装置。
【請求項７】
前記構成する手段は、前記元ブロック毎に前記参照ブロックの中で最も類似した参照ブロックを選択し、その参照ブロックに対応する前記参照高解像度画像のブロックを選択し、前記選択したブロックを用いて、当該元ブロックに対応する前記拡大テクスチャ成分のブロックを構成することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記テクスチャ成分拡大手段（１０、２０）は、前記入力画像から線形補間を用いて拡大テクスチャ成分を得る線形補間拡大手段を備え、
前記構成する手段は、前記参照ブロックの中で前記元ブロックとの類似度が所定値以上の参照ブロックがあった場合には、前記元ブロック毎に、前記参照ブロックの中で当該元ブロックに類似した１つ以上の参照ブロックを選択し、当該１つ以上の参照ブロックに対応する前記参照高解像度画像のブロックと、前記線形補間拡大手段によって得た前記拡大テクスチャ成分において当該元ブロックに対応するブロックとを、共に用いて、当該元ブロックに対応する前記拡大テクスチャ成分のブロックを構成し、前記参照ブロックの中で前記元ブロックとの類似度が前記所定値以上の参照ブロックがなかった場合には、前記参照ブロックを用いず、前記線形補間拡大手段によって得た前記拡大テクスチャ成分において当該元ブロックに対応するブロックを用いて、当該元ブロックに対応する前記拡大テクスチャ成分のブロックを構成することを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
コンピュータを、  入力画像のテクスチャ成分を拡大するテクスチャ成分拡大手段（１０、２０）、および、
前記入力画像の拡大骨格成分と前記テクスチャ成分拡大手段（１０、２０）によって得られた拡大テクスチャ成分とを合成する成分合成手段（４、９）として機能させる画像処理プログラムであって、
前記テクスチャ成分拡大手段（１０、２０）は、参照画像を利用した学習法に基づいて前記テクスチャ成分を拡大することを特徴とする画像処理プログラム。
【請求項１０】
入力画像から、前記入力画像が拡大された画像を生成する方法であって、
前記入力画像の拡大骨格成分を得ると共に前記入力画像のテクスチャ成分を得る分離拡大処理（１、２、５、６、７）と、
前記分離拡大処理（１、２、５、６、７）によって得られた前記テクスチャ成分を拡大するテクスチャ成分拡大処理（１０、２０）と、
前記分離拡大処理（１、２、５、６、７）によって得られた前記拡大骨格成分と前記テクスチャ成分拡大処理（１０、２０）によって得られた拡大テクスチャ成分とを合成することで、前記入力画像が拡大された画像を得る成分合成処理（４、９）と、を備え、
前記テクスチャ成分拡大処理（１０、２０）は、参照テクスチャ成分画像を利用した学習法に基づいて前記テクスチャ成分を拡大することを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビジョン、デジタルカメラ、医療画像などの画像を処理する画像処理装置、画像処理プログラム、および、画像を生成する方法に関する。
【背景技術】
【０００２】
非特許文献１〜３（参照によって引用する）には、Total variation（以下、ＴＶと記す）正則化手法を用いた画像拡大法が示されており、その方法はテレビジョンやカメラ画像などの超解像度拡大法として非常に有用である。【０００３】
図７に、非特許文献１〜３に示された、ＴＶ正則化手法を用いて画像拡大を行う画像処理装置の構成を示す。入力画像はＴＶ正則化成分分離部１にて入力画像の骨格成分とテクスチャ成分（いずれも入力画像と同じ画素数）に分離される。骨格成分はＴＶ正則化拡大部２にて拡大骨格成分となる。テクスチャ成分は線形補間拡大部３にて拡大テクスチャ成分となる。拡大骨格成分と拡大テクスチャ成分は成分合成部４にて合成され、最終拡大画像が得られる。【０００４】
図８に、ＴＶ正則化成分分離部１の処理をフローチャートで示す。入力画像ｆｉｊ（ｆは画素の値、ｉ、ｊはそれぞれ横方向および縦方向の画素位置を表す添字）が入力されると、ステップ１０１で演算回数Ｎが０に初期設定された後、ステップ１０２でＴＶ正則化演算のための修正項αが図中の式のように計算される。ここで、λは所定の正則化パラメータであり、総和記号（Σ）は画素全体についての総和を表し、ナブラ（∇）は、画像内の横方向位置および縦方向位置をそれぞれｘ方向、ｙ方向とする周知のベクトル微分演算子である。ステップ１０３で画素値ｕｉｊ（Ｎ）が−εαによって新しい画素値ｕｉｊ（Ｎ＋１）に更新される（ｕは画素の値、ｉ、ｊはそれぞれ横方向および縦方向の画素位置を表す添字）。そして、ステップ１０４で演算回数Ｎがインクリメントされ、ステップ１０５で予め定められた値ＮｓｔｏｐにＮが達したか否かが判定される。Ｎが値Ｎｓｔｏｐに達していない場合はステップ１０２に戻る。Ｎが値Ｎｓｔｏｐに達した場合は画素値ｕｉｊが最終骨格成分として出力され、またステップ１０６で入力画像ｆｉｊからｕｉｊが引き算されて、テクスチャ成分ｖｉｊが出力される。なお、ｕの初期値ｕｉｊ（０）は、例えば、入力画像ｆｉｊと同じとする。【０００５】
非特許文献１〜３に示されたＴＶ正則化手法を用いた画像拡大法は、繰り返し演算にて膨大な計算時間のかかる、ＴＶ正則化演算処理部を２個有している。すなわち、ＴＶ正則化手法によって骨格成分とテクスチャ成分を分離するＴＶ正則化成分分離部１と、ＴＶ正則化手法によるＴＶ正則化拡大部２の２つである。【０００６】
そこで、本発明者らは、ＴＶ正則化手法を用いて画像拡大を行う画像処理装置において、全体の計算時間を削減することを目的として、特許文献１（参照によって引用する）に記載のものを先に提案した。この画像処理装置の構成を図９に示す。なお、以下に説明する特許文献１の技術は、２０１０年３月１２日の時点で公知技術ではない。【０００７】
この画像処理装置は、入力画像から拡大骨格成分（入力画像の骨格成分を表す画像であり、かつ、入力画像よりもサンプル数が多くなった画像）を得るＴＶ正則化拡大部５と、このＴＶ正則化拡大部５で得られた拡大骨格成分をダウンサンプリングして、入力画像と同じサンプル数の画像となる骨格成分を得るダウンサンプリング部７と、ダウンサンプリング部７にて得られた骨格成分を入力画像から減算してテクスチャ成分を得る減算部６と、減算部６にて得られたテクスチャ成分に対して線形補間を用いてサンプル数を増やし（すなわち、拡大し）拡大テクスチャ成分を得る線形補間拡大部８と、ＴＶ正則化拡大部５にて得られた拡大骨格成分と線形補間拡大部８にて得られた拡大テクスチャ成分とを合成し拡大出力画像を得る成分合成部９と、を備えている。【０００８】
この画像処理装置は、次のように作動する。入力画像はＴＶ正則化拡大部５で拡大骨格成分となる。拡大骨格成分はダウンサンプリング部７で図１０に示すように画素数が間引きされてもとの入力画像と同じサンプル数の画像となる。例えば、図の左側に示す６×６の拡大画像について、ダウンサンプリングを行うことにより、図中の黒丸を削除して、３×３の半分のサイズの画像を作成する。このダウンサンプリングにより得られた骨格成分は入力画像から減算されてテクスチャ成分となる。テクスチャ成分は線形補間拡大部８にて拡大テクスチャ成分となる。拡大骨格成分と拡大テクスチャ成分は成分合成部９にて合成されて最終拡大画像となる。【０００９】
図１１に、ＴＶ正則化拡大部５での処理を示す。このＴＶ正則化拡大部５では、拡大演算を行うため、例えば、ｉ，ｊそれぞれを２倍にして、ｕの画素数を入力画像の画素数の４倍とするような演算を行う。なお、このような拡大演算は、図７に示すＴＶ正則化拡大部２と同様のものである。具体的には、その拡大演算は次の通りである。【００１０】
まず、ステップ２０１で演算回数Ｎが０に初期設定された後、ステップ２０２でＴＶ正則化演算のための修正項αが図中の式のように計算される。ただしここでは、拡大演算をしているので、ｕｉｊの画素数は入力画像の画素数をｎ×ｎ倍（例えば、２×２＝４倍）したものとなっている。このため、ステップ２０２では、右辺第２項のｕ＊ｉｊ（Ｎ）を例えば図１０のようにダウンサンプルしたものとし、入力画像ｆｉｊと画素数（すなわちサンプル数）が同じになるようにしている。ステップ２０３で画素値ｕｉｊ（Ｎ）が−εαによって新しい画素値ｕｉｊ（Ｎ＋１）に更新される。そして、ステップ２０４で演算回数Ｎがインクリメントされ、ステップ２０５で予め定められた値ＮｓｔｏｐにＮが達したか否かが判定される。Ｎが値Ｎｓｔｏｐに達していない場合はステップ２０２に戻る。Ｎが値Ｎｓｔｏｐに達した場合は画素値ｕｉｊが最終骨格成分として出力される。なお、図７のＴＶ正則化拡大部２と図９のＴＶ正則化拡大部５とは、入力される画像が骨格成分か入力画像ｆｉｊかが違うだけで、入力される画像に対して行う処理内容は同じである。【００１１】
この実施形態によれば、図７に示す画像処理装置と比べ、計算時間のかかる、ＴＶ正則化成分分離部１が削除されているので、計算量を大幅に減らし、全体の計算時間を削減（例えば、半減）することができる。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特願２０１０−４２６３９
【非特許文献】
【００１３】
【非特許文献１】齊藤隆弘: "1 枚の画像からの超解像度オーバーサンプリング"，映像メディア学会誌, Vol.62, No.2, pp.181-189, 2008
【非特許文献２】石井勇樹，中川陽介，小松隆，斎藤隆弘: "乗算型骨格テクスチャ画像分離の画像処理への応用", 電子情報通信学会論文誌，Vol.J90-D, No.7, pp. 1682-1685, 2007
【非特許文献３】T. Saito and T. Komatsu : "Image Processing Approach Based on Nonlinear Image-Decomposition"，IEICE Trans. Fundamentals, Vol.E92-A, NO.3, pp.696-707, March 2009
【発明の概要】
【発明が解決しようとする課題】
【００１４】
上記した図７や図９に示す画像処理装置による画像拡大法では、テクスチャ成分から拡大テクスチャ成分を得るのに線形補間を用いている。このような線形補間による拡大の場合、補間により画素数が増えても補間した画素を元の情報から作っているので、画像の解像度を向上させることができないという問題がある。【００１５】
本発明は上記点に鑑みて、画像拡大を行う画像処理装置において、画像の解像度を向上させることを目的とする。
【課題を解決するための手段】
【００１６】
線形補間による画像拡大では実現できない解像度の向上を目的として、学習法（あるいは事例学習法）と呼ばれる方法が広く研究されている。この方法の基本的な原理について説明すると、まず、入力画像を線形フィルタによって、低周波成分画像と高周波成分画像に分離し、低周波成分画像は線形補間法によって拡大し、高周波画像成分画像は学習法を用いて拡大する。高周波成分画像の拡大に関しては、そのまま線形補間法によって拡大すると高周波成分の高精細化が期待できないので、入力画像とは異なった別の参照拡大高周波成分画像を用意する。参照拡大高周波成分画像は、高周波成分（高精細成分）が多く含まれる画像が選ばれる。この参照拡大高周波成分画像をダウンサンプルして、入力画像と同じ画素数を持つ、参照高周波成分画像を作る。この参照高周波成分画像と入力された高周波成分画像の間で、ブロック（あるいはパッチと呼ばれる）に分けた部分画像に関して、その類似性を相関計算によって求め、類似性の高いブロック（最も高い１個でも上位複数個でもよい）を選択する。次に、選択したブロックに対応する参照拡大高周波成分画像のブロックを用いて、拡大高周波成分画像のブロックを構成する。こうすることによって、拡大高周波成分画像の各ブロックには類似した参照拡大高周波成分画像の情報が組み込まれ、その結果、高精細な画像が得られる。【００１７】
この学習法における大きな課題のひとつに、エッジ成分の正確な復元ということがあげられる。これは、線形フィルタによって高周波成分画像を分離することに起因しており、高周波成分画像においては、入力画像のエッジ成分に相当する部分において、大きなエネルギーとピーク値を持った成分が現れる。この様子を図１２に示す。このエッジ成分の類似画像を求めるのには大きな労力を必要とする。例えば、ブロックのサイズを小さくする（これは計算時間の増大を招く）、参照画像の数を増やす（これはメモリの増大と計算時間の増大を招く）などの工夫が行われてきた。しかしながら、それでも、画像のエッジ成分は、ピーク値が大きいため、類似性の高い画像を見つけることは難しく、その結果、入力画像によっては、画像のエッジ成分の付近に画質劣化が現れやすいという欠点があり、これを克服するのは大きな困難を伴っていた。【００１８】
本発明は、この学習法の本質的な欠陥を解決している。すなわち、本発明では、画像のフィルタによって分離された高周波成分ではなく、ＴＶ正則化手段等によって分離されたテクスチャ成分を利用しているところに、その大きな特徴がある。画像を骨格成分とテクスチャ成分に分離すると、エッジ成分は骨格成分に含まれ、テクスチャ成分には、大きなピーク値を持ったエッジ成分がほとんど現れてこない。この様子を図１２に示す。テクスチャ成分に学習法を適用すると、上述のエッジ成分に起因する画質劣化がほとんど発生せず、またそれを改善するための工夫（ブロックサイズを小さくする、参照画像の数を増やす）も不要となり、計算時間も大幅に削減される。一方では、エッジ成分は、ＴＶ正則化拡大法にて、理想的な超解像の拡大ができるので何らの問題もない。【００１９】
この結果、画像のエッジ成分、テクチャ成分ともに画質劣化を伴わない、理想的な超解像拡大が可能となり、しかも演算時間の削減も期待される。【００２０】
本発明は上記検討をもとになされたもので、入力画像のテクスチャ成分を拡大するテクスチャ成分拡大手段（１０、２０）と、前記入力画像の拡大骨格成分と前記テクスチャ成分拡大手段（１０、２０）によって得られた拡大テクスチャ成分とを合成する成分合成手段（４、９）と、を備え、前記テクスチャ成分拡大手段（１０、２０）は、参照画像を利用した学習法に基づいて前記テクスチャ成分を拡大することを特徴とする画像処理装置である。この発明によれば、テクスチャ成分に対し学習法を用いて拡大することにより、画像の解像度を向上させることができる。【００２１】
また、前記拡大骨格成分および前記テクスチャ成分は、ＴＶ正則化手法を用いて得られるようになっていてもよい。【００２２】
また、参照画像としては、入力画像のテクスチャ成分と同様の特徴を有する画像として、テクスチャ成分画像を採用してもよい。【００２３】
また、画像処理装置は、入力画像の骨格成分を拡大する骨格成分拡大手段（２）を備え、前記成分合成手段（４、９）は、前記骨格成分拡大手段（２）によって得られた前記拡大骨格成分と前記テクスチャ成分拡大手段（１０、２０）によって得られた拡大テクスチャ成分とを合成することを特徴とするようになっていてもよい。【００２４】
あるいは、画像処理装置は、前記入力画像から前記拡大骨格成分を得る拡大骨格成分取得手段（５）と、前記拡大骨格成分をダウンサンプリングして、前記入力画像と同じサンプル数の画像となる骨格成分を得るダウンサンプリング手段（７）と、前記ダウンサンプリング手段（７）にて得られた前記骨格成分を前記入力画像から減算して前記テクスチャ成分を得る減算手段（６）と、を備え、前記テクスチャ成分拡大手段（１０、２０）は、前記減算手段（６）にて得られた前記テクスチャ成分を拡大することを特徴とするようになっていてもよい。【００２５】
この発明によれば、ＴＶ正則化手法を用いて画像拡大を行う画像処理装置において、図７に示す構成のものに比べて全体の計算時間を削減することができ、しかも、テクスチャ成分に対し学習法を用いて拡大することにより、画像の解像度を向上させることができる。【００２６】
なお、上記したテクスチャ成分拡大手段（１０、２０）としては、前記参照画像をダウンサンプルした参照低解像度画像と、前記参照画像としての参照高解像度画像とを記憶する記憶手段と、前記テクスチャ成分に基づく画像を複数のブロックに分割した元ブロック毎に、前記参照低解像度画像を同様に分割した参照ブロックの中で当該元ブロックに類似した１つ以上の参照ブロックを選択し、当該１つ以上の参照ブロックに対応する前記参照高解像度画像のブロックを用いて、当該元ブロックに対応する前記拡大テクスチャ成分のブロックを構成する手段と、を有するものとすることができる。【００２７】
その際、前記構成する手段は、前記元ブロック毎に前記参照ブロックの中で最も類似した参照ブロックを選択し、その参照ブロックに対応する前記参照高解像度画像のブロックを選択し、前記選択したブロックを用いて、当該元ブロックに対応する前記拡大テクスチャ成分のブロックを構成するようになっていてもよい。【００２８】
この場合、前記テクスチャ成分拡大手段（１０、２０）は、前記入力画像から線形補間を用いて拡大テクスチャ成分を得る線形補間拡大手段を備え、前記構成する手段は、前記参照ブロックの中で前記元ブロックとの類似度が所定値以上の参照ブロックがあった場合には、前記元ブロック毎に、前記参照ブロックの中で当該元ブロックに類似した１つ以上の参照ブロックを選択し、当該１つ以上の参照ブロックに対応する前記参照高解像度画像のブロックと、前記線形補間拡大手段によって得た前記拡大テクスチャ成分において当該元ブロックに対応するブロックとを、共に用いて、当該元ブロックに対応する前記拡大テクスチャ成分のブロックを構成し、前記参照ブロックの中で前記元ブロックとの類似度が前記所定値以上の参照ブロックがなかった場合には、前記参照ブロックを用いず、前記線形補間拡大手段によって得た前記拡大テクスチャ成分において当該元ブロックに対応するブロックを用いて、当該元ブロックに対応する前記拡大テクスチャ成分のブロックを構成すれば、画像の解像度を向上させる上でより好適なものとすることができる。【００２９】
また、上記のような画像処理装置の発明の特徴は、プログラムの発明の特徴、および、画像を生成する方法の発明としても捉えることができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の第１実施形態に係る画像処理装置の構成を示す図である。
【図２】本発明の第２実施形態に係る画像処理装置の構成を示す図である。
【図３】図１、図２中の学習法拡大部１０の動作原理を示す図である。
【図４】学習法拡大部１０の信号の入出力の関係を示す図である。
【図５】学習法拡大部１０の処理を示すフローチャートである。
【図６】本発明の第３実施形態に係る画像処理装置の構成を示す図である。
【図７】従来例の画像処理装置の全体構成を示す図である。
【図８】図７中のＴＶ正則化成分分離部１の処理を示すフローチャートである。
【図９】本発者らが先に提案した画像処理装置の構成を示す図である。
【図１０】ダウンサンプリングを説明するための図である。
【図１１】図９中のＴＶ正則化拡大部５の処理を示すフローチャートである。
【図１２】従来の技術の問題と本発明の特徴を説明するための図である。
【発明を実施するための形態】
【００３１】
図１に本発明の第１実施形態に係る画像処理装置の構成を示し、図２に本発明の第２実施形態に係る画像処理装置の構成を示す。
【００３２】
図１に示す第１実施形態では、図７に示す線形補間拡大部３の代わりに学習法拡大部１０を用いて構成され、図２に示す第２実施形態では、図９に示す線形補間拡大部８の代わりに学習法拡大部１０を用いて構成されている。つまり、拡大骨格成分の取得は、ＴＶ正則化拡大部２またはＴＶ正則化拡大部５において、ＴＶ正則化手法を利用したＴＶ拡大法によって行い、テクスチャ成分の拡大は学習法を用いて行う。なお、拡大骨格成分は、入力画像の骨格成分を表す画像であり、かつ、入力画像よりもサンプル数が多くなった画像である。また、入力画像の骨格成分は、入力画像の低周波成分およびエッジ成分を主に含む画像であり、入力画像のテクスチャ成分は、入力画像から骨格成分を除いた画像であり、高周波成分を主に含む画像である。線形補間拡大部による拡大は、画像の解像度を向上させないが、学習法を用いると、解像度が向上し超解像の画像を得ることができる。なお、解像度は、画素で表示する画像信号の周波数帯によって決められる。
【００３３】
図３に学習法拡大部１０の動作原理を示す。学習法拡大部１０に入力される入力テクスチャ成分画像ａは、画像処理装置が有するＲＡＭ等の記憶媒体（学習法拡大部１０内にあってもよいし、学習法拡大部１０外にあってもよい）に記録し、例えば４×４画素のブロックａi,j（以下、元ブロックという）に分割する。画像ａの全体の画素数をＭ×Ｍ個とすると、元ブロックの数はＭ／４×Ｍ／４個となる。また、学習法拡大部１０は、入力される入力テクスチャ成分画像ａを２倍に拡大した拡大テクスチャ成分画像Ａを作成し、上記ＲＡＭ等の記憶媒体に記録し、上記の入力テクスチャ成分画像ａの元ブロックａi,jに１対１に対応するブロックＡi,jに分割する。したがって、拡大テクスチャ成分画像Ａは、Ｍ／４×Ｍ／４個の８×８画素のブロックＡi,jから成る。したがって、ある元ブロックａi,jに対応するブロックＡi,jは、当該元ブロックａi,jを縦横２倍に拡大したものとなる。
【００３４】
一方、画像Ａと同じ画素数の参照高解像度テクスチャ成分画像Ｂと、それをダウンサンプルした参照低解像度テクスチャ成分画像ｂが用意され、画像処理装置が有するＲＯＭ等の記憶媒体（学習法拡大部１０内にあってもよいし、学習法拡大部１０外にあってもよい）にあらかじめ記録される。参照テクスチャ成分画像Ｂ，ｂは入力画像とは全く関係の無い別の画像である。画像ｂと画像Ｂはそれぞれ、画像ａと画像Ａと同様にブロックに分割されている。なお、参照テクスチャ成分画像Ｂ，ｂは、予め用意しておいた画像であるが、なるべく高域周波数成分を含む画像、例えば細かい絵柄の画像とするのが好ましい。また、参照テクスチャ成分画像Ｂ，ｂのそれぞれは、実際には１つの画像ではなく、互いに異なる多数の画像として用意されている。１つの参照高解像度テクスチャ成分画像Ｂの作成方法は、あらかじめ、図１と同等の構成の装置を別途用意し、参照高解像度テクスチャ成分画像Ｂと同じ画素数の所定の画像を当該装置のＴＶ正則化成分分離部１に入力し、その結果ＴＶ正則化成分分離部１が生成したテクスチャ成分を参照高解像度テクスチャ成分画像Ｂとして採用してもよい。またあるいは、あらかじめ、図２と同等の構成の装置を別途用意し、上記所定の画像を当該装置のＴＶ正則化拡大部５に入力し、その結果減算部６が出力したテクスチャ成分を参照高解像度テクスチャ成分画像Ｂとして用いてもよい。
【００３５】
学習法拡大部１０は、テクスチャ成分画像ａの元ブロックａi,jを順次１つずつ上記ＲＡＭ等の記憶媒体から読み出し、読み出した元ブロックａi,jを、上記ＲＯＭ等の記憶媒体中のすべての参照低解像度テクスチャ成分画像ｂのすべてのブロックｂk,l（以下、参照ブロックｂk,lという）の各々と差分をとって比較する。１つの元ブロックａi,jと、１つの参照ブロックｂk,lの比較は、例えば、両ブロックａi,j、ｂk,l内の個々の同じ位置の画素の値について差分の絶対値を算出しそれら差分の絶対値を１ブロック内で累積して累積差分を得ることで実現する。そして、元ブロックａi,jとの累積差分が一番少ない、すなわち最も画像が類似した参照ブロックｂk,lを１個選択する。次に、選択した参照ブロックｂk,lに対応した、参照高解像度テクスチャ成分画像ＢのブロックＢk,lを選択する。そして、上記ＲＯＭ等の記憶媒体中の選択されたブロックＢk,lで、上記ＲＡＭ等の記憶媒体中の拡大テクスチャ成分画像ＡのブロックＡi,jを置き換える。この操作をｉ＝１〜Ｍ／４，ｊ＝１〜Ｍ／４に渡って行う。この結果、拡大テクスチャ成分画像Ａの各ブロックは、すべて、参照高解像度テクスチャ成分画像Ｂ中の類似したブロックによって置き換えられる。
【００３６】
図４に学習法拡大部１０の信号の入出力の関係を示す。参照低解像度テクスチャ成分画像ｂおよび参照高解像度テクスチャ成分画像Ｂは、上述のＲＯＭ等の記憶媒体（記憶手段に相当する）から供給され、学習法拡大部１０は、それらの画像Ｂ，ｂを記憶手段から読み出して後述する処理を実行する。
【００３７】
図５に学習法拡大部１０の処理を示す。なお、図５には示されていないが、学習法拡大部１０は、上述のように拡大テクスチャ成分画像Ａを作成する際には、線形補間拡大部（図７に示す線形補間拡大部３あるいは図９に示す線形補間拡大部８）により予め線形補間により入力テクスチャ成分画像ａを拡大して拡大テクスチャ成分画像を生成している。
【００３８】
図５に示す処理において、まずステップ３０１で入力テクスチャ成分画像ａを分割して元ブロックａi,j（ｉは１からＭ／４まで、ｊは１からＭ／４まで）が作成される。そして、ステップ３０２でｉ＝１，ｊ＝１と設定された後、ステップ３０３で元ブロックａi,jと参照低解像度テクスチャ成分画像ｂのすべての参照ブロックｂk,lとが比較され、最も累積差分の少ない、つまり最も画像が類似した参照ブロックｂk,lが選択される。次に、ステップ３０４で選択された参照ブロックｂk,lに対応した、参照高解像度テクスチャ成分画像ＢのブロックＢk,lが選択され、このブロックＢk,lで拡大テクスチャ成分画像ＡのブロックＡi,jが置き換えられる。そして、ステップ３０３、３０４の処理が、ｉ＝１〜Ｍ／４，ｊ＝１〜Ｍ／４に渡って実行される。この結果、拡大テクスチャ成分画像Ａの各ブロックは、すべて、参照高解像度テクスチャ成分画像Ｂの類似した各ブロックによって置き換えられる。
【００３９】
なお、いずれかのブロックにおいて最も少ないとされた累積差分が所定値よりも大きい、つまり画像の類似度（例えば累積差分の逆数）が所定値より低い場合には、上記した置き換えを行わずに、先に線形補間によって得られていた拡大テクスチャ成分画像Ａのブロックをそのまま用いる。
【００４０】
上記した学習法拡大部１０を用いて図１あるいは図２に示す画像処理装置を構成することにより、解像度が向上した超解像の画像を得ることができる。
【００４１】
なお、上記した実施形態では、入力テクスチャ成分画像のブロックの大きさを４×４画素としたが、ブロックの大きさはこれに限るものではなく、一般にＮ×Ｎと任意に選ぶことができる。
【００４２】
また、拡大テクスチャ成分画像ＡのブロックＡi,jには、選択されたブロックＢk,lが配置されればよく、上記した置き換え以外に、例えば、図５の処理を実施する段階において拡大テクスチャ成分画像Ａのブロックが全てクリアされている場合には、選択されたブロックＢk,lを拡大テクスチャ成分画像ＡのブロックＡi,jに嵌め込むようにしてもよい。
【００４３】
なお、図１、２に示す画像処理装置は、コンピュータを用いたソフトウェアにより実現することができる。その場合、図１、２に示す各構成部１、２、４〜７、９、１０は、それぞれが１つのマイクロコンピュータであり、当該マイクロコンピュータは、自機が実現する構成部１、２、４〜７、９、１０の機能を実現するための画像処理プログラムを実行することで、当該機能を実現するようになっていてもよい。また、図１に示す各構成部１、２、４、１０（または図２に示す各構成部５〜１０）は、まとめて１つのマイクロコンピュータであり、当該マイクロコンピュータは、自機が実現する構成部１、２、４、１０（または構成部５〜１０）の全機能を実現するための画像処理プログラムを実行することで、当該機能を実現するようになっていてもよい。いずれの場合も、各構成部１、２、４〜７、９、１０は、それぞれの機能を実現するための手段（または部分）として把握され、それらにより画像処理プログラムが構成される。あるいは、上記マイクロコンピュータは、それらマイクロコンピュータの上記機能を実現するような回路構成のＩＣ回路（例えば、ＦＰＧＡ）に置き換えてもよい。
【００４４】
つまり、図１に示すものでは、入力画像を骨格成分とテクスチャ成分に分離する成分分離手段と、骨格成分を拡大する骨格成分拡大手段と、テクスチャ成分を拡大するテクスチャ成分拡大手段と、拡大骨格成分と拡大テクスチャ成分とを合成する成分合成手段として、コンピュータを機能させる画像処理プログラムとして構成される。また、図２に示すものでは、入力画像の骨格成分を拡大する骨格成分拡大手段（ＴＶ正則化拡大手段）と、拡大骨格成分をダウンサンプリングして、入力画像と同じサンプル数の画像となる骨格成分を得るダウンサンプリング手段と、ダウンサンプリング手段にて得られた骨格成分を入力画像から減算してテクスチャ成分を得る減算手段と、減算手段にて得られたテクスチャ成分を拡大するテクスチャ成分拡大手段と、拡大骨格成分と拡大テクスチャ成分とを合成する成分合成手段として、コンピュータを機能させる画像処理プログラムとして構成される。このような画像処理プログラムにおいて、上記したテクスチャ成分拡大手段は、参照高解像度テクスチャ成分画像と参照低解像度テクスチャ成分画像とを読み出し、テクスチャ成分の画像を複数のブロックに分割したブロック毎に参照低解像度テクスチャ画像を同様に分割したブロックの中で最も類似したブロックを選択し、そのブロックに対応する参照高解像度テクスチャ画像のブロックを用いて拡大テクスチャ成分の画像の対応するブロックを構成するするものとして機能する。
【００４５】
なお、学習法としては、「田口安則、小野利幸、三田雄志、井田孝、”画像超解像のための閉ループ学習による代表事例の学習方法”、電子通信学会論文誌D、vol.J92-D, no.6,pp.831-842, 2009」（参照によって引用する）に記載のように種々のものがあり、したがって上記した以外の学習法を本発明に用いることも可能である。
【００４６】
次に、第３実施形態について説明する。第３実施形態の画像処理装置は、第１実施形態の画像処理装置の構成（図１参照）を、図６のように変更したものである。つまり、図１の学習法拡大部１０を、構成２０に置き換えたものである。
【００４７】
第３実施形態の構成２０は、学習法拡大部１０、ＨＰＦ（ハイパスフィルタ部）１１、線形補間拡大部１２、成分合成部１３を備えている。ＴＶ正則化成分分離部１が出力したテクスチャ成分（入力テクスチャ成分画像ａ）は、ＨＰＦ１１（ハイパスフィルタ部）および線形補間拡大部１２に入力される。
【００４８】
線形補間拡大部１２は、入力テクスチャ成分画像ａを線形補間によって学習法拡大部１０と同じ比率（例えば縦横２倍）で拡大して拡大低周波画像を得て、成分合成部１３に入力する。この拡大低周波画像は、この拡大低周波画像は、高周波成分の欠落した画像である。
【００４９】
そこで、高周波成分の復元を行うため、ＨＰＦ１１が、入力テクスチャ成分画像ａの高周波成分を得て学習法拡大部１０に入力する。図６の学習法拡大部１０は、入力される画像が単なる入力テクスチャ成分画像ａではなく、入力テクスチャ成分画像ａの高周波成分である点が、図１および図２の学習法拡大部１０と異なるが、入力された画像に対する処理内容は、図１および図２の学習法拡大部１０と同じである。したがって、図６の学習法拡大部１０は、参照テクスチャ成分画像Ｂ，ｂ（または、参照テクスチャ成分画像Ｂ，ｂの高周波成分を抽出して得た高周波参照テクスチャ成分画像でもよい）を用いた学習法により、入力テクスチャ成分画像ａの高周波成分を拡大し、拡大結果の拡大高周波成分を得て、成分合成部１３に入力する。
【００５０】
成分合成部１３は、線形補間拡大部１２から入力された拡大低周波成分に、学習法拡大部１０から入力された拡大高周波成分を合成（具体的には画素毎に加算）することで、拡大テクスチャ成分を得て、成分合成部４に入力する。
【００５１】
このように、テクスチャ成分の高周波成分のみを学習法拡大部１０で拡大して拡大高周波成分を取得し、それを拡大低周波成分と合成して拡大テクスチャ成分を得ることで、画像の精細度に大きく寄与する高周波成分を選んで学習法を適用して高精細な画像を確保しつつも、低周波成分は線形補間を用いて入力テクスチャ成分画像の情報を残しながら拡大することができる。
【００５２】
なお、図６の学習法拡大部１０では、いずれかの元ブロックに対して累積差分が最も少ない参照ブロックを特定し、特定した参照ブロックの累積差分が所定値よりも大きい、つまり当該参照ブロックの類似度が所定値より低い場合には、拡大テクスチャ成分（高周波拡大テクスチャ成分）の当該元ブロックに対応するブロックの画素値はゼロに設定するようになっていてもよい。このようにした場合、成分合成部１３から出力される拡大テクスチャ成分の当該ブロックには、線形補間拡大部１２の出力結果のみが含まれることになる。
【００５３】
つまり、構成２０は、参照ブロックの中で元ブロックとの類似度が所定値以上の参照ブロックがあった場合には、元ブロック毎に、当該類似度が所定値以上の参照ブロックの中で当該元ブロックに最も類似した参照ブロックを選択し、当該選択した参照ブロックに対応する参照高解像度画像（参照テクスチャ成分画像Ｂまたはその高周波成分）のブロックと、線形補間拡大によって得た拡大テクスチャ成分において当該元ブロックに対応するブロックとを、共に用い（具体的には合成し）、当該元ブロックに対応する拡大テクスチャ成分のブロックを構成し、参照ブロックの中で元ブロックとの類似度が所定値以上の参照ブロックがなかった場合には、参照ブロックを用いず、線形補間拡大によって得た拡大テクスチャ成分において当該元ブロックに対応するブロックを用いて、当該元ブロックに対応する拡大テクスチャ成分のブロックを構成する。
【００５４】
なお、図６に示す画像処理装置は、コンピュータを用いたソフトウェアにより実現することができる。その場合、図６に示す各構成部１、２、４、１０〜１３は、それぞれが１つのマイクロコンピュータであり、当該マイクロコンピュータは、自機が実現する構成部１、２、４、１０〜１３の機能を実現するための画像処理プログラムを実行することで、当該機能を実現するようになっていてもよい。また、図６に示す各構成部１、２、４、１０〜１３は、まとめて１つのマイクロコンピュータであり、当該マイクロコンピュータは、自機が実現する構成部１、２、４、１０〜１３の全機能を実現するための画像処理プログラムを実行することで、当該機能を実現するようになっていてもよい。いずれの場合も、各構成部１、２、４、１０〜１３は、それぞれの機能を実現するための手段（または部分）として把握され、それらにより画像処理プログラムが構成される。あるいは、上記マイクロコンピュータは、それらマイクロコンピュータの上記機能を実現するような回路構成のＩＣ回路（例えば、ＦＰＧＡ）に置き換えてもよい。
【００５５】
このように、第１〜第３実施形態の画像処理装置は、入力画像の拡大骨格成およびテクスチャ成分を出力する分離拡大手段（１、２、５、６、７）と、当該テクスチャ成分を拡大するテクスチャ成分拡大手段（１０、２０）と、当該拡大骨格成分と前記テクスチャ成分拡大手段（１０、２０）によって得られた拡大テクスチャ成分とを合成する成分合成手段（４、９）と、を備え、前記テクスチャ成分拡大手段（１０、２０）は、参照画像を利用した学習法に基づいて前記テクスチャ成分を拡大する学習法拡大手段であることを特徴とする。
【００５６】
（他の実施形態）
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。例えば、以下のような形態も許容される。
【００５７】
例えば、上記第１、第２実施形態の学習法拡大部１０は、元ブロック毎に参照ブロックの中で最も類似した参照ブロックを選択し、その参照ブロックに対応する参照高解像度画像のブロックを選択し、線形補間を用いて拡大された拡大テクスチャ成分のブロックを、選択したブロックで置き換えるようになっている。しかし、必ずしもこのようになっておらずともよく、例えば、第３実施形態と同様に、線形補間を用いて拡大された拡大テクスチャ成分のブロックに、選択したブロックを合成し、その合成結果を最終的な拡大テクスチャ成分としてもよい。この場合、さらに第３実施形態と同様に、参照ブロックの中で元ブロックとの類似度が所定値以上の参照ブロックがあった場合には、元ブロック毎に、当該類似度が所定値以上の参照ブロックの中で当該元ブロックに最も類似した参照ブロックを選択し、当該選択した参照ブロックに対応する参照高解像度画像（参照テクスチャ成分画像Ｂ）のブロックと、線形補間拡大によって得た拡大テクスチャ成分において当該元ブロックに対応するブロックとを、共に用い（具体的には合成し）、当該元ブロックに対応する拡大テクスチャ成分のブロックを構成し、参照ブロックの中で元ブロックとの類似度が所定値以上の参照ブロックがなかった場合には、参照ブロックを用いず、線形補間拡大によって得た拡大テクスチャ成分において当該元ブロックに対応するブロックを用いて、当該元ブロックに対応する拡大テクスチャ成分のブロックを構成する。
【００５８】
また、学習法拡大部１０は、図５のステップ３０３、３０４の処理において、先に説明したような処理ではなく、以下のような処理を行うようになっていてもよい。ステップ３０３で、テクスチャ成分画像ａの元ブロックａi,jを順次１つずつ上記ＲＡＭ等の記憶媒体から読み出し、読み出した元ブロックａi,jを、上記ＲＯＭ等の記憶媒体中のすべての参照低解像度テクスチャ成分画像ｂのすべての参照ブロックｂk,lの各々と差分をとって比較して１ブロック内の累積差分を得る。そして、元ブロックａi,jとの累積差分が最も少ない上位複数個（例えば、所定の３個）の参照ブロックｂk,l、すなわち、類似度の高さで上位複数個の参照ブロックｂk,lを選択する。次に、選択された複数個の参照ブロックｂk,lに対応した複数個のブロックＢk,lを選択する。続いてステップ３０４では、上記ＲＯＭ等の記憶媒体中の選択された複数のブロックＢk,lを用いて、同じ位置の画素値の重み付き平均（例えば単純平均）を算出する。そして、算出の結果得た置き換え用ブロック（上記複数のブロックＢk,lの線形和に相当する）で、上記ＲＯＭ等の記憶媒体中の拡大テクスチャ成分画像ＡのブロックＡi,jを置き換える。このようなステップ３０３、３０４の操作をｉ＝１〜Ｍ／４，ｊ＝１〜Ｍ／４に渡って行う結果、拡大テクスチャ成分画像Ａの各ブロックは、すべて、参照高解像度テクスチャ成分画像Ｂ中の類似したブロックに基づく画像（線形和）によって置き換えられる。あるいは、上記のように、参照高解像度テクスチャ成分画像Ｂ中の類似したブロックの線形和と、線形補間拡大によって拡大されたテクスチャ成分画像中の対応するブロックとを、合成するようになっていてもよい。
【００５９】
また、上記第１〜第３実施形態では、参照高解像度テクスチャ成分画像Ｂおよび参照低解像度テクスチャ成分画像ｂは、当該画像の全領域の画素値があらかじめ上記ＲＯＭ等の記憶媒体に記憶されていてもよいし、当該画像の一部領域の画素値が間引かれた状態で上記ＲＯＭ等の記憶媒体に記憶されていてもよい。後者の場合、参照ブロックとしては、参照低解像度テクスチャ成分画像ｂ中の欠けていない領域のブロックのみを読み出して元ブロックと比較する。
【００６０】
１つのテクスチャ成分の画像中では、画素値がほとんど同じブロックが、通常の画像に比べて多くある。したがって、学習法拡大部１０において参照画像としてテクスチャ成分の画像を用いることで、参照画像の間引く部分を多くでき、それ故、学習法拡大部１０の処理スピードが向上する。
【符号の説明】
【００６１】
１    ＴＶ正則化成分分離部
２    ＴＶ正則化拡大部
３    線形補間拡大部
４    成分合成部
５    ＴＶ正則化拡大部
６    減算部
７    ダウンサンプリング部
８    線形補間拡大部
９    成分合成部
１０  学習法拡大部
１１  ＨＰＦ
１２  線形補間拡大部
１３  成分合成部
【図１】
2011111819.tif 000003
【図２】
2011111819.tif 000004
【図３】
2011111819.tif 000005
【図４】
2011111819.tif 000006
【図５】
2011111819.tif 000007
【図６】
2011111819.tif 000008
【図７】
2011111819.tif 000009
【図８】
2011111819.tif 000010
【図９】
2011111819.tif 000011
【図１０】
2011111819.tif 000012
【図１１】
2011111819.tif 000013
【図１２】
2011111819.tif 000014
【手続補正書】
【提出日】平成23年7月22日(2011.7.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力画像のテクスチャ成分を拡大するテクスチャ成分拡大手段（１０、２０）と、
前記入力画像の拡大骨格成分と、前記テクスチャ成分拡大手段（１０、２０）によって得られた拡大テクスチャ成分と、を合成する成分合成手段（４、９）と、を備え、
前記テクスチャ成分拡大手段（１０、２０）は、参照画像を利用した学習法に基づいて前記テクスチャ成分を拡大することを特徴とする画像処理装置。
【請求項２】
前記拡大骨格成分および前記テクスチャ成分は、ＴＶ正則化手法を用いて得られることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記参照画像はテクスチャ成分画像であることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
入力画像の骨格成分をＴＶ正則化手法によって拡大する骨格成分拡大手段（２）を備え、
前記成分合成手段（４、９）は、前記骨格成分拡大手段（２）によって得られた前記拡大骨格成分と前記テクスチャ成分拡大手段（１０、２０）によって得られた前記拡大テクスチャ成分とを合成することを特徴とする請求項１ないし３のいずれか１つに記載の画像処理装置。
【請求項５】
前記入力画像から前記拡大骨格成分を得る拡大骨格成分取得手段（５）と、
前記拡大骨格成分をダウンサンプリングして、前記入力画像と同じサンプル数の画像となる骨格成分を得るダウンサンプリング手段（７）と、
前記ダウンサンプリング手段（７）にて得られた前記骨格成分を前記入力画像から減算して前記テクスチャ成分を得る減算手段（６）と、を備え、
前記テクスチャ成分拡大手段（１０、２０）は、前記減算手段（６）にて得られた前記テクスチャ成分を拡大することを特徴とする請求項１ないし３のいずれか１つに記載の画像処理装置。
【請求項６】
前記テクスチャ成分拡大手段（１０、２０）は、前記参照画像をダウンサンプルした参照低解像度画像と、前記参照画像としての参照高解像度画像とを記憶する記憶手段と、
前記テクスチャ成分に基づく画像を複数のブロックに分割した元ブロック毎に、前記参照低解像度画像を同様に分割した参照ブロックの中で当該元ブロックに類似した１つ以上の参照ブロックを選択し、当該１つ以上の参照ブロックに対応する前記参照高解像度画像のブロックを用いて、当該元ブロックに対応する前記拡大テクスチャ成分のブロックを構成する手段と、を有することを特徴とする請求項１ないし５のいずれか１つに記載の画像処理装置。
【請求項７】
前記構成する手段は、前記元ブロック毎に前記参照ブロックの中で最も類似した参照ブロックを選択し、その参照ブロックに対応する前記参照高解像度画像のブロックを選択し、前記選択したブロックを用いて、当該元ブロックに対応する前記拡大テクスチャ成分のブロックを構成することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記テクスチャ成分拡大手段（１０、２０）は、前記入力画像から線形補間を用いて拡大テクスチャ成分を得る線形補間拡大手段を備え、
前記構成する手段は、前記参照ブロックの中で前記元ブロックとの類似度が所定値以上の参照ブロックがあった場合には、前記元ブロック毎に、前記参照ブロックの中で当該元ブロックに類似した１つ以上の参照ブロックを選択し、当該１つ以上の参照ブロックに対応する前記参照高解像度画像のブロックと、前記線形補間拡大手段によって得た前記拡大テクスチャ成分において当該元ブロックに対応するブロックとを、共に用いて、当該元ブロックに対応する前記拡大テクスチャ成分のブロックを構成し、前記参照ブロックの中で前記元ブロックとの類似度が前記所定値以上の参照ブロックがなかった場合には、前記参照ブロックを用いず、前記線形補間拡大手段によって得た前記拡大テクスチャ成分において当該元ブロックに対応するブロックを用いて、当該元ブロックに対応する前記拡大テクスチャ成分のブロックを構成することを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
コンピュータを、
入力画像のテクスチャ成分を拡大するテクスチャ成分拡大手段（１０、２０）、および、
前記入力画像の拡大骨格成分と前記テクスチャ成分拡大手段（１０、２０）によって得られた拡大テクスチャ成分とを合成する成分合成手段（４、９）として機能させる画像処理プログラムであって、
前記テクスチャ成分拡大手段（１０、２０）は、参照画像を利用した学習法に基づいて前記テクスチャ成分を拡大することを特徴とする画像処理プログラム。
【請求項１０】
入力画像から、前記入力画像が拡大された画像を生成する方法であって、
前記入力画像の拡大骨格成分を得ると共に前記入力画像のテクスチャ成分を得る分離拡大処理（１、２、５、６、７）と、
前記分離拡大処理（１、２、５、６、７）によって得られた前記テクスチャ成分を拡大するテクスチャ成分拡大処理（１０、２０）と、
前記分離拡大処理（１、２、５、６、７）によって得られた前記拡大骨格成分と前記テクスチャ成分拡大処理（１０、２０）によって得られた拡大テクスチャ成分とを合成することで、前記入力画像が拡大された画像を得る成分合成処理（４、９）と、を備え、
前記テクスチャ成分拡大処理（１０、２０）は、参照テクスチャ成分画像を利用した学習法に基づいて前記テクスチャ成分を拡大することを特徴とする方法。
【請求項１１】
前記テクスチャ成分拡大手段（２０）は、学習法拡大部（１０）、ハイパスフィルタ部（１１）、線形補間拡大部（１２）、および成分合成部（１３）を備え、
前記テクスチャ成分は、前記ハイパスフィルタ部（１１）および前記線形補間拡大部（１２）に入力され、
前記線形補間拡大部（１２）は、前記テクスチャ成分を線形補間によって拡大して拡大低周波画像を得て前記成分合成部（１３）に入力し、
前記ハイパスフィルタ（１１）は、前記テクスチャ成分の高周波成分を得て前記学習法拡大部（１０）に入力し、
前記学習法拡大部（１０）は、入力された前記高周波成分を、参照画像を利用した学習法に基づいて拡大して前記成分合成部（１３）に入力し、
前記成分合成部（１３）は、前記線形補間拡大部（１２）から入力された前記拡大低周波成分に、前記学習法拡大部（１０）から入力された拡大高周波成分を合成することで、拡大テクスチャ成分を得て、前記成分合成手段（４）に入力することを特徴とする請求項１ないし４のいずれか１つに記載の画像処理装置。
【国際調査報告】
2011111819.tif 000015
2011111819.tif 000016
2011111819.tif 000017
2011111819.tif 000018