(57)【特許請求の範囲】
【請求項１】
原画像の等倍以上の解像度を有する出力画像を生成する画像処理装置であって、
前記原画像を前記出力画像と同じ解像度の出力解像度画像に変換して生成する第１の画像変換手段と、
前記原画像を前記出力画像と異なる解像度の中間解像度画像に変換して生成する第２の画像変換手段と、
前記出力解像度画像の所定の部分領域に対応する前記中間解像度画像内のブロックにおいて前記部分領域に類似する複数の類似領域を検出して前記類似領域のそれぞれの前記中間解像度画像における位置を生成するとともに、前記部分領域と前記類似領域との差分が小さい領域において重くなるように前記位置の重みを生成して、前記位置および前記重みを類似情報として生成する類似情報生成手段と、
前記類似情報の位置における前記中間解像度画像の高周波数成分について前記類似情報の重みが重い部分を組み合わせてテクスチャ画像を生成するテクスチャ生成手段と、
前記出力解像度画像と前記テクスチャ画像とを所定の割合で加算することにより混合して前記出力画像を生成するテクスチャ混合手段と
を具備する画像処理装置。
【請求項２】
前記第２の画像変換手段は互いに異なる解像度を有する複数の画像を前記中間解像度画像として生成し、
前記類似情報生成手段は複数の前記中間解像度画像のそれぞれについて前記類似情報を生成し、
前記テクスチャ生成手段は複数の前記中間解像度画像のそれぞれについてテクスチャ画像を生成し、
前記テクスチャ混合手段は複数の前記テクスチャ画像と前記出力解像度画像とを混合して前記出力画像を生成する
請求項１記載の画像処理装置。
【請求項３】
前記類似情報生成手段は互いに異なるサイズを有する複数の領域を前記部分領域とし、
前記テクスチャ生成手段はサイズの異なる複数の前記部分領域のそれぞれについてテクスチャ画像を生成し、
前記テクスチャ混合手段は複数の前記テクスチャ画像と前記出力解像度画像とを混合して前記出力画像を生成する
請求項１記載の画像処理装置。
【請求項４】
前記類似情報生成手段は、前記部分領域との間の輝度の差分に基づく値が極小値となる位置を前記類似領域の位置として生成する請求項１記載の画像処理装置。
【請求項５】
前記テクスチャ生成手段は、前記類似情報の位置における前記中間解像度画像の高周波数成分について前記類似情報の重みが重い部分を組み合わせてテクスチャブロックを生成し、前記テクスチャブロックを張り合わせることにより前記テクスチャ画像を生成する請求項１記載の画像処理装置。
【請求項６】
原画像の等倍以上の解像度を有する出力画像を生成する画像処理装置において、
前記原画像を前記出力画像と同じ解像度の出力解像度画像に変換して生成する手順と、
前記原画像を前記出力画像と異なる解像度の中間解像度画像に変換して生成する手順と、
前記出力解像度画像の所定の部分領域に対応する前記中間解像度画像内のブロックにおいて前記部分領域に類似する複数の類似領域を検出して前記類似領域のそれぞれの前記中間解像度画像における位置を生成するとともに、前記部分領域と前記類似領域との差分が小さい領域において重くなるように前記位置の重みを生成して、前記位置および前記重みを類似情報として生成する手順と、
前記類似情報の位置における前記中間解像度画像の高周波数成分について前記類似情報の重みが重い部分を組み合わせてテクスチャ画像を生成する手順と、
前記出力解像度画像と前記テクスチャ画像とを所定の割合で加算することにより混合して前記出力画像を生成する手順と
を具備する画像処理方法。
【請求項７】
原画像の等倍以上の解像度を有する出力画像を生成する画像処理装置において、
前記原画像を前記出力画像と同じ解像度の出力解像度画像に変換して生成する手順と、
前記原画像を前記出力画像と異なる解像度の中間解像度画像に変換して生成する手順と、
前記出力解像度画像の所定の部分領域に対応する前記中間解像度画像内のブロックにおいて前記部分領域に類似する複数の類似領域を検出して前記類似領域のそれぞれの前記中間解像度画像における位置を生成するとともに、前記部分領域と前記類似領域との差分が小さい領域において重くなるように前記位置の重みを生成して、前記位置および前記重みを類似情報として生成する手順と、
前記類似情報の位置における前記中間解像度画像の高周波数成分について前記類似情報の重みが重い部分を組み合わせてテクスチャ画像を生成する手順と、
前記出力解像度画像と前記テクスチャ画像とを所定の割合で加算することにより混合して前記出力画像を生成する手順と
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に原画像の高周波数成分を補った出力画像を生成する画像処理装置、および、その処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
複数の画素からなるデジタル画像を原画像として拡大する場合、線形フィルタなどにより単純に線形補間しただけでは出力画像がぼやけてしまう傾向があることが知られている。そこで、従来より、画像の自己相似性を利用して、最も類似度の高いブロック画像を拡大処理することにより画質劣化を防止する技術が利用されている。
【０００３】
例えば、原画像におけるドメインブロック画像とその近傍に存在するレンジブロック画像との関係を利用してレンジブロック画像を拡大させた拡大擬似ドメインブロック画像を求め、この拡大擬似ドメインブロック画像を拡大ドメインブロック画像に置き換えることによりブロック画像の拡大処理をする画像処理装置が提案されている（例えば、特許文献１参照。）。
【特許文献１】特開２００３−２８３８１１号公報（図２）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述の従来技術では、拡大画像を生成する際に、類似度の最も高いブロック画像を選択して拡大処理に用いている。しかしながら、画像に僅かな差異があれば別のブロック画像が選択されるため、時間的に不安定になる。すなわち、従来技術を動画の画像処理に適用した場合には、拡大処理の基となるブロック画像が頻繁に切り換わって、ちらつきを生じるおそれがある。
【０００５】
そこで、本発明は、原画像の等倍以上の解像度を有する出力画像を生成する画像処理装置において、現画像に対して高品質で時間的に安定性を有する出力画像を生成することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、原画像の等倍以上の解像度を有する出力画像を生成する画像処理装置であって、上記原画像を上記出力画像と同じ解像度の出力解像度画像に変換して生成する第１の画像変換手段と、上記原画像を上記出力画像と異なる解像度の中間解像度画像に変換して生成する第２の画像変換手段と、上記出力解像度画像の所定の部分領域に対応する上記中間解像度画像内のブロックにおいて上記部分領域に類似する複数の類似領域を検出して上記類似領域のそれぞれの上記中間解像度画像における位置を生成するとともに、上記部分領域と上記類似領域との差分が小さい領域において重くなるように上記位置の重みを生成して、上記位置および上記重みを類似情報として生成する類似情報生成手段と、上記類似情報の位置における上記中間解像度画像の高周波数成分について上記類似情報の重みが重い部分を組み合わせてテクスチャ画像を生成するテクスチャ生成手段と、上記出力解像度画像と上記テクスチャ画像とを所定の割合で加算することにより混合して上記出力画像を生成するテクスチャ混合手段とを具備する画像処理装置である。これにより、中間解像度画像内の複数の類似領域における高周波数成分を組み合わせたテクスチャ画像により出力画像の高周波数成分を補充して、原画像に対して高品質で時間的に安定性を有する出力画像を生成させるという作用をもたらす。
【０００７】
また、この第１の側面において、上記第２の画像変換手段は互いに異なる解像度を有する複数の画像を上記中間解像度画像として生成し、上記類似情報生成手段は複数の上記中間解像度画像のそれぞれについて上記類似情報を生成し、上記テクスチャ生成手段は複数の上記中間解像度画像のそれぞれについてテクスチャ画像を生成し、上記テクスチャ混合手段は複数の上記テクスチャ画像と上記出力解像度画像とを混合して上記出力画像を生成するように構成してもよい。これにより、複数の解像度に基づくテクスチャ画像を利用してより高品質な出力画像を生成させるという作用をもたらす。
【０００８】
また、この第１の側面において、上記類似情報生成手段は互いに異なるサイズを有する複数の領域を上記部分領域とし、上記テクスチャ生成手段はサイズの異なる複数の上記部分領域のそれぞれについてテクスチャ画像を生成し、上記テクスチャ混合手段は複数の上記テクスチャ画像と上記出力解像度画像とを混合して上記出力画像を生成するように構成してもよい。これにより、中間解像度画像における特徴に応じて複数のサイズを利用してより高品質な出力画像を生成させるという作用をもたらす。
【０００９】
また、この第１の側面において、上記類似情報生成手段は、上記部分領域との間の輝度の差分に基づく値が極小値となる位置を上記類似領域の位置として生成することができる。
【００１０】
また、この第１の側面において、上記テクスチャ生成手段は、上記ブロックにおいて上記類似情報の重みに応じて上記類似情報の位置における上記中間解像度画像の高周波数成分について上記類似情報の重みが重い部分を組み合わせてテクスチャブロックを生成し、上記テクスチャブロックを張り合わせることにより上記テクスチャ画像を生成するようにしてもよい。これにより、より完成度の高いテクスチャ画像に基づいて出力画像を生成させるという作用をもたらす。
【００１１】
また、本発明の第２の側面は、原画像の等倍以上の解像度を有する出力画像を生成する画像処理装置において、上記原画像を上記出力画像と同じ解像度の出力解像度画像に変換して生成する手順と、上記原画像を上記出力画像と異なる解像度の中間解像度画像に変換して生成する手順と、上記出力解像度画像の所定の部分領域に対応する上記中間解像度画像内のブロックにおいて上記部分領域に類似する複数の類似領域を検出して上記類似領域のそれぞれの上記中間解像度画像における位置を生成するとともに、上記部分領域と上記類似領域との差分が小さい領域において重くなるように上記位置の重みを生成して、上記位置および上記重みを類似情報として生成する手順と、上記類似情報の位置における上記中間解像度画像の高周波数成分について上記類似情報の重みが重い部分を組み合わせてテクスチャ画像を生成する手順と、上記出力解像度画像と上記テクスチャ画像とを所定の割合で加算することにより混合して上記出力画像を生成する手順とを具備する画像処理方法またはこれら手順をコンピュータに実行させるプログラムである。これにより、中間解像度画像内の複数の類似領域における高周波数成分を組み合わせたテクスチャ画像により出力画像の高周波数成分を補充して、原画像に対して高品質で時間的に安定性を有する出力画像を生成させるという作用をもたらす。
【発明の効果】
【００１２】
本発明によれば、現画像に対して高品質で時間的に安定性を有する出力画像を生成するという優れた効果を奏し得る。
【発明を実施するための最良の形態】
【００１３】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００１４】
図１は、本発明の実施の形態における画像処理装置の一構成例を示す図である。この画像処理装置は、原画像１０１の等倍以上の解像度を有する出力画像４０９を生成するものであり、Ｎ＋１個（Ｎは１以上の整数）の解像度変換部１００と、Ｎ個の類似情報生成部２００と、Ｎ個のテクスチャ生成部３００と、テクスチャ混合部４００とを備えている。なお、以降の説明では、同様の構成を有する構成要素を互いに区別するために、参照番号に対して識別番号を付加する。例えば、類似情報生成部２００−Ｎは、第Ｎ番目の類似情報生成部２００を意味する。
【００１５】
解像度変換部１００−０乃至Ｎは、原画像をそれぞれ所定の解像度に変換するものである。この解像度変換には、例えばＬａｎｃｚｏｓフィルタ等を用いた線形補間の他に、非線形補間を用いることができる。Ｎ＋１個の解像度変換部１００のうち、第０番目の解像度変換部１００−０は、原画像１０１を出力画像４０９と同じ解像度の出力解像度画像１０９−０に変換するものである。一方、それ以外の解像度変換部１００−１乃至Ｎは、原画像１０１を出力画像４０９と異なる解像度の中間解像度画像１０９−１乃至Ｎに変換するものである。
【００１６】
この解像度変換部１００−０乃至Ｎによる拡大率は任意のものでよい。すなわち、拡大のみならず、縮小もしくは等倍であってもよい。拡大率が等倍の場合には、解像度変換部１００−０乃至Ｎの内容を省いて構成することができる。解像度変換部１００−０の拡大率が等倍であれば、原画像１０１は拡大されず、出力画像４０９の解像度は原画像１０１の解像度と一致する。但し、解像度変換部１００−０の拡大率が等倍であっても、それ以外の解像度変換部１００−１乃至Ｎにより任意の拡大率の解像度に変換された中間解像度画像１０９−１乃至Ｎを用いることによって、より品質の高い、自然な画像を生成することができる。
【００１７】
類似情報生成部２００−１乃至Ｎは、出力解像度画像１０９−０における検出テンプレートについて、それぞれ中間解像度画像１０９−１乃至Ｎにおける類似位置を検出して、その類似性を評価して類似情報を生成するものである。
【００１８】
検出テンプレートは、出力解像度画像１０９−０において設定される領域である。ユーザはこの領域を自由に設定することができる。この検出テンプレートの大きさは１つ以上設定することができる。このＫ個（Ｋは１以上の整数）の検出テンプレートの大きさを検出サイズと称する。
【００１９】
テクスチャ生成部３００−１乃至Ｎは、類似情報生成部２００によって生成された類似情報に基づいて、それぞれ中間解像度画像１０９−１乃至Ｎの高周波数成分を組み合わせてテクスチャ画像を生成するものである。このテクスチャ生成部３００−１乃至Ｎは、類似情報生成部２００−１乃至Ｎの場合と同様に、Ｋ個の検出サイズに対応してそれぞれ処理を行い、中間解像度画像１０９−１乃至Ｎに応じてＮ個のテクスチャ画像３０９−１乃至Ｎを生成する。
【００２０】
テクスチャ混合部４００は、出力解像度画像１０９−０とテクスチャ画像３０９−１乃至Ｎを混合して出力画像４０９を生成するものである。すなわち、中間解像度画像１０９−１乃至Ｎの高周波数成分を含むテクスチャ画像３０９−１乃至Ｎが出力解像度画像１０９−０に混合されることにより、高周波数成分が補われることになる。
【００２１】
図２は、本発明の実施の形態における類似位置検出の態様を示す図である。類似情報生成部２００−１乃至Ｎのうち第ｉ番目（ｉは１以上かつＮ以下の整数）の類似情報生成部２００−ｉでは、第ｉ番目の中間解像度画像１０９−ｉにおける画像検出が行われる。類似情報生成部２００−ｉには、後述のようにＫ個の類似位置検出部２３０−１乃至Ｋが存在し、第ｊ番目（ｊは１以上かつＫ以下の整数）の類似位置検出部２３０−ｊでは、出力解像度画像１０９−０における第ｊ番目の検出サイズの検出テンプレート６０１−ｊによる画像検出が行われる。
【００２２】
検出テンプレート６０１−ｊに対応する中間解像度画像１０９−ｉ内の領域を検出ブロックと称する。この検出ブロックは、検出サイズに応じてＣ（ｊ）個（Ｃ（ｊ）はｊの関数であり、１以上の整数を示す。以下、Ｃｊと略す場合がある。）存在する。この図では、第ｐ番目（ｐは１以上かつＣ（ｊ）以下の整数）の検出ブロック６０２−ｐが示されている。
【００２３】
検出ブロック６０２−ｐでは、検出テンプレート６０１−ｊの画像検出が行われ、検出サイズに応じてＬ（ｊ）個（Ｌ（ｊ）はｊの関数であり、１以上の整数を示す。以下、Ｌｊと略す場合がある。）の位置が類似位置として検出される。この図では、第ｑ番目（ｑは１以上かつＬ（ｊ）以下の整数）の類似位置６０３−ｑが示されている。
【００２４】
このようにしてＮ個の解像度のそれぞれにおいてＫ個の検出サイズの検出テンプレートにより画像検出が行われた結果、Ｃ（ｊ）個の検出ブロックにおいてＬ（ｊ）個の類似位置が検出される。その際の類似位置およびその類似位置の重みを類似情報と称する。
【００２５】
図３は、本発明の実施の形態における検出ブロックおよび類似位置の一例を示す図である。この図では、第ｉ番目の中間解像度画像１０９−ｉにおいて、３つの検出ブロック６０２−１乃至３が存在する。
【００２６】
そして、第１番目の検出ブロック６０２−１では３つの類似位置６０３−１乃至３が検出され、第２番目の検出ブロック６０２−２では３つの類似位置６０３−１乃至３が検出され、第３番目の検出ブロック６０２−３では２つの類似位置６０３−１乃至２が検出されている。なお、ここでは、異なる検出ブロックにおける類似位置に対して同じ参照符号（６０３−１乃至３）を用いているが、これらは互いに異なるものである。
【００２７】
図４は、本発明の実施の形態における類似情報のデータ構造の一例を示す図である。類似情報は、ｉ、ｊ、ｐおよびｑをインデックスとする四次元配列として表される。すなわち、類似情報は、第ｉ番目の解像度において第ｊ番目の検出サイズの検出テンプレートにより画像検出が行われた際、第ｐ番目の検出ブロックの第ｑ番目の類似位置に関する類似情報は、「類似情報（ｉ，ｊ，ｐ，ｑ）」として表される。
【００２８】
図５は、本発明の実施の形態における類似情報生成部２００−ｉの一構成例を示す図である。この第ｉ番目の類似情報生成部２００−ｉは、第ｉ番目の中間解像度画像１０９−ｉにおける類似情報を生成するものであり、検出テンプレート抽出部２１０と、検出ブロック抽出部２２０と、Ｋ個の類似位置検出部２３０−１乃至Ｋと、Ｋ個の類似性評価部２４０−１乃至Ｋとを備える。
【００２９】
検出テンプレート抽出部２１０は、出力解像度画像１０９−０において検出テンプレートを抽出するものである。この検出テンプレートの検出サイズは上述のようにＫ個存在するものとして、Ｋ個の検出テンプレート２１６−１乃至Ｋがそれぞれ対応する類似位置検出部２３０−１乃至Ｋおよび類似性評価部２４０−１乃至Ｋに供給される。
【００３０】
検出ブロック抽出部２２０は、検出テンプレート抽出部２１０によって抽出された検出テンプレートに対応する中間解像度画像１０９−ｉ内の検出ブロックを抽出するものである。Ｋ個の検出テンプレート２１６−１乃至Ｋに対応するＫ個の検出ブロック２２６−１乃至Ｋは、それぞれ対応する類似位置検出部２３０−１乃至Ｋおよび類似性評価部２４０−１乃至Ｋに供給される。
【００３１】
類似位置検出部２３０−１乃至Ｋは、検出ブロック２２６−１乃至Ｋにおいて検出テンプレート２１６−１乃至Ｋの画像検出をそれぞれ行うものである。この類似位置検出部２３０−１乃至Ｋは、画像検出結果として、類似位置２３６−１乃至Ｋおよびその類似度２３７−１乃至Ｋを出力する。
【００３２】
類似性評価部２４０−１乃至Ｋは、類似位置検出部２３０−１乃至Ｋから供給された類似位置２３６−１乃至Ｋおよび類似度２３７−１乃至Ｋに基づいて類似性を評価して、類似位置２３６−１乃至Ｋの重み２４８−１乃至Ｋを類似位置２４６−１乃至Ｋとともに出力する。これら類似位置２４６−１乃至Ｋおよびその重み２４８−１乃至Ｋは、類似情報としてテクスチャ生成部３００に供給される。
【００３３】
図６は、本発明の実施の形態における類似位置検出部２３０−ｊの一構成例を示す図である。この第ｊ番目の類似位置検出部２３０−ｊは、帯域変換部２３１と画像比較部２３２を備えている。
【００３４】
帯域変換部２３１は、検出ブロック２２６−ｊの特定の周波数帯域に変更を加えた検出ブロック２３５−ｊを生成するものであり、例えばローパスフィルタにより高周波成分の除去を行う。これにより、検出テンプレート２１６−ｊと検出ブロック２３５−ｊの周波数帯域が同等のレベルに調整される。
【００３５】
画像比較部２３２は、帯域変換部２３１によって帯域変換された検出ブロック２３５−ｊにおいて検出テンプレート２１６−ｊとの間の画像比較を行うものである。この画像比較により類似位置２３６−ｊが検出され、また、その類似度２３７−ｊが出力される。
【００３６】
図７は、本発明の実施の形態における類似位置検出部２３０による画像比較の一例を示す図である。ここでは、類似性の評価量としてＳＡＤ（Sum of Absolute Difference）を用いた例を示している。このＳＡＤは検出ブロック２３５−ｊと検出テンプレート２１６−ｊの輝度差の総和である。この図では、ＳＡＤを二次元平面にプロットしたものであり、白い部分はＳＡＤの値が大きく（類似度が低い）、濃い部分はＳＡＤの値が小さい（類似度が高い）ことを示している。
【００３７】
類似位置検出部２３０−ｊは、各検出ブロックにおいて、１つ以上の極小値を類似位置として検出する。この図では、濃い領域が４箇所存在するため、４つの類似位置が検出されることになる。そして、それら類似位置におけるＳＡＤが類似度として出力されることになる。
【００３８】
なお、ここでは類似性の評価量としてＳＡＤを用いた例を示したが、これ以外にもＳＳＤ（Sum of Square Difference）などの評価量を用いても構わない。また、各画像のエッジやコーナ点などの特徴量を解析して、その一致の度合いにより類似性を評価してもよい。さらに、ＳＡＤや特徴量を組み合わせた特徴ベクトルを用いてもよい。
【００３９】
図８は、本発明の実施の形態における類似性評価部２４０−ｊの一構成例を示す図である。この類似性評価部２４０−ｊは、Ｌ（ｊ）個の画素信頼度生成部２４１−１乃至Ｌｊと、Ｌ（ｊ）個の類似位置信頼度生成部２４２−１乃至Ｌｊと、Ｌ（ｊ）個の類似位置重み生成部２４３−１乃至Ｌｊとを備える。
【００４０】
類似位置検出部２３０−ｊから供給される類似位置２３６−ｊおよびその類似度２３７−ｊは、Ｌ（ｊ）組存在する。これらを区別するために、第ｑ組目の類似位置を類似位置２３６−ｊ−ｑ、その類似度を類似度２３７−ｊ−ｑと表す。
【００４１】
画素信頼度生成部２４１−ｑは、類似位置２３６−ｊ−ｑにおける画素単位の信頼度を画素信頼度２４４−ｑとして生成するものである。一方、類似位置信頼度生成部２４２−ｑは、類似位置２３６−ｊ−ｑ全体を代表する信頼度を類似位置信頼度２４５−ｑとして生成するものである。すなわち、類似位置信頼度は、その類似位置が他の類似位置に比べてどれくらい信頼できるかを示すことになる。類似位置重み生成部２４３−ｑは、これら画素信頼度２４４−ｑおよび類似位置信頼度２４５−ｑに基づいて類似位置２３６−ｊ−ｑの重み２４８−ｊ−ｑを生成するものである。
【００４２】
なお、類似位置２３６−ｊ−ｑは、そのまま類似位置２４６−ｊ−ｑとして類似性評価部−ｊから出力される。
【００４３】
図９は、本発明の実施の形態における類似位置信頼度生成部２４２−ｑによる類似位置信頼度２４５−ｑの生成例を示す図である。図９（ａ）は、類似性の評価量としてＳＡＤを用いた例であり、各位置を水平方向に示し、各位置におけるＳＡＤを垂直方向に示している。
【００４４】
最下部の線が最小値を示すレベルであり、最上部の線が最大値を示すレベルである。また、その中間位置に平均値のレベルが印されている。この図では、位置１においては最小値からｄ１の相対値を示し、位置２においては最小値からｄ２の相対値を示している。
【００４５】
このようなＳＡＤから類似位置を代表する類似位置信頼度２４５−ｑを生成するために、図９（ｂ）のような判断基準を設ける。すなわち、位置２のようにＳＡＤの相対値が平均値よりも大きい場合には類似位置信頼度を０％とし、位置１のようにＳＡＤの相対値が平均値よりも小さい場合には最小値に近いほど類似位置信頼度が１００％に近くなるようにする。
【００４６】
図１０は、本発明の実施の形態における画素信頼度生成部２４１−ｑによる画素信頼度の生成例を示す図である。図１０（ａ）は、出力解像度画像１０９−０における検出テンプレート２１６−ｊの一例である。また、図１０（ｂ）は、検出ブロック２２６−ｊの類似位置２３６−ｊ−ｑにおける画像の一例である。
【００４７】
画素信頼度生成部２４１−ｑは、図１０（ａ）および（ｂ）の各画素の差分の絶対値を生成して、図１０（ｃ）のような判断基準によって各画素について画素信頼度を生成する。すなわち、画素の差分の絶対値が所定の閾値を超えている場合には、画素信頼度を０％とし、閾値を超えていない場合にはその値が小さいほど画素信頼度が１００％に近くなるようにする。これにより、図１０（ｄ）のような画素信頼度が生成される。この図において、白い部分は画素信頼度が高く、濃い部分は画素信頼度が低いことを示している。
【００４８】
類似位置重み生成部２４３−ｊは、このようにして得られた画素信頼度２４４−ｑおよび類似位置信頼度２４５−ｑに基づいて類似位置２３６−ｊ−ｑの重み２４８−ｊ−ｑを生成する。例えば、各画素の画素信頼度２４４−ｑに対して類似位置を代表する類似位置信頼度２４５−ｑを掛け合わせることにより、類似位置２３６−ｊ−ｑにおける各画素の重み２４８−ｊ−ｑが生成される。
【００４９】
図１１は、本発明の実施の形態におけるテクスチャ生成部３００−ｉの一構成例を示す図である。このテクスチャ生成部３００−ｉは、Ｋ個のテクスチャ成分抽出部３１０−１乃至Ｋと、Ｋ個のテクスチャタイリング部３２０−１乃至Ｋと、テクスチャ統合部３３０とを備えている。
【００５０】
テクスチャ成分抽出部３１０−ｊは、中間解像度画像１０９−ｉにおけるテクスチャ成分３１６−ｊを抽出するものである。例えば、検出サイズ毎に帯域のピークが異なるバンドパスフィルタを用いることができる。
【００５１】
テクスチャタイリング部３２０−ｊは、類似情報生成部２００−ｉによって生成された類似情報（２４６−ｊおよび２４８−ｊ）に基づいてＣ（ｊ）個のテクスチャブロックを生成し、さらにテクスチャブロックにタイリング処理を施すことによって、検出サイズ毎のテクスチャ画像を生成するものである。
【００５２】
テクスチャ統合部３３０は、テクスチャタイリング部３２０−ｊによって生成された検出サイズ毎のテクスチャ画像を統合するものである。このテクスチャ生成部３００−ｉにおけるテクスチャ統合部３３０による出力は、第ｉ番目の解像度に対するテクスチャ画像３０９−ｉになる。
【００５３】
図１２は、本発明の実施の形態におけるテクスチャタイリング部３２０−ｊの一構成例を示す図である。このテクスチャタイリング部３２０−ｊは、Ｃ（ｊ）個のテクスチャブロック生成部３２１−１乃至Ｃｊと、ブロックタイリング部３２２とを備える。
【００５４】
テクスチャブロック生成部３２１−ｐは、類似性評価部２４０−ｊによって生成された類似情報（２４６−ｊ−ｐおよび２４８−ｊ−ｐ）に基づいて、テクスチャ成分３１６−ｊからテクスチャブロック３２５−ｐを生成するものである。
【００５５】
ブロックタイリング部３２２は、テクスチャブロック生成部３２１−１乃至Ｃｊによって生成されたＣ（ｊ）個のテクスチャブロック３２５−１乃至Ｃｊについてタイリング処理を施すものである。
【００５６】
図１３は、本発明の実施の形態におけるテクスチャブロック生成部３２１−ｐにおけるテクスチャブロックの生成例を示す図である。テクスチャブロック生成部３２１−ｐでは、テクスチャ成分３１６−ｊにおけるＬ（ｊ）個の類似位置２４６−ｊ−ｐ−１乃至Ｌｊの画像（灰色部分）が抽出される。
【００５７】
テクスチャブロック生成部３２１−ｐでは、この類似位置２４６−ｊ−ｐ−１乃至Ｌｊの画像に対して、対応する類似位置の重み２４８−ｊ−ｐ−１乃至Ｌｊをそれぞれ掛け合わせたＬ（ｊ）個の画像を、図のように組み合わせることによって、テクスチャブロック３２５−ｐが生成される。なお、この図では領域の左上の座標を類似位置としているが、これ以外の部分の座標を類似位置としてもよい。
【００５８】
図１４は、本発明の実施の形態におけるブロックタイリング部３２２におけるタイリングの態様例を示す図である。テクスチャブロック生成部３２１−ｐによって生成されたテクスチャブロックをそのまま張り合わせることも可能であるが、特にエッジの強い部分ではその継ぎ目が目立ってしまうおそれがある。
【００５９】
そこで、この例では、４つのテクスチャブロック６０５−１乃至４を半分ずつずらして配置した際の共通部分を重ね合せてタイリング用のテクスチャ成分６０６としている。このようにして生成されたテクスチャ成分６０６を画像全体に張り合わせていくことによりテクスチャ画像３２６−ｊが生成される。
【００６０】
図１５は、本発明の実施の形態におけるテクスチャ統合部３３０の一構成例を示す図である。このテクスチャ統合部３３０は、特徴量検出部３３１と、テクスチャ加算部３３２とを備える。
【００６１】
特徴量検出部３３１は、出力解像度画像１０９−０における局所的特徴量を検出するものである。この局所的特徴量として、例えばエッジを検出することができる。テクスチャ加算部３３２は、このような局所的特徴量に応じてＫ個の検出サイズ毎のテクスチャ画像３２６−１乃至Ｋを加算して第ｉ番目の解像度としてのテクスチャ画像３０９−ｉを生成する。
【００６２】
図１６は、本発明の実施の形態におけるテクスチャ統合部３３０における制御例を示す図である。特徴量検出部３３１において、例えばエッジの強度を局所的特徴量として用いる場合、図１６（ａ）のように、エッジの強度が強いほど検出サイズの小さいものを採用することが考えられる。これは、エッジの強度が強い場合には物体の模様部分ではなく、境界部分が含まれていることが推定されるからである。したがって、そのような場合には、なるべく境界部分を含まないように検出サイズの小さいものを採用することが有効と考えられる。
【００６３】
例えば、図１６（ｂ）のように３つの検出サイズが存在する場合、エッジの強度が強いほど検出サイズの小さいものを採用するように重みを計算する。そして、この重みに従って次式のようにテクスチャ加算部３３２による加算が行われる。但し、Ｔは加算後のテクスチャ画像、ＴＡ、ＴＢ、ＴＣは検出サイズがそれぞれ大、中、小のテクスチャ画像、ＷＡ、ＷＢ、ＷＣは検出サイズがそれぞれ大、中、小のテクスチャ画像の重み（図１６（ｂ））を表す。
Ｔ＝ＷＡ・ＴＡ＋ＷＢ・ＴＢ＋ＷＣ・ＴＣ
【００６４】
このようにして得られた各解像度に対するテクスチャ画像３０９−１乃至Ｎは、テクスチャ混合部４００において出力解像度画像１０９−０に混合される。テクスチャ混合部４００における混合は、例えば次式により行われる。但し、αｉ、β、γは、経験的に定められる係数である。
【数１】
0004784322.tif 000002
【００６５】
解像度がそれぞれ等倍、２倍、４倍の３つのテクスチャ画像＃１乃至３を用いると仮定すると、例えば、α１＝２、α２＝１、α３＝１のように設定することが考えられる。また、β＝１、γ＝０．３程度に設定することが考えられる。
【００６６】
このようにして、原画像１０１の高周波数成分を補った出力画像４０９が生成される。
【００６７】
次に本発明の実施の形態における画像処理装置の動作について図面を参照して説明する。
【００６８】
図１７は、本発明の実施の形態における画像処理方法の全体の処理手順を示す流れ図である。まず、原画像１０１は、解像度変換部１００−０によって出力解像度画像１０９−０に変換される（ステップＳ９１１）。
【００６９】
インデックス変数ｉが「１」に初期化された後に（ステップＳ９１２）、第ｉ番目の解像度変換部１００−ｉによって原画像１０１が中間解像度画像１０９−ｉに変換される（ステップＳ９１３）。そして、この中間解像度画像１０９−ｉおよび出力解像度画像１０９−０から、類似情報生成部２００−ｉおよびテクスチャ生成部３００−ｉによってテクスチャ画像３０９−ｉが生成される（ステップＳ９２０）。その後、インデックス変数ｉに「１」が加算され（ステップＳ９１６）、その結果、インデックス変数ｉがＮを超えるまで（ステップＳ９１７）、ステップＳ９１３以降の手順が繰り返される。
【００７０】
このようにして生成されたＮ個のテクスチャ画像３０９−１乃至Ｎは、テクスチャ混合部４００によって混合され（ステップＳ９１８）、出力画像４０９が生成される。
【００７１】
図１８は、本発明の実施の形態におけるテクスチャ生成処理（ステップＳ９２０）の処理手順を示す流れ図である。まず、インデックス変数ｊおよびｐが「１」に初期化される（ステップＳ９２１、Ｓ９２２）。なお、インデックス変数ｉは、上位の処理（図１７）において設定されている。
【００７２】
類似情報生成部２００によって第ｉ番目の解像度に対する第ｊ番目の検出サイズによる第ｐ番目の検出ブロックの類似情報（２４６−ｊ−ｐおよび２４８−ｊ−ｐ）が生成される（ステップＳ９４０）。また、テクスチャ成分抽出部３１０−ｊによって第ｉ番目の解像度に対する第ｊ番目の検出サイズのテクスチャ成分３１６−ｊが抽出される（ステップＳ９２３）。そして、これら類似情報およびテクスチャ成分に基づき、テクスチャブロック生成部３２１−ｐによってテクスチャブロック３２５−ｐが生成される。
【００７３】
その後、インデックス変数ｐに「１」が加算され（ステップＳ９２５）、その結果、インデックス変数ｐがＣ（ｊ）を超えるまで（ステップＳ９２６）、ステップＳ９４０以降の手順が繰り返される。
【００７４】
Ｃ（ｊ）個のテクスチャブロック３２５−１乃至Ｃｊが生成されると、ブロックタイリング部３２２によってテクスチャブロックのタイリングが行われて（ステップＳ９２７）、第ｉ番目の解像度に対する第ｊ番目の検出サイズによるテクスチャ画像３２６−ｊが生成される。その後、インデックス変数ｊに「１」が加算され（ステップＳ９２８）、その結果、インデックス変数ｊがＫを超えるまで（ステップＳ９２９）、ステップＳ９２２以降の手順が繰り返される。
【００７５】
このようにしてＫ個のテクスチャ画像３２６−１乃至Ｋが生成されると、テクスチャ統合部３３０によってこれらが統合され（ステップＳ９３０）、第ｉ番目の解像度に対するテクスチャ画像３０９−ｉが生成される。
【００７６】
図１９は、本発明の実施の形態における類似情報生成処理（ステップＳ９４０）の処理手順を示す流れ図である。出力解像度画像１０９−０において検出テンプレートが抽出され（ステップＳ９４１）、この検出テンプレートに対応する検出ブロックが中間解像度画像１０９−ｉにおいて抽出される（ステップＳ９４２）。
【００７７】
インデックス変数ｑが「１」に初期化された後に（ステップＳ９４３）、類似位置検出部２３０−ｊによって、第ｉ番目の解像度に対する第ｊ番目の検出サイズによる第ｐ番目の検出ブロックにおいて、第ｑ番目の類似位置の検出が行われる（ステップＳ９４４）。なお、インデックス変数ｉ、ｊおよびｐは、上位の処理（図１７および図１８）において設定されている。
【００７８】
また、類似性評価部２４０−ｊによって、第ｉ番目の解像度に対する第ｊ番目の検出サイズによる第ｐ番目の検出ブロックにおける第ｑ番目の類似位置の類似性が評価され（ステップＳ９４５）、その類似位置の重みが生成される。
【００７９】
その後、インデックス変数ｑに「１」が加算され（ステップＳ９４６）、その結果、インデックス変数ｑがＬ（ｊ）を超えるまで（ステップＳ９４７）、ステップＳ９４４以降の手順が繰り返される。
【００８０】
このように、本発明の実施の形態によれば、原画像１０１の等倍以上の解像度を有する出力画像４０９を生成する画像処理装置において、出力画像４０９と同じ解像度の出力解像度画像１０９−０に対して、出力画像４０９と異なる解像度の中間解像度画像１０９−１乃至Ｎの高周波数成分であるテクスチャ画像を加算することにより、現画像よりも高品質で時間的に安定性を有する出力画像を生成することができる。
【００８１】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
【００８２】
すなわち、請求項１において、第１の画像変換手段は例えば解像度変換部１００−０に対応する。また、第２の画像変換手段は例えば解像度変換部１００−１乃至Ｎに対応する。また、類似情報生成手段は例えば類似情報生成部２００−１乃至Ｎに対応する。また、テクスチャ生成手段は例えばテクスチャ生成部３００−１乃至Ｎに対応する。また、テクスチャ混合手段は例えばテクスチャ混合部４００に対応する。また、出力解像度画像の所定の部分領域は例えば検出テンプレートに対応する。また、中間解像度画像内のブロックは例えば検出ブロックに対応する。
【００８３】
また、請求項６または７において、原画像を出力画像と同じ解像度の出力解像度画像に変換して生成する手順は例えばステップＳ９１１に対応する。また、原画像を出力画像と異なる解像度の中間解像度画像に変換して生成する手順は例えばステップＳ９１３に対応する。また、出力解像度画像の所定の部分領域に対応する中間解像度画像内のブロックにおいて部分領域に類似する複数の類似領域を検出して類似領域のそれぞれの中間解像度画像における位置およびその重みを類似情報として生成する手順は例えばステップＳ９４０に対応する。また、類似情報の重みに応じて類似情報の位置における中間解像度画像の高周波数成分を組み合わせてテクスチャ画像を生成する手順は例えばステップＳ９２０に対応する。また、出力解像度画像とテクスチャ画像とを混合して出力画像を生成する手順は例えばステップＳ９１８に対応する。
【００８４】
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。
【図面の簡単な説明】
【００８５】
【図１】本発明の実施の形態における画像処理装置の一構成例を示す図である。
【図２】本発明の実施の形態における類似位置検出の態様を示す図である。
【図３】本発明の実施の形態における検出ブロックおよび類似位置の一例を示す図である。
【図４】本発明の実施の形態における類似情報のデータ構造の一例を示す図である。
【図５】本発明の実施の形態における類似情報生成部２００−ｉの一構成例を示す図である。
【図６】本発明の実施の形態における類似位置検出部２３０−ｊの一構成例を示す図である。
【図７】本発明の実施の形態における類似位置検出部２３０による画像比較の一例を示す図である。
【図８】本発明の実施の形態における類似性評価部２４０−ｊの一構成例を示す図である。
【図９】本発明の実施の形態における類似位置信頼度生成部２４２−ｑによる類似位置信頼度２４５−ｑの生成例を示す図である。
【図１０】本発明の実施の形態における画素信頼度生成部２４１−ｑによる画素信頼度の生成例を示す図である。
【図１１】本発明の実施の形態におけるテクスチャ生成部３００−ｉの一構成例を示す図である。
【図１２】本発明の実施の形態におけるテクスチャタイリング部３２０−ｊの一構成例を示す図である。
【図１３】本発明の実施の形態におけるテクスチャブロック生成部３２１−ｐにおけるテクスチャブロックの生成例を示す図である。
【図１４】本発明の実施の形態におけるブロックタイリング部３２２におけるタイリングの態様例を示す図である。
【図１５】本発明の実施の形態におけるテクスチャ統合部３３０の一構成例を示す図である。
【図１６】本発明の実施の形態におけるテクスチャ統合部３３０における制御例を示す図である。
【図１７】本発明の実施の形態における画像処理方法の全体の処理手順を示す流れ図である。
【図１８】本発明の実施の形態におけるテクスチャ生成処理の処理手順を示す流れ図である。
【図１９】本発明の実施の形態における類似情報生成処理（ステップＳ９４０）の処理手順を示す流れ図である。
【符号の説明】
【００８６】
１００  解像度変換部
１０１  原画像
１０９−０  出力解像度画像
１０９−１〜Ｎ  中間解像度画像
２００  類似情報生成部
２１０  検出テンプレート抽出部
２２０  検出ブロック抽出部
２３０  類似位置検出部
２３１  帯域変換部
２３２  画像比較部
２４０  類似性評価部
２４１  画素信頼度生成部
２４２  類似位置信頼度生成部
２４３  類似位置重み生成部
３００  テクスチャ生成部
３１０  テクスチャ成分抽出部
３２０  テクスチャタイリング部
３２１  テクスチャブロック生成部
３２２  ブロックタイリング部
３３０  テクスチャ統合部
３３１  特徴量検出部
３３２  テクスチャ加算部
４００  テクスチャ混合部
【図１】
0004784322.tif 000003
【図２】
0004784322.tif 000004
【図３】
0004784322.tif 000005
【図４】
0004784322.tif 000006
【図５】
0004784322.tif 000007
【図６】
0004784322.tif 000008
【図８】
0004784322.tif 000009
【図９】
0004784322.tif 000010
【図１０】
0004784322.tif 000011
【図１１】
0004784322.tif 000012
【図１２】
0004784322.tif 000013
【図１４】
0004784322.tif 000014
【図１５】
0004784322.tif 000015
【図１６】
0004784322.tif 000016
【図１７】
0004784322.tif 000017
【図１８】
0004784322.tif 000018
【図１９】
0004784322.tif 000019
【図７】
0004784322.tif 000020
【図１３】
0004784322.tif 000021