(57)【要約】【課題】入力画像を、より解像度の高い出力画像に変換する場合に、出力画像の画質を向上させることができるようにする。【解決手段】超解像処理部２１は、入力画像と、その入力画像と同じ被写体の含まれる他の入力画像とを用いた超解像処理により、入力画像を、より解像度の高いＳＲ画像に変換する。斜め補間処理部２２は、エッジエンハンス処理を行って、入力画像を、より解像度の高いエンハンス画像に変換する。重み算出部４３は、入力画像上の動く被写体の領域を示すモーションマスクと、入力画像上の被写体を表す線が表示される領域を示すウェイトマップとから、重みを算出する。加算部４４は、算出された重みを用いて、ＳＲ画像とエンハンス画像とを重み付け加算し、出力画像を生成する。本発明は、画像変換装置に適用することができる。【選択図】図１
2010140460.tif 000002
【特許請求の範囲】
【請求項１】
第１の解像度の入力画像を、より解像度の高い第２の解像度の出力画像に変換する画像処理装置であって、
前記入力画像と共通する被写体が含まれた前記第２の解像度の他の入力画像と、前記入力画像とを用いた動き補償により、前記入力画像を前記第２の解像度のＳＲ画像に変換する超解像処理手段と、
前記入力画像および前記ＳＲ画像に基づいて、前記動き補償による予測の精度を示すモーションマスクを生成するモーションマスク生成手段と、
前記入力画像に基づいて、前記入力画像の各領域におけるエッジ方向を示すエッジ方向情報を生成するエッジ方向情報生成手段と、
前記入力画像および前記エッジ方向情報に基づいて、前記各領域における前記エッジ方向の確からしさを示すウェイトマップを生成するウェイトマップ生成手段と、
前記エッジ方向情報を用いた補間処理により、前記入力画像を前記第２の解像度の補間画像に変換する補間処理手段と、
前記モーションマスクと前記ウェイトマップとから重みを算出する重み算出手段と、
前記重みを用いて、前記ＳＲ画像と前記補間画像とを重み付き加算して、前記出力画像を生成する画像生成手段と
を備える画像処理装置。
【請求項２】
前記重み算出手段は、前記モーションマスクにより示される前記予測の精度が低いほど、前記ＳＲ画像の重みが小さくなるように、前記重みを算出する
請求項１に記載の画像処理装置。
【請求項３】
前記重み算出手段は、前記ウェイトマップにより示される前記エッジ方向の確からしさが高いほど、前記ＳＲ画像の重みが小さくなるように、前記重みを算出する
請求項１に記載の画像処理装置。
【請求項４】
前記モーションマスクは、前記予測の精度が低いほど前記予測の精度を示す精度重み値が小さくなる、領域ごとの前記精度重み値からなる情報であり、
前記ウェイトマップは、前記エッジ方向が確からしいほど前記エッジ方向の確からしさを示す確度重み値が小さくなる、領域ごとの前記確度重み値からなる情報であり、
前記重み算出手段は、領域ごとに、前記精度重み値と前記確度重み値のうちのより小さい値に基づいて前記重みを算出する
請求項１に記載の画像処理装置。
【請求項５】
第１の解像度の入力画像を、より解像度の高い第２の解像度の出力画像に変換する画像処理装置であり、
前記入力画像と共通する被写体が含まれた前記第２の解像度の他の入力画像と、前記入力画像とを用いた動き補償により、前記入力画像を前記第２の解像度のＳＲ画像に変換する超解像処理手段と、
前記入力画像および前記ＳＲ画像に基づいて、前記動き補償による予測の精度を示すモーションマスクを生成するモーションマスク生成手段と、
前記入力画像に基づいて、前記入力画像の各領域におけるエッジ方向を示すエッジ方向情報を生成するエッジ方向情報生成手段と、
前記入力画像および前記エッジ方向情報に基づいて、前記各領域における前記エッジ方向の確からしさを示すウェイトマップを生成するウェイトマップ生成手段と、
前記エッジ方向情報を用いた補間処理により、前記入力画像を前記第２の解像度の補間画像に変換する補間処理手段と、
前記モーションマスクと前記ウェイトマップとから重みを算出する重み算出手段と、
前記重みを用いて、前記ＳＲ画像と前記補間画像とを重み付き加算して、前記出力画像を生成する画像生成手段と
を備える画像処理装置の画像処理方法であって、
前記超解像処理手段が、前記動き補償により前記入力画像を前記ＳＲ画像に変換し、
前記モーションマスク生成手段が、前記入力画像および前記ＳＲ画像に基づいて、前記モーションマスクを生成し、
前記エッジ方向情報生成手段が、前記入力画像に基づいて前記エッジ方向情報を生成し、
前記ウェイトマップ生成手段が、前記入力画像および前記エッジ方向情報に基づいて、前記ウェイトマップを生成し、
前記補間処理手段が、前記入力画像を前記補間画像に変換し、
前記重み算出手段が、前記モーションマスクと前記ウェイトマップとから重みを算出し、
前記画像生成手段が、前記重み付き加算により前記出力画像を生成する
ステップを含む画像処理方法。
【請求項６】
第１の解像度の入力画像を、より解像度の高い第２の解像度の出力画像に変換する画像処理用のプログラムであって、
前記入力画像と共通する被写体が含まれた前記第２の解像度の他の入力画像と、前記入力画像とを用いた動き補償により、前記入力画像を前記第２の解像度のＳＲ画像に変換し、
前記入力画像および前記ＳＲ画像に基づいて、前記動き補償による予測の精度を示すモーションマスクを生成し、
前記入力画像に基づいて、前記入力画像の各領域におけるエッジ方向を示すエッジ方向情報を生成し、
前記入力画像および前記エッジ方向情報に基づいて、前記各領域における前記エッジ方向の確からしさを示すウェイトマップを生成し、
前記エッジ方向情報を用いた補間処理により、前記入力画像を前記第２の解像度の補間画像に変換し、
前記モーションマスクと前記ウェイトマップとから重みを算出し、
前記重みを用いて、前記ＳＲ画像と前記補間画像とを重み付き加算して、前記出力画像を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項７】
第１の解像度の入力画像を、より解像度の高い第２の解像度の出力画像に変換する画像処理装置であって、
前記入力画像の各領域におけるエッジの方向に基づく補間処理により、前記入力画像を前記第２の解像度の第１の補間画像に変換する第１の補間処理手段と、
前記第１の補間画像と共通する被写体が含まれた前記第２の解像度の他の第１の補間画像と、前記第１の補間画像とを用いた動き補償により、前記第１の補間画像を前記第２の解像度のＳＲ画像に変換する超解像処理手段と、
前記ＳＲ画像と前記入力画像との差分を求めることにより、差分画像を生成する差分算出手段と、
前記差分画像の各領域におけるエッジの方向に基づく補間処理により、前記第１の解像度の前記差分画像を前記第２の解像度の第２の補間画像に変換する第２の補間処理手段と、
前記第２の補間画像を、前記ＳＲ画像に加算することで前記出力画像を生成する加算手段と
を備える画像処理装置。
【請求項８】
第１の解像度の入力画像を、より解像度の高い第２の解像度の出力画像に変換する画像処理装置であって、
前記入力画像に基づいて、前記入力画像の各領域におけるエッジ方向を示すエッジ方向情報を生成するエッジ方向情報生成手段と、
前記入力画像および前記エッジ方向情報に基づいて、前記各領域における前記エッジ方向の確からしさを示すウェイトマップを生成するウェイトマップ生成手段と、
前記エッジ方向情報を用いた補間処理により、前記入力画像を前記第２の解像度の補間画像に変換する補間処理手段と、
前記補間画像と共通する被写体が含まれた前記第２の解像度の他の補間画像と、前記補間画像とを用いた動き補償により、前記補間画像を前記第２の解像度のＳＲ画像に変換する超解像処理手段と、
前記補間画像および前記ＳＲ画像に基づいて、前記動き補償による予測の精度を示すモーションマスクを生成するモーションマスク生成手段と、
前記モーションマスクと前記ウェイトマップとから重みを算出する重み算出手段と、
前記ＳＲ画像と前記入力画像との差分を求めることにより、差分画像を生成する差分算出手段と、
前記重みを用いて、前記ＳＲ画像と前記差分画像とを重み付き加算して、前記出力画像を生成する画像生成手段と
を備える画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および方法、並びにプログラムに関し、特に、入力された画像を、より解像度の高い画像に変換する場合に用いて好適な画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、入力された画像から、より解像度の高い画像を生成する手法として、超解像と呼ばれる方法が知られている（例えば、特許文献１参照）。超解像においては、互いに重なりを持つ複数の画像、つまり互いに共通する被写体の含まれる画像が用いられて、注目している画像について、その画像よりも解像度の高い高解像度画像が生成される。
【０００３】
すなわち、注目している画像と、他の画像が用いられて既に生成されている高解像度画像とから補正値が求められ、その補正値が既に生成されている高解像度画像に加算される。そして、補正値が加算された高解像度画像が、注目している画像に対する高解像度画像とされる。
【０００４】
超解像によれば、複数の画像を用いて補正値を求め、その補正値により画像を補正することで高解像度画像を得ているので、単に画像をアップサンプリングする場合よりも、画像の画質を向上させることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１４００１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した技術では、低解像度の画像から、より解像度の高い高解像度画像を得ようとする場合に、画像中に動いている被写体が含まれていると、画像の画質を向上させることができなかった。
【０００７】
すなわち、超解像では、撮像時刻の異なる複数の画像が用いられるため、２つの画像中に共通して含まれる被写体に動きがあると、一方の画像における、他方の画像上で被写体がある領域と同じ領域には、その被写体がないことになる。そのような場合、被写体のある領域について補正値を求め、その補正値を用いて画像の補正を行うと、被写体の領域の画質が劣化してしまうことがあるため、そのような領域には補正値は加算されない。したがって、画像上における動きのない領域については、画質を向上させることはできるが、画像上の動きのある領域の画質は向上させることができなかった。特に、画像上に局所的な動きのある被写体が含まれている場合、画質を向上させることが困難であった。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、複数の画像を用いて、より解像度の高い画像を得ようとする場合に、より画像の画質を向上させることができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の第１の側面の画像処理装置は、第１の解像度の入力画像を、より解像度の高い第２の解像度の出力画像に変換する画像処理装置であって、前記入力画像と共通する被写体が含まれた前記第２の解像度の他の入力画像と、前記入力画像とを用いた動き補償により、前記入力画像を前記第２の解像度のＳＲ画像に変換する超解像処理手段と、前記入力画像および前記ＳＲ画像に基づいて、前記動き補償による予測の精度を示すモーションマスクを生成するモーションマスク生成手段と、前記入力画像に基づいて、前記入力画像の各領域におけるエッジ方向を示すエッジ方向情報を生成するエッジ方向情報生成手段と、前記入力画像および前記エッジ方向情報に基づいて、前記各領域における前記エッジ方向の確からしさを示すウェイトマップを生成するウェイトマップ生成手段と、前記エッジ方向情報を用いた補間処理により、前記入力画像を前記第２の解像度の補間画像に変換する補間処理手段と、前記モーションマスクと前記ウェイトマップとから重みを算出する重み算出手段と、前記重みを用いて、前記ＳＲ画像と前記補間画像とを重み付き加算して、前記出力画像を生成する画像生成手段とを備える。
【００１０】
前記重み算出手段には、前記モーションマスクにより示される前記予測の精度が低いほど、前記ＳＲ画像の重みが小さくなるように、前記重みを算出させることができる。
【００１１】
前記重み算出手段には、前記ウェイトマップにより示される前記エッジ方向の確からしさが高いほど、前記ＳＲ画像の重みが小さくなるように、前記重みを算出させることができる。
【００１２】
前記モーションマスクを、前記予測の精度が低いほど前記予測の精度を示す精度重み値が小さくなる、領域ごとの前記精度重み値からなる情報とし、前記ウェイトマップを、前記エッジ方向が確からしいほど前記エッジ方向の確からしさを示す確度重み値が小さくなる、領域ごとの前記確度重み値からなる情報とし、前記重み算出手段には、領域ごとに、前記精度重み値と前記確度重み値のうちのより小さい値に基づいて前記重みを算出させることができる。
【００１３】
本発明の第１の側面の画像処理方法またはプログラムは、第１の解像度の入力画像を、より解像度の高い第２の解像度の出力画像に変換する画像処理方法または画像処理用のプログラムであって、前記入力画像と共通する被写体が含まれた前記第２の解像度の他の入力画像と、前記入力画像とを用いた動き補償により、前記入力画像を前記第２の解像度のＳＲ画像に変換し、前記入力画像および前記ＳＲ画像に基づいて、前記動き補償による予測の精度を示すモーションマスクを生成し、前記入力画像に基づいて、前記入力画像の各領域におけるエッジ方向を示すエッジ方向情報を生成し、前記入力画像および前記エッジ方向情報に基づいて、前記各領域における前記エッジ方向の確からしさを示すウェイトマップを生成し、前記エッジ方向情報を用いた補間処理により、前記入力画像を前記第２の解像度の補間画像に変換し、前記モーションマスクと前記ウェイトマップとから重みを算出し、前記重みを用いて、前記ＳＲ画像と前記補間画像とを重み付き加算して、前記出力画像を生成するステップを含む。
【００１４】
本発明の第１の側面においては、第１の解像度の入力画像を、より解像度の高い第２の解像度の出力画像に変換する画像処理において、前記入力画像と共通する被写体が含まれた前記第２の解像度の他の入力画像と、前記入力画像とを用いた動き補償により、前記入力画像が前記第２の解像度のＳＲ画像に変換され、前記入力画像および前記ＳＲ画像に基づいて、前記動き補償による予測の精度を示すモーションマスクが生成され、前記入力画像に基づいて、前記入力画像の各領域におけるエッジ方向を示すエッジ方向情報が生成され、前記入力画像および前記エッジ方向情報に基づいて、前記各領域における前記エッジ方向の確からしさを示すウェイトマップが生成され、前記エッジ方向情報を用いた補間処理により、前記入力画像が前記第２の解像度の補間画像に変換され、前記モーションマスクと前記ウェイトマップとから重みが算出され、前記重みが用いられて、前記ＳＲ画像と前記補間画像とが重み付き加算されて、前記出力画像が生成される。
【００１５】
本発明の第２の側面の画像処理装置は、第１の解像度の入力画像を、より解像度の高い第２の解像度の出力画像に変換する画像処理装置であって、前記入力画像の各領域におけるエッジの方向に基づく補間処理により、前記入力画像を前記第２の解像度の第１の補間画像に変換する第１の補間処理手段と、前記第１の補間画像と共通する被写体が含まれた前記第２の解像度の他の第１の補間画像と、前記第１の補間画像とを用いた動き補償により、前記第１の補間画像を前記第２の解像度のＳＲ画像に変換する超解像処理手段と、前記ＳＲ画像と前記入力画像との差分を求めることにより、差分画像を生成する差分算出手段と、前記差分画像の各領域におけるエッジの方向に基づく補間処理により、前記第１の解像度の前記差分画像を前記第２の解像度の第２の補間画像に変換する第２の補間処理手段と、前記第２の補間画像を、前記ＳＲ画像に加算することで前記出力画像を生成する加算手段とを備える。
【００１６】
本発明の第２の側面においては、第１の解像度の入力画像を、より解像度の高い第２の解像度の出力画像に変換する画像処理において、前記入力画像の各領域におけるエッジの方向に基づく補間処理により、前記入力画像が前記第２の解像度の第１の補間画像に変換され、前記第１の補間画像と共通する被写体が含まれた前記第２の解像度の他の第１の補間画像と、前記第１の補間画像とを用いた動き補償により、前記第１の補間画像が前記第２の解像度のＳＲ画像に変換され、前記ＳＲ画像と前記入力画像との差分を求めることにより、差分画像が生成され、前記差分画像の各領域におけるエッジの方向に基づく補間処理により、前記第１の解像度の前記差分画像が前記第２の解像度の第２の補間画像に変換され、前記第２の補間画像が、前記ＳＲ画像に加算されることで前記出力画像が生成される。
【００１７】
本発明の第３の側面の画像処理装置は、第１の解像度の入力画像を、より解像度の高い第２の解像度の出力画像に変換する画像処理装置であって、前記入力画像に基づいて、前記入力画像の各領域におけるエッジ方向を示すエッジ方向情報を生成するエッジ方向情報生成手段と、前記入力画像および前記エッジ方向情報に基づいて、前記各領域における前記エッジ方向の確からしさを示すウェイトマップを生成するウェイトマップ生成手段と、前記エッジ方向情報を用いた補間処理により、前記入力画像を前記第２の解像度の補間画像に変換する補間処理手段と、前記補間画像と共通する被写体が含まれた前記第２の解像度の他の補間画像と、前記補間画像とを用いた動き補償により、前記補間画像を前記第２の解像度のＳＲ画像に変換する超解像処理手段と、前記補間画像および前記ＳＲ画像に基づいて、前記動き補償による予測の精度を示すモーションマスクを生成するモーションマスク生成手段と、前記モーションマスクと前記ウェイトマップとから重みを算出する重み算出手段と、前記ＳＲ画像と前記入力画像との差分を求めることにより、差分画像を生成する差分算出手段と、前記重みを用いて、前記ＳＲ画像と前記差分画像とを重み付き加算して、前記出力画像を生成する画像生成手段とを備える。
【００１８】
本発明の第３の側面においては、第１の解像度の入力画像を、より解像度の高い第２の解像度の出力画像に変換する画像処理において、前記入力画像に基づいて、前記入力画像の各領域におけるエッジ方向を示すエッジ方向情報が生成され、前記入力画像および前記エッジ方向情報に基づいて、前記各領域における前記エッジ方向の確からしさを示すウェイトマップが生成され、前記エッジ方向情報を用いた補間処理により、前記入力画像が前記第２の解像度の補間画像に変換され、前記補間画像と共通する被写体が含まれた前記第２の解像度の他の補間画像と、前記補間画像とを用いた動き補償により、前記補間画像が前記第２の解像度のＳＲ画像に変換され、前記補間画像および前記ＳＲ画像に基づいて、前記動き補償による予測の精度を示すモーションマスクが生成され、前記モーションマスクと前記ウェイトマップとから重みが算出され、前記ＳＲ画像と前記入力画像との差分を求めることにより、差分画像が生成され、前記重みが用いられて、前記ＳＲ画像と前記差分画像とが重み付き加算されて、前記出力画像が生成される。
【発明の効果】
【００１９】
本発明の第１の側面によれば、複数の画像を用いて、より解像度の高い画像を得ようとする場合に、より画像の画質を向上させることができる。
【００２０】
本発明の第２の側面によれば、複数の画像を用いて、より解像度の高い画像を得ようとする場合に、より画像の画質を向上させることができる。
【００２１】
本発明の第３の側面によれば、複数の画像を用いて、より解像度の高い画像を得ようとする場合に、より画像の画質を向上させることができる。
【図面の簡単な説明】
【００２２】
【図１】本発明を適用した画像変換装置の一実施の形態の構成例を示す図である。
【図２】プロファイラ処理部の構成例を示す図である。
【図３】エンハンス部の構成例を示す図である。
【図４】画像変換処理を説明するフローチャートである。
【図５】超解像処理を説明するフローチャートである。
【図６】エッジエンハンス処理を説明するフローチャートである。
【図７】画像における画素値の変化の例を示す図である。
【図８】画像における画素値の変化の例を示す図である。
【図９】画像における画素値の変化の例を示す図である。
【図１０】画像における画素値の変化の例を示す図である。
【図１１】画像における画素値の変化の例を示す図である。
【図１２】重みの算出について説明する図である。
【図１３】本発明を適用した画像変換装置の他の構成例を示す図である。
【図１４】超解像処理部の構成例を示す図である。
【図１５】斜め補間処理部の構成例を示す図である。
【図１６】垂直アップサンプリング処理部の構成例を示す図である。
【図１７】プロファイラ処理部の構成例を示す図である。
【図１８】ダブラ処理部の構成例を示す図である。
【図１９】エンハンサ処理部の構成例を示す図である。
【図２０】画像変換処理を説明するフローチャートである。
【図２１】超解像処理を説明するフローチャートである。
【図２２】斜め補間処理を説明するフローチャートである。
【図２３】垂直方向プロファイラ処理を説明するフローチャートである。
【図２４】垂直方向プロファイラ処理を説明するフローチャートである。
【図２５】注目領域の例を示す図である。
【図２６】エッジ方向検出領域の例を示す図である。
【図２７】垂直方向ダブラ処理を説明するフローチャートである。
【図２８】垂直方向エンハンサ処理を説明するフローチャートである。
【図２９】本発明を適用した画像変換装置の他の構成例を示す図である。
【図３０】画像変換処理を説明するフローチャートである。
【図３１】斜め補間によるアップサンプリング処理を説明するフローチャートである。
【図３２】本発明を適用した画像変換装置の他の構成例を示す図である。
【図３３】画像変換処理を説明するフローチャートである。
【図３４】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照して、本発明を適用した実施の形態について説明する。
【００２４】
〈第１の実施の形態〉
［画像変換装置の構成］
図１は、本発明を適用した画像変換装置の一実施の形態の構成例を示す図である。
【００２５】
画像変換装置１１は、超解像処理部２１、斜め補間処理部２２、および混合部２３から構成され、画像変換装置１１は、入力された入力画像を、その入力画像よりも解像度の高い出力画像に変換し、出力する。
【００２６】
例えば、入力画像として、動画像や、連続して撮像された静止画像などの撮像時刻の異なる画像が、撮像された順に画像変換装置１１の超解像処理部２１および斜め補間処理部２２に供給される。したがって、順次、画像変換装置１１に供給される複数の入力画像は、互いに重なりを持つ画像、つまり同じ被写体の含まれる画像とされる。
【００２７】
超解像処理部２１は、供給された入力画像と、その入力画像よりも時間的に前に撮像された他の入力画像から得られた、他の入力画像に対応する高解像度の画像とを用いて、超解像処理により、入力画像を、より解像度の高い画像に変換する。
【００２８】
なお、以下、入力画像から得られる、入力画像よりも解像度の高い画像をＳＲ（Super Resolution）画像とも称する。このＳＲ画像は、出力画像と同じ解像度の画像であり、入力画像とＳＲ画像とは、表示される被写体は同じであるが、解像度が異なる画像である。
【００２９】
超解像処理部２１は、アップサンプリング部３１、動き補償部３２、マスク生成部３３、混合部３４、およびバックプロジェクション処理部３５から構成される。
【００３０】
アップサンプリング部３１は、供給された入力画像をアップサンプリングして、動き補償部３２、マスク生成部３３、および混合部３４に供給する。動き補償部３２は、アップサンプリング部３１から供給された入力画像と、バックプロジェクション処理部３５から供給されたＳＲ画像とを用いて、動き補償により予測画像を生成する。
【００３１】
ここで、バックプロジェクション処理部３５から動き補償部３２に供給されるＳＲ画像は、アップサンプリング部３１に供給された処理対象の入力画像よりも、時間的に前に供給された他の入力画像についてのＳＲ画像である。また、予測画像とは、既に生成されたＳＲ画像が用いて予測された、処理対象の入力画像に対するＳＲ画像をいう。
【００３２】
動き補償部３２は、動き補償により得られた予測画像をマスク生成部３３および混合部３４に供給する。マスク生成部３３は、アップサンプリング部３１からの入力画像と、動き補償部３２からの予測画像とを用いてモーションマスクを生成し、混合部３４および混合部２３に供給する。
【００３３】
モーションマスクは、入力画像上の動きのある被写体が表示される領域を特定するための情報であり、モーションマスクは、入力画像と予測画像との差分を求めることにより生成される。つまり、モーションマスクを構成する各画素の画素値は、その画素と同じ位置にある入力画像の画素と、予測画像の画素との差分を示している。
【００３４】
混合部３４は、マスク生成部３３から供給されたモーションマスクを用いて、動き補償部３２からの予測画像と、アップサンプリング部３１からの入力画像とを重み付き加算し、その結果得られた画像をバックプロジェクション処理部３５に供給する。バックプロジェクション処理部３５は、混合部３４から供給された画像と、供給された入力画像とを用いて、入力画像に対するＳＲ画像を生成し、動き補償部３２および混合部２３に供給する。バックプロジェクション処理部３５から動き補償部３２に供給されたＳＲ画像は、次に画像変換装置１１に供給された入力画像に対するＳＲ画像を生成するのに用いられる。
【００３５】
また、斜め補間処理部２２は、供給された入力画像に対して、解像度をより高くする補間処理や、エッジを強調するフィルタ処理を施して、入力画像を、より解像度の高いエンハンス画像に変換し、混合部２３に供給する。このエンハンス画像は、表示される被写体が入力画像と同じであり、かつ解像度がＳＲ画像と同じ画像である。
【００３６】
斜め補間処理部２２は、プロファイラ処理部３６、アップサンプリング部３７、アップサンプリング部３８、補間処理部３９、アップサンプリング部４０、混合部４１、およびエンハンス部４２から構成される。
【００３７】
プロファイラ処理部３６は、供給された入力画像を用いて、入力画像の各画素について、エッジ強度およびフラット強度を検出し、それらの検出結果を示すエッジ強度情報およびフラット強度情報を生成する。プロファイラ処理部３６により生成されたエッジ強度情報およびフラット強度情報は、アップサンプリング部３８によりアップサンプリングされてエンハンス部４２に供給される。
【００３８】
ここで、エッジ強度情報とは、入力画像の各画素におけるエッジ強度の大きさを示す情報である。なお、エッジ強度とは、入力画像上の注目している画素およびその近傍の領域における位置の変化に対する画素値の変化の大きさの度合いであり、画素値の変化が大きいほどエッジ強度は強くなり、画素値の変化が小さいほどエッジ強度は弱くなる。
【００３９】
また、フラット強度情報とは、入力画像の各画素におけるフラット強度の大きさを示す情報である。なお、フラット強度とは、入力画像上の注目している画素およびその近傍の領域における画素値の変化の小ささの度合いであり、画素値の変化が小さいほど、フラット強度は強くなり、画素値の変化が大きいほど、フラット強度は弱くなる。
【００４０】
また、プロファイラ処理部３６は、供給された入力画像上の各画素に表示される被写体を表す線の方向を示す方向マップを生成し、補間処理部３９に供給する。つまり、方向マップを構成する各画素の画素値は、その画素と同じ位置にある入力画像の画素に表示される被写体を表す線の方向を示している。
【００４１】
さらに、プロファイラ処理部３６は、生成した方向マップを用いて、方向マップにより示される方向の確からしさ、つまり入力画像の画素に被写体を表す線の一部が表示されている確からしさを示すウェイトマップを生成し、アップサンプリング部３７に供給する。すなわち、ウェイトマップを構成する各画素の画素値が大きいほど、その画素は、入力画像上の被写体を表す、ある程度の長さを持つ線が表示される画素である可能性が高いことを示している。なお、被写体を表す線には、被写体（背景を含む）の輪郭に限らず、被写体の細部を表す線も含まれるものとする。
【００４２】
アップサンプリング部３７は、プロファイラ処理部３６から供給されたウェイトマップをアップサンプリングして、混合部４１および混合部２３に供給する。補間処理部３９は、プロファイラ処理部３６から供給された方向マップを用いて、供給された入力画像に補間処理を施し、入力画像を、ＳＲ画像と同じ大きさの補間画像に変換する。
【００４３】
この補間画像は、表示される被写体が入力画像と同じであり、かつ解像度がＳＲ画像と同じ画像である。補間処理部３９は、変換により得られた補間画像を混合部４１に供給する。アップサンプリング部４０は、供給された入力画像をアップサンプリングして混合部４１に供給する。
【００４４】
混合部４１は、アップサンプリング部３７から供給されたウェイトマップを用いて、補間処理部３９からの補間画像と、アップサンプリング部４０からの入力画像とを重み付き加算し、その結果得られた画像をエンハンス部４２に供給する。エンハンス部４２は、アップサンプリング部３８から供給されたエッジ強度情報およびフラット強度情報を用いて、混合部４１から供給された画像に対して、その画像のエッジを強調する処理を施し、エンハンス画像を生成する。エンハンス部４２は、生成したエンハンス画像を混合部２３に供給する。
【００４５】
また、混合部２３は、ＳＲ画像とエンハンス画像とから出力画像を生成し、出力する。混合部２３は、重み算出部４３および加算部４４から構成される。
【００４６】
重み算出部４３は、マスク生成部３３から供給されたモーションマスクと、アップサンプリング部３７から供給されたウェイトマップとに基づいて、ＳＲ画像とエンハンス画像との重み付き加算に用いる重みを求め、加算部４４に供給する。加算部４４は、重み算出部４３から供給された重みを用いて、バックプロジェクション処理部３５からのＳＲ画像と、エンハンス部４２からのエンハンス画像とを重み付き加算することで出力画像を生成し、出力画像を出力する。
【００４７】
また、プロファイラ処理部３６およびエンハンス部４２は、より詳細には、図２および図３に示すように構成される。
【００４８】
図２は、プロファイラ処理部３６のより詳細な構成例を示す図である。
【００４９】
プロファイラ処理部３６は、コントラスト計算部７１、エッジ強度情報生成部７２、フラット強度情報生成部７３、およびウェイトマップ生成部７４から構成される。
【００５０】
コントラスト計算部７１は、供給された入力画像の各画素について、その画素を含む近傍の領域におけるコントラストの強さであるコントラスト強度を検出し、その検出結果をエッジ強度情報生成部７２およびフラット強度情報生成部７３に供給する。
【００５１】
エッジ強度情報生成部７２は、コントラスト計算部７１から供給された検出結果を用いてエッジ強度情報を生成し、アップサンプリング部３８に供給する。フラット強度情報生成部７３は、コントラスト計算部７１から供給された検出結果を用いてフラット強度情報を生成し、アップサンプリング部３８に供給する。
【００５２】
ウェイトマップ生成部７４は、供給された入力画像を用いて方向マップを生成し、補間処理部３９に供給する。さらに、ウェイトマップ生成部７４は、生成した方向マップを用いてウェイトマップを生成し、アップサンプリング部３７に供給する。
【００５３】
また、図３は、エンハンス部４２のより詳細な構成例を示す図である。
【００５４】
エンハンス部４２は、フラットフィルタ処理部１０１、フラット適応混合処理部１０２、エッジフィルタ処理部１０３、およびエッジ適応混合処理部１０４から構成される。
【００５５】
フラットフィルタ処理部１０１は、混合部４１から供給された画像の各画素に対して、フラットフィルタ処理を施してフラット適応混合処理部１０２に供給する。フラット適応混合処理部１０２は、アップサンプリング部３８から供給されたフラット強度情報を用いて、混合部４１から供給された画像と、フラットフィルタ処理部１０１から供給された画像（以下、フラット画像とも称する）とを合成する。フラット適応混合処理部１０２は、合成により得られた画像（以下、フラット混合画像とも称する）をエッジフィルタ処理部１０３に供給する。
【００５６】
エッジフィルタ処理部１０３は、フラット適応混合処理部１０２からのフラット混合画像に対してエッジフィルタ処理を施し、その結果得られたエッジ画像をエッジ適応混合処理部１０４に供給する。エッジ適応混合処理部１０４は、アップサンプリング部３８から供給されたエッジ強度情報を用いて、混合部４１から供給された画像と、エッジフィルタ処理部１０３から供給されたエッジ画像とを合成し、その結果得られたエンハンス画像を混合部２３に供給する。
【００５７】
［画像変換装置の動作］
ところで、図１の画像変換装置１１は、画像変換装置１１に入力画像が供給されるごとに、画像変換処理を行って、供給された入力画像を出力画像に変換し、出力する。
【００５８】
以下、図４のフローチャートを参照して、画像変換装置１１による画像変換処理について説明する。
【００５９】
ステップＳ１１において、超解像処理部２１は、超解像処理を行って、供給された入力画像からＳＲ画像を生成し、混合部２３の加算部４４に供給する。ここで、図５のフローチャートを参照して、ステップＳ１１の処理に対応する超解像処理について説明する。
【００６０】
ステップＳ４１において、アップサンプリング部３１は、供給された入力画像をアップサンプリングして動き補償部３２、マスク生成部３３、および混合部３４に供給する。具体的には、アップサンプリング部３１は、これから生成しようとするＳＲ画像における、入力画像の注目している画素と同じ位置周辺のいくつかの画素の画素値を、入力画像の注目している画素の画素値と同じ値とすることで、入力画像をアップサンプリングする。
【００６１】
ステップＳ４２において、動き補償部３２は、アップサンプリング部３１からの入力画像と、バックプロジェクション処理部３５からのＳＲ画像とを用いて動き補償を行い、予測画像を生成する。そして、動き補償部３２は、生成した予測画像をマスク生成部３３および混合部３４に供給する。
【００６２】
すなわち、動き補償部３２は、入力画像とＳＲ画像とを用いて、ＳＲ画像の各画素の動きベクトルを検出する。そして、動き補償部３２は、検出した動きベクトルを用いて、ＳＲ画像に対して動き補償を行い、予測画像を生成する。したがって、動き補償により得られる予測画像は、ＳＲ画像上の動きのある被写体を、入力画像上の同じ被写体の位置に近い位置に移動させた画像となる。
【００６３】
ステップＳ４３において、マスク生成部３３は、アップサンプリング部３１から供給された入力画像と、動き補償部３２から供給された予測画像とを用いてモーションマスクを生成し、混合部３４および重み算出部４３に供給する。
【００６４】
すなわち、マスク生成部３３は、これから求めようとするモーションマスクの画素を注目画素として、注目画素と同じ位置にある入力画像の画素の画素値と、注目画素と同じ位置にある予測画像の画素の画素値との差分を求める。そして、マスク生成部３３は、得られた差分の値に応じて定まる値、例えば、差分に予め定められた係数を乗算して得られる値を、注目画素の画素値とすることで、モーションマスクを生成する。
【００６５】
ステップＳ４４において、混合部３４は、マスク生成部３３から供給されたモーションマスクを用いて、アップサンプリング部３１からの入力画像と、動き補償部３２からの予測画像とを混合する。
【００６６】
すなわち、混合部３４は、これから求めようとする画像（以下、ＳＲ混合画像とも称する）の注目する画素を注目画素とする。そして、混合部３４は、注目画素と同じ位置にある、モーションマスクの画素の画素値に基づいて、注目画素と同じ位置にある入力画像の画素の重みＷｉ（但し、０≦Ｗｉ≦１）と、注目画素と同じ位置にある予測画像の画素の重みＷｅ（＝１−Ｗｉ）とを求める。
【００６７】
混合部３４は、重みＷｉが乗算された、注目画素と同じ位置にある入力画像の画素の画素値と、重みＷｅが乗算された、注目画素と同じ位置にある予測画像の画素の画素値とを加算して得られる値を、注目画素の画素値とする。このようにして、混合部３４は、ＳＲ混合画像の各画素を注目画素として、それらの画素の画素値を求めることで、ＳＲ混合画像を生成する。
【００６８】
なお、入力画像と予測画像の重み付け加算時において、例えば、モーションマスクの画素の画素値が大きいほど、重みＷｉが大きくなるようにされる。これは、モーションマスクの画素の画素値が大きい領域、つまり動きのある被写体が表示される領域については、ＳＲ混合画像の生成に対する入力画像の寄与率を大きくすることで、ＳＲ混合画像の画質の劣化を防止するためである。
【００６９】
混合部３４は、ＳＲ混合画像を生成すると、生成したＳＲ混合画像をバックプロジェクション処理部３５に供給する。
【００７０】
ステップＳ４５において、バックプロジェクション処理部３５は、供給された入力画像と、混合部３４からのＳＲ混合画像とを用いてＳＲ画像を生成する。
【００７１】
例えば、バックプロジェクション処理部３５は、ＳＲ混合画像をダウンサンプリングし、供給された入力画像と同じ大きさ、つまり同じ解像度の画像とする。そして、バックプロジェクション処理部３５は、ダウンサンプリングにより得られたＳＲ混合画像と、供給された入力画像との差分を求めることで、差分画像を生成する。つまり、差分画像の画素の画素値は、その画素と同じ位置にある、ＳＲ混合画像の画素の画素値と入力画像の画素の画素値との差分の値とされる。
【００７２】
さらに、バックプロジェクション処理部３５は、得られた差分画像をアップサンプリングして、ＳＲ画像と同じ解像度の画像とする。バックプロジェクション処理部３５は、アップサンプリングされた差分画像と、混合部３４から供給されたＳＲ混合画像とを加算することでＳＲ画像を生成する。つまり、ＳＲ画像の画素の画素値は、その画素と同じ位置にある、アップサンプリングされた差分画像の画素の画素値と、混合部３４から供給されたＳＲ混合画像の画素の画素値との和とされる。
【００７３】
このようにして得られたＳＲ画像は、超解像処理部２１に供給された入力画像に対する、入力画像よりも解像度の高い画像である。但し、モーションマスクを用いた重み付き加算により、ＳＲ画像における動きのある被写体の領域の画素の画素値は、その領域と同じ位置にある、アップサンプリングされた入力画像の画素の画素値とほぼ同じ値となる。つまりＳＲ画像のその領域は、画質は劣化していないが向上もしていない領域となる。
【００７４】
バックプロジェクション処理部３５は、ＳＲ画像を生成すると、生成されたＳＲ画像を動き補償部３２に供給するとともに、加算部４４に供給する。ＳＲ画像が加算部４４に供給されると、超解像処理は終了し、処理は図４のステップＳ１２に進む。なお、超解像処理は、例えば、特開２００８−１４００１２号公報などに詳細に記載されている。
【００７５】
図４のフローチャートの説明に戻り、ステップＳ１２において、斜め補間処理部２２は、エッジエンハンス処理を行い、供給された入力画像を用いてエンハンス画像を生成する。
【００７６】
以下、図６のフローチャートを参照して、ステップＳ１２の処理に対応するエッジエンハンス処理について説明する。
【００７７】
ステップＳ７１において、コントラスト計算部７１は、コントラスト強度を検出する。具体的には、コントラスト計算部７１は、供給された入力画像上の１つの画素を注目画素とし、入力画像から、注目画素を中心とする所定の範囲の領域（以下、注目領域と称する）内の画素を抽出する。そして、コントラスト計算部７１は、注目領域内の各画素間の画素値の差分の絶対値に、それらの画素間の距離に応じた重みを乗じた値の合計値を求め、その合計値を、注目画素におけるコントラスト強度とする。
【００７８】
コントラスト計算部７１は、入力画像の各画素についてコントラスト強度を求め、求めたコントラスト強度をエッジ強度情報生成部７２およびフラット強度情報生成部７３に供給する。
【００７９】
ステップＳ７２において、エッジ強度情報生成部７２は、コントラスト計算部７１から供給されたコントラスト強度に基づいて、エッジ強度情報を生成する。
【００８０】
例えば、エッジ強度情報生成部７２は、入力画像の各画素を順次、注目画素とし、注目画素のコントラスト強度と、予め定められた閾値ＴＥ１および閾値ＴＥ２（但し、ＴＥ１＜ＴＥ２）とを用いて、各画素のエッジ強度を求める。
【００８１】
具体的には、注目画素のコントラスト強度ＴＣが閾値ＴＥ１未満である場合、注目画素のエッジ強度は「０」とされる。また、注目画素のコントラスト強度ＴＣが閾値ＴＥ１以上、閾値ＴＥ２以下である場合、注目画素のエッジ強度は、「（ＴＣ−ＴＥ１）／（ＴＥ２−ＴＥ１）」とされ、コントラスト強度ＴＣが閾値ＴＥ２を超える場合、注目画素のエッジ強度は「１」とされる。このエッジ強度は、その値が大きいほど、注目画素におけるエッジ強度が強いことを示している。
【００８２】
次に、エッジ強度情報生成部７２は、入力画像の各画素についてエッジ強度を求めると、それらのエッジ強度を用いて、エッジ強度情報を生成する。
【００８３】
例えば、エッジ強度情報が画素値を有する画素からなり、入力画像の画素と同じ位置のエッジ強度情報の画素の画素値が、入力画像の画素近傍のエッジ強度の強さを示す情報とされるものとする。
【００８４】
この場合、エッジ強度情報生成部７２は、入力画像上の１つの画素を注目画素とし、注目画素を中心とする所定の範囲の領域（注目領域）内の各画素におけるエッジ強度に注目画素との間の距離に応じた重みを乗じた値の合計値を求め、その合計値を、注目画素におけるエッジ強度情報の値とする。したがって、エッジ強度情報の値は、注目領域内の各画素のエッジ強度が強いほど大きくなり、注目領域内の各画素のエッジ強度が弱いほど小さくなる。
【００８５】
エッジ強度情報生成部７２は、エッジ強度情報を生成すると、生成したエッジ強度情報をアップサンプリング部３８に供給する。アップサンプリング部３８は、エッジ強度情報生成部７２から供給されたエッジ強度情報を、ＳＲ画像と同じ大きさにアップサンプリングし、エッジ適応混合処理部１０４に供給する。
【００８６】
ステップＳ７３において、フラット強度情報生成部７３は、コントラスト計算部７１から供給されたコントラスト強度に基づいて、フラット強度情報を生成する。
【００８７】
例えば、フラット強度情報生成部７３は、入力画像の各画素を順次、注目画素とし、注目画素のコントラスト強度と、予め定められた閾値ＴＦ１および閾値ＴＦ２（但し、ＴＦ１＜ＴＦ２）とを用いて、各画素のフラット強度を求める。
【００８８】
具体的には、注目画素のコントラスト強度ＴＣが閾値ＴＦ１未満である場合、注目画素のフラット強度は「１」とされる。また、注目画素のコントラスト強度ＴＣが閾値ＴＦ１以上、閾値ＴＦ２以下である場合、注目画素のフラット強度は、「（−ＴＣ＋ＴＦ２）／（ＴＦ２−ＴＦ１）」とされ、コントラスト強度ＴＣが閾値ＴＦ２を超える場合、注目画素のフラット強度は「０」とされる。このフラット強度は、その値が大きいほど、注目画素周辺における画素値の変化が小さいことを示している。
【００８９】
次に、フラット強度情報生成部７３は、入力画像の各画素についてフラット強度を求めると、それらのフラット強度を用いて、フラット強度情報を生成する。
【００９０】
例えば、フラット強度情報が画素値を有する画素からなり、入力画像の画素と同じ位置のフラット強度情報の画素の画素値が、入力画像の画素近傍のフラット強度の強さを示す情報とされるものとする。
【００９１】
この場合、フラット強度情報生成部７３は、入力画像上の１つの画素を注目画素とし、注目画素を中心とする所定の範囲の領域（注目領域）内の各画素におけるフラット強度に注目画素との間の距離に応じた重みを乗じた値の合計値を求め、その合計値を、注目画素におけるフラット強度情報の値とする。したがって、フラット強度情報の値は、注目領域内の各画素のフラット強度が強いほど大きくなり、注目領域内の各画素のフラット強度が弱いほど小さくなる。
【００９２】
フラット強度情報生成部７３は、フラット強度情報を生成すると、生成したフラット強度情報をアップサンプリング部３８に供給する。アップサンプリング部３８は、フラット強度情報生成部７３から供給されたフラット強度情報を、ＳＲ画像と同じ大きさにアップサンプリングし、フラット適応混合処理部１０２に供給する。
【００９３】
ステップＳ７４において、ウェイトマップ生成部７４は、供給された入力画像を用いて、方向マップを生成する。
【００９４】
例えば、ウェイトマップ生成部７４は、入力画像上の画素を、順次、注目画素とし、注目画素を含む所定の領域内の画素であって、注目画素を通る所定の方向の直線上に位置する画素同士の画素値の差分を求める。ウェイトマップ生成部７４は、予め定められた７つの方向について画素値の差分を求め、それらの差分のうちの最も小さい差分の値を選択する。
【００９５】
そして、ウェイトマップ生成部７４は、選択した差分を求めた方向を示す値を、注目画素と同じ位置にある方向マップの画素の画素値とする。この画素値は、注目画素に表示される被写体を表す線の方向を示している。ウェイトマップ生成部７４は、入力画像の各画素について差分を求めて方向マップを生成すると、生成した方向マップを補間処理部３９に供給する。
【００９６】
ステップＳ７５において、ウェイトマップ生成部７４は、ステップＳ７４において生成した方向マップを用いてウェイトマップを生成する。
【００９７】
すなわち、ウェイトマップ生成部７４は、方向マップを構成する各画素を順次、注目画素とし、注目画素を含む所定の大きさの領域内の各画素の画素値に基づいて、注目画素と同じ位置のウェイトマップの画素の画素値を求める。
【００９８】
例えば、ウェイトマップの画素の画素値は、注目画素を含む領域内に、注目画素に近い画素値の画素が多いほど大きくなるように定められる。これは、注目画素近傍に、注目画素の画素値と近い画素値の画素が多い、つまり注目画素近傍に、注目画素に表示される被写体の線の方向と同じ方向の線が表示される画素が多いと、ある程度の長さを持つ線が注目画素に表示されている可能性が高いからである。
【００９９】
ウェイトマップ生成部７４は、ウェイトマップを生成すると、生成したウェイトマップをアップサンプリング部３７に供給する。アップサンプリング部３７は、ウェイトマップ生成部７４から供給されたウェイトマップを、ＳＲ画像と同じ大きさにアップサンプリングし、混合部４１および重み算出部４３に供給する。
【０１００】
ステップＳ７６において、補間処理部３９は、ウェイトマップ生成部７４から供給された方向マップを用いて、供給された入力画像に対して補間処理を行い、補間画像を生成する。例えば、補間処理部３９は、補間画像における補間により求めようとする画素を注目画素とし、注目画素と同じ位置にある方向マップの画素を中心とする所定の領域を注目領域とする。そして、補間処理部３９は、方向マップの注目領域内の各画素の画素値を用いて、注目画素に表示される被写体を表す線の方向を求め、その方向を示す画素値を有する方向マップの画素と同じ位置にある、入力画像上の画素の画素値の平均値を求める。補間処理部３９は、求めた平均値を注目画素の画素値とし、補間画像を生成する。
【０１０１】
このように、入力画像上の被写体を表す１つの線の一部が表示されるいくつかの画素を用いて、その線の一部が表示される注目画素の画素値を求めて補間画像を生成することで、画像の拡大（高解像度化）時に生じるジャギーをより少なくすることができる。すなわち、方向マップを用いて補間画像を生成すれば、入力画像を単にアップサンプリングする場合よりも、ジャギーの少ない、より画質のよい画像を得ることができる。
【０１０２】
補間処理部３９は、補間画像を生成すると、生成した補間画像を混合部４１に供給する。
【０１０３】
ステップＳ７７において、アップサンプリング部４０は、供給された入力画像をアップサンプリングし、混合部４１に供給する。
【０１０４】
ステップＳ７８において、混合部４１は、アップサンプリング部３７から供給されたウェイトマップを用いて、補間処理部３９から供給された補間画像と、アップサンプリング部４０から供給された入力画像とを混合する。
【０１０５】
例えば、混合部４１は、これから求めようとする画像（以下、補間混合画像とも称する）の注目する画素を注目画素とする。そして、混合部４１は、注目画素と同じ位置にある、ウェイトマップの画素の画素値に基づいて、注目画素と同じ位置にある補間画像の画素の重みＷｐ（但し、０≦Ｗｐ≦１）と、注目画素と同じ位置にある入力画像の画素の重みＷｏ（＝１−Ｗｐ）とを求める。
【０１０６】
混合部４１は、重みＷｐが乗算された、注目画素と同じ位置にある補間画像の画素の画素値と、重みＷｏが乗算された、注目画素と同じ位置にある入力画像の画素の画素値とを加算して得られる値を、注目画素の画素値とする。このようにして、混合部４１は、補間混合画像の各画素を注目画素として、それらの画素の画素値を求めることで、補間混合画像を生成する。
【０１０７】
なお、入力画像と補間画像の重み付け加算時において、例えば、ウェイトマップの画素の画素値が大きいほど、重みＷｐが大きくなるようにされる。ウェイトマップの画素の画素値が大きい領域、つまりある程度の長さを持つ線の一部が表示されている可能性が高い領域については、補間混合画像の生成に対する補間画像の寄与率を大きくすることで、より補間混合画像の画質を向上させることができる。
【０１０８】
逆に、ウェイトマップの画素の画素値が小さく、ある程度の長さを持つ線の一部が表示されている可能性が低い領域については、補間混合画像の生成に対する入力画像の寄与率を大きくすることで、補間混合画像の画質の劣化を抑制することができる。
【０１０９】
混合部４１は、補間混合画像を生成すると、生成した補間混合画像をエンハンス部４２のフラットフィルタ処理部１０１、フラット適応混合処理部１０２、およびエッジ適応混合処理部１０４に供給する。
【０１１０】
ステップＳ７９において、フラットフィルタ処理部１０１は、混合部４１から供給された補間混合画像に対して、フラットフィルタ処理を施す。
【０１１１】
具体的には、フラットフィルタ処理部１０１は、補間混合画像の各画素について、補間混合画像の所定の空間周波数の帯域の成分を減衰させる特性を持つフィルタを用いて、その画素およびその画素の近傍の画素からなる領域に対してフラットフィルタ処理を施す。フラットフィルタ処理部１０１は、フラットフィルタ処理により得られたフラット画像をフラット適応混合処理部１０２に供給する。
【０１１２】
例えば、フラットフィルタ処理には、メディアンフィルタ、ローパスフィルタなど、画像の高周波帯域の成分を減衰する平滑化フィルタが用いられる。この場合、補間混合画像において、図７に示すように画素値が変化する領域があるとき、フラットフィルタ処理を施した後のフラット画像の対応する領域における画素値の変化は図８に示すようになる。
【０１１３】
すなわち、画素値の変化が平滑化されることにより、補間混合画像のエッジを含む図７の領域Ｄ１１ａに対応する図８の領域Ｄ１２ａにおいて、画素値の変化が緩やかになる（エッジ強度が弱められる）。また、補間混合画像のエッジ付近の領域である図７の領域Ｄ１１ｂおよびＤ１１ｃに対応する図８の領域Ｄ１２ｂおよびＤ１２ｃにおいて、エッジ付近の画素値の細かな（振幅の小さな）振動が抑制される。
【０１１４】
ステップＳ８０において、フラット適応混合処理部１０２は、アップサンプリング部３８からのフラット強度情報を用いて、混合部４１からの補間混合画像、およびフラットフィルタ処理部１０１からのフラット画像に対して、フラット適応混合処理を施す。
【０１１５】
例えば、フラット適応混合処理部１０２は、これから求めようとするフラット混合画像の注目する画素を注目画素とする。そして、フラット適応混合処理部１０２は、注目画素と同じ位置にある、フラット強度情報の画素の画素値に基づいて、注目画素と同じ位置にある、補間混合画像の画素の重みＷｇ（但し、０≦Ｗｇ≦１）と、フラット画像の画素の重みＷｆ（＝１−Ｗｇ）とを求める。
【０１１６】
フラット適応混合処理部１０２は、重みＷｇが乗算された、注目画素と同じ位置にある補間混合画像の画素の画素値と、重みＷｆが乗算された、注目画素と同じ位置にあるフラット画像の画素の画素値とを加算して得られる値を、注目画素の画素値とする。
【０１１７】
補間混合画像とフラット画像の重み付け加算では、フラット強度が強い領域ほど、フラット混合画像の生成に対するフラット画像の寄与率が高くなり、フラット強度が弱い領域ほど、フラット混合画像の生成に対する補間混合画像の寄与率が高くなるようにされる。
【０１１８】
したがって、例えば、図７に示すように画素値が変化する補間混合画像と図８に示すように画素値が変化するフラット画像がフラット適応混合処理部１０２に入力された場合、フラット適応混合処理部１０２から出力されるフラット混合画像における画素値の変化は図９に示されるようになる。
【０１１９】
すなわち、図７の領域Ｄ１１ａに対応する図９の領域Ｄ１３ａにおいて、図７の領域Ｄ１１ａとほぼ同じ傾きで画素値が変化する。つまり、フラット混合画像では、補間混合画像のエッジがほとんど変化せずに保持される。また、図７の領域Ｄ１１ｂおよびＤ１１ｃに対応する図９の領域Ｄ１３ｂおよびＤ１３ｃにおいて、図８の領域Ｄ１２ｂおよびＤ１２ｃ内とほぼ同様に画素値が変化する。このように、フラット混合画像では、補間混合画像のエッジ付近の画素値の細かな振動が抑制される。
【０１２０】
フラット適応混合処理部１０２は、フラット適応混合処理により得られたフラット混合画像を、エッジフィルタ処理部１０３に供給する。
【０１２１】
ステップＳ８１において、エッジフィルタ処理部１０３は、フラット適応混合処理部１０２からのフラット混合画像に対して、エッジフィルタ処理を施す。
【０１２２】
具体的には、エッジフィルタ処理部１０３は、フラット混合画像の各画素について、画像の高周波成分を通過させる特性を持つフィルタを用いて、その画素およびその画素の近傍の画素からなる領域に対してフィルタ処理を施す。エッジフィルタ処理部１０３は、エッジフィルタ処理により得られたエッジ画像をエッジ適応混合処理部１０４に供給する。
【０１２３】
例えば、図９に示すように画素値が変化するフラット混合画像がエッジフィルタ処理部１０３に入力された場合、エッジフィルタ処理部１０３から出力されるエッジ画像における画素値の変化は図１０に示すようになる。すなわち、図９の領域Ｄ１３ａ（図７の領域Ｄ１１ａ）に対応する図１０の領域Ｄ１４ａにおいて、図９の領域Ｄ１３ａ（図７の領域Ｄ１１ａ）より強い傾きで画素値が変化する。このように、エッジ画像では、被写体のエッジが強調される。
【０１２４】
ステップＳ８２において、エッジ適応混合処理部１０４は、アップサンプリング部３８からのエッジ強度情報を用いて、混合部４１からの補間混合画像、およびエッジフィルタ処理部１０３からのエッジ画像に対して、エッジ適応混合処理を施す。
【０１２５】
例えば、エッジ適応混合処理部１０４は、これから求めようとするエンハンス画像の注目する画素を注目画素とする。そして、エッジ適応混合処理部１０４は、注目画素と同じ位置にある、エッジ強度情報の画素の画素値に基づいて、注目画素と同じ位置にある、補間混合画像の画素の重みＷｍ（但し、０≦Ｗｍ≦１）と、エッジ画像の画素の重みＷｎ（＝１−Ｗｍ）とを求める。
【０１２６】
エッジ適応混合処理部１０４は、重みＷｍが乗算された、注目画素と同じ位置にある補間混合画像の画素の画素値と、重みＷｎが乗算された、注目画素と同じ位置にあるエッジ画像の画素の画素値とを加算して得られる値を、注目画素の画素値とする。
【０１２７】
補間混合画像とエッジ画像の重み付け加算では、エッジ強度が強い領域ほど、エンハンス画像の生成に対するエッジ画像の寄与率が高くなり、エッジ強度が弱い領域ほど、エンハンス画像の生成に対する補間混合画像の寄与率が高くなるようにされる。
【０１２８】
したがって、例えば図７に示すように画素値が変化する補間混合画像と、図１０に示すように画素値が変化するエッジ画像がエッジ適応混合処理部１０４に入力された場合、エンハンス画像における画素値の変化は図１１に示すように変化する。
【０１２９】
すなわち、図７の領域Ｄ１１ａに対応する図１１の領域Ｄ１５ａにおいて、図１０の領域Ｄ１４ａとほぼ同じ傾きで画素値が変化する。このように、エンハンス画像では、補間混合画像のエッジが強調される。
【０１３０】
また、図７の領域Ｄ１１ｂおよびＤ１１ｃに対応する図１１の領域Ｄ１５ｂおよびＤ１５ｃにおいて、図７の領域Ｄ１１ｂおよびＤ１１ｃ内とほぼ同様に画素値が変化する。すなわち、エンハンス画像では、補間混合画像のエッジ付近の画素値の細かな振動がほとんど変化せずに保持される。
【０１３１】
したがって、エンハンス画像は、補間混合画像（入力画像）のエッジのみが強調され、エッジの鮮鋭感が向上するとともに、その他の領域については、補間混合画像とほぼ同様の画像となり、ノイズの強調やコントラストの低下などによる画質の劣化が抑制される。また、エンハンス画像は、補間混合画像が用いられて生成されるので、入力画像をアップサンプリングして得られる画像よりも、よりジャギーの少ない、高画質な画像となる。
【０１３２】
エッジ適応混合処理部１０４は、エッジ適応混合処理により得られたエンハンス画像を加算部４４に供給する。このようにしてエンハンス画像が生成されると、エッジエンハンス処理は終了し、処理は図４のステップＳ１３に進む。
【０１３３】
図４のフローチャートの説明に戻り、超解像処理部２１により生成されたＳＲ画像およびモーションマスクと、斜め補間処理部２２により生成されたエンハンス画像およびウェイトマップとが混合部２３に供給されると、ステップＳ１３の処理が行われる。
【０１３４】
ステップＳ１３において、重み算出部４３は、マスク生成部３３からのモーションマスクと、アップサンプリング部３７からのウェイトマップとに基づいて、ＳＲ画像の重みＷｓ（但し、０≦Ｗｓ≦１）、およびエンハンス画像の重みＷｈ（＝１−Ｗｓ）を画素ごとに求める。そして重み算出部４３は、求めた重みＷｓおよび重みＷｈを加算部４４に供給する。
【０１３５】
ステップＳ１４において、加算部４４は、重み算出部４３から供給された重みを用いて、バックプロジェクション処理部３５からのＳＲ画像と、エッジ適応混合処理部１０４からのエンハンス画像とを混合し、その結果得られた出力画像を出力する。
【０１３６】
例えば、加算部４４は、これから求めようとする出力画像の画素を、順次、注目画素とする。そして、加算部４４は、重みＷｓが乗算された、注目画素と同じ位置にあるＳＲ画像の画素の画素値と、重みＷｈが乗算された、注目画素と同じ位置にあるエンハンス画像の画素の画素値とを加算して得られる値を注目画素の画素値として、出力画像を生成する。加算部４４により出力画像が生成されて出力されると、画像変換処理は終了する。
【０１３７】
ここで、出力画像の生成時に用いられるＳＲ画像を生成するための超解像処理には、ジャギーやモアレなどの含まれるエイリアシング領域を、ジャギーやモアレなどのない元の状態に復元することができるという長所がある。一方で、超解像処理には、入力画像の動きのある被写体の領域に対しては、効果的に画質を向上させることができないという短所がある。
【０１３８】
これに対して、出力画像の生成時に用いられるエンハンス画像を生成するためのエッジエンハンス処理には、入力画像をより解像度の高いエンハンス画像に変換するときに、ジャギーの発生を抑制し、画質を向上させることができるという長所がある。特に、被写体を表す斜めの線の含まれる領域に対して、効果的に画質を向上させることができる。
【０１３９】
また、エッジエンハンス処理は、供給された入力画像だけを用いる処理であるので、撮像時刻の異なる複数の画像を用いる超解像処理とは異なり、動きのある被写体の領域も画質を向上させることができる。すなわち、動きのある領域において、画質向上の効果が得られなくなってしまうことはない。
【０１４０】
そこで、重み算出部４３では、例えば図１２に示すように、超解像処理の効果が得られない、動く被写体の領域Ｒ１１、およびエッジエンハンス処理が効果的である斜めの線の含まれる領域Ｒ１２の画素については、エンハンス画像の重みＷｈがより大きくされる。
【０１４１】
図１２の例では、領域Ｒ１１には、動く被写体として乗用車が表示され、領域Ｒ１２には、斜めの線を含む被写体として、家屋の屋根の輪郭部分が表示されている。
【０１４２】
例えば、モーションマスクの画素の画素値は、被写体の動きの度合いを示しているので、その画素値が予め定められた閾値以上の画素は、動く被写体の領域内の画素とされ、その画素と同じ位置にあるエンハンス画像の画素の重みＷｈは、より大きくされる。
【０１４３】
また、例えば、ウェイトマップの画素の画素値は、斜めの線の画素である度合いを示しているので、その画素値が予め定められた閾値以上の画素は、斜めの線の含まれる領域内の画素とされる。そして、その画素と同じ位置にあるエンハンス画像の画素の重みＷｈは、より大きくされる。
【０１４４】
以上のように、画像変換装置１１は、超解像処理およびエッジエンハンス処理により、ＳＲ画像およびエンハンス画像を生成する。そして、画像変換装置１１は、動く被写体の領域および斜めの線の含まれる領域では、エンハンス画像の寄与率をより大きくし、その他の領域ではＳＲ画像の寄与率をより大きくして、出力画像を生成する。
【０１４５】
このように、動く被写体の領域および斜めの線の含まれる領域で、エンハンス画像の寄与率をより大きくし、その他の領域でＳＲ画像の寄与率をより大きくして、出力画像を生成することで、より出力画像の画質を向上させることができる。つまり、入力画像から、より解像度の高い出力画像を得ようとする場合に、出力画像の全体の領域において、簡単かつ確実に画質を向上させることができる。
【０１４６】
〈第２の実施の形態〉
［画像変換装置の構成］
図１３は、本発明を適用した画像変換装置の他の実施の形態の構成例を示す図である。
【０１４７】
画像変換装置１５１は、超解像処理部１６１、斜め補間処理部１６２、マップ生成部１６３、乗算部１６４、減算部１６５、乗算部１６６、加算部１６７、および乗算部１６８から構成される。
【０１４８】
画像変換装置１５１は、入力された入力画像を、より解像度の高い出力画像に変換して出力する。この入力画像は、第１の実施の形態における場合と同様に、時間的に連続して撮像された画像とされ、入力画像は、画像変換装置１５１の超解像処理部１６１および斜め補間処理部１６２に、１フレーム分ずつ順次、供給される。
【０１４９】
超解像処理部１６１は、供給された入力画像と、その入力画像よりも時間的に前に供給された他の入力画像から得られたＳＲ画像とを用いて、超解像処理により処理対象のフレームのＳＲ画像を生成し、乗算部１６４に供給する。このＳＲ画像は、供給された処理対象の入力画像を、出力画像と同じ解像度に拡大した画像である。
【０１５０】
また、超解像処理部１６１は、超解像処理において生成されたモーションマスクをマップ生成部１６３に供給する。このモーションマスクは、入力画像上の動きのある被写体の領域を特定するための情報であり、モーションマスク上の画素の画素値が大きいほど、その画素と同じ位置の入力画像の領域には、超解像処理がより効果的であることを示している。すなわち、モーションマスクの画素の画素値がより大きいほど、その画素と同じＳＲ画像の領域における画質の向上が期待できる。例えば、モーションマスクの画素の画素値は、０乃至１２８までの何れかの値とされる。
【０１５１】
斜め補間処理部１６２は、供給された入力画像に対して斜め補間処理を施し、出力画像と同じ解像度のエンハンス画像を生成して乗算部１６６に供給する。斜め補間処理では、入力画像の各領域におけるエッジの方向に並ぶ画素が用いられて、入力画像の画素間に新たな画素が補間され、補間により得られた、出力画像と同じ解像度の画像がエンハンス画像とされる。なお、この斜め補間処理は、上述した斜め補間処理部２２により行われる、エッジエンハンス処理と基本的に同様の処理である。
【０１５２】
また、斜め補間処理部１６２は、斜め補間処理において得られたウェイトマップをマップ生成部１６３に供給する。ウェイトマップは、入力画像の各領域において検出されたエッジの方向の確からしさの度合いを示す情報であり、ウェイトマップ上の画素の画素値が小さいほど、その画素と同じ位置の入力画像の領域には、斜め補間処理がより効果的であることを示している。すなわち、ウェイトマップの画素の画素値がより小さいほど、その画素と同じエンハンス画像の領域における画質の向上が期待できる。例えば、ウェイトマップの画素の画素値は、０乃至１６までの何れかの値とされる。
【０１５３】
マップ生成部１６３は、超解像処理部１６１からのモーションマスクと、斜め補間処理部１６２からのウェイトマップとを用いて、ＳＲ画像とエンハンス画像とを混合して出力画像を生成するときに用いられるアルファマップを生成する。このアルファマップの各画素の画素値は、出力画像生成時に、その画素と同じ位置にあるＳＲ画像の画素の画素値に乗算される重みとされる。
【０１５４】
マップ生成部１６３は、乗算部１７１および選択部１７２から構成され、乗算部１７１および選択部１７２には、それぞれウェイトマップおよびモーションマスクが供給される。
【０１５５】
乗算部１７１は、斜め補間処理部１６２から供給されたウェイトマップの各画素の画素値に、８を乗算して選択部１７２に供給する。これにより、ウェイトマップは、各画素の画素値が０乃至１２８の何れかの値となるように正規化される。選択部１７２は、超解像処理部１６１から供給されたモーションマスクと、乗算部１７１からのウェイトマップとからアルファマップを生成し、乗算部１６４および減算部１６５に供給する。
【０１５６】
乗算部１６４は、超解像処理部１６１からのＳＲ画像の各画素に、選択部１７２からのアルファマップの各画素の画素値を乗算して加算部１６７に供給する。減算部１６５は、選択部１７２からのアルファマップの各画素の画素値を、１２８から減算して乗算部１６６に供給する。つまり、アルファマップの画素の画素値に数値「−１２８」が加算される。
【０１５７】
乗算部１６６は、斜め補間処理部１６２からのエンハンス画像の各画素の画素値に、減算部１６５から供給された値を乗算して加算部１６７に供給する。加算部１６７は、乗算部１６４からのＳＲ画像と、乗算部１６６からのエンハンス画像とを加算して得られる画像を乗算部１６８に供給する。
【０１５８】
乗算部１６８は、加算部１６７から供給された画像の各画素の画素値に、１／１２８を乗算し、その結果得られた出力画像を出力する。すなわち、出力画像は、アルファマップの画素の画素値を重みとして、ＳＲ画像とエンハンス画像とを重み付き加算することにより得られる。
【０１５９】
また、図１３の超解像処理部１６１は、より詳細には、図１４に示すように構成される。
【０１６０】
超解像処理部１６１は、アップサンプリング部２０１、動き補償部２０２、モーションマスク生成部２０３、混合部２０４、ダウンサンプリング部２０５、フィルタ処理部２０６、減算部２０７、アップサンプリング部２０８、フィルタ処理部２０９、および加算部２１０から構成される。
【０１６１】
アップサンプリング部２０１は、供給された入力画像を、これから生成しようとするＳＲ画像と同じ解像度にアップサンプリングして、動き補償部２０２、モーションマスク生成部２０３、および混合部２０４に供給する。
【０１６２】
動き補償部２０２は、アップサンプリング部２０１からの入力画像と、加算部２１０から供給された、処理対象の現フレームの時間的に前のフレームのＳＲ画像とから、ＳＲ画像全体の動きベクトルを求める。
【０１６３】
また、動き補償部２０２は、求めた動きベクトルと、加算部２１０からのＳＲ画像とを用いて動き補償を行い、予測画像を生成する。すなわち、動き補償部２０２は、動きベクトルに示される方向に、動きベクトルの大きさと同じ距離だけＳＲ画像全体を移動させ、その結果得られた画像を予測画像とする。
【０１６４】
この予測画像は、１フレーム前のＳＲ画像を用いて、動き補償により現フレームのＳＲ画像を予測して得られた画像であり、予測画像は、動き補償部２０２からモーションマスク生成部２０３および混合部２０４に供給される。
【０１６５】
モーションマスク生成部２０３は、アップサンプリング部２０１からの入力画像と、動き補償部２０２からの予測画像とを用いてモーションマスクを生成し、混合部２０４および選択部１７２に供給する。混合部２０４は、モーションマスク生成部２０３からのモーションマスクを用いて、動き補償部２０２からの予測画像と、アップサンプリング部２０１からの入力画像とを重み付き加算し、その結果得られた混合画像をダウンサンプリング部２０５および加算部２１０に供給する。
【０１６６】
ダウンサンプリング部２０５は、混合部２０４からの混合画像を、入力画像と同じ解像度にダウンサンプリングし、フィルタ処理部２０６に供給する。フィルタ処理部２０６は、ダウンサンプリング部２０５からの混合画像に対して、ローパスフィルタを用いたフィルタ処理を施して減算部２０７に供給する。
【０１６７】
減算部２０７は、供給された入力画像から、フィルタ処理部２０６からの混合画像を減算することで、入力画像と混合画像との差分を求め、その結果得られた差分画像をアップサンプリング部２０８に供給する。アップサンプリング部２０８は、減算部２０７から供給された差分画像を、ＳＲ画像と同じ解像度にアップサンプリングしてフィルタ処理部２０９に供給する。
【０１６８】
フィルタ処理部２０９は、アップサンプリング部２０８から供給された差分画像に、ハイパスフィルタを用いたフィルタ処理を施して加算部２１０に供給する。加算部２１０は、混合部２０４からの混合画像と、フィルタ処理部２０９からの差分画像とを加算してＳＲ画像を生成し、そのＳＲ画像を動き補償部２０２および乗算部１６４に供給する。
【０１６９】
さらに、図１３の斜め補間処理部１６２は、より詳細には図１５に示すように構成される。すなわち、斜め補間処理部１６２は、垂直アップサンプリング処理部２４１、アップサンプリング部２４２、水平アップサンプリング処理部２４３、選択部２４４、およびアップサンプリング部２４５から構成される。
【０１７０】
垂直アップサンプリング処理部２４１は、供給された入力画像の各領域についてエッジの方向を検出し、その方向に並ぶ画素を用いた補間処理により、入力画像を所定の方向（以下、垂直方向またはｙ方向と称する）にアップサンプリングする。垂直アップサンプリング処理部２４１は、アップサンプリングされた入力画像を水平アップサンプリング処理部２４３に供給するとともに、アップサンプリング時に得られたウェイトマップをアップサンプリング部２４２に供給する。
【０１７１】
アップサンプリング部２４２は、垂直アップサンプリング処理部２４１から供給されたウェイトマップを、垂直方向にアップサンプリングして選択部２４４に供給する。
【０１７２】
水平アップサンプリング処理部２４３は、垂直アップサンプリング処理部２４１から供給された入力画像の各領域についてエッジの方向を検出し、その方向に並ぶ画素を用いた補間処理により、入力画像を垂直方向と垂直な方向（以下、水平方向またはｘ方向と称する）にアップサンプリングする。水平アップサンプリング処理部２４３は、アップサンプリングされた入力画像をエンハンス画像として乗算部１６６に供給するとともに、アップサンプリング時に得られたウェイトマップを選択部２４４に供給する。
【０１７３】
選択部２４４は、アップサンプリング部２４２からのウェイトマップの各画素の画素値と、水平アップサンプリング処理部２４３からのウェイトマップの各画素の画素値とのうち、より値の小さい画素値を選択し、選択された画素値の画素からなるウェイトマップをアップサンプリング部２４５に供給する。アップサンプリング部２４５は、選択部２４４から供給されたウェイトマップを水平方向にアップサンプリングし、その結果得られたウェイトマップを、最終的なウェイトマップとして乗算部１７１に供給する。
【０１７４】
また、垂直アップサンプリング処理部２４１は、より詳細には、図１６に示すように構成される。垂直アップサンプリング処理部２４１は、プロファイラ処理部２７１、ダブラ処理部２７２、およびエンハンサ処理部２７３から構成され、斜め補間処理部１６２に供給された入力画像は、プロファイラ処理部２７１およびダブラ処理部２７２に供給される。
【０１７５】
プロファイラ処理部２７１は、供給された入力画像に基づいて、ウェイトマップを生成し、ダブラ処理部２７２およびアップサンプリング部２４２に供給する。また、プロファイラ処理部２７１は、供給された入力画像に基づいて、入力画像の各領域におけるエッジの強度に基づく重みであるエッジ強度情報と、入力画像の各領域におけるテクスチャ成分の強度に基づく重みであるテクスチャ強度情報とを生成する。
【０１７６】
なお、テクスチャ成分とは、物体表面の模様など画素値がある程度変化し、画素値が急峻に変化するエッジ領域より画素値の変化が小さいテクスチャ領域を構成する画素のことである。プロファイラ処理部２７１は、生成したエッジ強度情報およびテクスチャ強度情報を、エンハンサ処理部２７３に供給する。
【０１７７】
ダブラ処理部２７２は、プロファイラ処理部２７１から供給されたウェイトマップを用いて、供給された入力画像を垂直方向にアップサンプリングし、エンハンサ処理部２７３に供給する。
【０１７８】
エンハンサ処理部２７３は、プロファイラ処理部２７１からのエッジ強度情報およびテクスチャ強度情報を用いて、ダブラ処理部２７２からの入力画像にエッジおよびテクスチャを強調する処理を施して、水平アップサンプリング処理部２４３に供給する。
【０１７９】
さらに、垂直アップサンプリング処理部２４１のプロファイラ処理部２７１、ダブラ処理部２７２、およびエンハンサ処理部２７３は、より詳細には、図１７乃至図１９に示すように構成される。
【０１８０】
図１７は、プロファイラ処理部２７１のより詳細な構成例を示す図である。
【０１８１】
プロファイラ処理部２７１は、方向検出部３０１、方向性分布生成部３０２、信頼度検出部３０３、信頼度分布生成部３０４、コントラスト計算部３０５、斜めコントラスト分布生成部３０６、テクスチャコントラスト分布生成部３０７、エッジコントラスト分布生成部３０８、傾き選択部３０９、斜め重み付け設定部３１０、テクスチャ強度情報生成部３１１、およびエッジ強度情報生成部３１２から構成される。
【０１８２】
プロファイラ処理部２７１では、これから求めようとする垂直方向にアップサンプリングされた入力画像上の補間される画素（以下、補間画素とも称する）を順次、注目画素とし、ウェイトマップ、エッジ強度情報、テクスチャ強度情報などを求める。なお、以下、これから求めようとする垂直方向にアップサンプリングされた入力画像を、垂直補間画像とも称することとする。
【０１８３】
方向検出部３０１は、供給された入力画像に基づいて、垂直補間画像上の注目画素について、注目画素を中心とする所定の領域（以下、注目領域と称する）内の補間画素におけるエッジの方向を示すエッジ方向情報を生成する。このエッジ方向情報は、方向性分布生成部３０２および信頼度検出部３０３に供給される。
【０１８４】
方向性分布生成部３０２は、方向検出部３０１から供給されたエッジ方向情報に基づいて、各注目画素について、注目領域内の各補間画素のエッジ方向情報からなる方向性分布を生成する。方向性分布は、傾き選択部３０９、斜め重み付け設定部３１０、テクスチャ強度情報生成部３１１、およびエッジ強度情報生成部３１２に供給される。
【０１８５】
信頼度検出部３０３は、供給された入力画像、および方向検出部３０１からのエッジ方向情報に基づいて、各エッジ方向情報により示されるエッジの方向の確からしさ、つまり信頼度を示す信頼度情報を生成し、信頼度分布生成部３０４に供給する。信頼度分布生成部３０４は、信頼度検出部３０３から供給された信頼度情報を用いて、各注目画素について、注目領域内の各補間画素の信頼度情報からなる信頼度分布を生成する。信頼度分布は、傾き選択部３０９、斜め重み付け設定部３１０、テクスチャ強度情報生成部３１１、およびエッジ強度情報生成部３１２に供給される。
【０１８６】
コントラスト計算部３０５は、供給された入力画像に基づいて、垂直補間画像上の注目画素について、注目領域内の補間画素におけるコントラストの強度を示すコントラスト強度を生成する。コントラスト強度は、斜めコントラスト分布生成部３０６、テクスチャコントラスト分布生成部３０７、およびエッジコントラスト分布生成部３０８に供給される。
【０１８７】
斜めコントラスト分布生成部３０６は、コントラスト計算部３０５からのコントラスト強度に基づいて、注目画素ごとに、注目領域内の各補間画素における、コントラスト強度に基づく重みからなるコントラスト分布を生成する。このコントラスト分布の値は、コントラスト強度が大きいほど大きくなる。生成されたコントラスト分布は、斜めコントラスト分布生成部３０６から傾き選択部３０９、斜め重み付け設定部３１０、およびダブラ処理部２７２に供給される。
【０１８８】
テクスチャコントラスト分布生成部３０７は、コントラスト計算部３０５からのコントラスト強度に基づいて、注目画素ごとに、注目領域内の各補間画素における、コントラスト強度に基づく重みからなるテクスチャコントラスト分布を生成する。テクスチャコントラスト分布は、テクスチャコントラスト分布生成部３０７からテクスチャ強度情報生成部３１１に供給される。
【０１８９】
エッジコントラスト分布生成部３０８は、コントラスト計算部３０５からのコントラスト強度に基づいて、注目画素ごとに、注目領域内の各補間画素における、コントラスト強度に基づく重みからなるエッジコントラスト分布を生成する。エッジコントラスト分布は、エッジコントラスト分布生成部３０８からエッジ強度情報生成部３１２に供給される。
【０１９０】
傾き選択部３０９は、方向性分布生成部３０２、信頼度分布生成部３０４、および斜めコントラスト分布生成部３０６から供給された、方向性分布、信頼度分布、およびコントラスト分布に基づいて、傾き選択情報を生成し、ダブラ処理部２７２に供給する。傾き選択情報は、垂直補間画像上の補間画素を生成するために用いるべき、垂直補間画像（入力画像）上の画素が並んでいる方向を示す情報である。
【０１９１】
斜め重み付け設定部３１０は、方向性分布生成部３０２、信頼度分布生成部３０４、および斜めコントラスト分布生成部３０６から供給された、方向性分布、信頼度分布、およびコントラスト分布に基づいてウェイトマップを生成し、ダブラ処理部２７２およびアップサンプリング部２４２に供給する。
【０１９２】
テクスチャ強度情報生成部３１１は、方向性分布生成部３０２、信頼度分布生成部３０４、およびテクスチャコントラスト分布生成部３０７から供給された方向性分布、信頼度分布、およびテクスチャコントラスト分布に基づいてテクスチャ強度情報を生成し、エンハンサ処理部２７３に供給する。
【０１９３】
エッジ強度情報生成部３１２は、方向性分布生成部３０２、信頼度分布生成部３０４、およびエッジコントラスト分布生成部３０８から供給された方向性分布、信頼度分布、およびエッジコントラスト分布に基づいてエッジ強度情報を生成し、エンハンサ処理部２７３に供給する。
【０１９４】
図１８は、図１６のダブラ処理部２７２のより詳細な構成例を示す図である。
【０１９５】
ダブラ処理部２７２は、線形補間部３４１、統計傾斜補間部３４２、および斜め合成部３４３から構成される。
【０１９６】
線形補間部３４１は、供給された入力画像に基づいて、入力画像を垂直方向に線形補間して、垂直補間画像の各補間画素（以下、線形補間画素とも称する）を求め、求めた補間画素と入力画像とを斜め合成部３４３に供給する。
【０１９７】
統計傾斜補間部３４２は、斜めコントラスト分布生成部３０６からのコントラスト分布と、供給された入力画像における、傾き選択部３０９からの傾き選択情報により特定される画素とを用いて、垂直補間画像の各補間画素を求め、斜め合成部３４３に供給する。なお、以下、統計傾斜補間部３４２により求められた補間画素を統計傾斜補間画素とも称する。
【０１９８】
斜め合成部３４３は、斜め重み付け設定部３１０からのウェイトマップを用いて、線形補間部３４１からの線形補間画素と、統計傾斜補間部３４２からの統計傾斜補間画素とを合成し、垂直補間画像の補間画素の画素値を求める。また、斜め合成部３４３は、求めた補間画素と、線形補間部３４１からの入力画像とから垂直補間画像を生成し、エンハンサ処理部２７３に供給する。
【０１９９】
図１９は、図１６のエンハンサ処理部２７３のより詳細な構成例を示す図である。
【０２００】
エンハンサ処理部２７３は、テクスチャフィルタ処理部３７１、テクスチャ適応混合処理部３７２、エッジフィルタ処理部３７３、およびエッジ適応混合処理部３７４から構成される。
【０２０１】
テクスチャフィルタ処理部３７１は、斜め合成部３４３から供給された垂直補間画像に対して、主にテクスチャの領域に対する処理を目的としたテクスチャフィルタ処理を施して、テクスチャ適応混同処理部３７２に供給する。
【０２０２】
テクスチャ適応混合処理部３７２は、テクスチャ強度情報生成部３１１から供給されたテクスチャ強度情報を用いて、斜め合成部３４３から供給された垂直補間画像と、テクスチャフィルタ処理部３７１から供給された垂直補間画像とを混合する。テクスチャ適応混合処理部３７２は、混合の結果得られた画像（以下、テクスチャ混合画像とも称する）をエッジ適応混合処理部３７４に供給する。
【０２０３】
エッジフィルタ処理部３７３は、斜め合成部３４３から供給された垂直補間画像に対して、主にエッジの領域に対する処理を目的としたエッジフィルタ処理を施して、エッジ適応混同処理部３７４に供給する。
【０２０４】
エッジ適応混同処理部３７４は、エッジ強度情報生成部３１２から供給されたエッジ強度情報を用いて、テクスチャ適応混合処理部３７２から供給されたテクスチャ混合画像と、エッジフィルタ処理部３７３から供給された垂直補間画像とを混合する。エッジ適応混同処理部３７４は、混合の結果得られた画像を、最終的な垂直補間画像として水平アップサンプリング処理部２４３に供給する。
【０２０５】
なお、図１５の水平アップサンプリング処理部２４３のより詳細な構成も、図１６乃至図１９に示した垂直アップサンプリング処理部２４１の構成と同様であるため、その図示および説明は省略する。但し、垂直アップサンプリング処理部２４１では、入力画像の垂直方向が処理対象とされたのに対し、水平アップサンプリング処理部２４３においては、入力画像（垂直補間画像）の水平方向が処理対象とされ、入力画像が水平方向に補間される。
【０２０６】
［画像変換装置の動作］
次に、図２０のフローチャートを参照して、図１３の画像変換装置１５１により行われる画像変換処理について説明する。この画像変換処理は、画像変換装置１５１に１フレーム分の入力画像が供給されるごとに行われる。
【０２０７】
ステップＳ１１１において、超解像処理部１６１は、供給された入力画像を用いて超解像処理を行い、ＳＲ画像を生成する。超解像処理部１６１は、超解像処理により生成されたＳＲ画像を乗算部１６４に供給するとともに、超解像処理において生成されたモーションマスクを選択部１７２に供給する。
【０２０８】
ステップＳ１１２において、斜め補間処理部１６２は、供給された入力画像を用いて斜め補間処理を行い、エンハンス画像を生成する。斜め補間処理部１６２は、斜め補間処理により生成されたエンハンス画像を乗算部１６６に供給するとともに、斜め補間処理において生成されたウェイトマップを乗算部１７１に供給する。なお、超解像処理および斜め補間処理の詳細は後述する。
【０２０９】
例えば、画像変換処理において、水平方向にＨ画素、垂直方向にＶ画素からなる入力画像が、水平方向に２Ｈ画素、垂直方向に２Ｖ画素からなる出力画像に変換されるものとする。この場合、モーションマスクおよびウェイトマップは、それぞれ水平方向に２Ｈ画素、垂直方向に２Ｖ画素からなる情報とされる。以下では、入力画像が、水平方向および垂直方向に、それぞれ２倍の画素数（解像度）となるように変換される例について説明する。
【０２１０】
ステップＳ１１３において、マップ生成部１６３は、超解像処理部１６１のモーションマスク生成部２０３からのモーションマスクと、斜め補間処理部１６２のアップサンプリング部２４５からのウェイトマップとを用いてアルファマップを生成する。
【０２１１】
すなわち、乗算部１７１は、供給されたウェイトマップの各画素の画素値に、数値「８」を乗算して選択部１７２に供給する。
【０２１２】
また、選択部１７２は、これから得ようとするアルファマップの画素を順次、注目画素として、超解像処理部１６１からのモーションマスクと、乗算部１７１からのウェイトマップとから注目画素の画素値を求めることで、アルファマップを生成する。
【０２１３】
例えば、選択部１７２は、注目画素と同じ位置にあるモーションマスクの画素の画素値と、注目画素と同じ位置にあるウェイトマップの画素の画素値とのうち、より小さい画素値の値を、注目画素の画素値とする。
【０２１４】
ＳＲ画像と、エンハンス画像とを混合するにあたり、混合により得られる出力画像をより高画質なものにするためには、超解像処理と斜め補間処理のうち、より効果の大きい処理により得られた画像に対する重みをより大きくする必要がある。
【０２１５】
ここで、アルファマップの画素の画素値は、ＳＲ画像に乗算される重みであるから、超解像処理による効果が大きい領域ほどアルファマップの画素の画素値が大きくなるように、アルファマップの各画素の画素値を定めればよい。
【０２１６】
例えば、超解像処理には、画像本来の高域信号成分を復元できるという長所がある反面、図１２を参照して説明したように、図１２の領域Ｒ１１のような、画像上の局所的な動きのある領域には、大きな効果は期待できないという短所がある。
【０２１７】
これは、超解像処理では、動き補償を利用した予測によりＳＲ画像を得ているが、超解像処理における動き補償の精度は高くないため、時刻の異なる画像を重ね合わせてＳＲ画像としても画質の向上を図ることが困難だからである。超解像処理においては、局所的な動きのある領域に対しては、通常の線形補間によるアップサンプリングと同等程度の効果しか得ることができない。
【０２１８】
一方、斜め補間処理には、例えば、図１２の領域Ｒ１２のような斜め方向の直線等のジャギーが発生しがちな領域、つまり斜めのエッジをシャープに再現できるという長所があるが、画像本来の周波数成分を再現することができないという短所がある。例えば、画像上にモアレなどの、画像本来の周波数成分が有する正しい模様、つまり画像上の本来表示されるべき絵柄とは異なる模様があると、斜め補間処理により、そのモアレ等の模様がそのまま強調されてしまい、画質が劣化してしまう。
【０２１９】
また、斜め補間処理では、処理対象となるフレームの画像だけが用いられるため、すなわち時刻の異なる画像を用いる必要がないため、画像上の局所的な動きのある領域に対しても効果があり、画質が劣化することもない。
【０２２０】
このように、局所的な動きがあり、動き補償のエラーの大きい領域、つまりモーションマスクの画素の画素値がより小さい領域は、超解像処理の効果が小さい領域である。また、斜め方向のエッジのある領域、つまりウェイトマップの画素の画素値の小さい領域は、斜め補間処理の効果の大きい領域である。
【０２２１】
そこで、選択部１７２は、モーションマスクとウェイトマップとの画素値のうち、より小さい画素値をアルファマップの画素値とする。
【０２２２】
例えば、モーションマスクとウェイトマップのどちらの画素値も、それなりに大きければ、アルファマップの画素値も大きくなり、ＳＲ画像の出力画像生成への寄与率も大きくなる。この場合、モーションマスクの画素値がそれなりに大きいので、超解像処理により充分な効果が得られるはずであるから、出力画像の画質の向上を図ることができる。
【０２２３】
また、モーションマスクの画素値があまり大きくなく、かつウェイトマップの画素値よりも小さい場合、モーションマスクの画素値がアルファマップの画素値となり、ＳＲ画像の出力画像生成への寄与率は小さくなる。この場合、超解像処理よりも斜め補間処理の方が、より大きい効果を得ることができる可能性が高いので、エンハンス画像の出力画像生成への寄与率を大きくすることで、出力画像の画質の向上を図ることができる。
【０２２４】
さらに、ウェイトマップの画素値があまり大きくなく、かつモーションマスクの画素値よりも小さい場合、ウェイトマップの画素値がアルファマップの画素値となり、ＳＲ画像の出力画像生成への寄与率は小さくなる。この場合、ウェイトマップの画素値が小さいので、斜め補間処理により充分な効果が得られるはずであるから、エンハンス画像の出力画像生成への寄与率を大きくすることで、出力画像の画質の向上を図ることができる。
【０２２５】
このように、アルファマップの画素値は、モーションマスクの画素値が小さいほど、つまり超解像処理における動き補償による予測の精度が低いほど、小さくなるようにされる。また、アルファマップの画素値は、ウェイトマップの画素値が小さいほど、つまりエッジ方向の確からしさが高いほど、小さくなるようにされる。
【０２２６】
このようにして選択部１７２がアルファマップを生成すると、選択部１７２は、生成したアルファマップを乗算部１６４および減算部１６５に供給して、処理はステップＳ１１４に進む。
【０２２７】
ステップＳ１１４において、乗算部１６４乃至乗算部１６８は、ＳＲ画像とエンハンス画像とを混合して出力画像を生成し、画像変換処理は終了する。
【０２２８】
すなわち、乗算部１６４は、超解像処理部１６１の加算部２１０から供給されたＳＲ画像の画素に、その画素と同じ位置にある、選択部１７２から供給されたアルファマップの画素の画素値を乗算し、加算部１６７に供給する。
【０２２９】
また、減算部１６５は、選択部１７２から供給されたアルファマップの画素の画素値を、入力された数値「１２８」から、もとの画素の画素値を減算して得られた値とし、その結果得られたアルファマップを乗算部１６６に供給する。
【０２３０】
乗算部１６６は、斜め補間処理部１６２の水平アップサンプリング処理部２４３から供給されたエンハンス画像の画素に、その画素と同じ位置にある、減算部１６５から供給されたアルファマップの画素の画素値を乗算し、加算部１６７に供給する。
【０２３１】
さらに、加算部１６７は、乗算部１６４からのＳＲ画像と、乗算部１６６からのエンハンス画像とを加算して乗算部１６８に供給する。すなわち、加算部１６７において得られる画像の画素の画素値は、その画素と同じ位置にある、ＳＲ画像の画素の画素値と、エンハンス画像の画素の画素値との和とされる。乗算部１６８は、加算部１６７から供給された画像の各画素の画素値に、入力された数値「１／１２８」を乗算し、その結果得られた画像を出力画像として出力する。
【０２３２】
したがって、出力画像の画素Ｇｏの画素値をＧｏ（ｘ，ｙ）とすると、乗算部１６４乃至乗算部１６８により行われる処理は、次式（１）を計算して画素値Ｇｏ（ｘ，ｙ）を求めることと等価である。
【０２３３】
Ｇｏ（ｘ，ｙ）＝（（α×Ｇｒ）＋（（１２８−α）×Ｇｄ））／１２８  ・・・（１）
【０２３４】
なお、式（１）において、ＧｒおよびＧｄは、画素Ｇｏと同じ位置のＳＲ画像およびエンハンス画像の画素の画素値を示しており、αは、画素Ｇｏと同じ位置のアルファマップの画素の画素値を示している。また、画素値Ｇｄに乗算される重みが、１２８からαを減算した値とされること、および各画素値の和が１２８で除算されることの理由は、アルファマップの画素値αが、１２８階調だからである。
【０２３５】
式（１）の計算では、ＳＲ画像とエンハンス画像とが重み付き加算されており、重みとしてのアルファマップの画素値αが大きいほど、ＳＲ画像の出力画像の生成への寄与率が大きくなる。
【０２３６】
このようにして、画像変換装置１５１は、入力画像に対して超解像処理および斜め補間処理を行って、ＳＲ画像およびエンハンス画像を生成する。また、画像変換装置１５１は、超解像処理の効果が小さく、斜め補間処理の効果が大きい領域で、出力画像の生成に対するエンハンス画像の寄与が大きくなるアルファマップを生成する。そして、画像変換装置１５１は、生成したアルファマップによりＳＲ画像とエンハンス画像とを混合して出力画像を生成する。
【０２３７】
このように、アルファマップを用いてＳＲ画像とエンハンス画像とを混合することにより、超解像処理と斜め補間処理のうち、より効果的な処理が施されて得られた画像の成分をより多く含む出力画像を得ることができ、出力画像の画質を向上させることができる。つまり、入力画像から、より解像度の高い出力画像を得ようとする場合に、出力画像の全体の領域において、より簡単かつ確実に画質を向上させることができる。
【０２３８】
次に、図２１のフローチャートを参照して、図２０のステップＳ１１１の処理に対応する超解像処理について説明する。
【０２３９】
ステップＳ１４１において、アップサンプリング部２０１は、供給された入力画像を、これから生成しようとするＳＲ画像と同じ解像度にアップサンプリングして、動き補償部２０２、モーションマスク生成部２０３、および混合部２０４に供給する。
【０２４０】
ステップＳ１４２において、動き補償部２０２は動き補償を行い、予測画像を生成する。
【０２４１】
すなわち、動き補償部２０２は、アップサンプリング部２０１からの入力画像と、加算部２１０からのＳＲ画像とから、ＳＲ画像の全体の１つの動きベクトルを求める。また、動き補償部２０２は、求めた動きベクトルに示される方向に、動きベクトルの大きさと同じ距離だけＳＲ画像全体を移動させて予測画像を生成し、生成した予測画像をモーションマスク生成部２０３および混合部２０４に供給する。
【０２４２】
ステップＳ１４３において、モーションマスク生成部２０３は、アップサンプリング部２０１からの入力画像と、動き補償部２０２からの予測画像とを用いてモーションマスクを生成し、混合部２０４および選択部１７２に供給する。
【０２４３】
例えば、モーションマスク生成部２０３は、これから求めようとするモーションマスクの画素を順次、注目画素として、注目画素と同じ位置にある、入力画像の画素の画素値と、予測画像の画素の画素値との差分を求める。そして、モーションマスク生成部２０３は、求めた差分の絶対値に対して予め定められた値を注目画素の画素値とする。例えば、注目画素の画素値は、差分の絶対値が小さいほど、大きくなるようにされる。
【０２４４】
したがって、モーションマスクでは、画素の画素値が小さい領域ほど、入力画像と予測画像との差分が大きく動き補償による予測の誤差が大きい、つまり予測の精度が低いことになる。換言すれば、モーションマスク上の画素値の小さい画素からなる領域は、入力画像において、入力画像全体の動きとは異なる動きをする被写体の領域、つまり入力画像全体に対して相対的（局所的）に動いている被写体の領域であるということができる。
【０２４５】
ステップＳ１４４において、混合部２０４は、モーションマスク生成部２０３からのモーションマスクを用いて、動き補償部２０２からの予測画像と、アップサンプリング部２０１からの入力画像とを重み付き加算して混合画像を生成する。
【０２４６】
例えば、混合部２０４は、これから求めようとする混合画像の画素を順次、注目画素とする。そして、混合部２０４は、注目画素と同じ位置にある、モーションマスクの画素の画素値に基づいて、注目画素と同じ位置にある入力画像の画素の重みＷｉ（但し、０≦Ｗｉ≦１）と、注目画素と同じ位置にある予測画像の画素の重みＷｊ（＝１−Ｗｉ）とを求める。
【０２４７】
混合部２０４は、重みＷｉが乗算された、注目画素と同じ位置にある入力画像の画素の画素値と、重みＷｊが乗算された、注目画素と同じ位置にある予測画像の画素の画素値とを加算して得られる値を、注目画素の画素値とする。このようにして、混合部２０４は、混合画像の各画素を注目画素として、それらの画素の画素値を求めることで、混合画像を生成する。
【０２４８】
なお、入力画像と予測画像の重み付き加算時において、例えば、モーションマスクの画素の画素値が小さいほど、重みＷｉが大きくなるようにされる。これは、モーションマスクの画素の画素値が小さい領域、つまり動き補償による予測精度の低い領域については、混合画像の生成に対する入力画像の寄与率を大きくすることで、混合画像の画質の劣化を防止するためである。
【０２４９】
混合部２０４は、混合画像を生成すると、生成した混合画像をダウンサンプリング部２０５および加算部２１０に供給し、処理はステップＳ１４５に進む。
【０２５０】
ステップＳ１４５において、ダウンサンプリング部２０５は、混合部２０４から供給された混合画像を、入力画像と同じ解像度にダウンサンプリングし、フィルタ処理部２０６に供給する。例えば、垂直方向に２Ｖ画素、水平方向に２Ｈ画素からなる混合画像が、垂直方向にＶ画素、水平方向にＨ画素からなる画像にダウンサンプリングされる。
【０２５１】
フィルタ処理部２０６は、ダウンサンプリング部２０５から供給された混合画像に、ローパスフィルタを用いたフィルタ処理を施し、減算部２０７に供給する。
【０２５２】
ステップＳ１４６において、減算部２０７は、供給された入力画像と、フィルタ処理部２０６からの混合画像との差分を求め、差分画像を生成する。すなわち、差分画像の画素の画素値は、その画素と同じ位置にある、入力画像の画素の画素値と、混合画像の画素の画素値との差分の値とされる。
【０２５３】
このようにして生成された差分画像の各画素の画素値は、入力画像（ＳＲ画像）を予測して得られた混合画像と、実際の入力画像との差分を示している。したがって、この差分の分だけ混合画像を補正すれば、入力画像をより忠実に拡大したＳＲ画像、すなわち、入力画像の波形がそのまま保存されたＳＲ画像が得られるはずである。減算部２０７は、生成された差分画像をアップサンプリング部２０８に供給する。
【０２５４】
ステップＳ１４７において、アップサンプリング部２０８は、減算部２０７からの差分画像を、ＳＲ画像と同じ解像度にアップサンプリングしてフィルタ処理部２０９に供給する。フィルタ処理部２０９は、アップサンプリング部２０８からの差分画像に対して、ハイパスフィルタを用いたフィルタ処理を施し、加算部２１０に供給する。
【０２５５】
ステップＳ１４８において、加算部２１０は、混合部２０４からの混合画像と、フィルタ処理部２０９からの差分画像とを加算して処理対象のフレームのＳＲ画像を生成する。そして加算部２１０は、生成したＳＲ画像を、動き補償部２０２および乗算部１６４に供給し、超解像処理は終了する。超解像処理が終了すると、その後、処理は図２０のステップＳ１１２に進む。
【０２５６】
このようにして、超解像処理部１６１は、入力画像に対して超解像処理を施し、入力画像をＳＲ画像に変換する。このように、超解像処理により入力画像をＳＲ画像に変換することで、より解像度の高い、本来の高域信号の成分が復元されたＳＲ画像を得ることができる。
【０２５７】
次に、図２２のフローチャートを参照して、図２０のステップＳ１１２の処理に対応する斜め補間処理について説明する。
【０２５８】
ステップＳ１７１において、垂直アップサンプリング処理部２４１のプロファイラ処理部２７１は、供給された入力画像を用いて、垂直方向プロファイラ処理を行う。
【０２５９】
ここで、図２３および図２４のフローチャートを参照して、図２２のステップＳ１７１の処理に対応する垂直方向プロファイラ処理について説明する。
【０２６０】
ステップＳ２０１において、プロファイラ処理部２７１は、注目画素および注目領域を設定する。
【０２６１】
具体的には、プロファイラ処理部２７１は、垂直方向にＶ画素、水平方向にＨ画素からなる入力画像を、垂直方向に２Ｖ画素、水平方向にＨ画素の垂直補間画像に変換しようとする場合に、入力画像に補間により加えられる画素を補間画素とする。そして、プロファイラ処理部２７１は、補間画素のうち、まだ注目する注目画素とされていない補間画素を１つ選択し、注目画素とする。
【０２６２】
また、プロファイラ処理部２７１は、垂直補間画像上の注目画素を中心とする所定の範囲、例えば、垂直方向にＭｔ画素、水平方向にＮｔ画素の領域を注目領域とする。なお、ＭｔおよびＮｔは可変とされる。
【０２６３】
注目領域は、例えば、図２５に示すように、注目画素Ｇｃを中心とする領域とされる。なお、図２５において、縦方向は垂直方向（ｙ方向）を示しており、横方向は水平方向（ｘ方向）を示している。
【０２６４】
また、斜線の施された円は、垂直補間画像上において、補間されない画素、つまり入力画像上に元々存在する画素（以下、実在画素と称する）を表し、斜線の施されていない円は補間画素を表している。さらに、水平方向の実線は、実在画素からなる水平方向の行（以下、実在行と称する）を示し、水平方向の点線は、補間画素からなる水平方向の行（以下、補間行と称する）を示す。
【０２６５】
図２５の例では、注目画素Ｇｃを中心とし、垂直方向に５画素（Ｍｔ＝５）、水平方向に５画素（Ｎｔ＝５）の領域Ｒｔが注目領域とされている。なお、以下では、適宜、Ｍｔ＝５およびＮｔ＝５とした場合を例として説明する。
【０２６６】
さらに、以下、斜め補間処理部１６２により処理される各画像において、垂直方向、つまりｙ方向（以下、適宜、ｙ軸方向とも称する）における図２５の下方向に対応する方向を正の方向とする。同様に、斜め補間処理部１６２により処理される各画像において、水平方向、つまりｘ方向（以下、適宜、ｘ軸方向とも称する）における図２５の右方向に対応する方向を正の方向とする。
【０２６７】
また、以下、適宜、画像上のｘ方向およびｙ方向を軸とするｘｙ座標系における、画素の座標を（ｘ,ｙ）で表すこととし、注目領域の図中、左上隅の補間画素の座標を（xt0，yt0）とする。
【０２６８】
図２３のフローチャートの説明に戻り、ステップＳ２０２において、方向検出部３０１は、エッジ方向検出領域を設定する。具体的には、プロファイラ処理部２７１は、注目領域内の補間画素のうち、まだ処理対象とされていない補間画素を１つ選択する。なお、以下、このとき選択された（注目する）補間画素をエッジ方向検出画素と称する。
【０２６９】
方向検出部３０１は、エッジ方向検出画素と垂直方向の負の方向に隣接する実在行から、エッジ方向検出画素と垂直方向に隣接する画素を中心とするＮｄ個の実在画素を抽出する。また、方向検出部３０１は、エッジ方向検出画素と垂直方向の正の方向に隣接する実在行から、エッジ方向検出画素の垂直方向に隣接する画素を中心とするＮｄ個の実在画素を抽出する。なお、Ｎｄは可変とされる。
【０２７０】
方向検出部３０１は、抽出した実在画素の水平方向の各画素間について、１つずつ仮想の画素（以下、バーチャル画素と称する）を生成し、対応する画素間に挿入する。なお、バーチャル画素の画素値は、そのバーチャル画素と水平方向に隣接する２つの実在画素の画素値の平均値とされる。そして、方向検出部３０１は、エッジ方向検出画素、抽出された実在画素、および、実在画素間に挿入されたバーチャル画素から構成される領域を、エッジ方向検出領域とする。
【０２７１】
例えば、Ｎｄ＝５である場合、図２６に示されるように、エッジ方向検出画素Ｇｅを中心とする、垂直補間画像上のいくつかの画素からなる領域が、エッジ方向検出領域とされる。なお、図２６において、斜線が施された円は実在画素を表しており、点線の円はバーチャル画素を表している。
【０２７２】
図２６の例では、エッジ方向検出画素Ｇｅの図中、上側と下側に隣接する実在行のそれぞれにおける、５つの実在画素と実在画素間に挿入（補間）された４つのバーチャル画素、およびエッジ方向検出画素Ｇｅからなる領域がエッジ方向検出領域とされている。
【０２７３】
なお、以下、エッジ方向検出画素Ｇｅに隣接する図中、上側の行の各画素をPu(i)＝（ｉ＝0，1，2，・・・，2Nd−2）とし、下側の行の各画素をPd(i)＝（ｉ＝0，1，2，・・・，2Nd−2）とする。但し、各行の図中、左端の画素をPu(0)およびPd(0)とし、右端の画素をPu(2Nd−2)およびPd(2Nd−2)とする。
【０２７４】
例えば、図２６においては、Ｎｄ＝５であるので、各行の右端の画素は、Pu(8)およびPd(8)となる。また、以下、画素Pu(i)の画素値もPu(i)で表し、画素Pd(i)の画素値もPd(i)で表すこととする。
【０２７５】
さらに、以下、エッジ方向検出領域において、エッジ方向検出画素を中心として互いに向かい合う画素を結ぶ方向、つまりエッジ方向検出画素に対して対角方向に存在する画素間を通る方向をLdir（dir＝0，1，2，・・・，2Nd−2）とする。なお、変数dirは、各方向を識別するための番号（値）である。
【０２７６】
例えば、図２６の例においては、画素Pu(0)と画素Pd(8)を通る方向Ｌ０に対するdirは０であり、画素Pu(1)と画素Pd(7)を通る方向Ｌ１に対するdirは１である。そして、同様に、dirは０から８までの値をとる。
【０２７７】
さらに、以下、実在画素間を通る方向を実在方向といい、バーチャル画素間を通る方向をバーチャル方向という。図２６の例においては、方向Ｌ０，Ｌ２，Ｌ４，Ｌ６，およびＬ８が実在方向であり、方向Ｌ１，Ｌ３，Ｌ５，および、Ｌ７がバーチャル方向である。
【０２７８】
また、方向検出部３０１は、エッジ方向検出領域の各画素Pu(i)およびPd(i)について、ローパスフィルタ等を用いて平滑化処理を施した画素値（以下、平滑化画素値とも称する）Pu’(i)およびPd’(i)（但し、ｉ＝0，1，2，・・・，2Nd−2）を求める。
【０２７９】
具体的には、方向検出部３０１は、ローパスフィルタなどを用いて帯域制限することにより入力画像を平滑化した画像における、エッジ方向検出領域内の実在画素に対応する位置の画素の画素値を、各実在画素の平滑化画素値Pu’(i)およびPd’(i)とする。なお、以下、入力画像を平滑化して得られる画像を、平滑化画像とも称する。
【０２８０】
また、方向検出部３０１は、エッジ方向検出領域内のバーチャル画素に対して、水平方向に隣接する実在画素の平滑化画素値の平均値を、そのバーチャル画素の平滑化画素値Pu’(i)およびPd’(i)とする。
【０２８１】
図２３のフローチャートの説明に戻り、ステップＳ２０３において、方向検出部３０１は、次式（２）を計算することにより、エッジ方向検出領域の局所エネルギＥＬを計算する。
【０２８２】
【数１】
2010140460.tif 000003
【０２８３】
すなわち、方向検出部３０１は、エッジ方向検出領域内の互いに垂直方向に隣接する実在画素の平滑化画素値Pu’(2i)およびPd’(2i)（但し、ｉ＝0，1，2，・・・，Nd−1）の差分の絶対値を求める。そして、方向検出部３０１は、求めた絶対値に所定の重みCoef-EL(i)を乗算し、重みの乗算された各絶対値の総和を局所エネルギＥＬとする。
【０２８４】
局所エネルギは、エッジ方向検出領域内の画素の画素値の差分絶対値の和であるので、顕著なエッジのあるエッジ方向検出領域ほど、局所エネルギは大きくなる。
【０２８５】
ステップＳ２０４において、方向検出部３０１は、局所エネルギが予め定められた所定の閾値より大きいか否かを判定する。すなわち、エッジ方向検出領域に顕著なエッジがあるか否かが判定される。
【０２８６】
ステップＳ２０４において、局所エネルギが閾値より大きいと判定された場合、ステップＳ２０５において、方向検出部３０１は、エッジ方向検出領域のエッジ方向を検出する。
【０２８７】
具体的には、方向検出部３０１は、変数dirの値が2Nd−2となるまで、変数dirを０から１ずつインクリメントしながら、以下の式（３）に示される演算を繰り返し実行し、エネルギE(dir)を求める。
【０２８８】
【数２】
2010140460.tif 000004
【０２８９】
すなわちエネルギE(dir)は、エッジ方向検出領域内において、エッジ方向検出画素に対して変数dirに示される方向Ldirに隣接する画素の平滑化画素値の差分の絶対値とされる。
【０２９０】
次に、方向検出部３０１は、エネルギE(dir)が最も高く（大きく）なる方向に対応する変数dirの値をmax-dirとする。また、方向検出部３０１は、垂直方向、および、垂直方向より図２６中、左に傾いた（左上がりの）方向のうち、エネルギE(dir)が最も低くなる方向に対応する変数dirの値をleft-dirとする。例えば、図２６の例において、方向Ｌ０乃至Ｌ４のうち、エネルギE(dir)が最も低くなる方向の変数dirが、left-dirとされる。
【０２９１】
さらに、方向検出部３０１は、垂直方向、および、垂直方向より図２６中、右に傾いた（右上がりの）方向のうち、エネルギE(dir)が最も低くなる方向に対応する変数dirの値をright-dirとする。例えば、図２６の例において、方向Ｌ４乃至Ｌ８のうち、エネルギE(dir)が最も低くなる方向の変数dirが、right-dirとされる。
【０２９２】
なお、以下、エッジ方向検出画素を中心とする垂直方向に対応する変数dirをmid-dirと称することとする。例えば、図２６の例では、方向Ｌ４に対応する変数dirがmid-dirとされる。また、以下、変数dir、max-dir、left-dir、right-dir、およびmid-dirに対応する方向を、それぞれ方向dir、方向max-dir、方向left-dir、方向right-dir、および方向mid-dirと称する。
【０２９３】
次に、方向検出部３０１は、エッジ方向検出画素におけるエッジ方向sel-dirを求める。
【０２９４】
具体的には、方向検出部３０１は、方向max-dirと方向left-dirとの間の角度、つまりそれらの方向のなす角度を角度（max-dir，left-dir）とし、方向max-dirと方向right-dirとの間の角度を角度（max-dir，right-dir）とする。また、方向検出部３０１は、方向max-dirと方向mid-dirとの間の角度を角度（max-dir，mid-dir）とする。
【０２９５】
そして、方向検出部３０１は、以下の条件式（４）乃至条件式（６）のうちの何れかが成立する場合、エッジ方向sel-dir＝left-dirとする。
【０２９６】
【数３】
2010140460.tif 000005
【０２９７】
【数４】
2010140460.tif 000006
【０２９８】
【数５】
2010140460.tif 000007
【０２９９】
また、方向検出部３０１は、以下の条件式（７）乃至条件式（９）のうちの何れかが成立する場合、エッジ方向sel-dir＝right-dirとする。
【０３００】
【数６】
2010140460.tif 000008
【０３０１】
【数７】
2010140460.tif 000009
【０３０２】
【数８】
2010140460.tif 000010
【０３０３】
さらに、以上の条件式（４）乃至条件式（９）の全てが成立しない場合、方向検出部３０１は、エッジ方向sel-dir＝mid-dirとする。
【０３０４】
ここで、方向max-dirは、画素間の差分の最も大きい方向であるので、エッジの方向と略垂直な方向のはずである。また、エッジの方向と、エッジの方向に垂直な方向とのなす角は略９０度であり、エッジの方向のエネルギE(dir)は最も小さくなるはずである。そこで、条件式（４）乃至条件式（９）により、このような条件に最も近い方向Ldirがエッジ方向sel-dirとされる。
【０３０５】
なお、方向検出部３０１は、エッジ方向sel-dirがバーチャル方向となった場合、以下の条件式（１０）が成立するとき、エッジ方向sel-dirをsel-dir+1とし、以下の条件式（１１）が成立するとき、エッジ方向sel-dirをsel-dir−1とする。
【０３０６】
【数９】
2010140460.tif 000011
【０３０７】
【数１０】
2010140460.tif 000012
【０３０８】
なお、条件式（１０）および条件式（１１）におけるdiff(sel-dir+1)およびdiff(sel-dir−1)は、diff(dir)の変数dirをsel-dir+1およびsel-dir−1としたものであり、diff(dir)は、次式（１２）により求まる。
【０３０９】
【数１１】
2010140460.tif 000013
【０３１０】
すなわち、diff(dir)は、エッジ方向検出領域内において、エッジ方向検出画素を中心とし、変数dirにより定まる方向に並ぶ画素の画素値Pu(dir)とPd(2Nd−2−dir)との差分の絶対値とされる。
【０３１１】
このようにして、エッジ方向が求まると、方向検出部３０１は、局所エネルギが閾値を超えていること、およびエッジ方向sel-dirを示すエッジ方向情報を、方向性分布生成部３０２、および信頼度検出部３０３に供給する。
【０３１２】
ステップＳ２０６において、信頼度検出部３０３は、供給された入力画像、および方向検出部３０１からのエッジ方向情報を用いて、エッジ方向の信頼度を検出する。具体的には、信頼度検出部３０３は、エッジ方向検出画素に対応する画素値Ｐｐとして、エッジ方向検出領域内のエッジ方向検出画素に、エッジ方向sel-dirに隣接する２つの画素の画素値の平均値を求める。例えば、エッジ方向sel-dirが、図２６における方向Ｌ０である場合、画素Pu(0)の画素値と、画素Pd(8)の画素値との平均値が画素値Ｐｐとされる。
【０３１３】
次に、信頼度検出部３０３は、エッジ方向検出画素に対して求めた画素値Ｐｐと、エッジ方向検出画素の近傍の画素の画素値との間に整合性があるか否かを判定する。例えば、信頼度検出部３０３は、次式（１３）に基づいて、エッジ方向検出画素近傍の垂直方向の画素値の変化を表す値Ｖｖを計算する。
【０３１４】
【数１２】
2010140460.tif 000014
【０３１５】
次に、信頼度検出部３０３は、次式（１４）に基づいて、エッジ方向検出画素に対して、垂直方向の負の方向に隣接するエッジ方向検出領域内の画素近傍の水平方向の画素値の変化を表す値Vh−upを計算する。
【０３１６】
【数１３】
2010140460.tif 000015
【０３１７】
さらに、信頼度検出部３０３は、次式（１５）に基づいて、エッジ方向検出画素に対して、垂直方向の正の方向に隣接するエッジ方向検出領域内の画素近傍の水平方向の画素値の変化を表す値Vh−downを計算する。
【０３１８】
【数１４】
2010140460.tif 000016
【０３１９】
そして、信頼度検出部３０３は、以下の条件式（１６）乃至条件式（２４）が全て成立する場合、画素値Ｐｐとエッジ方向検出画素の近傍の画素の画素値との間に整合性がないと判定する。すなわち、信頼度検出部３０３は、検出したエッジ方向sel-dirの信頼度が低く、エッジ方向sel-dirに基づいて算出した画素値Ｐｐが適切でないと判定する。
【０３２０】
この場合、信頼度検出部３０３は、エッジ方向検出画素において検出されたエッジ方向の信頼度を０とする。ここで、エッジ方向の信頼度０はエッジ方向sel-dirの信頼度が低いことを示し、信頼度１はエッジ方向sel-dirの信頼度が高い、つまり正しいと推定されることを示す。さらに、エッジ方向の信頼度が２である場合、信頼度は未確定であることを示す。
【０３２１】
【数１５】
2010140460.tif 000017
【０３２２】
なお、条件式（１９）乃至条件式（２４）におけるＴｃ１乃至Ｔｃ６は、予め定められた閾値を示している。
【０３２３】
ここで、条件式（１６）乃至条件式（２４）の全てが成立することは、エッジ方向検出画素がエッジ方向sel-dirのエッジを構成する画素であると仮定したときに、エッジ方向検出画素と、その近傍の画素が有するべき関係を有していないことを意味している。換言すれば、エッジ方向検出画素におけるエッジ方向は、エッジ方向sel-dirである可能性が低いことを意味している。
【０３２４】
これに対して、信頼度検出部３０３は、条件式（１６）乃至条件式（２４）のうち、一つでも成立しない条件式がある場合、画素値Ｐｐとエッジ方向検出画素の近傍の画素の画素値との間に整合性があると判定する。すなわち、信頼度検出部３０３は、検出したエッジ方向sel-dirの信頼度が高く、エッジ方向sel-dirに基づいて算出した画素値Ｐｐが適切であると判定する。
【０３２５】
この場合、信頼度検出部３０３は、エッジ方向検出画素において検出されたエッジ方向の信頼度を１とする。
【０３２６】
このように、エッジ方向の信頼度は、エッジ方向検出画素に対して、エッジ方向sel-dirに隣接する画素を用いて算出した画素値Ｐｐと、エッジ方向検出画素の近傍の画素の画素値との整合性に基づいて定められる。
【０３２７】
信頼度検出部３０３は、定めた信頼度を示す信頼度情報を信頼度分布生成部３０４に供給する。そして、その後、処理はステップＳ２０９に進む。なお、以下、座標が（ｘ，ｙ）である補間画素のエッジ方向sel-dirの信頼度を信頼度（ｘ，ｙ）で表すこととする。
【０３２８】
また、ステップＳ２０４において、局所エネルギが閾値以下であると判定された場合、処理はステップＳ２０７に進む。
【０３２９】
ステップＳ２０７において、方向検出部３０１は、エッジ方向を暫定的に設定する。具体的には、方向検出部３０１は、現在のエッジ方向検出領域はエッジを含まない平坦な低エネルギの領域であると見なし、暫定的にエッジ方向sel-dir＝mid-dirとする。
【０３３０】
そして、方向検出部３０１は、局所エネルギが閾値以下であること、およびエッジ方向sel-dirを示すエッジ方向情報を方向性分布生成部３０２、および信頼度検出部３０３に供給する。
【０３３１】
ステップＳ２０８において、信頼度検出部３０３は、信頼度を暫定的に設定する。具体的には、信頼度検出部３０３は、現在のエッジ方向検出画素におけるエッジ方向の信頼度を、信頼度が未確定であることを示す２とする。信頼度検出部３０３は、定めた信頼度を示す信頼度情報を信頼度分布生成部３０４に供給する。
【０３３２】
ステップＳ２０６またはステップＳ２０８において、信頼度が設定されると、ステップＳ２０９において、コントラスト計算部３０５は、供給された入力画像に基づいてコントラスト強度を検出する。
【０３３３】
具体的には、コントラスト計算部３０５は、入力画像における、エッジ方向検出画素に対応する位置を中心とする垂直方向にＭｃ画素、水平方向にＮｃ画素からなる領域を、コントラスト検出領域として、コントラスト検出領域内の画素を抽出する。
【０３３４】
なお、ＭｃおよびＮｃの値は可変とされる。また、以下、コントラスト検出領域における座標系を、コントラスト検出領域の垂直方向および水平方向の負の方向側の端の位置を基準とした座標系であるとする。つまり、基準となる位置の画素の座標が（０，０）とされ、その画素から水平方向にｉ番目、垂直方向にｊ番目の画素の座標が（ｉ，ｊ）とされる。
【０３３５】
コントラスト計算部３０５は、エッジ方向検出画素におけるコントラスト強度（ｘ，ｙ）を、次式（２５）に基づいて計算する。なお、コントラスト強度（ｘ，ｙ）は、補間後の垂直補間画像における座標（ｘ，ｙ）のエッジ方向検出画素のコントラスト強度を示す。
【０３３６】
【数１６】
2010140460.tif 000018
【０３３７】
また、式（２５）において、Porg(i1，j1)およびPorg(i2，j2)は、それぞれ、コントラスト検出領域における座標（ｉ１，ｊ１）および座標（ｉ２，ｊ２）の画素の画素値を示している。さらに、Coef−Contrast(i1−i2，j1−j2)は、座標（ｉ１，ｊ１）と座標（ｉ２，ｊ２）の間の距離に比例した重みであり、距離が近いほど大きくなる。
【０３３８】
すなわち、エッジ方向検出画素におけるコントラスト強度は、コントラスト検出領域内の各画素間の画素値の差分の絶対値に、画素間の距離に応じた重みを乗じた値の総和である。したがって、コントラスト強度は、垂直補間画像上のエッジ方向検出画素近傍の領域全体における、コントラストの強さの度合いを示しているということができる。
【０３３９】
コントラスト計算部３０５は、算出したコントラスト強度を、斜めコントラスト分布生成部３０６、テクスチャコントラスト分布生成部３０７、およびエッジコントラスト分布生成部３０８に供給する。
【０３４０】
ステップＳ２１０において、プロファイラ処理部２７１は、注目領域内の全ての補間画素について処理したか否か、つまり注目領域内の全ての補間画素を、エッジ方向検出画素としたか否かを判定する。
【０３４１】
ステップＳ２１０において、まだ注目領域内の全ての補間画素について処理されていないと判定された場合、処理はステップＳ２０２に戻り、上述した処理が繰り返される。すなわち、まだエッジ方向検出画素とされていない注目領域内の補間画素が、次のエッジ方向検出画素として選択され、そのエッジ方向検出画素について、エッジ方向、エッジ方向の信頼度、およびコントラスト強度が求められる。
【０３４２】
これに対して、ステップＳ２１０において、注目領域内の全ての補間画素について処理したと判定された場合、処理はステップＳ２１１に進む。
【０３４３】
ステップＳ２１１において、方向性分布生成部３０２は、方向検出部３０１から供給されたエッジ方向情報に基づいて、注目領域内におけるエッジ方向の分布を示す方向性分布を生成する。
【０３４４】
例えば、図２５の領域Ｒｔが注目領域とされている場合、注目領域内の１５個の補間画素のそれぞれについて求められたエッジ方向sel-dirを示すエッジ方向情報が、それらの画素の配置と同じ配置で配列された情報が、方向性分布とされる。
【０３４５】
方向性分布生成部３０２は、生成した方向性分布を、傾き選択部３０９、斜め重み付け設定部３１０、テクスチャ強度情報生成部３１１、およびエッジ強度情報生成部３１２に供給する。
【０３４６】
ステップＳ２１２において、信頼度分布生成部３０４は、信頼度検出部３０３から供給された信頼度情報に基づいて、注目領域内における信頼度の分布を示す信頼度分布を生成する。
【０３４７】
例えば、図２５の領域Ｒｔが注目領域とされている場合、注目領域内の１５個の補間画素のそれぞれについて求められたエッジ方向sel-dirの信頼度を示す信頼度情報が、それらの画素の配置と同じ配置で配列された情報が、信頼度分布とされる。
【０３４８】
信頼度分布生成部３０４は、生成した信頼度分布を、傾き選択部３０９、斜め重み付け設定部３１０、テクスチャ強度情報生成部３１１、およびエッジ強度情報生成部３１２に供給する。
【０３４９】
ステップＳ２１３において、斜めコントラスト分布生成部３０６は、コントラスト計算部３０５から供給されたコントラスト強度に基づいて、統計傾斜補間画素の生成に用いられるコントラスト分布を生成する。
【０３５０】
具体的には、斜めコントラスト分布生成部３０６は、次式（２６）に基づいて、注目領域内の各補間画素、つまり各エッジ方向検出画素における、コントラスト強度に基づく重みweight−contrast−Sを求める。
【０３５１】
【数１７】
2010140460.tif 000019
【０３５２】
なお、weight−contrast−S(x,y)は、注目領域内の座標（ｘ,ｙ）の補間画素における重みweight−contrast−Sを示している。また、式（２６）において、Ｔｓ１およびＴｓ２は、予め定められた閾値（但し、Ｔｓ１＜Ｔｓ２）を示している。なお、これらの閾値Ｔｓ１および閾値Ｔｓ２は可変とされる。
【０３５３】
式（２６）により求められる重みweight−contrast−Sの値は、コントラスト強度が大きいほど、大きくなる。
【０３５４】
次に、斜めコントラスト分布生成部３０６は、求めた重みweight−contrast−Sに基づいて、注目領域内における重みの分布を示すコントラスト分布を生成する。
【０３５５】
例えば、図２５の領域Ｒｔが注目領域とされている場合、注目領域内の１５個の補間画素のそれぞれについて求められた重みweight−contrast−Sを、それらの画素の配置と同じ配置で配列した情報が、コントラスト分布とされる。
【０３５６】
斜めコントラスト分布生成部３０６は、生成したコントラスト分布を、傾き選択部３０９、斜め重み付け設定部３１０、およびダブラ処理部２７２の統計傾斜補間部３４２に供給する。
【０３５７】
ステップＳ２１４において、テクスチャコントラスト分布生成部３０７は、コントラスト計算部３０５から供給されたコントラスト強度に基づいて、テクスチャコントラスト分布を生成する。
【０３５８】
具体的には、テクスチャコントラスト分布生成部３０７は、次式（２７）に基づいて、注目領域内の各補間画素、つまり各エッジ方向検出画素における、コントラスト強度に基づく重みweight−contrast−Tを求める。
【０３５９】
【数１８】
2010140460.tif 000020
【０３６０】
なお、weight−contrast−T(x,y)は、注目領域内の座標（ｘ,ｙ）の補間画素における重みweight−contrast−Tを示している。また、式（２７）において、Ｔｔ１乃至Ｔｔ４は、予め定められた閾値（但し、Ｔｔ１＜Ｔｔ２＜Ｔｔ３＜Ｔｔ４）を示している。なお、これらの閾値Ｔｔ１乃至閾値Ｔｔ４は可変とされる。
【０３６１】
式（２７）により求められる重みweight−contrast−Tの値は、コントラスト強度が閾値Ｔｔ１から閾値Ｔｔ２の間はコントラスト強度が大きいほど、大きくなり、コントラスト強度が閾値Ｔｔ３から閾値Ｔｔ４の間はコントラスト強度が大きいほど、小さくなる。また、重みweight−contrast−Tの値は、コントラスト強度が閾値Ｔｔ２から閾値Ｔｔ３の間は、１とされる。
【０３６２】
ここで、閾値Ｔｔ２以上、閾値Ｔｔ３以下となるコントラスト強度は、テクスチャ領域（の画素）において現れる頻度が高いコントラスト強度である。逆に、閾値Ｔｔ１未満、または閾値Ｔｔ４を超えるコントラスト強度は、テクスチャ領域（の画素）において現れる頻度が低いコントラスト強度である。したがって、重みweight−contrast−Tの値は、テクスチャの領域に含まれる可能性が高い補間画素ほど大きくなる。
【０３６３】
次に、テクスチャコントラスト分布生成部３０７は、求めた重みweight−contrast−Tに基づいて、注目領域内における重みの分布を示すテクスチャコントラスト分布を生成する。
【０３６４】
例えば、図２５の領域Ｒｔが注目領域とされている場合、注目領域内の１５個の補間画素のそれぞれについて求められた重みweight−contrast−Tを、それらの画素の配置と同じ配置で配列した情報が、テクスチャコントラスト分布とされる。
【０３６５】
テクスチャコントラスト分布生成部３０７は、テクスチャコントラスト分布を、テクスチャ強度情報生成部３１１に供給する。
【０３６６】
ステップＳ２１５において、エッジコントラスト分布生成部３０８は、コントラスト計算部３０５から供給されたコントラスト強度に基づいて、エッジコントラスト分布を生成する。
【０３６７】
具体的には、エッジコントラスト分布生成部３０８は、次式（２８）に基づいて、注目領域内の各補間画素、つまり各エッジ方向検出画素における、コントラスト強度に基づく重みweight−contrast−Eを求める。
【０３６８】
【数１９】
2010140460.tif 000021
【０３６９】
なお、weight−contrast−E(x,y)は、注目領域内の座標（ｘ,ｙ）の補間画素における重みweight−contrast−Eを示している。また、式（２８）において、Ｔｅ１およびＴｅ２は、予め定められた閾値（但し、Ｔｅ１＜Ｔｅ２）を示している。なお、これらの閾値Ｔｅ１および閾値Ｔｅ２は可変とされる。
【０３７０】
式（２８）により求められる重みweight−contrast−Eの値は、コントラスト強度が大きいほど、大きくなる。
【０３７１】
次に、エッジコントラスト分布生成部３０８は、求めた重みweight−contrast−Eに基づいて、注目領域内における重みの分布を示すエッジコントラスト分布を生成する。
【０３７２】
例えば、図２５の領域Ｒｔが注目領域とされている場合、注目領域内の１５個の補間画素のそれぞれについて求められた重みweight−contrast−Eを、それらの画素の配置と同じ配置で配列した情報が、エッジコントラスト分布とされる。
【０３７３】
エッジコントラスト分布生成部３０８は、生成したエッジコントラスト分布を、エッジ強度情報生成部３１２に供給する。
【０３７４】
ステップＳ２１６において、傾き選択部３０９は、方向性分布生成部３０２、信頼度分布生成部３０４、および斜めコントラスト分布生成部３０６から供給された、方向性分布、信頼度分布、およびコントラスト分布に基づいて、傾き選択処理を行う。
【０３７５】
具体的には、傾き選択部３０９は、次式（２９）に基づいて、垂直補間画像上の座標が（ｘ，ｙ）である注目画素におけるBalance(x,y)を計算する。
【０３７６】
【数２０】
2010140460.tif 000022
【０３７７】
なお、式（２９）において、Population(Ldir)は、注目領域内の補間画素のうち、エッジ方向sel-dirが方向Ldirであり、その信頼度が１であり、かつ重みweight−contrast−Sが予め定められた閾値以上である補間画素の合計数を示している。
【０３７８】
したがって、Balance(x,y)は、信頼度が１であり、かつ重みweight−contrast−Sが閾値以上である注目領域内の補間画素のうち、エッジ方向がＬＮからＬ（２Ｎ−２）の何れかである補間画素の合計数と、エッジ方向がＬ０からＬ（Ｎ−２）の何れかである補間画素の合計数との差分の値である。
【０３７９】
例えば、図２５の領域Ｒｔが注目領域とされる場合、注目領域内に、確からしいとされたエッジの方向が図中、右側を向く方向とされた補間画素の数が、左側を向く方向とされた補間画素の数よりも多いとき、注目画素ＧｃのBalance(x,y)は正の値となる。
【０３８０】
逆に、注目領域内に、確からしいとされたエッジの方向が図２５中、左側を向く方向とされた補間画素の数が、右側を向く方向とされた補間画素の数よりも多いとき、注目画素ＧｃのBalance(x,y)は負の値となる。
【０３８１】
傾き選択部３０９は、Balance(x,y)＝０である場合、注目画素の補間に用いる画素を選択する方向として、方向Ｌ（Ｎ−１）、つまり垂直方向を選択する。
【０３８２】
また、傾き選択部３０９は、Balance(x,y)＞０である場合、注目画素の補間に用いる画素を選択する方向として、方向ＬＮ乃至方向Ｌ（２Ｎ−２）、つまり図２５において、垂直方向より右側に傾いた方向（右上がりの方向）を選択する。これは、注目領域内では、確からしいとされたエッジの方向が右側を向く方向である補間画素の数が、左側を向く方向である補間画素の数よりも多いため、注目画素におけるエッジの方向も右側を向く方向である可能性が高いからである。
【０３８３】
さらに、傾き選択部３０９は、Balance(x,y)＜０である場合、注目画素の補間に用いる画素を選択する方向として、方向Ｌ０乃至方向Ｌ（Ｎ−２）、つまり図２５において、垂直方向より左側に傾いた方向（左上がりの方向）を選択する。これは、Balance(x,y)＞０の場合と反対に、注目領域内で、確からしいとされたエッジの方向が左側を向く方向である補間画素の数がより多ければ、注目画素におけるエッジの方向も左側を向く方向である可能性が高いからである。
【０３８４】
このように、注目画素の補間に用いる画素を選択するための方向は、エッジの方向の信頼度が高く、重みweight−contrast−Sが大きい注目領域内の補間画素におけるエッジの方向の分布に基づいて選択される。
【０３８５】
傾き選択部３０９は、選択した方向を示す傾き選択情報、方向性分布、および信頼度分布を、ダブラ処理部２７２の統計傾斜補間部３４２に供給する。
【０３８６】
ステップＳ２１７において、斜め重み付け設定部３１０は、方向性分布生成部３０２、信頼度分布生成部３０４、および斜めコントラスト分布生成部３０６から供給された、方向性分布、信頼度分布、およびコントラスト分布に基づいて、斜め方向の重みを設定する。
【０３８７】
具体的には、斜め重み付け設定部３１０は、次式（３０）に基づいて、注目領域におけるエッジ方向の顕著性に基づく重みweight−slantを求める。式（３０）の重みweight−slant(x,y)は、垂直補間画像上の座標が（ｘ，ｙ）である注目画素の重みweight−slantである。
【０３８８】
【数２１】
2010140460.tif 000023
【０３８９】
また、式（３０）において、Coef−Balance(sel-dir(xt0＋i,yt0＋2i))は、注目領域内の座標が(xt0＋i,yt0＋2i)である補間画素のエッジ方向sel-dir(xt0＋i,yt0＋2i)に応じて設定される重みである。
【０３９０】
重みweight−slant(x,y)は、注目領域内の各補間画素におけるエッジ方向の信頼度、重みweight−contrast−S、およびエッジ方向sel-dirに応じた重みCoef−Balanceを乗じた値を合計することにより求められる。
【０３９１】
すなわち、重みweight−slant(x,y)は、注目領域内の各補間画素におけるエッジ方向の信頼度が高いほど、かつ重みweight−contrast−Sが大きいほど（注目領域におけるエッジの方向が顕著であるほど）、大きくなる。
【０３９２】
斜め重み付け設定部３１０は、求めた重みweight−slantをダブラ処理部２７２の斜め合成部３４３および図１５のアップサンプリング部２４２に供給する。なお、垂直補間画像上の各補間画素（注目画素）の重みweight−slantを、それらの補間画素と同じ配列で配置した情報が、ウェイトマップとされる。つまり、ウェイトマップの画素の画素値は、その画素と対応する垂直補間画像の補間画素の重みweight−slantの値とされる。
【０３９３】
ステップＳ２１８において、エッジ強度情報生成部３１２は、方向性分布生成部３０２、信頼度分布生成部３０４、およびエッジコントラスト分布生成部３０８から供給された、方向性分布、信頼度分布、およびエッジコントラスト分布に基づいて、エッジ強度情報を生成する。
【０３９４】
具体的には、エッジ強度情報生成部３１２は、次式（３１）に基づいて、注目領域におけるエッジ強度に基づく重みweight−edgeを求める。式（３１）の重みweight−edge(x,y)は、垂直補間画像上の座標が（ｘ，ｙ）である注目画素の重みweight−edgeである。
【０３９５】
【数２２】
2010140460.tif 000024
【０３９６】
また、式（３１）において、Coef−edge(sel-dir(xt0＋i,yt0＋2i))は、注目領域内の座標が(xt0＋i,yt0＋2i)である補間画素のエッジ方向sel-dir(xt0＋i,yt0＋2i)に応じて設定される重みである。例えば、特定の方向のエッジを強調したい場合、そのエッジ方向に対応するCoef−edgeが、他のエッジ方向に対応するCoef−edgeより大きな値に設定される。
【０３９７】
重みweight−edge(x,y)は、注目領域内の各補間画素におけるエッジ方向の信頼度、重みweight−contrast−E、およびエッジ方向sel-dirに応じた重みCoef−edgeを乗じた値を合計することにより求められる。
【０３９８】
すなわち、重みweight−edge(x,y)は、注目領域内の各補間画素におけるエッジ方向の信頼度が高いほど、かつ重みweight−contrast−Eが大きいほど（注目領域のエッジ強度が強いほど）、大きくなる。
【０３９９】
エッジ強度情報生成部３１２は、求めた重みweight−edge(x,y)を示すエッジ強度情報を、エンハンサ処理部２７３のエッジ適応混合処理部３７４に供給する。なお、垂直補間画像の各補間画素（注目画素）について求められた重みweight−edge(x,y)からなるエッジ強度情報は、エッジ適応混合処理部３７４において、垂直方向にアップサンプリングされる。すなわち、エッジ強度情報は、アップサンプリングにより、垂直補間画像の各画素の重みweight−edge(x,y)からなる情報とされる。
【０４００】
ステップＳ２１９において、テクスチャ強度情報生成部３１１は、方向性分布生成部３０２、信頼度分布生成部３０４、およびテクスチャコントラスト分布生成部３０７から供給された、方向性分布、信頼度分布、およびテクスチャコントラスト分布に基づいて、テクスチャ強度情報を生成する。
【０４０１】
具体的には、テクスチャ強度情報生成部３１１は、次式（３２）に基づいて、注目領域におけるテクスチャ強度に基づく重みweight−textureを求める。式（３２）の重みweight−texture(x,y)は、垂直補間画像上の座標が（ｘ，ｙ）である注目画素の重みweight−textureである。
【０４０２】
【数２３】
2010140460.tif 000025
【０４０３】
また、式（３２）において、Coef−texture(sel-dir(xt0＋i,yt0＋2i))は、注目領域内の座標が(xt0＋i,yt0＋2i)である補間画素のエッジ方向sel-dir(xt0＋i,yt0＋2i)に応じて設定される重みである。
【０４０４】
重みweight−texture(x,y)は、注目領域内の各補間画素におけるエッジ方向の信頼度、重みweight−contrast−T、およびエッジ方向sel-dirに応じた重みCoef−textureを乗じた値を合計することにより求められる。
【０４０５】
すなわち、重みweight−texture(x,y)は、注目領域内の各補間画素におけるエッジ方向の信頼度が高いほど、かつ重みweight−contrast−Tが大きいほど（注目領域のテクスチャ強度が強いほど）、大きくなる。
【０４０６】
テクスチャ強度情報生成部３１１は、求めた重みweight−texture(x,y)を示すテクスチャ強度情報を、エンハンサ処理部２７３のテクスチャ適応混合処理部３７２に供給する。なお、垂直補間画像の各補間画素（注目画素）について求められた重みweight−texture(x,y)からなるテクスチャ強度情報は、テクスチャ適応混合処理部３７２において、垂直方向にアップサンプリングされる。すなわち、テクスチャ強度情報は、アップサンプリングにより、垂直補間画像の各画素の重みweight−texture(x,y)からなる情報とされる。
【０４０７】
ステップＳ２２０において、プロファイラ処理部２７１は、垂直補間画像内の全ての補間画素について処理したか否か、すなわち垂直補間画像の全ての補間画素を注目画素としたか否かを判定する。
【０４０８】
ステップＳ２２０において、まだ全ての補間画素について処理されていないと判定された場合、処理はステップＳ２０１に戻り、上述した処理が繰り返される。すなわち、まだ注目画素とされていない補間画素が、次の注目画素として選択される。
【０４０９】
これに対して、ステップＳ２２０において、全ての補間画素について処理したと判定された場合、垂直方向プロファイラ処理は終了し、処理は図２２のステップＳ１７２に進む。
【０４１０】
図２２のフローチャートの説明に戻り、ステップＳ１７１の垂直方向プロファイラ処理が終了すると、ステップＳ１７２において、ダブラ処理部２７２は、垂直方向ダブラ処理を行う。
【０４１１】
以下、図２７のフローチャートを参照して、図２２のステップＳ１７２の処理に対応する垂直方向ダブラ処理について説明する。
【０４１２】
ステップＳ２５１において、ダブラ処理部２７２は、注目画素および注目領域を設定する。すなわち、ダブラ処理部２７２は、図２３のステップＳ２０１における場合と同様に、これから生成しようとする垂直補間画像のまだ処理対象となっていない補間画素、つまりまだ画素値の求められていない補間画素を１つ選択し、注目画素とする。また、ダブラ処理部２７２は、注目画素を中心とする、垂直方向にＭｔ画素、水平方向にＮｔ画素の領域を注目領域とする。
【０４１３】
ステップＳ２５２において、線形補間部３４１は、供給された入力画像を用いて、垂直補間画像における、注目画素の垂直方向に隣接する複数の画素に対してフィルタ処理を施すことで線形補間を行い、注目画素の画素値を求める。線形補間部３４１は、求めた注目画素の画素値を、線形補間画素の画素値として斜め合成部３４３に供給するとともに、供給された入力画像も斜め合成部３４３に供給する。
【０４１４】
なお、以下、線形補間部３４１により求められた座標（ｘ,ｙ）の補間画素の画素値を、線形補間画素（ｘ,ｙ）と表す。また、線形補間部３４１による補間方法は、統計傾斜補間部３４２と異なる方法であれば、線形補間に限らず、どのような方法であってもよい。
【０４１５】
ステップＳ２５３において、統計傾斜補間部３４２は、供給された入力画像、斜めコントラスト分布生成部３０６からのコントラスト分布、並びに傾き選択部３０９からの傾き選択情報、方向性分布、および信頼度分布を用いて統計傾斜補間を行う。
【０４１６】
具体的には、統計傾斜補間部３４２は、傾き選択情報に示される方向が、垂直方向より左に傾いた方向である場合、次式（３３）に基づいて、統計傾斜補間による注目画素、つまり統計傾斜補間画素の画素値を算出する。
【０４１７】
【数２４】
2010140460.tif 000026
【０４１８】
なお、式（３３）において、統計傾斜補間画素（ｘ,ｙ）は、座標が（ｘ,ｙ）である統計傾斜補間画素（注目画素）の画素値を示している。また、式（３３）において、傾斜平均画素(Ldir)は、注目画素に対して方向Ldirに隣接する垂直補間画像上の２つの画素の画素値の平均値を示している。
【０４１９】
なお、方向Ldirがバーチャル方向である場合には、上述したバーチャル画素が生成され、それらのバーチャル画素から傾斜平均画素の画素値が求められる。
【０４２０】
さらに、式（３３）におけるPopulation(Ldir)は、式（２９）における場合と同様である。すなわち、Population(Ldir)は、注目領域内の補間画素のうち、エッジ方向sel-dirが方向Ldirであり、信頼度が１であり、かつ重みweight−contrast−Sが予め定められた閾値以上である補間画素の合計数を示している。
【０４２１】
したがって、傾き選択情報に示される方向が、垂直方向より左に傾いた方向である場合、統計傾斜補間画素は、注目画素に対して、垂直方向より左に傾いた方向に隣接する画素を、注目領域内のエッジ方向の分布に応じて、重み付けして加算した値となる。
【０４２２】
また、統計傾斜補間部３４２は、傾き選択情報に示される方向が、垂直方向より右に傾いた方向である場合、次式（３４）に基づいて、統計傾斜補間による注目画素、つまり統計傾斜補間画素の画素値を算出する。
【０４２３】
【数２５】
2010140460.tif 000027
【０４２４】
なお、式（３４）におけるPopulation(Ldir)、および傾斜平均画素(Ldir)は、式（３３）における場合と同様である。
【０４２５】
したがって、傾き選択情報に示される方向が、垂直方向より右に傾いた方向である場合、統計傾斜補間画素は、注目画素に対して、垂直方向より右に傾いた方向に隣接する画素を、注目領域内のエッジ方向の分布に応じて、重み付けして加算した値となる。
【０４２６】
さらに、統計傾斜補間部３４２は、傾き選択情報に示される方向が垂直方向である場合、統計傾斜補間画素を、注目画素の垂直方向に隣接する画素の画素値の平均値とする。
【０４２７】
統計傾斜補間部３４２は、統計傾斜補間画素を求めると、求めた統計傾斜補間画素を斜め合成部３４３に供給する。
【０４２８】
ステップＳ２５４において、斜め合成部３４３は、斜め重み付け設定部３１０からの重みweight−slant、つまりウェイトマップを用いて、線形補間部３４１からの線形補間画素と、統計傾斜補間部３４２からの統計傾斜補間画素を合成し、垂直補間画像を生成する。
【０４２９】
すなわち、斜め合成部３４３は、次式（３５）に基づいて、線形補間画素と統計傾斜補間画素とを、重みweight−slantにより重み付け加算して、垂直補間画像の各補間画素の画素値を算出する。
【０４３０】
【数２６】
2010140460.tif 000028
【０４３１】
式（３５）では、１から重みを減算した値が乗算された線形補間画素と、重みが乗算された統計傾斜補間画素とを加算して得られる値が、注目画素の画素値（斜め合成画素（ｘ，ｙ））とされる。
【０４３２】
したがって、重みweight−slantが大きいほど（エッジの方向が顕著な領域に位置する画素ほど）、統計傾斜補間画素の比率が高く、線形補間画素の比率が低くなる。
【０４３３】
ステップＳ２５５において、ダブラ処理部２７２は、全ての画素の補間が終了したか否か、つまり垂直補間画像上の全ての補間画素を注目画素として処理を行ったか否かを判定する。
【０４３４】
ステップＳ２５５において、まだ全ての画素の補間が終了していないと判定された場合、処理はステップＳ２５１に戻り、上述した処理が繰り返される。すなわち、次の注目画素の画素値が求められる。
【０４３５】
これに対して、ステップＳ２５５において、全ての画素の補間が終了したと判定された場合、斜め合成部３４３は、得られた注目画素の画素値と、線形補間部３４１からの入力画像から、垂直補間画像を生成する。そして、斜め合成部３４３は、生成した垂直補間画像を、テクスチャフィルタ処理部３７１、テクスチャ適応混合処理部３７２、およびエッジフィルタ処理部３７３に供給して垂直方向ダブラ処理は終了し、その後、処理は図２２のステップＳ１７３に進む。
【０４３６】
図２２のフローチャートの説明に戻り、ステップＳ１７２の垂直方向ダブラ処理が終了すると、ステップＳ１７３において、エンハンサ処理部２７３は、垂直方向エンハンサ処理を行う。
【０４３７】
以下、図２８のフローチャートを参照して、図２２のステップＳ１７３の処理に対応する垂直方向エンハンサ処理について説明する。
【０４３８】
ステップＳ２８１において、テクスチャフィルタ処理部３７１は、斜め合成部３４３から供給された垂直補間画像に対してテクスチャフィルタ処理を施して、テクスチャ適応混合処理部３７２に供給する。なお、テクスチャフィルタ処理は、垂直補間画像における所定の周波数帯域の成分、つまりテクスチャの領域を強調し、画像全体をより鮮明にする処理である。
【０４３９】
ステップＳ２８２において、エッジフィルタ処理部３７３は、斜め合成部３４３から供給された垂直補間画像に対してエッジフィルタ処理を施して、エッジ適応混合処理部３７４に供給する。なお、エッジフィルタ処理は、垂直補間画像におけるエッジを強調する処理である。
【０４４０】
ステップＳ２８３において、テクスチャ適応混合処理部３７２は、テクスチャ強度情報生成部３１１からのテクスチャ強度情報を用いて、斜め合成部３４３およびテクスチャフィルタ処理部３７１からの垂直補間画像にテクスチャ適応混合処理を施す。
【０４４１】
具体的には、テクスチャ適応混合処理部３７２は、供給されたテクスチャ強度情報を、これから生成しようとするテクスチャ混合画像と同じ大きさにアップサンプリングする。
【０４４２】
ここで、テクスチャフィルタ処理部３７１からの垂直補間画像の画素をテクスチャ画素と称し、斜め合成部３４３からの垂直補間画像の画素を垂直補間画素と称することとする。また、テクスチャ強度情報により示される画素ごとの重みの値がweight−textureであるとする。
【０４４３】
テクスチャ適応混合処理部３７２は、weight−textureが乗算されたテクスチャ画素の画素値と、（１−weight−texture）が乗算された垂直補間画素の画素値とを加算して得られた値を、テクスチャ混合画像の画素の画素値として、テクスチャ混合画像を生成する。
【０４４４】
したがって、テクスチャ混合画像においては、テクスチャ成分をより多く含む領域ほど、テクスチャフィルタ処理が施された垂直補間画像の成分が、より多く含まれることになる。テクスチャ適応混合処理部３７２は、このようにして得られたテクスチャ混合画像を、エッジ適応混合処理部３７４に供給する。
【０４４５】
ステップＳ２８４において、エッジ適応混合処理部３７４はエッジ強度情報生成部３１２からのエッジ強度情報を用い、テクスチャ適応混合処理部３７２からのテクスチャ混合画像と、エッジフィルタ処理部３７３からの垂直補間画像にエッジ適応混合処理を施す。
【０４４６】
具体的には、エッジ適応混合処理部３７４は、供給されたエッジ強度情報を、これから生成しようとする最終的な垂直補間画像と同じ大きさにアップサンプリングする。
【０４４７】
ここで、エッジフィルタ処理部３７３からの垂直補間画像の画素をエッジ画素と称し、テクスチャ混合画像の画素をテクスチャ混合画素と称することとする。また、エッジ強度情報により示される画素ごとの重みの値がweight−edgeであるとする。
【０４４８】
エッジ適応混合処理部３７４は、weight−edgeが乗算されたエッジ画素の画素値と、（１−weight−edge）が乗算されたテクスチャ混合画素の画素値とを加算して得られた値を、最終的な垂直補間画像の画素の画素値とする。
【０４４９】
したがって、最終的な垂直補間画像においては、エッジ成分をより多く含む領域ほど、エッジが強調されることになる。エッジ適応混合処理部３７４は、得られた垂直補間画像を、水平アップサンプリング処理部２４３に供給する。
【０４５０】
このようにして、最終的な垂直補間画像が出力されると、垂直方向エンハンサ処理は終了し、その後、処理は図２２のステップＳ１７４に進む。
【０４５１】
図２２のフローチャートの説明に戻り、垂直方向エンハンサ処理が行われると、その後ステップＳ１７４乃至ステップＳ１７６の処理が行われるが、これらの処理は、ステップＳ１７１乃至ステップＳ１７３の処理と同様であるので、その説明は省略する。
【０４５２】
但し、ステップＳ１７４乃至ステップＳ１７６においては、生成された垂直補間画像が処理対象とされ、その垂直補間画像の水平方向について、水平方向プロファイラ処理、水平方向ダブラ処理、および水平方向エンハンサ処理が行われる。
【０４５３】
すなわち、垂直補間画像の水平方向における画素の補間が行われる。例えば、垂直方向に２Ｖ画素、水平方向にＨ画素からなる垂直補間画像から、垂直方向に２Ｖ画素、水平方向に２Ｈ画素からなるエンハンス画像が生成される。
【０４５４】
このようにして生成されたエンハンス画像は、水平アップサンプリング処理部２４３から図１３の乗算部１６６に供給される。また、水平方向プロファイラ処理により生成された、垂直方向に２Ｖ画素、水平方向にＨ画素からなるウェイトマップが、水平アップサンプリング処理部２４３から選択部２４４に供給される。
【０４５５】
ステップＳ１７７において、アップサンプリング部２４５は、選択部２４４からのウェイトマップをアップサンプリングする。
【０４５６】
すなわち、アップサンプリング部２４２は、垂直アップサンプリング処理部２４１から供給された、垂直方向にＶ画素、水平方向にＨ画素からなるウェイトマップを、垂直方向に２Ｖ画素、水平方向にＨ画素からなるウェイトマップにアップサンプリングする。例えば、アップサンプリングは、最近傍法などにより行われる。アップサンプリング部２４２は、得られたウェイトマップを選択部２４４に供給する。
【０４５７】
選択部２４４は、アップサンプリング部２４２からのウェイトマップと、水平アップサンプリング処理部２４３からのウェイトマップとの同じ位置の画素の画素値のうち、より小さい値の画素値を、出力するウェイトマップの同じ位置の画素の画素値とする。
【０４５８】
ウェイトマップは、その画素の画素値が小さいほど、斜め補間処理によって、より高い効果が得られる領域であることを示している。したがって、２つのウェイトマップの画素値のうち、より小さい値の画素値を、出力するウェイトマップの画素の画素値とすることで、得られたウェイトマップを用いて、斜め補間処理により高い効果が得られる領域を、より確実に知ることができるようになる。
【０４５９】
選択部２４４は、得られたウェイトマップをアップサンプリング部２４５に供給する。アップサンプリング部２４５は、選択部２４４からのウェイトマップを、例えば最近傍法によりアップサンプリングして図１３の乗算部１７１に供給する。これにより、例えば、垂直方向に２Ｖ画素、水平方向にＨ画素からなるウェイトマップが、垂直方向に２Ｖ画素、水平方向に２Ｈ画素からなるウェイトマップにアップサンプリングされる。
【０４６０】
アップサンプリング部２４５からウェイトマップが出力されると、斜め補間処理は終了し、その後、処理は図２０のステップＳ１１３に進む。
【０４６１】
以上のように、画像のエッジ方向とその信頼度、およびコントラスト強度に基づいて、エッジの方向を考慮して画素を補間することにより、周囲の画素と調和の取れた画素を補間することができ、その結果、エンハンス画像の画質を向上させることができる。
【０４６２】
また、テクスチャ強度情報およびエッジ強度情報に基づいて、テクスチャ適応混合処理およびエッジ適応混合処理を行うことにより、画像の各領域の特徴に適した画質の調整を行うことができ、画質を向上させることができる。
【０４６３】
〈第３の実施の形態〉
［画像変換装置の構成］
なお、以上においては、ＳＲ画像とエンハンス画像とを生成して、それらの画像を混合することにより出力画像を得ると説明したが、入力画像から得られたエンハンス画像を用いてＳＲ画像を生成し、その結果得られたＳＲ画像を出力画像としてもよい。
【０４６４】
そのような場合、画像変換装置は、例えば図２９に示すように構成される。
【０４６５】
画像変換装置４０１は、垂直アップサンプリング処理部２４１、水平アップサンプリング処理部２４３、動き補償部２０２、モーションマスク生成部２０３、混合部２０４、ダウンサンプリング部２０５、フィルタ処理部２０６、減算部２０７、フィルタ処理部２０９、加算部２１０、垂直アップサンプリング処理部４１１、および水平アップサンプリング処理部４１２から構成される。
【０４６６】
なお、図２９において、図１４および図１５における場合と対応する部分には、同一の符号を付してあり、その説明は適宜、省略する。
【０４６７】
画像変換装置４０１では、入力画像が垂直アップサンプリング処理部２４１および減算部２０７に供給される。垂直アップサンプリング処理部２４１は、入力画像を垂直方向にアップサンプリングして垂直補間画像とし、水平アップサンプリング処理部２４３に供給する。
【０４６８】
水平アップサンプリング処理部２４３は、垂直アップサンプリング処理部２４１からの垂直補間画像を水平方向にアップサンプリングし、エンハンス画像とする。水平アップサンプリング処理部２４３は、生成したエンハンス画像を動き補償部２０２、モーションマスク生成部２０３、および混合部２０４に供給する。
【０４６９】
また、画像変換装置４０１では、減算部２０７と、フィルタ処理部２０９との間に、垂直アップサンプリング処理部４１１、および水平アップサンプリング処理部４１２が設けられている。これらの垂直アップサンプリング処理部４１１、および水平アップサンプリング処理部４１２は、垂直アップサンプリング処理部２４１、および水平アップサンプリング処理部２４３と同様の処理を行う。
【０４７０】
すなわち、減算部２０７から出力された差分画像は、垂直アップサンプリング処理部４１１により垂直方向にアップサンプリングされ、さらに水平アップサンプリング処理部４１２により水平方向にアップサンプリングされて、フィルタ処理部２０９に供給される。
【０４７１】
［画像変換装置の動作］
次に、図３０のフローチャートを参照して、画像変換装置４０１による画像変換処理について説明する。この画像変換処理は、画像変換装置４０１に１フレーム分の入力画像が供給されるごとに行われる。
【０４７２】
ステップＳ３１１において、垂直アップサンプリング処理部２４１および水平アップサンプリング処理部２４３は、斜め補間によるアップサンプリング処理を行って、入力画像からエンハンス画像を生成する。例えば、垂直方向にＶ画素、水平方向にＨ画素からなる入力画像から、垂直方向に２Ｖ画素、水平方向に２Ｈ画素からなるエンハンス画像が生成される。
【０４７３】
生成されたエンハンス画像は、水平アップサンプリング処理部２４３から、動き補償部２０２、モーションマスク生成部２０３、および混合部２０４に供給される。なお、斜め補間によるアップサンプリング処理の詳細は後述する。
【０４７４】
斜め補間によるアップサンプリング処理によりエンハンス画像が生成されると、その後ステップＳ３１２乃至ステップＳ３１６の処理が行われるが、これらの処理は、図２１のステップＳ１４２乃至ステップＳ１４６の処理と同様であるため、その説明は省略する。
【０４７５】
但し、画像変換装置４０１では、エンハンス画像が用いられて動き補償や、混合画像の生成が行われる。また、減算部２０７では、混合画像と入力画像との差分が求められて差分画像が生成され、垂直アップサンプリング処理部４１１に供給される。
【０４７６】
ステップＳ３１７において、垂直アップサンプリング処理部４１１および水平アップサンプリング処理部４１２は、斜め補間によるアップサンプリング処理を行って、差分画像をアップサンプリングし、フィルタ処理部２０９に供給する。
【０４７７】
例えば、差分画像は、垂直方向にＶ画素、水平方向にＨ画素からなる画像から、垂直方向に２Ｖ画素、水平方向に２Ｈ画素からなる画像にアップサンプリングされる。なお、ステップＳ３１７においては、ステップＳ３１１の斜め補間によるアップサンプリング処理と同様の処理が行われるため、その説明は省略する。
【０４７８】
このように差分画像がアップサンプリングされて、水平アップサンプリング処理部４１２からフィルタ処理部２０９に供給されると、フィルタ処理部２０９は、差分画像に対してハイパスフィルタを用いたフィルタ処理を施し、加算部２１０に供給する。
【０４７９】
ステップＳ３１８において、加算部２１０は、混合部２０４からの混合画像に、フィルタ処理部２０９からの差分画像を加算してＳＲ画像を生成する。そして、加算部２１０は、生成したＳＲ画像を出力画像として出力するとともに、ＳＲ画像を動き補償部２０２に供給して、画像変換処理は終了する。
【０４８０】
このように、超解像処理におけるアップサンプリングを、斜め補間処理により行うことで、より簡単に出力画像の画質を向上させることができる。
【０４８１】
すなわち、入力画像を斜め補間処理によりアップサンプリングすることで、入力画像上の斜め方向の線がシャープに再現されたエンハンス画像を得ることができる。このエンハンス画像を用いて、つまり入力画像よりも、より高画質な画像を用いて超解像処理を行えば、出力画像の画質をさらに向上させることができる。
【０４８２】
また、差分画像を斜め補間処理によりアップサンプリングすることで、差分画像により示される予測の誤差が、画像中の斜め方向の線をよりシャープに再現するように、混合画像にフィードバックされる。これにより、出力画像の画質をさらに向上させることができる。
【０４８３】
次に、図３１のフローチャートを参照して、図３０のステップＳ３１１に対応する斜め補間によるアップサンプリング処理について説明する。
【０４８４】
なお、斜め補間によるアップサンプリング処理では、ステップＳ３４１乃至ステップＳ３４６の処理が行われて、エンハンス画像が生成されるが、これらの処理は、図２２のステップＳ１７１乃至ステップＳ１７６の処理と同様であるため、その説明は省略する。
【０４８５】
すなわち、ステップＳ３４１乃至ステップＳ３４３の処理において、入力画像が垂直方向にアップサンプリングされて垂直補間画像とされる。また、ステップＳ３４４乃至ステップＳ３４６の処理において、垂直補間画像が水平方向にアップサンプリングされて、エンハンス画像とされる。そして、エンハンス画像が生成されると、斜め補間によるアップサンプリング処理は終了し、処理は図３０のステップＳ３１２に進む。
【０４８６】
〈第４の実施の形態〉
［画像変換装置の構成］
また、斜め補間処理により得られたエンハンス画像を用いて超解像処理を行う場合において、アルファマップを利用して、差分画像の出力画像生成への寄与率を変化させるようにしてもよい。そのような場合、例えば画像変換装置は、図３２に示すように構成される。
【０４８７】
画像変換装置４４１は、斜め補間処理部１６２、動き補償部２０２、モーションマスク生成部２０３、混合部２０４、ダウンサンプリング部２０５、フィルタ処理部２０６、減算部２０７、アップサンプリング部２０８、フィルタ処理部２０９、マップ生成部１６３、乗算部４５１、乗算部４５２、および加算部２１０から構成される。
【０４８８】
なお、図３２において、図１３および図１４における場合と対応する部分には、同一の符号を付してあり、その説明は適宜、省略する。
【０４８９】
画像変換装置４４１では、入力画像が斜め補間処理部１６２および減算部２０７に供給される。斜め補間処理部１６２は、供給された入力画像を斜め補間処理によりアップサンプリングし、動き補償部２０２、モーションマスク生成部２０３、および混合部２０４に供給する。また、斜め補間処理部１６２は、斜め補間処理において生成されたウェイトマップを、マップ生成部１６３に供給する。
【０４９０】
マップ生成部１６３は、斜め補間処理部１６２からのウェイトマップと、モーションマスク生成部２０３からのモーションマスクとから、アルファマップを生成し、乗算部４５１に供給する。乗算部４５１は、マップ生成部１６３からのアルファマップの各画素の画素値に、入力された数値である１／１２８を乗算し、乗算部４５２に供給する。
【０４９１】
乗算部４５２は、フィルタ処理部２０９からの差分画像に、乗算部４５１から供給されたアルファマップの画素の画素値を乗算し、加算部２１０に供給する。また、加算部２１０は、混合部２０４からの混合画像と、乗算部４５２からの差分画像とを加算して、ＳＲ画像を生成する。そして、加算部２１０は、生成したＳＲ画像を出力画像として出力するとともに、動き補償部２０２に供給する。
【０４９２】
［画像変換装置の動作］
次に、図３３のフローチャートを参照して、画像変換装置４４１による画像変換処理について説明する。この画像変換処理は、画像変換装置４４１に１フレーム分の入力画像が供給されるごとに行われる。
【０４９３】
ステップＳ３７１において、斜め補間処理部１６２は、供給された入力画像を用いて斜め補間処理を行い、出力画像と同じ解像度のエンハンス画像を生成する。斜め補間処理部１６２は、生成したエンハンス画像を動き補償部２０２、モーションマスク生成部２０３、および混合部２０４に供給するとともに、斜め補間処理において得られたウェイトマップを、マップ生成部１６３に供給する。なお、この斜め補間処理は、図２０のステップＳ１１２の処理と同様であるので、その説明は省略する。
【０４９４】
斜め補間処理が行われると、その後、ステップＳ３７２乃至ステップＳ３７７の処理が行われるが、これらの処理は、図２１のステップＳ１４２乃至ステップＳ１４７の処理と同様であるため、その説明は省略する。
【０４９５】
但し、画像変換装置４４１では、エンハンス画像が用いられて動き補償や、混合画像の生成が行われる。また、モーションマスク生成部２０３で生成されたモーションマスクは、混合部２０４およびマップ生成部１６３に供給される。さらに、アップサンプリング部２０８においてアップサンプリングされた差分画像は、フィルタ処理部２０９においてハイパスフィルタを用いてフィルタ処理され、乗算部４５２に供給される。
【０４９６】
ステップＳ３７８において、マップ生成部１６３は、斜め補間処理部１６２からのウェイトマップと、モーションマスク生成部２０３からのモーションマスクとから、アルファマップを生成し、乗算部４５１に供給する。すなわち、ステップＳ３７８では、図２０のステップＳ１１３と同様の処理が行われる。
【０４９７】
また、乗算部４５１は、マップ生成部１６３からのアルファマップの各画素の画素値に、入力された数値である１／１２８を乗算し、乗算部４５２に供給する。なお、数値１／１２８は、１２８階調であるアルファマップの画素値を、０から１までの間の値となるように正規化するために乗算される。
【０４９８】
乗算部４５２は、フィルタ処理部２０９からの差分画像の画素の画素値に、乗算部４５１から供給されたアルファマップの画素の画素値を乗算し、加算部２１０に供給する。すなわち、差分画像の画素の画素値に、その画素と同じ位置にあるアルファマップの画素の画素値が乗算される。
【０４９９】
ステップＳ３７９において、加算部２１０は、混合部２０４からの混合画像に、乗算部４５２からの差分画像を加算してＳＲ画像を生成する。そして、加算部２１０は、生成したＳＲ画像を出力画像として出力するとともに、ＳＲ画像を動き補償部２０２に供給して、画像変換処理は終了する。
【０５００】
このように、超解像処理におけるアップサンプリングを、斜め補間処理により行うことで、より簡単に出力画像の画質を向上させることができる。すなわち、入力画像を斜め補間処理によりアップサンプリングすることで、入力画像上の斜め方向の線がシャープに再現されたエンハンス画像を得ることができる。そして、このエンハンス画像用いて超解像処理を行えば、出力画像の画質をさらに向上させることができる。
【０５０１】
また、アルファマップの画素値に応じて、差分画像の出力画像生成への寄与率を変化させることにより、出力画像の画質を向上させることができる。
【０５０２】
すなわち、乗算部４５２では、差分画像に、アルファマップの画素値が乗算されるため、アルファマップの画素の画素値が小さい場合、差分画像の出力画像に対する寄与率は低くなる。つまり、斜め補間処理により得られる効果がより高い領域では、差分画像により示される予測誤差は、あまり出力画像には反映されなくなる。
【０５０３】
斜め補間処理により得られる効果が高い領域ほど、混合画像の斜め線等のエッジがシャープに再現されているはずである。したがって、そのような領域では、予測誤差のフィードバックを弱め、混合画像の出力画像に対する寄与率を大きくすることで、出力画像の画質を向上させることができる。
【０５０４】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０５０５】
図３４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０５０６】
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０５０７】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクや不揮発性のメモリなどよりなる記録部５０８、ネットワークインターフェースなどよりなる通信部５０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１を駆動するドライブ５１０が接続されている。
【０５０８】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０５０９】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア５１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０５１０】
そして、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０５１１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０５１２】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０５１３】
１１  画像変換装置，  ２１  超解像処理部，  ２２  斜め補間処理部，  ２３  混合部，  ３３  マスク生成部，  ３６  プロファイラ処理部，  ３９  補間処理部，  ４２  エンハンス部，  ４３  重み算出部，  ４４  加算部，  ７４  ウェイトマップ生成部，  １５１  画像変換装置，  １６１  超解像処理部，  １６２  斜め補間処理部，  １６３  マップ生成部，  １６７  加算部，  １７２  選択部，  ４０１  画像変換装置，  ４１１  垂直アップサンプリング処理部，  ４１２  水平アップサンプリング処理部，  ４４１  画像変換装置
【図１】
2010140460.tif 000029
【図２】
2010140460.tif 000030
【図３】
2010140460.tif 000031
【図４】
2010140460.tif 000032
【図５】
2010140460.tif 000033
【図６】
2010140460.tif 000034
【図７】
2010140460.tif 000035
【図８】
2010140460.tif 000036
【図９】
2010140460.tif 000037
【図１０】
2010140460.tif 000038
【図１１】
2010140460.tif 000039
【図１２】
2010140460.tif 000040
【図１３】
2010140460.tif 000041
【図１４】
2010140460.tif 000042
【図１５】
2010140460.tif 000043
【図１６】
2010140460.tif 000044
【図１７】
2010140460.tif 000045
【図１８】
2010140460.tif 000046
【図１９】
2010140460.tif 000047
【図２０】
2010140460.tif 000048
【図２１】
2010140460.tif 000049
【図２２】
2010140460.tif 000050
【図２３】
2010140460.tif 000051
【図２４】
2010140460.tif 000052
【図２５】
2010140460.tif 000053
【図２６】
2010140460.tif 000054
【図２７】
2010140460.tif 000055
【図２８】
2010140460.tif 000056
【図２９】
2010140460.tif 000057
【図３０】
2010140460.tif 000058
【図３１】
2010140460.tif 000059
【図３２】
2010140460.tif 000060
【図３３】
2010140460.tif 000061
【図３４】
2010140460.tif 000062