(57)【要約】  劣化過程と劣化モデルの違いによりノイズの発生を抑制することができる画像処理装置を提供する。画像処理装置は、低解像度画像より高い解像度の第１高解像度画像を生成する拡大補間部と、劣化モデルに基づいて、前記低解像度画像を用いて第２高解像度画像を生成する超解像処理部と、前記低解像度画像を用いて特徴量を生成する特徴量生成部と、各画素の値の差分値を算出する差分演算部と、前記差分値を前記特徴量を用いて補正して、補正差分値を算出する調整部と、前記第１高解像度画像の各画素の値に、当該画素に対応する補正差分値を加算して、第３高解像度画像を生成する合成部とを備える。
2012132183.tif 000002
【特許請求の範囲】
【請求項１】
低解像度画像から高解像度画像を生成する画像処理装置であって、
低解像度画像を取得する取得手段と、
取得した前記低解像度画像を拡大補間して、前記低解像度画像より高い解像度の第１高解像度画像を生成する拡大補間手段と、
高解像度画像が劣化して低解像度画像となる過程を推定した劣化モデルを逆方向に辿ることにより、前記低解像度画像から、前記第１高解像度画像と同一の解像度を有する第２高解像度画像を生成する超解像処理手段と、
前記低解像度画像を用いて、前記第１高解像度画像の各画素の位置における特徴を示す特徴量を生成する特徴量生成手段と、
前記第１高解像度画像における各画素について、当該画素の値と、対応する前記第２高解像度画像における画素の値の差分値を算出する差分演算手段と、
算出された各画素の差分値を、生成された前記特徴量を用いて補正して、補正差分値を算出する調整手段と、
前記第１高解像度画像の各画素の値に、当該画素に対応する補正差分値を加算して、第３高解像度画像を生成する合成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記特徴量生成手段は、前記特徴量として、前記第１高解像度画像の各画素の周辺画素に対応する前記低解像度画像の画像領域内の画素の値の勾配を示す勾配情報を生成し、
前記調整手段は、生成された前記勾配情報を用いて、前記差分値を補正する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記調整手段は、前記勾配情報に依存して増減する利得を算出し、算出した利得を前記差分値に乗ずることにより、前記補正差分値を算出する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記特徴量解析手段は、前記特徴量として、前記第１高解像度画像の各画素の周辺画素に対応する前記低解像度画像の画像領域から、当該画素の値の取り得る許容範囲を生成し、
前記調整手段は、前記許容範囲を超える値を有する前記第２高解像度画像の各画素について、前記差分値を補正する
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
低解像度画像から高解像度画像を生成する画像処理装置で用いられる画像処理方法であって、
低解像度画像を取得する取得ステップと、
取得した前記低解像度画像を拡大補間して、前記低解像度画像より高い解像度の第１高解像度画像を生成する拡大補間ステップと、
高解像度画像が劣化して低解像度画像となる過程を推定した劣化モデルを逆方向に辿ることにより、前記低解像度画像から、前記第１高解像度画像と同一の解像度を有する第２高解像度画像を生成する超解像処理ステップと、
前記低解像度画像を用いて、前記第１高解像度画像の各画素の位置における特徴を示す特徴量を生成する特徴量生成ステップと、
前記第１高解像度画像における各画素について、当該画素の値と、対応する前記第２高解像度画像における画素の値の差分値を算出する差分演算ステップと、
算出された各画素の差分値を、生成された前記特徴量を用いて補正して、補正差分値を算出する調整ステップと、
前記第１高解像度画像の各画素の値に、当該画素に対応する補正差分値を加算して、第３高解像度画像を生成する合成ステップと
を含むことを特徴とする画像処理方法。
【請求項６】
低解像度画像から高解像度画像を生成する画像処理装置で用いられる画像処理のためのコンピュータプログラムであって、
コンピュータに、
低解像度画像を取得する取得ステップと、
取得した前記低解像度画像を拡大補間して、前記低解像度画像より高い解像度の第１高解像度画像を生成する拡大補間ステップと、
高解像度画像が劣化して低解像度画像となる過程を推定した劣化モデルを逆方向に辿ることにより、前記低解像度画像から、前記第１高解像度画像と同一の解像度を有する第２高解像度画像を生成する超解像処理ステップと、
前記低解像度画像を用いて、前記第１高解像度画像の各画素の位置における特徴を示す特徴量を生成する特徴量生成ステップと、
前記第１高解像度画像における各画素について、当該画素の値と、対応する前記第２高解像度画像における画素の値の差分値を算出する差分演算ステップと、
算出された各画素の差分値を、生成された前記特徴量を用いて補正して、補正差分値を算出する調整ステップと、
前記第１高解像度画像の各画素の値に、当該画素に対応する補正差分値を加算して、第３高解像度画像を生成する合成ステップと
を実行させるためのコンピュータプログラム。
【請求項７】
低解像度画像から高解像度画像を生成する画像処理装置で用いられる画像処理のためのコンピュータプログラムを記録しているコンピュータ読み取り可能な記録媒体であって、
コンピュータに、
低解像度画像を取得する取得ステップと、
取得した前記低解像度画像を拡大補間して、前記低解像度画像より高い解像度の第１高解像度画像を生成する拡大補間ステップと、
高解像度画像が劣化して低解像度画像となる過程を推定した劣化モデルを逆方向に辿ることにより、前記低解像度画像から、前記第１高解像度画像と同一の解像度を有する第２高解像度画像を生成する超解像処理ステップと、
前記低解像度画像を用いて、前記第１高解像度画像の各画素の位置における特徴を示す特徴量を生成する特徴量生成ステップと、
前記第１高解像度画像における各画素について、当該画素の値と、対応する前記第２高解像度画像における画素の値の差分値を算出する差分演算ステップと、
算出された各画素の差分値を、生成された前記特徴量を用いて補正して、補正差分値を算出する調整ステップと、
前記第１高解像度画像の各画素の値に、当該画素に対応する補正差分値を加算して、第３高解像度画像を生成する合成ステップと
を実行させるためのコンピュータプログラムを記録している記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、低解像度画像から高解像度画像を生成する画像処理技術に関する。
【背景技術】
【０００２】
従来、低解像度画像を高解像度画像に変換する手法として、超解像技術が提案されており、例えば、非特許文献１には、超解像技術の代表的な手法が開示されている。この文献によると、式１に示すように、複数の低解像度画像と高解像度画像の関係を表した方程式を定義し、式１を解くことにより、高解像度画像を生成する。式１を解く際には、勾配法等を用いた反復処理により、誤差が一定以下になるまで繰り返し演算が行われる。【０００３】
【数１】
2012132183.tif 000003
【０００４】
ここで、ｈは高解像度画像のベクトル表現を、σは観測値のノイズの偏差を、ｂ（ｘi ，ｙi ）は位置（ｘi ，ｙi ）に対応するＰＳＦ（点広がり関数）カーネルのベクトル表現を、Ｃは高解像度画像の事前情報をあらわす行列を、αは拘束の強さを表す拘束パラメータをそれぞれ表す。また、Ｎl は、複数の低解像度画像の総画素数を表す。【０００５】
従来の超解像技術では、高解像度画像が何らかの劣化により低解像度画像になっているとして、目的とする高解像度画像と低解像度画像の関係を方程式として記述し、これを解くことで高解像度画像を得る。良好な高解像度画像を得るためには、この劣化をモデル化した方程式が重要であり、低解像度の劣化過程を推定する劣化のモデルをどう作るかが超解像技術のポイントとなる。【０００６】
劣化モデルが取得された低解像度画像の現実の劣化過程と異なる場合、劣化モデルと現実の劣化過程との差により、得られた高解像度画像にノイズが生じる。これを解決するために、劣化モデルに、ＰＳＦなどの画像の入力過程以外に発生するシステムノイズ項を加えることにより、ロバスト性を高めた超解像技術が非特許文献２で紹介されている。非特許文献２の技術では、式２のような劣化モデルを定義し、この式を解くことで高解像度画像を生成する。【０００７】
【数２】
2012132183.tif 000004
【０００８】
ここで、Ｘは入力画像、Ｈatm は大気によるボケ、Ｆk はＡ／Ｄ変換による劣化、Ｈcam はカメラによるボケ、Ｄk はダウンサンプリングよる劣化、そしてＶk はシステムノイズである。式２では、システムノイズを含めてモデル化されているため、通常の画像劣化以外のノイズに対してロバスト性を確保している。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】田中正行、奥富正敏、再構成型超解像処理の高速化アルゴリズムとその精度評価、電子情報通信学会論文誌  Ｄ−ＩＩ  Ｖｏｌ．Ｊ８８−Ｄ−ＩＩ，  Ｎｏ．１１，ｐｐ．２２００−２２０９，２００５
【非特許文献２】Ｓｉｎａ  Ｆａｒｓｉｕ他、Ｆａｓｔ  ａｎｄ  Ｒｏｂｕｓｔ  Ｍｕｌｔｉｆｒａｍｅ  Ｓｕｐｅｒ  Ｒｅｓｏｌｕｔｉｏｎ，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．１３，ＮＯ．１０，ＯＣＴＯＢＥＲ  ２００４．
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、例えばＴＶ放送により放送される画像に超解像処理を適用しようとした場合、放送されている数々の番組の劣化モデルを推定することは現実的には不可能であり、非特許文献１により開示された技術を用いて、あらかじめ用意した劣化モデルによる超解像処理を行った場合には、得られた高解像度画像にノイズが生じ、好ましくない結果となってしまう。また、非特許文献２により開示された技術を適用する場合には、得られる結果は、ある程度のロバスト性を持つこととなるが、ロバスト性を確保するための反復処理が式２の演算に組み込まれているため、演算処理量が大きくなるという問題がある。【００１１】
上記問題点を解決するために、本発明は、取得した低解像度画像の現実の劣化過程と劣化モデルとがずれている場合であっても、現実の劣化過程と劣化モデルの違いにより発生するノイズを抑制しつつ、高解像度画像を生成することができる画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明は、低解像度画像から高解像度画像を生成する画像処理装置であって、低解像度画像を取得する取得手段と、取得した前記低解像度画像を拡大補間して、前記低解像度画像より高い解像度の第１高解像度画像を生成する拡大補間手段と、高解像度画像が劣化して低解像度画像となる過程を推定した劣化モデルを逆方向に辿ることにより、前記低解像度画像から、前記第１高解像度画像と同一の解像度を有する第２高解像度画像を生成する超解像処理手段と、前記低解像度画像を用いて、前記第１高解像度画像の各画素の位置における特徴を示す特徴量を生成する特徴量生成手段と、前記第１高解像度画像における各画素について、当該画素の値と、対応する前記第２高解像度画像における画素の値の差分値を算出する差分演算手段と、算出された各画素の差分値を、生成された前記特徴量を用いて補正して、補正差分値を算出する調整手段と、前記第１高解像度画像の各画素の値に、当該画素に対応する補正差分値を加算して、第３高解像度画像を生成する合成手段とを備えることを特徴とする。
【発明の効果】
【００１３】
上記のように、本発明の画像処理装置は、低解像度画像に対して、拡大補間手段と超解像処理手段によりそれぞれ異なる拡大処理を行い、低解像度画像から第１高解像度画像の各画素に対応する特徴量を生成し、生成した特徴量を用いて第１高解像度画像と第２高解像度画像の画素の差分値の補正を行う。第１高解像度画像と第２高解像度画像の差分値には、超解像処理により生じたノイズ成分が含まれており、差分値を低解像度画像を基に生成した特徴量を用いて補正して、得られた補正差分値を第１高解像度画像に加算することにより、知覚しやすいノイズを抑制することができる。【００１４】
こうして、超解像処理で利用する上記の劣化モデルが、取得した低解像度画像の現実の劣化過程と異なる場合に、ノイズの発生を抑制し、視覚的に良好な高解像度画像を得ることができるという優れた効果を奏する。【００１５】
本発明の画像処理装置は、入力された低解像度画像を表示デバイスの解像度に合わせて高解像度化する表示装置や、低解像度の画像を拡大して出力するプリンタ等の画像出力装置、動画像中の一枚の画像を拡大して静止画像を生成する撮影装置等、低解像度の画像を高解像度化する装置において、有効に利用される。
【図面の簡単な説明】
【００１６】
【図１】本発明に係る一の実施の形態としての画像処理装置１０の構成を示すブロック図である。
【図２】画像処理部１００の構成を示すブロック図である。
【図３】第１高解像度画像に配されるべき１個の中心画素４０１及び低解像度画像の３６個の周辺画素４１１、・・・、４１５の配置の一例を示す。
【図４】画素５０１を中心とする４つの領域５０２、５０３、５０４、５０５を示す。
【図５】ＭＡＸ１、ＭＡＸ２、ＭＡＸ３、ＭＡＸ４の位置と、注目画素５０１の位置との関係を示す。
【図６】ＭＩＮ１、ＭＩＮ２、ＭＩＮ３、ＭＩＮ４の位置と、注目画素５０１の位置との関係を示す。
【図７】領域Ｓにおいてｘ軸方向に配列された複数の画素の画素値が凹状に変化する場合の一例を示す。
【図８】領域Ｓにおいてｘ軸方向に配列された複数の画素の画素値が凸状に変化する場合の一例を示す。
【図９】調整部１０７が有する対応テーブルにおける勾配とゲインβの関係を示す。（ａ）勾配とゲインβの関係についての第１の具体例を示す。（ｂ）勾配とゲインβの関係についての第２の具体例を示す。
【図１０】第２高解像度画像においてｘ軸方向に配列された複数の画素の画素値の変化１１０１、許容振幅の最大値の変化１１０２及び最小値の変化１１０３の一例を示す。
【図１１】第２高解像度画像においてｘ軸方向に配列された複数の画素の画素値の変化１１０１、許容振幅の最大値の変化１１０２及び最小値の変化１１０３、並びに、第３高解像度画像においてｘ軸方向に配列された複数の画素の画素値の変化１２０１の一例を示す。
【図１２】画像処理装置１０の動作のうち、画像処理部１００の動作を中心として示すフローチャートである。
【図１３】拡大補間部１０５の動作を示すフローチャートである。
【発明を実施するための形態】
【００１７】
本発明の一の実施態様は、低解像度画像から高解像度画像を生成する画像処理装置であって、低解像度画像を取得する取得手段と、取得した前記低解像度画像を拡大補間して、前記低解像度画像より高い解像度の第１高解像度画像を生成する拡大補間手段と、高解像度画像が劣化して低解像度画像となる過程を推定した劣化モデルを逆方向に辿ることにより、前記低解像度画像から、前記第１高解像度画像と同一の解像度を有する第２高解像度画像を生成する超解像処理手段と、前記低解像度画像を用いて、前記第１高解像度画像の各画素の位置における特徴を示す特徴量を生成する特徴量生成手段と、前記第１高解像度画像における各画素について、当該画素の値と、対応する前記第２高解像度画像における画素の値の差分値を算出する差分演算手段と、算出された各画素の差分値を、生成された前記特徴量を用いて補正して、補正差分値を算出する調整手段と、前記第１高解像度画像の各画素の値に、当該画素に対応する補正差分値を加算して、第３高解像度画像を生成する合成手段とを備えることを特徴とする。
【００１８】
ここで、前記特徴量生成手段は、前記特徴量として、前記第１高解像度画像の各画素の周辺画素に対応する前記低解像度画像の画像領域内の画素の値の勾配を示す勾配情報を生成し、前記調整手段は、生成された前記勾配情報を用いて、前記差分値を補正するとしてもよい。
【００１９】
ここで、前記調整手段は、前記勾配情報に依存して増減する利得を算出し、算出した利得を前記差分値に乗ずることにより、前記補正差分値を算出するとしてもよい。
【００２０】
ここで、前記特徴量解析手段は、前記特徴量として、前記第１高解像度画像の各画素の周辺画素に対応する前記低解像度画像の画像領域から、当該画素の値の取り得る許容範囲を生成し、前記調整手段は、前記許容範囲を超える値を有する前記第２高解像度画像の各画素について、前記差分値を補正するとしてもよい。
【００２１】
また、本発明の別の実施態様は、低解像度画像から高解像度画像を生成する画像処理装置で用いられる画像処理方法であって、低解像度画像を取得する取得ステップと、取得した前記低解像度画像を拡大補間して、前記低解像度画像より高い解像度の第１高解像度画像を生成する拡大補間ステップと、高解像度画像が劣化して低解像度画像となる過程を推定した劣化モデルを逆方向に辿ることにより、前記低解像度画像から、前記第１高解像度画像と同一の解像度を有する第２高解像度画像を生成する超解像処理ステップと、前記低解像度画像を用いて、前記第１高解像度画像の各画素の位置における特徴を示す特徴量を生成する特徴量生成ステップと、前記第１高解像度画像における各画素について、当該画素の値と、対応する前記第２高解像度画像における画素の値の差分値を算出する差分演算ステップと、算出された各画素の差分値を、生成された前記特徴量を用いて補正して、補正差分値を算出する調整ステップと、前記第１高解像度画像の各画素の値に、当該画素に対応する補正差分値を加算して、第３高解像度画像を生成する合成ステップとを含むことを特徴とする。
【００２２】
また、本発明の別の実施態様は、低解像度画像から高解像度画像を生成する画像処理装置で用いられる画像処理のためのコンピュータプログラムであって、コンピュータに、低解像度画像を取得する取得ステップと、取得した前記低解像度画像を拡大補間して、前記低解像度画像より高い解像度の第１高解像度画像を生成する拡大補間ステップと、高解像度画像が劣化して低解像度画像となる過程を推定した劣化モデルを逆方向に辿ることにより、前記低解像度画像から、前記第１高解像度画像と同一の解像度を有する第２高解像度画像を生成する超解像処理ステップと、前記低解像度画像を用いて、前記第１高解像度画像の各画素の位置における特徴を示す特徴量を生成する特徴量生成ステップと、前記第１高解像度画像における各画素について、当該画素の値と、対応する前記第２高解像度画像における画素の値の差分値を算出する差分演算ステップと、算出された各画素の差分値を、生成された前記特徴量を用いて補正して、補正差分値を算出する調整ステップと、前記第１高解像度画像の各画素の値に、当該画素に対応する補正差分値を加算して、第３高解像度画像を生成する合成ステップとを実行させるためのコンピュータプログラムである。
【００２３】
また、本発明の別の実施態様は、低解像度画像から高解像度画像を生成する画像処理装置で用いられる画像処理のためのコンピュータプログラムを記録しているコンピュータ読み取り可能な記録媒体であって、コンピュータに、低解像度画像を取得する取得ステップと、取得した前記低解像度画像を拡大補間して、前記低解像度画像より高い解像度の第１高解像度画像を生成する拡大補間ステップと、高解像度画像が劣化して低解像度画像となる過程を推定した劣化モデルを逆方向に辿ることにより、前記低解像度画像から、前記第１高解像度画像と同一の解像度を有する第２高解像度画像を生成する超解像処理ステップと、前記低解像度画像を用いて、前記第１高解像度画像の各画素の位置における特徴を示す特徴量を生成する特徴量生成ステップと、前記第１高解像度画像における各画素について、当該画素の値と、対応する前記第２高解像度画像における画素の値の差分値を算出する差分演算ステップと、算出された各画素の差分値を、生成された前記特徴量を用いて補正して、補正差分値を算出する調整ステップと、前記第１高解像度画像の各画素の値に、当該画素に対応する補正差分値を加算して、第３高解像度画像を生成する合成ステップとを実行させるためのコンピュータプログラムを記録している記録媒体である。
【００２４】
（実施の形態）
以下、本発明に係る一の実施の形態としての画像処理装置１０について、図面を参照しながら説明する。
【００２５】
１．画像処理装置１０
画像処理装置１０は、図１に示すように、入力部２０１、チューナ２０２、外部端子２０３、メモリ２０５、プロセッサ２０６、復号部２０７、表示制御部２０８、ビデオドライバ２０９及びハードディスク２１０から構成されている。画像処理装置１０には、液晶、プラズマ、ＣＲＴなどを利用した表示デバイス２１１が接続され、また、画像処理装置１０には、メモリカード２０４が装着される。
【００２６】
画像処理装置１０は、一例として、ハードディスクレコーダであり、デジタル放送により受信した番組を内部に蓄積し、利用者の指示に応じて、蓄積している番組を再生して表示デバイス２１１へ出力する。表示デバイス２１１は、一例として、高い解像度を有する大型のテレビジョン表示装置であり、番組を表示する。
【００２７】
チューナ２０２は、受信した放送波から抽出したＴＶ信号を入力部２０１へ出力する。このＴＶ信号は、画像データを含んでいる。外部端子２０３は、例えば、ＤＶＤ再生装置等の他の映像再生装置（図示していない）から、映像信号を受信し、受信した映像信号を入力部２０１へ出力する。この映像信号は、画像データを含んでいる。また、メモリカード２０４は、動画や静止画を記録しており、一例としてＳＤカードである。これらの動画や静止画は、画像データを含んでいる。
【００２８】
入力部２０１は、チューナ２０２、外部端子２０３又はメモリカード２０４から画像データ（以下、低解像度画像と呼ぶ。）を受信する。ここで、低解像度画像は、表示デバイス２１１が有する解像度と比較して低い解像度を有する画像を意味している。メモリ２０５は、画像処理装置１０の一次記憶装置として利用され、ＤＲＡＭなどから構成されている。プロセッサ２０６は、画像処理装置１０全体を制御する。ハードディスク２１０は、画像等を蓄積するための二次記憶装置であり、入力部２０１により入力された低解像度画像を蓄積する。
【００２９】
復号部２０７は、入力部２０１が受信した低解像度画像が圧縮画像である場合に、又は、ハードディスク２１０に蓄積されている低解像度画像が圧縮画像である場合に、圧縮画像の復号を行う。復号された画像は、直接又はメモリ２０５を介して表示制御部２０８に送られる。表示制御部２０８は、受け取った画像を表示デバイス２１１に合わせた解像度の画像（以下、第３高解像度画像と呼ぶ。）に変換し、第３高解像度画像をビデオドライバ２０９へ出力する。ビデオドライバ２０９は、第３高解像度画像を表示デバイス２１１へ出力して、表示デバイス２１１への第３高解像度画像の表示を制御する。
【００３０】
なお、画像処理装置１０は、チューナ２０２を含んでいるとしているが、これには限定されない。画像処理装置１０は、チューナ２０２を含まず、画像処理装置１０には、チューナを有するデジタル放送受信装置が接続されているとしてもよい。
【００３１】
表示制御部２０８は、表示デバイス２１１の解像度に合わせて、受け取った低解像度画像を高解像度化して第３高解像度画像を生成するため、図２に示す画像処理部１００を含んでいる。
【００３２】
表示制御部２０８は、復号された低解像度画像から、当該低解像度画像の水平方向の画素数ｉｎＸＳ及び垂直方向の画素数ｉｎＹＳを抽出する。また、ビデオドライバ２０９から、表示デバイス２１１に表示されるべき第３高解像度画像の水平方向の画素数ｏｕｔＸＳ及び垂直方向の画素数ｏｕｔＹＳを受け取る。
【００３３】
ここで、画像処理部１００は、ハードウェアとして実装されるが、プロセッサ２０６におけるソフトウェア処理として実装されるとしてもよい。なお、どちらの実装の場合でも、生成された第３高解像度画像を再び符号化してハードディスク２１０等に書き戻す等の用途に利用することも可能である。
【００３４】
２．画像処理部１００
画像処理部１００は、図２に示すように、特徴量生成部１０３、超解像拡大部１０４、拡大補間部１０５、差分演算部１０６、調整部１０７及び合成部１０８から構成される。
【００３５】
画像処理部１００は、低解像度画像を受け取る。
【００３６】
拡大補間部１０５は、受け取った前記低解像度画像を拡大補間して、前記低解像度画像より高い解像度の第１高解像度画像を生成する。超解像拡大部１０４は、高解像度画像が劣化して低解像度画像となる過程を推定した劣化モデルを逆方向に辿ることにより、受け取った前記低解像度画像から、前記第１高解像度画像と同一の解像度を有する第２高解像度画像を生成する。特徴量生成部１０３は、受け取った前記低解像度画像を用いて、前記第１高解像度画像の各画素の位置における特徴を示す特徴量を生成する。差分演算部１０６は、前記第１高解像度画像における各画素について、当該画素の値と、対応する前記第２高解像度画像における画素の値の差分値を算出する。調整部１０７は、算出された各画素の差分値を、生成された前記特徴量を用いて補正して、補正差分値を算出する。合成部１０８は、前記第１高解像度画像の各画素の値に、当該画素に対応する補正差分値を加算して、第３高解像度画像を生成して出力する。
【００３７】
画像処理部１００は、低解像度画像の水平方向の画素数ｉｎＸＳ及び垂直方向の画素数ｉｎＹＳを受け取り、高解像度画像の水平方向の画素数ｏｕｔＸＳ及び垂直方向の画素数ｏｕｔＹＳを受け取る。
【００３８】
（１）拡大補間部１０５
拡大補間部１０５は、以下に示すようにして、第１高解像度画像を生成する。なお、第１高解像度画像の解像度、水平方向の画素数及び垂直方向の画素数は、それぞれ、表示デバイス２１１に表示されるべき第３高解像度画像の解像度、水平方向の画素数及び垂直方向の画素数に等しい。
【００３９】
拡大補間部１０５は、低解像度画像を受け取る。また、低解像度画像の水平方向の画素数ｉｎＸＳ及び垂直方向の画素数ｉｎＹＳを受け取り、第３高解像度画像の水平方向の画素数ｏｕｔＸＳ及び垂直方向の画素数ｏｕｔＹＳを受け取る。
【００４０】
次に、拡大補間部１０５は、画素数ｉｎＸＳ、ｉｎＹＳ、ｏｕｔＸＳ及びｏｕｔＹＳを用いて、式３及び式４により、水平方向の補間間隔ｄｘ及び垂直方向の補間間隔ｄｙを算出する。
【００４１】
水平方向の補間間隔ｄｘ＝ｉｎＤＸ／ｏｕｔＤＸ                  （式３）
垂直方向の補間間隔ｄｙ＝ｉｎＤＹ／ｏｕｔＤＹ                  （式４）
こうして算出された水平方向の補間間隔ｄｘ及び垂直方向の補間間隔ｄｙは、第１高解像度画像に含まれる画素の位置を規定することとなる。つまり、第１高解像度画像に含まれる画素は、水平方向には、水平方向の補間間隔ｄｘの整数倍の位置に配され、垂直方向には、垂直方向の補間間隔ｄｙの整数倍の位置に配される。
【００４２】
なお、低解像度画像の解像度は、第３高解像度画像の解像度より、低いので、ｄｘ及びｄｙは、１未満の値となる。
【００４３】
次に、拡大補間部１０５は、第１高解像度画像に配されるべき全ての画素の位置について、次の処理（ａ）〜（ｃ）を繰り返す。
【００４４】
（ａ）第１高解像度画像に配されるべき１個の画素（中心画素と呼ぶ。）の位置（中心位置と呼ぶ。）について、拡大補間部１０５は、低解像度画像に含まれる複数の画素のうち、一例として、水平方向に６個、垂直方向に６個、行列状に配された合計３６個の画素（周辺画素と呼ぶ。）を、上記の中心位置が、周辺画素のほぼ中央に配されるように、選択し、選択した周辺画素の画素値を取得する。
【００４５】
図３には、第１高解像度画像に配されるべき１個の中心画素４０１及び低解像度画像の３６個の周辺画素４１１、４１２、４１３、・・・、４１４、・・・、４１５の配置の一例を示す。この図に示すように、６行６列の行列状に配された周辺画素４１１、４１２、４１３、・・・、４１４、・・・、４１５のほぼ中央の位置に、中心画素４０１が存在する。
【００４６】
この図においては、中心画素４０１の座標（ｘ、ｙ）は、一例として、（３．４、３．５）である。
【００４７】
（ｂ）次に、中心位置のｘ座標及びｙ座標のそれぞれの小数点部ｐｘ及びｐｙを算出する。
【００４８】
ここで、図３に示すように、小数点部ｐｘ及びｐｙは、中心画素４０１に最も近い周辺画素４１４と、中心画素４０１との距離のｘ軸方向及びｙ軸方向の成分である。なお、この図において、一例として、ｐｘ＝０．４、ｐｙ＝０．５である。
【００４９】
（ｃ）次に、取得した周辺画素の画素値並びに小数点部ｐｘ及びｐｙを用いて、中心位置における中心画素の画素値を、拡大補間法を用いて算出し、算出した画素値を第１高解像度画像の中心位置に格納する。
【００５０】
拡大補間法としては、従来技術であるバイリニア法やバイキュービックコンボリューション法、Ｌａｎｃｚｏｓ法などを用いることができ、例えばバイキュービックコンボリューション法では点（ｘ、ｙ）の周辺４×４画素を用いて補間計算が行われる。
【００５１】
一例として、次の式５により、上記の中心画素の画素値ｏｕｔが算出される。
【００５２】
【数３】
2012132183.tif 000005
【００５３】
ここで、ｏｕｔは出力画素値、Ｉ（ｌ，ｍ）は４×４画素の（ｌ，ｍ）位置の画素値、ｗｘl はｌ位置のｘ方向の重み係数、ｗｙm はｙ方向の重み係数である。なお、各重み係数は、ｐｘ，ｐｙで示される補間画素位置とのｘまたはｙ方向の距離をｄとすると、バイキュービック補間の場合は以下の式６で表される。
【００５４】
【数４】
2012132183.tif 000006
【００５５】
また、Ｌａｎｃｚｏｓ法の場合には、ｗは、以下の式７となる。
【００５６】
【数５】
2012132183.tif 000007
【００５７】
（２）超解像拡大部１０４
Ｙを入力される低解像度画像、Ｘを未知の正しい第２高解像度画像としたとき、入力画像Ｙは劣化関数Ｈによって劣化したものと考えることができる。この関係を次の式８に示す。
【００５８】
Ｙ＝ＨＸ                                                    （式８）
なお、劣化関数Ｈには、第２高解像度画像を低解像度画像に変換する縮小処理やＰＳＦ（点広がり関数）等を含む。
【００５９】
超解像拡大部１０４は、式８の逆演算を行うことでＸ、つまり、第２高解像度画像を求める処理を行う。
【００６０】
なお、式８に対して、さらに劣化以外の雑音や拘束条件Ｖを加えて式９のように定義することもできる。
【００６１】
Ｙ＝ＨＸ＋Ｖ                                                （式９）
この逆問題を解くため、一般的には、第２高解像度画像Ｘを仮に決め、式８又は式９に従って、Ｙ'を計算し、入力画像との差が閾値以下になるまで、これらの演算を繰り返す。また、低解像度画像として入力される動画像の複数のフレームを用いＸを計算する方法などもある。また、単純な方法としてはデコンボリューションによりＸを求める方法などもある。
【００６２】
いずれの処理の場合であっても、ここで用いられる超解像拡大処理では、画像の劣化を何らかの方法で推定し、その逆関数を求める処理を行い、第２高解像度画像を生成する。
【００６３】
以下では、拡大補間部１０５及び超解像拡大部１０４によりそれぞれ生成される第１及び第２高解像度画像の画素位置を低解像度画像の画素位置に置き換えたもの（図３のＸ，Ｙ）を、位相と表現する。
【００６４】
拡大補間部１０５の出力である第１高解像度画像と超解像拡大部１０４の出力である第２高解像度画像の位相が異なる場合、高解像度画像の同じ位置の画素の値がずれてしまうため、以降の処理が正しく行えなくなる。このため、拡大補間部１０５及び超解像拡大部１０４の出力の位相を合わせておく必要がある。出力の位相を合わせるためには、拡大補間部１０５の第１高解像度画像の画素位置（補間位置ｘ，ｙ，ｄｘ，ｄｙ）と、超解像拡大部１０４の第２高解像度画像の画素位置を同一にしておけばよい。
【００６５】
（３）特徴量生成部１０３
上記の劣化関数Ｈを正しく推定することは重要であり、Ｈにより出来上がった第２高解像度画像の品質が変化する。なお、放送などの場合、劣化関数Ｈを正しく推定することは難しく、関数Ｈが異なることで、意図しないノイズ成分等が発生してしまう。本実施の形態の以降の処理では、この意図しないノイズ成分を抑制する。
【００６６】
特徴量生成部１０３は、低解像度画像を入力とし、第１高解像度画像の各画素に対応する特徴量を計算し出力する。このため、特徴量生成部１０３による特徴量解析の結果として出力される特徴量も、拡大補間部１０５及び超解像拡大部１０４の出力である第１及び第２高解像度画像と位相を合わせた形となる。
【００６７】
特徴量生成部１０３は、第１高解像度画像に配されるべき全ての画素の位置について、次の処理（ａ）〜（ｂ）を繰り返す。
【００６８】
（ａ）特徴量生成部１０３は、第１高解像度画像に配されるべき１個の画素（注目画素と呼ぶ。）の位置（注目位置と呼ぶ。）について、低解像度画像に含まれる複数の画素のうち、一例として、水平方向にＮ個、垂直方向にＭ個、行列状に配された合計Ｎ×Ｍ個の画素（これらの画素からなる領域を領域Ｓと呼ぶ。）を、上記の注目位置が、領域Ｓのほぼ中央に配されるように、選択し、選択した周辺画素の画素値を取得する。
【００６９】
（ｂ）特徴量生成部１０３は、注目画素を中心とする領域Ｓの勾配及び領域Ｓの許容振幅を、上記の特徴量として算出する。
【００７０】
なお、領域Ｓは、低解像度画像の補間位相（ｘ、ｙ）を中心としたＮ×Ｍ画素であり、最小の場合、２×２画素である。処理量と特徴量の精度を考慮した場合、Ｎ、Ｍは３〜６程度が望ましい。
（領域Ｓの勾配の算出）
特徴量生成部１０３は、領域Ｓの勾配を、領域Ｓ内の画素値を、領域Ｓ内の離散値ではなく、領域Ｓ内で連続して変化する値とみなして、関数ｕと表現する場合、‖∇ｕ‖を計算することにより算出する。
【００７１】
‖∇ｕ‖は、例えば、次の式１０又は式１１等により計算することができる。
【００７２】
【数６】
2012132183.tif 000008
【００７３】
【数７】
2012132183.tif 000009
【００７４】
また、‖∇ｕ‖を簡易的に計算するため、特徴量生成部１０３は、領域Ｓ内の最大値と最小値の差を求めるとしてもよい。
【００７５】
いずれの方法を用いる場合においても、特徴量生成部１０３は、領域Ｓ内の勾配を計算し、これを特徴量の１つとして出力する。
（許容振幅の算出）
許容振幅は、注目画素の変化の範囲の許容量を示している。特徴量生成部１０３は、許容振幅を、領域Ｓ内の勾配情報などから計算する。
【００７６】
（ｉ）許容振幅の簡単な計算方法
特徴量生成部１０３は、領域Ｓ内の最大値を許容振幅の最大値として算出し、領域Ｓ内の最小値を許容振幅の最小値として算出する。
【００７７】
（ii）許容振幅の別の計算方法
ここでは、許容振幅の別の計算方法について説明する。
【００７８】
（ii−１）第１の例
許容振幅の計算の第１の例について、図４〜図６を用いて説明する。
【００７９】
図４において、画素５０１は、許容振幅を計算する対象となる第１高解像度画像の画素（注目画素）である。また、画素５０１をほぼ中央として、水平方向に６個、垂直方向に６個、行列状に配された合計３６個の低解像度画像の画素５１１、５１２、５１３、５１４、・・・、５１５、５１６、５１７、５１８、・・・、５１９が存在し、合計３６個の低解像度画像の画素５１１、５１２、５１３、５１４、・・・、５１９は、領域Ｓ（５００）を構成している。
【００８０】
特徴量生成部１０３は、注目画素である画素５０１が中心に配されるように、領域Ｓ（５００）に含まれる合計３６個の低解像度画像の画素５１１、５１２、５１３、５１４、・・・、５１９を選択する。次に、領域Ｓ（５００）を４つの領域５０２、５０３、５０４、５０５に分割する。領域５０２、５０３、５０４、５０５は、それぞれ、水平方向に３個、垂直方向に３個、行列状に配された合計９個の低解像度画像の画素を含む。領域５０２は、画素５０１の左上側に隣接し、領域５０３は、画素５０１の右上側に隣接し、領域５０４は、画素５０１の左下側に隣接し、領域５０５は、画素５０１の右下側に隣接する。なお、領域５０２に含まれる９個の低解像度画像の画素のうち、画素５１５が画素５０１に最も近い位置に配置され、領域５０３に含まれる９個の低解像度画像の画素のうち、画素５１６が画素５０１に最も近い位置に配置され、領域５０４に含まれる９個の低解像度画像の画素のうち、画素５１７が画素５０１に最も近い位置に配置され、領域５０５に含まれる９個の低解像度画像の画素のうち、画素５１８が画素５０１に最も近い位置に配置されている。
【００８１】
特徴量生成部１０３は、領域５０２内に含まれる９個の低解像度画像の画素から、最大の画素値を有する画素を選択し、その画素値をＭＡＸ１とする。また、領域５０２内に含まれる９個の低解像度画像の画素から、最小の画素値を有する画素を選択し、その画素値をＭＩＮ１とする。このように、領域５０２から最大値ＭＡＸ１と最小値ＭＩＮ１の組を算出する。同様にして、特徴量生成部１０３は、領域５０３から最大値ＭＡＸ２と最小値ＭＩＮ２の組を算出し、領域５０４から最大値ＭＡＸ３と最小値ＭＩＮ３の組を算出し、領域５０５から最大値ＭＡＸ４と最小値ＭＩＮ４の組を算出する。
【００８２】
ここで、最大値ＭＡＸ１と最小値ＭＩＮ１の組は、領域５０２を代表していると考え、最大値ＭＡＸ１と最小値ＭＩＮ１とは、領域５０２内において、画素５１５が配置されている位置と同じ位置に配置されているものとする。同様に、最大値ＭＡＸ２と最小値ＭＩＮ２とは、領域５０３内において、画素５１６が配置されている位置と同じ位置に配置されているものとし、最大値ＭＡＸ３と最小値ＭＩＮ３とは、領域５０４内において、画素５１７が配置されている位置と同じ位置に配置されているものとし、最大値ＭＡＸ４と最小値ＭＩＮ４とは、領域５０５内において、画素５１８が配置されている位置と同じ位置に配置されているものとする。
【００８３】
このように考えると、最大値ＭＡＸ１、ＭＡＸ２、ＭＡＸ３、ＭＡＸ４及び画素５０１の位置関係は、図５に示すようになり、最小値ＭＩＮ１、ＭＩＮ２、ＭＩＮ３、ＭＩＮ４及び画素５０１の位置関係は、図６に示すようになる。
【００８４】
特徴量生成部１０３は、図５に一例として示すように、最大値ＭＡＸ１、ＭＡＸ２、ＭＡＸ３、ＭＡＸ４及び画素５０１の位置関係、注目画素５０１の補間位相の少数点成分ｐｘ、ｐｙを用いて、ＭＡＸ１、ＭＡＸ２、ＭＡＸ３、ＭＡＸ４を線形補間することにより、注目画素５０１の許容振幅の最大値ＭＡＸを算出する。
【００８５】
また、特徴量生成部１０３は、図６に一例として示すように、最小値ＭＩＮ１、ＭＩＮ２、ＭＩＮ３、ＭＩＮ４及び画素５０１の位置関係、注目画素５０１の補間位相の少数点成分ｐｘ、ｐｙを用いて、ＭＩＮ１、ＭＩＮ２、ＭＩＮ３、ＭＩＮ４を線形補間することにより、注目画素５０１の許容振幅の最小値ＭＩＮを算出する。
【００８６】
以上説明したようにして、第１高解像度画像内の全ての画素について、許容振幅の最大値ＭＡＸ及び最小値ＭＩＮを算出する。
【００８７】
（ii−２）第２の例
許容振幅の計算の第２の例について、図７〜図８を用いて説明する。
【００８８】
許容振幅の計算の第２の例では、特徴量生成部１０３は、許容振幅の第１の例で計算した振幅の最大値ＭＡＸおよび最小値ＭＩＮを、領域Ｓの凸度判定により補正する。
【００８９】
領域Ｓのｘ軸方向の画素値の変化の例を図７及び図８に示す。図７においては、領域Ｓにおいて、ｘ軸方向に配置された複数の画素の画素値は、ｘ軸に沿って凹状に変化している。また、図８においては、領域Ｓにおいて、ｘ軸方向に配置された複数の画素の画素値は、ｘ軸に沿って凸状に変化している。なお、図７及び図８においては、簡略化のために、Ｘ軸方向の画素値の変化のみを示しているが、それぞれの場合において、Ｙ軸方向に配置された複数の画素の画素値も同様に変化しているとしてもよい。また、領域Ｓ全体の空間において、領域Ｓ内の複数の画素の画素値が凹状又は凸状に変化しているとしてもよい。
【００９０】
特徴量生成部１０３は、領域Ｓ全体の空間において、領域Ｓ内に配置される複数の画素の画素値が凹状に変化しているか、又は凸状に変化しているかを判断する。
【００９１】
領域Ｓ全体の空間において、画素値が凹状に変化していると判断される場合には、特徴量生成部１０３は、式１２に示すように、許容振幅の第１の例で計算された許容振幅の最小値ＭＩＮに対して、１以下の係数αを乗じて、補正後の最小値ＭＩＮ’を算出する。
【００９２】
ＭＩＮ’＝α×ＭＩＮ                            （式１２）
また、領域Ｓ全体の空間において、画素値が凸状に変化していると判断される場合には、特徴量生成部１０３は、式１３に示すように、許容振幅の第１の例で計算された許容振幅の最大値ＭＡＸに対して、１以上の係数αを乗じて、補正後の最大値ＭＡＸ’を算出する。
【００９３】
ＭＡＸ’＝α×ＭＡＸ                            （式１３）
このように、領域Ｓ全体の空間における画素値の凹凸に合わせて、ＭＩＮ及びＭＡＸを補正することで、許容振幅を低解像度画像の特徴に合わせて調整する。これにより、低解像度画像において、画素値が凸状に変化する部分について、最大値を大きく、画素値が凹状に変化する部分について、最小値を小さくし、低解像度画像の注目画素の周辺画素値の最大値及び最小値を超えた振幅制限を実現することができる。
【００９４】
なお、係数αは、領域Ｓの凹凸による関数で式１４のように表現される。
【００９５】
α＝ｆ（ｕ）                                    （式１４）
関数ｆでは、例えば、領域Ｓのラプラシアンの結果からαを求めるとしてもよい。また、領域Ｓ内の画素値にローパスフィルタを施した結果の画素値と、領域Ｓの各画素値の比からαを求めるとしてもよい。
【００９６】
具体的には、ラプラシアンフィルタの結果に適当な係数βを掛け合わせることで、係数αを決定してもよい。この場合に、画素値（画素値を表現する場合に、０〜２５５のいずれかの値を取るとしてもよい。画素値を正規化して表現すると、０〜１．０により表現される。このとき、０は、黒を示し、１．０は、白を示している。）や係数β次第では、αが大きくなりすぎる場合がある。αが大きくなりすぎる場合、又は、小さくなりすぎる場合には、αにクリップ値を乗じることにより、αをクリップする。クリップ値としては、例えば、０．５倍〜１．５倍、０．２５倍〜１．７５倍などが考えられる。なお、クリップ値はこの範囲に制限されるものではない。
【００９７】
また、ローパスフィルタを施した結果得られた画素値をＡ、領域Ｓの各小領域の各画素値をＢとした場合、比（Ｂ／Ａ）をαとしてもよい。なお、この場合もラプラシアンと同等のクリッピングを行ってもよい。
【００９８】
以上により、許容振幅計算の第２の例では、領域Ｓの凹凸度により、許容振幅として、補正された最小値及び最大値が計算される。
【００９９】
（４）差分演算部１０６
差分演算部１０６は、拡大補間部１０５から第１高解像度画像を受け取り、超解像拡大部１０４から第２高解像度画像を受け取る。
【０１００】
次に、差分演算部１０６は、第１高解像度画像及び第２高解像度画像に含まれる全ての画素について、式１３により、第１高解像度画像と第２高解像度画像の対応する画素の画素値の差分値を計算し、計算して得られた差分値を調整部１０７へ出力する。
【０１０１】
差分値（ｘ，ｙ）＝第２高解像度画像の画素（ｘ，ｙ）の画素値−第１高解像度画像の画素（ｘ，ｙ）の画素値                                    （式１５）
また、差分演算部１０６は、受け取った第２高解像度画像を調整部１０７へ出力する。
【０１０２】
上記のようにして差分値を算出することにより、超解像拡大部１０４の出力である第２高解像度画像と、拡大補間部１０５の出力である第１高解像度画像との間の変化する部分を抽出できる。超解像処理によるノイズは、この差分値に含まれるため、以下の処理で、この差分値を補正することでノイズを抑制する。
【０１０３】
（５）調整部１０７
調整部１０７は、差分演算部１０６から、算出された全ての差分値（ｘ，ｙ）を受け取り、差分演算部１０６から第２高解像度画像を受け取り、特徴量生成部１０３から特徴量を受け取る。ここで、特徴量は、上述したように、第１高解像度画像の全ての画素についての勾配情報、許容振幅、又は勾配情報及び許容振幅である。
【０１０４】
次に、調整部１０７は、受け取った全ての差分値（ｘ，ｙ）について、次の式１６により、差分演算部１０６により算出された差分値（ｘ，ｙ）を補正して補正差分値（ｘ，ｙ）を得る。
【０１０５】
補正差分値（ｘ，ｙ）＝差分値（ｘ，ｙ）×ゲインβ    （式１６）
次に、調整部１０７は、算出した全ての補正差分値（ｘ，ｙ）を合成部１０８へ出力する。
【０１０６】
以下において、差分値（ｘ，ｙ）の補正方法の詳細について説明する。
【０１０７】
（ａ）第１の補正方法
調整部１０７は、第１の補正方法として、特徴量生成部１０３から受け取った特徴量である勾配情報を用いて差分値を補正してもよい。勾配情報を用いた補正では、勾配の大きさにより差分値の補正を行う。
【０１０８】
調整部１０７は、勾配とゲインβの対応関係を示す対応テーブル（図示していない）を予め記憶している。対応テーブルは、複数の対応データを含み、各対応データは、勾配とゲインβを含む。同一の対応データに含まれる勾配とゲインβとが対応しており、勾配が指定された場合に、指定された勾配に対応するゲインβを用いることを表している。ゲインβは、０倍〜１６倍程度の範囲内で設定される。
【０１０９】
調整部１０７は、特徴量である勾配情報により示される勾配に対応するゲインβを、対応テーブルから読み出すことにより、取得する。勾配情報により示される勾配が対応テーブルに存在しない場合には、対応テーブルに含まれる複数の対応データを用いて、線形補間により、勾配情報により示される勾配に対応するゲインβを算出してもよい。
【０１１０】
なお、調整部１０７は、対応テーブルを有せず、勾配とゲインβの対応関係を示す演算式を保持し、この演算式を用いて、勾配に対応するゲインβを演算するとしてもよい。
【０１１１】
調整部１０７は、こうしてゲインβを取得し、式１６に示すように、取得したゲインβを差分値に乗ずることにより、補正差分値を算出する。
【０１１２】
（勾配とゲインβの対応関係についての第１の具体例）
ここで、対応テーブルにおける勾配とゲインβの対応関係についての第１の具体例を図９（ａ）に示す。図９（ａ）に示すグラフ６００は、勾配とゲインβの対応関係を表しており、横軸は、勾配を表し、縦軸は、ゲインを表している。グラフ６００においては、勾配値６１１より小さい勾配の範囲６０１においては、ゲインβがゲイン値６１２より小さく、かつ、ゲインβがほぼ一定値となるように設定されている。一方、勾配値６１１より大きい勾配の範囲６０２においては、ゲインβがゲイン値６１２より大きく、かつ、勾配が大きくなるに従って、ゲインβが大きくなるように設定されている。
【０１１３】
このように、図９（ａ）においては、小さい勾配の範囲において、ゲインβを小さくし、大きい勾配の範囲において、勾配が大きくなるに従って、ゲインβを大きく設定している。
【０１１４】
勾配が小さい範囲、例えば、グラフ６００の範囲６０１内においては、画像内に細かいテクスチャが存在し、勾配が大きい範囲、例えば、グラフ６００の範囲６０２内においては、画像内にエッジ成分が存在すると考えられる。
【０１１５】
図９（ａ）に示すように、勾配とゲインβの対応関係を設定することにより、細かなテクスチャについては、小さいゲインβを用いて差分値を補正、言い換えると、差分値の補正をごく小さくし、一方、エッジ成分については、強いエッジ成分ほど、大きいゲインβを用いて補正、言い換えると、強いエッジ成分のみ補正を行うことができる。こうして、画像内において、小さい振幅に含まれるノイズ成分を強調することなく、エッジ成分だけを強調させることができる。
【０１１６】
（勾配とゲインβの対応関係についての第２の具体例）
次に、対応テーブルにおける勾配とゲインβの対応関係についての第２の具体例を図９（ｂ）に示す。図９（ｂ）に示すグラフ６２０は、勾配とゲインβの対応関係を表しており、横軸は、勾配を表し、縦軸は、ゲインを表している。グラフ６２０において、勾配値６３１より小さい勾配の範囲６２１においては、ゲインβがゲイン値６４１より小さく、かつ、ゲインβがほぼ一定値となるように設定されている。また、勾配値６３１より大きく、勾配値６３２より小さい勾配の範囲６２２においては、ゲインβが一旦増加し、その後減少するように設定されている。つまり、範囲６２２において、勾配の増加に従って、ゲインβは、ゲイン値６４１からゲイン値６４３まで急激に増加し、ゲイン値６４３をピーク値とし、その後、ゲイン値６４３からゲイン値６４２まで急激に減少している。さらに、勾配値６３２より大きい勾配の範囲６２３においては、勾配の増加に従って、ゲインβがなだらかに減少するように設定されている
このように、図９（ｂ）においては、勾配の小さな範囲においては、ゲインβを小さくし、勾配が少し存在する範囲については、ゲインβを大きくし、勾配の大きい範囲については、再び、ゲインβを小さく設定している。
【０１１７】
図９（ｂ）に示すように、勾配とゲインβの対応関係を設定することにより、範囲６２２においては、画像が細かなテクスチャを含むと考えることができるので、範囲６２２のゲインを大きくすることにより、細かなテクスチャの部分の効果を残し、範囲６２２以外の範囲６２１及び範囲６２３における効果を小さくすることができる。
【０１１８】
以上説明したように、勾配情報による差分値の補正では、領域Ｓの勾配、つまり領域Ｓの平坦度に応じてゲインβを決め、差分値にゲインβを乗じることで、補正差分値を得る。こうして、差分値の補正を行う。
【０１１９】
なお、ゲインβは基本的には１以下の値であるが、１以上に設定することにより、ある勾配の領域を強調することも可能である。ゲインβは、０倍〜１６倍程度の範囲内で設定してもよい。
【０１２０】
（ｂ）第２の補正方法
調整部１０７は、第２の補正方法として、特徴量生成部１０３から受け取った特徴量である許容振幅を用いて差分値を補正してもよい。許容振幅を用いた補正では、許容振幅を超えた部分について補正を行う。
【０１２１】
調整部１０７は、受け取った第２高解像度画像の全ての画素について、以下の（i ）〜（v）を繰り返す。
【０１２２】
（i ）第２高解像度画像から、一つの画素を選択し、選択した画素の画素値を抽出する。
【０１２３】
（ii）受け取った許容振幅から、選択した画素に対応する許容振幅（最大値及び最小値）を選択する。
【０１２４】
（iii）抽出した画素値が、選択した最大値及び最小値により定まる範囲内の値であるか否かを判断する。つまり、抽出した画素値が、選択した最大値に等しい又は小さく、かつ、抽出した画素値が選択した最小値に等しい又は大きい否かを判断する。
【０１２５】
（iv）抽出した画素抽出が、範囲外である場合に、選択した画素に対応する差分値に対して、ゲインβを乗じて、補正差分値を算出し、算出した補正差分値を出力する。
【０１２６】
（v ）抽出した画素抽出が、範囲内である場合に、選択した画素に対応する差分値に対して、ゲインβを乗じることなく、元の差分値を出力する。
【０１２７】
以下に、第２の補正方法について、図１０及び図１１を用いて説明する。
【０１２８】
図１０において、横軸にｘ座標を、縦軸に画素値を表している。また、超解像拡大部１０４から出力された第２高解像度画像において、特定のｙ座標値及びｘ座標値７０１、７０２、・・・、７０７によりそれぞれ示される位置に配された画素の画素値の変化１１０１を示している。また、特定のｙ座標値及びｘ座標値７０１、７０２、・・・、７０７によりそれぞれ示される位置における許容振幅の最大値の変化１１０２及び最小値の変化１１０３をも示している。
【０１２９】
図１０において、特定のｙ座標値及びｘ座標値７０１、７０２、７０３、７０６及び７０７によりそれぞれ示される位置の画素の画素値は、対応する位置の最大値及び最小値の範囲内に収まっている。しかし、特定のｙ座標値及びｘ座標値７０４及び７０５によりそれぞれ示される位置の画素の画素値は、対応する位置の最大値より大きい。
【０１３０】
このため、調整部１０７は、特定のｙ座標値及びｘ座標値７０４及び７０５によりそれぞれ示される位置について、算出された差分値に対して、ゲインβを乗じて、補正差分値を算出し、算出した補正差分値を出力する。
【０１３１】
また、調整部１０７は、特定のｙ座標値及びｘ座標値７０１、７０２、７０３、７０６及び７０７によりそれぞれ示される位置について、補正差分値として元の差分値を出力する。
【０１３２】
このようにして算出された補正差分値を用いて、後述する合成部１０８は、第２高解像度画像を生成して出力する。
【０１３３】
図１１において、横軸にｘ座標を、縦軸に画素値を表している。また、図１１においては、図１０に示す変化１１０１、変化１１０２及び変化１１０３に加えて、合成部１０８により生成された第３高解像度画像において、特定のｙ座標値及びｘ座標値７０１、７０２、・・・、７０７によりそれぞれ示される位置に配された画素の画素値の変化１２０１を示している。
【０１３４】
図１１に示すように、第３高解像度画像は、第２高解像度画像と比較すると、特定のｙ座標値及びｘ座標値７０４及び７０５によりそれぞれ示される位置について、第３高解像度画像の画素値が、下方に修正されている。つまり、その画素値が小さくなるように修正されている。
【０１３５】
このように、調整部１０７は、許容振幅を超えた部分について、差分値を補正する。
【０１３６】
（ｃ）その他の補正方法
次に示すようにして補正してもよい。
【０１３７】
上記の第１の補正方法及び第２の補正方法により、それぞれ、個別にゲインβ１及びゲインβ２を算出し、ゲインβ１及びゲインβ２を加算する。
【０１３８】
ゲインβ＝ゲインβ１＋ゲインβ２
次に、差分値に得られたゲインβを乗じて、補正差分値を算出する。
【０１３９】
また、次に示すようにして補正してもよい。
【０１４０】
上記の第１の補正方法により、補正差分値を算出し、算出した補正差分値を出力し、合成部１０８は、補正差分値と第１高解像度画像を用いて、第３高解像度画像を生成する。次に、調整部１０７は、第２の補正方法により、第３高解像度画像に対して、許容振幅を超えるかどうかの判定を行い、許容振幅を超える画素について、補正差分値にさらに第２の補正方法のゲインを乗じて、二重補正差分値を算出する。次に、合成部１０８は、許容振幅を超える画素について、第３高解像度画像に、二重補正差分値を加算して、第４高解像度画像を生成し、生成した第４高解像度画像を出力する。
【０１４１】
（６）合成部１０８
合成部１０８は、拡大補間部１０５から第１高解像度画像を受け取り、調整部１０７から補正差分値を受け取り、第１高解像度画像の全ての画素の画素値に、対応する補正差分値を加算して、第３高解像度画像を生成し、生成した第３高解像度画像を出力する。
【０１４２】
第３高解像度画像（ｘ，ｙ）＝第１高解像度画像（ｘ，ｙ）＋補正差分値（ｘ，ｙ）
補正差分値は、第１高解像度画像と第２高解像度画像の各画素の差分値を補正したものであるため、補正差分値を第１高解像度画像の各画素の画素値に加算することで、補正された超解像処理の結果を得ることができる。
【０１４３】
３．動作
画像処理装置１０の動作について説明する。
【０１４４】
（１）画像処理装置１０の動作
ここでは、画像処理装置１０の動作について、特に画像処理部１００の動作を中心として、図１２に示すフローチャートを用いて説明する。
【０１４５】
入力部２０１は、低解像度画像を取得し（ステップＳ１０１）、拡大補間部１０５は、拡大補間処理を行って第１高解像度画像を生成し（ステップＳ１０２）、超解像拡大部１０４は、超解像拡大処理を行って第２高解像度画像を生成し（ステップＳ１０３）、特徴量生成部１０３は、特徴量を生成し（ステップＳ１０４）、差分演算部１０６は、差分値を算出し（ステップＳ１０５）、調整部１０７は、補正差分値を算出し（ステップＳ１０６）、合成部１０８は、第１高解像度画像に補正差分値を加算して第３高解像度画像を生成し（ステップＳ１０７）、生成された第３高解像度画像を出力する（ステップＳ１０８）。
【０１４６】
（２）拡大補間部１０５の動作
ここでは、拡大補間部１０５の動作について、図１３に示すフローチャートを用いて説明する。
【０１４７】
拡大補間部１０５は、低解像度画像の水平方向及び垂直方向の画素数ｉｎＸＳ、ｉｎＹＳと、出力すべき第３高解像度画像の水平方向及び垂直方向の画素数ｏｕｔＸＳ、ｏｕｔＹＳから、水平方向及び垂直方向の補間間隔ｄｘ、ｄｙを式３及び式４により計算する（Ｓ３０２）。
【０１４８】
拡大補間部１０５は、変数ｙを０に初期化し（Ｓ３０３）、変数ｘを０に初期化し（Ｓ３０４）、座標（ｘ、ｙ）を中心とする周辺画素の値を低解像度画像から取得する（Ｓ３０５）。次に、ｘ、ｙの少数点部ｐｘ、ｐｙを計算する（Ｓ３０６）。
【０１４９】
次に、拡大補間部１０５は、点（ｘ、ｙ）を中心とする低解像度画素の隣接画素の画素値とｐｘ、ｐｙを用いて拡大補間処理を行い（Ｓ３０７）、拡大補間処理により出力された画素値を出力画素値として格納し（Ｓ３０８）、次に変数ｘにｄｘを加算する（Ｓ３０９）。ここで、変数ｘが水平方向の画素数ｏｕｔＸＳを超えない場合には（Ｓ３１０でＮｏ）、Ｓ３０５へ戻って、処理を繰り返す。また、変数ｘがｏｕｔＸＳを超えた場合には（Ｓ３１０でＹｅｓ）、変数ｙにｄｙを加算し（Ｓ３１１）、変数ｙがｏｕｔＹＳを超えない場合には（Ｓ３１２でＮｏ）、Ｓ３０４へ戻って処理を繰り返す。超えた場合には（Ｓ３１２でＹｅｓ）、第１高解像度画像の全ての画素の画素値が出力されたので処理を終了する。
【０１５０】
４．まとめ
以上の処理を行うことで、超解像処理結果が補正される。勾配情報を用いた補正では、例えば画像に含まれる画素の画素値の変化が平坦な部分で発生しているノイズや、勾配の大きな部分、例えばエッジなどで発生しているノイズを抑制することができる。また、許容振幅を用いた補正により、入力画像である低解像度画像の画素の画素値に対して突出したノイズが発生した部分について補正を行うことができる。これらの補正処理により、超解像処理で発生したノイズを抑制し、視覚的に良好な画像を得ることができる。
【０１５１】
（その他の変形例）
なお、本発明を上記の実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
【０１５２】
（１）差分演算部１０６は、式１５に代えて、式１７により差分値（ｘ，ｙ）を算出してもよい。
【０１５３】
差分値（ｘ，ｙ）＝第１高解像度画像の画素（ｘ，ｙ）の画素値−第２高解像度画像の画素（ｘ，ｙ）の画素値                                    （式１７）
この場合に、合成部１０８は、式１８により、第３高解像度画像を生成する。
【０１５４】
第３高解像度画像（ｘ，ｙ）＝第１高解像度画像（ｘ，ｙ）−補正差分値（ｘ，ｙ）
（式１８）
（２）超解像拡大部１０４は、非特許文献１又は非特許文献２により開示された超解像拡大処理方法を用いるとしてもよい。
【０１５５】
（３）次に示すように構成してもよい。
【０１５６】
本発明の一実施態様は、低解像度画像から高解像度画像を生成する画像処理装置であって、低解像度画像を取得する取得回路と、取得した前記低解像度画像を拡大補間して、前記低解像度画像より高い解像度の第１高解像度画像を生成する拡大補間回路と、高解像度画像が劣化して低解像度画像となる過程を推定した劣化モデルを逆方向に辿ることにより、前記低解像度画像から、前記第１高解像度画像と同一の解像度を有する第２高解像度画像を生成する超解像処理回路と、前記低解像度画像を用いて、前記第１高解像度画像の各画素の位置における特徴を示す特徴量を生成する特徴量生成回路と、前記第１高解像度画像における各画素について、当該画素の値と、対応する前記第２高解像度画像における画素の値の差分値を算出する差分演算回路と、算出された各画素の差分値を、生成された前記特徴量を用いて補正して、補正差分値を算出する調整回路と、前記第１高解像度画像の各画素の値に、当該画素に対応する補正差分値を加算して、第３高解像度画像を生成する合成回路とを備えることを特徴とする。
【０１５７】
また、本発明の別の実施態様は、低解像度画像から高解像度画像を生成する画像処理装置であって、複数のコンピュータ命令が組み合わされて構成されるコンピュータプログラムを記憶しているメモリ部と、前記メモリ部に記憶されている前記コンピュータプログラムから１個ずつコンピュータ命令を読み出し、解読し、その解読結果に応じて動作するプロセッサとを備える。前記コンピュータプログラムは、コンピュータである前記画像処理装置に、低解像度画像を取得する取得ステップと、取得した前記低解像度画像を拡大補間して、前記低解像度画像より高い解像度の第１高解像度画像を生成する拡大補間ステップと、高解像度画像が劣化して低解像度画像となる過程を推定した劣化モデルを逆方向に辿ることにより、前記低解像度画像から、前記第１高解像度画像と同一の解像度を有する第２高解像度画像を生成する超解像処理ステップと、前記低解像度画像を用いて、前記第１高解像度画像の各画素の位置における特徴を示す特徴量を生成する特徴量生成ステップと、前記第１高解像度画像における各画素について、当該画素の値と、対応する前記第２高解像度画像における画素の値の差分値を算出する差分演算ステップと、算出された各画素の差分値を、生成された前記特徴量を用いて補正して、補正差分値を算出する調整ステップと、前記第１高解像度画像の各画素の値に、当該画素に対応する補正差分値を加算して、第３高解像度画像を生成する合成ステップとを実行させることを特徴とする。
【０１５８】
また、本発明の別の実施態様は、低解像度画像から高解像度画像を生成する画像処理装置において用いられるコンピュータプログラムを記録しているコンピュータ読み取り可能な非一時的記録媒体である。前記コンピュータプログラムは、コンピュータである画像処理装置に低解像度画像を取得する取得ステップと、取得した前記低解像度画像を拡大補間して、前記低解像度画像より高い解像度の第１高解像度画像を生成する拡大補間ステップと、高解像度画像が劣化して低解像度画像となる過程を推定した劣化モデルを逆方向に辿ることにより、前記低解像度画像から、前記第１高解像度画像と同一の解像度を有する第２高解像度画像を生成する超解像処理ステップと、前記低解像度画像を用いて、前記第１高解像度画像の各画素の位置における特徴を示す特徴量を生成する特徴量生成ステップと、前記第１高解像度画像における各画素について、当該画素の値と、対応する前記第２高解像度画像における画素の値の差分値を算出する差分演算ステップと、算出された各画素の差分値を、生成された前記特徴量を用いて補正して、補正差分値を算出する調整ステップと、前記第１高解像度画像の各画素の値に、当該画素に対応する補正差分値を加算して、第３高解像度画像を生成する合成ステップとを実行させることを特徴とする。
【０１５９】
（４）上記の装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニットなどから構成されるコンピュータシステムであるとしてもよい。前記ＲＡＭ又は前記ハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０１６０】
（５）本発明は、画像処理装置で用いられる画像処理方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【０１６１】
また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ―ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラム又は前記デジタル信号であるとしてもよい。
【０１６２】
また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【０１６３】
また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。
【０１６４】
また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【０１６５】
（６）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【産業上の利用可能性】
【０１６６】
本発明に係る画像処理装置は、超解像処理で利用する劣化モデルが、取得した低解像度画像の現実の劣化過程と異なる場合に、ノイズの発生を抑制して、視覚的に良好な高解像度画像を得ることができ、低解像度画像から高解像度画像を生成する画像処理技術に好適である。
【符号の説明】
【０１６７】
１０１  低解像度画像
１０２  第３高解像度画像
１０３  特徴量生成部
１０４  超解像拡大部
１０５  拡大補間部
１０６  差分演算部
１０７  調整部
１０８  合成部
２０１  入力部
２０２  チューナ
２０３  外部端子
２０４  メモリカード
２０５  メモリ
２０６  プロセッサ
２０７  復号部
２０８  表示制御部
２０９  ビデオドライバ
２１０  ハードディスク
２１１  表示デバイス
【図１】
2012132183.tif 000010
【図２】
2012132183.tif 000011
【図３】
2012132183.tif 000012
【図４】
2012132183.tif 000013
【図５】
2012132183.tif 000014
【図６】
2012132183.tif 000015
【図７】
2012132183.tif 000016
【図８】
2012132183.tif 000017
【図９】
2012132183.tif 000018
【図１０】
2012132183.tif 000019
【図１１】
2012132183.tif 000020
【図１２】
2012132183.tif 000021
【図１３】
2012132183.tif 000022
【手続補正書】
【提出日】平成24年6月1日(2012.6.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
低解像度画像から高解像度画像を生成する画像処理装置であって、
低解像度画像を取得する取得手段と、
取得した前記低解像度画像を拡大補間して、前記低解像度画像より高い解像度の第１高解像度画像を生成する拡大補間手段と、
高解像度画像が劣化して低解像度画像となる過程を推定した劣化モデルを逆方向に辿ることにより、前記低解像度画像から、前記第１高解像度画像と同一の解像度を有する第２高解像度画像を生成する超解像処理手段と、
前記低解像度画像を用いて、前記第１高解像度画像の画素の位置毎に特徴量を生成する特徴量生成手段と、
前記第１高解像度画像における各画素について、当該画素の値と、対応する前記第２高解像度画像における画素の値の差分値を算出する差分演算手段と、
算出された各画素の差分値を、生成された前記特徴量を用いて補正して、補正差分値を算出する調整手段と、
前記第１高解像度画像の各画素の値に、当該画素に対応する補正差分値を加算して、第３高解像度画像を生成する合成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記特徴量生成手段は、前記特徴量として、前記第１高解像度画像の各画素の周辺画素に対応する前記低解像度画像の画像領域内の画素の値の勾配を示す勾配情報を生成し、
前記調整手段は、生成された前記勾配情報を用いて、前記差分値を補正する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記調整手段は、前記勾配情報に依存して増減する利得を算出し、算出した利得を前記差分値に乗ずることにより、前記補正差分値を算出する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記特徴量生成手段は、前記特徴量として、前記第１高解像度画像の各画素の周辺画素に対応する前記低解像度画像の画像領域から、当該画素の値の取り得る許容範囲を生成し、
前記調整手段は、前記許容範囲を超える値を有する前記第２高解像度画像の各画素について、前記差分値を補正する
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
低解像度画像から高解像度画像を生成する画像処理装置で用いられる画像処理方法であって、
低解像度画像を取得する取得ステップと、
取得した前記低解像度画像を拡大補間して、前記低解像度画像より高い解像度の第１高解像度画像を生成する拡大補間ステップと、
高解像度画像が劣化して低解像度画像となる過程を推定した劣化モデルを逆方向に辿ることにより、前記低解像度画像から、前記第１高解像度画像と同一の解像度を有する第２高解像度画像を生成する超解像処理ステップと、
前記低解像度画像を用いて、前記第１高解像度画像の画素の位置毎に特徴量を生成する特徴量生成ステップと、
前記第１高解像度画像における各画素について、当該画素の値と、対応する前記第２高解像度画像における画素の値の差分値を算出する差分演算ステップと、
算出された各画素の差分値を、生成された前記特徴量を用いて補正して、補正差分値を算出する調整ステップと、
前記第１高解像度画像の各画素の値に、当該画素に対応する補正差分値を加算して、第３高解像度画像を生成する合成ステップと
を含むことを特徴とする画像処理方法。
【請求項６】
低解像度画像から高解像度画像を生成する画像処理装置で用いられる画像処理のためのコンピュータプログラムであって、
コンピュータに、
低解像度画像を取得する取得ステップと、
取得した前記低解像度画像を拡大補間して、前記低解像度画像より高い解像度の第１高解像度画像を生成する拡大補間ステップと、
高解像度画像が劣化して低解像度画像となる過程を推定した劣化モデルを逆方向に辿ることにより、前記低解像度画像から、前記第１高解像度画像と同一の解像度を有する第２高解像度画像を生成する超解像処理ステップと、
前記低解像度画像を用いて、前記第１高解像度画像の画素の位置毎に特徴量を生成する特徴量生成ステップと、
前記第１高解像度画像における各画素について、当該画素の値と、対応する前記第２高解像度画像における画素の値の差分値を算出する差分演算ステップと、
算出された各画素の差分値を、生成された前記特徴量を用いて補正して、補正差分値を算出する調整ステップと、
前記第１高解像度画像の各画素の値に、当該画素に対応する補正差分値を加算して、第３高解像度画像を生成する合成ステップと
を実行させるためのコンピュータプログラム。
【請求項７】
低解像度画像から高解像度画像を生成する画像処理装置で用いられる画像処理のためのコンピュータプログラムを記録しているコンピュータ読み取り可能な記録媒体であって、
コンピュータに、
低解像度画像を取得する取得ステップと、
取得した前記低解像度画像を拡大補間して、前記低解像度画像より高い解像度の第１高解像度画像を生成する拡大補間ステップと、
高解像度画像が劣化して低解像度画像となる過程を推定した劣化モデルを逆方向に辿ることにより、前記低解像度画像から、前記第１高解像度画像と同一の解像度を有する第２高解像度画像を生成する超解像処理ステップと、
前記低解像度画像を用いて、前記第１高解像度画像の画素の位置毎に特徴量を生成する特徴量生成ステップと、
前記第１高解像度画像における各画素について、当該画素の値と、対応する前記第２高解像度画像における画素の値の差分値を算出する差分演算ステップと、
算出された各画素の差分値を、生成された前記特徴量を用いて補正して、補正差分値を算出する調整ステップと、
前記第１高解像度画像の各画素の値に、当該画素に対応する補正差分値を加算して、第３高解像度画像を生成する合成ステップと
を実行させるためのコンピュータプログラムを記録している記録媒体。
【手続補正書】
【提出日】平成25年8月19日(2013.8.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
低解像度画像から高解像度画像を生成する画像処理装置であって、
低解像度画像を取得する取得手段と、
取得した前記低解像度画像を拡大補間して、前記低解像度画像より高い解像度の第１高解像度画像を生成する拡大補間手段と、
高解像度画像が劣化して低解像度画像となる過程を推定した劣化モデルを逆方向に辿ることにより、前記低解像度画像から、前記第１高解像度画像と同一の解像度を有する第２高解像度画像を生成する超解像処理手段と、
前記低解像度画像を用いて、前記第１高解像度画像の画素の位置毎に特徴量を生成する特徴量生成手段と、
前記第１高解像度画像における各画素について、当該画素の値と、対応する前記第２高解像度画像における画素の値の差分値を算出する差分演算手段と、
算出された各画素の差分値を、生成された前記特徴量を用いて補正して、補正差分値を算出する調整手段と、
前記第１高解像度画像の各画素の値に、当該画素に対応する補正差分値を加算して、第３高解像度画像を生成する合成手段とを備え、
前記特徴量生成手段は、前記特徴量として、前記第１高解像度画像の各画素の周辺画素に対応する前記低解像度画像の画像領域内の画素の値の勾配を示す勾配情報を生成し、
前記勾配情報は、前記画像領域のノルムで示され、
前記調整手段は、生成された前記勾配情報を用いて、前記差分値を補正する
ことを特徴とする画像処理装置。
【請求項２】
前記調整手段は、前記勾配情報に依存して増減する利得を算出し、算出した利得を前記差分値に乗ずることにより、前記補正差分値を算出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特徴量生成手段は、前記特徴量として、前記第１高解像度画像の各画素の周辺画素に対応する前記低解像度画像の画像領域から、当該画素の値の取り得る許容範囲を生成し、
前記調整手段は、前記許容範囲を超える値を有する前記第２高解像度画像の各画素について、前記差分値を補正する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
低解像度画像から高解像度画像を生成する画像処理装置で用いられる画像処理方法であって、
低解像度画像を取得する取得ステップと、
取得した前記低解像度画像を拡大補間して、前記低解像度画像より高い解像度の第１高解像度画像を生成する拡大補間ステップと、
高解像度画像が劣化して低解像度画像となる過程を推定した劣化モデルを逆方向に辿ることにより、前記低解像度画像から、前記第１高解像度画像と同一の解像度を有する第２高解像度画像を生成する超解像処理ステップと、
前記低解像度画像を用いて、前記第１高解像度画像の画素の位置毎に特徴量を生成する特徴量生成ステップと、
前記第１高解像度画像における各画素について、当該画素の値と、対応する前記第２高解像度画像における画素の値の差分値を算出する差分演算ステップと、
算出された各画素の差分値を、生成された前記特徴量を用いて補正して、補正差分値を算出する調整ステップと、
前記第１高解像度画像の各画素の値に、当該画素に対応する補正差分値を加算して、第３高解像度画像を生成する合成ステップとを含み、
前記特徴量生成ステップは、前記特徴量として、前記第１高解像度画像の各画素の周辺画素に対応する前記低解像度画像の画像領域内の画素の値の勾配を示す勾配情報を生成し、
前記勾配情報は、前記画像領域のノルムで示され、
前記調整ステップは、生成された前記勾配情報を用いて、前記差分値を補正する
ことを特徴とする画像処理方法。
【請求項５】
低解像度画像から高解像度画像を生成する画像処理装置で用いられる画像処理のためのコンピュータプログラムであって、
コンピュータに、
低解像度画像を取得する取得ステップと、
取得した前記低解像度画像を拡大補間して、前記低解像度画像より高い解像度の第１高解像度画像を生成する拡大補間ステップと、
高解像度画像が劣化して低解像度画像となる過程を推定した劣化モデルを逆方向に辿ることにより、前記低解像度画像から、前記第１高解像度画像と同一の解像度を有する第２高解像度画像を生成する超解像処理ステップと、
前記低解像度画像を用いて、前記第１高解像度画像の画素の位置毎に特徴量を生成する特徴量生成ステップと、
前記第１高解像度画像における各画素について、当該画素の値と、対応する前記第２高解像度画像における画素の値の差分値を算出する差分演算ステップと、
算出された各画素の差分値を、生成された前記特徴量を用いて補正して、補正差分値を算出する調整ステップと、
前記第１高解像度画像の各画素の値に、当該画素に対応する補正差分値を加算して、第３高解像度画像を生成する合成ステップと
を実行させ、
前記特徴量生成ステップは、前記特徴量として、前記第１高解像度画像の各画素の周辺画素に対応する前記低解像度画像の画像領域内の画素の値の勾配を示す勾配情報を生成し、
前記勾配情報は、前記画像領域のノルムで示され、
前記調整ステップは、生成された前記勾配情報を用いて、前記差分値を補正する
ことを特徴とするコンピュータプログラム。
【請求項６】
低解像度画像から高解像度画像を生成する画像処理装置で用いられる画像処理のためのコンピュータプログラムを記録しているコンピュータ読み取り可能な記録媒体であって、
前記コンピュータプログラムは、コンピュータに、
低解像度画像を取得する取得ステップと、
取得した前記低解像度画像を拡大補間して、前記低解像度画像より高い解像度の第１高解像度画像を生成する拡大補間ステップと、
高解像度画像が劣化して低解像度画像となる過程を推定した劣化モデルを逆方向に辿ることにより、前記低解像度画像から、前記第１高解像度画像と同一の解像度を有する第２高解像度画像を生成する超解像処理ステップと、
前記低解像度画像を用いて、前記第１高解像度画像の画素の位置毎に特徴量を生成する特徴量生成ステップと、
前記第１高解像度画像における各画素について、当該画素の値と、対応する前記第２高解像度画像における画素の値の差分値を算出する差分演算ステップと、
算出された各画素の差分値を、生成された前記特徴量を用いて補正して、補正差分値を算出する調整ステップと、
前記第１高解像度画像の各画素の値に、当該画素に対応する補正差分値を加算して、第３高解像度画像を生成する合成ステップと
を実行させ、
前記特徴量生成ステップは、前記特徴量として、前記第１高解像度画像の各画素の周辺画素に対応する前記低解像度画像の画像領域内の画素の値の勾配を示す勾配情報を生成し、
前記勾配情報は、前記画像領域のノルムで示され、
前記調整ステップは、生成された前記勾配情報を用いて、前記差分値を補正する
ためのコンピュータプログラムを記録している記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００７３
【補正方法】変更
【補正の内容】
【００７３】
【数７】
2012132183.tif 000023
【国際調査報告】
2012132183.tif 000024
2012132183.tif 000025
2012132183.tif 000026
2012132183.tif 000027