(57)【要約】【課題】高解像度化の処理を高速化できる画像処理装置を提供する。【解決手段】、仮高解像度画素値算出部１０１、重要度算出部１０２、対応位置算出部１０３、画素値変換部１０４を備え、基準フレームの各画素の画素値に基づく内挿処理によって、仮高解像度画像の各画素の推定画素値を算出し、基準フレームの各画素に重要度設定し、動画像の一枚のフレームの各画素を１つずつ注目画素として順次設定し、各注目画素に対応する基準フレーム中の対応位置を小数精度で算出し、各推定画素値を補正して補正画素値をそれぞれ算出し、対応位置が含まれる部分領域に対応する重要度が大きいほど、探索位置の数を増やす。【選択図】      図１
2009100407.tif 000002
【特許請求の範囲】
【請求項１】
ｎ個の画素からなる動画像または静止画像を入力する入力部と、
前記動画像の一枚のフレーム、または、前記静止画像を基準フレームに設定する設定部と、
前記基準フレームの各画素の画素値に基づく内挿処理によって、ｍ個（但し、ｍ＞ｎである）の画素からなる仮画像の各画素の推定画素値を算出する画素値算出部と、
解像度を高くしたい前記基準フレームの部分領域ほど大きな値をとる重要度を前記部分領域毎に設定する重要度算出部と、
前記動画像の一枚のフレーム、または、前記静止画像の前記各画素を１つずつ注目画素として順次設定し、前記各注目画素に対応する前記基準フレーム中の対応位置を任意の探索範囲から小数精度で算出する位置算出部と、
前記注目画素の対応位置の周囲にある前記仮画像の前記推定画素値から前記注目画素の試算画素値を算出し、前記試算画素値と前記注目画素の画素値との差分が小さくなるように、前記各推定画素値を補正して補正画素値をそれぞれ算出する変換部と、
前記対応位置が含まれる部分領域に対応する前記重要度が大きいほど、（１）前記位置算出部において前記探索範囲を広くするという第１制御、（２）前記位置算出部において算出する前記対応位置の数を多くするという第２制御、（３）前記位置算出部において前記注目画素を設定する前記動画像の中の一枚のフレームを、前記補正画素値を既に求めたフレームとは異なるフレームに置き換えて、この置き換えたフレームに前記注目画素を設定し直して、前記変換部においてこの設定し直した前記注目画素に基づいて前記補正画素値を算出し直すという第３制御、または、（４）前記変換部において、前記仮画像の各画素の前記補正画素値を前記推定画素値に置き換え、この置き換えた前記推定画素値から前記注目画素の前記試算画素値を算出し直し、この算出し直した前記試算画素値と前記注目画素の画素値との差分が小さくなるように、前記各推定画素値を補正し直すという第４制御、を行う制御部と、
前記変換部から最終的に出力された前記補正画素値を有するｍ個の画素から構成される出力画像を出力する出力部と、
を有する画像処理装置。
【請求項２】
前記制御部は、前記対応位置算出部において前記出力画像の画面全体、または、前記画面の１以上の任意のラインを、予め設定された時間内で前記出力画像を出力できるように、前記第２制御で制御する対応位置の数を決定する、
請求項１記載の画像処理装置。
【請求項３】
前記制御部は、前記重要度が大きいほど、前記第４制御の回数を多くする、
請求項１記載の画像処理装置。
【請求項４】
前記制御部は、前記対応位置算出部において前記出力画像の画面全体、または、前記画面の１以上の任意のラインを、予め設定された時間内で前記出力画像を出力できるように、前記第４制御の回数を決定する、
請求項１記載の画像処理装置。
【請求項５】
前記重要度算出部は、
（１）前記部分領域の色、輝度、周波数成分、または、エッジの方向が、前記部分領域の周囲と異なっていれば前記重要度を大きい値に設定するか、
（２）前記部分領域が前記基準フレームの画面の中央であれば前記重要度を大きい値に設定するか、
（３）前記部分領域に顔が映っていれば前記重要度を大きい値に設定するか、
（４）前記部分領域が肌色であれば前記重要度を大きい値に設定するか、
（５）前記基準フレームとその前後のフレームとのフレーム間差分が小さいほど前記重要度を大きい値に設定するか、
（６）前記部分領域が有彩色である場合に前記重要度を大きな値に設定し、無彩色であれば前記重要度を小さな値に設定するか、
（７）前記部分領域の彩度が高いほど前記重要度を大きな値に設定するか、
（８）前記部分領域の輝度が高いほど前記重要度を大きな値に設定するか、
（９）前記部分領域の色相が暖色系であれば前記重要度を大きな値に設定し、寒色系であれば前記重要度を低い値に設定するか、または、
（１０）前記（１）から（９）の設定の組合せに基づいて前記重要度を設定する、
請求項１記載の画像処理装置。
【請求項６】
前記位置算出部は、前記注目画素を含む部分領域の画素値の配置パターンと、類似性が高い画素値の配置パターンを有する位置を前記対応位置とする、
請求項１記載の画像処理装置。
【請求項７】
前記出力画像におけるエッジ部分の各画素値を強調制御する強調処理部をさらに有する、
請求項１記載の画像処理装置。
【請求項８】
ｎ個の画素からなる動画像または静止画像を入力する入力部と、
前記動画像の一枚のフレーム、または、前記静止画像を基準フレームに設定する設定ステップと、
前記基準フレームの各画素の画素値に基づく内挿処理によって、ｍ個（但し、ｍ＞ｎである）の画素からなる仮画像の各画素の推定画素値を算出する画素値算出ステップと、
解像度を高くしたい前記基準フレームの部分領域ほど大きな値をとる重要度を前記部分領域毎に設定する重要度算出ステップと、
前記動画像の一枚のフレーム、または、前記静止画像の前記各画素を１つずつ注目画素として順次設定し、前記各注目画素に対応する前記基準フレーム中の対応位置を任意の探索範囲から小数精度で算出する位置算出ステップと、
前記注目画素の対応位置の周囲にある前記仮画像の前記推定画素値から前記注目画素の試算画素値を算出し、前記試算画素値と前記注目画素の画素値との差分が小さくなるように、前記各推定画素値を補正して補正画素値をそれぞれ算出する変換ステップと、
前記対応位置が含まれる部分領域に対応する前記重要度が大きいほど、（１）前記位置算出ステップにおける前記探索範囲を広くするという第１制御、（２）前記位置算出ステップにおいて算出する前記対応位置の数を多くするという第２制御、（３）前記位置算出ステップにおける前記注目画素を設定する前記動画像の中の一枚のフレームを、前記補正画素値を既に求めたフレームとは異なるフレームに置き換えて、この置き換えたフレームに前記注目画素を設定し直して、前記変換ステップにおける、この設定し直した前記注目画素に基づいて前記補正画素値を算出し直すという第３制御、または、（４）前記変換ステップにおける、前記仮画像の各画素の前記補正画素値を前記推定画素値に置き換え、この置き換えた前記推定画素値から前記注目画素の前記試算画素値を算出し直し、この算出し直した前記試算画素値と前記注目画素の画素値との差分が小さくなるように、前記各推定画素値を補正し直すという第４制御、を行う制御ステップと、
前記変換ステップから最終的に出力された前記補正画素値を有するｍ個の画素から構成される出力画像を出力する出力ステップと、
を有する画像処理方法。
【請求項９】
ｎ個の画素からなる動画像または静止画像を入力する入力機能と、
前記動画像の一枚のフレーム、または、前記静止画像を基準フレームに設定する設定機能と、
前記基準フレームの各画素の画素値に基づく内挿処理によって、ｍ個（但し、ｍ＞ｎである）の画素からなる仮画像の各画素の推定画素値を算出する画素値算出機能と、
解像度を高くしたい前記基準フレームの部分領域ほど大きな値をとる重要度を前記部分領域毎に設定する重要度算出機能と、
前記動画像の一枚のフレーム、または、前記静止画像の前記各画素を１つずつ注目画素として順次設定し、前記各注目画素に対応する前記基準フレーム中の対応位置を任意の探索範囲から小数精度で算出する位置算出機能と、
前記注目画素の対応位置の周囲にある前記仮画像の前記推定画素値から前記注目画素の試算画素値を算出し、前記試算画素値と前記注目画素の画素値との差分が小さくなるように、前記各推定画素値を補正して補正画素値をそれぞれ算出する変換機能と、
前記対応位置が含まれる部分領域に対応する前記重要度が大きいほど、（１）前記位置算出機能における前記探索範囲を広くするという第１制御、（２）前記位置算出機能において算出する前記対応位置の数を多くするという第２制御、（３）前記位置算出機能における前記注目画素を設定する前記動画像の中の一枚のフレームを、前記補正画素値を既に求めたフレームとは異なるフレームに置き換えて、この置き換えたフレームに前記注目画素を設定し直して、前記変換機能における、この設定し直した前記注目画素に基づいて前記補正画素値を算出し直すという第３制御、または、（４）前記変換機能における、前記仮画像の各画素の前記補正画素値を前記推定画素値に置き換え、この置き換えた前記推定画素値から前記注目画素の前記試算画素値を算出し直し、この算出し直した前記試算画素値と前記注目画素の画素値との差分が小さくなるように、前記各推定画素値を補正し直すという第４制御、を行う制御機能と、
前記変換機能から最終的に出力された前記補正画素値を有するｍ個の画素から構成される出力画像を出力する出力機能と、
をコンピュータによって実現する画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮影された画像データやテレビが受信した画像データをより高い解像度の画像データに変換する画像処理装置及びその方法に関する。
【背景技術】
【０００２】
画素数が多いテレビやディスプレイなどの表示装置が普及してきている。表示装置の画素数が多ければ、画像の細かい部分まで表示できる。すなわち、高解像度な画像を表示できる。
【０００３】
ところが、デジタルの画像データを高解像度化するためには、画素数を増やす必要がある。そのため、画素数を増やすことを画像の高解像度化と言う場合がある。
【０００４】
一方、画像の拡大と高解像度化を同じ意味で利用したり、画像の縮小と低解像度化を同じ意味で利用したりする場合がある。
【０００５】
そのため以降の説明において、低解像度画像と高解像度画像を区別して図示するために、低解像度画像を小さな画面で、高解像度画像を大きな画面で表現する場合がある。
【０００６】
そして、表示装置は、画像を表示するために、画像データの画素数をパネルの画素数に変換する。画素数を増やす高解像度化の変換においては、線形内挿法よりも鮮鋭な画像が得られる方法として、再構成型超解像が知られている（例えば、特許文献１、非特許文献１参照）。
【０００７】
「再構成型超解像」は、基準フレームに写っている被写体が別のフレームにも写っていることに注目し、被写体の動きを画素間隔以下の高い精度で検出することで、被写体の同一の局所部分に対して微小に位置がずれた複数の標本値を求めて高解像度化するものである。
【０００８】
より詳細に再構成型超解像を説明する。
【０００９】
この方法では、低解像度なフレームが時系列で並んでいる場合に、それらを順次高解像度なフレームに変換する。
【００１０】
例えば、移動する自動車を撮影した動画像の時間的に前後する３枚のフレームを低解像度画像として用い、これらの３枚のフレームから１枚のフレームを基準フレームとして高解像度化する。これを縦２倍、横２倍に高解像度化する。
【００１１】
未知である高解像度画像の画素に対して、低解像度画像の画素、つまり既知な標本値はまばらである。この状態でも高解像度画像の画素値の推定はできるが、事前に既知な標本値を増やしておけば、より正確な高解像度画像を得ることができる。そのために、再構成型超解像では、基準フレーム以外の低解像度画像の画素の位置に写っている被写体が、基準フレームの画面内でどの位置に写っているかを検出し、その画素値を基準フレーム内の対応点における標本値として用いる。
【００１２】
具体的には、ある画素を中心に低解像度画像から数画素四方のブロックを取り出し、このブロックと同じ大きさで、含まれる画素が、取り出したブロックと近い画素値を持つ部分を基準フレームの中で探索する。
【００１３】
探索は小数精度で行う（例えば、非特許文献２参照）。見つかった対応ブロックの中心を対応点とする。これにより、他のフレームに対応する画面の点Ａと、基準フレームに対応する画面の点Ｂとが同じ被写体の同一の位置として対応づけられる。この対応は、点Ａを始点、点Ｂを終点とする動きベクトルで表される。小数精度で探索を行うので、動きベクトルは一般に、始点は画素の位置、終点は画素がない位置になる。
【００１４】
このような動きベクトルを低解像度画像の全ての画素について求め、また、他の低解像度画像についても同様に各画素を始点とする基準フレームへの動きベクトルを検出する。
【００１５】
次に、各動きベクトルの終点に始点の画素値を標本値として配置する。
【００１６】
最後に、このように非一様に配置された標本値から、格子状に一様に配置された高解像度画像の画素の値を求める。
【００１７】
この手法としては、重ね合わせ法（nonuniform interpolation）やＰＯＣＳ法などが知られている（例えば、非特許文献１参照）。
【特許文献１】特開２０００−１８８６８０公報（第３−７頁、図２２）
【非特許文献１】S. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview," IEEE Signal Processing Magazine, USA, IEEE, May 2003, p.21-36
【非特許文献２】清水，奥富，「画像のマッチングにおけるサブピクセル推定の意味と性質」電子情報通信学会論文誌D-II，電子情報通信学会，２００２年１２月，第８５巻，第１２号，ｐ．１７９１−１８００
【発明の開示】
【発明が解決しようとする課題】
【００１８】
再構成型超解像は、鮮鋭な画像を得られる手法であるが、計算コストが高いという問題点がある。
【００１９】
そのため、受信した画像データをテレビやパソコンのディスプレイといった表示装置に表示するまでに、高解像度化の処理を完了できない場合がある。
【００２０】
そこで、本発明は、上記問題点に鑑み、高解像度化の処理を高速化することができる画像処理装置及びその方法を提供する。
【課題を解決するための手段】
【００２１】
本発明は、ｎ個の画素からなる動画像または静止画像を入力する入力部と、前記動画像の一枚のフレーム、または、前記静止画像を基準フレームに設定する設定部と、前記基準フレームの各画素の画素値に基づく内挿処理によって、ｍ個（但し、ｍ＞ｎである）の画素からなる仮画像の各画素の推定画素値を算出する画素値算出部と、解像度を高くしたい前記基準フレームの部分領域ほど大きな値をとる重要度を前記部分領域毎に設定する重要度算出部と、前記動画像の一枚のフレーム、または、前記静止画像の前記各画素を１つずつ注目画素として順次設定し、前記各注目画素に対応する前記基準フレーム中の対応位置を任意の探索範囲から小数精度で算出する位置算出部と、前記注目画素の対応位置の周囲にある前記仮画像の前記推定画素値から前記注目画素の試算画素値を算出し、前記試算画素値と前記注目画素の画素値との差分が小さくなるように、前記各推定画素値を補正して補正画素値をそれぞれ算出する変換部と、前記対応位置が含まれる部分領域に対応する前記重要度が大きいほど、（１）前記位置算出部において前記探索範囲を広くするという第１制御、（２）前記位置算出部において算出する前記対応位置の数を多くするという第２制御、（３）前記位置算出部において前記注目画素を設定する前記動画像の中の一枚のフレームを、前記補正画素値を既に求めたフレームとは異なるフレームに置き換えて、この置き換えたフレームに前記注目画素を設定し直して、前記変換部においてこの設定し直した前記注目画素に基づいて前記補正画素値を算出し直すという第３制御、または、（４）前記変換部において、前記仮画像の各画素の前記補正画素値を前記推定画素値に置き換え、この置き換えた前記推定画素値から前記注目画素の前記試算画素値を算出し直し、この算出し直した前記試算画素値と前記注目画素の画素値との差分が小さくなるように、前記各推定画素値を補正し直すという第４制御、を行う制御部と、前記変換部から最終的に出力された前記補正画素値を有するｍ個の画素から構成される出力画像を出力する出力部と、を有する画像処理装置である。
【発明の効果】
【００２２】
本発明によれば、重要度に応じて、重要な部分の画質をできるだけ劣化させずに、計算コストを削減できる。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照しながら本発明の実施形態に係る画像を高解像度化する画像処理装置である高解像度化装置について説明する。
【００２４】
（第１の実施形態）
以下、第１の実施形態の高解像度化装置１００について図１〜図１５、図１７、図１８に基づいて説明する。
【００２５】
高解像度化装置１００には、低解像度画像データ（以下、単に低画像という）１０５が入力される。高解像度化装置１００は、その低画像１０５よりも画素数が多い高解像度化画像データ（以下、単に高画像という）１０９を作成して出力する。
【００２６】
（１）高解像度化装置１００の構成
図１は、本実施形態の高解像度化装置１００のブロック図である。
【００２７】
高解像度化装置１００は、仮高解像度画素値算出部１０１、重要度算出部１０２、対応位置算出部１０３、画素値変換部１０４を備える。
【００２８】
各部１０１〜１０４の機能は、コンピュータに格納されたプログラムによっても実現可能である。
【００２９】
（２）画像データの内容
ここで、低画像１０５は、画面に配置された画素毎の輝度や色を表す値であり、動画でも静止画でも構わない。例えば、テレビ放送を受信した画像データ、ＨＤＤに保存された画像データ、ビデオカメラから取り込んだ画像データ、写真データなどである。静止画は、フレームが１枚のプログレッシブ形式の動画と考えることができるため、以降は、動画の場合を例にとって説明する。
【００３０】
低画像１０５がプログレッシブ形式の動画の場合、低画像１０５は少なくとも１フレームの画像データであり、そのうちの基準フレームを高解像度化したものが高解像度化画像データ１０９である。基準フレームを逐次ずらし、出力された高解像度化画像データ１０９を連結すれば、高解像度な動画を作成できる。
【００３１】
なお、低画像１０５がインタレース形式の動画の場合には、１フィールドを、画素の欠落した１フレームとみたてる。
【００３２】
（３）仮高解像度画素値算出部１０１
仮高解像度画素値算出部１０１には、低画像１０５が入力される。
【００３３】
仮高解像度画素値算出部１０１は、低画像１０５のうち１フレームを基準フレームに設定し、この基準フレームの画素値に基づく内挿処理によって、基準フレームに含まれる画素数よりも多い画素数の仮高解像度化画像データ（以下、単に仮高画像という）１０６の推定画素値を算出し、仮高画像１０６を画素値変換部１０４に渡す。
【００３４】
（４）重要度算出部１０２
重要度算出部１０２には、低画像１０５が入力される。
【００３５】
重要度算出部１０２は、低画像１０５の基準フレームの画素毎に重要度１０７を算出し、画素値変換部１０８に渡す。
【００３６】
（４−１）重要度の内容
重要度は、画面の部分領域、例えば画素が重要なほど値が大きくなるように設定する。この場合には、例えば、重要度の基準値を定めておき、重要なものほどこの基準値より大きい値を設定する。
【００３７】
以下、基準フレームの部分領域が、重要なほど値を大きく設定する場合を説明する。
【００３８】
重要度は、基準フレームの部分領域が注意をひくか否かどうかにより決定する。例えば、非特許文献４（L. Itti, et.al. "A Model of Saliency-Based Visual Attention for Rapid Scene Analysis," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No. 11, Nov. 1998, p.1254-1259）に記載の方法を利用すれば、色、輝度、周波数成分やエッジの方向が周囲と異なっているかどうかなどにより、目立つ部分ほど大きな値になる値を算出できる。これを重要度として利用できる。この方法の全てではなく、一部を利用して算出しても良い。
【００３９】
これにより、人が着目しやすい画素に大きな値が設定される。あるいは、画面の中央である場合に大きな値を設定し、端に近付くほど小さくなるように設定する。これは、人間が画面の中央に着目する特徴を反映した重要度である。
【００４０】
なお、部分領域は、一画素に限らず、複数の画素を含む領域でもよい。
【００４１】
また、顔が写っている部分では大きな値を設定し、写っていない部分では小さな値を設定する。これは、人間が顔に敏感である特徴を反映した重要度である。顔は、顔検出（例えば、特許文献２（特開２００４−２０６６６５号公報）参照。）により検出できる。
【００４２】
また、重要度を設定する画素の画素値が肌色らしい画素ほど大きな値を設定する。これは、人間が人間の肌に敏感である特徴を反映した重要度である。
【００４３】
また、その画素のフレーム間差分が小さいほど大きな値を設定する。フレーム間差分が大きい部分は急激に変化した部分であるため、その部分を重要だとみなさないことに相当する。フレーム間差分が０の部分より少しだけ差分がある部分を特に大きな値にしても良い。なお、フレーム間差分が小さい中でも、０に近い部分は注目されやすい部分であり、特別に大きな値にしてもよい。
【００４４】
また、重要度を設定する画素が有彩色である場合に大きな値を設定し、その画素が無彩色であれば小さな値を設定する。これは、無彩色よりも有彩色の方が人間の目を引き付ける性質を反映した重要度である。
【００４５】
また、重要度を設定する画素の彩度が高いほど大きな値を設定する。これは、低彩度の色よりも高彩度の色の方が人間の目を引き付ける性質を反映した重要度である。
【００４６】
また、重要度を設定する画素の輝度が高いほど大きな値を設定する。これは、輝度が高い方が人間の目を引き付ける性質を反映した重要度である。
【００４７】
また、重要度を設定する画素の色相が暖色系であれば大きな値を設定し、寒色系であれば低い値を設定する。これは、寒色系よりも暖色系の方が人間の目を引き付けやすいという性質を反映した重要度である。
【００４８】
また、重要度を設定する画素について、上記で説明した値を複数計算し、それらを重み付き加算して重要度を求めて良い。あるいは、これらの値を画面空間でぼかし、画素間で急激に変化しないようにしても良い。
【００４９】
ここでは、重要度算出部１０２に、低画像１０５を入力する例を説明したが、低画像１０５の基準フレームのみから計算できる重要度１０７を利用する場合、その基準フレームのみを入力するようにすると良い。
【００５０】
（４−２）具体例１
顔検出に基づく重要度の値の具体的な計算方法の一例を説明する。
【００５１】
まず、重要度算出部１０２に、基準フレームのみが入力される。
【００５２】
次に、顔検出により、顔の領域が検出される。
【００５３】
最後に、その顔の領域には重要度２５５が設定され、それ以外の領域には重要度０が設定される。
【００５４】
このように、基準フレームの領域に重要度が設定される。各画素に重要度を設定しても良い。これにより、顔という重要な部分ほど高い値が設定され、それ以外の部分に低い値が設定される。
【００５５】
（４−３）具体例２
肌色らしさに基づく重要度の値の具体的な計算方法の一例を説明する。ここでは、画素値がＲ、Ｇ、Ｂの３つの成分からなり、各成分が０から２５５の値をとるものとする。
【００５６】
予め、多くの人物の画像から、肌色の画素値の平均を計算しておく。その平均との各成分の差分をｄＲ、ｄＧ、ｄＢで表す。（（２５５−ｄＲ）＋（２５５−ｄＧ）＋（２５５−ｄＢ））／３を各画素の重要度として設定する。
【００５７】
これにより、肌色という重要な部分ほど高い値が設定され、それ以外の部分に低い値が設定される。
【００５８】
（４−４）具体例３
前述の顔検出に基づく重要度の一例と前述の肌色らしさに基づく重要度の一例を重み付き加算することにより重要度を計算する一例を説明する。
【００５９】
前述の顔検出に基づく、ある画素での重要度をaで表し、前述の肌色らしさに基づく、ある画素での重要度をbで表す。その画素での重要度を（ａ＋ｂ）／２とする。
【００６０】
これにより、顔でかつ肌色の部分の重要度が最も高く設定され、顔でも肌色でもない部分の重要度が最も低く設定される。
【００６１】
（４−５）まとめ
高解像度化装置１００では、こうして算出した重要度が絶対的に大きな部分、あるいは、相対的に大きな部分を重要とみなして処理をする。
【００６２】
なお、基準フレームの部分領域が、人の注意を引かないほど、重要度が小さくなるように設定しても良い。
【００６３】
（５）対応位置算出部１０３
対応位置算出部１０３には、低画像１０５が入力される。
【００６４】
対応位置算出部１０３は、低画像１０５に含まれる１以上のフレームの中の複数の画素を１つずつ注目画素として順次設定する。
【００６５】
そして、この注目画素が基準フレームへ対応する少なくとも１以上の位置（以下、対応位置という）を小数精度で算出し、対応位置情報１０８として画素値変換部１０４に渡す。ここで、対応位置とは、その画素を中心とした周囲の画素値パターンとその対応位置を中心とした画素値パターンが類似した位置のことをいう。
【００６６】
対応位置を小数精度で算出する第１の方法としては、例えば、低画像の画素間隔で探索範囲を設定し、それぞれのマッチング誤差を求め、連続な対称関数を当てはめることで、マッチング誤差が極小となる小数精度の位置を求める方法（マッチング誤差補間法）や、低画像を拡大し、この拡大された画像における画素間隔で対応位置を求める方法（オーバーサンプリング法）がある。
【００６７】
また、小数精度での対応位置を算出する第２の方法として、カメラにジャイロを搭載して、カメラの揺れを測定することで、物理的に小数精度の対応位置を検出することもできる。
【００６８】
（６）画素値変換部１０４
画素値変換部１０４には、低画像１０５、仮高画像１０６、重要度１０７、及び、対応位置情報１０８が入力される。
【００６９】
画素値変換部１０４は、低画像１０５に順次、注目画素を設定し、その注目画素毎に処理する。
【００７０】
各注目画素に対し、対応位置情報１０８の全対応位置、あるいは、重要度１０７に応じて選択した対応位置毎に処理する。
【００７１】
対応位置毎に、注目画素の画素値と、仮高画像１０６の推定画素値と対応位置情報１０８を用いて生成した試算画素値との誤差が小さくなる方向に、仮高画像１０６の推定画素値を変換する。
【００７２】
この画素値変換を、順次設定される注目画素について繰り返し行う。繰り返し回数は、予め定めておいても良いし、重要度１０７に応じて設定しても良い。
【００７３】
画素値変換の方法としては、例えば、ＰＯＣＳ法やIterative Back-Projection法（非特許文献１のｐ．２９、ｐ．３１参照）を利用する。得られた画像データを高解像度化画像データ１０９として出力する。
【００７４】
このように、重要度１０７に応じて、変換の回数を減らしたり、対応位置情報１０８の数を減らしたりすることにより、重要な画素の画質をできるだけ劣化させずに、計算コストを削減できる。
【００７５】
（７）高解像度化装置１００の動作
図２は、高解像度化装置１００が入力された低画像１０５から高画像１０９を出力するまでの動作を説明するためのフローチャートである。以下では、高画像１０９の作成方法について説明する。
【００７６】
（７−１）ステップＳ２０１
ステップＳ２０１では、仮高画像１０６を生成する。
【００７７】
具体的には、図１の仮高解像度画素値算出部１０１において、低画像１０５のうち１フレームを基準フレームに設定し、この基準フレームの画素値に基づく内挿処理によって、基準フレームに含まれる画素数よりも多い画素数の仮高画像１０６の推定画素値を算出する。
【００７８】
この内挿処理としては、３次畳み込み内挿法（非特許文献３（高木、下田監修「画像解析ハンドブック」東京大学出版会）参照。）などを用いることができる。この仮高画像１０６は、画面内の被写体がぼけていたり、本来、連続的な直線である部分が、ジャギーと呼ばれる階段状に表現されてしまったりしている。
【００７９】
（７−２）ステップＳ２０２
ステップＳ２０２では、低画像１０５のうちの上記基準フレームの各画素に、上記で説明したように重要度算出部１０２で重要度を設定する。
【００８０】
（７−３）ステップＳ２０３
ステップＳ２０３では、画面における対応位置を算出する。
【００８１】
具体的には、図１の対応位置算出部１０３において、低画像１０５に含まれる１以上のフレームの中の複数の画素を１つずつ注目画素として順次設定し、注目画素の基準フレームへの少なくとも１以上の対応位置情報１０８を小数精度で算出する。対応位置情報１０８の小数精度での算出処理は、低画像１０５を基にマッチング誤差補間法やオーバーサンプリング法で算出したり、カメラに搭載されたジャイロによって検出したりできる。
【００８２】
（７−４）ステップＳ２０４
ステップＳ２０４では、仮高画像１０６の推定画素値を上記で説明したように画素値変換部１０４で変換する。
【００８３】
（７−５）ステップＳ２０５
ステップＳ２０５では、重要度１０７に応じた繰り返し回数を終了しているかどうか判定する。
【００８４】
具体的には、図１の画素値変換部１０４における変換処理が重要度１０７に応じた繰り返し回数だけ終了したかどうかを判定し、ＮＯであれば、ステップＳ２０４に戻り、ＹＥＳであれば、仮高画像１０６を高画像１０９として出力して、終了する。
【００８５】
（８）低画像１０５、基準フレーム、高画像１０９の関係
図１の対応位置算出部１０３、画素値変換部１０４の動作について詳しく説明するために、図３〜図８を用いて、低画像１０５、基準フレーム、高画像１０９の関係についてまず説明する。
【００８６】
（８−１）図３の説明
図３は、低解像度な動画から、高解像度な動画を生成する様子を説明する図である。  図３の例では、低解像度な動画のうちの、第３、４、５フレームを低画像１０５とし、基準フレームを第４フレームとし、基準フレームを高解像度化した高画像１０９を生成している。基準フレームを順次ずらし、その基準フレームを含むように低画像１０５を設定することにより、高解像度な動画の各フレームが順次、生成される。
【００８７】
（８−２）図４の説明
図４は、低画像１０５が基準フレームのみからなる場合に、低解像度な動画から、高解像度な動画を生成する様子を説明する図である。
【００８８】
この場合、フレーム内処理のみで拡大処理を行っている。静止画を高解像度化する場合も、入力される低解像度画像は１枚だけなので、これを基準フレームに設定し、その基準フレーム１枚だけを用いて高解像度化の処理をする。
【００８９】
静止画は１フレームのみからなる動画と考えて処理すれば良い。そのため、静止画をフレームと表記する場合がある。
【００９０】
（８−３）図５の説明
図５は、低解像度画像フレーム（以下、低画像フレームという）の画面５０１と、画面５０１におけるある画素５０２と、画素５０２の中心の位置５０３を示す図である。
【００９１】
後述の図６の高解像度画像フレーム（以下、高画像フレームという）の画面６０１における画素の位置と区別するために、低画像フレームの画面５０１における画素の位置を黒丸で示した。
【００９２】
画像は元来、画面空間において輝度が連続的に分布しているものである。しかし、ここで扱うデジタル画像データの場合は、図５に示したように、画面空間に離散的な位置に画素を配置し、その輝度だけでその周囲の位置の輝度を代表させる。図５では、画面５０１を横６列、縦４行の２４個の正方形に分割し、それら正方形がそれぞれ画素である。画素の１つが画素５０２である。正方形、すなわち、画素の中心を、画素の位置、あるいは、標本点と呼ぶ。画素５０２の位置が、位置５０３である。各画素が持つ、輝度や色を表す値の代表値を画素値と呼ぶ。
【００９３】
（８−４）図６の説明
図６は、図５に示した低画像フレームの解像度を４倍（横方向に２倍、縦方向に２倍）に高解像度化した図であり、高画像フレームの画面６０１と、画面６０１におけるある画素６０２と、画素６０２の中心の位置６０３を示す図である。
【００９４】
低画像フレームの画面５０１における画素の位置と区別するために、高画像フレームの画面６０１における画素の位置を白丸で示した。
【００９５】
高解像度化率が縦横それぞれ２倍であるため、高画像フレームの画面における画素の位置の間隔は、低画像フレームの画面における画素の位置の間隔の縦横それぞれ１／２になる。
【００９６】
（８−５）図７の説明
図７は、図５に示した低画像フレームの画素を図６に示した高画像フレームと同じ間隔で示した図である。
【００９７】
この場合、低画像フレームの大きさは、高画像フレームの大きさよりも小さくなる。画像データに、縦方向の画素数、横方向の画素数、各画素の画素値に関する情報を持たせ、画素の大きさや間隔に関する情報を持たせない場合、図５に示した低画像フレームを表す画像データと、図７に示した低画像フレームを表す画像データも同じになる。
【００９８】
そこで、低画像フレームと高画像フレームを区別しやすいように、本書では、低画像フレームの画面の大きさを高画像フレームの画面の大きさよりも小さく図示する場合がある。
【００９９】
（８−６）図８の説明
図８は、低画像フレームの画素の標本点を黒丸で、高画像フレームの画素の標本点を白丸で示した図である。
【０１００】
高解像度化の処理は、黒丸の標本点に与えられた画素値を元にして、白丸の標本点の画素値を求める処理である。
【０１０１】
その際、低解像度画像のうちの基準フレームだけでなく、例えば、その前または後の時刻のフレームなどの低解像度画像データを用いても良い。それにより、さらに鮮鋭な高解像度化を行うことができる。
【０１０２】
（９）対応位置算出部１０３の説明
図１の対応位置算出部１０３及び図２のステップＳ２０３の画面空間における対応位置を算出する動作について、図９〜図１４を用いて詳細に説明する。
【０１０３】
図９は、移動する自動車を撮影した低解像度な動画のうち、時刻が前後する２枚のフレーム９０１、９０２を示した図である。ここで、これら低画像フレームのうち、低画像フレーム９０２を基準フレームとして高解像度化する場合を説明する。
【０１０４】
図１の対応位置算出部１０３及び図２のステップＳ２０３では、低画像フレーム９０１の中の注目画素９０３に対して、その位置９０４が基準フレーム９０２のどの位置に対応するかを画素間隔より細かい小数精度で算出する。この対応する位置を対応位置と呼ぶ。
【０１０５】
なお、低画像フレーム９０１、９０２は、見やすいように、図５または図７で説明したような横６画素、縦４画素の２４画素で示しているが、例えば、ＳＤのテレビ放送から受信した画像データであれば、横７２０画素、縦４８０画素の画素数を有する。
【０１０６】
（９−１）マッチング誤差補間法による対応位置算出部１０３の説明
図１０〜図１２を用いて、図１の対応位置算出部１０３及び図２のステップＳ２０３の動作の例として、マッチング誤差補間法を用いた小数精度の対応位置算出方法について説明する。
【０１０７】
図１０に示すように、マッチング誤差補間法では、初めに、ブロックマッチング法のように画素間隔の精度で低画像フレーム９０１から基準フレーム９０２へのフレーム間のマッチング誤差を算出する。
【０１０８】
そのためにまず、注目画素９０３を中心に低画像フレーム９０１から数画素四方、例えば５ｘ５画素や３ｘ３画素の矩形のブロック１００５を注目画像領域として取り出す。
【０１０９】
次に、注目画像領域１００５と画素値の変化パターンが近い部分を基準フレーム９０２から探索する。
【０１１０】
画素間隔で算出するマッチング誤差としては、フレーム間での注目画像領域内の各画素値の差の２乗和であるＳＳＤ（Sum of Square Distance）や、各画素値の差の絶対値和であるＳＡＤ（Sum of Absolute Distance）などを用いることができる。
【０１１１】
ここでは、低画像フレーム９０１に含まれる注目画像領域１００５と、基準フレーム９０２に含まれる画像領域１００６とのＳＡＤを計算して、注目画素９０３と画素１００７とのマッチング誤差を算出する。
【０１１２】
同様にして基準フレーム９０２のその他の画素についてもマッチング誤差を算出することで、画素間隔でのマッチング誤差が算出できる。
【０１１３】
この各マッチング誤差の中で最小のマッチング誤差を持つ画素が、ブロックマッチング法で算出される対応画素となる。これは、画素間隔、つまり、整数精度での対応位置に相当する。
【０１１４】
図１１は、低画像フレーム９０１内の注目画素９０３の対応画素として、基準フレーム９０２内の画素１１１０が求まったことを示した図である。図１１に示すグラフは、それぞれの画素で算出されたマッチング誤差を対応画素１１１０の周り３ｘ３画素について示したグラフである。９個のマッチング誤差のうち、対応画素１１１０のマッチング誤差が最小となっているのが分かる。
【０１１５】
まず、横方向についての対応位置の算出について説明する。
【０１１６】
対応画素１１１０とその横方向に両隣のマッチング誤差に対称な連続関数１１１１を当てはめる。対称な連続関数は、放物線や、マッチング誤差の軸に対称な２本の直線を用いれば良い。
【０１１７】
このようにして当てはめた連続関数が極小となる横位置（白丸で図示）を、小数精度での対応位置１１１２と呼ぶ。
【０１１８】
縦方向についても同様に、縦方向の対応位置を算出できる。また、横方向、縦方向の対応位置をそれぞれ別々に算出せずに、対称な曲面を当てはめることで、同時に横方向、縦方向の対応位置を算出することもできる。
【０１１９】
図１２は、上記した操作を施すことによって、小数精度の対応位置が算出されたことを表す図である。
【０１２０】
図１２に示すように、時間的に前後する２枚の低画像フレーム９０１と基準フレーム９０２のうち、低画像フレーム９０１の注目画素９０３が対応する基準フレーム９０２の対応画素１１１０を求め、連続関数を当てはめることにより、注目画素９０３の標本点９０４が対応する基準フレーム９０２の対応位置１２１３が算出される。
【０１２１】
（９−２）オーバーサンプリング法による対応位置算出部１０３の説明
次に、図１３及び図１４を用いて、図１の対応位置算出部１０３及び図２のステップＳ２０３の動作の例として、オーバーサンプリング法を用いた小数精度の対応位置算出方法について説明する。
【０１２２】
図１３に示すように、オーバーサンプリング法では、初めに、注目画素９０３の注目画像領域１００５を高解像度化して、高解像度な注目画像領域１３０５を作成する。
【０１２３】
また、低解像度の基準フレーム９０２（図９参照）の各画素を高解像度化して、高解像度な基準フレーム１３０２を作成する。
【０１２４】
例えば、３次畳込み法、BiCubic法などの内挿法（非特許文献３参照。）を用いて高解像度化することができる。ここでは、９倍（縦横それぞれ３倍）に高解像度化してある。そして、この高解像度な注目画像領域１３０５と高解像度な基準フレーム１３０２において、図１０でマッチング誤差補間法を説明したように、ブロックマッチング法のように画素間隔の精度で対応画素を算出する。
【０１２５】
低画像フレームが縦３倍、横３倍に高解像度化された、つまり、画素間隔は１／３になって対応画素が検出されるため、低解像度画素間隔の１／３という細かい精度で、対応位置を検出できることに相当する。
【０１２６】
図１４では、具体的に、オーバーサンプリング法によって、小数精度での対応位置が検出されている。高解像度な注目画像領域１３０５を用いて、高解像度の画素間隔の基準フレームの画素についてマッチング誤差を算出する。このマッチング誤差が最小となる画素の標本点１４１４を、注目画素９０３の標本点９０４の基準フレームへの小数精度の対応位置として算出する。
【０１２７】
（１０）画素値変換部１０４の説明
図１の画素値変換部１０４及び図２のステップＳ２０４、Ｓ２０５で行う仮高画像の画素値の変換について、図１５を用いて具体例を挙げて詳細に説明する。
【０１２８】
ここでは、高画像１０９を所定の処理時間内で作成するために、重要度１０７に応じて対応位置を選択し、重要度１０７に応じて変換の回数を決定する場合を例にとって説明する。
【０１２９】
図１５の符号１５０１は、図１の仮高解像度画素値算出部１０１で図９の低解像度な基準フレーム９０２が４倍（縦横それぞれ２倍）に高解像度化された仮高画像フレーム（以下、単に仮高画像フレームという）を表す。この仮高画像フレーム１５０１の各画素の画素値は、仮高解像度画素値算出部１０１で求められている。
【０１３０】
図１５の符号１５０２は、対応位置算出部１０３で設定したある注目画素を表す。注目画素１５０２は、低画像中のあるフレームにおいて撮影された画素値を持つ。
【０１３１】
図１５の符号１５０３（黒丸）は、注目画素１５０２の対応位置算出部１０３で算出された対応位置を表す。
【０１３２】
（１０−１）対応位置の決定
画素値の変換として、まず、対応位置算出部１０３で算出した少なくとも１の対応位置である対応位置情報１０８の中から、画素値の変換に利用する対応位置を決定する。その決定方法の一例について説明する。
【０１３３】
後述の説明からわかるように、計算コストは、利用する対応位置の数に比例して高くなる。そこで、重要度１０７に応じて、低画像１０５の基準フレームのうち、重要な画素ほど多くの対応位置を利用するように決定する。ここで、重要度１０７が低画像フレームの各画素に対する値であるのに対し、対応位置が小数精度で求められているため、重要度１０７からそのままでは対応位置を決定できない。そこで、例えば、重要度１０７から、対応位置の重要度を内挿法により内挿すると、対応位置の重要度を計算できる。最近傍内挿法の計算コストが比較的小さい。
【０１３４】
（１０−２）確からしさの評価
次に、仮高画像フレーム１５０１（仮高画像１０６）の各画素（白丸に位置する画素）の画素値の確からしさを評価するために、仮高画像フレーム１５０１の各画素（白丸に位置する画素）の画素値から、ある注目画素１５０２の画素値を試算する。
【０１３５】
注目画素１５０２の画素値は、注目画素１５０２が重なりを持つ９個の仮高画像フレーム１５０１の画素を基に算出する。
【０１３６】
例えば、面積比に応じて加重平均して試算できる。仮高画像フレームの画素１５０４が持つ画素値に対する重みは、注目画素１５０２の面積を１とした際の矩形１５０５（斜線部）の面積を重みにすれば良い。矩形１５０５は、仮高画像フレームの画素１５０４と注目画素１５０２の重なり合う部分である。注目画素１５０２が重なる９個の矩形について、その重なる面積を重みとして、それら９個の画素値から加重平均値を求めることで、仮高画像フレーム１５０１の画素（白丸に位置する画素）の画素値から、注目画素１５０２の画素値を試算できる。
【０１３７】
（１０−３）画素値の修正
仮高画像フレーム１５０１が正確なものであれば、試算された注目画素１５０２の画素値と、撮影された正しい注目画素１５０２の画素値は一致するはずである。しかし、通常は、仮高解像度画素値算出部１０１での、従来のフィルタ処理による拡大では、画面内の被写体がぼけていたり、本来、連続的な直線である部分が、ジャギーと呼ばれる階段状に表現されてしまったりしているために一致しない。そこで、最後に、これが一致するように、仮高画像フレーム１５０１の画素値を加減算すべき修正量を算出し、それにより画素値を修正する。
【０１３８】
修正量の算出のために、
差分値＝（注目画素の撮影された画素値）−（注目画素の試算された画素値）
を算出する。
【０１３９】
この差分値を、試算した際の重みで分配すると、差分値は０になる。このように修正量を算出するのがＰＯＣＳ法（非特許文献１のｐ．２９、ｐ．３１参照）である。
【０１４０】
なお、修正量の算出の際に、差分値が０になるように算出するのではなく、差分値が減少する方向に修正量を算出するのが、Iterative Back-Projection法である（非特許文献１のｐ．２９、ｐ．３１参照）。
【０１４１】
ＰＯＣＳ法により、重みによって分配された９個の正または負の修正量を、仮高画像フレーム１５０１の９個の画素値に加算すれば、そのとき計算した注目画素については、差分が０になり、注目画素の撮影された画素値と試算された画素値が一致する。
【０１４２】
（１０−４）繰り返し処理
しかし、別の注目画素の対応位置によっては、これを用いた修正によって、同じ仮高画像フレーム１５０１の画素値が修正されることがある。この修正処理は、上記の方法で利用すると決定した全対応位置について、逐次的に行い、これを、繰り返す（ステップＳ２０５）。
【０１４３】
もちろん、ＰＯＣＳ法ではなく、Iterative Back-Projection法を利用しても良い。この繰り返しにより、次第に、仮高画像フレーム１５０１は正確なものに近づく。
【０１４４】
繰り返しにより得られた仮高画像フレーム１５０１（仮高画像１０６）を、高画像１０９として出力する。
【０１４５】
繰り返し回数は、高画像１０９の画面全体または１以上の所定のラインを作成する処理が、所定の時間（表示装置がコマ落ちなしに表示するために処理が終了していなければならない時間などの所定の時間）内に終了するように決定する。
【０１４６】
対応位置の数に比例するため、対応位置１つを利用した処理に要する時間を計測し、画面全体または１以上の所定のラインで利用する対応位置の数で乗算することにより、繰り返しが１回の場合の処理時間を算出することができる。
【０１４７】
したがって、所定の時間を、繰り返しが１回の場合の処理時間で除算することにより、所定の時間内に収まる繰り返し回数を計算できる。
【０１４８】
（１０−５）まとめ
以上の通り画素値を変換することにより、重要な部分の画質をできるだけ劣化させずに計算コストを削減できる。
【０１４９】
また、所定の時間内で画面全体、あるいは、１以上の所定のラインの画素の画素値を変換できる。これにより、表示装置にあわせた処理が可能になる。例えば、１／６０秒以内に高画像１０９を出力するようにすれば、１／６０秒毎に１フレームを表示する表示装置にあわせられる。あるいは、表示装置のラインバッファの容量に起因して、表示装置が所定の数ラインを受け取らなければならない時間間隔が定まっている場合、高画像１０９を数ラインを、その時間内に生成し、出力するようにすれば、その表示装置にあわせられる。
【０１５０】
（１０−６）変更例
ここでは、決定した対応位置で全て同じ繰り返し回数を決定する方法を説明したが、対応位置や繰り返し回数の決定方法を変えても良い。
【０１５１】
例えば、対応位置毎に繰り返し回数を変えても良い。例えば、重要度１０７により重要な画素ほど繰り返し回数が多くなるようにしても良い。
【０１５２】
また、対応位置は全対応位置を利用し、繰り返し回数のみを重要度１０７に応じて決定しても良い。
【０１５３】
また、繰り返し回数は所定の回数にし、対応位置を重要度１０７に応じて決定しても良い。
【０１５４】
（１１）自己合同性を利用した対応位置決定方法
対応位置算出部１０３、ステップＳ２０３で対応位置を、被写体のフレーム内（基準フレーム内）の自己合同性を利用して算出する場合について、図１７及び図１８を用いて説明する。
【０１５５】
これは、連続する前後のフレームが無い静止画で対応位置を算出する場合にも適用できるし、動画の基準フレーム内で対応位置を算出する場合にも適用できる。
【０１５６】
（１１−１）図１７の説明
図１７は、横軸が画素の横座標、縦軸が輝度を示す画素値を表す、実際のデジタル画像のデータを示す図である。ここでは同じフレーム内の異なる５行のデータをそれぞれ別の折れ線で示した。
【０１５７】
この図１７から、同じフレーム内の異なる行でも、非常に似た輝度変化をする部分があることが分かる。このような同じフレーム内に似た輝度変化を有する画像の性質を、自己合同性と定義する。すなわち、注目画素を含む領域の輝度の配置パターンと、類似性が高い輝度の配置パターンを有する領域とが、自己合同性がある。
【０１５８】
前後のフレームを利用せず、被写体のフレーム内の自己合同性のみを用いて高解像度化を行う場合、連続する複数の低解像度画像データをメモリで保持する必要がなく、少ないメモリ量で高解像度化を行うことができるという利点がある。
【０１５９】
この場合、基準フレーム内の複数の画素、例えば、基準フレームのエッジ画素を１つずつ注目画素として順次設定し、注目画素の周辺への１以上の対応位置を小数精度で算出する。これは、低解像度画像データを元にマッチング誤差補間法やオーバーサンプリング法を用いることで算出することができる。
【０１６０】
（１１−２）図１８の説明
図１８は、縦方向のエッジを持つ被写体１８０６の低解像度の基準フレーム１８０１を、自己合同性を用いて高解像度化する例を説明するための図である。
【０１６１】
符号１８０２はある注目画素を表し、注目画素１８０２の位置（標本点）を１８０３で表す。
【０１６２】
図２のステップＳ２０３では、標本点１８０３の周りに存在する対応位置（自己合同位置）を算出する。自己合同位置が１ライン上、もしくは、１ライン下にあると仮定して、マッチング誤差補間法や、オーバーサンプリング法にて、小数精度の対応位置（自己合同位置）を求めた結果が、第１の自己合同位置１８０４、第２の自己合同位置１８０５である。
【０１６３】
（１１−３）まとめ
このようにして、注目画素、注目画素の画素値、注目画素の基準フレームへの小数精度の対応位置（自己合同位置）を算出すれば、以降、図２のステップＳ２０４による仮高解像度画像の画素値の変換を行うことで、鮮鋭な高解像度化を、１フレームのみから高速に行うことができる。
【０１６４】
（第２の実施形態）
以下、第２の実施形態の高解像度化装置１００について図１９〜図２０に基づいて説明する。なお、第１の実施形態と同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
【０１６５】
（１）高解像度化装置１９００の構成
図１９は、本実施形態の高解像度化装置１９００のブロック図である。
【０１６６】
本実施形態の高解像度化装置１９００では、高解像度化装置１００に対し、強調部１９０１が増えて、高解像度化装置１９００が構成される。符号が同じものは、第１の実施形態で説明した通りの動作をする。
【０１６７】
強調部１９０１には、低画像１０５が入力される。強調部１９０１は、低画像１０５を強調し、強調したものを低画像１０５として画素値変換部１０４に送る。強調には、例えば、アンシャープマスクフィルタやラプラシアンフィルタを用いる。
【０１６８】
処理の流れは、図２に示した処理の流れに対し、ステップＳ２００１がステップＳ２０１の前に追加される。なお、ステップＳ２０４より前であれば、どこにステップＳ２００１を追加しても良い。
【０１６９】
（２）高解像度化装置１９００の動作
図２０に、本実施形態の高解像度化装置１９００の処理の流れを示す。
【０１７０】
ステップＳ２００１では、低画像１０５を強調する。強調には、上述の通り、例えば、アンシャープマスクフィルタやラプラシアンフィルタを用いる。画像を強調するとノイズをも強調する場合があるため、平坦な部分では強調せず、平坦でない部分だけ強調するようにしても良い。
【０１７１】
（３）効果
これにより、本実施形態では高解像度化装置１９００に入力された低画像１０５がぼけていても、それを強調したものを利用して高解像度画像データ１０９を作成するため、高解像度化装置１００が出力するものよりも鮮鋭な高解像度画像データ１０９が生成される。
【０１７２】
画像の強調よりも画素値の変換の方が、計算コストが高いため、計算コストの削減効果は失われない。
【０１７３】
したがって、鮮鋭な画像を低い計算コストで作成できる。
【０１７４】
（第３の実施形態）
以下、第３の実施形態の高解像度化装置１６００について図１６、図２１に基づいて説明する。なお、第１の実施形態と同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
【０１７５】
第１の実施形態や第２の実施形態の高解像度化装置が、ＬＳＩなどを利用した並列処理に適した実施形態であったのに対し、本実施形態は条件分岐により無駄な処理を省くのに適した実施形態である。無駄な処理を省くため、ＰＣなどを利用する場合にＣＰＵを占有せずに済む。
【０１７６】
（１）高解像度化装置１６００の構成
図１６は、本実施形態の高解像度化装置１６００のブロック図である。
【０１７７】
重要度算出部１６０１には、重要度算出部１０２に入力されたものと同じものが入力される。
【０１７８】
重要度算出部１６０１は、同様に重要度１０７を算出し、対応位置算出部１６０２と画素値変換部１６０３に送る。
【０１７９】
対応位置算出部１６０２には、低画像１０５と重要度１０７が入力される。対応位置算出部１６０２は、対応位置算出部１０３と同様に対応位置情報１０８を算出する。しかし、重要度１０７に応じて、算出する対応位置の数を減らすことが対応位置算出部１０３とは異なる。
【０１８０】
具体的には、重要度１０７から、重要な画素ほど多くの対応位置が割り当てられるように、対応位置の数を決定する。この対応位置の数だけ対応位置を算出した領域は、それ以降は、注目画素の対応位置を算出するための探索範囲から除外する。これにより、対応位置を算出する計算コストを削減できる。こうして算出した対応位置情報１０８を画素値変換部１６０３に送る。
【０１８１】
画素値変換部１６０３には、低画像１０５、仮高画像１０６、対応位置情報１０８、及び、重要度１０７が入力される。画素値変換部１６０３は、対応位置情報１０８の全対応位置を利用して画素値を変換する点が画素値変換部１０４と異なる。それ以外は同じである。
【０１８２】
（２）高解像度化装置１６００の動作
高解像度化装置１６００の処理の流れは、図２のステップＳ２０３の代わりにステップＳ２１０３、ステップＳ２０４の代わりにステップＳ２１０４が入ったものとなる。
【０１８３】
ステップＳ２１０３では、対応位置算出部１６０２の説明で示した通りの処理を行う。
【０１８４】
ステップＳ２１０４では、画素値変換部１６０３の説明で示した通りの画素値変換の処理を行う。
【０１８５】
（３）効果
このように、本実施形態では重要度１０７に応じた数の対応位置を算出し、それ以上の数の対応位置を算出するための計算コストを削減できる。
【０１８６】
（第４の実施形態）
以下、第４の実施形態の高解像度化装置２２００について図２２、図２３に基づいて説明する。なお、第１、第３の実施形態と同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
【０１８７】
（１）高解像度化装置２２００の構成
図２２は、本実施形態の高解像度化装置２２００のブロック図である。
【０１８８】
本実施形態では、第３の実施形態の高解像度化装置１６００に対し、強調部２２０１が追加され、高解像度化装置２２００が構成される。
【０１８９】
強調部２２０１には、低画像１０５が入力される。強調部１９０１は、低画像１０５を強調し、強調したものを低画像１０５として画素値変換部１０４に送る。強調には、例えば、アンシャープマスクフィルタやラプラシアンフィルタを用いる。
【０１９０】
（２）高解像度化装置２２００の動作
高解像度化装置２２００の処理の流れは、図２３に示すように、図２１に示した処理の流れに対し、ステップＳ２３０１がステップＳ２０１の前に追加される。なお、ステップＳ２１０４より前であれば、どこにステップＳ２００１を追加しても良い。
【０１９１】
ステップＳ２００１では、低画像１０５を強調する。強調には、上述の通り、例えば、アンシャープマスクフィルタやラプラシアンフィルタを用いる。画像を強調するとノイズをも強調する場合があるため、平坦な部分では強調せず、平坦でない部分だけ強調するようにしても良い。
【０１９２】
（３）効果
これにより、本実施形態では、高解像度化装置２２００に入力された低画像１０５がぼけていても、それを強調したものを利用して高解像度画像データ１０９を作成するため、高解像度化装置１６００が出力するものよりも鮮鋭な高解像度画像データ１０９が生成される。
【０１９３】
画像の強調よりも画素値の変換の方が、計算コストが高いため、計算コストの削減効果は失われない。
【０１９４】
したがって、鮮鋭な画像を低い計算コストで作成できる。
【０１９５】
（変更例）
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。
【図面の簡単な説明】
【０１９６】
【図１】本発明の第１の実施形態に係る高解像度化装置のブロック図である。
【図２】第１の実施形態に係る高解像度化装置の処理の流れの一例を示すフローチャートである。
【図３】３枚の低画像フレームから高画像フレームを生成する様子を示す図である。
【図４】１枚の低画像フレームから高画像フレームを生成する様子を示す図である。
【図５】低画像フレームの画面と画素と位置の例を示す図である。
【図６】低画像フレームを高解像度化した高画像フレームの例を示す図である。
【図７】図５の低画像フレームの画素間隔を図６の高画像フレームの画素間隔に合わせた低画像フレームを示す図である。
【図８】低画像フレームの各画素の位置（標本点）と高画像フレームの各画素の位置（標本点）の関係を示した図である。
【図９】画面空間における対応位置の算出での注目画素と基準フレームを示す図である。
【図１０】画面空間における対応位置の算出での注目画像領域と画像領域を示す図である。
【図１１】画面空間における対応位置の算出でのマッチング誤差補間法を説明するための図である。
【図１２】画面空間における対応位置の算出での基準フレームへの対応位置を示す図である。
【図１３】画面空間における対応位置の算出でのオーバーサンプリング法を説明するための図である。
【図１４】画面空間における対応位置の算出での基準フレームへのオーバーサンプリングされた対応画素を示す図である。
【図１５】仮高解像度化画像の画素値を変換する様子を示す図である。
【図１６】第３の実施形態に係る高解像度化装置のブロック図である。
【図１７】局所パターンの自己合同性を示す図である。
【図１８】画面空間における自己合同位置を算出する様子を示す図である。
【図１９】第２の実施形態に係る高解像度化装置のブロック図である。
【図２０】第２の実施形態に係る高解像度化装置の処理の流れの一例を示すフローチャートである。
【図２１】第３の実施形態に係る高解像度化装置の処理の流れの一例を示すフローチャートである。
【図２２】第４の実施形態に係る高解像度化装置の処理の流れの一例を示すフローチャートである。
【図２３】第４の実施形態に係る高解像度化装置の処理の流れの一例を示すフローチャートである。
【符号の説明】
【０１９７】
１００    高解像度化装置
１０１    仮高解像度画素値算出部
１０２    重要度算出部
１０３    対応位置算出部
１０４    画素値変換部
【図１】
2009100407.tif 000003
【図２】
2009100407.tif 000004
【図３】
2009100407.tif 000005
【図４】
2009100407.tif 000006
【図５】
2009100407.tif 000007
【図６】
2009100407.tif 000008
【図７】
2009100407.tif 000009
【図８】
2009100407.tif 000010
【図９】
2009100407.tif 000011
【図１０】
2009100407.tif 000012
【図１１】
2009100407.tif 000013
【図１２】
2009100407.tif 000014
【図１３】
2009100407.tif 000015
【図１４】
2009100407.tif 000016
【図１５】
2009100407.tif 000017
【図１６】
2009100407.tif 000018
【図１７】
2009100407.tif 000019
【図１８】
2009100407.tif 000020
【図１９】
2009100407.tif 000021
【図２０】
2009100407.tif 000022
【図２１】
2009100407.tif 000023
【図２２】
2009100407.tif 000024
【図２３】
2009100407.tif 000025