(57)【要約】【課題】より高精度の解像度補間をより高速に行うことができるようにする。【解決手段】解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行し、入力された低解像度の画像である観測低解像度画像の所定の画素、前記１フレーム前に出力された高解像度画像に対して前記モデルベース処理が実行されることで得られた画像、および予め記憶されているパラメータに基づいて、前記タップに係る所定の演算を行うことで、出力すべき高解像度画像の画素値を予測演算する。【選択図】図１３
2012244395.tif 000002
【特許請求の範囲】
【請求項１】
１フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行するモデルベース処理部と、
予め記憶されているパラメータ、入力された低解像度の画像である観測低解像度画像、および前記モデルベース処理が実行されることで得られた画像に基づいて、出力すべき高解像度画像の画素値を予測演算する予測演算部と
を備える画像処理装置。
【請求項２】
前記予測演算部は、
予め学習により生成された学習データベースに記憶されている前記パラメータを読み出し、前記予測演算を行う
請求項１に記載の画像処理装置。
【請求項３】
前記モデルベース処理部は、
１フレーム前に出力された高解像度画像を動き補償する動き補償部と、
前記動き補償された前記１フレーム前に出力された高解像度画像を、前記カメラモデルに応じて帯域制限して画素を間引くことで、推定低解像度画像を生成するダウンサンプラと、
入力された低解像度の画像である観測低解像度画像と、前記推定低解像度画像との差分を演算して差分画像データを生成する差分演算部と、
前記差分画像データの画素を補間することで、高解像度画像を生成するアップサンプラと
を備える請求項１に記載の画像処理装置。
【請求項４】
前記モデルベース処理部は、
１フレーム前に出力された高解像度画像に対してボケを付加するボケ付加部と、
前記ボケ付加部により付加されたボケを除去するボケ除去部と
を有する請求項１に記載の画像処理装置。
【請求項５】
前記モデルベース処理の過程で算出された特徴量に基づいて、注目画素をクラス分類するクラス分類部をさらに備え、
前記予測演算部は、
前記分類されたクラスに対応するパラメータとして予め記憶されている係数を用いた所定の演算を行って、出力すべき高解像度画像の画素値を予測演算する
請求項１に記載の画像処理装置。
【請求項６】
入力された低解像度の画像である観測低解像度画像の所定の画素、および、前記１フレーム前に出力された高解像度画像に対して前記モデルベース処理が実行されることで得られた画像の所定の画素をタップとして抽出するタップ抽出部をさらに備え、
前記予測演算部は、
予め記憶されているパラメータに基づいて、前記タップに係る所定の演算を行うことで、出力すべき高解像度画像の画素値を予測演算する
請求項１に記載の画像処理装置。
【請求項７】
モデルベース処理部が、１フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行し、
予測演算部が、予め記憶されているパラメータ、入力された低解像度の画像である観測低解像度画像、および前記モデルベース処理が実行されることで得られた画像に基づいて、出力すべき高解像度画像の画素値を予測演算するステップ
を含む画像処理方法。
【請求項８】
コンピュータを、
１フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行するモデルベース処理部と、
予め記憶されているパラメータ、入力された低解像度の画像である観測低解像度画像、および前記モデルベース処理が実行されることで得られた画像に基づいて、出力すべき高解像度画像の画素値を予測演算する予測演算部とを備える画像処理装置として機能させる
プログラム。
【請求項９】
請求項８に記載のプログラムが記録されている記録媒体。
【請求項１０】
１フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行するモデルベース処理部と、
高解像度の教師画像の解像度を変換して得られた低解像度の生徒画像の所定の画素、および、前記１フレーム前に出力された高解像度画像に対して前記モデルベース処理が実行されることで得られた画像の所定の画素をタップとして抽出するタップ抽出部と、
前記タップ、所定のパラメータ、および前記教師画像の画素値からなる方程式をサンプルとして蓄積するサンプル蓄積部と、
前記蓄積されたサンプルに基づいて、出力すべき高解像度画像の画素値の予測演算に用いられる前記所定のパラメータを算出するパラメータ算出部と
を備える学習装置。
【請求項１１】
前記算出されたパラメータを記憶するデータベースをさらに備え、
入力された低解像度画像を高解像度画像に変換する画像処理装置の画像処理に、前記データベースが用いられる
請求項１０に記載の学習装置。
【請求項１２】
前記モデルベース処理部は、
１フレーム前に出力された高解像度画像を動き補償する動き補償部と、
前記動き補償された前記１フレーム前に出力された高解像度画像を、前記カメラモデルに応じて帯域制限して画素を間引くことで、推定低解像度画像を生成するダウンサンプラと、
生徒画像と、前記推定低解像度画像との差分を演算して差分画像データを生成する差分演算部と、
前記差分画像データの画素を補間することで、高解像度画像を生成するアップサンプラと
を備える請求項１０に記載の学習装置。
【請求項１３】
前記モデルベース処理部は、
１フレーム前に出力された高解像度画像に対してボケを付加するボケ付加部と、
前記ボケ付加部により付加されたボケを除去するボケ除去部と
を有する請求項１０に記載の学習装置。
【請求項１４】
前記モデルベース処理の過程で算出された特徴量に基づいて、注目画素をクラス分類するクラス分類部をさらに備え、
前記パラメータ算出部は、
前記分類されたクラスに対応するパラメータとして、前記出力すべき高解像度画像の画素値を予測演算する際に前記タップに乗じる係数を算出する
請求項１０に記載の学習装置。
【請求項１５】
モデルベース処理部が、１フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行し、
タップ抽出部が、高解像度の教師画像の解像度を変換して得られた低解像度の生徒画像の所定の画素、および、前記１フレーム前に出力された高解像度画像に対して前記モデルベース処理が実行されることで得られた画像の所定の画素をタップとして抽出し、
サンプル蓄積部が、前記タップ、所定のパラメータ、および前記教師画像の画素値からなる方程式をサンプルとして蓄積し、
パラメータ算出部が、前記蓄積されたサンプルに基づいて、出力すべき高解像度画像の画素値の予測演算に用いられる前記所定のパラメータを算出するステップ
を含む学習方法。
【請求項１６】
コンピュータを、
１フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行するモデルベース処理部と、
高解像度の教師画像の解像度を変換して得られた低解像度の生徒画像の所定の画素、および、前記１フレーム前に出力された高解像度画像に対して前記モデルベース処理が実行されることで得られた画像の所定の画素をタップとして抽出するタップ抽出部と、
前記タップ、所定のパラメータ、および前記教師画像の画素値からなる方程式をサンプルとして蓄積するサンプル蓄積部と、
前記蓄積されたサンプルに基づいて、出力すべき高解像度画像の画素値の予測演算に用いられる前記所定のパラメータを算出するパラメータ算出部とを備える学習装置として機能させる
プログラム。
【請求項１７】
請求項１６に記載のプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、より高精度の解像度補間をより高速に行うことができるようにする学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
従来より画像の高画質化処理が実用化されている。例えば、入力信号の解像度が表示画面の解像度に満たない場合に、それを補うための解像度補間技術としての超解像技術が知られている。超解像技術を用いることにより、例えば、標準解像度のビデオソフトをフルＨＤの大画面テレビでみる場合に、足りない画素を補間してよりリアルな映像を楽しむことができる。
【０００３】
従来の超解像技術は、低解像度の画像から高解像度の画像の画素を繰り返し演算によって推定するものとされ、一般的には、次のような処理を行うものとされている。
【０００４】
まず、予めカメラモデル(劣化モデル)とカメラ動き(位置合わせ)を推定しておく。そして、高解像度画像から推定モデルを通して得られた推定低解像度画像と実際の観測された低解像度画像との誤差(差分)が小さくなるように、繰り返し演算によって徐々に高解像度画像を補正し、理想画像に近づける。
【０００５】
例えば、カメラモデル(劣化モデル)では、ぼけ(光学ぼけ、動きぼけ、PSF)や画素数変換(ダウンコンバート、プログレッシブ-インターレース変換)やノイズが考えられる。また、位置合わせでは、サブピクセル精度のカメラ動きや被写体動きの推定が用いられる。上記の、カメラモデル・位置合わせが正確に分かっている場合、エイリアシングのない高解像度画像を復元することが可能となる。
【０００６】
また、超解像処理器により求められたフィードバック値が、バッファに保持されている高解像度画像に加算され、そのような１回目の加算処理によって得られた高解像度画像が次の超解像処理器により求められたフィードバック値に加算され、ガウスザイデル法を用いた超解像処理によって高解像度画像が生成されるようにする技術も提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−１４００１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、通常カメラモデルや位置合わせを完全に特定することは不可能であり、画面内を均一のモデルで記述できるものではない。このようなカメラモデルや位置合わせに推定誤差が生じ、適切な高解像度画像の補正ができないと、例えば、エッジやディテールの過強調、オーバーシュート、ノイズの強調などの弊害が発生し、さらには大きな画質破綻へと繋がる。
【０００９】
これらの弊害への対策として、画像の事前情報から画質破綻やノイズの強調を防止する技術が考えられている(再構成型超解像ＭＡＰ法とも称される)。しかし、これだけでは、画像の事前情報に性能が大きく依存し、エイリアシング性能、解像度感、オーバーシュートの抑制、ノイズの抑制について、全てを満たすのは難しい。
【００１０】
さらに、従来の技術は、例えば、繰り返し演算による処理負荷が大きく高速処理の実現が難しかった。
【００１１】
本技術はこのような状況に鑑みて開示するものであり、より高精度の解像度補間をより高速に行うことができるようにするものである。
【課題を解決するための手段】
【００１２】
本技術の第１の側面は、１フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行するモデルベース処理部と、予め記憶されているパラメータ、入力された低解像度の画像である観測低解像度画像、および前記モデルベース処理が実行されることで得られた画像に基づいて、出力すべき高解像度画像の画素値を予測演算する予測演算部とを備える画像処理装置である。
【００１３】
前記予測演算部は、予め学習により生成された学習データベースに記憶されている前記パラメータを読み出し、前記予測演算を行うようにすることができる。
【００１４】
前記モデルベース処理部は、１フレーム前に出力された高解像度画像を動き補償する動き補償部と、前記動き補償された前記１フレーム前に出力された高解像度画像を、前記カメラモデルに応じて帯域制限して画素を間引くことで、推定低解像度画像を生成するダウンサンプラと、入力された低解像度の画像である観測低解像度画像と、前記推定低解像度画像との差分を演算して差分画像データを生成する差分演算部と、前記差分画像データの画素を補間することで、高解像度画像を生成するアップサンプラとを備えるようにすることができる。
【００１５】
前記モデルベース処理部は、１フレーム前に出力された高解像度画像に対してボケを付加するボケ付加部と、前記ボケ付加部により付加されたボケを除去するボケ除去部とを有するようにすることができる。
【００１６】
前記モデルベース処理の過程で算出された特徴量に基づいて、注目画素をクラス分類するクラス分類部をさらに備え、前記予測演算部は、前記分類されたクラスに対応するパラメータとして予め記憶されている係数を用いた所定の演算を行って、出力すべき高解像度画像の画素値を予測演算するようにすることができる。
【００１７】
入力された低解像度の画像である観測低解像度画像の所定の画素、および、前記１フレーム前に出力された高解像度画像に対して前記モデルベース処理が実行されることで得られた画像の所定の画素をタップとして抽出するタップ抽出部をさらに備え、前記予測演算部は、予め記憶されているパラメータに基づいて、前記タップに係る所定の演算を行うことで、出力すべき高解像度画像の画素値を予測演算するようにすることができる。
【００１８】
本発明の第１の側面は、モデルベース処理部が、１フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行し、予測演算部が、予め記憶されているパラメータ、入力された低解像度の画像である観測低解像度画像、および前記モデルベース処理が実行されることで得られた画像に基づいて、出力すべき高解像度画像の画素値を予測演算するステップを含む画像処理方法である。
【００１９】
本発明の第１の側面は、コンピュータを、１フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行するモデルベース処理部と、予め記憶されているパラメータ、入力された低解像度の画像である観測低解像度画像、および前記モデルベース処理が実行されることで得られた画像に基づいて、出力すべき高解像度画像の画素値を予測演算する予測演算部とを備える画像処理装置として機能させるプログラムである。
【００２０】
本発明の第１の側面においては、１フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理が実行され、予め記憶されているパラメータ、入力された低解像度の画像である観測低解像度画像、および前記モデルベース処理が実行されることで得られた画像に基づいて、出力すべき高解像度画像の画素値が予測演算される
【００２１】
本発明の第２の側面は、１フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行するモデルベース処理部と、高解像度の教師画像の解像度を変換して得られた低解像度の生徒画像の所定の画素、および、前記１フレーム前に出力された高解像度画像に対して前記モデルベース処理が実行されることで得られた画像の所定の画素をタップとして抽出するタップ抽出部と、前記タップ、所定のパラメータ、および前記教師画像の画素値からなる方程式をサンプルとして蓄積するサンプル蓄積部と、前記蓄積されたサンプルに基づいて、出力すべき高解像度画像の画素値の予測演算に用いられる前記所定のパラメータを算出するパラメータ算出部とを備える学習装置である。
【００２２】
前記算出されたパラメータを記憶するデータベースをさらに備え、入力された低解像度画像を高解像度画像に変換する画像処理装置の画像処理に、前記データベースが用いられるようにすることができる。
【００２３】
前記モデルベース処理部は、１フレーム前に出力された高解像度画像を動き補償する動き補償部と、前記動き補償された前記１フレーム前に出力された高解像度画像を、前記カメラモデルに応じて帯域制限して画素を間引くことで、推定低解像度画像を生成するダウンサンプラと、生徒画像と、前記推定低解像度画像との差分を演算して差分画像データを生成する差分演算部と、前記差分画像データの画素を補間することで、高解像度画像を生成するアップサンプラとを備えるようにすることができる。
【００２４】
前記モデルベース処理部は、１フレーム前に出力された高解像度画像に対してボケを付加するボケ付加部と、前記ボケ付加部により付加されたボケを除去するボケ除去部とを有するようにすることができる。
【００２５】
前記モデルベース処理の過程で算出された特徴量に基づいて、注目画素をクラス分類するクラス分類部をさらに備え、前記パラメータ算出部は、前記分類されたクラスに対応するパラメータとして、前記出力すべき高解像度画像の画素値を予測演算する際に前記タップに乗じる係数を算出するようにすることができる。
【００２６】
本発明の第２の側面は、モデルベース処理部が、１フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行し、タップ抽出部が、高解像度の教師画像の解像度を変換して得られた低解像度の生徒画像の所定の画素、および、前記１フレーム前に出力された高解像度画像に対して前記モデルベース処理が実行されることで得られた画像の所定の画素をタップとして抽出し、サンプル蓄積部が、前記タップ、所定のパラメータ、および前記教師画像の画素値からなる方程式をサンプルとして蓄積し、パラメータ算出部が、前記蓄積されたサンプルに基づいて、出力すべき高解像度画像の画素値の予測演算に用いられる前記所定のパラメータを算出するステップを含む学習方法である。
【００２７】
本発明の第２の側面は、コンピュータを、１フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行するモデルベース処理部と、高解像度の教師画像の解像度を変換して得られた低解像度の生徒画像の所定の画素、および、前記１フレーム前に出力された高解像度画像に対して前記モデルベース処理が実行されることで得られた画像の所定の画素をタップとして抽出するタップ抽出部と、前記タップ、所定のパラメータ、および前記教師画像の画素値からなる方程式をサンプルとして蓄積するサンプル蓄積部と、前記蓄積されたサンプルに基づいて、出力すべき高解像度画像の画素値の予測演算に用いられる前記所定のパラメータを算出するパラメータ算出部とを備える学習装置として機能させるプログラムである。
【００２８】
本技術の第２の側面においては、１フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理が実行され、高解像度の教師画像の解像度を変換して得られた低解像度の生徒画像の所定の画素、および、前記１フレーム前に出力された高解像度画像に対して前記モデルベース処理が実行されることで得られた画像の所定の画素がタップとして抽出され、前記タップ、所定のパラメータ、および前記教師画像の画素値からなる方程式がサンプルとして蓄積され、前記蓄積されたサンプルに基づいて、出力すべき高解像度画像の画素値の予測演算に用いられる前記所定のパラメータが算出される。
【発明の効果】
【００２９】
本技術によれば、より高精度の解像度補間をより高速に行うことができる。
【図面の簡単な説明】
【００３０】
【図１】１フレームの画面内の画素を用いる従来のアップコン技術により得られた画像の例を示す図である。
【図２】ＳＤｉ信号の画素と、ＨＤｐ信号の画素の位置を示す図である。
【図３】過去に生成された複数の画像の画素を用いる従来の超解像技術により得られた画像の例を示す図である。
【図４】ＳＤｉ信号の画素と、ＨＤｐ信号の画素の位置を示す図である。
【図５】１フレームの画面内の画素を用いた場合と、過去に生成された複数の画像の画素を用いた場合の超解像技術により得られる画像の例を示す図である。
【図６】図５とは別の画像の例を示す図である。
【図７】従来の超解像技術を説明する概念図である。
【図８】従来の超解像技術を採用した画像処理装置の構成例を示すブロック図である。
【図９】従来の画像処理装置による処理を極めて簡素化して表現した図である。
【図１０】本技術を適用した画像処理装置による処理を極めて簡素化して表現した図である。
【図１１】本技術における係数の学習を説明する概念図である。
【図１２】本技術における高解像度画像の生成を説明する概念図である。
【図１３】本技術の一実施の形態に係る学習装置の構成例を示すブロック図である。
【図１４】本技術の一実施の形態に係る画像処理装置の構成例を示すブロック図である。
【図１５】係数学習処理の例を説明するフローチャートである。
【図１６】モデルベース処理の例を説明するフローチャートである。
【図１７】サンプル蓄積処理の例を説明するフローチャートである。
【図１８】超解像処理の例を説明するフローチャートである。
【図１９】予測処理の例を説明するフローチャートである。
【図２０】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３１】
以下、図面を参照して、ここで開示する技術の実施の形態について説明する。
【００３２】
最初に従来の超解像技術について説明する。
【００３３】
図１は、従来のアップコン技術により高画質化された画像の例を示している。この例では、ＳＤ（Standard Definition）ｉ（interlace）信号の画像を、ＨＤ（High Definition）ｐ（（progressive）信号の画像に変換する例が示されている。同図に示される画像は、動画であり、この例では、時刻ｔ乃至時刻ｔ＋４の各フレームの画像が表示されている。この例における高画質化処理は、１フレームの画面内の画素に基づいて行われるものとされ、例えば、複数のＳＤｉ信号の画素に基づいて、１つのＨＤｐ信号の画素が生成されるようになされている。すなわち、画像がアップコンバート（アップコン）される例を示している。
【００３４】
図１には、図中の最も上に理想画像として本来生成されるべきＨＤｐ信号の画像が示されている。そして、図１には、ＳＤｉ信号を高画質化処理されて得られた画像であって、時刻ｔ乃至時刻ｔ＋４の各フレームの画像が図中上から下に順番に並べられて表示されている。
【００３５】
図２は、縦軸が垂直方向の画素位置とされ、横軸が時刻とされ、ＳＤｉ信号の画素と、超解像技術による高画質化処理により生成（補間）されたＨＤｐ信号の画素が図中の丸い図形により示されている。ＳＤｉ信号の画素は、比較的大きいハッチングされた丸によって示されており、ＨＤｐ信号の画素は、比較的小さい黒い丸によって示されている。
【００３６】
高画質化処理の対象とされた画像は、動きを有する画像であるため、図１において、×印により示される画素は、図中において垂直方向に移動している。すなわち、図２に示される円で囲まれた黒い丸が図１の×印により示される画素に対応している。
【００３７】
上述したように、この例における高画質化処理は、１フレームの画面内の画素に基づいて行われるものであるため、ＳＤｉ信号の画素の位置から離れた位置にあるＨＤｐ信号の画素により構成される画像の画素の補間精度が低いものになってしまうことが多い。
【００３８】
例えば、図２に示されるように、時刻ｔ＋２のフレームにおける図中の円で囲まれたＨＤｐ信号の画素は、ＳＤｉ信号の画素の位置から離れて位置している。このため、図１の時刻ｔ＋２の画像において、図中の×印で示される位置付近の画像の画素の補間精度が低い状態で表示されている。
【００３９】
これに対して、時間的に前（過去）に存在する複数の時刻のフレームの画像の画素を用いて高画質化処理を行う場合、ＳＤｉ信号の画素の位置から離れた位置にあるＨＤｐ信号の画素により構成される画像の画素の補間精度を高めることができる。
【００４０】
図３は、従来の超解像技術により高画質化された画像の例を示している。この例では、ＳＤｉ信号の画像を、ＨＤｐ信号の画像に変換する例が示されている。同図に示される画像は、動画であり、この例では、時刻ｔ乃至時刻ｔ＋４の各フレームの画像が表示されている。この例における高画質化処理は、過去に生成された複数の画像の画素を用いて行われるものとされ、例えば、複数のＳＤｉ信号の画素に基づいて、１つのＨＤｐ信号の画素が生成されるようになされている。
【００４１】
図３には、図中の最も上に理想画像として本来生成されるべきＨＤｐ信号の画像が示されている。そして、図３には、ＳＤｉ信号を従来の超解像技術による高画質化処理が施されて得られた画像であって、時刻ｔ乃至時刻ｔ＋４の各フレームの画像が図中上から下に順番に並べられて表示されている。
【００４２】
図４は、縦軸が垂直方向の画素位置とされ、横軸が時刻とされ、ＳＤｉ信号の画素と、高画質化処理により生成（補間）されたＨＤｐ信号の画素が図中の丸い図形により示されている。ＳＤｉ信号の画素は、比較的大きいハッチングされた丸によって示されており、ＨＤｐ信号の画素は、比較的小さい黒い丸によって示されている。
【００４３】
図３に示される画像の場合、図１の場合と異なり、時刻が進むに従って、画像が鮮明に表示されている。例えば、時刻ｔ＋４に示される画像では、図１において見られたように、ＳＤｉ信号の画素の位置から離れた位置の画素が不鮮明に表示されるなどの問題も見られないし、画像中のエッジなどのディテール部分も鮮明に表示されている。
【００４４】
図５と図６は、１フレームの画面内の画素を用いた超解像技術により得られた画像と、過去に生成された複数の画像の画素を用いた超解像技術により得られた画像の別の例を示す図である。
【００４５】
図５Ｃと図６Ｃは、それぞれ理想画像とされ、実際の被写体に近い画像とされている。図５Ｃの場合、エッジを多く含む画像が表示されており、図６Ｃの場合、文字を多く含む画像が表示されている。
【００４６】
図５Ａは、１フレームの画面内の画素に基づいて行われる高画質化処理により得られた画像の例とされ、図５Ｂは、過去に生成された複数の画像の画素を用いて行われる高画質化処理により得られた画像の例とされる。例えば、図５Ａの場合、画面内のエッジとなる画像の付近に折り返し歪が発生している。一方で、図５Ｂの場合、より理想画像（図５Ｃ）に近い画像が得られている。図５Ｂの場合、複数の画像の画素を用いることにより、理想画像の画質に近づけることができるからである。
【００４７】
図６Ａは、１フレームの画面内の画素に基づいて行われる高画質化処理により得られた画像の例とされ、図６Ｂは、過去に生成された複数の画像の画素を用いて行われる高画質化処理により得られた画像の例とされる。例えば、図６Ａの場合、画面内の文字の画像が不鮮明に表示されている。一方で、図６Ｂの場合、より理想画像（図６Ｃ）に近い画像が得られている。図６Ｂの場合、後述する繰り返し演算により、理想画像の画質に近づけることができるからである。
【００４８】
このように、図５、図６いずれの場合であっても、過去に生成された複数の画像の画素を用いて高画質化処理を施すことにより、理想画像に近い画像を得ることができることが分かる。
【００４９】
図７と図８は従来の超解像技術を説明する図である。なお、この例における高画質化処理は、低解像度の画像を高解像度の画像に変換するものであって、過去に生成された複数の画像の画素を用いて行われるものとされる。
【００５０】
従来の超解像技術においては、例えば、図７に示されるように、カメラで被写体を撮影し、観測低解像度画像（例えば、ＳＤｉ信号の画像）が得られる。
【００５１】
一方、１フレーム前の高解像度画像（例えば、ＨＤｐ信号の画像）に対して、被写体がカメラで撮影された場合のカメラモデル(劣化モデル)とカメラ動き(位置合わせ)が付加される。例えば、１フレーム前の高解像度画像に意図的にボケが付加され、動き補償がなされ、その後画像がダウンサンプルされるなどして低解像度の画像に変換される。その結果、推定低解像度画像（例えば、ＳＤｉ信号の画像）が得られる。
【００５２】
さらに、推定低解像度画像の各画素と観測低解像度画像の各画素との差分値（誤差）が演算され、この誤差を小さくするように、高解像度画像が更新される。
【００５３】
上述のような処理を、例えば、１フレームにつき数回繰り返すことにより、都度、高解像度画像が更新されていくことになる。そして、高解像度画像の画質は、徐々に理想画像の画質に近づいていくことになる。このように、高解像度画像の画素値の更新を繰り返す処理を繰り返し演算と称することもある。
【００５４】
例えば、繰り返し演算を３回行った場合、通常、繰り返し演算を２回行った場合よりも、理想画像の画質に近づけることができる。このように、直近の演算処理によって更新された高解像度画像の画素を、繰り返し演算によりさらに更新することで、高解像度画像の画質は、徐々に理想画像の画質に近づいていく。
【００５５】
図８は、従来の超解像技術を採用した画像処理装置の構成例を示すブロック図である。同図に示される画像処理装置１０は、動き補償部（ＭＣ）２１、ボケ付加部（Ｂｌｕｒ）２２、ダウンサンプラ２３、加算器２４、アップサンプラ２５、ボケ除去部（Ｉｎｖ Ｂｌｕｒ）２６、乗算器２７、および加算器２８により構成されている。
【００５６】
動き補償部２１は、直前に更新された高解像度画像の供給を受けて、動きベクトルを算出するなどして動き補償する。なお、動き補償部２１から出力された画像を、適宜、動き補償後の直前に更新された高解像度画像と称することにする。動き補償後の直前に更新された高解像度画像は、ボケ付加部２２に供給される。
【００５７】
ボケ付加部２２は、動き補償後の直前に更新された高解像度画像にカメラで撮影された場合に生じるようなボケを付加する。すなわち、カメラのＰＳＦや光学ぼけなどを推定（模擬）して画像を生成する。なお、ここでは、所定の画像に基づいて、カメラのＰＳＦや光学ぼけなどを推定（模擬）して画像を生成することを、ボケを付加すると称している。ボケが付加された動き補償後の直前に更新された高解像度画像は、ダウンサンプラ２３に供給される。
【００５８】
ダウンサンプラ２３は、ボケが付加された動き補償後の直前に更新された高解像度画像の画素を間引くなどして解像度の低い画像を生成する。これにより、推定低解像度画像が生成される。
【００５９】
加算器２４は、推定低解像度画像の各画素と観測低解像度画像の各画素との差分値（誤差）を演算する。この演算結果は、アップサンプラ２５に供給される。
【００６０】
アップサンプラ２５は、加算器２４による演算結果のデータについて画素を補間するなどして高解像度画像を生成し、ボケ除去部（Ｉｎｖ Ｂｌｕｒ）２６に供給する。
【００６１】
ボケ除去部２６は、供給された高解像度画像のボケを除去する。すなわち、ボケ付加部２２により付加されるボケを除去するような処理が施される。
【００６２】
なお、ボケ付加部２２とボケ除去部２６が設けられないようにしてもよい。
【００６３】
乗算器２７は、ボケ除去部２６から出力された高解像度画像の各画素の画素値に所定のゲインを乗じ、加算器２８に出力する。
【００６４】
加算器２８は、動き補償後の直前に更新された高解像度画像の各画素と乗算器２７の演算結果と加算し、その加算結果を高解像度画像として出力する。
【００６５】
すなわち、従来の画像処理装置１０は、極めて簡素化して表現すると、例えば、図９に示されるように、低解像度画像と、フィードバックされた高解像度画像とをモデルベースで変換することで、高解像度画像を生成するものとされていた。つまり、動き補償やボケの付加または除去などは、カメラモデルとして提供されている画像変換モデル、位置合わせとして提供されている画像変換モデルに基づく処理と考えることができ、このような画像の変換をモデルベースの処理と称することにする。
【００６６】
なお、上述の例におけるフィードバックについては、直前に更新された高解像度画像がフィードバックされることになる。そして、直前に更新された高解像度画像がフィードバックされてさらに更新される。このようなフィードバックが、例えば、１フレームにつき複数回繰り返すことにより、都度、高解像度画像が更新されていく。
【００６７】
また、同図におけるモデルベースは、処理の概念を表すものであり、例えば、図８の動き補償部２１、ボケ付加部２２、ダウンサンプラ２３などの処理、またはそれらの逆変換の処理に対応するものとされる。
【００６８】
しかしながら、通常カメラモデルや位置合わせを完全に特定することは不可能であり、画面内を均一のモデルで記述できるものではない。つまり、図９に示されるモデルベースを適切に構築することは難しい。このようなカメラモデルや位置合わせに推定誤差が生じ、適切な高解像度画像の補正ができないと、例えば、エッジやディテールの過強調、オーバーシュート、ノイズの強調などの弊害が発生し、さらには大きな画質破綻へと繋がる。
【００６９】
これらの弊害への対策として、画像の事前情報から画質破綻やノイズの強調を防止する技術が考えられている(再構成型超解像ＭＡＰ法とも称される)。しかし、これだけでは、画像の事前情報に性能が大きく依存し、エイリアシング性能、解像度感、オーバーシュートの抑制、ノイズの抑制について、全てを満たすのは難しい。
【００７０】
さらに、従来の技術は、例えば、上述したように１フレームにつき複数回行われる繰り返し演算による処理負荷が大きく高速処理の実現が難しかった。
【００７１】
そこで本技術においては、例えば、図１０に示されるように、モデルベースの処理に学習データベースを用いた処理を加えることにする。すなわち、高解像度画像を教師画像とし、教師画像を劣化させるなどして生成した低解像度画像を生徒画像として装置に入力し、生徒画像から高解像度画像を生成させる。そして、生成された高解像度画像と教師画像を比較することにより、高解像度画像の画素値を推定するためのパラメータなどを算出し（学習させ）、学習データベースに記憶させるのである。
【００７２】
例えば、図１１に示されるように、生徒画像として入力された低解像度画像（例えば、ＳＤｉ信号の画像）を、観測低解像度画像として取り扱う。
【００７３】
一方、１フレーム前の高解像度画像（例えば、ＨＤｐ信号の画像）に対して、被写体がカメラで撮影された場合のカメラモデル(劣化モデル)とカメラ動き(位置合わせ)が付加される。例えば、１フレーム前の高解像度画像に意図的にボケが付加され、動き補償がなされる。その結果、推定低解像度画像（例えば、ＳＤｉ信号の画像）が得られる。なお、ここでは、所定の画像に基づいて、カメラのＰＳＦや光学ぼけなどを推定（模擬）して画像を生成することを、ボケを付加すると称している。
【００７４】
さらに、推定低解像度画像の各画素と観測低解像度画像の各画素との差分値（誤差）が演算され、高解像度画像を生成するために必要となる情報の学習を経て高解像度画像が更新される。
【００７５】
いまの場合、観測低解像度画像の画素と、動き補償後の１フレーム前の高解像度画像の画素に基づいて高解像度画像の画素を推定するための所定の係数が学習される。例えば、教師画像の画素値をｙtとし、生徒画像の画素値をｘiとし、動き補償後の１フレーム前の高解像度画像の画素値をｘjとし、式（１）に示されるような線形一次式を想定する。
【００７６】
【数１】
2012244395.tif 000003
・・・（１）
【００７７】
ここで、式（１）における係数ｗiは、観測低解像度画像の画素値に乗じられる係数とされ、係数ｗjは、動き補償後の１フレーム前の高解像度画像の画素値に乗じられる係数とされる。また、式（１）におけるＮは、教師画像の画素値を算出するために用いられる生徒画像の画素数とされ、Ｍは、教師画像の画素値を算出するために用いられる動き補償後の１フレーム前の高解像度画像の画素数とされる。
【００７８】
また、例えば、注目画素について、生徒画像の画素値と推定低解像度画像の差分値を特徴量として所定のクラスにクラス分類する。なお、ここで注目画素は、高解像度画像において得るべき画素とされる。従って、実際の注目画素に対応する特徴量は、生徒画像の画素値と推定低解像度画像の差分のデータに対してアップサンプラによる画素補間がなされ、さらにボケ除去部によるボケ除去がなされたデータの画素値から得られることになる。
【００７９】
なお、これ以外の方式で注目画素がクラス分類されるようにしてもよい。例えば、ＡＤＲＣ(Adaptive Dynamic Range Coding)などを用いたクラス分類が行われるようにしてもよい。
【００８０】
上述のように注目画素をクラス分類した後、クラス毎に式（１）のサンプルを多数蓄積する。そして、最小二乗法を用いて、クラス毎に係数ｗiと係数ｗjを算出する。
【００８１】
このようにして算出された係数ｗiと係数ｗjが学習データベースに記憶される。
【００８２】
そして、実際に入力された画像に対して、高画質化する処理を実行する際に、学習データベースに記憶された係数ｗiと係数ｗjが用いられる。
【００８３】
すなわち、図１２に示されるように、観測低解像度画像を高解像度画像に変換するために、次のような処理が行われる。
【００８４】
カメラで被写体を撮影し、観測低解像度画像（例えば、ＳＤｉ信号の画像）が得られる。
【００８５】
一方、１フレーム前の高解像度画像（例えば、ＨＤｐ信号の画像）に対して、被写体がカメラで撮影された場合のカメラモデル(劣化モデル)とカメラ動き(位置合わせ)が付加される。例えば、１フレーム前の高解像度画像に意図的にボケが付加され、動き補償がなされ、その後画像がダウンサンプルされるなどして低解像度の画像に変換される。その結果、推定低解像度画像（例えば、ＳＤｉ信号の画像）が得られる。なお、ここでは、所定の画像に基づいて、カメラのＰＳＦや光学ぼけなどを推定（模擬）して画像を生成することを、ボケを付加すると称している。
【００８６】
さらに、注目画素がクラス分類され、分類されたクラスに対応する係数を用いて高解像度画像の画素値が予測（演算）される。ここでは、学習時と同様に、例えば、注目画素について、生徒画像の画素値と推定低解像度画像の差分値を特徴量としてクラス分類される。そして、分類されたクラスに対応付けられて学習データベースに記憶されている係数ｗiと係数ｗjが読み出される。
【００８７】
例えば、予測すべき高解像度画像の画素値をｙとし、観測低解像度画像の画素値をｘiとし、動き補償後の１フレーム前の高解像度画像の画素値をｘjとし、式（２）の演算により、高解像度画像の画素値が予測（演算）される。
【００８８】
【数２】
2012244395.tif 000004
・・・（２）
【００８９】
ここで、式（２）における係数ｗiは、観測低解像度画像の画素値に乗じられる係数とされ、係数ｗjは、動き補償後の１フレーム前の高解像度画像の画素値に乗じられる係数とされ、注目画素のクラスに応じて学習データベースから読み出される。また、式（２）におけるＮは、高解像度画像の画素値を算出するために用いられる観測低解像度画像の画素数とされ、Ｍは、高解像度画像の画素値を算出するために用いられる動き補償後の１フレーム前の高解像度画像の画素数とされ、それぞれ学習時と同様の画素数とされる。
【００９０】
高解像度画像の各画素値を式（２）により演算された画素値に置き換えることにより高解像度画像が更新される。
【００９１】
本技術によれば、例えば、図７を参照して上述した従来の超解像技術の場合とは異なり、１フレームにつき１回だけ式（２）の演算を行うことにより、理想画像に近い高解像度画像の画素が生成される。従って、繰り返し演算による処理負荷から解放され、高速処理の実現が容易になる。
【００９２】
また、本技術によれば、式（２）の演算に用いられる係数が予め学習されて記憶されている。従って、例えば、カメラモデルや位置合わせに推定誤差が生じたとしても、例えば、エッジやディテールの過強調、オーバーシュート、ノイズの強調などの弊害が抑制されるようにすることができる。カメラモデルや位置合わせに推定誤差が生じたとしても、その推定誤差を含んだ状態から理想画像に近い画像を生成するための係数を学習しているからである。
【００９３】
よって、本技術によれば、例えば、カメラモデルや位置合わせを必ずしも完璧に整える必要はないので、例えば、装置の構成を複雑化させることなく、処理精度の高度化を図ることができる。
【００９４】
図１３は、本技術の一実施の形態に係る学習装置の構成例を示すブロック図である。この学習装置１００では、高解像度画像が教師画像とされ、教師画像を劣化させるなどして生成した低解像度画像が生徒画像として入力され、生徒画像から高解像度画像が生成される。そして、生成された高解像度画像と教師画像を比較することにより、高解像度画像の画素値を推定するためのパラメータなどを算出し（学習させ）、学習データベースに記憶させるようになされている。
【００９５】
同図に示される学習装置１００は、モデルベース処理部１１１、学習処理部１１２、学習データベース１１３、加算器１２４、アップサンプラ１２５、およびボケ除去部（Ｉｎｖ Ｂｌｕｒ）１２６を有する構成とされている。また、モデルベース処理部１１１は、動き補償部（ＭＣ）１２１、ボケ付加部（Ｂｌｕｒ）１２２、およびダウンサンプラ１２３により構成されている。
【００９６】
すなわち、この学習装置１００は、従来の超解像技術におけるモデルベースの処理とともに、高解像度画像の生成に用いられる所定の係数を学習する構成とされている。
【００９７】
図１３において、動き補償部１２１は、１フレーム前の高解像度画像の供給を受けて、動きベクトルを算出するなどして動き補償する。動き補償後の１フレーム前の高解像度画像は、ボケ付加部１２２に供給される。
【００９８】
ボケ付加部１２２は、動き補償後の１フレーム前の高解像度画像にカメラで撮影された場合に生じるようなボケを付加する。ボケが付加された動き補償後の１フレーム前の高解像度画像は、ダウンサンプラ１２３に供給される。
【００９９】
ダウンサンプラ１２３は、ボケが付加された動き補償後の１フレーム前の高解像度画像の画素を間引くなどして解像度の低い画像を生成する。これにより、推定低解像度画像が生成される。
【０１００】
加算器１２４は、推定低解像度画像の各画素と観測低解像度画像の各画素との差分値（誤差）を演算する。この演算結果のデータは、アップサンプラ１２５に供給される。
【０１０１】
アップサンプラ１２５は、加算器１２４による演算結果について画素を補間するなどして高解像度画像を生成し、ボケ除去部（Ｉｎｖ Ｂｌｕｒ）１２６に供給する。
【０１０２】
ボケ除去部１２６は、供給された高解像度画像のボケを除去する。すなわち、ボケ付加部１２２により付加されるボケを除去するような処理が施される。
【０１０３】
なお、ボケ付加部１２２とボケ除去部１２６が設けられないようにしてもよい。
【０１０４】
学習処理部１１２には、生徒画像と教師画像、ボケ除去部１２６から出力されるデータが供給される。学習処理部１１２は、生徒画像の画素と、動き補償後の１フレーム前の高解像度画像の画素に基づいて高解像度画像の画素を推定するための係数を、例えば、次のように学習する。
【０１０５】
例えば、学習処理部１１２は、上述したように注目画素をクラス分類し、クラス毎に式（１）のサンプルを多数蓄積する。そして、最小二乗法を用いて、クラス毎に係数ｗiと係数ｗjを算出する。
【０１０６】
このようにして算出された係数ｗiと係数ｗjが学習処理部１１２による処理結果としてクラス毎に学習データベース１１３に記憶される。
【０１０７】
図１４は、本技術の一実施の形態に係る画像処理装置の構成例を示すブロック図である。この画像処理装置２００は、図１３の学習装置１００に対応する画像処理装置であり、学習装置１００による学習結果を用いて、低解像度の入力画像を高解像度の出力画像に変換するようになされている。
【０１０８】
同図に示される画像処理装置２００は、モデルベース処理部２１１、予測処理部２１２、学習データベース２１３、加算器２２４、アップサンプラ２２５、およびボケ除去部（Ｉｎｖ Ｂｌｕｒ）２２６を有する構成とされている。また、モデルベース処理部２１１は、動き補償部（ＭＣ）２２１、ボケ付加部（Ｂｌｕｒ）２２２、およびダウンサンプラ２２３により構成されている。
【０１０９】
すなわち、この画像処理装置２００は、従来の超解像技術におけるモデルベースの処理に加えて、学習データベースを用いた予測処理を行う構成とされている。また、画像処理装置２００における学習データベース２１３は、学習データベース１１３に記憶されていた情報がコピーされるなどして生成されたものとされる。
【０１１０】
図１４において、動き補償部２２１は、１フレーム前の高解像度画像の供給を受けて、動きベクトルを算出するなどして動き補償する。動き補償後の１フレーム前の高解像度画像は、ボケ付加部２２２に供給される。
【０１１１】
ボケ付加部２２２は、動き補償後の１フレーム前の高解像度画像にカメラで撮影された場合に生じるようなボケを付加する。ボケが付加された動き補償後の１フレーム前の高解像度画像は、ダウンサンプラ２２３に供給される。
【０１１２】
ダウンサンプラ２２３は、ボケが付加された動き補償後の１フレーム前の高解像度画像の画素を間引くなどして解像度の低い画像を生成する。これにより、推定低解像度画像が生成される。
【０１１３】
加算器２２４は、推定低解像度画像の各画素と観測低解像度画像の各画素との差分値（誤差）を演算する。この演算結果は、アップサンプラ２２５に供給される。
【０１１４】
アップサンプラ２２５は、加算器２２４による演算結果について画素を補間するなどして高解像度画像を生成し、ボケ除去部（Ｉｎｖ Ｂｌｕｒ）２２６に供給する。
【０１１５】
ボケ除去部２２６は、供給された高解像度画像のボケを除去する。すなわち、ボケ付加部２２２により付加されるボケを除去するような処理が施される。
【０１１６】
予測処理部２１２には、入力画像である低解像度画像、動き補償後の１フレーム前の高解像度画像、ボケ除去部２２６から出力されるデータが供給される。予測処理部２１２は、上述したように注目画素をクラス分類し、そのクラスに対応する係数ｗiと係数ｗjを、学習データベース２１３から読み出す。
【０１１７】
そして、予測処理部２１２は、読み出した係数ｗiと係数ｗjを用いて式（２）の演算を行うことで、高解像度画像の画素値を予測する。高解像度画像の各画素値を式（２）により演算された画素値に置き換えることにより高解像度画像が更新される。
【０１１８】
次に、図１５のフローチャートを参照して、図１３の学習装置１００による係数学習処理の例について説明する。
【０１１９】
ステップＳ２１において、例えば、ユーザにより教師画像と生徒画像が入力される。
【０１２０】
ステップＳ２２において、注目画素が設定される。なお、注目画素は、画素値の演算の対象となる高解像度画像の画素とされる。
【０１２１】
ステップＳ２３において、モデルベース処理部１１１などが、図１６を参照して後述するモデルベース処理を実行する。
【０１２２】
ここで、図１６のフローチャートを参照して、図１５のステップＳ２３のモデルベース処理の詳細な例について説明する。
【０１２３】
ステップＳ４１において、動き補償部１２１は、１フレーム前の高解像度画像の供給を受けて、動きベクトルを算出するなどして動き補償する。
【０１２４】
ステップＳ４２において、ボケ付加部１２２は、動き補償後の１フレーム前の高解像度画像にカメラで撮影された場合に生じるようなボケを付加する。なお、ここでは、所定の画像に基づいて、カメラのＰＳＦや光学ぼけなどを推定（模擬）して画像を生成することを、ボケを付加すると称している。
【０１２５】
ステップＳ４３において、ダウンサンプラ１２３は、ボケが付加された動き補償後の１フレーム前の高解像度画像の画素を間引く（ダウンサンプルする）などして解像度の低い画像を生成する。これにより、推定低解像度画像が生成される。
【０１２６】
ステップＳ４４において、加算器１２４は、推定低解像度画像の各画素と観測低解像度画像（いまの場合、生徒画像）の各画素との差分値を演算する。
【０１２７】
ステップＳ４５において、アップサンプラ１２５は、ステップＳ４４における加算器１２４による演算結果について画素を補間する（アップサンプルする）などして高解像度画像を生成する。
【０１２８】
ステップＳ４６において、ボケ除去部１２６は、供給された高解像度画像のボケを除去する。すなわち、ステップＳ４２の処理でボケ付加部１２２により付加されたボケを除去するような処理が施される。
【０１２９】
このようにして、モデルベース処理が実行される。
【０１３０】
図１５に戻って、ステップＳ２３の処理の後、ステップＳ２４において、学習処理部１１２は、図１７を参照して後述するサンプル蓄積処理を実行する。
【０１３１】
ここで、図１７のフローチャートを参照して、図１５のステップＳ２４のサンプル蓄積処理の詳細な例について説明する。
【０１３２】
ステップＳ６１において、学習処理部１１２は、注目画素について、例えば、生徒画像の画素値と推定低解像度画像の差分値を特徴量として取得する。なお、実際の注目画素に対応する特徴量は、生徒画像の画素値と推定低解像度画像の差分のデータに対してアップサンプラによる画素補間がなされ、さらにボケ除去部によるボケ除去がなされたデータの画素値から得られることになる。
【０１３３】
また、これ以外の特徴量が取得されるようにしてもよい。
【０１３４】
ステップＳ６２において、学習処理部１１２は、ステップＳ６１で取得した特徴量に基づいて、注目画素をクラス分類する。
【０１３５】
ステップＳ６３において、学習処理部１１２は、タップを抽出する。このとき、例えば、生徒画像の中のＮ個の画素、および、動き補償後の１フレーム前の高解像度画像の中のＭ個の画素がタップとして抽出される。
【０１３６】
ステップＳ６４において、学習処理部１１２は、ステップＳ６２の処理により分類されたクラスに対応付けて式（１）のサンプルを生成する。すなわち、式（１）のｙtに教師画像の画素値、ｘi、ｘjにそれぞれ、ステップＳ６３の処理で抽出したタップの値を代入してサンプルが生成される。
【０１３７】
ステップＳ６５において、学習処理部１１２は、クラス毎にサンプルを蓄積する。
【０１３８】
このようにして、サンプル蓄積処理が実行される。
【０１３９】
図１５に戻って、ステップＳ２４の処理の後、処理は、ステップＳ２５に進み、次の注目画素があるか否かが判定される。ステップＳ２５において、次の注目画素があると判定された場合、処理は、ステップＳ２２に戻り、それ以降の処理が繰り返し実行される。
【０１４０】
ステップＳ２５において、次の注目画素がないと判定された場合、処理は、ステップＳ２６に進む。
【０１４１】
ステップＳ２６において、学習処理部１１２は、ステップＳ６５の処理で蓄積されたサンプルに基づいて、最小二乗法などにより係数ｗiと係数ｗjをクラス毎に算出する。
【０１４２】
ステップＳ２７において、学習処理部１１２は、ステップＳ２６の処理で算出された係数ｗiと係数ｗjが、クラスに対応付けられて記憶された学習データベース１１３を生成する。
【０１４３】
このようにして係数学習処理が実行される。
【０１４４】
次に、図１８のフローチャートを参照して、図１４の画像処理装置２００による超解像処理の例について説明する。なお、この処理に先立って、画像処理装置２００における学習データベース２１３には、学習データベース１１３に記憶されていた情報がコピーなどされているものとする。
【０１４５】
ステップＳ１０１において、例えば、ユーザにより観測低解像度画像が入力される。
【０１４６】
ステップＳ１０２において、最初の高解像度画像が生成される（初期設定がなされる）。例えば、観測低解像度画像の第１番目のフレームの画像を、単にアップサンプルした画像が最初の高解像度画像として生成される。
【０１４７】
ステップＳ１０３において、注目画素が設定される。なお、注目画素は、画素値の演算の対象となる高解像度画像の画素とされる。
【０１４８】
ステップＳ１０４において、モデルベース処理部２１１などがモデルベース処理を実行する。なお、ステップＳ１０４において実行されるモデルベース処理は、図１６を参照して上述したものと同様なので、詳細な説明は省略する。
【０１４９】
ステップＳ１０５において、予測処理部２１２は、図１９を参照して後述する予測処理を実行する。
【０１５０】
ここで、図１９のフローチャートを参照して、図１８のステップＳ１０５の予測処理の詳細な例について説明する。
【０１５１】
ステップＳ１２１において、予測処理部２１２は、注目画素について、例えば、観測低解像度画像の画素値と推定低解像度画像の差分値を特徴量として取得する。なお、実際の注目画素に対応する特徴量は、観測低解像度画像の画素値と推定低解像度画像の差分のデータに対してアップサンプラによる画素補間がなされ、さらにボケ除去部によるボケ除去がなされたデータの画素値から得られることになる。
【０１５２】
また、これ以外の特徴量が取得されるようにしてもよい。
【０１５３】
ステップＳ１２２において、予測処理部２１２は、ステップＳ１２１で取得した特徴量に基づいて、注目画素をクラス分類する。
【０１５４】
ステップＳ１２３において、予測処理部２１２は、タップを抽出する。このとき、例えば、観測低解像度画像の中のＮ個の画素、および、動き補償後の１フレーム前の高解像度画像の中のＭ個の画素がタップとして抽出される。
【０１５５】
ステップＳ１２４において、予測処理部２１２は、ステップＳ１２２の処理の結果分類されたクラスに対応する係数ｗiと係数ｗjを、学習データベース２１３から読み出す。
【０１５６】
ステップＳ１２５において、予測処理部２１２は、予測演算を行う。すなわち、予測処理部２１２は、ステップＳ１２３の処理で抽出したタップと、ステップＳ１２４の処理で読み出した係数ｗiと係数ｗjを用いて式（２）の演算を行うことで、高解像度画像の画素値を予測する。
【０１５７】
ステップＳ１２６において、予測処理部２１２は、高解像度画像の各画素値をステップＳ１２４の処理の結果得られた画素値に置き換える。
【０１５８】
このようにして予測処理が実行される。
【０１５９】
図１８に戻って、ステップＳ１０５の処理の後、処理は、ステップＳ１０６に進み、次の注目画素があるか否かが判定される。ステップＳ１０６において、次の注目画素があると判定された場合、処理は、ステップＳ１０３に戻り、それ以降の処理が繰り返し実行される。
【０１６０】
一方、ステップＳ１０６において、次の注目画素がないと判定された場合、処理は、ステップＳ１０７に進む。
【０１６１】
ステップＳ１０７において、出力画像としての高解像度画像が表示される。
【０１６２】
このようにして、超解像処理が実行される。
【０１６３】
なお、以上においては、学習装置１００において、注目画素をクラス分類し、高解像度画像の画素を生成するために必要な係数が最小二乗法によりクラス毎に算出される学習アルゴリズムについて説明したが、これとは異なる学習アルゴリズムが採用されるようにしてもよい。
【０１６４】
例えば、学習アルゴリズムに、ニューラルネットワークやサポートベクタマシン(ＳＶＭ)などが採用されるようにしてもよい。
【０１６５】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図２０に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０１６６】
図２０において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１６７】
ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０１６８】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、ＬＡＮカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１６９】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０１７０】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０１７１】
なお、この記録媒体は、図２０に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０１７２】
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１７３】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１７４】
なお、本技術は以下のような構成も取ることができる。
【０１７５】
（１）  １フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行するモデルベース処理部と、
予め記憶されているパラメータ、入力された低解像度の画像である観測低解像度画像、および前記モデルベース処理が実行されることで得られた画像に基づいて、出力すべき高解像度画像の画素値を予測演算する予測演算部と
を備える画像処理装置。
（２）  前記予測演算部は、
予め学習により生成された学習データベースに記憶されている前記パラメータを読み出し、前記予測演算を行う
（１）に記載の画像処理装置。
（３）  前記モデルベース処理部は、
１フレーム前に出力された高解像度画像を動き補償する動き補償部と、
前記動き補償された前記１フレーム前に出力された高解像度画像を、前記カメラモデルに応じて帯域制限して画素を間引くことで、推定低解像度画像を生成するダウンサンプラと、
入力された低解像度の画像である観測低解像度画像と、前記推定低解像度画像との差分を演算して差分画像データを生成する差分演算部と、
前記差分画像データの画素を補間することで、高解像度画像を生成するアップサンプラと
を備える（１）または（２）に記載の画像処理装置。
（４）  前記モデルベース処理部は、
１フレーム前に出力された高解像度画像に対してボケを付加するボケ付加部と、
前記ボケ付加部により付加されたボケを除去するボケ除去部と
を有する（１）乃至（３）のいずれかに記載の画像処理装置。
（５）  前記モデルベース処理の過程で算出された特徴量に基づいて、注目画素をクラス分類するクラス分類部をさらに備え、
前記予測演算部は、
前記分類されたクラスに対応するパラメータとして予め記憶されている係数を用いた所定の演算を行って、出力すべき高解像度画像の画素値を予測演算する
（１）乃至（４）のいずれかに記載の画像処理装置。
（６）  入力された低解像度の画像である観測低解像度画像の所定の画素、および、前記１フレーム前に出力された高解像度画像に対して前記モデルベース処理が実行されることで得られた画像の所定の画素をタップとして抽出するタップ抽出部をさらに備え、
前記予測演算部は、
予め記憶されているパラメータに基づいて、前記タップに係る所定の演算を行うことで、出力すべき高解像度画像の画素値を予測演算する
（１）乃至（５）のいずれかに記載の画像処理装置。
（７）  モデルベース処理部が、１フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行し、
予測演算部が、予め記憶されているパラメータ、入力された低解像度の画像である観測低解像度画像、および前記モデルベース処理が実行されることで得られた画像に基づいて、出力すべき高解像度画像の画素値を予測演算するステップ
を含む画像処理方法。
（８）  コンピュータを、
１フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行するモデルベース処理部と、
予め記憶されているパラメータ、入力された低解像度の画像である観測低解像度画像、および前記モデルベース処理が実行されることで得られた画像に基づいて、出力すべき高解像度画像の画素値を予測演算する予測演算部とを備える画像処理装置として機能させる
プログラム。
（９）  （８）に記載のプログラムが記録されている記録媒体。
（１０）  １フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行するモデルベース処理部と、
高解像度の教師画像の解像度を変換して得られた低解像度の生徒画像の所定の画素、および、前記１フレーム前に出力された高解像度画像に対して前記モデルベース処理が実行されることで得られた画像の所定の画素をタップとして抽出するタップ抽出部と、
前記タップ、所定のパラメータ、および前記教師画像の画素値からなる方程式をサンプルとして蓄積するサンプル蓄積部と、
前記蓄積されたサンプルに基づいて、出力すべき高解像度画像の画素値の予測演算に用いられる前記所定のパラメータを算出するパラメータ算出部と
を備える学習装置。
（１１）  前記算出されたパラメータを記憶するデータベースをさらに備え、
入力された低解像度画像を高解像度画像に変換する画像処理装置の画像処理に、前記データベースが用いられる
（１０）に記載の学習装置。
（１２）
前記モデルベース処理部は、
１フレーム前に出力された高解像度画像を動き補償する動き補償部と、
前記動き補償された前記１フレーム前に出力された高解像度画像を、前記カメラモデルに応じて帯域制限して画素を間引くことで、推定低解像度画像を生成するダウンサンプラと、
生徒画像と、前記推定低解像度画像との差分を演算して差分画像データを生成する差分演算部と、
前記差分画像データの画素を補間することで、高解像度画像を生成するアップサンプラと
を備える（１０）または（１１）に記載の学習装置。
（１３）  前記モデルベース処理部は、
１フレーム前に出力された高解像度画像に対してボケを付加するボケ付加部と、
前記ボケ付加部により付加されたボケを除去するボケ除去部と
を有する（１０）乃至（１２）のいずれかに記載の学習装置。
（１４）  前記モデルベース処理の過程で算出された特徴量に基づいて、注目画素をクラス分類するクラス分類部をさらに備え、
前記パラメータ算出部は、
前記分類されたクラスに対応するパラメータとして、前記出力すべき高解像度画像の画素値を予測演算する際に前記タップに乗じる係数を算出する
（１０）乃至（１３）のいずれかに記載の学習装置。
（１５）  モデルベース処理部が、１フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行し、
タップ抽出部が、高解像度の教師画像の解像度を変換して得られた低解像度の生徒画像の所定の画素、および、前記１フレーム前に出力された高解像度画像に対して前記モデルベース処理が実行されることで得られた画像の所定の画素をタップとして抽出し、
サンプル蓄積部が、前記タップ、所定のパラメータ、および前記教師画像の画素値からなる方程式をサンプルとして蓄積し、
パラメータ算出部が、前記蓄積されたサンプルに基づいて、出力すべき高解像度画像の画素値の予測演算に用いられる前記所定のパラメータを算出するステップ
を含む学習方法。
（１６）  コンピュータを、
１フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行するモデルベース処理部と、
高解像度の教師画像の解像度を変換して得られた低解像度の生徒画像の所定の画素、および、前記１フレーム前に出力された高解像度画像に対して前記モデルベース処理が実行されることで得られた画像の所定の画素をタップとして抽出するタップ抽出部と、
前記タップ、所定のパラメータ、および前記教師画像の画素値からなる方程式をサンプルとして蓄積するサンプル蓄積部と、
前記蓄積されたサンプルに基づいて、出力すべき高解像度画像の画素値の予測演算に用いられる前記所定のパラメータを算出するパラメータ算出部とを備える学習装置として機能させる
プログラム。
（１７）  （１６）に記載のプログラムが記録されている記録媒体。
【符号の説明】
【０１７６】
１００  学習装置，  １１１  モデルベース処理部，  １１２  学習処理部，  １１３  学習データベース，  １２１  動き補償部，  １２２  ボケ付加部，  １２３  ダウンサンプラ，  １２４  加算器，  １２５  アップサンプラ，  １２６  ボケ除去部，  ２００  画像処理装置，  ２１１  モデルベース処理部，  ２１２  予測処理部，  ２１３  学習データベース，  ２２１  動き補償部，  ２２２  ボケ付加部，  ２２３  ダウンサンプラ，  ２２４  加算器，  ２２５  アップサンプラ，  ２２６  ボケ除去部
【図１】
2012244395.tif 000005
【図２】
2012244395.tif 000006
【図３】
2012244395.tif 000007
【図４】
2012244395.tif 000008
【図５】
2012244395.tif 000009
【図６】
2012244395.tif 000010
【図７】
2012244395.tif 000011
【図８】
2012244395.tif 000012
【図９】
2012244395.tif 000013
【図１０】
2012244395.tif 000014
【図１１】
2012244395.tif 000015
【図１２】
2012244395.tif 000016
【図１３】
2012244395.tif 000017
【図１４】
2012244395.tif 000018
【図１５】
2012244395.tif 000019
【図１６】
2012244395.tif 000020
【図１７】
2012244395.tif 000021
【図１８】
2012244395.tif 000022
【図１９】
2012244395.tif 000023
【図２０】
2012244395.tif 000024