(57)【特許請求の範囲】
【請求項１】
複数の連続した画像列により構成される動画像から、少なくとも１枚の静止画像を抽出する画像処理装置であって、
入力される画像列を所定枚数分蓄積し、解析対象画像列の特定および供給を行う蓄積画像列管理手段と、
前記蓄積画像列管理手段から供給された前記解析対象画像列を取得し、時間が順方向の画像間解析を行い、順方向の画像間解析に基づく評価情報を生成する順方向画像間解析手段と、
前記蓄積画像列管理手段から供給された前記解析対象画像列を取得し、時間が逆方向の画像間解析を行い、逆方向の画像間解析に基づく評価情報を生成する逆方向画像間解析手段と、
前記順方向画像間解析手段からの順方向の画像間解析に基づく前記評価情報と、前記逆方向画像間解析手段からの逆方向の画像間解析に基づく前記評価情報とに基づいて、順方向または逆方向のいずれの方向の画像間解析が有効であるかを判定する判定手段と、
前記判定手段の判定結果に基づいて前記蓄積画像列管理手段に蓄積された前記解析対象画像列から、少なくとも１枚の静止画像を抽出する制御手段と、
前記制御手段によって抽出された前記静止画像に対し所定の超解像拡大処理を行い高精細な静止画像を生成する超解像拡大手段と、
を有し、
前記制御手段は、
ユーザが実際に要求を行った第１静止画像取得要求の時刻から、所定の時間間隔の分だけ過去にさかのぼった時点を、ユーザからの第２静止画像取得要求とし、その時刻に最も近い動画像フレームの位置を解析開始位置として特定する際、上記所定の時間間隔には、所定の初期値、ユーザが指定した時間間隔、または学習結果から特定された時間間隔のいずれかを用いて解析開始位置を特定し、特定した前記解析開始位置に基づいて前記蓄積画像列管理手段から前記順方向画像間解析手段および前記逆方向画像間解析手段への前記解析対象画像列の供給を制御する、
画像処理装置。
【請求項２】
請求項１記載の画像処理装置において、
前記制御手段は、さらに、
所定の指定領域であるクロッピング領域に基づいて、前記解析対象画像列に対して切抜き処理を行い、切り抜き処理を行った前記解析対象画像列を前記順方向画像間解析手段および前記逆方向画像間解析手段へ供給するように前記蓄積画像列管理手段を制御する、画像処理装置。
【請求項３】
請求項１または請求項２記載の画像処理装置において、
前記制御手段は、さらに、
前記蓄積画像列管理手段に蓄積されている画像列に対し時間に基づく階層が１つ下がる毎にフレームレートが半分になるように、画像列の組を構成するとともに、解析対象となる動画像の画像列を２枚１組として扱い、組となった画像の片方のフレーム位置の画像を次の階層の解析対象として選定しながら、解析処理の階層が下がるにつれて不等間隔部分を有する動画像の画像列となる前記解析対象画像列を特定するよう前記蓄積画像列管理手段を制御することにより処理すべき前記解析対象画像列を特定し、
特定した前記解析対象画像列の依存関係をツリー構造によって管理し、所定の探索モードと、ツリー構造を構成するパスのコストと、ツリー構造を構成するノードのコストとに基づいてツリー構造を解析して前記解析対象画像列の順位付けを行い、
前記解析対象画像列の順位に基づいて、所定枚数の観測画像を、特定した静止画像とともに前記超解像拡大手段に対し供給するように前記蓄積画像列管理手段を制御する、画像処理装置。
【請求項４】
請求項１〜請求項３のいずれか一の請求項に記載の画像処理装置において、
前記超解像拡大手段は、
前記制御手段によって抽出された前記静止画像のうちから、超解像拡大処理を行う際の基準となる基準画像と、少なくとも１枚の観測画像を取得し、取得した前記基準画像と前記観測画像の解像度よりも高解像度の画素位置への位置合わせを行い、不等間隔にサンプリングされた不均一高解像度画像を生成する位置合わせ器と、
前記位置合わせ器によって生成された前記不均一高解像度画像を取得し、取得した不均一高解像度画像から所定の不均一補間処理を行って所望の高解像度を持つ補間画像を生成する補間器と、
前記補間器によって生成された前記補間画像を取得し、所定のカメラモデルから得られる点広がり関数を考慮して所定の復元処理を行い、所望の解像度を持つ推定画像を生成し、生成した推定画像に対してリサンプル処理を行って不均一推定画像を生成する推定画像生成器と、
前記位置合わせ器から前記不均一解像度画像を取得するとともに、前記推定画像生成器から前記不均一推定画像を取得し、取得したそれぞれの画像を利用して、所定の判定方法に従って超解像拡大処理の繰り返しが必要か否かを判定し、判定の結果、繰り返しが必要な場合は前記補間器に対して処理を継続させる一方、繰り返しが必要ない場合には、前記推定画像生成器に対して結果を出力させる繰り返し判定器と、
を有する、画像処理装置。
【請求項５】
請求項１〜請求項４のいずれか一の請求項に記載の画像処理装置において、
前記順方向画像間解析手段は、さらに、時間的に順方向の画像間解析を行うために、時間的に過去側にある画像を参照画像、時間的に未来側にある画像を対象画像として、前記蓄積画像列管理器手段から解析対象となる画像列を取得する第１画像列取得器を有する一方、
前記逆方向画像間解析手段は、さらに、時間的に逆方向の画像間解析を行うために、時間的に過去側にある画像を対象画像、時間的に未来側にある画像を参照画像として、前記蓄積画像列管理器手段から解析対象となる画像列を取得する第２画像列取得器を有し、
前記順方向画像間解析手段および前記逆方向画像間解析手段は、それぞれ、
前記第１画像列取得器または第２画像列取得器を介し前記蓄積画像列管理器手段から供給された時間的に順方向または逆方向の前記解析対象画像列から、対象画像を基準として参照画像内を所定の動きベクトル探索を行って、動きベクトル情報を生成する動き推定器と、
前記参照画像と、前記動き推定部によって生成された動きベクトル情報とから予測画像を生成する動き補償器と、
前記動き推定器によって生成された前記予測画像から、前記予測画像の低周波数成分情報を生成する予測画像低周波数成分生成器と、
前記動き推定器によって生成された前記予測画像から、前記予測画像の低周波数成分情報を減算して、前記予測画像の高周波数成分情報を生成する差分器と、
前記予測画像の高周波数成分情報に対し所定のノイズ除去処理を施す予測画像高周波数成分ノイズ除去器と、
前記第１画像列取得器または第２画像列取得器を介し前記蓄積画像列管理器手段から供給された時間的に順方向または逆方向の前記解析対象画像列から、対象画像の低周波数成分情報を生成する対象画像低周波数成分情報生成器と、
前記第１画像列取得器または第２画像列取得器を介し前記蓄積画像列管理器手段から供給された時間的に順方向または逆方向の前記解析対象画像列から、前記対象画像の低周波数成分情報を減算して、前記対象画像の高周波数成分情報を生成する差分器と、
前記対象画像の高周波数成分情報に対し所定のノイズ除去処理を施す対象画像高周波数成分ノイズ除去器と、
前記予測画像低周波数成分情報と、前記対象画像低周波数成分情報とを評価し、低周波数成分の類似度評価情報を生成する低周波数成分評価情報生成部と、
前記予測画像高周波数成分情報と、前記対象画像高周波数成分情報とを評価し、高周波数成分の類似度評価情報を生成する高周波数成分評価情報生成部と、を有し、
前記判定手段は、
前記順方向における前記低周波数成分の類似度評価情報および前記高周波数成分の類似度評価情報と、前記逆方向における前記低周波数成分の類似度評価情報および前記高周波数成分の類似度評価情報とに基づいて、順方向または逆方向のいずれの方向の画像間解析が有効であるかを判定する、画像処理装置。
【請求項６】
複数の連続した画像列により構成される動画像から、少なくとも１枚の静止画像を抽出する画像処理方法であって、
入力される画像列を所定枚数分、蓄積手段に蓄積させ、解析対象画像列の特定および供給を行うステップと、
前記蓄積手段から前記解析対象画像列を取得し、時間が順方向の画像間解析を行い、順方向の画像間解析に基づく評価情報を生成するステップと、
前記蓄積手段から前記解析対象画像列を取得し、時間が逆方向の画像間解析を行い、逆方向の画像間解析に基づく評価情報を生成するステップと、
前記順方向の画像間解析に基づく前記評価情報と、前記逆方向の画像間解析に基づく前記評価情報とに基づいて、順方向または逆方向のいずれの方向の画像間解析が有効であるかを判定するステップと、
前記判定結果に基づいて前記蓄積手段に蓄積された前記解析対象画像列から、少なくとも１枚の静止画像を抽出するステップと、
抽出された前記静止画像に対し所定の超解像拡大処理を行い高精細な静止画像を生成するステップと、
ユーザが実際に要求を行った第１静止画像取得要求の時刻から、所定の時間間隔の分だけ過去にさかのぼった時点を、ユーザからの第２静止画像取得要求とし、その時刻に最も近い動画像フレームの位置を解析開始位置として特定する際、上記所定の時間間隔には、所定の初期値、ユーザが指定した時間間隔、または学習結果から特定された時間間隔のいずれかを用いて解析開始位置を特定し、特定した前記解析開始位置に基づいて、前記順方向の画像間解析に基づく評価情報を生成するステップ、および前記逆方向の画像間解析に基づく評価情報を生成するステップにおける前記解析対象画像列の前記蓄積手段からの取得を制御するステップと、
を有する画像処理方法。
【請求項７】
複数の連続した画像列により構成される動画像から、少なくとも１枚の静止画像を抽出する画像処理方法をコンピュータに実現させるための画像処理プログラムであって、
入力される画像列を所定枚数分、蓄積手段に蓄積させ、解析対象画像列の特定および供給を行うステップと、
前記蓄積手段から前記解析対象画像列を取得し、時間が順方向の画像間解析を行い、順方向の画像間解析に基づく評価情報を生成するステップと、
前記蓄積手段から前記解析対象画像列を取得し、時間が逆方向の画像間解析を行い、逆方向の画像間解析に基づく評価情報を生成するステップと、
前記順方向の画像間解析に基づく前記評価情報と、前記逆方向の画像間解析に基づく前記評価情報とに基づいて、順方向または逆方向のいずれの方向の画像間解析が有効であるかを判定するステップと、
前記判定結果に基づいて前記蓄積手段に蓄積された前記解析対象画像列から、少なくとも１枚の静止画像を抽出するステップと、
抽出された前記静止画像に対し所定の超解像拡大処理を行い高精細な静止画像を生成するステップと、
ユーザが実際に要求を行った第１静止画像取得要求の時刻から、所定の時間間隔の分だけ過去にさかのぼった時点を、ユーザからの第２静止画像取得要求とし、その時刻に最も近い動画像フレームの位置を解析開始位置として特定する際、上記所定の時間間隔には、所定の初期値、ユーザが指定した時間間隔、または学習結果から特定された時間間隔のいずれかを用いて解析開始位置を特定し、特定した前記解析開始位置に基づいて、前記順方向の画像間解析に基づく評価情報を生成するステップ、および前記逆方向の画像間解析に基づく評価情報を生成するステップにおける前記解析対象画像列の前記蓄積手段からの取得を制御するステップと、
をコンピュータに実現させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像から所望の静止画像を抽出し、超解像処理によって抽出した静止画像よりも高精細な静止画像を生成するための画像処理を行う、画像処理装置、画像処理方法、および画像処理プログラムに関する。
【背景技術】
【０００２】
動画像から所望の静止画像を抽出する際に、所望の静止画像のフレーム位置の前後に存在する複数の画像フレームを利用して、より高い解像度に変換するための所定の超解像処理を行うことで、所望の静止画像を高解像度化する手法が多数存在している。超解像処理の効果を十分に発揮させるためには、動画像の中から超解像度に適した測光の検出レベルが安定し、ホワイトバランスの検出レベルが安定しているシーンの画像を探し出す必要がある。このような超解像処理に適した画像を容易に識別するために、超解像処理に係る所定の条件を満たすかを判定し、その判定結果に対応するフラグを各画像フレームに対して付加し、このフラグの有無により超解像処理の適否を判断するものがある。（例えば、特許文献１参照。）。
【特許文献１】特開２００７−１５１０８０号公報参照
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、動画像の撮影中に、ユーザからの静止画像取得要求があった場合、ユーザが所望している静止画像は、必ずしもユーザからの要求があった時刻（撮影機器がユーザからの静止画像取得要求を検知した時刻）と同時刻もしくは最も近い過去の画像フレームであるとは限らない。つまり、ユーザは動画像の撮影を行っている際に、ユーザが気に入った情景や被写体を認知した後、シャッターボタンの押下といった、静止画像取得要求を行うために、多少なりとも時間的な差異が生じることに起因する。このような時間的な差異は、ユーザ毎に個人差があることから、一意的に静止画像取得要求の時刻を修正することは困難である。
【０００４】
また、動画像の再生中に、ユーザからの静止画像取得要求があった場合も同様に、ユーザが所望している静止画像は、必ずしもユーザからの要求があった時刻（再生機器がユーザからの静止画像取得要求を検知した時刻）と同時刻もしくは最も近接した画像フレームであるとは限らない。
【０００５】
ここで、このようなユーザが所望している静止画像のフレーム位置の周囲の複数の画像フレームを利用して超解像処理を行うことを考える。上述の従来法においては、動画像の各画像フレームに対して超解像処理の適否に対応したフラグ情報を付加し、このフラグ情報に基づいて超解像処理の可否を判断する。しかし、ユーザが所望している静止画像のフレーム位置およびその周辺のフレーム位置の画像フレームは、必ずしも超解像処理に適していることを示すフラグ情報が付加されているとは限らない。このような場合、特定されたフレーム位置から、過去側および未来側のどちらの方向を探索するかを何らかの方法で決定する必要がある。また、決定した方向で超解像処理に適していることを示すフラグ情報が付加されている画像フレームを特定しなければならない。しかし、このように特定された画像フレームは、必ずしもユーザが所望している静止画像に近いものであるとは限らない。
【０００６】
更に、従来法では、超解像処理に適すると判断されたフラグが連続する場合には、超解像処理に利用する画像フレームの枚数を決定するための何らかの指標が必要となる。また、利用する参照フレームの枚数を制限して高速化を図ろうとした場合に、どのフレームまでを利用すべきかを決定する指標が曖昧であり、通常は所定の範囲が設定され、処理対象となっている静止画像との間の所定の位置関係にある複数のフレームの中から、所定枚数にしたがって超解像処理を行うことになる。更に、超解像処理に利用する画像フレームの枚数は、必ずしも多いほど良いとは限らない。よって、何らかの適用順序および適用枚数に関する情報が必要となる。
【０００７】
そこで、本発明は、動画像から静止画像を抽出する際に、ユーザが実際に所望した静止画像により近く、また静止画像として鑑賞に堪えうる品質を備えた静止画像を抽出し、より高精細な静止画像を生成することができる画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
そこで、上記課題を解決するために本発明は、以下の装置、方法、及びプログラムを提供する。
（１）  複数の連続した画像列により構成される動画像から、少なくとも１枚の静止画像を抽出する画像処理装置であって、
入力される画像列を所定枚数分蓄積し、解析対象画像列の特定および供給を行う蓄積画像列管理手段と、
前記蓄積画像列管理手段から供給された前記解析対象画像列を取得し、時間が順方向の画像間解析を行い、順方向の画像間解析に基づく評価情報を生成する順方向画像間解析手段と、
前記蓄積画像列管理手段から供給された前記解析対象画像列を取得し、時間が逆方向の画像間解析を行い、逆方向の画像間解析に基づく評価情報を生成する逆方向画像間解析手段と、
前記順方向画像間解析手段からの順方向の画像間解析に基づく前記評価情報と、前記逆方向画像間解析手段からの逆方向の画像間解析に基づく前記評価情報とに基づいて、順方向または逆方向のいずれの方向の画像間解析が有効であるかを判定する判定手段と、
前記判定手段の判定結果に基づいて前記蓄積画像列管理手段に蓄積された前記解析対象画像列から、少なくとも１枚の静止画像を抽出する制御手段と、
前記制御手段によって抽出された前記静止画像に対し所定の超解像拡大処理を行い高精細な静止画像を生成する超解像拡大手段と、
を有し、
前記制御手段は、
ユーザが実際に要求を行った第１静止画像取得要求の時刻から、所定の時間間隔の分だけ過去にさかのぼった時点を、ユーザからの第２静止画像取得要求とし、その時刻に最も近い動画像フレームの位置を解析開始位置として特定する際、上記所定の時間間隔には、所定の初期値、ユーザが指定した時間間隔、または学習結果から特定された時間間隔のいずれかを用いて解析開始位置を特定し、特定した前記解析開始位置に基づいて前記蓄積画像列管理手段から前記順方向画像間解析手段および前記逆方向画像間解析手段への前記解析対象画像列の供給を制御する、
画像処理装置。
（２）  上記（１）記載の画像処理装置において、
前記制御手段は、さらに、
所定の指定領域であるクロッピング領域に基づいて、前記解析対象画像列に対して切抜き処理を行い、切り抜き処理を行った前記解析対象画像列を前記順方向画像間解析手段および前記逆方向画像間解析手段へ供給するように前記蓄積画像列管理手段を制御する、画像処理装置。
（３）  上記（１）または（２）記載の画像処理装置において、
前記制御手段は、さらに、
前記蓄積画像列管理手段に蓄積されている画像列に対し時間に基づく階層が１つ下がる毎にフレームレートが半分になるように、画像列の組を構成するとともに、解析対象となる動画像の画像列を２枚１組として扱い、組となった画像の片方のフレーム位置の画像を次の階層の解析対象として選定しながら、解析処理の階層が下がるにつれて不等間隔部分を有する動画像の画像列となる前記解析対象画像列を特定するよう前記蓄積画像列管理手段を制御することにより処理すべき前記解析対象画像列を特定し、
特定した前記解析対象画像列の依存関係をツリー構造によって管理し、所定の探索モードと、ツリー構造を構成するパスのコストと、ツリー構造を構成するノードのコストとに基づいてツリー構造を解析して前記解析対象画像列の順位付けを行い、
前記解析対象画像列の順位に基づいて、所定枚数の観測画像を、特定した静止画像とともに前記超解像拡大手段に対し供給するように前記蓄積画像列管理手段を制御する、画像処理装置。
（４）  上記（１）〜（３）のいずれか一項に記載の画像処理装置において、
前記超解像拡大手段は、
前記制御手段によって抽出された前記静止画像のうちから、超解像拡大処理を行う際の基準となる基準画像と、少なくとも１枚の観測画像を取得し、取得した前記基準画像と前記観測画像の解像度よりも高解像度の画素位置への位置合わせを行い、不等間隔にサンプリングされた不均一高解像度画像を生成する位置合わせ器と、
前記位置合わせ器によって生成された前記不均一高解像度画像を取得し、取得した不均一高解像度画像から所定の不均一補間処理を行って所望の高解像度を持つ補間画像を生成する補間器と、
前記補間器によって生成された前記補間画像を取得し、所定のカメラモデルから得られる点広がり関数を考慮して所定の復元処理を行い、所望の解像度を持つ推定画像を生成し、生成した推定画像に対してリサンプル処理を行って不均一推定画像を生成する推定画像生成器と、
前記位置合わせ器から前記不均一解像度画像を取得するとともに、前記推定画像生成器から前記不均一推定画像を取得し、取得したそれぞれの画像を利用して、所定の判定方法に従って超解像拡大処理の繰り返しが必要か否かを判定し、判定の結果、繰り返しが必要な場合は前記補間器に対して処理を継続させる一方、繰り返しが必要ない場合には、前記推定画像生成器に対して結果を出力させる繰り返し判定器と、
を有する、画像処理装置。
（５）  上記（１）〜（４）のいずれか一項に記載の画像処理装置において、
前記順方向画像間解析手段は、さらに、時間的に順方向の画像間解析を行うために、時間的に過去側にある画像を参照画像、時間的に未来側にある画像を対象画像として、前記蓄積画像列管理器手段から解析対象となる画像列を取得する第１画像列取得器を有する一方、
前記逆方向画像間解析手段は、さらに、時間的に逆方向の画像間解析を行うために、時間的に過去側にある画像を対象画像、時間的に未来側にある画像を参照画像として、前記蓄積画像列管理器手段から解析対象となる画像列を取得する第２画像列取得器を有し、
前記順方向画像間解析手段および前記逆方向画像間解析手段は、それぞれ、
前記第１画像列取得器または第２画像列取得器を介し前記蓄積画像列管理器手段から供給された時間的に順方向または逆方向の前記解析対象画像列から、対象画像を基準として参照画像内を所定の動きベクトル探索を行って、動きベクトル情報を生成する動き推定器と、
前記参照画像と、前記動き推定部によって生成された動きベクトル情報とから予測画像を生成する動き補償器と、
前記動き推定器によって生成された前記予測画像から、前記予測画像の低周波数成分情報を生成する予測画像低周波数成分生成器と、
前記動き推定器によって生成された前記予測画像から、前記予測画像の低周波数成分情報を減算して、前記予測画像の高周波数成分情報を生成する差分器と、
前記予測画像の高周波数成分情報に対し所定のノイズ除去処理を施す予測画像高周波数成分ノイズ除去器と、
前記第１画像列取得器または第２画像列取得器を介し前記蓄積画像列管理器手段から供給された時間的に順方向または逆方向の前記解析対象画像列から、対象画像の低周波数成分情報を生成する対象画像低周波数成分情報生成器と、
前記第１画像列取得器または第２画像列取得器を介し前記蓄積画像列管理器手段から供給された時間的に順方向または逆方向の前記解析対象画像列から、前記対象画像の低周波数成分情報を減算して、前記対象画像の高周波数成分情報を生成する差分器と、
前記対象画像の高周波数成分情報に対し所定のノイズ除去処理を施す対象画像高周波数成分ノイズ除去器と、
前記予測画像低周波数成分情報と、前記対象画像低周波数成分情報とを評価し、低周波数成分の類似度評価情報を生成する低周波数成分評価情報生成部と、
前記予測画像高周波数成分情報と、前記対象画像高周波数成分情報とを評価し、高周波数成分の類似度評価情報を生成する高周波数成分評価情報生成部と、を有し、
前記判定手段は、
前記順方向における前記低周波数成分の類似度評価情報および前記高周波数成分の類似度評価情報と、前記逆方向における前記低周波数成分の類似度評価情報および前記高周波数成分の類似度評価情報とに基づいて、順方向または逆方向のいずれの方向の画像間解析が有効であるかを判定する、画像処理装置。
（６）  複数の連続した画像列により構成される動画像から、少なくとも１枚の静止画像を抽出する画像処理方法であって、
入力される画像列を所定枚数分、蓄積手段に蓄積させ、解析対象画像列の特定および供給を行うステップと、
前記蓄積手段から前記解析対象画像列を取得し、時間が順方向の画像間解析を行い、順方向の画像間解析に基づく評価情報を生成するステップと、
前記蓄積手段から前記解析対象画像列を取得し、時間が逆方向の画像間解析を行い、逆方向の画像間解析に基づく評価情報を生成するステップと、
前記順方向の画像間解析に基づく前記評価情報と、前記逆方向の画像間解析に基づく前記評価情報とに基づいて、順方向または逆方向のいずれの方向の画像間解析が有効であるかを判定するステップと、
前記判定結果に基づいて前記蓄積手段に蓄積された前記解析対象画像列から、少なくとも１枚の静止画像を抽出するステップと、
抽出された前記静止画像に対し所定の超解像拡大処理を行い高精細な静止画像を生成するステップと、
ユーザが実際に要求を行った第１静止画像取得要求の時刻から、所定の時間間隔の分だけ過去にさかのぼった時点を、ユーザからの第２静止画像取得要求とし、その時刻に最も近い動画像フレームの位置を解析開始位置として特定する際、上記所定の時間間隔には、所定の初期値、ユーザが指定した時間間隔、または学習結果から特定された時間間隔のいずれかを用いて解析開始位置を特定し、特定した前記解析開始位置に基づいて、前記順方向の画像間解析に基づく評価情報を生成するステップ、および前記逆方向の画像間解析に基づく評価情報を生成するステップにおける前記解析対象画像列の前記蓄積手段からの取得を制御するステップと、
を有する画像処理方法。
（７）  複数の連続した画像列により構成される動画像から、少なくとも１枚の静止画像を抽出する画像処理方法をコンピュータに実現させるための画像処理プログラムであって、
入力される画像列を所定枚数分、蓄積手段に蓄積させ、解析対象画像列の特定および供給を行うステップと、
前記蓄積手段から前記解析対象画像列を取得し、時間が順方向の画像間解析を行い、順方向の画像間解析に基づく評価情報を生成するステップと、
前記蓄積手段から前記解析対象画像列を取得し、時間が逆方向の画像間解析を行い、逆方向の画像間解析に基づく評価情報を生成するステップと、
前記順方向の画像間解析に基づく前記評価情報と、前記逆方向の画像間解析に基づく前記評価情報とに基づいて、順方向または逆方向のいずれの方向の画像間解析が有効であるかを判定するステップと、
前記判定結果に基づいて前記蓄積手段に蓄積された前記解析対象画像列から、少なくとも１枚の静止画像を抽出するステップと、
抽出された前記静止画像に対し所定の超解像拡大処理を行い高精細な静止画像を生成するステップと、
ユーザが実際に要求を行った第１静止画像取得要求の時刻から、所定の時間間隔の分だけ過去にさかのぼった時点を、ユーザからの第２静止画像取得要求とし、その時刻に最も近い動画像フレームの位置を解析開始位置として特定する際、上記所定の時間間隔には、所定の初期値、ユーザが指定した時間間隔、または学習結果から特定された時間間隔のいずれかを用いて解析開始位置を特定し、特定した前記解析開始位置に基づいて、前記順方向の画像間解析に基づく評価情報を生成するステップ、および前記逆方向の画像間解析に基づく評価情報を生成するステップにおける前記解析対象画像列の前記蓄積手段からの取得を制御するステップと、
をコンピュータに実現させる画像処理プログラム。
【発明の効果】
【０００９】
本発明では、入力される画像列を所定枚数分蓄積し、解析対象画像列の特定および供給を行い、解析対象画像列に対し順方向と逆方向の画像間解析を行い、順方向の画像間解析に基づく評価情報と逆方向の画像間解析に基づく評価情報とに基づいてどちらの方向の画像間解析が有効であったか否かを判定し、その判定結果に基づいて解析対象画像列から超解像処理に適した静止画像を抽出し、この静止画像に対し所定の超解像処理を行うことにより、従来よりも高品質な超解像拡大静止画像を得ることができる。
【発明を実施するための最良の形態】
【００１０】
実施形態１.
図１に、本発明の実施形態１を適用した画像処理装置の構成例を示す。ここでは話を簡単にするため、動画像の撮影中に、ユーザから通常得られる静止画像よりも高精細な静止画像の取得要求があった場合を考える。
【００１１】
図１において、実施形態１の画像処理装置は、少なくとも蓄積画像列管理器１０２、順方向画像間解析器１０３、逆方向画像間解析器１０４、判定器１０５、制御器１０６、超解像拡大器１０７を有する。
【００１２】
蓄積画像列管理器１０２は、制御器１０６から制御情報を取得する機能を有する。制御器１０６からの制御情報に応じて、動画像として撮影された画像フレームを画像列入力１０１として順次取得する機能を有する。所定枚数の画像フレームを蓄積し、蓄積時の時刻情報、蓄積された画像フレームを管理する機能を有する。蓄積されている画像フレームの枚数が所定枚数を満たしている場合には、画像フレームを新たに蓄積する際に、蓄積されている画像列のうち、最も古い画像フレームから破棄し、新たに画像列入力として取得した画像フレームを、蓄積されている画像列の最後尾の位置に追加するといったＦＩＦＯ（First In - First Out）方式で画像列の蓄積状態を管理するような機能を備えていると良い。
【００１３】
また、蓄積画像列管理器１０２は、蓄積画像列管理情報に基づいて格納されている画像列の状態を管理する機能を有するとともに、必要に応じて、制御器１０６に対して蓄積画像列管理情報を供給する機能を有する。ここで、蓄積画像列管理情報には、処理の進捗状況を把握し、次に処理すべき画像列に関する情報や、現状で出力候補となっている代表画像のフレーム位置や、現在処理している階層の情報や、判定器１０５によって選択された順方向や逆方向の判定情報などが含まれると良い。また、このような画像間解析処理の過程で得られる画像列の依存関係、及び、どの画像が選択されてきたか示す選択履歴を、ツリー構造で管理できるよう蓄積画像列管理情報を構築すると良い。更に、ユーザが実際に要求を行った第１静止画像取得要求の時刻に対応するフレーム位置、およびこの位置から、所定の時刻、またはユーザがあらかじめ指定した時刻、または学習結果から特定された時刻のいずれかの分だけ過去にさかのぼった時点を、ユーザからの第２静止画像取得要求とし、その時刻に直近の動画像フレームを解析の開始位置とした解析開始位置などが含まれると更に良い構成となる。また、画像間解析の処理量を軽減するために、画像のクロッピング領域情報を含むと更に良い構成となる。
【００１４】
また、蓄積画像列管理器１０２は、制御情報、蓄積画像列管理情報に基づいて供給すべき対象となっている画像列を特定し、必要に応じて順方向画像間解析器１０３、逆方向画像間解析器１０４に特定した少なくとも２枚の画像列を供給する機能を有する。ここで、順方向画像間解析器１０３に対しては、供給すべき画像列のうち、時間的に過去側のフレーム位置の画像を参照画像、時間的に未来側のフレーム位置の画像を対象画像として供給する機能を有する。逆方向画像間解析器１０４に対しては、供給すべき画像列のうち、時間的に未来側のフレーム位置の画像を参照画像、時間的に過去側のフレーム位置の画像を対象画像として供給する機能を有する。ここで、画像間解析の処理量を軽減するために、制御器１０６からの制御情報に応じて、供給する画像列に対し、画像のクロッピング領域情報に基づいて画像の切り抜き領域を特定し、切り抜き処理を行った上で、順方向画像間解析器１０３および逆方向画像間解析器１０４に供給する機能を備えると良い。また、蓄積画像列管理器１０２は、制御情報、蓄積画像列管理情報に基づいて、出力対象となっている画像を画像列出力１０７として供給する機能を有する。また、制御器１０６から制御情報を取得し、要求に基づいて現状で出力候補となっている代表画像が、動画像内のどの範囲の画像列から抽出されたものかを示す画像列の範囲情報を特定し、代表画像の画像列出力とともに画像列の範囲情報を出力する機能を有すると更に良い構成となる。
【００１５】
また、蓄積画像列管理器１０２は、制御器１０６からの制御情報に応じて、蓄積画像列管理情報に含まれる、画像列の依存関係を示すツリー構造の解析から得られている画像列の順位情報に従って、要求された枚数の観測画像である超解像処理前の低解像度画像を特定し、超解像処理対象となっている静止画像とともに要求された枚数の観測画像を超解像拡大器１０７に供給する機能を有する。また、必要であれば、制御器１０６から制御情報として取得した、超解像処理における拡大率に関する情報を超解像拡大器１０７に供給する機能を有する。更に、蓄積画像列管理器１０２は、超解像拡大器１０７によって生成された超解像画像の取得および管理を行い、必要に応じて格納された超解像画像を供給する機能を有する。
【００１６】
順方向画像間解析器１０３は、蓄積画像列管理器１０２から解析対象となっている少なくとも２枚の画像列を参照画像および対象画像として取得し、取得した参照画像および対象画像に対して所定の画像間解析を行い、画像間の類似度を評価する機能を有する。また、評価結果である類似度情報を判定器１０５に供給する機能を有する。
【００１７】
逆方向画像間解析器１０４は、蓄積画像列管理器１０２から解析対象となっている少なくとも２枚の画像列を参照画像および対象画像として取得し、取得した参照画像および対象画像に対して所定の画像間解析を行い、画像間の類似度を評価する機能を有する。また、評価結果である類似度情報を判定器１０５に供給する機能を有する。
【００１８】
判定器１０５は、順方向画像間解析器１０３及び逆方向画像間解析器１０４から供給される順方向の類似度情報および逆方向の類似度情報を取得し、取得した順方向の類似度情報と逆方向の類似度情報とを比較し、順方向と逆方向のどちらの画像間解析が有効であったかを判定する機能を有する。類似度情報の判定結果である判定情報を制御器１０６に供給する機能を有する。ここで判定情報は、順方向が選択されたか、逆方向が選択されたかを特定することができる情報であれば良い。例えば、順方向と逆方向をそれぞれ＋と−、または１と０などのフラグ情報で表現されたものが望ましい。
【００１９】
制御器１０６は、蓄積画像列管理器１０２に対して制御情報を供給する機能を有する。ここで、制御情報は、蓄積画像列管理器１０２に対して画像列入力の制御、画像列出力の制御、蓄積画像列管理情報の更新制御に関する情報を少なくとも含むと良い。ここで、制御器１０６は、ユーザからの直接的な解析開始要求である第１静止画像取得要求があった時刻に基づいて、ユーザが実際に要求を行った第１静止画像取得要求の時刻と、ユーザが実際に所望している静止画像を含む時刻との時間的なズレの時刻分だけ、第１静止画像取得要求があった時刻から過去にさかのぼった時刻を、ユーザからの第２静止画像取得要求として解析開始位置を特定する機能を有する。
【００２０】
例えば、図２のように、動画像の撮影中のある時刻において、ユーザが静止画像を取得したいと考えて、カメラのシャッターボタンを押下したとする。しかし、ユーザが静止画像を取得したいと考えた時刻のフレーム位置１４０１と、実際にユーザがシャッターボタンを押下した時刻のフレーム位置１４０２には、静止画像を認識して実際にシャッターボタンを操作するまでの時間差が少なからず生じる。この操作までの時間差を、図２において矢印１４０３の補正によってできる限り１４０１の位置に近づけるために、ユーザが実際に要求を行った第１静止画像取得要求の時刻に対応するフレーム位置１４０２、すなわちユーザによって実際にシャッターボタンが押下された位置から、所定の時刻、またはユーザからあらかじめ指定した時刻、または学習結果から特定された時刻のいずれかの分だけ過去にさかのぼった時点を、ユーザからの第２静止画像取得要求とし、その時刻に直近の動画像フレームを解析の開始位置とした解析開始位置１４０４を求める。
【００２１】
このようにして、制御器１０６は、解析開始位置を特定する機能を有すると良い。このような解析開始位置１４０４を特定し、図２の１４０５のように所定の画像間解析によって特定することで、ユーザが所望していた位置である画像１４０１に近く、また、静止画像として鑑賞に堪えうる品質を備えた画像１４０６が特定される。つまり、この特定された画像１４０６を静止画像１４１０として出力することで、第１静止画像取得要求があった時刻のフレーム位置１４０２に対応する画像を出力として得られる静止画像１４０８や、解析開始位置１４０４に対応する画像を出力として得られる静止画像１４０９よりも、画像内に含まれるノイズや、手ブレ、動きボケ等が少なく、より情報量が多い画像を得ることが可能となる。
【００２２】
このような機能の他に、制御器１０６は、特定した解析開始位置に関する情報を制御情報として蓄積画像列管理器１０２に供給する機能を有する。判定器１０５から判定情報を取得する機能を有する。また、取得した判定情報を制御情報として蓄積画像列管理器１０２に通知する機能を有する。制御器１０６は、蓄積画像列管理器１０２から蓄積画像列管理情報を取得し、現在の蓄積画像列管理器１０２内の画像列の格納状況を把握し、本発明の画像処理装置の動作状況を制御する機能を有する。つまり、制御器１０６は、蓄積画像列管理情報から、処理の進捗状況を把握し、次に処理すべき画像列の特定や、現状で出力候補となっている代表画像のフレーム位置や、処理の階層や、判定器１０５によって選択された順方向や逆方向の判定情報などを把握する機能を有する。また、現状で出力候補となっている代表画像が、動画像内のどの範囲の画像列から抽出されたものかを示す画像列の範囲情報を特定し、必要に応じて蓄積画像列管理器１０２に画像列出力とともに画像列の範囲情報を出力するように要求する制御情報を供給する機能を有すると更に良い構成となる。また、制御器１０６は、必要に応じて画像間解析の処理量を軽減するために、蓄積画像列管理器１０２が画像列を供給する際に、供給する画像列に対し、クロッピング領域に基づいて画面の切り抜き処理を行った上で供給するように制御するために、クロッピング領域に関する情報を伴った制御情報を蓄積画像列管理器１０２に供給する機能を有すると良い。
【００２３】
ここで、切り抜き領域であるクロッピング領域情報は、所定の領域をあらかじめ設定しておくようにしても構わない。また、例えば、図３の１５０１、１５０２、１５０３のように、フォーカスなどのカメラパラメータに連動してクロッピング領域の大きさや位置を変更することができるようにしても構わない。ここで、図３の１５０１は蓄積されている画像の全体、１５０２はクロッピング領域、１５０３はフォーカス位置を表している。
【００２４】
また、フォーカス位置とクロッピング領域との関係は、図３の１５０２と１５０３のように、クロッピング領域の中央にフォーカス位置がくるような位置関係であっても構わない。また、図３の１５０４、１５０５、１５０６のように、フォーカス位置とクロッピング領域との関係が所定の関係であっても構わない。ここで、図３の１５０４は蓄積されている画像の全体、１５０５はクロッピング領域、１５０６はフォーカス位置を表している。
【００２５】
制御器１０６は、蓄積画像列管理器１０２から蓄積画像列管理情報を取得し、画像列の依存関係を示すツリー構造に対して所定のツリー構造解析処理を行い、得られる画像列の順位情報を蓄積画像列管理器１０２に供給する機能を有する。ここで、画像列の順位情報は、蓄積画像列管理情報に追加した上で蓄積画像列管理器１０２に供給されるように構成しても良い。更に、制御器１０６は、蓄積画像列管理器１０２に対して、超解像拡大器１０７における所定の超解像拡大処理を制御するための制御情報を供給する機能を有する。ここで、この制御情報には、超解像処理で利用する観測画像である超解像処理前の低解像度画像の枚数に関する情報、超解像処理における拡大率に関する情報が含まれるようにすると良い。観測画像の枚数に関する情報は、所定枚数であっても構わないし、ユーザからの要求に基づくものであっても構わない。また、本実施形態の画像処理装置の演算量を監視し、演算負荷の増減に応じて観測画像の枚数を調整したり、超解像拡大処理にかかる時間を測定し、所定の時間内で処理が終了するように観測画像の枚数を調整したりすることで、より良い構成にすることができる。超解像処理における拡大率に関する情報は、所定の拡大率情報であっても構わないし、ユーザからの要求に基づくものであっても構わない。
【００２６】
超解像拡大器１０７は、蓄積画像列管理器１０２から、超解像処理対象となっている静止画像および、少なくとも１枚の観測画像である超解像処理前の低解像度画像を取得し、取得した静止画像および観測画像を利用して所定の超解像拡大処理を行い、取得した静止画像よりも高精細な静止画像である超解像画像を生成し、蓄積画像列管理器１０２に供給する機能を有する。
【００２７】
次に、図４を用いて図１に示す画像処理装置の構成の動作について説明する。
【００２８】
図４は、図１に示す画像処理装置の動作を示すフローチャートである。
【００２９】
まず、制御器１０６は、画像列の蓄積を開始させるための制御情報を蓄積画像列管理器１０２に供給する。動画像の撮影が開始されると、画像列入力１０１として順次撮影された画像列が蓄積画像列管理器１０２に供給される。
【００３０】
蓄積画像列管理器１０２は、画像列入力１０１として供給される画像列であるそれぞれの画像フレームを取得し、所定枚数になるまで蓄積を行う。所定枚数を超える場合には、ＦＩＦＯ方式で最も古い時刻に格納された画像フレームを破棄し、新たに取得した画像フレームを最後尾に追加する。このような処理により、入力された画像列を蓄積する（ステップＳ１０１）。
【００３１】
制御器１０６は、例えば動画像の撮影中にユーザが静止画像を記録したいと考えてシャッターボタンを押すなどの動作によって生じる、ユーザからの解析開始要求の有無を監視する。ユーザからの解析開始要求があった場合（ステップＳ１０２  ＹＥＳ）は、ステップＳ１０３に進む。また、ユーザからの解析開始要求がない場合（ステップＳ１０２  ＮＯ）は、ステップＳ１０１に戻り、画像列の蓄積が継続される。
【００３２】
制御器１０６によってユーザからの解析開始要求があったことを確認すると、制御器１０６は、画像列の蓄積を中断させるための制御情報を蓄積画像列管理器１０２に供給し、蓄積画像列管理器１０２は、取得した制御情報に応じて画像列の蓄積を中断し、蓄積画像列管理情報に対して初期化を行うことで解析処理の準備を行う。また、制御器１０６は、ユーザからの直接的な解析開始要求である第１静止画像取得要求があった時刻に基づいて、ユーザが実際に要求を行った第１静止画像取得要求の時刻と、ユーザが実際に所望している静止画像を含む時刻との時間的なズレの時刻分だけ、第１静止画像取得要求があった時刻から過去にさかのぼった時刻を、ユーザからの第２静止画像取得要求として解析開始位置を特定する。制御器１０６は、特定した解析開始位置を蓄積画像列管理器１０２に供給し、蓄積画像列管理器１０２は、取得した解析開始位置を蓄積画像列管理情報に反映する。これにより、解析開始位置をユーザが実際に所望した静止画像の時刻位置に近づけた上で、解析を開始することができる。
【００３３】
次に、制御器１０６は、解析処理の実行を制御するために、蓄積画像列管理器１０２から蓄積画像列管理情報を取得し、次に処理すべき画像列を特定する。特定した画像列の情報に基づいて制御情報を蓄積画像列管理器１０２に供給する。
【００３４】
蓄積画像列管理器１０２は、制御器１０６から次に処理すべき画像列に関する制御情報を取得し、解析対象となる少なくとも２枚の画像フレームを画像列として特定する。特定した画像列を、順方向画像間解析器１０３および逆方向画像間解析器１０４に供給する。特定した画像列を供給する際に、順方向画像間解析器１０３に対しては、供給すべき画像列のうち、時間的に過去側のフレーム位置の画像を参照画像、時間的に未来側のフレーム位置の画像を対象画像として供給する。また、逆方向画像間解析器１０４に対しては、供給すべき画像列のうち、時間的に未来側のフレーム位置の画像を参照画像、時間的に過去側のフレーム位置の画像を対象画像として供給する。
【００３５】
その後、順方向画像間解析器１０３および逆方向画像間解析器１０４は、それぞれ参照画像および対象画像を蓄積画像列管理部１０２から取得することで、解析対象画像列を取得する（ステップＳ１０３）。その後のステップＳ１０４およびステップＳ１０５は並列動作を行うように構成されているが、これらを順次動作によって処理を行うように構成することも可能であり、これらの構成によって特に限定されるものではないことに注意する。
【００３６】
解析対象画像列が取得されると、順方向画像間解析器１０３は、取得した参照画像および対象画像に対して所定の順方向画像間解析を行い（ステップＳ１０４）、画像間の類似度を評価し、評価結果である類似度情報を判定器１０５に供給する。
【００３７】
同様に、逆方向画像間解析器１０４は、取得した参照画像および対象画像に対して所定の順方向画像間解析を行い（ステップＳ１０４）、画像間の類似度を評価し、評価結果である類似度情報を判定器１０５に供給する。
【００３８】
その後、判定器１０５は、順方向画像間解析器１０３および逆方向画像間解析器１０４から順方向の類似度情報および逆方向の類似度情報を取得し、それぞれの類似度情報を比較して順方向と逆方向のどちらの画像間解析が有効であったかを判定する。この判定により、解析対象となっていた画像列から有効な画像フレームを選定し（ステップＳ１０６）、類似度情報の判定結果である判定情報を制御器１０６に供給する。
【００３９】
制御器１０６は、判定器１０５から取得した判定情報に基づき、解析対象となっていた画像列の判定情報を制御情報として蓄積画像列管理器１０２に供給する。
【００４０】
蓄積画像列管理器１０２では、取得した判定情報に関する制御情報に基づいて、蓄積画像列管理情報に対して判定情報を反映させるとともに、現状において出力対象となる画像の位置情報を更新する（ステップＳ１０７）。その後、次の解析に備えるために、蓄積画像列管理情報を更新することで、画像列の管理情報を更新する（ステップＳ１０８）。
【００４１】
次に、制御器１０６は、蓄積画像列管理器１０２から蓄積画像列管理情報を取得し、次の解析対象画像列が存在するか否かを判定する（ステップＳ１０９）。ここで、次の解析対象画像列が存在する場合（ステップＳ１０９  ＹＥＳ）、ステップＳ１０３に進み、制御器１０６は、解析処理を継続する。
【００４２】
これに対し、次の解析対象画像列が存在しない場合（ステップＳ１０９  ＮＯ）、制御器１０６は、蓄積画像列管理情報から、出力候補となっている代表画像のフレーム位置を特定するとともに、その代表画像が、動画像内のどの範囲の画像列から抽出されたものかを示す、画像列の範囲情報を特定する。この画像列の範囲情報に属する画像列は、超解像拡大器１０７で行われる超解像処理の観測画像として利用される。この観測画像として利用される画像列に対して、あらかじめ優先順位を決定するために、制御器１０６は、蓄積画像列管理情報に含まれる画像列の依存関係を示すツリー構造に対して、所定の探索モード、ツリー構造を構成するパスのコスト、ツリー構造を構成するノードのコストに基づいて所定のツリー構造解析処理を行い（ステップＳ１１０）、生成した順位情報を蓄積画像列管理情報に反映する。
【００４３】
その後、制御器１０６は、蓄積画像列管理器１０２に対して、超解像拡大器１０７における所定の超解像拡大処理を制御するための制御情報を供給する。この制御情報には、観測画像の枚数に関する情報、超解像処理における拡大率に関する情報を含むと良い。
【００４４】
次に、蓄積画像列管理器１０２は、制御器１０６から超解像拡大処理に関する制御情報を取得し、蓄積画像列管理情報に含まれる、画像列の依存関係を示すツリー構造の解析から得られている画像列の順位情報に従って、要求された枚数の観測画像（超解像処理前の低解像度画像）を特定し、超解像処理対象となっている静止画像とともに要求された枚数の観測画像を超解像拡大器１０７に供給する。また、必要であれば、超解像処理における拡大率に関する情報も、超解像拡大器１０７に供給する。
【００４５】
その後、超解像拡大器１０７では、蓄積画像列管理器１０２から超解像処理対象となっている静止画像と、少なくとも１枚の観測画像とを取得する。また、超解像処理における拡大率に関する情報が必要であれば、蓄積画像列管理器１０２から取得しても構わない。超解像拡大器１０７は、取得した静止画像および観測画像を利用して所定の超解像拡大処理を行い（ステップＳ１１１）、取得した静止画像よりも高解像度な静止画像である超解像画像を生成し、蓄積画像列管理器１０２に供給する。
【００４６】
超解像拡大処理が完了すると、制御器１０６は、生成された超解像画像を出力するために、画像列出力の制御を行うための制御情報を蓄積画像列管理器１０２に供給し、蓄積画像列管理器１０２では、制御器１０６から画像出力に関する制御情報を取得することで、出力すべき画像を特定し、画像を出力する（ステップＳ１１０）。また、画像列の範囲情報も必要に応じて出力する。ここでは、超解像処理によって高解像度化された超解像画像が出力すべき画像として特定され、画像出力される。
【００４７】
以上のようなステップに基づいて本発明の画像処理を行うことで、ユーザからのより高解像度な静止画像取得要求があった時刻から、必要に応じてユーザが実際に所望した静止画像が存在する時刻までのずれを補正して解析開始位置を特定し、所定の画像間の解析処理を行って、ユーザが実際に所望した静止画像により近く、静止画像として鑑賞に堪えうる品質を備えた静止画像を抽出した上で超解像処理を施すことで、品質の高い超解像画像を生成することが可能となる。
【００４８】
次に、本装置における所定のツリー構造解析処理について、図５及び図６を参照して説明する。
【００４９】
図５は、図４のステップ１１０にて制御部１０６が実行する所定のツリー構造解析処理の詳細の処理手順を示すフローチャートである。
【００５０】
つまり、まず、制御部１０６は、画像間解析により、例えば図６に示すような、画像列の依存関係を示すツリー構造を構成する（ステップＳ３０１）。
【００５１】
このツリー構造を構成する場合には、まず、それぞれの画像に対して少なくとも1つのノードを割り当てる。ここでは、初回であるため０階層に属するノードとして、それぞれのノードが割り当てられる。この画像間解析処理の過程で選択された画像は、次の出力候補となる代表画像であり、次の階層における解析対象となる。よって、同じフレーム位置で１階層低い位置に新たにノードを追加し、このノードと依存関係のある１階層高いノードとの間をそれぞれパスによって関連付ける。
【００５２】
例えば、ノードＮ００とＮ０１に注目すると、これらのノードは０階層に属している。画像間解析によって、フレーム位置１の画像が選択されたことにより、フレーム位置１に対応するノードＮ０１と同じフレーム位置で階層が1つ低いノードＮ１１が追加される。
【００５３】
このノードＮ１１は、ノードＮ００とＮ０１との間に依存関係があるものとして、ノードＮ１１とノードＮ００、ノードＮ１１とノードＮ０１との間をそれぞれパスＰ００、Ｐ０１によって関連付ける。このような関連付けを、画像間解析によって超解像処理対象となる静止画像が特定されるまで行うことによって、ツリー構造を構成する。
【００５４】
図６では、フレーム位置３の画像が超解像処理対象として特定されたため、フレーム位置３、−３階層に属するノードＮ３３がツリー構造の頂点である基準ノードとなる。以上のようなツリー構造の構成は、図５ではステップＳ３０１にて行われるが、このツリー構造の構成処理を、あらかじめ画像間解析の過程で構成しておいても構わない。
【００５５】
制御部１０６は、画像列の依存関係を示すツリー構造が確定すると、画像列の依存関係を示すツリー構造を構成する各ノードに対し、中間ノードと候補ノードとの分類を行う（ステップＳ３０２）。図６では、灰色の四角で示されている、ノードＮ２３，Ｎ１３，Ｎ１４，Ｎ０１，Ｎ０３，Ｎ０４，Ｎ０７をそれぞれ中間ノードとし、白抜きの四角で示されている、ノードＮ２４，Ｎ１１，Ｎ１７，Ｎ００，Ｎ０２，Ｎ０５，Ｎ０６をそれぞれ候補ノードとしている。このノードの分類は、同じフレーム位置に属するノードに注目し、最も階層が低いノードを候補ノードに分類する。この候補ノードと同じフレーム位置に属し、候補ノードの階層よりも高いノードを中間ノードに分類する。
【００５６】
その後、制御部１０６は、ツリー構造の探索モードを特定する（ステップＳ３０３）。
【００５７】
図７は、ツリー構造の探索モードの一例を示している。
【００５８】
ここで、探索モードとして、例えば、図７に示すようなモードを少なくとも備えると良い。図７において、探索モードは、タイプと補助条件によって分類されている。タイプは、ツリー構造の探索を行う際に、どのような基準に基づいて探索を行うかを表す。また、補助条件は、タイプの条件において、更に細かい基準に基づいて探索ルールを決定するためのものである。
【００５９】
図７において、探索モード０は、タイプは距離優先で、補助条件は下位階層優先により探索を行うモードである。ここで、距離優先とは、基準ノードが属するフレーム位置を基準フレーム位置として、基準フレーム位置と探索対象となっているノードが属するフレーム位置との間の距離である基準フレーム間距離が近いノードを優先的に探索することを意味する。また、下位階層優先とは、基準フレーム間距離が同一であるノードが複数存在する場合に、ノードの属している階層が低いものを優先的に探索することを意味する。
【００６０】
探索モード１は、タイプは距離優先で、補助条件は上位階層優先により探索を行うモードである。ここで、上位階層優先とは、基準フレーム間距離が同一であるノードが複数存在する場合に、ノードの属している階層が高いものを優先的に探索することを意味する。  
【００６１】
探索モード２は、タイプは階層優先で、補助条件は近距離優先により探索を行うモードである。ここで、階層優先とは、基準ノードが属する階層を基準階層として、基準階層とノードが属する階層との間の距離が近いノードを優先的に探索することを意味する。また、近距離優先とは、基準階層からの階層間距離が同一であるノードが複数存在する場合に、基準フレーム間距離が近いノードを優先的に探索することを意味する。
【００６２】
探索モード３は、タイプは階層優先で、補助条件は遠距離優先により探索を行うモードである。ここで、遠距離優先とは、基準階層からの階層間距離が同一であるノードが複数存在する場合に、基準フレーム間距離が遠いノードを優先的に探索することを意味する。  
【００６３】
探索モード４は、タイプがコスト優先であることにより探索を行うモードである。ここで、コストとは、パスやノードの選択のし易さを示す値であり、この値が小さければ選択され易く、大きければ選択され難いものとする。タイプがコスト優先であるということは、ノードと基準ノードまでの経路に注目し、この経路中のパスやノードのコストの合計が小さいノードを優先的に探索することを意味する。
【００６４】
探索モード５は、タイプが制限付コスト優先で、補助条件がｄであることに基づいて探索を行うモードである。ここで、ｄは、探索範囲を制限するための値であり、基準フレーム間距離を表している。また、制限付コスト優先とは、コスト優先で探索を行う際に、基準フレーム位置からの距離がｄまでの範囲に含まれるノードを探索し、その後、ｄよりも大きい距離までの範囲を探索することを意味する。
【００６５】
探索モード６は、タイプがＮ段制限付コスト優先で、補助条件がｄ１，ｄ２，・・・，ｄＮであることに基づいて探索を行うモードである。ここで、ｄ１，ｄ２，・・・，ｄＮは、Ｎ段階に探索範囲を制限するための値であり、それぞれ基準フレーム間距離を表している。また、Ｎ段階制限付コスト優先とは、コスト優先で探索を行う際に、基準フレーム位置からの距離がｄ１までの範囲に含まれるノードを探索し、その後、ｄ１より大きくｄ２までの範囲に含まれるノードを探索し、同様に順次探索範囲を拡大して、ｄ２からｄ３、ｄ４からｄ５、・・・、ｄＮ−１より大きくｄＮまでの範囲に含まれるノードを探索し、その後、ｄＮよりも大きい距離までの範囲を探索することを意味する。
【００６６】
探索モード７は、タイプが探索優先で、補助条件は距離０優先により探索を行うモードである。ここで、距離０優先とは、パスのフレーム間距離が０であるものを優先的に探索することを意味する。
【００６７】
探索モード８は、タイプが探索優先で、補助条件は距離非０優先により探索を行うモードである。ここで、距離非０優先とは、パスのフレーム間距離が０でないものを優先的に探索することを意味する。
【００６８】
制御部１０６は、以上のような探索モードを特定した後、探索開始位置のノードを特定し、基準ノードとする（ステップＳ３０４）。
【００６９】
ここで、探索開始位置のノードは、本実施形態の画像間解析によって特定された、超解像対象の画像が属するフレーム位置と、探索モードのタイプ、補助条件に基づいて特定し、基準ノードにすると良い。例えば、探索モード０では、距離優先、下位階層優先であることから、ノードＮ３３を基準ノードにすることが望ましい。探索モード１では、距離優先、上位階層優先であることから、ノードＮ０３を基準ノードにすることが望ましい。その他の探索モードでは、ノードＮ３３を基準ノードにすることが望ましい。
【００７０】
次に、制御部１０６は、探索モードに応じてパスのコストを算出する（ステップＳ３０５）。
【００７１】
図８は、探索モードに応じたパスのコストの一例を示す図である。
【００７２】
ここで、パスのコストは、例えば、図８に示すように、階層やフレーム間距離に応じて、探索モードに対応した所定の距離コスト係数Ｄと階層コスト係数Ｌに基づいて算出するように構成することができる。
【００７３】
図９は、探索モードに応じたパスのコストの他の例を示す図である。
【００７４】
この距離コスト係数と階層コスト係数は、例えば、図９に示すように、異なるフレーム間距離に応じて異なる距離コスト係数Ｄ０，Ｄ１，Ｄ２，Ｄ３，・・・、異なる階層間に応じて異なる階層コスト係数Ｌ０，Ｌ１，Ｌ２，・・・が探索モードによって特定され、パスのコストが算出されるように構成しても構わない。
【００７５】
その後、各パスのコストおよび各ノードのコストに基づいて、基準ノードから各ノードまでの経路を特定し、この経路に含まれるパスおよびノードのコストを合計することで、基準ノードから各ノードまでのコストを算出する（ステップＳ３０６）。
【００７６】
各ノードまでのコストが求まると、基準ノードを開始位置として、パスやノードのコストに基づいてツリー構造の探索を行いながら、それぞれの候補ノードに対して優先順位を付けることにより、順位付け処理を行い（ステップＳ３０７）、全ての候補ノードに対して優先順位が確定した時点でツリー構造解析処理は終了する。
【００７７】
次に、図１０を用いて、探索モード０および１の順位付け処理の例を示す。
【００７８】
探索モード０の場合、補助条件が下位階層優先であるため、基準ノードはＮ３３が設定されるものとする。また、説明を簡単にするため、図８が適用されるものとする。ここでは仮に、距離コスト係数Ｄ＝２、階層コスト係数Ｌ＝１、各ノード自体のコストは０であるものとする。
【００７９】
図１１は、図６のツリー構造において、それぞれのパスがどのフレーム間距離と階層に属しているかを示す図である。
【００８０】
この図１１と図８を利用して、基準ノードから各ノードまでのコストが算出されているものとする。
【００８１】
図１２は、各ノードが、それぞれどの基準フレーム間距離に属し、どの階層に属しているかを示す図である。
【００８２】
探索モード０では、図１２の基準フレーム間距離が近いノードの中から、階層が低いノードを優先して順位付けを行う。つまり、開始位置がＮ３３であり、（Ｎ２３），（Ｎ１３），（Ｎ０３）は中間ノードであるため、Ｎ２４が１番目のノードとなる。その後、Ｎ０２，Ｎ１１，Ｎ０５の順に順位付けが行われる。その後、Ｎ００，Ｎ０６のように、基準フレーム間距離が同一なノードに対して順位付けを行う。ここで、このようなノードに対しては、同一の順位を付けることで、両方のノードに属する画像を超解像処理の観測画像に利用するように本発明を構成しても良い。また、これらのノードに対してコストが小さい順に順位付けを行うように本発明を構成することもできる。ここでは、Ｎ００のコストの方が小さいことから、Ｎ００，Ｎ０６の順となる。その後、Ｎ１７の順位が確定した時点で候補ノードの順位が確定し、順位付け処理が完了する。
【００８３】
探索モード１の場合、補助条件が上位階層優先であるため、基準ノードはＮ０３が設定されるものとする。また、説明を簡単にするため、図８が適用されるものとする。ここでは仮に、距離コスト係数Ｄ＝２、階層コスト係数Ｌ＝１、各ノード自体のコストは０であるものとする。探索モード１では、図１２の基準フレーム間距離が近いノードの中から、階層が高いノードを優先して順位付けを行う。つまり、開始位置が（Ｎ０３）であり、（Ｎ１３），（Ｎ２３）は中間ノードであるため、Ｎ３３が１番目のノードであるが、Ｎ３３のノードが属するフレーム位置の画像は、超解像対象の画像であることから、観測画像からは除外する必要があるため、１番目とせずに次のノードを探索する。
【００８４】
次に該当するノードは、Ｎ０２，（Ｎ０４）である。（Ｎ０４）は中間ノードであるため、Ｎ０２が１番目のノードとなる。その後、Ｎ２４，Ｎ０５，Ｎ１１の順に順位付けが行われる。その後、Ｎ００，Ｎ０６のように、基準フレーム間距離が同一なノードに対して順位付けを行う。ここで、このようなノードに対しては、同一の順位を付けることで、両方のノードに属する画像を超解像処理の観測画像に利用するように本発明を構成しても良い。また、これらのノードに対してコストが小さい順に順位付けを行うように本発明を構成することもできる。ここでは、Ｎ００のコストの方が小さいことから、Ｎ００，Ｎ０６の順となる。その後、Ｎ１７の順位が確定した時点で候補ノードの順位が確定し、順位付け処理が完了する。
【００８５】
次に、図１３を用いて、探索モード２および３の順位付け処理の例を示す。
【００８６】
探索モード２の場合、基準ノードはＮ３３が設定されるものとする。また、説明を簡単にするため、図８が適用されるものとする。ここでは仮に、距離コスト係数Ｄ＝２、階層コスト係数Ｌ＝１、各ノード自体のコストは０であるものとする。また、図１１と図８を利用して、基準ノードから各ノードまでのコストが算出されているものとする。
【００８７】
図１４は、各ノードが、それぞれどの階層に属し、どの基準フレーム間距離に属しているかを示す図である。
【００８８】
探索モード２では、図１４の階層が低いノードの中から、基準フレーム間距離が近いノードを優先して順位付けを行う。つまり、開始位置がＮ３３であり、（Ｎ２３）は中間ノードであるため、Ｎ２４が１番目のノードとなる。その後、Ｎ１１，Ｎ１７，Ｎ０２，Ｎ０５の順に順位付けが行われる。その後、Ｎ００，Ｎ０６のように、階層が同一なノードに対して順位付けを行う。ここで、このようなノードに対しては、同一の順位を付けることで、両方のノードに属する画像を超解像処理の観測画像に利用するように本発明を構成しても良い。また、これらのノードに対してコストが小さい順に順位付けを行うように本発明を構成することもできる。ここでは、Ｎ００のコストの方が小さいことから、Ｎ００，Ｎ０６の順となる。この時点で候補ノードの順位が確定し、順位付け処理が完了する。
【００８９】
探索モード３の場合、基準ノードはＮ３３が設定されるものとする。また、説明を簡単にするため、図８が適用されるものとする。ここでは仮に、距離コスト係数Ｄ＝２、階層コスト係数Ｌ＝１、各ノード自体のコストは０であるものとする。また、図１１と図８を利用して、基準ノードから各ノードまでのコストが算出されているものとする。探索モード３では、図１４の階層が低いノードの中から、基準フレーム間距離が遠いノードを優先して順位付けを行う。つまり、開始位置がＮ３３であり、Ｎ２４が１番目のノードとなる。その後、Ｎ１７，Ｎ１１の順に順位付けが行われる。その後、Ｎ００，Ｎ０６のように、階層が同一なノードに対して順位付けを行う。ここで、このようなノードに対しては、同一の順位を付けることで、両方のノードに属する画像を超解像処理の観測画像に利用するように本発明を構成しても良い。また、これらのノードに対してコストが小さい順に順位付けを行うように本発明を構成することもできる。ここでは、Ｎ００のコストの方が小さいことから、Ｎ００，Ｎ０６の順となる。その後、Ｎ０５，Ｎ０２の順位が確定した時点で候補ノードの順位が確定し、順位付け処理が完了する。
【００９０】
次に、図１５を用いて、探索モード４、５、および６の順位付け処理の例を示す。
【００９１】
探索モード４の場合、基準ノードはＮ３３が設定されるものとする。また、説明を簡単にするため、図８が適用されるものとする。ここでは仮に、距離コスト係数Ｄ＝２、階層コスト係数Ｌ＝１、各ノード自体のコストは０であるものとする。図１１は、図６のツリー構造において、それぞれのパスがどのフレーム間距離と階層に属しているかを示すものである。この図１１と図８を利用して、基準ノードから各ノードまでのコストが算出されているものとする。各ノードのコストが確定したツリー構造を探索することによって、各候補ノードのコストを特定し、コストが小さい順に順位付けを行うように本発明を構成することができる。候補ノードのコストは、Ｎ００＝９，Ｎ０２＝５，Ｎ０５＝７，Ｎ０６＝１３，Ｎ１１＝６，Ｎ１７＝１０，Ｎ２４＝３であることから、各ノードの優先順位は、Ｎ２４，Ｎ０２，Ｎ１１，Ｎ０５，Ｎ００，Ｎ１７，Ｎ０６となる。このように順位付けを行うことで候補ノードの順位が確定し、順位付け処理が完了する。
【００９２】
探索モード５の場合、タイプが制限付コスト優先で、補助条件がｄであることに基づいて探索を行うモードであることから、ここでは仮に、補助条件ｄ＝１とする。つまり、図１５の範囲１で示されるように、基準フレーム位置からの距離がｄ＝１までの範囲に含まれるノードを探索し、その後、ｄよりも大きい距離までの範囲を探索する。候補ノードのコストを特定するまでは、探索モード４の場合と同様であるため、説明を省略する。図１５の範囲１に含まれる候補ノードのコストは、Ｎ０２＝５，Ｎ２４＝３であるため、Ｎ２４，Ｎ０２のように順位付けを行う。その後、図１５の範囲１よりも大きい距離に含まれる候補ノードのコストは、Ｎ００＝９，Ｎ０５＝７，Ｎ０６＝１３，Ｎ１１＝６，Ｎ１７＝１０であるため、Ｎ１１，Ｎ０５，Ｎ００，Ｎ１７，Ｎ０６のように順位付けを行うことで候補ノードの順位が確定し、順位付け処理が完了する。
【００９３】
探索モード６の場合、タイプがＮ段制限付コスト優先で、補助条件がｄ１，ｄ２，・・・，ｄＮであることに基づいて探索を行うモードであることから、ここでは仮に、補助条件はｄ１＝１，ｄ２＝３とする。つまり、図１５の範囲１および範囲２で示されるように、基準フレーム位置から距離がｄ＝１までの範囲に含まれるノードを探索し、その後、ｄ１よりも大きくｄ２までの範囲に含まれるノードを探索し、その後、ｄ２よりも大きい距離までの範囲を探索する。候補ノードのコストを特定するまでは、探索モード４の場合と同様であるため、説明を省略する。図１５の範囲１に含まれる候補ノードのコストは、Ｎ０２＝５，Ｎ２４＝３であるため、Ｎ２４，Ｎ０２のように順位付けを行う。その後、図１５の範囲１よりも大きく、範囲２の距離に含まれる候補ノードのコストは、Ｎ００＝９，Ｎ０５＝７，Ｎ０６＝１３，Ｎ１１＝６であるため、Ｎ１１，Ｎ０５，Ｎ００，Ｎ０６のように順位付けを行う。その後、図１５の範囲２よりも大きい距離に含まれる候補ノードはＮ１７のみであることから順位付けを行うことで候補ノードの順位が確定し、順位付け処理が完了する。
【００９４】
次に、図１６を用いて、探索モード７の順位付け処理の例を示す。
【００９５】
探索モード７の場合、タイプが探索優先で、補助条件は距離０優先により探索を行うモードである。つまり、パスのフレーム間距離が０であるものを優先的に探索し、探索経路内で、初めて通過した候補ノードに対して順位付けを行っていく。通過するノードが候補ノードであっても２度目以降の通過である場合には、順位付けは行わないことに注意する。
【００９６】
図１６の例において、全探索経路は、開始位置をＮ３３とすると、（Ｎ２３）→（Ｎ１３）→（Ｎ０３）→（Ｎ１３）→Ｎ０２→（Ｎ１３）→（Ｎ２３）→Ｎ１１→（Ｎ０１）→＜Ｎ１１＞→Ｎ００→＜Ｎ１１＞→（Ｎ２３）→（Ｎ３３）→Ｎ２４→（Ｎ１４）→（Ｎ０４）→（Ｎ１４）→Ｎ０５→（Ｎ１４）→＜Ｎ２４＞→Ｎ１７→（Ｎ０７）→＜Ｎ１７＞→Ｎ０６→＜Ｎ１７＞→＜Ｎ２４＞→（Ｎ３３）となる。ここで、（Ｎｘｘ）は中間ノードを表し、＜Ｎｘｘ＞は２度目以降に通過した候補ノードを表すものとする。ここでは、Ｎ３３も中間ノードとして表記している。探索の終了条件は、開始位置のノードであるＮ３３において、通過していないパスが存在しないことにより判断する。以上のような探索によって、Ｎ０２，Ｎ１１，Ｎ００，Ｎ２４，Ｎ０５，Ｎ１７，Ｎ０６のように候補ノードに対して順序付けを行うことで候補ノードの順位が確定し、順位付け処理が完了する。
【００９７】
次に、図１７を用いて、探索モード８の順位付け処理の例を示す。
【００９８】
探索モード８の場合、タイプが探索優先で、補助条件は距離非０優先により探索を行うモードである。つまり、パスのフレーム間距離が０でないものを優先的に探索し、探索経路内で、初めて通過した候補ノードに対して順位付けを行っていく。通過するノードが候補ノードであっても２度目以降の通過である場合には、順位付けは行わないことに注意する。図１７の例において、全探索経路は、開始位置をＮ３３とすると、Ｎ２４→Ｎ１７→Ｎ０６→＜Ｎ１７＞→（Ｎ０７）→＜Ｎ１７＞→＜Ｎ２４＞→（Ｎ１４）→Ｎ０５→（Ｎ１４）→（Ｎ０４）→（Ｎ１４）→＜Ｎ２４＞→（Ｎ３３）→（Ｎ２３）→Ｎ１１→Ｎ００→＜Ｎ１１＞→（Ｎ０１）→＜Ｎ１１＞→（Ｎ２３）→（Ｎ１３）→Ｎ０２→（Ｎ１３）→（Ｎ０３）→（Ｎ１３）→（Ｎ２３）→（Ｎ３３）となる。ここで、（Ｎｘｘ）は中間ノードを表し、＜Ｎｘｘ＞は２度目以降に通過した候補ノードを表すものとする。ここでは、Ｎ３３も中間ノードとして表記している。探索の終了条件は、開始位置のノードであるＮ３３において、通過していないパスが存在しないことにより判断する。以上のような探索によって、Ｎ２４，Ｎ１７，Ｎ０６，Ｎ０５，Ｎ１１，Ｎ００，Ｎ０２のように候補ノードに対して順序付けを行うことで候補ノードの順位が確定し、順位付け処理が完了する。
【００９９】
次に、本装置の超解像拡大器１０７による所定の超解像拡大処理について説明する。
【０１００】
一般に、超解像処理による画像の高解像度化は、単に位置ずれがある等といった、比較的画像間の相関が高い複数の低解像度画像から１枚の高解像度画像を推定することによって行われるものであり、近年数多くの研究で報告されている。例えば、「Sung C.P.、Min K.P.共著、Super-Resolution Image Reconstruction: A Technical Overview, IEEE SignalProc. Magazine, 第26巻, 第3号, p.21-36, 2003年」などがある。
【０１０１】
また、「B.C.Tom, A.K.Katsaggelos共著、Reconstruction of a high-resolution image by simultaneous registration, restoration, and interpolation of low-resolution images, Proc. IEEE Int. Conf. Image Processing, 第２巻、p.539-542, 1995年」に開示されているＭＬ (Maximum-likelihood) 法というものが提案されている。このＭＬ法では、高解像度画像から推定された低解像度画像の画素値と実際に観測された画素値の二乗誤差を評価関数とし、評価関数を最小化するような高解像度画像を推定画像としている。この方法は、最尤推定の原理に基づいて超解像処理を行う方法である。
【０１０２】
また、「R.R.Schulz, R.L.Stevenson共著、Extraction of high-resolution frames from video sequences, IEEE Trans. Image Processing, 第５巻, p.996-1011, 1996年」に開示されているＭＡＰ (Maximum  A  Posterior) 法というものが提案されている。ＭＡＰ法では、二乗誤差に高解像度画像の確率情報を付加した評価関数を最小化するような高解像度画像の推定を行う。この方法は、高解像度画像に対する何らかの先見情報を利用して、事後確率を最大化する最適化問題として高解像度画像の推定を行う超解像処理方法である。
【０１０３】
更に、「H.Stark, P.Oskoui共著、High resolution image recovery from image-plane arrays, using convex projections, J.Opt. Soc. Am. A, 第６巻, p.1715-1726, 1989年」に開示されているＰＯＣＳ (Projection  Onto  Convex  Sets) 法というものが提案されている。このＰＯＣＳ法では、高解像度画像と低解像度画像の画素値に関して連立方程式を作成し、その方程式を逐次的に解くことにより、高解像度画像を得る超解像処理方法である。
【０１０４】
ここで、本実施形態では、所定の超解像拡大処理として、例えば上述のような超解像処理を適用するとともに、上述の画像間解析処理およびツリー構造解析処理によって、利用する際の優先順位が付けられた観測画像を、優先順位の高い観測画像から順番に所定枚数、または必要に応じた枚数を、超解像拡大処理において利用する低解像度の観測画像として利用するように本発明の画像処理装置を構成すると良い。
【０１０５】
以下、図１８、図１９および図２０を用いて、本実施形態の超解像拡大器１０７の詳細構成および動作について説明する。
【０１０６】
図１８は、図１に示す本実施形態の超解像拡大器１０７の詳細構成例を示すブロック図、図１９は、超解像拡大器１０７による超解像処理の様子を示すための概念図、図２０は、超解像拡大器１０７による超解像処理の一例を示すフローチャートである。
【０１０７】
図１８において、図１に示す本実施形態の超解像拡大器１０７は、位置合わせ器４０２、補間器４０３、推定画像生成器４０４、繰り返し判定器４０５を備える。
【０１０８】
位置合わせ器４０２は、図１９（ａ）に示すような、超解像拡大処理を行う際の基準となる基準画像と、少なくとも１枚の観測画像を取得する機能を有する。ここでは、図１９（ａ）に示すように基準画像と観測画像１および観測画像２を取得するものとする。位置合わせ器４０２は、取得した基準画像と観測画像１，２の解像度よりも高解像度の画素位置への位置合わせを行い、不等間隔にサンプリングされた不均一高解像度画像を生成する機能を有する。また、生成した不均一高解像度画像を補間器４０３、繰り返し判定器４０５に供給する機能を有する。ここで、生成される不均一高解像度画像は、例えば、図１９（ｂ）で示されるように、基準画像の各画素を基準として観測画像の位置合わせを行い、基準画像との間の相関が最も高くなる位置に配置するようにすることが望ましい。また、位置合わせで適用される解像度は、超解像拡大処理後に得られる解像度よりも高い解像度で位置合わせを行うようにすることが望ましい。
【０１０９】
補間器４０３は、生成された不均一高解像度画像を取得し、取得した不均一高解像度画像から所定の不均一補間処理を行うことで、所望の高解像度を持つ補間画像を生成し、推定画像生成器４０４に供給する機能を有する。また、補間器４０３は、繰り返し判定器４０５から処理を継続するための制御情報を取得する機能を有する。ここで、処理を継続するための制御情報には、推定画像生成器４０４によって生成された不均一推定画像が含まれると良い。また、補間器４０３は、制御情報に応じて繰り返し処理を行う場合には、所定の更新方法に従って不均一推定画像を利用し、位置合わせ器４０２から取得した不均一高解像度画像を更新するとともに、それぞれの補間画素を修正する機能を有すると良い。
【０１１０】
推定画像生成器４０４は、生成された補間画像を取得し、所定のカメラモデルから得られる点広がり関数（ＰＳＦ関数）を考慮して所定の復元処理を行い、必要であれば所定のノイズ除去処理を行うことで、例えば、図１９（ｃ）に示すような所望の解像度を持つ推定画像を生成し、推定画像に対してリサンプル処理を行うことで、不均一高解像度画像の各画素に対応する、不均一推定画像を生成し、繰り返し判定器４０５に供給する機能を有する。また、推定画像生成器４０４は、繰り返し判定器４０５から制御情報を取得するとともに、制御情報に応じて、生成した所望の解像度を持つ推定画像を高解像度画像として外部に対して出力する機能を有する。
【０１１１】
繰り返し判定器４０５は、位置合わせ器４０２から不均一高解像度画像を取得するとともに、推定画像生成器４０４から不均一推定画像を取得し、取得したそれぞれの画像を利用して、所定の判定方法に従って超解像拡大処理の繰り返しか必要か否かを判定し、所定の判定方法による判定の結果、繰り返しが必要な場合は補間器４０３に対して処理を継続するための制御情報を供給する機能を有する。また、所定の判定方法による判定の結果、繰り返しが必要ない場合には、推定画像生成器４０４に対して結果を出力するための制御情報を供給する機能を有する。
【０１１２】
ここで、更に高速な超解像拡大処理を行う必要がある場合には、例えば、特許第３８３７５７５号で開示されているような、超解像処理の高速化方法を、本発明の画像処理装置に適用するようにすると、更に良い構成を実現することができる。
【０１１３】
次に、図１８に示す超解像拡大器１０７の動作を、図２０のフローチャートを用いて説明する。
【０１１４】
まず、位置合わせ器４０２は、図１９（ａ）に示すような低解像度の基準画像と、少なくとも１枚の観測画像を取得し（ステップＳ４０１）、図１９（ｂ）に示すように所望の高解像度よりも高い解像度によって、取得したそれぞれの画像の位置合わせを行う（ステップＳ４０２）。その際、基準画像の各画素を対応する位置に配置した後、この基準画像との相関が最も高くなるように観測画像の各画素を配置することで、不等間隔にサンプリングされた不均一高解像度画像を生成する。
【０１１５】
その後、補間器４０３は、生成された不均一高解像度画像を取得し、所定の不均一補間処理を行うことで画素の補間を行う（ステップＳ４０３）。これにより、所望の高解像度を持つ補間画像を生成する。
【０１１６】
次に、推定画像生成器４０４は、補間画像を取得し、所定の復元処理を行い、必要であれば所定のノイズ除去処理を行うことで、図１９（ｃ）に示すような所望の解像度を持つ推定画像を生成する（ステップＳ４０４）。また、推定画像に対してリサンプル処理を行うことで、不均一高解像度画像の各画素に対応する、不均一推定画像を生成する。
【０１１７】
次に、繰り返し判定器４０５は、位置合わせ器４０２から不均一高解像度画像を取得するとともに、推定画像生成器４０４から不均一推定画像を取得し、取得したそれぞれの画像を利用して、所定の判定方法に従って超解像拡大処理の繰り返しか必要か否かを判定する（ステップＳ４０５）。
【０１１８】
ここで、超解像拡大処理の繰り返しが必要であると判定した場合（ステップＳ４０５  ＹＥＳ）、繰り返し判定器４０５は、補間器４０３に対して処理を継続するための制御情報を供給する。
【０１１９】
これに対し、超解像拡大処理の繰り返しが必要でないと判定した場合（ステップＳ４０５  ＮＯ）、繰り返し判定器４０５は、推定画像生成器４０４に対して結果を出力するための制御情報を供給し、推定画像生成器４０４は制御情報に応じて、生成した所望の解像度を持つ推定画像を、超解像拡大処理によって得られた高解像度画像として出力する（ステップＳ４０６）。これにより、本実施形態１の超解像拡大処理が完了する。
【０１２０】
以上説明したように、本実施形態１の画像処理装置によれば、入力される画像列を所定枚数分蓄積し、解析対象画像列の特定および供給を行い、解析対象画像列に対し順方向と逆方向の画像間解析を行い、順方向の画像間解析に基づく評価情報と逆方向の画像間解析に基づく評価情報とに基づいてどちらの方向の画像間解析が有効であったか否かを判定し、その判定結果に基づいて解析対象画像列から超解像処理に適した静止画像を抽出し、この静止画像を基準として、複数の連続した画像列から少なくとも１枚の観測画像である超解像処理前の低解像度画像を利用して所定の超解像処理を行うようにしたので、動画像から静止画像を抽出する際に、ユーザが実際に所望した静止画像により近く、また静止画像として鑑賞に堪えうる品質を備えた静止画像を抽出した上で、従来よりも高品質な超解像拡大処理を施した静止画像を得ることができる。
【０１２１】
また、本実施形態１では、ユーザが実際に要求を行った第１静止画像取得要求の時刻から、ユーザがあらかじめ指定した時刻の分だけ過去にさかのぼった時点を、ユーザからの第２静止画像取得要求とし、その時刻に直近の動画像フレームを解析開始位置とすることにより、ユーザが本来静止画像として取得したかった内容に近いものを取得し、より高精細な静止画像を生成することができる。
【０１２２】
ここで、本実施形態１では、第２静止画像取得要求を決定する際に、ユーザが実際に要求を行った第１静止画像取得要求の時刻と、ユーザが実際に所望している静止画像を含む時刻との時間的なズレを設定するようにしているので、ユーザ毎の個人差を解消できるとともに、解析開始位置をユーザが実際に所望した静止画像の時刻位置に近づけることが可能となり、解析開始位置の周囲を本発明により解析することによって、ユーザが実際に所望した静止画像により近く、また静止画像として鑑賞に堪えうる品質を備えた静止画像を抽出し、より高精細な静止画像を生成することができる。
【０１２３】
また、本実施形態１では、第２静止画像取得要求を決定する際に、ユーザが実際に要求を行った第１静止画像取得要求の時刻と、ユーザが実際に所望している静止画像を含む時刻との時間的なズレを、ユーザ毎に学習することにより、ユーザ毎の個人差を解消するとともに、解析開始位置をユーザが実際に所望した静止画像の時刻位置に近づけることが可能となり、また、解析開始位置の周囲を解析することによって、ユーザが実際に所望した静止画像により近く、また静止画像として鑑賞に堪えうる品質を備えた静止画像を抽出し、より高精細な静止画像を生成することができる。
【０１２４】
また、本実施形態１では、ユーザからの静止画像取得要求を考慮した解析開始位置を利用して行われる画像間解析処理では、解析対象となる動画像の解析対象画像列を２枚１組として扱い、組となった画像の片方のフレーム位置の画像を次の階層の解析対象として選定しながら、解析処理の階層が下がるにつれて必ずしも等間隔ではない動画像である不等間隔動画像の画像列となるように動画像内の解析対象画像列を制御し、解析対象となっている２枚の画像列に対し、どちらのフレーム位置の画像を次の階層の解析対象とすべきかを判断するために、過去から未来方向の予測によって画像の類似度を評価する順方向画像間解析と、未来から過去方向の予測によって画像の類似度を評価する逆方向画像間解析とを行い、解析開始位置から過去の動画像フレームに対して、順方向および逆方向の類似度の評価を行い、抽出すべき静止画像の候補を選択する処理を、類似度がある一定の値を下回って、比較する参照画像と対象画像との類似度が低いと評価された時点で処理を終了することにより、処理を終了した時点で選択されている動画像フレームを抽出すべき静止画像として出力できる。
【０１２５】
また、本実施形態１では、静止画像の抽出過程で得られる画像列の依存関係をツリー構造によって管理し、所定の探索モードおよびツリー構造を構成するパスやノードに与えられたコストに基づいてツリー構造の解析を行い、解析対象画像列に対して順序付けを行い、この解析対象画像列の順位に基づいて、所定枚数の観測画像である超解像処理前の低解像度画像を特定した静止画像とともに所定の超解像処理を行うことにより、所定の超解像処理で利用する観測画像の枚数を、要求に応じて制限する際に、観測画像となる画像列から、超解像処理に有効で優先度の高い順番に、要求された必要な枚数の分だけ供給できる。これにより、超解像処理を行う際に、対象となっている画像列の全てを観測画像として利用することで、多くの演算量を費やすことなく、また超解像処理によってより高精細な静止画像を生成する際に、観測画像の枚数を制限することによる影響をより少なく抑えることができる。
【０１２６】
以上の結果、本実施形態１によれば、ユーザが実際に所望した静止画像により近く、また静止画像として鑑賞に堪えうる品質を備えた静止画像を抽出し、より高精細な静止画像を生成することができる。
【０１２７】
実施形態２．
実施形態２は、図１に示す実施形態１の順方向画像間解析器１０３および逆方向画像間解析器１０４の詳細を、図２１に示す順方向画像間解析器２４３および逆方向画像間解析器２４４のように詳細に構成したものである。なお、その他の構成は、図１に示す実施形態１のものと同様である。
【０１２８】
図２１において、順方向画像間解析器２４３は、第１画像列取得器２０３、第１ＭＥ器２０４、第１ＭＣ器２０５、第１Ａ  ＬＰＦ器２０６、差分器２０７、第１Ａノイズ除去器２０８、第１Ｂ  ＬＰＦ器２０９、差分器２１０、第１Ｂノイズ除去器２１１、第１Ｌ成分類似度評価器２１２、第１Ｈ成分類似度評価器２１３を有している。
【０１２９】
同様に、図２１において、逆方向画像間解析器２４４は、第２画像列取得器２１４、第２ＭＥ器２１５、第２ＭＣ器２１６、第２Ａ  ＬＰＦ器２１７、差分器２１８、第２Ａノイズ除去器２１９、第２Ｂ  ＬＰＦ器２２０、差分器２２１、第２Ｂノイズ除去器２２２、第２Ｌ成分類似度評価器２２３、第２Ｈ成分類似度評価器２２４を有している。
【０１３０】
ここで、図２１における差分器２０７を、第１Ａ  ＨＰＦ器に、差分器２１０を第１Ｂ  ＨＰＦ器に、差分器２１８を第２Ａ  ＨＰＦ器に、差分器２２１を第２Ｂ  ＨＰＦ器によって代替した構成であっても構わない。これらは共に、供給された画像情報から高周波数成分を抽出し、Ｈ成分情報を生成するためのものである。本実施形態２におけるこれらの構成要素は、Ｈ成分情報を生成するための構成要素であれば良く、以後の説明では、図２１で示される差分器によって構成されるものとして話を進める。また、図２１における第１Ａノイズ除去器２０８、第１Ｂノイズ除去器２１１、第２Ａノイズ除去器２１９、第２Ｂノイズ除去器２２２は、必要に応じて所定のノイズ除去処理を行わない、もしくは上記の各ノイズ除去器を有さないように構成しても構わない。
【０１３１】
以後、本実施形態の詳細に関する説明は図２１に基づいて進めるものとする。また、図１の構成要素と同等の機能を有する場合には説明を省略する。
【０１３２】
図２１の制御器２２６は、新たに第１画像列取得器２０３および第２画像列取得器２１４に関する動作を制御するために、それぞれに対して画像列を取得するための制御情報を供給する機能を有する。
【０１３３】
蓄積画像列管理器２０２は、図１の順方向画像間解析器１０３、逆方向画像間解析器１０４に対して画像列を供給する代わりに、第１画像列取得器２０３および第２画像列取得器２１４に対して、処理対象となる画像列を供給する機能を有する。
【０１３４】
第１画像列取得器２０３は、制御器２２６からの制御情報に応じて、蓄積画像列管理器２０２から、順方向の画像間解析処理を行うための参照画像、対象画像の画像列を取得する機能を有する。つまり、取得した画像列において、参照画像のフレーム位置は対象画像のフレーム位置よりも過去側の画像が得られている。取得した参照画像および対象画像を第１ＭＥ器２０４に供給する機能を有する。第１画像列取得器２０３は、参照画像を第１ＭＣ器２０５に供給する機能を有する。また、取得した対象画像を第１Ｂ  ＬＰＦ器２０９および差分器２１０に供給する機能を有する。
【０１３５】
第１ＭＥ器２０４は、第１画像列取得器２０３から参照画像および対象画像を取得すると共に、所定の動き推定を行い、動きベクトル情報を生成する機能を有する。この所定の動き推定においては、例えばＭＰＥＧ−１，ＭＰＥＧ−２，ＭＰＥＧ−４，同ＡＶＣ／ＳＶＣ等といった画像間相関を利用した動画像符号化において用いられるような、対象画像を重複なく所定の矩形領域に分割し、対応する動きベクトル情報を参照画像内から特定するような動き推定方法によるものであっても構わない。また、対象画像の領域分割を行う際に、所定の任意形状の領域分割を行った後に、対応する任意形状領域の動きベクトル情報を参照画像内から特定するような動き推定方法によるものであれば更に良い構成となる。第１ＭＥ器２０４は、生成した動きベクトル情報を第１ＭＣ器２０５に供給する機能を有する。
【０１３６】
第１ＭＣ器２０５は、第１画像列取得器２０３から参照画像を取得するとともに、第１ＭＥ器２０４から、動きベクトル情報を取得し、取得した参照画像および動きベクトル情報に基づいて、所定の動き補償を行い、予測画像を生成する機能を有する。この所定の動き補償においては、動き推定と同様に、例えばＭＰＥＧ−１，ＭＰＥＧ−２，ＭＰＥＧ−４，同ＡＶＣ／ＳＶＣ等といった画像間相関を利用した動画像符号化において用いられるような、動きベクトル情報を用いて参照画像から特定された領域を利用して予測画像を生成するような動き補償方法によるものであっても構わない。また、任意形状の領域分割情報と、任意形状領域に対応する動きベクトル情報によって、参照画像から対応する任意形状領域を特定し、このような領域を利用して予測画像を生成するような動き補償方法によるものであれば更に良い構成となる。また、領域分割情報は、第１ＭＥ器２０４から供給されるように構成しても良いし、また、第１画像列取得器２０３から対象画像を取得して、再度任意形状の領域分割処理を行うことで、生成しても良い。第１ＭＣ器２０５は、生成した予測画像を第１Ａ  ＬＰＦ器２０６および差分器２０７に供給する機能を有する。
【０１３７】
第１Ａ  ＬＰＦ器２０６は、第１ＭＣ器２０５から予測画像を取得し、所定の低周波数帯域通過特性を持つフィルタを用いて予測画像に対してフィルタリング処理を行い、予測画像の低周波数成分情報（Ｌ成分情報）を生成する機能を有する。第１Ａ  ＬＰＦ器２０６は、生成した予測画像のＬ成分情報を、差分器２０７および第１Ｌ成分類似度評価器２１２に供給する機能を有する。
【０１３８】
差分器２０７は、第１ＭＣ器２０５から予測画像を取得するとともに、第１Ａ  ＬＰＦ器２０６から予測画像のＬ成分情報を取得し、予測画像から予測画像のＬ成分情報を減算することで予測画像に含まれる高周波数成分情報（Ｈ成分情報）を生成する機能を有する。この差分器２０７は、所定の高周波数帯域通過特性を持つフィルタを用いて予測画像に対してフィルタリング処理を行い、予測画像のＨ成分情報を生成する機能を有するような構成要素によって代用するような構成とすることもできる。差分器２０７は、生成した予測画像のＨ成分情報を第１Ａノイズ除去器２０８に供給する機能を有する。ここで、生成した予測画像のＨ成分情報を、第１Ａノイズ除去器２０８を機能させずに、第１Ｈ成分類似度評価器２１３に供給するような構成にしても構わない。
【０１３９】
第１Ａノイズ除去器２０８は、差分器２０７から予測画像のＨ成分情報を取得し、所定のノイズ除去処理を行った後に、ノイズ除去後の予測画像のＨ成分情報を、第１Ｈ成分類似度評価器２１３に供給する機能を有する。ここで、ノイズ除去処理は、所定の範囲を閾値とした、Ｈ成分情報に含まれる微小ノイズの除去ができることが望ましい。
【０１４０】
第１Ｂ  ＬＰＦ器２０９は、第１画像列取得器２０３から対象画像を取得し、所定の低周波数帯域通過特性を持つフィルタを用いて対象画像に対してフィルタリング処理を行い、対象画像のＬ成分情報を生成する機能を有する。第１Ｂ  ＬＰＦ器２０９は、生成した対象画像のＬ成分情報を、差分器２１０および第１Ｌ成分類似度評価器２１２に供給する機能を有する。
【０１４１】
差分器２１０は、第１画像列取得器２０３から対象画像を取得するとともに、第１Ｂ  ＬＰＦ器２０９から対象画像のＬ成分情報を取得し、対象画像から対象画像のＬ成分情報を減算することで対象画像に含まれるＨ成分情報を生成する機能を有する。この差分器２１０は、所定の高周波数帯域通過特性を持つフィルタを用いて対象画像に対してフィルタリング処理を行い、対象画像のＨ成分情報を生成する機能を有するような構成要素によって代用するような構成とすることもできる。差分器２１０は、生成した対象画像のＨ成分情報を第１Ｂノイズ除去器２１１に供給する機能を有する。ここで、生成した対象画像のＨ成分情報を、第１Ｂノイズ除去器２１１を機能させずに、第１Ｈ成分類似度評価器２１３に供給するような構成にしても構わない。
【０１４２】
第１Ｂノイズ除去器２１１は、差分器２１０から対象画像のＨ成分情報を取得し、所定のノイズ除去処理を行った後に、ノイズ除去後の対象画像のＨ成分情報を、第１Ｈ成分類似度評価器２１３に供給する機能を有する。ここで、ノイズ除去処理は、所定の範囲を閾値とした、Ｈ成分情報に含まれる微小ノイズの除去ができることが望ましい。
【０１４３】
第１Ｌ成分類似度評価器２１２は、第１Ａ  ＬＰＦ器２０６から予測画像のＬ成分情報を取得するとともに、第１Ｂ  ＬＰＦ器２０９から対象画像のＬ成分情報を取得し、取得した予測画像のＬ成分情報と、対象画像のＬ成分情報とを、所定の類似度評価方法に基づいて、順方向におけるＬ成分情報の類似度情報（順方向Ｌ成分類似度情報）を生成し、判定器２２５に供給する機能を有する。ここで、所定の類似度評価方法としては、例えば予測画像のＬ成分情報と対象画像のＬ成分情報との差分値ｄＬの二乗平均平方根（RMSE: Root Mean Squared Error）によって評価するようにすると良い。これは、差分値ｄＬを二乗した上で相加平均し、平方根をとったものである。この値が大きいほど、類似度は低くなる。
【０１４４】
また、計算を簡単にする必要がある場合には、誤差の絶対値和（SAD: Sum of Absolute Differences）によって評価するようにしても構わない。SADにおいても、値が大きいほど類似度は低くなる。これらの誤差の評価値を類似度情報とすると良い構成となる。また、必要に応じて、予測画像のＬ成分情報および対象画像のＬ成分情報のRMSEもしくはSADによって評価し、順方向予測Ｌ成分誤差情報、順方向対象Ｌ成分誤差情報として判定器２２５に供給するようにすると更に良い構成となる。
【０１４５】
ここで、予測画像のＬ成分情報および対象画像のＬ成分情報のRMSEもしくはSADによって評価を行う際に、予測画像のＬ成分情報と対象画像のＬ成分情報との平均画像を生成し、この平均画像と予測画像のＬ成分情報との差分画像に対してRMSEもしくはSADによって評価し、順方向予測Ｌ成分平均誤差情報を生成し、判定器２２５に供給するようにすると更に良い構成となる。同様に、この平均画像と対象画像のＬ成分情報との差分画像に対してRMSEもしくはSADによって評価し、順方向対象Ｌ成分平均誤差情報を生成し、判定器２２５に供給するようにすると更に良い構成となる。
【０１４６】
ここで、Ｌ成分情報の類似度情報を生成する際の各成分情報に関する詳細を示す一例として、図２２を参照しながら説明する。
【０１４７】
図２２（ａ）は、予測画像のＬ成分情報の例を示す。この図２２（ａ）で示される例では、解析対象となっている画像列には円形の動物体が含まれている。この図２２（ａ）では、予測画像が生成される際に、動きベクトル情報に基づいて動き補償が行われることで、対象画像との画面内の空間的な位相差が抑えられている。しかし、この例では、参照画像内の物体の輪郭に動きブレが生じていたため、８０１の部分のように輪郭が不明瞭になっている。
【０１４８】
図２２（ｂ）は、対象画像のＬ成分情報の例を示す。この図２２（ｂ）で示される例では、対象画像内の物体は、８０３の部分のようにブレの少ない輪郭になっている。このような予測画像のＬ成分情報と、対象画像のＬ成分情報との間で差分を行うと、図２２（ｃ）のような状態となる。
【０１４９】
図２２（ｃ）のような差分画像は、RMSEやSADによる評価を行う際に用いられる。
【０１５０】
図２２（ａ）、図２２（ｂ）、および図２２（ｃ）における成分情報の推移を確認するため、同じ空間位置である８０８、８１０、８１２の領域内における同一ラインの成分情報をそれぞれ示したものが、図２２（ｄ）、図２２（ｅ）、図２２（ｆ）である。
【０１５１】
図２２（ｄ）における成分情報８０９は、予測画像のＬ成分情報における領域８０８内の１ライン分であり、図２２（ｅ）における成分情報８１１は対象画像のＬ成分情報における領域８１０内の１ライン分、図２２（ｆ）における成分情報８１３は差分画像における領域８１２内の１ライン分を表している。
【０１５２】
ここで、図２２（ｄ）における成分情報８０９は、動きボケ等を多く含んでいることから、輪郭周辺の信号が急峻ではなく、また全体的に信号成分が低くなっている。また、図２２（ｅ）における成分情報８１１は、動きボケが少ないため、輪郭部分の信号が比較的急峻であり、信号成分も比較的高い。このような成分情報８０９と成分情報８１１との間で差分を行うことで、図２２（ｆ）に示す成分情報８１３を得る。
【０１５３】
成分情報８１３では、図２２（ｆ）に示すように、成分情報同士がより近い値であれば、得られる差分の成分情報の絶対値も小さくなる。この例のように、参照画像に動きボケや、動物体の変形や新たな物体の出現・消失などによる動き補償の失敗により成分情報が劣化しているものと差分を行うと、得られる差分の成分情報の絶対値は大きくなる。
【０１５４】
したがって、予測画像のＬ成分情報および対象画像のＬ成分情報との類似度評価を行うことによって、手ブレや動きボケ、動物体の変形や新たな物体の出現・消失などによって生じる、画面内の大局的な変化を評価することを可能にする。仮に、このＬ成分情報の類似度評価において、解析対象となっている画像間の類似度があまり高くないと判断された場合、予測画像のＬ成分情報から順方向予測Ｌ成分誤差情報もしくは順方向予測Ｌ成分平均誤差情報、対象画像のＬ成分情報から順方向対象Ｌ成分誤差情報もしくは順方向対象Ｌ成分平均誤差情報に基づいて、解析対象となっている画像列から、次の解析対象として重要となる画像を選択するようにすることが望ましい。
【０１５５】
第１Ｈ成分類似度評価器２１３は、第１Ａノイズ除去器２０８からノイズ除去後の予測画像のＨ成分情報を取得するとともに、第１Ｂノイズ除去器２１１からノイズ除去後の対象画像のＨ成分情報を取得し、取得したノイズ除去後の予測画像のＨ成分情報と、ノイズ除去後の対象画像のＨ成分情報とを、所定の類似度評価方法に基づいて、順方向におけるＨ成分情報の類似度情報（順方向Ｈ成分類似度情報）を生成し、判定器２２５に供給する機能を有する。
【０１５６】
ここで、所定の類似度評価方法としては、例えばノイズ除去後の予測画像のＨ成分情報とノイズ除去後の対象画像のＨ成分情報との差分値ｄＨの二乗平均平方根（RMSE: Root Mean Squared Error）によって評価するようにすると良い。これは、差分値ｄＨを二乗した上で相加平均し、平方根をとったものである。この値が大きいほど、類似度は低くなる。
【０１５７】
また、計算を簡単にする必要がある場合には、誤差の絶対値和（SAD: Sum of Absolute Differences）によって評価するようにしても構わない。SADにおいても、値が大きいほど類似度は低くなる。これらの誤差の評価値を類似度情報とすると良い構成となる。また、必要に応じて、予測画像のＨ成分情報および対象画像のＨ成分情報のRMSEもしくはSADによって評価し、順方向予測Ｈ成分誤差情報、順方向対象Ｈ成分誤差情報として判定器２２５に供給するようにすると更に良い構成となる。
【０１５８】
ここで、予測画像のＨ成分情報および対象画像のＨ成分情報のRMSEもしくはSADによって評価を行う際に、予測画像のＨ成分情報と対象画像のＨ成分情報との平均画像を生成し、この平均画像と予測画像のＨ成分情報との差分画像に対してRMSEもしくはSADによって評価し、順方向予測Ｈ成分平均誤差情報を生成し、判定器２２５に供給するような構成でも構わない。同様に、この平均画像と対象画像のＨ成分情報との差分画像に対してRMSEもしくはSADによって評価し、順方向対象Ｈ成分平均誤差情報を生成し、判定器２２５に供給するような構成でも構わない。
【０１５９】
ここで、Ｈ成分情報の類似度情報を生成する際の、各成分情報に関する詳細を示す一例として、図２３を参照しながら説明する。
【０１６０】
図２３（ａ）は、予測画像のＨ成分情報の例を示す。この図２３（ａ）で示される例では、解析対象となっている画像列には円形の動物体が含まれている。この図２３（ａ）では、予測画像が生成される際に、動きベクトル情報に基づいて動き補償が行われることで、対象画像との画面内の空間的な位相差が抑えられている。しかしこの例では、参照画像内の物体の輪郭に動きブレが生じていたため、９０１の部分のように輪郭が不明瞭になっている。
【０１６１】
図２３（ｂ）は、対象画像のＨ成分情報の例を示す。この図２３（ｂ）で示される例では、対象画像内の物体は、９０３の部分のようにブレの少ない輪郭になっている。このような予測画像のＨ成分情報と、対象画像のＨ成分情報との間で差分を行うと、図２３（ｃ）のような状態となる。
【０１６２】
図２３（ｃ）のような差分画像は、RMSEやSADによる評価を行う際に用いられる。図２３（ａ）、図２３（ｂ）、および図２３（ｃ）における成分情報の推移を確認するため、同じ空間位置である９０８、９１０、９１２の領域内における同一ラインの成分情報をそれぞれ示したものが、図２３（ｄ）、図２３（ｅ）、図２３（ｆ）である。
【０１６３】
図２３（ｄ）における成分情報９０９は、予測画像のＨ成分情報における領域９０８内の１ライン分であり、図２３（ｅ）における成分情報９１１は対象画像のＨ成分情報における領域９１０内の１ライン分、図２３（ｆ）における成分情報９１３は差分画像における領域９１２内の１ライン分を表している。
【０１６４】
図２３（ｄ）における成分情報９０９は、動きボケ等を多く含んでいることから、輪郭周辺の信号が急峻ではなく、また信号成分が輪郭周辺に広く分布している。また、図２３（ｅ）における成分情報９１１は、動きボケが少ないため、輪郭部分の信号が比較的急峻であり、信号成分も大きく、また輪郭部分に集中している。このような成分情報９０９と成分情報９１１との間で差分を行うことで、図２３（ｆ）に示す成分情報９１３を得る。
【０１６５】
図２３（ｆ）に示す成分情報９１３では、図示されるように、成分情報同士がより近い値であれば、得られる差分の成分情報の絶対値も小さくなる。この例のように、参照画像に動きボケや、動物体の変形や新たな物体の出現・消失などによる動き補償の失敗により成分情報が劣化しているものと差分を行うと、得られる差分の成分情報の絶対値は大きくなる。
【０１６６】
特に、この例のように成分情報９０９の最大値と成分情報９１１の最大値の位置がずれていると、差分を行った際に信号成分が十分相殺されず、得られる差分の成分情報の絶対値はより大きくなる。また、動きボケ等により、輪郭部分が不鮮明であると、成分情報９０９のようなＨ成分情報となる傾向が強い。このような成分情報との差分によって得られる成分情報９１３は、大きな値が比較的広い範囲に渡って分布する傾向が強い。このような特徴から、このＨ成分情報に対して類似度を評価することによって、画像間でどの程度手ブレや動きボケ、画面内のテクスチャ情報が変化しているかを判断することが可能である。
【０１６７】
したがって、予測画像のＨ成分情報および対象画像のＨ成分情報との類似度評価を行うことによって、手ブレや動きボケ、動物体の変形や新たな物体の出現・消失などによって生じる、輪郭部分のズレや、動物体の変化といった、画面内の局所的な変化を評価することを可能にする。仮に、このＨ成分情報の類似度評価において、解析対象となっている画像間の類似度があまり高くないと判断された場合、予測画像のＨ成分情報から順方向予測Ｈ成分誤差情報もしくは順方向予測Ｈ成分平均誤差情報、対象画像のＨ成分情報から順方向対象Ｈ成分誤差情報もしくは順方向対象Ｈ成分平均誤差情報に基づいて、解析対象となっている画像列から、次の解析対象として重要となる画像を選択するようにすることが望ましい。また、重要となる画像を選択する際には、輪郭部分や画面内のテクスチャ情報がより鮮明なものを選択することが、静止画像としてより品質の高いものを選択することにつながる。よって、例えば順方向予測Ｈ成分誤差情報と順方向対象Ｈ成分誤差情報とを比較することによって画像を選択しなければならない場合には、これらの値が高い方を選択するように構成すると良い構成となる。
【０１６８】
図２１に戻り、第２画像列取得器２１４は、第１画像列取得器２０３と同等の機能を有する。また、第２画像列取得器２１４は、制御器２２６からの制御情報に応じて、蓄積画像列管理器２０２から、逆方向の画像間解析処理を行うための参照画像、対象画像の画像列を取得する機能を有する。つまり、取得した画像列において、参照画像のフレーム位置は対象画像のフレーム位置よりも未来側の画像が得られている。取得した参照画像および対象画像を第２ＭＥ器２１５に供給する機能を有する。さらに、第２画像列取得器２１４は、参照画像を第２ＭＣ器２１６に供給する機能を有する。また、取得した対象画像を第２Ｂ  ＬＰＦ器２２０および差分器２２１に供給する機能を有する。
【０１６９】
第２ＭＥ器２１５は、第１ＭＥ器２０４と同等の機能を有する。第２ＭＥ器２１５は、第２画像列取得器２１４から参照画像と対象画像を取得し、所定の動き推定を行うことにより動きベクトル情報を生成する機能を有する。また、生成した動きベクトル情報を第２ＭＣ器２１６に供給する機能を有する。
【０１７０】
第２ＭＣ器２１６は、第１ＭＣ器２０５と同等の機能を有する。第２ＭＣ器２１６は、第２画像列取得器２１４から参照画像を取得するとともに、第２ＭＥ器２１５から動きベクトル情報を取得し、所定の動き補償を行うことにより、予測画像を生成する機能を有する。また、生成した予測画像を第２Ａ  ＬＰＦ器２１７および差分器２１８に供給する機能を有する。
【０１７１】
第２Ａ  ＬＰＦ器２１７は、第１Ａ  ＬＰＦ器２０６と同等の機能を有する。第２Ａ  ＬＰＦ器２１７は、第２ＭＣ器２１６から予測画像を取得し、所定のフィルタリング処理を行うことで、予測画像のＬ成分情報を生成する機能を有する。また、生成したＬ成分情報を、差分器２１８および第２Ｌ成分類似度評価器２２３に供給する機能を有する。
【０１７２】
差分器２１８は、差分器２０７と同等の機能を有する。差分器２１８は、第２ＭＣ器２１６から予測画像を取得するとともに、第２Ａ  ＬＰＦ器２１７から予測画像のＬ成分情報を取得する機能を有する。また、取得した予測画像から予測画像のＬ成分情報を減算することで、予測画像のＨ成分情報を生成し、第２Ａノイズ除去器２１９に供給する機能を有する。ここで、生成した予測画像のＨ成分情報を、第２Ａノイズ除去器２１９を機能させずに、第２Ｈ成分類似度評価器２２４に供給するような構成にしても構わない。
【０１７３】
第２Ａノイズ除去器２１９は、第１Ａノイズ除去器２０８と同等の機能を有する。差分器２１８から予測画像のＨ成分情報を取得し、所定のノイズ除去処理を行った後、ノイズ除去後の予測画像のＨ成分情報を第２Ｈ成分類似度判定器２２４に供給する機能を有する。
【０１７４】
第２Ｂ  ＬＰＦ器２２０は、第１Ｂ  ＬＰＦ器２０９と同等の機能を有する。第２Ｂ  ＬＰＦ器２２０は、第２画像列取得器２１４から対象画像を取得し、所定のフィルタリング処理を行うことで対象画像のＬ成分情報を生成する機能を有する。また、生成した対象画像のＬ成分情報を差分器２２１および第２Ｌ成分類似度評価器２２３に供給する機能を有する。
【０１７５】
差分器２２１は、差分器２１０と同等の機能を有する。差分器２２１は、第２画像列取得器２１４から対象画像を取得するとともに、第２Ｂ  ＬＰＦ器２２０から対象画像のＬ成分情報を取得する機能を有する。また、取得した対象画像から対象画像のＬ成分情報を減算することで、対象画像のＨ成分情報を生成し、第２Ｂノイズ除去器２２２に供給する機能を有する。ここで、生成した対象画像のＨ成分情報を、第２Ｂノイズ除去器２２２を機能させずに、第２Ｈ成分類似度評価器２２３に供給するような構成にしても構わない。
【０１７６】
第２Ｂノイズ除去器２２２は、第１Ｂノイズ除去器２１１と同等の機能を有する。第２Ｂノイズ除去器２２２は、差分器２２１から対象画像のＨ成分情報を取得し、所定のノイズ除去処理を行った後、ノイズ除去後の対象画像のＨ成分情報を第２Ｈ成分類似度評価器２２４に供給する機能を有する。
【０１７７】
第２Ｌ成分類似度評価器２２３は、第１Ｌ成分類似度評価器２１２と同等の機能を有する。第２Ｌ成分類似度評価器２２３は、第２Ａ  ＬＰＦ器２１７から予測画像のＬ成分情報を取得するとともに、第２Ｂ  ＬＰＦ器２２０から対象画像のＬ成分情報を取得する機能を有する。また、取得した予測画像のＬ成分情報と、対象画像のＬ成分情報とを、所定の類似度評価方法に基づいて、逆方向におけるＬ成分情報の類似度情報（逆方向Ｌ成分類似度情報）を生成し、判定器２２５に供給する機能を有する。
【０１７８】
第２Ｈ成分類似度評価器２２４は、第１Ｈ成分類似度評価器２１３と同等の機能を有する。第２Ｈ成分類似度評価器２２４は、第２Ａノイズ除去器２１９からノイズ除去後の予測画像のＨ成分情報を取得するとともに、第２Ｂノイズ除去器２２２からノイズ除去後の対象画像のＨ成分情報を取得する機能を有する。また、取得したノイズ除去後の予測画像のＨ成分情報と、ノイズ除去後の対象画像のＨ成分情報とを、所定の類似度評価方法に基づいて、逆方向におけるＨ成分情報の類似度情報（逆方向Ｈ成分類似度情報）を生成し、判定器２２５に供給する機能を有する。
【０１７９】
判定器２２５は、第１Ｌ成分類似度評価器２１２から順方向Ｌ成分類似度情報、第１Ｈ成分類似度評価器２１３から順方向Ｈ成分類似度情報、第２Ｌ成分類似度評価器２２３から逆方向Ｌ成分類似度情報、第２Ｈ成分類似度評価器２２４から逆方向Ｈ成分類似度情報を取得する機能を有する。また、判定器２２５は、必要に応じて、第１Ｌ成分類似度評価器２１２から順方向予測Ｌ成分誤差情報もしくは順方向予測Ｌ成分平均誤差情報、順方向対象Ｌ成分誤差情報もしくは順方向対象Ｌ成分平均誤差情報を取得する機能を有する。また、必要に応じて、判定器２２５は、第１Ｈ成分類似度評価器２１３から順方向予測Ｈ成分誤差情報もしくは順方向予測Ｈ成分平均誤差情報、順方向対象Ｈ成分誤差情報もしくは順方向対象Ｈ成分平均誤差情報を取得する機能を有する。また、必要に応じて、判定器２２５は、第２Ｌ成分類似度評価器２２３から逆方向予測Ｌ成分誤差情報もしくは逆方向予測Ｌ成分平均誤差情報、逆方向対象Ｌ成分誤差情報もしくは逆方向対象Ｌ成分平均誤差情報を取得する機能を有する。また、必要に応じて、第２Ｈ成分類似度評価器２２４から逆方向予測Ｈ成分誤差情報もしくは逆方向予測Ｈ成分平均誤差情報、逆方向対象Ｈ成分誤差情報もしくは逆方向対象Ｈ成分平均誤差情報を取得する機能を有する。
【０１８０】
そして、判定器２２５は、取得した順方向のＬ成分およびＨ成分の類似度情報と、逆方向のＬ成分およびＨ成分の類似度情報とを比較し、順方向と逆方向の画像間解析のどちらが有効であったかを判定し、類似度情報の判定結果である判定情報を制御器２２６に供給する機能を有する。
【０１８１】
ここで、判定方法は、例えば、Ｌ成分類似度情報とＨ成分類似度情報に対して所定の重み付け係数を乗算した後に加算することで、方向別の類似度情報を生成し、その後、生成した順方向の類似度情報と、逆方向の類似度情報とを比較することで有効な方向を判定するような方法であると良い。
【０１８２】
また、判定情報は、順方向が選択されたか、逆方向が選択されたかを特定することができる情報であれば良い。例えば、順方向と逆方向をそれぞれ＋と−、または１と０などのフラグ情報で表現されたものが望ましい。また、生成した類似度情報を用いて順方向と逆方向の類似度情報を比較する際に、所定の閾値と比較して類似度が高くないと判断された場合には、必要に応じて取得した、順方向側の処理から得られる、順方向予測Ｌ成分誤差情報もしくは順方向予測Ｌ成分平均誤差情報、順方向対象Ｌ成分誤差情報もしくは順方向対象Ｌ成分平均誤差情報、および、順方向予測Ｈ成分誤差情報もしくは順方向予測Ｈ成分平均誤差情報、順方向対象Ｈ成分誤差情報もしくは順方向対象Ｈ成分平均誤差情報、そして逆方向側の処理から得られる、逆方向予測Ｌ成分誤差情報もしくは逆方向予測Ｌ成分平均誤差情報、逆方向対象Ｌ成分誤差情報もしくは逆方向対象Ｌ成分平均誤差情報、および、逆方向予測Ｈ成分誤差情報もしくは逆方向予測Ｈ成分平均誤差情報、逆方向対象Ｈ成分誤差情報もしくは逆方向対象Ｈ成分平均誤差情報、に対して所定の重み付け係数を乗算した後に加算することで、方向別の誤差情報もしくは平均誤差情報を生成し、その後、生成した順方向の誤差情報もしくは平均誤差情報と、逆方向の誤差情報もしくは平均誤差情報と、を比較することで有効な方向を判定するような方法であると良い。
【０１８３】
次に、図２１に示す実施形態２の順方向画像間解析器２４３および逆方向画像間解析器２４４に対応する各構成要素の動作について説明する。
【０１８４】
図２４は、図２１において画像間解析を行う際の動作を説明したフローチャートである。
【０１８５】
以下の説明では、順方向の画像間解析に関する動作の説明を行う。逆方向の画像間解析に関する動作に関しては、第２画像列取得器２１４が取得する画像列である参照画像と対象画像が異なるものの、それ以外の処理動作に関しては、順方向の画像間解析と同様であることから、説明を省略する。
【０１８６】
まず、制御器２２６は、解析処理の実行を制御するために、蓄積画像列管理器２０２から蓄積画像列管理情報を取得し、次に処理すべき画像列を特定する。特定した画像列の情報に基づいて制御情報を蓄積画像列管理器２０２に供給する。また、第１画像列取得器２０３および第２画像列取得器２１４に対して、制御情報を供給することで、動作開始の制御を行う。
【０１８７】
蓄積画像列管理器２０２は、制御器２２６から次に処理すべき画像列に関する制御情報を取得し、解析対象となる少なくとも２枚の画像フレームを画像列として特定する。特定した画像列を、第１画像列取得器２０３および第２画像列取得器２１４に供給する。特定した画像列を供給する際に、順方向である第１画像列取得器２０３に対しては、供給すべき画像列のうち、時間的に過去側のフレーム位置の画像を参照画像、時間的に未来側のフレーム位置の画像を対象画像として供給する。また、逆方向である第２画像列取得器２１４に対しては、供給すべき画像列のうち、時間的に未来側のフレーム位置の画像を参照画像、時間的に過去側のフレーム位置の画像を対象画像として供給する。
【０１８８】
その後、第１画像列取得器２０３は、制御器２２６からの要求に応じて、蓄積画像列管理器２０２から、参照画像および対象画像を取得する（ステップＳ２０１）。取得した参照画像および対象画像を第１ＭＥ器２０４に供給する。また、取得した参照画像を少なくとも第１ＭＣ器２０５に供給する。更に、取得した対象画像を第１Ｂ  ＬＰＦ器２０９および差分器２１０に供給する。
【０１８９】
次に、第１ＭＥ器２０４が第１画像列取得器２０３から参照画像および対象画像を取得すると、これらの画像列を利用して所定の動き推定を行う（ステップＳ２０２）ことで動きベクトル情報を生成し、第１ＭＣ器２０５に供給する。
【０１９０】
第１ＭＣ器２０５は、第１画像列取得器２０３から少なくとも参照画像を取得するとともに、第１ＭＥ器２０４から動きベクトル情報を取得する。取得した参照画像と動きベクトル情報を利用して、所定の動き補償を行う（ステップＳ２０３）ことで予測画像を生成し、第１Ａ  ＬＰＦ器２０６および差分器２０７に供給する。
【０１９１】
予測画像の生成が終わると、第１Ａ  ＬＰＦ器２０６は、第１ＭＣ器２０５から予測画像を取得する。取得した予測画像に対して所定のフィルタリング処理を行うことで、予測画像のＬ成分情報を生成することで、予測画像の低周波数成分を抽出する（ステップＳ２０４）。その後、生成した予測画像のＬ成分情報を差分器２０７および第１Ｌ成分類似度評価器２１２に供給する。
【０１９２】
その後、差分器２０７は、第１ＭＣ器２０５から予測画像を取得するとともに、第１Ａ  ＬＰＦ器２０６から予測画像のＬ成分情報を取得する。取得した予測画像から予測画像のＬ成分情報を減算し、予測画像のＨ成分情報を生成することで、解析対象画像列の高周波数成分を抽出する（ステップＳ２０７）。その後、生成した予測画像のＨ成分情報を第１ノイズ除去器２０８に供給する。
【０１９３】
次に、第１Ａノイズ除去器２０８は、予測画像のＨ成分情報を取得し、所定のノイズ除去を行う（ステップＳ２０８）ことで、ノイズ除去後の予測画像のＨ成分情報を生成し、第１Ｈ成分類似度評価器２１３に供給する。
【０１９４】
以上のような予測画像に対する処理と並列して、以下の対象画像に対する処理が行われる。
【０１９５】
まず、第１Ｂ  ＬＰＦ器２０９において、第１画像列取得器２０３から対象画像を取得し、所定のフィルタリング処理を行って対象画像のＬ成分情報を生成することで、解析対象画像列の低周波数成分を抽出する（ステップＳ２０５）。その後、生成した対象成分のＬ成分情報を差分器２１０および第１Ｌ成分類似度評価器２１２に供給する。
【０１９６】
その後、差分器２１０は、第１画像列取得器２０３から対象画像を取得するとともに、第１Ｂ  ＬＰＦ器２０９から対象画像のＬ成分情報を取得する。取得した対象画像から対象画像のＬ成分情報を減算し、対象画像のＨ成分情報を生成することで、解析対象画像列の高周波数成分を抽出する（ステップＳ２０９）。その後、生成した対象画像のＨ成分情報を第１Ｂノイズ除去器２１１に供給する。
【０１９７】
次に、第１Ｂノイズ除去器２１１は、対象画像のＨ成分情報を取得し、所定のノイズ除去を行う（ステップＳ２１０）ことで、ノイズ除去後の対象画像のＨ成分情報を生成し、第１Ｈ成分類似度評価器２１３に供給する。
【０１９８】
それぞれのＬ成分情報が生成されると、第１Ｌ成分類似度評価器２１２は、第１Ａ  ＬＰＦ器２０６から予測画像のＬ成分情報を取得するとともに、第１Ｂ  ＬＰＦ器２０９から対象画像のＬ成分情報を取得し、所定の類似度評価方法に基づいて、低周波数成分の類似度を評価する（ステップＳ２０６）。その後、評価結果である順方向のＬ成分類似度情報は、判定器２２５に供給される。
【０１９９】
同様に、それぞれのＨ成分情報が生成されると、第１Ｈ成分類似度評価器２１３は、第１Ａノイズ除去器２０８からノイズ除去後の予測画像のＨ成分情報を取得するとともに、第１Ｂノイズ除去器２１１からノイズ除去後の対象画像のＨ成分情報を取得し、所定の類似度判定方法に基づいて、高周波数成分の類似度を評価する（ステップＳ２１１）。その後、評価結果である順方向のＨ成分類似度情報は、判定器２２５に供給される。
【０２００】
以上のような画像間解析処理を行って、順方向における類似度情報が生成される。同様に逆方向の画像間解析を行うことで、逆方向における類似度情報を生成することが可能となる。これらの順方向および逆方向の類似度情報に基づいて、判定器２２５は所定の判定を行うことで、解析対象となっている画像列の、どちら側からの画像間相関が高いかを特定し、どちらの画像を後の解析対象とすべきかを判断することができる。
【０２０１】
次に、本発明の画像処理方法によって出力候補となる超解像前の代表画像が特定されていく手順をより詳細に説明するため、図２５、図２６、図２７を用いて説明する。
【０２０２】
図２５の５０１は、図２１の蓄積画像列管理器２０２で保持されている画像列の状態の一例である。
【０２０３】
蓄積画像列管理器２０２は、画像列入力を蓄積しておくための手段として、所定枚数の画像列を格納できるフレームバッファを備えており、制御器２２６の制御に応じて入力画像列を蓄積する。ここで、フレームバッファは、フレームバッファ内の格納位置を特定するためのフレーム位置に関する情報（フレーム位置情報もしくは単に、フレーム位置）に基づいて、格納された画像を管理する。
【０２０４】
図２５の５０１では、便宜上、解析開始位置に対応する画像をフレーム位置０とし、この画像よりも一つ前の過去の画像をフレーム位置１とするように、格納された時刻が過去に進むほど、順次フレーム位置の番号が増加するように番号付けされているものとする。
【０２０５】
また、格納されている画像は、フレーム位置による管理の他に、画像が生成された時刻に関する時刻情報と関連付けられているものとする。つまり、蓄積画像列管理器２０２では、入力される画像列は、それぞれの時刻情報とともに蓄積される。図２５の５０１では、はじめに、解析開始位置に対応するフレーム位置の画像が、代表画像の候補として設定される。
【０２０６】
図２５では黒色のフレームで表現されている。ここでは、フレーム位置０の画像が代表画像の候補として選択される。次に、蓄積されている画像列において、時間方向に対して階層の概念を導入する。例えば、現在蓄積されている画像列は、毎秒３０フレーム（３０ｆｐｓ）のフレームレートで撮影されたものであるとする。この３０ｆｐｓの時間間隔の階層を、ここでは０階層とする。このような画像列に対して、図２５における５０１のように画像を２枚ずつ１組として扱い、この時間間隔で１枚分の画像を表現した場合には、１５ｆｐｓの時間間隔で表現されることになる。このような時間間隔の階層を−１階層とする。つまり、このように階層が1つ下がる毎にフレームレートが半分になるように、画像列の組を構成することを、ここでは時間方向に対するディアディック（dyadic）な階層構造と称することにする。
【０２０７】
実施形態２の画像処理装置における画像間解析では、まず、解析対象となる少なくとも２枚の画像列を特定する必要があるため、まず、フレームバッファ内に保持されている画像列に対して、−１階層となるように、画像列の組を考える。最初の解析対象となる２枚の画像列は、図２５における５０２のフレーム位置０とフレーム位置１である。この解析対象となっている画像列において、順方向の画像間解析を行う場合には、過去側のフレームであるフレーム位置１の画像を参照画像とし、未来側のフレームであるフレーム位置０の画像を対象画像とする。そして、これらの順方向の画像列に対して順方向の動き推定（ＭＥ）および動き補償（ＭＣ）を行うことで、図２５における５０３ａのような成分情報を得る。ここで、対象画像に対しては解析方向の特定を容易にするために、順方向を意味する「＋」記号を付している。また、逆方向の画像間解析を行う場合には、未来側のフレームであるフレーム位置０の画像を参照画像とし、過去側のフレームであるフレーム位置１の画像を対象画像とする。
【０２０８】
そして、これらの逆方向の画像列に対して逆方向のＭＥおよびＭＣを行うことで、図２５の５０３ｂのような成分情報を得る。ここで、対象画像に対しては解析方向の特定を容易にするために、逆方向を意味する「−」記号を付している。
【０２０９】
その後、図２５の５０３ａおよび５０３ｂに対して所定の類似度評価および判定により、出力候補となる代表画像として有効な画像が含まれる方向の画像列を選択する。図２５の５０４では、順方向の画像間解析が有効であったと判断されている。
【０２１０】
その後、参照画像として設定されたフレーム位置１の画像を、次の解析対象の画像とする。ここでは、参照画像側のフレーム位置を次の解析対象の画像としている。これは、参照画像に対してＭＣを行った予測画像との類似度比較においても、十分対象画像との類似度が高いということから、より情報量が多く含まれていると考えられる参照画像側のフレーム位置の画像を選択する構成をとっている。
【０２１１】
しかし、ＭＣによる影響を受けていない対象画像側のフレーム位置を重視した構成とし、対象画像側のフレーム位置の画像を選択するような構成としても構わない。また、今回の組には、代表画像の候補となるフレーム位置が含まれているため、この代表画像候補位置を更新する。ここでは、フレーム位置１が新たな代表画像候補位置として新たに設定される。同様の処理を図２５における５０６、５１０、５１４の画像列に対しても行う。ここで、図２５における５０２に隣接している５０６以外の画像列は、代表画像候補位置の画像との画像間解析を行う必要が生じた時点で解析をするように動作を制御すると、処理に無駄のない、より良い構成となる。ここでは、説明を簡単にするため、同一階層の解析処理は全て行ったものとすると、図２５における５０５、５０９、５１３、５１７のような、−１階層の画像列が得られる。
【０２１２】
図２６は、−２階層の画像列を得るための処理を示すための図である。
【０２１３】
−２階層では、−１階層の画像列として得られた画像列で２枚ずつ１組として扱うことから、組となった２枚の画像列は、０階層においては４枚の画像列から選別された画像列となる。この様子を示したものが図２６における６０１である。つまり、フレーム位置１とフレーム位置２の画像列は、フレーム位置０からフレーム位置３までの４枚の画像列から選別されたものであり、この画像列の範囲がフレーム位置１とフレーム位置２の画像列の影響範囲、つまり類似度が高いグループと考えることができる。
【０２１４】
−２階層の画像列を得るための処理は図２５と同様であり、−１階層の画像列において、２枚ずつ１組として扱い、図２６における６０２が示すような解析対象画像列を特定する。図２６の６０２では、フレーム位置１およびフレーム位置２の画像列が解析対象となる。その後、同様の画像間解析を行い、順方向の解析結果が選択され、順方向の参照画像に対応するフレーム位置の画像が選択される。また、今回の組には、代表画像の候補となるフレーム位置が含まれているため、この代表画像候補位置を更新する。ここでは、フレーム位置２が新たな代表画像候補位置として新たに設定される。同様の処理を図２６の６０６の画像列に対しても行う。
【０２１５】
図２７は、−３階層の画像列を得るための処理を示すための図である。−３階層では、−２階層の画像列として得られた画像列で２枚ずつ１組として扱うことから、組となった２枚の画像列は、０階層においては８枚の画像列から選別された画像列となる。この様子を示したものが図２７の７０１である。つまり、フレーム位置２とフレーム位置７の画像列は、フレーム位置０からフレーム位置７までの８枚の画像列から選別されたものであり、この画像列の範囲がフレーム位置２とフレーム位置７の画像列の影響範囲、つまり類似度が高いグループと考えることができる。
【０２１６】
−３階層の画像列を得るための処理は、図２５および図２６と同様であり、−２階層の画像列において、２枚ずつ１組として扱い、図２７における７０２が示すような解析対象画像列を特定する。図２７における７０２では、フレーム位置２およびフレーム位置７の画像列が解析対象となる。その後、同様の画像間解析を行い、逆方向の解析結果が選択され、逆方向の参照画像に対応するフレーム位置の画像が選択される。また、今回の組には、代表画像の候補となるフレーム位置が含まれているため、この代表画像候補位置を更新する。ここでは、前の階層、つまりここでは−２階層における代表画像候補位置がフレーム位置２と同じであるため、この代表画像候補位置を維持する。
【０２１７】
本実施形態２の画像処理装置による画像間解析処理では、フレームバッファ内の画像列に対して画像間解析を行い、１枚の代表画像が特定された時点で少なくとも終了し、特定された代表画像と、必要に応じて代表画像の影響範囲である画像列の範囲に関する情報を出力する。図２７では、代表画像はフレーム位置２の画像である。また、画像列の範囲は、現在の階層である−３階層よりも一つ上、つまりここでは−２階層の、フレーム位置２が属する画像列の範囲を特定し、必要に応じて代表画像とともに出力するようにすると良い。
【０２１８】
図２７における７０６が示すように、最終的に出力される代表画像のフレーム位置は、最初に設定されたフレーム位置である解析開始位置からずれた位置となっている。これは、本実施形態２の画像処理装置の画像間解析処理によって、最初の解析開始位置の画像が静止画像として十分な品質ではないと判断されて、より静止画像としてふさわしい、静止画像として鑑賞に堪えうる品質を備えた静止画像としてフレーム２の位置の画像が抽出された結果と言える。
【０２１９】
従って、本実施形態２の画像処理装置によれば、上記実施形態１と同様に、ユーザが実際に所望した静止画像により近く、また静止画像として鑑賞に堪えうる品質を備えた静止画像を抽出し、より高精細な静止画像を生成することができる。
【０２２０】
特に、本実施形態２では、順方向および逆方向のそれぞれの方向に画像間解析する際に、解析対象画像列から対象画像を基準として参照画像内を所定の動きベクトル探索を行って、予測画像を生成し、生成した予測画像から予測画像の低周波数成分情報を生成すると共に、生成した予測画像からその予測画像の低周波数成分情報を減算して予測画像の高周波数成分情報を生成して所定のノイズ除去処理を施す一方、対象画像の低周波数成分情報を生成すると共に、解析対象画像列から生成した対象画像の低周波数成分情報を減算して対象画像の高周波数成分情報を生成して所定のノイズ処理を施し、予測画像低周波数成分情報と対象画像低周波数成分情報との間の類似度を評価して低周波数成分の類似度評価情報を生成すると共に、予測画像高周波数成分情報と対象画像高周波数成分情報との間の類似度を評価した高周波数成分の類似度評価情報を生成し、順方向における低周波数成分の類似度評価情報および前記高周波数成分の類似度評価情報と、逆方向における低周波数成分の類似度評価情報および高周波数成分の類似度評価情報とに基づいて、順方向または逆方向のいずれの方向の画像間解析が有効であるかを判定するようにしたので、ノイズ、手ブレ、動きボケなどがどの程度含まれているかを容易に評価することが可能となり、これらの評価結果に基づいて抽出候補となる画像を選定することで、ユーザが実際に所望した静止画像により近く、また静止画像として鑑賞に堪えうる品質を備えた静止画像を抽出し、より高精細な静止画像を生成することができる。
【０２２１】
実施形態３．
実施形態３は、上述の実施形態１，２の画像処理装置の機能を、図２８および図２９に示すコンピュータである中央処理制御装置１２０３、１３０３がプログラムの実行により実現するようにしたものである。
【０２２２】
図２８は、本実施形態３の画像処理プログラムにより動作する情報処理装置の一例の構成図である。
【０２２３】
同図において、情報処理装置１２００は、各種の情報を入力するための入力装置１２０１と、各種の情報を出力するための出力装置１２０２と、本発明の画像処理プログラムにより動作する中央処理制御装置１２０３と、外部記憶装置１２０４と、中央処理制御装置１２０３による演算処理の際の作業領域など用いる一時記憶装置１２０５と、外部と通信するための通信装置１２０６とが、双方向のバス１２０７により接続された構成とされている。
【０２２４】
中央処理制御装置１２０３は、画像処理プログラムを記録媒体あるいは通信ネットワークを介して通信装置１２０６により取り込み、蓄積画像列管理器１０２に相当する蓄積画像列管理手段１２０８、順方向画像間解析器１０３に相当する順方向画像間解析手段１２０９、逆方向画像間解析器１０４に相当する逆方向画像間解析手段１２１０、判定器１０５に相当する判定手段１２１１、制御器１０６に相当する制御手段１２１２、超解像拡大器１０７に相当する超解像拡大手段１２１３の各機能を少なくとも有し、図１に示す画像処理装置と同様の動作をソフトウェア処理により実行する。
【０２２５】
図２９は、実施形態３の画像処理プログラムにより動作する情報処理装置の別の一例の構成図である。
【０２２６】
同図において、情報処理装置１３００は、各種の情報を入力するための入力装置１３０１と、各種の情報を出力するための出力装置１３０２と、本発明の画像処理プログラムにより動作する中央処理制御装置１３０３と、外部記憶装置１３０４と、中央処理制御装置１３０３による演算処理の際の作業領域など用いる一時記憶装置１３０５と、外部と通信するための通信装置１３０６とが、双方向のバス１３０７により接続された構成とされている。
【０２２７】
中央処理制御装置１３０３は、画像処理プログラムを記録媒体あるいは通信ネットワークを介して通信装置１３０６により取り込み、蓄積画像列管理器２０２に相当する蓄積画像列管理手段１３０８、判定器２２５に相当する判定手段１３１１、制御器２２６に相当する制御手段１３１２、超解像拡大器２２７に相当する超解像拡大手段１３２３、を備え、更に順方向画像解析手段１３０９を構成する、第１画像列取得器２０３に対応する第１画像取得手段１３２１、逆方向画像解析手段１３１０を構成する、第２画像列取得器２１４に対応する第２画像列取得手段１３２２、また、順方向画像解析手段１３０９および逆方向画像解析手段１３１０を構成する、第１ＭＥ器２０４、第２ＭＥ器２１５を代用するためのＭＥ手段１３１３、第１ＭＣ器２０５、第２ＭＣ器２１６を代用するためのＭＣ手段１３１４、第１Ａ  ＬＰＦ器２０６、第１Ｂ  ＬＰＦ器２０９、第２Ａ  ＬＰＦ器２１７、第２Ｂ  ＬＰＦ器２２０を代用するためのＬＰＦ手段１３１５、差分器２０７、差分器２１０、差分器２１８、差分器２２１を代用するためのＨＰＦ手段１３１６もしくは差分手段１３１７、第１Ａノイズ除去器２０８、第１Ｂノイズ除去器２１１、第２Ａノイズ除去器２１９、第２Ｂノイズ除去器２２２を代用するためのノイズ除去手段１３１８、第１Ｌ成分類似度評価器２１２、第２Ｌ成分類似度評価器２２３を代用するためのＬ成分類似度評価手段１３１９、第１Ｈ成分類似度評価器２１３、第２Ｈ成分類似度評価器２２４を代用するためのＨ成分類似度評価手段１３２０、の各機能を少なくとも有し、図２１に示す画像処理装置と同様の動作をソフトウェア処理により実行する。
【０２２８】
従って、本実施形態３の画像処理装置でも、上記実施形態１，２と同様の画像間解析処理を、プログラムの実行により行うことにより、順方向における類似度情報を生成し、また、同様に逆方向の画像間解析を行うことで、逆方向における類似度情報を生成し、これらの順方向および逆方向の類似度情報に基づいて判定器が所定の判定を行うことで、解析対象となっている画像列の、どちら側からの画像間相関が高いかを特定し、どちらの画像を後の解析対象とすべきかを判断することができる。
【図面の簡単な説明】
【０２２９】
【図１】本発明の実施形態を適用した画像処理装置の基本構成を示すブロック図である。
【図２】本発明の画像処理装置における、解析開始位置の導出例を示す概念図である。
【図３】本発明の画像処理装置における、クロッピング領域の設定例を示す概念図である。
【図４】図１に示す本発明の画像処理装置の動作を示すフローチャートである。
【図５】図４に示す本発明のツリー構造解析処理の動作を示すフローチャートである。
【図６】本発明の画像処理装置における、ツリー構造解析処理で用いるツリー構造を示す概念図である。
【図７】ツリー構造の探索モードの一例を示している。
【図８】探索モードに応じたパスのコストの一例を示す図である。
【図９】探索モードに応じたパスのコストの他の例を示す図である。
【図１０】本発明の画像処理装置における、順位付け処理で用いるツリー構造の例を示す概念図である。
【図１１】図６のツリー構造において、それぞれのパスがどのフレーム間距離と階層に属しているかを示す図である。
【図１２】各ノードが、それぞれどの基準フレーム間距離に属し、どの階層に属しているかを示す図である。
【図１３】本発明の画像処理装置における、順位付け処理で用いるツリー構造の別の例を示す概念図である。
【図１４】各ノードが、それぞれどの階層に属し、どの基準フレーム間距離に属しているかを示す図である。
【図１５】実施形態１の画像処理装置における、順位付け処理で用いるツリー構造の別の例を示す概念図である。
【図１６】実施形態１の画像処理装置における、順位付け処理で用いるツリー構造の別の例を示す概念図である。
【図１７】実施形態１の画像処理装置における、順位付け処理で用いるツリー構造の別の例を示す概念図である。
【図１８】実施形態１の超解像拡大器の詳細構成を示すブロック図である。
【図１９】実施形態１における超解像処理の様子を示すための概念図である。
【図２０】図１８に示す本発明の超解像拡大処理の動作を示すフローチャートである。
【図２１】実施形態２の画像処理装置における順方向画像間解析器および逆方向画像間解析器の構成例を示す図である。
【図２２】実施形態２の画像処理装置画像処理方法における低周波数成分の変化を示す概念図である。
【図２３】実施形態２の画像処理方法における、高周波数成分の変化を示す概念図である。
【図２４】実施形態２の画像処理装置の動作を示すフローチャートである。
【図２５】実施形態２の画像処理方法を示す概念図（その１）である。
【図２６】実施形態２の画像処理方法を示す概念図（その２）である。
【図２７】実施形態２の画像処理方法を示す概念図（その３）である。
【図２８】画像処理プログラムを実行する情実施形態３の報処理装置の一例を示すブロック図である。
【図２９】画像処理プログラムを実行する実施形態３の情報処理装置の別の一例を示すブロック図である。
【符号の説明】
【０２３０】
１０２、２０２    蓄積画像列管理器
１０３，２４３    順方向画像間解析器
１０４，２４４    逆方向画像間解析器
１０５、２２５    判定器
１０６、２２６    制御器
１０７、２２７    超解像拡大器
【図１】
0004894018.tif 000002
【図２】
0004894018.tif 000003
【図３】
0004894018.tif 000004
【図４】
0004894018.tif 000005
【図５】
0004894018.tif 000006
【図６】
0004894018.tif 000007
【図７】
0004894018.tif 000008
【図８】
0004894018.tif 000009
【図９】
0004894018.tif 000010
【図１０】
0004894018.tif 000011
【図１１】
0004894018.tif 000012
【図１２】
0004894018.tif 000013
【図１３】
0004894018.tif 000014
【図１４】
0004894018.tif 000015
【図１５】
0004894018.tif 000016
【図１６】
0004894018.tif 000017
【図１７】
0004894018.tif 000018
【図１８】
0004894018.tif 000019
【図１９】
0004894018.tif 000020
【図２０】
0004894018.tif 000021
【図２１】
0004894018.tif 000022
【図２２】
0004894018.tif 000023
【図２３】
0004894018.tif 000024
【図２４】
0004894018.tif 000025
【図２５】
0004894018.tif 000026
【図２６】
0004894018.tif 000027
【図２７】
0004894018.tif 000028
【図２８】
0004894018.tif 000029
【図２９】
0004894018.tif 000030