"原画像列を縮小して縮小画像列を生成する画像縮小装置であって、連続する複数の原画像フレームからなる原画像列を入力して、処理対象の原画像フレームから連続する少なくとも1つの原画像フレームへの位置合わせ情報を生成する位置合わせ情報生成部と、原画像列を所定の画像縮小率で縮小した縮小画像列を生成する画像縮小部と、生成した位置合わせ情報と縮小画像列を用いて、当該画像縮小率に対応する拡大率で縮小画像列の処理対象の縮小画像フレームを拡大する際に、拡大した標本位置に対して点広がり関数を用いた画素補完を行なって拡大画像を生成し、生成した拡大画像の画素と原画像の画素との差分値を算出し、当該位置合わせ情報の値を前記点広がり関数の処理範囲内でシフトしながら当該差分値が最小となるシフト量を算出し、該シフト量を当該位置合わせ情報の値に加算することにより前記位置合わせ情報を修正した情報を補助情報として生成する位置合わせ情報修正部と、を備えることを特徴とする画像縮小装置。前記位置合わせ情報生成部は、原画像列の時間方向スペクトルパワーを算出して空間方向の周波数分解階層数を決定し、前記周波数分解階層数に応じた空間解像度で原画像の空間解像度となるまで階層的に位置合わせを行なった情報を前記位置合わせ情報として生成することを特徴とする、請求項1に記載の画像縮小装置。前記位置合わせ情報生成部は、前記原画像フレームをブロック分割したブロック単位で位置合わせ情報を生成する第1位置合わせ処理部と、各ブロック内の小領域のサブブロック単位で位置合わせ情報を生成する第2位置合わせ処理部と、サブブロック単位で検出した位置合わせ情報が、対応するブロック位置のブロック単位の動き量に対して所定の閾値以上、及び/又は一致度評価関数値が所定の閾値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする確度判定を行う位置合わせ情報確度判定部と、有効と判断したサブブロック単位の位置合わせ情報を、対応するブロック単位の位置合わせ情報にベクトル加算して補正することにより、前記位置合わせ情報修正部で用いる位置合わせ情報を生成する補正位置合わせ情報生成部と、を備えることを特徴とする、請求項1に記載の画像縮小装置。前記位置合わせ情報修正部は、前記位置合わせ情報生成部によって生成した位置合わせ情報に応じて点広がり関数の幅が変化する動き量適応型点広がり関数を用いて、前記位置合わせ情報を修正した情報を補助情報として生成することを特徴とする、請求項1に記載の画像縮小装置。請求項1~4のいずれか一項に記載の画像縮小装置によって生成された縮小画像列に対して、前記補助情報を用いて当該画像縮小率に対応する拡大率で位置合わせを行う位置合わせ処理部と、当該位置合わせを行った拡大後の標本点を画素補完する画素補完部と、画素補完後の拡大画像を用いて前記原画像列に対応する拡大画像列を生成する拡大画像生成部と、を備えることを特徴とする画像拡大装置。原画像列を縮小して縮小画像列を生成する画像縮小装置として機能するコンピュータに、連続する複数の原画像フレームからなる原画像列を入力して、処理対象の原画像フレームから連続する少なくとも1つの原画像フレームへの位置合わせ情報を生成するステップと、原画像列を所定の画像縮小率で縮小した縮小画像列を生成するステップと、生成した位置合わせ情報と縮小画像列を用いて、当該画像縮小率に対応する拡大率で縮小画像列の処理対象の縮小画像フレームを拡大する際に、拡大した標本位置に対して点広がり関数を用いた画素補完を行なって拡大画像を生成し、生成した拡大画像の画素と原画像の画素との差分値を算出し、当該位置合わせ情報の値を前記点広がり関数の処理範囲内でシフトしながら当該差分値が最小となるシフト量を算出し、該シフト量を当該位置合わせ情報の値に加算することにより前記位置合わせ情報を修正した情報を補助情報として生成するステップと、を実行させるためのプログラム。コンピュータに、請求項1~4のいずれか一項に記載の画像縮小装置によって生成された縮小画像列に対して、前記補助情報を用いて当該画像縮小率に対応する拡大率で位置合わせを行うステップと、当該位置合わせを行った拡大後の標本点を画素補完するステップと、画素補完後の拡大画像を用いて前記原画像列に対応する拡大画像列を生成するステップと、を実行させるためのプログラム。従来技術のように、補助情報は原画像が持つ空間高周波成分をパラメータとして、画像超解像、符号化、エッジ表示などに用いられる。そこで、複数の原画像フレームからなる原画像列を縮小して縮小画像列を生成する場合にも、このような補助情報を用いることは縮小画像列に対して画像拡大を実行する処理以下、複数フレーム超解像処理と称するに有効であると考えられる。一般に、複数フレーム超解像処理では、このような補助情報を用いることなく、縮小画像列のうちの1つの被処理フレームからその前後フレームへの位置合わせ例えば、動き推定に基づく動き補償による画素補完を行なって画像拡大を行う。したがって、補助情報を用いない複数フレーム超解像処理では、縮小画像列のみを用いて位置合わせを行うため、位置合わせ精度が低いという問題があった。そこで、原画像列に対する位置合わせを行うことで、高精度の位置合わせ情報を取得することができ、この位置合わせ情報を補助情報とすることが考えられる。この場合、複数フレーム超解像処理時には、所定の点広がり関数による復元過程を経て画像拡大が行われる。ただし、この位置合わせ情報は、当該所定の点広がり関数による復元過程を考慮したものではないため、複数フレーム超解像処理後の画質について更なる改善の余地がある。本発明は、上述の問題を鑑みて為されたものであり、複数の原画像フレームからなる原画像列を縮小して縮小画像列を生成する画像縮小装置、縮小画像列を拡大して復元する画像拡大装置、及びこれらのプログラムを提供することを目的とする。本発明の画像縮小装置は、複数の原画像フレームからなる原画像列を縮小して縮小画像列を生成するとともに、複数フレーム超解像処理に用いる補助情報を生成する装置である。従来の補助情報を用いない一般的な複数フレーム超解像処理では、縮小画像列を用いて位置合わせを行うものであったのに対して、本発明の画像縮小装置は、原画像列を用いて位置合わせを行なって、縮小画像列を用いて生成するよりも高精度の位置合わせ情報を生成しておき、さらに、複数フレーム超解像時の点広がり関数による復元過程を考慮して、この位置合わせ情報を修正し、複数フレーム超解像処理に適した修正後位置合わせ情報を生成する。つまり、本発明に係る画像縮小装置は、原画像列を用いて被処理フレームからその前後フレームへの位置合わせ情報を生成するとともに、原画像列を所定の画像縮小率で縮小した縮小画像列を生成する。さらに、本発明に係る画像縮小装置は、生成した位置合わせ情報と縮小画像列を用いて、当該画像縮小率に対応する拡大率で縮小画像列の被処理フレームを拡大する際に、拡大した標本位置に対して点広がり関数を用いた画素補完を行なうことで拡大画像を生成し、生成した拡大画像の画素と原画像の画素との差分値を算出し、当該位置合わせ情報の値を点広がり関数幅を超えない範囲でシフトしながら当該差分値が最小となるシフト量を算出し、このシフト量を当該位置合わせ情報の値に加算することにより原画像列を用いて生成した位置合わせ情報を修正し、この修正後位置合わせ情報を補助情報とする。本発明に係る画像拡大装置は、この修正後位置合わせ情報を補助情報として縮小画像列とともに取得し、画像縮小装置で利用した点広がり関数を用いて画素補完を行って当該縮小画像列を拡大する。これにより、従来技術よりもさらに高画質な複数フレーム超解像処理の画像を生成することができる。即ち、本発明の画像縮小装置は、原画像列を縮小して縮小画像列を生成する画像縮小装置であって、連続する複数の原画像フレームからなる原画像列を入力して、処理対象の原画像フレームから連続する少なくとも1つの原画像フレームへの位置合わせ情報を生成する位置合わせ情報生成部と、原画像列を所定の画像縮小率で縮小した縮小画像列を生成する画像縮小部と、生成した位置合わせ情報と縮小画像列を用いて、当該画像縮小率に対応する拡大率で縮小画像列の処理対象の縮小画像フレームを拡大する際に、拡大した標本位置に対して点広がり関数を用いた画素補完を行なって拡大画像を生成し、生成した拡大画像の画素と原画像の画素との差分値を算出し、当該位置合わせ情報の値を前記点広がり関数の処理範囲内でシフトしながら当該差分値が最小となるシフト量を算出し、該シフト量を当該位置合わせ情報の値に加算することにより前記位置合わせ情報を修正した情報を補助情報として生成する位置合わせ情報修正部と、を備えることを特徴とする。また、本発明の画像縮小装置において、前記位置合わせ情報生成部は、原画像列の時間方向スペクトルパワーを算出して空間方向の周波数分解階層数を決定し、前記周波数分解階層数に応じた空間解像度で原画像の空間解像度となるまで階層的に位置合わせを行なった情報を前記位置合わせ情報として生成することを特徴とする。また、本発明の画像縮小装置において、前記位置合わせ情報生成部は、前記原画像フレームをブロック分割したブロック単位で位置合わせ情報を生成する第1位置合わせ処理部と、各ブロック内の小領域のサブブロック単位で位置合わせ情報を生成する第2位置合わせ処理部と、サブブロック単位で検出した位置合わせ情報が、対応するブロック位置のブロック単位の動き量に対して所定の閾値以上、及び/又は一致度評価関数値が所定の閾値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする確度判定を行う位置合わせ情報確度判定部と、有効と判断したサブブロック単位の位置合わせ情報を、対応するブロック単位の位置合わせ情報にベクトル加算して補正することにより、前記位置合わせ情報修正部で用いる位置合わせ情報を生成する補正位置合わせ情報生成部と、を備えることを特徴とする。また、本発明の画像縮小装置において、前記位置合わせ情報修正部は、前記位置合わせ情報生成部によって生成した位置合わせ情報に応じて点広がり関数の幅が変化する動き量適応型点広がり関数を用いて、前記位置合わせ情報を修正した情報を補助情報として生成することを特徴とする。さらに、本発明の画像拡大装置は、本発明の画像縮小装置によって生成された縮小画像列に対して、前記補助情報を用いて当該画像縮小率に対応する拡大率で位置合わせを行う位置合わせ処理部と、当該位置合わせを行った拡大後の標本点を画素補完する画素補完部と、画素補完後の拡大画像を用いて前記原画像列に対応する拡大画像列を生成する拡大画像生成部と、を備えることを特徴とする。本発明のプログラムは、原画像列を縮小して縮小画像列を生成する画像縮小装置として機能するコンピュータに、連続する複数の原画像フレームからなる原画像列を入力して、処理対象の原画像フレームから連続する少なくとも1つの原画像フレームへの位置合わせ情報を生成するステップと、原画像列を所定の画像縮小率で縮小した縮小画像列を生成するステップと、生成した位置合わせ情報と縮小画像列を用いて、当該画像縮小率に対応する拡大率で縮小画像列の処理対象の縮小画像フレームを拡大する際に、拡大した標本位置に対して点広がり関数を用いた画素補完を行なって拡大画像を生成し、生成した拡大画像の画素と原画像の画素との差分値を算出し、当該位置合わせ情報の値を前記点広がり関数の処理範囲内でシフトしながら当該差分値が最小となるシフト量を算出し、該シフト量を当該位置合わせ情報の値に加算することにより前記位置合わせ情報を修正した情報を補助情報として生成するステップと、を実行させるためのプログラムである。また、本発明のプログラムは、コンピュータに、本発明の画像縮小装置によって生成された縮小画像列に対して、前記補助情報を用いて当該画像縮小率に対応する拡大率で位置合わせを行うステップと、当該位置合わせを行った拡大後の標本点を画素補完するステップと、画素補完後の拡大画像を用いて前記原画像列に対応する拡大画像列を生成するステップと、を実行させるためのプログラムである。本発明によれば、複数フレーム超解像処理のために、原画像精度のみならず点広がり関数による復元過程の誤差を修正した修正後位置合わせ情報を用いることができるようになるので、従来よりも高画質な超解像処理の画像を得ることができるようになる。また、原画像精度の位置合わせ情報に応じて点広がり関数の幅が変化する動き量適応型点広がり関数を用いることにより、より高精度の修正後位置合わせ情報を生成することができる。以下、図面を参照して、本発明による一実施例の画像縮小装置及び画像拡大装置を順に説明する。画像縮小装置図1は、本発明による一実施例の画像縮小装置のブロック図である。本実施例の画像縮小装置10は、制御部20と、記憶部30とを備える。制御部20は、位置合わせ情報生成部201と、画像縮小部202と、位置合わせ情報修正部203とを備える。本実施例の画像縮小装置10をコンピュータとして構成させることができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられる記憶部30に記憶される。コンピュータに備えられる制御部20は、中央演算処理装置CPUなどの制御で実現することができる。即ち、CPUが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部30から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよい。尚、後述の説明で明らかとなるが、記憶部30には、ブロック分割サイズ情報、画像縮小率情報、マザーウェーブレット情報、及び点広がり関数情報が格納されている。位置合わせ情報生成部201は、連続する複数の原画像フレームからなる原画像列を入力して、処理対象の原画像フレームから連続する少なくとも1つの原画像フレームへの位置合わせ情報を生成し、位置合わせ情報修正部203に送出する。位置合わせ情報生成部201の詳細は、図2を参照して後述する。画像縮小部202は、原画像列を所定の画像縮小率で縮小した縮小画像列を生成し、外部に送出するとともに、位置合わせ情報修正部203に送出する。画像縮小部202の詳細は、図3を参照して後述する。位置合わせ情報修正部203は、生成した位置合わせ情報と縮小画像列を用いて、当該画像縮小率に対応する拡大率で縮小画像列の処理対象の縮小画像フレームを拡大する際に、拡大した標本位置に対して点広がり関数を用いた画素補完を行なって拡大画像を生成し、生成した拡大画像の画素と原画像の画素との差分値を算出し、当該位置合わせ情報の値を前記点広がり関数の処理範囲内でシフトしながら当該差分値が最小となるシフト量を算出し、該シフト量を当該位置合わせ情報の値に加算することにより前記位置合わせ情報を修正した情報を補助情報として生成し、外部に送出する。位置合わせ情報修正部203の詳細は、図4を参照して後述する。図2は、本発明による一実施例の画像縮小装置における位置合わせ情報生成部のブロック図である。位置合わせ情報生成部201は、ブロック分割部2011と、ブロックマッチング処理部2012とを備える。ブロック分割部2011は、入力される原画像列のうちの被処理フレーム位置の原画像を基準フレーム画像として、記憶部30に格納されるブロック分割サイズ情報を読み出し、ブロック分割サイズ情報で指定されるBx×Byサイズのブロックに分割する。ブロックマッチング処理部2012は、ブロック分割した基準フレーム画像に対して、その前後フレーム位置の原画像を参照フレーム画像として小数画素精度ブロックマッチングを行い、ブロック毎の位置合わせ情報つまり、ブロックマッチングによる動き情報に対応する情報を出力する。代表的な小数画素精度ブロックマッチングとして、パラボラフィッティング法などがある。また、後述するように、階層型位置合わせ処理により位置合わせ情報を生成することもできる。図3は、本発明による一実施例の画像縮小装置における画像縮小部のブロック図である。画像縮小部202は、ウェーブレット分解部2021と、空間低周波成分抽出部2022と、縮小画像生成部2023とを備える。ウェーブレット分解部2021は、n階空間ウェーブレット分解法を用いて画像縮小を行う例であるnは、0を含む自然数。ウェーブレット分解部2021は、記憶部30に予め格納されているマザーウェーブレット情報つまり、マザーウェーブレットの分解係数を表すフィルタ係数の情報と、画像縮小率の情報を読み出し、当該被処理フレーム位置の原画像を基準フレーム画像としてマザーウェーブレット情報を用いて当該画像縮小率に対応する分解能でウェーブレット分解を行ない、ウェーブレット分解した画像を空間低周波成分抽出部2022に送出する。空間低周波成分抽出部2022は、ウェーブレット分解した画像の低周波成分例えば、n=1として、1階空間ウェーブレット分解を行なった場合には、水平垂直方向に低周波成分の画像を抽出して縮小画像生成部2023に送出する。縮小画像生成部2023は、抽出した低周波成分に対応する縮小画像を生成する。これにより、画像縮小部202に入力される原画像列は、縮小画像列に変換される。尚、マザーウェーブレットを可変として、マザーウェーブレットを変化させることで縮小画像列に含まれる折り返し歪量を制御することもできるため、この場合、可変するマザーウェーブレットの情報をマザーウェーブレット情報として記憶部30に格納する。図4は、本発明による一実施例の画像縮小装置における位置合わせ情報修正部のブロック図である。位置合わせ情報修正部203は、全画素比較処理部2031と、加算部2034と、補助情報生成部2035とを備えており、全画素比較処理部2031は、画素補完処理部2032と補完誤差算出部2033からなる。画素補完処理部2032は、生成した位置合わせ情報と縮小画像列を用いて、当該画像縮小率に対応する拡大率で縮小画像列の被処理フレームを拡大する際に、拡大した標本位置に対して点広がり関数を用いた画素補完を行なうことで拡大画像を生成し、当該縮小画像列の被処理フレームに対応する原画像とともに、補完誤差算出部2033に送出する。補完誤差算出部2033は、生成した拡大画像の画素と原画像の画素との差分値を算出し、画素補完処理部2032に対して当該位置合わせ情報の値を点広がり関数幅を超えない範囲でシフトしながら当該差分値が最小となるシフト量を算出し、加算部2034に送出する。生成した拡大画像の画素と原画像の画素との差分値の算出は、生成した拡大画像の全画素について行うことにより、画素毎に当該最小となるシフト量が算出される。加算部2034は、画素毎に算出した当該最小となるシフト量を、当該位置合わせ情報の各画素に対する値同一ブロック内では、各画素に同じ値が付与されているに加算することにより、画素単位で修正した修正後位置合わせ情報として補助情報生成部2035に送出する。補助情報生成部2035は、生成した修正後位置合わせ情報と、記憶部30に格納されるブロック分割サイズ情報、画像縮小率情報及び点広がり関数情報とを含めて、補助情報として生成し、外部に送出する。これにより、原画像列を用いて生成した位置合わせ情報を、画素補完における点広がり関数を考慮した位置合わせ情報に修正した補助情報を生成することができる。尚、画像拡大装置側でウェーブレット再構成を用いた拡大処理を行う用途に対しては、マザーウェーブレット情報を補助情報に含めることができる。ただし、後述する一実施例の画像拡大装置50では、マザーウェーブレット情報を使用しない例について説明する。次に、本発明による一実施例の画像拡大装置について説明する。画像拡大装置図5は、本発明による一実施例の画像拡大装置のブロック図である。本実施例の画像拡大装置50は、縮小画像列に対して、補助情報を用いて当該画像縮小率に対応する拡大率で位置合わせを行ない、当該位置合わせを行った拡大後の標本点を画素補完し、画素補完後の拡大画像を用いて原画像列に対応する拡大画像列を生成する装置であり、制御部60と、記憶部70とを備える。制御部60は、位置合わせ処理部601と、画素補完処理部602と、拡大画像生成部603とを備える。本実施例の画像拡大装置50をコンピュータとして構成させることができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられる記憶部70に記憶される。コンピュータに備えられる制御部70は、中央演算処理装置CPUなどの制御で実現することができる。即ち、CPUが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部70から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。位置合わせ処理部601は、画像縮小装置10から、縮小画像列と、修正後位置合わせ情報、ブロック分割サイズ情報、画像縮小率情報及び点広がり関数情報を含む補助情報とを入力し、まず、縮小画像列における被処理フレーム位置の縮小画像について、入力される画像縮小率情報を用いて当該画像縮小率に対応する拡大率で、縮小画像列に対応する拡大画像列ただし、補完を要する標本点が存在する拡大画像列を生成し、さらに、この拡大画像列における各拡大画像について、ブロック分割サイズ情報に基づく個々のブロックにおける画素値を修正後位置合わせ情報に基づいて各縮小画像列からの画素の対応付けを示す情報を生成して、画素補完処理部602に送出する。画素補完処理部602は、各縮小画像列からの画素の対応付けを示す情報と、点広がり関数情報を用いて、生成した拡大画像列における各拡大画像について画素補完を施し、順次、拡大画像生成部603に送出する。拡大画像生成部603は、画素補完を施した各拡大画像からなる拡大画像列を構成して外部に送出する。これにより、原画像列に相当する拡大画像列を高精度に復元することができるようになる。次に、図6~図16を参照して、位置合わせ情報生成部の別例を説明する。位置合わせ情報の生成位置合わせ情報生成部201bとして、時間方向及び空間方向の周波数解析にウェーブレット変換を用いる場合について説明する。尚、時間方向及び空間方向の周波数解析には、ウェーブレット変換を用いる場合以外に、他の直交変換又はFFTFastFouriertransformを用いることができる。装置構成図6は、本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部のブロック図である。本例の位置合わせ情報生成部201bは、原画像列の時間方向スペクトルパワーを算出して空間方向の周波数分解階層数を決定し、周波数分解階層数に応じた空間解像度で原画像の空間解像度となるまで階層的に位置合わせを行なった情報を位置合わせ情報として生成する機能を有し、具体的には、時間方向高周波領域パワー算出部2011bと、空間分解階数決定部2012bと、空間方向低周波領域パワー算出部2013bと、位置合わせ開始分解能決定部2014bと、階層型位置合わせ処理部2015bとを備える。時間方向高周波領域パワー算出部2011bは、位置合わせ処理を行う基準フレームFtC及び位置合わせ情報の探索に用いる参照フレームFtRを含む、時刻t=t0tmにおける複数フレームのフレーム画像列Ft0,,FtC,,FtR,,Ftmを入力し、基準フレームFtCにおける全画素について、この複数フレームを時間方向に予め規定した最大階数の周波領域に分解した後、全画素における時間方向の周波数帯域毎のパワーを算出し、算出した全画素における時間方向の周波数帯域別のパワーから時間方向の高周波領域のパワーの割合を算出して空間分解階数決定部2012bに送出する。例えば、図7に示すように、時間方向高周波領域パワー算出部2011bは、基準フレームFtC及び参照フレームFtRを含む、時刻t=t0tmにおけるフレーム画像列Ft0,,FtC,,FtR,,Ftmを入力し、基準フレームFtCの全画素について時間方向に予め規定したNmax階例えば、4階の離散ウェーブレット分解を行う時間方向1次元Nmax階離散ウェーブレット分解処理部2111bと、基準フレームFtCの全画素における時間方向の周波数帯域毎のパワーを算出し、算出した全画素における時間方向の周波数帯域別のパワーから時間方向の高周波領域のパワーの割合を算出して空間分解階数決定部2012bに送出する時間方向周波数帯域別パワー算出部2112bから構成することができる。空間分解階数決定部2012は、時間方向高周波領域パワー算出部2011bによって算出した時間方向の高周波領域のパワーの割合から、時間方向の高周波領域のパワーの割合が大きいほど、動領域面積が大きく、且つ動き量が大きいと判断し、時間方向の高周波領域のパワーの割合に応じて空間周波数の分解階数Ns即ち、空間方向の分解能を決定し、決定した空間周波数の分解階数Nsの情報を空間方向低周波領域パワー算出部2013bに送出する。空間方向低周波領域パワー算出部2013bは、基準フレームFtC及び参照フレームFtRと空間周波数の分解階数Nsの情報を入力し、空間周波数の分解階数Nsに基づいて、基準フレームFtC及び/又は参照フレームFtRに対して空間Ns階離散ウェーブレット分解を実行し、当該フレームにおける空間周波数帯域毎のパワーを算出し、算出した空間周波数帯域毎のパワーから当該フレームにおける空間方向の低周波領域のパワーの割合を算出し、算出した空間方向の低周波領域のパワーの割合と空間Ns階離散ウェーブレット分解したデータを位置合わせ開始分解能決定部2014bに送出する。尚、基準フレームFtC及び参照フレームFtRの双方に対して空間Ns階離散ウェーブレット分解を実行することは、後の処理として、固定のブロックサイズ及び探索範囲の大きさで階層型位置合わせ処理を行う際のウェーブレット再構成を階層的に行うことにより、元画像に対して可変のブロックサイズ及び探索範囲の大きさとする階層型位置合わせ処理を行うことができる点で有利であり、特に、位置合わせ処理を階層的に行うための分解能の決定のためには、基準フレームFtC及び参照フレームFtRのうちの空間方向の低周波領域のパワーの割合が大きいほうを選定するのが好適となる。以下の説明では、基準フレームFtC及び参照フレームFtRの双方について空間Ns階離散ウェーブレット分解を行う例を説明する。例えば、図8に示すように、空間方向低周波領域パワー算出部2013bは、基準フレームFtC及び参照フレームFtRを入力し、空間分解階数決定部2012bによって決定した空間周波数の分解階数Nsに基づいて、基準フレームFtC及び参照フレームFtRの各々の全画素に対して空間Ns階離散ウェーブレット分解を行う空間方向2次元Ns階離散ウェーブレット分解処理部2131bと、基準フレームFtC及び参照フレームFtRの各々における空間周波数帯域毎のパワーを算出し、算出した空間周波数帯域毎のパワーから基準フレームFtC及び参照フレームFtRの各々における空間方向の低周波領域のパワーの割合を算出し、算出した基準フレームFtC及び参照フレームFtRの各々における空間方向の低周波領域のパワーの割合の大きいほうの情報を位置合わせ開始分解能決定部2014bに送出する空間方向周波数帯域別パワー算出部2132bから構成することができる。位置合わせ開始分解能決定部2014bは、空間方向低周波領域パワー算出部2013bによって算出した空間方向の低周波領域のパワーの割合の情報から、空間方向の低周波領域のパワーの割合が大きいほど空間方向の高周波領域のパワーの割合が小さいほど、動領域面積が大きく、且つ動き量が大きいと判断し、位置合わせ処理を階層的に開始するための分解能以下、位置合わせ開始分解能と称するが小さい値即ち、低解像度画像となるように、空間方向の低周波領域のパワーの割合に応じて位置合わせ開始分解能を決定し、決定した階層的な位置合わせ開始分解能の情報を階層型位置合わせ処理部2015bに送出する。例えば、図9に示すように、位置合わせ開始分解能決定部2014bは、空間方向低周波領域パワー算出部2013bによって算出した空間方向の低周波領域のパワーの割合から、空間方向の低周波領域のパワーの割合が大きいほど空間方向の高周波領域のパワーの割合が小さいほど動領域面積が大きく、且つ動き量が大きいと判断し、位置合わせを開始する階数以下、位置合わせ開始階数と称するnsが大きな値となるように、空間方向の低周波領域のパワーの割合に応じて位置合わせ開始階数nsを決定し、決定した位置合わせ開始階数nsの情報を階層型位置合わせ処理部2015bに送出する位置合わせ開始階数決定部2141bとして構成することができる。階層型位置合わせ処理部2015bは、位置合わせ開始階数nsに応じた空間方向に低周波領域の基準フレームFtC及び参照フレームFtRの画像を得るために、基準フレームFtC及び参照フレームFtRの空間方向2次元Ns階離散ウェーブレット分解したデータに対して、位置合わせ開始階数nsに応じた空間ns階ウェーブレットの再構成を行い、予め定めたブロックサイズ及び探索範囲の大きさで位置合わせ処理を実行し、続いて空間ns-1階ウェーブレットの再構成を行い、当該予め定めたブロックサイズ及び探索範囲の大きさで位置合わせ処理を再度実行し、最上位の階層即ち、元の画像レベルにて当該予め定めたブロックサイズ及び探索範囲の大きさで位置合わせ情報の検出を行うまで階数をデクリメントして繰り返す。この階層型位置合わせ処理の動作は、基準フレームFtC及び参照フレームFtRを入力し、位置合わせ開始分解能に基づいて、基準フレームFtCに対して順次ブロックサイズ及び探索範囲の大きさを縮小しながら位置合わせ処理を行うことと類似した処理となる。ただし、空間ns階ウェーブレット分解及び再構成を経て順次繰り返すことによる階層型位置合わせ処理によれば、階層に応じて順次可変にすべきブロックサイズ及び探索範囲の大きさを用意する必要がなく固定とすることができ、且つ画像シーンに応じた位置合わせ開始階数nsに応じた位置合わせ処理を行うため、高精度化が期待できる。例えば、図10に示すように、階層型位置合わせ処理部2015bは、位置合わせ開始階数nsに応じた空間方向に低周波領域の基準フレームFtC及び参照フレームFtRの画像を得るために位置合わせ開始階数nsに応じた空間ns階ウェーブレットの再構成を行い、予め定めたブロックサイズ及び探索範囲の大きさで小数画素精度のブロックマッチングによる位置合わせ処理を行う位置合わせ情報生成部2151bと、この位置合わせ情報の生成処理を最上位の階数に対応する元の画像レベルとなるまで階数をデクリメントして繰り返すために、空間方向低周波領域パワー算出部2013bによって算出した空間Ns階離散ウェーブレット分解データに対して位置合わせ開始階数nsよりも上位の階数の画像となるように空間方向に1階上位のウェーブレット再構成を実行して位置合わせ情報生成部2151bに送出する空間1階ウェーブレット再構成部2152bから構成することができる。従って、位置合わせ情報生成部2151bは、空間1階ウェーブレット再構成部2152bから得られる基準フレームFtC及び参照フレームFtRの再構成画像を用いて、位置合わせ処理を階層的に繰り返し、最終的な一合わせ情報を決定して出力することができる。以下、本例の位置合わせ情報生成部の動作について更に詳細に説明する。装置動作図11は、本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部の動作を示す動作フローである。ステップS1にて、位置合わせ情報生成部201bは、基準フレームFtC及び参照フレームFtRを含む、時刻t=t0tmにおけるフレーム画像列Ft0,,FtC,,FtR,,Ftmを入力して、位置合わせ情報生成部201bが備える記憶部図示せずに適宜読み出し可能に格納する。ステップS2にて、時間方向高周波領域パワー算出部2011bにより、フレーム画像列Ft0,,FtC,,FtR,,Ftmを入力し、基準フレームFtCにおける全画素について時間方向に予め規定した最大階数の周波領域に分解した後、全画素における時間方向の周波数帯域毎のパワーを算出し、算出した全画素における時間方向の周波数帯域別のパワーから時間方向の高周波領域のパワーの割合を算出する。例えば、図12に示すように、フレーム画像列Ft0,,FtC,,FtR,,Ftmにおける或る画素Rk,lについて、時間方向に予め規定した最大階数Nmaxの周波領域に分解した後、全画素における時間方向周波数帯域毎のパワーを算出することができる。例えば、図13に示すように、16フレームのフレーム画像列Ftを時間方向にNmax階に分解するとすれば、Nmax=1では、低周波領域L1及び高周波領域H1として分割することができ図13a参照、Nmax=2では、低周波領域L2及び高周波領域H1,H2として分割することができ図13b参照、Nmax=3では、低周波領域L3及び高周波領域H1,H2,H3として分割することができ図13c参照、Nmax=4では、低周波領域L4及び高周波領域H1,H2,H3,H4として分割することができる図13d参照。ステップS3にて、空間分解階数決定部2012bにより、算出した時間方向の高周波領域のパワーの割合から、時間方向の高周波領域のパワーの割合が大きいほど動領域面積が大きく、且つ動き量が大きいと判断し、空間周波数の分解階数Nsが大きな値となるように、時間方向の高周波領域のパワーの割合に応じて準フレームFtC及び参照フレームFtRの空間周波数の分解階数Nsを決定する。例えば、表1に示すように、時間方向の高周波領域のパワーの割合と空間周波数の分解階数Nsとの間で規定されるテーブルを予め保持しておく。ステップS4にて、空間方向低周波領域パワー算出部2013bにより、基準フレームFtC及び参照フレームFtRを入力し、空間分解階数決定部2012bによって決定した空間周波数の分解階数Nsに基づいて、基準フレームFtC及び参照フレームFtRに対して空間Ns階離散ウェーブレット分解を実行し、基準フレームFtC及び参照フレームFtRにおける空間周波数帯域毎のパワーをそれぞれ算出し、位置合わせ開始分解能又は位置合わせ開始階数nsの決定のために、算出した空間周波数帯域毎のパワーから基準フレームFtC及び参照フレームFtRにおける空間周波数帯域毎のパワーの割合の大きいほうを選定する。基準フレームFtC又は参照フレームFtRにおける空間周波数帯域毎のパワーの割合のみを算出してもよい。例えば、図14aに示すように、基準フレームFtCの全画素に対して空間方向に2次元2階離散ウェーブレット分解を実行して、各周波領域のパワーを算出し、算出した空間周波数帯域毎のパワーから空間方向の低周波領域のパワーの割合を算出することができる。また、図14bに示すように、基準フレームFtCの空間方向の低周波領域例えば、LL2のみを抽出して基準フレームFtCの低周波領域のみの画像を再構成することができる。ステップS5にて、位置合わせ開始分解能決定部2014bにより、空間Ns階離散ウェーブレット分解データ及び空間方向の低周波領域のパワーの割合から、空間方向の低周波領域のパワーの割合が大きいほど空間方向の高周波領域のパワーの割合が小さいほど動領域面積が大きく、且つ動き量が大きいと判断し、位置合わせ開始分解能が小さい値位置合わせ開始階数nsが大きい値となるように、空間方向の低周波領域のパワーの割合に応じて階層的な位置合わせ開始分解能又は位置合わせ開始階数nsを決定する。ただし、ns≦Nsである。例えば、表2に示すように、空間方向の低周波領域のパワーの割合と位置合わせ開始分解能又は位置合わせ開始階数nsとの間で規定されるテーブルを予め保持しておく。尚、位置合わせ開始階数が大きくなるにつれて、元の画像が低解像度化することを意味しており、元の画像に対して相対的にブロックサイズ及び位置合わせ情報の探索範囲の大きさが増大することを意味している。例えば、空間分解能1/16,1/8,1/4,1/2とすれば、それぞれブロックサイズ,位置合わせ情報の探索範囲の大きさは、16×16,水平垂直16画素,8×8,水平垂直8画素,4×4,水平垂直4画素,2×2,水平垂直2画素などである。ここで、例えば、空間分解能1/16は、元の画像における水平標本化周波数Hs及び垂直標本化周波数Vsにおいて、16画素を1画素として標本化する低解像度化を意味する。つまり、図15に示すように、空間方向の低周波領域のパワーの割合によって、位置合わせ開始階数nsを関連付けることができる。例えば、Ns=4のとき、低周波領域LL4及び高周波領域LL4以外のそれぞれのパワーを算出して、全体における低周波領域LL4の割合が、99.5以上であれば、位置合わせ開始階数ns=4として4階層の低周波領域のみの画像を再構成することができる図15d参照。また、全体における低周波領域LL4の割合が、98.0以上99.5未満であれば、位置合わせ開始階数ns=3として3階層の低周波領域この場合、LL3のみの画像を再構成することができる図15c参照。同様に、全体における低周波領域LL4の割合が、95.0以上98.0未満であれば、位置合わせ開始階数ns=2として2階層の低周波領域この場合、LL2のみの画像を再構成することができ図15b参照、全体における低周波領域LL4の割合が、95.0未満であれば、位置合わせ開始階数ns=1として1階層の低周波領域この場合、LL1のみの画像を再構成することができる図15a参照。ステップS6にて、階層型位置合わせ処理部2015bにより、位置合わせ開始分解能位置合わせ開始階数nsに基づいた基準フレームFtC及び参照フレームFtRの低周波画像に対して、基準フレームFtCの低周波画像を所定のブロックサイズに分割し、分割した各ブロックについて、所定の位置合わせ情報の探索範囲の大きさで、小数画素精度のブロックマッチングによる位置合わせ情報の生成処理を行う。ステップS7にて、階層型位置合わせ処理部2015bにより、基準フレームFtC及び参照フレームFtRに対してブロックサイズ及び位置合わせ情報の探索範囲の大きさを縮小しながら位置合わせ処理を繰り返す効果を得るために、算出していた基準フレームFtC及び参照フレームFtRの空間ns階離散ウェーブレット分解データに対して位置合わせ開始階数nsよりも上位の階数の画像となるように空間方向に1階上位のウェーブレット再構成を実行する。階層型位置合わせ処理部2015bは、空間1階ウェーブレット再構成部2152bから得られる基準フレームFtC及び参照フレームFtRの再構成画像を用いて、最上位の階層即ち、元の画像レベルにおける位置合わせ情報となるまで順次階数をデクリメントして位置合わせ処理を繰り返しステップS8、最終的な位置合わせ情報を決定して出力することができるステップS9。例えば、図16a~dに示すように、位置合わせ開始階数nsが大きいほどブロックサイズが大きくなる様子を示しており、ブロックサイズが大きいほど参照フレームFtRにおける位置合わせ情報の探索範囲の大きさも大きくなる。つまり、基準フレームFtCのns階低周波画像を水平及び垂直のブロックサイズBxns,Bynsの或るブロックBns上添え字は、階級を示すに分割し、参照フレームFtRの±Sxns,±Synsの範囲例えば、±2ブロックで探索し、各ブロックの位置合わせ情報vnsを算出する。次に、基準フレームFtCのns-1階低周波画像を、ブロックサイズBxns,Bynsで分割し、参照フレームFtRのns階低周波画像上の同じ位置から2×vnsだけずらした場所を中心位置とする水平及び垂直画素数としてそれぞれ±Sxns,±Synsの範囲で探索し、得られた位置合わせ情報に2×vnsをベクトル加算して、ns-1階低周波画像における位置合わせ情報vns-1を算出する。このようにして、最上位の階数即ち、1階まで位置合わせ処理を繰り返すことにより、高精度化を図ることができる。尚、位置合わせ処理は、2次関数近似による小数画素位置のブロックマッチング法を用いて行うのは、最上位の階数即ち、1階でのみ行うのが好適であり、次式で与えられる。尚、探索位置における画素位置をxとしたとき、SSDは、画素位置におけるSSD値誤差二乗和を表し、より具体的には、SSDは中心位置におけるSSD値、SSDは中心位置から-SxSy画素の位置におけるSSD値、SSDは中心位置からSxSy画素の位置におけるSSD値を表す。上記の式から、水平又は垂直方向の小数画素精度の画素位置小数画素位置をそれぞれ算出することができる。このように、時空間方向の周波数パワーに基づいて位置合わせ情報を生成することができる。次に、本発明による一実施例の画像縮小装置における更に別例の位置合わせ情報生成部について説明する。位置合わせ情報の確度判定図17は、本発明による一実施例の画像縮小装置における更に別例の位置合わせ情報生成部のブロック図である。本例の位置合わせ情報生成部201cは、原画像フレームをブロック分割したブロック単位で位置合わせ情報を生成し、各ブロック内の小領域のサブブロック単位で位置合わせ情報を生成し、サブブロック単位で検出した位置合わせ情報が、対応するブロック位置のブロック単位の動き量に対して所定の閾値以上、及び/又は一致度評価関数値が所定の閾値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする確度判定を行ない、有効と判断したサブブロック単位の位置合わせ情報を、対応するブロック単位の位置合わせ情報にベクトル加算して補正することにより、位置合わせ情報修正部203で用いる位置合わせ情報を生成する機能を有し、具体的には、ブロック単位小数画素位置合わせ処理部2011cと、画素単位小数位置合わせ処理部2012cと、位置合わせ情報確度判定部2013cと、補正位置合わせ情報生成部2014cとを備える。尚、本例の位置合わせ情報生成部201cは、各構成要素が処理するのに必要なデータを格納する記憶部図示せずを備える。位置合わせ処理を行う基準フレームをFtC、及び位置合わせ情報の探索を行う参照フレームをFtRとする。ブロック単位小数画素位置合わせ処理部2011cは、原画像列についてブロック単位で位置合わせ情報を算出する。より具体的には、後述するように、ブロック単位小数画素位置合わせ処理部2011cは、基準フレームFtC、及び参照フレームFtRを入力して、基準フレームFtCを例えば16×16画素のブロックBi,ji,jは、水平及び垂直のブロック番号で分割し、参照フレームFtR上を探索してブロック単位の位置合わせ情報vBi,jを求め、当該記憶部に保持する。ブロック単位の位置合わせ処理は、小数画素精度の位置合わせ処理を行うのが好適である。画素単位小数画素位置合わせ処理部2012cは、ブロックBi,j内の小領域のサブブロック単位例えば、1画素単位で位置合わせ情報を算出する。より具体的には、後述するように、画素単位小数画素位置合わせ処理部2012cは、ブロックBi,j内の画素位置k,lについて、各画素位置の位置合わせ情報ui,jk,lを求め、当該記憶部に保持する。小領域のサブブロック単位例えば、1画素単位の位置合わせ情報は、小数画素精度の位置合わせ処理を行うのが好適である。位置合わせ情報確度判定部2013cは、当該記憶部に保持したブロック単位及びサブブロック単位で検出した位置合わせ情報を読み出し、サブブロック単位で検出した位置合わせ情報が、対応するブロック位置のブロック単位の動き量に対して所定の閾値以上、及び/又は一致度評価関数値が所定の閾値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする確度判定を行う。位置合わせ情報確度判定部2013cは、確度判定によって得られたサブブロック単位の位置合わせ情報について有効であるか否かを表す情報と、ブロック単位及びサブブロック単位で検出した位置合わせ情報を補正位置合わせ情報生成部2014cに送出する。より具体的には、位置合わせ情報確度判定部2013cは、サブブロック単位で検出した位置合わせ情報が、ブロック単位の動き量の半値以上である場合、及び/又は、一致度評価関数値が一定の閾値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする。補正位置合わせ情報生成部2014cは、有効と判断したサブブロック単位の位置合わせ情報を、対応するブロック単位の位置合わせ情報にベクトル加算して補正する。これにより、ブロック単位で求めた位置合わせ情報に関して、より小領域のサブブロック単位例えば、画素単位で再検出し、サブブロック単位例えば、画素単位の位置合わせ情報について有効又は無効の判定を行うため、確度の高い位置合わせ情報を得ることができる。また、少なくとも小領域のサブブロック単位例えば、画素単位で小数画素精度の位置合わせ処理を行うため、精度の高い位置合わせ情報を得ることができる。以下、図18を参照して、本発明による一実施例の画像縮小装置における更に別例の位置合わせ情報生成部の動作について詳細に説明する。ステップS11にて、原画像列を構成する基準フレームFtC及び参照フレームFtRを入力し、適宜記憶部に保持する。ステップS12にて、ブロック単位小数画素位置合わせ処理部2011cにより、まず、ブロック単位例えば、16×16画素のブロック単位の小数画素精度の位置合わせ情報の生成を行う。例えば、図19aに示すように、基準フレームFtCをブロックBi,ji,jは、水平及び垂直のブロック番号で分割し、図19bに示すように、参照フレームFtR上を探索してブロック単位の位置合わせ情報vBi,jを求める。ステップS13にて、画素単位小数画素位置合わせ処理部2012cにより、小領域のサブブロック単位例えば、画素単位の小数画素精度の位置合わせ処理を行う。以下、画素単位の小数画素精度の位置合わせ処理を行う例を説明する。ブロックBi,j内の画素位置k,lとし、各画素位置の位置合わせ情報ui,jk,lを、上述したように、画素単位の小数画素精度位置における位置合わせ情報の生成を行う。画素単位の位置合わせ処理は、2次関数近似パラボラフィッティングを用いた一致度評価関数とするブロックマッチング法を用いて、参照フレームFtR上をブロック単位の位置合わせ情報vBi,jだけずらした位置を中心とする±Sx’Sy’の範囲で探索する。尚、探索範囲の大きさを規定する±Sx’又はSy’の大きさは、±1画素とすることができる。ステップS14にて、位置合わせ情報確度判定部2013cにより、求めた画素単位の位置合わせ情報ui,jk,lが、ブロック単位の動き量に対して所定の閾値以上、及び/又は一致度評価関数値が所定の閾値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とするステップS15,S16。例えば、求めた画素単位の位置合わせ情報ui,jk,lが、ブロック単位の動き量の半値、即ち±0.5,0.5以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする図20参照。更に別の例として、求めた画素単位の位置合わせ情報ui,jk,lが、SSD値が一定の閾値例えば、SSDの値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする。更に別の例として、求めた画素単位の位置合わせ情報ui,jk,lが、ブロック単位の動き量の半値、即ち±0.5,0.5以上である場合、且つSSD値誤差二乗和が一定の閾値例えば、SSDの値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする。有効と判断した場合に、補正位置合わせ情報生成部2014cにより、この基準フレームFtCにおける小領域のサブブロック単位例えば、画素単位の位置合わせ情報Vi,j,k,lを、Vi,j,k,l=vBi,jui,jk,lとして補正する。尚、補正位置合わせ情報生成部2014cは、無効であるとされた対象の画素単位小数精度位置の位置合わせ情報については、その周囲の有効値例えば、最も隣接する有効値で置き換えるか、又は周囲の複数の有効値で平均化するか、又は、ブロック単位の位置合わせ情報で置き換える即ち、Vi,j,k,l=vBi,jことにより、全ての小領域のサブブロック単位例えば、画素単位の位置合わせ情報Vi,j,k,lを決定することもできる。このように、本実施例の位置合わせ情報生成部201cであれば、ブロック単位で求めた位置合わせ情報に関して、より小領域のサブブロック単位例えば、画素単位にて小数精度で再検出し、サブブロック単位の位置合わせ情報について有効及び無効の判定を行うため、確度の高く、且つ精度も高い位置合わせ情報を得ることができる。次に、動き量適応型点広がり関数について説明する。動き量適応型点広がり関数図21は、本発明による一実施例の画像縮小装置で利用可能な点広がり関数を生成する動き量適応型点広がり関数生成装置のブロック図である。通常、画像縮小の際に発生する動きぼけ関数として点広がり関数PSFPointSpreadingFunctionを用い、画像拡大の際にその逆関数を利用して超解像を行う。したがって、動き量適応型点広がり関数生成装置300は、原画像列を用いて位置合わせ情報を生成し、この位置合わせ情報に応じて適応的に点広がり関数が変化する動き量適応型点広がり関数を生成する例である。この動き量適応型点広がり関数は、前述した画像縮小装置10における記憶部30に予め記憶しておくことで利用可能となる。動き量適応型点広がり関数生成装置300は、位置合わせ情報生成部201によって生成した位置合わせ情報に応じて点広がり関数の幅が変化する動き量適応型点広がり関数を用いて、当該位置合わせ情報を修正した情報を補助情報として生成する機能を有し、位置合わせ情報修正部203に組み入れることができる。具体的には、動き量適応型点広がり関数生成装置300は、位置合わせ情報生成部301と、画素対応付け処理部302と、再構成処理部303とを備える。位置合わせ情報生成部301は、図1で説明した場合と同様に、原画像列を用いて位置合わせ情報を生成する。画素対応付け処理部302は、原画像列を用いて生成した位置合わせ情報から、図1で説明した場合と同様に生成された縮小画像列について、複数フレーム間で画素の対応付けを行い、超解像元フレーム縮小画像列のフレームの画素を被超解像フレーム画像拡大するフレーム上に反映する対応付け情報を生成して再構成処理部303に送出する図21参照。再構成処理部303は、縮小画像の画素を、画像拡大するフレーム上に反映するときの事後確率被超解像フレーム上に複数の低解像度な超解像元フレームの画素が与えられた時の事後確率を最大にする高解像度画像の推定を行って高解像度画像を再構成するのに必要な動き量適応型点広がり関数を決定する。この推定にはMAPMaximumAPosterior法や、その他の方法を用いることができる。また動き量適応型点広がり関数は、原画像列を用いて生成した位置合わせ情報を基に、PSFを拡張した動きぼけ関数である。詳細に後述するが、再構成処理部303は、動き量適応型点広がり関数として、点広がり関数PSFを模擬する2次元ガウス関数近似を用いて、2次元ガウス関数近似の水平及び垂直方向の動きぼけ量を制御することができる。従来からのMAP法以下、従来MAP法と称するは、xを高解像度な画像復元されたフレーム画像ベクトル、yを低解像度な超解像元フレーム画像ベクトル、Nを入力フレーム数とした時の事後確率pを最大にする高解像度フレーム画像を推定する方法である。式1での第1項では、Dはサブサンプリングを表す行列、Bkは点広がり関数PSF行列、Wkは位置合わせ情報特に、シーンやカメラの動きを表す動き量にも適用できるの行列を示す。ゆえに、式1の第1項のyk-DBkWkx2は、k番目の低解像度の超解像元フレーム画像と、観測信号としての高解像度の画像復元されるフレーム画像にPSFによる解像度変換時の動きぼけとk番目の超解像元フレームからの位置合わせ情報を与えてサブサンプリングした画像との二乗誤差となる。そして、式1の第2項のλCx2は、λが事前情報の寄与度合いを示す変数量、Cが入力画像の事前情報として与えられる画像縮小率情報の行列となる。ただし、従来MAP法では、点広がり関数PSF、位置合わせ情報、画像縮小率情報は補助情報としては与えられないことに注意する。ゆえに、従来MAP法におけるCは、例えば4近傍のMRFを仮定して、4近傍のラプラシアンカーネルを利用するものであるため、シーンやカメラの動きに十分に対応できていなかった。本例の動き量適応型点広がり関数生成装置300は、位置合わせ情報及び画像縮小率情報が補助情報としては与えられない状況下で、式1の点広がり関数PSFのBkを、2次元ガウス関数近似による点広がり関数とし、位置合わせ情報つまり、フレーム間動きベクトルの向きと大きさに対応する情報に応じて、2次元ガウス関数近似による点広がり関数の拡張を行う。この拡張されたPSF関数を動き量適応型点広がり関数カーネルEBkとする。式に、動き量適応型点広がり関数カーネルEBkを用いたMAP再構成処理式を示す。より具体的に、2次元ガウス関数近似による点広がり関数PSKと、動き量適応型点広がり関数拡張された2次元ガウス関数近似による点広がり関数PSKについて、詳細に説明する。2次元ガウス関数近似による点広がり関数PSKを、2次元のガウス関数で近似するあたり、式3のように、半値幅をwとし、面積が1の規格化ガウス関数の振幅をαとして定義する。式3より、2次元のガウス関数は、式4のようになる。ここで、水平方向の基準位置はx0、垂直方向の基準位置はy0となる。動き量適応型点広がり関数拡張された2次元ガウス関数近以による点広がり関数動き量適応型点広がり関数生成装置300は、式4の点広がり関数を拡張する。位置合わせ情報mの水平方向の動き量をmx、垂直方向の動き量をmyとすると、式4のガウス関数における水平方向と垂直方向の半値幅は、式5のように制御される。式5は、位置合わせ情報の向きと大きさに応じて点広がり関数の広がり方向と広がり量を制御するものである。動き量適応型点広がり関数生成装置300の再構成処理では、式2のカーネルEBkを式5の2次元のガウス関数として、画像拡大倍率に応じて式5の半値幅wを決定し、式2のλを変化させながら式2の繰り返し演算を行い、最適な高解像度画像を求めることができる。このように、動き量適応型点広がり関数生成装置300で生成した動き量適応型点広がり関数を、図1に示す画像縮小装置10に適用すれば、動き量に対する鮮鋭な位置合わせ情報を生成することができる。"