"原画像列を縮小して縮小画像列を生成する画像縮小装置であって、連続する複数の原画像フレームからなる原画像列を入力して、処理対象の原画像フレームから連続する少なくとも1つの原画像フレームへの位置合わせ情報を生成する位置合わせ情報生成部と、原画像列を所定の画像縮小率で縮小した縮小画像列を生成する画像縮小部と、生成した位置合わせ情報、縮小画像列及び点広がり関数を用いて拡大画像フレームを生成し、当該位置合わせ情報の値を可変して拡大画像フレームと原画像フレームとの差分値が最小となるように当該位置合わせ情報を修正した情報を複数フレーム超解像補助情報として生成する位置合わせ情報修正部と、空間オクターブ分解処理とガウシアンフィルタを用いて拡大画像を生成し、生成した拡大画像の画素と、該拡大画像と対応する画像サイズの空間オクターブ分解画像の画素との画素差分値が最小となるガウシアンフィルタの分散値を単一フレーム超解像補助情報として生成する分散値決定部とを備えることを特徴とする画像縮小装置。前記位置合わせ情報修正部は、生成した位置合わせ情報と縮小画像列を用いて、当該画像縮小率に対応する拡大率で縮小画像列の処理対象の縮小画像フレームを拡大する際に、拡大した標本位置に対して点広がり関数を用いた画素補完を行なって拡大画像フレームを生成し、生成した拡大画像の画素と原画像フレームの画素との差分値を算出し、当該位置合わせ情報の値を前記点広がり関数の処理範囲内でシフトしながら当該差分値が最小となるシフト量を算出し、該シフト量を当該位置合わせ情報の値に加算することにより前記位置合わせ情報を修正した情報を複数フレーム超解像補助情報として生成することを特徴とする、請求項1に記載の画像縮小装置。前記分散値決定部は、空間オクターブ分解処理とガウシアンフィルタを用いて、縮小画像列の処理対象の縮小画像フレームが持つスペクトラム情報から当該縮小画像フレームのナイキスト周波数を超える空間高周波成分を含む拡大画像を生成し、生成した拡大画像の画素と、該拡大画像と対応する画像サイズの空間オクターブ分解画像の画素との画素差分値を算出し、当該ガウシアンフィルタの分散値をガウシアンフィルタの処理範囲内で可変しながら当該画素差分値が最小となる誤差最小分散値を算出し、該誤差最小分散値を単一フレーム超解像補助情報として生成することを特徴とする、請求項1又は2に記載の画像縮小装置。請求項1に記載の画像縮小装置によって生成された縮小画像列に対して、前記複数フレーム超解像補助情報を用いて当該画像縮小率に対応する拡大率で位置合わせを行ない、当該位置合わせを行った拡大後の標本点について当該点広がり関数に基づく画素補完候補を生成する第1画素補完候補生成部と、請求項1に記載の画像縮小装置によって生成された縮小画像列に対して、空間オクターブ分解後に再構成した再構成画像の高周波成分について当該単一フレーム超解像補助情報を用いてガウシアンフィルタ処理を実行し、当該縮小画像を低周波成分として用いるとともに前記ガウシアンフィルタ処理を実行後の再構成画像の高周波成分を用いて空間オクターブ分解画像を構成し、該空間オクターブ分解画像について空間オクターブ再構成処理を施すことにより、当該ガウシアンフィルタ処理に基づく画素補完候補を生成する第2画素補完候補生成部と、予め定めた基準となる画素補完候補である基準点広がり関数画素補完候補を基に、基準点広がり関数画素補完候補、単一フレーム画素補完候補、及び複数フレーム画素補完候補を選別する画素補完候補選別処理部と、当該選別された画素補完候補を用いて縮小画像列を拡大する拡大画像生成部と、を備えることを特徴とする画像拡大装置。原画像列を縮小して縮小画像列を生成する画像縮小装置として機能するコンピュータに、連続する複数の原画像フレームからなる原画像列を入力して、処理対象の原画像フレームから連続する少なくとも1つの原画像フレームへの位置合わせ情報を生成するステップと、原画像列を所定の画像縮小率で縮小した縮小画像列を生成するステップと、生成した位置合わせ情報と縮小画像列を用いて、当該画像縮小率に対応する拡大率で縮小画像列の処理対象の縮小画像フレームを拡大する際に、拡大した標本位置に対して点広がり関数を用いた画素補完を行なって拡大画像フレームを生成し、生成した拡大画像の画素と原画像フレームの画素との差分値を算出し、当該位置合わせ情報の値を前記点広がり関数の処理範囲内でシフトしながら当該差分値が最小となるシフト量を算出し、該シフト量を当該位置合わせ情報の値に加算することにより前記位置合わせ情報を修正した情報を複数フレーム超解像補助情報として生成するステップと、空間オクターブ分解処理とガウシアンフィルタを用いて、縮小画像列の処理対象の縮小画像フレームが持つスペクトラム情報から当該縮小画像フレームのナイキスト周波数を超える空間高周波成分を含む拡大画像を生成し、生成した拡大画像の画素と、該拡大画像と対応する画像サイズの空間オクターブ分解画像の画素との画素差分値を算出し、当該ガウシアンフィルタの分散値をガウシアンフィルタの処理範囲内で可変しながら当該画素差分値が最小となる誤差最小分散値を算出し、該誤差最小分散値を単一フレーム超解像補助情報として生成するステップと、を実行させるためのプログラム。コンピュータに、請求項1に記載の画像縮小装置によって生成された縮小画像列に対して、前記複数フレーム超解像補助情報を用いて当該画像縮小率に対応する拡大率で位置合わせを行ない、当該位置合わせを行った拡大後の標本点について当該点広がり関数に基づく画素補完候補を生成するステップと、請求項1に記載の画像縮小装置によって生成された縮小画像列に対して、空間オクターブ分解後に再構成した再構成画像の高周波成分について当該単一フレーム超解像補助情報を用いてガウシアンフィルタ処理を実行し、当該縮小画像を低周波成分として用いるとともに前記ガウシアンフィルタ処理を実行後の再構成画像の高周波成分を用いて空間オクターブ分解画像を構成し、該空間オクターブ分解画像について空間オクターブ再構成処理を施すことにより、当該ガウシアンフィルタ処理に基づく画素補完候補を生成するステップと、予め定めた基準となる画素補完候補である基準点広がり関数画素補完候補を基に、基準点広がり関数画素補完候補、単一フレーム画素補完候補、及び複数フレーム画素補完候補を選別するステップと、当該選別された画素補完候補を用いて縮小画像列を拡大するステップと、を実行させるためのプログラム。従来技術のように、補助情報は原画像が持つ空間高周波成分をパラメータとして、画像超解像、符号化、エッジ表示などに用いられる。そこで、複数の原画像フレームからなる原画像列を縮小して縮小画像列を生成する場合にも、このような補助情報を用いることは縮小画像列に対して画像拡大を実行する処理明細書中、複数フレーム超解像処理と称されるに有効であると考えられる。一般に、複数フレーム超解像処理では、このような補助情報を用いることなく、縮小画像列のうちの1つの被処理フレームからその前後フレームへの位置合わせ例えば、動き推定に基づく動き補償による画素補完を行なって画像拡大を行う。したがって、補助情報を用いない複数フレーム超解像処理では、縮小画像列のみを用いて位置合わせを行うため、位置合わせ精度が低いという問題があった。そこで、縮小画像列における位置合わせとは別に、原画像列のうちの1つの被処理フレームからその前後フレームへの位置合わせを行うことで、高精度の位置合わせ情報を取得することができ、この位置合わせ情報を補助情報とすることが考えられる。この場合、複数フレーム超解像処理時には、所定の点広がり関数による復元過程を経て画像拡大が行われる。ただし、この位置合わせ情報は、当該所定の点広がり関数による復元過程を考慮したものではないため、複数フレーム超解像処理後の画質について更なる改善の余地がある。また、拡大処理時の位置合わせの確度が低い領域、例えば静止領域では、複数フレームを用いた超解像処理よりも、単一フレームで行う超解像処理のほうが復元時の画素の位置合わせの確度が高くなることも予想され、所定の点広がり関数による復元過程を考慮しても複数フレーム超解像処理のみでは復元時の画素の位置合わせ情報としての確度の限界が生じることも予想される。本発明は、上述の問題を鑑みて為されたものであり、複数の原画像フレームからなる原画像列を縮小して縮小画像列を生成する画像縮小装置、縮小画像列を拡大して復元する画像拡大装置、及びこれらのプログラムを提供することを目的とする。本発明の画像縮小装置は、複数の原画像フレームからなる原画像列を縮小して縮小画像列を生成するとともに、複数フレームを用いた超解像処理のための補助情報明細書中、複数フレーム超解像補助情報と称されるを生成するとともに、単一フレームを用いた超解像処理のための補助情報明細書中、単一フレーム超解像補助情報と称されるを生成する。本発明の画像拡大装置は、予め定めた画素補完候補を基準として、複数フレーム超解像補助情報を用いて生成した拡大時の画素補完候補と、単一フレーム超解像補助情報を用いて生成した拡大時の画素補完候補とを選別し、選別した画素補完候補を用いて縮小画像列の拡大処理を実行する。従来の補助情報を用いない一般的な複数フレーム超解像処理では、縮小画像列を用いて位置合わせを行うものであったのに対して、本発明に係る超解像処理では、原画像列を用いて位置合わせを行なうことで、縮小画像列を用いて生成するよりも高精度の位置合わせ情報を生成しておき、さらに、複数フレーム超解像時の点広がり関数による復元過程を考慮して、この位置合わせ情報を修正し、複数フレーム超解像処理に適した修正後位置合わせ情報を複数フレーム超解像補助情報として利用するとともに、単一フレームにおける高周波成分におけるガウシアンフィルタ処理による誤差が最小となるガウシアンフィルタの分散値を算出して単一フレーム超解像補助情報として利用する。このため、原画像列が動領域及び静止領域が混在する場合でも、拡大処理時の画素の位置合わせの確度を高めつつ高画質化を図ることができる。即ち、本発明の画像縮小装置は、原画像列を縮小して縮小画像列を生成する画像縮小装置であって、連続する複数の原画像フレームからなる原画像列を入力して、処理対象の原画像フレームから連続する少なくとも1つの原画像フレームへの位置合わせ情報を生成する位置合わせ情報生成部と、原画像列を所定の画像縮小率で縮小した縮小画像列を生成する画像縮小部と、生成した位置合わせ情報、縮小画像列及び点広がり関数を用いて拡大画像フレームを生成し、当該位置合わせ情報の値を可変して拡大画像フレームと原画像フレームとの差分値が最小となるように当該位置合わせ情報を修正した情報を複数フレーム超解像補助情報として生成する位置合わせ情報修正部と、空間オクターブ分解処理とガウシアンフィルタを用いて拡大画像を生成し、生成した拡大画像の画素と、該拡大画像と対応する画像サイズの空間オクターブ分解画像の画素との画素差分値が最小となるガウシアンフィルタの分散値を単一フレーム超解像補助情報として生成する分散値決定部と、を備えることを特徴とする。また、本発明の画像縮小装置において、前記位置合わせ情報修正部は、生成した位置合わせ情報と縮小画像列を用いて、当該画像縮小率に対応する拡大率で縮小画像列の処理対象の縮小画像フレームを拡大する際に、拡大した標本位置に対して点広がり関数を用いた画素補完を行なって拡大画像フレームを生成し、生成した拡大画像の画素と原画像フレームの画素との差分値を算出し、当該位置合わせ情報の値を前記点広がり関数の処理範囲内でシフトしながら当該差分値が最小となるシフト量を算出し、該シフト量を当該位置合わせ情報の値に加算することにより前記位置合わせ情報を修正した情報を複数フレーム超解像補助情報として生成することを特徴とする。また、本発明の画像縮小装置において、前記分散値決定部は、空間オクターブ分解処理とガウシアンフィルタを用いて、縮小画像列の処理対象の縮小画像フレームが持つスペクトラム情報から当該縮小画像フレームのナイキスト周波数を超える空間高周波成分を含む拡大画像を生成し、生成した拡大画像の画素と、該拡大画像と対応する画像サイズの空間オクターブ分解画像の画素との画素差分値を算出し、当該ガウシアンフィルタの分散値をガウシアンフィルタの処理範囲内で可変しながら当該画素差分値が最小となる誤差最小分散値を算出し、該誤差最小分散値を単一フレーム超解像補助情報として生成することを特徴とする。また、本発明の画像拡大装置は、本発明の画像縮小装置によって生成された縮小画像列に対して、前記複数フレーム超解像補助情報を用いて当該画像縮小率に対応する拡大率で位置合わせを行ない、当該位置合わせを行った拡大後の標本点について当該点広がり関数に基づく画素補完候補を生成する第1画素補完候補生成部と、本発明の画像縮小装置によって生成された縮小画像列に対して、空間オクターブ分解後に再構成した再構成画像の高周波成分について当該単一フレーム超解像補助情報を用いてガウシアンフィルタ処理を実行し、当該縮小画像を低周波成分として用いるとともに前記ガウシアンフィルタ処理を実行後の再構成画像の高周波成分を用いて空間オクターブ分解画像を構成し、該空間オクターブ分解画像について空間オクターブ再構成処理を施すことにより、当該ガウシアンフィルタ処理に基づく画素補完候補を生成する第2画素補完候補生成部と、予め定めた基準となる画素補完候補である基準点広がり関数画素補完候補を基に、基準点広がり関数画素補完候補、単一フレーム画素補完候補、及び複数フレーム画素補完候補を選別する画素補完候補選別処理部と、当該選別された画素補完候補を用いて縮小画像列を拡大する拡大画像生成部と、を備えることを特徴とする。本発明のプログラムは、原画像列を縮小して縮小画像列を生成する画像縮小装置として機能するコンピュータに、連続する複数の原画像フレームからなる原画像列を入力して、処理対象の原画像フレームから連続する少なくとも1つの原画像フレームへの位置合わせ情報を生成するステップと、原画像列を所定の画像縮小率で縮小した縮小画像列を生成するステップと、生成した位置合わせ情報と縮小画像列を用いて、当該画像縮小率に対応する拡大率で縮小画像列の処理対象の縮小画像フレームを拡大する際に、拡大した標本位置に対して点広がり関数を用いた画素補完を行なって拡大画像フレームを生成し、生成した拡大画像の画素と原画像フレームの画素との差分値を算出し、当該位置合わせ情報の値を前記点広がり関数の処理範囲内でシフトしながら当該差分値が最小となるシフト量を算出し、該シフト量を当該位置合わせ情報の値に加算することにより前記位置合わせ情報を修正した情報を複数フレーム超解像補助情報として生成するステップと、空間オクターブ分解処理とガウシアンフィルタを用いて、縮小画像列の処理対象の縮小画像フレームが持つスペクトラム情報から当該縮小画像フレームのナイキスト周波数を超える空間高周波成分を含む拡大画像を生成し、生成した拡大画像の画素と、該拡大画像と対応する画像サイズの空間オクターブ分解画像の画素との画素差分値を算出し、当該ガウシアンフィルタの分散値をガウシアンフィルタの処理範囲内で可変しながら当該画素差分値が最小となる誤差最小分散値を算出し、該誤差最小分散値を単一フレーム超解像補助情報として生成するステップと、を実行させるためのプログラムである。また、本発明のプログラムは、コンピュータに、本発明の画像縮小装置によって生成された縮小画像列に対して、前記複数フレーム超解像補助情報を用いて当該画像縮小率に対応する拡大率で位置合わせを行ない、当該位置合わせを行った拡大後の標本点について当該点広がり関数に基づく画素補完候補を生成するステップと、本発明の画像縮小装置によって生成された縮小画像列に対して、空間オクターブ分解後に再構成した再構成画像の高周波成分について当該単一フレーム超解像補助情報を用いてガウシアンフィルタ処理を実行し、当該縮小画像を低周波成分として用いるとともに前記ガウシアンフィルタ処理を実行後の再構成画像の高周波成分を用いて空間オクターブ分解画像を構成し、該空間オクターブ分解画像について空間オクターブ再構成処理を施すことにより、当該ガウシアンフィルタ処理に基づく画素補完候補を生成するステップと、予め定めた基準となる画素補完候補である基準点広がり関数画素補完候補を基に、基準点広がり関数画素補完候補、単一フレーム画素補完候補、及び複数フレーム画素補完候補を選別するステップと、当該選別された画素補完候補を用いて縮小画像列を拡大するステップと、を実行させるためのプログラムである。本発明によれば、超解像処理のために、原画像精度のみならず点広がり関数による復元過程の誤差を修正した修正後位置合わせ情報を用いることができるようになるので、従来よりも高画質な超解像処理の画像を得ることができるようになる。また、本発明によれば、超解像処理のために、複数フレーム超解像補助情報と単一フレーム補助情報の双方を用いて適切に画素補完候補を選別できるので、原画像列が動領域及び静止領域が混在する場合でも、拡大処理時の画素の位置合わせの確度を高めつつ高画質化を図ることができる。以下、図面を参照して、本発明による一実施例の画像縮小装置及び画像拡大装置を順に説明する。画像縮小装置図1は、本発明による一実施例の画像縮小装置のブロック図である。本実施例の画像縮小装置10は、制御部20と、記憶部30とを備える。制御部20は、位置合わせ情報生成部201と、画像縮小部202と、位置合わせ情報修正部203と、分散値決定部204とを備える。本実施例の画像縮小装置10をコンピュータとして機能させることができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられる記憶部30に記憶される。コンピュータに備えられる制御部20は、中央演算処理装置CPUなどの制御で実現することができる。即ち、CPUが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部30から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよい。尚、後述の説明で明らかとなるが、記憶部30には、ブロック分割サイズ情報、画像縮小率情報、マザーウェーブレット情報、及び点広がり関数情報が格納されている。位置合わせ情報生成部201は、連続する複数の原画像フレームからなる原画像列を入力して、処理対象の原画像フレームから連続する少なくとも1つの原画像フレームへの位置合わせ情報を生成し、位置合わせ情報修正部203に送出する。位置合わせ情報生成部201の詳細は、図2を参照して後述する。画像縮小部202は、空間ウェーブレット分解処理を用いて原画像列を所定の画像縮小率で縮小した縮小画像列を生成し、外部に送出するとともに、位置合わせ情報修正部203に送出する。画像縮小部202の詳細は、図3を参照して後述する。位置合わせ情報修正部203は、生成した位置合わせ情報と縮小画像列を用いて、当該画像縮小率に対応する拡大率で縮小画像列の処理対象の縮小画像フレームを拡大する際に、拡大した標本位置に対して点広がり関数を用いた画素補完を行なって拡大画像を生成し、生成した拡大画像の画素と原画像の画素との差分値を算出し、当該位置合わせ情報の値を点広がり関数の処理範囲内でシフトしながら当該差分値が最小となるシフト量を算出し、該シフト量を当該位置合わせ情報の値に加算することにより前記位置合わせ情報を修正した情報を補助情報以下、複数フレーム超解像補助情報と称するとして生成し、外部に送出する。位置合わせ情報修正部203の詳細は、図4を参照して後述する。分散値決定部204は、画像縮小部202による空間ウェーブレット分解処理により単一の原画像フレームを用いて縮小画像を生成する際に、空間ウェーブレット分解処理とガウシアンフィルタ処理を用いて縮小画像が持つスペクトラム情報から縮小画像のナイキスト周波数を超える空間高周波成分を含む拡大画像を生成し、生成した拡大画像の画素と、該拡大画像と対応する画像サイズの空間ウェーブレット分解画像の画素との画素差分値を算出し、当該ガウシアンフィルタの分散値をガウシアンフィルタの処理範囲内で可変しながら当該画素差分値が最小となる誤差最小分散値を算出し、該誤差最小分散値を補助情報以下、単一フレーム超解像補助情報と称するとして生成し、外部に送出する。尚、実施例として空間ウェーブレット分解処理を例に説明するが、空間オクターブ分解処理オクターブ分解フィルタバンク処理とも称されるを行えるものであれば、どのようなものでも使用可能である。分散値決定部204の詳細は、図5を参照して後述する。図2は、本発明による一実施例の画像縮小装置における位置合わせ情報生成部のブロック図である。位置合わせ情報生成部201は、ブロック分割部2011と、ブロックマッチング処理部2012とを備える。ブロック分割部2011は、入力される原画像列のうちの被処理フレーム位置の原画像を基準フレーム画像として、記憶部30に格納されるブロック分割サイズ情報を読み出し、ブロック分割サイズ情報で指定されるBx×Byサイズのブロックに分割する。ブロックマッチング処理部2012は、ブロック分割した基準フレーム画像に対して、その前後フレーム位置の原画像を参照フレーム画像として小数画素精度ブロックマッチングを行い、ブロック毎の位置合わせ情報つまり、ブロックマッチングによる動き情報に対応する情報を出力する。代表的な小数画素精度ブロックマッチングとして、パラボラフィッティング法などがある。また、後述するように、階層型位置合わせ処理により位置合わせ情報を生成することもできる。図3は、本発明による一実施例の画像縮小装置における画像縮小部のブロック図である。画像縮小部202は、ウェーブレット分解部2021と、空間低周波成分抽出部2022と、縮小画像生成部2023とを備える。ウェーブレット分解部2021は、n階空間ウェーブレット分解法を用いて画像縮小を行う例であるnは、0を含む自然数。ウェーブレット分解部2021は、記憶部30に予め格納されているマザーウェーブレット情報つまり、マザーウェーブレットの分解係数を表すフィルタ係数の情報と、画像縮小率の情報を読み出し、当該被処理フレーム位置の原画像を基準フレーム画像としてマザーウェーブレット情報を用いて当該画像縮小率に対応する分解能でウェーブレット分解を行ない、ウェーブレット分解した画像を空間低周波成分抽出部2022に送出する。空間低周波成分抽出部2022は、ウェーブレット分解した画像の低周波成分例えば、n=1として、1階空間ウェーブレット分解を行なった場合には、水平垂直方向に低周波成分の画像を抽出して縮小画像生成部2023に送出する。縮小画像生成部2023は、抽出した低周波成分に対応する縮小画像を生成する。これにより、画像縮小部202に入力される原画像列は、縮小画像列に変換される。尚、マザーウェーブレットを可変として、マザーウェーブレットを変化させることで縮小画像列に含まれる折り返し歪量を制御することもできるため、この場合、可変するマザーウェーブレットの情報をマザーウェーブレット情報として記憶部30に格納する。図4は、本発明による一実施例の画像縮小装置における位置合わせ情報修正部のブロック図である。位置合わせ情報修正部203は、全画素比較処理部2031と、加算部2034と、補助情報生成部2035とを備えており、全画素比較処理部2031は、画素補完処理部2032と補完誤差算出部2033からなる。画素補完処理部2032は、生成した位置合わせ情報と縮小画像列を用いて、当該画像縮小率に対応する拡大率で縮小画像列の被処理フレームを拡大する際に、拡大した標本位置に対して点広がり関数を用いた画素補完を行なうことで拡大画像を生成し、当該縮小画像列の被処理フレームに対応する原画像とともに、補完誤差算出部2033に送出する。補完誤差算出部2033は、生成した拡大画像の画素と原画像の画素との差分値を算出し、画素補完処理部2032に対して当該位置合わせ情報の値を点広がり関数幅を超えない範囲でシフトしながら当該差分値が最小となるシフト量を算出し、加算部2034に送出する。生成した拡大画像の画素と原画像の画素との差分値の算出は、生成した拡大画像の全画素について行うことにより、画素毎に当該最小となるシフト量が算出される。加算部2034は、画素毎に算出した当該最小となるシフト量を、当該位置合わせ情報の各画素に対する値同一ブロック内では、各画素に同じ値が付与されているに加算することにより、画素単位で修正した修正後位置合わせ情報として補助情報生成部2035に送出する。補助情報生成部2035は、生成した修正後位置合わせ情報と、記憶部30に格納されるブロック分割サイズ情報、画像縮小率情報及び点広がり関数情報とを含めて、複数フレーム超解像補助情報として生成し、外部に送出する。これにより、原画像列を用いて生成した位置合わせ情報を、画素補完における点広がり関数を考慮した位置合わせ情報に修正した複数フレーム超解像補助情報を生成することができる。尚、画像拡大装置側でウェーブレット再構成を用いた拡大処理を行う用途に対しては、マザーウェーブレット情報を複数フレーム超解像補助情報に含めることができる。図5は、本発明により一実施例の画像縮小装置における分散値決定部のブロック図である。分散値決定部204は、分散値可変制御部2041と、階層別高周波成分ガウシアンフィルタ処理部2042と、空間ウェーブレット再構成部2043と、画像比較処理部2044と、最小誤差分散値決定部2045とを備える。図6を参照しながら、分散値決定部204について説明する。分散値可変制御部2041は、階層別高周波成分ガウシアンフィルタ処理部2042で用いるガウシアンフィルタの分散値σCHn,σCVn,σCDnを所定の範囲内で変化させる制御部であり、例えば初期値をσCHn=0.1,σCVn=0.1,σCDn=0.1として、0.1刻みで10.0まで変化させる。ここで説明するnは、分解階数を表し、n=0は、原画像Fであり、nの値は画像縮小率に応じて定めることができる。また、符号CH,CV,CDは、水平、垂直、斜め方向の高周波成分を示す。階層別高周波成分ガウシアンフィルタ処理部2042は、n階空間ウェーブレット分解画像原画像Fからn階分の分解画像の水平低周波垂直低周波の周波数成分CAn、水平高周波垂直低周波成分CHn、水平低周波垂直高周波成分CVn、水平高周波垂直高周波成分CDnが入力され、分解階数nの低周波領域成分CAnを1階離散ウェーブレット分解して、分解階数n1における水平、垂直、斜め方向の各高周波領域成分CAn1,CHn1,CVn1,CDn1を生成しステップS101、空間ウェーブレット再構成部2043と協動して、CHn1を空間低周波領域成分、同じサイズのゼロ行列を空間高周波領域成分として水平、垂直方向に2倍拡大し後述する式2により算出される、ExCHnを生成、同様にしてCVn1を基にExCVn,CDn1を基にExCDnを生成しステップS102、ガウシアンフィルタの分散値σCHn,σCVn,σCDnを用いたガウシアンフィルタ処理を行い、GExCHn,GExCVn,GExCDnを生成しステップS103、低周波領域成分CAnを空間低周波領域成分とし、GExCHn,GExCVn,GExCDnを空間高周波領域成分として、1階離散ウェーブレット再構成により水平、垂直方向に2倍拡大し、GExCAn-1を生成して、画像比較処理部2044に送出するステップS104。尚、原画像Fx,y,tは、n階空間ウェーブレット分解DWTnFx,y,t,wavelet_nを用いて、式1のように分解される。tは時間を示す。なお、ここでの説明に用いるウェーブレットをwavelet_nとし、分解階数がn階の水平低周波垂直低周波の周波数成分をCAnχ,Ψ、水平高周波垂直低周波成分をCHnχ,Ψ、水平低周波垂直高周波成分をCVnχ,Ψ、水平高周波垂直高周波成分をCDnχ,Ψとする。水平と垂直のx,yをχ,Ψと表示したのは、解像度を変換すると、縦、横とも標本が半分になってしまうので、x,yと表示せず、χ,Ψと表示している。CAn,CHn,CVn,CDn=DWTnFx,y,t,wavelet_n1式2に、CHn1を空間低周波領域成分、同じサイズのゼロ行列を空間高周波領域成分として1階離散ウェーブレット再構成した式を示す。0はゼロ行列を示す。ExCHn=IDWT1CHn1,0,0,0,wavelet_n2空間ウェーブレット再構成部2043は、階層別高周波成分ガウシアンフィルタ処理部2042で用いるウェーブレット再構成処理の画像を生成する機能部である。画像比較処理部2044は、階層別高周波成分ガウシアンフィルタ処理部2042から得られるGExCAn-1を得た後、CAn-1との間の差分値を算出して、最小誤差分散値決定部2045に送出する。最小誤差分散値決定部2045は、画像比較処理部2044から得られる今回の差分値が前回の差分値より小さければ、今回の差分値と今回使用したガウシアンフィルタの分散値σCHn,σCVn,σCDnをそれぞれ記憶し、分散値可変制御部2041によってガウシアンフィルタの分散値σCHn,σCVn,σCDnを変化させながら繰り返し行い、得られたGExCAn-1と同じ分解階数のCAn-1と比較し、GExCAn-1とCAn-1との間の差分値が最も小さくなるときのガウシアンフィルタの分散値σCHn,σCVn,σCDnを最小誤差分散値として決定し、単一フレーム超解像補助情報として外部に送出する。なお、最小誤差分散値決定部2045は図示しないメモリを有しており、このメモリに今回の差分値と今回使用したガウシアンフィルタの分散値σCHn,σCVn,σCDnを記憶する。最初の1回目は前回の差分値が無いことから、今回算出した差分値と今回使用したガウシアンフィルタの分散値σCHn,σCVn,σCDnをそのまま記憶する。また、画像の評価方法としては、平均二乗誤差MSE:MeanSquareErrorがあり、この評価方法を用いるとよい。式3にガウシアンフィルタを示す。Gaussx,y,σ=exp-x2y2/2σ23式3のσ2は分散を表す。斜め方向高周波領域成分CDn1を水平、垂直方向に2倍拡大してExCDnを得た後図6のステップS102、式3のガウシアンフィルタを用いて式4に示すフィルタリング処理を行い図6のステップS103、GExCDnを得る。なお、式3のσは、本処理がExCDnのフィルタリングを行う処理内であるため、σCDnとなる。また、階層別高周波成分ガウシアンフィルタ処理部2042は、空間ウェーブレット再構成部2043によって階層n1における水平方向高周波領域成分CHn1、垂直方向高周波領域成分CVn1を、水平、垂直方向に2倍拡大した後、式5に示すような方向性拡張したガウシアンフィルタ処理を用いて拡大することができる。ExGaussx,y,α,β,σ=exp-αx2βy2/2σ25式5のα,βは方向性拡張係数であり、水平方向高周波領域成分CHnの場合はα=1,β=0、垂直方向高周波領域成分CVnの場合はα=0,β=1となる。以下では、σCHnを決定する場合のみを説明するが、σCDnも同様に決定することができる。階層n1における水平方向高周波領域成分CHn1を水平、垂直方向に2倍拡大してExCHnを得た後、式5の方向性拡張したガウシアンフィルタを用いて、式6に示すフィルタリング処理を行い、GExCHnを得る。なお、式5のσは、本処理がCHnのフィルタリングを行う処理内であるため、σCHnとなる。したがって、分散値決定部204は、ガウシアンフィルタの分散値σCHn,σCVn,σCDnを計算した後、CAn,GExCHn,GExCVn,GExCDnを用いて1階離散ウェーブレット再構成を行い図6のステップS104、GExCAn-1を得た後に、式7に示すように、CAn-1の領域とGExCAn-1の領域における平均二乗誤差RMSの計算を行い、RMS及びRMSを得て、その差分値を計算する図6のステップS105。分散値決定部204は、以上の処理をガウシアンフィルタの分散値σCHn,σCVn,σCDnの値を変化させながら行い、Diff_rmsσCHn,σCVn,σCDnが最小となるガウシアンフィルタの分散値σCHn,σCVn,σCDnを求めることができる。Diff_rmsσCHn,σCVn,σCDn=RMSCAn-1σCHn,σCVn,σCDn-RMSGExCAn-1σCHn,σCVn,σCDnσCHn=argminDiff_rmsσCHnσCVn=argminDiff_rmsσCVn7なお、本実施例では、GExCAn-1とCAn-1とを比較することにより、ガウシアンフィルタの分散値σCHn,σCVn,σCDnを決定するようにしたが、CHnとGExCHn、CVnとGExCVn、及びCDnとGExCDnのそれぞれを比較することにより、ガウシアンフィルタの分散値σCHn,σCVn,σCDnを決定するようにしてもよい。例えば、図7は、分散値決定部204における図6に示す動作の変形例の概要を示しており、分散値決定部204は、前述と同様に、n階空間ウェーブレット分解画像原画像Fからn階分の分解画像の水平低周波垂直低周波の周波数成分CAn、水平高周波垂直低周波成分CHn、水平低周波垂直高周波成分CVn、水平高周波垂直高周波成分CDnが入力され、分解階数nの低周波領域成分CAnを1階離散ウェーブレット分解して、分解階数n1における水平、垂直、斜め方向の各高周波領域成分CAn1,CHn1,CVn1,CDn1を生成しステップS201、空間ウェーブレット再構成部2043と協動して、CHn1を空間低周波領域成分、同じサイズのゼロ行列を空間高周波領域成分として式2により水平、垂直方向に2倍拡大しExCHnを生成、同様にしてCVn1を基にExCVn,CDn1を基にExCDnを生成しステップS202、ガウシアンフィルタの分散値σCHn,σCVn,σCDnを用いたガウシアンフィルタ処理を行い、GExCHn,GExCVn,GExCDnを生成するステップS203。本変形例では、分散値決定部204は、CHnとGExCHnの比較において平均二乗誤差MSEが最小となる分散値σCHnを求め、CVnとGExCVnの比較において平均二乗誤差が最小となる分散値σCVnを求め、CDnとGExCDnの比較において平均二乗誤差が最小となる分散値σCDnを求める。このようにして、分散値決定部204では、空間ウェーブレット分解とガウシアンフィルタ処理を用いて縮小画像が持つスペクトラム情報から縮小画像のナイキスト周波数を超える空間高周波成分を生成し、原画像からの空間ウェーブレット分解画像との比較によってガウシアン分散値を最適化した最小誤差分散値を含む単一フレーム超解像補助情報を生成する。なお、線形直線位相特性を持つHaar等のウェーブレット以外のウェーブレットを用いる場合は、ExCHn,ExCVn,ExCDnの位相に注意する必要がある。ExCHn,ExCVn,ExCDnを水平、垂直位相φμ,φν分だけずらした画像ExCHnχφμ,Ψφν,ExCVnχφμ,Ψφν,ExCDnχφμ,ΨφνについてGExCHn,GExCVn,GExCDnを得て、位相を変化させながら最終的にガウシアンフィルタの分散値σCHn,σCVn,σCDnを決定するとよい。但し、本実施例では、ガウシアンフィルタの分散値σCHn,σCVn,σCDnを変化させながらCAn-1とGExCAn-1を比較するため、この部分で位相ずれによる劣化はある程度吸収される。このため、処理量も多く大規模回路処理となる位相合わせ処理は必ずしも必要ではない。以上のように、縮小画像列のほかに、単一フレーム補助情報及び複数フレーム超解像補助情報を拡大処理装置側に提供するように構成し、従来のような補助情報を用いることなく単に拡大処理を実行する技法よりも、拡大処理時の画素の位置合わせ精度の高い超解像処理を実現することができる。後述するように、動領域などでは複数フレーム超解像補助情報を用いたほうが、原画像が持つ真の空間高周波に近い成分が得られ、静止領域などでは単一フレーム超解像補助情報を用いたほうが、原画像が持つ真の空間高周波に近い成分が得られ、画素の位置合わせ精度が高くなることが期待できる。そこで、本発明に係る拡大処理装置50は、画像縮小装置10から、縮小画像列のほかに、単一フレーム補助情報及び複数フレーム超解像補助情報を取得し、縮小画像列の拡大処理を行うにあたって、予め定めた点広がり関数を用いた拡大処理で生成した画素補完候補を基準にして、単一フレーム補助情報を用いた画素補完候補と、複数フレーム超解像補助情報を用いた画素補完候補を生成して選別し、より高画質な超解像画像を生成可能とする。以下、本発明による一実施例の画像拡大装置について説明する。画像拡大装置図8は、本発明による一実施例の画像拡大装置のブロック図である。本実施例の画像拡大装置50は、縮小画像列に対して、単一フレーム補助情報及び複数フレーム超解像補助情報を用いてそれぞれ当該画像縮小率に対応する拡大率で位置合わせを行ない、当該位置合わせを行った拡大後の標本点を画素補完する画素補完候補を生成し、基準画素補完候補を用いて画素補完候補を選別して画素補完後の拡大画像を用いて原画像列に対応する拡大画像列を生成する装置であり、制御部60と、記憶部70とを備える。制御部60は、第1画素補完候補生成部601と、第2画素補完候補生成部602と、画素補完候補選別処理部603と、拡大画像生成部604とを備える。本実施例の画像拡大装置50をコンピュータとして機能させることができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられる記憶部70に記憶される。コンピュータに備えられる制御部70は、中央演算処理装置CPUなどの制御で実現することができる。即ち、CPUが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部70から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。第1画素補完候補生成部601は、画像縮小装置10によって生成された縮小画像列に対して、複数フレーム超解像補助情報を用いて当該画像縮小率に対応する拡大率で位置合わせを行ない、当該位置合わせを行った拡大後の標本点について当該点広がり関数に基づく画素補完候補を生成する機能部であり、図9に示すように、位置合わせ処理部6011と、画素補完候補生成部6012とを備える。位置合わせ処理部6011は、画像縮小装置10から、縮小画像列と、修正後位置合わせ情報、ブロック分割サイズ情報、画像縮小率情報及び点広がり関数情報を含む複数フレーム超解像補助情報とを入力し、まず、縮小画像列における被処理フレーム位置の縮小画像について、入力される画像縮小率情報を用いて当該画像縮小率に対応する拡大率で、縮小画像列に対応する被超解像処理フレーム列つまり、補完を要する標本点が存在するブロックからなる被超解像処理フレームを生成し、ブロック分割サイズ情報に基づく個々のブロックにおける画素値について、修正後位置合わせ情報を含む複数フレーム超解像補助情報に基づいて各縮小画像列からの画素の対応付けを行う。画素補完候補生成部6012は、被超解像処理フレーム列において拡大されたブロックにて対応付けされた画素位置ごとに、複数フレーム超解像補助情報に含まれる点広がり関数情報を用いて、生成した被超解像処理フレーム列におけるブロック毎の画素補完候補を生成する。第2画素補完候補生成部602は、画像縮小装置によって生成された縮小画像列の各縮小画像に対して、空間オクターブ分解後に再構成した再構成画像の高周波成分について当該単一フレーム超解像補助情報を用いてガウシアンフィルタ処理を実行し、当該縮小画像を低周波成分として用いるとともに当該ガウシアンフィルタ処理を実行後の再構成画像の高周波成分を用いて空間オクターブ分解画像を構成し、該空間オクターブ分解画像について空間オクターブ再構成処理を施すことにより、当該ガウシアンフィルタ処理に基づく画素補完候補を生成する機能部であり、図10に示すように、空間ウェーブレット分解処理部6021と、階層別高周波成分ガウシアンフィルタ処理部6022と、空間ウェーブレット再構成処理部6023とを備える。空間ウェーブレット分解処理部6021は、単一フレーム超解像補助情報がn階分の空間ウェーブレット分解による高周波の画像分解領域ごとのガウシアンフィルタの最適分散値の情報を有するものである場合に、縮小画像に対してn1階離散ウェーブレット分解を施して、n1階離散ウェーブレット分解画像を生成する。階層別高周波成分ガウシアンフィルタ処理部6022は、n1階離散ウェーブレット分解画像を基に行う1階離散ウェーブレット再構成処理について、当該縮小画像をn階の低周波成分として各n階における再構成画像の高周波成分に対して、当該単一フレーム超解像補助情報を用いて階層毎のガウシアンフィルタ処理を実行しながらn階分繰返し施し、ガウシアンフィルタ処理を実行したn階分の空間ウェーブレット分解画像を生成する。空間ウェーブレット再構成処理部6023は、ガウシアンフィルタ処理を実行したn階分の空間ウェーブレット分解画像について空間ウェーブレット再構成処理を施すことにより、被超解像処理フレーム列におけるブロック毎の画素補完候補を生成する。尚、第2画素補完候補生成部602は、単一フレーム超解像補助情報が1階空間ウェーブレット分解による高周波の画像分解領域ごとのガウシアンフィルタの最適分散値の情報を有するものである場合も、縮小画像に対して1階離散ウェーブレット分解を施し、この縮小画像に対して1階離散ウェーブレット分解した画像について1階離散ウェーブレット再構成処理を施し、当該単一フレーム超解像補助情報を用いてガウシアンフィルタ処理を実行し、当該縮小画像を低周波成分としてガウシアンフィルタ処理を実行後の再構成画像の高周波成分とする空間ウェーブレット分解画像を生成し、ガウシアンフィルタ処理を実行した高周波成分を有する空間ウェーブレット分解画像について空間ウェーブレット再構成処理を施すことにより、被超解像処理フレーム列におけるブロック毎の画素補完候補を生成することができる。また、単一フレーム超解像補助情報がn階分の空間ウェーブレット分解による高周波の画像分解領域ごとのガウシアンフィルタの最適分散値の情報を有するものであるときに、画像分解領域ごとに階層毎のガウシアンフィルタ処理を実行する際に、縮小画像を用いて再構成した画素値と、ガウシアンフィルタ処理を実行した画素値との差分値を算出して所定の閾値以下となる場合にのみガウシアンフィルタ処理を実行した画素値を利用するのが好適である。第2画素補完候補生成部602による画素補完候補の生成処理の様子は、前述した図6及び図7と同様となるが、図6に対応する例を図12に示している。図12は、第2画素補完候補生成部602による画素補完候補の生成処理の様子を示す図である。まず、空間ウェーブレット分解処理部6021は、式8に示すように、入力される縮小画像列CAnについて1階離散ウェーブレット分解DWT1し、CAn1,CHn1,CVn1,CDn1を得るステップS301。[CAn1,CHn1,CVn1,CDn1]=DWT1CAn,wavelet_n8そして、階層別高周波成分ガウシアンフィルタ処理部6022は、CAn1,CHn1,CVn1,CDn1と分散値σCHn,σCVn,σCDnを用いて、水平、垂直、斜め方向拡大成分を計算する。つまり、階層別高周波成分ガウシアンフィルタ処理部6022は、CDn1を空間低周波領域成分とし空間高周波領域成分に同じサイズのゼロ行列として、1階離散ウェーブレット再構成して水平2倍、垂直2倍拡大成分ExCDnを算出し、同様にして、CHn1とCVn1から1階離散ウェーブレット再構成して水平2倍、垂直2倍拡大成分ExCHn,ExCVnを生成し、ExCHn,ExCVn,ExCDnに対し、分散値σCHn,σCVn,σCDnのガウシアンフィルタ処理を行い、GExCHn,GExCVn,GExCDnを得るステップS303。そして、空間ウェーブレット再構成処理部6023は、式9に示すように、CAnGExCHnGExCVnGExCDnを用いて、1階離散ウェーブレット再構成を行うステップS304。[CAn-1]=IDWT1は、画素位置におけるSSD値誤差二乗和を表し、より具体的には、SSDは中心位置におけるSSD値、SSDは中心位置から-SxSy画素の位置におけるSSD値、SSDは中心位置からSxSy画素の位置におけるSSD値を表す。上記の式から、水平又は垂直方向の小数画素精度の画素位置小数画素位置をそれぞれ算出することができる。このように、時空間方向の周波数パワーに基づいて位置合わせ情報を生成することができる。次に、本発明による一実施例の画像縮小装置における更に別例の位置合わせ情報生成部について説明する。位置合わせ情報の確度判定図24は、本発明による一実施例の画像縮小装置における更に別例の位置合わせ情報生成部のブロック図である。本例の位置合わせ情報生成部201cは、原画像フレームをブロック分割したブロック単位で位置合わせ情報を生成し、各ブロック内の小領域のサブブロック単位で位置合わせ情報を生成し、サブブロック単位で検出した位置合わせ情報が、対応するブロック位置のブロック単位の動き量に対して所定の閾値以上、及び/又は一致度評価関数値が所定の閾値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする確度判定を行ない、有効と判断したサブブロック単位の位置合わせ情報を、対応するブロック単位の位置合わせ情報にベクトル加算して補正することにより、位置合わせ情報修正部203で用いる位置合わせ情報を生成する機能を有し、具体的には、ブロック単位小数画素の位置合わせ処理部2011cと、画素単位小数位置合わせ処理部2012cと、位置合わせ情報確度判定部2013cと、補正位置合わせ情報生成部2014cとを備える。尚、本例の位置合わせ情報生成部201cは、各構成要素が処理するのに必要なデータを格納する記憶部図示せずを備える。位置合わせ処理を行う基準フレームをFtC、及び位置合わせ情報の探索を行う参照フレームをFtRとする。ブロック単位小数画素の位置合わせ処理部2011cは、原画像列についてブロック単位で位置合わせ情報を算出する。より具体的には、後述するように、ブロック単位小数画素の位置合わせ処理部2011cは、基準フレームFtC、及び参照フレームFtRを入力して、基準フレームFtCを例えば16×16画素のブロックBi,ji,jは、水平及び垂直のブロック番号で分割し、参照フレームFtR上を探索してブロック単位の位置合わせ情報vBi,jを求め、当該記憶部に保持する。ブロック単位の位置合わせ処理は、小数画素精度の位置合わせ処理を行うのが好適である。画素単位小数画素の位置合わせ処理部2012cは、ブロックBi,j内の小領域のサブブロック単位例えば、1画素単位で位置合わせ情報を算出する。より具体的には、後述するように、画素単位小数画素の位置合わせ処理部2012cは、ブロックBi,j内の画素位置k,lについて、各画素位置の位置合わせ情報ui,jk,lを求め、当該記憶部に保持する。小領域のサブブロック単位例えば、1画素単位の位置合わせ情報は、小数画素精度の位置合わせ処理を行うのが好適である。位置合わせ情報確度判定部2013cは、当該記憶部に保持したブロック単位及びサブブロック単位で検出した位置合わせ情報を読み出し、サブブロック単位で検出した位置合わせ情報が、対応するブロック位置のブロック単位の動き量に対して所定の閾値以上、及び/又は一致度評価関数値が所定の閾値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする確度判定を行う。位置合わせ情報確度判定部2013cは、確度判定によって得られたサブブロック単位の位置合わせ情報について有効であるか否かを表す情報と、ブロック単位及びサブブロック単位で検出した位置合わせ情報を補正位置合わせ情報生成部2014cに送出する。より具体的には、位置合わせ情報確度判定部2013cは、サブブロック単位で検出した位置合わせ情報が、ブロック単位の動き量の半値以上である場合、及び/又は、一致度評価関数値が一定の閾値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする。補正位置合わせ情報生成部2014cは、有効と判断したサブブロック単位の位置合わせ情報を、対応するブロック単位の位置合わせ情報にベクトル加算して補正する。これにより、ブロック単位で求めた位置合わせ情報に関して、より小領域のサブブロック単位例えば、画素単位で再検出し、サブブロック単位例えば、画素単位の位置合わせ情報について有効又は無効の判定を行うため、確度の高い位置合わせ情報を得ることができる。また、少なくとも小領域のサブブロック単位例えば、画素単位で小数画素精度の位置合わせ処理を行うため、精度の高い位置合わせ情報を得ることができる。以下、図25を参照して、本発明による一実施例の画像縮小装置における更に別例の位置合わせ情報生成部の動作について詳細に説明する。ステップS11にて、原画像列を構成する基準フレームFtC及び参照フレームFtRを入力し、適宜記憶部に保持する。ステップS12にて、ブロック単位小数画素の位置合わせ処理部2011cにより、まず、ブロック単位例えば、16×16画素のブロック単位の小数画素精度の位置合わせ情報の生成を行う。例えば、図26aに示すように、基準フレームFtCをブロックBi,ji,jは、列及び行のブロック番号で分割し、図26bに示すように、参照フレームFtR上を探索してブロック単位の位置合わせ情報vBi,jを求める。ステップS13にて、画素単位小数画素の位置合わせ処理部2012cにより、小領域のサブブロック単位例えば、画素単位の小数画素精度の位置合わせ処理を行う。以下、画素単位の小数画素精度の位置合わせ処理を行う例を説明する。ブロックBi,j内の画素位置k,lとし、各画素位置の位置合わせ情報ui,jk,lを、上述したように、画素単位の小数画素精度位置における位置合わせ情報の生成を行う。画素単位の位置合わせ処理は、2次関数近似パラボラフィッティングを用いた一致度評価関数とするブロックマッチング法を用いて、参照フレームFtR上をブロック単位の位置合わせ情報vBi,jだけずらした位置を中心とする±Sx’Sy’の範囲で探索する。尚、探索範囲の大きさを規定する±Sx’又はSy’の大きさは、±1画素とすることができる。ステップS14にて、位置合わせ情報確度判定部2013cにより、求めた画素単位の位置合わせ情報ui,jk,lが、ブロック単位の動き量に対して所定の閾値以上、及び/又は一致度評価関数値が所定の閾値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とするステップS15,S16。例えば、求めた画素単位の位置合わせ情報ui,jk,lが、ブロック単位の動き量の半値、即ち±0.5,0.5以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする図27参照。更に別の例として、求めた画素単位の位置合わせ情報ui,jk,lが、SSD値が一定の閾値例えば、SSDの値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする。更に別の例として、求めた画素単位の位置合わせ情報ui,jk,lが、ブロック単位の動き量の半値、即ち±0.5,0.5以上である場合、且つSSD値誤差二乗和が一定の閾値例えば、SSDの値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする。有効と判断した場合に、補正位置合わせ情報生成部2014cにより、この基準フレームFtCにおける小領域のサブブロック単位例えば、画素単位の位置合わせ情報Vi,j,k,lを、Vi,j,k,l=vBi,jui,jk,lとして補正する。尚、補正位置合わせ情報生成部2014cは、無効であるとされた対象の画素単位小数精度位置の位置合わせ情報については、その周囲の有効値例えば、最も隣接する有効値で置き換えるか、又は周囲の複数の有効値で平均化するか、又は、ブロック単位の位置合わせ情報で置き換える即ち、Vi,j,k,l=vBi,jことにより、全ての小領域のサブブロック単位例えば、画素単位の位置合わせ情報Vi,j,k,lを決定することもできる。このように、本実施例の位置合わせ情報生成部201cであれば、ブロック単位で求めた位置合わせ情報に関して、より小領域のサブブロック単位例えば、画素単位にて小数精度で再検出し、サブブロック単位の位置合わせ情報について有効及び無効の判定を行うため、確度の高く、且つ精度も高い位置合わせ情報を得ることができる。次に、動き量適応型点広がり関数について説明する。動き量適応型点広がり関数図28は、本発明による一実施例の画像縮小装置で利用可能な点広がり関数を生成する動き量適応型点広がり関数生成装置のブロック図である。通常、画像縮小の際に発生する動きぼけ関数として点広がり関数PSFPointSpreadingFunctionを用い、画像拡大の際にその逆関数を利用して超解像を行う。したがって、動き量適応型点広がり関数生成装置300は、原画像列を用いて位置合わせ情報を生成し、この位置合わせ情報に応じて適応的に点広がり関数が変化する動き量適応型点広がり関数を生成する例である。この動き量適応型点広がり関数は、前述した画像縮小装置10における記憶部30に予め記憶しておくことで利用可能となる。動き量適応型点広がり関数生成装置300は、位置合わせ情報生成部201によって生成した位置合わせ情報に応じて点広がり関数の幅が変化する動き量適応型点広がり関数を用いて、当該位置合わせ情報を修正した情報を補助情報として生成する機能を有し、位置合わせ情報修正部203に組み入れることができる。具体的には、動き量適応型点広がり関数生成装置300は、位置合わせ情報生成部301と、画素対応付け処理部302と、再構成処理部303とを備える。位置合わせ情報生成部301は、図1で説明した場合と同様に、原画像列を用いて位置合わせ情報を生成する。画素対応付け処理部302は、原画像列を用いて生成した位置合わせ情報から、図1で説明した場合と同様に生成された縮小画像列について、複数フレーム間で画素の対応付けを行い、超解像元フレーム縮小画像列のフレームの画素を被超解像フレーム画像拡大するフレーム上に反映する対応付け情報を生成して再構成処理部303に送出する図29参照。再構成処理部303は、縮小画像の画素を、画像拡大するフレーム上に反映するときの事後確率被超解像フレーム上に複数の低解像度な超解像元フレームの画素が与えられた時の事後確率を最大にする高解像度画像の推定を行って高解像度画像を再構成するのに必要な動き量適応型点広がり関数を決定する。この推定にはMAPMaximumAPosterior法や、その他の方法を用いることができる。また動き量適応型点広がり関数は、原画像列を用いて生成した位置合わせ情報を基に、PSFを拡張した動きぼけ関数である。詳細に後述するが、再構成処理部303は、動き量適応型点広がり関数として、点広がり関数PSFを模擬する2次元ガウス関数近似を用いて、2次元ガウス関数近似の水平及び垂直方向の動きぼけ量を制御することができる。従来からのMAP法以下、従来MAP法と称するは、xを高解像度な画像復元されたフレーム画像ベクトル、yを低解像度な超解像元フレーム画像ベクトル、Nを入力フレーム数とした時の事後確率pを最大にする高解像度フレーム画像を推定する方法である。従来MAP法によれば、誤差分布を正規分布と仮定した場合、推定される高解像度フレーム画像xは、式10で計算される。式10での第1項では、Dはサブサンプリングを表す行列、Bkは点広がり関数PSF行列、Wkは位置合わせ情報特に、シーンやカメラの動きを表す動き量にも適用できるの行列を示す。ゆえに、式10の第1項のyk-DBkWkx2は、k番目の低解像度の超解像元フレーム画像と、観測信号としての高解像度の画像復元されるフレーム画像にPSFによる解像度変換時の動きぼけとk番目の超解像元フレームからの位置合わせ情報を与えてサブサンプリングした画像との二乗誤差となる。そして、式10の第2項のλCx2は、λが事前情報の寄与度合いを示す変数量、Cが入力画像の事前情報として与えられる画像縮小率情報の行列となる。ただし、従来MAP法では、点広がり関数PSF、位置合わせ情報、画像縮小率情報は補助情報としては与えられないことに注意する。ゆえに、従来MAP法におけるCは、例えば4近傍のMRFを仮定して、4近傍のラプラシアンカーネルを利用するものであるため、シーンやカメラの動きに十分に対応できていなかった。本例の動き量適応型点広がり関数生成装置300は、位置合わせ情報及び画像縮小率情報が補助情報としては与えられない状況下で、式10の点広がり関数PSFのBkを、2次元ガウス関数近似による点広がり関数とし、位置合わせ情報つまり、フレーム間動きベクトルの向きと大きさに対応する情報に応じて、2次元ガウス関数近似による点広がり関数の拡張を行う。この拡張されたPSF関数を動き量適応型点広がり関数カーネルEBkとする。式11に、動き量適応型点広がり関数カーネルEBkを用いたMAP再構成処理式を示す。より具体的に、2次元ガウス関数近似による点広がり関数PSKと、動き量適応型点広がり関数拡張された2次元ガウス関数近似による点広がり関数PSKについて、詳細に説明する。2次元ガウス関数近似による点広がり関数PSKを、2次元のガウス関数で近似するあたり、式12のように、半値幅をwとし、面積が1の規格化ガウス関数の振幅をαとして定義する。式12より、2次元のガウス関数は、式13のようになる。ここで、水平方向の基準位置はx0、垂直方向の基準位置はy0となる。動き量適応型点広がり関数拡張された2次元ガウス関数近以による点広がり関数動き量適応型点広がり関数生成装置300は、式13の点広がり関数を拡張する。位置合わせ情報mの水平方向の動き量をmx、垂直方向の動き量をmyとすると、式13のガウス関数における水平方向と垂直方向の半値幅は、式14のように制御される。式14は、位置合わせ情報の向きと大きさに応じて点広がり関数の広がり方向と広がり量を制御するものである。動き量適応型点広がり関数生成装置300の再構成処理では、式11のカーネルEBkを式14の2次元のガウス関数として、画像拡大倍率に応じて式14の半値幅wを決定し、式13のλを変化させながら式13の繰り返し演算を行い、最適な高解像度画像を求めることができる。このように、動き量適応型点広がり関数生成装置300で生成した動き量適応型点広がり関数を、図1に示す画像縮小装置10に適用すれば、動き量に対する鮮鋭な位置合わせ情報を生成することができる。以上の説明では、特定の実施例についてのみ説明したが、画像縮小装置から出力される縮小画像列や各補助情報を符号化伝送し、画像拡大装置が符号化伝送された縮小画像列や各補助情報を受信して復号するように構成できることは勿論である。"