"原画像列を縮小した縮小画像列から超解像画像を生成する際に用いる超解像補助情報を生成する超解像補助情報生成装置であって、原画像の基準フレームについて、所定サイズのブロックごとに、参照フレームとの間の動きベクトルを検出する動きベクトル検出部と、原画像を所定の縮小率で縮小した縮小画像を生成する画像縮小部と、前記画像縮小部により生成された、基準フレームの縮小画像に対し、複数の第1補助情報を用いて、第1補助情報ごとに超解像画像を生成し、原画像を該超解像画像と同一サイズに縮小した画像との差分値が最小となる超解像画像を基準フレーム超解像画像として選択し、該基準フレーム超解像画像の生成に用いた第1補助情報を基準フレーム補助情報として出力する基準フレーム超解像部と、前記画像縮小部により生成された、参照フレームの縮小画像に対し、複数の第2補助情報を用いて、第2補助情報ごとの超解像画像を参照フレーム超解像画像列として生成する参照フレーム超解像部と、前記基準フレーム超解像画像に対して、前記動きベクトル及び前記参照フレーム超解像画像列を用いて画素補完を行って前記第2補助情報ごとの補完画像を生成し、原画像との差分値が最小となる補完画像の生成に用いた第2補助情報を参照フレーム補助情報として出力する複数フレーム再構成判定部と、を備えることを特徴とする超解像補助情報生成装置。前記複数フレーム再構成判定部は、前記基準フレーム超解像画像に対して、前記参照フレーム超解像画像列を前記動きベクトル用いて位置合わせすることで画素補完を行って前記第2補助情報ごとの位置合わせ画像を生成する位置合わせ処理部と、前記第2補助情報ごとの位置合わせ画像を、点広がり関数を用いて原画像と同一サイズとなるように画素補完し、前記第2補助情報ごとの補完画像を生成する画像補完処理部と、前記第2補助情報ごとの補完画像と原画像との差分値を算出し、該差分値が最小となる補完画像の生成に用いた第2補助情報を参照フレーム超解像補助情報として出力する参照フレーム超解像補助情報決定部と、を備えることを特徴とする、請求項1に記載の超解像補助情報生成装置。前記基準フレーム超解像部は、前記画像縮小部にて原画像列のオクターブ分解により生成された分解階数nの基準フレームの縮小画像をオクターブ分解して、分解階数n1における水平、垂直、斜め方向の高周波領域成分の基準フレーム分解画像を生成する基準フレームオクターブ分解部と、前記基準フレームオクターブ分解部により生成された水平、垂直、斜め方向の高周波領域成分の基準フレーム分解画像の各々を空間低周波領域成分とし、同じサイズのゼロ行列を空間高周波領域成分に設定した画像に対してオクターブ再構成処理を施して、分解階数nにおける水平、垂直、斜め方向の各高周波領域成分の基準フレーム再構成画像を生成する基準フレームオクターブ再構成部と、前記基準フレーム再構成画像に対して、前記第1補助情報を用いたフィルタリング処理を行ってフィルタリング画像を生成し、該フィルタリング画像を高周波成分に設定し前記基準フレームの縮小画像を低周波成分に設定した画像に対してオクターブ再構成処理を施して分解階数n-1における基準フレームフィルタ適用再構成画像を前記第1補助情報ごとに生成する基準フレームフィルタ適用オクターブ再構成部と、前記基準フレームフィルタ適用再構成画像の低周波成分と、前記画像縮小部にて原画像列のオクターブ分解により生成された分解階数n-1の基準フレームの縮小画像の低周波成分との差分値を算出し、該差分値が最小となる分解階数n-1における再構成画像の低周波成分を前記基準フレーム超解像画像とする基準フレーム超解像画像補助情報決定部と、を備えることを特徴とする、請求項1又は2に記載の超解像補助情報生成装置。前記参照フレーム超解像部は、前記画像縮小部にて原画像列のオクターブ分解により生成された分解階数nの参照フレームの縮小画像をオクターブ分解して、分解階数n1における水平、垂直、斜め方向の高周波領域成分の分解画像を生成する参照フレームオクターブ分解部と、前記参照フレームオクターブ分解部により生成された水平、垂直、斜め方向の高周波領域成分の参照フレーム分解画像の各々を空間低周波領域成分とし、同じサイズのゼロ行列を空間高周波領域成分に設定した画像に対してオクターブ再構成処理を施して、分解階数nにおける水平、垂直、斜め方向の各高周波領域成分の参照フレーム再構成画像を生成する参照フレームオクターブ再構成部と、前記参照フレーム再構成画像に対して、前記第2補助情報を用いたフィルタリング処理を行ってフィルタリング画像を生成し、該フィルタリング画像を高周波成分に設定し前記参照フレームの縮小画像を低周波成分に設定した画像に対してオクターブ再構成処理を施して分解階数n-1における参照フレームフィルタ適用再構成画像を前記第2補助情報ごとに生成し、該生成した第2補助情報ごとの参照フレームフィルタ適用再構成画像を前記参照フレーム超解像画像列とする参照フレームフィルタ適用オクターブ再構成部と、を備えることを特徴とする、請求項1~3のいずれか一項に記載の超解像補助情報生成装置。前記第1補助情報及び前記第2補助情報は、ガウシアンフィルタの分散値であることを特徴とする、請求項1~4のいずれか一項に記載の超解像補助情報生成装置。前記動きベクトル検出部は、原画像における複数フレームにわたる時間方向の高周波領域のパワーの割合が大きいほど大きなブロックサイズ及び大きな動き探索範囲の大きさとなるように階層的に規定した分解能、又は動画像における1フレームの空間方向の低周波領域のパワーの割合が大きいほど大きなブロックサイズ及び大きな動き探索範囲の大きさとなるように階層的に規定した分解能のテーブルを保持しており、当該時間方向の高周波領域のパワーの割合又は空間方向の低周波領域のパワーの割合を検出して分解能の値を決定する分解能決定部と、前記テーブルを参照して、前記分解能の値に対応するブロックサイズ及び動き探索範囲の大きさの階層から動きベクトル検出を開始して、次第に該ブロックサイズよりも小さいブロックサイズ及び該動き探索範囲の大きさよりも小さい動き探索範囲の大きさの階層での動きベクトル検出へと移行する階層型動きベクトル検出部と、を備えることを特徴とする、請求項1~5のいずれか一項に記載の超解像補助情報生成装置。請求項1~6のいずれか一項に記載の超解像補助情報生成装置を備え、前記動きベクトル検出部により検出された動きベクトルの情報、前記画像縮小部により生成された縮小画像、前記基準フレーム超解像部により生成された基準フレーム補助情報、及び前記複数フレーム再構成判定部により生成された参照フレーム補助情報を符号化した符号化データを生成することを特徴とする符号化装置。請求項7に記載の符号化装置から前記動きベクトルの情報、前記縮小画像、前記基準フレーム補助情報、及び前記参照フレーム補助情報の符号化データを取得し、前記縮小画像の超解像画像を生成することを特徴とする復号装置。コンピュータを、請求項1~6のいずれか一項に記載の超解像補助情報生成装置として機能させるための超解像補助情報生成プログラム。コンピュータを、請求項7に記載の符号化装置として機能させるための符号化プログラム。コンピュータを、請求項8に記載の復号装置として機能させるための復号プログラム。符号化処理や超解像処理における複数フレーム間での動き量の推定において、特許文献5の技法を適用することで、動きベクトルの検出精度が高い場合には真に近い空間周波数成分を再現することができる。しかしながら、動きベクトルの検出精度が低い場合には、アーティファクトが発生し、画質が低下してしまうという課題があった。本発明は、上述の課題を鑑みてなされたものであり、動きベクトル情報とは別に、高画質の超解像画像を生成する際に必要となる補助情報を生成することが可能な超解像補助情報生成装置、符号化装置、復号装置、及びこれらのプログラムを提供することを目的とする。上記課題を解決するために、本発明に係る超解像補助情報生成装置は、原画像列を縮小した縮小画像列から超解像画像を生成する際に用いる超解像補助情報を生成する超解像補助情報生成装置であって、原画像の基準フレームについて、所定サイズのブロックごとに、参照フレームとの間の動きベクトルを検出する動きベクトル検出部と、原画像を所定の縮小率で縮小した縮小画像を生成する画像縮小部と、前記画像縮小部により生成された、基準フレームの縮小画像に対し、複数の第1補助情報を用いて、第1補助情報ごとに超解像画像を生成し、原画像を該超解像画像と同一サイズに縮小した画像との差分値が最小となる超解像画像を基準フレーム超解像画像として選択し、該基準フレーム超解像画像の生成に用いた第1補助情報を基準フレーム補助情報として出力する基準フレーム超解像部と、前記画像縮小部により生成された、参照フレームの縮小画像に対し、複数の第2補助情報を用いて、第2補助情報ごとの超解像画像を参照フレーム超解像画像列として生成する参照フレーム超解像部と、前記基準フレーム超解像画像に対して、前記動きベクトル及び前記参照フレーム超解像画像列を用いて画素補完を行って前記第2補助情報ごとの補完画像を生成し、原画像との差分値が最小となる補完画像の生成に用いた第2補助情報を参照フレーム補助情報として出力する複数フレーム再構成判定部と、を備えることを特徴とする。さらに、本発明の超解像補助情報生成装置において、前記複数フレーム再構成判定部は、前記基準フレーム超解像画像に対して、前記参照フレーム超解像画像列を前記動きベクトル用いて位置合わせすることで画素補完を行って前記第2補助情報ごとの位置合わせ画像を生成する位置合わせ処理部と、前記第2補助情報ごとの位置合わせ画像を、点広がり関数を用いて原画像と同一サイズとなるように画素補完し、前記第2補助情報ごとの補完画像を生成する画像補完処理部と、前記第2補助情報ごとの補完画像と原画像との差分値を算出し、該差分値が最小となる補完画像の生成に用いた第2補助情報を参照フレーム超解像補助情報として出力する参照フレーム超解像補助情報決定部と、を備えることを特徴とする。さらに、本発明の超解像補助情報生成装置において、前記基準フレーム超解像部は、前記画像縮小部にて原画像列のオクターブ分解により生成された分解階数nの基準フレームの縮小画像をオクターブ分解して、分解階数n1における水平、垂直、斜め方向の高周波領域成分の基準フレーム分解画像を生成する基準フレームオクターブ分解部と、前記基準フレームオクターブ分解部により生成された水平、垂直、斜め方向の高周波領域成分の基準フレーム分解画像の各々を空間低周波領域成分とし、同じサイズのゼロ行列を空間高周波領域成分に設定した画像に対してオクターブ再構成処理を施して、分解階数nにおける水平、垂直、斜め方向の各高周波領域成分の基準フレーム再構成画像を生成する基準フレームオクターブ再構成部と、前記基準フレーム再構成画像に対して、前記第1補助情報を用いたフィルタリング処理を行ってフィルタリング画像を生成し、該フィルタリング画像を高周波成分に設定し前記基準フレームの縮小画像を低周波成分に設定した画像に対してオクターブ再構成処理を施して分解階数n-1における基準フレームフィルタ適用再構成画像を前記第1補助情報ごとに生成する基準フレームフィルタ適用オクターブ再構成部と、前記基準フレームフィルタ適用再構成画像の低周波成分と、前記画像縮小部にて原画像列のオクターブ分解により生成された分解階数n-1の基準フレームの縮小画像の低周波成分との差分値を算出し、該差分値が最小となる分解階数n-1における再構成画像の低周波成分を前記基準フレーム超解像画像とする基準フレーム超解像画像補助情報決定部と、を備えることを特徴とする。さらに、本発明の超解像補助情報生成装置において、前記参照フレーム超解像部は、前記画像縮小部にて原画像列のオクターブ分解により生成された分解階数nの参照フレームの縮小画像をオクターブ分解して、分解階数n1における水平、垂直、斜め方向の高周波領域成分の分解画像を生成する参照フレームオクターブ分解部と、前記参照フレームオクターブ分解部により生成された水平、垂直、斜め方向の高周波領域成分の参照フレーム分解画像の各々を空間低周波領域成分とし、同じサイズのゼロ行列を空間高周波領域成分に設定した画像に対してオクターブ再構成処理を施して、分解階数nにおける水平、垂直、斜め方向の各高周波領域成分の参照フレーム再構成画像を生成する参照フレームオクターブ再構成部と、前記参照フレーム再構成画像に対して、前記第2補助情報を用いたフィルタリング処理を行ってフィルタリング画像を生成し、該フィルタリング画像を高周波成分に設定し前記参照フレームの縮小画像を低周波成分に設定した画像に対してオクターブ再構成処理を施して分解階数n-1における参照フレームフィルタ適用再構成画像を前記第2補助情報ごとに生成し、該生成した第2補助情報ごとの参照フレームフィルタ適用再構成画像を前記参照フレーム超解像画像列とする参照フレームフィルタ適用オクターブ再構成部と、を備えることを特徴とする。さらに、本発明の超解像補助情報生成装置において、前記第1補助情報及び前記第2補助情報は、ガウシアンフィルタの分散値であることを特徴とする。さらに、本発明の超解像補助情報生成装置において、前記動きベクトル検出部は、原画像における複数フレームにわたる時間方向の高周波領域のパワーの割合が大きいほど大きなブロックサイズ及び大きな動き探索範囲の大きさとなるように階層的に規定した分解能、又は動画像における1フレームの空間方向の低周波領域のパワーの割合が大きいほど大きなブロックサイズ及び大きな動き探索範囲の大きさとなるように階層的に規定した分解能のテーブルを保持しており、当該時間方向の高周波領域のパワーの割合又は空間方向の低周波領域のパワーの割合を検出して分解能の値を決定する分解能決定部と、前記テーブルを参照して、前記分解能の値に対応するブロックサイズ及び動き探索範囲の大きさの階層から動きベクトル検出を開始して、次第に該ブロックサイズよりも小さいブロックサイズ及び該動き探索範囲の大きさよりも小さい動き探索範囲の大きさの階層での動きベクトル検出へと移行する階層型動きベクトル検出部と、を備えることを特徴とする。また、上記課題を解決するため、本発明に係る符号化装置は、上述した超解像補助情報生成装置を備え、前記動きベクトル検出部により検出された動きベクトルの情報、前記画像縮小部により生成された縮小画像、前記基準フレーム超解像部により生成された基準フレーム補助情報、及び前記複数フレーム再構成判定部により生成された参照フレーム補助情報を符号化した符号化データを生成することを特徴とする。また、上記課題を解決するため、本発明に係る復号装置は、上記符号化装置から前記動きベクトルの情報、前記縮小画像、前記基準フレーム補助情報、及び前記参照フレーム補助情報の符号化データを取得し、前記縮小画像の超解像画像を生成することを特徴とする。また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上述した超解像補助情報生成装置、符号化装置、又は復号装置として機能させることを特徴とする。本発明によれば、動きベクトル情報とは別に、高画質の超解像画像を生成する際に必要となる補助情報を生成することができる。本発明では、基準フレームを超解像処理した基準フレーム超解像画像を生成し、基準フレーム超解像画像に基づいて参照フレーム超解像補助情報を生成しているため、単一フレームのみ、あるいは複数フレームのみを用いて超解像を行う場合よりも、高画質の超解像画像を生成することができる。さらに、原画像との差分が最小となるように補助情報を決定しているため、高画質の超解像画像を生成することができる。以下、図面を参照して、本発明による一実施例を詳細に説明する。超解像補助情報生成装置図1は、本発明による一実施例の超解像補助情報生成装置のブロック図である。超解像補助情報生成装置1は、動きベクトル検出部10と、画像縮小部20と、基準フレーム超解像部30と、参照フレーム超解像部40と、複数フレーム再構成判定部50とを備える。動きベクトル検出部10は、原画像列フレーム画像列を入力し、入力される原画像列の基準フレームを、予め定めたブロック領域分割サイズに分割する。そして、分割された基準フレームと参照フレーム例えば、基準フレームの前フレーム、及び/又は基準フレームの後フレームとの間で動きベクトルを検出し、検出した動きベクトルの情報を複数フレーム再構成判定部50に出力する。動きベクトル検出部10の詳細は、図2から図7を参照して後述する。画像縮小部20は、原画像列を入力し、入力される原画像列のフレームを予め定めた縮小率で縮小して、基準フレームの縮小画像基準フレーム縮小画像を基準フレーム超解像部30に出力し、参照フレームの縮小画像参照フレーム縮小画像を参照フレーム超解像部40に出力する。本実施例では、原画像列フレーム画像列の縮小画像をウェーブレット分解により生成する例について説明する。画像縮小部20は、原画像Fをウェーブレット分解してダウンサンプリングし、低解像度の基準フレーム縮小画像CAmを出力する。ここで、nは分解階数を示し、mは基準フレームのフレーム数を示す。なお、以下の説明では添え字のmを適宜省略する。ウェーブレット分解階数は縮小したいサイズにより決定される。ダウンサンプリング処理に用いるウェーブレットをwaveletnとし、分解階数がn階の水平低周波垂直低周波の周波数成分をCA、水平高周波垂直低周波成分をCH、水平低周波垂直高周波成分をCV、水平高周波垂直高周波成分をCDとする。なお、解像度を変換すると、縦、横とも標本が半分になるため、水平と垂直のをと表示している。なお、以下の説明ではを適宜省略する。画像縮小部20は、原画像Fに対し、n階離散ウェーブレット分解DWT,waveletnを用いて、式1のように分解する。tは時間を示す。[CACHCVCD]=DWTwaveletn1基準フレーム超解像部30は、画像縮小部20から入力される基準フレーム縮小画像CAmを、予め定めた拡大率で超解像処理を施し、生成した基準フレーム超解像画像GExCAmを複数フレーム再構成判定部50に出力する。基準フレーム超解像部30の詳細は、図8から図10を参照して後述する。参照フレーム超解像部40は、画像縮小部20から入力される参照フレーム縮小画像列CAm’を、予め定めた補助情報ごとに、予め定めた拡大率で超解像処理を施し、生成した補助情報ごとの参照フレーム超解像画像GExCAm’を複数フレーム再構成判定部50に出力する。ここで、m’は参照フレームのフレーム数を示す。これにより、参照フレームの各々の縮小画像において、予め定めた補助情報ごとに、複数の参照フレーム超解画像が得られる。参照フレーム超解像部40の詳細は、図11及び図12を参照して後述する。複数フレーム再構成判定部50は、基準フレーム超解像部30から入力される基準フレーム超解像画像GExCAmに対して、動きベクトル検出部10から入力される動きベクトルの情報、及び参照フレーム超解像部40から入力される補助情報ごとの参照フレーム超解像画像GExCAm’を用いて、動きベクトル検出部10にて設定されるブロック領域分割サイズにより分割したブロックごとに位置合わせを行い、基準フレーム超解像画像GExCAmの画素補完を行って原画像と同サイズの再構成画像を生成する。そして、生成した再構成画像と原画像との差分値が最小となる補助情報を求める。複数フレーム再構成判定部50の詳細は、図13及び図14を参照して後述する。動きベクトル検出部の第1の例次に、超解像補助情報生成装置1における動きベクトル検出部10の第1の例について説明する。図2は、動きベクトル検出部10の第1の例の構成を示すブロック図である。第1の例の動きベクトル検出部10は、ブロック分割部101と、ブロックマッチング処理部102とを備える。ブロック分割部101は、入力される原画像列のうちの被処理フレーム位置の原画像を基準フレーム画像として、基準フレーム画像を所定のブロックサイズに分割し、ブロックマッチング処理部102に出力する。なお、ブロックサイズは、記憶部図示せずに格納して読み出すようにしてもよい。ブロックマッチング処理部102は、ブロック分割部101から入力されるブロック分割された基準フレーム画像に対して、基準フレームの参照フレームの原画像を参照フレーム画像としてブロックマッチングを行い、ブロックごとに、基準フレームと参照フレームとの間の動きベクトルを検出し、動きベクトル情報位置合わせ情報を出力する。ブロックマッチングは、例えばSSDSumofSquaredDifference法やSADSumofAbsoluteintensityDifference法を用いる。また、ブロックマッチングは、例えば式2に示すパラボラフィッティング関数を用いた処理により、小数画素精度で行う。ここで、探索位置における画素位置をxとしたとき、SSDは、画素位置におけるSSD値を表し、より具体的には、SSD0は中心位置SSD値を最小とする位置におけるSSD値、SSDは中心位置から-x方向又は-y方向の隣接画素の位置におけるSSD値、SSD1は中心位置からx方向又はy方向の隣接画素の位置におけるSSD値を表す。式2から、水平又は垂直方向の小数画素精度の画素位置小数画素位置をそれぞれ算出することができる。動きベクトル検出部の第2の例次に、超解像補助情報生成装置1における動きベクトル検出部10の第2の例について説明する。図3は、動きベクトル検出部10の第2の例の構成を示すブロック図である。第2の例の動きベクトル検出部10は、分解能決定部16と、階層型動き検出部15とを備える。なお、各構成要素で処理するのに必要な画像データは、動きベクトル検出部10が備える記憶部図示せずに適宜格納して読み出すようにしてもよい。分解能決定部16は、原画像における複数フレームにわたる時間方向の高周波領域のパワーの割合が大きいほど大きなブロックサイズ及び大きな動き探索範囲の大きさとなるように階層的に規定した分解能、及び/又は動画像における1フレームの空間方向の低周波領域のパワーの割合が大きいほど大きなブロックサイズ及び大きな動き探索範囲の大きさとなるように階層的に規定した分解能のテーブルを保持しており、当該時間方向の高周波領域のパワーの割合及び/又は空間方向の低周波領域のパワーの割合を検出して分解能の値を決定する。具体的には、分解能決定部16は、時間方向高周波領域パワー算出部11と、空間分解階数決定部12と、空間方向低周波領域パワー算出部13と、動き検出開始分解能決定部14とを備える。時間方向高周波領域パワー算出部11は、動きベクトルの検出を行う基準フレームF及び動き探索に用いる参照フレームFを含む、時刻t=t0...tmにおける複数フレームのフレーム画像列F,...,F,...,F,...,Fを入力し、基準フレームFにおける全画素について、この複数フレームを時間方向に予め規定した最大階数の周波領域に分解した後、全画素における時間方向の周波数帯域ごとのパワーを算出し、算出した全画素における時間方向の周波数帯域別のパワーから時間方向の高周波領域のパワーの割合を算出して空間分解階数決定部12に送出する。例えば、図4に示すように、時間方向高周波領域パワー算出部11は、基準フレームF及び参照フレームFを含む、時刻t=t0...tmにおけるフレーム画像列F,...,F,...,F,...,Fを入力し、基準フレームFの全画素について時間方向に予め規定したNmax階例えば、4階の離散ウェーブレット分解を行う時間方向1次元Nmax階離散ウェーブレット分解処理部111と、基準フレームFの全画素における時間方向の周波数帯域ごとのパワーを算出し、算出した全画素における時間方向の周波数帯域別のパワーから時間方向の高周波領域のパワーの割合を算出して空間分解階数決定部12に送出する時間方向周波数帯域別パワー算出部112とから構成することができる。空間分解階数決定部12は、時間方向高周波領域パワー算出部11によって算出した時間方向の高周波領域のパワーの割合から、時間方向の高周波領域のパワーの割合が大きいほど、動領域面積が大きく、且つ動き量が大きいと判断し、時間方向の高周波領域のパワーの割合に応じて空間周波数の分解階数Ns即ち、空間方向の分解能を決定し、決定した空間周波数の分解階数Nsの情報を空間方向低周波領域パワー算出部13に送出する。例えば、表1に示すように、時間方向の高周波領域のパワーの割合と空間周波数の分解階数Nsとの間で規定されるテーブルを予め保持しておく。空間方向低周波領域パワー算出部13は、基準フレームF及び参照フレームFと空間周波数の分解階数Nsの情報とを入力し、空間周波数の分解階数Nsに基づいて、基準フレームF及び/又は参照フレームFに対して空間Ns階離散ウェーブレット分解を実行し、当該フレームにおける空間周波数帯域ごとのパワーを算出し、算出した空間周波数帯域ごとのパワーから当該フレームにおける空間方向の低周波領域のパワーの割合を算出し、算出した空間方向の低周波領域のパワーの割合と空間Ns階離散ウェーブレット分解したデータを動き検出開始分解能決定部14に送出する。なお、基準フレームF及び参照フレームFの双方に対して空間Ns階離散ウェーブレット分解を実行することは、後の処理として、固定のブロックサイズ及び探索範囲の大きさで階層型動きベクトル検出を行う際のウェーブレット再構成を階層的に行うことにより、元画像に対して可変のブロックサイズ及び探索範囲の大きさとする階層型動きベクトル検出を行うことができる点で有利であり、特に、動きベクトル検出を階層的に行うための分解能の決定のためには、基準フレームF及び参照フレームFのうちの空間方向の低周波領域のパワーの割合が大きいほうを選定するのが好適となる。以下の説明では、基準フレームF及び参照フレームFの双方について空間Ns階離散ウェーブレット分解を行う例を説明する。例えば、図5に示すように、空間方向低周波領域パワー算出部13は、基準フレームF及び参照フレームFを入力し、空間分解階数決定部12によって決定した空間周波数の分解階数Nsに基づいて、基準フレームF及び参照フレームFの各々の全画素に対して空間Ns階離散ウェーブレット分解を行う空間方向2次元Ns階離散ウェーブレット分解処理部131と、基準フレームF及び参照フレームFの各々における空間周波数帯域ごとのパワーを算出し、算出した空間周波数帯域ごとのパワーから基準フレームF及び参照フレームFの各々における空間方向の低周波領域のパワーの割合を算出し、算出した基準フレームF及び参照フレームFの各々における空間方向の低周波領域のパワーの割合の大きいほうの情報を動き検出開始分解能決定部14に送出する空間方向周波数帯域別パワー算出部132とから構成することができる。動き検出開始分解能決定部14は、空間方向低周波領域パワー算出部13によって算出した空間方向の低周波領域のパワーの割合の情報から、空間方向の低周波領域のパワーの割合が大きいほど空間方向の高周波領域のパワーの割合が小さいほど、動領域面積が大きく、且つ動き量が大きいと判断し、動きベクトル検出を階層的に開始するための分解能以下、動き検出開始分解能と称するが小さい値即ち、低解像度画像となるように、空間方向の低周波領域のパワーの割合に応じて動き検出開始分解能を決定し、決定した階層的な動き検出開始分解能の情報を階層型動き検出部15に送出する。例えば、動き検出開始分解能決定部14は、空間方向の低周波領域のパワーの割合が大きいほど、動きベクトル検出を開始する階数以下、動き検出開始階数と称するnsが大きな値となるように、空間方向の低周波領域のパワーの割合に応じて動き検出開始階数nsを決定し、決定した動き検出開始階数nsの情報を階層型動き検出部15に送出する。ただし、ns≦Nsである。例えば、表2に示すように、空間方向の低周波領域のパワーの割合と動き検出開始分解能又は動き検出開始階数nsとの間で規定されるテーブルを予め保持しておく。なお、動き検出開始階数nsが大きくなるにつれて、元の画像が低解像度化することを意味しており、元の画像に対して相対的にブロックサイズ及び動き探索範囲の大きさが増大することを意味している。ここで、例えば、空間分解能1/16は、元の画像における水平標本化周波数Hs及び垂直標本化周波数Vsにおいて、16画素を1画素として標本化する低解像度化を意味する。つまり、図6に示すように、空間方向の低周波領域のパワーの割合によって、動き検出開始階数nsを関連付けることができる。例えば、Ns=4のとき、低周波領域LL4及び高周波領域LL4以外のそれぞれのパワーを算出して、全体における低周波領域LL4の割合が、99.5以上であれば、動き検出開始階数ns=4として4階層の低周波領域のみの画像を再構成することができる図6d参照。同様に、全体における低周波領域LL4の割合が、98.0以上99.5未満であれば、3階層の低周波領域LL3のみの画像を再構成でき図6c参照、全体における低周波領域LL4の割合が、95.0以上98.0未満であれば、2階層の低周波領域LL2のみの画像を再構成でき図6b参照、全体における低周波領域LL4の割合が、95.0未満であれば、1階層の低周波領域LL1のみの画像を再構成することができる図6a参照。階層型動き検出部15は、動き検出開始階数nsに応じた空間方向に低周波領域の基準フレームF及び参照フレームFの画像を生成するために、基準フレームF及び参照フレームFの空間方向2次元Ns階離散ウェーブレット分解したデータに対して、動き検出開始階数nsに応じた空間ns階ウェーブレットの再構成を行い、予め定めたブロックサイズ及び探索範囲の大きさで動きベクトル検出を実行し、続いて空間ns-1階ウェーブレットの再構成を行い、当該予め定めたブロックサイズ及び探索範囲の大きさで動きベクトル検出を再度実行し、最上位の階層即ち、元の画像レベルにて当該予め定めたブロックサイズ及び探索範囲の大きさで動きベクトル検出を行うまで階数をデクリメントして繰り返す。この階層型動きベクトル検出の動作は、基準フレームF及び参照フレームFを入力し、動き検出開始分解能に基づいて、基準フレームFに対して順次ブロックサイズ及び探索範囲の大きさを縮小しながら動きベクトル検出を行うことと類似した処理となる。ただし、空間ns階ウェーブレット分解及び再構成を経て順次繰り返すことによる階層型動きベクトル検出によれば、階層に応じて順次可変にすべきブロックサイズ及び探索範囲の大きさを用意する必要がなく固定とすることができ、且つ画像シーンに応じた動き検出開始階数nsに応じた動きベクトル検出を行うため、高精度化が期待できる。例えば、図7に示すように、階層型動き検出部15は、動き検出開始階数nsに応じた空間方向に低周波領域の基準フレームF及び参照フレームFの画像を生成するために動き検出開始階数nsに応じた空間ns階ウェーブレットの再構成を行い、予め定めたブロックサイズ及び探索範囲の大きさで小数画素精度のブロックマッチングによる動きベクトル検出を行う動き検出部151と、この動きベクトル検出の処理を最上位の階数に対応する元の画像レベルとなるまで階数をデクリメントして繰り返すために、空間方向低周波領域パワー算出部13によって算出した空間Ns階離散ウェーブレット分解データに対して動き検出開始階数nsよりも上位の階数の画像となるように空間方向に1階上位のウェーブレット再構成を実行して動き検出部151に送出する空間1階ウェーブレット再構成部152とから構成することができる。したがって、動き検出部151は、空間1階ウェーブレット再構成部152から得られる基準フレームF及び参照フレームFの再構成画像を用いて、動きベクトル検出の処理を階層的に繰り返し、最終的な動きベクトルを決定して出力することができる。動きベクトル検出は、2次関数近似による小数画素位置のブロックマッチング法を用いて行うのは、最上位の階数即ち、1階でのみ行うのが好適である。例えば式2に示したパラボラフィッティングにより小数画素位置を算出する。基準フレーム超解像部次に、超解像補助情報生成装置1における基準フレーム超解像部30について説明する。図8は、基準フレーム超解像部30の構成を示すブロック図である。基準フレーム超解像部30は、基準フレームウェーブレット分解部基準フレームオクターブ分解部31と、基準フレームウェーブレット再構成部基準フレームオクターブ再構成部32と、基準フレーム用分散値記憶部33と、基準フレームフィルタ適用ウェーブレット再構成部基準フレームフィルタ適用オクターブ再構成部34と、基準フレーム超解像画像補助情報決定部35とを備える。図9は、基準フレーム超解像部30の処理の概要を示す図である。図10は基準フレーム超解像部30の処理により生成される画像を示す図である。以下、図8から図10を参照して、基準フレーム超解像部30について説明する。まず、基準フレームウェーブレット分解部31は、分解階数nの基準フレーム縮小画像CAm図10a参照を画像縮小部20から取得するステップS11。そして、基準フレームウェーブレット分解部31は、分解階数nの低周波領域成分CAmに対して1階離散ウェーブレット分解して、分解階数n1における水平、垂直、斜め方向の各高周波領域成分の基準フレーム分解画像CHm,CVm,CDm図10b参照を生成するステップS12。基準フレームウェーブレット再構成部32は、水平、垂直、斜め方向の各高周波領域成分の基準フレーム分解画像CHm,CVm,CDmの各々を空間低周波領域成分とし、同じサイズのゼロ行列を空間高周波領域成分に設定する図10c参照ステップS13。そして、基準フレームウェーブレット再構成部32は、空間高周波成分にゼロ行列を設定した画像に対し、1階離散ウェーブレット再構成により、水平、垂直方向に2倍拡大し、水平、垂直、斜め方向の各高周波領域成分の基準フレーム再構成画像ExCHm,ExCVm,ExCDm図10d参照を生成するステップS14。式3に、CHmn1を空間低周波領域成分、同じサイズのゼロ行列を空間高周波領域成分として1階離散ウェーブレット再構成した式を示す。0はゼロ行列を示す。ExCH=IDWT000waveletn基準フレーム用分散値記憶部33は、複数の基準フレーム用補助情報第1補助情報を記憶する。具体的には、複数のガウシアンフィルタの分散値以下、単に分散値と称するσCH,σCV,σCDを、例えば初期値をσCH=0.1,σCV=0.1,σCD=0.1として、それぞれ0.5刻みで20.1まで記憶する。あるいは、分散値σCH,σCV,σCDを、初期値を0.1として所定の範囲内で変化させるように制御してもよい。基準フレーム用分散値記憶部33が記憶する分散値の一例を表3に示す。基準フレームフィルタ適用ウェーブレット再構成部34は、基準フレーム用分散値記憶部33から分散値σCH,σCV,σCDを取得するステップS15。そして、基準フレームフィルタ適用ウェーブレット再構成部34は、再構成画像ExCHmn,ExCVm,ExCDmに対して、分散値σCH,σCVを用いたガウシアンフィルタによるフィルタリング処理を行い、フィルタリング画像GExCHmn,GExCVm,GExCDm図10e参照を生成するステップS16。具体的には、基準フレームフィルタ適用ウェーブレット再構成部34は、斜め方向高周波領域成分ExCDmに対して、式4に示すガウシアンフィルタを用いて、式5に示すフィルタリング処理を行い、フィルタリング画像GExCDmを生成する。Gauss=exp/2σCD24ここで、σ2は分散を表す。また、基準フレームフィルタ適用ウェーブレット再構成部34は、垂直方向高周波領域成分ExCHmに対して、式6に示す方向性拡張したガウシアンフィルタを用いて、式7に示すフィルタリング処理を行い、フィルタリング画像GExCHmを生成する。ExGauss=exp26同様に、基準フレームフィルタ適用ウェーブレット再構成部34は、水平方向高周波領域成分ExCVmに対して、式8に示す方向性拡張したガウシアンフィルタを用いて、式9に示す処理を行い、フィルタリング画像GExCVmを生成する。ExGauss=exp28次に、基準フレームフィルタ適用ウェーブレット再構成部34は、画像縮小部20から入力される分解階数nの基準フレーム縮小画像CAmを低周波成分とし、ステップS15にて得られたフィルタリング画像GExCDm,GExCHm,GExCVmを高周波成分に設定する図10f参照ステップS17。そして、基準フレームフィルタ適用ウェーブレット再構成部34は、ステップS17にて設定した画像に対し、1階離散ウェーブレット再構成を行い、基準フレームフィルタ適用再構成画像GExCAm図10g参照を生成するステップS18。基準フレーム超解像画像補助情報決定部35は、基準フレームフィルタ適用ウェーブレット再構成部34から入力される基準フレームフィルタ適用再構成画像GExCAmと、画像縮小部20から入力される、分解階数がn-1階の基準フレーム縮小画像CAmとの差分値を算出するステップS19。ここで、差分値として、差の絶対値の和、差の絶対値の積、差の絶対値の最小値、又は差の二乗和など、種々の値を用いることができる。また、式10に示すように、縮小画像CAmの領域と基準フレームフィルタ適用再構成画像GExCAmの領域における平均二乗誤差RMSの計算を行い、RMS及びRMSを得て、その差分値を計算するようにしてもよい。DiffrmsσCVσCD=RMSσCVσCD-RMSσCVσCD10基準フレームフィルタ適用ウェーブレット再構成部34は、ステップS15からステップS18の処理を分散値σCH,σCV,σCDの値を変化させながら行い、基準フレーム超解像画像補助情報決定部35は、DiffrmsσCVσCDが最小となる分散値を求め、該分散値及び、該分散値を用いて得られる基準フレームフィルタ適用再構成画像GExCAを基準フレーム超解像画像として出力する。なお、本実施例では、GExCAmとCAmとを比較することにより、分散値σCH,σCV,σCDを決定するようにしたが、CHmとGExCHm、CVmとGExCVm、及びCDmとGExCDmのそれぞれを比較することにより、分散値を決定するようにしてもよい。参照フレーム超解像部次に、超解像補助情報生成装置1における参照フレーム超解像部40について説明する。図11は、参照フレーム超解像部40の構成を示すブロック図である。参照フレーム超解像部40は、参照フレームウェーブレット分解部参照フレームオクターブ分解部41と、参照フレームウェーブレット再構成部参照フレームオクターブ再構成部42と、参照フレーム用分散値記憶部43と、参照フレームフィルタ適用ウェーブレット再構成部参照フレームフィルタ適用オクターブ再構成部44とを備える。図12は、参照フレーム超解像部40の処理の概要を示す図である。以下、参照フレーム超解像部40について、図10から図12を参照して説明する。まず、参照フレームウェーブレット分解部41は、分解階数nの参照フレーム縮小画像CAm’図10a参照を画像縮小部20から取得するステップS21。なお、図12では、基準フレームの前後のフレームを参照フレームとして図示しており、この場合、m’はm±1を意味する。参照フレームウェーブレット分解部41は、分解階数nの参照フレーム縮小画像CAm’に対して1階離散ウェーブレット分解して、分解階数n1における水平、垂直、斜め方向の各高周波領域成分の参照フレーム分解画像CHm’,CVm’,CDm’図10b参照を生成するステップS22。参照フレームウェーブレット再構成部42は、水平、垂直、斜め方向の各高周波領域成分の参照フレーム分解画像CHm’,CVm’,CDm’の各々を空間低周波領域成分とし、同じサイズのゼロ行列を空間高周波領域成分に設定し図10c参照ステップS23、1階離散ウェーブレット再構成により、水平、垂直方向に2倍拡大し、参照フレーム再構成画像ExCHm’,ExCVm’,ExCDm’図10d参照を生成するステップS24。参照フレーム用分散値記憶部43は、複数の参照フレーム用補助情報第2補助情報を記憶する。具体的には、基準フレーム用分散値記憶部33と同様に、表3に例示したような複数のガウシアンフィルタの分散値σCH,σCV,σCDを記憶する。参照フレームフィルタ適用ウェーブレット再構成部44は、参照フレーム用分散値記憶部43から分散値σCH,σCV,σCDを取得しステップS25、参照フレーム再構成画像ExCHm’n,ExCVm’,ExCDm’に対して、分散値σCH,σCVを用いたガウシアンフィルタによるフィルタリング処理を行い、フィルタリング画像GExCHm’n,GExCVm’,GExCDm’図10e参照を生成するステップS26。具体例については、ステップS16と同様であるため省略する。続いて、参照フレームフィルタ適用ウェーブレット再構成部44は、画像縮小部20から入力される分解階数nの参照フレーム縮小画像CAm’を低周波成分とし、ステップS15にて得られたフィルタリング画像GExCDm’,GExCHm’,GExCVm’を高周波成分に設定する図10f参照ステップS27。そして、参照フレームフィルタ適用ウェーブレット再構成部44は、ステップS16にて設定した画像に対し、1階離散ウェーブレット再構成を行い、参照フレームフィルタ適用再構成画像GExCAm’図10g参照を生成するステップS28。ここで、基準フレーム超解像部30の基準フレームフィルタ適用ウェーブレット再構成部34は、分解階数がn-1階の基準フレーム縮小画像CAmとの差分値が最小となる分散値を用いて得られる1つの基準フレーム超解像画像GExCAを出力するが、参照フレームフィルタ適用ウェーブレット再構成部44は、参照フレーム用分散値記憶部43に記憶された補助情報分散値ごとの複数の参照フレームフィルタ適用再構成画像GExCAm’を参照フレーム超解像画像列として出力する。複数フレーム再構成判定部次に、超解像補助情報生成装置1における複数フレーム再構成判定部50について説明する。図13は、複数フレーム再構成判定部50の構成を示すブロック図である。複数フレーム再構成判定部50は、位置合わせ処理部51と、画像補完処理部52と、参照フレーム超解像補助情報決定部53とを備える。図14は、複数フレーム再構成判定部50の処理の概要を示す図である。以下、図13及び図14を参照して、複数フレーム再構成判定部50について説明する。位置合わせ処理部51は、基準フレーム超解像部30から入力される基準フレーム超解像画像に対して、動きベクトル検出部10から入力される動きベクトル情報、及び参照フレーム超解像部40から入力される参照フレーム超解像画像列を用いて位置合わせレジストレーションを行うステップS31。つまり、基準フレーム超解像画像の画素間の画像を、参照フレーム超解像画像を動きベクトルを用いて位置合わせすることにより画素補完を行う。基準フレーム超解像画像の画素間の画像を補完することにより、基準フレーム超解像画像を拡大することができる。しかし、全ての画素間の画像を補完することができない場合例えば、静止領域があるため、さらに画像補完処理部52により補完処理を行う。画像補完処理部52は、位置合わせ処理部51から入力される補助情報ごとの位置合わせ後の画像を、点広がり関数を用いて原画像と同一サイズとなるように画素補完し、補助情報ごとの補完画像を参照フレーム超解像補助情報決定部53に出力する。点広がり関数を用いて画素補完を行う方法として、従来からのMAP法を用いることができる。点広がり関数を用いて画素補完を行うことにより、静止領域についても画素補完をすることができるようになる。従来からのMAP法は、xを高解像度な画像復元されたフレーム画像ベクトル、yを低解像度な超解像元フレーム画像ベクトル、Nを入力フレーム数とした時の事後確率pを最大にする高解像度フレーム画像を推定する方法である。従来からのMAP法によれば、誤差分布を正規分布と仮定した場合、推定される高解像度フレーム画像xは、式11で計算される。また、式11の点広がり関数PSFのBkを、2次元ガウス関数近似による点広がり関数とし、位置合わせ情報つまり、フレーム間動きベクトルの向きと大きさに対応する情報に応じて、2次元ガウス関数近似による点広がり関数の拡張を行うようにしてもよい。この拡張されたPSF関数を動き量適応型点広がり関数カーネルEBkとする。式12に、動き量適応型点広がり関数カーネルEBkを用いたMAP再構成処理式を示す。より具体的に、2次元ガウス関数近似による点広がり関数PSFと、動き量適応型点広がり関数拡張された2次元ガウス関数近似による点広がり関数PSFについて、説明する。PSFを、2次元のガウス関数で近似するにあたり、式13のように、半値幅をwとし、面積が1の規格化ガウス関数の振幅をαとして定義する。式12より、2次元のガウス関数は、式14のようになる。ここで、水平方向の基準位置はx0、垂直方向の基準位置はy0となる。位置合わせ情報mの水平方向の動き量をmx、垂直方向の動き量をmyとすると、式13のガウス関数における水平方向と垂直方向の半値幅は、式15のように制御される。式15は、位置合わせ情報の向きと大きさに応じて点広がり関数の広がり方向と広がり量を制御するものである。画像補完処理部52は、式12のカーネルEBkを式15の2次元のガウス関数として、画像拡大倍率に応じて式15の半値幅wを決定し、式14のλを変化させながら式14の繰り返し演算を行い、最適な補完画像を求めることができる。参照フレーム超解像補助情報決定部53は、画像補完処理部52から入力される補助情報ごとの補完画像と原画像との差分値をブロックごとに算出する。そして、補助情報ごとの補完画像のうち、原画像との差分値が最も小さい補完画像をブロックごとに選択し、該補完画像の生成に用いた補助情報を参照フレーム超解像補助情報と決定し、外部に出力するステップS31。なお、補完画像と縮小画像を単純拡大した画像との差分値が最小となるように参照フレーム超解像補助情報を決定することも可能であるが、原画像を比較対象とすることにより、より原画像に近い高画質の超解像画像を生成することができるようになる。ここで、差分値として、差の絶対値の和、差の絶対値の積、差の絶対値の最小値、又は差の二乗和など、種々の値を用いることができる。また、ブロック単位で、補完画像と原画像の平均二乗誤差RMSを求め、両者の差分値を算出するようにしてもよい。なお、上述した超解像補助情報生成装置1として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、超解像補助情報生成装置1の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのCPU中央演算処理装置によってこのプログラムを読み出して実行させることで実現することができる。このように、超解像補助情報生成装置1及びそのプログラムによれば、高画質の超解像画像を生成する際に必要となる超解像補助情報を生成することができるようになる。また、複数フレーム再構成判定部50にて点広がり関数を用いて画素補完を行うことにより、静止領域についても超解像画像を生成することができるようになる。[符号化装置]次に、上述した超解像補助情報生成装置1を用いた符号化装置について説明する。図15は、本発明による一実施例の符号化装置の構成を示すブロック図である。符号化装置60は、超解像補助情報生成装置1と、減算部61と、量子化部62と、可変長符号化部63と、逆量子化部64と、超解像画像生成部65と、加算部66と、フレームメモリ67と、動き補償部68とを備える。減算部61は、原画像と動き補償部68から入力される予測画像との差分画像を生成して超解像補助情報生成装置1に出力する。超解像補助情報生成装置1を符号化装置60に適用する場合には、超解像補助情報生成装置1は、動きベクトル情報、基準フレーム超解像補助情報、及び参照フレーム超解像補助情報に加えて、画像縮小部20にて生成した基準フレーム縮小画像CAmも外部に出力する。超解像補助情報生成装置1は、減算部61から入力される差分画像に対して、上述した超解像補助情報生成処理を行い、基準フレーム縮小画像を量子化部62に出力し、動きベクトル情報を可変長符号化部63及び動き補償部68に出力し、動きベクトル情報、基準フレーム超解像補助情報、及び参照フレーム超解像補助情報を可変長符号化部63に出力する。量子化部62は、超解像補助情報生成装置1から入力される基準フレーム縮小画像に対して量子化処理を行い、可変長符号化部63及び逆量子化部64に出力する。可変長符号化部63は、量子化部62から入力される基準フレーム縮小画像の量子化データと、超解像補助情報生成装置1から入力される動きベクトル情報、基準フレーム超解像補助情報、及び参照フレーム超解像補助情報に対して可変長符号化処理を行い、符号化データのビットストリームを生成し、復号側に出力する。逆量子化部64は、量子化部62から入力される基準フレーム縮小画像の量子化データに対して逆量子化処理を行い、超解像画像生成部65に出力する。超解像画像生成部65は、超解像補助情報生成装置1から入力される基準フレーム縮小画像、動きベクトル情報、基準フレーム超解像補助情報、及び参照フレーム超解像補助情報を用いて超解像画像を生成し、加算部66に出力する。図16は、超解像画像生成部65の構成を示すブロック図である。超解像画像生成部65は、超解像部651と、複数フレーム再構成部652とを備える。超解像部651は、基準フレームウェーブレット分解部6511と、基準フレームウェーブレット再構成部6512と、基準フレームフィルタ適用ウェーブレット再構成部6513と、メモリ6514と、参照フレームウェーブレット分解部6515と、参照フレームウェーブレット再構成部6516と、参照フレームフィルタ適用ウェーブレット再構成部6517とを備える。複数フレーム再構成部652は、位置合わせ処理部6521と、画像補完処理部6522とを備える。基準フレームウェーブレット分解部6511、基準フレームウェーブレット再構成部6512、及び基準フレームフィルタ適用ウェーブレット再構成部6513の処理は、基準フレーム超解像部30の基準フレームウェーブレット分解部31、基準フレームウェーブレット再構成部32、及び基準フレームフィルタ適用ウェーブレット再構成部33の処理と同様である。ただし、基準フレームフィルタ適用ウェーブレット再構成部6513は、入力される基準フレーム超解像補助情報を用いてフィルタリング処理を行う。メモリ6514は基準フレーム縮小画像を蓄える。参照フレームウェーブレット分解部6515と、参照フレームウェーブレット再構成部6516と、参照フレームフィルタ適用ウェーブレット再構成部6517の処理は、参照フレーム超解像部40の参照フレームウェーブレット分解部41、参照フレームウェーブレット再構成部42、及び参照フレームフィルタ適用ウェーブレット再構成部43の処理と同様である。ただし、参照フレームウェーブレット分解部6515はメモリ6514から参照フレーム縮小画像を取得し、参照フレームフィルタ適用ウェーブレット再構成部6517は、入力される参照フレーム超解像補助情報を用いてフィルタリング処理を行う。位置合わせ処理部6521は、位置合わせ処理部51と同様に、基準フレームフィルタ適用ウェーブレット再構成部6513から入力される基準フレーム超解像画像に対して、入力される動きベクトル情報、及び参照フィルタ適用ウェーブレット再構成部6517から入力される参照フレーム超解像画像を用いて位置合わせレジストレーションを行う。画像補完処理部6522は、画像補完処理部52と同様に、位置合わせ処理部6521から入力される位置合わせ後の画像を、点広がり関数を用いて画素補完し、原画像と同じサイズの基準フレーム超解像画像を生成する。加算部66は、超解像画像生成部65から入力される基準フレーム超解像画像と、動き補償部68から得られる予測画像とを加算処理して復号画像を生成し、フレームメモリ67に出力する。動き補償部68は、フレームメモリ67に格納された参照フレーム超解像画像に対し、超解像補助情報生成装置1から入力される動きベクトル情報を用いて動き補償を行って予測画像を生成し、予測画像を減算部61に出力する。なお、上述した符号化装置60として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、符号化装置60の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのCPUによってこのプログラムを読み出して実行させることで実現することができる。[復号装置]次に、上述した超解像補助情報生成装置1を用いた復号装置について説明する。図17は、本発明による一実施例の復号装置の構成を示すブロック図である。復号装置70は、可変長復号部71と、逆量子化部72と、超解像画像生成部73と、加算部74と、フレームメモリ75と、動き補償部76とを備える。可変長復号部71は、符号化装置60から入力される符号化データに対して可変長復号処理を施し、基準フレーム縮小画像の量子化データを逆量子化部72に出力し、基準フレーム超解像補助情報及び参照フレーム超解像補助情報を超解像画像生成部73に出力し、動きベクトル情報を超解像画像生成部73及び動き補償部76に出力する。逆量子化部72は、可変長復号部71から入力される基準フレーム縮小画像の量子化データに対して逆量子化処理を行い、超解像画像生成部73に出力する。超解像画像生成部73は、逆量子化部72から入力される基準フレーム縮小画像と、可変長復号部71から入力される動きベクトル情報、基準フレーム超解像補助情報、及び参照フレーム超解像補助情報とを用いて、基準フレーム超解像画像を生成し、加算部74に出力する。超解像画像生成部73の詳細な構成は図16に示した超解像画像生成部65と同様であるため、説明を省略する。加算部74は、超解像画像生成部73から入力される基準フレーム超解像画像と、動き補償部76から入力される予測画像とを加算して画像を復元し、復号画像をフレームメモリ75及び外部に出力する。動き補償部76は、フレームメモリ75に格納された参照フレーム超解像画像に対し、可変長復号部71から入力される動きベクトル情報を用いて動き補償を行って予測画像を生成し、予測画像を加算部74に出力する。なお、上述した復号装置70として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、復号装置70の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのCPUによってこのプログラムを読み出して実行させることで実現することができる。このように、符号化装置60及びそのプログラムによれば、超解像補助情報生成装置1にて生成した基準フレームの縮小画像及び超解像補助情報を符号化して伝送することができる。また、復号装置70及びそのプログラムによれば、基準フレームの縮小画像及び超解像補助情報から高画質の超解像画像を復号することができるようになる。上述の実施例は、代表的な例として説明したが、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施例ではウェーブレット分解によりダウンサンプリングを行っているが、オクターブ分解するものであれば、ウェーブレット分解には限定されない。"