動画像信号を階層化する時間空間分割フィルタリング部と階層化された信号を符号化する信号符号化処理部とを備える動画像符号化装置であって、前記時間空間分割フィルタリング部が、動画像信号を時間方向にフィルタリングし、時間低域信号と時間高域信号と前記画像信号間の動きを表す動き情報とを生成する時間方向フィルタリング部と、前記時間高域信号と前記時間低域信号とを用い、前記時間高域信号に対応する動画像信号を縮小した縮小画像信号を生成する縮小画像生成部と、前記時間高域信号に対して空間高域成分にあたる時間高域空間高域信号を生成する高域信号生成部とを有し、前記時間低域信号もしくは前記縮小画像信号について前記時間空間分割フィルタリング部が実行されることで動画像信号を階層化した後、前記時間低域信号と前記縮小復号画像信号と前記時間高域空間高域信号と前記動き情報とを信号符号化処理部が符号化することを特徴とする動画像符号化装置。前記縮小画像生成部は、動き情報をもとに時間低域信号に対して動き補償を行い、予測画像を生成する動き補償部と、前記予測画像と時間高域信号とから前記時間高域信号に対応する動画像信号を生成する時間高域信号逆変換部と、前記時間高域信号逆変換部の生成した動画像信号に対して空間フィルタリングを施して空間低域成分である縮小復号画像信号を生成する低域信号生成部とを有することを特徴とする請求項1に記載の動画像符号化装置。前記時間高域信号は前記時間低域信号と比較して重み付け処理を行うか、または、前記時間高域信号のある部分に対して重み付け処理を行い、前記時間高域信号逆変換部に出力する重み付け部を有することを特徴とする請求項2に記載の動画像符号化装置。前記縮小画像生成部は、時間低域信号と時間高域信号に対して空間フィルタリングを施して時間低域空間低域信号と時間高域空間低域信号とをそれぞれ生成する低域信号生成部と、前記低域信号生成部における前記空間フィルタリングの解像度変換比に従って動き情報を変換する動き情報変換部と、前記動き情報変換部によって変換された動き情報をもとに前記時間低域空間低域信号に対して動き補償を行い、予測画像を生成する動き補償部と、前記予測画像と前記時間高域空間低域信号とを用い、縮小画像信号を生成する時間高域信号逆変換部とを有することを特徴とする請求項1から請求項3のいずれかに記載の動画像符号化装置。前記時間高域空間低域信号に対して重み付け処理を行うか、前記時間高域空間低域信号のある部分に対して重み付け処理を行い、前記時間高域信号逆変換部に出力する重み付け部を有することを特徴とする請求項4に記載の動画像符号化装置。前記高域信号生成部は、サブバンド分割による周波数成分抽出であることを特徴とする請求項1から請求項5のいずれかに記載の動画像符号化装置。前記低域信号生成部は、サブバンド分割による周波数成分抽出であることを特徴とする請求項1から請求項6のいずれかに記載の動画像符号化装置。前記低域信号生成部が第1のサブサンプルフィルタによって縮小画像信号を生成し、前記高域信号生成部が前記第1のサブサンプルフィルタと対になる第2のサブサンプルフィルタによって高域信号を生成することを特徴とする請求項1から請求項5のいずれかに記載の動画像符号化装置。前記時間方向フィルタリング部は、動画像信号に対して動き情報を生成する動き推定部と、前記動き情報を用いて前記動画像信号に含まれる参照信号に動き補償を行い、予測信号を生成する第1の動き補償部と、前記動画像信号に含まれる非参照信号と前記予測信号とを用いて時間高域信号を生成する時間高域信号生成部と、前記動き情報を用いて前記時間高域信号に対して動き補償を行い前記予測信号に対応する動き補償時間高域信号を生成する第2の動き補償部と、前記動き補償時間高域信号と前記参照信号とから時間低域信号を生成する時間低域信号生成部とを有することを特徴とする請求項1から請求項8のいずれかに記載の動画像符号化装置。前記時間方向フィルタリング部は、動画像信号に対して動き情報を生成する動き推定部と、前記動き情報を用いて前記動画像信号に含まれる参照信号に動き補償を行い、予測信号を生成する動き補償部と、前記動画像信号に含まれる非参照信号と前記予測信号との差分信号を生成する差分信号生成部とを有し、前記参照信号を無変換で時間低域信号として出力し、前記差分信号を時間高域信号として出力することを特徴とする請求項1から請求項9のいずれかに記載の動画像符号化装置。動画像信号に対して時間方向および空間方向に周波数分割を行い、前記動画像信号を縮小した縮小画像信号と時空間高域信号と動き情報とを生成する時間空間周波数分割部と、前記縮小画像信号を符号化する縮小画像信号符号化部と、前記時空間高域信号を符号化する時空間高域信号符号化部と、前記動き情報を符号化する動き情報符号化部と、前記縮小画像信号符号化部および前記時空間高域信号符号化部の出力する符号化データと前記動き情報符号化部の出力する動き情報符号化データとを多重化して出力となるビットストリームを生成する多重化部とからなる動画像符号化装置であって、前記時間空間周波数分割部が、動画像信号を、時間低域信号と、時間高域信号の空間方向高域にあたる時間高域空間高域信号と、前記時間高域信号に対応する動画像信号を縮小し時間高域縮小画像信号とに分割する時間空間分割フィルタリング部と、前記時間低域信号を空間方向に周波数分割して時間低域空間低域信号と時間低域空間高域信号とを生成する空間分割フィルタリング部とからなり、前記時間空間分割フィルタリング部が前記時間低域信号を入力として再帰的に処理を行った後に、前記時間低域空間低域信号と前記縮小復号画像信号とを前記時間高域縮小画像信号とし、前記時間高域空間高域信号と前記時間低域空間高域信号とを時空間高域信号として出力することを特徴とする動画像符号化装置。符号化データを復号し階層化された信号を生成する信号復号処理部と階層化された画像信号を合成する時間空間合成フィルタリング部とを備える動画像復号装置であって、前記時間空間合成フィルタリング部は、時間低域信号と、ある解像度階層における合成結果である縮小復号画像信号とから、前記時間低域信号と対になる時間高域信号の空間低域成分である時間高域空間低域信号を生成する時間高域空間低域信号再構成部と、前記時間高域信号の空間高域成分である時間高域空間高域信号と、前記時間高域空間低域信号とを合成して時間高域信号を生成する空間合成フィルタリング部と、前記時間高域信号と、前記時間低域信号と、動き情報とから復号画像信号を生成する時間方向逆フィルタリング部とを有し、前記信号復号処理部が前記符号化データから前記時間低域信号と前記縮小復号画像信号と前記時間高域空間高域信号と前記動き情報とを復号することを特徴とする動画像復号装置。階層化されたビットストリームを逆多重化して、最低次符号化データと剰余符号化データと動き情報符号化データとを生成する逆多重化部と、最低次符号化データを復号して縮小画像信号を生成する縮小画像信号復号部と、剰余符号化データを復号して時空間高域信号を生成する時空間高域信号復号部と、前記動き情報符号化データを復号して動き情報を生成する動き情報復号部と、前記縮小画像信号と前記時空間高域信号と前記動き情報とから復号画像信号を生成する時間空間周波数合成部とからなる動画像復号装置であって、前記時間空間周波数合成部が、前記縮小画像信号のうちの時間低域空間低域信号と前記時空間高域信号のうちの時間低域空間高域信号とを合成して時間低域信号を生成する空間合成フィルタリング部と、前記時間低域信号に対応する時間高域信号を前記時間低域信号と前記縮小画像信号と前記時空間高域信号とから再構成した後、前記時間低域信号と合成することで復号画像信号を出力する時間空間合成フィルタリング部とからなることを特徴とする動画像復号装置。動画像信号を階層化する時間空間分割フィルタリングと階層化された信号を符号化する信号符号化処理とを備える動画像符号化方法であって、前記時間空間分割フィルタリングが、動画像信号を時間方向にフィルタリングし、時間低域信号と時間高域信号と前記画像信号間の動きを表す動き情報とを生成する時間方向フィルタリングステップと、前記時間高域信号と前記時間低域信号とを用い、前記時間高域信号に対応する動画像信号を縮小した縮小画像信号を生成する縮小画像生成ステップと、前記時間高域信号に対して空間高域成分にあたる時間高域空間高域信号を生成する高域信号生成ステップとを有し、前記時間低域信号もしくは前記縮小画像信号について前記時間空間分割フィルタリングステップが実行されることで動画像信号を階層化した後、前記時間低域信号と前記縮小復号画像信号と前記時間高域空間高域信号と前記動き情報とを信号符号化処理ステップで符号化することを特徴とする動画像符号化方法。動画像信号に対して時間方向および空間方向に周波数分割を行い、前記動画像信号を縮小した縮小画像信号と時空間高域信号と動き情報とを生成する時間空間周波数分割ステップと、前記縮小画像信号を符号化する縮小画像信号符号化ステップと、前記時空間高域信号を符号化する時空間高域信号符号化ステップと、前記動き情報を符号化する動き情報符号化ステップと、前記縮小画像信号符号化ステップおよび前記時空間高域信号符号化ステップで生成された符号化データと前記動き情報符号化ステップで生成された動き情報符号化データとを多重化して出力となるビットストリームを生成する多重化ステップとからなる動画像符号化方法であって、前記時間空間周波数分割ステップが、動画像信号を、時間低域信号と、時間高域信号の空間方向高域にあたる時間高域空間高域信号と、前記時間高域信号に対応する動画像信号を縮小し時間高域縮小画像信号とに分割する時間空間分割フィルタリングステップと、前記時間低域信号を空間方向に周波数分割して時間低域空間低域信号と時間低域空間高域信号とを生成する空間分割フィルタリングステップとからなり、前記時間空間分割フィルタリングステップが前記時間低域信号を入力として再帰的に処理を行った後に、前記時間低域空間低域信号と前記縮小復号画像信号とを前記時間高域縮小画像信号とし、前記時間高域空間高域信号と前記時間低域空間高域信号とを時空間高域信号として出力することを特徴とする動画像符号化方法。符号化データを復号し階層化された信号を生成する信号復号処理ステップと階層化された画像信号を合成する時間空間合成フィルタリングステップとを備える動画像復号方法であって、前記時間空間合成フィルタリングステップは、時間低域信号と、ある解像度階層における合成結果である縮小復号画像信号とから、前記時間低域信号と対になる時間高域信号の空間低域成分である時間高域空間低域信号を生成する時間高域空間低域信号再構成ステップと、前記時間高域信号の空間高域成分である時間高域空間高域信号と、前記時間高域空間低域信号とを合成して時間高域信号を生成する空間合成フィルタリングステップと、前記時間高域信号と、前記時間低域信号と、動き情報とから復号画像信号を生成する時間方向逆フィルタリングステップとを有し、前記信号復号処理ステップが前記符号化データから前記時間低域信号と前記縮小復号画像信号と前記時間高域空間高域信号と前記動き情報とを復号することを特徴とする動画像復号方法。階層化されたビットストリームを逆多重化して、最低次符号化データと剰余符号化データと動き情報符号化データとを生成する逆多重化ステップと、最低次符号化データを復号して縮小画像信号を生成する縮小画像信号復号ステップと、剰余符号化データを復号して時空間高域信号を生成する時空間高域信号復号ステップと、前記動き情報符号化データを復号して動き情報を生成する動き情報復号ステップと、前記縮小画像信号と前記時空間高域信号と前記動き情報とから復号画像信号を生成する時間空間周波数合成ステップとからなる動画像復号方法であって、前記時間空間周波数合成ステップが、前記縮小画像信号のうちの時間低域空間低域信号と前記時空間高域信号のうちの時間低域空間高域信号とを合成して時間低域信号を生成する空間合成フィルタリングステップと、前記時間低域信号に対応する時間高域信号を前記時間低域信号と前記縮小画像信号と前記時空間高域信号とから再構成した後、前記時間低域信号と合成することで復号画像信号を出力する時間空間合成フィルタリングステップとからなることを特徴とする動画像復号方法。コンピュータに、動画像信号を階層化する時間空間分割フィルタリング手段と階層化された信号を符号化する信号符号化処理手段として機能させるためのプログラムであって、前記プログラムは、前記時間空間分割フィルタリング手段を、動画像信号を時間方向にフィルタリングし、時間低域信号と時間高域信号と前記画像信号間の動きを表す動き情報とを生成する時間方向フィルタリング手段と、前記時間高域信号と前記時間低域信号とを用い、前記時間高域信号に対応する動画像信号を縮小した縮小画像信号を生成する縮小画像生成手段と、前記時間高域信号に対して空間高域成分にあたる時間高域空間高域信号を生成する高域信号生成手段として機能させ、前記時間低域信号もしくは前記縮小画像信号について前記時間空間分割フィルタリング手段が実行されることで動画像信号を階層化した後、前記時間低域信号と前記縮小復号画像信号と前記時間高域空間高域信号と前記動き情報とを信号符号化処理手段が符号化することを特徴とするプログラム。コンピュータに、動画像信号に対して時間方向および空間方向に周波数分割を行い、前記動画像信号を縮小した縮小画像信号と時空間高域信号と動き情報とを生成する時間空間周波数分割手段と、前記縮小画像信号を符号化する縮小画像信号符号化手段と、前記時空間高域信号を符号化する時空間高域信号符号化手段と、前記動き情報を符号化する動き情報符号化手段と、前記縮小画像信号符号化手段および前記時空間高域信号符号化手段の出力する符号化データと前記動き情報符号化部の出力する動き情報符号化データとを多重化して出力となるビットストリームを生成する多重化手段として機能させるためのプログラムであって、前記プログラムは、前記時間空間周波数分割手段を、動画像信号を、時間低域信号と、時間高域信号の空間方向高域にあたる時間高域空間高域信号と、前記時間高域信号に対応する動画像信号を縮小し時間高域縮小画像信号とに分割する時間空間分割フィルタリング手段と、前記時間低域信号を空間方向に周波数分割して時間低域空間低域信号と時間低域空間高域信号とを生成する空間分割フィルタリング手段として機能させ、前記時間空間分割フィルタリング手段が前記時間低域信号を入力として再帰的に処理を行った後に、前記時間低域空間低域信号と前記縮小復号画像信号とを前記時間高域縮小画像信号とし、前記時間高域空間高域信号と前記時間低域空間高域信号とを時空間高域信号として出力することを特徴とするプログラム。コンピュータに、符号化データを復号し階層化された信号を生成する信号復号処理手段と階層化された画像信号を合成する時間空間合成フィルタリング手段として機能させるためのプログラムであって、前記プログラムは、前記時間空間合成フィルタリング手段を、時間低域信号と、ある解像度階層における合成結果である縮小復号画像信号とから、前記時間低域信号と対になる時間高域信号の空間低域成分である時間高域空間低域信号を生成する時間高域空間低域信号再構成手段と、前記時間高域信号の空間高域成分である時間高域空間高域信号と、前記時間高域空間低域信号とを合成して時間高域信号を生成する空間合成フィルタリング手段と、前記時間高域信号と、前記時間低域信号と、動き情報とから復号画像信号を生成する時間方向逆フィルタリング手段として機能させ、前記信号復号処理手段が、前記符号化データから前記時間低域信号と前記縮小復号画像信号と前記時間高域空間高域信号と前記動き情報とを復号することを特徴とするプログラム。コンピュータに、階層化されたビットストリームを逆多重化して、最低次符号化データと剰余符号化データと動き情報符号化データとを生成する逆多重化手段と、最低次符号化データを復号して縮小画像信号を生成する縮小画像信号復号手段と、剰余符号化データを復号して時空間高域信号を生成する時空間高域信号復号手段と、前記動き情報符号化データを復号して動き情報を生成する動き情報復号手段と、前記縮小画像信号と前記時空間高域信号と前記動き情報とから復号画像信号を生成する時間空間周波数合成手段として機能させるためのプログラムであって、前記プログラムは、前記時間空間周波数合成手段を、前記縮小画像信号のうちの時間低域空間低域信号と前記時空間高域信号のうちの時間低域空間高域信号とを合成して時間低域信号を生成する空間合成フィルタリング手段と、前記時間低域信号に対応する時間高域信号を前記時間低域信号と前記縮小画像信号と前記時空間高域信号とから再構成した後、前記時間低域信号と合成することで復号画像信号を出力する時間空間合成フィルタリング手段として機能させるためのプログラム。従来技術である三次元ウェーブレット符号化では、空間スケーラビリティを適用して得られる縮小解像度画像の画質が、予め縮小した画像を入力として符号化したときの画質に比べて劣るという問題があった。その理由は3つある。第1の理由は、動き補償のミスマッチである。図18に示す動画像符号化装置の時間方向フィルタリング201と、図21に示す動画像復号装置の時間方向逆フィルタリングには、動き情報をもとにしたブロック単位の動き補償予測処理が含まれる。動き情報の精度が小数の場合、予測処理で得られる画素値は隣接画素からの内挿処理で得られる。復号器において縮小画像を生成するとき、動き補償予測時の内挿処理は空間低域サブバンド信号に対して縮小したベクトルに基づいて行われる。このときの内挿フィルタは、符号化時において時間フィルタリング201の行う内挿処理および空間サブバンド分割203における低域通過フィルタに無関係に決められている。符号化時の入力信号に内挿処理をした後にサブサンプルした結果と、サブサンプルされた空間低域サブバンド信号に内挿処理をした結果とは一般に一致しない。符号化装置と復号装置での動き補償における予測処理の不一致は、復号信号における歪みを発生させる。この歪みは、時間方向フィルタリングを多段にするほどに蓄積される。図22と図23は動き補償の内挿処理とサブサンプル処理とが可換でないことを説明するため一次元の画素配列と各画素に乗ずるフィルタ係数を図示した概念図の具体例である。以下の説明においてサブサンプル処理にハールウェーブレットを用い、内挿処理に6タップのフィルタを用いるとする。図22と図23において横軸上の印であるp0からp11およびp0からp5が画素を表し、各座標から伸びる縦軸上の印が乗じられるフィルタ値を表す。図22の上の図では画素p4から12だけずれた位置の画素値q4と、画素p5から12だけずれた位置の画素値q5の算出に用いるフィルタ値についてそれぞれ表している。内挿フィルタをB0からB6とすると、q4B0p2B1p3B2p4B3p5B4p6B5p7q5B0p3B1p4B2p5B3p6B4p7B5p8となる。q4とq5からサブサンプル処理によって得られる縮小解像度での内挿値は図22の下の図のように、2B02p22p32p42p52p7B52p8となる。図23の上の図ではp0からp11にサブサンプル処理を行って得られた画素p0からp5に対して、画素p2から14だけずれた位置の画素値q2の算出に用いるフィルタ値について表している。内挿フィルタをC0からC6とすると、q2C0p0C1p1C2p2C3p3C4p4C5p5となる。ここでp22などのようにサブサンプル処理が行われていたとする。図23の下の図のようにp2をp0からp11を用いて表すと、q2C02p0C02p1C12p2C12p3C22p4C22p5C32p6C32p7C42p8C42p9C52p10C52p11となる。一般に内挿フィルタはサブサンプル処理と独立に定められているので、2とq2は一致しない。第2の理由は、動き情報のオーバヘッドである。図21における動画像復号装置において、動き情報は符号化時に生成したものと同じ必要がある。縮小解像度上でも同じ動き情報を割り当てるため、動き補償処理の単位となる符号化ブロックの大きさと動き情報の精度が必要以上に細かくなる。図20において符号化データ抽出装置から動画像復号装置への伝送レートが限られている場合、動き情報に要する符号量が多くを占め、係数情報に最低限の符号量を割り当てることが出来なくなることがある。図24は動き情報のオーバヘッドを説明する概念図である。図24において、フレームB0とC0について動き推定を行って得られた動き情報群をMV0、フレームB0C0をそれぞれサブサンプルしたフレームB1C1について動き推定を行って得られた動き情報群をMV1と呼ぶ。動き推定では動き情報を割り当てるブロックの最小サイズと、動き情報の精度が決められている。動き情報群MV0をフレームB1C1に適合するように12に縮小した場合、ブロックの最小サイズが12となり動き情報の精度が2倍になる。動き情報群MV1に比べて縮小した動き情報群MV0は動き情報の数が多く、かつ個々の動き情報を表すのに必要な符号量も多い。第3の理由として、スケーラビリティの問題である。三次元ウェーブレット符号化では、符号化器において用いたパラメータや処理モジュールが、スケーラビリティの適用によって得られる全ての異なる解像度やフレームレートにおけるビットストリームで同一である。高能率に符号化しようとするとこれらのパラメータによって決まる遅延や処理モジュールによって決まる演算量は大きくなる。そのように生成した符号化データの一部をスケーラビリティの適用により、例えばモバイル端末に配信しようとした場合、遅延や演算量が大きな制約となる。逆に低レートでのアプリケーションを考慮してパラメータや処理モジュールを決定すると、高レートでの符号化性能が大きく低下してしまう。そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は、階層化されている符号化データにおいて、すべての階層での復号信号が単一階層で符号化した場合の復号画像と同等の画質を持つ動画像符号化装置及び動画像復号装置とその方法とその制御プログラムを提供することにある。上記課題を解決する第1の発明は、動画像符号化装置であって、動画像信号を時間階層化して得られる時間低域成分と時間高域成分とを用い、前記時間高域成分に対応する動画像信号を生成し、この生成結果に縮小処理を施した動画像の縮小画像信号を出力する時間空間分割フィルタリング部を有することを特徴とする。上記課題を解決する第2の発明は、動画像符号化装置であって、動画像信号を時間階層化して得られる時間低域成分と時間高域成分とに縮小処理を施し、この縮小処理結果を用いて前記時間高域成分に対応する動画像の縮小画像信号を生成する時間空間分割フィルタリング部を有することを特徴とする。上記課題を解決する第3の発明は、動画像信号を階層化する時間空間分割フィルタリング部と、前記階層化された信号を符号化する信号符号化処理部とを備える動画像符号化装置であって、前記時間空間分割フィルタリング部が、前記動画像信号を時間階層化して得られる時間低域成分と、前記動画像信号を時間階層化して得られる時間高域成分を空間階層化して得られる空間高域成分と、前記時間低域成分及び前記時間高域成分を用いて前記時間高域成分に対応する前記動画像信号を再構成した後に、前記再構成結果に縮小処理を施した縮小画像信号とを生成することを特徴とする。上記課題を解決する第4の発明は、動画像信号を階層化する時間空間分割フィルタリング部と、前記階層化された信号を符号化する信号符号化処理部とを備える動画像符号化装置であって、前記時間空間分割フィルタリング部が、前記動画像信号を時間階層化して時間低域成分と時間高域成分とを得て、前記時間高域成分を空間階層化して空間高域成分を得て、前記時間低域成分及び前記時間高域成分とを用いて時間高域成分に対応する前記動画像信号を再構成した後に、前記再構成結果に縮小処理を施した縮小画像信号を生成することを特徴とする。上記課題を解決する第5の発明は、動画像信号を階層化する時間空間分割フィルタリング部と、前記階層化された信号を符号化する信号符号化処理部とを備える動画像符号化装置であって、前記時間空間分割フィルタリング部が、前記動画像信号を時間階層化して得られる時間低域成分と、前記動画像信号を時間階層化して得られる時間高域成分を空間階層化して得られる空間高域成分と、前記時間低域成分及び前記時間高域成分とに縮小処理を施し、この縮小処理結果を用いて前記時間高域成分に対応する動画像信号の縮小画像信号とを生成することを特徴とする。上記課題を解決する第6の発明は、動画像信号を階層化する時間空間分割フィルタリング部と階層化された信号を符号化する信号符号化処理部とを備える動画像符号化装置であって、前記時間空間分割フィルタリング部が、動画像信号を時間方向にフィルタリングし、時間低域信号と時間高域信号と前記画像信号間の動きを表す動き情報とを生成する時間方向フィルタリング部と、前記時間高域信号と前記時間低域信号とを用い、前記時間高域信号に対応する動画像信号を縮小した縮小画像信号を生成する縮小画像生成部と、前記時間高域信号に対して空間高域成分にあたる時間高域空間高域信号を生成する高域信号生成部とを有し、前記時間低域信号もしくは前記縮小画像信号について前記時間空間分割フィルタリング部が実行されることで動画像信号を階層化した後、前記時間低域信号と前記縮小復号画像信号と前記時間高域空間高域信号と前記動き情報とを信号符号化処理部が符号化することを特徴とする。上記課題を解決する第7の発明は、上記第6の発明において、前記縮小画像生成部は、動き情報をもとに時間低域信号に対して動き補償を行い、予測画像を生成する動き補償部と、前記予測画像と時間高域信号とから前記時間高域信号に対応する動画像信号を生成する時間高域信号逆変換部と、前記時間高域信号逆変換部の生成した動画像信号に対して空間フィルタリングを施して空間低域成分である縮小復号画像信号を生成する低域信号生成部とを有することを特徴とする。上記課題を解決する第8の発明は、上記第7の発明において、前記時間高域信号は前記時間低域信号と比較して重み付け処理を行うか、または、前記時間高域信号のある部分に対して重み付け処理を行い、前記時間高域信号逆変換部に出力する重み付け部を有することを特徴とする。上記課題を解決する第9の発明は、上記第6の発明において、前記縮小画像生成部は、時間低域信号と時間高域信号に対して空間フィルタリングを施して時間低域空間低域信号と時間高域空間低域信号とをそれぞれ生成する低域信号生成部と、前記低域信号生成部における前記空間フィルタリングの解像度変換比に従って動き情報を変換する動き情報変換部と、前記動き情報変換部によって変換された動き情報をもとに前記時間低域空間低域信号に対して動き補償を行い、予測画像を生成する動き補償部と、前記予測画像と前記時間高域空間低域信号とを用い、縮小画像信号を生成する時間高域信号逆変換部とを有することを特徴とする。上記課題を解決する第10の発明は、上記第9の発明において、前記時間高域空間低域信号に対して重み付け処理を行うか、前記時間高域空間低域信号のある部分に対して重み付け処理を行い、前記時間高域信号逆変換部に出力する重み付け部を有することを特徴とする。上記課題を解決する第11の発明は、上記第6から第10の発明において、前記高域信号生成部は、サブバンド分割による周波数成分抽出であることを特徴とする。上記課題を解決する第12の発明は、上記第6から第11の発明において、前記低域信号生成部は、サブバンド分割による周波数成分抽出であることを特徴とする。上記課題を解決する第13の発明は、上記第6から第10の発明において、前記低域信号生成部が第1のサブサンプルフィルタによって縮小画像信号を生成し、前記高域信号生成部が前記第1のサブサンプルフィルタと対になる第2のサブサンプルフィルタによって高域信号を生成することを特徴とする。上記課題を解決する第14の発明は、上記第6から第13の発明において、前記時間方向フィルタリング部は、動画像信号に対して動き情報を生成する動き推定部と、前記動き情報を用いて前記動画像信号に含まれる参照信号に動き補償を行い、予測信号を生成する第1の動き補償部と、前記動画像信号に含まれる非参照信号と前記予測信号とを用いて時間高域信号を生成する時間高域信号生成部と、前記動き情報を用いて前記時間高域信号に対して動き補償を行い前記予測信号に対応する動き補償時間高域信号を生成する第2の動き補償部と、前記動き補償時間高域信号と前記参照信号とから時間低域信号を生成する時間低域信号生成部とを有することを特徴とする。上記課題を解決する第15の発明は、上記第6から第13の発明において、前記時間方向フィルタリング部は、動画像信号に対して動き情報を生成する動き推定部と、前記動き情報を用いて前記動画像信号に含まれる参照信号に動き補償を行い、予測信号を生成する動き補償部と、前記動画像信号に含まれる非参照信号と前記予測信号との差分信号を生成する差分信号生成部とを有し、前記参照信号を無変換で時間低域信号として出力し、前記差分信号を時間高域信号として出力することを特徴とする。上記課題を解決する第16の発明は、動画像信号に対して時間方向および空間方向に周波数分割を行い、前記動画像信号を縮小した縮小画像信号と時空間高域信号と動き情報とを生成する時間空間周波数分割部と、前記縮小画像信号を符号化する縮小画像信号符号化部と、前記時空間高域信号を符号化する時空間高域信号符号化部と、前記動き情報を符号化する動き情報符号化部と、前記縮小画像信号符号化部および前記時空間高域信号符号化部の出力する符号化データと前記動き情報符号化部の出力する動き情報符号化データとを多重化して出力となるビットストリームを生成する多重化部とからなる動画像符号化装置であって、前記時間空間周波数分割部が、動画像信号を、時間低域信号と、時間高域信号の空間方向高域にあたる時間高域空間高域信号と、前記時間高域信号に対応する動画像信号を縮小し時間高域縮小画像信号とに分割する時間空間分割フィルタリング部と、前記時間低域信号を空間方向に周波数分割して時間低域空間低域信号と時間低域空間高域信号とを生成する空間分割フィルタリング部とからなり、前記時間空間分割フィルタリング部が前記時間低域信号を入力として再帰的に処理を行った後に、前記時間低域空間低域信号と前記縮小復号画像信号とを前記時間高域縮小画像信号とし、前記時間高域空間高域信号と前記時間低域空間高域信号とを時空間高域信号として出力することを特徴とする。上記課題を解決する第17の発明は、階層符号化された動画像信号の符号化データを復号し、階層化された信号を生成する信号復号処理部と前記階層化された信号を合成する時間空間合成フィルタリング部とを備える動画像復号装置であって、前記時間空間合成フィルタリング部が、ある解像度階層における復号結果である復号画像信号をもとに、時間階層化による時間高域成分のうちの空間階層化による空間低域成分を生成した後、空間方向周波数合成と時間方向周波数合成を行い、一段高解像度の解像度階層の復号画像信号を生成することを特徴とする。上記課題を解決する第18の発明は、符号化データを復号し階層化された信号を生成する信号復号処理部と階層化された画像信号を合成する時間空間合成フィルタリング部とを備える動画像復号装置であって、前記時間空間合成フィルタリング部は、時間低域信号と、ある解像度階層における合成結果である縮小復号画像信号とから、前記時間低域信号と対になる時間高域信号の空間低域成分である時間高域空間低域信号を生成する時間高域空間低域信号再構成部と、前記時間高域信号の空間高域成分である時間高域空間高域信号と、前記時間高域空間低域信号とを合成して時間高域信号を生成する空間合成フィルタリング部と、前記時間高域信号と、前記時間低域信号と、動き情報とから復号画像信号を生成する時間方向逆フィルタリング部とを有し、前記信号復号処理部が前記符号化データから前記時間低域信号と前記縮小復号画像信号と前記時間高域空間高域信号と前記動き情報とを復号することを特徴とする。上記課題を解決する第19の発明は、上記第18の発明において、前記時間高域空間低域信号再構成部は、前記動き情報をもとに前記時間低域信号に対して動き補償を行い、予測画像を生成する動き補償部と、前記予測画像の空間低域成分である空間低域予測信号を生成する低域信号生成部と、前記空間低域予測信号と縮小復号画像信号とから時間高域成分を生成する時間高域信号生成部とを有し、前記時間高域信号生成部の出力を時間高域空間低域信号として出力することを特徴とする。上記課題を解決する第20の発明は、上記第19の発明において、前記時間高域信号生成部の出力に、符号化時になされた重み付けを補償する重み付け処理を行う逆重み付け部を有し、前記逆重み付け部の出力を時間高域空間低域信号として出力することを特徴とする。上記課題を解決する第21の発明は、上記第18の発明において、前記時間高域空間低域信号再構成部は、時間低域信号における空間低域成分を生成し時間低域空間低域信号として出力する低域信号生成部と、前記低域信号生成部の入出力画像の解像度変換比に従って動き情報を変換する動き情報変換部と、前記動き情報変換部によって変換された動き情報をもとに前記時間低域空間低域信号に対して動き補償を行い、予測画像を生成する動き補償部と、前記予測画像と縮小復号画像信号とから時間高域成分を生成する時間高域信号生成部とを有し、前記時間高域信号生成部の出力を時間高域空間低域信号として出力することを特徴とする。上記課題を解決する第22の発明は、上記第21の発明において、前記時間高域信号生成部の出力に、符号化時になされた重み付けを補償する重み付け処理を行う逆重み付け部を有し、前記逆重み付け部の出力を時間高域空間低域信号として出力することを特徴とする。上記課題を解決する第23の発明は、上記第19から第22の発明において、前記低域信号生成部が、サブバンド分割による低域通過処理であることを特徴とする。上記課題を解決する第24の発明は、上記第19から第23の発明において、前記空間合成フィルタリング部が、前記サブバンド分割の逆変換となるサブバンド合成であることを特徴とする。上記課題を解決する第25の発明は、上記第19から第24の発明において、前記低域信号生成部が、サブサンプルフィルタによって縮小画像を生成することを特徴とする。上記課題を解決する第26の発明は、上記第19から第25の発明において、前記空間合成フィルタリング部が、前記サブサンプルフィルタと対になる第2のサブサンプルフィルタで生成された高域信号と、前記サブサンプルフィルタによって生成された低域信号の合成であることを特徴とする。上記課題を解決する第27の発明は、上記第18から第26の発明において、前記時間方向逆フィルタリング部は、前記動き情報をもとに前記時間高域信号に動き補償を行い、動き補償時間高域信号を生成する第1の動き補償部と、前記動き補償時間高域信号と前記時間低域信号から第1の復号画像信号を生成する時間低域信号逆変換部と、前記第1の復号画像信号について前記動き情報をもとに動き補償を行い、予測信号を生成する第2の動き補償部と、前記予測信号と前記時間高域信号とから第2の復号画像信号を生成する時間高域信号逆変換部とを有し、前記第1の復号画像信号と前記第2の復号画像信号を統合して出力となる復号画像信号とすることを特徴とする。上記課題を解決する第28の発明は、上記第18から第27の発明において、前記時間方向逆フィルタリング部が、前記時間低域信号に対して動き補償を行った後に、時間高域信号と加算し前記時間低域信号とを合成して復号画像信号として出力することを特徴とする。上記課題を解決する第29の発明は、階層化されたビットストリームを逆多重化して、最低次符号化データと剰余符号化データと動き情報符号化データとを生成する逆多重化部と、最低次符号化データを復号して縮小画像信号を生成する縮小画像信号復号部と、剰余符号化データを復号して時空間高域信号を生成する時空間高域信号復号部と、前記動き情報符号化データを復号して動き情報を生成する動き情報復号部と、前記縮小画像信号と前記時空間高域信号と前記動き情報とから復号画像信号を生成する時間空間周波数合成部とからなる動画像復号装置であって、前記時間空間周波数合成部が、前記縮小画像信号のうちの時間低域空間低域信号と前記時空間高域信号のうちの時間低域空間高域信号とを合成して時間低域信号を生成する空間合成フィルタリング部と、前記時間低域信号に対応する時間高域信号を前記時間低域信号と前記縮小画像信号と前記時空間高域信号とから再構成した後、前記時間低域信号と合成することで復号画像信号を出力する時間空間合成フィルタリング部とからなることを特徴とする。上記課題を解決する第30の発明は、動画像符号化方法であって、動画像信号を時間階層化して得られる時間低域成分と時間高域成分とを用い、前記時間高域成分に対応する動画像信号を生成し、この生成結果に縮小処理を施して動画像の縮小画像信号を生成することを特徴とする。上記課題を解決する第31の発明は、動画像符号化方法であって、動画像信号を時間階層化して得られる時間低域成分と時間高域成分とに縮小処理を施し、この縮小処理結果を用いて前記時間高域成分に対応する動画像の縮小画像信号を生成することを特徴とする。上記課題を解決する第32の発明は、動画像信号を階層化する時間空間分割フィルタリングと、前記階層化された信号を符号化する信号符号化処理とを備える動画像符号化方法であって、前記時間空間分割フィルタリングが、前記動画像信号を時間階層化して得られる時間低域成分と、前記動画像信号を時間階層化して得られる時間高域成分を空間階層化して得られる空間高域成分と、前記時間低域成分及び前記時間高域成分を用いて前記時間高域成分に対応する前記動画像信号を再構成した後に、前記再構成結果に縮小処理を施した縮小画像信号とを生成することを特徴とする。上記課題を解決する第33の発明は、動画像信号を階層化する時間空間分割フィルタリングと、前記階層化された信号を符号化する信号符号化処理とを備える動画像符号化方法であって、前記時間空間分割フィルタリングが、前記動画像信号を時間階層化して時間低域成分と時間高域成分とを得て、前記時間高域成分を空間階層化して空間高域成分を得て、前記時間低域成分及び前記時間高域成分とを用いて時間高域成分に対応する前記動画像信号を再構成した後に、前記再構成結果に縮小処理を施した縮小画像信号を生成することを特徴とする。上記課題を解決する第34の発明は、動画像信号を階層化する時間空間分割フィルタリングと、前記階層化された信号を符号化する信号符号化処理とを備える動画像符号化方法であって、前記時間空間分割フィルタリングが、前記動画像信号を時間階層化して得られる時間低域成分と、前記動画像信号を時間階層化して得られる時間高域成分を空間階層化して得られる空間高域成分と、前記時間低域成分及び前記時間高域成分とに縮小処理を施し、この縮小処理結果を用いて前記時間高域成分に対応する動画像信号の縮小画像信号とを生成することを特徴とする。上記課題を解決する第35の発明は、動画像信号を階層化する時間空間分割フィルタリングと階層化された信号を符号化する信号符号化処理とを備える動画像符号化方法であって、前記時間空間分割フィルタリングが、動画像信号を時間方向にフィルタリングし、時間低域信号と時間高域信号と前記画像信号間の動きを表す動き情報とを生成する時間方向フィルタリングステップと、前記時間高域信号と前記時間低域信号とを用い、前記時間高域信号に対応する動画像信号を縮小した縮小画像信号を生成する縮小画像生成ステップと、前記時間高域信号に対して空間高域成分にあたる時間高域空間高域信号を生成する高域信号生成ステップとを有し、前記時間低域信号もしくは前記縮小画像信号について前記時間空間分割フィルタリングステップが実行されることで動画像信号を階層化した後、前記時間低域信号と前記縮小復号画像信号と前記時間高域空間高域信号と前記動き情報とを信号符号化処理ステップで符号化することを特徴とする。上記課題を解決する第36の発明は、上記第35の発明において、前記縮小画像生成ステップは、動き情報をもとに時間低域信号に対して動き補償を行い、予測画像を生成する動き補償ステップと、前記予測画像と時間高域信号とから前記時間高域信号に対応する動画像信号を生成する時間高域信号逆変換ステップと、前記時間高域信号逆変換部の生成した動画像信号に対して空間フィルタリングを施して空間低域成分である縮小復号画像信号を生成する低域信号生成ステップとを有することを特徴とする。上記課題を解決する第37の発明は、上記第36の発明において、前記時間高域信号逆変換ステップ前に、前記時間高域信号は前記時間低域信号と比較して重み付け処理を行うか、または、前記時間高域信号のある部分に対して重み付け処理を行うことを特徴とする。上記課題を解決する第38の発明は、上記第35の発明において、前記縮小画像生成ステップは、時間低域信号と時間高域信号に対して空間フィルタリングを施して時間低域空間低域信号と時間高域空間低域信号とをそれぞれ生成する低域信号生成ステップと、前記低域信号生成ステップにおける前記空間フィルタリングの解像度変換比に従って動き情報を変換する動き情報変換ステップと、前記動き情報変換ステップによって変換された動き情報をもとに前記時間低域空間低域信号に対して動き補償を行い、予測画像を生成する動き補償ステップと、前記予測画像と前記時間高域空間低域信号とを用い、縮小画像信号を生成する時間高域信号逆変換ステップとを有することを特徴とする。上記課題を解決する第39の発明は、上記第38の発明において、前記時間高域信号逆変換ステップ前に、前記時間高域空間低域信号に対して重み付け処理を行うか、前記時間高域空間低域信号のある部分に対して重み付け処理を行うことを特徴とする。上記課題を解決する第40の発明は、上記第35から第39のいずれかの発明において、前記高域信号生成ステップは、サブバンド分割による周波数成分抽出であることを特徴とする。上記課題を解決する第41の発明は、上記第35から第40のいずれかの発明において、前記低域信号生成ステップは、サブバンド分割による周波数成分抽出であることを特徴とする。上記課題を解決する第42の発明は、上記第35から第39のいずれかの発明において、前記低域信号生成ステップが第1のサブサンプルフィルタによって縮小画像信号を生成し、前記高域信号生成ステップが前記第1のサブサンプルフィルタと対になる第2のサブサンプルフィルタによって高域信号を生成することを特徴とする。上記課題を解決する第43の発明は、上記第35から第42のいずれかの発明において、前記時間方向フィルタリングステップは、動画像信号に対して動き情報を生成する動き推定ステップと、前記動き情報を用いて前記動画像信号に含まれる参照信号に動き補償を行い、予測信号を生成する第1の動き補償ステップと、前記動画像信号に含まれる非参照信号と前記予測信号とを用いて時間高域信号を生成する時間高域信号生成ステップと、前記動き情報を用いて前記時間高域信号に対して動き補償を行い前記予測信号に対応する動き補償時間高域信号を生成する第2の動き補償ステップと、前記動き補償時間高域信号と前記参照信号とから時間低域信号を生成する時間低域信号生成ステップとを有することを特徴とする。上記課題を解決する第44の発明は、上記第35から第42のいずれかの発明において、前記時間方向フィルタリングステップは、動画像信号に対して動き情報を生成する動き推定ステップと、前記動き情報を用いて前記動画像信号に含まれる参照信号に動き補償を行い、予測信号を生成する動き補償ステップと、前記動画像信号に含まれる非参照信号と前記予測信号との差分信号を生成する差分信号生成ステップとを有し、前記参照信号を無変換で時間低域信号として出力し、前記差分信号を時間高域信号として出力することを特徴とする。上記課題を解決する第45の発明は、動画像信号に対して時間方向および空間方向に周波数分割を行い、前記動画像信号を縮小した縮小画像信号と時空間高域信号と動き情報とを生成する時間空間周波数分割ステップと、前記縮小画像信号を符号化する縮小画像信号符号化ステップと、前記時空間高域信号を符号化する時空間高域信号符号化ステップと、前記動き情報を符号化する動き情報符号化ステップと、前記縮小画像信号符号化ステップおよび前記時空間高域信号符号化ステップで生成された符号化データと前記動き情報符号化ステップで生成された動き情報符号化データとを多重化して出力となるビットストリームを生成する多重化ステップとからなる動画像符号化方法であって、前記時間空間周波数分割ステップが、動画像信号を、時間低域信号と、時間高域信号の空間方向高域にあたる時間高域空間高域信号と、前記時間高域信号に対応する動画像信号を縮小し時間高域縮小画像信号とに分割する時間空間分割フィルタリングステップと、前記時間低域信号を空間方向に周波数分割して時間低域空間低域信号と時間低域空間高域信号とを生成する空間分割フィルタリングステップとからなり、前記時間空間分割フィルタリングステップが前記時間低域信号を入力として再帰的に処理を行った後に、前記時間低域空間低域信号と前記縮小復号画像信号とを前記時間高域縮小画像信号とし、前記時間高域空間高域信号と前記時間低域空間高域信号とを時空間高域信号として出力することを特徴とする。上記課題を解決する第46の発明は、階層符号化された動画像信号の符号化データを復号し、階層化された信号を生成する信号復号処理ステップと前記階層化された信号を合成する時間空間合成フィルタリングステップとを備える動画像復号方法であって、前記時間空間合成フィルタリングステップが、ある解像度階層における復号結果である復号画像信号をもとに、時間階層化による時間高域成分のうちの空間階層化による空間低域成分を生成した後、空間方向周波数合成と時間方向周波数合成を行い、一段高解像度の解像度階層の復号画像信号を生成することを特徴とする。上記課題を解決する第47の発明は、符号化データを復号し階層化された信号を生成する信号復号処理ステップと階層化された画像信号を合成する時間空間合成フィルタリングステップとを備える動画像復号方法であって、前記時間空間合成フィルタリングステップは、時間低域信号と、ある解像度階層における合成結果である縮小復号画像信号とから、前記時間低域信号と対になる時間高域信号の空間低域成分である時間高域空間低域信号を生成する時間高域空間低域信号再構成ステップと、前記時間高域信号の空間高域成分である時間高域空間高域信号と、前記時間高域空間低域信号とを合成して時間高域信号を生成する空間合成フィルタリングステップと、前記時間高域信号と、前記時間低域信号と、動き情報とから復号画像信号を生成する時間方向逆フィルタリングステップとを有し、前記信号復号処理ステップが前記符号化データから前記時間低域信号と前記縮小復号画像信号と前記時間高域空間高域信号と前記動き情報とを復号することを特徴とする。上記課題を解決する第48の発明は、上記第47の発明において、前記時間高域空間低域信号再構成ステップは、前記動き情報をもとに前記時間低域信号に対して動き補償を行い、予測画像を生成する動き補償ステップと、前記予測画像の空間低域成分である空間低域予測信号を生成する低域信号生成ステップと、前記空間低域予測信号と縮小復号画像信号とから時間高域成分を生成する時間高域信号生成ステップとを有し、前記時間高域信号生成ステップの出力を時間高域空間低域信号として出力することを特徴とする。上記課題を解決する第49の発明は、上記第48の発明において、前記時間高域信号生成ステップで生成された時間高域成分に、符号化時になされた重み付けを補償する重み付け処理を行い、この重み付けられた信号を時間高域空間低域信号として出力することを特徴とする。上記課題を解決する第50の発明は、上記第47の発明において、前記時間高域空間低域信号再構成ステップは、時間低域信号における空間低域成分を生成し時間低域空間低域信号として出力する低域信号生成ステップと、前記低域信号生成部の入出力画像の解像度変換比に従って動き情報を変換する動き情報変換ステップと、前記動き情報変換部によって変換された動き情報をもとに前記時間低域空間低域信号に対して動き補償を行い、予測画像を生成する動き補償ステップと、前記予測画像と縮小復号画像信号とから時間高域成分を生成する時間高域信号生成ステップとを有し、前記時間高域信号生成ステップの出力を時間高域空間低域信号として出力することを特徴とする。上記課題を解決する第51の発明は、上記第50の発明において、前記時間高域信号生成ステップの出力に、符号化時になされた重み付けを補償する重み付け処理を行い、これを時間高域空間低域信号として出力することを特徴とする。上記課題を解決する第52の発明は、上記第47から第51のいずれかの発明において、前記低域信号生成ステップが、サブバンド分割による低域通過処理であることを特徴とする。上記課題を解決する第53の発明は、上記第47から第52のいずれかの発明において、前記空間合成フィルタリングステップが、前記サブバンド分割の逆変換となるサブバンド合成であることを特徴とする。上記課題を解決する第54の発明は、上記第47から第53のいずれかの発明において、前記低域信号生成ステップが、サブサンプルフィルタによって縮小画像を生成することを特徴とする。上記課題を解決する第55の発明は、上記第54の発明において、前記空間合成フィルタリングステップが、前記サブサンプルフィルタと対になる第2のサブサンプルフィルタで生成された高域信号と、前記サブサンプルフィルタによって生成された低域信号の合成であることを特徴とする。上記課題を解決する第56の発明は、上記第47から第55のいずれかの発明において、前記時間方向逆フィルタリングステップは、前記動き情報をもとに前記時間高域信号に動き補償を行い、動き補償時間高域信号を生成する第1の動き補償ステップと、前記動き補償時間高域信号と前記時間低域信号から第1の復号画像信号を生成する時間低域信号逆変換ステップと、前記第1の復号画像信号について前記動き情報をもとに動き補償を行い、予測信号を生成する第2の動き補償ステップと、前記予測信号と前記時間高域信号とから第2の復号画像信号を生成する時間高域信号逆変換ステップとを有し、前記第1の復号画像信号と前記第2の復号画像信号を統合して出力となる復号画像信号とすることを特徴とする。上記課題を解決する第57の発明は、上記第47から第56のいずれかの発明において、前記時間方向逆フィルタリングステップが、前記時間低域信号に対して動き補償を行った後に、時間高域信号と加算し前記時間低域信号とを合成して復号画像信号として出力することを特徴とする。上記課題を解決する第58の発明は、階層化されたビットストリームを逆多重化して、最低次符号化データと剰余符号化データと動き情報符号化データとを生成する逆多重化ステップと、最低次符号化データを復号して縮小画像信号を生成する縮小画像信号復号ステップと、剰余符号化データを復号して時空間高域信号を生成する時空間高域信号復号ステップと、前記動き情報符号化データを復号して動き情報を生成する動き情報復号ステップと、前記縮小画像信号と前記時空間高域信号と前記動き情報とから復号画像信号を生成する時間空間周波数合成ステップとからなる動画像復号方法であって、前記時間空間周波数合成ステップが、前記縮小画像信号のうちの時間低域空間低域信号と前記時空間高域信号のうちの時間低域空間高域信号とを合成して時間低域信号を生成する空間合成フィルタリングステップと、前記時間低域信号に対応する時間高域信号を前記時間低域信号と前記縮小画像信号と前記時空間高域信号とから再構成した後、前記時間低域信号と合成することで復号画像信号を出力する時間空間合成フィルタリングステップとからなることを特徴とする。上記課題を解決する第59の発明は、動画像符号化装置の制御プログラムであって、前記制御プログラムは動画像符号化装置を、動画像信号を時間階層化して得られる時間低域成分と時間高域成分とを用い、前記時間高域成分に対応する動画像信号を生成し、この生成結果に縮小処理を施した動画像の縮小画像信号を出力する時間空間分割フィルタリング部として機能させることを特徴とする。上記課題を解決する第60の発明は、動画像符号化装置の制御プログラムであって、前記制御プログラムは動画像符号化装置を、動画像信号を時間階層化して得られる時間低域成分と時間高域成分とに縮小処理を施し、この縮小処理結果を用いて前記時間高域成分に対応する動画像の縮小画像信号を生成する時間空間分割フィルタリング部として機能させることを特徴とする。上記課題を解決する第61の発明は、動画像信号を階層化する時間空間分割フィルタリング部と、前記階層化された信号を符号化する信号符号化処理部とを備える動画像符号化装置の制御プログラムであって、前記制御プログラムは前記時間空間分割フィルタリング部を、前記動画像信号を時間階層化して得られる時間低域成分と、前記動画像信号を時間階層化して得られる時間高域成分を空間階層化して得られる空間高域成分と、前記時間低域成分及び前記時間高域成分を用いて前記時間高域成分に対応する前記動画像信号を再構成した後に、前記再構成結果に縮小処理を施した縮小画像信号とを生成するように機能させることを特徴とする。上記課題を解決する第62の発明は、動画像信号を階層化する時間空間分割フィルタリング部と、前記階層化された信号を符号化する信号符号化処理部とを備える動画像符号化装置の制御プログラムであって、前記制御プログラムは前記時間空間分割フィルタリング部を、前記動画像信号を時間階層化して時間低域成分と時間高域成分とを得て、前記時間高域成分を空間階層化して空間高域成分を得て、前記時間低域成分及び前記時間高域成分とを用いて時間高域成分に対応する前記動画像信号を再構成した後に、前記再構成結果に縮小処理を施した縮小画像信号を生成するように機能させることを特徴とする。上記課題を解決する第63の発明は、動画像信号を階層化する時間空間分割フィルタリング部と、前記階層化された信号を符号化する信号符号化処理部とを備える動画像符号化装置の制御プログラムであって、前記制御プログラムは前記時間空間分割フィルタリング部を、前記動画像信号を時間階層化して得られる時間低域成分と、前記動画像信号を時間階層化して得られる時間高域成分を空間階層化して得られる空間高域成分と、前記時間低域成分及び前記時間高域成分とに縮小処理を施し、この縮小処理結果を用いて前記時間高域成分に対応する動画像信号の縮小画像信号とを生成するに機能させることを特徴とする。上記課題を解決する第64の発明は、動画像信号を階層化する時間空間分割フィルタリング部と階層化された信号を符号化する信号符号化処理部とを備える動画像符号化装置の制御プログラムであって、前記制御プログラムは前記時間空間分割フィルタリング部を、動画像信号を時間方向にフィルタリングし、時間低域信号と時間高域信号と前記画像信号間の動きを表す動き情報とを生成する時間方向フィルタリング部と、前記時間高域信号と前記時間低域信号とを用い、前記時間高域信号に対応する動画像信号を縮小した縮小画像信号を生成する縮小画像生成部と、前記時間高域信号に対して空間高域成分にあたる時間高域空間高域信号を生成する高域信号生成部として機能させ、前記時間低域信号もしくは前記縮小画像信号について前記時間空間分割フィルタリング部が実行されることで動画像信号を階層化した後、前記時間低域信号と前記縮小復号画像信号と前記時間高域空間高域信号と前記動き情報とを信号符号化処理部が符号化することを特徴とする。上記課題を解決する第65の発明は、上記第64の発明において、前記制御プログラムは前記縮小画像生成部を、動き情報をもとに時間低域信号に対して動き補償を行い、予測画像を生成する動き補償部と、前記予測画像と時間高域信号とから前記時間高域信号に対応する動画像信号を生成する時間高域信号逆変換部と、前記時間高域信号逆変換部の生成した動画像信号に対して空間フィルタリングを施して空間低域成分である縮小復号画像信号を生成する低域信号生成部として機能させることを特徴とする。上記課題を解決する第66の発明は、上記第65の発明において、前記制御プログラムは動画像符号化装置を、前記時間高域信号は前記時間低域信号と比較して重み付け処理を行うか、または、前記時間高域信号のある部分に対して重み付け処理を行い、前記時間高域信号逆変換部に出力する重み付け部として機能させることを特徴とする。上記課題を解決する第67の発明は、上記第64の発明において、前記制御プログラムは前記縮小画像生成部を、時間低域信号と時間高域信号に対して空間フィルタリングを施して時間低域空間低域信号と時間高域空間低域信号とをそれぞれ生成する低域信号生成部と、前記低域信号生成部における前記空間フィルタリングの解像度変換比に従って動き情報を変換する動き情報変換部と、前記動き情報変換部によって変換された動き情報をもとに前記時間低域空間低域信号に対して動き補償を行い、予測画像を生成する動き補償部と、前記予測画像と前記時間高域空間低域信号とを用い、縮小画像信号を生成する時間高域信号逆変換部として機能させることを特徴とする。上記課題を解決する第68の発明は、上記第67の発明において、前記制御プログラムは動画像符号化装置を、前記時間高域空間低域信号に対して重み付け処理を行うか、前記時間高域空間低域信号のある部分に対して重み付け処理を行い、前記時間高域信号逆変換部に出力する重み付け部として機能させることを特徴とする。上記課題を解決する第69の発明は、上記第64から第68のいずれかの発明において、前記高域信号生成部は、サブバンド分割による周波数成分抽出であることを特徴とする。上記課題を解決する第70の発明は、上記第64から第69のいずれかの発明において、前記低域信号生成部は、サブバンド分割による周波数成分抽出であることを特徴とする。上記課題を解決する第71の発明は、上記第64から第68のいずれかの発明において、前記低域信号生成部が第1のサブサンプルフィルタによって縮小画像信号を生成し、前記高域信号生成部が前記第1のサブサンプルフィルタと対になる第2のサブサンプルフィルタによって高域信号を生成することを特徴とする。上記課題を解決する第72の発明は、上記第64から第71のいずれかの発明において、前記制御プログラムは前記時間方向フィルタリング部を、動画像信号に対して動き情報を生成する動き推定部と、前記動き情報を用いて前記動画像信号に含まれる参照信号に動き補償を行い、予測信号を生成する第1の動き補償部と、前記動画像信号に含まれる非参照信号と前記予測信号とを用いて時間高域信号を生成する時間高域信号生成部と、前記動き情報を用いて前記時間高域信号に対して動き補償を行い前記予測信号に対応する動き補償時間高域信号を生成する第2の動き補償部と、前記動き補償時間高域信号と前記参照信号とから時間低域信号を生成する時間低域信号生成部として機能させることを特徴とする。上記課題を解決する第73の発明は、上記第64から第71のいずれかの発明において、前記制御プログラムは前記時間方向フィルタリング部を、動画像信号に対して動き情報を生成する動き推定部と、前記動き情報を用いて前記動画像信号に含まれる参照信号に動き補償を行い、予測信号を生成する動き補償部と、前記動画像信号に含まれる非参照信号と前記予測信号との差分信号を生成する差分信号生成部として機能させ、前記参照信号を無変換で時間低域信号として出力し、前記差分信号を時間高域信号として出力することを特徴とする。上記課題を解決する第74の発明は、動画像信号に対して時間方向および空間方向に周波数分割を行い、前記動画像信号を縮小した縮小画像信号と時空間高域信号と動き情報とを生成する時間空間周波数分割部と、前記縮小画像信号を符号化する縮小画像信号符号化部と、前記時空間高域信号を符号化する時空間高域信号符号化部と、前記動き情報を符号化する動き情報符号化部と、前記縮小画像信号符号化部および前記時空間高域信号符号化部の出力する符号化データと前記動き情報符号化部の出力する動き情報符号化データとを多重化して出力となるビットストリームを生成する多重化部とからなる動画像符号化装置の制御プログラムであって、前記制御プログラムは前記時間空間周波数分割部を、動画像信号を、時間低域信号と、時間高域信号の空間方向高域にあたる時間高域空間高域信号と、前記時間高域信号に対応する動画像信号を縮小し時間高域縮小画像信号とに分割する時間空間分割フィルタリング部と、前記時間低域信号を空間方向に周波数分割して時間低域空間低域信号と時間低域空間高域信号とを生成する空間分割フィルタリング部として機能させ、前記時間空間分割フィルタリング部が前記時間低域信号を入力として再帰的に処理を行った後に、前記時間低域空間低域信号と前記縮小復号画像信号とを前記時間高域縮小画像信号とし、前記時間高域空間高域信号と前記時間低域空間高域信号とを時空間高域信号として出力することを特徴とする。上記課題を解決する第75の発明は、階層符号化された動画像信号の符号化データを復号し、階層化された信号を生成する信号復号処理部と前記階層化された信号を合成する時間空間合成フィルタリング部とを備える動画像復号装置の制御プログラムであって、前記制御プログラムは前記時間空間合成フィルタリング部を、ある解像度階層における復号結果である復号画像信号をもとに、時間階層化による時間高域成分のうちの空間階層化による空間低域成分を生成した後、空間方向周波数合成と時間方向周波数合成を行い、一段高解像度の解像度階層の復号画像信号を生成するように機能させることを特徴とする。上記課題を解決する第76の発明は、符号化データを復号し階層化された信号を生成する信号復号処理部と階層化された画像信号を合成する時間空間合成フィルタリング部とを備える動画像復号装置の制御プログラムであって、前記制御プログラムは前記時間空間合成フィルタリング部を、時間低域信号と、ある解像度階層における合成結果である縮小復号画像信号とから、前記時間低域信号と対になる時間高域信号の空間低域成分である時間高域空間低域信号を生成する時間高域空間低域信号再構成部と、前記時間高域信号の空間高域成分である時間高域空間高域信号と、前記時間高域空間低域信号とを合成して時間高域信号を生成する空間合成フィルタリング部と、前記時間高域信号と、前記時間低域信号と、動き情報とから復号画像信号を生成する時間方向逆フィルタリング部として機能させ、前記信号復号処理部が前記符号化データから前記時間低域信号と前記縮小復号画像信号と前記時間高域空間高域信号と前記動き情報とを復号することを特徴とする。上記課題を解決する第77の発明は、上記第76の発明において、前記制御プログラムは前記時間高域空間低域信号再構成部を、前記動き情報をもとに前記時間低域信号に対して動き補償を行い、予測画像を生成する動き補償部と、前記予測画像の空間低域成分である空間低域予測信号を生成する低域信号生成部と、前記空間低域予測信号と縮小復号画像信号とから時間高域成分を生成する時間高域信号生成部として機能させ、前記時間高域信号生成部の出力を時間高域空間低域信号として出力することを特徴とする。上記課題を解決する第78の発明は、上記第77の発明において、前記制御プログラムは動画像符号化装置を、前記時間高域信号生成部の出力に、符号化時になされた重み付けを補償する重み付け処理を行う逆重み付け部として機能させ、前記逆重み付け部の出力を時間高域空間低域信号として出力することを特徴とする。上記課題を解決する第79の発明は、上記第76の発明において、前記制御プログラムは前記時間高域空間低域信号再構成部を、時間低域信号における空間低域成分を生成し時間低域空間低域信号として出力する低域信号生成部と、前記低域信号生成部の入出力画像の解像度変換比に従って動き情報を変換する動き情報変換部と、前記動き情報変換部によって変換された動き情報をもとに前記時間低域空間低域信号に対して動き補償を行い、予測画像を生成する動き補償部と、前記予測画像と縮小復号画像信号とから時間高域成分を生成する時間高域信号生成部として機能させ、前記時間高域信号生成部の出力を時間高域空間低域信号として出力することを特徴とする。上記課題を解決する第80の発明は、上記第79の発明において、前記制御プログラムは動画像符号化装置を、前記時間高域信号生成部の出力に、符号化時になされた重み付けを補償する重み付け処理を行う逆重み付け部として機能させ、前記逆重み付け部の出力を時間高域空間低域信号として出力することを特徴とする。上記課題を解決する第81の発明は、上記第76から第80のいずれかの発明において、前記低域信号生成部が、サブバンド分割による低域通過処理であることを特徴とする。上記課題を解決する第82の発明は、上記第76から第81のいずれかの発明において、前記空間合成フィルタリング部が、前記サブバンド分割の逆変換となるサブバンド合成であることを特徴とする。上記課題を解決する第83の発明は、上記第76から第82のいずれかの発明において、前記低域信号生成部が、サブサンプルフィルタによって縮小画像を生成することを特徴とする。上記課題を解決する第84の発明は、上記第83の発明において、前記空間合成フィルタリング部が、前記サブサンプルフィルタと対になる第2のサブサンプルフィルタで生成された高域信号と、前記サブサンプルフィルタによって生成された低域信号の合成であることを特徴とする。上記課題を解決する第85の発明は、上記第76から第84のいずれかの発明において、前記制御プログラムは前記時間方向逆フィルタリング部を、前記動き情報をもとに前記時間高域信号に動き補償を行い、動き補償時間高域信号を生成する第1の動き補償部と、前記動き補償時間高域信号と前記時間低域信号から第1の復号画像信号を生成する時間低域信号逆変換部と、前記第1の復号画像信号について前記動き情報をもとに動き補償を行い、予測信号を生成する第2の動き補償部と、前記予測信号と前記時間高域信号とから第2の復号画像信号を生成する時間高域信号逆変換部として機能させ、前記第1の復号画像信号と前記第2の復号画像信号を統合して出力となる復号画像信号とすることを特徴とする。上記課題を解決する第86の発明は、上記第76から第85のいずれかの発明において、前記時間方向逆フィルタリング部が、前記時間低域信号に対して動き補償を行った後に、時間高域信号と加算し前記時間低域信号とを合成して復号画像信号として出力することを特徴とする。上記課題を解決する第87の発明は、階層化されたビットストリームを逆多重化して、最低次符号化データと剰余符号化データと動き情報符号化データとを生成する逆多重化部と、最低次符号化データを復号して縮小画像信号を生成する縮小画像信号復号部と、剰余符号化データを復号して時空間高域信号を生成する時空間高域信号復号部と、前記動き情報符号化データを復号して動き情報を生成する動き情報復号部と、前記縮小画像信号と前記時空間高域信号と前記動き情報とから復号画像信号を生成する時間空間周波数合成部とからなる動画像復号装置の制御プログラムであって、前記制御プログラムは前記時間空間周波数合成部を、前記縮小画像信号のうちの時間低域空間低域信号と前記時空間高域信号のうちの時間低域空間高域信号とを合成して時間低域信号を生成する空間合成フィルタリング部と、前記時間低域信号に対応する時間高域信号を前記時間低域信号と前記縮小画像信号と前記時空間高域信号とから再構成した後、前記時間低域信号と合成することで復号画像信号を出力する時間空間合成フィルタリング部として機能させることを特徴とする。本願発明の特徴である動画像符号化における時間空間分割フィルタリングの概要を、図25を用いて説明する。時間空間分割フィルタリングにおいて最初に、ある解像度階層の動画像信号10を時間階層化して時間低域信号11と時間高域信号12とに分割する。次に、時間低域信号11と時間高域信号12とを用い、時間高域信号12に対応する動画像信号を再構成した動画像信号21を生成する。動画像信号21に縮小処理を施した縮小画像信号14を生成する。また、時間高域信号12に対して空間階層化による高域生成処理を行い、時間高域空間高域信号13を生成する。その後、時間低域信号11と縮小画像信号14と時間高域空間高域信号13とを分割結果として出力する。時間低域信号11を一段時間解像度の低い動画像信号とみなし、縮小画像信号14を一段空間解像度の低い動画像信号とみなし、時間空間分割フィルタリングを再帰的に行うことで多段階に動画像信号を階層化する。次に、本願発明による動画像復号化について説明する。本願発明による動画像復号化は、階層符号化された動画像信号の符号化データを復号し、階層化された信号を生成する信号復号処理と階層化された信号とを合成する時間空間合成フィルタリングを備える。時間空間合成フィルタリングの概要を、図26を用いて説明する。時間空間合成フィルタリングにおいて合成対象となる信号は、復号画像信号15、時間低域信号16、時間高域空間高域信号18である。ここで、復号画像信号15は、上述した縮小画像信号14に対応する。まず、ある空間解像度における低域成分である復号画像信号15と、時間解像度における低域成分である時間低域信号16を用い、時間低域信号16に対応する時間高域信号12の空間低域成分である時間高域空間低域信号17を再構成する。時間高域空間低域信号17と時間高域空間高域信号18とに対して空間方向の階層合成処理を行い、時間高域信号19を得る。その後、時間高域信号19と時間低域信号16に対して時間方向の階層合成処理を行い、一段高解像度階層の復号画像信号20を生成する。復号画像信号20を時間低域信号16もしくは復号画像信号15とみなし、時間空間合成フィルタリングを再帰的に行うことで多段階の階層合成を実現する。次に、本願発明の第2の動画像符号化における第2の時間空間分割フィルタリングについて説明する。上述した時間空間分割フィルタリングでは、時間低域成分と時間高域成分とを用い、時間高域成分に対応する動画像信号を再構成後、この再構成結果に縮小処理を施すことにより、動画像の縮小画像信号を生成した。しかしながら、この方法に限らず、動画像の縮小画像信号を生成することが可能である。そこで、本願発明の特徴である動画像符号化における第2の時間空間分割フィルタリングの概要を、図43を用いて説明する。時間空間分割フィルタリングにおいて最初に、ある解像度階層の動画像信号10を時間階層化して時間低域信号11と時間高域信号12とに分割する。これまでは、上述した時間空間分割フィルタリングと同様である。次に、時間低域信号11を低域生成処理することにより、時間低域空間低域信号22を生成する。一方、時間高域信号12を低域生成処理することにより、時間高域空間低域信号23を生成すると共に、時間高域信号12を高域生成処理することにより、時間高域空間高域信号13を生成する。そして、時間低域空間低域信号22と時間高域空間低域信号23とを、時間階層合成することにより、縮小画像信号14を生成する。その後、時間低域信号11と縮小画像信号14と時間高域空間高域信号13とを分割結果として出力する。時間低域信号11を一段時間解像度の低い動画像信号とみなし、縮小画像信号14を一段空間解像度の低い動画像信号とみなし、時間空間分割フィルタリングを再帰的に行うことで多段階に動画像信号を階層化する。尚、復号については、図26で示した復号方法と同様である。本発明によれば、階層符号化を行った場合の時空間高域信号が、従来技術である三次元ウェーブレット符号化方式と同等でありながら、時間高域空間低域信号の代わりに縮小画像信号における時間方向フィルタリングの結果を符号化している。すなわち、時空間高域信号を従来技術と同じく高能率に符号化した上で、時空間高域信号とは独立に縮小画像信号を符号化する。これにより、従来技術の課題であった動き補償のミスマッチと動き情報のオーバヘッドとが解消され、縮小画像信号の符号化効率が大きく向上する。また、本発明によれば、階層化されている符号化データにおいて、すべての階層での復号信号が、単一階層で符号化した場合の復号画像と同等の画質を実現することが可能である。また、本発明によれば、入力となる解像度での符号化データと縮小解像度での符号化データにおいて、遅延や演算量などアプリケーションにおいて制約となるパラメータや処理モジュールを独立に定めることが可能である。すなわち符号化効率を低下させることなく、異なる配信条件を持つ複数の端末に同時に配信することのできる階層符号化を実現することができる。更に、復号処理において時間空間合成フィルタリングの際に時間高域空間低域信号を再構成する直前に重み付け処理を行い、このときの重み付け係数を、符号化処理において縮小画像信号を生成する際の重み付けに等しくすれば、縮小画像信号の符号化時に重畳する歪みが空間方向合成フィルタリングの後にも増大しながら伝播することなく、結果として復号画像の劣化を低減することができる。更に、縮小画像信号の符号化の前処理として、また、復号化の前処理として、ノイズ低減などのフィルタリングを行うようにすれば、復号した縮小画像信号における符号化歪みがより大きな解像度の復号画像信号において影響を及ぼすのを低減することができる。本発明の特徴である動画像符号化における時間空間二分割フィルタリングを実現する時間空間二分割フィルタリング部の構成について説明する。時間空間二分割フィルタリング部は、図4に示される如く、時間方向フィルタリング部109と、縮小画像生成部110と、高域信号生成部111とから構成される。ここで、時間空間二分割フィルタリング部107への入力となる入力画像信号1000、縮小画像信号1001および時間低域信号1010を統合して分割対象信号1013と呼ぶことにする。尚、入力画像信号1000は図25における動画像信号10に対応し、縮小画像信号1001は図25における縮小画像信号14に対応し、時間低域信号1010は図25における時間低域信号11に対応する。また、時間高域空間高域信号1002は、図25における時間高域空間高域信号13に対応する。このような構成における時間空間二分割フィルタリングの処理を、図28のフローチャートを用いて説明する。分割対象信号1013は、時間方向フィルタリング部109による時間階層化によって、時間低域信号1010と時間高域信号1014とに分割するのと同時に、動き補償に用いた動き情報1003を出力するStep100。更に、縮小画像生成部110により、時間低域信号1010と時間高域信号1014と動き情報1003とに基づいて、縮小画像信号1001を生成するStep101。一方、高域信号生成部111により、時間高域信号1014に基づいて高域信号生成処理を行い、時間高域空間高域信号1002を生成するStep102。そして、縮小画像信号1001、時間低域信号1010、時間高域空間高域信号1002を分割結果として出力するStep103。次に、本発明の特徴である動画像復号における時間空間合成フィルタリングを実現する時間空間合成フィルタリング部の構成について説明する。時間空間合成フィルタリング部は、図14に示す如く、時間高域空間低域信号再構成部170と、空間合成フィルタリング部171と、時間方向逆フィルタリング部172とから構成される。ここで、図14の縮小画像信号1073は図26における縮小画像信号15に対応し、時間低域信号1072は図26における時間低域信号16に対応し、時空間高域信号1074は図26における時間高域空間高域信号18に対応し、時間高域空間低域信号1076は図26における時間高域空間低域信号17に対応し、時間高域信号1077は図26における時間高域信号19に対応し、復号画像信号1075は図26における復号画像信号20に対応する。このような構成における時間空間合成フィルタリングの処理を、図37のフローチャートを用いて説明する。縮小画像信号1073、時間低域信号1072、時空間高域信号1074を合成対象としStep200、時間高域空間低域信号再構成部170により、時間低域信号1072と縮小画像信号1073と動き情報1056とに基づいて、時間高域空間低域信号1076を再構成するStep201。続いて、空間合成フィルタリング部171により、時間高域空間低域信号1076と時空間高域信号1074とを合成して時間高域信号1077を生成するStep202。そして、時間方向逆フィルタリング部172により、時間高域信号1077と時間低域信号1072とについて、動き情報1056をもとに図4における時間方向フィルタリング部109の逆変換を行うことで復号画像信号1075を生成するStep203。尚、時間高域空間低域信号再構成部170は、図4の縮小画像生成部110に対応する形で実現される。次に、本発明の特徴である動画像符号化における第2の時間空間二分割フィルタリング部の構成について説明する。上述した実施の形態では、縮小画像生成部110において、時間低域成分と時間高域成分とを用い、時間高域成分に対応する動画像信号を再構成後、この再構成結果に縮小処理を施すことにより、動画像の縮小画像信号を生成した。しかしながら、この方法に限らず、動画像の縮小画像信号を生成することが可能である。そこで、上述の実施の形態とは異なる第2の縮小画像生成部110の構成を、図7を用いて説明する。尚、他の構成は上述した実施の形態と同様なので、詳細な説明は省略する。低域信号生成部123及び低域信号生成部124は、時間低域信号1010及び時間高域信号1014の低域信号となる時間低域空間低域信号1023及び時間高域空間低域信号1024を生成する。動き情報変換部125は、動き情報1003を低域信号生成による解像度の比に応じて縮小した動き情報1025を生成する。動き補償部126は時間低域空間低域信号1023に対して動き情報1025をもとに動き補償処理を行い、予測信号1026を生成する。時間高域信号逆変換部127は、時間高域空間低域信号1024と予測信号1026に対し、時間高域信号生成部114における高域信号生成フィルタ処理の逆変換を行い、縮小画像信号1001を生成する。ここで、時間低域信号1010は図43における時間低域信号11に対応し、時間高域信号1014は図43における時間高域信号12に対応し、時間低域空間低域信号1023は図43における時間低域空間低域信号22に対応し、時間高域空間低域信号1024は図43における時間高域空間低域信号23に対応する。尚、予測信号1026は、図43における時間階層合成時使用される信号である。次に、上述の縮小画像生成部110に対応する復号化装置の時間高域空間低域信号再構成部170について説明する。尚、上述した時間高域空間低域信号再構成部170と異なる部分についてのみ説明する。図16において、低域信号生成部176は、時間低域信号1072の空間低域成分である時間低域空間低域信号1082を生成する。動き情報変換部177は、動き情報1056を低域信号生成による解像度の比に応じて縮小した動き情報1083を生成する。動き補償部178は、時間低域空間低域信号1082に対し、動き情報1083をもとに動き補償処理を行い、予測信号1084を生成する。時間高域信号生成部179は、縮小画像信号1073と予測信号1084とに対し、図5における時間高域信号生成部114と同じ高域信号生成フィルタ処理を行い、時間高域空間低域信号1076を出力する。以下、本発明の特徴である時間空間二分割フィルタリング及び時間空間合成フィルタリングを用いた動画像符号化装置及び動画像復号装置の具体的な実施例を説明する。本発明の実施例1である動画像符号化装置における時間空間分割フィルタリングおよびその再帰的な実行の手順、信号符号化処理の実現方法を、図1から図9を用いて説明する。図1は、本発明の実施例1の動画像符号化装置の構成を示すブロック図である。図1において動画像符号化装置は、時間空間周波数分割部101、縮小画像信号符号化部102、時空間高域信号符号化部103、動き情報符号化部104、多重化部105からなる。図1を用いて実施例となる符号化装置の処理の流れを説明する。まず、時間空間周波数分割部101は入力画像信号1000を入力とし、入力画像信号1000を構成する各フレームを縮小した縮小画像信号1001と、入力画像信号1000から縮小画像信号1001との相関を除いた高域信号に対してさらに時間方向の相関を除いた時空間高域信号1002と、動き情報1003とを生成する。縮小画像信号1001は再帰的に時間空間周波数分割部101に入力される、もしくは縮小画像信号符号化部102に出力される。時間空間周波数分割部101の再帰動作回数は、本発明技術に基づく空間スケーラビリティの階層数から決まる。例えば空間スケーラビリティの階層数を3とすれば、時間空間周波数分割部101への再帰動作回数は2となる。そのたびに、縮小画像信号1001、時間高域空間高域信号1002、動き情報1003が生成される。図2は、時間空間周波数分割部101の構成を示すブロック図である。図2を用いて時間空間周波数分割部101の処理の流れについて説明する。入力画像信号1000あるいは時間空間周波数分割部101の出力である縮小画像信号1001を統合して処理対象信号1009と呼ぶ。連続するN枚Nは2のべき乗のフレームからなる処理対象信号1009から時間空間二分割フィルタリング部107は、N2枚のフレームに相当する時空間高域信号1002および縮小画像信号1001と、N2枚のフレームに相当する時間低域信号1010とを生成する。このうち時間低域信号1010を改めて入力である処理対象信号とみなし時間空間二分割フィルタリングが行われる。この繰り返し処理は時間低域信号1010を構成するフレーム数が1枚になるまで行われる。その後、時間低域信号1010は、空間分割フィルタリング部108によって空間方向に周波数分割され、時間低域空間低域信号1011と時間低域空間高域信号1012が生成される。空間低域信号1011は縮小画像信号1001、空間高域信号1012は時空間高域信号1002として出力される。空間分割フィルタリング部108で行われる低域生成処理には、ウェーブレット変換に代表されるサブバンド分割フィルタのほか、解像度を縮小する任意のフィルタが用いられる。前者の場合高域生成処理には低域生成処理に対応するサブバンド分割フィルタが用いられる。後者の場合、縮小された信号をアップサンプルしたものを入力となる信号から引いた差分が用いられる。図3は、時間空間周波数分割部101における時間方向および空間方向のサブバンド分割を示す概念図である。入力画像信号2011は、時間空間二分割フィルタリング部107によって1回の時間空間二分割フィルタリングが行われ、時間低域信号2041、時空間高域信号2042、縮小画像信号2043に分割される。時間低域信号2041は、時間空間二分割フィルタリング部107によって1回の時間空間二分割フィルタリングが行われ、時間低域信号2044、時空間高域信号2045、縮小画像信号2046に分割される。時間低域信号2044は1回の時間空間二分割フィルタリング107によって時間低域信号2047、時空間高域信号2048、縮小画像信号2049に分割される。時間低域信号2047は空間分割フィルタリング108によって空間低域信号2050、空間高域信号2051に分割される。時空間高域信号204220452048と空間高域信号2051が時間空間周波数分割部101の出力である時空間高域信号1002であり、縮小画像信号204320462049と空間低域信号2050が時間空間周波数分割部101の出力である縮小画像信号1001である。図4は、時間空間二分割フィルタリング部107の構成を示すブロック図である。図4を用いて時間空間二分割フィルタリング部107の処理の流れについて説明する。時間空間二分割フィルタリング部107への入力となる入力画像信号1000、縮小画像信号1001および時間低域信号1010を統合して分割対象信号1013と呼ぶことにする。時間方向フィルタリング部109は、分割対象信号1013を時間低域信号1010と時間高域信号1014とに分割するのと同時に、動き補償に用いた動き情報1003を出力する。縮小画像生成部110は時間低域信号1010と時間高域信号1014と動き情報1003とから縮小画像信号1001を生成する。高域信号生成部111は、時間高域信号1014を入力として時間高域空間高域信号1002を生成する。高域信号生成部111における高域分割は図2で示した空間分割フィルタリングにおける高域生成処理と同等である。尚、図4に示した時間空間二分割フィルタリング部107が、図25に示した本願発明の特徴である時間空間分割フィルタリングの実現する回路構成の一例である。図25における動画像信号10、時間低域信号11、時間高域信号12、時間高域空間高域信号13、縮小画像信号14はそれぞれ、図4の分割対象信号1013、時間低域信号1010、時間高域信号1014、時間高域空間高域信号1014、縮小画像信号1001に対応づけられる。図5は時間方向フィルリング部109の構成を示すブロック図である。図5を用いて時間方向フィルタリングの処理の流れについて説明する。分割対象信号1013は時間方向フィルタリングにおいて、時間低域信号に変換される分割対象信号1015と、時間高域信号に変換される分割対象信号1016とに分けられる。動き推定部112は、分割対象信号1015と分割対象信号1016との動き補償を規定する動き情報1003を生成する。動き補償部113は、分割対象信号1015を参照信号として動き補償予測を行い、分割対象信号1016に対する予測信号1017を生成する。時間高域信号生成部114は、分割対象信号1016と予測信号1017について画素ごとに高域信号生成フィルタ処理を行い、時間高域信号1014を生成する。動き補償部115は動き情報1003を元に時間高域信号1014に動き補償処理を行い、分割対象信号1015上の個々の画素に対応づけられた動き補償時間高域信号1018を生成する。時間低域信号生成部116は、分割対象信号1015と動き補償時間高域信号1018について画素ごとに低域信号生成フィルタ処理を行い、時間低域信号1010を生成する。高域信号生成フィルタ処理および低域信号生成フィルタ処理として、ハールウェーブレットや53タップのウェーブレット変換が用いられる。もしくは、高域信号生成フィルタ処理として差分生成、低域信号生成フィルタ処理として分割対象信号を無変換で出力する従来のフレーム間予測符号化処理が用いられる。図6は、縮小画像生成部110の構成を示すブロック図である。図6を用いて縮小画像生成部110の処理の流れを説明する。動き補償部120は、図5における動き補償部113と同等の動き補償処理を時間低域信号1010に対して行い、予測信号1021を生成する。時間高域信号逆変換部121は、時間高域信号1014と予測信号1021とから動画像信号1022を生成する。時間高域信号逆変換部121における処理は、図5における時間高域信号生成部114における高域信号生成フィルタ処理の逆変換である。図5における分割対象信号1015と時間低域信号1010とが等しくない場合、動画像信号1022は図5における分割対象信号1016と等しくない。低域信号生成部122は動画像信号1022をダウンサンプルし、縮小画像信号1001を生成する。以上で、図2における時間空間周波数分割101についての説明を終え、更に、図1を用い、本願発明となる符号化処理の流れについて続けて説明する。時間空間周波数分割101によって生成された動き情報1003は動き情報符号化部104によって符号化される。図4及び5において説明したように動き情報1003は、異なる解像度を持つ画像信号、すなわち入力画像信号1000もしくは縮小画像信号1001に対する動き補償を規定する。動き情報符号化部104は、異なる解像度の動き情報を符号化する際、空間方向に隣接するブロックの動き情報間の相関性を用いる、もしくは異なる解像度における動き情報間の相関を用い、情報の冗長性を低減させる。時間空間周波数分割101によって生成された縮小画像信号1001および時空間高域信号1002はそれぞれ、テクスチャ信号符号化部102103によって符号化される。動き情報符号化部104の生成した動き情報符号化データ1006およびテクスチャ信号符号化部102103の生成したテクスチャ信号符号化データ10041005は多重化部105によって多重化され、符号化データ1007として出力される。図8は、縮小画像信号符号化部102の構成を示すブロック図である。図8を用いて縮小画像信号符号化部の処理の流れについて説明する。縮小画像信号1001は、時間方向フィルタリング部130によって時間方向の冗長性を取り除いたテクスチャ信号1030に変換される。時間方向フィルタリングとして、図5に示すような動き補償を伴う時間方向への周波数変換、もしくは動き補償フレーム間予測符号化が用いられる。テクスチャ信号1030は周波数変換部131によって変換され周波数変換係数1031が生成される。周波数変換部131における処理として、離散コサイン変換に代表されるブロック単位での変換処理もしくはウェーブレット変換に代表されるサブバンド分割処理があげられる。周波数変換係数1031は、量子化部132によって量子化され、量子化変換係数1032が生成される。量子化部132における処理として、単一の量子化ステップに基づく量子化の他、ある量子化ステップで量子化した後に入力となる周波数変換係数との誤差をより細かい量子化ステップで量子化する階層量子化、あるいは各周波数変換係数を二値化して高い位の値から低い位の値へと順次出力するビットプレーン符号化があげられる。量子化変換係数1032はエントロピー符号化部133によってエントロピー符号化され縮小画像信号符号化データ1004が生成される。エントロピー符号化として、予め定めたハフマンテーブルに従って符号化する可変長符号化の他、算術符号化が用いられる。なお、時間方向フィルタリング130を省略しても構わない。また周波数変換部131、量子化部132を省略しても構わない。図9は、時空間高域信号符号化部103の構成を示すブロック図である。時空間高域信号1002は周波数変換部134によって変換され周波数変換係数1033が生成される。周波数変換係数1033は、量子化部135によって量子化され、量子化変換係数1034が生成される。量子化変換係数1034はエントロピー符号化部136によってエントロピー符号化され縮小画像信号符号化データ1005が生成される。尚、周波数変換部134、量子化部135を省略しても構わない。また、図9における周波数変換部134、量子化部135、エントロピー符号化部136は、図8における周波数変換部131、量子化部132、エントロピー符号化部133と異なるものを用いてもよい。すなわち、縮小画像符号化部102、時空間高域信号符号化部103ともに、周波数変換に離散コサイン変換、量子化部に単一の量子化ステップに基づく量子化を行う非スケーラブルな符号化方式を用いても構わない。あるいは、縮小画像信号符号化部102では、周波数変換に離散コサイン変換、量子化部に単一の量子化ステップに基づく量子化を、時空間高域信号符号化部102では、周波数変換にウェーブレット変換、量子化部にビットプレーン符号化を行うスケーラブル符号化方式を用いても構わない。次に、上述の如く、符号化された動画像の動画像復号装置について説明する。本発明の実施例1である動画像復号装置における時間空間合成フィルタリングおよびその再帰的な実行の手順、信号復号処理の実現方法を、図10から図17を用いて説明する。図10は、本発明の実施例1の動画像復号装置の構成を示すブロック図である。図10において動画像復号装置は、逆多重化部150、縮小画像信号復号部151、時空間高域信号復号部152、動き情報復号部153、時間空間周波数合成部154とからなる。図10を用いて実施例1の復号装置の処理の流れを説明する。まず、逆多重化部150は符号化データ1050を低域信号符号化データ1051、高域信号符号化データ1052、動き情報符号化データ1053とに分割する。縮小画像信号復号部151および時空間高域信号復号部152はそれぞれ、低域信号符号化データ1051および高域信号符号化データ1052を復号し、縮小画像信号1054および時空間高域信号1055を得る。動き情報復号部153は動き情報符号化データ1053を復号し、動き情報1056を得る。時間空間周波数合成部154は縮小画像信号1054および時空間高域信号1055に対し、動き情報1056によって規定される動き補償を伴った時間方向の逆フィルタリングと空間方向の周波数合成を組み合わせて行い復号画像信号1057を生成する。もしくは、復号画像信号1057を縮小画像信号とみなし、対応する時空間高域信号1055と時間空間周波数合成154を再帰的に行うことで、より高解像度の復号画像信号1057を生成する。図11は縮小画像信号復号部151の構成を示すブロック図である。縮小画像信号符号化データ1051は、エントロピー復号部160によって量子化変換係数1060に復号される。量子化変換係数1060が逆量子化部161によって逆量子化され、出力である周波数変換係数1061を周波数逆変換部162が周波数逆変換を行い、テクスチャ信号1063を生成する。時間方向逆フィルタリング部163は、図8に示す時間方向フィルタリング部130の逆変換を行い、縮小画像信号1054を生成する。エントロピー復号部160、逆量子化部161、周波数逆変換部162、時間方向逆フィルタリング部163は、図8におけるエントロピー符号化部133量子化部132、周波数変換部131、時間方向フィルタリング部130にそれぞれ対応している。縮小画像符号化部102が量子化部132、周波数変換部131、時間方向フィルタリング部130のいずれかを省略している場合には図11の逆量子化部161、周波数逆変換部162、時間方向逆フィルタリング部163も同様に省略される。図12は時空間高域信号復号部152の構成を示すブロック図である。時空間高域信号符号化データ1052は、エントロピー復号部164によって量子化変換係数1063に復号される。量子化変換係数1063が逆量子化部165によって逆量子化され、出力である周波数変換係数1064を周波数逆変換部166が周波数逆変換を行い、時空間高域信号1055を生成する。エントロピー復号部164、逆量子化部165、周波数逆変換部166は、図9におけるエントロピー符号化部136量子化部135、周波数変換部134にそれぞれ対応している。縮小画像符号化部102が量子化部135、周波数変換部134のいずれかを省略している場合には図12の逆量子化部165、周波数逆変換部166も同様に省略される。図13は時間空間周波数合成部154の構成を表すブロック図である。図13を用いて時間空間周波数合成の処理の流れについて説明する。空間合成フィルタリング部167は、連続するN枚のフレーム分の縮小画像信号1054と時空間高域信号1055のうち、時間方向で最も低周波数域となる1フレーム分の信号をそれぞれ時間低域空間低域信1070および時間低域空間高域信号1071とみなし、空間合成フィルタリングを行う。空間合成フィルタリング部167の出力である時間低域信号1072および、時間低域信号1072と対になる時間高域信号に対応する縮小画像信号1073と時空間高域信号1074を、動き情報1056に基づく動き補償を伴った時間空間合成フィルタリング部168によって合成し、2フレーム分の復号画像信号1075を得る。この復号画像信号を時間低域信号1072とみなし、対となる縮小画像信号1073および時空間高域信号1074について時間空間合成フィルタリングを再帰的に行う。以上の処理を、連続するN枚の復号画像信号1057が得られるまで繰り返す。尚、空間合成フィルタリング部167の空間合成フィルタリングは、図2における空間分割フィルタリング部108の空間分割フィルタリングの逆変換に相当する。図14は時間空間合成フィルタリング部168の構成を示すブロック図である。図14を用いて時間空間合成フィルタリングの処理の流れを説明する。時間高域空間低域信号再構成部170は、時間低域信号1072と縮小画像信号1073と動き情報1056とから時間高域空間低域信号1076を再構成する。空間合成フィルタリング部171は、時間高域空間低域信号1076と時空間高域信号1074とを合成して時間高域信号1077を生成する。時間方向逆フィルタリング部172は、時間高域信号1077と時間低域信号1072について動き情報1056をもとに図4における時間方向フィルタリング部109の逆変換を行うことで復号画像信号1075を生成する。尚、図14に示す時間空間合成フィルタリング部168が、図26に示した本願発明の特徴である時間空間合成フィルタリングを実現する回路構成の一例である。図26における復号画像信号15、時間低域信号16、時間高域空間低域信号17、時間高域空間高域信号18、時間高域信号19、復号画像信号20はそれぞれ、図14の縮小画像信号1073、時間低域信号1072、時間高域空間低域信号1076、時空間高域信号1074、時間高域信号1077、復号画像信号1075に対応づけられる。時間高域空間低域信号再構成部170は、図4の縮小画像生成部110に対応する形で実現される。図15は、図6に示す縮小画像生成部に対応する時間高域空間低域信号再構成部170の構成を表す。図15に従って時間広域空間低域信号再構成部170の処理の流れを説明する。動き補償部173は、時間低域信号1072に対し動き情報1056に基づいて動き補償処理を行い、予測信号1080を生成する。低域信号生成部174は、予測信号1080の空間低域成分である空間低域予測信号1081を生成する。時間高域信号生成部175は縮小画像信号1073と空間低域予測信号1081に対し、図4における時間高域信号逆変換部121と逆の変換を行い、出力となる時間高域空間低域信号1076を生成する。図17は時間方向逆フィルタリング部172の構成を示すブロック図である。図17を用いて時間方向逆フィルタリング部172の処理の流れを説明する。動き補償部181は動き情報1056を元に時間高域信号1077に動き補償処理を行い、動き補償時間高域信号1081を生成する。時間低域信号逆変換部182は、時間低域信号1072と動き補償時間高域信号1081について画素ごとに低域信号生成フィルタ処理の逆変換を行い、復号画像信号1082を生成する。動き補償部183は、復号画像信号1082を参照信号として動き補償予測を行い、予測信号1083を生成する。時間高域信号逆変換部184は、時間高域信号1077と予測信号1083について画素ごとに高域信号生成フィルタ処理の逆変換を行い、復号画像信号1084を生成する。復号画像信号10821084を表示時刻順に並べたものが出力となる復号画像信号1075である。以上で本願発明の実施例1の動画像符号化装置および動画像復号装置の説明を終える。実施例に示した動画像復号装置は、動画像符号化装置の生成した符号化データを復号して入力画像信号を再構成する。また、図20に示すように、符号化データ抽出装置208が符号化データのうち一部の時空間高域信号の符号化データを取り除いた後に、動画像復号装置209が残った符号化データを復号することも可能である。この場合、残った符号化データに含まれる縮小画像信号符号化データおよび時空間高域信号符号化データに基づいた空間解像度とフレームレートを持つ画像信号が復号される。あるいは、残った符号化データに時空間高域信号符号化データが全く含まれていない場合、動画像復号装置は、縮小画像符号化データを復号した結果を出力する。尚、本願発明は、空間方向へのスケーラビリティをもつ階層符号化において、空間高域成分については時間方向フィルタリングを行った後に空間方向の周波数分割を行って生成し、空間低域成分については縮小画像について時間方向のフィルタリングを行うことを特徴とする。縮小画像生成は、元解像度の時間方向フィルタリングを考慮して行われるため、従来技術のMCミスマッチのような原理的な歪みが生じない。図8および図9で説明したように、本願発明は縮小画像信号および時空間高域信号の符号化時に異なる周波数変換やエントロピー符号化を用いた場合にも適用できる。また、本願発明では、図2および図3に示す通り、N枚の画像信号が一回の時間方向フィルタリングでN2枚の時間低域信号とN2枚の時間高域信号に分割し、時間低域信号に対して再帰的に時間方向フィルタリングを行うが、他の参照関係に基づく時間方向フィルタリングにも適用可能である。例えば、N枚の画像信号が一回の時間方向フィルタリングでN3枚の時間低域信号と2N3枚の時間高域信号に分割される場合などである。上述した実施例1では、縮小画像生成部110において、時間低域成分と時間高域成分とを用い、時間高域成分に対応する動画像信号を再構成後、この再構成結果に縮小処理を施すことにより、動画像の縮小画像信号を生成した。しかしながら、この方法に限らず、動画像の縮小画像信号を生成することが可能である。そこで、実施例2では、実施例1とは異なる第2の縮小画像生成部110の構成を説明する。尚、他の構成は実施例1と同様なので、詳細な説明は省略する。図7は、実施例2における第2の縮小画像生成部110の構成を示すブロック図である。図7に示す縮小画像生成部110の処理の流れを説明する。低域信号生成部123及び低域信号生成部124は、時間低域信号1010及び時間高域信号1014の低域信号となる時間低域空間低域信号1023及び時間高域空間低域信号1024を生成する。動き情報変換部125は、動き情報1003を低域信号生成による解像度の比に応じて縮小した動き情報1025を生成する。動き補償部126は時間低域空間低域信号1023に対して動き情報1025をもとに動き補償処理を行い、予測信号1026を生成する。時間高域信号逆変換部127は、時間高域空間低域信号1024と予測信号1026に対し、図5における時間高域信号生成部114における高域信号生成フィルタ処理の逆変換を行い、縮小画像信号1001を生成する。次に、上述の縮小画像生成部110に対応する復号化装置の時間高域空間低域信号再構成部170について説明する。図16は、図7に示す第2の縮小画像生成部110に対応する時間高域空間低域信号再構成部170の構成を表す。図16において、低域信号生成部176は、時間低域信号1072の空間低域成分である時間低域空間低域信号1082を生成する。動き情報変換部177は、動き情報1056を低域信号生成による解像度の比に応じて縮小した動き情報1083を生成する。動き補償部178は、時間低域空間低域信号1082に対し、動き情報1083をもとに動き補償処理を行い、予測信号1084を生成する。時間高域信号生成部179は、縮小画像信号1073と予測信号1084とに対し、図5における時間高域信号生成部114と同じ高域信号生成フィルタ処理を行い、時間高域空間低域信号1076を出力する。本発明の実施例3を説明する。上述した実施例1及び実施例2では、画像によっては、縮小画像信号生成時の重み付けに基づく符号化歪みが増大してしまう場合がある。以下に具体例を上げて説明する。本発明の特徴は、図26に示すように縮小解像度上での縮小画像信号15と、時間低域成分16から動き補償と縮小処理によって得られる予測画像信号とから、時間高域空間低域信号17を再構成する点にある。縮小画像信号15は、図25に示す、動画像信号21に縮小処理を行った縮小画像信号14を再構成したものであり、時間低域成分16は図25における時間低域成分11を再構成したものである。復号時には、これらの信号に量子化による歪みが発生する場合がある。図27はそれぞれの信号に重畳される量子化歪みが復号画像にどのように影響するかを説明する概念図である。縮小画像信号3000、時間低域信号3001、時空間高域信号3002にそれぞれ量子化ステップΔに基づく歪み量3004、3005、3006が重畳し、動画像復号装置300内で縮小復号画像3007、時間低域信号3008、時空間高域信号3009として再構成されているとする。ここで縮小画像信号3000の生成において低域信号生成処理の直後に正規化処理などのために1αの重み付けが行われているとする。図27において、時間低域信号3008に対して動き補償と低域信号生成の処理を行った後、1αの重み付け処理301を行い、縮小解像度上での予測画像信号3010が得られる。時間高域空間低域信号3011を再構成するためには、縮小復号画像信号3007と予測画像信号3010との間で時間方向フィルタリングの逆変換を行った後、重み付け処理301によってαの重み付けを行う必要がある。この重み付けによって時間高域空間低域信号3011に含まれる歪みは量子化ステップΔにαを掛けた量となる。そこで、実施例3では、上述のような符号化歪みを防ぐように構成した動画像符号化装置について、図面を用いて説明する。まず、実施例1の動画像符号化装置及び動画像復号装置に対応する構成の実施例について説明する。実施例3の動画像符号化装置は、図4に示す縮小画像生成部が異なる以外は実施例1と同じ構成を持つ。図29は実施例3における縮小画像生成部の構成を示すブロック図である。図29に示す縮小画像生成部は図6に示す縮小画像生成部と比較して、時間高域信号1014が重み付け部159によって重み付けされた後、その出力1078が時間高域信号逆変換部121に入力される点が異なる。この重み付け部159は、入力となる信号に対して低域信号生成処理に含まれる重み付けの逆数を乗ずる。また、重み付け部159は、時間高域信号1014に応じて画素毎もしくは動き補償の単位となるブロック毎に重み付けを調節する。すべての画素について等しく重み付けをした場合、時間高域信号1014のパワーの大きい画素に対し出力となる縮小画像信号1001の劣化が著しくなる。そのため、時間高域信号1014のパワーの大きな画素についてのみ重み付けを低減する。重み付け低減の判定情報は符号化側と復号側で一致する必要がある。そのための方法として予め定めた閾値に基づく、閾値を付加情報として符号化する、画素毎もしくはブロック毎に判定情報を符号化する、などが考えられる。続いて、上述の動画像符号化装置で符号化された動画像を復号する動画像復号装置について、図30を用いて説明する。実施例3の動画像復号装置は、実施例1の時間高域空間低域信号再構成部170が異なる以外は、実施例1の動画像復号装置と同じ構成を持つ。図30は実施例3における動画像復号装置における時間高域空間低域信号再構成部の構成を示すブロック図である。図30に示す時間高域空間低域信号再構成部は、図15に示す時間高域空間低域信号再構成部と比較して時間高域信号生成部175の出力1090が重み付け部190によって重み付けされた後、時間高域信号1076として出力される点が異なる。重み付け部190では図29における重み付け部159における重み付け係数の逆数が重み付けされる。次に、実施例2の動画像符号化装置及び動画像復号装置に対応する構成の実施例について説明する。図31は、実施例2で説明した第2の縮小画像生成部に重み付け部を追加した第2の縮小画像生成部の構成を示すブロック図である。図31に示す第2の縮小画像生成部は図7に示す縮小画像生成部と比較して、図29と同じく重み付け部159が追加されている点が異なる。この重み付け部159は、低域信号生成部124の出力である時間高域空間低域信号124に対して重み付け処理を行い、結果である時間高域空間低域信号1079を時間高域信号逆変換部127に出力する。重み付け部159では図29における重み付け部159と同等の重み付け処理がなされる。また、図32は、実施例2の動画像復号装置に対応する第2の時間高域空間低域信号再構成部の構成を示すブロック図である。図32に示す時間高域空間低域信号再構成部は図16に示す時間高域空間低域信号再構成部と比較して、図30と同じく重み付け部190が追加されている点が異なる。時間高域信号生成部179の出力1091は重み付け部190によって重み付けされた後、時間高域信号1076として出力される。重み付け部190では図31における重み付け部159における重み付け係数の逆数が重み付けされる。実施例3によれば、復号処理において時間空間合成フィルタリングの際に時間高域空間低域信号を再構成する直前に、重み付け処理を行う。この重み付け処理は、実施例1および2において、復号時に空間方向合成フィルタリングによって時間高域信号を合成する際の重み付けによって、縮小画像信号の符号化歪みが時間高域信号に強調されて伝播するという課題を解決する。これにより復号画像の劣化を低減することができる。本発明の実施例4について説明する。上述した第1及び第2の実施例では、画像によっては、縮小画像信号の符号化歪みがより大きな解像度の復号画像に伝播する場合があった。例えば、図1に示すような構成を持つ動画像符号化装置は、縮小画像信号符号化データ1004と時空間高域信号符号化データ1005との間の符号量割り当てを最適化することで、復号画像の画質をある程度調整できる。しかし、復号した縮小画像信号に発生するブロック歪みやリンギングなどの符号化歪みを、時空間高域信号によって完全に低減することはできない。そこで、上述の課題を解決する実施例4の動画像符号化装置及び動画像復号装置を説明する。まず、実施例1の動画像符号化装置及び動画像復号装置に対応する実施例4の動画像符号化装置及び動画像復号装置について説明する。実施例4の動画像符号化装置は、図4に示す縮小画像生成部が異なる以外は、実施例1の動画像符号化装置と同じ構成を持つ。図33は、実施例4における縮小画像生成部の構成を示すブロック図である。図33に示す縮小画像生成部は図6に示す縮小画像生成部と比較して時間高域信号1014がフィルタ200によって処理された後、その出力1078が時間高域信号逆変換部121に入力される点が異なる。フィルタ200は入力となる信号に対して平滑化やノイズ除去などを行う。続いて、上述の動画像符号化装置で符号化された動画像を復号する動画像復号装置について説明する。実施例4の動画像復号装置は、図15に示す時間高域空間低域信号再構成部が異なる以外は実施例1の動画像復号装置と同じ構成を持つ。図34は、実施例4における時間高域空間低域信号再構成部の構成を示すブロック図である。図34に示す時間高域空間低域信号再構成部は図15に示す時間高域空間低域信号再構成部と比較して時間高域信号生成部の出力1090がフィルタ201によって処理された後、時間高域信号1076として出力される点が異なる。フィルタ201ではデリンギングやブロック歪み除去など縮小復号画像信号における歪みもしくはノイズを低減する。次に、実施例2の動画像符号化装置及び動画像復号装置に対応する実施例4の動画像符号化装置及び動画像復号装置を説明する。図35は、実施例4における第2の縮小画像生成部の構成を示すブロック図である。図35に示す縮小画像生成部は図7に示す縮小画像生成部と比較して、フィルタ202が追加されている点が異なる。フィルタ202は、低域信号生成部124の出力である時間高域空間低域信号124に対して図33におけるフィルタ200と同様の処理を行い、結果である時間高域空間低域信号1079を時間高域信号逆変換部127に出力する。続いて、上述の動画像符号化装置で符号化された動画像を復号する動画像復号装置について説明する。実施例4の動画像復号装置は、図16に示す時間高域空間低域信号再構成部が異なる以外は実施例2の動画像復号装置と同じ構成を持つ。図36は、実施例4における第2の時間高域空間低域信号再構成部の構成を示すブロック図である。図36に示す時間高域空間低域信号再構成部は、図16に示す時間高域空間低域信号再構成部と比較して、フィルタ203が追加されている点が異なる。時間高域信号生成部179の出力1091はフィルタ203によって処理された後、時間高域信号1076として出力される。フィルタ203では図34におけるフィルタ201と同様の処理が行われる。実施例4によれば、縮小画像信号の符号化の前処理として、また復号化の前処理としてノイズ低減などのフィルタリングを行う。これによって、復号した縮小画像信号における符号化歪みがより大きな解像度の復号画像信号において影響を及ぼすのを低減することができる。動画像信号の階層符号化では、画像信号を周波数分割したときに低域信号にパワーを集中させることが高能率に符号化するのに必要である。本願発明における縮小画像生成部において同様の周波数分割を行うと、縮小画像信号の細密さが高くなるため縮小画像信号単体の符号化が困難となる場合があった。逆に縮小画像信号の細密さを適度に調節した低域信号生成フィルタリングでは信号全体の符号化効率が低下するという問題があった。実施例5では、この課題を解決する実施例について述べる。実施例5の動画像符号化装置について、図38を用いて説明する。実施例5の動画像符号化装置は、図4に示す縮小画像生成部が異なる以外は実施例1と同じ構成を持つ。図38は実施例5の縮小画像生成部の構成を示すブロック図である。図38に示す縮小画像生成部は、図6に示す縮小画像生成部と比較して時間低域信号1010がフィルタ300によって処理された後、その出力1079が動き補償部120に入力される点が異なる。フィルタ300は入力となる信号に対して平滑化やぼかしなどを行う。図39は実施例5における第2の縮小画像生成部の構成を示すブロック図である。図39に示す縮小画像生成部は、図7に示す縮小画像生成部と比較して、図38と同じくフィルタ301が追加されている点が異なる。時間低域信号1010がフィルタ300によって処理された後、その出力1079が動き補償部120に入力される。フィルタ300は図38におけるフィルタ300と同様の処理を行う。次に、上述した動画像符号化装置に対する動画像復号装置について図40および図41を用いて説明する。実施例5の動画像復号装置は、図14に示す時間高域空間低域信号再構成部が異なる以外は、実施例1の発明と同じ構成を持つ。図40は実施例5における時間高域空間低域信号再構成部の構成を示すブロック図である。図40に示す時間高域空間低域信号再構成部は、図15に示す時間高域空間低域信号再構成部と比較して時間低域信号1072がフィルタ400によって処理された後、動き補償部173に入力される点が異なる。フィルタ400では図38におけるフィルタ300と同様の処理が行われる。図41は実施例5における第2の時間高域空間低域信号再構成部の構成を示すブロック図である。図41に示す時間高域空間低域信号再構成部は、図16に示す時間高域空間低域信号再構成部と比較して、図40と同じくフィルタ400が追加されている点が異なる。時間低域信号1072はフィルタ400によって処理された後、動き補償部173に入力される。フィルタ400では図39におけるフィルタ300と同様の処理が行われる。このような構成によれば、縮小画像信号を生成する際に時間低域信号に平滑化などのフィルタリングを行う。これにより時間空間高域信号を変えることなく、縮小画像信号自体の符号化を容易にすることができる。復号時には時間高域空間低域信号再構成部において、時間低域信号にも同等のフィルタリングが行われる。そのため生成される時間高域空間低域信号の精度が落ちることはない。本発明の実施例6について説明する。本発明による動画像符号化装置及び動画像復号装置は、以上の説明からも明らかなように、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。図42は、本発明による動画像符号化装置をインプリメントした情報処理システムの一般的ブロック構成図である。図42に示す情報処理システムは、プロセッサ500、プログラムメモリ501、記憶媒体502および503からなる。記憶媒体502および503は、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体としては、ハードディスク等の磁気記憶媒体を用いることができる。プログラムメモリ501には、上述した実施例1から実施例5の動画像符号化装置における時間空間周波数分割部101、縮小画像信号符号化部102、時空間高域信号符号化部103、動き情報符号化部104、多重化部105としての処理を、プロセッサ500に行わせるプログラムが格納されており、このプログラムによってプロセッサ500は動作し、結果を記憶媒体502又は503に格納する。また、プログラムメモリ501には、上述した実施例1から実施例5の動画像復号装置における逆多重化部150、縮小画像信号復号部151、時空間高域信号復号部152、動き情報復号部153、時間空間周波数合成部154としての処理を、プロセッサ500に行わせるプログラムが格納されており、このプログラムによってプロセッサ500は動作し、結果を記憶媒体502又は503に格納する。以上の説明からも明らかなように、ハードウェアの全部又は一部を、コンピュータプログラムにより実現することも可能である。また、以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。