"予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な1以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する符号化制御手段と、入力画像を上記符号化制御手段により決定された最大サイズの符号化ブロックに分割するとともに、上記符号化制御手段により決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割手段と、上記符号化制御手段により選択された符号化モードがインター符号化モードである場合、各々のブロックに対応する動きベクトルを格納している動きベクトルバッファの中から、上記ブロック分割手段により分割された符号化ブロックに対応する動きベクトルを読み出し、上記動きベクトルを用いて、上記符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するとともに、上記動きベクトルが格納されているブロックを示すインデックス情報を出力する動き補償予測手段と、上記ブロック分割手段により分割された符号化ブロックと上記動き補償予測手段により生成された予測画像との差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮手段と、上記画像圧縮手段から出力された圧縮データ、上記符号化制御手段により選択された符号化モード及び上記動き補償予測手段から出力されたインデックス情報を可変長符号化して、上記圧縮データ、上記符号化モード及び上記インデックス情報の符号化データが多重化されているビットストリームを生成する可変長符号化手段とを備え、上記動き補償予測手段は予測画像を生成する際、上記ブロック分割手段により分割された符号化ブロックに対応する動きベクトルを読み出すと、上記動きベクトルが指し示す位置のブロックに対応する動きベクトルとして、その読み出した動きベクトルを上記動きベクトルバッファに格納することを特徴とする動画像符号化装置。動き補償予測手段は、ブロック分割手段により分割された符号化ブロックに対応する動きベクトルの大きさが所定の閾値より小さければ、上記動きベクトルが指し示す位置のブロックに対応する動きベクトルとして、上記符号化ブロックに対応する動きベクトルを上記動きベクトルバッファに格納するが、上記符号化ブロックに対応する動きベクトルの大きさが所定の閾値より大きい場合、上記動きベクトルを上記動きベクトルバッファに格納しないことを特徴とする請求項1記載の動画像符号化装置。ビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ、符号化モード及びインデックス情報を可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る符号化モードがインター符号化モードである場合、各々のブロックに対応する動きベクトルを格納している動きベクトルバッファの中から、上記可変長復号手段により可変長復号された符号化ブロックに係るインデックス情報が示すブロックに対応する動きベクトルを読み出し、上記動きベクトルを用いて、上記符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像と上記動き補償予測手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段とを備え、上記動き補償予測手段は予測画像を生成する際、上記インデックス情報が示すブロックに対応する動きベクトルを読み出すと、上記動きベクトルが指し示す位置のブロックに対応する動きベクトルとして、上記インデックス情報が示すブロックに対応する動きベクトルを上記動きベクトルバッファに格納することを特徴とする動画像復号装置。動き補償予測手段は、インデックス情報が示すブロックに対応する動きベクトルの大きさが所定の閾値より小さければ、上記動きベクトルが指し示す位置のブロックに対応する動きベクトルとして、上記インデックス情報が示すブロックに対応する動きベクトルを上記動きベクトルバッファに格納するが、上記インデックス情報が示すブロックに対応する動きベクトルの大きさが所定の閾値より大きい場合、上記動きベクトルを上記動きベクトルバッファに格納しないことを特徴とする請求項3記載の動画像復号装置。符号化制御手段が、予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な1以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する符号化制御処理ステップと、ブロック分割手段が、入力画像を上記符号化制御処理ステップで決定された最大サイズの符号化ブロックに分割するとともに、上記符号化制御処理ステップで決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割処理ステップと、動き補償予測手段が、上記符号化制御処理ステップで選択された符号化モードがインター符号化モードである場合、各々のブロックに対応する動きベクトルを格納している動きベクトルバッファの中から、上記ブロック分割処理ステップで分割された符号化ブロックに対応する動きベクトルを読み出し、上記動きベクトルを用いて、上記符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するとともに、上記動きベクトルが格納されているブロックを示すインデックス情報を出力する動き補償予測処理ステップと、差分画像生成手段が、上記ブロック分割処理ステップで分割された符号化ブロックと上記動き補償予測処理ステップで生成された予測画像との差分画像を生成する差分画像生成処理ステップと、画像圧縮手段が、上記差分画像生成処理ステップで生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮処理ステップと、可変長符号化手段が、上記画像圧縮処理ステップで出力された圧縮データ、上記符号化制御処理ステップで選択された符号化モード及び上記動き補償予測処理ステップで出力されたインデックス情報を可変長符号化して、上記圧縮データ、上記符号化モード及び上記インデックス情報の符号化データが多重化されているビットストリームを生成する可変長符号化処理ステップとを備え、上記動き補償予測処理ステップでは予測画像を生成する際、上記ブロック分割処理ステップで分割された符号化ブロックに対応する動きベクトルを読み出すと、上記動きベクトルが指し示す位置のブロックに対応する動きベクトルとして、上記符号化ブロックに対応する動きベクトルを上記動きベクトルバッファに格納することを特徴とする動画像符号化方法。可変長復号手段が、ビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ、符号化モード及びインデックス情報を可変長復号する可変長復号処理ステップと、動き補償予測手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る符号化モードがインター符号化モードである場合、各々のブロックに対応する動きベクトルを格納している動きベクトルバッファの中から、上記可変長復号処理ステップで可変長復号された符号化ブロックに係るインデックス情報が示すブロックに対応する動きベクトルを読み出し、上記動きベクトルを用いて、上記符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測処理ステップと、差分画像生成手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成処理ステップと、復号画像生成手段が、上記差分画像生成処理ステップで生成された差分画像と上記動き補償予測処理ステップで生成された予測画像とを加算して復号画像を生成する復号画像生成処理ステップとを備え、上記動き補償予測処理ステップでは予測画像を生成する際、上記インデックス情報が示すブロックに対応する動きベクトルを読み出すと、上記動きベクトルが指し示す位置のブロックに対応する動きベクトルとして、上記インデックス情報が示すブロックに対応する動きベクトルを上記動きベクトルバッファに格納することを特徴とする動画像復号方法。従来の動画像符号化装置は以上のように構成されているので、あるピクチャB2内のマクロブロックMV1の動きベクトルを時間ダイレクトモードで生成する場合、ピクチャB2の時間軸上後方にある符号化済みピクチャのうち、ピクチャB2に一番近いピクチャP3の動きベクトルであって、符号化対象のマクロブロックMB1と空間的に同じ位置にあるマクロブロックMB2の動きベクトルが用いられる。このため、符号化対象のマクロブロックMB1内の物体が空間的にほとんど移動しておらず、その物体がマクロブロックMB2内に存在していれば、高精度に動きベクトルを生成することができるが、符号化対象のマクロブロックMB1内の物体が空間的に大きく移動しており、その物体がマクロブロックMB2内に存在していなければ、動きベクトルの生成精度が劣化してしまう課題があった。この発明は上記のような課題を解決するためになされたもので、符号化ブロック内の物体が、空間的に異なる位置にあるブロックに移動していても、高精度に動きベクトルを生成することができる動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法を得ることを目的とする。この発明に係る動画像符号化装置は、予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な1以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する符号化制御手段と、入力画像を符号化制御手段により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御手段により決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割手段と、符号化制御手段により選択された符号化モードがインター符号化モードである場合、各々のブロックに対応する動きベクトルを格納している動きベクトルバッファの中から、ブロック分割手段により分割された符号化ブロックに対応する動きベクトルを読み出し、その動きベクトルを用いて、その符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するとともに、その動きベクトルが格納されているブロックを示すインデックス情報を出力する動き補償予測手段と、ブロック分割手段により分割された符号化ブロックと動き補償予測手段により生成された予測画像との差分画像を生成する差分画像生成手段と、差分画像生成手段により生成された差分画像を圧縮し、その差分画像の圧縮データを出力する画像圧縮手段と、画像圧縮手段から出力された圧縮データ、符号化制御手段により選択された符号化モード及び動き補償予測手段から出力されたインデックス情報を可変長符号化して、その圧縮データ、符号化モード及びインデックス情報の符号化データが多重化されているビットストリームを生成する可変長符号化手段とを備え、動き補償予測手段が予測画像を生成する際、ブロック分割手段により分割された符号化ブロックに対応する動きベクトルを読み出すと、その動きベクトルが指し示す位置のブロックに対応する動きベクトルとして、その符号化ブロックに対応する動きベクトルを動きベクトルバッファに格納するようにしたものである。この発明によれば、動き補償予測手段が予測画像を生成する際、ブロック分割手段により分割された符号化ブロックに対応する動きベクトルを読み出すと、その動きベクトルが指し示す位置のブロックに対応する動きベクトルとして、その符号化ブロックに対応する動きベクトルを動きベクトルバッファに格納するように構成したので、符号化ブロック内の物体が、空間的に異なる位置にあるブロックに移動していても、高精度に動きベクトルを生成することができる効果がある。実施の形態1.この実施の形態1では、映像の各フレーム画像を入力し、近接フレーム間で動き補償予測を実施することで得られる予測差分信号に対して直交変換や量子化による圧縮処理を実施した後に可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されたビットストリームを復号する動画像復号装置について説明する。この実施の形態1の動画像符号化装置は、映像信号の空間時間方向の局所的な変化に適応して、映像信号を多様なサイズの領域に分割してフレーム内フレーム間適応符号化を行うことを特徴としている。一般的に映像信号は、空間時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある特定の映像フレーム上では、空や壁などのような比較的広い画像領域中で均一な信号特性を持つ絵柄もあれば、人物や細かいテクスチャを持った絵画など小さい画像領域内で複雑なテクスチャパターンを持つ絵柄も混在することがある。時間的に見ても、空や壁は局所的に時間方向の絵柄の変化が小さいが、動く人物や物体はその輪郭が時間的に剛体非剛体の運動をするため、時間的な変化が大きい。符号化処理は、時間空間的な予測によって信号電力やエントロピーの小さい予測差分差信号を生成することで、全体の符号量を削減するが、予測のためのパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。一方、時間的空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを適用すると、予測の誤りが増えるため、予測差分信号の符号量を削減することができない。そこで、時間的空間的に変化の大きい画像信号パターンに対しては、予測対象の領域を小さくして、予測のためのパラメータのデータ量を増やしても予測差分信号の電力エントロピーを低減するほうが望ましい。このような映像信号の一般的な性質に適応した符号化を行うため、この実施の形態1の動画像符号化装置では、所定の最大ブロックサイズから階層的に映像信号の領域を分割して、分割領域毎に予測処理や、予測差分の符号化処理を実施するようにしている。この実施の形態1の動画像符号化装置が処理対象とする映像信号は、輝度信号と2つの色差信号からなるYUV信号や、ディジタル撮像素子から出力されるRGB信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平垂直2次元のディジタルサンプル画素列から構成される任意の映像信号である。各画素の諧調は8ビットでもよいし、10ビット、12ビットなどの諧調であってもよい。ただし、以下の説明においては、特に断らない限り、入力される映像信号がYUV信号であるものとする。また、2つの色差成分U,Vが輝度成分Yに対して、サブサンプルされた4:2:0フォーマットの信号であるものとする。なお、映像の各フレームに対応する処理データ単位をピクチャと称し、この実施の形態1では、ピクチャは順次走査プログレッシブスキャンされた映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、ピクチャは映像フレームを構成する単位であるフィールド画像信号であってもよい。図1はこの発明の実施の形態1による動画像符号化装置を示す構成図である。図1において、符号化制御部1は動き補償予測処理フレーム間予測処理又はイントラ予測処理フレーム内予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。また、符号化制御部1は利用可能な1以上の符号化モード1以上のイントラ符号化モード、1以上のインター符号化モード動き情報を符号化しないインター符号化を含むの中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。なお、符号化制御部1は符号化制御手段を構成している。ブロック分割部2は入力画像を示す映像信号を入力すると、その映像信号が示す入力画像を符号化制御部1により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部1により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する処理を実施する。なお、ブロック分割部2はブロック分割手段を構成している。切替スイッチ3は符号化制御部1により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部2により分割された符号化ブロックをイントラ予測部4に出力し、符号化制御部1により選択された符号化モードがインター符号化モードであれば、ブロック分割部2により分割された符号化ブロックを動き補償予測部5に出力する処理を実施する。イントラ予測部4は切替スイッチ3からブロック分割部2により分割された符号化ブロックを受けると、符号化制御部1から出力されたイントラ予測パラメータを用いて、その符号化ブロックに対するイントラ予測処理を実施して予測画像を生成する処理を実施する。動き補償予測部5は各々のブロックに対応する動きベクトルを格納している動きベクトルバッファ5aを内蔵しており、符号化制御部1により選択された符号化モードがインター符号化モードである場合、動きベクトルバッファ5aの中から、ブロック分割部2により分割された符号化ブロックに対応する動きベクトルを読み出し、その動きベクトルと符号化制御部1から出力されたインター予測パラメータを用いて、ブロック分割部2により分割された符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するとともに、そのインター予測パラメータ当該動きベクトルが格納されているブロックを示すインデックス情報を含むを可変長符号化部13に出力する処理を実施する。また、動き補償予測部5は予測画像を生成する際、ブロック分割部2により分割された符号化ブロックに対応する動きベクトルを読み出すと、次フレームの動き補償予測処理に備えるため、その動きベクトルが指し示す位置のブロックに対応する動きベクトルとして、その符号化ブロックに対応する動きベクトルを動きベクトルバッファ5aに格納する処理を実施する。なお、動き補償予測部5は動き補償予測手段を構成している。図1の例では、動きベクトルバッファ5aが動き補償予測部5に内蔵されているものを示しているが、動きベクトルバッファ5aは、動き補償予測部5の外部に設けられていてもよい。減算部6はブロック分割部2により分割された符号化ブロックから、イントラ予測部4又は動き補償予測部5により生成された予測画像を減算することで、差分画像=符号化ブロック-予測画像を生成する処理を実施する。なお、減算部6は差分画像生成手段を構成している。変換量子化部7は符号化制御部1から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、減算部6により生成された差分画像の変換処理例えば、DCT離散コサイン変換や、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。なお、変換量子化部7は画像圧縮手段を構成している。逆量子化逆変換部8は符号化制御部1から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換量子化部7から出力された圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理例えば、逆DCT逆離散コサイン変換や、逆KL変換等の逆変換処理を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として出力する処理を実施する。加算部9は逆量子化逆変換部8から出力された局所復号予測差分信号とイントラ予測部4又は動き補償予測部5により生成された予測画像を示す予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。イントラ予測用メモリ10はイントラ予測部4により次回のイントラ予測処理で用いられる画像として、加算部9により生成された局所復号画像信号が示す局所復号画像を格納するRAMなどの記録媒体である。ループフィルタ部11は加算部9により生成された局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ12に出力する処理を実施する。動き補償予測フレームメモリ12は動き補償予測部5により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部11によるフィルタリング処理後の局所復号画像を格納するRAMなどの記録媒体である。可変長符号化部13は変換量子化部7から出力された圧縮データと、符号化制御部1から出力された符号化モード及び予測差分符号化パラメータと、イントラ予測部4から出力されたイントラ予測パラメータ又は動き補償予測部5から出力されたインター予測パラメータインデックス情報を含むを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータの符号化データが多重化されているビットストリームを生成する処理を実施する。なお、可変長符号化部13は可変長符号化手段を構成している。図1では、動画像符号化装置の構成要素である符号化制御部1、ブロック分割部2、切替スイッチ3、イントラ予測部4、動き補償予測部5、減算部6、変換量子化部7、逆量子化逆変換部8、加算部9、ループフィルタ部11及び可変長符号化部13のそれぞれが専用のハードウェア例えば、CPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどで構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、符号化制御部1、ブロック分割部2、切替スイッチ3、イントラ予測部4、動き補償予測部5、減算部6、変換量子化部7、逆量子化逆変換部8、加算部9、ループフィルタ部11及び可変長符号化部13の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。図2はこの発明の実施の形態1による動画像符号化装置の処理内容を示すフローチャートである。図3はこの発明の実施の形態1による動画像復号装置を示す構成図である。図3において、可変長復号部21はビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータインデックス情報を含むを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化逆変換部25に出力するとともに、その符号化モード及びイントラ予測パラメータ/インター予測パラメータを切替スイッチ22に出力する処理を実施する。なお、可変長復号部21は可変長復号手段を構成している。切替スイッチ22は可変長復号部21から出力された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、可変長復号部21から出力されたイントラ予測パラメータをイントラ予測部23に出力し、その符号化モードがインター符号化モードである場合、可変長復号部21から出力されたインター予測パラメータを動き補償予測部24に出力する処理を実施する。イントラ予測部23は切替スイッチ22から出力されたイントラ予測パラメータを用いて、当該符号化ブロックに対するイントラ予測処理を実施して予測画像を生成する処理を実施する。動き補償予測部24は各々のブロックに対応する動きベクトルを格納している動きベクトルバッファ24aを内蔵しており、切替スイッチ22から出力された符号化ブロックに係る符号化モードがインター符号化モードである場合、動きベクトルバッファ24aの中から、可変長復号部21により可変長復号された符号化ブロックに係るインデックス情報が示すブロックに対応する動きベクトルを読み出し、その動きベクトルと切替スイッチ22から出力されたインター予測パラメータを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。また、動き補償予測部24は予測画像を生成する際、インデックス情報が示すブロックに対応する動きベクトルを読み出すと、次フレームの動き補償予測処理に備えるため、その動きベクトルが指し示す位置のブロックに対応する動きベクトルとして、そのインデックス情報が示すブロックに対応する動きベクトルを動きベクトルバッファ24aに格納する処理を実施する。なお、動き補償予測部24は動き補償予測手段を構成している。図3の例では、動きベクトルバッファ24aが動き補償予測部24に内蔵されているものを示しているが、動きベクトルバッファ24aは、動き補償予測部24の外部に設けられていてもよい。逆量子化逆変換部25は可変長復号部21から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部21から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理例えば、逆DCT逆離散コサイン変換や、逆KL変換等の逆変換処理を実施することで、逆変換処理後の圧縮データを復号予測差分信号圧縮前の差分画像を示す信号として出力する処理を実施する。なお、逆量子化逆変換部25は差分画像生成手段を構成している。加算部26は逆量子化逆変換部25から出力された復号予測差分信号とイントラ予測部23又は動き補償予測部24により生成された予測画像を示す予測信号を加算することで、復号画像を示す復号画像信号を生成する処理を実施する。なお、加算部26は復号画像生成手段を構成している。イントラ予測用メモリ27はイントラ予測部23により次回のイントラ予測処理で用いられる画像として、加算部26により生成された復号画像信号が示す復号画像を格納するRAMなどの記録媒体である。ループフィルタ部28は加算部26により生成された復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ29に出力する処理を実施する。動き補償予測フレームメモリ29は動き補償予測部24により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部28によるフィルタリング処理後の復号画像を格納するRAMなどの記録媒体である。図3では、動画像復号装置の構成要素である可変長復号部21、切替スイッチ22、イントラ予測部23、動き補償予測部24、逆量子化逆変換部25、加算部26及びループフィルタ部28のそれぞれが専用のハードウェア例えば、CPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどで構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、可変長復号部21、切替スイッチ22、イントラ予測部23、動き補償予測部24、逆量子化逆変換部25、加算部26及びループフィルタ部28の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。図4はこの発明の実施の形態1による動画像復号装置の処理内容を示すフローチャートである。次に動作について説明する。最初に、図1の動画像符号化装置の処理内容を説明する。まず、符号化制御部1は、動き補償予測処理フレーム間予測処理又はイントラ予測処理フレーム内予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する図2のステップST1。符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定する方法が考えられる。また、入力画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。上限の階層数については、例えば、入力画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。また、符号化制御部1は、利用可能な1以上の符号化モードM種類のイントラ符号化モード、N種類のインター符号化モード動き情報を符号化しないインター符号化を含むの中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択するステップST2。符号化制御部1による符号化モードの選択方法は公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。ブロック分割部2は、入力画像を示す映像信号を入力すると、その映像信号が示す入力画像を符号化制御部1により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部1により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。ここで、図5は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。図5の例では、最大サイズの符号化ブロックは、第0階層の符号化ブロックB0であり、輝度成分でL0,M0のサイズを有している。また、図5の例では、最大サイズの符号化ブロックB0を出発点として、4分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックBnを得ている。深さnにおいては、符号化ブロックBnはサイズLn,Mnの画像領域である。ただし、LnとMnは同じであってもよいし異なっていてもよいが、図5の例ではLn=Mnのケースを示している。以降、符号化ブロックBnのサイズは、符号化ブロックBnの輝度成分におけるサイズLn,Mnと定義する。ブロック分割部2は、4分木分割を行うため、常にLn1,Mn1=Ln/2,Mn/2が成立する。ただし、RGB信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号4:4:4フォーマットでは、全ての色成分のサイズがLn,Mnになるが、4:2:0フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズはLn/2,Mn/2である。以降、第n階層の符号化ブロックBnで選択しうる符号化モードをmBnと記する。複数の色成分からなるカラー映像信号の場合、符号化モードmBnは、各色成分ごとに、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、YUV信号、4:2:0フォーマットの符号化ブロックの輝度成分に対する符号化モードのことを指すものとして説明を行う。符号化モードmBnには、1つないし複数のイントラ符号化モード総称してINTRA、1つないし複数のインター符号化モード総称してINTERがあり、符号化制御部1は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックBnに対して最も符号化効率がよい符号化モードを選択する。符号化ブロックBnは、図5に示すように、更に1つないし複数の予測処理単位パーティションに分割される。以降、符号化ブロックBnに属するパーティションをPini:第n階層におけるパーティション番号と表記する。符号化ブロックBnに属するパーティションPinの分割がどのようになされているかは符号化モードmBnの中に情報として含まれる。パーティションPinは、すべて符号化モードmBnに従って予測処理が行われるが、パーティションPin毎に、個別の予測パラメータを選択することができる。符号化制御部1は、最大サイズの符号化ブロックに対して、例えば、図6に示すようなブロック分割状態を生成して、符号化ブロックBnを特定する。図6aの網がけ部分は分割後のパーティションの分布を示し、また、図6bは階層分割後のパーティションに符号化モードmBnが割り当てられる状況を4分木グラフで示している。図6bにおいて、□で囲まれているノードが、符号化モードmBnが割り当てられたノード符号化ブロックBnを示している。切替スイッチ3は、符号化制御部1が各々の符号化ブロックBnのパーティションPinに対して最適な符号化モードmBnを選択すると、その符号化モードmBnがイントラ符号化モードであればステップST3、ブロック分割部2により分割された符号化ブロックBnのパーティションPinをイントラ予測部4に出力する。一方、その符号化モードmBnがインター符号化モードであればステップST3、ブロック分割部2により分割された符号化ブロックBnのパーティションPinを動き補償予測部5に出力する。イントラ予測部4は、切替スイッチ3から符号化ブロックBnのパーティションPinを受けると、符号化制御部1により選択された符号化モードmBnに対応するイントラ予測パラメータを用いて、その符号化ブロックBnのパーティションPinに対するイントラ予測処理を実施して、イントラ予測画像Pinを生成するステップST4。イントラ予測部4は、イントラ予測画像Pinを生成すると、そのイントラ予測画像Pinを減算部6及び加算部9に出力するが、図3の動画像復号装置でも同じイントラ予測画像Pinを生成できるようにするため、そのイントラ予測パラメータを可変長符号化部13に出力する。なお、イントラ予測部4のイントラ予測処理は、例えば、AVC/H.264規格ISO/IEC14496-10に定められているアルゴリズムに従うが、このアルゴリズムに限定されるものではない。動き補償予測部5は、切替スイッチ3から符号化ブロックBnのパーティションPinを受けると、各々のブロックに対応する動きベクトルを格納している動きベクトルバッファ5aの中から、そのパーティションPinに対応する動きベクトルの読み出しを行う。ここで、図7は各々のブロックに対応する動きベクトルを格納している動きベクトルバッファ5aと符号化ブロックBnを示す説明図である。動きベクトルバッファ5aにおける各々のブロックは、符号化ブロックBn内のパーティションPinと対応しており、例えば、図中斜線が施されているパーティションPinに対するイントラ予測処理を実施する場合、そのパーティションPinと空間的に同じ位置にある動きベクトルバッファ5a内のブロック図中、網掛けが施されているブロックに格納されている動きベクトルの読み出しを行う。動き補償予測部5は、動きベクトルバッファ5aの中から、パーティションPinに対応する動きベクトルを含む動き情報を読み出すと、その動き情報と符号化制御部1から出力されたインター予測パラメータを用いて、そのパーティションPinに対する動き補償予測処理を実施して、インター予測画像Pinを生成するステップST5。ここでは、パーティションPinと空間的に同じ位置にある動きベクトルバッファ5a内のブロックに格納されている動き情報を用いる例時間予測を用いる例を示しているが、その動きベクトルを用いるよりも、そのパーティションPinと同じピクチャに属する動きベクトルであって、そのパーティションPinの周辺に位置しているブロックの動き情報を用いる方空間予測を用いる方が、符号化効率が高くなる場合には、その動き情報を用いて、インター予測画像Pinを生成する。動き補償予測部5は、インター予測画像Pinを生成すると、そのインター予測画像Pinを減算部6及び加算部9に出力するが、図3の動画像復号装置でも同じインター予測画像Pinを生成できるようにするため、そのインター予測パラメータを可変長符号化部13に出力する。なお、インター予測パラメータには、下記の情報が含まれている。1符号化ブロックBn内のパーティションPinの分割状況を記述しているモード情報2パーティションPinの動きベクトル3動き補償予測フレームメモリ12により複数の参照画像が格納されている場合、いずれの参照画像を用いて、動き補償予測処理を実施するかを示す参照画像の指示インデックス情報4複数の動きベクトルの予測値候補がある場合例えば、パーティションPinと空間的に同じ位置にある動きベクトルバッファ5a内のブロックに格納されている動きベクトル、パーティションPinと同じピクチャに属する動きベクトル、いずれのブロックの動きベクトルを選択して使用するかを示すインデックス情報5複数の動き補償内挿フィルタがある場合、いずれのフィルタを選択して使用するかを示すインデックス情報6パーティションPinの動きベクトルが複数の画素精度半画素、1/4画素、1/8画素などを示すことが可能な場合、いずれの画素精度を使用するかを示す選択情報また、動き補償予測部5は、インター予測画像Pinを生成すると、次フレームの動き補償予測処理に備えるため、インター予測画像Pinの生成に用いた動き情報パーティションPinに対応する動きベクトル、参照ピクチャインデックスを動きベクトルバッファ5aに格納する。次フレームでは、パーティションPin内の物体が、インター予測画像Pinの生成に用いた動きベクトルが指し示す位置のブロックに移動している可能性が高い。一方、時間予測モードでは、次フレームの動き補償予測処理においても、パーティションPinと空間的に同じ位置にある動きベクトルバッファ5a内のブロックに格納されている動きベクトルが読み出される。そこで、動き補償予測部5は、パーティションPin内の物体が、空間的に異なる位置にあるブロックに移動していても、高精度な動きベクトルを用いることができるようにするため、インター予測画像Pinの生成に用いた動きベクトルを、指し示す位置のブロックに対応する動きベクトルとして、インター予測画像Pinの生成に用いた動きベクトルを動きベクトルバッファ5aに格納する。例えば、インター予測画像Pinの生成に用いた動きベクトルが、図7の太枠で示されるブロックの動きベクトルである場合、この動きベクトルは右上のブロック図中斜線が施されているブロックを指し示しているので、この動きベクトルは、右上のブロックの動きベクトルとして動きベクトルバッファ5aに格納される。具体的には、パーティションPinに対応する動きベクトルがMVx,MVyで表され、パーティションPinの空間的な位置がx,yで表される場合、その動きベクトルを格納するブロックの空間的な位置X,Yは、下記の式2に示されるようになる。X,Y=x,yMVx,MVy2これにより、パーティションPinの動きを考慮して、動き情報を格納することができるため、その後のフレームを符号化する際に時間ベクトルを使用する場合、符号化対象のブロックの動きに近い動きベクトルを予測に用いることができるようになり、符号化効率の向上に寄与することができる。減算部6は、イントラ予測部4又は動き補償予測部5が予測画像イントラ予測画像Pin、インター予測画像Pinを生成すると、ブロック分割部2により分割された符号化ブロックBnのパーティションPinから、イントラ予測部4又は動き補償予測部5により生成された予測画像イントラ予測画像Pin、インター予測画像Pinを減算することで差分画像を生成し、その差分画像を示す予測差分信号einを変換量子化部7に出力するステップST6。変換量子化部7は、減算部6から差分画像を示す予測差分信号einを受けると、符号化制御部1から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、その差分画像の変換処理例えば、DCT離散コサイン変換や、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして逆量子化逆変換部8及び可変長符号化部13に出力するステップST7。逆量子化逆変換部8は、変換量子化部7から差分画像の圧縮データを受けると、符号化制御部1から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理例えば、逆DCT逆離散コサイン変換や、逆KL変換等の逆変換処理を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として加算部9に出力するステップST8。加算部9は、逆量子化逆変換部8から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部4又は動き補償予測部5により生成された予測画像イントラ予測画像Pin、インター予測画像Pinを示す予測信号を加算することで、局所復号パーティション画像、ないしは、その集まりとしての局所復号符号化ブロック画像である局所復号画像を生成するステップST9。加算部9は、局所復号画像を生成すると、その局所復号画像を示す局所復号画像信号をイントラ予測用メモリ10に格納するとともに、その局所復号画像信号をループフィルタ部11に出力する。ステップST3~ST9の処理は、階層的に分割された全ての符号化ブロックBnに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックBnに対する処理が完了するとステップST12の処理に移行するステップST10,ST11。可変長符号化部13は、変換量子化部7から出力された圧縮データと、符号化制御部1から出力された符号化モード符号化ブロックの分割状態を示す情報を含む及び予測差分符号化パラメータと、イントラ予測部4から出力されたイントラ予測パラメータ又は動き補償予測部5から出力されたインター予測パラメータインデックス情報を含むをエントロピー符号化する。可変長符号化部13は、エントロピー符号化の符号化結果である圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータの符号化データを多重化してビットストリームを生成するステップST12。ループフィルタ部11は、加算部9から局所復号画像信号を受けると、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ12に格納するステップST13。ループフィルタ部11によるフィルタリング処理は、加算部9から出力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1画面分のマクロブロックに相当する局所復号画像信号が出力された後に1画面分まとめて行ってもよい。次に、図3の動画像復号装置の処理内容を説明する。可変長復号部21は、図1の動画像符号化装置から出力されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して、1フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズを復号する図4のステップST21。可変長復号部21は、図1の符号化制御部1と同様の手順で、動き補償予測処理フレーム間予測処理又はイントラ予測処理フレーム内予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定するステップST22。例えば、画像符号化装置において、符号化ブロックの最大サイズが、入力画像の解像度に応じて決定されている場合、先に復号しているフレームサイズに基づいて符号化ブロックの最大サイズを決定する。なお、符号化ブロックの最大サイズ及び上限の階層数を示す情報がビットストリームに多重化されている場合には、そのビットストリームから復号した情報を参照する。ビットストリームに多重化されている最大サイズの符号化ブロックB0の符号化モードmB0には、最大サイズの符号化ブロックB0の分割状態を示す情報が含まれているので、可変長復号部21は、ビットストリームに多重化されている最大サイズの符号化ブロックB0の符号化モードmB0を復号して、階層的に分割されている各々の符号化ブロックBnを特定するステップST23。可変長復号部21は、各々の符号化ブロックBnを特定すると、その符号化ブロックBnの符号化モードmBnを復号し、その符号化モードmBnに属しているパーティションPinの情報に基づいて、符号化ブロックBnに属しているパーティションPinを特定する。可変長復号部21は、符号化ブロックBnに属しているパーティションPinを特定すると、パーティションPin毎に、圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータインデックス情報を含むを復号するステップST24。切替スイッチ22は、可変長復号部21から出力された符号化ブロックBnに属しているパーティションPinの符号化モードmBnがイントラ符号化モードである場合ステップST25、可変長復号部21から出力されたイントラ予測パラメータをイントラ予測部23に出力する。一方、パーティションPinの符号化モードmBnがインター符号化モードである場合ステップST25、可変長復号部21から出力されたインター予測パラメータを動き補償予測部24に出力する。イントラ予測部23は、切替スイッチ22からイントラ予測パラメータを受けると、そのイントラ予測パラメータを用いて、その符号化ブロックBnのパーティションPinに対するイントラ予測処理を実施して、イントラ予測画像Pinを生成するステップST26。動き補償予測部24は、切替スイッチ22からインター予測パラメータを受けると、動きベクトルバッファ24aの中から、そのインター予測パラメータに含まれているインデックス情報が示すブロックに対応する動きベクトルの読み出しを行う。図1の動き補償予測部5内の動きベクトルバッファ5aと、動き補償予測部24内の動きベクトルバッファ24aには同じ動きベクトルが格納されているので、動き補償予測部24がインデックス情報を参照して、動きベクトルの読み出し処理を行うことで、図1の動き補償予測部5がインター予測画像Pinを生成する際に用いている動きベクトルと同じ動きベクトルを読み出すことができる。動き補償予測部24は、動きベクトルバッファ24aの中から、パーティションPinに対応する動きベクトルを読み出すと、その動きベクトルと切替スイッチ22から出力されたインター予測パラメータを用いて、符号化ブロックBnのパーティションPinに対する動き補償予測処理を実施して、インター予測画像Pinを生成するステップST27。また、動き補償予測部24は、インター予測画像Pinを生成すると、次フレームの動き補償予測処理に備えるため、図1の動き補償予測部5と同様に、インター予測画像Pinの生成に用いた動き情報パーティションPinに対応する動きベクトル、参照画像インデックスを動きベクトルバッファ24aに格納する。即ち、動き補償予測部24は、パーティションPin内の物体が、空間的に異なる位置にあるブロックに移動していても、高精度な動きベクトルを用いることができるようにするため、インター予測画像Pinの生成に用いた動きベクトルが指し示す位置のブロックに対応する動き情報として、インター予測画像Pinの生成に用いた動き情報を動きベクトルバッファ24aに格納する。例えば、インター予測画像Pinの生成に用いた動き情報が、図7の太枠で示されるブロックの動きベクトルである場合、この動きベクトルは右上のブロック図中斜線が施されているブロックを指し示しているので、この動き情報は、右上のブロックの動き情報として動きベクトルバッファ24aに格納される。具体的には、パーティションPinに対応する動きベクトルがMVx,MVyで表され、パーティションPinの空間的な位置がx,yで表される場合、その動きベクトルを格納するブロックの空間的な位置X,Yは、下記の式3に示されるようになる。X,Y=x,yMVx,MVy3逆量子化逆変換部25は、可変長復号部21から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部21から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理例えば、逆DCT逆離散コサイン変換や、逆KL変換等の逆変換処理を実施することで、逆変換処理後の圧縮データを復号予測差分信号圧縮前の差分画像を示す信号として加算部26に出力するステップST28。加算部26は、逆量子化逆変換部25から復号予測差分信号を受けると、その復号予測差分信号とイントラ予測部23又は動き補償予測部24により生成された予測画像を示す予測信号を加算することで復号画像を生成して、その復号画像を示す復号画像信号をイントラ予測用メモリ27に格納するとともに、その復号画像信号をループフィルタ部28に出力するステップST29。ステップST23~ST29の処理は、階層的に分割された全ての符号化ブロックBnに対する処理が完了するまで繰り返し実施されるステップST30。ループフィルタ部28は、加算部26から復号画像信号を受けると、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ29に格納するステップST31。ループフィルタ部28によるフィルタリング処理は、加算部26から出力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1画面分のマクロブロックに相当する復号画像信号が出力された後に1画面分まとめて行ってもよい。以上で明らかなように、この実施の形態1によれば、動きベクトルが指し示す位置のブロックに対応する動き情報として、その符号化ブロックに対応する動き情報を動きベクトルバッファ5aに格納するように構成したので、動画像符号化装置の動き補償予測部5が予測画像を生成する際、動きベクトルバッファ5aの中から、ブロック分割部2により分割された符号化ブロックに対応する動き情報を読み出すと、符号化ブロック内の物体が、空間的に異なる位置にあるブロックに移動していても、高精度に動きベクトルを生成することができる効果を奏する。また、この実施の形態1によれば、動きベクトルが指し示す位置のブロックに対応する動き情報として、そのインデックス情報が示すブロックに対応する動き情報を動きベクトルバッファ24aに格納するように構成したので、動画像復号装置の動き補償予測部24が予測画像を生成する際、動きベクトルバッファ24aの中から、可変長復号部21により可変長復号された符号化ブロックに係るインデックス情報が示すブロックに対応する動きベクトルを読み出すと、符号化ブロック内の物体が、空間的に異なる位置にあるブロックに移動していても、高精度に動きベクトルを生成することができる効果を奏する。なお、この実施の形態1では、動きベクトルを動きベクトルバッファ5a,24aに格納するものを示したが、動きベクトルの格納は、ブロック単位で保持することが考えられる。この場合、例えば、最小の動き予測単位である4×4単位で保持することが考えられる。この実施の形態1では、動きベクトルMVx,MVyが指し示す位置のブロックに動きベクトルを格納するものを示したが、この場合、異なるパーティションを基点とする複数の動きベクトルが、同じ位置のブロックを指し示すことがある。この場合、当該ブロックの動きベクトルとして、動きベクトルを上書きするようにしてもよいし、信頼性の高い方の動きベクトルを残すようにしてもよい。動きベクトルの信頼性は、例えば、差分ベクトルΔx,Δyの大きさで測ることができる。なお、動きベクトルを上書きすることで、処理量を増やさずに、この実施の形態1を適用することができる。一方、動きベクトルの信頼性を考慮することで、処理量が増えるが、更なる性能改善に寄与することができる。この実施の形態1では、動きベクトルMVx,MVyが指し示す位置のブロックに動きベクトルを格納するようにしているため、どの動きベクトルも指し示さない位置のブロックが存在することが考えられる。この場合、当該ブロックは0ベクトルとしてもよいし、動きベクトルが存在しないため、利用禁止にしてもよい。この実施の形態1では、動き情報を符号化しないモードのベクトル候補をスライスで決定するようにしてもよい。どのベクトルを候補とするかはスライスヘッダに多重する。例えば、時間ベクトルに関しては、パンするような映像では時間ベクトルの効果が低いため、選択候補から外すようにする。逆にカメラが固定な映像では空間ベクトルの効果が大きいため、候補に加えるなどといった方法が考えられる。候補となるベクトルが大きい方が、より原画像に近い予測画像を生成することができるが、動画像符号化装置の処理量が増大するため、効果がないベクトルは予め候補から外しておくなど、映像の局所性を考慮して決定することにより、処理量と符号化効率のバランスを図ることができる。候補となるベクトルの切り替えは、例えば、ベクトル毎にon/offのフラグを設け、そのフラグがonのベクトルのみを候補とする方法が考えられる。選択候補となる動きベクトルは、スライスヘッダで切り替えてもよいし、シーケンスヘッダやピクチャヘッダなど、上位レイヤで切り替えるようにしてもよい。また、選択候補となるセットを一つ以上用意し、その候補セットのインデックスを符号化するようにしてもよい。また、マクロブロックや符号化ブロックごとに切り替えてもよい。マクロブロックや符号化ブロックごとに切り替えることで、局所性を持たせることができ、符号化効率の改善を図ることができる。また、選択候補はパーティションブロックサイズ毎に一意に決定しておいてもよい。一般的に、ブロックサイズが大きくなると空間的な相関が弱くなるため、メディアン予測で決定されるベクトルの予測精度が悪くなると考えられる。そのため、例えば、メディアン予測で決定される動きベクトルを候補から外すことで、符号化効率を落とさずに処理量を減らすことができる。この実施の形態1では、動き情報を符号化しないモードの動きベクトルを生成するものを示したが、これは通常の動きベクトルの符号化に使用する予測ベクトルに使用してもよい。予測ベクトルに使用することで、処理量は増加するが、予測の精度が上がるため、符号化効率を向上させることができる。また、この実施の形態1の動き情報を符号化しないモードでは、2本のベクトルを用いた予測を想定したが、ベクトルの本数は3本以上であってもよい。一般的に、予測画像に用いる参照画像が多いほど性能が向上することが知られている。そのため、処理量は増えるが、符号化効率の向上に寄与する。この実施の形態1では、図5に示すように、符号化ブロックBnのサイズがLn=Mnであるものを示したが、符号化ブロックBnのサイズがLn≠Mnであってもよい。例えば、図8に示すように、符号化ブロックBnのサイズがLn=kMnとなる場合が考えられる。次の分割では、Ln1,Mn1=Ln,Mnとなり、以降の分割は、図5と同様の分割を行ってもよいし、Ln1,Mn1=Ln/2,Mn/2のように分割を行ってもよい図9を参照。また、図10に示すように、図8と図9の分割のどちらかを選択できるようにしてもよい。選択できるようにした場合は、どちらの分割を選択したかを示すフラグを符号化する。このケースは、例えば、非特許文献1のH.264のような16×16を1つのブロックとするものを横に連結するだけで可能であるため、既存方式との互換性を維持することができる。上記では、符号化ブロックBnのサイズがLn=kMnとなる場合を示したが、kLn=Mnのように縦に連結したものであっても、同様の考えで分割が可能であることは言うまでもない。上記実施の形態1では、量子化変換部7、逆量子化逆変換部8,25が予測差分符号化パラメータに含まれている変換ブロックサイズ単位で変換処理逆変換処理を実施するものを示したが、変換ブロックサイズ単位は、変換処理単位によって一意に決定してもよいし、図11に示すように階層構造にしてもよい。この場合、各階層では分割するか否かを示すフラグを符号化する。上記分割は、パーティション単位で行ってもよいし、符号化ブロック単位で行ってもよい。上記変換は、正方形での変換を仮定しているが、長方形など、他の矩形での変換であってもよい。実施の形態2.上記実施の形態1では、動き補償予測部5,24が、動きベクトルが指し示す位置のブロックに対応する動きベクトルとして、符号化ブロックに対応する動きベクトルを動きベクトルバッファ5a,24aに格納するものを示したが、この実施の形態2では、符号化ブロックに対応する動きベクトルの大きさが所定の閾値より大きい場合、その動きベクトルを動きベクトルバッファ5a,24aに格納しないようにすることで、時間ベクトルの信頼性を考慮する方法について述べる。その他の構成は、上記実施の形態1と同様である。図12はこの発明の実施の形態2における時間ベクトルの格納方法を示す説明図である。動き補償予測部5,24は、インター予測画像Pinを生成すると、上述したように、次フレームの動き補償予測処理に備えるため、インター予測画像Pinの生成に用いた動きベクトルパーティションPinに対応する動きベクトルを動きベクトルバッファ5a,24aに格納する。その際、パーティションPinに対応する動きベクトルMVx,MVyの大きさ|MVx,MVy|に対する閾値Thを設け、その動きベクトルMVx,MVyの大きさ|MVx,MVy|が閾値Thより小さければ下記の式4が成立する場合、上記実施の形態1と同様に、その動きベクトルMVx,MVyを動きベクトルバッファ5a,24aに格納するが、その動きベクトルMVx,MVyの大きさ|MVx,MVy|が閾値Th以上であれば下記の式4が成立しない場合、その動きベクトルMVx,MVyを動きベクトルバッファ5a,24aに格納しないようにする。Th<|MVx,MVy|4なお、閾値Thは、例えば、下記の式5のように、ブロックサイズのα倍とすることが考えられる。Th=||×α5ただし、blockwidthはブロックサイズの横の長さを示し、blockheightはブロックサイズの縦の長さを示している。大きな動きベクトルが発生している場合、その動きベクトルを時間ベクトルとして用いるフレームでは、空間的な位置がずれてしまうため、信頼性の低いベクトルとなる。そのため、予め、大きな動きベクトルを排除することで、信頼性の低いベクトルが予測ベクトル候補に含まれることを避けることができ、インデックスの符号量を減らせるため、符号化効率の向上に寄与することができる。この実施の形態2では、閾値Thより小さい動きベクトルを動きベクトルバッファ5a,24aに格納するものを示したが、閾値Thより小さいか否かの判定は、動きベクトルを動きベクトルバッファ5a,24aに格納する時点ではなく、予測ベクトル候補を作成する時点であってもよい。この場合、時間ベクトルのスケーリングを行った後で判定することになるため処理量は増えるが、フレームレートや符号化方式の違いを吸収することができ、符号化効率の向上に寄与することができる。この実施の形態2では、動きベクトルの大きさ|MVx,MVy|と閾値Thを比較するものを示したが、動きベクトルの成分毎に、各成分の閾値Thx,Thyと比較し、動きベクトルのx成分|MVx|が閾値Thxより小さく、かつ、動きベクトルのy成分|MVy|が閾値Thyより小さい場合に、動きベクトルを動きベクトルバッファ5a,24aに格納するようにしてもよい。実施の形態1,2では、時間方向の動き情報を動きベクトルバッファ5a,24aに格納するものを示したが、動きベクトルバッファ5a,24aのメモリ量を削減するために、動きベクトルバッファ5a,24aに格納する動きベクトルのデータサイズを圧縮するようにしてもよい。例えば、最小ブロックサイズが4×4である場合、時間方向の動きベクトルは4×4単位で保持するのが通常であるが、これを16×16単位で保持することが考えられる。上記のように、時間方向の動きベクトルを圧縮して保持する場合、保持する単位よりも小さいブロックサイズで処理を行う際に、参照する位置が正しい位置を示さなくなるという問題がある。そのため、保持する単位よりも小さいブロックの場合の時間方向の動きベクトルを使用しないという処理を行ってもよい。精度の低いベクトルを候補から外すことで、処理量の削減とインデックス符号量の削減という効果がある。また、上記のように、時間方向の動きベクトルを圧縮して保持する場合には、図13に示すように、対象となるブロックに含まれる動き情報のうち、左上の動き情報を保持してもよいし、図14に示すように、ブロックの中央に位置する動き情報を候補としてもよい。あるいは、図15に示すように、あらかじめA~Dのような探索の順番を決めておき、その順番で利用可能な動き情報を探索し、最初に見つけた利用可能な動き情報を保持するようにしてもよい。実施の形態1,2のように、格納された動き情報を用いて、時間ベクトルを生成して符号化を行う場合、参照先のブロックには、動き情報が存在しない場合が考えられる。この場合、時間ベクトルは存在しないとして候補から削除してもよいし、図16に示すように、参照ブロックの空間的に隣接したブロックの時間ベクトルを探索するようにしてもよい。この場合、処理量は増えるが、候補ベクトルの数が増えるので、符号化効率の改善に寄与する。また、必ず時間ベクトルを候補に加えることで、途中からの再生時やパケットロスなどで参照画像がなくなってしまった場合に対してもベクトルの候補数を減らすことなく、復号できるため、エラー耐性が向上する効果もある。実施の形態1、2では、動きベクトル符号化時の予測ベクトルに用いる動きベクトルについて述べたが、これは、スキップモードなど、他のモードを選択した際にも同様の方法で格納した時間ベクトルを使用できることは言うまでもない。なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。"