"予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な1以上の符号化モードの中から、各々の符号化ブロックの符号化方法を定める符号化モードを選択する符号化制御手段と、入力画像を所定のサイズの符号化ブロックに分割するとともに、上記符号化制御手段により決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割手段と、上記ブロック分割手段により分割された符号化ブロックに対応する符号化モードとして、上記符号化制御手段によりダイレクトモードのインター符号化モードが選択された場合、選択可能な1以上の動きベクトルの中から、予測画像の生成に適する動きベクトルを選択し、上記動きベクトルを用いて、上記符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するとともに、その動きベクトルを示すインデックス情報を出力する動き補償予測手段と、上記ブロック分割手段により分割された符号化ブロックと上記動き補償予測手段により生成された予測画像との差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮手段と、上記画像圧縮手段から出力された圧縮データ、上記符号化制御手段により選択された符号化モード及び上記動き補償予測手段から出力されたインデックス情報を可変長符号化して、上記圧縮データ、上記符号化モード及び上記インデックス情報の符号化データが多重化されているビットストリームを生成する可変長符号化手段とを備えた動画像符号化装置。動き補償予測手段は、ブロック分割手段により分割された符号化ブロックに対応する符号化モードとして、符号化制御手段によりダイレクトモード以外のインター符号化モードが選択された場合、上記符号化ブロックと参照画像から動きベクトルを探索し、上記動きベクトルを用いて、上記符号化ブロックに対する動き補償予測処理を実施して予測画像を生成し、可変長符号化手段は、画像圧縮手段から出力された圧縮データ及び上記符号化制御手段により選択された符号化モードを可変長符号化する際、上記動きベクトルを可変長符号化して、上記圧縮データ、上記符号化モード及び上記動きベクトルの符号化データが多重化されているビットストリームを生成することを特徴とする請求項1記載の動画像符号化装置。ブロック分割手段により分割された符号化ブロックに対応する符号化モードとして、符号化制御手段によりイントラ符号化モードが選択された場合、上記符号化ブロックに対するイントラ予測処理を実施して予測画像を生成するイントラ予測手段を設け、差分画像生成手段は、上記ブロック分割手段により分割された符号化ブロックと上記イントラ予測手段又は動き補償予測手段により生成された予測画像との差分画像を生成することを特徴とする請求項1または請求項2記載の動画像符号化装置。符号化制御手段は、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを各々の符号化ブロック毎に決定し、画像圧縮手段は、上記符号化制御手段により決定された変換ブロックサイズ単位で、差分画像生成手段により生成された差分画像の変換処理を実施するとともに、上記符号化制御手段により決定された量子化パラメータを用いて、上記差分画像の変換係数を量子化することで、量子化後の変換係数を上記差分画像の圧縮データとして出力し、可変長符号化手段は、上記画像圧縮手段から出力された圧縮データ、上記符号化制御手段により選択された符号化モード及び動き補償予測手段から出力されたインデックス情報又は動きベクトルを可変長符号化する際、上記符号化制御手段により決定された量子化パラメータ及び変換ブロックサイズを可変長符号化して、上記圧縮データ、上記符号化モード、上記インデックス情報又は上記動きベクトル、上記量子化パラメータ及び上記変換ブロックサイズの符号化データが多重化されているビットストリームを生成することを特徴とする請求項2または請求項3記載の動画像符号化装置。符号化制御手段は、符号化ブロックのブロックサイズ毎に、選択可能な1以上の動きベクトルを示すリストが設定されている場合、上記リストを参照して、選択可能な1以上の動きベクトルを決定することを特徴とする請求項1記載の動画像符号化装置。可変長符号化手段は、選択可能な1以上の動きベクトルを示すリストが変更された場合、変更後のリストを示すリスト情報を符号化して符号化データを生成することを特徴とする請求項5記載の動画像符号化装置。ビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ、符号化モード及びインデックス情報を可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る符号化モードがダイレクトモードのインター符号化モードである場合、選択可能な1以上の動きベクトルの中から、当該符号化ブロックに係るインデックス情報が示す動きベクトルを選択し、上記動きベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像と上記動き補償予測手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段とを備えた動画像復号装置。可変長復号手段は、各々の符号化ブロックに係る圧縮データ、符号化モード及び動きベクトルを可変長復号し、動き補償予測手段は、上記可変長復号手段により可変長復号された符号化ブロックに係る符号化モードがダイレクトモード以外のインター符号化モードである場合、当該符号化ブロックに係る動きベクトルを用いて、上記符号化ブロックに対する動き補償予測処理を実施して予測画像を生成することを特徴とする請求項7記載の動画像復号装置。可変長復号手段により可変長復号された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、上記符号化ブロックに対するイントラ予測処理を実施して予測画像を生成するイントラ予測手段を設け、復号画像生成手段は、上記差分画像生成手段により生成された差分画像と上記イントラ予測手段又は動き補償予測手段により生成された予測画像とを加算して復号画像を生成することを特徴とする請求項7または請求項8記載の動画像復号装置。可変長復号手段は、ビットストリームに多重化されている符号化データから各々の符号化ブロックに係る圧縮データ、符号化モード、インデックス情報又は動きベクトル、量子化パラメータ及び変換ブロックサイズを可変長復号し、差分画像生成手段は、上記可変長復号手段により可変長復号された符号化ブロックに係る量子化パラメータを用いて、当該符号化ブロックに係る圧縮データを逆量子化し、上記変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理を実施することで、圧縮前の差分画像を生成することを特徴とする請求項8または請求項9記載の動画像復号装置。動き補償予測手段は、符号化ブロックのブロックサイズ毎に、選択可能な1以上の動きベクトルを示すリストが設定されている場合、上記リストを参照して、選択可能な1以上の動きベクトルを決定することを特徴とする請求項7記載の動画像復号装置。可変長復号手段は、符号化データから変更後のリストを示すリスト情報を復号し、動き補償予測手段は、上記可変長復号手段により可変長復号されたリスト情報にしたがって、設定されているリストを変更することを特徴とする請求項11記載の動画像復号装置。符号化制御手段が、予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な1以上の符号化モードの中から、各々の符号化ブロックの符号化方法を定める符号化モードを選択する符号化制御処理ステップと、ブロック分割手段が、入力画像を所定のサイズの符号化ブロックに分割するとともに、上記符号化制御処理ステップで決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割処理ステップと、上記ブロック分割処理ステップで分割された符号化ブロックに対応する符号化モードとして、上記符号化制御処理ステップでダイレクトモードのインター符号化モードが選択された場合、動き補償予測手段が、選択可能な1以上の動きベクトルの中から、予測画像の生成に適する動きベクトルを選択し、上記動きベクトルを用いて、上記符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するとともに、その動きベクトルを示すインデックス情報を出力する動き補償予測処理ステップと、差分画像生成手段が、上記ブロック分割処理ステップで分割された符号化ブロックと上記動き補償予測処理ステップで生成された予測画像との差分画像を生成する差分画像生成処理ステップと、画像圧縮手段が、上記差分画像生成処理ステップで生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮処理ステップと、可変長符号化手段が、上記画像圧縮処理ステップで出力された圧縮データ、上記符号化制御処理ステップで選択された符号化モード及び上記動き補償予測処理ステップで出力されたインデックス情報を可変長符号化して、上記圧縮データ、上記符号化モード及び上記インデックス情報の符号化データが多重化されているビットストリームを生成する可変長符号化処理ステップとを備えた動画像符号化方法。可変長復号手段が、ビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ、符号化モード及びインデックス情報を可変長復号する可変長復号処理ステップと、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る符号化モードがダイレクトモードのインター符号化モードである場合、動き補償予測手段が、選択可能な1以上の動きベクトルの中から、当該符号化ブロックに係るインデックス情報が示す動きベクトルを選択し、上記動きベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測処理ステップと、差分画像生成手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成処理ステップと、復号画像生成手段が、上記差分画像生成処理ステップで生成された差分画像と上記動き補償予測処理ステップで生成された予測画像とを加算して復号画像を生成する復号画像生成処理ステップとを備えた動画像復号方法。予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な1以上の符号化モードの中から、各々の符号化ブロックの符号化方法を定める符号化モードを選択する符号化制御手段と、入力画像を所定のサイズの符号化ブロックに分割するとともに、上記符号化制御手段により決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割手段と、上記ブロック分割手段により分割された符号化ブロックに対応する符号化モードとして、上記符号化制御手段によりインター符号化モードが選択された場合、予測画像の生成に適する動きベクトルを探索し、上記動きベクトルを用いて、上記符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測手段と、選択可能な1以上の動きベクトルの中から、動きベクトル符号化に用いる予測ベクトルを選択し、その予測ベクトルを示すインデックス情報を出力する予測ベクトル生成手段と、上記ブロック分割手段により分割された符号化ブロックと上記動き補償予測手段により生成された予測画像との差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮手段と、上記画像圧縮手段から出力された圧縮データ、上記符号化制御手段により選択された符号化モード及び上記予測ベクトル生成手段から出力されたインデックス情報を可変長符号化して、上記圧縮データ、上記符号化モード及び上記インデックス情報の符号化データが多重化されているビットストリームを生成する可変長符号化手段とを備え、上記符号化制御手段は、符号化ブロックのブロックサイズ毎に、選択可能な1以上の動きベクトルを示すリストが設定されている場合、上記リストを参照して、選択可能な1以上の動きベクトルを決定することを特徴とする動画像符号化装置。ビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ、符号化モード及びインデックス情報を可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る符号化モードがインター符号化モードである場合、選択可能な1以上の動きベクトルから構成される候補ベクトルのリストを生成するとともに、上記可変長復号手段により可変長復号されたインデックス情報に基づき、前記候補ベクトルのリストの中から、当該符号化ブロックに係るインデックス情報が指し示す予測ベクトルを得て、上記可変長復号手段により可変長復号された差分動きベクトル情報と前記予測ベクトルから動きベクトルを復号して、該復号した動きベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像と上記動き補償予測手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段とを備え、上記動き補償予測手段は、上記候補ベクトルのリストの生成規則を符号化ブロックのブロックサイズ毎に定めることを特徴とする動画像復号装置。従来の画像符号化装置は以上のように構成されているので、スライスヘッダに設けられたフラグであるdirect_spatial_mv_pred_flagを参照すれば、スライス単位で、時間ダイレクトモードと空間ダイレクトモードを切り替えることができる。しかし、マクロブロック単位では、時間ダイレクトモードと空間ダイレクトモードを切り替えることができないため、或るスライスに属している或るマクロブロックに対する最適なダイレクトモードが例えば空間ダイレクトモードであっても、当該スライスに対応するダイレクトモードが時間ダイレクトモードに決められていれば、当該マクロブロックに対して時間ダイレクトモードを使用しなければならず、最適なダイレクトモードを選択することができない。このような場合、最適なダイレクトモードを選択することができないため、不必要な動きベクトルを符号化しなければならず、符号量が増加してしまうなどの課題があった。この発明は上記のような課題を解決するためになされたもので、所定のブロック単位に最適なダイレクトモードを選択して、符号量を削減することができる動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法を得ることを目的とする。この発明に係る動画像符号化装置は、予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な1以上の符号化モードの中から、各々の符号化ブロックの符号化方法を定める符号化モードを選択する符号化制御手段と、入力画像を所定の符号化ブロックに分割するとともに、符号化制御手段により決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割手段とを設け、ブロック分割手段により分割された符号化ブロックに対応する符号化モードとして、符号化制御手段によりダイレクトモードのインター符号化モードが選択された場合、動き補償予測手段が、選択可能な1以上の動きベクトルの中から、予測画像の生成に適する動きベクトルを選択し、その動きベクトルを用いて、上記符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するとともに、その動きベクトルを示すインデックス情報を可変長符号化手段に出力し、可変長符号化手段がインデックス情報を可変長符号化するようにしたものである。この発明によれば、予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な1以上の符号化モードの中から、各々の符号化ブロックの符号化方法を定める符号化モードを選択する符号化制御手段と、入力画像を所定の符号化ブロックに分割するとともに、符号化制御手段により決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割手段とを設け、ブロック分割手段により分割された符号化ブロックに対応する符号化モードとして、符号化制御手段によりダイレクトモードのインター符号化モードが選択された場合、動き補償予測手段が、選択可能な1以上の動きベクトルの中から、予測画像の生成に適する動きベクトルを選択し、その動きベクトルを用いて、上記符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するとともに、その動きベクトルを示すインデックス情報を可変長符号化手段に出力し、可変長符号化手段がインデックス情報を可変長符号化するように構成したので、所定のブロック単位に最適なダイレクトモードを選択して、符号量を削減することができる効果がある。以下、この発明の実施の形態について図面を参照しながら詳細に説明する。実施の形態1.この実施の形態1では、映像の各フレーム画像を入力し、近接フレーム間で動き補償予測を実施することで得られる予測差分信号に対して直交変換や量子化による圧縮処理を実施した後に可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されたビットストリームを復号する動画像復号装置について説明する。この実施の形態1の動画像符号化装置は、映像信号の空間時間方向の局所的な変化に適応して、映像信号を多様なサイズの領域に分割してフレーム内フレーム間適応符号化を行うことを特徴としている。一般的に映像信号は、空間時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある特定の映像フレーム上では、空や壁などのような比較的広い画像領域中で均一な信号特性を持つ絵柄もあれば、人物や細かいテクスチャを持った絵画など小さい画像領域内で複雑なテクスチャパターンを持つ絵柄も混在することがある。時間的に見ても、空や壁は局所的に時間方向の絵柄の変化が小さいが、動く人物や物体はその輪郭が時間的に剛体非剛体の運動をするため、時間的な変化が大きい。符号化処理は、時間空間的な予測によって信号電力やエントロピーの小さい予測差分信号を生成することで、全体の符号量を削減するが、予測のためのパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。一方、時間的空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを適用すると、予測の誤りが増えるため、予測差分信号の符号量を削減することができない。そこで、時間的空間的に変化の大きい画像信号パターンに対しては、予測対象の領域を小さくして、予測のためのパラメータのデータ量を増やしても予測差分信号の電力エントロピーを低減するほうが望ましい。このような映像信号の一般的な性質に適応した符号化を行うため、この実施の形態1の動画像符号化装置では、所定の最大ブロックサイズから階層的に映像信号の領域を分割して、分割領域毎に予測処理や、予測差分の符号化処理を実施するようにしている。この実施の形態1の動画像符号化装置が処理対象とする映像信号は、輝度信号と2つの色差信号からなるYUV信号や、ディジタル撮像素子から出力されるRGB信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平垂直2次元のディジタルサンプル画素列から構成される任意の映像信号である。各画素の諧調は8ビットでもよいし、10ビット、12ビットなどの諧調であってもよい。ただし、以下の説明においては、特に断らない限り、入力される映像信号がYUV信号であるものとする。また、2つの色差成分U,Vが輝度成分Yに対して、サブサンプルされた4:2:0フォーマットの信号であるものとする。なお、映像の各フレームに対応する処理データ単位をピクチャと称し、この実施の形態1では、ピクチャは順次走査プログレッシブスキャンされた映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、ピクチャは映像フレームを構成する単位であるフィールド画像信号であってもよい。図1はこの発明の実施の形態1による動画像符号化装置を示す構成図である。図1において、符号化制御部1は動き補償予測処理フレーム間予測処理又はイントラ予測処理フレーム内予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。また、符号化制御部1は利用可能な1以上の符号化モード1以上のイントラ符号化モード、1以上のインター符号化モードダイレクトモードのインター符号化モードを含むの中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。なお、符号化制御部1は符号化制御手段を構成している。ブロック分割部2は入力画像を示す映像信号を入力すると、その映像信号が示す入力画像を符号化制御部1により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部1により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する処理を実施する。なお、ブロック分割部2はブロック分割手段を構成している。切替スイッチ3は符号化制御部1により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部2により分割された符号化ブロックをイントラ予測部4に出力し、符号化制御部1により選択された符号化モードがインター符号化モードであれば、ブロック分割部2により分割された符号化ブロックを動き補償予測部5に出力する処理を実施する。イントラ予測部4は切替スイッチ3からブロック分割部2により分割された符号化ブロックを受けると、符号化制御部1から出力されたイントラ予測パラメータを用いて、その符号化ブロックに対するイントラ予測処理を実施して予測画像を生成する処理を実施する。なお、切替スイッチ3及びイントラ予測部4からイントラ予測手段が構成されている。動き補償予測部5はブロック分割部2により分割された符号化ブロックに適する符号化モードとして、符号化制御部1によりダイレクトモードのインター符号化モードが選択された場合、当該符号化ブロックの周囲に位置している符号化済みブロックの動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成するとともに、当該符号化ブロックが参照可能な符号化済みピクチャの動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成し、その空間ダイレクトベクトル又は時間ダイレクトベクトルの中から、参照画像間の相関が高くなる方のダイレクトベクトルを選択し、そのダイレクトベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。また、動き補償予測部5はブロック分割部2により分割された符号化ブロックに適する符号化モードとして、符号化制御部1によりダイレクトモード以外のインター符号化モードが選択された場合、当該符号化ブロックと動き補償予測フレームメモリ12に格納されている参照画像から動きベクトルを探索し、その動きベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。なお、切替スイッチ3及び動き補償予測部5から動き補償予測手段が構成されている。減算部6はブロック分割部2により分割された符号化ブロックから、イントラ予測部4又は動き補償予測部5により生成された予測画像を減算することで、差分画像=符号化ブロック-予測画像を生成する処理を実施する。なお、減算部6は差分画像生成手段を構成している。変換量子化部7は符号化制御部1から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、減算部6により生成された差分画像の変換処理例えば、DCT離散コサイン変換や、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。なお、変換量子化部7は画像圧縮手段を構成している。逆量子化逆変換部8は符号化制御部1から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換量子化部7から出力された圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理例えば、逆DCT逆離散コサイン変換や、逆KL変換等の逆変換処理を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として出力する処理を実施する。加算部9は逆量子化逆変換部8から出力された局所復号予測差分信号とイントラ予測部4又は動き補償予測部5により生成された予測画像を示す予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。イントラ予測用メモリ10はイントラ予測部4により次回のイントラ予測処理で用いられる画像として、加算部9により生成された局所復号画像信号が示す局所復号画像を格納するRAMなどの記録媒体である。ループフィルタ部11は加算器9により生成された局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ12に出力する処理を実施する。動き補償予測フレームメモリ12は動き補償予測部5により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部11によるフィルタリング処理後の局所復号画像を格納するRAMなどの記録媒体である。可変長符号化部13は変換量子化部7から出力された圧縮データと、符号化制御部1から出力された符号化モード及び予測差分符号化パラメータと、イントラ予測部4から出力されたイントラ予測パラメータ又は動き補償予測部5から出力されたインター予測パラメータを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータの符号化データが多重化されているビットストリームを生成する処理を実施する。なお、可変長符号化部13は可変長符号化手段を構成している。図2はこの発明の実施の形態1による動画像符号化装置の動き補償予測部5を示す構成図である。図2において、切替スイッチ21は符号化制御部1により選択された符号化モードがダイレクトモード以外のインターモードである場合、ブロック分割部2により分割された符号化ブロックを動きベクトル探索部22に出力する一方、その符号化モードがダイレクトモードのインターモードである場合、ブロック分割部2により分割された符号化ブロックをダイレクトベクトル生成部23に出力する処理を実施する。なお、ダイレクトベクトル生成部23では、ダイレクトベクトルを生成する際に、ブロック分割部2により分割された符号化ブロックを用いないので、その符号化ブロックをダイレクトベクトル生成部23に出力しないようにしてもよい。動きベクトル探索部22は切替スイッチ21から出力された符号化ブロックと動き補償予測フレームメモリ12に格納されている参照画像を参照しながら、インターモードで最適な動きベクトルを探索し、その動きベクトルを動き補償処理部24に出力する処理を実施する。ダイレクトベクトル生成部23は当該符号化ブロックの周囲に位置している符号化済みブロックの動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成するとともに、当該符号化ブロックが参照可能な符号化済みピクチャの動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成し、その空間ダイレクトベクトル又は時間ダイレクトベクトルの中から、参照画像間の相関が高くなる方のダイレクトベクトルを選択する処理を実施する。動き補償処理部24は動きベクトル探索部22により探索された動きベクトル又はダイレクトベクトル生成部23により選択されたダイレクトベクトルと動き補償予測フレームメモリ12に格納されている1フレーム以上の参照画像を用いて、符号化制御部1から出力されたインター予測パラメータに基づいて動き補償予測処理を実施することで、予測画像を生成する処理を実施する。なお、動き補償処理部24は、動き補償予測処理を実施する際に用いたインター予測パラメータを可変長符号化部13に出力する。符号化制御部1により選択された符号化モードがダイレクトモード以外のインターモードである場合、動きベクトル探索部22により探索された動きベクトルを当該インター予測パラメータに含めて可変長符号化部13に出力する。図3は動き補償予測部5を構成しているダイレクトベクトル生成部23を示す構成図である。図3において、空間ダイレクトベクトル生成部31は符号化済みのブロックの動きベクトル符号化済みのブロックの動きベクトルは、図示せぬ動きベクトルメモリ、あるいは、動き補償予測部5の内部メモリに格納されているの中から、符号化ブロックの周囲に位置している符号化済みのブロックの動きベクトルを読み出し、その動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成する処理を実施する。時間ダイレクトベクトル生成部32は符号化済みのブロックの動きベクトルの中から、符号化ブロックが参照可能な符号化済みピクチャの動きベクトルであって、符号化ブロックと空間的に同じ位置にあるブロックの動きベクトルを読み出し、その動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成する処理を実施する。ダイレクトベクトル判定部33は空間ダイレクトベクトル生成部31により生成された空間ダイレクトベクトルを用いて、空間ダイレクトモードの評価値を算出するとともに、時間ダイレクトベクトル生成部32により生成された時間ダイレクトベクトルを用いて、時間ダイレクトモードの評価値を算出し、その空間ダイレクトモードの評価値と時間ダイレクトモードの評価値を比較して、その空間ダイレクトベクトル又は時間ダイレクトベクトルのいずれか一方を選択する処理を実施する。図4はダイレクトベクトル生成部23を構成しているダイレクトベクトル判定部33を示す構成図である。図4において、動き補償部41は空間ダイレクトベクトル生成部31により生成された空間ダイレクトベクトルを用いて、空間ダイレクトモードのリスト0予測画像例えば、空間ダイレクトモードの前方予測画像と空間ダイレクトモードのリスト1予測画像例えば、空間ダイレクトモードの後方予測画像を生成するとともに、時間ダイレクトベクトル生成部32により生成された時間ダイレクトベクトルを用いて、時間ダイレクトモードのリスト0予測画像例えば、時間ダイレクトモードの前方予測画像と時間ダイレクトモードのリスト1予測画像例えば、時間ダイレクトモードの後方予測画像を生成する処理を実施する。類似度算出部42は空間ダイレクトモードの評価値として、空間ダイレクトモードのリスト0予測画像前方予測画像とリスト1予測画像後方予測画像の類似度を算出するとともに、時間ダイレクトモードの評価値として、時間ダイレクトモードのリスト0予測画像前方予測画像とリスト1予測画像後方予測画像の類似度を算出する処理を実施する。ダイレクトベクトル選択部43は類似度算出部42により算出された空間ダイレクトモードにおけるリスト0予測画像前方予測画像とリスト1予測画像後方予測画像の類似度と、時間ダイレクトモードにおけるリスト0予測画像前方予測画像とリスト1予測画像後方予測画像の類似度とを比較し、空間ダイレクトベクトル又は時間ダイレクトベクトルのうち、リスト0予測画像前方予測画像とリスト1予測画像後方予測画像の類似度が高い方のダイレクトモードのダイレクトベクトルを選択する処理を実施する。図5はこの発明の実施の形態1による動画像復号装置を示す構成図である。図5において、可変長復号部51はビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化逆変換部55に出力するとともに、その符号化モード及びイントラ予測パラメータ/インター予測パラメータを切替スイッチ52に出力する処理を実施する。なお、可変長復号部51は可変長復号手段を構成している。切替スイッチ52は可変長復号部51から出力された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、可変長復号部51から出力されたイントラ予測パラメータをイントラ予測部53に出力し、その符号化モードがインター符号化モードである場合、可変長復号部51から出力されたインター予測パラメータを動き補償予測部54に出力する処理を実施する。イントラ予測部53は切替スイッチ52から出力されたイントラ予測パラメータを用いて、当該符号化ブロックに対するイントラ予測処理を実施して予測画像を生成する処理を実施する。なお、切替スイッチ52及びイントラ予測部53からイントラ予測手段が構成されている。動き補償予測部54は可変長復号部51から出力された符号化ブロックに係る符号化モードがダイレクトモードのインター符号化モードである場合、当該符号化ブロックの周囲に位置している復号済みブロックの動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成するとともに、当該符号化ブロックが参照可能な復号済みピクチャの動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成し、その空間ダイレクトベクトル又は時間ダイレクトベクトルの中から、参照画像間の相関が高くなる方のダイレクトベクトルを選択し、そのダイレクトベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。また、動き補償予測部54は可変長復号部51から出力された符号化ブロックに係る符号化モードがダイレクトモード以外のインター符号化モードである場合、可変長復号部51から出力されたインター予測パラメータに含まれている動きベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。なお、切替スイッチ52及び動き補償予測部54から動き補償予測手段が構成されている。逆量子化逆変換部55は可変長復号部51から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部51から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理例えば、逆DCT逆離散コサイン変換や、逆KL変換等の逆変換処理を実施することで、逆変換処理後の圧縮データを復号予測差分信号圧縮前の差分画像を示す信号として出力する処理を実施する。なお、逆量子化逆変換部55は差分画像生成手段を構成している。加算部56は逆量子化逆変換部55から出力された復号予測差分信号とイントラ予測部53又は動き補償予測部54により生成された予測画像を示す予測信号を加算することで、復号画像を示す復号画像信号を生成する処理を実施する。なお、加算部56は復号画像生成手段を構成している。イントラ予測用メモリ57はイントラ予測部53により次回のイントラ予測処理で用いられる画像として、加算部56により生成された復号画像信号が示す復号画像を格納するRAMなどの記録媒体である。ループフィルタ部58は加算器56により生成された復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ59に出力する処理を実施する。動き補償予測フレームメモリ59は動き補償予測部54により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部58によるフィルタリング処理後の復号画像を格納するRAMなどの記録媒体である。図6はこの発明の実施の形態1による動画像復号装置の動き補償予測部54を示す構成図である。図6において、切替スイッチ61は可変長復号部51から出力された符号化ブロックに係る符号化モードがダイレクトモード以外のインターモードである場合、可変長復号部51から出力されたインター予測パラメータ動きベクトルを含むを動き補償処理部63に出力し、その符号化モードがダイレクトモードのインターモードである場合、可変長復号部51から出力されたインター予測パラメータをダイレクトベクトル生成部62に出力する処理を実施する。ダイレクトベクトル生成部62は当該符号化ブロックの周囲に位置している復号済みブロックの動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成するとともに、当該符号化ブロックが参照可能な復号済みピクチャの動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成し、その空間ダイレクトベクトル又は時間ダイレクトベクトルの中から、参照画像間の相関が高くなる方のダイレクトベクトルを選択する処理を実施する。また、ダイレクトベクトル生成部62は切替スイッチ61から出力されたインター予測パラメータを動き補償処理部63に出力する処理を実施する。なお、ダイレクトベクトル生成部62の内部構成は、図2のダイレクトベクトル生成部23と同じである。動き補償処理部63は切替スイッチ61から出力されたインター予測パラメータに含まれている動きベクトル又はダイレクトベクトル生成部62により選択されたダイレクトベクトルと動き補償予測フレームメモリ59に格納されている1フレームの参照画像を用いて、ダイレクトベクトル生成部62から出力されたインター予測パラメータに基づいて動き補償予測処理を実施することで、予測画像を生成する処理を実施する。図1では、動画像符号化装置の構成要素である符号化制御部1、ブロック分割部2、切替スイッチ3、イントラ予測部4、動き補償予測部5、減算部6、変換量子化部7、逆量子化逆変換部8、加算部9、ループフィルタ部11及び可変長符号化部13のそれぞれが専用のハードウェア例えば、CPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどで構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、符号化制御部1、ブロック分割部2、切替スイッチ3、イントラ予測部4、動き補償予測部5、減算部6、変換量子化部7、逆量子化逆変換部8、加算部9、ループフィルタ部11及び可変長符号化部13の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。図7はこの発明の実施の形態1による動画像符号化装置の処理内容を示すフローチャートである。図5では、動画像復号装置の構成要素である可変長復号部51、切替スイッチ52、イントラ予測部53、動き補償予測部54、逆量子化逆変換部55、加算部56及びループフィルタ部58のそれぞれが専用のハードウェア例えば、CPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどで構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、可変長復号部51、切替スイッチ52、イントラ予測部53、動き補償予測部54、逆量子化逆変換部55、加算部56及びループフィルタ部58の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。図8はこの発明の実施の形態1による動画像復号装置の処理内容を示すフローチャートである。次に動作について説明する。最初に、図1の動画像符号化装置の処理内容を説明する。まず、符号化制御部1は、動き補償予測処理フレーム間予測処理又はイントラ予測処理フレーム内予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する図7のステップST1。符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定する方法が考えられる。また、入力画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。上限の階層数については、例えば、入力画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。また、符号化制御部1は、利用可能な1以上の符号化モードM種類のイントラ符号化モード、N種類のインター符号化モードダイレクトモードのインター符号化モードを含むの中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択するステップST2。符号化制御部1による符号化モードの選択方法は公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。ブロック分割部2は、入力画像を示す映像信号を入力すると、その映像信号が示す入力画像を符号化制御部1により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部1により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。ここで、図9は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。図9の例では、最大サイズの符号化ブロックは、第0階層の符号化ブロックB0であり、輝度成分でL0,M0のサイズを有している。また、図9の例では、最大サイズの符号化ブロックB0を出発点として、4分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックBnを得ている。深さnにおいては、符号化ブロックBnはサイズLn,Mnの画像領域である。ただし、LnとMnは同じであってもよいし異なっていてもよいが、図9の例ではLn=Mnのケースを示している。以降、符号化ブロックBnのサイズは、符号化ブロックBnの輝度成分におけるサイズLn,Mnと定義する。ブロック分割部2は、4分木分割を行うため、常にLn1,Mn1=Ln/2,Mn/2が成立する。ただし、RGB信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号4:4:4フォーマットでは、全ての色成分のサイズがLn,Mnになるが、4:2:0フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズはLn/2,Mn/2である。以降、第n階層の符号化ブロックBnで選択しうる符号化モードをmBnと記する。複数の色成分からなるカラー映像信号の場合、符号化モードmBnは、色成分ごとに、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、YUV信号、4:2:0フォーマットの符号化ブロックの輝度成分に対する符号化モードのことを指すものとして説明を行う。符号化モードmBnには、1つないし複数のイントラ符号化モード総称してINTRA、1つないし複数のインター符号化モード総称してINTERがあり、符号化制御部1は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックBnに対して最も符号化効率がよい符号化モードを選択する。符号化ブロックBnは、図9に示すように、更に1つないし複数の予測処理単位パーティションに分割される。以降、符号化ブロックBnに属するパーティションをPini:第n階層におけるパーティション番号と表記する。符号化ブロックBnに属するパーティションPinの分割がどのようになされているかは符号化モードmBnの中に情報として含まれる。パーティションPinは、すべて符号化モードmBnに従って予測処理が行われるが、パーティションPin毎に、個別の予測パラメータを選択することができる。符号化制御部1は、最大サイズの符号化ブロックに対して、例えば、図10に示すようなブロック分割状態を生成して、符号化ブロックBnを特定する。図10aの網がけ部分は分割後のパーティションの分布を示し、また、図10bは階層分割後のパーティションに符号化モードmBnが割り当てられる状況を4分木グラフで示している。図10bにおいて、□で囲まれているノードが、符号化モードmBnが割り当てられたノード符号化ブロックBnを示している。切替スイッチ3は、符号化制御部1が各々の符号化ブロックBnのパーティションPinに対して最適な符号化モードmBnを選択すると、その符号化モードmBnがイントラ符号化モードであればステップST3、ブロック分割部2により分割された符号化ブロックBnのパーティションPinをイントラ予測部4に出力する。一方、その符号化モードmBnがインター符号化モードであればステップST3、ブロック分割部2により分割された符号化ブロックBnのパーティションPinを動き補償予測部5に出力する。イントラ予測部4は、切替スイッチ3から符号化ブロックBnのパーティションPinを受けると、符号化制御部1により選択された符号化モードmBnに対応するイントラ予測パラメータを用いて、その符号化ブロックBnのパーティションPinに対するイントラ予測処理を実施して、イントラ予測画像Pinを生成するステップST4。イントラ予測部4は、イントラ予測画像Pinを生成すると、そのイントラ予測画像Pinを減算部6及び加算部9に出力するが、図5の動画像復号装置でも同じイントラ予測画像Pinを生成できるようにするため、そのイントラ予測パラメータを可変長符号化部13に出力する。この実施の形態1におけるイントラ予測処理は、AVC/H.264規格ISO/IEC14496-10に定められるアルゴリズムに限定されないが、イントラ予測パラメータとしては、動画像符号化装置側と動画像復号装置側でまったく同じイントラ予測画像を生成するために必要な情報を含む必要がある。動き補償予測部5は、切替スイッチ3から符号化ブロックBnのパーティションPinを受けると、符号化制御部1により選択された符号化モードmBnがダイレクトモードのインター符号化モードであれば、符号化ブロックBnのパーティションPinの周囲に位置している符号化済みブロックの動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成するとともに、符号化ブロックBnが参照可能な符号化済みピクチャの動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成する。そして、動き補償予測部5は、その空間ダイレクトベクトル又は時間ダイレクトベクトルの中から、参照画像間の相関が高くなる方のダイレクトベクトルを選択し、そのダイレクトベクトル及び符号化モードmBnに対応するインター予測パラメータを用いて、符号化ブロックBnのパーティションPinに対する動き補償予測処理を実施して、インター予測画像Pinを生成するステップST5。一方、符号化制御部1により選択された符号化モードmBnがダイレクトモード以外のインター符号化モードであれば、動き補償予測部5は、符号化ブロックBnのパーティションPinと動き補償予測フレームメモリ12に格納されている参照画像から動きベクトルを探索し、その動きベクトル及び符号化モードmBnに対応するインター予測パラメータを用いて、符号化ブロックBnのパーティションPinに対する動き補償予測処理を実施して、インター予測画像Pinを生成するステップST5。動き補償予測部5は、インター予測画像Pinを生成すると、そのインター予測画像Pinを減算部6及び加算部9に出力するが、図5の動画像復号装置でも同じインター予測画像Pinを生成できるようにするため、そのインター予測パラメータを可変長符号化部13に出力する。インター予測画像の生成に用いられたインター予測パラメータには、符号化ブロックBn内のパーティション分割を記述するモード情報各パーティションの動きベクトル動き補償予測フレームメモリ12内に複数の参照画像を含む構成の場合、いずれの参照画像を用いて予測を行うかを示す参照画像指示インデックス情報複数の動きベクトル予測値候補がある場合にいずれの動きベクトル予測値を選択して使用するかを示すインデックス情報複数の動き補償内挿フィルタがある場合にいずれのフィルタを選択して使用するかを示すインデックス情報当該パーティションの動きベクトルが複数の画素精度半画素、1/4画素、1/8画素などを示すことが可能な場合、いずれの画素精度を使用するかを示す選択情報などの情報を含み、動画像復号装置側でまったく同じインター予測画像を生成するために、可変長符号化部13によってビットストリームに多重化される。動き補償予測部5の処理内容の概略は上記の通りであるが、詳細な処理内容は後述する。減算部6は、イントラ予測部4又は動き補償予測部5が予測画像イントラ予測画像Pin、インター予測画像Pinを生成すると、ブロック分割部2により分割された符号化ブロックBnのパーティションPinから、イントラ予測部4又は動き補償予測部5により生成された予測画像イントラ予測画像Pin、インター予測画像Pinを減算することで差分画像を生成し、その差分画像を示す予測差分信号einを変換量子化部7に出力するステップST6。変換量子化部7は、減算部6から差分画像を示す予測差分信号einを受けると、符号化制御部1から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、その差分画像の変換処理例えば、DCT離散コサイン変換や、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして逆量子化逆変換部8及び可変長符号化部13に出力するステップST7。逆量子化逆変換部8は、変換量子化部7から差分画像の圧縮データを受けると、符号化制御部1から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理例えば、逆DCT逆離散コサイン変換や、逆KL変換等の逆変換処理を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号einハット電子出願の関係上、アルファベット文字に付いた^をハットと表記するとして加算部9に出力するステップST8。加算部9は、逆量子化逆変換部8から局所復号予測差分信号einハットを受けると、その局所復号予測差分信号einハットと、イントラ予測部4又は動き補償予測部5により生成された予測画像イントラ予測画像Pin、インター予測画像Pinを示す予測信号を加算することで、局所復号パーティション画像Pinハットないしはその集まりとしての局所復号符号化ブロック画像である局所復号画像を生成するステップST9。加算部9は、局所復号画像を生成すると、その局所復号画像を示す局所復号画像信号をイントラ予測用メモリ10に格納するとともに、その局所復号画像信号をループフィルタ部11に出力する。ステップST3~ST9の処理は、階層的に分割された全ての符号化ブロックBnに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックBnに対する処理が完了するとステップST12の処理に移行するステップST10,ST11。可変長符号化部13は、変換量子化部7から出力された圧縮データと、符号化制御部1から出力された符号化モード符号化ブロックの分割状態を示す情報を含む及び予測差分符号化パラメータと、イントラ予測部4から出力されたイントラ予測パラメータ又は動き補償予測部5から出力されたインター予測パラメータをエントロピー符号化する。可変長符号化部13は、エントロピー符号化の符号化結果である圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータの符号化データを多重化してビットストリームを生成するステップST12。ループフィルタ部11は、加算器9から局所復号画像信号を受けると、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ12に格納するステップST13。ループフィルタ部11によるフィルタリング処理は、加算器9から出力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1画面分のマクロブロックに相当する局所復号画像信号が出力された後に1画面分まとめて行ってもよい。次に、動き補償予測部5の処理内容を詳細に説明する。動き補償予測部5の切替スイッチ21は、符号化制御部1により選択された符号化モードmBnがダイレクトモード以外のインターモードである場合、ブロック分割部2により分割された符号化ブロックBnのパーティションPinを動きベクトル探索部22に出力する。一方、符号化モードmBnがダイレクトモードのインターモードである場合、ブロック分割部2により分割された符号化ブロックBnのパーティションPinをダイレクトベクトル生成部23に出力する。ただし、ダイレクトベクトル生成部23では、ダイレクトベクトルの生成に符号化ブロックBnのパーティションPinを用いないので、当該符号化モードmBnがダイレクトモードのインターモードであっても、符号化ブロックBnのパーティションPinをダイレクトベクトル生成部23に出力しないようにしてもよい。動き補償予測部5の動きベクトル探索部22は、切替スイッチ21から符号化ブロックBnのパーティションPinを受けると、そのパーティションPinと動き補償予測フレームメモリ12に格納されている参照画像を参照しながら、インターモードで最適な動きベクトルを探索し、その動きベクトルを動き補償処理部24に出力する。インターモードで最適な動きベクトルを探索する処理自体は公知の技術であるため詳細な説明を省略する。動き補償予測部5のダイレクトベクトル生成部23は、符号化モードmBnがダイレクトモードである場合、符号化ブロックBnのパーティションPin毎に、空間ダイレクトモードの空間ダイレクトベクトルと時間ダイレクトモードの時間ダイレクトベクトルを生成し、その空間ダイレクトベクトル又は時間ダイレクトベクトルのいずれか一方を動きベクトルとして動き補償処理部24に出力する。なお、符号化ブロックBnに属するパーティションPinの分割状態を示す情報は、上述したように、符号化モードmBnの中に含まれているので、ダイレクトベクトル生成部23は、符号化モードmBnを参照することで、符号化ブロックBnのパーティションPinを特定することができる。即ち、ダイレクトベクトル生成部23の空間ダイレクトベクトル生成部31は、図示せぬ動きベクトルメモリ又は内部メモリにより格納されている符号化済みブロックの動きベクトルの中から、符号化ブロックBnのパーティションPinの周囲に位置している符号化済みブロックの動きベクトルを読み出し、その動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成する。また、ダイレクトベクトル生成部23の時間ダイレクトベクトル生成部32は、符号化済みブロックの動きベクトルの中から、符号化ブロックBnが参照可能な符号化済みピクチャの動きベクトルであって、符号化ブロックBnのパーティションPinと空間的に同じ位置にあるブロックの動きベクトルを読み出し、その動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成する。ここで、図11は時間ダイレクトモードで動きベクトル時間ダイレクトベクトルを生成する方法を示す模式図である。例えば、ピクチャB2の中のブロックMB1が符号化対象のパーティションPinであり、ブロックMB1を時間ダイレクトモードで符号化する場合を想定する。この場合、ピクチャB2の時間軸上後方にある符号化済みピクチャのうち、ピクチャB2に一番近いピクチャP3の動きベクトルであって、ブロックMB1と空間的に同じ位置にあるブロックMB2の動きベクトルMVを用いる。この動きベクトルMVはピクチャP0を参照しており、ブロックMB1を符号化する際に用いる動きベクトルMVL0,MVL1は、以下の式3で求められる。時間ダイレクトベクトル生成部32は、動きベクトルMVL0,MVL1を算出すると、その動きベクトルMVL0,MVL1を時間ダイレクトモードの時間ダイレクトベクトルとしてダイレクトベクトル判定部33に出力する。ただし、時間ダイレクトベクトル生成部32における時間ダイレクトベクトルの生成方法は、図11に示すようなH.264方式を用いてもよいが、これに限るものではなく、他の方法を用いてもよい。図12は空間ダイレクトモードで動きベクトル空間ダイレクトベクトルを生成する方法を示す模式図である。図12において、currentMBは、符号化対象のブロックであるパーティションPinを表している。このとき、符号化対象のブロックの左横の符号化済ブロックAの動きベクトルをMVa、符号化対象のブロックの上の符号化済ブロックBの動きベクトルをMVb、符号化対象のブロックの右上の符号化済ブロックCの動きベクトルをMVcとすると、下記の式4に示すように、これらの動きベクトルMVa,MVb,MVcのメディアン中央値を求めることにより、符号化対象のブロックの動きベクトルMVを算出することができる。MV=medianMVa、MVb、MVc4空間ダイレクトモードでは、リスト0及びリスト1のそれぞれについて動きベクトルを求めるが、どちらも上記の方法を用いて求めることが可能である。空間ダイレクトベクトル生成部31は、上記のようにして、リスト0及びリスト1の動きベクトルMVを算出すると、リスト0及びリスト1の動きベクトルMVを空間ダイレクトモードの空間ダイレクトベクトルとしてダイレクトベクトル判定部33に出力する。ただし、空間ダイレクトベクトル生成部31における空間ダイレクトベクトルの生成方法は、図12に示すようなH.264方式を用いてもよいが、これに限るものではなく、他の方法を用いてもよい。例えば、図13に示すように、メディアン予測の候補として、A1-An、B1-Bnから1つずつと、C,D,Eから1つの3つで、空間ダイレクトベクトルを生成するようにしてもよい。また、空間ダイレクトベクトルの生成に用いるMV候補が違うref_Idxの場合は、図14に示すように、時間方向の距離に応じてスケーリングを行うようにしてもよい。ただし、scaled_MVはスケーリング後のベクトル、MVはスケーリング前の動きベクトル、dxはxまでの時間的な距離を示している。また、Xrは符号化対象のブロックが示す参照画像、Yrはスケーリングの対象となるブロック位置A-Dが示す参照画像を示している。ダイレクトベクトル生成部23のダイレクトベクトル判定部33は、空間ダイレクトベクトル生成部31が空間ダイレクトベクトルを生成すると、その空間ダイレクトベクトルを用いて、空間ダイレクトモードの評価値を算出する。また、ダイレクトベクトル判定部33は、時間ダイレクトベクトル生成部32が時間ダイレクトベクトルを生成すると、その時間ダイレクトベクトルを用いて、時間ダイレクトモードの評価値を算出する。ダイレクトベクトル判定部33は、その空間ダイレクトモードの評価値と時間ダイレクトモードの評価値を比較し、その空間ダイレクトベクトル又は時間ダイレクトベクトルのうち、以下に記載するような判定手段によってダイレクトモードのダイレクトベクトルを選択して動き補償処理部24に出力する。以下、ダイレクトベクトル判定部33の処理内容を具体的に説明する。ダイレクトベクトル判定部33の動き補償部41は、空間ダイレクトベクトル生成部31が空間ダイレクトベクトルMVL0,MVL1を生成すると、その空間ダイレクトベクトルMVL0を用いて、空間ダイレクトモードのリスト0予測画像を生成し、その空間ダイレクトベクトルMVL1を用いて、空間ダイレクトモードのリスト1予測画像を生成する。ここで、図15は前方予測画像と後方予測画像の類似度による評価値の算出例を示す説明図であるが、図15の例では、空間ダイレクトモードのリスト0予測画像として、前方予測画像fspatialを生成し、空間ダイレクトモードのリスト1予測画像として、後方予測画像gspatialを生成している。また、動き補償部41は、時間ダイレクトベクトル生成部32がリスト0及びリスト1の動きベクトルMVである時間ダイレクトベクトルを生成すると、前方の動きベクトルMVである時間ダイレクトベクトルを用いて、時間ダイレクトモードのリスト0予測画像を生成し、後方の動きベクトルMVである時間ダイレクトベクトルを用いて、時間ダイレクトモードの時間ダイレクトモードのリスト1予測画像を生成する。図15の例では、時間ダイレクトモードのリスト0予測画像として、時間ダイレクトモードの前方予測画像ftemporalを生成し、時間ダイレクトモードのリスト1予測画像として、後方予測画像gtemporalを生成している。ここでは、前方向の参照画像を示す参照画像リスト0と、後方向の参照画像を示す参照画像リスト1を用いて、リスト0予測画像として前方予測画像を生成し、リスト1予測画像として後方予測画像を生成するものについて示したが、後方向の参照画像を示す参照画像リスト0と、前方向の参照画像を示す参照画像リスト1を用いて、リスト0予測画像として後方予測画像を生成し、リスト1予測画像として前方予測画像を生成するようにしてもよい。また、前方向の参照画像を示す参照画像リスト0と、更に前方向の参照画像を示す参照画像リスト1を用いて、リスト0予測画像及びリスト1予測画像として、前方予測画像を生成するようにしてもよい詳細は後述する。ダイレクトベクトル判定部33の類似度算出部42は、空間ダイレクトモードのリスト0予測画像とリスト1予測画像を生成すると、下記の式6のように、空間ダイレクトモードの評価値SADspatialを算出する。式6では、説明の便宜上、空間ダイレクトモードのリスト0予測画像が前方予測画像fspatial、空間ダイレクトモードのリスト1予測画像が後方予測画像gspatialとしている。SADspatial=|fspatial-gspatial|6また、類似度算出部42は、時間ダイレクトモードのリスト0予測画像とリスト1予測画像を生成すると、下記の式7のように、時間ダイレクトモードの評価値SADtemporalを算出する。式7では、説明の便宜上、時間ダイレクトモードのリスト0予測画像が前方予測画像ftemporal、時間ダイレクトモードのリスト1予測画像が後方予測画像gtemporalとしている。SADtemporal=|ftemporal-gtemporal|7なお、前方予測画像と後方予測画像間の差分が大きい程、2つの画像間の類似度が低くなり2つの画像の差分絶対値和を示す評価値SADが大きくなる、時間的な相関が低くなる。逆に、前方予測画像と後方予測画像間の差分が小さい程、2つの画像間の類似度が高くなり2つの画像の差分絶対値和を示す評価値SADが小さくなる、時間的な相関が高くなる。また、ダイレクトベクトルで予測する画像は、符号化対象のブロックに似ている画像を予測するはずである。2つのベクトルを用いて予測画像を生成する場合、それぞれのベクトルが予測する画像は符号化対象のブロックに似ているはずであり、これは2つの参照画像の相関が高いことを示している。したがって、評価値SADが小さい方のダイレクトベクトルを選択することで、参照画像間の相関が高いモードを選ぶことができ、ダイレクトモードの精度を高めることができる。ダイレクトベクトル判定部33のダイレクトベクトル選択部43は、類似度算出部42が空間ダイレクトモードの評価値SADspatialと、時間ダイレクトモードの評価値SADtemporalとを算出すると、その評価値SADspatialと評価値SADtemporalを比較することで、空間ダイレクトモードにおける前方予測画像fspatialと後方予測画像gspatialの類似度と、時間ダイレクトモードにおける前方予測画像ftemporalと後方予測画像gtemporalの類似度とを比較する。ダイレクトベクトル選択部43は、空間ダイレクトモードにおける前方予測画像fspatialと後方予測画像gspatialの類似度が、時間ダイレクトモードにおける前方予測画像ftemporalと後方予測画像gtemporalの類似度より高い場合SADspatial≦SADtemporal、空間ダイレクトベクトル生成部31により生成された空間ダイレクトベクトルを選択し、その空間ダイレクトベクトルを動きベクトルとして動き補償処理部24に出力する。一方、時間ダイレクトモードにおける前方予測画像ftemporalと後方予測画像gtemporalの類似度が、空間ダイレクトモードにおける前方予測画像fspatialと後方予測画像gspatialの類似度より高い場合SADspatial>SADtemporal、時間ダイレクトベクトル生成部32により生成された時間ダイレクトベクトルを選択し、その時間ダイレクトベクトルを動きベクトルとして動き補償処理部24に出力する。動き補償処理部24は、符号化モードmBnがダイレクトモードでないとき、動きベクトル探索部22から動きベクトルを受けると、その動きベクトルと動き補償予測フレームメモリ12に格納されている1フレームの参照画像を用いて、符号化制御部1から出力されたインター予測パラメータに基づいて動き補償予測処理を実施することで、予測画像を生成する。一方、符号化モードmBnがダイレクトモードであるとき、ダイレクトベクトル生成部23から動きベクトルダイレクトベクトル選択部43により選択されたダイレクトベクトルを受けると、その動きベクトルと動き補償予測フレームメモリ12に格納されている1フレームの参照画像を用いて、符号化制御部1から出力されたインター予測パラメータに基づいて動き補償予測処理を実施することで、予測画像を生成する。なお、動き補償処理部24の動き補償予測処理は公知の技術であるため詳細な説明を省略する。ここでは、類似度算出部42が差分絶対値和である評価値SADを算出し、ダイレクトベクトル選択部43が評価値SADを比較するものについて示したが、類似度算出部42が評価値として、前方予測画像と後方予測画像間の差分二乗和SSEを算出し、ダイレクトベクトル選択部43が差分二乗和SSEを比較するようにしてもよい。SSEを用いることにより処理量は増えるが、より正確に類似度を算出することが可能となる。次に、図5の画像復号装置の処理内容を説明する。可変長復号部51は、図1の画像符号化装置から出力されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して、1フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズを復号する図8のステップST21。可変長復号部51は、図1の符号化制御部1と同様の手順で、動き補償予測処理フレーム間予測処理又はイントラ予測処理フレーム内予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定するステップST22。例えば、画像符号化装置において、符号化ブロックの最大サイズが、入力画像の解像度に応じて決定されている場合、先に復号しているフレームサイズに基づいて符号化ブロックの最大サイズを決定する。なお、符号化ブロックの最大サイズ及び上限の階層数を示す情報がビットストリームに多重化されている場合には、そのビットストリームから復号した情報を参照する。ビットストリームに多重化されている最大サイズの符号化ブロックB0の符号化モードmB0には、最大サイズの符号化ブロックB0の分割状態を示す情報が含まれているので、可変長復号部51は、ビットストリームに多重化されている最大サイズの符号化ブロックB0の符号化モードmB0を復号して、階層的に分割されている各々の符号化ブロックBnを特定するステップST23。可変長復号部51は、各々の符号化ブロックBnを特定すると、その符号化ブロックBnの符号化モードmBnを復号し、その符号化モードmBnに属しているパーティションPinの情報に基づいて、符号化ブロックBnに属しているパーティションPinを特定する。可変長復号部51は、符号化ブロックBnに属しているパーティションPinを特定すると、パーティションPin毎に、圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータを復号するステップST24。切替スイッチ52は、可変長復号部51から符号化ブロックBnに属しているパーティションPinの符号化モードmBnがイントラ符号化モードである場合ステップST25、可変長復号部51から出力されたイントラ予測パラメータをイントラ予測部53に出力する。一方、パーティションPinの符号化モードmBnがインター符号化モードである場合ステップST25、可変長復号部51から出力されたインター予測パラメータを動き補償予測部54に出力する。イントラ予測部53は、切替スイッチ52からイントラ予測パラメータを受けると、そのイントラ予測パラメータを用いて、その符号化ブロックBnのパーティションPinに対するイントラ予測処理を実施して、イントラ予測画像Pinを生成するステップST26。動き補償予測部54は、切替スイッチ52からインター予測パラメータを受けると、可変長復号部51から出力された符号化モードmBnがダイレクトモードのインター符号化モードであれば、図1の動き補償予測部5と同様に、空間ダイレクトモードの空間ダイレクトベクトルと時間ダイレクトモードの時間ダイレクトベクトルを生成する。動き補償予測部54は、空間ダイレクトモードの空間ダイレクトベクトルと時間ダイレクトモードの時間ダイレクトベクトルを生成すると、図1の動き補償予測部5と同様に、その空間ダイレクトベクトル又は時間ダイレクトベクトルの中から、参照画像間の相関が高くなる方のダイレクトベクトルを選択し、そのダイレクトベクトル及びインター予測パラメータを用いて、符号化ブロックBnのパーティションPinに対する動き補償予測処理を実施して、インター予測画像Pinを生成するステップST27。一方、可変長復号部51から出力された符号化モードmBnがダイレクトモード以外のインター符号化モードであれば、動き補償予測部54の動き補償処理部63が、切替スイッチ52から出力されたインター予測パラメータに含まれている動きベクトルを用いて、符号化ブロックBnのパーティションPinに対する動き補償予測処理を実施して、インター予測画像Pinを生成するステップST27。逆量子化逆変換部55は、可変長復号部51から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部51から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理例えば、逆DCT逆離散コサイン変換や、逆KL変換等の逆変換処理を実施することで、逆変換処理後の圧縮データを復号予測差分信号圧縮前の差分画像を示す信号として加算部56に出力するステップST28。加算部56は、逆量子化逆変換部55から復号予測差分信号を受けると、その復号予測差分信号とイントラ予測部53又は動き補償予測部54により生成された予測画像を示す予測信号を加算することで復号画像を生成して、その復号画像を示す復号画像信号をイントラ予測用メモリ57に格納するとともに、その復号画像信号をループフィルタ部58に出力するステップST29。ステップST23~ST29の処理は、階層的に分割された全ての符号化ブロックBnに対する処理が完了するまで繰り返し実施されるステップST30。ループフィルタ部58は、加算器56から復号画像信号を受けると、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ59に格納するステップST31。ループフィルタ部58によるフィルタリング処理は、加算器56から出力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1画面分のマクロブロックに相当する復号画像信号が出力された後に1画面分まとめて行ってもよい。以上で明らかなように、この実施の形態1によれば、予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な1以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する符号化制御部1と、入力画像を符号化制御部1により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部1により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割するブロック分割部2とを設け、ブロック分割部2により分割された符号化ブロックに適する符号化モードとして、符号化制御部1によりダイレクトモードのインター符号化モードが選択された場合、動き補償予測部5が、当該符号化ブロックの周囲に位置している符号化済みブロックの動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成するとともに、当該符号化ブロックが参照可能な符号化済みピクチャの動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成し、その空間ダイレクトベクトル又は時間ダイレクトベクトルの中から、参照画像間の相関が高くなる方のダイレクトベクトルを選択し、そのダイレクトベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するように構成したので、所定のブロック単位に最適なダイレクトモードを選択して、符号量を削減することができる効果を奏する。また、この実施の形態1によれば、ビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号部51を設け、可変長復号部51により可変長復号された符号化ブロックに係る符号化モードがダイレクトモードのインター符号化モードである場合、動き補償予測部54が、当該符号化ブロックの周囲に位置している復号済みブロックの動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成するとともに、当該符号化ブロックが参照可能な復号済みピクチャの動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成し、その空間ダイレクトベクトル又は時間ダイレクトベクトルの中から、参照画像間の相関が高くなる方のダイレクトベクトルを選択し、そのダイレクトベクトルを用いて、その符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するように構成したので、所定のブロック単位に最適なダイレクトモードを選択することができるような符号化データを復号可能な動画像復号装置が得られる効果を奏する。実施の形態2.上記実施の形態1では、動き補償予測部5,54具体的には、類似度算出部42が、空間ダイレクトモードの評価値SADspatialとして、空間ダイレクトモードの前方予測画像fspatialと後方予測画像gspatialの類似度を算出する一方、時間ダイレクトモードの評価値SADtemporalとして、時間ダイレクトモードの前方予測画像ftemporalと後方予測画像gtemporalの類似度を算出するものについて示したが、空間ダイレクトモードの評価値として、符号化ブロックBnの周囲に位置している符号化済みブロック復号済みブロックの動きベクトルの分散値σspatialを算出する一方、時間ダイレクトモードの評価値として、符号化ブロックBnが参照可能な符号化済みピクチャ復号済みピクチャにおいて、符号化ブロックBnと空間的に同じ位置にあるブロックの周囲に位置している符号化済みブロック復号済みブロックの動きベクトルの分散値σtemporalを算出するようにしてもよく、上記実施の形態1と同様の効果を奏することができる。即ち、類似度算出部42が、空間ダイレクトモードの評価値SADspatialとして、空間ダイレクトモードの前方予測画像fspatialと後方予測画像gspatialの類似度を算出する代わりに、図16aに示すように、符号化ブロックBnの周囲に位置している符号化済みブロック復号済みブロックの動きベクトルの分散値σspatialを算出する下記の式8を参照。また、類似度算出部42が、時間ダイレクトモードの評価値SADtemporalとして、時間ダイレクトモードの前方予測画像ftemporalと後方予測画像gtemporalの類似度を算出する代わりに、図16bに示すように、符号化ブロックBnが参照可能な符号化済みピクチャ復号済みピクチャにおいて、符号化ブロックBnと空間的に同じ位置にあるブロックの周囲に位置している符号化済みブロック復号済みブロックの動きベクトルの分散値σtemporalを算出する下記の式8を参照。また、mはspatial又はtemporalを示す記号である。ダイレクトベクトル選択部43は、動きベクトルの分散値σspatialと動きベクトルの分散値σtemporalとを比較し、動きベクトルの分散値σspatialが動きベクトルの分散値σtemporalより大きい場合、空間ダイレクトモードの動きベクトル空間ダイレクトベクトルの信頼性が低いと判断して、時間ダイレクトモードの動きベクトル時間ダイレクトベクトルを選択する。一方、動きベクトルの分散値σtemporalが動きベクトルの分散値σspatialより大きい場合、時間ダイレクトモードの動きベクトル時間ダイレクトベクトルの信頼性が低いと判断して、空間ダイレクトモードの動きベクトル空間ダイレクトベクトルを選択する。上記実施の形態1では、時間ダイレクトベクトルと空間ダイレクトベクトルを生成し、いずれか一方のダイレクトベクトルを選択するものについて示したが、その時間ダイレクトベクトルや空間ダイレクトベクトルの他に、他のベクトルを候補ベクトルとして加え、それらの候補ベクトルの中からダイレクトベクトルを選択するようにしてもよい。例えば、図17のような空間ベクトルMV_A,MV_B,MV_Cや、時間ベクトルMV_1~MV_8を候補ベクトルに加えて、これらの空間ベクトルや時間ベクトルからダイレクトベクトルを選択するようにしてもよい。また、図18に示すように、複数の符号化済ベクトルから1つのベクトルを生成し、そのベクトルを候補ベクトルに加えるようにしてもよい。このように、候補ベクトルを増やすことで処理量は増加するが、ダイレクトベクトルの確度が向上して、符号化効率を向上させることができる。上記実施の形態1では、特に言及していないが、ダイレクトベクトルの候補をスライス単位に決定するようにしてもよい。どのベクトルを候補とするかを示す情報はスライスヘッダに多重する。例えば、時間ベクトルに関しては、パンするような映像では時間ベクトルの効果が低いため、選択候補から外すようにする一方、カメラが固定な映像では空間ベクトルの効果が大きいため候補に加えるなどの方法が考えられる。候補となるベクトルが多い方が、より原画像に近い予測画像を生成することができるが、エンコーダの処理量が増大するため、効果がないベクトルは予め候補からはずしておくなど、映像の局所性を考慮して決定することにより、処理量と符号化効率のバランスを図ることができる。候補となるベクトルの切り替えは、例えば、ベクトル毎にオン/オフのフラグを設け、そのフラグがオンのベクトルのみを候補とする方法が考えられる。選択候補となる動きベクトルは、スライスヘッダで切り替えてもよいし、シーケンスヘッダやピクチャヘッダなど、上位レイヤで切り替えてもよい。また、選択候補となるセットを一つ以上用意して、その候補セットのインデックスを符号化するようにしてもよい。また、マクロブロックや符号化ブロック毎に切り替えてもよい。マクロブロックや符号化ブロック毎に切り替えることで、局所性を持たせることができ、符号化効率改善の効果がある。また、選択候補はパーティションブロックサイズ毎に一意に決定しておいてもよい。一般的にブロックサイズが小さくなると空間的な相関が弱くなるため、メディアン予測で決定されるベクトルの予測精度が悪くなると考えられる。そのため、例えば、メディアン予測で決定される動きベクトルを候補から外すことで、符号化効率を落とさずに処理量を減らすことができる。上記実施の形態1では、時間ダイレクトベクトルと空間ダイレクトベクトルの双方が存在する場合を想定して説明したが、符号化ブロックBnに対して、イントラ符号化処理を実施している場合などには、動きベクトルが存在しない場合もある。この場合、ゼロベクトルとする方法や、候補から外すなどの方法が考えられる。ゼロベクトルとする場合は、候補が増えるため、符号化効率を向上させることができるが、処理量が増える。ダイレクトベクトルの候補から外す場合は処理量を減らすことができる。上記実施の形態1では、ダイレクトベクトルを生成するものについて示したが、そのダイレクトベクトルを通常の動きベクトルの符号化に使用する予測ベクトルとして使用するようにしてもよい。ダイレクトベクトルを予測ベクトルとして使用することで、処理量は増加するが、予測の精度が上がるため、符号化効率を向上させることができる。上記実施の形態1では、符号化ブロックBnより時間的に前にある画像と、後にある画像とを組み合わせて、評価値SADを算出する例を示したが図15を参照、図19に示すように、時間的に前にある画像のみを組み合わせて、評価値SADを算出するようにしてもよい。また、時間的に後にある画像のみを組み合わせて、評価値SADを算出するようにしてもよい。この場合、時間ベクトルは、下記の式910で表される。また、dは時間的な距離を示し、d0はリスト0の参照画像の時間的距離を示し、d1はリスト0の参照画像の時間的距離を示すものとする。さらに、vcolとdcolは参照画像中で空間的に同じ位置にあるブロックのベクトルと、そのベクトルが示す参照画像の時間的な距離を示すものとする。2つの参照画像リストが同じ参照画像を示している場合であっても、リストに2枚以上の参照画像があれば、図19と同様の方法で適用可能である。上記実施の形態1では、2つの参照画像リストに2枚以上参照画像がある場合を想定しているが、実際は参照画像が1枚しかない場合も考えられる。この場合、2つの参照画像リストに同じ参照画像がセットされていれば、時間ベクトルは使用せずに、空間ベクトルのみで判断することが考えられる。違う参照画像がセットされている場合は前述の方式で対応可能である。上記実施の形態1では、2方向からの予測処理を想定しているが、1方向だけの予測処理でもよい。1方向のベクトルから予測する場合は、どちらのベクトルを使用するかを示す情報を符号化して伝送する。これにより、オクルージョンなどの問題に対処することが可能となり、予測精度の向上に寄与する。上記実施の形態1のダイレクトモードでは、2本のベクトルを用いた予測を想定しているが、ベクトルの本数は3本以上であってもよい。この場合、例えば、複数のベクトル候補のうち、閾値Th以下の評価値SADになる候補の全てを使用して予測画像を生成する方法が考えられる。また、参照画像リストもそのベクトル分保持している。また、閾値Th以下の候補の全てを使用するのではなく、スライスヘッダなどに、予め使用する最大ベクトル数を定めておき、評価値の小さい候補から最大ベクトル数分用いて予測画像を生成するようにしてもよい。一般的に、予測画像に用いる参照画像が多い程、性能が向上することが知られている。そのため、処理量は増えるが、符号化効率の向上に寄与する。上記実施の形態1では、参照画像間の評価によってベクトルを決定しているが、これは空間的に隣接する符号化済の画像と参照画像との比較で評価してもよい。この場合は、図20に示すようなL字型の画像を用いて行うことが考えられる。また、空間的に隣接する画像を用いる場合、パイプライン処理の都合で符号化済みの画像が間に合わない可能性もある。この場合、代わりに予測画像を用いることが考えられる。上記実施の形態1では、図9に示すように、符号化ブロックBnのサイズがLn=Mnであるものを示したが、符号化ブロックBnのサイズがLn≠Mnであってもよい。例えば、図21に示すように、符号化ブロックBnのサイズがLn=kMnとなる場合が考えられる。次の分割では、Ln1,Mn1=Ln,Mnとなり、以降の分割は、図9と同様の分割を行ってもよいし、Ln1,Mn1=Ln/2,Mn/2のように分割を行ってもよい図22を参照。また、図23に示すように、図21と図22の分割のどちらかを選択できるようにしてもよい。選択できるようにした場合は、どちらの分割を選択したかを示すフラグを符号化する。このケースは、例えば、非特許文献1のH.264のような16×16を1つのブロックとするものを横に連結するだけで可能であるため、既存方式との互換性を維持することができる。上記では、符号化ブロックBnのサイズがLn=kMnとなる場合を示したが、kLn=Mnのように縦に連結したものであっても、同様の考えで分割が可能であることは言うまでもない。上記実施の形態1では、変換量子化部7、逆量子化逆変換部8,55が予測差分符号化パラメータに含まれている変換ブロックサイズ単位で変換処理逆変換処理を実施するものを示したが、変換ブロックサイズ単位は、変換処理単位によって一意に決定してもよいし、図24に示すように階層構造にしてもよい。この場合、各階層では分割するか否かを示すフラグを符号化する。上記分割は、パーティション単位で行ってもよいし、符号化ブロック単位で行ってもよい。上記変換は、正方形での変換を仮定しているが、長方形など、他の矩形での変換であってもよい。実施の形態3.上記実施の形態1では、動き補償予測部5,54のダイレクトベクトル生成部23,62が、空間ダイレクトベクトルと時間ダイレクトベクトルを生成するものを示したが、その空間ダイレクトベクトルと時間ダイレクトベクトルを生成する際、初期探索点を決定し、その初期探索点の周囲を探索することで、ダイレクトベクトルを決定するようにしてもよい。図25はこの発明の実施の形態3による動画像符号化装置の動き補償予測部5を示す構成図であり、図において、図2と同一符号は同一または相当部分を示すので説明を省略する。ダイレクトベクトル生成部25は空間ダイレクトベクトルと時間ダイレクトベクトルを生成する処理を実施する。図26は動き補償予測部5を構成しているダイレクトベクトル生成部25を示す構成図である。図26において、初期ベクトル生成部34は符号化済みのブロックの動きベクトルから初期ベクトルを生成する処理を実施する。動きベクトル探索部35は初期ベクトル生成部34により生成された初期ベクトルが示す初期探索点の周囲を探索することで、ダイレクトベクトルを決定する処理を実施する。図27はダイレクトベクトル生成部25を構成している初期ベクトル生成部34を示す構成図である。図27において、空間ベクトル生成部71は例えば図3の空間ダイレクトベクトル生成部31と同様の方法で、符号化済みのブロックの動きベクトルから空間ベクトルを生成する処理を実施する。時間ベクトル生成部72は例えば図3の時間ダイレクトベクトル生成部32と同様の方法で、符号化済みのブロックの動きベクトルから時間ベクトルを生成する処理を実施する。初期ベクトル判定部73は空間ベクトル生成部71により生成された空間ベクトル又は時間ベクトル生成部72により生成された時間ベクトルのいずれか一方を初期ベクトルとして選択する処理を実施する。図28は初期ベクトル生成部34を構成している初期ベクトル判定部73を示す構成図である。図28において、動き補償部81は図4の動き補償部41と同様の方法で、空間ダイレクトモードのリスト0予測画像、空間ダイレクトモードのリスト1予測画像、時間ダイレクトモードのリスト0予測画像及び時間ダイレクトモードのリスト1予測画像を生成する処理を実施する。類似度算出部82は図4の類似度算出部42と同様の方法で、空間評価値として、空間ダイレクトモードのリスト0予測画像とリスト1予測画像の類似度を算出するとともに、時間評価値として、時間ダイレクトモードのリスト0予測画像とリスト1予測画像の類似度を算出する処理を実施する。初期ベクトル決定部83は類似度算出部82により算出された空間評価値と時間評価値を比較し、その比較結果にしたがって、空間ベクトル又は時間ベクトルを選択する処理を実施する。図29はこの発明の実施の形態3による動画像復号装置の動き補償予測部54を示す構成図であり、図において、図6と同一符号は同一または相当部分を示すので説明を省略する。ダイレクトベクトル生成部64は空間ダイレクトベクトルと時間ダイレクトベクトルを生成する処理を実施する。なお、ダイレクトベクトル生成部64の内部構成は、図25のダイレクトベクトル生成部25と同じである。次に動作について説明する。上記実施の形態1と比較して、動き補償予測部5,54のダイレクトベクトル生成部23,62が、ダイレクトベクトル生成部25,64に代えられている点以外は同じであるため、ダイレクトベクトル生成部25,64の処理内容のみを説明する。ただし、ダイレクトベクトル生成部25,64の処理内容は同じであるため、ダイレクトベクトル生成部25の処理内容を説明する。ダイレクトベクトル生成部25の初期ベクトル生成部34は、符号化済みのブロックの動きベクトルから初期ベクトルMV_firstを生成する。即ち、初期ベクトル生成部34の空間ベクトル生成部71は、例えば、図3の空間ダイレクトベクトル生成部31と同様の方法で、符号化済みのブロックの動きベクトルから空間ベクトルを生成する。ただし、他の方法で空間ベクトルを生成するようにしてもよい。初期ベクトル生成部34の時間ベクトル生成部72は、例えば、図3の時間ダイレクトベクトル生成部32と同様の方法で、符号化済みのブロックの動きベクトルから時間ベクトルを生成する。ただし、他の方法で時間ベクトルを生成するようにしてもよい。初期ベクトル生成部34の初期ベクトル判定部73は、空間ベクトル生成部71が空間ベクトルを生成し、時間ベクトル生成部72が時間ベクトルを生成すると、その空間ベクトル又は時間ベクトルの中から、いずれか一方のベクトルを初期ベクトルMV_firstとして選択する。即ち、初期ベクトル判定部73の動き補償部81は、図4の動き補償部41と同様の方法で、空間ダイレクトモードのリスト0予測画像、空間ダイレクトモードのリスト1予測画像、時間ダイレクトモードのリスト0予測画像及び時間ダイレクトモードのリスト1予測画像を生成する。初期ベクトル判定部73の類似度算出部82は、図4の類似度算出部42と同様の方法で、空間評価値として、空間ダイレクトモードのリスト0予測画像とリスト1予測画像の類似度を算出するとともに、時間評価値として、時間ダイレクトモードのリスト0予測画像とリスト1予測画像の類似度を算出する。初期ベクトル判定部73の初期ベクトル決定部83は、類似度算出部82により算出された空間評価値と時間評価値の比較結果を参照することで、空間ベクトル又は時間ベクトルのうち、予測画像間の類似度が高い方のベクトルを選択する。ダイレクトベクトル生成部25の動きベクトル探索部35は、初期ベクトル生成部34が初期ベクトルMV_firstを生成すると、図30に示すように、その初期ベクトルMV_firstが示す初期探索点ブロックを中心に、その周り±nの範囲を探索することで、ダイレクトベクトルを決定する。探索の際の評価は、例えば、図28の類似度算出部82と同等の処理を行うようにしてもよい。この場合、初期ベクトルが示す位置をvとすると、下記の式11のように、探索の評価値SADを算出する。ただし、探索範囲nは固定でもよいし、スライスヘッダなど上位ヘッダで決定してもよい。また、探索点の分布範囲探索範囲を正方形と仮定しているが、矩形でもよいし、ひし形などでもよい。動きベクトル探索部35は、探索の評価値SADを算出すると、探索範囲内において、評価値SADが最も小さい動きベクトルをダイレクトベクトルとして動き補償処理部24に出力する。この実施の形態3では、時間ベクトルと空間ベクトルを生成し、いずれか一方のベクトルを初期ベクトルとして選択するものについて示したが、その時間ベクトルや空間ベクトルの他に、他のベクトルを候補ベクトルとして加え、それらの候補ベクトルの中から初期ベクトルを選択するようにしてもよい。例えば、図17のような空間ベクトルMV_A,MV_B,MV_Cや、時間ベクトルMV_1~MV_8を候補ベクトルに加えて、これらの空間ベクトルや時間ベクトルから初期ベクトルを選択するようにしてもよい。また、図18に示すように、複数の符号化済ベクトルから1つのベクトルを生成し、そのベクトルを候補ベクトルに加えるようにしてもよい。このように、候補ベクトルを増やすことで処理量は増加するが、初期ベクトルの確度が向上して、符号化効率を向上させることができる。この実施の形態3では、ダイレクトベクトルの候補をスライス単位に決定するようにしてもよい。どのベクトルを候補とするか示す情報はスライスヘッダに多重する。例えば、時間ベクトルに関しては、パンするような映像では時間ベクトルの効果が低いため、選択候補から外すようにする一方、カメラが固定な映像では時間ベクトルの効果が大きいため候補に加えるなどの方法が考えられる。候補となるベクトルが多い方が、より原画像に近い予測画像を生成することができるが、エンコーダの処理量が増大するため、効果がないベクトルは予め候補からはずしておくなど、映像の局所性を考慮して決定することにより、処理量と符号化効率のバランスを図ることができる。候補となるベクトルの切り替えは、例えば、ベクトル毎にオン/オフのフラグを設け、そのフラグがオンのベクトルのみを候補とする方法が考えられる。選択候補となる動きベクトルは、スライスヘッダで切り替えてもよいし、シーケンスヘッダやピクチャヘッダなど、上位レイヤで切り替えてもよい。また、選択候補となるセットを一つ以上用意して、その候補セットのインデックスを符号化するようにしてもよい。また、マクロブロックや符号化ブロック毎に切り替えてもよい。マクロブロックや符号化ブロック毎に切り替えることで、局所性を持たせることができ、符号化効率改善の効果がある。また、選択候補はパーティションブロックサイズ毎に一意に決定しておいてもよい。一般的にブロックサイズが小さくなると空間的な相関が弱くなるため、メディアン予測で決定されるベクトルの予測精度が悪くなると考えられる。そのため、例えば、メディアン予測で決定される動きベクトルを候補から外すことで、符号化効率を落とさずに処理量を減らすことができる。この実施の形態3では、時間ベクトルと空間ベクトルの双方が存在する場合を想定して説明したが、符号化ブロックBnに対して、イントラ符号化処理を実施している場合などには、動きベクトルが存在しない場合もある。この場合、ゼロベクトルとする方法や、候補から外すなどの方法が考えられる。ゼロベクトルとする場合は、候補が増えるため、符号化効率を向上させることができるが処理量が増える。ダイレクトベクトルの候補から外す場合は処理量を減らすことができる。この実施の形態3では、ダイレクトベクトルを生成するものについて示したが、そのダイレクトベクトルを通常の動きベクトルの符号化に使用する予測ベクトルとして使用するようにしてもよい。ダイレクトベクトルを予測ベクトルとして使用することで、処理量は増加するが、予測の精度が上がるため、符号化効率を向上させることができる。この実施の形態3では、符号化ブロックBnより時間的に前にある画像と、後にある画像とを組み合わせて、評価値SADを算出する例を示したが図15を参照、図19に示すように、時間的に前にある画像のみを組み合わせて、評価値SADを算出するようにしてもよい。また、時間的に後にある画像のみを組み合わせて、評価値SADを算出するようにしてもよい。この場合、時間ベクトルは、下記の式1213で表される。また、dは時間的な距離を示し、d0はリスト0の参照画像の時間的距離を示し、d1はリスト0の参照画像の時間的距離を示すものとする。さらに、vcolとdcolは参照画像中で空間的に同じ位置にあるブロックのベクトルと、そのベクトルが示す参照画像の時間的な距離を示すものとする。2つの参照画像リストが同じ参照画像を示している場合であっても、図19と同様の方法で適用可能である。この実施の形態3では、2つの参照画像リストに2枚以上参照画像がある場合を想定しているが、実際は参照画像が1枚しかない場合も考えられる。この場合、2つの参照画像リストに同じ参照画像がセットされていれば、時間ベクトルは使用せずに、空間ベクトルのみで判断することが考えられる。違う参照画像がセットされている場合は前述の方式で対応可能である。この実施の形態3では、2方向からの予測処理を想定しているが、1方向だけの予測処理でもよい。1方向のベクトルから予測する場合は、どちらのベクトルを使用するか示す情報を符号化して伝送する。これにより、オクルージョンなどの問題に対処することが可能となり、予測精度の向上に寄与する。この実施の形態3では、2本のベクトルを用いた予測を想定しているが、ベクトルの本数は3本以上であってもよい。この場合、例えば、複数のベクトル候補のうち、閾値Th以下の評価値SADになる候補の全てを使用して予測画像を生成する方法が考えられる。また、閾値Th以下の候補の全てを使用するのではなく、スライスヘッダなどに、予め使用する最大ベクトル数を定めておき、評価値の小さい候補から最大ベクトル数分用いて予測画像を生成するようにしてもよい。この実施の形態3では、参照画像間の評価によってベクトルを決定しているが、これは空間的に隣接する符号化済の画像と参照画像との比較で評価してもよい。この場合は、図20に示すようなL字型の画像を用いて行うことが考えられる。また、空間的に隣接する画像を用いる場合、パイプライン処理の都合で符号化済みの画像が間に合わない可能性もある。この場合、代わりに予測画像を用いることが考えられる。この実施の形態3では、初期ベクトルを決定してから、動きベクトルの探索を行っているが、動きベクトルの探索を行うか否かをスライス単位でフラグを用いて決定するようにしてもよい。この場合、符号化効率が落ちるが、処理量を大きく削減することができる効果がある。ただし、フラグはスライス単位でもよいし、シーケンスやピクチャなどの上位レイヤで決定してもよい。フラグがオフであって、動き探索を行わない場合は、上記実施の形態1と同等の動作を行う。この実施の形態3では、ダイレクトベクトル生成部25,64が、ブロックサイズによらずに行うことを想定しているが、この処理は所定のサイズ以下の場合のみに制限してもよい。所定のサイズ以下に制限するか否かを示すフラグや、どのブロックサイズ以下にするかを示す情報は、スライスなど上位ヘッダに多重してもよいし、最大CUサイズに応じて変化させてもよい。ブロックサイズが小さくなると、参照画像間の相関が低くなり、誤差が大きくなる傾向にある。そのため、どちらのベクトルを選択しても、あまり性能に影響がでないケースも多く、大きなブロックサイズでの処理をオフにすることで、符号化性能を落とすことなく処理量を減らす効果がある。実施の形態4.上記実施の形態1では、動き補償予測部5,54が、符号化ブロックの周囲に位置している符号化済みブロック復号済みブロックの動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成するとともに、当該符号化ブロックが参照可能な符号化済みピクチャ復号済みピクチャの動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成し、その空間ダイレクトベクトル又は時間ダイレクトベクトルの中から、参照画像間の相関が高くなる方のダイレクトベクトルを選択するものについて示したが、動画像符号化装置の動き補償予測部5では、選択可能な1以上の動きベクトルの中から、予測画像の生成に適する動きベクトルを選択し、その動きベクトルを用いて、符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するとともに、その動きベクトルを示すインデックス情報を可変長符号化部13に出力するようにしてもよい。一方、動画像復号装置の動き補償予測部54では、ビットストリームに多重化されているインデックス情報が示す動きベクトルを用いて、符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するようにしてもよい。図31はこの発明の実施の形態4による動画像符号化装置の動き補償予測部5を示す構成図であり、図において、図2と同一符号は同一または相当部分を示すので説明を省略する。ダイレクトベクトル生成部26は選択可能な動きベクトルと、その動きベクトルを示すインデックス情報とが記述されているダイレクトベクトル候補インデックスを参照して、選択可能な1以上の動きベクトルの中から、予測画像の生成に適する動きベクトルを選択し、その動きベクトルをダイレクトベクトルとして動き補償処理部24に出力するとともに、その動きベクトルを示すインデックス情報を可変長符号化部13に出力する処理を実施する。なお、可変長符号化部13は圧縮データや符号化モード等を可変長符号化する際、そのインデックス情報をインター予測パラメータに含めて可変長符号化する。図32はこの発明の実施の形態4による動画像復号装置の動き補償予測部54を示す構成図であり、図において、図6と同一符号は同一または相当部分を示すので説明を省略する。ダイレクトベクトル生成部65は選択可能な動きベクトルと、その動きベクトルを示すインデックス情報とが記述されているダイレクトベクトル候補インデックスを入力し、そのダイレクトベクトル候補インデックスから、インター予測パラメータに含まれているインデックス情報が示す動きベクトルを読み出し、その動きベクトルをダイレクトベクトルとして動き補償処理部63に出力する処理を実施する。次に動作について説明する。上記実施の形態1と比較して、動き補償予測部5,54のダイレクトベクトル生成部23,62が、ダイレクトベクトル生成部26,65に代えられている点以外は同じであるため、ダイレクトベクトル生成部26,65の処理内容のみを説明する。動き補償予測部5のダイレクトベクトル生成部26は、符号化モードmBnがダイレクトモードである場合、符号化ブロックBnのパーティションPin毎に、ダイレクトベクトルを生成する。即ち、ダイレクトベクトル生成部26は、図33に示すようなダイレクトベクトル候補インデックスを参照して、選択可能な1以上の動きベクトルの中から、予測画像の生成に適する動きベクトルを選択する。図33の例では、5個の動きベクトルが選択可能な動きベクトルとして列挙されているが、空間予測では、medianが一番多く選ばれるため、medianにインデックス0が割り当てられている。ダイレクトベクトル生成部26は、予測画像の生成に適する動きベクトルを選択する際、下記の式14に示すように、選択可能な動きベクトルから得られる予測画像と原画像の歪と、選択可能な動きベクトルのインデックス符号量とからコストRを算出し、複数の動きベクトルの中で、コストRが最小の動きベクトルを選択する。ダイレクトベクトル生成部26は、コストRが最小の動きベクトルを選択すると、その動きベクトルをダイレクトベクトルとして動き補償処理部24に出力するとともに、その動きベクトルを示すインデックス情報を可変長符号化部13に出力する。例えば、コストRが最小の動きベクトルとしてmedianを選択していれば、インデックス0を可変長符号化部13に出力し、MV_Aを選択していれば、インデックス1を可変長符号化部13に出力する。可変長符号化部13は、ダイレクトベクトル生成部26からインデックス情報を受けると、圧縮データや符号化モード等を可変長符号化する際、そのインデックス情報をインター予測パラメータに含めて可変長符号化する。動き補償予測部54のダイレクトベクトル生成部65は、符号化モードmBnがダイレクトモードである場合、符号化ブロックBnのパーティションPin毎に、ダイレクトベクトルを生成する。即ち、ダイレクトベクトル生成部65は、図31のダイレクトベクトル生成部26と同じダイレクトベクトル候補インデックスを入力しており例えば、図33のダイレクトベクトル候補インデックス、切替スイッチ61からインデックス情報を含むインター予測パラメータを受けると、そのダイレクトベクトル候補インデックスから、そのインデックス情報が示す動きベクトルを読み出し、その動きベクトルをダイレクトベクトルとして動き補償処理部63に出力する。例えば、インデックス情報がインデックス0であれば、ダイレクトベクトルとしてmedianを出力し、インデックス情報がインデックス1であれば、ダイレクトベクトルとしてMV_Aを出力する。以上で明らかなように、この実施の形態4によれば、選択可能な1以上の動きベクトルの中から、予測画像の生成に適する動きベクトルを選択し、その動きベクトルを用いて、符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するとともに、その動きベクトルを示すインデックス情報を可変長符号化部13に出力するように構成したので、上記実施の形態1と同様に、所定のブロック単位に最適なダイレクトモードを選択して、符号量を削減することができる効果を奏する。この実施の形態4では、選択可能な位置にある動きベクトルが存在する場合を想定して説明したが、符号化ブロックBnに対して、イントラ符号化処理を実施している場合などには、動きベクトルが存在しない場合もある。この場合、ゼロベクトルとする方法や、候補から外すなどの方法が考えられる。ゼロベクトルとする場合は、候補が増えるため、符号化効率を向上させることができるが、処理量が増える。ダイレクトベクトルの候補から外す場合は処理量を減らすことができる。この実施の形態4では、ダイレクトベクトルを生成するものについて示したが、そのベクトルを通常の動きベクトルの符号化に使用する予測ベクトルとして使用するようにしてもよい。予測ベクトルとして使用することで、処理量は増加するが、予測の精度が上がるため、符号化効率を向上させることができる。この実施の形態4では、選択可能な動きベクトルの候補が固定されているが、選択可能な動きベクトルの候補をスライス単位に決定するようにしてもよい。どのベクトルを候補とするか示す情報はスライスヘッダに多重する。例えば、時間ベクトルに関しては、パンするような映像では時間ベクトルの効果が低いため、選択候補から外すようにする一方、カメラが固定な映像では時間ベクトルの効果が大きいため候補に加えるなどの方法が考えられる。候補となるベクトルが多い方が、より原画像に近い予測画像を生成することができるが、エンコーダの処理量が増大するため、効果がないベクトルは予め候補からはずしておくなど、映像の局所性を考慮して決定することにより、処理量と符号化効率のバランスを図ることができる。候補となるベクトルの切り替えは、例えば、ベクトル毎にオン/オフのフラグを設け、そのフラグがオンのベクトルのみを候補とする方法が考えられる。選択候補となる動きベクトルは、スライスヘッダで切り替えてもよいし、シーケンスヘッダやピクチャヘッダなど、上位レイヤで切り替えてもよい。また、選択候補となるセットを一つ以上用意して、その候補セットのインデックスを符号化するようにしてもよい。また、マクロブロックや符号化ブロック毎に切り替えてもよい。マクロブロックや符号化ブロック毎に切り替えることで、局所性を持たせることができ、符号化効率の改善が図られる。この実施の形態4では、インデックスの順序を固定にしているが、インデックスの順序をスライス単位で変更するようにしてもよい。スライスによって選択されるベクトルに偏りがある場合、選択回数が多いベクトルに対して短い符号を割り当てるようにインデックス表を切り替えることで、符号化効率の向上が図られる。切り替え情報の符号化は、個々のベクトルに対して、それぞれ順序を符号化してもよいし、複数のインデックスセットを用意し、どのインデックスセットを用いるかを示す情報を符号化するようにしてもよい。また、デフォルト設定のみを決めておき、デフォルト設定と違う設定を使用するか否かを示すフラグを用意し、そのフラグがオンである場合に限り、インデックスセットを更新して設定を切り替える方法も考えられる。ここでは、スライス単位でインデックスの順序を切り替える例を示しているが、インデックスの順序をシーケンスやピクチャなど上位レイヤで決定してもよいことは言うまでもない。また、パーティションブロックや符号化ブロック毎に切り替えてもよい。マクロブロックや符号化ブロック毎に切り替えることで、局所性を持たせることができ、符号化効率の改善が図られる。また、選択候補は、パーティションブロックサイズ毎に一意に決定しておいてもよい。一般的にブロックサイズが小さくなると空間的な相関が弱くなるため、メディアン予測で決定されるベクトルの予測精度が悪くなると考えられる。そのため、メディアン予測で決定されるインデックスの順序を変更することで、符号化効率の向上を図ることができる。この実施の形態4では、選択可能な動きベクトルが5個用意されているダイレクトベクトル候補インデックスを示したが、6個以上の動きベクトルを候補ベクトルとして用意するようにしてもよいし、5個より少ない動きベクトルを候補ベクトルとして用意してもよい。例えば、図17に示すように、時間ベクトルの近傍のベクトルや、図18に示すように、周囲のベクトルの重み付け加算が行われたベクトルを候補ベクトルとして加えてもよい。この実施の形態4では、2方向からの予測処理を想定しているが、1方向だけの予測処理でもよい。1方向のベクトルから予測する場合は、どちらのベクトルを使用するかを示す情報を符号化して伝送する。これにより、オクルージョンなどの問題に対処することが可能となり、予測精度の向上に寄与する。この実施の形態4では、2本のベクトルを用いる両方向予測を想定しているが、ベクトルの本数は3本以上であってもよい。この場合、例えば、選択した全てのベクトルを示すインデックス情報を符号化してもよいし、逆に選択しないベクトルを示すインデックス情報を符号化してもよい。あるいは、図34に示すように、1本のベクトルのインデックス情報だけを符号化し、そのベクトルが示す参照画像に近い画像を用いる方法が考えられる。この実施の形態4では、複数の動きベクトルの中で、コストRが最小の動きベクトルを選択するものを示したが、下記の式15に示すように、評価値SADkを算出して、その評価値SADkが閾値Th以下である動きベクトルを選択するようにしてもよい。ただし、findexはインデックス情報を符号化しているベクトルが示す参照画像、gkはベクトルMV_kが示す参照画像を表している。ここでは、評価値SADkを用いる例を示しているが、例えば、SSEなどの別の手法で評価するようにしてもよいことは言うまでもない。使用するベクトルの本数を示す情報はスライス単位など上位ヘッダに多重するようにしてもよい。ベクトルの本数が増えると、符号化効率は向上するが、処理量が増えるため、トレードオフの関係にある。また、スライス単位ではなく、符号化ブロックやパーティションなどより細かい単位で設定するようにしてもよい。この場合、画像の局所性に応じて処理量と符号化効率のバランスを図ることができる。この実施の形態4では、複数の選択可能な動きベクトルの中から、予測画像の生成に適する動きベクトルを選択するものを示したが、上記実施の形態3のように、複数の選択可能な動きベクトルの中から、初期ベクトルとして使用する動きベクトルを選択してから、その初期ベクトルの周囲を探索することで、最終的な動きベクトルを決定するようにしてもよい。この場合のダイレクトベクトル生成部26の構成は図35のようになる。図35の初期ベクトル生成部36は、図26の初期ベクトル生成部34に相当する。実施の形態5.この実施の形態5の動き補償予測部5,54は、上記実施の形態1または、実施の形態2,3の機能と、上記実施の形態4の機能とを有し、上記実施の形態1または、実施の形態2,3の機能と上記実施の形態4の機能をスライス単位で切り替えることが可能であり、いずれかの機能を使用して、予測画像を生成することができる。図36はこの発明の実施の形態5による動画像符号化装置の動き補償予測部5を示す構成図であり、図において、図31と同一符号は同一または相当部分を示すので説明を省略する。ダイレクトベクトル生成部27はダイレクトモード切替フラグが、インデックス情報を送信しない旨を示す場合、図2のダイレクトベクトル生成部23または、図25のダイレクトベクトル生成部25と同様の方法で、ダイレクトベクトルを生成する一方、ダイレクトモード切替フラグが、インデックス情報を送信する旨を示す場合、図31のダイレクトベクトル生成部26と同様の方法で、ダイレクトベクトルを生成するとともに、そのダイレクトベクトルを示すインデックス情報を可変長符号化部13に出力する処理を実施する。また、ダイレクトベクトル生成部27はダイレクトモード切替フラグを可変長符号化部13に出力する処理を実施する。図37は動き補償予測部5を構成しているダイレクトベクトル生成部27を示す構成図である。図37において、切替スイッチ91はダイレクトモード切替フラグが、インデックス情報を送信しない旨を示す場合、符号化ブロックBnのパーティションPinを図2のダイレクトベクトル生成部23または、図25のダイレクトベクトル生成部25に相当する部分に出力し、インデックス情報を送信する旨を示す場合、符号化ブロックBnのパーティションPinを図31のダイレクトベクトル生成部26に相当する部分に出力する処理を実施する。図38はこの発明の実施の形態5による動画像復号装置の動き補償予測部54を示す構成図であり、図において、図32と同一符号は同一または相当部分を示すので説明を省略する。ダイレクトベクトル生成部66はインター予測パラメータに含まれているダイレクトモード切替フラグが、インデックス情報を送信しない旨を示す場合、図6のダイレクトベクトル生成部62または、図29のダイレクトベクトル生成部64と同様の方法で、ダイレクトベクトルを生成する一方、ダイレクトモード切替フラグが、インデックス情報を送信する旨を示す場合、図32のダイレクトベクトル生成部65と同様の方法で、ダイレクトベクトルを生成する処理を実施する。次に動作について説明する。動き補償予測部5のダイレクトベクトル生成部27は、図2のダイレクトベクトル生成部23または、図25のダイレクトベクトル生成部25の機能と、図31のダイレクトベクトル生成部26の機能とを有しており、外部から入力されたダイレクトモード切替フラグが、インデックス情報を送信しない旨を示す場合、図2のダイレクトベクトル生成部23または、図25のダイレクトベクトル生成部25と同様の方法で、ダイレクトベクトルを生成し、そのダイレクトベクトルを動き補償処理部24に出力する。また、ダイレクトベクトル生成部27は、そのダイレクトモード切替フラグを可変長符号化部13に出力する。ダイレクトベクトル生成部27は、そのダイレクトモード切替フラグが、インデックス情報を送信する旨を示す場合、図32のダイレクトベクトル生成部65と同様の方法で、ダイレクトベクトルを生成し、そのダイレクトベクトルを動き補償処理部24に出力する。また、ダイレクトベクトル生成部27は、そのダイレクトモード切替フラグとインデックス情報を可変長符号化部13に出力する。可変長符号化部13は、ダイレクトベクトル生成部27からダイレクトモード切替フラグを受けると、圧縮データや符号化モード等を可変長符号化する際、そのダイレクトモード切替フラグをインター予測パラメータに含めて可変長符号化する。また、可変長符号化部13は、ダイレクトベクトル生成部27からダイレクトモード切替フラグとインデックス情報を受けると、圧縮データや符号化モード等を可変長符号化する際、そのダイレクトモード切替フラグとインデックス情報をインター予測パラメータに含めて可変長符号化する。動き補償予測部54のダイレクトベクトル生成部66は、可変長復号部51により復号されたインター予測パラメータを受けると、そのインター予測パラメータに含まれているダイレクトモード切替フラグが、インデックス情報を送信しない旨を示す場合、図6のダイレクトベクトル生成部62または、図29のダイレクトベクトル生成部64と同様の方法で、ダイレクトベクトルを生成する。一方、ダイレクトモード切替フラグが、インデックス情報を送信する旨を示す場合、図32のダイレクトベクトル生成部65と同様の方法で、ダイレクトベクトルを生成する。一般的に、インデックス情報を送信するモードは、インデックス情報を送信しないモードと比べて付加情報が増える。そのため、低レートなど全符号量の中で付加情報の割合が大きい場合には、インデックス情報を送信しないモードの方が性能がよい。一方、高レートの場合など全符号量の中で付加情報の割合が小さい場合には、インデックス情報を付加して最適なダイレクトベクトルを使用する方が、符号化効率の向上が見込まれる。この実施の形態5では、ダイレクトモード切替フラグがインター予測パラメータに含まれるものを示したが、ダイレクトモード切替フラグがスライスヘッダに多重されてもよいし、ピクチャやシーケンスヘッダに多重されてもよい。また、切り替えはパーティションサイズによって決定することも考えられる。一般的にパーティションサイズが大きくなると、動きベクトルなどの付加情報の割合が相対的に小さくなる。そのため、ある一定以上の大きさの場合は、インデックス情報を送信するモードを選択し、それより小さい場合は、インデックス情報を送信しないモードを選択するなどの構成が考えられる。上記のように、パーティションによって決定する場合、符号化ブロックサイズ毎に、どちらを使用するかを示すフラグをスライスヘッダなど上位ヘッダに多重するようにしてもよい。この実施の形態4では、ダイレクトモード切替フラグによって、上記実施の形態1の機能と上記実施の形態4の機能を切り替えるものを示したが、上記実施の形態2の機能と上記実施の形態4の機能を切り替えるようにしてもよいし、上記実施の形態3の機能と上記実施の形態4の機能を切り替えるようにしてもよい。また、上記実施の形態1の機能と上記実施の形態2の機能を切り替えるようにしてもよいし、上記実施の形態1の機能と上記実施の形態3の機能を切り替えるようにしてもよいし、上記実施の形態2の機能と上記実施の形態3の機能を切り替えるようにしてもよい。また、上記実施の形態1~4の機能の中から、任意の機能を選択するようにしてもよい。この実施の形態5では、ダイレクトモード切替フラグによって、上記実施の形態1の機能と上記実施の形態4の機能を切り替えるものを示したが、これは切り替えるのではなくon/offのフラグとして用いてもよい。例えば、実施の形態1を使用するかどうかのon/offフラグとし、onの場合は実施の形態1と実施の形態4をどちらも行い、符号化効率の良い方のモードを選択し、その情報を符号化することが考えられる。このようにすることで画像の局所性に応じてダイレクトモードを切り替えることができ、符号化効率の向上に寄与する効果を奏する。上記では実施の形態1をon/offするとしたが、これは実施の形態4をon/offしてもよい。また、組み合わせは実施の形態2と4、実施の形態3と4の組み合わせでもよい。この実施の形態5では、複数の選択可能な動きベクトルの中から、予測画像の生成に適する動きベクトルを選択するものを示したが、上記実施の形態3のように、複数の選択可能な動きベクトルの中から、初期ベクトルとして使用する動きベクトルを選択してから、その初期ベクトルの周囲を探索することで、最終的な動きベクトルを決定するようにしてもよい。この場合のダイレクトベクトル生成部27の構成は図39のようになる。図39の初期ベクトル生成部37は、図26の初期ベクトル生成部34に相当する。なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。例えば、最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な1以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択すると書いたが、最大サイズあるいは階層数、符号化モードのいずれかもしくは全てをあらかじめ事前に決定しておいてもよい。実施の形態6.上記実施の形態4では、動画像符号化装置における動き補償予測部5のダイレクトベクトル生成部26が、図33に示すようなダイレクトベクトル候補インデックスを参照して、選択可能な1以上の動きベクトルを把握するものを示したが、符号化制御部1が、符号化ブロックのブロックサイズに応じて、選択可能な1以上の動きベクトルリストを生成し、選択可能な1以上の動きベクトルを示すダイレクトベクトル候補リストとダイレクトベクトル候補インデックスを参照することで、ダイレクトモードベクトルを決定してもよい。具体的には、以下の通りである。上述したように、選択可能な1以上の動きベクトルは、例えば、パーティションのブロックサイズ毎に一意に決定することができるが、図40に示すように、符号化ブロックであるパーティションのブロックサイズが大きい場合、周囲のブロックとの相関が高く、逆にパーティションのブロックサイズが小さい場合、周囲のブロックとの相関が低い。したがって、パーティションのブロックサイズが小さい程、選択可能な動きベクトルの候補数を減らすことができる。そこで、符号化制御部1は、図41に示すように、予め、符号化ブロックであるパーティションのブロックサイズ毎に、選択可能な1以上の動きベクトルをリスト化している。図41から明らかなように、パーティションのブロックサイズが小さい程、選択可能な動きベクトルの候補数を減らしており、例えば、ブロックサイズが64のパーティションでは、選択可能な動きベクトルの個数が4であるが、ブロックサイズが8のパーティションでは、選択可能な動きベクトルの個数が2である。図42におけるmedian、MV_A、MV_B、MV_C、temporalは、図33におけるmedian、MV_A、MV_B、MV_C、temporalと対応している。符号化制御部1は、選択可能な1以上の動きベクトルを決定する際、例えば、図41のリストを参照して、符号化対象であるパーティションのブロックサイズに対応する1以上の動きベクトルを特定し、その1以上の動きベクトルを示すダイレクトベクトル候補リストを動き補償予測部5に出力する。例えば、パーティションのブロックサイズが64である場合、選択可能な1以上の動きベクトルとして、MV_A、MV_B、MV_C、temporalを決定する。また、パーティションのブロックサイズが8である場合、選択可能な1以上の動きベクトルとして、median、temporalを決定する。動き補償予測部5のダイレクトベクトル生成部26は、符号化制御部1からダイレクトベクトル候補リストを受けると、上記実施の形態4と同様に、そのダイレクトベクトル候補リストが示す1以上の動きベクトルの中から、予測画像の生成に適する動きベクトルを選択するが、パーティションのブロックサイズが小さい場合、選択可能な動きベクトルの候補数が少ないため、例えば、上記の式15に示すような評価値SADkの算出数などが減り、動き補償予測部5の処理負荷が軽減される。このように、動画像符号化装置の符号化制御部1が、選択可能な1以上の動きベクトルを決定する場合、動画像復号装置においても、動画像符号化装置と全く同じ選択可能な1以上のダイレクトベクトル候補リストを持つ必要がある。動画像復号装置の可変長復号部51は、符号化モードmBnがダイレクトモードである場合、符号化ブロックBnのパーティションPin毎に、そのパーティションのブロックサイズを動き補償予測部54に出力するとともに、ビットストリームから可変長復号したインデックス情報動画像符号化装置の動き補償予測部5で使用された動きベクトルを示す情報を動き補償予測部54に出力する。動き補償予測部54のダイレクトベクトル生成部65は、可変長復号部51からパーティションのブロックサイズを受けると、上記実施の形態4のように、ダイレクトベクトルインデックスを入力し、ブロックサイズに応じて予め決めてある1以上の動きベクトル候補リストからダイレクトモードに用いる動きベクトルを出力する。即ち、ダイレクトベクトル生成部65は、予め、パーティションのブロックサイズ毎に、選択可能な1以上の動きベクトルをリスト化しており図41を参照、選択可能な1以上の動きベクトルを決定する際、図41のリストとダイレクトベクトルインデックスを参照して、今回復号を行うパーティションのブロックサイズに対応する1以上の動きベクトルを出力する。例えば、パーティションのブロックサイズが8であるときに、インデックス情報がインデックス0であれば、ダイレクトベクトルとしてmedianを出力し、インデックス情報がインデックス1であれば、ダイレクトベクトルとしてtemporalを出力する。以上で明らかなように、この実施の形態6によれば、符号化ブロックであるパーティションのブロックサイズに応じて、選択可能な1以上の動きベクトルを決定するように構成したので、周囲のブロックとの相関が低いパーティションでは、予測画像の生成に適する動きベクトル以外の動きベクトルを候補から除くことができるため、処理量の軽減を図ることができる効果を奏する。また、この実施の形態6によれば、選択可能な1以上の動きベクトルを決定する際、パーティションのブロックサイズが小さい程、選択可能な動きベクトルの候補数を減らすように構成したので、予測画像の生成に適する動きベクトル以外の動きベクトルを候補から除くことができるため、処理量の軽減を図ることができる効果を奏する。なお、この実施の形態6では、符号化ブロックであるパーティションのブロックサイズが最大で64の例を示したが、最大のブロックサイズが64以上でもよいし、64未満でもよい。図42は、最大のブロックサイズが128であるリストの一例を示している。図42の例では、符号化制御部1及び動き補償予測部54により保持されるリストは、最大のブロックサイズが128であるが、実際のパーティションのブロックサイズの最大が例えば32であるような場合には、上記リストの中の32以下の部分を参照すればよい。また、この実施の形態6では、符号化ブロックであるパーティションのブロックサイズに応じて、選択可能な1以上の動きベクトルを決定するものを示したが、符号化ブロックの分割パターンに応じて、選択可能な1以上の動きベクトルを決定するようにしてもよく、同様の効果を得ることができる。図43は符号化ブロックの分割パターン毎に、選択可能な1以上の動きベクトルを示すリストの説明図である。例えば、符号化ブロックであるパーティションが、2partH1である場合、選択可能な1以上の動きベクトルとして、MV_A、MV_B、MV_C、temporalを定めているが、符号化ブロックであるパーティションが、2partH2である場合、左のブロックである2partH1とは動きが異なる可能性が高い。そのため、2partH2が選択可能な1以上の動きベクトルの中から、左のブロックの動きベクトルであるMV_Aを削除して、MV_B、MV_C、temporalを定めている。また、この実施の形態6では、時間方向のベクトルを用いているが、これは使用するメモリ量を削減するために、メモリに格納するデータサイズを圧縮してもよい。例えば最小ブロックサイズが4×4である場合、時間方向のベクトルは4×4単位で保持するのが通常であるが、これをさらに大きいブロックサイズで保持することが考えられる。上記のように時間方向のベクトルを圧縮して保持するとき、保持する単位よりも小さいブロックサイズで処理を行う場合、参照する位置が正しい位置を示さなくなるという問題がある。そのため、保持する単位よりも小さいブロックの場合の時間方向ベクトルを使用しない、という処理を行ってもよい。精度の低いベクトルを候補から外すことで、処理量の削減とインデックス符号量の削減という効果がある。また、この実施の形態6では、ダイレクトモードベクトルについて述べたが、これは通常の動きベクトル符号化に用いる予測ベクトルの決定に対して、同様の方式を用いてもよい。この方式を用いることで、処理量軽減と符号化効率改善の両面で効果がある。また、この実施の形態6で、ダイレクトベクトルの生成あるいは予測ベクトルの決定に用いる複数のベクトル候補に対して、ダイレクトベクトルあるいは予測したいベクトルのref_Idxと候補ベクトルのref_Idxが異なる参照先のピクチャが異なる場合に、図14に示すように、候補ベクトルに対して時間方向の距離に応じてスケーリング処理を行うように構成してもよい。ref_Idxが同じ場合は、時間方向の距離に応じたスケーリング処理は行わない。ただし、scaled_MVはスケーリング後のベクトル、MVはスケーリング前の動きベクトル、dxはxまでの時間的な距離を示している。また、Xrは符号化対象のブロックが示す参照画像、Yrはスケーリングの対象となるブロック位置A-Dが示す参照画像を示している。また、空間ベクトル候補は、図49に示すように、対象となるブロックからインター符号化されているブロックを探索し、そのブロック内に含まれる全てのベクトルを候補として使用するように構成してもよい。上述のように、ダイレクトベクトルあるいは予測したいベクトルの指すべき先の参照ピクチャと、これら候補ベクトルの指す参照ピクチャが同一の場合と異なる場合があり得るが、同一の参照ピクチャを指す候補ベクトルだけを候補として使用するように構成してもよいし、スケーリング処理で同一参照ピクチャを指すように補正を行うように構成してもよい。前者の場合は処理量を増やさずに精度の低いベクトルを候補から外す効果がある。後者の場合は、探索する分処理量は増えるが、選択候補を増やすことができるため符号量削減効果がある。また、式16のようなスケーリングを行う場合、インター符号化されているブロックを見つけた時点で、ダイレクトベクトルあるいは予測したいベクトルのref_Idxとは異なるref_Idxである候補ベクトルはスケーリングを行う同じref_Idxの場合はスケーリングを行わないとしてもよいし、すべて探索した後で、同じref_Idxである候補ベクトルがなかった場合のみスケーリングを行うとしてもよい。処理量は増えるものの精度を高めたベクトルを候補に加えることが可能となるため、符号量削減効果がある。実施の形態7.上記実施の形態6では、動画像符号化装置の符号化制御部1及び動画像復号装置の動き補償予測部54が、予め、選択可能な動きベクトルを示すリストを保持しているものを示したが、動画像符号化装置の可変長符号化部13が、そのリストを示すリスト情報を可変長符号化し、そのリスト情報の符号化データを、例えば、スライスヘッダに多重して、動画像復号装置側に伝送するようにしてもよい。この場合、動画像復号装置の可変長復号部51は、スライスヘッダに多重されている符号化データからリスト情報を可変長復号して、そのリスト情報が示すリストを動き補償予測部54のダイレクトベクトル生成部65に出力することになる。このように、リストを示すリスト情報をスライス単位あるいは、シーケンスやピクチャ単位などでもよいで動画像復号装置側に伝送するようにしてもよいが、符号化制御部1により保持されているリストが変更された場合にだけ、変更後のリストを示すリスト情報を動画像復号装置側に伝送するようにしてもよい。以下、具体的に処理内容を説明する。図44は動画像符号化装置におけるリスト情報の送信処理を示すフローチャートであり、図45は動画像復号装置におけるリスト情報の受信処理を示すフローチャートである。動画像符号化装置の符号化制御部1は、上記実施の形態6と同様に、符号化ブロックであるパーティションのブロックサイズに応じて、選択可能な1以上の動きベクトルを決定するが、動きベクトルを決定する際に参照するリストが変更されているか否かを確認し、リストが前回と同じであれば図44のステップST41、前回とリストが同じである旨を動画像復号装置側に通知するため、変更フラグをオフに設定するステップST42。可変長符号化部13は、符号化制御部1が変更フラグをオフに設定すると、オフの変更フラグを符号化して、その符号化データを動画像復号装置側に伝送するステップST43。符号化制御部1は、前回とリストが異なる場合ステップST41、前回とリストが異なる旨を動画像復号装置側に通知するため、変更フラグをオンに設定するステップST44。可変長符号化部13は、符号化制御部1が変更フラグをオンに設定すると、オンの変更フラグと変更後のリストを示すリスト情報を符号化して、その符号化データを動画像復号装置側に伝送するステップST45。図46はリスト内のtemporalが選択可から選択不可に変更されているために、オンの変更フラグと変更後のリストを示すリスト情報を符号化している例を示している。動画像復号装置の可変長復号部51は、符号化データから変更フラグを復号し図45のステップST51、その変更フラグがオフであればステップST52、オフの変更フラグを動き補償予測部54に出力する。動き補償予測部54は、可変長復号部51からオフの変更フラグを受けると、前回とリストが同じであると認識し、現在保持しているリストを参照対象に設定するステップST53。したがって、動き補償予測部54は、現在保持しているリストを参照して、今回復号を行うパーティションのブロックサイズに対応する1以上の動きベクトルを決定する。動画像復号装置の可変長復号部51は、変更フラグがオンであればステップST52、符号化データからリスト情報を復号し、オンの変更フラグとリスト情報を動き補償予測部54に出力するステップST54。動き補償予測部54は、可変長復号部51からオンの変更フラグとリスト情報を受けると、前回とリストが異なると認識し、そのリスト情報にしたがって現在保持しているリストを変更して、変更後のリストを参照対象に設定するステップST55。したがって、動き補償予測部54は、変更後のリストを参照して、今回復号を行うパーティションのブロックサイズに対応する1以上の動きベクトルを決定する。図47は変更フラグがオンであるため、現在保持しているリストを変更している例を示している。以上で明らかなように、この実施の形態7によれば、選択可能な1以上の動きベクトルを示すリストが変更された場合に限り、変更後のリストを示すリスト情報を符号化して符号化データを生成するように構成したので、符号量の大幅な増加を招くことなく、リストの変更を受け付ける機能を実装することができる効果を奏する。この実施の形態7では、リストが示す選択可能な動きベクトルの一部が変更された場合でも、変更後のリストの全体を示すリスト情報を符号化する例を示したが、図48に示すように、ブロックサイズ毎に変更フラグを用意し、選択可能な動きベクトルが変更されたブロックサイズの変更フラグをオンにして、当該ブロックサイズに係るリスト情報だけを符号化するようにしてもよい。図48の例では、ブロックサイズが64と8における動きベクトルは変更されていないため、変更フラグはオフであり、当該ブロックサイズに係るリスト情報は符号化されない。一方、ブロックサイズが32と16における動きベクトルは変更されているため、変更フラグはオンであり、当該ブロックサイズに係るリスト情報は符号化されている。なお、いずれかのブロックサイズの変更フラグがオンである場合に限り、ブロックサイズ単位の変更フラグを符号化するようにして、いずれのブロックサイズの変更フラグもオフである場合には、リスト単位の変更フラグオフの変更フラグだけを符号化するようにしてもよい。また、リスト単位の変更フラグを用いずに、ブロックサイズ単位の変更フラグだけを符号化するようにしてもよい。ここでは、ブロックサイズ毎に、選択可能な動きベクトルを変更できる例を示したが、符号化ブロックの分割パターン毎に、選択可能な動きベクトルを変更できるようにしてもよい。"