"予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な1以上の符号化モードの中から、各々の符号化ブロックの符号化方法を定める符号化モードを選択する符号化制御手段と、入力画像を所定のサイズの符号化ブロックに分割するとともに、上記符号化制御手段により決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割手段と、上記ブロック分割手段により分割された符号化ブロックに対応する符号化モードとして、上記符号化制御手段によりインター符号化モードが選択された場合、選択可能な1以上の動きベクトルの中から、所定の動きベクトルを選択し、上記動きベクトルを用いて、上記符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するとともに、その動きベクトルを示すインデックス情報を出力する動き補償予測手段と、上記ブロック分割手段により分割された符号化ブロックと上記動き補償予測手段により生成された予測画像との差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮手段と、上記画像圧縮手段から出力された圧縮データ、上記符号化制御手段により選択された符号化モード及び上記動き補償予測手段から出力されたインデックス情報を可変長符号化して、上記圧縮データ、上記符号化モード及び上記インデックス情報の符号化データが多重化されたビットストリームを生成する可変長符号化手段とを備え、上記動き補償予測手段は、上記符号化ブロックに対する動き補償予測処理を実施する際、上記符号化ブロックを分割して、各々の分割ブロックに対して動き補償予測処理を実施する場合、上記符号化ブロックの分割形状に応じて、選択可能な1以上の動きベクトルを示すインデックス情報の値を変更することを特徴とする動画像符号化装置。動き補償予測手段は、選択可能な1以上の動きベクトルの中で、予測精度が高い動きベクトルを示すインデックス情報ほど、小さな値を割り当てることを特徴とする請求項1記載の動画像符号化装置。ビットストリームに多重化された符号化データから階層的に分割された各々の符号化ブロックに係る圧縮データ、符号化モード及びインデックス情報を可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る符号化モードがインター符号化モードである場合、選択可能な1以上の動きベクトルの中から、当該符号化ブロックに係るインデックス情報が示す動きベクトルを選択し、上記動きベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像と上記動き補償予測手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段とを備え、上記動き補償予測手段は、上記符号化ブロックに対する動き補償予測処理を実施する際、上記符号化ブロックを分割して、各々の分割ブロックに対して動き補償予測処理を実施する場合、上記符号化ブロックの分割形状に応じて、選択可能な1以上の動きベクトルを示すインデックス情報の値を変更することを特徴とする動画像復号装置。動き補償予測手段は、選択可能な1以上の動きベクトルの中で、予測精度が高い動きベクトルを示すインデックス情報ほど、小さな値を割り当てることを特徴とする請求項3記載の動画像復号装置。符号化制御手段が、予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な1以上の符号化モードの中から、各々の符号化ブロックの符号化方法を定める符号化モードを選択する符号化制御処理ステップと、ブロック分割手段が、入力画像を所定のサイズの符号化ブロックに分割するとともに、上記符号化制御処理ステップで決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割処理ステップと、動き補償予測手段が、上記ブロック分割処理ステップで分割された符号化ブロックに対応する符号化モードとして、上記符号化制御処理ステップでインター符号化モードが選択された場合、選択可能な1以上の動きベクトルの中から、所定の動きベクトルを選択し、上記動きベクトルを用いて、上記符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するとともに、その動きベクトルを示すインデックス情報を出力する動き補償予測処理ステップと、差分画像生成手段が、上記ブロック分割処理ステップで分割された符号化ブロックと上記動き補償予測処理ステップで生成された予測画像との差分画像を生成する差分画像生成処理ステップと、画像圧縮手段が、上記差分画像生成処理ステップで生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮処理ステップと、可変長符号化手段が、上記画像圧縮処理ステップによって出力された圧縮データ、上記符号化制御処理ステップで選択された符号化モード及び上記動き補償予測処理ステップによって出力されたインデックス情報を可変長符号化して、上記圧縮データ、上記符号化モード及び上記インデックス情報の符号化データが多重化されたビットストリームを生成する可変長符号化処理ステップとを備え、上記動き補償予測処理ステップでは、上記符号化ブロックに対する動き補償予測処理を実施する際、上記符号化ブロックを分割して、各々の分割ブロックに対して動き補償予測処理を実施する場合、上記符号化ブロックの分割形状に応じて、選択可能な1以上の動きベクトルを示すインデックス情報の値を変更することを特徴とする動画像符号化方法。可変長復号手段が、ビットストリームに多重化された符号化データから階層的に分割された各々の符号化ブロックに係る圧縮データ、符号化モード及びインデックス情報を可変長復号する可変長復号処理ステップと、動き補償予測手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る符号化モードがインター符号化モードである場合、選択可能な1以上の動きベクトルの中から、当該符号化ブロックに係るインデックス情報が示す動きベクトルを選択し、上記動きベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測処理ステップと、差分画像生成手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成処理ステップと、復号画像生成手段が、上記差分画像生成処理ステップで生成された差分画像と上記動き補償予測処理ステップで生成された予測画像とを加算して復号画像を生成する復号画像生成処理ステップとを備え、上記動き補償予測処理ステップでは、上記符号化ブロックに対する動き補償予測処理を実施する際、上記符号化ブロックを分割して、各々の分割ブロックに対して動き補償予測処理を実施する場合、上記符号化ブロックの分割形状に応じて、選択可能な1以上の動きベクトルを示すインデックス情報の値を変更することを特徴とする動画像復号方法。従来の動画像符号化装置は以上のように構成されているので、選択可能な1以上の動きベクトルの中から、符号化対象のマクロブロックの予測画像の生成に適する動きベクトルを選択する際、符号化モードとして、時間ダイレクトモードや空間ダイレクトモードなどを選択することが可能であるが、符号化対象のマクロブロックの形状を考慮せずに動きベクトルを選択している。このため、符号化対象のマクロブロックの形状によっては、予測精度が低い動きベクトルを選択してしまって、符号化性能が劣化してしまうことがある課題があった。この発明は上記のような課題を解決するためになされたもので、予測精度が高い動きベクトルを使用して符号化性能を高めることができるとともに、その動きベクトルを示すインデックス情報の符号量を削減することができる動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法を得ることを目的とする。この発明に係る動画像符号化装置は、予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な1以上の符号化モードの中から、各々の符号化ブロックの符号化方法を定める符号化モードを選択する符号化制御手段と、入力画像を所定のサイズの符号化ブロックに分割するとともに、符号化制御手段により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割するブロック分割手段と、ブロック分割手段により分割された符号化ブロックに対応する符号化モードとして、符号化制御手段によりインター符号化モードが選択された場合、選択可能な1以上の動きベクトルの中から、予測画像の生成に適する動きベクトルを選択し、その動きベクトルを用いて、上記符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するとともに、その動きベクトルを示すインデックス情報を出力する動き補償予測手段と、ブロック分割手段により分割された符号化ブロックと動き補償予測手段により生成された予測画像との差分画像を生成する差分画像生成手段と、差分画像生成手段により生成された差分画像を圧縮し、その差分画像の圧縮データを出力する画像圧縮手段と、画像圧縮手段から出力された圧縮データ、符号化制御手段により選択された符号化モード及び動き補償予測手段から出力されたインデックス情報を可変長符号化して、その圧縮データ、その符号化モード及び上記インデックス情報の符号化データが多重化されているビットストリームを生成する可変長符号化手段とを備え、動き補償予測手段が符号化ブロックに対する動き補償予測処理を実施する際、その符号化ブロックを分割して、各々の分割ブロックに対して動き補償予測処理を実施する場合、その符号化ブロックの分割形状に応じて、選択可能な1以上の動きベクトルを示すインデックス情報の値を変更するようにしたものである。この発明によれば、動き補償予測手段が符号化ブロックに対する動き補償予測処理を実施する際、その符号化ブロックを分割して、各々の分割ブロックに対して動き補償予測処理を実施する場合、その符号化ブロックの分割形状に応じて、選択可能な1以上の動きベクトルを示すインデックス情報の値を変更するように構成したので、予測精度が高い動きベクトルを使用して符号化性能を高めることができるとともに、その動きベクトルを示すインデックス情報の符号量を削減することができる効果がある。実施の形態1.この実施の形態1では、映像の各フレーム画像を入力し、近接フレーム間で動き補償予測を実施することで得られる予測差分信号に対して直交変換や量子化による圧縮処理を実施した後に可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されたビットストリームを復号する動画像復号装置について説明する。この実施の形態1の動画像符号化装置は、映像信号の空間時間方向の局所的な変化に適応して、映像信号を多様なサイズの領域に分割してフレーム内フレーム間適応符号化を行うことを特徴としている。一般的に映像信号は、空間時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある特定の映像フレーム上では、空や壁などのような比較的広い画像領域中で均一な信号特性を持つ絵柄もあれば、人物や細かいテクスチャを持った絵画など小さい画像領域内で複雑なテクスチャパターンを持つ絵柄も混在することがある。時間的に見ても、空や壁は局所的に時間方向の絵柄の変化が小さいが、動く人物や物体はその輪郭が時間的に剛体非剛体の運動をするため、時間的な変化が大きい。符号化処理は、時間空間的な予測によって信号電力やエントロピーの小さい予測差分信号を生成することで、全体の符号量を削減するが、予測のためのパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。一方、時間的空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを適用すると、予測の誤りが増えるため、予測差分信号の符号量を削減することができない。そこで、時間的空間的に変化の大きい画像信号パターンに対しては、予測対象の領域を小さくして、予測のためのパラメータのデータ量を増やしても予測差分信号の電力エントロピーを低減するほうが望ましい。このような映像信号の一般的な性質に適応した符号化を行うため、この実施の形態1の動画像符号化装置では、所定の最大ブロックサイズから階層的に映像信号の領域を分割して、分割領域毎に予測処理や、予測差分の符号化処理を実施するようにしている。この実施の形態1の動画像符号化装置が処理対象とする映像信号は、輝度信号と2つの色差信号からなるYUV信号や、ディジタル撮像素子から出力されるRGB信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平垂直2次元のディジタルサンプル画素列から構成される任意の映像信号である。各画素の諧調は8ビットでもよいし、10ビット、12ビットなどの諧調であってもよい。ただし、以下の説明においては、特に断らない限り、入力される映像信号がYUV信号であるものとする。また、2つの色差成分U,Vが輝度成分Yに対して、サブサンプルされた4:2:0フォーマットの信号であるものとする。なお、映像の各フレームに対応する処理データ単位をピクチャと称し、この実施の形態1では、ピクチャは順次走査プログレッシブスキャンされた映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、ピクチャは映像フレームを構成する単位であるフィールド画像信号であってもよい。図1はこの発明の実施の形態1による動画像符号化装置を示す構成図である。図1において、符号化制御部1は動き補償予測処理フレーム間予測処理又はイントラ予測処理フレーム内予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。また、符号化制御部1は利用可能な1以上の符号化モード1以上のイントラ符号化モード、1以上のインター符号化モードダイレクトモードやマージモードのインター符号化モードを含むの中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。なお、符号化制御部1は符号化制御手段を構成している。ブロック分割部2は入力画像を示す映像信号を入力すると、その映像信号が示す入力画像を符号化制御部1により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部1により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する処理を実施する。なお、ブロック分割部2はブロック分割手段を構成している。切替スイッチ3は符号化制御部1により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部2により分割された符号化ブロックをイントラ予測部4に出力し、符号化制御部1により選択された符号化モードがインター符号化モードであれば、ブロック分割部2により分割された符号化ブロックを動き補償予測部5に出力する処理を実施する。イントラ予測部4は切替スイッチ3からブロック分割部2により分割された符号化ブロックを受けると、符号化制御部1から出力されたイントラ予測パラメータを用いて、その符号化ブロックに対するイントラ予測処理を実施して予測画像を生成する処理を実施する。動き補償予測部5はブロック分割部2により分割された符号化ブロックに適する符号化モードとして、符号化制御部1によりインター符号化モードが選択された場合、例えば、動きパラメータ候補格納部14に格納されている選択可能な1以上の動きベクトルの中から、その符号化ブロックの予測画像の生成に適する動きベクトルを選択し、その動きベクトルを用いて、その符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するとともに、その動きベクトルを示すインデックス情報を可変長符号化部13に出力する処理を実施する。具体的には、例えば、符号化制御部1によりダイレクトモードのインター符号化モードが選択された場合、当該符号化ブロックの周囲に位置している符号化済みブロックの動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成するとともに、当該符号化ブロックが参照可能な符号化済みピクチャの動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成し、その空間ダイレクトベクトル又は時間ダイレクトベクトルの中から、参照画像間の相関が高くなる方のダイレクトベクトルを選択し、そのダイレクトベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。また、符号化制御部1によりマージモードのインター符号化モードが選択された場合、動きパラメータ候補格納部14により格納されている動きパラメータ動きベクトル、参照ピクチャのインデックス、予測方向、即ち、当該符号化ブロックの周囲に位置している1以上の符号化済みブロックに対する動き補償予測処理で用いている動きパラメータの中から、予測画像の生成に適する動きパラメータを選択し、その動きパラメータを用いて、その符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。当該符号化ブロックに対する動き補償予測処理で用いた動きパラメータは動きパラメータ候補格納部14に格納する。また、符号化制御部1によりダイレクトモード及びマージモード以外のインター符号化モードが選択された場合、当該符号化ブロックと動き補償予測フレームメモリ12に格納されている参照画像から動きベクトルを探索し、その動きベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。ただし、動き補償予測部5は、符号化ブロックに対する動き補償予測処理を実施する際、その符号化ブロックを分割して、各々の分割ブロックに対して動き補償予測処理を実施する場合、その符号化ブロックの分割形状に応じて、選択可能な1以上の動きベクトルを示すインデックス情報の値を変更するようにする。なお、切替スイッチ3及び動き補償予測部5から動き補償予測手段が構成されている。減算部6はブロック分割部2により分割された符号化ブロックから、イントラ予測部4又は動き補償予測部5により生成された予測画像を減算することで、差分画像=符号化ブロック-予測画像を生成する処理を実施する。変換量子化部7は符号化制御部1から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、減算部6により生成された差分画像の変換処理例えば、DCT離散コサイン変換や、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。なお、減算部6及び変換量子化部7から画像圧縮手段が構成されている。逆量子化逆変換部8は符号化制御部1から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換量子化部7から出力された圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理例えば、逆DCT逆離散コサイン変換や、逆KL変換等の逆変換処理を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として出力する処理を実施する。加算部9は逆量子化逆変換部8から出力された局所復号予測差分信号とイントラ予測部4又は動き補償予測部5により生成された予測画像を示す予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。イントラ予測用メモリ10はイントラ予測部4により次回のイントラ予測処理で用いられる画像として、加算部9により生成された局所復号画像信号が示す局所復号画像を格納するRAMなどの記録媒体である。ループフィルタ部11は加算部9により生成された局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ12に出力する処理を実施する。動き補償予測フレームメモリ12は動き補償予測部5により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部11によるフィルタリング処理後の局所復号画像を格納するRAMなどの記録媒体である。可変長符号化部13は変換量子化部7から出力された圧縮データと、符号化制御部1から出力された符号化モード及び予測差分符号化パラメータと、イントラ予測部4から出力されたイントラ予測パラメータ又は動き補償予測部5から出力されたインター予測パラメータダイレクトベクトル又は動きパラメータを示すインデックス情報、あるいは、動きベクトルを含むを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータの符号化データが多重化されているビットストリームを生成する処理を実施する。なお、可変長符号化部13は可変長符号化手段を構成している。動きパラメータ候補格納部14は符号化ブロックに対する動き補償予測処理で用いることが可能な動きパラメータの選択候補として、当該符号化ブロックの周囲に位置している1以上の符号化済みブロックに対する動き補償予測処理で用いている動きパラメータを格納するRAMなどの記録媒体である。図1では、動画像符号化装置の構成要素である符号化制御部1、ブロック分割部2、切替スイッチ3、イントラ予測部4、動き補償予測部5、減算部6、変換量子化部7、逆量子化逆変換部8、加算部9、ループフィルタ部11及び可変長符号化部13のそれぞれが専用のハードウェア例えば、CPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどで構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、符号化制御部1、ブロック分割部2、切替スイッチ3、イントラ予測部4、動き補償予測部5、減算部6、変換量子化部7、逆量子化逆変換部8、加算部9、ループフィルタ部11及び可変長符号化部13の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。図2はこの発明の実施の形態1による動画像符号化装置の処理内容を示すフローチャートである。図3はこの発明の実施の形態1による動画像復号装置を示す構成図である。図3において、可変長復号部51はビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータダイレクトベクトル又は動きパラメータを示すインデックス情報、あるいは、動きベクトルを含むを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化逆変換部55に出力するとともに、その符号化モード及びイントラ予測パラメータ/インター予測パラメータを切替スイッチ52に出力する処理を実施する。なお、可変長復号部51は可変長復号手段を構成している。切替スイッチ52は可変長復号部51から出力された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、可変長復号部51から出力されたイントラ予測パラメータをイントラ予測部53に出力し、その符号化モードがインター符号化モードである場合、可変長復号部51から出力されたインター予測パラメータを動き補償予測部54に出力する処理を実施する。イントラ予測部53は切替スイッチ52から出力されたイントラ予測パラメータを用いて、当該符号化ブロックに対するイントラ予測処理を実施して予測画像を生成する処理を実施する。動き補償予測部54は可変長復号部51から出力された符号化ブロックに係る符号化モードがインター符号化モードである場合、例えば、動きパラメータ候補格納部60に格納されている選択可能な1以上の動きベクトルの中から、当該符号化ブロックに係るインデックス情報が示す動きベクトルを選択し、その動きベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。具体的には、例えば、可変長復号部51から出力された符号化ブロックに係る符号化モードがダイレクトモードのインター符号化モードである場合、当該符号化ブロックの周囲に位置している復号済みブロックの動きベクトルの中から、切替スイッチ52から出力されたインター予測パラメータに含まれているインデックス情報が示すダイレクトベクトルを選択し、そのダイレクトベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。動画像符号化装置において、ダイレクトベクトルを示すインデックス情報の符号化データがビットストリームに多重化されない場合には、動画像符号化装置の動き補償予測部5と同様に、当該符号化ブロックの周囲に位置している復号済みブロックの動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成するとともに、当該符号化ブロックが参照可能な復号済みピクチャの動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成し、その空間ダイレクトベクトル又は時間ダイレクトベクトルの中から、参照画像間の相関が高くなる方のダイレクトベクトルを選択し、そのダイレクトベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。また、可変長復号部51から出力された符号化ブロックに係る符号化モードがマージモードのインター符号化モードである場合、動きパラメータ候補格納部60により格納されている動きパラメータ動きベクトル、参照ピクチャのインデックス、予測方向、即ち、当該符号化ブロックの周囲に位置している1以上の復号済みブロックに対する動き補償予測処理で用いている動きパラメータの中から、切替スイッチ52から出力されたインター予測パラメータに含まれているインデックス情報が示す動きパラメータを選択し、その動きパラメータを用いて、その符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。当該符号化ブロックに対する動き補償予測処理で用いた動きパラメータは動きパラメータ候補格納部60に格納する。また、可変長復号部51から出力された符号化ブロックに係る符号化モードがダイレクトモード及びマージモード以外のインター符号化モードである場合、切替スイッチ52から出力されたインター予測パラメータに含まれている動きベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。ただし、動き補償予測部54は、符号化ブロックに対する動き補償予測処理を実施する際、その符号化ブロックを分割して、各々の分割ブロックに対して動き補償予測処理を実施する場合、その符号化ブロックの分割形状に応じて、選択可能な1以上の動きベクトルを示すインデックス情報の値を変更するようにする。なお、切替スイッチ52及び動き補償予測部54から動き補償予測手段が構成されている。逆量子化逆変換部55は可変長復号部51から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部51から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理例えば、逆DCT逆離散コサイン変換や、逆KL変換等の逆変換処理を実施することで、逆変換処理後の圧縮データを復号予測差分信号圧縮前の差分画像を示す信号として出力する処理を実施する。加算部56は逆量子化逆変換部55から出力された復号予測差分信号とイントラ予測部53又は動き補償予測部54により生成された予測画像を示す予測信号を加算することで、復号画像を示す復号画像信号を生成する処理を実施する。なお、逆量子化逆変換部55及び加算部56から復号画像生成手段が構成されている。イントラ予測用メモリ57はイントラ予測部53により次回のイントラ予測処理で用いられる画像として、加算部56により生成された復号画像信号が示す復号画像を格納するRAMなどの記録媒体である。ループフィルタ部58は加算部56により生成された復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ59に出力する処理を実施する。動き補償予測フレームメモリ59は動き補償予測部54により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部58によるフィルタリング処理後の復号画像を格納するRAMなどの記録媒体である。動きパラメータ候補格納部60は符号化ブロックに対する動き補償予測処理で用いることが可能な動きパラメータの選択候補として、当該符号化ブロックの周囲に位置している1以上の復号済みブロックに対する動き補償予測処理で用いている動きパラメータを格納するRAMなどの記録媒体である。図3では、動画像復号装置の構成要素である可変長復号部51、切替スイッチ52、イントラ予測部53、動き補償予測部54、逆量子化逆変換部55、加算部56及びループフィルタ部58のそれぞれが専用のハードウェア例えば、CPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどで構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、可変長復号部51、切替スイッチ52、イントラ予測部53、動き補償予測部54、逆量子化逆変換部55、加算部56及びループフィルタ部58の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。図4はこの発明の実施の形態1による動画像復号装置の処理内容を示すフローチャートである。次に動作について説明する。最初に、図1の動画像符号化装置の処理内容を説明する。まず、符号化制御部1は、動き補償予測処理フレーム間予測処理又はイントラ予測処理フレーム内予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する図2のステップST1。符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定する方法が考えられる。また、入力画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。上限の階層数については、例えば、入力画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。また、符号化制御部1は、利用可能な1以上の符号化モードM種類のイントラ符号化モード、N種類のインター符号化モードダイレクトモード及びマージモードのインター符号化モードを含むの中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択するステップST2。符号化制御部1による符号化モードの選択方法は公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。ブロック分割部2は、入力画像を示す映像信号を入力すると、その映像信号が示す入力画像を符号化制御部1により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部1により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。ここで、図5は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。図5の例では、最大サイズの符号化ブロックは、第0階層の符号化ブロックB0であり、輝度成分でL0,M0のサイズを有している。また、図5の例では、最大サイズの符号化ブロックB0を出発点として、4分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックBnを得ている。深さnにおいては、符号化ブロックBnはサイズLn,Mnの画像領域である。ただし、LnとMnは同じであってもよいし異なっていてもよいが、図5の例ではLn=Mnのケースを示している。以降、符号化ブロックBnのサイズは、符号化ブロックBnの輝度成分におけるサイズLn,Mnと定義する。ブロック分割部2は、4分木分割を行うため、常にLn1,Mn1=Ln/2,Mn/2が成立する。ただし、RGB信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号4:4:4フォーマットでは、全ての色成分のサイズがLn,Mnになるが、4:2:0フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズはLn/2,Mn/2である。以降、第n階層の符号化ブロックBnで選択しうる符号化モードをmBnと記する。複数の色成分からなるカラー映像信号の場合、符号化モードmBnは、色成分ごとに、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、YUV信号、4:2:0フォーマットの符号化ブロックの輝度成分に対する符号化モードのことを指すものとして説明を行う。符号化モードmBnには、1つないし複数のイントラ符号化モード総称してINTRA、1つないし複数のインター符号化モード総称してINTERがあり、符号化制御部1は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックBnに対して最も符号化効率がよい符号化モードを選択する。符号化ブロックBnは、図5に示すように、更に1つないし複数の予測処理単位パーティションに分割される。以降、符号化ブロックBnに属するパーティションをPini:第n階層におけるパーティション番号と表記する。符号化ブロックBnに属するパーティションPinの分割がどのようになされているかは符号化モードmBnの中に情報として含まれる。パーティションPinは、すべて符号化モードmBnに従って予測処理が行われるが、パーティションPin毎に、個別の予測パラメータを選択することができる。符号化制御部1は、最大サイズの符号化ブロックに対して、例えば、図6に示すようなブロック分割状態を生成して、符号化ブロックBnを特定する。図6aの網がけ部分は分割後のパーティションの分布を示し、また、図6bは階層分割後のパーティションに符号化モードmBnが割り当てられる状況を4分木グラフで示している。図6bにおいて、□で囲まれているノードが、符号化モードmBnが割り当てられたノード符号化ブロックBnを示している。切替スイッチ3は、符号化制御部1が各々の符号化ブロックBnのパーティションPinに対して最適な符号化モードmBnを選択すると、その符号化モードmBnがイントラ符号化モードであればステップST3、ブロック分割部2により分割された符号化ブロックBnのパーティションPinをイントラ予測部4に出力する。一方、その符号化モードmBnがインター符号化モードであればステップST3、ブロック分割部2により分割された符号化ブロックBnのパーティションPinを動き補償予測部5に出力する。イントラ予測部4は、切替スイッチ3から符号化ブロックBnのパーティションPinを受けると、符号化制御部1により選択された符号化モードmBnに対応するイントラ予測パラメータを用いて、その符号化ブロックBnのパーティションPinに対するイントラ予測処理を実施して、イントラ予測画像Pinを生成するステップST4。イントラ予測部4は、イントラ予測画像Pinを生成すると、そのイントラ予測画像Pinを減算部6及び加算部9に出力するが、図3の動画像復号装置でも同じイントラ予測画像Pinを生成できるようにするため、そのイントラ予測パラメータを可変長符号化部13に出力する。この実施の形態1におけるイントラ予測処理は、AVC/H.264規格ISO/IEC14496-10に定められるアルゴリズムに限定されないが、イントラ予測パラメータとしては、動画像符号化装置側と動画像復号装置側でまったく同じイントラ予測画像を生成するために必要な情報を含む必要がある。動き補償予測部5は、切替スイッチ3から符号化ブロックBnのパーティションPinを受けると、符号化制御部1により選択された符号化モードmBnで、符号化ブロックBnのパーティションPinに対する動き補償予測処理を実施して、インター予測画像Pinを生成するステップST5。動き補償予測部5は、インター予測画像Pinを生成すると、そのインター予測画像Pinを減算部6及び加算部9に出力するが、図3の動画像復号装置でも同じインター予測画像Pinを生成できるようにするため、そのインター予測パラメータを可変長符号化部13に出力する。インター予測画像の生成に用いられたインター予測パラメータには、下記に示す情報が含まれており、動画像復号装置側でまったく同じインター予測画像を生成するために、可変長符号化部13によってインター予測パラメータの符号化データがビットストリームに多重化される。符号化ブロックBn内のパーティション分割を記述するモード情報各パーティションの動きベクトル、あるいは、ダイレクトベクトルを示すインデックス情報、あるいは、動きパラメータを示すインデックス情報動き補償予測フレームメモリ12内に複数の参照画像を含む構成の場合、いずれの参照画像を用いて予測を行うかを示す参照画像指示インデックス情報動きパラメータ候補格納部14内に複数の動きベクトル予測値候補がある場合に、いずれの動きベクトル予測値を選択して使用するかを示すインデックス情報複数の動き補償内挿フィルタがある場合に、いずれのフィルタを選択して使用するかを示すインデックス情報当該パーティションの動きベクトルが複数の画素精度半画素、1/4画素、1/8画素などを示すことが可能な場合、いずれの画素精度を使用するかを示す選択情報ただし、動き補償予測部5は、符号化ブロックBnに対する動き補償予測処理を実施する際、その符号化ブロックBnを分割して、各々のパーティションPinに対して動き補償予測処理を実施する場合、その符号化ブロックBnの分割形状に応じて、選択可能な1以上の動きベクトルを示すインデックス情報の値を変更するようにする。具体的には、以下の通りである。まず、符号化ブロックBn内で異なる動きがある場合、符号化ブロックBnを分割し、各々のパーティションPinに対して動き補償予測処理を実施することで予測画像を生成することがある。その場合、図7に示すように、左右が非対称な長方形や上下非対称な長方形に分割することが考えられる。図8は符号化ブロックBnを左右に分割した場合の一例を示す説明図である。符号化ブロックBnを左右に分割した場合、符号化処理の順番は、分割ブロックである左のパーティションPinが先であるため、右のパーティションPinは左のパーティションPinから動きパラメータを予測することが可能である。しかし、符号化ブロックBnの分割は、内部で異なる動きがあるために行われるものであり、分割された一方のブロックからの予測は通常精度が低いと考えられる。ここで、図9は選択可能な1以上の動きベクトルを示すインデックス情報を示す説明図である。選択可能な動きベクトルを示すインデックス情報は、図9に示すように、通常、左のブロック→上のブロック→temporalの順番で値が定められている。可変長符号化部13で動きベクトルを示すインデックス情報を可変長符号化する際、インデックス情報の値が小さい方が、符号量が少なくなるため、選択される可能性が高い動きベクトルを示すインデックス情報を小さな値に設定することにより符号化効率が改善する。通常の順序では、符号化ブロックBnの分割時には予測精度が低いと考えられる左のブロックに係る動きベクトルを示すインデックス情報の値を最も小さな値に設定している。そこで、この実施の形態1では、選択可能な1以上の動きベクトルの中で、予測精度が高い動きベクトルを示すインデックス情報ほど、小さな値が割り当てられるように、選択可能な1以上の動きベクトルを示すインデックス情報の値を変更している。例えば、符号化ブロックBnが左右に分割された場合、図9aに示すように、左のブロックに係る動きベクトルは予測精度が低いと考えられるため、上のブロック→temporal→左のブロックの順番に変更している。また、符号化ブロックが上下に分割された場合、図9bに示すように、予測精度が低いと考えられる上のブロックに係る動きベクトルはインデックス順序を後にし、左のブロック→temporal→上のブロックの順番に変更している。減算部6は、イントラ予測部4又は動き補償予測部5が予測画像イントラ予測画像Pin、インター予測画像Pinを生成すると、ブロック分割部2により分割された符号化ブロックBnのパーティションPinから、イントラ予測部4又は動き補償予測部5により生成された予測画像イントラ予測画像Pin、インター予測画像Pinを減算することで差分画像を生成し、その差分画像を示す予測差分信号einを変換量子化部7に出力するステップST6。変換量子化部7は、減算部6から差分画像を示す予測差分信号einを受けると、符号化制御部1から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、その差分画像の変換処理例えば、DCT離散コサイン変換や、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして逆量子化逆変換部8及び可変長符号化部13に出力するステップST7。逆量子化逆変換部8は、変換量子化部7から差分画像の圧縮データを受けると、符号化制御部1から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理例えば、逆DCT逆離散コサイン変換や、逆KL変換等の逆変換処理を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号einハット電子出願の関係上、アルファベット文字に付いた^をハットと表記するとして加算部9に出力するステップST8。加算部9は、逆量子化逆変換部8から局所復号予測差分信号einハットを受けると、その局所復号予測差分信号einハットと、イントラ予測部4又は動き補償予測部5により生成された予測画像イントラ予測画像Pin、インター予測画像Pinを示す予測信号を加算することで、局所復号パーティション画像Pinハットないしはその集まりとしての局所復号符号化ブロック画像である局所復号画像を生成するステップST9。加算部9は、局所復号画像を生成すると、その局所復号画像を示す局所復号画像信号をイントラ予測用メモリ10に格納するとともに、その局所復号画像信号をループフィルタ部11に出力する。ステップST3~ST9の処理は、階層的に分割された全ての符号化ブロックBnに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックBnに対する処理が完了するとステップST12の処理に移行するステップST10,ST11。可変長符号化部13は、変換量子化部7から出力された圧縮データと、符号化制御部1から出力された符号化モード符号化ブロックの分割状態を示す情報を含む及び予測差分符号化パラメータと、イントラ予測部4から出力されたイントラ予測パラメータ又は動き補償予測部5から出力されたインター予測パラメータをエントロピー符号化する。可変長符号化部13は、エントロピー符号化の符号化結果である圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータの符号化データを多重化してビットストリームを生成するステップST12。ループフィルタ部11は、加算部9から局所復号画像信号を受けると、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ12に格納するステップST13。ループフィルタ部11によるフィルタリング処理は、加算部9から出力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1画面分のマクロブロックに相当する局所復号画像信号が出力された後に1画面分まとめて行ってもよい。次に、図3の画像復号装置の処理内容を説明する。可変長復号部51は、図1の画像符号化装置から出力されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して、1フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズを復号する図4のステップST21。可変長復号部51は、図1の符号化制御部1と同様の手順で、動き補償予測処理フレーム間予測処理又はイントラ予測処理フレーム内予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定するステップST22。例えば、画像符号化装置において、符号化ブロックの最大サイズが、入力画像の解像度に応じて決定されている場合、先に復号しているフレームサイズに基づいて符号化ブロックの最大サイズを決定する。なお、符号化ブロックの最大サイズ及び上限の階層数を示す情報がビットストリームに多重化されている場合には、そのビットストリームから復号した情報を参照する。ビットストリームに多重化されている最大サイズの符号化ブロックB0の符号化モードmB0には、最大サイズの符号化ブロックB0の分割状態を示す情報が含まれているので、可変長復号部51は、ビットストリームに多重化されている最大サイズの符号化ブロックB0の符号化モードmB0を復号して、階層的に分割されている各々の符号化ブロックBnを特定するステップST23。可変長復号部51は、各々の符号化ブロックBnを特定すると、その符号化ブロックBnの符号化モードmBnを復号し、その符号化モードmBnに属しているパーティションPinの情報に基づいて、符号化ブロックBnに属しているパーティションPinを特定する。可変長復号部51は、符号化ブロックBnに属しているパーティションPinを特定すると、パーティションPin毎に、圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータを復号するステップST24。切替スイッチ52は、可変長復号部51から符号化ブロックBnに属しているパーティションPinの符号化モードmBnがイントラ符号化モードである場合ステップST25、可変長復号部51から出力されたイントラ予測パラメータをイントラ予測部53に出力する。一方、パーティションPinの符号化モードmBnがインター符号化モードである場合ステップST25、可変長復号部51から出力されたインター予測パラメータを動き補償予測部54に出力する。イントラ予測部53は、切替スイッチ52からイントラ予測パラメータを受けると、そのイントラ予測パラメータを用いて、その符号化ブロックBnのパーティションPinに対するイントラ予測処理を実施して、イントラ予測画像Pinを生成するステップST26。動き補償予測部54は、切替スイッチ52からインター予測パラメータを受けると、図1の動き補償予測部5と同様に、可変長復号部51から出力された符号化モードmBnで、符号化ブロックBnのパーティションPinに対する動き補償予測処理を実施して、インター予測画像Pinを生成するステップST27。ただし、動き補償予測部54は、符号化ブロックBnに対する動き補償予測処理を実施する際、その符号化ブロックBnを分割して、各々のパーティションPinに対して動き補償予測処理を実施する場合、図1の動き補償予測部5と同様に、その符号化ブロックBnの分割形状に応じて、選択可能な1以上の動きベクトルを示すインデックス情報の値を変更するようにする。即ち、動き補償予測部54は、選択可能な1以上の動きベクトルの中で、予測精度が高い動きベクトルを示すインデックス情報ほど、小さな値が割り当てられるように、選択可能な1以上の動きベクトルを示すインデックス情報の値を変更する。逆量子化逆変換部55は、可変長復号部51から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部51から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理例えば、逆DCT逆離散コサイン変換や、逆KL変換等の逆変換処理を実施することで、逆変換処理後の圧縮データを復号予測差分信号圧縮前の差分画像を示す信号として加算部56に出力するステップST28。加算部56は、逆量子化逆変換部55から復号予測差分信号を受けると、その復号予測差分信号とイントラ予測部53又は動き補償予測部54により生成された予測画像を示す予測信号を加算することで復号画像を生成して、その復号画像を示す復号画像信号をイントラ予測用メモリ57に格納するとともに、その復号画像信号をループフィルタ部58に出力するステップST29。ステップST23~ST29の処理は、階層的に分割された全ての符号化ブロックBnに対する処理が完了するまで繰り返し実施されるステップST30。ループフィルタ部58は、加算部56から復号画像信号を受けると、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ59に格納するステップST31。ループフィルタ部58によるフィルタリング処理は、加算部56から出力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1画面分のマクロブロックに相当する復号画像信号が出力された後に1画面分まとめて行ってもよい。以上で明らかなように、この実施の形態1によれば、動き補償予測部5,54が符号化ブロックに対する動き補償予測処理を実施する際、その符号化ブロックを分割して、各々の分割ブロックに対して動き補償予測処理を実施する場合、その符号化ブロックの分割形状に応じて、選択可能な1以上の動きベクトルを示すインデックス情報の値を変更するように構成したので、予測精度が高い動きベクトルを使用して符号化性能を高めることができるとともに、その動きベクトルを示すインデックス情報の符号量を削減することができる効果を奏する。即ち、動き補償予測部5,54が、選択可能な1以上の動きベクトルの中で、予測精度が高い動きベクトルを示すインデックス情報ほど、小さな値を割り当てるように構成したので、予測精度が高く、選択される可能性が高い動きベクトルを示すインデックス情報の値が小さくなるため、インデックスの符号量を削減でき、符号化効率改善効果を奏する。実施の形態2.上記実施の形態1では、符号化ブロックを分割する際、後に処理する分割ブロックについて、予測精度が高い動きベクトルを示すインデックス情報ほど、小さな値を割り当てるものを示したが、最初に処理する分割ブロックについても、同様の処理を行うようにしてもよい。図10は選択可能な1以上の動きベクトルを示すインデックス情報を示す説明図である。図10の例では、符号化ブロックが左右に分割された場合、左のブロックに係る動きベクトルの予測精度が、上のブロックに係る動きベクトルの予測精度より高いため、動きベクトルを示すインデックス情報を左のブロック→temporal→上のブロックの順番にしている。また、符号化ブロックが上下に分割された場合、上のブロックに係る動きベクトルの予測精度が、左のブロックに係る動きベクトルの予測精度より高いため、動きベクトルを示すインデックス情報を上のブロック→temporal→左のブロックの順番にしている。上記実施の形態1,2では、動き補償予測部5,54が符号化ブロックの分割形状に応じて、選択可能な1以上の動きベクトルを示すインデックス情報の値を一意に変更するものを示したが、例えば、ピクチャパラメータセットやスライスパラメータセットなど、他の上位ヘッダによって、インデックス情報の値を変更するようにしてもよい。上位ヘッダによって、インデックス情報の値を変更する場合、映像の局所性に応じてインデックス情報の値を変更することが可能になるため、符号化効率の改善に寄与する。実施の形態3.上記実施の形態1では、図5に示すように、符号化ブロックBnのサイズがLn=Mnであるものを示したが、符号化ブロックBnのサイズがLn≠Mnであってもよい。例えば、図11に示すように、符号化ブロックBnのサイズがLn=kMnとなる場合が考えられる。この場合、次の分割では、Ln1,Mn1=Ln,Mnとなり、以降の分割は、図5と同様の分割を行ってもよいし、Ln1,Mn1=Ln/2,Mn/2のように分割を行ってもよい図12を参照。また、図13に示すように、図11の分割又は図12の分割のいずれかを選択できるようにしてもよい。選択できるようにした場合は、どちらの分割を選択したかを示すフラグを符号化する。このケースは、例えば、非特許文献1のH.264のような16×16を1つのブロックとするものを横に連結するだけで可能であるため、既存方式との互換性を維持することができる。上記では、符号化ブロックBnのサイズがLn=kMnとなる場合を示したが、kLn=Mnのように縦に連結したものであっても、同様の考えで、分割が可能であることは言うまでもない。実施の形態1~3では、変換量子化部7、逆量子化逆変換部8,55が、予測差分符号化パラメータに含まれている変換ブロックサイズ単位で変換処理逆変換処理を実施するものを示したが、変換ブロックサイズ単位は、変換処理単位によって一意に決定してもよいし、図14に示すように階層構造にしてもよい。この場合、各階層で、分割するか否かを示すフラグを符号化する。上記分割は、パーティション単位で行ってもよいし、符号化ブロック単位で行ってもよい。上記変換は、正方形での変換を仮定しているが、長方形など他の矩形での変換であってもよい。長方形で分割する場合、例えば、図15に示すように、最初の階層は分割をせずに、2階層目第1階層から長方形に分割するなどの方法が考えられる。長方形変換を使用することで、動き予測処理などでのブロック分割の形状に直交変換を合わせることができるため、変換効率が高くなり、直交変換係数の符号化効率改善に寄与することができる。直交変換が水平垂直分離している2次元直交変換などの場合、長方形変換であっても、通常の正方形分割で用いる変換を使用することができるため、直交変換のための回路を増やす必要はない。2次元直交変換を使用する場合、長方形に分割にすると、正方形では定義されない基底が発生してしまう可能性がある。例えば、図16に示すように、4×4のブロックの直交変換までしか定義されていない場合、2×8のブロックの直交変換を行うことができない。そのため、この場合は、分割せずに正方形サイズで直交変換を行うことになる。上記のように長方形で分割できない場合、動き予測処理のブロック形状と直交変換の形状を合わせることができないため、動き予測処理を長方形で行っても、符号化効率が稼げない可能性がある。そのため、長方形分割ができない動き予測のブロック形状を上位のフラグで禁止してもよい。符号化効率に寄与しない分割パターンを予め上位で禁止してしまうことで、演算量の削減効果がある。直交変換の形状だけではなく、ブロックサイズや解像度によっても、長方形分割による動き予測が符号化効率に寄与しない場合がある。例えば、QHDTV解像度のような大きな解像度の場合、ブロックサイズが小さく、かつ、長方形で分割されるケースは少ない。このような場合、上位フラグによって、ある一定値よりも小さいブロックサイズの場合は長方形分割を禁止することで、演算量の削減効果がある。上位フラグは、スライスヘッダ、シーケンスパラメータセット、ピクチャパラメータセットなどのヘッダ情報として多重してもよいし、プロファイルレベルで規定してもよい。なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。"