"入力画像を所定のサイズのマクロブロックに分割するとともに、各々のマクロブロックを四分木構造で階層的に分割することで、上記マクロブロックよりも細かい符号化単位のブロックである符号化処理単位ブロックを出力するブロック分割手段と、上記ブロック分割手段から出力された符号化処理単位ブロックに対応する符号化モードで、上記符号化処理単位ブロックに対する予測処理を実施して予測画像を生成する予測画像生成手段と、上記ブロック分割手段から出力された符号化処理単位ブロックと上記予測画像生成手段により生成された予測画像との差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮手段と、上記画像圧縮手段から出力された圧縮データ及び上記符号化モードを可変長符号化して、上記圧縮データ及び上記符号化モードの符号化データが多重化されているビットストリームを生成する可変長符号化手段とを備え、上記可変長符号化手段は、各々のマクロブロックにおける四分木構造で階層が最も深い部分の分割階層数を示す最大分割階層数を可変長符号化するとともに、最も深い階層に属する符号化処理単位ブロック以外の符号化処理単位ブロックが上記ブロック分割手段によって四分木分割されているか否かを示す分割フラグを可変長符号化することを特徴とする動画像符号化装置。可変長符号化手段は、各々のマクロブロックに係る最大分割階層数を可変長符号化する際、符号化対象のマクロブロックの周囲に存在しているマクロブロックに係る最大分割階層数に応じて、符号化対象のマクロブロックに係る最大分割階層数を表す符号のコード長を切り替えることを特徴とする請求項1記載の動画像符号化装置。可変長符号化手段は、符号化対象のマクロブロックの上側及び左側に存在しているマクロブロックに係る最大分割階層数が所定の条件を満足する場合に限り、符号化対象のマクロブロックに係る最大分割階層数を可変長符号化し、所定の条件を満足しなければ、上記最大分割階層数を可変長符号化せずに、ブロック分割手段から出力された全ての符号化処理単位ブロックについての分割フラグを可変長符号化することを特徴とする請求項1または請求項2記載の動画像符号化装置。ブロック分割手段は、各々の符号化処理単位ブロックを四分木構造で階層的に分割することで、上記符号化処理単位ブロックよりも細かい直交変換単位のブロックである直交変換処理単位ブロックを出力し、可変長符号化手段は、各々の符号化処理単位ブロックにおける四分木構造で階層が最も深い部分の分割階層数を示す最大分割階層数を可変長符号化するとともに、最も深い階層に属する直交変換処理単位ブロック以外の直交変換処理単位ブロックが上記ブロック分割手段によって四分木分割されているか否かを示す分割フラグを可変長符号化することを特徴とする請求項1記載の動画像符号化装置。ビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化処理単位ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された符号化処理単位ブロックに係る符号化モードで、上記符号化処理単位ブロックに対する予測処理を実施して予測画像を生成する予測画像生成手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成し、上記差分画像と上記予測画像生成手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段とを備え、上記可変長復号手段は、上記符号化データから各々のマクロブロックに係る最大分割階層数を可変長復号するとともに、上記最大分割階層数に対応する最も深い階層に属する符号化処理単位ブロック以外の符号化処理単位ブロックが四分木分割されているか否かを示す分割フラグを可変長復号し、上記最大分割階層数と上記分割フラグから上記マクロブロックの四分木構造を復号することを特徴とする動画像復号装置。可変長復号手段は、各々のマクロブロックに係る最大分割階層数を可変長復号する際、復号対象のマクロブロックの周囲に存在しているマクロブロックに係る最大分割階層数から、復号対象のマクロブロックに係る最大分割階層数を表す符号のコード長を把握することを特徴とする請求項5記載の動画像復号装置。可変長復号手段は、復号対象のマクロブロックの上側及び左側に存在しているマクロブロックに係る最大分割階層数が所定の条件を満足する場合に限り、符号化データから復号対象のマクロブロックに係る最大分割階層数を可変長復号化し、所定の条件を満足しなければ、上記符号化データから全ての符号化処理単位ブロックについての分割フラグを可変長復号して、上記分割フラグから復号対象のマクロブロックの四分木構造を復号することを特徴とする請求項5または請求項6記載の動画像復号装置。可変長復号手段は、符号化データから各々の符号化処理単位ブロックに係る最大分割階層数を可変長復号するとともに、上記最大分割階層数に対応する最も深い階層に属する直交変換処理単位ブロック以外の直交変換処理単位ブロックが四分木分割されているか否かを示す分割フラグを可変長復号し、上記最大分割階層数と上記分割フラグから上記符号化処理単位ブロックの四分木構造を復号することを特徴とする請求項5記載の動画像復号装置。ブロック分割手段が、入力画像を所定のサイズのマクロブロックに分割するとともに、各々のマクロブロックを四分木構造で階層的に分割することで、上記マクロブロックよりも細かい符号化単位のブロックである符号化処理単位ブロックを出力するブロック分割処理ステップと、予測画像生成手段が、上記ブロック分割処理ステップで出力された符号化処理単位ブロックに対応する符号化モードで、上記符号化処理単位ブロックに対する予測処理を実施して予測画像を生成する予測画像生成処理ステップと、画像圧縮手段が、上記ブロック分割処理ステップで出力された符号化処理単位ブロックと上記予測画像生成処理ステップで生成された予測画像との差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮処理ステップと、可変長符号化手段が、上記画像圧縮処理ステップで出力された圧縮データ及び上記符号化モードを可変長符号化して、上記圧縮データ及び上記符号化モードの符号化データが多重化されているビットストリームを生成する可変長符号化処理ステップとを備え、上記可変長符号化処理ステップでは、各々のマクロブロックにおける四分木構造で階層が最も深い部分の分割階層数を示す最大分割階層数を可変長符号化するとともに、最も深い階層に属する符号化処理単位ブロック以外の符号化処理単位ブロックが上記ブロック分割処理ステップで四分木分割されているか否かを示す分割フラグを可変長符号化することを特徴とする動画像符号化方法。可変長復号手段が、ビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化処理単位ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号処理ステップと、予測画像生成手段が、上記可変長復号処理ステップで可変長復号された符号化処理単位ブロックに係る符号化モードで、上記符号化処理単位ブロックに対する予測処理を実施して予測画像を生成する予測画像生成処理ステップと、復号画像生成手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成し、上記差分画像と上記予測画像生成処理ステップで生成された予測画像とを加算して復号画像を生成する復号画像生成処理ステップとを備え、上記可変長復号処理ステップでは、上記符号化データから各々のマクロブロックに係る最大分割階層数を可変長復号するとともに、上記最大分割階層数に対応する最も深い階層に属する符号化処理単位ブロック以外の符号化処理単位ブロックが四分木分割されているか否かを示す分割フラグを可変長復号し、上記最大分割階層数と上記分割フラグから上記マクロブロックの四分木構造を復号することを特徴とする動画像復号方法。従来の動画像符号化装置は以上のように構成されているので、四分木構造の階層を深くする程、自由度の高いCUの分割状態を表現することができる。しかし、CUの分割状態を動画像復号装置側に伝えるには、ビット数が多いシグナリングを行う必要があり、必要な符号量が増加してしまうなどの課題があった。この発明は上記のような課題を解決するためになされたもので、少ないビット数のシグナリングでCUの分割状態を動画像復号装置側に伝えることができる動画像符号化装置及び動画像符号化方法を得ることを目的とする。また、この発明は、上記の動画像符号化装置に適用することができる動画像復号装置及び動画像復号方法を得ることを目的とする。この発明に係る動画像符号化装置は、入力画像を所定のサイズのマクロブロックに分割するとともに、各々のマクロブロックを四分木構造で階層的に分割することで、マクロブロックよりも細かい符号化単位のブロックである符号化処理単位ブロックを出力するブロック分割手段と、ブロック分割手段から出力された符号化処理単位ブロックに対応する符号化モードで、符号化処理単位ブロックに対する予測処理を実施して予測画像を生成する予測画像生成手段と、ブロック分割手段から出力された符号化処理単位ブロックと予測画像生成手段により生成された予測画像との差分画像を圧縮し、その差分画像の圧縮データを出力する画像圧縮手段と、画像圧縮手段から出力された圧縮データ及び符号化モードを可変長符号化して、その圧縮データ及び符号化モードの符号化データが多重化されているビットストリームを生成する可変長符号化手段とを備え、可変長符号化手段が、各々のマクロブロックにおける四分木構造で階層が最も深い部分の分割階層数を示す最大分割階層数を可変長符号化するとともに、最も深い階層に属する符号化処理単位ブロック以外の符号化処理単位ブロックがブロック分割手段によって四分木分割されているか否かを示す分割フラグを可変長符号化するようにしたものである。この発明によれば、入力画像を所定のサイズのマクロブロックに分割するとともに、各々のマクロブロックを四分木構造で階層的に分割することで、マクロブロックよりも細かい符号化単位のブロックである符号化処理単位ブロックを出力するブロック分割手段と、ブロック分割手段から出力された符号化処理単位ブロックに対応する符号化モードで、符号化処理単位ブロックに対する予測処理を実施して予測画像を生成する予測画像生成手段と、ブロック分割手段から出力された符号化処理単位ブロックと予測画像生成手段により生成された予測画像との差分画像を圧縮し、その差分画像の圧縮データを出力する画像圧縮手段と、画像圧縮手段から出力された圧縮データ及び符号化モードを可変長符号化して、その圧縮データ及び符号化モードの符号化データが多重化されているビットストリームを生成する可変長符号化手段とを備え、可変長符号化手段が、各々のマクロブロックにおける四分木構造で階層が最も深い部分の分割階層数を示す最大分割階層数を可変長符号化するとともに、最も深い階層に属する符号化処理単位ブロック以外の符号化処理単位ブロックがブロック分割手段によって四分木分割されているか否かを示す分割フラグを可変長符号化するように構成したので、少ないビット数のシグナリングで符号化処理単位ブロックの分割状態を動画像復号装置側に伝えることができる効果がある。実施の形態1.この実施の形態1では、映像の各フレーム画像を入力し、近接フレーム間で動き補償予測を実施することで得られる予測差分信号に対して直交変換や量子化による圧縮処理を実施した後に可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されたビットストリームを復号する動画像復号装置について説明する。この実施の形態1の動画像符号化装置は、映像信号の空間時間方向の局所的な変化に適応して、映像信号を多様なサイズの領域に分割してフレーム内フレーム間適応符号化を行うことを特徴としている。一般的に映像信号は、空間時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある特定の映像フレーム上では、空や壁などのような比較的広い画像領域中で均一な信号特性を持つ絵柄もあれば、人物や細かいテクスチャを持った絵画など小さい画像領域内で複雑なテクスチャパターンを持つ絵柄も混在することがある。時間的に見ても、空や壁は局所的に時間方向の絵柄の変化が小さいが、動く人物や物体はその輪郭が時間的に剛体非剛体の運動をするため、時間的な変化が大きい。符号化処理は、時間空間的な予測によって信号電力やエントロピーの小さい予測差分信号を生成することで、全体の符号量を削減するが、予測のためのパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。一方、時間的空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを適用すると、予測の誤りが増えるため、予測差分信号の符号量を削減することができない。そこで、時間的空間的に変化の大きい画像信号パターンに対しては、予測対象の領域を小さくして、予測のためのパラメータのデータ量を増やしても予測差分信号の電力エントロピーを低減するほうが望ましい。このような映像信号の一般的な性質に適応した符号化を行うため、この実施の形態1の動画像符号化装置では、所定の最大ブロックサイズから階層的に映像信号の領域を分割して、分割領域毎に予測処理や、予測差分の符号化処理を実施するようにしている。この実施の形態1の動画像符号化装置が処理対象とする映像信号は、輝度信号と2つの色差信号からなるYUV信号や、ディジタル撮像素子から出力されるRGB信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平垂直2次元のディジタルサンプル画素列から構成される任意の映像信号である。各画素の諧調は8ビットでもよいし、10ビット、12ビットなどの諧調であってもよい。ただし、以下の説明においては、特に断らない限り、入力される映像信号がYUV信号であるものとする。また、2つの色差成分U,Vが輝度成分Yに対して、サブサンプルされた4:2:0フォーマットの信号であるものとする。なお、映像の各フレームに対応する処理データ単位をピクチャと称し、この実施の形態1では、ピクチャは順次走査プログレッシブスキャンされた映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、ピクチャは映像フレームを構成する単位であるフィールド画像信号であってもよい。図1はこの発明の実施の形態1による動画像符号化装置を示す構成図である。図1において、符号化制御部1は動き補償予測処理フレーム間予測処理又はイントラ予測処理フレーム内予測処理が実施される際の符号化単位であるLCUマクロブロックのサイズLCUサイズを決定するとともに、予め設定されているCULCUよりも細かい符号化単位のブロックの分割階層数の上限CUの分割階層数の上限は、例えば、シーケンス、ピクチャあるいはスライス単位で設定されるの範囲内で、各々のLCUにおける四分木構造で階層が最も深い部分の分割階層数を示す最大CU分割階層数を決定する処理を実施する。また、符号化制御部1はLCUが最大CU分割階層数に至るまで分割されることで得られる各々のCUに適する符号化モードを決定する処理を実施する。即ち、利用可能な1以上の符号化モード1以上のイントラ符号化モード、1以上のインター符号化モードの中から、各々のCUに適する符号化モードを選択する処理を実施する。ブロック分割部2は入力画像を示す映像信号を入力すると、その映像信号が示す入力画像を符号化制御部1により決定されたLCUサイズのLCUに分割するとともに、符号化制御部1により決定された最大CU分割階層数に至るまで、そのLCUを四分木構造で階層的に分割することでCUを得て、各々のCUを出力する処理を実施する。なお、ブロック分割部2はブロック分割手段を構成している。切替スイッチ3は符号化制御部1により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部2により分割されたCUをイントラ予測部4に出力し、符号化制御部1により選択された符号化モードがインター符号化モードであれば、ブロック分割部2により分割されたCUを動き補償予測部5に出力する処理を実施する。イントラ予測部4は切替スイッチ3からブロック分割部2により分割されたCUを受けると、符号化制御部1から出力されたイントラ予測パラメータを用いて、そのCUに対するイントラ予測処理を実施して予測画像を生成する処理を実施する。動き補償予測部5は切替スイッチ3からブロック分割部2により分割されたCUを受けると、符号化制御部1から出力されたインター予測パラメータを用いて、そのCUに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。なお、切替スイッチ3、イントラ予測部4及び動き補償予測部5から予測画像生成手段が構成されている。減算部6はブロック分割部2により分割されたCUから、イントラ予測部4又は動き補償予測部5により生成された予測画像を減算することで差分画像=CU-予測画像を生成し、その差分画像を示す予測差分信号を出力する処理を実施する。変換量子化部7は符号化制御部1から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、減算部6から出力された予測差分信号の変換処理例えば、DCT離散コサイン変換や、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その予測差分信号の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。なお、変換量子化部7は画像圧縮手段を構成している。逆量子化逆変換部8は符号化制御部1から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換量子化部7から出力された圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理例えば、逆DCT逆離散コサイン変換や、逆KL変換等の逆変換処理を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として出力する処理を実施する。加算部9は逆量子化逆変換部8から出力された局所復号予測差分信号とイントラ予測部4又は動き補償予測部5により生成された予測画像を示す予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。イントラ予測用メモリ10はイントラ予測部4により次回のイントラ予測処理で用いられる画像として、加算部9により生成された局所復号画像信号が示す局所復号画像を格納するRAMなどの記録媒体である。ループフィルタ部11は加算部9により生成された局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ12に出力する処理を実施する。動き補償予測フレームメモリ12は動き補償予測部5により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部11によるフィルタリング処理後の局所復号画像を格納するRAMなどの記録媒体である。可変長符号化部13は例えば変換量子化部7から出力された圧縮データと、符号化制御部1から出力された符号化モード、予測差分符号化パラメータ、最大CU分割階層数及び分割フラグ最も深い階層に属するCU以外のCUがブロック分割部2によって四分木分割されているか否かを示すフラグと、イントラ予測部4から出力されたイントラ予測パラメータ又は動き補償予測部5から出力されたインター予測パラメータとを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、最大CU分割階層数、分割フラグ、イントラ予測パラメータ/インター予測パラメータの符号化データが多重化されているビットストリームを生成する処理を実施する。なお、可変長符号化部13は可変長符号化手段を構成している。図1では、動画像符号化装置の構成要素である符号化制御部1、ブロック分割部2、切替スイッチ3、イントラ予測部4、動き補償予測部5、減算部6、変換量子化部7、逆量子化逆変換部8、加算部9、ループフィルタ部11及び可変長符号化部13のそれぞれが専用のハードウェア例えば、CPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどで構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、符号化制御部1、ブロック分割部2、切替スイッチ3、イントラ予測部4、動き補償予測部5、減算部6、変換量子化部7、逆量子化逆変換部8、加算部9、ループフィルタ部11及び可変長符号化部13の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。図2はこの発明の実施の形態1による動画像符号化装置の処理内容を示すフローチャートである。また、図3はCU分割状態のエントロピー符号化処理を示すフローチャートである。図4はこの発明の実施の形態1による動画像復号装置を示す構成図である。図4において、可変長復号部51はビットストリームに多重化されている符号化データから階層的に分割されている各々のCUに係る圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化逆変換部55に出力するとともに、その符号化モード及びイントラ予測パラメータ/インター予測パラメータを切替スイッチ52に出力する処理を実施する。また、可変長復号部51は符号化データから最大CU分割階層数及び分割フラグを可変長復号して、その最大CU分割階層数と分割フラグからLCUの四分木構造を復号する処理を実施する。なお、可変長復号部51は可変長復号手段を構成している。切替スイッチ52は可変長復号部51から出力されたCUに係る符号化モードがイントラ符号化モードである場合、可変長復号部51から出力されたイントラ予測パラメータをイントラ予測部53に出力し、その符号化モードがインター符号化モードである場合、可変長復号部51から出力されたインター予測パラメータを動き補償予測部54に出力する処理を実施する。イントラ予測部53は切替スイッチ52から出力されたイントラ予測パラメータを用いて、当該CUに対するイントラ予測処理を実施して予測画像を生成する処理を実施する。動き補償予測部54は切替スイッチ52から出力されたインター予測パラメータを用いて、当該CUに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。なお、切替スイッチ52、イントラ予測部53及び動き補償予測部54から予測画像生成手段が構成されている。逆量子化逆変換部55は可変長復号部51から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部51から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理例えば、逆DCT逆離散コサイン変換や、逆KL変換等の逆変換処理を実施することで、逆変換処理後の圧縮データを復号予測差分信号圧縮前の差分画像を示す信号として出力する処理を実施する。加算部56は逆量子化逆変換部55から出力された復号予測差分信号とイントラ予測部53又は動き補償予測部54により生成された予測画像を示す予測信号を加算することで、復号画像を示す復号画像信号を生成する処理を実施する。なお、逆量子化逆変換部55及び加算部56から復号画像生成手段が構成されている。イントラ予測用メモリ57はイントラ予測部53により次回のイントラ予測処理で用いられる画像として、加算部56により生成された復号画像信号が示す復号画像を格納するRAMなどの記録媒体である。ループフィルタ部58は加算部56により生成された復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ59に出力する処理を実施する。動き補償予測フレームメモリ59は動き補償予測部54により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部58によるフィルタリング処理後の復号画像を格納するRAMなどの記録媒体である。図4では、動画像復号装置の構成要素である可変長復号部51、切替スイッチ52、イントラ予測部53、動き補償予測部54、逆量子化逆変換部55、加算部56及びループフィルタ部58のそれぞれが専用のハードウェア例えば、CPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどで構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、可変長復号部51、切替スイッチ52、イントラ予測部53、動き補償予測部54、逆量子化逆変換部55、加算部56及びループフィルタ部58の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。図5はこの発明の実施の形態1による動画像復号装置の処理内容を示すフローチャートである。また、図6はCU分割状態のエントロピー復号処理を示すフローチャートである。次に動作について説明する。最初に、図1の動画像符号化装置の処理内容を説明する。まず、符号化制御部1は、符号化対象のピクチャカレントピクチャの符号化に用いるLCUのサイズLCUサイズと、予め設定されているCUの分割階層数の上限の範囲内で、そのLCUにおける四分木構造で階層が最も深い部分の分割階層数を示す最大CU分割階層数とを決定する図2のステップST1。また、符号化制御部1は、ブロック分割部2によりLCUが最大CU分割階層数に至るまで分割されることで得られる各々のCUに適する符号化モードを決定する。即ち、利用可能な1以上の符号化モード1以上のイントラ符号化モード、1以上のインター符号化モードの中から、各々のCUに適する符号化モードを選択する。符号化モードの選択処理は公知の技術であるため詳細な説明は省略する。なお、符号化モードの選択処理は、後述するブロック分割部2によりLCUが階層的に分割されて複数のCUが得られた後に、各々のCUに適する符号化モードを決定するようにしてもよい。LCUサイズの決め方として、例えば、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定する方法が考えられる。また、入力画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャではLCUサイズを小さな値に決定し、動きが少ないピクチャではLCUサイズを大きな値に決定する方法などが考えられる。最大CU分割階層数については、例えば、入力画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。なお、最大CU分割階層数は、シーケンス単位で固定の値を用いるよう構成してもよい。ブロック分割部2は、入力画像を示す映像信号を入力すると、その映像信号が示す入力画像を符号化制御部1により決定されたLCUサイズに分割する。また、ブロック分割部2は、LCUサイズの画像領域LCU毎に、符号化制御部1により決定された最大CU分割階層数に至るまで、そのLCUを四分木構造で階層的に分割することで、LCUよりも細かい符号化単位のブロックであるCUを得て、各々のCUを切替スイッチ3及び減算部6に出力するステップST2。ここで、図7はLCUが階層的に分割されて複数のCUが得られる様子を示す説明図である。LCUは、図7において、第0階層と表記されている輝度成分で、L0,M0の画素サイズを有するCUであると定義する。図7の例では、LCUを出発点として、4分木構造で、別途定める所定の深さ最大CU分割階層数まで階層的に分割を行うことによって、複数のCUを得ている。深さnでは、CUはサイズLn,Mnの画像領域である。ただし、LnとMnは同じであってもよいし異なっていてもよいが、図7の例ではLn=Mnのケースを示している。以降、CUのサイズは、CUの輝度成分におけるサイズLn,Mnと定義する。ブロック分割部2は、4分木分割を行うため、常にLn1,Mn1=Ln/2,Mn/2が成立する。ただし、RGB信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号4:4:4フォーマットでは、全ての色成分のサイズがLn,Mnになるが、4:2:0フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズはLn/2,Mn/2である。以降、第n階層のCUをBjnj:第n階層におけるCU番号で表し、Bjnで選択しうる符号化モードをmBjnと表記する。複数の色成分からなるカラー映像信号の場合、符号化モードmBjnは、色成分ごとに、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、YUV信号、4:2:0フォーマットのCUの輝度成分に対する符号化モードのことを指すものとして説明を行う。符号化モードmBjnには、1つないし複数のイントラ符号化モード総称してINTRA、1つないし複数のインター符号化モード総称してINTERがあり、符号化制御部1は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、CUであるBjnに対して最も符号化効率がよい符号化モードを選択する。符号化制御部1は、符号化対象のピクチャカレントピクチャの符号化に用いる各々のLCUに対して、例えば、図8に示すようなCU分割状態を生成してCUであるBjnを特定する。図8aの網がけ部分はBjnで定義される領域を示し、また、図8bは階層分割によって符号化モードmBjnが割り当てられる状況を四分木グラフで示している。図8bにおいて、□で囲まれているノードが、符号化モードmBjnが割り当てられたノードCUを示している。なお、CUであるBjnは、図8に示すように、更に1つないし複数のパーティションであるPUPredictionUnit:予測処理単位に分割される。以降、Bjnに属するパーティションをPjini:第n階層に属する第jCUにおけるPU番号と表記する。Bjnに属するパーティションPjinの分割がどのようになされているかは符号化モードmBjnの中に情報として含まれる。パーティションPjinは、すべて符号化モードmBjnに従って予測処理が行われるが、パーティションPjin毎に、個別の予測パラメータを選択することができる。切替スイッチ3は、符号化制御部1が各々のBjnのパーティションPjinに対して最適な符号化モードmBjnを選択すると、その符号化モードmBjnがイントラ符号化モードであればステップST3、ブロック分割部2により分割されたCUであるBjnのパーティションPjinをイントラ予測部4に出力する。一方、その符号化モードmBjnがインター符号化モードであればステップST3、ブロック分割部2により分割されたCUであるBjnのパーティションPjinを動き補償予測部5に出力する。イントラ予測部4は、切替スイッチ3からCUであるBjnのパーティションPjinを受けると、符号化制御部1により選択された符号化モードmBjnに対応するイントラ予測パラメータを用いて、そのBjnのパーティションPjinに対するイントラ予測処理を実施して、イントラ予測画像Pjinを生成するステップST4。イントラ予測部4は、イントラ予測画像Pjinを生成すると、そのイントラ予測画像Pjinを減算部6及び加算部9に出力するが、図4の動画像復号装置でも同じイントラ予測画像Pjinを生成できるようにするため、そのイントラ予測パラメータを可変長符号化部13に出力する。この実施の形態1におけるイントラ予測処理は、AVC/H.264規格ISO/IEC14496-10に定められるような方向性を有する適応空間予測を行う場合、PU毎に選択される予測モード情報などの情報を含んでいる。この実施の形態1におけるイントラ予測処理は、AVC/H.264規格に定められるアルゴリズムに限定されないが、イントラ予測パラメータとしては、動画像符号化装置側と動画像復号装置側でまったく同じイントラ予測画像を生成するために必要な情報を含んでいる必要がある。動き補償予測部5は、切替スイッチ3からCUであるBjnのパーティションPjinを受けると、そのBjnのパーティションPjinと動き補償予測フレームメモリ12に格納されている参照画像から動きベクトルを探索し、その動きベクトル及び符号化モードmBjnに対応するインター予測パラメータを用いて、そのBjnのパーティションPjinに対する動き補償予測処理を実施して、インター予測画像Pjinを生成するステップST5。動き補償予測部5は、インター予測画像Pjinを生成すると、そのインター予測画像Pjinを減算部6及び加算部9に出力するが、図4の動画像復号装置でも同じインター予測画像Pjinを生成できるようにするため、そのインター予測パラメータを可変長符号化部13に出力する。インター予測画像の生成に用いられたインター予測パラメータは、下記に示す情報を含み、動画像復号装置側でまったく同じインター予測画像を生成するために、可変長符号化部13によってビットストリームに多重化される。CUであるBjn内のパーティション分割を記述するモード情報PUであるパーティションPjinの動きベクトル動き補償予測フレームメモリ12内に複数の参照画像を含む構成の場合、いずれの参照画像を用いて予測を行うかを示す参照画像指示インデックス情報複数の動きベクトル予測値候補がある場合に、いずれの動きベクトル予測値を選択して使用するかを示すインデックス情報複数の動き補償内挿フィルタがある場合に、いずれのフィルタを選択して使用するかを示すインデックス情報PUであるパーティションPjinの動きベクトルが複数の画素精度半画素、1/4画素、1/8画素などを示すことが可能な場合、いずれの画素精度を使用するかを示す選択情報減算部6は、イントラ予測部4又は動き補償予測部5が予測画像イントラ予測画像Pjin、インター予測画像Pjinを生成すると、ブロック分割部2により分割されたCUであるBjnのパーティションPjinから、イントラ予測部4又は動き補償予測部5により生成された予測画像イントラ予測画像Pjin、インター予測画像Pjinを減算することで差分画像を生成し、その差分画像を示す予測差分信号ejinを変換量子化部7に出力するステップST6。変換量子化部7は、減算部6から予測差分信号ejinを受けると、符号化制御部1から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位に、複数の予測差分信号ejinを纏めることで予測差分信号einを求め、その予測差分符号化パラメータに基づいて、その予測差分信号einの変換処理例えば、DCT離散コサイン変換や、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理を実施することで、変換係数を算出する。また、変換量子化部7は、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして逆量子化逆変換部8及び可変長符号化部13に出力するステップST7。ここで、直交変換を行う単位は、CUを開始点とする四分木構造で分割して得られるTUTransformUnit:直交変換処理単位ブロック単位が適用される。最大TUサイズ、最小TUサイズ及び最大TU分割階層数CUにおける四分木構造で階層が最も深い部分の分割階層数も、LCUの場合と同様に、符号化制御部1が決定する。TUサイズの決め方として、例えば、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定する方法が考えられる。また、入力画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャではTUサイズを小さな値に決定し、動きが少ないピクチャではTUサイズを大きな値に決定する方法などが考えられる。最大TU分割階層数については、例えば、入力画像の動きが激しい程、階層数を深くして、より細かい単位で直交変換が検出できるように設定し、入力画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。なお、最大TU分割階層数は、シーケンス単位で固定の値を用いるよう構成してもよい。変換量子化部7では、CU毎に、上記で定めた最大TU分割階層数に至るまで階層的にTUへ分割し、各TUに対して上記の直交変換と量子化を行う。逆量子化逆変換部8は、変換量子化部7から差分画像の圧縮データを受けると、符号化制御部1から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理例えば、逆DCT逆離散コサイン変換や、逆KL変換等の逆変換処理を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号ejinハット電子出願の関係上、アルファベット文字に付いた^をハットと表記するとして加算部9に出力するステップST8。符号化制御部1から出力される予測差分符号化パラメータは、CUの領域毎に、その内部の予測差分信号ejinの符号化に用いる量子化パラメータ、TUの分割状態を示す情報を含んでいる。その予測差分符号化パラメータは、符号化制御部1が、符号化モードmBjnを決定する際に一緒に決定される。量子化パラメータは、LCUの単位で1つ割り当て、それらを分割したCU単位で共通に使用する形式でもよいし、CU毎に、LCUの量子化パラメータからの差分値として表現するようにしてもよい。なお、TUの分割は、CUではなく、CUから分割されたPUであるPjinを単位として決定するように構成されていてもよい。加算部9は、逆量子化逆変換部8から局所復号予測差分信号ejinハットを受けると、その局所復号予測差分信号ejinハットと、イントラ予測部4又は動き補償予測部5により生成された予測画像イントラ予測画像Pjin、インター予測画像Pjinを示す予測信号を加算することで、局所復号パーティション画像Pjinハットないしはその集まりとしての局所復号符号化ブロック画像である局所復号画像を生成するステップST9。加算部9は、局所復号画像を生成すると、その局所復号画像を示す局所復号画像信号をイントラ予測用メモリ10に格納するとともに、その局所復号画像信号をループフィルタ部11に出力する。その局所復号画像信号が以降のイントラ予測用の画像信号となる。ステップST3~ST9の処理は、階層的に分割された全てのCUに対する処理が完了するまで繰り返し実施され、全てのCUに対する処理が完了するとステップST13の処理に移行するステップST10,ST11。ループフィルタ部11は、加算部9から局所復号画像信号を受けると、その局所復号画像信号に対して所定のフィルタリング処理を実施することで、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ12に格納するステップST12。ループフィルタ部11によるフィルタリング処理は、加算部9から出力される局所復号画像信号のLCUあるいは個々のCU単位で行ってもよいし、1画面分のCUに相当する局所復号画像信号が出力された後に1画面分まとめて行ってもよい。可変長符号化部13は、符号化制御部1から出力された符号化モード、予測差分符号化パラメータ、LCUサイズ、最大CU分割階層数、TU最大サイズ、TU最小サイズ、最大TU分割階層数及び分割フラグLCUのCU分割状態と、変換量子化部7から出力された圧縮データ及び各CUのTU分割状態と、イントラ予測部4から出力されたイントラ予測パラメータ又は動き補償予測部5から出力されたインター予測パラメータをエントロピー符号化する。可変長符号化部13は、エントロピー符号化の符号化結果である符号化モード、予測差分符号化パラメータ、LCUサイズ、最大CU分割階層数、TU最大サイズ、TU最小サイズ、最大TU分割階層数、分割フラグLCUのCU分割状態、圧縮データ、各CUのTU分割状態、イントラ予測パラメータ/インター予測パラメータの符号化データを多重化してビットストリームを生成するステップST13。図9は可変長符号化部13により生成されるビットストリームの一例を示す説明図であり、このビットストリームには、LCUの符号化データの中に、最大CU分割階層数が含まれていることを示している。以下、この実施の形態1の特徴であるCU分割状態のエントロピー符号化処理について詳述する。この実施の形態1では、LCU階層n=0を開始点として、各CUの四分木分割が最大CU分割階層数に至るまで再帰的に繰り返される。まず、可変長符号化部13は、最大CU分割階層数を符号化する図3のステップST21。最大CU分割階層数の符号は、フレーム内符号化のみ行うピクチャあるいは、ピクチャを分割したスライスに属するLCUの場合、例えば、図10の左側のテーブルを参照することで2値化値が決定され、フレーム間符号化を行うスライス又はピクチャに属するLCUの場合、例えば、図10の右側のテーブルを参照することで決定される。フレーム内符号化では、予測が当たり難く、LCUは細かく分割され易いため、最大CU分割階層数が大きい程、短い符号を割り当てている。一方、フレーム間符号化では、予測が比較的当たり易いので、最大CU分割階層数が小さい程、短い符号を割り当てることにより、効率よくCU分割状態を符号化することができるようにしている。また、図10に示すように、シーケンス、ピクチャあるいはスライス毎に設定されたCUの分割階層数の上限の値に応じて、テーブルを切り替えて、CUの分割階層数の上限の値までのインデックスしか持たないテーブルを使用することにより、符号の冗長度を最小にとどめることができ、効率よくCUの分割状態を符号化することができる。可変長符号化部13は、第0階層のCU符号化処理に移行するステップST22。可変長符号化部13は、処理対象の階層nが0であると同時に最大CU分割階層数が2以上である場合ステップST201、処理対象の階層nに属するCUが四分木分割されているか否かを示す分割フラグを符号化せずに、当該CUを四分木分割した第n1階層に属するCUのCU符号化処理をZスキャン順に実行するステップST205。可変長符号化部13は、処理対象の階層nが最大CU分割階層数に対応する最も深い階層でなければステップST202、処理対象の階層nに属する各々のCUが、四分木分割されているか否かを示す分割フラグを符号化するステップST203。例えば、CUが四分木分割されている場合、分割フラグは1に符号化され、CUが四分木分割されていない場合、分割フラグは0に符号化される。CUの分割フラグは、例えば、LCUから始まるZスキャン順に符号化される。CUが四分木分割されていればステップST204当該CUを四分木分割した第n1階層に属するCUのCU符号化処理をZスキャン順に実行するステップST205。当該CUが四分木分割されていない場合には当該CU符号化処理を終了する。この際、当該CUに属する符号化データを符号化するよう構成してもよいし、全てのCU分割状態を符号化した後に各CUの符号化データを符号化するように構成してもよい。なお、処理対象の階層nが最大CU分割階層数に対応する最も深い階層である場合、当該階層に属するCUは、それ以上の四分木分割がなされないため、CUの分割フラグは符号化されないで当該CU符号化処理を終了する。最大CU分割階層数が1でない場合、上述したように、LCUは、少なくとも1度は四分木分割がなされることが自明であるため、LCUに対する分割フラグは符号化しないようにしている。このように、最大CU分割階層数が1でない場合、LCUに対する分割フラグが符号化されないため、効率よくCU分割状態を符号化することができる。また、Zスキャン順にCUの分割フラグを符号化する際に、Zスキャン順で符号化されていない最後のCUを符号化する前までに、最大CU分割階層数の階層となるCUが発生していない場合、Zスキャン順で符号化されていない最後のCUが最大CU分割階層数に対応する階層まで分割されることが自明であるため、この場合にも、CU分割フラグを符号化しないようにしている。このように、分割されることが自明であるCUに対しては、CUの分割フラグが符号化されないため、効率よくCU分割状態を符号化することができる。これらのエントロピー符号化としては、算術符号化を適用するようしてもよいし、ハフマン符号化を適用するようにしてもよい。以下、CU分割状態の符号化処理を図11の具体例を用いて説明する。図11の例では、フレーム間符号化を行うスライス又はピクチャにおけるLCUとして、LCUサイズが64画素×64画素サイズ、CUの分割階層数の上限が4の場合、つまり、CUのサイズとして64画素×64画素、32画素×32画素、16画素×16画素及び8画素×8画素が選択できるものとしている。図11の例では、処理対象のLCUが32画素×32画素サイズのCUに四分木分割され、左上、右上、右下の32画素×32画素サイズのCUが、更に16画素×16画素サイズのCUに四分木分割されている。従来手法では、LCU第0階層が四分木分割されるため、LCUに対するCUの分割フラグとして1を符号化する。次に、第1階層において、Zスキャン順にCUの分割フラグを符号化する。即ち、左上、右上、左下、右下の32画素×32画素サイズのCU毎に、CUの分割フラグを符号化する。図11の例では、左上、右上、右下の32画素×32画素サイズのCUについての分割フラグとして1を符号化し、左下の32画素×32画素サイズのCUについての分割フラグとして0を符号化する。16画素×16画素サイズのCUについては、それ以上の四分木分割が行われないため、16×16画素サイズのCU毎に、CUの分割フラグとして0を符号化する。このように、従来手法では、第0階層でCUの分割フラグが1個、第1階層でCUの分割フラグが4個、第2階層でCUの分割フラグが12個であり、合計で17個のCUの分割フラグが符号化されてCU分割状態の符号化処理が終了する。一方、この実施の形態1の手法では、LCUが、最大で第2階層に属する16画素×16画素サイズのCUまで分割されるため、第0階層、第1階層、および第2階層の合計3の最大CU分割階層数に対応する1103個の2値化値を符号化する図10の右側のテーブルを参照。この場合、LCUの最大CU分割階層数が1ではなく、LCUが必ず1度は分割されることが自明であるため、LCU第0階層に対するCUの分割フラグは符号化しない。次に、第1階層において、Zスキャン順にCUの分割フラグを符号化する。即ち、左上、右上、左下、右下の32画素×32画素サイズのCU毎にCUの分割フラグを符号化する。図11の例では、左上、右上、右下の32画素×32画素サイズのCUについての分割フラグとして1を符号化し、左下の32画素×32画素サイズのCUについての分割フラグとして0を符号化する。図11の例では、LCUの最大CU分割階層数が3であり、これ以上のCUの分割が行われないことが明らかであるため、これ以上のCUの分割フラグは符号化しない。このように、この実施の形態1による手法では、最大CU分割階層数を示す3個の2値化値と、第1階層におけるCUの分割フラグの4個が符号化対象となるため、合計で7個の2値化値が符号化されてCU分割状態の符号化処理が終了する。CU分割状態の符号化処理において、算術符号化を適用する場合には、最大CU分割階層数の符号化を図10のテーブルを用いて2値化した後に、各2値化値binに対して適切な条件付発生確率によって適応算術符号化を行うことで、さらに符号量を削減することができる。CUの分割状態は、画面の動きやテクスチャに依存して形成されるが、画面の動きやテクスチャは一般に空間近傍では類似する可能性が高い。そこで、例えば、符号化対象のLCUの上側の最大CU分割階層数をMaxCUDepth_Above、左側の最大CU分割階層数をMaxCUDepth_Leftとし、その最大CU分割階層数MaxCUDepth_Above,MaxCUDepth_Leftに応じて、符号化対象のLCUの最大CU分割階層数を表す符号のコード長を切り替えるようにしてもよい。即ち、符号化対象のLCUの上側及び左側の最大CU分割階層数MaxCUDepth_Above,MaxCUDepth_Leftに応じて、符号化対象のLCUの最大CU分割階層数の最初のbinの優勢シンボルの生起確率を保持するメモリを切り替えるようにしてもよい。フレーム内符号化を行うスライス又はピクチャに含まれるLCUの場合、最大CU分割階層数が大きくなる可能性が高いため、上側の最大CU分割階層数MaxCUDepth_Above及び左側の最大CU分割階層数MaxCUDepth_Leftの双方が大きい値をとる場合例えば、双方とも0でない場合、あるいは、片方でもCUの分割階層数の上限である場合、または、双方の和が所定の閾値より大きい場合、符号化対象のLCUの最大CU分割階層数が大きい値をとる確率が高くなるような最初のbinの優勢シンボルおよび生起確率を適用する。逆に、上側の最大CU分割階層数MaxCUDepth_Above及び左側の最大CU分割階層数MaxCUDepth_Leftの双方が大きい値をとることがない場合、符号化対象のLCUの最大CU分割階層数が大きい値をとる確率が低くなるような最初のbinの優勢シンボルおよび生起確率を適用する。このように、符号化対象のLCUの最大CU分割階層数の最初のbinの優勢シンボルの生起確率を保持するメモリを切り替えることで、発生する確率の高いシンボルを少ない情報量で符号化することができるため、効率よくCU分割状態を符号化することができる。また、フレーム間符号化を行うスライス又はピクチャに含まれるLCUの場合、最大CU分割階層数が小さくなる可能性が高いため、上側の最大CU分割階層数MaxCUDepth_Above及び左側の最大CU分割階層数MaxCUDepth_Leftの双方が小さい値をとる場合例えば、双方とも0である場合、あるいは、双方ともCUの分割階層数の上限でない場合、または、双方の和が所定の閾値より小さい場合、符号化対象のLCUの最大CU分割階層数が小さい値をとる確率が高くなるような最初のbinの優勢シンボルおよび生起確率を適用する。逆に、上側の最大CU分割階層数MaxCUDepth_Above及び左側の最大CU分割階層数MaxCUDepth_Leftの双方が小さい値をとることがない場合、符号化対象のLCUの最大CU分割階層数が小さい値をとる確率が低くなるような最初のbinの優勢シンボルおよび生起確率を適用する。このように、符号化対象のLCUの最大CU分割階層数の最初のbinの優勢シンボルの生起確率を保持するメモリを切り替えることで、発生する確率の高いシンボルを少ない情報量で符号化することができるため、効率よくCU分割状態を符号化することができる。CU分割状態の符号化処理において、ハフマン符号化を適用する場合には、図12に示すように、上側の最大CU分割階層数MaxCUDepth_Above及び左側の最大CU分割階層数MaxCUDepth_Leftの値が大きい場合と小さい場合で、ハフマンテーブルを切り替えことで、算術符号化において、優勢シンボルの生起確率が高くなるような符号化シンボルには短い符号を割り当て、逆の場合には長い符号を割り当てることにより得られる効果と同様の効果が得られる。この実施の形態1では、LCU毎に、常に最大CU分割階層数を符号化するものを示したが、上側の最大CU分割階層数MaxCUDepth_Above及び左側の最大CU分割階層数MaxCUDepth_Leftが所定の条件を満足する場合に限り、符号化対象のLCUの最大CU分割階層数を可変長符号化し、所定の条件を満足しなければ、符号化対象のLCUの最大CU分割階層数を可変長符号化せずに、ブロック分割部2から出力された全てのCUの分割フラグを可変長符号化するよう構成してもよい。即ち、上側の最大CU分割階層数MaxCUDepth_Above及び左側の最大CU分割階層数MaxCUDepth_Leftの双方が小さい値をとる場合例えば、双方とも0である場合、あるいは、双方ともCUの分割階層数の上限でない場合、または、双方の和が所定の閾値より小さい場合、上述した符号化対象のLCUの最大CU分割階層数を符号化する手法でCU分割状態を符号化する。逆に、上側の最大CU分割階層数MaxCUDepth_Above及び左側の最大CU分割階層数MaxCUDepth_Leftの双方が小さい値をとることがない場合、符号化対象のLCUの最大CU分割階層数を可変長符号化せずに、ブロック分割部2から出力された全てのCUの分割フラグを可変長符号化することで、CU分割状態を符号化する。このように構成することで、偶発的に最大CU分割階層数が最大となるLCUが多数発生するような場合には、最大CU分割階層数のオーバーヘッドを少なくすることができ、効率よくCU分割状態を符号化することができる。以上で明らかなように、図1の動画像符号化装置によれば、可変長符号化部13が、各々のLCUにおける四分木構造で階層が最も深い部分の分割階層数を示す最大CU分割階層数を可変長符号化するとともに、最も深い階層に属するCU以外のCUがブロック分割部2によって四分木分割されているか否かを示す分割フラグを可変長符号化するように構成したので、少ないビット数のシグナリングでCUの分割状態を動画像復号装置側に伝えることができる効果を奏する。次に、図5の画像復号装置の処理内容を説明する。可変長復号部51は、図1の画像符号化装置から出力されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して図5のステップST31、1フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズ水平画素数、垂直ライン数を復号する。可変長復号部51は、図1の符号化制御部1と同様の手順で、LCUサイズ及び最大CU分割階層数を決定するステップST32。例えば、画像符号化装置において、LCUサイズが、入力画像の解像度に応じて決定されている場合、先に復号しているフレームサイズに基づいてLCUサイズを決定する。なお、LCUサイズ及び最大CU分割階層数がビットストリームに多重化されている場合には、そのビットストリームから復号した情報を参照する。また、可変長復号部51は、符号化データからCUの分割フラグを可変長復号して、その最大CU分割階層数とCUの分割フラグからLCUの四分木構造を示すCU分割状態を復号する。以下、CU分割状態のエントロピー復号処理について詳述する。まず、可変長復号部51は、図10のテーブルを参照して、最大CU分割階層数を復号する図6のステップST51。例えば、CUの分割階層数の上限が4である場合において、符号化データがフレーム間符号化による110の2値化値であれば、最大CU分割階層数が3であるとして復号される。可変長復号部51は、第0階層のCU復号処理に移行するステップST52。可変長復号部51は、処理対象の階層nが0であると同時に最大CU分割階層数が2以上である場合ステップST501、処理対象の階層nに属するCUが四分木分割されているか否かを示す分割フラグを復号せずに、当該CUを四分木分割した第n1階層に属するCUのCU復号処理をZスキャン順に実行するステップST505。可変長復号部51は、処理対象の階層nが最大CU分割階層数に対応する最も深い階層でなければステップST502、処理対象の階層nに属する各々のCUの分割フラグを復号するステップST503。なお、CUの分割フラグは、符号化と同じ順序で復号される。例えば、LCUから始まるZスキャン順で復号される。CUの分割フラグが分割する旨を示している場合ステップST504、当該CUを四分木分割した第n1階層に属するCUのCU復号処理をZスキャン順に実行するステップST505。当該CUが四分木分割されていない場合には当該CU復号処理を終了する。この際、当該CUに属する符号化データを復号するよう構成してもよいし、全てのCU分割状態を復号した後に各CUの符号化データを復号するように構成してもよい。ただし、最大CU分割階層数に対応する最も深い階層に属するCUは、それ以上の四分木分割がなされないため、CUの分割フラグは復号しないで当該CU復号処理を終了する。最大CU分割階層数が1でない場合、上述したように、LCUは、少なくとも1度は四分木分割がなされることが自明であるため、LCUに対する分割フラグは復号しない。また、Zスキャン順にCUの分割フラグを復号する際に、Zスキャン順で復号されていない最後のCUを復号する前までに、最大CU分割階層数の階層となるCUが発生していない場合、Zスキャン順で復号されていない最後のCUが最大CU分割階層数に対応する階層まで分割されることが自明であるため、この場合にも、CUの分割フラグを復号しない。これにより、CU分割状態をエントロピー復号することができるが、動画像符号化装置において、符号化対象のLCUの最大CU分割階層数を可変長符号化せずに、ブロック分割部2から出力された全てのCUの分割フラグを可変長符号化することで、CU分割状態を符号化している場合には、全てのCUの分割フラグを可変長復号し、その分割フラグからCU分割状態をエントロピー復号する。可変長復号部51は、上記のようにしてCU分割状態を復号すると、そのCU分割状態から、階層的に分割されている各々のCUであるBjnを特定するステップST33。また、可変長復号部51は、符号化データから各々のCUであるBjnに対応する符号化モードmBjnを復号し、その符号化モードmBjnに含まれる情報に基づき、CUを更に1つないし複数のPUに分割し、各PUに割り当てられている予測パラメータ符号化モード、圧縮データ、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータなどを復号するステップST34。なお、CUに割り当てられている符号化モードがイントラ符号化モードである場合、CUに属している1つ以上のPU毎に、イントラ予測パラメータを復号する。また、CUに割り当てられている符号化モードがインター符号化モードである場合、CUに属している1つ以上のPU毎に、インター予測パラメータを復号する。イントラ予測パラメータの復号は、画像符号化装置と同じ手順で、周辺の復号済みPUのイントラ予測パラメータに基づいて、復号対象であるPUのイントラ予測パラメータの予測値を算出し、その予測値を用いて復号する。切替スイッチ52は、可変長復号部51からCUであるBjnに属しているパーティションPjinの符号化モードmBjnがイントラ符号化モードである場合ステップST35、可変長復号部51から出力されたイントラ予測パラメータをイントラ予測部53に出力する。一方、パーティションPjinの符号化モードmBjnがインター符号化モードである場合ステップST35、可変長復号部51から出力されたインター予測パラメータを動き補償予測部54に出力する。イントラ予測部53は、切替スイッチ52からイントラ予測パラメータを受けると、そのイントラ予測パラメータを用いて、CUであるBjnのパーティションPjinに対するイントラ予測処理を実施して、イントラ予測画像Pjinを生成するステップST36。動き補償予測部54は、切替スイッチ52からインター予測パラメータを受けると、そのインター予測パラメータを用いて、CUであるBjnのパーティションPjinに対する動き補償予測処理を実施して、インター予測画像Pjinを生成するステップST37。逆量子化逆変換部55は、可変長復号部51から変換処理単位であるTU毎に圧縮データが出力され、可変長復号部51から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、TU単位の圧縮データを逆量子化する。また、逆量子化逆変換部55は、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理例えば、逆DCT逆離散コサイン変換や、逆KL変換等の逆変換処理を実施することで、逆変換処理後の圧縮データを復号予測差分信号圧縮前の差分画像を示す信号として加算部56に出力するステップST38。予測差分符号化パラメータに含まれている量子化パラメータは、ビットストリームから抽出した符号化データからCUの単位で復元し、TUサイズ情報は、CUを起点として、LCUの分割と同様に、四分木分割で表現された分割情報の形式や、選択可能なTUサイズをインデックス情報として表現された形式などで、ビットストリームから抽出して復元する。逆量子化逆変換部55は、このTUサイズの情報に基づいて、変換量子化処理のブロックサイズを特定して処理を行う。なお、TUサイズの情報は、CUではなく、CUを分割するPUを単位として決定するように構成されていてもよい。加算部56は、逆量子化逆変換部55から復号予測差分信号を受けると、その復号予測差分信号とイントラ予測部53又は動き補償予測部54により生成された予測画像を示す予測信号を加算することで復号画像CU内に含まれている1つないし複数の復号PU画像の集まりを生成して、その復号画像を示す復号画像信号をイントラ予測用メモリ57に格納するとともに、その復号画像信号をループフィルタ部58に出力するステップST39。復号画像が以降のイントラ予測用の画像信号となる。ステップST33~ST39の処理は、階層的に分割された全てのCUに対する処理が完了するまで繰り返し実施されるステップST40。ループフィルタ部58は、加算部56から復号画像信号を受けると、画像符号化装置のループフィルタ部11と同じフィルタリング処理を実施することで、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ59に格納するステップST41。ループフィルタ部58によるフィルタリング処理は、加算部56から出力される復号画像信号のLCUあるいは個々のCU単位で行ってもよいし、1画面分のLCUに相当する復号画像信号が出力された後に1画面分まとめて行ってもよい。以上の構成により、図4の動画像復号装置では、効率的に符号化されたビットストリームを復号し、映像信号を再生することが可能になる。この実施の形態1では、効率がよいCU分割状態の符号化方法と、それを好適に復号する方法について説明したが、TU分割状態についても同様の方法で、効率がよい符号化と好適な復号を行うことができる。なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。"