"入力カラー画像を所定のサイズの最大符号化ブロックに分割し、上記最大符号化ブロックを階層的に符号化ブロックに分割するブロック分割手段と、上記ブロック分割手段により分割された符号化ブロックに対応する符号化モードを選択する符号化制御手段と、上記ブロック分割手段により分割された符号化ブロックに対して、上記符号化制御手段により選択された符号化モードに対応する予測処理を実施して予測画像を生成する予測画像生成手段と、上記ブロック分割手段により分割された符号化ブロックと上記予測画像生成手段により生成された予測画像との差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮手段と、上記画像圧縮手段から出力された圧縮データ及び上記符号化制御手段により選択された符号化モードを可変長符号化して、上記圧縮データ及び上記符号化モードの符号化データが多重化されたビットストリームを生成する可変長符号化手段とを備え、上記画像圧縮手段は、予め、輝度信号に係る最大のブロック分割階層数である輝度最大変換ブロック分割階層数と、色差信号に係る最大のブロック分割階層数である色差最大変換ブロック分割階層数とが設定されており、上記差分画像生成手段により生成された差分画像を圧縮する際、上記差分画像における輝度信号のブロックを最大で上記輝度最大変換ブロック分割階層数まで階層的に分割してから、分割後のブロック単位で輝度信号の圧縮処理を実施し、上記差分画像における色差信号のブロックを最大で上記色差最大変換ブロック分割階層数まで階層的に分割してから、分割後のブロック単位で色差信号の圧縮処理を実施し、上記可変長符号化手段は、上記画像圧縮手段によるブロックの分割情報、上記輝度最大変換ブロック分割階層数及び上記色差最大変換ブロック分割階層数を可変長符号化して、上記分割情報、上記輝度最大変換ブロック分割階層数及び上記色差最大変換ブロック分割階層数の符号化データを上記ビットストリームに多重化することを特徴とするカラー動画像符号化装置。画像圧縮手段は、色差最大変換ブロック分割階層数として、フレーム内予測処理用の色差最大変換ブロック分割階層数とフレーム間予測処理用の色差最大変換ブロック分割階層数とが設定されている場合、符号化制御手段により選択された符号化モードがフレーム内予測を行うモードであれば、差分画像における色差信号のブロックを最大で上記フレーム内予測処理用の色差最大変換ブロック分割階層数まで階層的に分割し、上記符号化モードがフレーム間予測を行うモードであれば、上記差分画像における色差信号のブロックを最大で上記フレーム間予測処理用の色差最大変換ブロック分割階層数まで階層的に分割し、上記可変長符号化手段は、上記画像圧縮手段によるブロックの分割情報、上記輝度最大変換ブロック分割階層数、上記フレーム内予測処理用の色差最大変換ブロック分割階層数及び上記フレーム間予測処理用の色差最大変換ブロック分割階層数を可変長符号化して、上記分割情報、上記輝度最大変換ブロック分割階層数、上記フレーム内予測処理用の色差最大変換ブロック分割階層数及び上記フレーム間予測処理用の色差最大変換ブロック分割階層数の符号化データを上記ビットストリームに多重化することを特徴とする請求項1記載のカラー動画像符号化装置。ビットストリームに多重化された符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る符号化モードに対応する予測処理を実施して、当該符号化ブロックに対する予測画像を生成する予測画像生成手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像と上記予測画像生成手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段とを備え、上記可変長復号手段は、上記ビットストリームに多重化された符号化データからブロックの分割情報、輝度最大変換ブロック分割階層数及び色差最大変換ブロック分割階層数を可変長復号し、上記差分画像生成手段は、上記可変長復号手段により可変長復号されたブロックの分割情報及び輝度最大変換ブロック分割階層数から差分画像における輝度信号に対する圧縮処理単位のブロックを特定し、上記ブロック毎に輝度信号に対する圧縮の解除処理を実施して、圧縮前の差分画像における輝度信号を復号するとともに、上記可変長復号手段により可変長復号されたブロックの分割情報及び色差最大変換ブロック分割階層数から差分画像における色差信号に対する圧縮処理単位のブロックを特定し、上記ブロック毎に色差信号に対する圧縮の解除処理を実施して、圧縮前の差分画像における色差信号を復号することを特徴とするカラー動画像復号装置。可変長復号手段は、ビットストリームに多重化された符号化データからフレーム内予測処理用の色差最大変換ブロック分割階層数及びフレーム間予測処理用の色差最大変換ブロック分割階層数の符号化データを可変長復号し、差分画像生成手段は、上記可変長復号手段により可変長復号された符号化モードがフレーム内予測を行うモードであれば、上記可変長復号手段により可変長復号された分割情報及びフレーム内予測処理用の色差最大変換ブロック分割階層数から差分画像における色差信号に対する圧縮処理単位のブロックを特定し、上記符号化モードがフレーム間予測を行うモードであれば、上記分割情報及び上記フレーム間予測処理用の色差最大変換ブロック分割階層数から差分画像における色差信号に対する圧縮処理単位のブロックを特定することを特徴とする請求項3記載のカラー動画像復号装置。ブロック分割手段が、入力カラー画像を所定のサイズの最大符号化ブロックに分割し、上記最大符号化ブロックを階層的に符号化ブロックに分割するブロック分割処理ステップと、符号化制御手段が、上記ブロック分割処理ステップで分割された符号化ブロックに対応する符号化モードを選択する符号化制御処理ステップと、予測画像生成手段が、上記ブロック分割処理ステップで分割された符号化ブロックに対して、上記符号化制御処理ステップで選択された符号化モードに対応する予測処理を実施して予測画像を生成する予測画像生成処理ステップと、差分画像生成手段が、上記ブロック分割処理ステップで分割された符号化ブロックと上記予測画像生成処理ステップで生成された予測画像との差分画像を生成する差分画像生成処理ステップと、画像圧縮手段が、上記差分画像生成処理ステップで生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮処理ステップと、可変長符号化手段が、上記画像圧縮処理ステップで出力された圧縮データ及び上記符号化制御処理ステップで選択された符号化モードを可変長符号化して、上記圧縮データ及び上記符号化モードの符号化データが多重化されたビットストリームを生成する可変長符号化処理ステップとを備え、上記画像圧縮処理ステップでは、予め、輝度信号に係る最大のブロック分割階層数である輝度最大変換ブロック分割階層数と、色差信号に係る最大のブロック分割階層数である色差最大変換ブロック分割階層数とが設定されており、上記差分画像生成処理ステップで生成された差分画像を圧縮する際、上記差分画像における輝度信号のブロックを最大で上記輝度最大変換ブロック分割階層数まで階層的に分割してから、分割後のブロック単位で輝度信号の圧縮処理を実施し、上記差分画像における色差信号のブロックを最大で上記色差最大変換ブロック分割階層数まで階層的に分割してから、分割後のブロック単位で色差信号の圧縮処理を実施し、上記可変長符号化処理ステップでは、上記画像圧縮処理ステップでのブロックの分割情報、上記輝度最大変換ブロック分割階層数及び上記色差最大変換ブロック分割階層数を可変長符号化して、上記分割情報、上記輝度最大変換ブロック分割階層数及び上記色差最大変換ブロック分割階層数の符号化データを上記ビットストリームに多重化することを特徴とするカラー動画像符号化方法。可変長復号手段が、ビットストリームに多重化された符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号処理ステップと、予測画像生成手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る符号化モードに対応する予測処理を実施して、当該符号化ブロックに対する予測画像を生成する予測画像生成処理ステップと、差分画像生成手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成処理ステップと、復号画像生成手段が、上記差分画像生成処理ステップで生成された差分画像と上記予測画像生成処理ステップで生成された予測画像とを加算して復号画像を生成する復号画像生成処理ステップとを備え、上記可変長復号手段は、上記ビットストリームに多重化された符号化データからブロックの分割情報、輝度最大変換ブロック分割階層数及び色差最大変換ブロック分割階層数を可変長復号し、上記差分画像生成処理ステップでは、上記可変長復号処理ステップで可変長復号されたブロックの分割情報及び輝度最大変換ブロック分割階層数から差分画像における輝度信号に対する圧縮処理単位のブロックを特定し、上記ブロック毎に輝度信号に対する圧縮の解除処理を実施して、圧縮前の差分画像における輝度信号を復号するとともに、上記可変長復号処理ステップで可変長復号されたブロックの分割情報及び色差最大変換ブロック分割階層数から差分画像における色差信号に対する圧縮処理単位のブロックを特定し、上記ブロック毎に色差信号に対する圧縮の解除処理を実施して、圧縮前の差分画像における色差信号を復号することを特徴とするカラー動画像復号方法。従来のカラー動画像符号化装置は以上のように構成されているので、色差信号の変換ブロックサイズに係る情報の符号化が不要になり、色差信号の符号化効率が高められるが、色差信号の変換ブロックサイズが輝度信号の変換ブロックサイズに応じて固定される。しかしながら、画像信号における色差信号は、一般的に輝度信号よりも、相対的に平坦な信号変化が多く、輝度信号の最適な変換ブロックサイズと色差信号の最適な変換ブロックサイズが異なる。このため、色差信号の変換ブロックサイズが輝度信号の変換ブロックサイズに応じて固定されると、色差信号の符号化効率が最適にならないことがある課題があった。この発明は上記のような課題を解決するためになされたもので、輝度信号と色差信号に適するブロックサイズで圧縮処理を実施して、輝度信号と色差信号の符号化効率を高めることができるカラー動画像符号化装置及びカラー動画像符号化方法を得ることを目的とする。また、この発明は、符号化効率の改善が図られている符号化データから正確に動画像を復号することができるカラー動画像復号装置及びカラー動画像復号方法を得ることを目的とする。この発明に係るカラー動画像符号化装置は、画像圧縮手段が、差分画像生成手段により生成された差分画像を圧縮する際、その差分画像における輝度信号のブロックを最大で輝度最大変換ブロック分割階層数まで階層的に分割してから、分割後のブロック単位で輝度信号の圧縮処理を実施し、その差分画像における色差信号のブロックを最大で色差最大変換ブロック分割階層数まで階層的に分割してから、分割後のブロック単位で色差信号の圧縮処理を実施し、可変長符号化手段が、画像圧縮手段によるブロックの分割情報、輝度最大変換ブロック分割階層数及び上記色差最大変換ブロック分割階層数を可変長符号化して、上記分割情報、輝度最大変換ブロック分割階層数及び色差最大変換ブロック分割階層数の符号化データをビットストリームに多重化するようにしたものである。この発明によれば、画像圧縮手段が、差分画像生成手段により生成された差分画像を圧縮する際、その差分画像における輝度信号のブロックを最大で輝度最大変換ブロック分割階層数まで階層的に分割してから、分割後のブロック単位で輝度信号の圧縮処理を実施し、その差分画像における色差信号のブロックを最大で色差最大変換ブロック分割階層数まで階層的に分割してから、分割後のブロック単位で色差信号の圧縮処理を実施し、可変長符号化手段が、画像圧縮手段によるブロックの分割情報、輝度最大変換ブロック分割階層数及び上記色差最大変換ブロック分割階層数を可変長符号化して、上記分割情報、輝度最大変換ブロック分割階層数及び色差最大変換ブロック分割階層数の符号化データをビットストリームに多重化するように構成したので、輝度信号と色差信号に対する圧縮処理のブロックサイズの適正化が図られて、輝度信号と色差信号の符号化効率を高めることができる効果がある。実施の形態1.図1はこの発明の実施の形態1によるカラー動画像符号化装置を示す構成図である。この実施の形態1のカラー動画像符号化装置が処理対象とする映像信号は、輝度信号と2つの色差信号からなるYUV信号や、ディジタル撮像素子から出力されるRGB信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平垂直2次元のディジタルサンプル画素列から構成される任意の映像信号である。各画素の諧調は8ビットでもよいし、10ビット、12ビットなどの諧調であってもよい。ただし、以下の説明においては、特に断らない限り、入力される映像信号がYUV信号であるものとする。また、2つの色差成分U,Vが輝度成分Yに対して、サブサンプルされた4:2:0フォーマットの信号であるものとする。なお、映像の各フレームに対応する処理データ単位をピクチャと称し、この実施の形態1では、ピクチャは順次走査プログレッシブスキャンされた映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、ピクチャは映像フレームを構成する単位であるフィールド画像信号であってもよい。図1において、符号化制御部1はイントラ予測処理フレーム内予測処理又は動き補償予測処理フレーム間予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。また、符号化制御部1は利用可能な1以上の符号化モード1以上のイントラ符号化モード、1以上のインター符号化モードの中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。また、符号化制御部1は各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する処理を実施する。量子化パラメータ及び変換ブロックサイズを示す変換ブロック分割フラグは、予測差分符号化パラメータに含まれて、変換量子化部7、逆量子化逆変換部8及び可変長符号化部13等に出力される。なお、符号化制御部1は符号化制御手段を構成している。ここで、図17は4:2:0フォーマットの信号における輝度信号及び色差信号の圧縮処理変換処理、量子化処理を実施する際の変換ブロックサイズを示す説明図である。変換ブロックサイズは、図17に示すように、符号化ブロックを四分木状に階層分割することによって決定される。例えば、変換ブロックを分割する場合と変換ブロックを分割しない場合での符号量や、符号化誤差を加味した評価尺度などに基づいて、評価値が最小になるように変換ブロックを分割するか否かを決定することで、符号量と符号化誤差のトレードオフの観点から最適な変換ブロックの分割形状を決定することができる。輝度信号については、例えば、図17に示すように、予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが1つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。一方、予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが1つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。あるいは、正方形の変換ブロックに分割された後に、さらに下の階層で長方形の変換ブロックに分割されるように構成する。一方、色差信号については、図17に示すように、予測ブロックの形状が正方形である場合、予測ブロックと同じサイズの変換ブロックが適用されるように構成する。予測ブロックの形状が長方形である場合、予測ブロックが1階層だけ分割されるように構成する。このように輝度信号については、階層的に最適な変換ブロックサイズに分割されて変換が行われ、色差信号については、分割形状が固定された大きいブロックで変換が行われるため、色差信号の変換ブロックの分割形状に関する情報をシグナリングすることなく、色差信号を効率的に圧縮することができる。また、色差信号の変換ブロックの分割形状が、輝度信号の変換ブロックの分割形状と異なるため、輝度信号に対しては、輝度信号に最適な変換ブロックの分割形状を選択することができるため、輝度信号についても、効率的に圧縮することができる。なお、予測ブロックの形状が正方形であっても、符号化ブロックを4分割して得られる正方形サイズの予測ブロックの場合には、色差信号の変換ブロックも1階層だけ分割されるように構成してもよい。このようにすれば正方形の変換ブロックが正方形の予測ブロックをまたがないように構成できるので、高周波成分の発生を抑制することができ効率よく圧縮できる。輝度信号の変換ブロックの分割情報は、階層毎に分割するか否かを示す変換ブロック分割フラグとして可変長符号化部13に出力する。ブロック分割部2は入力カラー画像カレントピクチャを示すカラー画像信号を入力すると、その入力カラー画像を符号化制御部1により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部1により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する処理を実施する。なお、ブロック分割部2はブロック分割手段を構成している。切替スイッチ3は符号化制御部1により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部2により分割された符号化ブロックをイントラ予測部4に出力し、符号化制御部1により選択された符号化モードがインター符号化モードであれば、ブロック分割部2により分割された符号化ブロックを動き補償予測部5に出力する処理を実施する。イントラ予測部4は切替スイッチ3からブロック分割部2により分割された符号化ブロックを受けると、その符号化ブロックに対して、イントラ予測用メモリ10により格納されている上記符号化ブロックに隣接している復号済みの画素を用いて、符号化制御部1から出力されたイントラ予測パラメータに基づくフレーム内予測処理を実施することで予測画像を生成する処理を実施する。即ち、イントラ予測部4は、ブロック分割部2により分割された符号化ブロックにおける輝度成分については、その輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する。一方、ブロック分割部2により分割された符号化ブロックにおける色差成分については、符号化制御部1により選択された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、ブロック分割部2により分割された符号化ブロックにおける色差成分のフレーム内予測を実施して、色差成分に対する予測画像を生成する。動き補償予測部5はブロック分割部2により分割された符号化ブロックに対応する符号化モードとして、符号化制御部1によりインター符号化モードが選択された場合、動き補償予測フレームメモリ12により格納されている1フレーム以上の参照画像を用いて、符号化制御部1から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。なお、切替スイッチ3、イントラ予測部4及び動き補償予測部5から予測画像生成手段が構成されている。減算部6はブロック分割部2により分割された符号化ブロックから、イントラ予測部4又は動き補償予測部5により生成された予測画像を減算することで、差分画像=符号化ブロック-予測画像を生成する処理を実施する。なお、減算部6は差分画像生成手段を構成している。変換量子化部7は符号化制御部1から出力された予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、減算部6により生成された差分画像の変換処理例えば、DCT離散コサイン変換やDST離散サイン変換、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。即ち、変換量子化部7は減算部6により生成された差分画像の輝度信号に対する変換量子化処理圧縮処理を実施する場合、ブロック分割部2により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の変換量子化処理を実施し、減算部6により生成された差分画像の色差信号に対する変換量子化処理を実施する場合、ブロック分割部2により分割された符号化ブロックの形状が正方形であれば、その符号化ブロックと同じサイズのブロック単位で色差信号の変換量子化処理を実施し、その符号化ブロックの形状が長方形であれば、その符号化ブロックを1階層だけ分割して、分割後のブロック単位で色差信号の変換量子化処理を実施する。なお、変換量子化部7は画像圧縮手段を構成している。逆量子化逆変換部8は符号化制御部1から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換量子化部7から出力された圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理例えば、逆DCT逆離散コサイン変換や逆DST逆離散サイン変換、逆KL変換等の逆変換処理を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として出力する処理を実施する。加算部9は逆量子化逆変換部8から出力された局所復号予測差分信号とイントラ予測部4又は動き補償予測部5により生成された予測画像を示す予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。イントラ予測用メモリ10はイントラ予測部4により次回のイントラ予測処理で用いられる画像として、加算部9により生成された局所復号画像信号が示す局所復号画像を格納するRAMなどの記録媒体である。ループフィルタ部11は加算部9により生成された局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ12に出力する処理を実施する。動き補償予測フレームメモリ12は動き補償予測部5により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部11によるフィルタリング処理後の局所復号画像を格納するRAMなどの記録媒体である。可変長符号化部13は変換量子化部7から出力された圧縮データと、符号化制御部1から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータと、イントラ予測部4から出力されたイントラ予測パラメータ又は動き補償予測部5から出力されたインター予測パラメータとを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータの符号化データが多重化されているビットストリームを生成する処理を実施する。なお、可変長符号化部13は可変長符号化手段を構成している。図1では、カラー動画像符号化装置の構成要素である符号化制御部1、ブロック分割部2、切替スイッチ3、イントラ予測部4、動き補償予測部5、減算部6、変換量子化部7、逆量子化逆変換部8、加算部9、ループフィルタ部11及び可変長符号化部13のそれぞれが専用のハードウェア例えば、CPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどで構成されているものを想定しているが、カラー動画像符号化装置がコンピュータなどで構成される場合、符号化制御部1、ブロック分割部2、切替スイッチ3、イントラ予測部4、動き補償予測部5、減算部6、変換量子化部7、逆量子化逆変換部8、加算部9、ループフィルタ部11及び可変長符号化部13の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。図2はこの発明の実施の形態1によるカラー動画像符号化装置の処理内容を示すフローチャートである。図3はこの発明の実施の形態1によるカラー動画像符号化装置のイントラ予測部4を示す構成図である。図3において、輝度信号イントラ予測部21はブロック分割部2により分割された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する処理を実施する。即ち、輝度信号イントラ予測部21はイントラ予測用メモリ10により格納されている上記符号化ブロックに隣接している復号済みの輝度参照画素を参照して、符号化制御部1から出力されたイントラ予測パラメータに基づく輝度成分のフレーム内予測を実施することで、輝度成分に対する予測画像を生成する処理を実施する。切替スイッチ22は符号化制御部1から出力されたイントラ予測パラメータのうち、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードである旨を示していれば、予測に用いる参照画素を色差信号方向性イントラ予測部23に与え、色差信号のイントラ符号化モードを示すパラメータが、平滑化輝度相関利用色差信号予測モードである旨を示していれば、予測に用いる参照画素を輝度相関利用色差信号予測部24に出力する処理を実施する。色差信号方向性イントラ予測部23は切替スイッチ22から受け取った上記符号化ブロックに隣接している復号済みの色差参照画素を参照して、符号化制御部1から出力されたイントラ予測パラメータに基づく色差成分のフレーム内予測を実施することで、色差成分に対する予測画像を生成する処理を実施する。輝度相関利用色差信号予測部24は切替スイッチ22から受け取った復号済みの画素のうち、符号化ブロックに隣接している復号済みの輝度参照画素及び色差参照画素と、当該符号化ブロック内の復号済みの輝度参照画素を用いて、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する処理を実施する。なお、図5はこの発明の実施の形態1によるカラー動画像符号化装置のイントラ予測部4の処理内容を示すフローチャートである。図4はこの発明の実施の形態1によるカラー動画像符号化装置の輝度相関利用色差信号予測部24を示す構成図である。図4において、平滑化輝度参照画素縮小部31はイントラ予測用メモリ10により格納されている符号化ブロックを構成している復号済みの輝度参照画素のうち、水平方向及び垂直方向に隣接している複数の輝度参照画素の平滑化処理等を実施することで、縮小輝度参照画素Rec’Lを生成する。相関算出部32はイントラ予測用メモリ10により格納されている色差参照画素と平滑化輝度参照画素縮小部31により生成された縮小輝度参照画素Rec’Lを用いて、輝度成分と色差成分の相関を示す相関パラメータα,βを算出する処理を実施する。色差予測画像生成部33は相関算出部32により算出された相関パラメータα,βと平滑化輝度参照画素縮小部31により生成された縮小輝度参照画素Rec’Lを用いて、色差成分に対する予測画像を生成する処理を実施する。なお、図6はこの発明の実施の形態1によるカラー動画像符号化装置の輝度相関利用色差信号予測部24の処理内容を示すフローチャートである。図7はこの発明の実施の形態1によるカラー動画像復号装置を示す構成図である。図7において、可変長復号部41はイントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ及び最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数を特定することで、ビットストリームに多重化されている符号化データの中で、最大サイズの符号化ブロック及び階層的に分割されている符号化ブロックに係る符号化データを特定し、各々の符号化データから符号化ブロックに係る圧縮データ、符号化モード、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化逆変換部45に出力するとともに、その符号化モード及びイントラ予測パラメータ/インター予測パラメータを切替スイッチ42に出力する処理を実施する。なお、可変長復号部41は可変長復号手段を構成している。切替スイッチ42は可変長復号部41から出力された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、可変長復号部41から出力されたイントラ予測パラメータをイントラ予測部43に出力し、その符号化モードがインター符号化モードである場合、可変長復号部41から出力されたインター予測パラメータを動き補償部44に出力する処理を実施する。イントラ予測部43はイントラ予測用メモリ47により格納されている符号化ブロックに隣接している復号済みの画素を用いて、切替スイッチ42から出力されたイントラ予測パラメータに基づいて、符号化ブロックに対するフレーム内予測処理を実施することで予測画像を生成する処理を実施する。動き補償部44は動き補償予測フレームメモリ49により格納されている1フレーム以上の参照画像を用いて、切替スイッチ42から出力されたインター予測パラメータに基づいて、符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。なお、切替スイッチ42、イントラ予測部43及び動き補償部44から予測画像生成手段が構成されている。逆量子化逆変換部45は可変長復号部41から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部41から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理例えば、逆DCT逆離散コサイン変換や逆DST逆離散サイン変換、逆KL変換等の逆変換処理を実施することで、逆変換処理後の圧縮データを復号予測差分信号圧縮前の差分画像を示す信号として出力する処理を実施する。即ち、逆量子化逆変換部45は可変長復号部41から出力された予測差分符号化パラメータに含まれている変換ブロック分割フラグに基づいて階層的に分割された輝度信号の変換ブロック形状を特定し、変換ブロック単位で逆量子化処理逆変換処理を行う。色差信号については、図17に示すように、予測ブロックの形状が正方形である場合、予測ブロックと同じサイズの変換ブロック単位で逆量子化処理逆変換処理を実施し、予測ブロックの形状が長方形である場合、予測ブロックを1階層だけ分割して、分割後のブロック単位で逆量子化処理逆変換処理を実施する。なお、逆量子化逆変換部45は差分画像生成手段を構成している。加算部46は逆量子化逆変換部45から出力された復号予測差分信号とイントラ予測部43又は動き補償部44により生成された予測画像を示す予測信号を加算することで、復号画像を示す復号画像信号を生成する処理を実施する。なお、加算部46は復号画像生成手段を構成している。イントラ予測用メモリ47はイントラ予測部43により次回のイントラ予測処理で用いられる画像として、加算部46により生成された復号画像信号が示す復号画像を格納するRAMなどの記録媒体である。ループフィルタ部48は加算部46により生成された復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ49に出力するとともに、その復号画像を再生画像として外部に出力する処理を実施する。動き補償予測フレームメモリ49は動き補償部44により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部48によるフィルタリング処理後の復号画像を格納するRAMなどの記録媒体である。図7では、カラー動画像復号装置の構成要素である可変長復号部41、切替スイッチ42、イントラ予測部43、動き補償部44、逆量子化逆変換部45、加算部46及びループフィルタ部48のそれぞれが専用のハードウェア例えば、CPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどで構成されているものを想定しているが、カラー動画像復号装置がコンピュータなどで構成される場合、可変長復号部41、切替スイッチ42、イントラ予測部43、動き補償部44、逆量子化逆変換部45、加算部46及びループフィルタ部48の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。図8はこの発明の実施の形態1によるカラー動画像復号装置の処理内容を示すフローチャートである。この実施の形態1のカラー動画像符号化装置は、映像信号の空間時間方向の局所的な変化に適応して、映像信号を多様なサイズの領域に分割してフレーム内フレーム間適応符号化を行い、色差信号については変換ブロックサイズを2階層のみに限定して一意に決定することを特徴としている。一般に映像信号は、空間時間的に信号の複雑さが局所的に変化する特性を有し、空間的に見ると、ある特定の映像フレーム上では、例えば、空や壁などのように、比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画などでは、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。時間的に見ても、空や壁は局所的に時間方向の絵柄の変化が小さいが、動く人物や物体は、その輪郭が時間的に剛体非剛体の運動をするため、時間的な変化が大きい。符号化処理は、時間空間的な予測によって、信号電力やエントロピーが小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測処理に用いる予測パラメータをできるだけ大きな画像信号領域に対して均一に適用することができれば、予測パラメータの符号量を小さくすることができる。一方、時間的空間的に変化が大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測誤りが増えてしまうため、予測差分信号の符号量を削減することができない。したがって、時間的空間的に変化が大きい領域では、予測対象の領域を小さくして、予測処理に用いる予測パラメータのデータ量を増やしても、予測差分信号の電力エントロピーを低減する方が望ましい。このような映像信号の一般的な性質に適応している符号化処理を行うため、この実施の形態1のカラー動画像符号化装置では、所定の最大ブロックサイズから映像信号の領域を階層的に分割し、分割領域毎に予測処理や予測差分の符号化処理を適応化する構成を採用している。次に動作について説明する。最初に、図1のカラー動画像符号化装置の処理内容を説明する。まず、符号化制御部1は、イントラ予測処理フレーム内予測処理又は動き補償予測処理フレーム間予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する図2のステップST1。符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定する方法が考えられる。また、入力カラー画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。上限の階層数については、例えば、入力カラー画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力カラー画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。また、符号化制御部1は、利用可能な1以上の符号化モードM種類のイントラ符号化モード、N種類のインター符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択するステップST2。予め用意されているM種類のイントラ符号化モードについては後述する。ただし、後述するブロック分割部2により階層的に分割された各々の符号化ブロックが更にパーティション単位に分割される場合は、各々のパーティションに対応する符号化モードを選択することが可能である。以下、この実施の形態1では、各々の符号化ブロックが更にパーティション単位に分割されるものとして説明する。符号化制御部1による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。また、符号化制御部1は、各々の符号化ブロックに含まれているパーティション毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する。符号化制御部1は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換量子化部7、逆量子化逆変換部8及び可変長符号化部13に出力する。また、予測差分符号化パラメータを必要に応じてイントラ予測部4に出力する。ブロック分割部2は、入力カラー画像を示す映像信号を入力すると、その入力カラー画像を符号化制御部1により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部1により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。また、その符号化ブロックをパーティション単位に分割するステップST3。ここで、図9は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。図9の例では、最大サイズの符号化ブロックは、第0階層の符号化ブロックB0であり、輝度成分でL0,M0のサイズを有している。また、図9の例では、最大サイズの符号化ブロックB0を出発点として、4分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックBnを得ている。深さnにおいては、符号化ブロックBnはサイズLn,Mnの画像領域である。ただし、LnとMnは同じであってもよいし異なっていてもよいが、図9の例ではLn=Mnのケースを示している。以降、符号化ブロックBnのサイズは、符号化ブロックBnの輝度成分におけるサイズLn,Mnと定義する。ブロック分割部2では、4分木分割を行うため、常にLn1,Mn1=Ln/2,Mn/2が成立する。ただし、RGB信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号4:4:4フォーマットでは、全ての色成分のサイズがLn,Mnになるが、4:2:0フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズはLn/2,Mn/2である。以降、第n階層の符号化ブロックBnで選択しうる符号化モードをmBnと表記する。複数の色成分からなるカラー映像信号の場合、符号化モードmBnは、色成分ごとに、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、YUV信号、4:2:0フォーマットの符号化ブロックの輝度成分に対する符号化モードのことを指すものとして説明を行う。符号化モードmBnには、1つないし複数のイントラ符号化モード総称してINTRA、1つないし複数のインター符号化モード総称してINTERがあり、符号化制御部1は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックBnに対して最も符号化効率がよい符号化モードを選択する。符号化ブロックBnは、図9に示すように、更に1つないし複数の予測処理単位パーティションに分割される。以降、符号化ブロックBnに属するパーティションをPini:第n階層におけるパーティション番号と表記する。図10は符号化ブロックBnに属するパーティションPinを示す説明図である。符号化ブロックBnに属するパーティションPinの分割がどのようになされているかは符号化モードmBnの中に情報として含まれる。パーティションPinは、すべて符号化モードmBnに従って予測処理が行われるが、パーティションPin毎に、個別の予測パラメータを選択することができる。符号化制御部1は、最大サイズの符号化ブロックに対して、例えば、図11に示すようなブロック分割状態を生成して、符号化ブロックBnを特定する。図11aの斜線部分は分割後のパーティションの分布を示し、また、図11bは階層分割後のパーティションに符号化モードmBnが割り当てられる状況を4分木グラフで示している。図11bにおいて、□で囲まれているノードが、符号化モードmBnが割り当てられたノード符号化ブロックBnを示している。また、符号化制御部1は、分割後のパーティションに対して、前述の通りに、変換ブロックの分割形状を決定する。切替スイッチ3は、符号化制御部1がイントラ符号化モードを選択するとmBn∈INTRA、ブロック分割部2により分割された符号化ブロックBnに属するパーティションPinをイントラ予測部4に出力し、符号化制御部1がインター符号化モードを選択するとmBn∈INTER、その符号化ブロックBnに属するパーティションPinを動き補償予測部5に出力する。イントラ予測部4は、切替スイッチ3から符号化ブロックBnに属するパーティションPinを受けるとステップST4、具体的な処理内容は後述するが、符号化制御部1により決定されたイントラ予測パラメータに基づいて、各パーティションPinに対するイントラ予測処理を実施することにより、イントラ予測画像Pinを生成するステップST5。以下、この明細書では、Pinはパーティションを示し、PinはパーティションPinの予測画像を示すものとする。イントラ予測画像Pinの生成に用いられるイントラ予測パラメータは、カラー動画像復号装置側でも、全く同じイントラ予測画像Pinを生成する必要があるため、可変長符号化部13によってビットストリームに多重化される。なお、イントラ予測パラメータとして選択できるイントラ予測方向数は、処理対象となるブロックのサイズに応じて異なるように構成してもよい。大きいサイズのパーティションでは、イントラ予測の効率が低下するため、選択できるイントラ予測方向数を少なくし、小さいサイズのパーティションでは、選択できるイントラ予測方向数を多くするように構成することができる。例えば、4×4画素パーティションや8×8画素パーティションでは34方向、16×16画素パーティションでは17方向、32×32画素パーティションでは9方向などのように構成してもよい。動き補償予測部5は、切替スイッチ3から符号化ブロックBnに属するパーティションPinを受けるとステップST4、符号化制御部1により決定されたインター予測パラメータに基づいて、各パーティションPinに対するインター予測処理を実施することにより、インター予測画像Pinを生成するステップST6。即ち、動き補償予測部5は、動き補償予測フレームメモリ12により格納されている1フレーム以上の参照画像を用いて、符号化制御部1から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで、インター予測画像Pinを生成する。インター予測画像Pinの生成に用いられるインター予測パラメータは、カラー動画像復号装置側でも、全く同じインター予測画像Pinを生成する必要があるため、可変長符号化部13によってビットストリームに多重化される。減算部6は、イントラ予測部4又は動き補償予測部5から予測画像Pinを受けると、ブロック分割部2により分割された符号化ブロックBnに属するパーティションPinから、その予測画像Pinを減算することで、その差分画像を示す予測差分信号einを生成するステップST7。変換量子化部7は、減算部6が予測差分信号einを生成すると、符号化制御部1で決定された変換ブロックサイズ単位で、その予測差分信号einに対する変換処理例えば、DCT離散コサイン変換やDST離散サイン変換、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その予測差分信号einの変換係数を量子化することで、量子化後の変換係数である差分画像の圧縮データを逆量子化逆変換部8及び可変長符号化部13に出力するステップST8。即ち、変換量子化部7は、減算部6が予測差分信号einを生成すると、予測差分信号einの輝度信号に対する変換量子化処理を実施する場合、ブロック分割部2により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の変換量子化処理を実施し、予測差分信号einの色差信号に対する変換量子化処理を実施する場合、ブロック分割部2により分割された符号化ブロックの形状が正方形であれば、その符号化ブロックと同じサイズのブロック単位で色差信号の変換量子化処理を実施し、その符号化ブロックの形状が長方形であれば、その符号化ブロックを1階層だけ分割して、分割後のブロック単位で色差信号の変換量子化処理を実施する。なお、予測ブロックの形状が正方形であっても、符号化ブロックを4分割して得られる正方形サイズの予測ブロックの場合には、色差信号の変換ブロックも1階層だけ分割されるように構成してもよい。このようにすれば、正方形の変換ブロックが正方形の予測ブロックをまたがないように構成できるので、このように構成された符号化装置の出力するビットストリームを好適に復号することができる。逆量子化逆変換部8は、変換量子化部7から圧縮データを受けると、符号化制御部1から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理例えば、逆DCT逆離散コサイン変換や逆DST離散サイン変換、逆KL変換等の逆変換処理を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として加算部9に出力するステップST9。加算部9は、逆量子化逆変換部8から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部4又は動き補償予測部5により生成された予測画像Pinを示す予測信号とを加算することで、局所復号パーティション画像ないしはその集まりとしての局所復号符号化ブロック画像以下、局所復号画像と称するを示す局所復号画像信号を生成し、その局所復号画像信号をループフィルタ部11に出力するステップST10。また、イントラ予測用メモリ10には、イントラ予測に用いるために、当該局所復号画像が格納される。ループフィルタ部11は、加算部9から局所復号画像信号を受けると、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ12に格納するステップST11。ここで、符号化歪は変換ブロック境界に沿って発生するため、変換ブロック境界に対して符号化歪の補償を行う。小さい変換ブロックについては、変換ブロック境界の符号化歪が目立ちにくいので、ヘッダで最小ループフィルタ適用ブロックサイズをシグナリングし、変換ブロックサイズが最小ループフィルタ適用ブロックサイズより大きいブロックに対してのみ符号化歪補償を適用するよう構成してもよい。このようにすれば、不要な符号化歪補償を省略できるので、画質を保ちつつ演算量を削減することができる。また、輝度信号と色差信号では、変換ブロックの分割形状が異なるので、符号化歪補償は輝度信号と色差信号でそれぞれ変換ブロックの分割形状を特定して処理するよう構成する。なお、ループフィルタ部11によるフィルタリング処理は、入力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1画面分のマクロブロックに相当する局所復号画像信号が入力された後に1画面分まとめて行ってもよい。ステップST4~ST10の処理は、ブロック分割部2により分割された全ての符号化ブロックBnに属するパーティションPinに対する処理が完了するまで繰り返し実施されるステップST12。可変長符号化部13は、変換量子化部7から出力された圧縮データと、符号化制御部1から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータと、イントラ予測部4から出力されたイントラ予測パラメータ又は動き補償予測部5から出力されたインター予測パラメータとを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータの符号化データが多重化されているビットストリームを生成するステップST13。次に、イントラ予測部4の処理内容を具体的に説明する。図12は符号化ブロックBnに属する各パーティションPinにおいて選択可能なイントラ予測パラメータイントラ予測モードの一例を示す説明図である。図12の例では、イントラ予測モードに対応する予測方向ベクトルを示しており、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。まず、イントラ予測部4の輝度信号イントラ予測部21は、ブロック分割部2により分割された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する図5のステップST21。以下、輝度信号イントラ予測部21の処理内容を具体的に説明する。ここでは、イントラ予測部4の輝度信号イントラ予測部21が、パーティションPinの輝度信号に対するイントラ予測パラメータイントラ予測モードに基づいて、その輝度信号のイントラ予測信号を生成するイントラ処理について説明する。説明の便宜上、パーティションPinのサイズをlin×min画素とする。図13はlin=min=4の場合において、パーティションPin内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。図13の例では、パーティションPinに隣接している符号化済みの上パーティションの画素2×lin1個の画素と、左パーティションの画素2×min個の画素を予測に用いる参照画素としているが、予測に用いる画素は、図13に示す画素より多くても少なくてもよい。また、図13の例では、隣接している1行又は1列分の画素を予測に用いているが、2行又は2列分の画素、あるいは、それ以上の画素を予測に用いてもよい。輝度信号イントラ予測部21は、例えば、パーティションPinに対するイントラ予測モードのインデックス値が2平均値予測である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションPin内の画素の予測値として予測画像を生成する。イントラ予測モードのインデックス値が2平均値予測以外の場合には、インデックス値が示す予測方向ベクトルvp=dx,dyに基づいて、パーティションPin内の画素の予測値を生成する。予測値を生成する画素予測対象画素のパーティションPin内の相対座標パーティションの左上画素を原点とするをx,yとすると、予測に用いる参照画素の位置は、下記に示すLと、隣接画素の交点となる。ただし、kは正のスカラ値である。参照画素が整数画素位置にある場合、その整数画素を予測対象画素の予測値とする。参照画素が整数画素位置にない場合、参照画素に隣接する整数画素から生成される補間画素を予測値とする。図13の例では、参照画素が整数画素位置にないので、参照画素に隣接する2画素の平均値を予測値としている。なお、隣接する2画素のみではなく、隣接する2画素以上の画素から補間画素を生成して予測値としてもよい。輝度信号イントラ予測部21は、同様の手順で、パーティションPin内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像Pinを出力する。イントラ予測画像Pinの生成に用いているイントラ予測パラメータは、上述したように、ビットストリームに多重化するために可変長符号化部13に出力される。イントラ予測部4の切替スイッチ22は、符号化制御部1から出力されたイントラ予測パラメータのうち、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードであるのか、平滑化輝度相関利用色差信号予測モードであるのかを判定するステップST22。切替スイッチ22は、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードである旨を示していれば、予測に用いる参照画素を色差信号方向性イントラ予測部23に与え、色差信号のイントラ符号化モードを示すパラメータが、平滑化輝度相関利用色差信号予測モードである旨を示していれば、予測に用いる参照画素を輝度相関利用色差信号予測部24に与える。ここで、図14は色差信号のイントラ予測パラメータと色差イントラ予測モードの対応例を示す説明図である。図14の例では、色差信号イントラ予測パラメータが34である場合には、予測に用いる参照画素が輝度相関利用色差信号予測部24に与えられ、色差信号イントラ予測パラメータが34以外である場合には、予測に用いる参照画素が色差信号方向性イントラ予測部23に与えられることになる。色差信号方向性イントラ予測部23は、切替スイッチ22から予測に用いる参照画素を受けると、パーティションPinに隣接している復号済みの色差参照画素を参照して、符号化制御部1から出力されたイントラ予測パラメータに基づく色差成分のフレーム内予測を実施することで、色差成分に対する予測画像を生成するステップST23。色差信号方向性イントラ予測部23におけるイントラ予測の対象が色差信号であり、イントラ予測の対象が輝度信号である輝度信号イントラ予測部21と異なるが、イントラ予測の処理内容自体は輝度信号イントラ予測部21と同様である。よって、方向性予測、水平予測、垂直予測、DC予測などを行うことにより、色差信号のイントラ予測画像が生成される。輝度相関利用色差信号予測部24は、切替スイッチ22から予測に用いる参照画素を受けると、符号化ブロックであるパーティションPinに隣接している復号済みの輝度参照画素及び色差参照画素と、パーティションPin内の復号済みの輝度参照画素輝度信号イントラ予測部21により先に生成されたパーティションPinのイントラ予測画像Pinから得られた局所復号画像内の輝度参照画素とを用いて、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成するステップST24。以下、輝度相関利用色差信号予測部24の処理内容を具体的に説明する。輝度相関利用色差信号予測部24の平滑化輝度参照画素縮小部31は、イントラ予測用メモリ10により格納されているパーティションPinを構成している復号済みの輝度参照画素輝度信号イントラ予測部21により先に生成されたパーティションPinのイントラ予測画像Pinから得られた局所復号画像内の輝度参照画素のうち、水平方向及び垂直方向に隣接している複数の輝度参照画素の平滑化処理等を実施することで、縮小輝度参照画素Rec’Lを生成する図6のステップST31。即ち、平滑化輝度参照画素縮小部31は、図15に示すように、パーティションPin内の色差信号の予測ブロック図中、左側のN×Nのブロックに対応するブロック図中、右側の2N×2Nのブロック内の復号済の画素値である復号済輝度信号と、その復号済輝度信号の上端と左端に隣接している復号済輝度信号とを用いて、縮小輝度参照画素Rec’Lを生成する。ここで、縮小輝度参照画素Rec’Lは、図16に示すように、YUV4:2:0信号において、色差信号画素と同位相になるように、輝度参照画素RecLに対して、横方向に1:2:1のローパスフィルタ、縦方向に1:1のローパスフィルタを施した後に、縦横に偶数列のみをサブサンプリングすることで得られる。輝度相関利用色差信号予測部24の相関算出部32は、平滑化輝度参照画素縮小部31が縮小輝度参照画素Rec’Lを生成すると、その縮小輝度参照画素Rec’Lと、色差信号の予測ブロックの上端及び左端に隣接している色差信号の復号済の画素値である色差参照画素RecCとを用いて、下記の式1及び式2に示すように、予測に用いる相関パラメータα,βを算出するステップST32。式1,2において、Iは処理対象となる色差信号の予測ブロックの1辺の画素数の2倍の値である。色差予測画像生成部33は、相関算出部32が相関パラメータα,βを算出すると、その相関パラメータα,βと縮小輝度参照画素Rec’Lを用いて、下記の式3に示すように、色差予測画像PredCを生成するステップST33。なお、イントラ予測は、画面内の未知の領域を既知の領域から予測する手段であるが、輝度信号と色差信号のテクスチャには相関があり、空間方向については、近傍画素同士は画素値の変化が小さいため、予測ブロックに隣接する復号済の輝度信号と色差信号を利用して輝度信号と色差信号の相関パラメータを算出し、その輝度信号と相関パラメータから色差信号を予測することにより、予測効率を向上させることができる。この際、YUV4:2:0信号では、輝度信号と色差信号の解像度が異なるため、輝度信号をサブサンプリングする必要があるが、ローパスフィルタを施すことによりエイリアシングの発生を抑えることができ、予測効率を向上させることができる。可変長符号化部13は、上述したように、イントラ予測部4から出力されたイントラ予測パラメータを可変長符号化して、そのイントラ予測パラメータの符号語をビットストリームに多重化するが、イントラ予測パラメータを符号化する際に、複数の方向性予測の予測方向ベクトルの中から、代表的な予測方向ベクトル予測方向代表ベクトルを選択し、イントラ予測パラメータを予測方向代表ベクトルのインデックス予測方向代表インデックスと予測方向代表ベクトルからの差分を表すインデックス予測方向差分インデックスで表して、それぞれのインデックス毎に、確率モデルに応じた算術符号化などのハフマン符号化を行うことで、符号量を削減して符号化するよう構成してもよい。次に、図7のカラー動画像復号装置の処理内容を説明する。可変長復号部41は、図1のカラー動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して図8のステップST41、1フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズを復号する。可変長復号部41は、フレームサイズを復号すると、図1のカラー動画像符号化装置で決定された最大符号化ブロックサイズイントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズと、分割階層数の上限最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数をカラー動画像符号化装置と同様の手順で決定するステップST42。例えば、符号化ブロックの最大サイズが、全てのピクチャに対して、入力カラー画像の解像度に応じたサイズに決定されている場合には、先に復号しているフレームサイズに基づいて、図1のカラー動画像符号化装置と同様の手順で、符号化ブロックの最大サイズを決定する。カラー動画像符号化装置によって、符号化ブロックの最大サイズ及び符号化ブロックの階層数がビットストリームに多重化されている場合には、そのビットストリームから符号化ブロックの最大サイズ及び符号化ブロックの階層数を復号する。可変長復号部41は、符号化ブロックの最大サイズ及び符号化ブロックの階層数を決定すると、最大符号化ブロックを出発点にして、各符号化ブロックの階層的な分割状態を把握することで、ビットストリームに多重化されている符号化データの中で、各符号化ブロックに係る符号化データを特定し、その符号化データから各符号化ブロックに割り当てられている符号化モードを復号する。そして、可変長復号部41は、その符号化モードに含まれている符号化ブロックBnに属するパーティションPinの分割情報を参照して、ビットストリームに多重化されている符号化データの中で、各パーティションPinに係る符号化データを特定するステップST43。可変長復号部41は、各パーティションPinに係る符号化データから圧縮データ、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化逆変換部45に出力するとともに、符号化モード及びイントラ予測パラメータ/インター予測パラメータを切替スイッチ42に出力するステップST44。例えば、予測方向代表インデックスと予測方向差分インデックスがビットストリームに多重化されている場合には、その予測方向代表インデックスと予測方向差分インデックスをそれぞれの確率モデルに応じた算術復号などによりエントロピー復号し、その予測方向代表インデックスと予測方向差分インデックスからイントラ予測パラメータを特定するようにする。これにより、カラー動画像符号化装置側で、イントラ予測パラメータの符号量を削減している場合でも、イントラ予測パラメータを正しく復号することができる。切替スイッチ42は、可変長復号部41から出力された符号化ブロックBnに属するパーティションPinの符号化モードがイントラ符号化モードである場合、可変長復号部41から出力されたイントラ予測パラメータをイントラ予測部43に出力し、その符号化モードがインター符号化モードである場合、可変長復号部41から出力されたインター予測パラメータを動き補償部44に出力する。イントラ予測部43は、可変長復号部41からイントラ予測パラメータを受けるとステップST45、図1のイントラ予測部4と同様に、そのイントラ予測パラメータに基づいて、各パーティションPinに対するイントラ予測処理を実施することにより、イントラ予測画像Pinを生成するステップST46。即ち、イントラ予測部43は、可変長復号部41からイントラ予測パラメータを受けると、カラー動画像符号化装置の輝度信号イントラ予測部21と同様に、例えば、パーティションPinに対するイントラ予測モードのインデックス値が2平均値予測である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションPin内の画素の予測値として予測画像を生成する。イントラ予測モードのインデックス値が2平均値予測以外の場合には、インデックス値が示す予測方向ベクトルvp=dx,dyに基づいて、パーティションPin内の画素の予測値を生成する。イントラ予測部43は、同様の手順で、パーティションPin内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像Pinを出力する。動き補償部44は、切替スイッチ42からインター予測パラメータを受けると、カラー動画像符号化装置の動き補償予測部5と同様に、そのインター予測パラメータに基づいて、各パーティションPinに対するインター予測処理を実施することにより、インター予測画像Pinを生成するステップST47。即ち、動き補償部44は、動き補償予測フレームメモリ49により格納されている1フレーム以上の参照画像を用いて、そのインター予測パラメータに基づくパーティションPinに対する動き補償予測処理を実施することで、インター予測画像Pinを生成する。逆量子化逆変換部45は、可変長復号部41から変換ブロック分割フラグを含む予測差分符号化パラメータを受けると、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換ブロック分割フラグに従って決定される変換ブロックサイズ毎に、可変長復号部41から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理例えば、逆DCT逆離散コサイン変換や逆DST逆離散サイン変換、逆KL変換等の逆変換処理を実施することで、逆変換処理後の圧縮データを復号予測差分信号圧縮前の差分画像を示す信号として加算部46に出力するステップST48。加算部46は、逆量子化逆変換部45から出力された復号予測差分信号と、イントラ予測部43又は動き補償部44により生成された予測画像Pinを示す予測信号とを加算することで、復号パーティション画像ないしはその集まりとしての復号画像を示す復号画像信号を生成し、その復号画像信号をループフィルタ部48に出力するステップST49。また、イントラ予測用メモリ47には、イントラ予測に用いるために、当該復号画像が格納される。ループフィルタ部48は、加算部46から復号画像信号を受けると、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ49に格納するとともに、その復号画像を再生画像として出力するステップST50。ここで、符号化歪は変換ブロック境界に沿って発生するため、変換ブロック境界に対して符号化歪の補償を行う。小さい変換ブロックについては、変換ブロック境界の符号化歪が目立ちにくいので、ヘッダで最小ループフィルタ適用ブロックサイズをシグナリングし、変換ブロックサイズが最小ループフィルタ適用ブロックサイズより大きいブロックに対してのみ符号化歪補償を適用するよう構成してもよい。このようにすれば、不要な符号化歪補償を省略できるので画質を保ちつつ演算量を削減することができる。また、輝度信号と色差信号では変換ブロックの分割形状が異なるので、符号化歪補償は輝度信号と色差信号でそれぞれ変換ブロックの分割形状を特定して処理するよう構成する。なお、ループフィルタ部48によるフィルタリング処理は、入力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1画面分のマクロブロックに相当する復号画像信号が入力された後に1画面分まとめて行ってもよい。ステップST43~ST49の処理は、全ての符号化ブロックBnに属するパーティションPinに対する処理が完了するまで繰り返し実施されるステップST51。以上で明らかなように、この実施の形態1によれば、変換量子化部7が、減算部6により生成された差分画像の輝度信号に対する変換量子化処理を実施する場合、ブロック分割部2により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の変換量子化処理を実施し、減算部6により生成された差分画像の色差信号に対する変換量子化処理を実施する場合、ブロック分割部2により分割された符号化ブロックの形状が正方形であれば、その符号化ブロックと同じサイズのブロック単位で色差信号の変換量子化処理を実施し、その符号化ブロックの形状が長方形であれば、その符号化ブロックを1階層だけ分割して、分割後のブロック単位で色差信号の変換量子化処理を実施するように構成したので、輝度信号と色差信号に対する変換量子化処理のブロックサイズの適正化が図られて、輝度信号と色差信号の符号化効率を高めることができる効果を奏する。即ち、カラー動画像符号化装置の色差信号における変換ブロックの分割形状が符号化ブロック及び予測モードに応じて、少ない階層数となる分割状態に一意に決定されるため、色差信号の変換ブロックの分割形状についての情報をシグナリングすることなく、輝度信号の変換ブロックサイズと比べて、画面サイズに対し相対的に大きいブロックサイズで色差信号の変換が行われるので、色差信号を効率よく圧縮することができる。また、カラー動画像復号装置の色差信号における変換ブロックの分割形状が符号化ブロック及び予測モードに応じて一意に決定されるので、カラー動画像符号化装置で生成されるビットストリームを好適に復号することができる。なお、同様に色差信号における変換ブロックの分割形状を予測ブロックの分割形状と同じサイズに構成してもよい。このように構成することにより、色差信号の変換ブロックの分割形状が一意に決定されると共に、相対的に大きいブロックサイズで色差信号の変換が行われるので、同様の効果を得ることができる。実施の形態2.上記実施の形態1では、映像信号がYUV4:2:0フォーマットである例で説明をしたが、この実施の形態2では、映像信号がYUV4:2:2フォーマットである場合について説明する。YUV4:2:2フォーマットでは、色差成分の縦方向のサンプリング数が輝度信号と同数であり、横方向のサンプリング数が輝度信号の半分である。従って、YUV4:2:0フォーマットの符号化復号の処理に対し、色差成分の処理のみが異なるため、ここでは、主に色差成分の処理について説明する。この実施の形態2のカラー動画像符号化装置における符号化制御部1は、上記実施の形態1と同様に、イントラ予測処理フレーム内予測処理又は動き補償予測処理フレーム間予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。また、符号化制御部1は利用可能な1以上の符号化モード1以上のイントラ符号化モード、1以上のインター符号化モードの中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。また、符号化制御部1は各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する処理を実施する。量子化パラメータ及び変換ブロックサイズを示す変換ブロック分割フラグは、予測差分符号化パラメータに含まれて、変換量子化部7、逆量子化逆変換部8及び可変長符号化部13等に出力される。図18は4:2:2フォーマットの信号における輝度信号及び色差信号の圧縮処理を実施する際の変換ブロックサイズを示す説明図である。変換ブロックサイズは、図18に示すように、符号化ブロックを四分木状に階層分割することによって決定される。例えば、変換ブロックを分割する場合と変換ブロックを分割しない場合での符号量や、符号化誤差を加味した評価尺度などに基づいて、評価値が最小になるように変換ブロックを分割するか否かを決定することで、符号量と符号化誤差のトレードオフの観点から最適な変換ブロックの分割形状を決定することができる。輝度信号については、例えば、図18に示すように、予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが1つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。一方、予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが1つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。あるいは、正方形の変換ブロックに分割された後に、さらに下の階層で長方形の変換ブロックに分割されるように構成する。一方、色差信号については、予測ブロックの形状が正方形である場合、予測ブロックと同じサイズの変換ブロックが適用されるように構成する。予測ブロックの形状が長方形である場合、図18に示すように、予測ブロックが1階層だけ分割されるように構成する。このように輝度信号については、階層的に最適な変換ブロックサイズに分割されて変換が行われ、色差信号については、分割形状が固定された大きいブロックで変換が行われるため、色差信号の変換ブロックの分割形状に関する情報をシグナリングすることなく、色差信号を効率的に圧縮することができる。また、色差信号の変換ブロックの分割形状が、輝度信号の変換ブロックの分割形状と異なるため、輝度信号に対しては、輝度信号に最適な変換ブロックの分割形状を選択することができるため、輝度信号についても、効率的に圧縮することができる。輝度信号の変換ブロックの分割情報は、階層毎に分割するか否かを示す変換ブロック分割フラグとして可変長符号化部13に出力する。イントラ予測部4は切替スイッチ3からブロック分割部2により分割された符号化ブロックを受けると、上記実施の形態1と同様に、その符号化ブロックに対して、イントラ予測用メモリ10により格納されている上記符号化ブロックに隣接している復号済みの画素を用いて、符号化制御部1から出力されたイントラ予測パラメータに基づくフレーム内予測処理を実施することで予測画像を生成する処理を実施する。即ち、イントラ予測部4は、ブロック分割部2により分割された符号化ブロックにおける輝度成分については、その輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する。一方、ブロック分割部2により分割された符号化ブロックにおける色差成分については、符号化制御部1により選択された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、ブロック分割部2により分割された符号化ブロックにおける色差成分のフレーム内予測を実施して、色差成分に対する予測画像を生成する。ここで、色差成分のフレーム内予測は、図19に示すように、縦長のブロックに対して適用する。方向性予測の場合、図19に示すように、隣接局部復号画像を直線的に繰り返すことにより予測画像を得る。平均値予測の場合、上に隣接する画素と左に隣接する画素の平均値を予測値として用いる。あるいは、左に隣接する画素の平均値である左平均値予測値と、上に隣接する画素の平均値である上平均値予測値を個別に算出し、左平均値予測値と上平均値予測値の平均値を平均値予測値としてもよい。このようにすることで、演算回路において、割り算を用いずシフト演算で処理をすることができるため、回路規模を小さく抑えることができる。また、左平均値予測値の3倍と上平均値予測値を加算して、2ビット右シフトするよう構成してもよい。このようにすることで、予測ブロックの形状が縦長なので、より長い辺である左側の画素値により重みを加えた予測値とすることができ、かつ、シフト演算で実現が可能であるため、小さい回路規模で効率のよい予測を行うことができる。動き補償予測部5はブロック分割部2により分割された符号化ブロックに対応する符号化モードとして、符号化制御部1によりインター符号化モードが選択された場合、動き補償予測フレームメモリ12により格納されている1フレーム以上の参照画像を用いて、符号化制御部1から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。色差成分については、輝度成分の動きベクトルに対して横方向の動きベクトル成分のみ半分にした値を適用して動き補償予測処理を行う。次に動作について説明する。最初に、図1のカラー動画像符号化装置の処理内容を説明する。まず、符号化制御部1は、イントラ予測処理フレーム内予測処理又は動き補償予測処理フレーム間予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する図2のステップST1。符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力カラー画像の解像度に応じたサイズに決定する方法が考えられる。また、入力カラー画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。上限の階層数については、例えば、入力カラー画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力カラー画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。また、符号化制御部1は、利用可能な1以上の符号化モードM種類のイントラ符号化モード、N種類のインター符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択するステップST2。ただし、後述するブロック分割部2により階層的に分割された各々の符号化ブロックが更にパーティション単位に分割される場合は、各々のパーティションに対応する符号化モードを選択することが可能である。以下、この実施の形態2では、各々の符号化ブロックが更にパーティション単位に分割されるものとして説明する。符号化制御部1による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。また、符号化制御部1は、各々の符号化ブロックに含まれているパーティション毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する。符号化制御部1は、量子化パラメータ及び変換ブロックサイズを示す変換ブロック分割フラグ含む予測差分符号化パラメータを変換量子化部7、逆量子化逆変換部8及び可変長符号化部13に出力する。また、予測差分符号化パラメータを必要に応じてイントラ予測部4に出力する。ブロック分割部2は、入力カラー画像を示す映像信号を入力すると、上記実施の形態1と同様に、その入力カラー画像を符号化制御部1により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部1により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。また、その符号化ブロックをパーティション単位に分割するステップST3。図9の例では、最大サイズの符号化ブロックは、第0階層の符号化ブロックB0であり、輝度成分でL0,M0のサイズを有している。また、図9の例では、最大サイズの符号化ブロックB0を出発点として、4分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックBnを得ている。符号化制御部1は、最大サイズの符号化ブロックに対して、例えば、図11に示すようなブロック分割状態を生成して、符号化ブロックBnを特定する。図11aの斜線部分は分割後のパーティションの分布を示し、また、図11bは階層分割後のパーティションに符号化モードmBnが割り当てられる状況を4分木グラフで示している。図11bにおいて、□で囲まれているノードが、符号化モードmBnが割り当てられたノード符号化ブロックBnを示している。また、符号化制御部1は、分割後のパーティションに対して、前述の通りに、変換ブロックの分割形状を決定する。切替スイッチ3は、符号化制御部1がイントラ符号化モードを選択するとmBn∈INTRA、上記実施の形態1と同様に、ブロック分割部2により分割された符号化ブロックBnに属するパーティションPinをイントラ予測部4に出力し、符号化制御部1がインター符号化モードを選択するとmBn∈INTER、その符号化ブロックBnに属するパーティションPinを動き補償予測部5に出力する。イントラ予測部4は、切替スイッチ3から符号化ブロックBnに属するパーティションPinを受けるとステップST4、上記実施の形態1と同様に、符号化制御部1により決定されたイントラ予測パラメータに基づいて、各パーティションPinに対するイントラ予測処理を実施することにより、イントラ予測画像Pinを生成するステップST5。ただし、色差成分のフレーム内予測は、図19に示すように、縦長のブロックに対して適用する。イントラ予測画像Pinの生成に用いられるイントラ予測パラメータは、カラー動画像復号装置側でも、全く同じイントラ予測画像Pinを生成する必要があるため、可変長符号化部13によってビットストリームに多重化される。なお、イントラ予測パラメータとして選択できるイントラ予測方向数は、処理対象となるブロックのサイズに応じて異なるよう構成してもよい。大きいサイズのパーティションでは、イントラ予測の効率が低下するため、選択できるイントラ予測方向数を少なくし、小さいサイズのパーティションでは、選択できるイントラ予測方向数を多くするように構成することができる。例えば、4×4画素パーティションや8×8画素パーティションでは34方向、16×16画素パーティションでは17方向、32×32画素パーティションでは9方向などのように構成してもよい。動き補償予測部5は、切替スイッチ3から符号化ブロックBnに属するパーティションPinを受けるとステップST4、上記実施の形態1と同様に、符号化制御部1により決定されたインター予測パラメータに基づいて、各パーティションPinに対するインター予測処理を実施することにより、インター予測画像Pinを生成するステップST6。即ち、動き補償予測部5は、動き補償予測フレームメモリ12により格納されている1フレーム以上の参照画像を用いて、符号化制御部1から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで、インター予測画像Pinを生成する。インター予測画像Pinの生成に用いられるインター予測パラメータは、カラー動画像復号装置側でも、全く同じインター予測画像Pinを生成する必要があるため、可変長符号化部13によってビットストリームに多重化される。減算部6は、イントラ予測部4又は動き補償予測部5から予測画像Pinを受けると、上記実施の形態1と同様に、ブロック分割部2により分割された符号化ブロックBnに属するパーティションPinから、その予測画像Pinを減算することで、その差分画像を示す予測差分信号einを生成するステップST7。変換量子化部7は、減算部6が予測差分信号einを生成すると、上記実施の形態1と同様に、符号化制御部1で決定された変換ブロックサイズ単位で、その予測差分信号einに対する変換処理を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その予測差分信号einの変換係数を量子化することで、量子化後の変換係数である差分画像の圧縮データを逆量子化逆変換部8及び可変長符号化部13に出力するステップST8。即ち、変換量子化部7は、減算部6が予測差分信号einを生成すると、予測差分信号einの輝度信号に対する変換量子化処理を実施する場合、ブロック分割部2により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の変換量子化処理を実施し、予測差分信号einの色差信号に対する変換量子化処理を実施する場合、ブロック分割部2により分割された符号化ブロックの形状が正方形であれば、その符号化ブロックと同じサイズのブロック単位で色差信号の変換量子化処理を実施し、その符号化ブロックの形状が長方形であれば、その符号化ブロックを1階層だけ分割して、分割後のブロック単位で色差信号の変換量子化処理を実施する。逆量子化逆変換部8は、変換量子化部7から圧縮データを受けると、上記実施の形態1と同様に、符号化制御部1から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理例えば、逆DCT逆離散コサイン変換や逆DST離散サイン変換、逆KL変換等の逆変換処理を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として加算部9に出力するステップST9。加算部9は、逆量子化逆変換部8から局所復号予測差分信号を受けると、上記実施の形態1と同様に、その局所復号予測差分信号と、イントラ予測部4又は動き補償予測部5により生成された予測画像Pinを示す予測信号とを加算することで、局所復号パーティション画像ないしはその集まりとしての局所復号符号化ブロック画像以下、局所復号画像と称するを示す局所復号画像信号を生成し、その局所復号画像信号をループフィルタ部11に出力するステップST10。また、イントラ予測用メモリ10には、イントラ予測に用いるために、当該局所復号画像が格納される。ループフィルタ部11は、加算部9から局所復号画像信号を受けると、上記実施の形態1と同様に、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ12に格納するステップST11。なお、ループフィルタ部11によるフィルタリング処理は、入力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1画面分のマクロブロックに相当する局所復号画像信号が入力された後に1画面分まとめて行ってもよい。ステップST4~ST10の処理は、ブロック分割部2により分割された全ての符号化ブロックBnに属するパーティションPinに対する処理が完了するまで繰り返し実施されるステップST12。可変長符号化部13は、上記実施の形態1と同様に、変換量子化部7から出力された圧縮データと、符号化制御部1から出力された符号化モード及び変換ブロックサイズを示す変換ブロック分割フラグ含む予測差分符号化パラメータと、イントラ予測部4から出力されたイントラ予測パラメータ又は動き補償予測部5から出力されたインター予測パラメータとを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータの符号化データが多重化されているビットストリームを生成するステップST13。なお、色差信号については変換ブロックが1:2の縦長形状となるため、2次元変換係数を1次元系列にスキャンする場合に、係数を縦2個に対して横1個の割合で斜め方向のラスタスキャンあるいは斜め方向のジグザグスキャンし、得られた1次元系列をエントロピー符号化するよう構成する。次に、図7のカラー動画像復号装置の処理内容を説明する。可変長復号部41は、図1のカラー動画像符号化装置により生成されたビットストリームを入力すると、上記実施の形態1と同様に、そのビットストリームに対する可変長復号処理を実施して図8のステップST41、1フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズを復号する。可変長復号部41は、フレームサイズを復号すると、図1のカラー動画像符号化装置で決定された最大符号化ブロックサイズイントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズと、分割階層数の上限最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数をカラー動画像符号化装置と同様の手順で決定するステップST42。例えば、符号化ブロックの最大サイズが、全てのピクチャに対して、入力カラー画像の解像度に応じたサイズに決定されている場合には、先に復号しているフレームサイズに基づいて、図1のカラー動画像符号化装置と同様の手順で、符号化ブロックの最大サイズを決定する。カラー動画像符号化装置によって、符号化ブロックの最大サイズ及び符号化ブロックの階層数がビットストリームに多重化されている場合には、そのビットストリームから符号化ブロックの最大サイズ及び符号化ブロックの階層数を復号する。可変長復号部41は、符号化ブロックの最大サイズ及び符号化ブロックの階層数を決定すると、最大符号化ブロックを出発点にして、各符号化ブロックの階層的な分割状態を把握することで、ビットストリームに多重化されている符号化データの中で、各符号化ブロックに係る符号化データを特定し、その符号化データから各符号化ブロックに割り当てられている符号化モードを復号する。そして、可変長復号部41は、その符号化モードに含まれている符号化ブロックBnに属するパーティションPinの分割情報を参照して、ビットストリームに多重化されている符号化データの中で、各パーティションPinに係る符号化データを特定するステップST43。可変長復号部41は、各パーティションPinに係る符号化データから圧縮データ、変換ブロックサイズを示す変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化逆変換部45に出力するとともに、符号化モード及びイントラ予測パラメータ/インター予測パラメータを切替スイッチ42に出力するステップST44。なお、色差信号については変換ブロックが1:2の縦長形状となるため、1次元系列となっている復号された変換係数を2次元系列に逆スキャンする場合に、係数を縦2個に対して横1個の割合で斜め方向のラスタスキャンあるいは斜め方向のジグザグスキャンし、得られた2次元系列を変換ブロックの係数とするよう構成する。例えば、予測方向代表インデックスと予測方向差分インデックスがビットストリームに多重化されている場合には、その予測方向代表インデックスと予測方向差分インデックスをそれぞれの確率モデルに応じた算術復号などによりエントロピー復号し、その予測方向代表インデックスと予測方向差分インデックスからイントラ予測パラメータを特定するようにする。これにより、カラー動画像符号化装置側で、イントラ予測パラメータの符号量を削減している場合でも、イントラ予測パラメータを正しく復号することができる。切替スイッチ42は、上記実施の形態1と同様に、可変長復号部41から出力された符号化ブロックBnに属するパーティションPinの符号化モードがイントラ符号化モードである場合、可変長復号部41から出力されたイントラ予測パラメータをイントラ予測部43に出力し、その符号化モードがインター符号化モードである場合、可変長復号部41から出力されたインター予測パラメータを動き補償部44に出力する。イントラ予測部43は、可変長復号部41からイントラ予測パラメータを受けるとステップST45、図1のイントラ予測部4と同様に、そのイントラ予測パラメータに基づいて、各パーティションPinに対するイントラ予測処理を実施することにより、イントラ予測画像Pinを生成するステップST46。即ち、イントラ予測部43は、可変長復号部41からイントラ予測パラメータを受けると、カラー動画像符号化装置の輝度信号イントラ予測部21と同様に、例えば、パーティションPinに対するイントラ予測モードのインデックス値が2平均値予測である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションPin内の画素の予測値として予測画像を生成する。あるいは、左に隣接する画素の平均値である左平均値予測値と、上に隣接する画素の平均値である上平均値予測値を個別に算出し、左平均値予測値と上平均値予測値の平均値を平均値予測値としてもよい。このようにすることで、演算回路において、割り算を用いずシフト演算で処理をすることができるため、回路規模を小さく抑えることができる。また、左平均値予測値の3倍と上平均値予測値を加算して、2ビット右シフトするよう構成してもよい。このようにすることで、予測ブロックの形状が縦長なので、より長い辺である左側の画素値により重みを加えた予測値とすることができ、かつ、シフト演算で実現が可能であるため、小さい回路規模で効率のよい予測を行うことができる。イントラ予測モードのインデックス値が2平均値予測以外の場合には、インデックス値が示す予測方向ベクトルvp=dx,dyに基づいて、パーティションPin内の画素の予測値を生成する。イントラ予測部43は、同様の手順で、パーティションPin内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像Pinを出力する。動き補償部44は、切替スイッチ42からインター予測パラメータを受けると、カラー動画像符号化装置の動き補償予測部5と同様に、そのインター予測パラメータに基づいて、各パーティションPinに対するインター予測処理を実施することにより、インター予測画像Pinを生成するステップST47。即ち、動き補償部44は、動き補償予測フレームメモリ49により格納されている1フレーム以上の参照画像を用いて、そのインター予測パラメータに基づくパーティションPinに対する動き補償予測処理を実施することで、インター予測画像Pinを生成する。逆量子化逆変換部45は、可変長復号部41から変換ブロックサイズを示す変換ブロック分割フラグを含む予測差分符号化パラメータを受けると、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その変換ブロック分割フラグに従って決定される変換ブロックサイズ毎に可変長復号部41から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理例えば、逆DCT逆離散コサイン変換や逆DST逆離散サイン変換、逆KL変換等の逆変換処理を実施することで、逆変換処理後の圧縮データを復号予測差分信号圧縮前の差分画像を示す信号として加算部46に出力するステップST48。加算部46は、上記実施の形態1と同様に、逆量子化逆変換部45から出力された復号予測差分信号と、イントラ予測部43又は動き補償部44により生成された予測画像Pinを示す予測信号とを加算することで、復号パーティション画像ないしはその集まりとしての復号画像を示す復号画像信号を生成し、その復号画像信号をループフィルタ部48に出力するステップST49。また、イントラ予測用メモリ47には、イントラ予測に用いるために、当該復号画像が格納される。ループフィルタ部48は、加算部46から復号画像信号を受けると、上記実施の形態1と同様に、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ49に格納するとともに、その復号画像を再生画像として出力するステップST50。なお、ループフィルタ部48によるフィルタリング処理は、入力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1画面分のマクロブロックに相当する復号画像信号が入力された後に1画面分まとめて行ってもよい。ステップST43~ST49の処理は、全ての符号化ブロックBnに属するパーティションPinに対する処理が完了するまで繰り返し実施されるステップST51。以上で明らかなように、この実施の形態2によれば、映像信号がYUV4:2:2フォーマットであっても、上記実施の形態1と同様に、カラー動画像符号化装置の色差信号における変換ブロックの分割形状が、符号化ブロック及び予測モードに応じて少ない階層数となる分割状態に一意に決定されるため、色差信号を効率よく圧縮することができる。また、カラー動画像復号装置の色差信号における変換ブロックの分割形状が、符号化ブロック及び予測モードに応じて一意に決定されるので、カラー動画像符号化装置で生成されたビットストリームを好適に復号することができる。実施の形態3.この実施の形態3では、カラー動画像符号化装置及びカラー動画像復号装置が、YUV4:2:2信号に対して、色差信号の変換ブロックの分割を輝度信号の変換ブロックの分割形状と共通にすることを特徴としている。その他の構成処理は、上記実施の形態2と同様である。YUV4:2:2画像では、色差成分の画素数が縦方向については輝度成分と同じであるため、YUV4:2:0信号の色差成分と比べて高周波成分の比率が高いという特性がある。従って、YUV4:2:2画像に対しては、変換ブロックの分割形状を輝度成分と色差成分で共通化しても符号化効率が低下しない場合がある。そこで、この実施の形態3では、YUV4:2:2画像における色差成分の変換ブロックの分割形状を輝度成分と共通化するために、輝度成分のブロックに対して、横方向のみ半分のサイズにした変換ブロックを適用する。即ち、例えば、輝度成分の変換ブロックサイズが縦32×横32画素の場合には、色差成分の変換ブロックサイズを縦32×横16画素、輝度成分の変換ブロックサイズが縦16×横16画素の場合には、色差成分の変換ブロックサイズを縦16×横8画素、輝度成分の変換ブロックサイズが縦8×横8画素の場合には、色差成分の変換ブロックサイズを縦8×横4画素とする。例えば、輝度成分の変換ブロックサイズの最小値を4画素としている場合には、輝度成分の変換ブロックサイズが縦4×横4画素であれば、それらを4つまとめた縦8画素×横8画素の領域に対応する色差成分に対して、変換ブロックサイズを縦8×横4画素としたものを適用する。このように構成すれば、YUV4:2:2画像に対して、色差成分のブロック分割形状の情報を符号化しなくても、効率よく符号化することができる。実施の形態4.上記実施の形態1では、予測差分信号einの色差信号に対する変換量子化処理を実施する際、符号化ブロックをさらに階層的に分割し、分割後の符号化ブロックである変換ブロックに対して変換量子化処理を実施するようにしている。色差信号は輝度信号と比べて高周波成分が少ないため、輝度信号と比べて相対的に大きい変換ブロックを適用することにより、変換ブロック毎のオーバヘッドが少なくなり、符号化性能が向上する。ただし、画像によって残差信号の波形特性が異なるため、必ずしも色差信号の変換ブロックの階層分割の階層数が少ない方がよいとは限らない。従って、画像に応じて色差信号の変換ブロックの階層分割の階層数を切り替えることにより、より符号化効率を向上させることができる場合がある。そこで、この実施の形態4では、入力画像に応じて、輝度信号に係る最大のブロック分割階層数である輝度最大変換ブロック分割階層数を設定して、輝度信号のブロックを最大で輝度最大変換ブロック分割階層数まで階層的に分割し、色差信号のブロックを固定の階層数まで分割する形態と、色差信号についても、入力画像に応じて、色差信号に係る最大のブロック分割階層数である色差最大変換ブロック分割階層数を設定し、色差信号のブロックを最大で色差最大変換ブロック分割階層数まで階層的に分割してから、分割後のブロック単位で色差信号の圧縮処理を実施する形態について説明する。最初に、入力画像に応じて、輝度信号に係る最大のブロック分割階層数である輝度最大変換ブロック分割階層数を設定して、輝度信号のブロックを最大で輝度最大変換ブロック分割階層数まで階層的に分割し、色差信号のブロックを固定の階層数まで分割する形態について説明する。カラー動画像符号化装置の符号化制御部1は、例えば、入力画像に対するFFTFastFourierTransformを行うことで、その入力画像を周波数領域の画像に変換し、輝度信号に含まれている高周波数成分の比率を算出する。そして、符号化制御部1は、輝度信号に含まれている高周波数成分の比率が高いほど、輝度最大変換ブロック分割階層数MaxTUdepthYとして大きな値を設定する。また、色差信号の変換ブロックの階層分割の階層数である色差変換ブロック分割階層数FixTUdepthUVを設定する。ここでは、符号化制御部1が、高周波数成分の含有率に応じて、輝度最大変換ブロック分割階層数MaxTUdepthYを設定するものを示したが、これは一例に過ぎず、他の方法で輝度最大変換ブロック分割階層数MaxTUdepthYを設定するようにしてもよい。例えば、ユーザが入力画像を確認して、手動で輝度最大変換ブロック分割階層数MaxTUdepthYを設定するようにしてもよい。なお、色差変換ブロック分割階層数FixTUdepthUVは固定の階層数であるため、予め設定されている値であってもよいが、ユーザが入力画像を確認して、手動で色差変換ブロック分割階層数FixTUdepthUVを設定するようにしてもよい。符号化制御部1は、輝度最大変換ブロック分割階層数MaxTUdepthYを設定すると、その輝度最大変換ブロック分割階層数MaxTUdepthY及び色差変換ブロック分割階層数FixTUdepthUVを変換量子化部7及び可変長符号化部13に出力する。なお、符号化制御部1は、輝度信号の各符号化ブロックに対して、符号量と符号化誤差のバランスが最適になるように、輝度信号の変換ブロックが輝度最大変換ブロック分割階層数MaxTUdepthYを超えない階層数まで四分木状に階層的に分割する指示と、その変換ブロック分割の形状とを示す変換ブロック分割フラグブロックの分割情報を変換量子化部7及び可変長符号化部13に出力する。変換量子化部7は、符号化制御部1から輝度最大変換ブロック分割階層数MaxTUdepthY及び色差変換ブロック分割階層数FixTUdepthUVと、変換ブロック分割フラグを受けると、その輝度最大変換ブロック分割階層数MaxTUdepthYと変換ブロック分割フラグに基づいて、輝度信号の変換ブロックの階層数が輝度最大変換ブロック分割階層数MaxTUdepthYを超えない階層数の範囲で、輝度信号の変換ブロックを四分木状に分割し、それぞれの変換ブロックに対して変換量子化処理を実施して、その処理結果である圧縮データを逆量子化逆変換部8及び可変長符号化部13に出力する。また、変換量子化部7は、色差信号の変換ブロックの階層数が色差変換ブロック分割階層数FixTUdepthUVと一致するまで、色差信号の変換ブロックを四分木状に分割し、それぞれの変換ブロックに対して変換量子化処理を実施して、その処理結果である圧縮データを逆量子化逆変換部8及び可変長符号化部13に出力する。可変長符号化部13は、上記実施の形態1で可変長符号化している情報に加えて、符号化制御部1から出力された輝度最大変換ブロック分割階層数MaxTUdepthY及び色差変換ブロック分割階層数FixTUdepthUVと変換ブロック分割フラグを例えばゴロム符号などによって可変長符号化し、その変換ブロック分割フラグ、輝度最大変換ブロック分割階層数MaxTUdepthY及び色差変換ブロック分割階層数FixTUdepthUVの符号化データをビットストリームのヘッダ部に多重化して出力する。ここでは、符号化モードがイントラ符号化モードフレーム内予測の符号化モードであっても、インター符号化モードフレーム間予測の符号化モードであっても、輝度最大変換ブロック分割階層数MaxTUdepthYの値が同じであるものを示したが、符号化モードがイントラ符号化モードである場合の輝度最大変換ブロック分割階層数MaxTUdepthYの値と、符号化モードがインター符号化モードである場合の輝度最大変換ブロック分割階層数MaxTUdepthYの値が異なっていてもよい。図20は符号化モードがイントラ符号化モードである場合の輝度最大変換ブロック分割階層数MaxTUdepthYIpicと、符号化モードがインター符号化モードである場合の輝度最大変換ブロック分割階層数MaxTUdepthYPpicと、色差変換ブロック分割階層数FixTUdepthUVとをシーケンスパラメータセットとして、ビットストリームのヘッダ部に多重化する例を示す説明図である。この場合、ピクチャタイプまたはスライスタイプが、イントラタイプの場合、輝度最大変換ブロック分割階層数がMaxTUdepthYIpicとなり、インタータイプの場合、輝度最大変換ブロック分割階層数がMaxTUdepthYPpicとなる。カラー動画像復号装置の可変長復号部41は、上記実施の形態1で可変長復号している情報に加えて、ビットストリームから輝度最大変換ブロック分割階層数MaxTUdepthY及び色差変換ブロック分割階層数FixTUdepthUVと変換ブロック分割フラグを可変長復号する。逆量子化逆変換部45は、可変長復号部41により可変長復号された輝度最大変換ブロック分割階層数MaxTUdepthYと変換ブロック分割フラグに基づいて、輝度信号の変換ブロックの階層数が輝度最大変換ブロック分割階層数MaxTUdepthYを超えない階層数の範囲で、輝度信号の変換ブロックを四分木状に分割し、それぞれの分割ブロック毎に逆量子化逆変換処理を実施して圧縮を解除する。また、色差信号の変換ブロックの階層数が色差変換ブロック分割階層数FixTUdepthUVと一致するまで、色差信号の変換ブロックを四分木状に分割し、それぞれの分割ブロック毎に逆量子化逆変換処理を実施して圧縮を解除する。これにより、画像の特性に応じて適切に色差成分の変換ブロック分割階層数を決定することができ、符号化効率を向上させることができる。また、このようにして得られるビットストリームを好適に復号することができる。なお、色差成分の残差信号の特性は、イントラ予測ブロックと動き補償予測ブロックインター予測ブロックで異なるため、色差成分の変換ブロックサイズについても、イントラ予測ブロックと動き補償予測ブロックで、それぞれ最適なサイズとすることにより、より符号化効率の高い圧縮を行うことができる。よって、色差成分の変換ブロック階層数をイントラ予測ブロックと動き補償予測ブロックでそれぞれ異なる値に設定するようにしてもよい。具体的には、符号化モードがイントラ符号化モードである場合、色差変換ブロック分割階層数FixTUdepthUVをフレーム内予測用の色差変換ブロック分割階層数として、色差成分イントラ変換ブロック階層数FixTUdepthUVintraを設定し、符号化モードがインター符号化モードである場合、色差変換ブロック分割階層数FixTUdepthUVをフレーム間予測用の色差変換ブロック分割階層数として、色差成分インター変換ブロック階層数FixTUdepthUVinterを設定する。この場合、可変長符号化部13は、上記実施の形態1で可変長符号化している情報に加えて、符号化制御部1から出力された輝度最大変換ブロック分割階層数MaxTUdepthYと、色差成分イントラ変換ブロック階層数FixTUdepthUVintraと、色差成分インター変換ブロック階層数FixTUdepthUVinterと、変換ブロック分割フラグとを例えばゴロム符号などによって可変長符号化し、その輝度最大変換ブロック分割階層数MaxTUdepthY、色差成分イントラ変換ブロック階層数FixTUdepthUVintra、色差成分インター変換ブロック階層数FixTUdepthUVinter及び変換ブロック分割フラグの符号化データをビットストリームのヘッダ部に多重化して出力する。カラー動画像復号装置の可変長復号部41は、上記実施の形態1で可変長復号している情報に加えて、ビットストリームから輝度最大変換ブロック分割階層数MaxTUdepthY、色差成分イントラ変換ブロック階層数FixTUdepthUVintra、色差成分インター変換ブロック階層数FixTUdepthUVinter及び変換ブロック分割フラグを可変長復号する。逆量子化逆変換部45は、可変長復号部41により可変長復号された符号化モードがイントラ符号化モードであれば、色差信号の変換ブロックの階層数が色差成分イントラ変換ブロック階層数FixTUdepthUVintraと一致するまで、色差信号の変換ブロックを四分木状に分割し、それぞれの分割ブロック毎に逆量子化逆変換処理を実施して圧縮を解除する。一方、可変長復号部41により可変長復号された符号化モードがインター符号化モードであれば、色差信号の変換ブロックの階層数が色差成分インター変換ブロック階層数FixTUdepthUVinterと一致するまで、色差信号の変換ブロックを四分木状に分割し、それぞれの分割ブロック毎に逆量子化逆変換処理を実施して圧縮を解除する。これにより、色差成分の変換ブロックの階層数をイントラ予測ブロックと動き補償予測ブロックでそれぞれ最適な値に設定することができ、より高い圧縮性能を実現することができる。また、このようにして生成されたビットストリームを好適に復号することができる。次に、色差信号についても、入力画像に応じて、色差信号に係る最大のブロック分割階層数である色差最大変換ブロック分割階層数を設定し、色差信号のブロックを最大で色差最大変換ブロック分割階層数まで階層的に分割してから、分割後のブロック単位で色差信号の圧縮処理を実施する形態について説明する。符号化制御部1は、輝度最大変換ブロック分割階層数MaxTUdepthYを設定する際、色差成分に含まれている高周波数成分の比率が低いほど、色差最大変換ブロック分割階層数MaxTUdepthUVを小さな値に設定するようにする。色差最大変換ブロック分割階層数MaxTUdepthUVを小さな値に設定すると、輝度成分よりも相対的に大きい変換ブロックで符号化処理することになるので、より高い圧縮性能を実現することができる。変換量子化部7は、符号化制御部1から輝度最大変換ブロック分割階層数MaxTUdepthY及び色差最大変換ブロック分割階層数MaxTUdepthUVと、変換ブロック分割フラグを受けると、その輝度最大変換ブロック分割階層数MaxTUdepthYと変換ブロック分割フラグに基づいて、輝度信号の変換ブロックの階層数が輝度最大変換ブロック分割階層数MaxTUdepthYを超えない階層数の範囲で輝度信号の変換ブロックを四分木状に分割し、それぞれの変換ブロックに対して変換量子化処理を実施して、その処理結果である圧縮データを逆量子化逆変換部8及び可変長符号化部13に出力する。また、変換量子化部7は、その色差最大変換ブロック分割階層数MaxTUdepthUVと変換ブロック分割フラグに基づいて、色差信号の変換ブロックの階層数が色差最大変換ブロック分割階層数MaxTUdepthUVを超えない階層数の範囲で、色差信号の変換ブロックを四分木状に分割し、それぞれの変換ブロックに対して変換量子化処理を実施して、その処理結果である圧縮データを逆量子化逆変換部8及び可変長符号化部13に出力する。可変長符号化部13は、上記実施の形態1で可変長符号化している情報に加えて、符号化制御部1から出力された輝度最大変換ブロック分割階層数MaxTUdepthY及び色差最大変換ブロック分割階層数MaxTUdepthUVと変換ブロック分割フラグを例えばゴロム符号などによって可変長符号化し、その変換ブロック分割フラグ、輝度最大変換ブロック分割階層数MaxTUdepthY及び色差最大変換ブロック分割階層数MaxTUdepthUVの符号化データをビットストリームのヘッダ部に多重化して出力する。カラー動画像復号装置の可変長復号部41は、上記実施の形態1で可変長復号している情報に加えて、ビットストリームから輝度最大変換ブロック分割階層数MaxTUdepthY及び色差最大変換ブロック分割階層数MaxTUdepthUVと変換ブロック分割フラグを可変長復号する。逆量子化逆変換部45は、可変長復号部41により可変長復号された輝度最大変換ブロック分割階層数MaxTUdepthYと変換ブロック分割フラグに基づいて、輝度信号の変換ブロックの階層数が輝度最大変換ブロック分割階層数MaxTUdepthYを超えない階層数の範囲で、輝度信号の変換ブロックを四分木状に分割し、それぞれの分割ブロック毎に逆量子化逆変換処理を実施して圧縮を解除する。また、色差信号の変換ブロックの階層数が色差最大変換ブロック分割階層数MaxTUdepthUVを超えない階層数の範囲で、色差信号の変換ブロックを四分木状に分割し、それぞれの分割ブロック毎に逆量子化逆変換処理を実施して圧縮を解除する。ここでは、符号化ブロックの符号化モードがイントラ符号化モードであっても、インター符号化モードであっても、色差最大変換ブロック分割階層数MaxTUdepthUVの値が同じであるものを示したが、色差信号はイントラ予測モードが限られており、イントラ符号化モードの場合には残差成分のエネルギーが大きくなりやすいため、符号化ブロックの符号化モードがイントラ符号化モードである場合の色差最大変換ブロック分割階層数MaxTUdepthUVの値と、符号化ブロックの符号化モードがインター符号化モードである場合の色差最大変換ブロック分割階層数MaxTUdepthUVの値を異なるように構成すれば、さらに圧縮効率を向上させることができる。図21はピクチャタイプまたはスライスタイプがイントラ符号化ピクチャである場合の輝度最大変換ブロック分割階層数MaxTUdepthYIpicと、ピクチャタイプまたはスライスタイプがインター符号化モードである場合の輝度最大変換ブロック分割階層数MaxTUdepthYPpicと、符号化ブロックの符号化モードがイントラ符号化モードである場合の色差最大変換ブロック分割階層数MaxTUdepthUVintraと、符号化ブロックの符号化モードがインター符号化モードである場合の色差最大変換ブロック分割階層数MaxTUdepthUVinterとをシーケンスパラメータセットとして、ビットストリームのヘッダ部に多重化する例を示す説明図である。この場合、ピクチャタイプまたはスライスタイプが、イントラタイプの場合、輝度最大変換ブロック分割階層数がMaxTUdepthYIpicとなり、インタータイプの場合、輝度最大変換ブロック分割階層数がMaxTUdepthYPpicとなる。また、ピクチャまたはスライス内の符号化ブロックがイントラ符号化モードである場合の色差最大変換ブロック分割階層数がMaxTUdepthUVintraとなり、ピクチャまたはスライス内の符号化ブロックがインター符号化モードである場合の色差最大変換ブロック分割階層数がMaxTUdepthUVinterとなる。なお、符号化モードがイントラ符号化モードである場合の色差最大変換ブロック分割階層数MaxTUdepthUVintraや、符号化モードがインター符号化モードである場合の色差最大変換ブロック分割階層数MaxTUdepthUVinterが、輝度最大変換ブロック分割階層数MaxTUdepthYとの差分値より得られるTintra及びTinterとして、可変長符号化するように構成してもよい。TintraMaxTUdepthYMaxTUdepthUVintraTinterMaxTUdepthYMaxTUdepthUVinter復号側では、符号化ブロックの符号化モードがイントラ符号化モードである場合の色差最大変換ブロック分割階層数MaxTUdepthUVintraや、符号化ブロックの符号化モードがインター符号化モードである場合の色差最大変換ブロック分割階層数MaxTUdepthUVinterは、次式によって得られる。MaxTUdepthUVintramaxMaxTUdepthUVintermaxまた、例えば、図22に示すように、色差最大変換ブロック分割階層数を、輝度最大変換ブロック分割階層数をイントラ符号化ピクチャとインター符号化ピクチャとで異なる値として、符号化モードがイントラ符号化モードである場合の色差最大変換ブロック分割階層数MaxTUdepthUVIpicと、符号化モードがインター符号化モードである場合の色差最大変換ブロック分割階層数MaxTUdepthUVPpicをヘッダに多重化するように構成してもよい。この場合、ピクチャタイプまたはスライスタイプがイントラタイプの場合、色差最大変換ブロック分割階層数がMaxTUdepthUVIpicとなり、インタータイプの場合、色差最大変換ブロック分割階層数がMaxTUdepthUVPpicとなる。なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。"