"予測処理の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な1以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する符号化制御手段と、入力画像を上記符号化制御手段により決定された最大サイズの符号化ブロックに分割するとともに、上記符号化制御手段により決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割手段と、上記ブロック分割手段により分割された符号化ブロックに対して、上記符号化制御手段により選択された符号化モードに対応する予測処理を実施することで予測画像を生成する予測画像生成手段と、上記ブロック分割手段により分割された符号化ブロックと上記予測画像生成手段により生成された予測画像との差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮手段と、上記画像圧縮手段から出力された圧縮データ及び上記符号化制御手段により選択された符号化モードを可変長符号化して、上記圧縮データ及び上記符号化モードの符号化データが多重化されているビットストリームを生成する可変長符号化手段とを備え、上記予測画像生成手段は、上記ブロック分割手段により分割された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する輝度成分イントラ予測手段と、上記符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、上記相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する色差成分イントラ予測手段とから構成されていることを特徴とする動画像符号化装置。色差成分イントラ予測手段は、符号化制御手段により選択された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、ブロック分割手段により分割された符号化ブロックにおける色差成分のフレーム内予測を実施して、色差成分に対する予測画像を生成し、上記符号化制御手段により選択された符号化モードが、イントラ符号化モードにおける平滑化輝度相関利用色差信号予測モードであれば、上記符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、上記相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成することを特徴とする請求項1記載の動画像符号化装置。ビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された符号化ブロックに対して、当該符号化ブロックに係る符号化モードに対応する予測処理を実施することで予測画像を生成する予測画像生成手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像と上記予測画像生成手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段とを備え、上記予測画像生成手段は、上記可変長復号手段により可変長復号された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する輝度成分イントラ予測手段と、上記符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、上記相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する色差成分イントラ予測手段とから構成されていることを特徴とする動画像復号装置。色差成分イントラ予測手段は、可変長復号手段により可変長復号された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、上記可変長復号手段により可変長復号された符号化ブロックにおける色差成分のフレーム内予測を実施して、色差成分に対する予測画像を生成し、上記可変長復号手段により可変長復号された符号化モードが、イントラ符号化モードにおける平滑化輝度相関利用色差信号予測モードであれば、上記符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、上記相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成することを特徴とする請求項3記載の動画像復号装置。符号化制御手段が、予測処理の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な1以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する符号化制御処理ステップと、ブロック分割手段が、入力画像を上記符号化制御処理ステップで決定された最大サイズの符号化ブロックに分割するとともに、上記符号化制御処理ステップで決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割処理ステップと、予測画像生成手段が、上記ブロック分割処理ステップで分割された符号化ブロックに対して、上記符号化制御処理ステップで選択された符号化モードに対応する予測処理を実施することで予測画像を生成する予測画像生成処理ステップと、差分画像生成手段が、上記ブロック分割処理ステップで分割された符号化ブロックと上記予測画像生成処理ステップで生成された予測画像との差分画像を生成する差分画像生成処理ステップと、画像圧縮手段が、上記差分画像生成処理ステップで生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮処理ステップと、可変長符号化手段が、上記画像圧縮処理ステップで出力された圧縮データ及び上記符号化制御処理ステップで選択された符号化モードを可変長符号化して、上記圧縮データ及び上記符号化モードの符号化データが多重化されているビットストリームを生成する可変長符号化処理ステップとを備え、上記予測画像生成処理ステップでは、上記ブロック分割処理ステップで分割された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する輝度成分イントラ予測処理ステップと、上記符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、上記相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する色差成分イントラ予測処理ステップとを実施することを特徴とする動画像符号化方法。可変長復号手段が、ビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号処理ステップと、予測画像生成手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに対して、当該符号化ブロックに係る符号化モードに対応する予測処理を実施することで予測画像を生成する予測画像生成処理ステップと、差分画像生成手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成処理ステップと、復号画像生成手段が、上記差分画像生成処理ステップで生成された差分画像と上記予測画像生成処理ステップで生成された予測画像とを加算して復号画像を生成する復号画像生成処理ステップとを備え、上記予測画像生成処理ステップでは、上記可変長復号処理ステップで可変長復号された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する輝度成分イントラ予測処理ステップと、上記符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、上記相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する色差成分イントラ予測処理ステップとを実施することを特徴とする動画像復号方法。従来の動画像符号化装置は以上のように構成されているので、隣接画素から予測できない色差信号の変化も、輝度信号との相関を利用して適切に予測することができ、高い精度での予測が可能になる。しかし、縮小輝度参照画素Rec’Lを生成する際、2画素ずつの平均値を取ることで、画面の垂直方向には、強いローパスフィルタが施されているが、画面の水平方向には、単純に2画素おきにサブサンプリングされるだけであるため、縮小輝度参照画素Rec’Lの水平方向にはエイリアシングが発生することがある。色差予測画像PredCは、縮小輝度参照画素Rec’Lをスカラ倍してオフセット加算することで得られるため、縮小輝度参照画素Rec’Lのエイリアシングが、色差予測画像に反映されて予測誤差が増幅されてしまい、符号化効率の改善が限定的になるなどの課題があった。この発明は上記のような課題を解決するためになされたもので、エイリアシングの発生を抑制して、符号化効率を高めることができる動画像符号化装置及び動画像符号化方法を得ることを目的とする。また、この発明は、符号化効率の改善が図られている符号化データから正確に動画像を復号することができる動画像復号装置及び動画像復号方法を得ることを目的とする。この発明に係る動画像符号化装置は、予測処理の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な1以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する符号化制御手段と、入力画像を符号化制御手段により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御手段により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割するブロック分割手段と、ブロック分割手段により分割された符号化ブロックに対して、符号化制御手段により選択された符号化モードに対応する予測処理を実施することで予測画像を生成する予測画像生成手段と、ブロック分割手段により分割された符号化ブロックと予測画像生成手段により生成された予測画像との差分画像を生成する差分画像生成手段と、差分画像生成手段により生成された差分画像を圧縮し、その差分画像の圧縮データを出力する画像圧縮手段と、画像圧縮手段から出力された圧縮データ及び符号化制御手段により選択された符号化モードを可変長符号化して、その圧縮データ及び符号化モードの符号化データが多重化されているビットストリームを生成する可変長符号化手段とを備え、予測画像生成手段が、ブロック分割手段により分割された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する輝度成分イントラ予測手段と、上記符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する色差成分イントラ予測手段とから構成されているようにしたものである。この発明によれば、予測画像生成手段が、ブロック分割手段により分割された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する輝度成分イントラ予測手段と、上記符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する色差成分イントラ予測手段とから構成されているので、平滑化後の輝度成分におけるエイリアシングの発生を抑制して、符号化効率を高めることができる効果がある。実施の形態1.図1はこの発明の実施の形態1による動画像符号化装置を示す構成図である。図1において、符号化制御部1はイントラ予測処理フレーム内予測処理又は動き補償予測処理フレーム間予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。また、符号化制御部1は利用可能な1以上の符号化モード1以上のイントラ符号化モード、1以上のインター符号化モードの中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。また、符号化制御部1は各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する処理を実施する。量子化パラメータ及び変換ブロックサイズは、予測差分符号化パラメータに含まれて、変換量子化部7、逆量子化逆変換部8及び可変長符号化部13等に出力される。なお、符号化制御部1は符号化制御手段を構成している。ブロック分割部2は入力画像カレントピクチャを示す映像信号を入力すると、その入力画像を符号化制御部1により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部1により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する処理を実施する。なお、ブロック分割部2はブロック分割手段を構成している。切替スイッチ3は符号化制御部1により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部2により分割された符号化ブロックをイントラ予測部4に出力し、符号化制御部1により選択された符号化モードがインター符号化モードであれば、ブロック分割部2により分割された符号化ブロックを動き補償予測部5に出力する処理を実施する。イントラ予測部4は切替スイッチ3からブロック分割部2により分割された符号化ブロックを受けると、その符号化ブロックに対して、イントラ予測用メモリ10により格納されている上記符号化ブロックに隣接している復号済みの画素を用いて、符号化制御部1から出力されたイントラ予測パラメータに基づくフレーム内予測処理を実施することで予測画像を生成する処理を実施する。即ち、イントラ予測部4は、ブロック分割部2により分割された符号化ブロックにおける輝度成分については、その輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する。一方、ブロック分割部2により分割された符号化ブロックにおける色差成分については、符号化制御部1により選択された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、ブロック分割部2により分割された符号化ブロックにおける色差成分のフレーム内予測を実施して、色差成分に対する予測画像を生成する。また、符号化制御部1により選択された符号化モードが、イントラ符号化モードにおける平滑化輝度相関利用色差信号予測モードであれば、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する。動き補償予測部5はブロック分割部2により分割された符号化ブロックに対応する符号化モードとして、符号化制御部1によりインター符号化モードが選択された場合、動き補償予測フレームメモリ12により格納されている1フレーム以上の参照画像を用いて、符号化制御部1から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。なお、切替スイッチ3、イントラ予測部4及び動き補償予測部5から予測画像生成手段が構成されている。減算部6はブロック分割部2により分割された符号化ブロックから、イントラ予測部4又は動き補償予測部5により生成された予測画像を減算することで、差分画像=符号化ブロック-予測画像を生成する処理を実施する。なお、減算部6は差分画像生成手段を構成している。変換量子化部7は符号化制御部1から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、減算部6により生成された差分画像の変換処理例えば、DCT離散コサイン変換やDST離散サイン変換、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。なお、変換量子化部7は画像圧縮手段を構成している。逆量子化逆変換部8は符号化制御部1から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換量子化部7から出力された圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理例えば、逆DCT逆離散コサイン変換や逆DST逆離散サイン変換、逆KL変換等の逆変換処理を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として出力する処理を実施する。加算部9は逆量子化逆変換部8から出力された局所復号予測差分信号とイントラ予測部4又は動き補償予測部5により生成された予測画像を示す予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。イントラ予測用メモリ10はイントラ予測部4により次回のイントラ予測処理で用いられる画像として、加算部9により生成された局所復号画像信号が示す局所復号画像を格納するRAMなどの記録媒体である。ループフィルタ部11は加算部9により生成された局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ12に出力する処理を実施する。動き補償予測フレームメモリ12は動き補償予測部5により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部11によるフィルタリング処理後の局所復号画像を格納するRAMなどの記録媒体である。可変長符号化部13は変換量子化部7から出力された圧縮データと、符号化制御部1から出力された符号化モード及び予測差分符号化パラメータと、イントラ予測部4から出力されたイントラ予測パラメータ又は動き補償予測部5から出力されたインター予測パラメータとを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータの符号化データが多重化されているビットストリームを生成する処理を実施する。なお、可変長符号化部13は可変長符号化手段を構成している。図1では、動画像符号化装置の構成要素である符号化制御部1、ブロック分割部2、切替スイッチ3、イントラ予測部4、動き補償予測部5、減算部6、変換量子化部7、逆量子化逆変換部8、加算部9、ループフィルタ部11及び可変長符号化部13のそれぞれが専用のハードウェア例えば、CPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどで構成されているものを想定しているが、動画像符号化装置がコンピュータなどで構成される場合、符号化制御部1、ブロック分割部2、切替スイッチ3、イントラ予測部4、動き補償予測部5、減算部6、変換量子化部7、逆量子化逆変換部8、加算部9、ループフィルタ部11及び可変長符号化部13の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。図2はこの発明の実施の形態1による動画像符号化装置の処理内容を示すフローチャートである。図3はこの発明の実施の形態1による動画像符号化装置のイントラ予測部4を示す構成図である。図3において、輝度信号イントラ予測部21はブロック分割部2により分割された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する処理を実施する。即ち、輝度信号イントラ予測部21はイントラ予測用メモリ10により格納されている上記符号化ブロックに隣接している復号済みの輝度参照画素を参照して、符号化制御部1から出力されたイントラ予測パラメータに基づく輝度成分のフレーム内予測を実施することで、輝度成分に対する予測画像を生成する処理を実施する。なお、輝度信号イントラ予測部21は輝度成分イントラ予測手段を構成している。切替スイッチ22は符号化制御部1から出力されたイントラ予測パラメータのうち、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードである旨を示していれば、予測に用いる参照画素を色差信号方向性イントラ予測部23に与え、色差信号のイントラ符号化モードを示すパラメータが、平滑化輝度相関利用色差信号予測モードである旨を示していれば、予測に用いる参照画素を輝度相関利用色差信号予測部24に出力する処理を実施する。色差信号方向性イントラ予測部23は切替スイッチ22から受け取った上記符号化ブロックに隣接している復号済みの色差参照画素を参照して、符号化制御部1から出力されたイントラ予測パラメータに基づく色差成分のフレーム内予測を実施することで、色差成分に対する予測画像を生成する処理を実施する。輝度相関利用色差信号予測部24は切替スイッチ22から受け取った復号済みの画素のうち、符号化ブロックに隣接している復号済みの輝度参照画素及び色差参照画素と、当該符号化ブロック内の復号済みの輝度参照画素を用いて、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する処理を実施する。なお、切替スイッチ22、色差信号方向性イントラ予測部23及び輝度相関利用色差信号予測部24から色差成分イントラ予測手段が構成されている。図4はこの発明の実施の形態1による動画像符号化装置の輝度相関利用色差信号予測部24を示す構成図である。図4において、平滑化輝度参照画素縮小部31はイントラ予測用メモリ10により格納されている符号化ブロックを構成している復号済みの輝度参照画素のうち、水平方向及び垂直方向に隣接している複数の輝度参照画素の平滑化処理等を実施することで、縮小輝度参照画素Rec’Lを生成する。相関算出部32はイントラ予測用メモリ10により格納されている色差参照画素と平滑化輝度参照画素縮小部31により生成された縮小輝度参照画素Rec’Lを用いて、輝度成分と色差成分の相関を示す相関パラメータα,βを算出する処理を実施する。色差予測画像生成部33は相関算出部32により算出された相関パラメータα,βと平滑化輝度参照画素縮小部31により生成された縮小輝度参照画素Rec’Lを用いて、色差成分に対する予測画像を生成する処理を実施する。なお、図5はこの発明の実施の形態1による動画像符号化装置のイントラ予測部4の処理内容を示すフローチャートである。図6はこの発明の実施の形態1による動画像符号化装置の輝度相関利用色差信号予測部24の処理内容を示すフローチャートである。図7はこの発明の実施の形態1による動画像復号装置を示す構成図である。図7において、可変長復号部41はイントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ及び最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数を特定することで、ビットストリームに多重化されている符号化データの中で、最大サイズの符号化ブロック及び階層的に分割されている符号化ブロックに係る符号化データを特定し、各々の符号化データから符号化ブロックに係る圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化逆変換部45に出力するとともに、その符号化モード及びイントラ予測パラメータ/インター予測パラメータを切替スイッチ42に出力する処理を実施する。なお、可変長復号部41は可変長復号手段を構成している。切替スイッチ42は可変長復号部41から出力された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、可変長復号部41から出力されたイントラ予測パラメータをイントラ予測部43に出力し、その符号化モードがインター符号化モードである場合、可変長復号部41から出力されたインター予測パラメータを動き補償部44に出力する処理を実施する。イントラ予測部43はイントラ予測用メモリ47により格納されている符号化ブロックに隣接している復号済みの画素を用いて、切替スイッチ42から出力されたイントラ予測パラメータに基づいて、符号化ブロックに対するフレーム内予測処理を実施することで予測画像を生成する処理を実施する。即ち、イントラ予測部43は、可変長復号部41から出力された符号化ブロックにおける輝度成分については、その輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する。一方、可変長復号部41から出力された符号化ブロックにおける色差成分については、可変長復号部41から出力された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、その符号化ブロックにおける色差成分のフレーム内予測を実施して、色差成分に対する予測画像を生成する。また、可変長復号部41から出力された符号化モードが、イントラ符号化モードにおける平滑化輝度相関利用色差信号予測モードであれば、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する。動き補償部44は動き補償予測フレームメモリ49により格納されている1フレーム以上の参照画像を用いて、切替スイッチ42から出力されたインター予測パラメータに基づいて、符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。なお、切替スイッチ42、イントラ予測部43及び動き補償部44から予測画像生成手段が構成されている。逆量子化逆変換部45は可変長復号部41から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部41から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理例えば、逆DCT逆離散コサイン変換や逆DST逆離散サイン変換、逆KL変換等の逆変換処理を実施することで、逆変換処理後の圧縮データを復号予測差分信号圧縮前の差分画像を示す信号として出力する処理を実施する。なお、逆量子化逆変換部45は差分画像生成手段を構成している。加算部46は逆量子化逆変換部45から出力された復号予測差分信号とイントラ予測部43又は動き補償部44により生成された予測画像を示す予測信号を加算することで、復号画像を示す復号画像信号を生成する処理を実施する。なお、加算部46は復号画像生成手段を構成している。イントラ予測用メモリ47はイントラ予測部43により次回のイントラ予測処理で用いられる画像として、加算部46により生成された復号画像信号が示す復号画像を格納するRAMなどの記録媒体である。ループフィルタ部48は加算部46により生成された復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ49に出力するとともに、その復号画像を再生画像として外部に出力する処理を実施する。動き補償予測フレームメモリ49は動き補償部44により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部48によるフィルタリング処理後の復号画像を格納するRAMなどの記録媒体である。図7では、動画像復号装置の構成要素である可変長復号部41、切替スイッチ42、イントラ予測部43、動き補償部44、逆量子化逆変換部45、加算部46及びループフィルタ部48のそれぞれが専用のハードウェア例えば、CPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどで構成されているものを想定しているが、動画像復号装置がコンピュータなどで構成される場合、可変長復号部41、切替スイッチ42、イントラ予測部43、動き補償部44、逆量子化逆変換部45、加算部46及びループフィルタ部48の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。図8はこの発明の実施の形態1による動画像復号装置の処理内容を示すフローチャートである。図9はこの発明の実施の形態1による動画像復号装置のイントラ予測部43を示す構成図である。図9において、輝度信号イントラ予測部51は可変長復号部41から出力された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する処理を実施する。即ち、輝度信号イントラ予測部51はイントラ予測用メモリ47により格納されている上記符号化ブロックに隣接している復号済みの輝度参照画素を参照して、可変長復号部41から出力されたイントラ予測パラメータに基づく輝度成分のフレーム内予測を実施することで、輝度成分に対する予測画像を生成する処理を実施する。なお、輝度信号イントラ予測部51は輝度成分イントラ予測手段を構成している。切替スイッチ52は可変長復号部41から出力されたイントラ予測パラメータのうち、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードである旨を示していれば、予測に用いる参照画素を色差信号方向性イントラ予測部53に与え、色差信号のイントラ符号化モードを示すパラメータが、平滑化輝度相関利用色差信号予測モードである旨を示していれば、予測に用いる参照画素を輝度相関利用色差信号予測部54に出力する処理を実施する。色差信号方向性イントラ予測部53は切替スイッチ52から受け取った上記符号化ブロックに隣接している復号済みの色差参照画素を参照して、可変長復号部41から出力されたイントラ予測パラメータに基づく色差成分のフレーム内予測を実施することで、色差成分に対する予測画像を生成する処理を実施する。輝度相関利用色差信号予測部54は切替スイッチ52から受け取った復号済みの画素のうち、符号化ブロックに隣接している復号済みの輝度参照画素及び色差参照画素と、当該符号化ブロック内の復号済みの輝度参照画素を用いて、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する処理を実施する。なお、切替スイッチ52、色差信号方向性イントラ予測部53及び輝度相関利用色差信号予測部54から色差成分イントラ予測手段が構成されている。図10はこの発明の実施の形態1による動画像復号装置の輝度相関利用色差信号予測部54を示す構成図である。図10において、平滑化輝度参照画素縮小部61はイントラ予測用メモリ47により格納されている符号化ブロックを構成している復号済みの輝度参照画素のうち、水平方向及び垂直方向に隣接している複数の輝度参照画素の平滑化処理等を実施することで、縮小輝度参照画素Rec’Lを生成する。相関算出部62はイントラ予測用メモリ47により格納されている色差参照画素と平滑化輝度参照画素縮小部61により生成された縮小輝度参照画素Rec’Lを用いて、輝度成分と色差成分の相関を示す相関パラメータα,βを算出する処理を実施する。色差予測画像生成部63は相関算出部62により算出された相関パラメータα,βと平滑化輝度参照画素縮小部61により生成された縮小輝度参照画素Rec’Lを用いて、色差成分に対する予測画像を生成する処理を実施する。この実施の形態1の動画像符号化装置は、映像信号の空間時間方向の局所的な変化に適応して、映像信号を多様なサイズの領域に分割してフレーム内フレーム間適応符号化を行うことを特徴としている。一般に映像信号は、空間時間的に信号の複雑さが局所的に変化する特性を有し、空間的に見ると、ある特定の映像フレーム上では、例えば、空や壁などのように、比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画などでは、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。時間的に見ても、空や壁は局所的に時間方向の絵柄の変化が小さいが、動く人物や物体は、その輪郭が時間的に剛体非剛体の運動をするため、時間的な変化が大きい。符号化処理は、時間空間的な予測によって、信号電力やエントロピーが小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測処理に用いる予測パラメータをできるだけ大きな画像信号領域に対して均一に適用することができれば、予測パラメータの符号量を小さくすることができる。一方、時間的空間的に変化が大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測誤りが増えてしまうため、予測差分信号の符号量を削減することができない。したがって、時間的空間的に変化が大きい領域では、予測対象の領域を小さくして、予測処理に用いる予測パラメータのデータ量を増やしても、予測差分信号の電力エントロピーを低減する方が望ましい。このような映像信号の一般的な性質に適応している符号化処理を行うため、この実施の形態1の動画像符号化装置では、所定の最大ブロックサイズから映像信号の領域を階層的に分割し、分割領域毎に予測処理や予測差分の符号化処理を適応化する構成を採用している。この実施の形態1の動画像符号化装置が処理対象とする映像信号は、輝度信号と2つの色差信号からなるYUV信号や、ディジタル撮像素子から出力されるRGB信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平垂直2次元のディジタルサンプル画素列から構成される任意の映像信号である。各画素の諧調は8ビットでもよいし、10ビット、12ビットなどの諧調であってもよい。ただし、以下の説明においては、特に断らない限り、入力される映像信号がYUV信号であるものとする。また、2つの色差成分U,Vが輝度成分Yに対して、サブサンプルされた4:2:0フォーマットの信号であるものとする。なお、映像の各フレームに対応する処理データ単位をピクチャと称し、この実施の形態1では、ピクチャは順次走査プログレッシブスキャンされた映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、ピクチャは映像フレームを構成する単位であるフィールド画像信号であってもよい。次に動作について説明する。最初に、図1の動画像符号化装置の処理内容を説明する。まず、符号化制御部1は、イントラ予測処理フレーム内予測処理又は動き補償予測処理フレーム間予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する図2のステップST1。符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定する方法が考えられる。また、入力画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。上限の階層数については、例えば、入力画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。また、符号化制御部1は、利用可能な1以上の符号化モードM種類のイントラ符号化モード、N種類のインター符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択するステップST2。予め用意されているM種類のイントラ符号化モードについては後述する。ただし、後述するブロック分割部2により階層的に分割された各々の符号化ブロックが更にパーティション単位に分割される場合は、各々のパーティションに対応する符号化モードを選択することが可能である。以下、この実施の形態1では、各々の符号化ブロックが更にパーティション単位に分割されるものとして説明する。符号化制御部1による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。また、符号化制御部1は、各々の符号化ブロックに含まれているパーティション毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する。符号化制御部1は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換量子化部7、逆量子化逆変換部8及び可変長符号化部13に出力する。また、予測差分符号化パラメータを必要に応じてイントラ予測部4に出力する。ブロック分割部2は、入力画像を示す映像信号を入力すると、その入力画像を符号化制御部1により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部1により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。また、その符号化ブロックをパーティション単位に分割するステップST3。ここで、図11は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。図11の例では、最大サイズの符号化ブロックは、第0階層の符号化ブロックB0であり、輝度成分でL0,M0のサイズを有している。また、図11の例では、最大サイズの符号化ブロックB0を出発点として、4分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックBnを得ている。深さnにおいては、符号化ブロックBnはサイズLn,Mnの画像領域である。ただし、LnとMnは同じであってもよいし異なっていてもよいが、図11の例ではLn=Mnのケースを示している。以降、符号化ブロックBnのサイズは、符号化ブロックBnの輝度成分におけるサイズLn,Mnと定義する。ブロック分割部2では、4分木分割を行うため、常にLn1,Mn1=Ln/2,Mn/2が成立する。ただし、RGB信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号4:4:4フォーマットでは、全ての色成分のサイズがLn,Mnになるが、4:2:0フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズはLn/2,Mn/2である。以降、第n階層の符号化ブロックBnで選択しうる符号化モードをmBnと表記する。複数の色成分からなるカラー映像信号の場合、符号化モードmBnは、色成分ごとに、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、YUV信号、4:2:0フォーマットの符号化ブロックの輝度成分に対する符号化モードのことを指すものとして説明を行う。符号化モードmBnには、1つないし複数のイントラ符号化モード総称してINTRA、1つないし複数のインター符号化モード総称してINTERがあり、符号化制御部1は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックBnに対して最も符号化効率がよい符号化モードを選択する。符号化ブロックBnは、図11に示すように、更に1つないし複数の予測処理単位パーティションに分割される。以降、符号化ブロックBnに属するパーティションをPini:第n階層におけるパーティション番号と表記する。図12は符号化ブロックBnに属するパーティションPinを示す説明図である。符号化ブロックBnに属するパーティションPinの分割がどのようになされているかは符号化モードmBnの中に情報として含まれる。パーティションPinは、すべて符号化モードmBnに従って予測処理が行われるが、パーティションPin毎に、個別の予測パラメータを選択することができる。符号化制御部1は、最大サイズの符号化ブロックに対して、例えば、図13に示すようなブロック分割状態を生成して、符号化ブロックBnを特定する。図13aの斜線部分は分割後のパーティションの分布を示し、また、図13bは階層分割後のパーティションに符号化モードmBnが割り当てられる状況を4分木グラフで示している。図13bにおいて、□で囲まれているノードが、符号化モードmBnが割り当てられたノード符号化ブロックBnを示している。切替スイッチ3は、符号化制御部1がイントラ符号化モードを選択するとmBn∈INTRA、ブロック分割部2により分割された符号化ブロックBnに属するパーティションPinをイントラ予測部4に出力し、符号化制御部1がインター符号化モードを選択するとmBn∈INTER、その符号化ブロックBnに属するパーティションPinを動き補償予測部5に出力する。イントラ予測部4は、切替スイッチ3から符号化ブロックBnに属するパーティションPinを受けるとステップST4、具体的な処理内容は後述するが、符号化制御部1により決定されたイントラ予測パラメータに基づいて、各パーティションPinに対するイントラ予測処理を実施することにより、イントラ予測画像Pinを生成するステップST5。以下、この明細書では、Pinはパーティションを示し、PinはパーティションPinの予測画像を示すものとする。イントラ予測画像Pinの生成に用いられるイントラ予測パラメータは、動画像復号装置側でも、全く同じイントラ予測画像Pinを生成する必要があるため、可変長符号化部13によってビットストリームに多重化される。なお、イントラ予測パラメータとして選択できるイントラ予測方向数は、処理対象となるブロックのサイズに応じて異なるよう構成してもよい。大きいサイズのパーティションでは、イントラ予測の効率が低下するため、選択できるイントラ予測方向数を少なくし、小さいサイズのパーティションでは、選択できるイントラ予測方向数を多くするように構成することができる。例えば、4×4画素パーティションや8×8画素パーティションでは34方向、16×16画素パーティションでは17方向、32×32画素パーティションでは9方向などのように構成してもよい。動き補償予測部5は、切替スイッチ3から符号化ブロックBnに属するパーティションPinを受けるとステップST4、符号化制御部1により決定されたインター予測パラメータに基づいて、各パーティションPinに対するインター予測処理を実施することにより、インター予測画像Pinを生成するステップST6。即ち、動き補償予測部5は、動き補償予測フレームメモリ12により格納されている1フレーム以上の参照画像を用いて、符号化制御部1から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで、インター予測画像Pinを生成する。インター予測画像Pinの生成に用いられるインター予測パラメータは、動画像復号装置側でも、全く同じインター予測画像Pinを生成する必要があるため、可変長符号化部13によってビットストリームに多重化される。減算部6は、イントラ予測部4又は動き補償予測部5から予測画像Pinを受けると、ブロック分割部2により分割された符号化ブロックBnに属するパーティションPinから、その予測画像Pinを減算することで、その差分画像を示す予測差分信号einを生成するステップST7。変換量子化部7は、減算部6が予測差分信号einを生成すると、符号化制御部1から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、その予測差分信号einに対する変換処理例えば、DCT離散コサイン変換やDST離散サイン変換、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その予測差分信号einの変換係数を量子化することで、量子化後の変換係数である差分画像の圧縮データを逆量子化逆変換部8及び可変長符号化部13に出力するステップST8。逆量子化逆変換部8は、変換量子化部7から圧縮データを受けると、符号化制御部1から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理例えば、逆DCT逆離散コサイン変換や逆DST離散サイン変換、逆KL変換等の逆変換処理を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として加算部9に出力するステップST9。加算部9は、逆量子化逆変換部8から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部4又は動き補償予測部5により生成された予測画像Pinを示す予測信号とを加算することで、局所復号パーティション画像ないしはその集まりとしての局所復号符号化ブロック画像以下、局所復号画像と称するを示す局所復号画像信号を生成し、その局所復号画像信号をループフィルタ部11に出力するステップST10。また、イントラ予測用メモリ10には、イントラ予測に用いるために、当該局所復号画像が格納される。ループフィルタ部11は、加算部9から局所復号画像信号を受けると、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ12に格納するステップST11。なお、ループフィルタ部11によるフィルタリング処理は、入力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1画面分のマクロブロックに相当する局所復号画像信号が入力された後に1画面分まとめて行ってもよい。ステップST4~ST10の処理は、ブロック分割部2により分割された全ての符号化ブロックBnに属するパーティションPinに対する処理が完了するまで繰り返し実施されるステップST12。可変長符号化部13は、変換量子化部7から出力された圧縮データと、符号化制御部1から出力された符号化モード及び予測差分符号化パラメータと、イントラ予測部4から出力されたイントラ予測パラメータ又は動き補償予測部5から出力されたインター予測パラメータとを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータの符号化データが多重化されているビットストリームを生成するステップST13。次に、イントラ予測部4の処理内容を具体的に説明する。図14は符号化ブロックBnに属する各パーティションPinにおいて選択可能なイントラ予測パラメータイントラ予測モードの一例を示す説明図である。図14の例では、イントラ予測モードに対応する予測方向ベクトルを示しており、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。まず、イントラ予測部4の輝度信号イントラ予測部21は、ブロック分割部2により分割された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する図5のステップST21。以下、輝度信号イントラ予測部21の処理内容を具体的に説明する。ここでは、イントラ予測部4の輝度信号イントラ予測部21が、パーティションPinの輝度信号に対するイントラ予測パラメータイントラ予測モードに基づいて、その輝度信号のイントラ予測信号を生成するイントラ処理について説明する。説明の便宜上、パーティションPinのサイズをlin×min画素とする。図15はlin=min=4の場合において、パーティションPin内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。図15の例では、パーティションPinに隣接している符号化済みの上パーティションの画素2×lin1個の画素と、左パーティションの画素2×min個の画素を予測に用いる参照画素としているが、予測に用いる画素は、図15に示す画素より多くても少なくてもよい。また、図15の例では、隣接している1行又は1列分の画素を予測に用いているが、2行又は2列分の画素、あるいは、それ以上の画素を予測に用いてもよい。輝度信号イントラ予測部21は、例えば、パーティションPinに対するイントラ予測モードのインデックス値が2平均値予測である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションPin内の画素の予測値として予測画像を生成する。イントラ予測モードのインデックス値が2平均値予測以外の場合には、インデックス値が示す予測方向ベクトルvp=dx,dyに基づいて、パーティションPin内の画素の予測値を生成する。予測値を生成する画素予測対象画素のパーティションPin内の相対座標パーティションの左上画素を原点とするをx,yとすると、予測に用いる参照画素の位置は、下記に示すLと、隣接画素の交点となる。ただし、kは正のスカラ値である。参照画素が整数画素位置にある場合、その整数画素を予測対象画素の予測値とする。参照画素が整数画素位置にない場合、参照画素に隣接する整数画素から生成される補間画素を予測値とする。図15の例では、参照画素が整数画素位置にないので、参照画素に隣接する2画素の平均値を予測値としている。なお、隣接する2画素のみではなく、隣接する2画素以上の画素から補間画素を生成して予測値としてもよい。輝度信号イントラ予測部21は、同様の手順で、パーティションPin内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像Pinを出力する。イントラ予測画像Pinの生成に用いているイントラ予測パラメータは、上述したように、ビットストリームに多重化するために可変長符号化部13に出力される。イントラ予測部4の切替スイッチ22は、符号化制御部1から出力されたイントラ予測パラメータのうち、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードであるのか、平滑化輝度相関利用色差信号予測モードであるのかを判定するステップST22。切替スイッチ22は、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードである旨を示していれば、予測に用いる参照画素を色差信号方向性イントラ予測部23に与え、色差信号のイントラ符号化モードを示すパラメータが、平滑化輝度相関利用色差信号予測モードである旨を示していれば、予測に用いる参照画素を輝度相関利用色差信号予測部24に与える。ここで、図16は色差信号のイントラ予測パラメータと色差イントラ予測モードの対応例を示す説明図である。図16の例では、色差信号イントラ予測パラメータが34である場合には、予測に用いる参照画素が輝度相関利用色差信号予測部24に与えられ、色差信号イントラ予測パラメータが34以外である場合には、予測に用いる参照画素が色差信号方向性イントラ予測部23に与えられることになる。色差信号方向性イントラ予測部23は、切替スイッチ22から予測に用いる参照画素を受けると、パーティションPinに隣接している復号済みの色差参照画素を参照して、符号化制御部1から出力されたイントラ予測パラメータに基づく色差成分のフレーム内予測を実施することで、色差成分に対する予測画像を生成するステップST23。色差信号方向性イントラ予測部23におけるイントラ予測の対象が色差信号であり、イントラ予測の対象が輝度信号である輝度信号イントラ予測部21と異なるが、イントラ予測の処理内容自体は輝度信号イントラ予測部21と同様である。よって、方向性予測、水平予測、垂直予測、DC予測などを行うことにより、色差信号のイントラ予測画像が生成される。輝度相関利用色差信号予測部24は、切替スイッチ22から予測に用いる参照画素を受けると、符号化ブロックであるパーティションPinに隣接している復号済みの輝度参照画素及び色差参照画素と、パーティションPin内の復号済みの輝度参照画素輝度信号イントラ予測部21により先に生成されたパーティションPinのイントラ予測画像Pinから得られた局所復号画像内の輝度参照画素とを用いて、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成するステップST24。以下、輝度相関利用色差信号予測部24の処理内容を具体的に説明する。輝度相関利用色差信号予測部24の平滑化輝度参照画素縮小部31は、イントラ予測用メモリ10により格納されているパーティションPinを構成している復号済みの輝度参照画素輝度信号イントラ予測部21により先に生成されたパーティションPinのイントラ予測画像Pinから得られた局所復号画像内の輝度参照画素のうち、水平方向及び垂直方向に隣接している複数の輝度参照画素の平滑化処理等を実施することで、縮小輝度参照画素Rec’Lを生成する図6のステップST31。即ち、平滑化輝度参照画素縮小部31は、図19に示すように、パーティションPin内の色差信号の予測ブロック図中、左側のN×Nのブロックに対応するブロック図中、右側の2N×2Nのブロック内の復号済の画素値である復号済輝度信号と、その復号済輝度信号の上端と左端に隣接している復号済輝度信号とを用いて、縮小輝度参照画素Rec’Lを生成する。ここで、縮小輝度参照画素Rec’Lは、図17に示すように、YUV4:2:0信号において、色差信号画素と同位相になるように、輝度参照画素RecLに対して、横方向に1:2:1のローパスフィルタ、縦方向に1:1のローパスフィルタを施した後に、縦横に偶数列のみをサブサンプリングすることで得られる。輝度相関利用色差信号予測部24の相関算出部32は、平滑化輝度参照画素縮小部31が縮小輝度参照画素Rec’Lを生成すると、その縮小輝度参照画素Rec’Lと、色差信号の予測ブロックの上端及び左端に隣接している色差信号の復号済の画素値である色差参照画素RecCとを用いて、下記の式4及び式5に示すように、予測に用いる相関パラメータα,βを算出するステップST32。式4,5において、Iは処理対象となる色差信号の予測ブロックの1辺の画素数の2倍の値である。色差予測画像生成部33は、相関算出部32が相関パラメータα,βを算出すると、その相関パラメータα,βと縮小輝度参照画素Rec’Lを用いて、下記の式6に示すように、色差予測画像PredCを生成するステップST33。なお、イントラ予測は、画面内の未知の領域を既知の領域から予測する手段であるが、輝度信号と色差信号のテクスチャには相関があり、空間方向については、近傍画素同士は画素値の変化が小さいため、予測ブロックに隣接する復号済の輝度信号と色差信号を利用して輝度信号と色差信号の相関パラメータを算出し、その輝度信号と相関パラメータから色差信号を予測することにより、予測効率を向上させることができる。この際、YUV4:2:0信号では、輝度信号と色差信号の解像度が異なるため、輝度信号をサブサンプリングする必要があるが、ローパスフィルタを施すことによりエイリアシングの発生を抑えることができ、予測効率を向上させることができる。可変長符号化部13は、上述したように、イントラ予測部4から出力されたイントラ予測パラメータを可変長符号化して、そのイントラ予測パラメータの符号語をビットストリームに多重化するが、イントラ予測パラメータを符号化する際に、複数の方向性予測の予測方向ベクトルの中から、代表的な予測方向ベクトル予測方向代表ベクトルを選択し、イントラ予測パラメータを予測方向代表ベクトルのインデックス予測方向代表インデックスと予測方向代表ベクトルからの差分を表すインデックス予測方向差分インデックスで表して、それぞれのインデックス毎に、確率モデルに応じた算術符号化などのハフマン符号化を行うことで、符号量を削減して符号化するよう構成してもよい。次に、図7の動画像復号装置の処理内容を説明する。可変長復号部41は、図1の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して図8のステップST41、1フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズを復号する。可変長復号部41は、フレームサイズを復号すると、図1の動画像符号化装置で決定された最大符号化ブロックサイズイントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズと、分割階層数の上限最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数を動画像符号化装置と同様の手順で決定するステップST42。例えば、符号化ブロックの最大サイズが、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定されている場合には、先に復号しているフレームサイズに基づいて、図1の動画像符号化装置と同様の手順で、符号化ブロックの最大サイズを決定する。動画像符号化装置によって、符号化ブロックの最大サイズ及び符号化ブロックの階層数がビットストリームに多重化されている場合には、そのビットストリームから符号化ブロックの最大サイズ及び符号化ブロックの階層数を復号する。可変長復号部41は、符号化ブロックの最大サイズ及び符号化ブロックの階層数を決定すると、最大符号化ブロックを出発点にして、各符号化ブロックの階層的な分割状態を把握することで、ビットストリームに多重化されている符号化データの中で、各符号化ブロックに係る符号化データを特定し、その符号化データから各符号化ブロックに割り当てられている符号化モードを復号する。そして、可変長復号部41は、その符号化モードに含まれている符号化ブロックBnに属するパーティションPinの分割情報を参照して、ビットストリームに多重化されている符号化データの中で、各パーティションPinに係る符号化データを特定するステップST43。可変長復号部41は、各パーティションPinに係る符号化データから圧縮データ、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化逆変換部45に出力するとともに、符号化モード及びイントラ予測パラメータ/インター予測パラメータを切替スイッチ42に出力するステップST44。例えば、予測方向代表インデックスと予測方向差分インデックスがビットストリームに多重化されている場合には、その予測方向代表インデックスと予測方向差分インデックスをそれぞれの確率モデルに応じた算術復号などによりエントロピー復号し、その予測方向代表インデックスと予測方向差分インデックスからイントラ予測パラメータを特定するようにする。これにより、動画像符号化装置側で、イントラ予測パラメータの符号量を削減している場合でも、イントラ予測パラメータを正しく復号することができる。切替スイッチ42は、可変長復号部41から出力された符号化ブロックBnに属するパーティションPinの符号化モードがイントラ符号化モードである場合、可変長復号部41から出力されたイントラ予測パラメータをイントラ予測部43に出力し、その符号化モードがインター符号化モードである場合、可変長復号部41から出力されたインター予測パラメータを動き補償部44に出力する。イントラ予測部43は、可変長復号部41からイントラ予測パラメータを受けるとステップST45、図1のイントラ予測部4と同様に、そのイントラ予測パラメータに基づいて、各パーティションPinに対するイントラ予測処理を実施することにより、イントラ予測画像Pinを生成するステップST46。以下、イントラ予測部43の処理内容を具体的に説明する。イントラ予測部43の輝度信号イントラ予測部51は、可変長復号部41からイントラ予測パラメータを受けると、動画像符号化装置の輝度信号イントラ予測部21と同様に、例えば、パーティションPinに対するイントラ予測モードのインデックス値が2平均値予測である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションPin内の画素の予測値として予測画像を生成する。イントラ予測モードのインデックス値が2平均値予測以外の場合には、インデックス値が示す予測方向ベクトルvp=dx,dyに基づいて、パーティションPin内の画素の予測値を生成する。輝度信号イントラ予測部51は、同様の手順で、パーティションPin内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像Pinを出力する。イントラ予測部43の切替スイッチ52は、動画像符号化装置の切替スイッチ22と同様に、可変長復号部41から出力されたイントラ予測パラメータのうち、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードであるのか、平滑化輝度相関利用色差信号予測モードであるのかを判定する。切替スイッチ52は、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードである旨を示していれば、予測に用いる参照画素を色差信号方向性イントラ予測部53に与え、色差信号のイントラ符号化モードを示すパラメータが、平滑化輝度相関利用色差信号予測モードである旨を示していれば、予測に用いる参照画素を輝度相関利用色差信号予測部54に与える。色差信号方向性イントラ予測部53は、切替スイッチ52から予測に用いる参照画素を受けると、動画像符号化装置の色差信号方向性イントラ予測部23と同様に、パーティションPinに隣接している復号済みの色差参照画素を参照して、可変長復号部41から出力されたイントラ予測パラメータに基づく色差成分のフレーム内予測を実施することで、色差成分に対する予測画像を生成する。色差信号方向性イントラ予測部53におけるイントラ予測の対象が色差信号であり、イントラ予測の対象が輝度信号である輝度信号イントラ予測部51と異なるが、イントラ予測の処理内容自体は輝度信号イントラ予測部51と同様である。よって、方向性予測、水平予測、垂直予測、DC予測などを行うことにより、色差信号のイントラ予測画像が生成される。輝度相関利用色差信号予測部54は、切替スイッチ52から予測に用いる参照画素を受けると、動画像符号化装置の輝度相関利用色差信号予測部24と同様に、パーティションPinに隣接している復号済みの輝度参照画素及び色差参照画素と、パーティションPin内の復号済みの輝度参照画素輝度信号イントラ予測部51により先に生成されたパーティションPinのイントラ予測画像Pinから得られた復号画像内の輝度参照画素とを用いて、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する。以下、輝度相関利用色差信号予測部54の処理内容を具体的に説明する。輝度相関利用色差信号予測部54の平滑化輝度参照画素縮小部61は、動画像符号化装置の平滑化輝度参照画素縮小部31と同様に、イントラ予測用メモリ47により格納されているパーティションPinを構成している復号済みの輝度参照画素輝度信号イントラ予測部51により先に生成されたパーティションPinのイントラ予測画像Pinから得られた復号画像内の輝度参照画素のうち、水平方向及び垂直方向に隣接している複数の輝度参照画素の平滑化処理等を実施することで、縮小輝度参照画素Rec’Lを生成する。即ち、平滑化輝度参照画素縮小部61は、図19に示すように、パーティションPin内の色差信号の予測ブロック図中、左側のN×Nのブロックに対応するブロック図中、右側の2N×2Nのブロック内の復号済の画素値である復号済輝度信号と、その復号済輝度信号の上端と左端に隣接している復号済輝度信号とを用いて、縮小輝度参照画素Rec’Lを生成する。ここで、縮小輝度参照画素Rec’Lは、図17に示すように、YUV4:2:0信号において、色差信号画素と同位相になるように、輝度参照画素RecLに対して、横方向に1:2:1のローパスフィルタ、縦方向に1:1のローパスフィルタを施した後に、縦横に偶数列のみをサブサンプリングすることで得られる。相関算出部62は、平滑化輝度参照画素縮小部61が縮小輝度参照画素Rec’Lを生成すると、動画像符号化装置の相関算出部32と同様に、その縮小輝度参照画素Rec’Lと、色差信号の予測ブロックの上端及び左端に隣接している色差信号の復号済の画素値である色差参照画素RecCとを用いて、上記の式4,5に示すように、予測に用いる相関パラメータα,βを算出する。色差予測画像生成部63は、相関算出部62が相関パラメータα,βを算出すると、動画像符号化装置の色差予測画像生成部33と同様に、その相関パラメータα,βと縮小輝度参照画素Rec’Lを用いて、上記の式6に示すように、色差予測画像PredCを生成する。動き補償部44は、切替スイッチ42からインター予測パラメータを受けると、動画像符号化装置の動き補償予測部5と同様に、そのインター予測パラメータに基づいて、各パーティションPinに対するインター予測処理を実施することにより、インター予測画像Pinを生成するステップST47。即ち、動き補償部44は、動き補償予測フレームメモリ49により格納されている1フレーム以上の参照画像を用いて、そのインター予測パラメータに基づくパーティションPinに対する動き補償予測処理を実施することで、インター予測画像Pinを生成する。逆量子化逆変換部45は、可変長復号部41から予測差分符号化パラメータを受けると、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部41から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理例えば、逆DCT逆離散コサイン変換や逆DST逆離散サイン変換、逆KL変換等の逆変換処理を実施することで、逆変換処理後の圧縮データを復号予測差分信号圧縮前の差分画像を示す信号として加算部46に出力するステップST48。加算部46は、逆量子化逆変換部45から出力された復号予測差分信号と、イントラ予測部43又は動き補償部44により生成された予測画像Pinを示す予測信号とを加算することで、復号パーティション画像ないしはその集まりとしての復号画像を示す復号画像信号を生成し、その復号画像信号をループフィルタ部48に出力するステップST49。また、イントラ予測用メモリ47には、イントラ予測に用いるために、当該復号画像が格納される。ループフィルタ部48は、加算部46から復号画像信号を受けると、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ49に格納するとともに、その復号画像を再生画像として出力するステップST50。なお、ループフィルタ部48によるフィルタリング処理は、入力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1画面分のマクロブロックに相当する復号画像信号が入力された後に1画面分まとめて行ってもよい。ステップST43~ST49の処理は、全ての符号化ブロックBnに属するパーティションPinに対する処理が完了するまで繰り返し実施されるステップST51。以上で明らかなように、この実施の形態1によれば、動画像符号化装置のイントラ予測部4が、ブロック分割部2により分割された符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成するように構成したので、平滑化後の輝度成分におけるエイリアシングの発生を抑制して、符号化効率を高めることができる効果を奏する。即ち、符号化制御部1により選択された符号化モードがイントラ予測モードであり、色差信号のイントラ予測モードを示すパラメータが、平滑化輝度相関利用色差信号予測モードである旨を示している場合、輝度参照画素に対して、水平方向及び垂直方向に平滑化を施してサブサンプリングすることで縮小輝度参照画素を生成し、輝度信号と色差信号の相関を利用して色差信号のイントラ予測画像を生成するため、従来では発生していたエイリアシングによる予測誤差の増幅が抑制された予測画像が生成されて予測効率か向上し、その結果として、符号化効率を高めることができる。また、この実施の形態1によれば、動画像復号装置のイントラ予測部43が、可変長復号部41から出力された符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成するように構成したので、符号化効率の改善が図られている符号化データから正確に動画像を復号することができる効果を奏する。即ち、可変長復号部41により可変長復号された符号化モードがイントラ予測モードであり、色差信号のイントラ予測モードを示すパラメータが、平滑化輝度相関利用色差信号予測モードである旨を示している場合、輝度参照画素に対して、水平方向及び垂直方向に平滑化を施してサブサンプリングすることで縮小輝度参照画素を生成し、輝度信号と色差信号の相関を利用して色差信号のイントラ予測画像を生成するため、符号化効率の改善が図られている符号化データから正確に動画像を復号することができる。なお、この実施の形態1では、縮小輝度参照画素の生成時に、水平方向に1:2:1の平滑化フィルタを施すものを示したが、フィルタの係数は、これに限定されるものではなく、例えば、3:2:3、7:2:7、1:0:1などのフィルタや、さらにタップ数の大きい平滑化フィルタ、あるいは、1:1のフィルタであっても、同様の効果を得ることができる。また、この実施の形態1では、縮小輝度参照画素の生成時に、予測対象となるブロックの輝度参照画素と、それに隣接する輝度参照画素の平滑化フィルタとして共通のものを使用するものを示したが、予測対象となるブロックの輝度参照画素には1:0:1のフィルタを適用し、隣接する輝度参照画素には1:2:1のフィルタを適用するなど、異なるフィルタを適用しても同様の効果を得ることができる。1:0:1のフィルタや1:1のフィルタを適用すれば、演算量を削減する効果も得ることができる一方、タップ数の大きい平滑化フィルタを適用すれば、符号化効率を向上させる効果を得ることができる。また、水平方向と垂直方向の平滑化は同時に行うように構成してもよい。例えば、対象となる6画素を上記フィルタ係数に応じて重み付き加算した後に平均値を算出するよう構成してもよい。なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。"