(57)【要約】【課題】エイリアシングの発生を抑制して、符号化効率を高めることができるようにする。【解決手段】動画像符号化装置のイントラ予測部４が、ブロック分割部２により分割された符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成するように構成する。【選択図】図１
2014168107.tif 000002
【特許請求の範囲】
【請求項１】
予測処理の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する符号化制御手段と、入力画像を上記符号化制御手段により決定された最大サイズの符号化ブロックに分割するとともに、上記符号化制御手段により決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割手段と、上記ブロック分割手段により分割された符号化ブロックに対して、上記符号化制御手段により選択された符号化モードに対応する予測処理を実施することで予測画像を生成する予測画像生成手段と、上記ブロック分割手段により分割された符号化ブロックと上記予測画像生成手段により生成された予測画像との差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮手段と、上記画像圧縮手段から出力された圧縮データ及び上記符号化制御手段により選択された符号化モードを可変長符号化して、上記圧縮データ及び上記符号化モードの符号化データが多重化されているビットストリームを生成する可変長符号化手段とを備え、
上記予測画像生成手段は、上記ブロック分割手段により分割された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する輝度成分イントラ予測手段と、上記符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、上記相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する色差成分イントラ予測手段とから構成されていることを特徴とする動画像符号化装置。
【請求項２】
色差成分イントラ予測手段は、符号化制御手段により選択された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、ブロック分割手段により分割された符号化ブロックにおける色差成分のフレーム内予測を実施して、色差成分に対する予測画像を生成し、
上記符号化制御手段により選択された符号化モードが、イントラ符号化モードにおける平滑化輝度相関利用色差信号予測モードであれば、上記符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、上記相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する
ことを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
ビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された符号化ブロックに対して、当該符号化ブロックに係る符号化モードに対応する予測処理を実施することで予測画像を生成する予測画像生成手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像と上記予測画像生成手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段とを備え、
上記予測画像生成手段は、上記可変長復号手段により可変長復号された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する輝度成分イントラ予測手段と、上記符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、上記相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する色差成分イントラ予測手段とから構成されていることを特徴とする動画像復号装置。
【請求項４】
色差成分イントラ予測手段は、可変長復号手段により可変長復号された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、上記可変長復号手段により可変長復号された符号化ブロックにおける色差成分のフレーム内予測を実施して、色差成分に対する予測画像を生成し、
上記可変長復号手段により可変長復号された符号化モードが、イントラ符号化モードにおける平滑化輝度相関利用色差信号予測モードであれば、上記符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、上記相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する
ことを特徴とする請求項３記載の動画像復号装置。
【請求項５】
符号化制御手段が、予測処理の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する符号化制御処理ステップと、ブロック分割手段が、入力画像を上記符号化制御処理ステップで決定された最大サイズの符号化ブロックに分割するとともに、上記符号化制御処理ステップで決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割処理ステップと、予測画像生成手段が、上記ブロック分割処理ステップで分割された符号化ブロックに対して、上記符号化制御処理ステップで選択された符号化モードに対応する予測処理を実施することで予測画像を生成する予測画像生成処理ステップと、差分画像生成手段が、上記ブロック分割処理ステップで分割された符号化ブロックと上記予測画像生成処理ステップで生成された予測画像との差分画像を生成する差分画像生成処理ステップと、画像圧縮手段が、上記差分画像生成処理ステップで生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮処理ステップと、可変長符号化手段が、上記画像圧縮処理ステップで出力された圧縮データ及び上記符号化制御処理ステップで選択された符号化モードを可変長符号化して、上記圧縮データ及び上記符号化モードの符号化データが多重化されているビットストリームを生成する可変長符号化処理ステップとを備え、
上記予測画像生成処理ステップでは、上記ブロック分割処理ステップで分割された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する輝度成分イントラ予測処理ステップと、上記符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、上記相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する色差成分イントラ予測処理ステップとを実施することを特徴とする動画像符号化方法。
【請求項６】
可変長復号手段が、ビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号処理ステップと、予測画像生成手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに対して、当該符号化ブロックに係る符号化モードに対応する予測処理を実施することで予測画像を生成する予測画像生成処理ステップと、差分画像生成手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成処理ステップと、復号画像生成手段が、上記差分画像生成処理ステップで生成された差分画像と上記予測画像生成処理ステップで生成された予測画像とを加算して復号画像を生成する復号画像生成処理ステップとを備え、
上記予測画像生成処理ステップでは、上記可変長復号処理ステップで可変長復号された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する輝度成分イントラ予測処理ステップと、上記符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、上記相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する色差成分イントラ予測処理ステップとを実施することを特徴とする動画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像を高効率で符号化を行う動画像符号化装置及び動画像符号化方法と、高効率で符号化されている動画像を復号する動画像復号装置及び動画像復号方法とに関するものである。
【背景技術】
【０００２】
例えば、以下の非特許文献１に記載されている動画像符号化装置では、色差信号のフレーム内予測を行う予測手段として、輝度信号と色差信号の相関を利用して、縮小後の輝度信号に数値演算を施すことで、色差信号を予測するＩｎｔｒａ＿ＬＭモードが採用されている。
図１８はＩｎｔｒａ＿ＬＭモードの予測処理を実施する輝度相関利用色差信号予測部を示す構成図である。
図１８の輝度相関利用色差信号予測部は、輝度参照画素縮小部９３１、相関算出部９３２及び色差予測画像生成部９３３から構成されている。
【０００３】
輝度参照画素縮小部９３１は、図１９に示すように、ＹＵＶ４：２：０信号に対して、色差信号の予測ブロックに対応するブロック内の復号済の画素値である復号済輝度信号と、その復号済輝度信号の上端と左端に隣接している復号済輝度信号とを用いて、縮小輝度参照画素Ｒｅｃ’Lを生成する。
ここで、縮小輝度参照画素Ｒｅｃ’Lは、図２０に示すように、ＹＵＶ４：２：０信号において、色差信号の画素と同位相になるように、輝度参照画素ＲｅｃLに対して、縦方向に１：１のローパスフィルタを施した後に、縦横に偶数列のみをサブサンプリングすることで得られる。
【０００４】
相関算出部９３２は、輝度参照画素縮小部９３１が縮小輝度参照画素Ｒｅｃ’Lを生成すると、その縮小輝度参照画素Ｒｅｃ’Lと、色差信号の予測ブロックの上端及び左端に隣接している色差信号の復号済の画素値である色差参照画素ＲｅｃCとを用いて、下記の式（１）及び式（２）に示すように、予測に用いる相関パラメータα，βを算出する。
2014168107.tif 000003
2014168107.tif 000004
式（１），（２）において、Ｉは処理対象となる色差信号の予測ブロックの１辺の画素数の２倍の値である。
【０００５】
色差予測画像生成部９３３は、相関算出部９３２が相関パラメータα，βを算出すると、その相関パラメータα，βと縮小輝度参照画素Ｒｅｃ’Lを用いて、下記の式（３）に示すように、色差予測画像ＰｒｅｄCを生成する。
2014168107.tif 000005
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】J. Chen, et. al, “CE6.a.4: Chroma intra prediction by reconstructed luma samples”, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JCTVC-E266, 5th Meeting: Geneva, CH, Mar., 2011.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来の動画像符号化装置は以上のように構成されているので、隣接画素から予測できない色差信号の変化も、輝度信号との相関を利用して適切に予測することができ、高い精度での予測が可能になる。しかし、縮小輝度参照画素Ｒｅｃ’Lを生成する際、２画素ずつの平均値を取ることで、画面の垂直方向には、強いローパスフィルタが施されているが、画面の水平方向には、単純に２画素おきにサブサンプリングされるだけであるため、縮小輝度参照画素Ｒｅｃ’Lの水平方向にはエイリアシングが発生することがある。色差予測画像ＰｒｅｄCは、縮小輝度参照画素Ｒｅｃ’Lをスカラ倍してオフセット加算することで得られるため、縮小輝度参照画素Ｒｅｃ’Lのエイリアシングが、色差予測画像に反映されて予測誤差が増幅されてしまい、符号化効率の改善が限定的になるなどの課題があった。
【０００８】
この発明は上記のような課題を解決するためになされたもので、エイリアシングの発生を抑制して、符号化効率を高めることができる動画像符号化装置及び動画像符号化方法を得ることを目的とする。
また、この発明は、符号化効率の改善が図られている符号化データから正確に動画像を復号することができる動画像復号装置及び動画像復号方法を得ることを目的とする。
【課題を解決するための手段】
【０００９】
この発明に係る動画像符号化装置は、予測処理の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する符号化制御手段と、入力画像を符号化制御手段により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御手段により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割するブロック分割手段と、ブロック分割手段により分割された符号化ブロックに対して、符号化制御手段により選択された符号化モードに対応する予測処理を実施することで予測画像を生成する予測画像生成手段と、ブロック分割手段により分割された符号化ブロックと予測画像生成手段により生成された予測画像との差分画像を生成する差分画像生成手段と、差分画像生成手段により生成された差分画像を圧縮し、その差分画像の圧縮データを出力する画像圧縮手段と、画像圧縮手段から出力された圧縮データ及び符号化制御手段により選択された符号化モードを可変長符号化して、その圧縮データ及び符号化モードの符号化データが多重化されているビットストリームを生成する可変長符号化手段とを備え、予測画像生成手段が、ブロック分割手段により分割された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する輝度成分イントラ予測手段と、上記符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する色差成分イントラ予測手段とから構成されているようにしたものである。
【発明の効果】
【００１０】
この発明によれば、予測画像生成手段が、ブロック分割手段により分割された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する輝度成分イントラ予測手段と、上記符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する色差成分イントラ予測手段とから構成されているので、平滑化後の輝度成分におけるエイリアシングの発生を抑制して、符号化効率を高めることができる効果がある。
【図面の簡単な説明】
【００１１】
【図１】この発明の実施の形態１による動画像符号化装置を示す構成図である。
【図２】この発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。
【図３】この発明の実施の形態１による動画像符号化装置のイントラ予測部４を示す構成図である。
【図４】この発明の実施の形態１による動画像符号化装置の輝度相関利用色差信号予測部２４を示す構成図である。
【図５】この発明の実施の形態１による動画像符号化装置のイントラ予測部４の処理内容を示すフローチャートである。
【図６】この発明の実施の形態１による動画像符号化装置の輝度相関利用色差信号予測部２４の処理内容を示すフローチャートである。
【図７】この発明の実施の形態１による動画像復号装置を示す構成図である。
【図８】この発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。
【図９】この発明の実施の形態１による動画像復号装置のイントラ予測部４３を示す構成図である。
【図１０】この発明の実施の形態１による動画像復号装置の輝度相関利用色差信号予測部５４を示す構成図である。
【図１１】最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
【図１２】符号化ブロックＢnに属するパーティションＰinを示す説明図である。
【図１３】分割後のパーティションの分布や、階層分割後のパーティションに符号化モードｍ（Ｂn）が割り当てられる状況を４分木グラフで示す説明図である。
【図１４】符号化ブロックＢnに属する各パーティションＰinにおいて選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。
【図１５】ｌin＝ｍin＝４の場合において、パーティションＰin内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
【図１６】色差信号のイントラ予測パラメータと色差イントラ予測モードの対応例を示す説明図である。
【図１７】縮小輝度参照画素Ｒｅｃ’Lの生成方法を示す説明図である。
【図１８】Ｉｎｔｒａ＿ＬＭモードの予測処理を実施する輝度相関利用色差信号予測部を示す構成図である。
【図１９】色差信号の予測ブロックと復号済輝度信号などを示す説明図である。
【図２０】縮小輝度参照画素Ｒｅｃ’Lの生成方法を示す説明図である。
【発明を実施するための形態】
【００１２】
実施の形態１．
図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
図１において、符号化制御部１はイントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
また、符号化制御部１は利用可能な１以上の符号化モード（１以上のイントラ符号化モード、１以上のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。
また、符号化制御部１は各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する処理を実施する。量子化パラメータ及び変換ブロックサイズは、予測差分符号化パラメータに含まれて、変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３等に出力される。
なお、符号化制御部１は符号化制御手段を構成している。
【００１３】
ブロック分割部２は入力画像（カレントピクチャ）を示す映像信号を入力すると、その入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する処理を実施する。なお、ブロック分割部２はブロック分割手段を構成している。
切替スイッチ３は符号化制御部１により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部２により分割された符号化ブロックをイントラ予測部４に出力し、符号化制御部１により選択された符号化モードがインター符号化モードであれば、ブロック分割部２により分割された符号化ブロックを動き補償予測部５に出力する処理を実施する。
【００１４】
イントラ予測部４は切替スイッチ３からブロック分割部２により分割された符号化ブロックを受けると、その符号化ブロックに対して、イントラ予測用メモリ１０により格納されている上記符号化ブロックに隣接している復号済みの画素を用いて、符号化制御部１から出力されたイントラ予測パラメータに基づくフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
即ち、イントラ予測部４は、ブロック分割部２により分割された符号化ブロックにおける輝度成分については、その輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する。
一方、ブロック分割部２により分割された符号化ブロックにおける色差成分については、符号化制御部１により選択された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、ブロック分割部２により分割された符号化ブロックにおける色差成分のフレーム内予測を実施して、色差成分に対する予測画像を生成する。
また、符号化制御部１により選択された符号化モードが、イントラ符号化モードにおける平滑化輝度相関利用色差信号予測モードであれば、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する。
【００１５】
動き補償予測部５はブロック分割部２により分割された符号化ブロックに対応する符号化モードとして、符号化制御部１によりインター符号化モードが選択された場合、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
なお、切替スイッチ３、イントラ予測部４及び動き補償予測部５から予測画像生成手段が構成されている。
【００１６】
減算部６はブロック分割部２により分割された符号化ブロックから、イントラ予測部４又は動き補償予測部５により生成された予測画像を減算することで、差分画像（＝符号化ブロック−予測画像）を生成する処理を実施する。なお、減算部６は差分画像生成手段を構成している。
変換・量子化部７は符号化制御部１から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、減算部６により生成された差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。なお、変換・量子化部７は画像圧縮手段を構成している。
【００１７】
逆量子化・逆変換部８は符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換・量子化部７から出力された圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として出力する処理を実施する。
【００１８】
加算部９は逆量子化・逆変換部８から出力された局所復号予測差分信号とイントラ予測部４又は動き補償予測部５により生成された予測画像を示す予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。
イントラ予測用メモリ１０はイントラ予測部４により次回のイントラ予測処理で用いられる画像として、加算部９により生成された局所復号画像信号が示す局所復号画像を格納するＲＡＭなどの記録媒体である。
【００１９】
ループフィルタ部１１は加算部９により生成された局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に出力する処理を実施する。
動き補償予測フレームメモリ１２は動き補償予測部５により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部１１によるフィルタリング処理後の局所復号画像を格納するＲＡＭなどの記録媒体である。
【００２０】
可変長符号化部１３は変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード及び予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータとを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データが多重化されているビットストリームを生成する処理を実施する。なお、可変長符号化部１３は可変長符号化手段を構成している。
【００２１】
図１では、動画像符号化装置の構成要素である符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、動画像符号化装置がコンピュータなどで構成される場合、符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。
【００２２】
図３はこの発明の実施の形態１による動画像符号化装置のイントラ予測部４を示す構成図である。
図３において、輝度信号イントラ予測部２１はブロック分割部２により分割された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する処理を実施する。
即ち、輝度信号イントラ予測部２１はイントラ予測用メモリ１０により格納されている上記符号化ブロックに隣接している復号済みの輝度参照画素を参照して、符号化制御部１から出力されたイントラ予測パラメータに基づく輝度成分のフレーム内予測を実施することで、輝度成分に対する予測画像を生成する処理を実施する。なお、輝度信号イントラ予測部２１は輝度成分イントラ予測手段を構成している。
【００２３】
切替スイッチ２２は符号化制御部１から出力されたイントラ予測パラメータのうち、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードである旨を示していれば、予測に用いる参照画素を色差信号方向性イントラ予測部２３に与え、色差信号のイントラ符号化モードを示すパラメータが、平滑化輝度相関利用色差信号予測モードである旨を示していれば、予測に用いる参照画素を輝度相関利用色差信号予測部２４に出力する処理を実施する。
【００２４】
色差信号方向性イントラ予測部２３は切替スイッチ２２から受け取った上記符号化ブロックに隣接している復号済みの色差参照画素を参照して、符号化制御部１から出力されたイントラ予測パラメータに基づく色差成分のフレーム内予測を実施することで、色差成分に対する予測画像を生成する処理を実施する。
輝度相関利用色差信号予測部２４は切替スイッチ２２から受け取った復号済みの画素のうち、符号化ブロックに隣接している復号済みの輝度参照画素及び色差参照画素と、当該符号化ブロック内の復号済みの輝度参照画素を用いて、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する処理を実施する。
なお、切替スイッチ２２、色差信号方向性イントラ予測部２３及び輝度相関利用色差信号予測部２４から色差成分イントラ予測手段が構成されている。
【００２５】
図４はこの発明の実施の形態１による動画像符号化装置の輝度相関利用色差信号予測部２４を示す構成図である。
図４において、平滑化輝度参照画素縮小部３１はイントラ予測用メモリ１０により格納されている符号化ブロックを構成している復号済みの輝度参照画素のうち、水平方向及び垂直方向に隣接している複数の輝度参照画素の平滑化処理等を実施することで、縮小輝度参照画素Ｒｅｃ’Lを生成する。
相関算出部３２はイントラ予測用メモリ１０により格納されている色差参照画素と平滑化輝度参照画素縮小部３１により生成された縮小輝度参照画素Ｒｅｃ’Lを用いて、輝度成分と色差成分の相関を示す相関パラメータα，βを算出する処理を実施する。
【００２６】
色差予測画像生成部３３は相関算出部３２により算出された相関パラメータα，βと平滑化輝度参照画素縮小部３１により生成された縮小輝度参照画素Ｒｅｃ’Lを用いて、色差成分に対する予測画像を生成する処理を実施する。
なお、図５はこの発明の実施の形態１による動画像符号化装置のイントラ予測部４の処理内容を示すフローチャートである。
図６はこの発明の実施の形態１による動画像符号化装置の輝度相関利用色差信号予測部２４の処理内容を示すフローチャートである。
【００２７】
図７はこの発明の実施の形態１による動画像復号装置を示す構成図である。
図７において、可変長復号部４１はイントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ及び最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数を特定することで、ビットストリームに多重化されている符号化データの中で、最大サイズの符号化ブロック及び階層的に分割されている符号化ブロックに係る符号化データを特定し、各々の符号化データから符号化ブロックに係る圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部４５に出力するとともに、その符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ４２に出力する処理を実施する。なお、可変長復号部４１は可変長復号手段を構成している。
【００２８】
切替スイッチ４２は可変長復号部４１から出力された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、可変長復号部４１から出力されたイントラ予測パラメータをイントラ予測部４３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部４１から出力されたインター予測パラメータを動き補償部４４に出力する処理を実施する。
【００２９】
イントラ予測部４３はイントラ予測用メモリ４７により格納されている符号化ブロックに隣接している復号済みの画素を用いて、切替スイッチ４２から出力されたイントラ予測パラメータに基づいて、符号化ブロックに対するフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
即ち、イントラ予測部４３は、可変長復号部４１から出力された符号化ブロックにおける輝度成分については、その輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する。
一方、可変長復号部４１から出力された符号化ブロックにおける色差成分については、可変長復号部４１から出力された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、その符号化ブロックにおける色差成分のフレーム内予測を実施して、色差成分に対する予測画像を生成する。
また、可変長復号部４１から出力された符号化モードが、イントラ符号化モードにおける平滑化輝度相関利用色差信号予測モードであれば、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する。
【００３０】
動き補償部４４は動き補償予測フレームメモリ４９により格納されている１フレーム以上の参照画像を用いて、切替スイッチ４２から出力されたインター予測パラメータに基づいて、符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
なお、切替スイッチ４２、イントラ予測部４３及び動き補償部４４から予測画像生成手段が構成されている。
【００３１】
逆量子化・逆変換部４５は可変長復号部４１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部４１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として出力する処理を実施する。なお、逆量子化・逆変換部４５は差分画像生成手段を構成している。
【００３２】
加算部４６は逆量子化・逆変換部４５から出力された復号予測差分信号とイントラ予測部４３又は動き補償部４４により生成された予測画像を示す予測信号を加算することで、復号画像を示す復号画像信号を生成する処理を実施する。なお、加算部４６は復号画像生成手段を構成している。
イントラ予測用メモリ４７はイントラ予測部４３により次回のイントラ予測処理で用いられる画像として、加算部４６により生成された復号画像信号が示す復号画像を格納するＲＡＭなどの記録媒体である。
【００３３】
ループフィルタ部４８は加算部４６により生成された復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ４９に出力するとともに、その復号画像を再生画像として外部に出力する処理を実施する。
動き補償予測フレームメモリ４９は動き補償部４４により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部４８によるフィルタリング処理後の復号画像を格納するＲＡＭなどの記録媒体である。
【００３４】
図７では、動画像復号装置の構成要素である可変長復号部４１、切替スイッチ４２、イントラ予測部４３、動き補償部４４、逆量子化・逆変換部４５、加算部４６及びループフィルタ部４８のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、動画像復号装置がコンピュータなどで構成される場合、可変長復号部４１、切替スイッチ４２、イントラ予測部４３、動き補償部４４、逆量子化・逆変換部４５、加算部４６及びループフィルタ部４８の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図８はこの発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。
【００３５】
図９はこの発明の実施の形態１による動画像復号装置のイントラ予測部４３を示す構成図である。
図９において、輝度信号イントラ予測部５１は可変長復号部４１から出力された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する処理を実施する。
即ち、輝度信号イントラ予測部５１はイントラ予測用メモリ４７により格納されている上記符号化ブロックに隣接している復号済みの輝度参照画素を参照して、可変長復号部４１から出力されたイントラ予測パラメータに基づく輝度成分のフレーム内予測を実施することで、輝度成分に対する予測画像を生成する処理を実施する。なお、輝度信号イントラ予測部５１は輝度成分イントラ予測手段を構成している。
【００３６】
切替スイッチ５２は可変長復号部４１から出力されたイントラ予測パラメータのうち、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードである旨を示していれば、予測に用いる参照画素を色差信号方向性イントラ予測部５３に与え、色差信号のイントラ符号化モードを示すパラメータが、平滑化輝度相関利用色差信号予測モードである旨を示していれば、予測に用いる参照画素を輝度相関利用色差信号予測部５４に出力する処理を実施する。
【００３７】
色差信号方向性イントラ予測部５３は切替スイッチ５２から受け取った上記符号化ブロックに隣接している復号済みの色差参照画素を参照して、可変長復号部４１から出力されたイントラ予測パラメータに基づく色差成分のフレーム内予測を実施することで、色差成分に対する予測画像を生成する処理を実施する。
輝度相関利用色差信号予測部５４は切替スイッチ５２から受け取った復号済みの画素のうち、符号化ブロックに隣接している復号済みの輝度参照画素及び色差参照画素と、当該符号化ブロック内の復号済みの輝度参照画素を用いて、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する処理を実施する。
なお、切替スイッチ５２、色差信号方向性イントラ予測部５３及び輝度相関利用色差信号予測部５４から色差成分イントラ予測手段が構成されている。
【００３８】
図１０はこの発明の実施の形態１による動画像復号装置の輝度相関利用色差信号予測部５４を示す構成図である。
図１０において、平滑化輝度参照画素縮小部６１はイントラ予測用メモリ４７により格納されている符号化ブロックを構成している復号済みの輝度参照画素のうち、水平方向及び垂直方向に隣接している複数の輝度参照画素の平滑化処理等を実施することで、縮小輝度参照画素Ｒｅｃ’Lを生成する。
相関算出部６２はイントラ予測用メモリ４７により格納されている色差参照画素と平滑化輝度参照画素縮小部６１により生成された縮小輝度参照画素Ｒｅｃ’Lを用いて、輝度成分と色差成分の相関を示す相関パラメータα，βを算出する処理を実施する。
色差予測画像生成部６３は相関算出部６２により算出された相関パラメータα，βと平滑化輝度参照画素縮小部６１により生成された縮小輝度参照画素Ｒｅｃ’Lを用いて、色差成分に対する予測画像を生成する処理を実施する。
【００３９】
この実施の形態１の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズの領域に分割してフレーム内・フレーム間適応符号化を行うことを特徴としている。
一般に映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有し、空間的に見ると、ある特定の映像フレーム上では、例えば、空や壁などのように、比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画などでは、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
【００４０】
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化が小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
符号化処理は、時間・空間的な予測によって、信号電力やエントロピーが小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測処理に用いる予測パラメータをできるだけ大きな画像信号領域に対して均一に適用することができれば、予測パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化が大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測誤りが増えてしまうため、予測差分信号の符号量を削減することができない。
したがって、時間的・空間的に変化が大きい領域では、予測対象の領域を小さくして、予測処理に用いる予測パラメータのデータ量を増やしても、予測差分信号の電力・エントロピーを低減する方が望ましい。
このような映像信号の一般的な性質に適応している符号化処理を行うため、この実施の形態１の動画像符号化装置では、所定の最大ブロックサイズから映像信号の領域を階層的に分割し、分割領域毎に予測処理や予測差分の符号化処理を適応化する構成を採用している。
【００４１】
この実施の形態１の動画像符号化装置が処理対象とする映像信号は、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号である。
各画素の諧調は８ビットでもよいし、１０ビット、１２ビットなどの諧調であってもよい。
ただし、以下の説明においては、特に断らない限り、入力される映像信号がＹＵＶ信号であるものとする。また、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号であるものとする。
なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
【００４２】
次に動作について説明する。
最初に、図１の動画像符号化装置の処理内容を説明する。
まず、符号化制御部１は、イントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（図２のステップＳＴ１）。
【００４３】
符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定する方法が考えられる。
また、入力画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
上限の階層数については、例えば、入力画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。
【００４４】
また、符号化制御部１は、利用可能な１以上の符号化モード（Ｍ種類のイントラ符号化モード、Ｎ種類のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する（ステップＳＴ２）。予め用意されているＭ種類のイントラ符号化モードについては後述する。
ただし、後述するブロック分割部２により階層的に分割された各々の符号化ブロックが更にパーティション単位に分割される場合は、各々のパーティションに対応する符号化モードを選択することが可能である。
以下、この実施の形態１では、各々の符号化ブロックが更にパーティション単位に分割されるものとして説明する。
符号化制御部１による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
【００４５】
また、符号化制御部１は、各々の符号化ブロックに含まれているパーティション毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する。
符号化制御部１は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力する。また、予測差分符号化パラメータを必要に応じてイントラ予測部４に出力する。
【００４６】
ブロック分割部２は、入力画像を示す映像信号を入力すると、その入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。また、その符号化ブロックをパーティション単位に分割する（ステップＳＴ３）。
ここで、図１１は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
図１１の例では、最大サイズの符号化ブロックは、第０階層の符号化ブロックＢ0であり、輝度成分で（Ｌ0，Ｍ0）のサイズを有している。
また、図１１の例では、最大サイズの符号化ブロックＢ0を出発点として、４分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックＢnを得ている。
【００４７】
深さｎにおいては、符号化ブロックＢnはサイズ（Ｌn，Ｍn）の画像領域である。
ただし、ＬnとＭnは同じであってもよいし異なっていてもよいが、図１１の例ではＬn＝Ｍnのケースを示している。
以降、符号化ブロックＢnのサイズは、符号化ブロックＢnの輝度成分におけるサイズ（Ｌn，Ｍn）と定義する。
【００４８】
ブロック分割部２では、４分木分割を行うため、常に（Ｌn+1，Ｍn+1）＝（Ｌn／２，Ｍn／２）が成立する。
ただし、ＲＧＢ信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌn，Ｍn）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズは（Ｌn／２，Ｍn／２）である。
以降、第ｎ階層の符号化ブロックＢnで選択しうる符号化モードをｍ（Ｂn）と表記する。
【００４９】
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂn）は、色成分ごとに、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードのことを指すものとして説明を行う。
符号化モードｍ（Ｂn）には、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」)、１つないし複数のインター符号化モード（総称して「ＩＮＴＥＲ」）があり、符号化制御部１は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックＢnに対して最も符号化効率がよい符号化モードを選択する。
【００５０】
符号化ブロックＢnは、図１１に示すように、更に１つないし複数の予測処理単位（パーティション）に分割される。
以降、符号化ブロックＢnに属するパーティションをＰin（ｉ： 第ｎ階層におけるパーティション番号）と表記する。図１２は符号化ブロックＢnに属するパーティションＰinを示す説明図である。
符号化ブロックＢnに属するパーティションＰinの分割がどのようになされているかは符号化モードｍ（Ｂn）の中に情報として含まれる。
パーティションＰinは、すべて符号化モードｍ（Ｂn）に従って予測処理が行われるが、パーティションＰin毎に、個別の予測パラメータを選択することができる。
【００５１】
符号化制御部１は、最大サイズの符号化ブロックに対して、例えば、図１３に示すようなブロック分割状態を生成して、符号化ブロックＢnを特定する。
図１３（ａ）の斜線部分は分割後のパーティションの分布を示し、また、図１３（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂn）が割り当てられる状況を４分木グラフで示している。
図１３（ｂ）において、□で囲まれているノードが、符号化モードｍ（Ｂn）が割り当てられたノード（符号化ブロックＢn）を示している。
【００５２】
切替スイッチ３は、符号化制御部１がイントラ符号化モードを選択すると（ｍ（Ｂn）∈ＩＮＴＲＡ）、ブロック分割部２により分割された符号化ブロックＢnに属するパーティションＰinをイントラ予測部４に出力し、符号化制御部１がインター符号化モードを選択すると（ｍ（Ｂn）∈ＩＮＴＥＲ）、その符号化ブロックＢnに属するパーティションＰinを動き補償予測部５に出力する。
【００５３】
イントラ予測部４は、切替スイッチ３から符号化ブロックＢnに属するパーティションＰinを受けると（ステップＳＴ４）、具体的な処理内容は後述するが、符号化制御部１により決定されたイントラ予測パラメータに基づいて、各パーティションＰinに対するイントラ予測処理を実施することにより、イントラ予測画像（Ｐin）を生成する（ステップＳＴ５）。
以下、この明細書では、Ｐinはパーティションを示し、（Ｐin）はパーティションＰinの予測画像を示すものとする。
【００５４】
イントラ予測画像（Ｐin）の生成に用いられるイントラ予測パラメータは、動画像復号装置側でも、全く同じイントラ予測画像（Ｐin）を生成する必要があるため、可変長符号化部１３によってビットストリームに多重化される。
なお、イントラ予測パラメータとして選択できるイントラ予測方向数は、処理対象となるブロックのサイズに応じて異なるよう構成してもよい。
大きいサイズのパーティションでは、イントラ予測の効率が低下するため、選択できるイントラ予測方向数を少なくし、小さいサイズのパーティションでは、選択できるイントラ予測方向数を多くするように構成することができる。
例えば、４×４画素パーティションや８×８画素パーティションでは３４方向、１６×１６画素パーティションでは１７方向、３２×３２画素パーティションでは９方向などのように構成してもよい。
【００５５】
動き補償予測部５は、切替スイッチ３から符号化ブロックＢnに属するパーティションＰinを受けると（ステップＳＴ４）、符号化制御部１により決定されたインター予測パラメータに基づいて、各パーティションＰinに対するインター予測処理を実施することにより、インター予測画像（Ｐin）を生成する（ステップＳＴ６）。
即ち、動き補償予測部５は、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで、インター予測画像（Ｐin）を生成する。
インター予測画像（Ｐin）の生成に用いられるインター予測パラメータは、動画像復号装置側でも、全く同じインター予測画像（Ｐin）を生成する必要があるため、可変長符号化部１３によってビットストリームに多重化される。
【００５６】
減算部６は、イントラ予測部４又は動き補償予測部５から予測画像（Ｐin）を受けると、ブロック分割部２により分割された符号化ブロックＢnに属するパーティションＰinから、その予測画像（Ｐin）を減算することで、その差分画像を示す予測差分信号ｅinを生成する（ステップＳＴ７）。
変換・量子化部７は、減算部６が予測差分信号ｅinを生成すると、符号化制御部１から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、その予測差分信号ｅinに対する変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その予測差分信号ｅinの変換係数を量子化することで、量子化後の変換係数である差分画像の圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ８）。
【００５７】
逆量子化・逆変換部８は、変換・量子化部７から圧縮データを受けると、符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として加算部９に出力する（ステップＳＴ９）。
【００５８】
加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４又は動き補償予測部５により生成された予測画像（Ｐin）を示す予測信号とを加算することで、局所復号パーティション画像ないしはその集まりとしての局所復号符号化ブロック画像（以下、「局所復号画像」と称する）を示す局所復号画像信号を生成し、その局所復号画像信号をループフィルタ部１１に出力する（ステップＳＴ１０）。
また、イントラ予測用メモリ１０には、イントラ予測に用いるために、当該局所復号画像が格納される。
【００５９】
ループフィルタ部１１は、加算部９から局所復号画像信号を受けると、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に格納する（ステップＳＴ１１）。
なお、ループフィルタ部１１によるフィルタリング処理は、入力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する局所復号画像信号が入力された後に１画面分まとめて行ってもよい。
【００６０】
ステップＳＴ４〜ＳＴ１０の処理は、ブロック分割部２により分割された全ての符号化ブロックＢnに属するパーティションＰinに対する処理が完了するまで繰り返し実施される（ステップＳＴ１２）。
可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード及び予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータとを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データが多重化されているビットストリームを生成する（ステップＳＴ１３）。
【００６１】
次に、イントラ予測部４の処理内容を具体的に説明する。
図１４は符号化ブロックＢnに属する各パーティションＰinにおいて選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。
図１４の例では、イントラ予測モードに対応する予測方向ベクトルを示しており、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。
【００６２】
まず、イントラ予測部４の輝度信号イントラ予測部２１は、ブロック分割部２により分割された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する（図５のステップＳＴ２１）。
以下、輝度信号イントラ予測部２１の処理内容を具体的に説明する。
ここでは、イントラ予測部４の輝度信号イントラ予測部２１が、パーティションＰinの輝度信号に対するイントラ予測パラメータ（イントラ予測モード）に基づいて、その輝度信号のイントラ予測信号を生成するイントラ処理について説明する。
説明の便宜上、パーティションＰinのサイズをｌin×ｍin画素とする。
【００６３】
図１５はｌin＝ｍin＝４の場合において、パーティションＰin内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図１５の例では、パーティションＰinに隣接している符号化済みの上パーティションの画素（（２×ｌin＋１）個の画素）と、左パーティションの画素（（２×ｍin）個の画素）を予測に用いる参照画素としているが、予測に用いる画素は、図１５に示す画素より多くても少なくてもよい。
また、図１５の例では、隣接している１行又は１列分の画素を予測に用いているが、２行又は２列分の画素、あるいは、それ以上の画素を予測に用いてもよい。
【００６４】
輝度信号イントラ予測部２１は、例えば、パーティションＰinに対するイントラ予測モードのインデックス値が２（平均値予測）である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションＰin内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルｖp＝（ｄｘ，ｄｙ）に基づいて、パーティションＰin内の画素の予測値を生成する。
予測値を生成する画素（予測対象画素）のパーティションＰin内の相対座標（パーティションの左上画素を原点とする）を（ｘ，ｙ）とすると、予測に用いる参照画素の位置は、下記に示すＬと、隣接画素の交点となる。
2014168107.tif 000006
ただし、ｋは正のスカラ値である。
【００６５】
参照画素が整数画素位置にある場合、その整数画素を予測対象画素の予測値とする。参照画素が整数画素位置にない場合、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図１５の例では、参照画素が整数画素位置にないので、参照画素に隣接する２画素の平均値を予測値としている。
なお、隣接する２画素のみではなく、隣接する２画素以上の画素から補間画素を生成して予測値としてもよい。
【００６６】
輝度信号イントラ予測部２１は、同様の手順で、パーティションＰin内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像（Ｐin）を出力する。
イントラ予測画像（Ｐin）の生成に用いているイントラ予測パラメータは、上述したように、ビットストリームに多重化するために可変長符号化部１３に出力される。
【００６７】
イントラ予測部４の切替スイッチ２２は、符号化制御部１から出力されたイントラ予測パラメータのうち、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードであるのか、平滑化輝度相関利用色差信号予測モードであるのかを判定する（ステップＳＴ２２）。
切替スイッチ２２は、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードである旨を示していれば、予測に用いる参照画素を色差信号方向性イントラ予測部２３に与え、色差信号のイントラ符号化モードを示すパラメータが、平滑化輝度相関利用色差信号予測モードである旨を示していれば、予測に用いる参照画素を輝度相関利用色差信号予測部２４に与える。
ここで、図１６は色差信号のイントラ予測パラメータと色差イントラ予測モードの対応例を示す説明図である。
図１６の例では、色差信号イントラ予測パラメータが“３４”である場合には、予測に用いる参照画素が輝度相関利用色差信号予測部２４に与えられ、色差信号イントラ予測パラメータが“３４”以外である場合には、予測に用いる参照画素が色差信号方向性イントラ予測部２３に与えられることになる。
【００６８】
色差信号方向性イントラ予測部２３は、切替スイッチ２２から予測に用いる参照画素を受けると、パーティションＰinに隣接している復号済みの色差参照画素を参照して、符号化制御部１から出力されたイントラ予測パラメータに基づく色差成分のフレーム内予測を実施することで、色差成分に対する予測画像を生成する（ステップＳＴ２３）。
色差信号方向性イントラ予測部２３におけるイントラ予測の対象が色差信号であり、イントラ予測の対象が輝度信号である輝度信号イントラ予測部２１と異なるが、イントラ予測の処理内容自体は輝度信号イントラ予測部２１と同様である。よって、方向性予測、水平予測、垂直予測、ＤＣ予測などを行うことにより、色差信号のイントラ予測画像が生成される。
【００６９】
輝度相関利用色差信号予測部２４は、切替スイッチ２２から予測に用いる参照画素を受けると、符号化ブロックであるパーティションＰinに隣接している復号済みの輝度参照画素及び色差参照画素と、パーティションＰin内の復号済みの輝度参照画素（輝度信号イントラ予測部２１により先に生成されたパーティションＰinのイントラ予測画像（Ｐin）から得られた局所復号画像内の輝度参照画素）とを用いて、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する（ステップＳＴ２４）。
以下、輝度相関利用色差信号予測部２４の処理内容を具体的に説明する。
【００７０】
輝度相関利用色差信号予測部２４の平滑化輝度参照画素縮小部３１は、イントラ予測用メモリ１０により格納されているパーティションＰinを構成している復号済みの輝度参照画素（輝度信号イントラ予測部２１により先に生成されたパーティションＰinのイントラ予測画像（Ｐin）から得られた局所復号画像内の輝度参照画素）のうち、水平方向及び垂直方向に隣接している複数の輝度参照画素の平滑化処理等を実施することで、縮小輝度参照画素Ｒｅｃ’Lを生成する（図６のステップＳＴ３１）。
即ち、平滑化輝度参照画素縮小部３１は、図１９に示すように、パーティションＰin内の色差信号の予測ブロック（図中、左側のＮ×Ｎのブロック）に対応するブロック（図中、右側の２Ｎ×２Ｎのブロック）内の復号済の画素値である復号済輝度信号と、その復号済輝度信号の上端と左端に隣接している復号済輝度信号とを用いて、縮小輝度参照画素Ｒｅｃ’Lを生成する。
ここで、縮小輝度参照画素Ｒｅｃ’Lは、図１７に示すように、ＹＵＶ４：２：０信号において、色差信号画素と同位相になるように、輝度参照画素ＲｅｃLに対して、横方向に１：２：１のローパスフィルタ、縦方向に１：１のローパスフィルタを施した後に、縦横に偶数列のみをサブサンプリングすることで得られる。
【００７１】
輝度相関利用色差信号予測部２４の相関算出部３２は、平滑化輝度参照画素縮小部３１が縮小輝度参照画素Ｒｅｃ’Lを生成すると、その縮小輝度参照画素Ｒｅｃ’Lと、色差信号の予測ブロックの上端及び左端に隣接している色差信号の復号済の画素値である色差参照画素ＲｅｃCとを用いて、下記の式（４）及び式（５）に示すように、予測に用いる相関パラメータα，βを算出する（ステップＳＴ３２）。
2014168107.tif 000007
2014168107.tif 000008
式（４），（５）において、Ｉは処理対象となる色差信号の予測ブロックの１辺の画素数の２倍の値である。
【００７２】
色差予測画像生成部３３は、相関算出部３２が相関パラメータα，βを算出すると、その相関パラメータα，βと縮小輝度参照画素Ｒｅｃ’Lを用いて、下記の式（６）に示すように、色差予測画像ＰｒｅｄCを生成する（ステップＳＴ３３）。
2014168107.tif 000009
【００７３】
なお、イントラ予測は、画面内の未知の領域を既知の領域から予測する手段であるが、輝度信号と色差信号のテクスチャには相関があり、空間方向については、近傍画素同士は画素値の変化が小さいため、予測ブロックに隣接する復号済の輝度信号と色差信号を利用して輝度信号と色差信号の相関パラメータを算出し、その輝度信号と相関パラメータから色差信号を予測することにより、予測効率を向上させることができる。
この際、ＹＵＶ４：２：０信号では、輝度信号と色差信号の解像度が異なるため、輝度信号をサブサンプリングする必要があるが、ローパスフィルタを施すことによりエイリアシングの発生を抑えることができ、予測効率を向上させることができる。
【００７４】
可変長符号化部１３は、上述したように、イントラ予測部４から出力されたイントラ予測パラメータを可変長符号化して、そのイントラ予測パラメータの符号語をビットストリームに多重化するが、イントラ予測パラメータを符号化する際に、複数の方向性予測の予測方向ベクトルの中から、代表的な予測方向ベクトル（予測方向代表ベクトル）を選択し、イントラ予測パラメータを予測方向代表ベクトルのインデックス（予測方向代表インデックス）と予測方向代表ベクトルからの差分を表すインデックス（予測方向差分インデックス）で表して、それぞれのインデックス毎に、確率モデルに応じた算術符号化などのハフマン符号化を行うことで、符号量を削減して符号化するよう構成してもよい。
【００７５】
次に、図７の動画像復号装置の処理内容を説明する。
可変長復号部４１は、図１の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図８のステップＳＴ４１）、１フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズを復号する。
可変長復号部４１は、フレームサイズを復号すると、図１の動画像符号化装置で決定された最大符号化ブロックサイズ（イントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ）と、分割階層数の上限（最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数）を動画像符号化装置と同様の手順で決定する（ステップＳＴ４２）。
【００７６】
例えば、符号化ブロックの最大サイズが、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定されている場合には、先に復号しているフレームサイズに基づいて、図１の動画像符号化装置と同様の手順で、符号化ブロックの最大サイズを決定する。
動画像符号化装置によって、符号化ブロックの最大サイズ及び符号化ブロックの階層数がビットストリームに多重化されている場合には、そのビットストリームから符号化ブロックの最大サイズ及び符号化ブロックの階層数を復号する。
【００７７】
可変長復号部４１は、符号化ブロックの最大サイズ及び符号化ブロックの階層数を決定すると、最大符号化ブロックを出発点にして、各符号化ブロックの階層的な分割状態を把握することで、ビットストリームに多重化されている符号化データの中で、各符号化ブロックに係る符号化データを特定し、その符号化データから各符号化ブロックに割り当てられている符号化モードを復号する。
そして、可変長復号部４１は、その符号化モードに含まれている符号化ブロックＢnに属するパーティションＰinの分割情報を参照して、ビットストリームに多重化されている符号化データの中で、各パーティションＰinに係る符号化データを特定する（ステップＳＴ４３）。
可変長復号部４１は、各パーティションＰinに係る符号化データから圧縮データ、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部４５に出力するとともに、符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ４２に出力する（ステップＳＴ４４）。
【００７８】
例えば、予測方向代表インデックスと予測方向差分インデックスがビットストリームに多重化されている場合には、その予測方向代表インデックスと予測方向差分インデックスをそれぞれの確率モデルに応じた算術復号などによりエントロピー復号し、その予測方向代表インデックスと予測方向差分インデックスからイントラ予測パラメータを特定するようにする。
これにより、動画像符号化装置側で、イントラ予測パラメータの符号量を削減している場合でも、イントラ予測パラメータを正しく復号することができる。
【００７９】
切替スイッチ４２は、可変長復号部４１から出力された符号化ブロックＢnに属するパーティションＰinの符号化モードがイントラ符号化モードである場合、可変長復号部４１から出力されたイントラ予測パラメータをイントラ予測部４３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部４１から出力されたインター予測パラメータを動き補償部４４に出力する。
【００８０】
イントラ予測部４３は、可変長復号部４１からイントラ予測パラメータを受けると（ステップＳＴ４５）、図１のイントラ予測部４と同様に、そのイントラ予測パラメータに基づいて、各パーティションＰinに対するイントラ予測処理を実施することにより、イントラ予測画像（Ｐin）を生成する（ステップＳＴ４６）。
以下、イントラ予測部４３の処理内容を具体的に説明する。
【００８１】
イントラ予測部４３の輝度信号イントラ予測部５１は、可変長復号部４１からイントラ予測パラメータを受けると、動画像符号化装置の輝度信号イントラ予測部２１と同様に、例えば、パーティションＰinに対するイントラ予測モードのインデックス値が２（平均値予測）である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションＰin内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルｖp＝（ｄｘ，ｄｙ）に基づいて、パーティションＰin内の画素の予測値を生成する。
輝度信号イントラ予測部５１は、同様の手順で、パーティションＰin内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像（Ｐin）を出力する。
【００８２】
イントラ予測部４３の切替スイッチ５２は、動画像符号化装置の切替スイッチ２２と同様に、可変長復号部４１から出力されたイントラ予測パラメータのうち、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードであるのか、平滑化輝度相関利用色差信号予測モードであるのかを判定する。
切替スイッチ５２は、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードである旨を示していれば、予測に用いる参照画素を色差信号方向性イントラ予測部５３に与え、色差信号のイントラ符号化モードを示すパラメータが、平滑化輝度相関利用色差信号予測モードである旨を示していれば、予測に用いる参照画素を輝度相関利用色差信号予測部５４に与える。
【００８３】
色差信号方向性イントラ予測部５３は、切替スイッチ５２から予測に用いる参照画素を受けると、動画像符号化装置の色差信号方向性イントラ予測部２３と同様に、パーティションＰinに隣接している復号済みの色差参照画素を参照して、可変長復号部４１から出力されたイントラ予測パラメータに基づく色差成分のフレーム内予測を実施することで、色差成分に対する予測画像を生成する。
色差信号方向性イントラ予測部５３におけるイントラ予測の対象が色差信号であり、イントラ予測の対象が輝度信号である輝度信号イントラ予測部５１と異なるが、イントラ予測の処理内容自体は輝度信号イントラ予測部５１と同様である。よって、方向性予測、水平予測、垂直予測、ＤＣ予測などを行うことにより、色差信号のイントラ予測画像が生成される。
【００８４】
輝度相関利用色差信号予測部５４は、切替スイッチ５２から予測に用いる参照画素を受けると、動画像符号化装置の輝度相関利用色差信号予測部２４と同様に、パーティションＰinに隣接している復号済みの輝度参照画素及び色差参照画素と、パーティションＰin内の復号済みの輝度参照画素（輝度信号イントラ予測部５１により先に生成されたパーティションＰinのイントラ予測画像（Ｐin）から得られた復号画像内の輝度参照画素）とを用いて、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する。
以下、輝度相関利用色差信号予測部５４の処理内容を具体的に説明する。
【００８５】
輝度相関利用色差信号予測部５４の平滑化輝度参照画素縮小部６１は、動画像符号化装置の平滑化輝度参照画素縮小部３１と同様に、イントラ予測用メモリ４７により格納されているパーティションＰinを構成している復号済みの輝度参照画素（輝度信号イントラ予測部５１により先に生成されたパーティションＰinのイントラ予測画像（Ｐin）から得られた復号画像内の輝度参照画素）のうち、水平方向及び垂直方向に隣接している複数の輝度参照画素の平滑化処理等を実施することで、縮小輝度参照画素Ｒｅｃ’Lを生成する。
即ち、平滑化輝度参照画素縮小部６１は、図１９に示すように、パーティションＰin内の色差信号の予測ブロック（図中、左側のＮ×Ｎのブロック）に対応するブロック（図中、右側の２Ｎ×２Ｎのブロック）内の復号済の画素値である復号済輝度信号と、その復号済輝度信号の上端と左端に隣接している復号済輝度信号とを用いて、縮小輝度参照画素Ｒｅｃ’Lを生成する。
ここで、縮小輝度参照画素Ｒｅｃ’Lは、図１７に示すように、ＹＵＶ４：２：０信号において、色差信号画素と同位相になるように、輝度参照画素ＲｅｃLに対して、横方向に１：２：１のローパスフィルタ、縦方向に１：１のローパスフィルタを施した後に、縦横に偶数列のみをサブサンプリングすることで得られる。
【００８６】
相関算出部６２は、平滑化輝度参照画素縮小部６１が縮小輝度参照画素Ｒｅｃ’Lを生成すると、動画像符号化装置の相関算出部３２と同様に、その縮小輝度参照画素Ｒｅｃ’Lと、色差信号の予測ブロックの上端及び左端に隣接している色差信号の復号済の画素値である色差参照画素ＲｅｃCとを用いて、上記の式（４），（５）に示すように、予測に用いる相関パラメータα，βを算出する。
色差予測画像生成部６３は、相関算出部６２が相関パラメータα，βを算出すると、動画像符号化装置の色差予測画像生成部３３と同様に、その相関パラメータα，βと縮小輝度参照画素Ｒｅｃ’Lを用いて、上記の式（６）に示すように、色差予測画像ＰｒｅｄCを生成する。
【００８７】
動き補償部４４は、切替スイッチ４２からインター予測パラメータを受けると、動画像符号化装置の動き補償予測部５と同様に、そのインター予測パラメータに基づいて、各パーティションＰinに対するインター予測処理を実施することにより、インター予測画像（Ｐin）を生成する（ステップＳＴ４７）。
即ち、動き補償部４４は、動き補償予測フレームメモリ４９により格納されている１フレーム以上の参照画像を用いて、そのインター予測パラメータに基づくパーティションＰinに対する動き補償予測処理を実施することで、インター予測画像（Ｐin）を生成する。
【００８８】
逆量子化・逆変換部４５は、可変長復号部４１から予測差分符号化パラメータを受けると、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部４１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として加算部４６に出力する（ステップＳＴ４８）。
【００８９】
加算部４６は、逆量子化・逆変換部４５から出力された復号予測差分信号と、イントラ予測部４３又は動き補償部４４により生成された予測画像（Ｐin）を示す予測信号とを加算することで、復号パーティション画像ないしはその集まりとしての復号画像を示す復号画像信号を生成し、その復号画像信号をループフィルタ部４８に出力する（ステップＳＴ４９）。
また、イントラ予測用メモリ４７には、イントラ予測に用いるために、当該復号画像が格納される。
【００９０】
ループフィルタ部４８は、加算部４６から復号画像信号を受けると、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ４９に格納するとともに、その復号画像を再生画像として出力する（ステップＳＴ５０）。
なお、ループフィルタ部４８によるフィルタリング処理は、入力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する復号画像信号が入力された後に１画面分まとめて行ってもよい。
ステップＳＴ４３〜ＳＴ４９の処理は、全ての符号化ブロックＢnに属するパーティションＰinに対する処理が完了するまで繰り返し実施される（ステップＳＴ５１）。
【００９１】
以上で明らかなように、この実施の形態１によれば、動画像符号化装置のイントラ予測部４が、ブロック分割部２により分割された符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成するように構成したので、平滑化後の輝度成分におけるエイリアシングの発生を抑制して、符号化効率を高めることができる効果を奏する。
即ち、符号化制御部１により選択された符号化モードがイントラ予測モードであり、色差信号のイントラ予測モードを示すパラメータが、平滑化輝度相関利用色差信号予測モードである旨を示している場合、輝度参照画素に対して、水平方向及び垂直方向に平滑化を施してサブサンプリングすることで縮小輝度参照画素を生成し、輝度信号と色差信号の相関を利用して色差信号のイントラ予測画像を生成するため、従来では発生していたエイリアシングによる予測誤差の増幅が抑制された予測画像が生成されて予測効率か向上し、その結果として、符号化効率を高めることができる。
【００９２】
また、この実施の形態１によれば、動画像復号装置のイントラ予測部４３が、可変長復号部４１から出力された符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成するように構成したので、符号化効率の改善が図られている符号化データから正確に動画像を復号することができる効果を奏する。
即ち、可変長復号部４１により可変長復号された符号化モードがイントラ予測モードであり、色差信号のイントラ予測モードを示すパラメータが、平滑化輝度相関利用色差信号予測モードである旨を示している場合、輝度参照画素に対して、水平方向及び垂直方向に平滑化を施してサブサンプリングすることで縮小輝度参照画素を生成し、輝度信号と色差信号の相関を利用して色差信号のイントラ予測画像を生成するため、符号化効率の改善が図られている符号化データから正確に動画像を復号することができる。
【００９３】
なお、この実施の形態１では、縮小輝度参照画素の生成時に、水平方向に１：２：１の平滑化フィルタを施すものを示したが、フィルタの係数は、これに限定されるものではなく、例えば、３：２：３、７：２：７、１：０：１などのフィルタや、さらにタップ数の大きい平滑化フィルタ、あるいは、１：１のフィルタであっても、同様の効果を得ることができる。
また、この実施の形態１では、縮小輝度参照画素の生成時に、予測対象となるブロックの輝度参照画素と、それに隣接する輝度参照画素の平滑化フィルタとして共通のものを使用するものを示したが、予測対象となるブロックの輝度参照画素には１：０：１のフィルタを適用し、隣接する輝度参照画素には１：２：１のフィルタを適用するなど、異なるフィルタを適用しても同様の効果を得ることができる。
１：０：１のフィルタや１：１のフィルタを適用すれば、演算量を削減する効果も得ることができる一方、タップ数の大きい平滑化フィルタを適用すれば、符号化効率を向上させる効果を得ることができる。
また、水平方向と垂直方向の平滑化は同時に行うように構成してもよい。例えば、対象となる６画素を上記フィルタ係数に応じて重み付き加算した後に平均値を算出するよう構成してもよい。
【００９４】
なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
【符号の説明】
【００９５】
１  符号化制御部（符号化制御手段）、２  ブロック分割部（ブロック分割手段）、３  切替スイッチ（予測画像生成手段）、４  イントラ予測部（予測画像生成手段）、５  動き補償予測部（予測画像生成手段）、６  減算部（差分画像生成手段）、７  変換・量子化部（画像圧縮手段）、８  逆量子化・逆変換部、９  加算部、１０  イントラ予測用メモリ、１１  ループフィルタ部、１２  動き補償予測フレームメモリ、１３  可変長符号化部（可変長符号化手段）、２１  輝度信号イントラ予測部（輝度成分イントラ予測手段）、２２  切替スイッチ（色差成分イントラ予測手段）、２３  色差信号方向性イントラ予測部（色差成分イントラ予測手段）、２４  輝度相関利用色差信号予測部（色差成分イントラ予測手段）、３１  平滑化輝度参照画素縮小部、３２  相関算出部、３３  色差予測画像生成部、４１  可変長復号部（可変長復号手段）、４２  切替スイッチ（予測画像生成手段）、４３  イントラ予測部（予測画像生成手段）、４４  動き補償部（予測画像生成手段）、４５  逆量子化・逆変換部（差分画像生成手段）、４６  加算部（復号画像生成手段）、４７  イントラ予測用メモリ、４８  ループフィルタ部、４９  動き補償予測フレームメモリ、５１  輝度信号イントラ予測部（輝度成分イントラ予測手段）、５２  切替スイッチ（色差成分イントラ予測手段）、５３  色差信号方向性イントラ予測部（色差成分イントラ予測手段）、５４  輝度相関利用色差信号予測部（色差成分イントラ予測手段）、６１  平滑化輝度参照画素縮小部、６２  相関算出部、６３  色差予測画像生成部、９３１  輝度参照画素縮小部、９３２  相関算出部、９３３  色差予測画像生成部。
【図１】
2014168107.tif 000010
【図２】
2014168107.tif 000011
【図３】
2014168107.tif 000012
【図４】
2014168107.tif 000013
【図５】
2014168107.tif 000014
【図６】
2014168107.tif 000015
【図７】
2014168107.tif 000016
【図８】
2014168107.tif 000017
【図９】
2014168107.tif 000018
【図１０】
2014168107.tif 000019
【図１１】
2014168107.tif 000020
【図１２】
2014168107.tif 000021
【図１３】
2014168107.tif 000022
【図１４】
2014168107.tif 000023
【図１５】
2014168107.tif 000024
【図１６】
2014168107.tif 000025
【図１７】
2014168107.tif 000026
【図１８】
2014168107.tif 000027
【図１９】
2014168107.tif 000028
【図２０】
2014168107.tif 000029