(57)【要約】  第一の色成分については、４：０：０フォーマットである場合のフレーム内予測符号化を実施し、あるいは、符号化済みの他のピクチャに含まれている第一の色成分の局部復号画像を参照画像として利用してフレーム間予測符号化を実施する。第二の色成分及び第三の色成分については、符号化済みの同一ピクチャに含まれている第一の色成分の局部復号画像を参照画像として利用してフレーム間予測符号化を実施する。
2014051080.tif 000002
【特許請求の範囲】
【請求項１】
信号フォーマットが４：４：４フォーマットであるカラー画像を圧縮符号化してビットストリームを生成するカラー動画像符号化装置において、
上記カラー画像における第一の色成分については、信号フォーマットが４：０：０フォーマットである場合のフレーム内予測符号化を実施することで予測画像を生成し、あるいは、符号化済みの他のピクチャに含まれている第一の色成分の局部復号画像を参照画像として利用してフレーム間予測符号化を実施することで予測画像を生成し、上記カラー画像における第二の色成分及び第三の色成分については、符号化済みの同一ピクチャに含まれている第一の色成分の局部復号画像を参照画像として利用してフレーム間予測符号化を実施することで予測画像を生成する予測画像生成手段を備えていることを特徴とするカラー動画像符号化装置。
【請求項２】
信号フォーマットが４：４：４フォーマットであるカラー画像を圧縮符号化して生成されたビットストリームを入力し、上記ビットストリームからカラー画像を復号するカラー動画像復号装置において、
上記カラー画像における第一の色成分については、信号フォーマットが４：０：０フォーマットである場合のフレーム内予測復号を実施することで予測画像を生成し、あるいは、復号済みの他のピクチャに含まれている第一の色成分の復号画像を参照画像として利用してフレーム間予測復号を実施することで予測画像を生成し、上記カラー画像における第二の色成分及び第三の色成分については、復号済みの同一ピクチャに含まれている第一の色成分の復号画像を参照画像として利用してフレーム間予測復号を実施することで予測画像を生成する予測画像生成手段を備えていることを特徴とするカラー動画像復号装置。
【請求項３】
信号フォーマットが４：４：４フォーマットであるカラー画像を圧縮符号化してビットストリームを生成するカラー動画像符号化方法において、
予測画像生成手段が、上記カラー画像における第一の色成分については、信号フォーマットが４：０：０フォーマットである場合のフレーム内予測符号化を実施することで予測画像を生成し、あるいは、符号化済みの他のピクチャに含まれている第一の色成分の局部復号画像を参照画像として利用してフレーム間予測符号化を実施することで予測画像を生成し、上記カラー画像における第二の色成分及び第三の色成分については、符号化済みの同一ピクチャに含まれている第一の色成分の局部復号画像を参照画像として利用してフレーム間予測符号化を実施することで予測画像を生成する予測画像生成処理ステップを備えていることを特徴とするカラー動画像符号化方法。
【請求項４】
信号フォーマットが４：４：４フォーマットであるカラー画像を圧縮符号化して生成されたビットストリームを入力し、上記ビットストリームからカラー画像を復号するカラー動画像復号方法において、
予測画像生成手段が、上記カラー画像における第一の色成分については、信号フォーマットが４：０：０フォーマットである場合のフレーム内予測復号を実施することで予測画像を生成し、あるいは、復号済みの他のピクチャに含まれている第一の色成分の復号画像を参照画像として利用してフレーム間予測復号を実施することで予測画像を生成し、上記カラー画像における第二の色成分及び第三の色成分については、復号済みの同一ピクチャに含まれている第一の色成分の復号画像を参照画像として利用してフレーム間予測復号を実施することで予測画像を生成する予測画像生成処理ステップを備えていることを特徴とするカラー動画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、カラー動画像を高効率で符号化を行うカラー動画像符号化装置及びカラー動画像符号化方法と、高効率で符号化されているカラー動画像を復号するカラー動画像復号装置及びカラー動画像復号方法とに関するものである。
【背景技術】
【０００２】
例えば、以下の非特許文献１に記載されている従来のカラー動画像符号化装置では、入力されたカラー画像を所定の大きさの最大符号化ブロックに分割し、さらに、最大符号化ブロックをより細かい符号化ブロックに階層分割する。
また、その符号化ブロックをさらに細かい予測ブロックに分割し、その予測ブロックに対する画面内予測や動き補償予測を実施することで予測誤差を生成する。
また、その予測誤差を符号化ブロック内で階層的に変換ブロックに分割し、それぞれの変換係数をエントロピー符号化することで高い圧縮率を達成している。【０００３】
変換ブロックについては、予測ブロックが２Ｎ×Ｎサイズや、２Ｎ×０．５Ｎサイズの長方形である場合には、図１３に示すように、長辺と短辺が２Ｎ×０．５Ｎの長さとなる非正方形変換ブロックに、変換ブロックを四分木状に階層的に分割することにより、変換ブロックが予測ブロックの境界を跨がないようにするとともに、変換係数のエントロピー符号化をＮ×Ｎサイズの正方形変換ブロックと共通する手段で圧縮して、高い圧縮率を達成している。【０００４】
従来のカラー動画像符号化装置では、ＹＵＶ４：２：０信号の符号化を行う場合、色差信号の予測ブロックおよび変換ブロックのサイズを、輝度信号の変換ブロックサイズの縦横半分のサイズに固定することで、色差信号の変換ブロックサイズに係る情報を符号化する必要をなくすとともに、変換係数のエントロピー符号化を輝度信号と共通する変換係数エントロピー符号化手段で圧縮することで、少ない回路規模で色差信号の符号化効率を高めている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】B. Bross，W.-J. Han，J.-R. Ohm，G. J. Sullivan and T. Wiegand，“WD5: Working Draft 5 of High-Efficiency Video Coding”，doc. JCTVC-G1103，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，7th Meeting，2011
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来のカラー動画像符号化装置は以上のように構成されているので、ＹＵＶ４：２：０信号の符号化を行う場合、色差信号の変換ブロックのエントロピー符号化手段を輝度信号のエントロピー符号化手段と共有することができる。このため、少ない回路規模で色差信号を効率よく符号化することができるが、ＹＵＶ４：２：２信号やＹＵＶ４：４：４信号の符号化を行う場合、色差信号の形状がＹＵＶ４：２：０信号の色差信号の形状と異なるため、ＹＵＶ４：２：２信号やＹＵＶ４：４：４信号の符号化をサポートするには追加の回路規模が大きくなってしまう課題があった。【０００７】
この発明は上記のような課題を解決するためになされたもので、ＹＵＶ４：４：４信号の符号化を行う場合でも、若干の回路を追加するだけで、輝度信号と色差信号の符号化効率を高めることができるカラー動画像符号化装置及びカラー動画像符号化方法を得ることを目的とする。
また、この発明は、符号化効率の改善が図られている符号化データから正確に動画像を復号することができるカラー動画像復号装置及びカラー動画像復号方法を得ることを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係るカラー動画像符号化装置は、予測画像生成手段が、カラー画像における第一の色成分については、信号フォーマットが４：０：０フォーマットである場合のフレーム内予測符号化を実施することで予測画像を生成し、あるいは、符号化済みの他のピクチャに含まれている第一の色成分の局部復号画像を参照画像として利用してフレーム間予測符号化を実施することで予測画像を生成し、カラー画像における第二の色成分及び第三の色成分については、符号化済みの同一ピクチャに含まれている第一の色成分の局部復号画像を参照画像として利用してフレーム間予測符号化を実施することで予測画像を生成するようにしたものである。
【発明の効果】
【０００９】
この発明によれば、カラー画像における第一の色成分については、信号フォーマットが４：０：０フォーマットである場合のフレーム内予測符号化を実施することで予測画像を生成し、あるいは、符号化済みの他のピクチャに含まれている第一の色成分の局部復号画像を参照画像として利用してフレーム間予測符号化を実施することで予測画像を生成し、カラー画像における第二の色成分及び第三の色成分については、符号化済みの同一ピクチャに含まれている第一の色成分の局部復号画像を参照画像として利用してフレーム間予測符号化を実施することで予測画像を生成するように構成したので、ＹＵＶ４：４：４信号の符号化を行う場合でも、若干の回路を追加するだけで、輝度信号と色差信号の符号化効率を高めることができる効果がある。
【図面の簡単な説明】
【００１０】
【図１】この発明の実施の形態１によるカラー動画像符号化装置を示す構成図である。
【図２】この発明の実施の形態１によるカラー動画像符号化装置の処理内容を示すフローチャートである。
【図３】この発明の実施の形態１によるカラー動画像符号化装置の可変長符号化部１３を示す構成図である。
【図４】この発明の実施の形態１によるカラー動画像復号装置を示す構成図である。
【図５】この発明の実施の形態１によるカラー動画像復号装置の処理内容を示すフローチャートである。
【図６】この発明の実施の形態１によるカラー動画像復号装置の可変長復号部４１を示す構成図である。
【図７】最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
【図８】符号化ブロックＢｎに属するパーティションＰｉｎを示す説明図である。
【図９】分割後のパーティションの分布や、階層分割後のパーティションに符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示す説明図である。
【図１０】符号化ブロックＢｎに属する各パーティションＰｉｎにおいて選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。
【図１１】ｌｉｎ＝ｍｉｎ＝４の場合において、パーティションＰｉｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
【図１２】色差信号のイントラ予測パラメータと色差イントラ予測モードの対応例を示す説明図である。
【図１３】４：２：０フォーマットの信号における輝度信号及び色差信号の圧縮処理を実施する際の変換ブロックサイズを示す説明図である。
【図１４】４：２：２フォーマット及び４：４：４フォーマットの信号における輝度信号及び色差信号の圧縮処理を実施する際の変換ブロックサイズを示す説明図である。
【図１５】４×４直交変換係数のスキャン順を示す説明図である。
【図１６】４×４直交変換係数の逆スキャン順を示す説明図である。
【図１７】周波数位置に応じて予め定められたコンテキストインデックス値を示す説明図である。
【図１８】周波数位置に応じて予め定められたコンテキストインデックス値を示す説明図である。
【図１９】この発明の実施の形態２によるカラー動画像符号化装置を示す構成図である。
【図２０】この発明の実施の形態２によるカラー動画像符号化装置の相関利用予測部６１を示す構成図である。
【図２１】参照画像として利用する局部復号画像を示す説明図である。
【図２２】画面間参照画素Ｒｅｃ’Ｌ及び画面内参照画素ＲｅｃＣを示す説明図である。
【図２３】この発明の実施の形態２によるカラー動画像復号装置を示す構成図である。
【図２４】この発明の実施の形態２によるカラー動画像復号装置の相関利用予測部７１を示す構成図である。
【図２５】この発明の実施の形態２によるカラー動画像符号化装置を示す構成図である。
【図２６】この発明の実施の形態２によるカラー動画像符号化装置の相関利用適応予測部８１を示す構成図である。
【図２７】この発明の実施の形態２によるカラー動画像復号装置を示す構成図である。
【図２８】この発明の実施の形態２によるカラー動画像復号装置の相関利用適応予測部９１を示す構成図である。
【発明を実施するための形態】
【００１１】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１はこの発明の実施の形態１によるカラー動画像符号化装置を示す構成図である。
この実施の形態１のカラー動画像符号化装置が処理対象とする映像信号は、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号である。
各画素の諧調は８ビットでもよいし、１０ビット、１２ビットなどの諧調であってもよい。
【００１２】
ただし、以下の説明においては、特に断らない限り、入力される映像信号が、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、縦横ともに２分の１にサブサンプルされたＹＵＶ４：２：０フォーマット、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、横方向に２分の１にサブサンプルされたＹＵＶ４：２：２フォーマット、あるいは、２つの色差成分Ｕ，Ｖが輝度成分Ｙと同じサンプル数である４：４：４フォーマット（例えば、ＹＵＶ４：４：４やＲＧＢなど）の信号であるものとする。
なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
【００１３】
図１において、符号化制御部１はイントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
また、符号化制御部１は利用可能な１以上の符号化モード（１以上のイントラ符号化モード、１以上のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。
また、符号化制御部１は各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する処理を実施する。量子化パラメータ及び変換ブロックサイズを示す変換ブロック分割フラグは、予測差分符号化パラメータに含まれて、変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３等に出力される。
なお、符号化制御部１は符号化制御手段を構成している。
【００１４】
ここで、図１３は４：２：０フォーマットの信号における輝度信号及び色差信号の圧縮処理（変換処理、量子化処理）を実施する際の変換ブロックサイズを示す説明図である。
変換ブロックサイズは、図１３に示すように、符号化ブロックを四分木状に階層分割することによって決定される。
例えば、変換ブロックを分割する場合と変換ブロックを分割しない場合での符号量や、符号化誤差を加味した評価尺度などに基づいて、評価値が最小になるように変換ブロックを分割するか否かを決定することで、符号量と符号化誤差のトレードオフの観点から最適な変換ブロックの分割形状を決定することができる。
【００１５】
輝度信号については、例えば、図１３に示すように、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。
【００１６】
色差信号については、図１３に示すように、入力信号フォーマットがＹＵＶ４：２：０信号である場合には、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、輝度信号と同様に、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、輝度信号と同様に、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
【００１７】
図１４に示すように、入力信号フォーマットがＹＵＶ４：２：２信号である場合には、輝度信号の予測ブロックの形状にかかわらず、色差信号については、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロック形状は、常に垂直方向の画素数が水平方向の画素数の２倍となる長方形となる。
また、図１４に示すように、入力信号フォーマットが４：４：４信号である場合には、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
輝度信号の変換ブロックの分割情報は、階層毎に分割するか否かを示す変換ブロック分割フラグとして可変長符号化部１３に出力する。
【００１８】
ブロック分割部２は入力カラー画像（カレントピクチャ）を示すカラー画像信号を入力すると、その入力カラー画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する処理を実施する。なお、ブロック分割部２はブロック分割手段を構成している。
切替スイッチ３は符号化制御部１により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部２により分割された符号化ブロックをイントラ予測部４に出力し、符号化制御部１により選択された符号化モードがインター符号化モードであれば、ブロック分割部２により分割された符号化ブロックを動き補償予測部５に出力する処理を実施する。
【００１９】
イントラ予測部４は切替スイッチ３からブロック分割部２により分割された符号化ブロックを受けると、その符号化ブロックに対して、イントラ予測用メモリ１０により格納されている上記符号化ブロックに隣接している復号済みの画素を用いて、符号化制御部１から出力されたイントラ予測パラメータに基づくフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
即ち、イントラ予測部４は、ブロック分割部２により分割された符号化ブロックにおける輝度成分については、その輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する。
一方、ブロック分割部２により分割された符号化ブロックにおける色差成分については、入力信号フォーマットがＹＵＶ４：２：０信号又はＹＵＶ４：２：２信号である場合には、符号化制御部１により選択された符号化モードが、輝度信号と同じイントラ予測モードを適用することを示す輝度色差共通イントラ予測モードであれば、ブロック分割部２により分割された符号化ブロックにおける色差成分に対して、輝度信号と同じイントラ予測モードによるフレーム内予測を実施して、色差成分に対する予測画像を生成する。
【００２０】
また、符号化制御部１により選択された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、ブロック分割部２により分割された符号化ブロックにおける色差成分に対して、方向性フレーム内予測を実施して、色差成分に対する予測画像を生成する。
また、符号化制御部１により選択された符号化モードが、イントラ符号化モードにおける輝度相関利用色差信号予測モードであれば、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を用いて、輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと処理対象となる色差成分符号化ブロックに対応する輝度成分を用いて、色差成分に対する予測画像を生成する。
【００２１】
入力信号フォーマットが４：４：４信号である場合には、上記輝度色差共通イントラ予測モード又は上記輝度相関利用色差信号予測モードの処理を実施し、方向性予測モードは選択しないように構成してもよい。
４：４：４信号では、色成分間のエッジ位置に高い相関関係があるため、ＹＵＶの輝度信号に相当する第一の色成分と異なる方向性予測モードをその他の色成分信号に適用することを禁止することにより、その他の色成分信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。
当然、その他の色成分信号に対しても、輝度信号とは異なる方向性予測モードを選択できるように構成してもよい。
【００２２】
動き補償予測部５はブロック分割部２により分割された符号化ブロックに対応する符号化モードとして、符号化制御部１によりインター符号化モードが選択された場合、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
なお、切替スイッチ３、イントラ予測部４及び動き補償予測部５から予測画像生成手段が構成されている。
【００２３】
減算部６はブロック分割部２により分割された符号化ブロックから、イントラ予測部４又は動き補償予測部５により生成された予測画像を減算することで、差分画像（＝符号化ブロック−予測画像）を生成する処理を実施する。なお、減算部６は差分画像生成手段を構成している。
変換・量子化部７は符号化制御部１から出力された予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、減算部６により生成された差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。
【００２４】
即ち、変換・量子化部７は減算部６により生成された符号化ブロックの差分画像に対する変換・量子化処理（圧縮処理）を実施する場合、輝度信号については、例えば、図１３に示すように、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。
【００２５】
色差信号については、図１３に示すように、入力信号フォーマットがＹＵＶ４：２：０信号である場合には、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、輝度信号と同様に、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、輝度信号と同様に、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
【００２６】
入力信号フォーマットがＹＵＶ４：２：２信号である場合には、輝度信号の予測ブロックの形状にかかわらず、色差信号については、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロック形状は、常に垂直方向の画素数が水平方向の画素数の２倍となる長方形となる。
また、入力信号フォーマットがＹＵＶ４：４：４信号である場合には、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
変換・量子化部７はブロック分割部２による分割後のブロック単位で差分画像の変換・量子化処理を実施する。
なお、変換・量子化部７は画像圧縮手段を構成している。
【００２７】
逆量子化・逆変換部８は符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換・量子化部７から出力された圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として出力する処理を実施する。
【００２８】
加算部９は逆量子化・逆変換部８から出力された局所復号予測差分信号とイントラ予測部４又は動き補償予測部５により生成された予測画像を示す予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。
イントラ予測用メモリ１０はイントラ予測部４により次回のイントラ予測処理で用いられる画像として、加算部９により生成された局所復号画像信号が示す局所復号画像を格納するＲＡＭなどの記録媒体である。
【００２９】
ループフィルタ部１１は加算部９により生成された局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に出力する処理を実施する。
動き補償予測フレームメモリ１２は動き補償予測部５により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部１１によるフィルタリング処理後の局所復号画像を格納するＲＡＭなどの記録媒体である。
【００３０】
可変長符号化部１３は入力信号フォーマットを特定する入力信号フォーマット情報と、変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータ及び動き情報とを算術符号化によって可変長符号化して、その入力信号フォーマット情報、圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ、動き情報などの符号化データが多重化されているビットストリームを生成する処理を実施する。
【００３１】
即ち、可変長符号化部１３は変換・量子化部７から出力された圧縮データである変換係数を可変長符号化する際、入力カラー画像の信号フォーマットがＹＵＶ４：２：０である場合、差分画像の色差信号における各変換係数のコンテキスト値が当該変換係数の周波数位置に応じて割り当てられているＹＵＶ４：２：０用のコンテキスト値情報を参照して、その色差信号における各変換係数のコンテキスト値を特定し、その変換係数のコンテキスト値に対応する生起確率を用いて、上記色差信号における各変換係数を算術符号化する。
入力カラー画像の信号フォーマットがＹＵＶ４：２：２である場合、入力カラー画像の色差信号における各変換係数のコンテキスト値として、信号フォーマットがＹＵＶ４：２：０である場合の色差信号における各変換係数のコンテキスト値と同一のコンテキスト値が、周波数位置の垂直方向に２個ずつ繰り返し割り当てられているＹＵＶ４：２：２用のコンテキスト値情報を参照して、その色差信号における各変換係数のコンテキスト値を特定し、上記変換係数のコンテキスト値に対応する生起確率を用いて、その色差信号における各変換係数を算術符号化する。
なお、可変長符号化部１３は可変長符号化手段を構成している。
【００３２】
図１では、カラー動画像符号化装置の構成要素である符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、イントラ予測用メモリ１０、ループフィルタ部１１、動き補償予測フレームメモリ１２及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路やワンチップマイコン、あるいは、メモリなど）で構成されているものを想定しているが、カラー動画像符号化装置がコンピュータなどで構成されていてもよい。
カラー動画像符号化装置がコンピュータで構成される場合、イントラ予測用メモリ１０及び動き補償予測フレームメモリ１２をコンピュータのメモリ上に構成するとともに、符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図２はこの発明の実施の形態１によるカラー動画像符号化装置の処理内容を示すフローチャートである。
【００３３】
ここで、図３はこの発明の実施の形態１によるカラー動画像符号化装置の可変長符号化部１３を示す構成図である。
図３において、変換係数可変長符号化部２１は変換・量子化部７から出力された圧縮データである直交変換係数を可変長符号化する処理を実施する。
符号化パラメータ可変長符号化部２２は入力信号フォーマット情報、符号化制御部１から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータ及び動き情報、符号化ブロックの分割状況を示すブロック分割情報などの符号化パラメータを可変長符号化する処理を実施する。
変換係数可変長符号化部２１により可変長符号化された圧縮データの符号化データと、符号化パラメータ可変長符号化部２２により可変長符号化された符号化パラメータとは多重化されてビットストリームが生成される。
【００３４】
図４はこの発明の実施の形態１によるカラー動画像復号装置を示す構成図である。
図４において、可変長復号部４１はイントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ及び最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数を特定することで、ビットストリームに多重化されている符号化データの中で、最大サイズの符号化ブロック及び階層的に分割されている符号化ブロックに係る符号化データを特定し、各々の符号化データから符号化ブロックに係る圧縮データ、入力信号フォーマット情報、符号化モード、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ、動き情報などを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部４５に出力するとともに、その符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ４２に出力する処理を実施する。
【００３５】
即ち、可変長復号部４１は各々の符号化データから符号化ブロックに係る圧縮データである変換係数を可変長復号する際、入力信号フォーマット情報が示す信号フォーマットがＹＵＶ４：２：０である場合、差分画像の色差信号における各変換係数のコンテキスト値が当該変換係数の周波数位置に応じて割り当てられているＹＵＶ４：２：０用のコンテキスト値情報を参照して、その色差信号における各変換係数のコンテキスト値を特定し、その変換係数のコンテキスト値に対応する生起確率を用いて、その色差信号における各変換係数を算術復号する。
入力フォーマット情報が示す信号フォーマットがＹＵＶ４：２：２である場合、入力カラー画像の色差信号における各変換係数のコンテキスト値として、信号フォーマットがＹＵＶ４：２：０である場合の色差信号における各変換係数のコンテキスト値と同一のコンテキスト値が、周波数位置の垂直方向に２個ずつ繰り返し割り当てられているＹＵＶ４：２：２用のコンテキスト値情報を参照して、その色差信号における各変換係数のコンテキスト値を特定し、その変換係数のコンテキスト値に対応する生起確率を用いて、その色差信号における各変換係数を算術復号する。
なお、可変長復号部４１は可変長復号手段を構成している。
【００３６】
切替スイッチ４２は可変長復号部４１から出力された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、可変長復号部４１から出力されたイントラ予測パラメータをイントラ予測部４３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部４１から出力されたインター予測パラメータを動き補償部４４に出力する処理を実施する。
イントラ予測部４３はイントラ予測用メモリ４７により格納されている符号化ブロックに隣接している復号済みの画素を用いて、切替スイッチ４２から出力されたイントラ予測パラメータに基づいて、符号化ブロックに対するフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
【００３７】
即ち、イントラ予測部４３は、符号化ブロックにおける輝度成分については、その輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する。
一方、符号化ブロックにおける色差成分については、入力信号フォーマットがＹＵＶ４：２：０信号又はＹＵＶ４：２：２信号である場合には、可変長復号部４１により可変長復号された符号化モードが、輝度信号と同じイントラ予測モードを適用することを示す輝度色差共通イントラ予測モードであれば、符号化ブロックにおける色差成分に対して、輝度信号と同じイントラ予測モードによるフレーム内予測を実施して、色差成分に対する予測画像を生成する。
【００３８】
また、可変長復号部４１により可変長復号された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、符号化ブロックにおける色差成分に対して、方向性フレーム内予測を実施して、色差成分に対する予測画像を生成する。
また、可変長復号部４１により可変長復号された符号化モードが、イントラ符号化モードにおける輝度相関利用色差信号予測モードであれば、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を用いて、輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと処理対象となる色差成分符号化ブロックに対応する輝度成分を用いて、色差成分に対する予測画像を生成する。
【００３９】
入力信号フォーマットが４：４：４信号である場合には、上記輝度色差共通イントラ予測モード又は上記輝度相関利用色差信号予測モードの処理を実施し、方向性予測モードは選択しないように構成してもよい。
ＹＵＶ４：４：４信号では、輝度信号と色差信号のエッジ位置に高い相関関係があるため、輝度信号と異なる方向性予測モードを色差信号に適用することを禁止することにより、その色差信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。
当然、色差信号に対して、輝度信号とは異なる方向性予測モードを選択できるように構成してもよい。
【００４０】
動き補償部４４は動き補償予測フレームメモリ４９により格納されている１フレーム以上の参照画像を用いて、切替スイッチ４２から出力されたインター予測パラメータに基づいて、符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
なお、切替スイッチ４２、イントラ予測部４３及び動き補償部４４から予測画像生成手段が構成されている。
【００４１】
逆量子化・逆変換部４５は可変長復号部４１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部４１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として出力する処理を実施する。
即ち、逆量子化・逆変換部４５は可変長復号部４１から出力された予測差分符号化パラメータに含まれている変換ブロック分割フラグに基づいて階層的に分割された輝度信号の変換ブロック形状を特定し、変換ブロック単位で逆量子化処理・逆変換処理を行う。
【００４２】
具体的には、輝度信号については、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードである場合、その変換ブロック分割フラグに基づいて符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードである場合、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。
【００４３】
色差信号については、入力信号フォーマットがＹＵＶ４：２：０信号である場合には、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードであれば、輝度信号と同様に、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードであれば、輝度信号と同様に、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
【００４４】
入力信号フォーマットがＹＵＶ４：２：２信号である場合には、輝度信号の予測ブロックの形状にかかわらず、色差信号については、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロック形状は常に垂直方向の画素数が水平方向の画素数の２倍となる長方形となる。
また、入力信号フォーマットがＹＵＶ４：４：４信号である場合には、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
なお、逆量子化・逆変換部４５は差分画像生成手段を構成している。
【００４５】
加算部４６は逆量子化・逆変換部４５から出力された復号予測差分信号とイントラ予測部４３又は動き補償部４４により生成された予測画像を示す予測信号を加算することで、復号画像を示す復号画像信号を生成する処理を実施する。なお、加算部４６は復号画像生成手段を構成している。
イントラ予測用メモリ４７はイントラ予測部４３により次回のイントラ予測処理で用いられる画像として、加算部４６により生成された復号画像信号が示す復号画像を格納するＲＡＭなどの記録媒体である。
【００４６】
ループフィルタ部４８は加算部４６により生成された復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ４９に出力するとともに、その復号画像を再生画像として外部に出力する処理を実施する。
動き補償予測フレームメモリ４９は動き補償部４４により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部４８によるフィルタリング処理後の復号画像を格納するＲＡＭなどの記録媒体である。
【００４７】
図４では、カラー動画像復号装置の構成要素である可変長復号部４１、切替スイッチ４２、イントラ予測部４３、動き補償部４４、逆量子化・逆変換部４５、加算部４６、イントラ予測用メモリ４７、ループフィルタ部４８及び動き補償予測フレームメモリ４９のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路やワンチップマイコン、あるいは、メモリなど）で構成されているものを想定しているが、カラー動画像復号装置がコンピュータなどで構成されていてもよい。
カラー動画像復号装置がコンピュータで構成される場合、イントラ予測用メモリ４７及び動き補償予測フレームメモリ４９をコンピュータのメモリ上に構成するとともに、可変長復号部４１、切替スイッチ４２、イントラ予測部４３、動き補償部４４、逆量子化・逆変換部４５、加算部４６及びループフィルタ部４８の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図５はこの発明の実施の形態１によるカラー動画像復号装置の処理内容を示すフローチャートである。
【００４８】
図６はこの発明の実施の形態１によるカラー動画像復号装置の可変長復号部４１を示す構成図である。
図６において、変換係数可変長復号部５１はビットストリームに多重化された符号化データから圧縮データである直交変換係数を可変長復号する処理を実施する。
符号化パラメータ可変長復号部５２はビットストリームに多重化された符号化データから入力信号フォーマット情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ、動き情報、ブロック分割情報などの符号化パラメータを可変長復号する処理を実施する。
【００４９】
次に動作について説明する。
最初に、図１のカラー動画像符号化装置の処理内容を説明する。
まず、符号化制御部１は、イントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（図２のステップＳＴ１）。
【００５０】
符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定する方法が考えられる。
また、入力カラー画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
上限の階層数については、例えば、入力カラー画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力カラー画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。
【００５１】
また、符号化制御部１は、利用可能な１以上の符号化モード（Ｍ種類のイントラ符号化モード、Ｎ種類のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する（ステップＳＴ２）。予め用意されているＭ種類のイントラ符号化モードについては後述する。
ただし、後述するブロック分割部２により階層的に分割された各々の符号化ブロックが更にパーティション単位に分割される場合は、各々のパーティションに対応する符号化モードを選択することが可能である。
以下、この実施の形態１では、各々の符号化ブロックが更にパーティション単位に分割されるものとして説明する。
符号化制御部１による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
【００５２】
また、符号化制御部１は、各々の符号化ブロックに含まれているパーティション毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する。
符号化制御部１は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力する。また、予測差分符号化パラメータを必要に応じてイントラ予測部４に出力する。
【００５３】
ブロック分割部２は、入力カラー画像を示す映像信号を入力すると、その入力カラー画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。また、その符号化ブロックをパーティション単位に分割する（ステップＳＴ３）。
ここで、図７は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
図７の例では、最大サイズの符号化ブロックは、第０階層の符号化ブロックＢ０であり、輝度成分で（Ｌ０，Ｍ０）のサイズを有している。
また、図７の例では、最大サイズの符号化ブロックＢ０を出発点として、４分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックＢｎを得ている。
【００５４】
深さｎにおいては、符号化ブロックＢｎはサイズ（Ｌｎ，Ｍｎ）の画像領域である。
ただし、ＬｎとＭｎは同じであってもよいし異なっていてもよいが、図７の例ではＬｎ＝Ｍｎのケースを示している。
以降、符号化ブロックＢｎのサイズは、符号化ブロックＢｎの輝度成分におけるサイズ（Ｌｎ，Ｍｎ）と定義する。
ブロック分割部２では、４分木分割を行うため、常に（Ｌｎ＋１，Ｍｎ＋１）＝（Ｌｎ／２，Ｍｎ／２）が成立する。
ただし、ＲＧＢ信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌｎ，Ｍｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズは（Ｌｎ／２，Ｍｎ／２）である。
以降、第ｎ階層の符号化ブロックＢｎで選択しうる符号化モードをｍ（Ｂｎ）と表記する。
【００５５】
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂｎ）は、色成分ごとに、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードのことを指すものとして説明を行う。
符号化モードｍ（Ｂｎ）には、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」）、１つないし複数のインター符号化モード（総称して「ＩＮＴＥＲ」）があり、符号化制御部１は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックＢｎに対して最も符号化効率がよい符号化モードを選択する。
【００５６】
符号化ブロックＢｎは、図７に示すように、更に１つないし複数の予測処理単位（パーティション）に分割される。
以降、符号化ブロックＢｎに属するパーティションをＰｉｎ（ｉ： 第ｎ階層におけるパーティション番号）と表記する。図８は符号化ブロックＢｎに属するパーティションＰｉｎを示す説明図である。
符号化ブロックＢｎに属するパーティションＰｉｎの分割がどのようになされているかは符号化モードｍ（Ｂｎ）の中に情報として含まれる。
パーティションＰｉｎは、すべて符号化モードｍ（Ｂｎ）に従って予測処理が行われるが、パーティションＰｉｎ毎に、個別の予測パラメータを選択することができる。
【００５７】
符号化制御部１は、最大サイズの符号化ブロックに対して、例えば、図９に示すようなブロック分割状態を生成して、符号化ブロックＢｎを特定する。
図９（ａ）の斜線部分は分割後のパーティションの分布を示し、また、図９（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示している。
図９（ｂ）において、□で囲まれているノードが、符号化モードｍ（Ｂｎ）が割り当てられたノード（符号化ブロックＢｎ）を示している。
また、符号化制御部１は、分割後のパーティションに対して、前述の通りに、変換ブロックの分割形状を決定する。
【００５８】
切替スイッチ３は、符号化制御部１がイントラ符号化モードを選択すると（ｍ（Ｂｎ）∈ＩＮＴＲＡ）、ブロック分割部２により分割された符号化ブロックＢｎに属するパーティションＰｉｎをイントラ予測部４に出力し、符号化制御部１がインター符号化モードを選択すると（ｍ（Ｂｎ）∈ＩＮＴＥＲ）、その符号化ブロックＢｎに属するパーティションＰｉｎを動き補償予測部５に出力する。
【００５９】
イントラ予測部４は、切替スイッチ３から符号化ブロックＢｎに属するパーティションＰｉｎを受けると（ステップＳＴ４）、符号化制御部１により決定されたイントラ予測パラメータに基づいて、各パーティションＰｉｎに対するイントラ予測処理を実施することにより、イントラ予測画像（Ｐｉｎ）を生成する（ステップＳＴ５）。
以下、この明細書では、Ｐｉｎはパーティションを示し、（Ｐｉｎ）はパーティションＰｉｎの予測画像を示すものとする。
【００６０】
イントラ予測画像（Ｐｉｎ）の生成に用いられるイントラ予測パラメータは、カラー動画像復号装置側でも、全く同じイントラ予測画像（Ｐｉｎ）を生成する必要があるため、可変長符号化部１３によってビットストリームに多重化される。
なお、イントラ予測パラメータとして選択できるイントラ予測方向数は、処理対象となるブロックのサイズに応じて異なるように構成してもよい。
大きいサイズのパーティションでは、イントラ予測の効率が低下するため、選択できるイントラ予測方向数を少なくし、小さいサイズのパーティションでは、選択できるイントラ予測方向数を多くするように構成することができる。
例えば、４×４画素パーティションや８×８画素パーティションでは３４方向、１６×１６画素パーティションでは１７方向、３２×３２画素パーティションでは９方向などのように構成してもよい。
【００６１】
ここで、イントラ予測部４の処理内容を具体的に説明する。
図１０は符号化ブロックＢｎに属する各パーティションＰｉｎにおいて選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。
図１０の例では、イントラ予測モードに対応する予測方向ベクトルを示しており、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。
【００６２】
まず、イントラ予測部４は、ブロック分割部２により分割された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する。
以下、輝度成分に対する予測画像の生成処理を具体的に説明するが、ここでは、イントラ予測部４が、パーティションＰｉｎの輝度信号に対するイントラ予測パラメータ（イントラ予測モード）に基づいて、その輝度信号のイントラ予測信号を生成するイントラ処理について説明する。
説明の便宜上、パーティションＰｉｎのサイズをｌｉｎ×ｍｉｎ画素とする。
【００６３】
図１１はｌｉｎ＝ｍｉｎ＝４の場合において、パーティションＰｉｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図１１の例では、パーティションＰｉｎに隣接している符号化済みの上パーティションの画素（（２×ｌｉｎ＋１）個の画素）と、左パーティションの画素（（２×ｍｉｎ）個の画素）を予測に用いる参照画素としているが、予測に用いる画素は、図１１に示す画素より多くても少なくてもよい。
また、図１１の例では、隣接している１行又は１列分の画素を予測に用いているが、２行又は２列分の画素、あるいは、それ以上の画素を予測に用いてもよい。
【００６４】
イントラ予測部４は、例えば、パーティションＰｉｎに対するイントラ予測モードのインデックス値が２（平均値予測）である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションＰｉｎ内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルｖｐ＝（ｄｘ，ｄｙ）に基づいて、パーティションＰｉｎ内の画素の予測値を生成する。
予測値を生成する画素（予測対象画素）のパーティションＰｉｎ内の相対座標（パーティションの左上画素を原点とする）を（ｘ，ｙ）とすると、予測に用いる参照画素の位置は、下記に示すＬと、隣接画素の交点となる。
2014051080.tif 000003
ただし、ｋは正のスカラ値である。
【００６５】
参照画素が整数画素位置にある場合、その整数画素を予測対象画素の予測値とする。参照画素が整数画素位置にない場合、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図１１の例では、参照画素が整数画素位置にないので、参照画素に隣接する２画素の平均値を予測値としている。
なお、隣接する２画素のみではなく、隣接する２画素以上の画素から補間画素を生成して予測値としてもよい。
【００６６】
イントラ予測部４は、同様の手順で、パーティションＰｉｎ内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像（Ｐｉｎ）を出力する。
イントラ予測画像（Ｐｉｎ）の生成に用いているイントラ予測パラメータは、上述したように、ビットストリームに多重化するために可変長符号化部１３に出力される。
【００６７】
なお、イントラ予測は、画面内の未知の領域を既知の領域から予測する手段であるが、輝度信号と色差信号のテクスチャには相関があり、空間方向については、近傍画素同士は画素値の変化が小さいため、予測ブロックに隣接する復号済の輝度信号と色差信号を利用して輝度信号と色差信号の相関パラメータを算出し、その輝度信号と相関パラメータから色差信号を予測することにより、予測効率を向上させることができる。
【００６８】
ここでは、符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成するものを示したが、色差成分対する予測画像は次のように生成する。
図１２は色差信号のイントラ予測パラメータと色差イントラ予測モードの対応例を示す説明図である。
入力信号フォーマットがＹＵＶ４：２：０信号又はＹＵＶ４：２：２信号である場合には、符号化制御部１により選択された符号化モードが、輝度信号と同じイントラ予測モードを適用することを示す輝度色差共通イントラ予測モードであれば、ブロック分割部２により分割された符号化ブロックにおける色差成分に対して、輝度信号と同じイントラ予測モードによるフレーム内予測を実施して、色差成分に対する予測画像を生成する。
【００６９】
符号化制御部１により選択された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、ブロック分割部２により分割された符号化ブロックにおける色差成分に対して、方向性フレーム内予測を実施して、色差成分に対する予測画像を生成する。
また、符号化制御部１により選択された符号化モードが、イントラ符号化モードにおける輝度相関利用色差信号予測モードであれば、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を用いて、輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと処理対象となる色差成分符号化ブロックに対応する輝度成分を用いて、色差成分に対する予測画像を生成する。
【００７０】
入力信号フォーマットがＹＵＶ４：４：４信号である場合には、上記輝度色差共通イントラ予測モード又は上記輝度相関利用色差信号予測モードの処理を実施し、方向性予測モードは選択しないように構成してもよい。
ＹＵＶ４：４：４信号では、輝度信号と色差信号のエッジ位置に高い相関関係があるため、輝度信号と異なる方向性予測モードを色差信号に適用することを禁止することにより、その色差信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。
当然、色差信号に対して、輝度信号とは異なる方向性予測モードを選択できるように構成してもよい。
【００７１】
動き補償予測部５は、切替スイッチ３から符号化ブロックＢｎに属するパーティションＰｉｎを受けると（ステップＳＴ４）、符号化制御部１により決定されたインター予測パラメータに基づいて、各パーティションＰｉｎに対するインター予測処理を実施することにより、インター予測画像（Ｐｉｎ）を生成する（ステップＳＴ６）。
即ち、動き補償予測部５は、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで、インター予測画像（Ｐｉｎ）を生成する。
インター予測画像（Ｐｉｎ）の生成に用いられるインター予測パラメータは、カラー動画像復号装置側でも、全く同じインター予測画像（Ｐｉｎ）を生成する必要があるため、可変長符号化部１３によってビットストリームに多重化される。
【００７２】
減算部６は、イントラ予測部４又は動き補償予測部５から予測画像（Ｐｉｎ）を受けると、ブロック分割部２により分割された符号化ブロックＢｎに属するパーティションＰｉｎから、その予測画像（Ｐｉｎ）を減算することで、その差分画像を示す予測差分信号ｅｉｎを生成する（ステップＳＴ７）。
【００７３】
変換・量子化部７は、減算部６が予測差分信号ｅｉｎを生成すると、符号化制御部１で決定された変換ブロックサイズ単位で、その予測差分信号ｅｉｎに対する変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その予測差分信号ｅｉｎの変換係数を量子化することで、量子化後の変換係数である差分画像の圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ８）。
即ち、変換・量子化部７は、減算部６が予測差分信号ｅｉｎを生成すると、予測差分信号ｅｉｎの輝度信号に対する変換・量子化処理を実施する場合、ブロック分割部２により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の変換・量子化処理を実施する。
つまり、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。
【００７４】
色差信号については、図１３に示すように、入力信号フォーマットがＹＵＶ４：２：０信号である場合には、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、輝度信号と同様に、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、輝度信号と同様に、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
【００７５】
図１４に示すように、入力信号フォーマットがＹＵＶ４：２：２信号である場合には、輝度信号の予測ブロックの形状にかかわらず、色差信号については、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロック形状は、常に垂直方向の画素数が水平方向の画素数の２倍となる長方形となる。
また、図１４に示すように、入力信号フォーマットがＹＵＶ４：４：４信号である場合には、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
【００７６】
逆量子化・逆変換部８は、変換・量子化部７から圧縮データを受けると、符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として加算部９に出力する（ステップＳＴ９）。
【００７７】
加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４又は動き補償予測部５により生成された予測画像（Ｐｉｎ）を示す予測信号とを加算することで、局所復号パーティション画像ないしはその集まりとしての局所復号符号化ブロック画像（以下、「局所復号画像」と称する）を示す局所復号画像信号を生成し、その局所復号画像信号をループフィルタ部１１に出力する（ステップＳＴ１０）。
また、イントラ予測用メモリ１０には、イントラ予測に用いるために、当該局所復号画像が格納される。
【００７８】
ループフィルタ部１１は、加算部９から局所復号画像信号を受けると、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に格納する（ステップＳＴ１１）。
ここで、符号化歪は、変換ブロックの境界に沿って発生するため、変換ブロックの境界に対して符号化歪の補償を行う。小さい変換ブロックについては、変換ブロックの境界の符号化歪が目立ちにくいので、ヘッダで最小ループフィルタ適用ブロックサイズをシグナリングし、変換ブロックサイズが最小ループフィルタ適用ブロックサイズより大きいブロックに対してのみ、符号化歪補償を適用するように構成してもよい。このようにすれば、不要な符号化歪補償を省略することができるので、画質を保ちつつ演算量を削減することができる。
【００７９】
また、符号化歪は、画像のエッジ付近や平坦部分に画素値のオフセットとして発生することも知られている。
このような符号化歪に対しては、所定のブロック毎に、局部復号画像のエッジ方向や画素値の分布などを分析し、エッジ方向又は画素値のレベル情報である適応画素オフセットタイプを決定するとともに、当該ブロック内のエッジの種類や画素値のサブレベル毎に、画素値のオフセットとして発生した符号化歪みを補償する画素オフセット値を決定し、その画素オフセット値を局部復号画像に加算することで符号化歪みを補償するように構成してもよい。
この場合には、上記の適応画素オフセットタイプ及び画素オフセット値を可変長符号化部１３で可変長符号化するようにする。
【００８０】
ここで、入力信号が４：４：４フォーマットである場合、エッジ部分については、各色成分で共通である可能性が高いので、当該ブロックにおいて、エッジ部分の画素オフセットを補償するか、その他の部分の画素オフセットを補償するかを示すテクスチャタイプを決定し、そのテクスチャタイプを示すテクスチャタイプ情報を可変長符号化部１３で可変長符号化する。
テクスチャタイプがエッジ部分を示す場合には、全色成分で共通のエッジ方向を決定して（例えば、各色成分のエッジ方向の中で、符号化効率が最高になるエッジ方向を全色成分で共通のエッジ方向に決定する）、そのエッジ方向を示すエッジ方向情報を可変長符号化部１３で可変長符号化するとともに、全色成分で共通のエッジの種類を決定し、エッジの種類毎に各色成分独立に画素オフセット値を決定して（例えば、エッジの種類に対応する画素オフセット値を記録しているテーブルを参照して、画素オフセット値を決定する）、その画素オフセット値を可変長符号化部１３で可変長符号化する。
【００８１】
一方、テクスチャタイプがエッジ部分でないことを示す場合には、各色成分独立に画素値のレベルを決定して（例えば、画素値が０〜２５５の範囲にあるとき、４つのレベル（レベル１（０〜６３）、レベル２（６４〜１２７）、レベル３（１２８〜１９１）、レベル４（１９２〜２５５）が規定されていれば、仮に、画素値が「１０２」であれば、レベル２に決定し、画素値が「１８５」であれば、レベル３に決定する）、そのレベルを示すレベル情報を可変長符号化部１３で可変長符号化する。
また、各色成分独立に当該ブロック内の画素値のサブレベル毎に画素オフセット値を決定して（例えば、画素値のレベルを更に細かくサブレベル（例えば、１６のレベル）に分類し、そのサブレベルに対応する画素オフセット値を記録しているテーブルを参照して、画素オフセット値を決定する）、その画素オフセット値を可変長符号化部１３で可変長符号化する。
【００８２】
このようにすれば、エッジ部分については、全色成分で共通の情報を可変長符号化することになるため、少ない情報量でエッジ部分の情報をシグナリングすることができる。一方、各色成分で異なる情報については独立に決定して可変長符号化することにより、画素値のオフセットとして発生する符号化歪を色成分毎に適切に補償して画質を向上させることができる。
【００８３】
また、輝度信号と色差信号では、変換ブロックの分割形状が異なるので、符号化歪補償は、輝度信号と色差信号でそれぞれ変換ブロックの分割形状を特定して処理するように構成する。
なお、ループフィルタ部１１によるフィルタリング処理は、入力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する局所復号画像信号が入力された後に１画面分まとめて行ってもよい。
【００８４】
ステップＳＴ４〜ＳＴ１０の処理は、ブロック分割部２により分割された全ての符号化ブロックＢｎに属するパーティションＰｉｎに対する処理が完了するまで繰り返し実施される（ステップＳＴ１２）。
可変長符号化部１３は、入力信号フォーマット情報、変換・量子化部７から出力された圧縮データ、符号化制御部１から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータ及び動き情報などを可変長符号化して、その入力信号フォーマット情報、圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ、動き情報などの符号化データが多重化されているビットストリームを生成する（ステップＳＴ１３）。
【００８５】
可変長符号化部１３は、上述したように、イントラ予測部４から出力されたイントラ予測パラメータを可変長符号化して、そのイントラ予測パラメータの符号語をビットストリームに多重化するが、イントラ予測パラメータを符号化する際に、複数の方向性予測の予測方向ベクトルの中から、代表的な予測方向ベクトル（予測方向代表ベクトル）を選択し、イントラ予測パラメータを予測方向代表ベクトルのインデックス（予測方向代表インデックス）と予測方向代表ベクトルからの差分を表すインデックス（予測方向差分インデックス）で表して、それぞれのインデックス毎に、確率モデルに応じた算術符号化などのハフマン符号化を行うことで、符号量を削減して符号化するように構成してもよい。
【００８６】
以下、可変長符号化部１３の処理内容を具体的に説明する。
可変長符号化部１３は、図３に示すように、変換・量子化部７から出力された圧縮データである直交変換係数を可変長符号化する変換係数可変長符号化部２１と、入力信号フォーマット情報、符号化モード、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ、動き情報、ブロック分割情報などの符号化パラメータを可変長符号化する符号化パラメータ可変長符号化部２２とから構成されており、変換係数可変長符号化部２１により可変長符号化された圧縮データの符号化データと、符号化パラメータ可変長符号化部２２により可変長符号化された符号化パラメータとは多重化されてビットストリームが生成される。
【００８７】
可変長符号化部１３の変換係数可変長符号化部２１は、変換・量子化部７から出力された圧縮データである直交変換係数のコンテキスト値に対応する生起確率を用いて、当該直交変換係数を算術符号化する。
即ち、変換係数可変長符号化部２１は、輝度成分、ＹＵＶ４：２：０フォーマットの色差成分又はＹＵＶ４：４：４フォーマットの色差成分の変換ブロックを次のように算術符号化してブロック符号化データとして出力する。
【００８８】
（１）図１５に示す斜めスキャン順に各直交変換係数を走査するとともに、斜めスキャン順で最も後ろにある非零の直交変換係数の位置を“ＰｏｓＬａｓｔ”として特定する。
（２）ＰｏｓＬａｓｔの水平成分であるＰｏｓＬａｓｔＸと、ＰｏｓＬａｓｔの垂直成分であるＰｏｓＬａｓｔＹを算術符号化する。
（３）斜めスキャンと逆順である逆斜めスキャン順（図１６を参照）に、ＰｏｓＬａｓｔから以下の（４）〜（８）の処理を行う。
【００８９】
（４）逆斜めスキャン順に、各周波数成分の位置にある直交変換係数が非零であるか否かを示すsignificant_coeff_flagを算術符号化する。
（５）逆斜めスキャン順に、significant_coeff_flagが非零である旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値が１より大きいか否かを示すcoeff_abs_level_greater1_flagを算術符号化する。
（６）逆斜めスキャン順に、coeff_abs_level_greater1_flagが、直交変換係数の絶対値が１より大きい旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値が２より大きいか否かを示すcoeff_abs_level_greater2_flagを算術符号化する。
（７）逆斜めスキャン順に、significant_coeff_flagが非零である旨を示している周波数成分位置の直交変換係数については、その直交変換係数の正負の符号を示すcoeff_sign_flagを算術符号化する。
（８）逆斜めスキャン順に、coeff_abs_level_greater2_flagが、直交変換係数の絶対値が２より大きい旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値から３を減じた値であるcoeff_abs_level_minus3を算術符号化する。
（９）最後のサブブロックに至るまで（３）を繰り返し実施する。
【００９０】
なお、変換ブロックの縦横比が２Ｎ：０．５Ｎ、あるいは、０．５Ｎ：２Ｎである長方形ブロックについては、同様の斜めスキャンを施すことにより、Ｎ×Ｎサイズのブロックに直交変換係数をマッピングした後に上記と同様の処理を行う。
ここで、significant_coeff_flagの算術符号化に用いる生起確率としては、画素サイズが４×４や８×８のサイズであれば、例えば、図１７に示すようなＹＵＶ４：２：０用のコンテキストインデックス値（コンテキスト値情報）を参照して、色差信号における各変換係数のコンテキストインデックス値を特定し、そのコンテキストインデックス値に対応する生起確率（例えば、図示せぬ確率状態メモリの各領域には、周波数位置毎に定められたコンテキストインデックス値に対応する生起確率が格納されている）を用いる。
【００９１】
ただし、入力信号がＹＵＶ４：２：２フォーマットである場合の色差信号については、変換ブロックの形状が、横に対して縦が２倍の長方形となるため、図１８に示すようなＹＵＶ４：２：２用のコンテキストインデックス値（コンテキスト値情報）を参照する。
ＹＵＶ４：２：２用のコンテキストインデックス値は、上記の確率状態メモリの領域を示すコンテキストインデックス値の割り当てが垂直方向に２個ずつ繰り返し適用されている。
このようにすれば、入力信号がＹＵＶ４：２：２フォーマットである場合でも、ＹＵＶ４：２：０フォーマットの色差成分のコンテキストインデックス値の割り当て表を再利用することができ、少ない回路規模で圧縮効率を高めることができる。
【００９２】
次に、図４のカラー動画像復号装置の処理内容を説明する。
可変長復号部４１は、図１のカラー動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図５のステップＳＴ４１）、１フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズを復号する。
可変長復号部４１は、フレームサイズを復号すると、図１のカラー動画像符号化装置で決定された最大符号化ブロックサイズ（イントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ）と、分割階層数の上限（最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数）をカラー動画像符号化装置と同様の手順で決定する（ステップＳＴ４２）。
【００９３】
例えば、符号化ブロックの最大サイズが、全てのピクチャに対して、入力カラー画像の解像度に応じたサイズに決定されている場合には、先に復号しているフレームサイズに基づいて、図１のカラー動画像符号化装置と同様の手順で、符号化ブロックの最大サイズを決定する。
カラー動画像符号化装置によって、符号化ブロックの最大サイズ及び符号化ブロックの階層数がビットストリームに多重化されている場合には、そのビットストリームから符号化ブロックの最大サイズ及び符号化ブロックの階層数を復号する。
【００９４】
可変長復号部４１は、符号化ブロックの最大サイズ及び符号化ブロックの階層数を決定すると、最大符号化ブロックを出発点にして、各符号化ブロックの階層的な分割状態を把握することで、ビットストリームに多重化されている符号化データの中で、各符号化ブロックに係る符号化データを特定し、その符号化データから各符号化ブロックに割り当てられている符号化モードを復号する。
そして、可変長復号部４１は、その符号化モードに含まれている符号化ブロックＢｎに属するパーティションＰｉｎの分割情報を参照して、ビットストリームに多重化されている符号化データの中で、各パーティションＰｉｎに係る符号化データを特定する（ステップＳＴ４３）。
可変長復号部４１は、各パーティションＰｉｎに係る符号化データから圧縮データ、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部４５に出力するとともに、符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ４２に出力する（ステップＳＴ４４）。
【００９５】
例えば、予測方向代表インデックスと予測方向差分インデックスがビットストリームに多重化されている場合には、その予測方向代表インデックスと予測方向差分インデックスをそれぞれの確率モデルに応じた算術復号などによりエントロピー復号し、その予測方向代表インデックスと予測方向差分インデックスからイントラ予測パラメータを特定するようにする。
これにより、カラー動画像符号化装置側で、イントラ予測パラメータの符号量を削減している場合でも、イントラ予測パラメータを正しく復号することができる。
【００９６】
以下、可変長復号部４１の処理内容を具体的に説明する。
可変長復号部４１は、図６に示すように、ビットストリームに多重化された符号化データから圧縮データである直交変換係数を可変長復号する変換係数可変長復号部５１と、ビットストリームに多重化された符号化データから入力信号フォーマット情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ、動き情報、ブロック分割情報などの符号化パラメータを可変長復号する符号化パラメータ可変長復号部５２とから構成されている。
【００９７】
可変長復号部４１の変換係数可変長復号部５１は、直交変換係数のコンテキスト値に対応する生起確率を用いて、当該直交変換係数を算術復号する。
即ち、変換係数可変長復号部５１は、輝度成分、ＹＵＶ４：２：０フォーマットの色差成分又はＹＵＶ４：４：４フォーマットの色差成分の変換ブロックを次のように算術復号する。
【００９８】
（１）図１６に示す逆斜めスキャン順に、ＰｏｓＬａｓｔを含むサブブロックから始めて、当該サブブロック内に非零の直交変換係数が含まれているか否かを示すSigCoeffGroupFlagを算術復号する。
SigCoeffGroupFlagが当該サブブロック内に非零の直交変換係数が含まれている旨を示している場合、以下の（２）〜（６）の処理を行う。
（２）逆斜めスキャン順に、各周波数成分の位置にある直交変換係数が非零であるか否かを示すsignificant_coeff_flagを算術復号する。
【００９９】
（３）逆斜めスキャン順に、significant_coeff_flagが非零である旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値が１より大きいか否かを示すcoeff_abs_level_greater1_flagを算術復号する。
coeff_abs_level_greater1_flagが、直交変換係数の絶対値が１より大きくないことを示す場合には、当該周波数成分位置の直交変換係数の絶対値として１を出力する。
（４）逆斜めスキャン順に、coeff_abs_level_greater1_flagが、直交変換係数の絶対値が１より大きい旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値が２より大きいか否かを示すcoeff_abs_level_greater2_flagを算術復号する。
coeff_abs_level_greater2_flagが、直交変換係数の絶対値が２より大きくないことを示す場合には、当該周波数成分位置の直交変換係数の絶対値として２を出力する。
【０１００】
（５）逆斜めスキャン順に、significant_coeff_flagが非零である旨を示している周波数成分位置の直交変換係数については、その直交変換係数の正負の符号を示すcoeff_sign_flagを算術復号し、当該周波数成分位置の直交変換係数の絶対値に対する正負の符号を決定する。
（６）逆斜めスキャン順に、coeff_abs_level_greater2_flagが、直交変換係数の絶対値が２より大きい旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値から３を減じた値であるcoeff_abs_level_minus3を算術復号する。
当該周波数成分位置の直交変換係数の絶対値をcoeff_abs_level_minus3の値に３を加えた値とし、coeff_sign_flagにより当該周波数成分位置の直交変換係数の絶対値に対する正負の符号を決定する。
【０１０１】
ここで、significant_coeff_flagの算術復号に用いる生起確率としては、画素サイズが４×４や８×８のサイズであれば、例えば、図１７に示すようなＹＵＶ４：２：０用のコンテキストインデックス値を参照して、色差信号における各変換係数のコンテキストインデックス値を特定し、そのコンテキストインデックス値に対応する生起確率（例えば、図示せぬ確率状態メモリの各領域には、周波数位置毎に定められたコンテキストインデックス値に対応する生起確率が格納されている）を用いる。
【０１０２】
ただし、入力信号がＹＵＶ４：２：２フォーマットである場合の色差信号については、変換ブロックの形状が、横に対して縦が２倍の長方形となるため、図１８に示すようなＹＵＶ４：２：２用のコンテキストインデックス値を参照する。
ＹＵＶ４：２：２用のコンテキストインデックス値は、上記の確率状態メモリの領域を示すコンテキストインデックス値の割り当てが垂直方向に２個ずつ繰り返し適用されている。
このようにすれば、入力信号がＹＵＶ４：２：２フォーマットである場合でも、ＹＵＶ４：２：０フォーマットの色差成分のコンテキストインデックス値の割り当て表を再利用することができ、少ない回路規模で圧縮効率を高めることができる。
【０１０３】
切替スイッチ４２は、可変長復号部４１から出力された符号化ブロックＢｎに属するパーティションＰｉｎの符号化モードがイントラ符号化モードである場合、可変長復号部４１から出力されたイントラ予測パラメータをイントラ予測部４３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部４１から出力されたインター予測パラメータを動き補償部４４に出力する。
【０１０４】
イントラ予測部４３は、可変長復号部４１からイントラ予測パラメータを受けると（ステップＳＴ４５）、図１のイントラ予測部４と同様に、そのイントラ予測パラメータに基づいて、各パーティションＰｉｎに対するイントラ予測処理を実施することにより、イントラ予測画像（Ｐｉｎ）を生成する（ステップＳＴ４６）。
即ち、イントラ予測部４３は、可変長復号部４１からイントラ予測パラメータを受けると、図１のイントラ予測部４と同様に、例えば、パーティションＰｉｎに対するイントラ予測モードのインデックス値が２（平均値予測）である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションＰｉｎ内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルｖｐ＝（ｄｘ，ｄｙ）に基づいて、パーティションＰｉｎ内の画素の予測値を生成する。
イントラ予測部４３は、同様の手順で、パーティションＰｉｎ内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像（Ｐｉｎ）を出力する。
【０１０５】
動き補償部４４は、切替スイッチ４２からインター予測パラメータを受けると、カラー動画像符号化装置の動き補償予測部５と同様に、そのインター予測パラメータに基づいて、各パーティションＰｉｎに対するインター予測処理を実施することにより、インター予測画像（Ｐｉｎ）を生成する（ステップＳＴ４７）。
即ち、動き補償部４４は、動き補償予測フレームメモリ４９により格納されている１フレーム以上の参照画像を用いて、そのインター予測パラメータに基づくパーティションＰｉｎに対する動き補償予測処理を実施することで、インター予測画像（Ｐｉｎ）を生成する。
【０１０６】
逆量子化・逆変換部４５は、可変長復号部４１から変換ブロック分割フラグを含む予測差分符号化パラメータを受けると、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換ブロック分割フラグに従って決定される変換ブロックサイズ毎に、可変長復号部４１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として加算部４６に出力する（ステップＳＴ４８）。
【０１０７】
加算部４６は、逆量子化・逆変換部４５から出力された復号予測差分信号と、イントラ予測部４３又は動き補償部４４により生成された予測画像（Ｐｉｎ）を示す予測信号とを加算することで、復号パーティション画像ないしはその集まりとしての復号画像を示す復号画像信号を生成し、その復号画像信号をループフィルタ部４８に出力する（ステップＳＴ４９）。
また、イントラ予測用メモリ４７には、イントラ予測に用いるために、当該復号画像が格納される。
【０１０８】
ループフィルタ部４８は、加算部４６から復号画像信号を受けると、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ４９に格納するとともに、その復号画像を再生画像として出力する（ステップＳＴ５０）。
ここで、符号化歪は、変換ブロックの境界に沿って発生するため、変換ブロックに境界に対して符号化歪の補償を行う。小さい変換ブロックについては、変換ブロックの境界の符号化歪が目立ちにくいので、ヘッダで最小ループフィルタ適用ブロックサイズをシグナリングし、変換ブロックサイズが最小ループフィルタ適用ブロックサイズより大きいブロックに対してのみ符号化歪補償を適用するように構成してもよい。このようにすれば、不要な符号化歪補償を省略することができるので、画質を保ちつつ演算量を削減することができる。
【０１０９】
また、符号化歪は、画像のエッジ付近や平坦部分に画素値のオフセットとして発生することも知られている。
このような符号化歪に対しては、所定のブロック毎に、可変長復号部４１が適応画素オフセットタイプ及び画素オフセット値を可変長復号し、その適応画素オフセットタイプがエッジ部分の画素オフセット値を補償することを示している場合には、当該ブロック内のエッジの種類毎の画素値のオフセット値を復号画像に加算することで符号化歪みを補償する。
また、その適応画素オフセットタイプがエッジ部分でない部分の画素オフセット値を補償することを示している場合には、当該ブロック内の画素値のサブレベル毎の画素オフセット値を復号画像に加算することで符号化歪を補償する。
【０１１０】
ここで、復号する信号が４：４：４フォーマットである場合、当該ブロックにおいて、エッジ部分の画素オフセットを補償するか、その他の部分の画素オフセットを補償するかを示すテクスチャタイプのテクスチャタイプ情報を可変長復号部４１で可変長復号する。
テクスチャタイプがエッジ部分を示す場合には、全色成分で共通のエッジ方向情報を可変長復号部４１で可変長復号するとともに、全色成分で共通のエッジの種類を決定して、エッジの種類毎に各色成分独立に画素オフセット値を可変長復号部４１で可変長復号し、画素オフセットの補償処理を実施する。
【０１１１】
一方、テクスチャタイプがエッジ部分でないことを示す場合には、各色成分独立に画素値のレベル情報を可変長復号部４１で可変長復号するとともに、各色成分独立に当該ブロック内の画素値のサブレベル毎に画素オフセット値を可変長復号部４１で可変長復号し、画素オフセットの補償処理を実施する。
このようにすれば、図１のカラー動画像符号化装置で符号化された４：４：４フォーマットの符号化データを好適に復号することができる。
【０１１２】
また、輝度信号と色差信号では、変換ブロックの分割形状が異なるので、符号化歪補償は、輝度信号と色差信号でそれぞれ変換ブロックの分割形状を特定して処理するように構成する。
なお、ループフィルタ部４８によるフィルタリング処理は、入力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する復号画像信号が入力された後に１画面分まとめて行ってもよい。
ステップＳＴ４３〜ＳＴ４９の処理は、全ての符号化ブロックＢｎに属するパーティションＰｉｎに対する処理が完了するまで繰り返し実施される（ステップＳＴ５１）。
【０１１３】
以上で明らかなように、この実施の形態１によれば、変換・量子化部７が、減算部６により生成された差分画像の輝度信号に対する変換・量子化処理を実施する場合、入力信号がＹＵＶ４：２：２フォーマットであれば、色差信号の変換ブロック形状を常に縦が横の２倍となる長方形に分割し、得られる変換係数を可変長符号化部１３で符号化する際には、ＹＵＶ４：２：０の色差成分の変換係数に適用するコンテキストインデックス値の割り当てを垂直方向に２個ずつ繰り返したものを適用することにより、回路規模を増加させることなく、ＹＵＶ４：２：２の色差信号の符号化効率を高めることができる効果を奏する。
【０１１４】
また、カラー動画像復号装置においても、入力信号がＹＵＶ４：２：２フォーマットであれば、色差信号の変換ブロック形状を常に縦が横の２倍となる長方形に分割し、得られる変換係数を可変長復号部４１で復号する際には、ＹＵＶ４：２：０の色差成分の変換係数に適用するコンテキストインデックス値の割り当てを垂直方向に２個ずつ繰り返したものを適用することにより、カラー動画像符号化装置で生成されるビットストリームを好適に復号することができる。
【０１１５】
実施の形態２．
図１９はこの発明の実施の形態２によるカラー動画像符号化装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
相関利用予測部６１は符号化制御部１により決定された符号化モードが相関利用予測モードである場合、ＹＵＶ信号の輝度成分（Ｙ成分）に相当する第一の色成分については、信号フォーマットが４：０：０フォーマットである場合のフレーム内予測符号化を実施することで予測画像を生成し、あるいは、符号化済みの他のピクチャに含まれている第一の色成分の局部復号画像を参照画像として利用してフレーム間予測符号化を実施することで予測画像を生成する処理を実施する。
また、ＹＵＶ信号の他の色成分（Ｕ成分およびＶ成分）に相当する第二の色成分及び第三の色成分については、符号化済みの同一ピクチャに含まれている第一の色成分の局部復号画像を参照画像として利用してフレーム間予測符号化を実施することで予測画像を生成する処理を実施する。
なお、相関利用予測部６１は予測画像生成手段を構成している。
【０１１６】
図１９では、カラー動画像符号化装置の構成要素である符号化制御部１、ブロック分割部２、切替スイッチ３、相関利用予測部６１、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、イントラ予測用メモリ１０、ループフィルタ部１１、動き補償予測フレームメモリ１２及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路やワンチップマイコン、あるいは、メモリなど）で構成されているものを想定しているが、カラー動画像符号化装置がコンピュータなどで構成されていてもよい。
カラー動画像符号化装置がコンピュータで構成される場合、イントラ予測用メモリ１０及び動き補償予測フレームメモリ１２をコンピュータのメモリ上に構成するとともに、符号化制御部１、ブロック分割部２、切替スイッチ３、相関利用予測部６１、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
【０１１７】
図２０はこの発明の実施の形態２によるカラー動画像符号化装置の相関利用予測部６１を示す構成図である。
図２０において、相関算出部６２は参照画像内で当該予測対象ブロックと同じ位置にあるブロックの上端及び左端に隣接している画素値である画面間参照画素Ｒｅｃ’Ｌ（図２２（ａ）において、斜線が施されている画素）と、予測対象ブロックの上端及び左端に隣接している当該処理対象信号の復号済の画素値である画面内参照画素ＲｅｃＣ（図２２（ｂ）において、斜線が施されている画素）とを用いて、予測に用いる相関パラメータα，βを算出する処理を実施する。
相関利用予測画像生成部６３は相関算出部６２により算出された相関パラメータα，βと画面間参照画素Ｒｅｃ’Ｌを用いて予測画像ＰｒｅｄＣを生成する処理を実施する。
【０１１８】
図２３はこの発明の実施の形態２によるカラー動画像復号装置を示す構成図であり、図において、図４と同一符号は同一または相当部分を示すので説明を省略する。
相関利用予測部７１は可変長復号部４１により可変長復号された符号化モードが相関利用予測モードである場合、ＹＵＶ信号の輝度成分（Ｙ成分）に相当する第一の色成分については、信号フォーマットが４：０：０フォーマットである場合のフレーム内予測復号を実施することで予測画像を生成し、あるいは、復号済みの他のピクチャに含まれている第一の色成分の復号画像を参照画像として利用してフレーム間予測復号を実施することで予測画像を生成する処理を実施する。
また、ＹＵＶ信号の他の色成分（Ｕ成分およびＶ成分）に相当する第二の色成分及び第三の色成分については、復号済みの同一ピクチャに含まれている第一の色成分の復号画像を参照画像として利用してフレーム間予測復号を実施することで予測画像を生成する処理を実施する。
なお、相関利用予測部７１は予測画像生成手段を構成している。
【０１１９】
図２３では、カラー動画像復号装置の構成要素である可変長復号部４１、切替スイッチ４２、相関利用予測部７１、動き補償部４４、逆量子化・逆変換部４５、加算部４６、イントラ予測用メモリ４７、ループフィルタ部４８及び動き補償予測フレームメモリ４９のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路やワンチップマイコン、あるいは、メモリなど）で構成されているものを想定しているが、カラー動画像復号装置がコンピュータなどで構成されていてもよい。
カラー動画像復号装置がコンピュータで構成される場合、イントラ予測用メモリ４７及び動き補償予測フレームメモリ４９をコンピュータのメモリ上に構成するとともに、可変長復号部４１、切替スイッチ４２、相関利用予測部７１、動き補償部４４、逆量子化・逆変換部４５、加算部４６及びループフィルタ部４８の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
【０１２０】
図２４はこの発明の実施の形態２によるカラー動画像復号装置の相関利用予測部７１を示す構成図である。
図２４において、相関算出部７２は参照画像内で当該予測対象ブロックと同じ位置にあるブロックの上端及び左端に隣接している画素値である画面間参照画素Ｒｅｃ’Ｌ（図２２（ａ）において、斜線が施されている画素）と、予測対象ブロックの上端及び左端に隣接している当該処理対象信号の復号済の画素値である画面内参照画素ＲｅｃＣ（図２２（ｂ）において、斜線が施されている画素）とを用いて、予測に用いる相関パラメータα，βを算出する処理を実施する。
相関利用予測画像生成部７３は相関算出部７２により算出された相関パラメータα，βと画面間参照画素Ｒｅｃ’Ｌを用いて予測画像ＰｒｅｄＣを生成する処理を実施する。
【０１２１】
上記実施の形態１では、カラー動画像符号化装置が、輝度信号と色差信号を同時に符号化するものを示したが、カラー動画像符号化装置が、入力信号が４：４：４フォーマットである場合、それぞれの成分をＹＵＶ４：０：０フォーマットであるとみなして、最初にＹＵＶ信号の輝度成分（Ｙ成分）に相当する第一の色成分のみを符号化して、第一の色成分の局部復号画像を動き補償予測フレームメモリ１２に格納し、次に、動き補償予測フレームメモリ１２に格納された第一の色成分の局部復号画像を参照画像として利用して、その他の色成分（Ｕ成分およびＶ成分）の画像をＹＵＶ４：０：０フォーマットであるとみなして符号化するようにしてもよい。
【０１２２】
可変長符号化部１３は、上記のように、ＹＵＶ４：４：４フォーマットの各色成分間で予測符号化を行うのか、上記実施の形態１のように、ピクチャ間での予測符号化を行うかを示す予測構成フラグを可変長符号化してビットストリームに多重化する。
また、予測構成フラグが４：４：４フォーマットの各色成分間で予測符号化を行う構成で符号化を行うことを示す場合、上記のように生成された３つのＹＵＶ４：０：０画像をまとめて、表示などのためのアクセスの単位となる１つのピクチャ（アクセスユニット）と認識するための情報であるアクセスユニットデリミタをピクチャの先頭に多重化する。
【０１２３】
図２１は参照画像として利用する局部復号画像を示す説明図である。
次のピクチャでは、図２１に示すように、Ｙ成分に相当する第一の色成分については、動き補償予測フレームメモリ１２に格納された前ピクチャの第一の色成分の局部復号画像を参照画像として利用して、ＹＵＶ４：０：０フォーマットとして符号化する。
Ｕ成分及びＶ成分に相当するその他の色成分については、前ピクチャと同様に、当該ピクチャの第一の色成分の局部復号画像を参照画像として利用して、それぞれ符号化を行う。
【０１２４】
ここで、色成分間の動き補償予測処理においては、動きベクトルが零、参照画像が特定されているため、動きベクトル及び参照画像の可変長符号化は行わない。
色成分間の予測においては、参照画像からの動き補償予測に加えて、参照画像を用いて、例えば、相関利用信号予測も選択できるよう構成してもよい。
【０１２５】
次に動作について説明する。
最初に、カラー動画像符号化装置の処理内容を説明する。
ただし、イントラ予測部４の代わりに、相関利用予測部６１を設けている点以外は、上記実施の形態１と同様であるため、ここでは、相関利用予測部６１の処理内容だけを説明する。
相関利用予測部６１の相関算出部６２は、符号化制御部１により決定された符号化モードが相関利用予測モードである場合、図２２に示すように、参照画像内で当該予測対象ブロックと同じ位置にあるブロックの上端及び左端に隣接している画素値である画面間参照画素Ｒｅｃ’Ｌ（図２２（ａ）において、斜線が施されている画素）と、予測対象ブロックの上端及び左端に隣接している当該処理対象信号の復号済の画素値である画面内参照画素ＲｅｃＣ（図２２（ｂ）において、斜線が施されている画素）とを用いて、下記の式（１）及び式（２）に示すように、予測に用いる相関パラメータα，βを算出する処理を実施する。
2014051080.tif 000004
2014051080.tif 000005
式（１），（２）において、Ｉは処理対象となる予測ブロックの１辺の画素数の２倍の値である。
【０１２６】
相関利用予測部６１の相関利用予測画像生成部６３は、相関算出部６２が相関パラメータα，βを算出すると、その相関パラメータα，βと画面間参照画素Ｒｅｃ’Ｌを用いて、下記の式（３）に示すように、予測画像ＰｒｅｄＣを生成する。
2014051080.tif 000006
【０１２７】
これにより、色成分間の予測処理において、残差の小さい予測画像を生成することができるため、符号化効率を向上させることができる。
また、輝度成分の符号化回路のみで４：４：４フォーマットの画像を高効率に圧縮することができる。
【０１２８】
次に、カラー動画像復号装置の処理内容を説明する。
可変長復号部４１が符号化データから予測構成フラグを復号し、その予測構成フラグが４：４：４フォーマットの各色成分間で予測符号化を行う構成にすることを示していれば、アクセスユニットデリミタを復号することで、３つのＹＵＶ４：０：０フォーマットの画像を、表示などのためのアクセスの単位となる１つのピクチャ（アクセスユニット）として認識する。
そして、第一の色成分をＹＵＶ４：０：０フォーマットとして復号して、第一の色成分の復号画像を動き補償予測フレームメモリ４９に格納し、その動き補償予測フレームメモリ４９に格納された第一の色成分の復号画像を参照画像として利用して、その他の色差成分（例えばＵ成分およびＶ成分）の画像をＹＵＶ４：０：０フォーマットであるとみなして復号するように構成する。
【０１２９】
次のピクチャでは、第一の色成分については、その動き補償予測フレームメモリ４９に格納された前ピクチャの第一の色成分の復号画像を参照画像として利用して、ＹＵＶ４：０：０フォーマットとして復号し、その他の色成分（Ｕ成分およびＶ成分）については、前ピクチャと同様に、当該ピクチャの第一の色成分の復号画像を参照画像として利用して、それぞれ復号を行う。
【０１３０】
即ち、相関利用予測部７１の相関算出部７２は、可変長復号部４１により可変長復号された符号化モードが相関利用予測モードである場合、図２０の相関算出部６２と同様に、参照画像内で当該予測対象ブロックと同じ位置にあるブロックの上端及び左端に隣接している画素値である画面間参照画素Ｒｅｃ’Ｌ（図２２（ａ）において、斜線が施されている画素）と、予測対象ブロックの上端及び左端に隣接している当該処理対象信号の復号済の画素値である画面内参照画素ＲｅｃＣ（図２２（ｂ）において、斜線が施されている画素）とを用いて、上記の式（１）及び式（２）に示すように、予測に用いる相関パラメータα，βを算出する処理を実施する。
【０１３１】
相関利用予測部７１の相関利用予測画像生成部７３は、相関算出部７２が相関パラメータα，βを算出すると、図２０の相関利用予測画像生成部６３と同様に、その相関パラメータα，βと画面間参照画素Ｒｅｃ’Ｌを用いて、上記の式（３）に示すように、予測画像ＰｒｅｄＣを生成する。
【０１３２】
ここで、色成分間の予測を行う場合、可変長復号部４１では、ブロック毎に、予測モードとして、動き補償予測モード又は相関利用予測モードのいずれを適用するかを示す予測方式情報を可変長復号する。
予測方式情報が予測モードとして、動き補償予測モードを適用する旨を示す場合には、第一の色成分を参照画像として、動きベクトルが零で特定される領域のブロックを予測値として動き補償予測処理を行う。従って、色成分間の動き補償予測モードの場合には、動きベクトル及び参照画像の可変長復号は行わない。
予測方式情報が予測モードとして、相関利用予測モードを適用する旨を示す場合には、上記の相関利用予測処理を行うことによって予測画像を生成する。
即ち、この実施の形態２のカラー動画像復号装置では、予測モードとして、動き補償予測モードと相関利用予測モードを備える。その他の処理は、上記実施の形態１のカラー動画像復号装置と同様の処理を行う。
これにより、この実施の形態２のカラー動画像復号装置では、上記のようにして圧縮された符号化データを輝度成分の復号回路のみで好適に復号することができるため、回路規模を小さく抑えることができる。
【０１３３】
この実施の形態２では、イントラ予測部４の代わりに、相関利用予測部６１を実装しているカラー動画像符号化装置を示したが、図２５に示すように、イントラ予測部４の代わりに、相関利用適応予測部８１を実装するようにしてもよい。
図２６はこの発明の実施の形態２によるカラー動画像符号化装置の相関利用適応予測部８１を示す構成図である。
図２６において、切替スイッチ８２は符号化制御部１により決定された符号化モードがイントラ予測モードである場合、画面内参照画素をイントラ予測部８３に出力し、その符号化モードが相関利用予測モードである場合、画面内参照画素を相関利用予測部８４に出力する処理を実施する。
【０１３４】
イントラ予測部８３は符号化制御部１により決定された符号化モードがイントラ予測モードである場合、図１のイントラ予測部４と同様のイントラ予測処理を実施してイントラ予測画像を生成する処理を実施する。
相関利用予測部８４は符号化制御部１により決定された符号化モードが相関利用予測モードである場合、図１９の相関利用予測部６１と同様の相関利用予測処理を実施してイントラ予測画像を生成する処理を実施する。
したがって、イントラ予測部４の代わりに、相関利用適応予測部８１を実装すると、符号化制御部１により決定された符号化モードがイントラ予測モードであれば、上記実施の形態１の方法でイントラ予測画像が生成され、符号化制御部１により決定された符号化モードが相関利用予測モードであれば、この実施の形態２の方法でイントラ予測画像が生成される。
この場合、可変長符号化部１３では、ブロック毎に、いずれの予測モードを適用するかを示す予測方式情報を可変長符号化する。
【０１３５】
この実施の形態２では、イントラ予測部４３の代わりに、相関利用予測部７１を実装しているカラー動画像復号装置を示したが、図２７に示すように、イントラ予測部４３の代わりに、相関利用適応予測部９１を実装するようにしてもよい。
図２８はこの発明の実施の形態２によるカラー動画像復号装置の相関利用適応予測部９１を示す構成図である。
図２８において、切替スイッチ９２は可変長復号部４１により可変長復号された符号化モードがイントラ予測モードである場合、画面内参照画素をイントラ予測部９３に出力し、その符号化モードが相関利用予測モードである場合、画面内参照画素を相関利用予測部９４に出力する処理を実施する。
【０１３６】
イントラ予測部９３は可変長復号部４１により可変長復号された符号化モードがイントラ予測モードである場合、図４のイントラ予測部４３と同様のイントラ予測処理を実施してイントラ予測画像を生成する処理を実施する。
相関利用予測部９４は可変長復号部４１により可変長復号された符号化モードが相関利用予測モードである場合、図２３の相関利用予測部７１と同様の相関利用予測処理を実施してイントラ予測画像を生成する処理を実施する。
したがって、イントラ予測部４３の代わりに、相関利用適応予測部９１を実装すると、可変長復号部４１により可変長復号された符号化モードがイントラ予測モードであれば、上記実施の形態１の方法でイントラ予測画像が生成され、可変長復号部４１により可変長復号された符号化モードが相関利用予測モードであれば、この実施の形態２の方法でイントラ予測画像が生成される。
また、この実施の形態２では、４：４：４フォーマットの画像を例として説明したが、当然、それぞれの色成分のサイズが等しければ、マルチチャンネル画像やハイパースペクトル画像などといった複数の色成分を持つ画像フォーマットについて同様の処理を行うことができる。
【０１３７】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【産業上の利用可能性】
【０１３８】
この発明に係るカラー動画像符号化装置は、予測画像生成手段が、カラー画像における第二の色成分及び第三の色成分については、符号化済みの同一ピクチャに含まれている第一の色成分の局部復号画像を参照画像として利用してフレーム間予測符号化を実施することで予測画像を生成するように構成したので、ＹＵＶ４：４：４信号の符号化を行う場合でも、若干の回路を追加するだけで、輝度信号と色差信号の符号化効率を高めることができ、カラー動画像の符号化を高効率で行うカラー動画像符号化装置に用いるのに適している。
【符号の説明】
【０１３９】
１  符号化制御部（符号化制御手段）、２  ブロック分割部（ブロック分割手段）、３  切替スイッチ（予測画像生成手段）、４  イントラ予測部（予測画像生成手段）、５  動き補償予測部（予測画像生成手段）、６  減算部（差分画像生成手段）、７  変換・量子化部（画像圧縮手段）、８  逆量子化・逆変換部、９  加算部、１０  イントラ予測用メモリ、１１  ループフィルタ部、１２  動き補償予測フレームメモリ、１３  可変長符号化部（可変長符号化手段）、２１  変換係数可変長符号化部、２２  符号化パラメータ可変長符号化部、４１  可変長復号部（可変長復号手段）、４２  切替スイッチ（予測画像生成手段）、４３  イントラ予測部（予測画像生成手段）、４４  動き補償部（予測画像生成手段）、４５  逆量子化・逆変換部（差分画像生成手段）、４６  加算部（復号画像生成手段）、４７  イントラ予測用メモリ、４８  ループフィルタ部、４９  動き補償予測フレームメモリ、５１  変換係数可変長復号部、５２  符号化パラメータ可変長復号部、６１  相関利用予測部（予測画像生成手段）、６２  相関算出部、６３  相関利用予測画像生成部、７１  相関利用予測部（予測画像生成手段）、７２  相関算出部、７３  相関利用予測画像生成部、８１  相関利用適応予測部（予測画像生成手段）、８２  切替スイッチ、８３  イントラ予測部、８４  相関利用予測部、９１  相関利用適応予測部（予測画像生成手段）、９２  切替スイッチ、９３  イントラ予測部、９４  相関利用予測部。
【図１】
2014051080.tif 000007
【図２】
2014051080.tif 000008
【図３】
2014051080.tif 000009
【図４】
2014051080.tif 000010
【図５】
2014051080.tif 000011
【図６】
2014051080.tif 000012
【図７】
2014051080.tif 000013
【図８】
2014051080.tif 000014
【図９】
2014051080.tif 000015
【図１０】
2014051080.tif 000016
【図１１】
2014051080.tif 000017
【図１２】
2014051080.tif 000018
【図１３】
2014051080.tif 000019
【図１４】
2014051080.tif 000020
【図１５】
2014051080.tif 000021
【図１６】
2014051080.tif 000022
【図１７】
2014051080.tif 000023
【図１８】
2014051080.tif 000024
【図１９】
2014051080.tif 000025
【図２０】
2014051080.tif 000026
【図２１】
2014051080.tif 000027
【図２２】
2014051080.tif 000028
【図２３】
2014051080.tif 000029
【図２４】
2014051080.tif 000030
【図２５】
2014051080.tif 000031
【図２６】
2014051080.tif 000032
【図２７】
2014051080.tif 000033
【図２８】
2014051080.tif 000034
【国際調査報告】
2014051080.tif 000035
2014051080.tif 000036
2014051080.tif 000037
2014051080.tif 000038
2014051080.tif 000039
2014051080.tif 000040