(57)【要約】【課題】サブブロック内の各周波数成分位置における変換係数を符号化する際の演算量や回路規模の大型化を招くことなく、圧縮率を高めることができるようにする。【解決手段】サブブロック符号化部６６が、スキャン順で、各々のサブブロック内の最初の非零の変換係数の位置と最後の非零の変換係数の位置との位置差が所定の閾値以上であれば、最初の非零の変換係数については、正負符号を可変長符号化せずに絶対値だけを可変長符号化し、その位置差が閾値より小さければ、最初の非零の変換係数についても、正負符号及び絶対値を可変長符号化する。【選択図】図１
2014007643.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の圧縮データを可変長符号化して、上記圧縮データの符号化データが多重化されたビットストリームを生成する可変長符号化手段を備え、
上記可変長符号化手段は、上記圧縮データである変換係数をサブブロックに分割し、各々のサブブロックの変換係数をスキャンして圧縮データ系列を生成するとともに、各々のサブブロックの変換係数が非零であるか否かを示す係数パラメータを出力する係数スキャン手段と、上記係数スキャン手段から出力された係数パラメータを参照して、上記圧縮データ系列の中で、その変換係数のスキャン順で最後の非零の変換係数を特定し、その変換係数の位置を示す最後位置情報を可変長符号化する最後位置情報符号化手段と、各々のサブブロックの変換係数の正負符号及び絶対値を可変長符号化する符号絶対値符号化手段とを備え、
上記符号絶対値符号化手段は、上記スキャン順で、各々のサブブロック内の最初の非零の変換係数の位置と最後の非零の変換係数の位置との位置差が所定の閾値以上であれば、上記最初の非零の変換係数については、正負符号を可変長符号化せずに絶対値だけを可変長符号化し、上記位置差が上記閾値より小さければ、上記最初の非零の変換係数についても、正負符号及び絶対値を可変長符号化する
ことを特徴とする動画像符号化装置。
【請求項２】
ビットストリームに多重化された符号化データから階層的に分割されている各々のサブブロックに係る圧縮データを可変長復号する可変長復号手段を備え、
上記可変長復号手段は、上記ビットストリームに多重化された符号化データから、各々のサブブロックにおける変換係数のスキャン順で、上記サブブロック内の最後の非零の変換係数の位置を示す最後位置情報を可変長復号する最後位置情報復号手段と、各々のサブブロックの変換係数の正負符号及び絶対値を可変長復号する符号絶対値復号手段とを備え、
上記符号絶対値復号手段は、上記スキャン順で、各々のサブブロック内の最初の非零の変換係数の位置と最後の非零の変換係数の位置との位置差が所定の閾値以上である場合、上記最初の非零の変換係数の正負符号を復号せずに絶対値だけを可変長復号し、上記最後の非零の変換係数の位置が上記スキャン順で偶数位置であれば、上記最初の非零の変換係数の正負符号を正とし、上記最後の非零の変換係数の位置が上記スキャン順で奇数位置であれば、上記最初の非零の変換係数の正負符号を負とする
ことを特徴とする動画像復号装置。
【請求項３】
可変長符号化手段が、入力画像の圧縮データを可変長符号化して、上記圧縮データの符号化データが多重化されたビットストリームを生成する可変長符号化処理ステップを備え、
上記可変長符号化処理ステップは、上記可変長符号化手段の係数スキャン手段が、上記圧縮データである変換係数をサブブロックに分割し、各々のサブブロックの変換係数をスキャンして圧縮データ系列を生成するとともに、各々のサブブロックの変換係数が非零であるか否かを示す係数パラメータを出力する係数スキャン処理ステップと、上記可変長符号化手段の最後位置情報符号化手段が、上記係数スキャン処理ステップで出力された係数パラメータを参照して、上記圧縮データ系列の中で、その変換係数のスキャン順で最後の非零の変換係数を特定し、その変換係数の位置を示す最後位置情報を可変長符号化する最後位置情報符号化処理ステップと、上記可変長符号化手段の符号絶対値符号化手段が、各々のサブブロックの変換係数の正負符号及び絶対値を可変長符号化する符号絶対値符号化処理ステップとを備え、
上記符号絶対値符号化処理ステップは、上記スキャン順で、各々のサブブロック内の最初の非零の変換係数の位置と最後の非零の変換係数の位置との位置差が所定の閾値以上であれば、上記最初の非零の変換係数については、正負符号を可変長符号化せずに絶対値だけを可変長符号化し、上記位置差が上記閾値より小さければ、上記最初の非零の変換係数についても、正負符号及び絶対値を可変長符号化する
ことを特徴とする動画像符号化方法。
【請求項４】
可変長復号手段が、ビットストリームに多重化された符号化データから階層的に分割されている各々のサブブロックに係る圧縮データを可変長復号する可変長復号処理ステップを備え、
上記可変長復号処理ステップは、上記可変長復号手段の最後位置情報復号手段が、上記ビットストリームに多重化された符号化データから、各々のサブブロックにおける変換係数のスキャン順で、上記サブブロック内の最後の非零の変換係数の位置を示す最後位置情報を可変長復号する最後位置情報復号処理ステップと、上記可変長復号手段の符号絶対値復号手段が、各々のサブブロックの変換係数の正負符号及び絶対値を可変長復号する符号絶対値復号処理ステップとを備え、
上記符号絶対値復号処理ステップは、上記スキャン順で、各々のサブブロック内の最初の非零の変換係数の位置と最後の非零の変換係数の位置との位置差が所定の閾値以上である場合、上記最初の非零の変換係数の正負符号を復号せずに絶対値だけを可変長復号し、上記最後の非零の変換係数の位置が上記スキャン順で偶数位置であれば、上記最初の非零の変換係数の正負符号を正とし、上記最後の非零の変換係数の位置が上記スキャン順で奇数位置であれば、上記最初の非零の変換係数の正負符号を負とする
ことを特徴とする動画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像を高効率で符号化を行う動画像符号化装置及び動画像符号化方法と、高効率で符号化されている動画像を復号する動画像復号装置及び動画像復号方法とに関するものである。
【背景技術】
【０００２】
例えば、以下の非特許文献１に記載されている従来の動画像符号化装置では、入力された画像を所定の大きさの最大符号化ブロックに分割し、さらに、最大符号化ブロックをより細かい符号化ブロックに階層分割する。
また、その符号化ブロックをさらに細かい予測ブロックに分割し、その予測ブロックに対する画面内予測や動き補償予測を実施することで予測誤差を生成する。
また、その予測誤差を符号化ブロック内で階層的に変換ブロックに分割し、それぞれの変換係数を算術符号化することで高い圧縮率を達成している。
また、後述する変換係数の正負の符号の一部を他の情報を用いて埋め込む正負符号埋め込み手段を利用することで、さらに圧縮率を向上させている。
【０００３】
従来の動画像符号化装置では、ヘッダ情報として、正負符号埋め込み手段を利用するか否かを示す正負符号埋め込みフラグ（例えば、正負符号埋め込み手段を利用する場合は“１”、利用しない場合は“０”）を符号化する。
また、変換係数の算術符号化において、変換ブロックのサイズが８×８サイズより大きい場合、例えば、図２１に示すように、変換ブロックを４×４サイズのサブブロックに分割し、次のようにして符号化を行う。
【０００４】
（１）図２１に示すスキャン順にサブブロックを走査するとともに、スキャン順にサブブロック内の変換係数を走査し、スキャン順で最も後ろにある非零の変換係数の位置を“ＰｏｓＬａｓｔ”として特定する。
（２）ＰｏｓＬａｓｔの水平成分であるＰｏｓＬａｓｔＸと、ＰｏｓＬａｓｔの垂直成分であるＰｏｓＬａｓｔＹを算術符号化する。
（３）ＰｏｓＬａｓｔを含むサブブロックから逆スキャン順（上記のスキャンと逆順であり、図２２の矢印が示す順番）に、当該サブブロック内に非零の変換係数が含まれているか否かを示すSigCoeffGroupFlagを算術符号化する。
SigCoeffGroupFlagが当該サブブロック内に非零の変換係数が含まれている旨を示している場合、以下の（４）〜（８）の処理を行う。
【０００５】
（４）スキャン順で最初の当該サブブロック内の変換係数の絶対値の和sumAbsを算出し、その絶対値の和sumAbsが偶数である場合、firstNZsign＝１、奇数である場合、firstNZSign＝−１とする。
（５）逆スキャン順に、当該サブブロック内の変換係数（各周波数成分の位置にある変換係数）が非零であるか否かを示すsignificant＿coeff＿flagを算術符号化するとともに、スキャン順で最初の非零係数位置をfirstNZPos、最後の非零係数位置をlastNZPosとする。
（６）最後の非零係数位置lastNZPosと最初の非零係数位置firstNZPosとの差が４以上であり、上記の正負符号埋め込みフラグが１である場合には、最初の非零係数位置firstNZPosにおける変換係数の正負の符号がfirstNZsignの正負と一致するよう変換係数の値を調整する。
（７）逆スキャン順に、significant＿coeff＿flagが非零である旨を示している周波数成分位置の変換係数については、その変換係数の絶対値が１より大きいか否かを示すcoeff＿abs＿level＿greater1＿flagを算術符号化する。
（８）逆スキャン順に、coeff＿abs＿level＿greater1＿flagが、変換係数の絶対値が１より大きい旨を示している周波数成分位置の変換係数については、その変換係数の絶対値が２より大きいか否かを示すcoeff＿abs＿level＿greater2＿flagを算術符号化する。
【０００６】
（９）最後の非零係数位置lastNZPosと最初の非零係数位置firstNZPosとの差が予め設定された所定の閾値sign_hiding_threshold以上であり、かつ、正負符号埋め込みフラグが１である場合には、最初の非零係数位置firstNZPosにおける変換係数の正負の符号以外について、逆スキャン順に、significant＿coeff＿flagが非零である旨を示している周波数成分位置の変換係数の正負の符号を示すcoeff＿sign＿flagを算術符号化する。
最後の非零係数位置lastNZPosと最初の非零係数位置firstNZPosとの差が閾値sign_hiding_threshold未満であるか、あるいは、正負符号埋め込みフラグが０である場合には、すべての変換係数について、逆スキャン順に、significant＿coeff＿flagが非零である旨を示している周波数成分位置の変換係数の正負の符号を示すcoeff＿sign＿flagを算術符号化する。
（１０）逆スキャン順に、coeff＿abs＿level＿greater2＿flagが、変換係数の絶対値が２より大きい旨を示している周波数成分位置の変換係数について、変換係数の絶対値から３を減じた値であるcoeff＿abs＿level＿minus3を算術符号化する。
（１１）最後のサブブロックに至るまで（３）〜（１０）を繰り返し実施する。
【０００７】
このように、条件に応じて、変換係数の正負を示す符号のシグナリングをスキップする正負符号埋め込み手段を用いることにより、符号化情報のオーバヘッドを減らすことができるので、圧縮効率が向上する。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】B. Bross，W.−J. Han，J.−R. Ohm，G. J. Sullivan and T. Wiegand，“High efficiency video coding (HEVC) text specification draft 7”，doc. JCTVC−I1003，Joint Collaborative Team on Video Coding（JCT−VC）of ITU−T SG16 WP3 and ISO／IEC JTC1／SC29／WG11，9th Meeting，2012
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従来の動画像符号化装置は以上のように構成されているので、正負符号埋め込み手段を利用することで、圧縮率を高めることができるが、正負符号埋め込み手段を利用するには、非零の変換係数の位置や、サブブロック内の変換係数の絶対値の和sumAbsなどを算出して保持しなければならず、演算量や回路規模が大きくなる課題があった。
【００１０】
この発明は上記のような課題を解決するためになされたもので、サブブロック内の各周波数成分位置における変換係数を符号化する際の演算量や回路規模の大型化を招くことなく、圧縮率を高めることができる動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法を得ることを目的とする。
【課題を解決するための手段】
【００１１】
この発明に係る動画像符号化装置は、可変長符号化手段が、圧縮データである変換係数をサブブロックに分割し、各々のサブブロックの変換係数をスキャンして圧縮データ系列を生成するとともに、各々のサブブロックの変換係数が非零であるか否かを示す係数パラメータを出力する係数スキャン手段と、係数スキャン手段から出力された係数パラメータを参照して、その圧縮データ系列の中で、その変換係数のスキャン順で最後の非零の変換係数を特定し、その変換係数の位置を示す最後位置情報を可変長符号化する最後位置情報符号化手段と、各々のサブブロックの変換係数の正負符号及び絶対値を可変長符号化する符号絶対値符号化手段とを備え、その符号絶対値符号化手段が、スキャン順で、各々のサブブロック内の最初の非零の変換係数の位置と最後の非零の変換係数の位置との位置差が所定の閾値以上であれば、最初の非零の変換係数については、当該変換係数が正の値であれば当該変換係数の絶対値が偶数値になるように制御し、当該変換係数が負の値であれば、当該変換係数の絶対値が奇数値になるように制御して、正負符号を可変長符号化せずに絶対値だけを可変長符号化し、その位置差が閾値より小さければ、最初の非零の変換係数についても、正負符号及び絶対値を可変長符号化するようにしたものである。
【発明の効果】
【００１２】
この発明によれば、符号絶対値符号化手段が、スキャン順で、各々のサブブロック内の最初の非零の変換係数の位置と最後の非零の変換係数の位置との位置差が所定の閾値以上であれば、最初の非零の変換係数については、当該変換係数の絶対値が偶数であるか否かで正負符号を示すことにより、正負符号を可変長符号化せずに絶対値だけを可変長符号化し、その位置差が閾値より小さければ、最初の非零の変換係数についても、正負符号及び絶対値を可変長符号化するように構成したので、サブブロック内の各周波数成分位置における変換係数を符号化する際の演算量や回路規模の大型化を招くことなく、圧縮率を高めることができる効果がある。
【図面の簡単な説明】
【００１３】
【図１】この発明の実施の形態１による動画像符号化装置を示す構成図である。
【図２】この発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。
【図３】この発明の実施の形態１による動画像符号化装置のイントラ予測部４を示す構成図である。
【図４】この発明の実施の形態１による動画像符号化装置の輝度相関利用色差信号予測部２４を示す構成図である。
【図５】この発明の実施の形態１による動画像符号化装置のイントラ予測部４の処理内容を示すフローチャートである。
【図６】この発明の実施の形態１による動画像符号化装置の輝度相関利用色差信号予測部２４の処理内容を示すフローチャートである。
【図７】この発明の実施の形態１による動画像符号化装置の可変長符号化部１３を示す構成図である。
【図８】図７の可変長符号化部１３における変換係数可変長符号化部５１を示す構成図である。
【図９】この発明の実施の形態１による動画像復号装置を示す構成図である。
【図１０】この発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。
【図１１】この発明の実施の形態１による動画像復号装置の可変長復号部４１を示す構成図である。
【図１２】図１１の可変長復号部４１における変換係数可変長復号部７１を示す構成図である。
【図１３】最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
【図１４】符号化ブロックＢnに属するパーティションＰinを示す説明図である。
【図１５】分割後のパーティションの分布や、階層分割後のパーティションに符号化モードｍ（Ｂn）が割り当てられる状況を４分木グラフで示す説明図である。
【図１６】符号化ブロックＢnに属する各パーティションＰinにおいて選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。
【図１７】ｌin＝ｍin＝４の場合において、パーティションＰin内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
【図１８】色差信号のイントラ予測パラメータと色差イントラ予測モードの対応例を示す説明図である。
【図１９】色差信号の予測ブロックと復号済輝度信号などを示す説明図である。
【図２０】縮小輝度参照画素Ｒｅｃ’Lの生成方法を示す説明図である。
【図２１】１６×１６直交変換係数のスキャン順を示す説明図である。
【図２２】スキャン順で最も後ろにある非零の変換係数の位置（ＰｏｓＬａｓｔ）を示す説明図である。
【図２３】サブブロックの変換係数と、変換係数の逆スキャン順を示す説明図である。
【図２４】インデックス値及びＭａｘ  Ｅｘｐｏｎｅｎｔｉａｌ  Ｇｏｌｍｂ符号に対応する符号を示す説明図である。
【図２５】オフセットつきのＭａｘ  Ｅｘｐｏｎｅｎｔｉａｌ  Ｇｏｌｏｍｂ符号に対応する符号を示す説明図である。
【図２６】量子化パラメータの予測値との差分値のシンタックスと対応するＭａｘ  Ｅｘｐｏｎｅｎｔｉａｌ  Ｇｏｌｏｍｂ符号を示す説明図である。
【図２７】参照画像インデックスのシンタックスと対応するＭａｘ  Ｅｘｐｏｎｅｎｔｉａｌ  Ｇｏｌｏｍｂ符号を示す説明図である。
【図２８】ループフィルタのオフセット値のシンタックスと対応するＭａｘ  Ｅｘｐｏｎｅｎｔｉａｌ  Ｇｏｌｏｍｂ符号を示す説明図である。
【図２９】動きベクトル差分値のシンタックスと対応するＭａｘ  Ｅｘｐｏｎｅｎｔｉａｌ  Ｇｏｌｏｍｂ符号を示す説明図である。
【発明を実施するための形態】
【００１４】
実施の形態１．
図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
この実施の形態１の動画像符号化装置が処理対象とする映像信号は、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号である。
各画素の諧調は８ビットでもよいし、１０ビット、１２ビットなどの諧調であってもよい。
【００１５】
ただし、以下の説明においては、特に断らない限り、入力される映像信号がＹＵＶ信号であるものとする。また、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号であるものとする。
なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
【００１６】
図１において、符号化制御部１はイントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
また、符号化制御部１は利用可能な１以上の符号化モード（１以上のイントラ符号化モード、１以上のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。
また、符号化制御部１は各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する処理を実施する。量子化パラメータ及び変換ブロックサイズを示す変換ブロック分割フラグは、予測差分符号化パラメータに含まれて、変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３等に出力される。
【００１７】
ここで、変換ブロックサイズは、符号化ブロックを四分木状に階層分割することによって決定される。
例えば、変換ブロックを分割する場合と変換ブロックを分割しない場合での符号量や、符号化誤差を加味した評価尺度などに基づいて、評価値が最小になるように変換ブロックを分割するか否かを決定することで、符号量と符号化誤差のトレードオフの観点から最適な変換ブロックの分割形状を決定することができる。
【００１８】
例えば、予測ブロックの形状が正方形である予測モードが、符号化ブロックの符号化モードとして選択された場合、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
一方、予測ブロックの形状が長方形である予測モードが、符号化ブロックの符号化モードとして選択された場合、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。あるいは、正方形の変換ブロックに分割された後に、さらに下の階層で長方形の変換ブロックに分割されるように構成する。
変換ブロックの分割情報は、階層毎に分割するか否かを示す変換ブロック分割フラグとして可変長符号化部１３に出力する。
【００１９】
ブロック分割部２は入力画像（カレントピクチャ）を示す画像信号を入力すると、その入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する処理を実施する。
切替スイッチ３は符号化制御部１により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部２により分割された符号化ブロックをイントラ予測部４に出力し、符号化制御部１により選択された符号化モードがインター符号化モードであれば、ブロック分割部２により分割された符号化ブロックを動き補償予測部５に出力する処理を実施する。
【００２０】
イントラ予測部４は切替スイッチ３からブロック分割部２により分割された符号化ブロックを受けると、その符号化ブロックに対して、イントラ予測用メモリ１０により格納されている上記符号化ブロックに隣接している復号済みの画素を用いて、符号化制御部１から出力されたイントラ予測パラメータに基づくフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
即ち、イントラ予測部４は、ブロック分割部２により分割された符号化ブロックにおける輝度成分については、その輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する。
一方、ブロック分割部２により分割された符号化ブロックにおける色差成分については、符号化制御部１により選択された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、ブロック分割部２により分割された符号化ブロックにおける色差成分のフレーム内予測を実施して、色差成分に対する予測画像を生成する。
【００２１】
動き補償予測部５はブロック分割部２により分割された符号化ブロックに対応する符号化モードとして、符号化制御部１によりインター符号化モードが選択された場合、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
【００２２】
減算部６はブロック分割部２により分割された符号化ブロックから、イントラ予測部４又は動き補償予測部５により生成された予測画像を減算することで、差分画像（＝符号化ブロック−予測画像）を生成する処理を実施する。
【００２３】
変換・量子化部７は符号化制御部１から出力された予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、減算部６により生成された差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。
即ち、変換・量子化部７は減算部６により生成された差分画像に対する変換・量子化処理（圧縮処理）を実施する場合、ブロック分割部２により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で変換・量子化処理を実施する。
【００２４】
逆量子化・逆変換部８は符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換・量子化部７から出力された圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として出力する処理を実施する。
【００２５】
加算部９は逆量子化・逆変換部８から出力された局所復号予測差分信号とイントラ予測部４又は動き補償予測部５により生成された予測画像を示す予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。
イントラ予測用メモリ１０はイントラ予測部４により次回のイントラ予測処理で用いられる画像として、加算部９により生成された局所復号画像信号が示す局所復号画像を格納するＲＡＭなどの記録媒体である。
【００２６】
ループフィルタ部１１は加算部９により生成された局所復号画像信号に含まれている符号化歪みを補償するために、オフセット値を当該局所復号画像信号に加算したり、複数のディジタルフィルタモードから選択されたフィルタモードでフィルタリングを施すなどの処理を実施し、そのオフセット値及び上記フィルタモードを可変長符号化部１３に出力する処理を実施する。また、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に出力する処理を実施する。
動き補償予測フレームメモリ１２は動き補償予測部５により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部１１によるフィルタリング処理後の局所復号画像を格納するＲＡＭなどの記録媒体である。
【００２７】
可変長符号化部１３は変換・量子化部７から出力された圧縮データを可変長符号化するとともに、符号化制御部１から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータ、符号化ブロックの動き量の予測値を示すインデックスである動きベクトル予測インデックスや動き量の予測差分値を示す差分動きベクトル情報及び参照画像のインデックスを示す参照画像インデックスなどの動き情報、符号化ブロックの分割状況を示すブロック分割情報などの符号化パラメータ、ループフィルタ部１１におけるフィルタのオフセット値やフィルタモードなどを示すフィルタパラメータを可変長符号化して、その圧縮データ及び符号化パラメータの符号化データが多重化されているビットストリームを生成する処理を実施する。なお、可変長符号化部１３は可変長符号化手段を構成している。
【００２８】
図１では、動画像符号化装置の構成要素である符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、動画像符号化装置がコンピュータなどで構成される場合、符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。
【００２９】
図３はこの発明の実施の形態１による動画像符号化装置のイントラ予測部４を示す構成図である。
図３において、輝度信号イントラ予測部２１はブロック分割部２により分割された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する処理を実施する。
即ち、輝度信号イントラ予測部２１はイントラ予測用メモリ１０により格納されている上記符号化ブロックに隣接している復号済みの輝度参照画素を参照して、符号化制御部１から出力されたイントラ予測パラメータに基づく輝度成分のフレーム内予測を実施することで、輝度成分に対する予測画像を生成する処理を実施する。
【００３０】
切替スイッチ２２は符号化制御部１から出力されたイントラ予測パラメータのうち、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードである旨を示していれば、予測に用いる参照画素を色差信号方向性イントラ予測部２３に与え、色差信号のイントラ符号化モードを示すパラメータが、平滑化輝度相関利用色差信号予測モードである旨を示していれば、予測に用いる参照画素を輝度相関利用色差信号予測部２４に出力する処理を実施する。
【００３１】
色差信号方向性イントラ予測部２３は切替スイッチ２２から受け取った上記符号化ブロックに隣接している復号済みの色差参照画素を参照して、符号化制御部１から出力されたイントラ予測パラメータに基づく色差成分のフレーム内予測を実施することで、色差成分に対する予測画像を生成する処理を実施する。
輝度相関利用色差信号予測部２４は切替スイッチ２２から受け取った復号済みの画素のうち、符号化ブロックに隣接している復号済みの輝度参照画素及び色差参照画素と、当該符号化ブロック内の復号済みの輝度参照画素を用いて、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する処理を実施する。
なお、図５はこの発明の実施の形態１による動画像符号化装置のイントラ予測部４の処理内容を示すフローチャートである。
【００３２】
図４はこの発明の実施の形態１による動画像符号化装置の輝度相関利用色差信号予測部２４を示す構成図である。
図４において、平滑化輝度参照画素縮小部３１はイントラ予測用メモリ１０により格納されている符号化ブロックを構成している復号済みの輝度参照画素のうち、水平方向及び垂直方向に隣接している複数の輝度参照画素の平滑化処理等を実施することで、縮小輝度参照画素Ｒｅｃ’Lを生成する。
相関算出部３２はイントラ予測用メモリ１０により格納されている色差参照画素と平滑化輝度参照画素縮小部３１により生成された縮小輝度参照画素Ｒｅｃ’Lを用いて、輝度成分と色差成分の相関を示す相関パラメータα，βを算出する処理を実施する。
色差予測画像生成部３３は相関算出部３２により算出された相関パラメータα，βと平滑化輝度参照画素縮小部３１により生成された縮小輝度参照画素Ｒｅｃ’Lを用いて、色差成分に対する予測画像を生成する処理を実施する。
なお、図６はこの発明の実施の形態１による動画像符号化装置の輝度相関利用色差信号予測部２４の処理内容を示すフローチャートである。
【００３３】
図７はこの発明の実施の形態１による動画像符号化装置の可変長符号化部１３を示す構成図である。
図７において、変換係数可変長符号化部５１は変換・量子化部７から出力された圧縮データを可変長符号化する処理を実施する。
符号化パラメータ可変長符号化部５２は符号化制御部１から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータ、動き情報、符号化ブロックの分割状況を示すブロック分割情報などの符号化パラメータを可変長符号化する処理を実施する。
【００３４】
ここで、符号化パラメータのうち、最大値や絶対値の最大値が予め決定されている量子化パラメータ（量子化パラメータの予測差分値でもよい）、動きベクトル差分値、参照画像インデックス、ループフィルタのオフセット値などについては、例えば、Exponential Golomb符号に対して、最大値による制限を付与するMax Exponential Golomb符号を適用することにより、符号長をインデックス値に対して対数的な増加に抑制しつつ、符号長をExponential Golomb符号と比べて短くすることができる。
即ち、図２４に示すように、インデックス値indexと最大値prefix長であるmax_prefix_lengthが与えられると、以下のステップにしたがって符号を出力する。
（１）2n＜index+2を満たす最大の整数値ｎをprefix_lengthとして得る。
（２）prefix_length個の“０”を出力する第一の符号を出力する。
（３）prefix_lengthがmax_prefix_lengthと等しくない場合には、第二の符号として“１”を出力する。prefix_lengthがmax_prefix_lengthと等しい場合には、第二の符号を出力しない。
（４）index-2prefix_length-1-1をprefix_lengthビットの固定長符号で第三の符号として出力する。
出力された符号は算術符号化してビットストリームに多重化するよう構成してもよい。
なお、図２４では、第一の符号として“０”を、第二の符号として“１”を出力するように構成したが、逆に、第一の符号として“１”を、第二の符号として“０”を出力するように構成してもよい。
【００３５】
このように構成することにより、符号長をインデックス値に対して対数的な増加に抑制しつつ、第二の符号が条件によっては出力されないため、常に第二の符号を出力するExponential Golomb符号と比べて符号長を短くすることができる。
当然、Exponential Golomb符号と同様に、図２５に示すように第三の符号として予め設定されたオフセット値prefix_offsetをprefix_lengthに加算した(prefix_offset+prefix_length)の長さの固定長符号としてもよい。この場合、以下のように動作する。
2014007643.tif 000003
（２）prefix_length個の“１”を出力する第一の符号を出力する。
（３）prefix_lengthがmax_prefix_lengthと等しくない場合には、第二の符号として“０”を出力する。prefix_lengthがmax_prefix_lengthと等しい場合には、第二の符号を出力しない。
2014007643.tif 000004
【００３６】
具体的には、例えば量子化パラメータの予測値との差分値であるdeltaQpを符号化する場合、deltaQpの取りうる範囲が入力画像のビット精度であるbitDepthにより、-26-6×(bitDepth-8)から25+6×(bitDepth-8)の範囲で規定されているとすれば、図２６に示すように、deltaQpが0であるか否かを示す情報であるdeltaQpZeroを符号化し、deltaQpが0でない場合にはdeltaQpの正負符号であるdeltaQpSignを符号化すると共に、deltaQpの絶対値であるAbsDeltaQpを用いて、AbsDeltaQp-1をindexとし、prefix_offset=0とする上記Max Exponential Golomb符号を用いて、bitDepthが9以下の場合にはmax_prefix_length=3、bitDepthが10以上15以下であればmax_prefix_length=4として符号化することにより、prefix_lengthがmax_prefix_lengthとなる場合には上記第二の符号を出力せずに済むため、効率よくdeltaQpを符号化することができる。
【００３７】
また、参照画像インデックスであるref_indexを符号化する場合、図２７に示すように、当該スライスが取りうる最大の参照画像インデックスであるmax_ref_indexをスライスまたはピクチャのヘッダで符号化すると共に、ref_indexが0であるか否かを示す情報であるrefIndexZeroを符号化し、refIndexZeroが0でない場合には、2n＜max_ref_indexを満たす最大のnをmax_prefix_lengthとするprefix_offset=0の上記Max Exponential Golomb符号を用いて、ref_index-1をindexとして符号化することにより、prefix_lengthがmax_prefix_lengthとなる場合には上記第二の符号を出力せずに済むため、効率よくref_indexを符号化することができる。
【００３８】
また、ループフィルタのオフセット値であるsao_offsetを符号化する場合、sao_offsetの取りうる範囲が入力画像のビット精度であるbitDepthにより-2bitDepth-6から2bitDepth-6の範囲で規定されているとすれば、図２８に示すように、sao_offsetが0であるか否かを示す情報であるSaoOffsetZeroを符号化し、sao_offsetが0でない場合にはsao_offset正負符号であるsaoOffsetSignを符号化すると共に、sao_offsetの絶対値であるAbsSaoOffsetを用いて、AbsSaoOffset-1をindexとし、prefix_offset=0とする上記Max Exponential Golomb符号を用いて、max_prefix_length=bitDepth-3として符号化することにより、prefix_lengthがmax_prefix_lengthとなる場合には上記第二の符号を出力せずに済むため、効率よくsao_offsetを符号化することができる。
【００３９】
また、動きベクトル差分値であるmvdを符号化する場合、図２９に示すように、当該スライスにおける動きベクトルの探索範囲mv_range=2ＳＲのSRの値をスライスまたはピクチャ、あるいはシーケンスのヘッダで符号化すると共に、mvdが0であるか否かを示す情報であるmvdZeroを符号化し、mvdが0でない場合にはmvdの正負符号であるmvdSignを符号化すると共に、mvdの絶対値であるAbsMvdを用いて、AbsMvdが1より大きいか否かを示すAbsMvdGt1を符号化する。AbsMvdが1より大きい場合には、AbsMvd-2をindexとし、prefix_offset=1とする上記Max Exponential Golomb符号を用いて、max_prefix_length=SR+1として符号化することにより、prefix_lengthがmax_prefix_lengthとなる場合には上記第二の符号を出力せずに済むため、効率よくmvdを符号化することができる。
【００４０】
変換係数可変長符号化部５１により可変長符号化された圧縮データの符号化データと、符号化パラメータ可変長符号化部５２により可変長符号化された符号化パラメータとは多重化されてビットストリームが生成される。
【００４１】
図８は図７の可変長符号化部１３における変換係数可変長符号化部５１を示す構成図である。
図８において、変換ブロックスキャン部６１は変換・量子化部７から出力された圧縮データである変換係数をサブブロックに分割し、各々のサブブロックの変換係数をスキャンして圧縮データ系列を生成するとともに、各々のサブブロックの変換係数が非零であるか否かを示す係数パラメータであるsignificant＿coeff＿flag及び各々のサブブロックにおける非零係数の有無を示すパラメータであるSigCoeffGroupFlagを出力する処理を実施する。なお、変換ブロックスキャン部６１は係数スキャン手段を構成している。
【００４２】
ＰｏｓＬａｓｔ符号化部６２は変換ブロックスキャン部６１から出力された係数パラメータであるsignificant＿coeff＿flagを参照して、その圧縮データ系列の中で、スキャン順（変換ブロックスキャン部６１による変換係数のスキャン順）で最も後ろにある非零の変換係数（最後の非零の変換係数）を特定し、その変換係数の位置を示すＰｏｓＬａｓｔ（最後位置情報）をサブブロック符号化部６６に出力するとともに、そのＰｏｓＬａｓｔを可変長符号化する処理を実施する。なお、ＰｏｓＬａｓｔ符号化部６２は最後位置情報符号化手段を構成している。
係数パラメータ格納用メモリ６３は変換ブロックスキャン部６１から出力された係数パラメータであるSigCoeffGroupFlagを格納するＲＡＭなどの記録媒体である。
【００４３】
並列コンテキスト値算出部６４は係数パラメータ格納用メモリ６３により格納された当該サブブロックの下及び右に隣接するサブブロックの係数パラメータSigCoeffGroupFlagの値に応じて、当該サブブロック内の各周波数成分の位置における係数パラメータsignificant＿coeff＿flagのコンテキスト値ctxIdxを算出する処理を実施する。
【００４４】
生起確率格納用メモリ６５はコンテキスト値ctxIdxに対応する生起確率（算術符号化に用いる生起確率）を格納するＲＡＭなどの記録媒体である。
サブブロック符号化部６６は並列コンテキスト値算出部６４からスキャン順（変換ブロックスキャン部６１による変換係数のスキャン順）でＰｏｓＬａｓｔが示す位置より後ろにある係数パラメータ以外の係数パラメータ（ＰｏｓＬａｓｔが示す位置にある係数パラメータと、ＰｏｓＬａｓｔが示す位置より前にある係数パラメータ）のコンテキスト値ctxIdxを取得して、生起確率格納用メモリ６５から上記コンテキスト値ctxIdxに対応する生起確率を取得し、その生起確率に基づいて上記係数パラメータを算術符号化する処理を実施する。
また、サブブロック符号化部６６は、その係数パラメータが非零である旨を示していれば、その係数パラメータに係る変換係数の絶対値及び正負の符号を可変長符号化する処理を実施する。この場合、生起確率格納用メモリ６５と異なる生起確率格納用メモリ（変換係数の絶対値等を算術符号化するために、コンテキスト値ctxIdxに対応する生起確率を格納しているメモリ）から、コンテキスト値ctxIdxに対応する生起確率を取得し、その生起確率に基づいて、その係数パラメータに係る変換係数の絶対値及び正負の符号を算術符号化する。
【００４５】
ただし、サブブロック符号化部６６は、上記のスキャン順で、各々のサブブロック内の最初の非零の変換係数の位置と最後の非零の変換係数の位置との位置差が所定の閾値以上であれば、最初の非零の変換係数については、正負符号を可変長符号化せずに絶対値だけを可変長符号化し、その位置差が上記閾値より小さければ、最初の非零の変換係数についても、正負符号及び絶対値を可変長符号化する。
なお、サブブロック符号化部６６は符号絶対値符号化手段を構成している。
【００４６】
図９はこの発明の実施の形態１による動画像復号装置を示す構成図である。
図９において、可変長復号部４１はイントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ及び最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数を特定することで、ビットストリームに多重化されている符号化データの中で、最大サイズの符号化ブロック及び階層的に分割されている符号化ブロックに係る符号化データを特定し、各々の符号化データから符号化ブロックに係る圧縮データ、符号化モード、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ、ブロックの動き量の予測値を示すインデックスである動きベクトル予測インデックスや動き量の予測差分値を示す差分動きベクトル情報及び参照画像のインデックスを示す参照画像インデックスなどの動き情報、ブロック分割情報、ループフィルタのオフセット値やフィルタモードなどを示すフィルタパラメータなどを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部４５に出力するとともに、その符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ４２に出力する処理を実施する。
【００４７】
ここで、符号化パラメータのうち、最大値や絶対値の最大値が予め決定されている量子化パラメータ（量子化パラメータの予測差分値でもよい）、動きベクトル差分値、参照画像インデックス、ループフィルタのオフセット値などについては、例えば、Exponential Golomb符号に対して、最大値による制限を付与するMax Exponential Golomb符号を適用することにより、符号長をインデックス値に対して対数的な増加に抑制しつつ、符号長をExponential Golomb符号と比べて短くすることができる。
即ち、図２４に示すように、最大値prefix長であるmax_prefix_lengthが与えられると、以下のステップにしたがって符号を復号する。
（１）第一の符号である連続する“０”を最大でmax_prefix_length個復号し、その数をprefix_lengthとする。
（２）prefix_lengthがmax_prefix_lengthと等しくない場合には、第二の符号として“１”を復号する。prefix_lengthがmax_prefix_lengthと等しい場合には、第二の符号を復号しない。
（３）prefix_lengthビットの固定長符号を第三の符号として復号し、その値をtempとする。
（４）temp+2n-1-1をindex値として出力する。
なお、図２４では、第一の符号として“０”を、第二の符号として“１”を復号するように構成したが、逆に、第一の符号として“１”を、第二の符号として“０”を復号するように構成してもよい。
【００４８】
当然ビットストリームを算術復号して得られる二値シンボル系列に対して、上記処理を行うよう構成してもよい。このように構成することにより、符号長をインデックス値に対して対数的な増加に抑制しつつ、Exponential Golomb符号と比べて符号長が短いMax Exponential Golomb符号を復号することができる。
当然、Exponential Golomb符号と同様に、図２５に示すように第三の符号として予め設定されたオフセット値prefix_offsetをprefix_lengthに加算した(prefix_offset+prefix_length)の長さの固定長符号として復号するよう構成してもよい。この場合、以下のように動作する。
【００４９】
（１）第一の符号である連続する“１”を最大でmax_prefix_length個復号し、その数をprefix_lengthとする。prefix_lengthがmax_prefix_lengthと等しい場合には、第二の符号を復号しない。
（２）prefix_offset+prefix_lengthビットの固定長符号を第三の符号として復号し、その値をtempとする。
2014007643.tif 000005
具体的には、例えば量子化パラメータの予測値との差分値であるdeltaQpを復号する場合、deltaQpの取りうる範囲が入力画像のビット精度であるbitDepthにより、-26-6×(bitDepth-8)から25+6×(bitDepth-8)の範囲で規定されているとすれば、図２６に示すように、deltaQpが0であるか否かを示す情報であるdeltaQpZeroを復号し、deltaQpが0でないことを示す場合にはdeltaQpの正負符号であるdeltaQpSignを復号すると共に、prefix_offset=0とする上記Max Exponential Golomb符号を用いて、bitDepthが9以下の場合にはmax_prefix_length=3、bitDepthが10以上15以下であればmax_prefix_length=4として復号されたindex値から、deltaQpの絶対値であるAbsDeltaQp=index+1として復号する。delta_Qp_ZeroがdeltaQpが0であることを示す場合には、delta_qp=0が得られ、それ以外の場合にはAbsDeltaQpとdeltaQpSignを用いてdelta_qpが得られる。これにより、prefix_lengthがmax_prefix_lengthとなる場合には上記第二の符号を復号せずに済むため、効率よく符号化されたdelta_qpを好適に復号することができる。
【００５０】
また、参照画像インデックスであるref_indexを復号する場合、図２７に示すように、スライスまたはピクチャのヘッダに多重化された当該スライスが取りうる最大の参照画像インデックスであるmax_ref_indexを復号すると共に、ref_indexが0であるか否かを示す情報であるrefIndexZeroを復号し、refIndexZeroが0でない場合には、2n＜max_ref_indexを満たす最大のnをmax_prefix_lengthとするprefix_offset=0の上記Max Exponential Golomb符号を用いて復号されたindex値から、ref_index=index+1として復号することにより、prefix_lengthがmax_prefix_lengthとなる場合には上記第二の符号を復号せずに済むため、効率よく符号化されたref_indexを好適に復号することができる。
【００５１】
また、ループフィルタのオフセット値であるsao_offsetを復号する場合、sao_offsetの取りうる範囲が入力画像のビット精度であるbitDepthにより、-2bitDepth-6から2bitDepth-6の範囲で規定されているとすれば、図２８に示すように、sao_offsetが0であるか否かを示す情報であるSaoOffsetZeroを復号し、sao_offsetが0でない場合にはsao_offset正負符号であるsaoOffsetSignを復号すると共に、prefix_offset=0とする上記Max Exponential Golomb符号を用いて、max_prefix_length=bitDepth-3として復号することにより得られるindex値から、sao_offsetの絶対値であるAbsSaoOffsetをAbsSaoOffset=index+1として復号することにより、prefix_lengthがmax_prefix_lengthとなる場合には上記第二の符号を復号せずに済むため、効率よく符号化されたsao_offsetを好適に復号することができる。
【００５２】
また、動きベクトル差分値であるmvdを復号する場合、図２９に示すように、スライスまたはピクチャ、あるいはシーケンスのヘッダに多重化された当該スライスにおける動きベクトルの探索範囲を表す情報であるSRを復号すると共に、mvdが0であるか否かを示す情報であるmvdZeroを復号し、mvdが0でない場合にはmvdの正負符号であるmvdSignを復号すると共に、mvdの絶対値であるAbsMvdが1より大きいか否かを示すAbsMvdGt1を復号する。AbsMvdGt1がAbsMvdの絶対値が1より大きいことを示している場合には、prefix_offset=1とする上記Max Exponential Golomb符号を用いて、max_prefix_length=SR+1として復号することにより得られるindex値から、AbsMvd=index+2として復号することにより、prefix_lengthがmax_prefix_lengthとなる場合には上記第二の符号を復号せずに済むため、効率よく符号化されたmvdを好適に復号することができる。
なお、可変長復号部４１は可変長復号手段を構成している。
【００５３】
切替スイッチ４２は可変長復号部４１から出力された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、可変長復号部４１から出力されたイントラ予測パラメータをイントラ予測部４３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部４１から出力されたインター予測パラメータを動き補償部４４に出力する処理を実施する。
イントラ予測部４３はイントラ予測用メモリ４７により格納されている符号化ブロックに隣接している復号済みの画素を用いて、切替スイッチ４２から出力されたイントラ予測パラメータに基づいて、符号化ブロックに対するフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
【００５４】
動き補償部４４は動き補償予測フレームメモリ４９により格納されている１フレーム以上の参照画像を用いて、切替スイッチ４２から出力されたインター予測パラメータに基づいて、符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
【００５５】
逆量子化・逆変換部４５は可変長復号部４１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部４１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として出力する処理を実施する。
即ち、逆量子化・逆変換部４５は可変長復号部４１から出力された予測差分符号化パラメータに含まれている変換ブロック分割フラグに基づいて階層的に分割された画像信号の変換ブロック形状を特定し、変換ブロック単位で逆量子化処理・逆変換処理を行う。
【００５６】
加算部４６は逆量子化・逆変換部４５から出力された復号予測差分信号とイントラ予測部４３又は動き補償部４４により生成された予測画像を示す予測信号を加算することで、復号画像を示す復号画像信号を生成する処理を実施する。
イントラ予測用メモリ４７はイントラ予測部４３により次回のイントラ予測処理で用いられる画像として、加算部４６により生成された復号画像信号が示す復号画像を格納するＲＡＭなどの記録媒体である。
ループフィルタ部４８は加算部４６により生成された復号画像信号に含まれている符号化歪みを補償するために、可変長復号部４１から出力されたオフセット値を復号画像信号に加算したり、可変長復号部４１から出力されたフィルタモードに基づきフィルタリングを施すなどの処理を実施し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ４９に出力するとともに、その復号画像を再生画像として外部に出力する処理を実施する。
動き補償予測フレームメモリ４９は動き補償部４４により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部４８によるフィルタリング処理後の復号画像を格納するＲＡＭなどの記録媒体である。
【００５７】
図９では、動画像復号装置の構成要素である可変長復号部４１、切替スイッチ４２、イントラ予測部４３、動き補償部４４、逆量子化・逆変換部４５、加算部４６及びループフィルタ部４８のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、動画像復号装置がコンピュータなどで構成される場合、可変長復号部４１、切替スイッチ４２、イントラ予測部４３、動き補償部４４、逆量子化・逆変換部４５、加算部４６及びループフィルタ部４８の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図１０はこの発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。
【００５８】
図１１はこの発明の実施の形態１による動画像復号装置の可変長復号部４１を示す構成図である。
図１１において、変換係数可変長復号部７１はビットストリームに多重化された符号化データから圧縮データである変換係数を可変長復号する処理を実施する。
符号化パラメータ可変長復号部７２はビットストリームに多重化された符号化データから符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ、動き情報、ブロック分割情報などの符号化パラメータを可変長復号する処理を実施する。
【００５９】
図１２は図１１の可変長復号部４１における変換係数可変長復号部７１を示す構成図である。
図１２において、ＰｏｓＬａｓｔ復号部８１はビットストリームに多重化された符号化データからＰｏｓＬａｓｔ（最後位置情報）を可変長復号する処理を実施する。なお、ＰｏｓＬａｓｔ復号部８１は最後位置情報復号手段を構成している。
係数パラメータ格納用メモリ８２はサブブロック復号部により可変長復号された係数パラメータである各々のサブブロックにおける非零係数の有無を示すSigCoeffGroupFlagを格納するＲＡＭなどの記録媒体である。
【００６０】
並列コンテキスト値算出部８３は係数パラメータ格納用メモリ８２により格納された当該サブブロックの下および右に隣接するサブブロックの係数パラメータSigCoeffGroupFlagの値に応じて、当該サブブロック内の各周波数成分の位置における係数パラメータsignificant＿coeff＿flagのコンテキスト値ctxIdxを算出する処理を実施する。
生起確率格納用メモリ８４はコンテキスト値ctxIdxに対応する生起確率（算術復号に用いる生起確率）を格納するＲＡＭなどの記録媒体である。
【００６１】
サブブロック復号部８５は並列コンテキスト値算出部８３からＰｏｓＬａｓｔが示す位置より後ろにある係数パラメータ以外の係数パラメータ（ＰｏｓＬａｓｔが示す位置にある係数パラメータと、ＰｏｓＬａｓｔが示す位置より前にある係数パラメータ）のコンテキスト値ctxIdxを取得して、生起確率格納用メモリ８４から上記コンテキスト値ctxIdxに対応する生起確率を取得し、その生起確率に基づいてビットストリームに多重化された符号化データから係数パラメータを算術復号する処理を実施する。
また、サブブロック復号部８５は、その係数パラメータが非零である旨を示していれば、ビットストリームに多重化された符号化データから、その係数パラメータに係る変換係数の絶対値及び正負の符号を算術復号する処理を実施する。この場合、生起確率格納用メモリ８４と異なる生起確率格納用メモリ（変換係数の絶対値等を算術復号するために、コンテキスト値ctxIdxに対応する生起確率を格納しているメモリ）から、コンテキスト値ctxIdxに対応する生起確率を取得し、その生起確率に基づいて、その係数パラメータに係る変換係数の絶対値及び正負の符号を算術復号する。
【００６２】
ただし、サブブロック復号部８５は、スキャン順で、各々のサブブロック内の最初の非零の変換係数の位置と最後の非零の変換係数の位置との位置差が所定の閾値以上である場合、最初の非零の変換係数の正負符号を復号せずに絶対値だけを可変長復号し、最後の非零の変換係数の位置がスキャン順で偶数位置であれば、最初の非零の変換係数の正負符号を正とし、最後の非零の変換係数の位置がスキャン順で奇数位置であれば、最初の非零の変換係数の正負符号を負とする。
なお、サブブロック復号部８５は符号絶対値復号手段を構成している。
変換係数逆スキャン部８６はサブブロック復号部８５により算術復号された係数パラメータ、絶対値及び正負の符号からなる変換係数を逆スキャンして圧縮データを生成する処理を実施する。
【００６３】
この実施の形態１の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズの領域に分割してフレーム内・フレーム間適応符号化を行う。
一般に映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有し、空間的に見ると、ある特定の映像フレーム上では、例えば、空や壁などのように、比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画などでは、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
【００６４】
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化が小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
符号化処理は、時間・空間的な予測によって、信号電力やエントロピーが小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測処理に用いる予測パラメータをできるだけ大きな画像信号領域に対して均一に適用することができれば、予測パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化が大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測誤りが増えてしまうため、予測差分信号の符号量を削減することができない。
したがって、時間的・空間的に変化が大きい領域では、予測対象の領域を小さくして、予測処理に用いる予測パラメータのデータ量を増やしても、予測差分信号の電力・エントロピーを低減する方が望ましい。
このような映像信号の一般的な性質に適応している符号化処理を行うため、この実施の形態１の動画像符号化装置では、所定の最大ブロックサイズから映像信号の領域を階層的に分割し、分割領域毎に予測処理や予測差分の符号化処理を適応化する構成を採用している。
【００６５】
次に動作について説明する。
最初に、図１の動画像符号化装置の処理内容を説明する。
まず、符号化制御部１は、イントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（図２のステップＳＴ１）。
【００６６】
符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定する方法が考えられる。
また、入力画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
上限の階層数については、例えば、入力画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。
【００６７】
また、符号化制御部１は、利用可能な１以上の符号化モード（Ｍ種類のイントラ符号化モード、Ｎ種類のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する（ステップＳＴ２）。予め用意されているＭ種類のイントラ符号化モードについては後述する。
ただし、後述するブロック分割部２により階層的に分割された各々の符号化ブロックが更にパーティション単位に分割される場合は、各々のパーティションに対応する符号化モードを選択することが可能である。
以下、この実施の形態１では、各々の符号化ブロックが更にパーティション単位に分割されるものとして説明する。
符号化制御部１による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
【００６８】
また、符号化制御部１は、各々の符号化ブロックに含まれているパーティション毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する。
符号化制御部１は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力する。また、予測差分符号化パラメータを必要に応じてイントラ予測部４に出力する。
【００６９】
ブロック分割部２は、入力画像を示す映像信号を入力すると、その入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。また、その符号化ブロックをパーティション単位に分割する（ステップＳＴ３）。
ここで、図１３は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
図１３の例では、最大サイズの符号化ブロックは、第０階層の符号化ブロックＢ0であり、輝度成分で（Ｌ0，Ｍ0）のサイズを有している。
また、図１３の例では、最大サイズの符号化ブロックＢ0を出発点として、４分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックＢnを得ている。
【００７０】
深さｎにおいては、符号化ブロックＢnはサイズ（Ｌn，Ｍn）の画像領域である。
ただし、ＬnとＭnは同じであってもよいし異なっていてもよいが、図１３の例ではＬn＝Ｍnのケースを示している。
以降、符号化ブロックＢnのサイズは、符号化ブロックＢnの輝度成分におけるサイズ（Ｌn，Ｍn）と定義する。
【００７１】
ブロック分割部２では、４分木分割を行うため、常に（Ｌn＋1，Ｍn＋1）＝（Ｌn／２，Ｍn／２）が成立する。
ただし、ＲＧＢ信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌn，Ｍn）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズは（Ｌn／２，Ｍn／２）である。
以降、第ｎ階層の符号化ブロックＢnで選択しうる符号化モードをｍ（Ｂn）と表記する。
【００７２】
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂn）は、色成分ごとに、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードのことを指すものとして説明を行う。
符号化モードｍ（Ｂn）には、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」）、１つないし複数のインター符号化モード（総称して「ＩＮＴＥＲ」）があり、符号化制御部１は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックＢnに対して最も符号化効率がよい符号化モードを選択する。
【００７３】
符号化ブロックＢnは、図１３に示すように、更に１つないし複数の予測処理単位（パーティション）に分割される。
以降、符号化ブロックＢnに属するパーティションをＰin（ｉ： 第ｎ階層におけるパーティション番号）と表記する。図１４は符号化ブロックＢnに属するパーティションＰinを示す説明図である。
符号化ブロックＢnに属するパーティションＰinの分割がどのようになされているかは符号化モードｍ（Ｂn）の中に情報として含まれる。
パーティションＰinは、すべて符号化モードｍ（Ｂn）に従って予測処理が行われるが、パーティションＰin毎に、個別の予測パラメータを選択することができる。
【００７４】
符号化制御部１は、最大サイズの符号化ブロックに対して、例えば、図１５に示すようなブロック分割状態を生成して、符号化ブロックＢnを特定する。
図１５（ａ）の斜線部分は分割後のパーティションの分布を示し、また、図１５（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂn）が割り当てられる状況を４分木グラフで示している。
図１５（ｂ）において、□で囲まれているノードが、符号化モードｍ（Ｂn）が割り当てられたノード（符号化ブロックＢn）を示している。
また、符号化制御部１は、分割後のパーティションに対して、前述の通りに、変換ブロックの分割形状を決定する。
【００７５】
切替スイッチ３は、符号化制御部１がイントラ符号化モードを選択すると（ｍ（Ｂn）∈ＩＮＴＲＡ）、ブロック分割部２により分割された符号化ブロックＢnに属するパーティションＰinをイントラ予測部４に出力し、符号化制御部１がインター符号化モードを選択すると（ｍ（Ｂn）∈ＩＮＴＥＲ）、その符号化ブロックＢnに属するパーティションＰinを動き補償予測部５に出力する。
【００７６】
イントラ予測部４は、切替スイッチ３から符号化ブロックＢnに属するパーティションＰinを受けると（ステップＳＴ４）、具体的な処理内容は後述するが、符号化制御部１により決定されたイントラ予測パラメータに基づいて、各パーティションＰinに対するイントラ予測処理を実施することにより、イントラ予測画像（Ｐin）を生成する（ステップＳＴ５）。
以下、この明細書では、Ｐinはパーティションを示し、（Ｐin）はパーティションＰinの予測画像を示すものとする。
【００７７】
イントラ予測画像（Ｐin）の生成に用いられるイントラ予測パラメータは、動画像復号装置側でも、全く同じイントラ予測画像（Ｐin）を生成する必要があるため、可変長符号化部１３によってビットストリームに多重化される。
なお、イントラ予測パラメータとして選択できるイントラ予測方向数は、処理対象となるブロックのサイズに応じて異なるように構成してもよい。
大きいサイズのパーティションでは、イントラ予測の効率が低下するため、選択できるイントラ予測方向数を少なくし、小さいサイズのパーティションでは、選択できるイントラ予測方向数を多くするように構成することができる。
例えば、４×４画素パーティションや８×８画素パーティションでは３４方向、１６×１６画素パーティションでは１７方向、３２×３２画素パーティションでは９方向などのように構成してもよい。
【００７８】
動き補償予測部５は、切替スイッチ３から符号化ブロックＢnに属するパーティションＰinを受けると（ステップＳＴ４）、符号化制御部１により決定されたインター予測パラメータに基づいて、各パーティションＰinに対するインター予測処理を実施することにより、インター予測画像（Ｐin）を生成する（ステップＳＴ６）。
即ち、動き補償予測部５は、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで、インター予測画像（Ｐin）を生成する。
インター予測画像（Ｐin）の生成に用いられるインター予測パラメータは、動画像復号装置側でも、全く同じインター予測画像（Ｐin）を生成する必要があるため、可変長符号化部１３によってビットストリームに多重化される。
【００７９】
減算部６は、イントラ予測部４又は動き補償予測部５から予測画像（Ｐin）を受けると、ブロック分割部２により分割された符号化ブロックＢnに属するパーティションＰinから、その予測画像（Ｐin）を減算することで、その差分画像を示す予測差分信号ｅinを生成する（ステップＳＴ７）。
【００８０】
変換・量子化部７は、減算部６が予測差分信号ｅinを生成すると、符号化制御部１で決定された変換ブロックサイズ単位で、その予測差分信号ｅinに対する変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その予測差分信号ｅinの変換係数を量子化することで、量子化後の変換係数である差分画像の圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ８）。
即ち、変換・量子化部７は、減算部６が予測差分信号ｅinを生成すると、予測差分信号ｅinに対する変換・量子化処理を実施する場合、ブロック分割部２により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の変換・量子化処理を実施する。
【００８１】
逆量子化・逆変換部８は、変換・量子化部７から圧縮データを受けると、符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として加算部９に出力する（ステップＳＴ９）。
【００８２】
加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４又は動き補償予測部５により生成された予測画像（Ｐin）を示す予測信号とを加算することで、局所復号パーティション画像ないしはその集まりとしての局所復号符号化ブロック画像（以下、「局所復号画像」と称する）を示す局所復号画像信号を生成し、その局所復号画像信号をループフィルタ部１１に出力する（ステップＳＴ１０）。
また、イントラ予測用メモリ１０には、イントラ予測に用いるために、当該局所復号画像が格納される。
【００８３】
ループフィルタ部１１は、加算部９から局所復号画像信号を受けると、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に格納する（ステップＳＴ１１）。
ここで、符号化歪は変換ブロック境界に沿って発生するため、変換ブロック境界に対して符号化歪の補償を行う。小さい変換ブロックについては、変換ブロック境界の符号化歪が目立ちにくいので、ヘッダで最小ループフィルタ適用ブロックサイズをシグナリングし、変換ブロックサイズが最小ループフィルタ適用ブロックサイズより大きいブロックに対してのみ符号化歪補償を適用するよう構成してもよい。
このようにすれば、不要な符号化歪補償を省略できるので、画質を保ちつつ演算量を削減することができる。また、輝度信号と色差信号では、変換ブロックの分割形状が異なるので、符号化歪補償は輝度信号と色差信号でそれぞれ変換ブロックの分割形状を特定して処理するよう構成する。
なお、ループフィルタ部１１によるフィルタリング処理は、入力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する局所復号画像信号が入力された後に１画面分まとめて行ってもよい。
【００８４】
ステップＳＴ４〜ＳＴ１０の処理は、ブロック分割部２により分割された全ての符号化ブロックＢnに属するパーティションＰinに対する処理が完了するまで繰り返し実施される（ステップＳＴ１２）。
可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータとを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データが多重化されているビットストリームを生成する（ステップＳＴ１３）。
可変長符号化部１３の処理内容の詳細は後述する。
【００８５】
次に、イントラ予測部４の処理内容を具体的に説明する。
図１６は符号化ブロックＢnに属する各パーティションＰinにおいて選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。
図１６の例では、イントラ予測モードに対応する予測方向ベクトルを示しており、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。
【００８６】
まず、イントラ予測部４の輝度信号イントラ予測部２１は、ブロック分割部２により分割された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する（図５のステップＳＴ２１）。
以下、輝度信号イントラ予測部２１の処理内容を具体的に説明する。
ここでは、イントラ予測部４の輝度信号イントラ予測部２１が、パーティションＰinの輝度信号に対するイントラ予測パラメータ（イントラ予測モード）に基づいて、その輝度信号のイントラ予測信号を生成するイントラ処理について説明する。
説明の便宜上、パーティションＰinのサイズをｌin×ｍin画素とする。
【００８７】
図１７はｌin＝ｍin＝４の場合において、パーティションＰin内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図１７の例では、パーティションＰinに隣接している符号化済みの上パーティションの画素（（２×ｌin＋１）個の画素）と、左パーティションの画素（（２×ｍin）個の画素）を予測に用いる参照画素としているが、予測に用いる画素は、図１７に示す画素より多くても少なくてもよい。
また、図１７の例では、隣接している１行又は１列分の画素を予測に用いているが、２行又は２列分の画素、あるいは、それ以上の画素を予測に用いてもよい。
【００８８】
輝度信号イントラ予測部２１は、例えば、パーティションＰinに対するイントラ予測モードのインデックス値が２（平均値予測）である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションＰin内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルｖp＝（ｄｘ，ｄｙ）に基づいて、パーティションＰin内の画素の予測値を生成する。
予測値を生成する画素（予測対象画素）のパーティションＰin内の相対座標（パーティションの左上画素を原点とする）を（ｘ，ｙ）とすると、予測に用いる参照画素の位置は、下記に示すＬと、隣接画素の交点となる。
2014007643.tif 000006
ただし、ｋは正のスカラ値である。
【００８９】
参照画素が整数画素位置にある場合、その整数画素を予測対象画素の予測値とする。参照画素が整数画素位置にない場合、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図１７の例では、参照画素が整数画素位置にないので、参照画素に隣接する２画素の平均値を予測値としている。
なお、隣接する２画素のみではなく、隣接する２画素以上の画素から補間画素を生成して予測値としてもよい。
【００９０】
輝度信号イントラ予測部２１は、同様の手順で、パーティションＰin内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像（Ｐin）を出力する。
イントラ予測画像（Ｐin）の生成に用いているイントラ予測パラメータは、上述したように、ビットストリームに多重化するために可変長符号化部１３に出力される。
【００９１】
イントラ予測部４の切替スイッチ２２は、符号化制御部１から出力されたイントラ予測パラメータのうち、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードであるのか、平滑化輝度相関利用色差信号予測モードであるのかを判定する（ステップＳＴ２２）。
切替スイッチ２２は、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードである旨を示していれば、予測に用いる参照画素を色差信号方向性イントラ予測部２３に与え、色差信号のイントラ符号化モードを示すパラメータが、平滑化輝度相関利用色差信号予測モードである旨を示していれば、予測に用いる参照画素を輝度相関利用色差信号予測部２４に与える。
【００９２】
ここで、図１８は色差信号のイントラ予測パラメータと色差イントラ予測モードの対応例を示す説明図である。
図１８の例では、色差信号イントラ予測パラメータが“３４”である場合には、予測に用いる参照画素が輝度相関利用色差信号予測部２４に与えられ、色差信号イントラ予測パラメータが“３４”以外である場合には、予測に用いる参照画素が色差信号方向性イントラ予測部２３に与えられることになる。
【００９３】
色差信号方向性イントラ予測部２３は、切替スイッチ２２から予測に用いる参照画素を受けると、パーティションＰinに隣接している復号済みの色差参照画素を参照して、符号化制御部１から出力されたイントラ予測パラメータに基づく色差成分のフレーム内予測を実施することで、色差成分に対する予測画像を生成する（ステップＳＴ２３）。
色差信号方向性イントラ予測部２３におけるイントラ予測の対象が色差信号であり、イントラ予測の対象が輝度信号である輝度信号イントラ予測部２１と異なるが、イントラ予測の処理内容自体は輝度信号イントラ予測部２１と同様である。よって、方向性予測、水平予測、垂直予測、ＤＣ予測などを行うことにより、色差信号のイントラ予測画像が生成される。
【００９４】
輝度相関利用色差信号予測部２４は、切替スイッチ２２から予測に用いる参照画素を受けると、符号化ブロックであるパーティションＰinに隣接している復号済みの輝度参照画素及び色差参照画素と、パーティションＰin内の復号済みの輝度参照画素（輝度信号イントラ予測部２１により先に生成されたパーティションＰinのイントラ予測画像（Ｐin）から得られた局所復号画像内の輝度参照画素）とを用いて、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する（ステップＳＴ２４）。
以下、輝度相関利用色差信号予測部２４の処理内容を具体的に説明する。
【００９５】
輝度相関利用色差信号予測部２４の平滑化輝度参照画素縮小部３１は、イントラ予測用メモリ１０により格納されているパーティションＰinを構成している復号済みの輝度参照画素（輝度信号イントラ予測部２１により先に生成されたパーティションＰinのイントラ予測画像（Ｐin）から得られた局所復号画像内の輝度参照画素）のうち、水平方向及び垂直方向に隣接している複数の輝度参照画素の平滑化処理等を実施することで、縮小輝度参照画素Ｒｅｃ’Lを生成する（図６のステップＳＴ３１）。
即ち、平滑化輝度参照画素縮小部３１は、図１９に示すように、パーティションＰin内の色差信号の予測ブロック（図中、左側のＮ×Ｎのブロック）に対応するブロック（図中、右側の２Ｎ×２Ｎのブロック）内の復号済の画素値である復号済輝度信号と、その復号済輝度信号の上端と左端に隣接している復号済輝度信号とを用いて、縮小輝度参照画素Ｒｅｃ’Lを生成する。
ここで、縮小輝度参照画素Ｒｅｃ’Lは、図２０に示すように、ＹＵＶ４：２：０信号において、色差信号画素と同位相になるように、輝度参照画素ＲｅｃLに対して、横方向に１：２：１のローパスフィルタ、縦方向に１：１のローパスフィルタを施した後に、縦横に偶数列のみをサブサンプリングすることで得られる。
【００９６】
輝度相関利用色差信号予測部２４の相関算出部３２は、平滑化輝度参照画素縮小部３１が縮小輝度参照画素Ｒｅｃ’Lを生成すると、その縮小輝度参照画素Ｒｅｃ’Lと、色差信号の予測ブロックの上端及び左端に隣接している色差信号の復号済の画素値である色差参照画素ＲｅｃCとを用いて、下記の式（１）及び式（２）に示すように、予測に用いる相関パラメータα，βを算出する（ステップＳＴ３２）。
2014007643.tif 000007
2014007643.tif 000008
式（１），（２）において、Ｉは処理対象となる色差信号の予測ブロックの１辺の画素数の２倍の値である。
【００９７】
色差予測画像生成部３３は、相関算出部３２が相関パラメータα，βを算出すると、その相関パラメータα，βと縮小輝度参照画素Ｒｅｃ’Lを用いて、下記の式（３）に示すように、色差予測画像ＰｒｅｄCを生成する（ステップＳＴ３３）。
2014007643.tif 000009
【００９８】
なお、イントラ予測は、画面内の未知の領域を既知の領域から予測する手段であるが、輝度信号と色差信号のテクスチャには相関があり、空間方向については、近傍画素同士は画素値の変化が小さいため、予測ブロックに隣接する復号済の輝度信号と色差信号を利用して輝度信号と色差信号の相関パラメータを算出し、その輝度信号と相関パラメータから色差信号を予測することにより、予測効率を向上させることができる。
この際、ＹＵＶ４：２：０信号では、輝度信号と色差信号の解像度が異なるため、輝度信号をサブサンプリングする必要があるが、ローパスフィルタを施すことによりエイリアシングの発生を抑えることができ、予測効率を向上させることができる。
【００９９】
可変長符号化部１３は、上述したように、イントラ予測部４から出力されたイントラ予測パラメータを可変長符号化して、そのイントラ予測パラメータの符号語をビットストリームに多重化するが、イントラ予測パラメータを符号化する際に、複数の方向性予測の予測方向ベクトルの中から、代表的な予測方向ベクトル（予測方向代表ベクトル）を選択し、イントラ予測パラメータを予測方向代表ベクトルのインデックス（予測方向代表インデックス）と予測方向代表ベクトルからの差分を表すインデックス（予測方向差分インデックス）で表して、それぞれのインデックス毎に、確率モデルに応じた算術符号化などのハフマン符号化を行うことで、符号量を削減して符号化するよう構成してもよい。
【０１００】
以下、可変長符号化部１３の処理内容を具体的に説明する。
可変長符号化部１３は、図７に示すように、変換係数可変長符号化部５１及び符号化パラメータ可変長符号化部５２から構成されており、符号化パラメータ可変長符号化部５２は、符号化制御部１から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータ、動き情報、符号化ブロックの分割状況を示すブロック分割情報などの符号化パラメータを可変長符号化する。
また、変換係数可変長符号化部５１は、変換・量子化部７から出力された圧縮データを可変長符号化する。
【０１０１】
即ち、変換係数可変長符号化部５１の変換ブロックスキャン部６１は、変換・量子化部７から圧縮データを受けると、その圧縮データである変換係数をサブブロックに分割し、図２１に示すスキャン順に、各々のサブブロックの変換係数を整列することで圧縮データ系列を生成し、その圧縮データ系列をサブブロック符号化部６６に出力する。
また、変換ブロックスキャン部６１は、各々のサブブロックの変換係数が非零であるか否かを示す係数パラメータであるsignificant＿coeff＿flagをＰｏｓＬａｓｔ符号化部６２に出力するとともに、各々のサブブロックにおける非零係数の有無を示すパラメータであるSigCoeffGroupFlagを係数パラメータ格納用メモリ６３に格納する。
【０１０２】
並列コンテキスト値算出部６４は、係数パラメータ格納用メモリ６３により格納された当該サブブロックの下及び右に隣接するサブブロックのSigCoeffGroupFlagの値に応じて、当該サブブロック内の各周波数成分の位置におけるsignificant＿coeff＿flagのコンテキスト値ctxIdxを算出する。
即ち、並列コンテキスト値算出部６４は、係数パラメータであるsignificant＿coeff＿flagの算術符号化に用いる生起確率に対応するコンテキスト値ctxIdxを、図２３に示すように、当該サブブロックの下及び右に隣接するサブブロックのSigCoeffGroupFlagの値に応じて、所定のテーブルを選択することによって切り替える。
このようにサブブロック単位に固定のテーブルを参照することにより、サブブロック内の１６個のコンテキスト値ctxIdxの並列算出処理を実現することができる。
【０１０３】
サブブロック符号化部６６は、並列コンテキスト値算出部６４が係数パラメータのコンテキスト値ctxIdxを算出すると、並列コンテキスト値算出部６４からスキャン順（変換ブロックスキャン部６１による変換係数のスキャン順）でＰｏｓＬａｓｔが示す位置より後ろにある係数パラメータ以外の係数パラメータ（ＰｏｓＬａｓｔが示す位置にある係数パラメータと、ＰｏｓＬａｓｔが示す位置より前にある係数パラメータ）のコンテキスト値ctxIdxを取得して、生起確率格納用メモリ６５から上記コンテキスト値ctxIdxに対応する生起確率を取得する。
サブブロック符号化部６６は、生起確率格納用メモリ６５からコンテキスト値ctxIdxに対応する生起確率を取得すると、その生起確率に基づいて、その係数パラメータ（ＰｏｓＬａｓｔが示す位置にある係数パラメータと、ＰｏｓＬａｓｔが示す位置より前にある係数パラメータ）であるsignificant＿coeff＿flagを算術符号化する。
【０１０４】
また、サブブロック符号化部６６は、その係数パラメータが非零である旨を示していれば、その係数パラメータに係る変換係数の絶対値及び正負の符号を算術符号化する。
この場合、生起確率格納用メモリ６５と異なる生起確率格納用メモリ（変換係数の絶対値等を算術符号化するために、コンテキスト値ctxIdxに対応する生起確率を格納しているメモリ）から、コンテキスト値ctxIdxに対応する生起確率を取得し、その生起確率に基づいて、その係数パラメータに係る変換係数の絶対値及び正負の符号を算術符号化する。
【０１０５】
ただし、サブブロック符号化部６６は、上記のスキャン順で、各々のサブブロック内の最初の非零の変換係数の位置と最後の非零の変換係数の位置との位置差が所定の閾値以上であれば、最初の非零の変換係数については、正負符号を可変長符号化せずに絶対値だけを可変長符号化し、その位置差が上記閾値より小さければ、最初の非零の変換係数についても、正負符号及び絶対値を可変長符号化する。
以下、サブブロック符号化部６６の処理内容を具体的に説明する。
サブブロック符号化部６６は、例えば、図２１に示すように、４×４サイズのサブブロック単位に、サブブロックの変換係数を次にように算術符号化する。
【０１０６】
（１）図２１に示すスキャンと逆順である逆スキャン順（図２２に例示）に、ＰｏｓＬａｓｔを含むサブブロックから始めて、当該サブブロック内に非零の変換係数が含まれているか否かを示すSigCoeffGroupFlagを算術符号化する。
SigCoeffGroupFlagが当該サブブロック内に非零の変換係数が含まれている旨を示している場合、以下の（２）〜（８）の処理を行う。
（２）逆スキャン順に、当該サブブロック内の変換係数（各周波数成分の位置にある変換係数）が非零であるか否かを示すsignificant＿coeff＿flagを、並列コンテキスト値算出部６４により算出されたコンテキスト値ctxIdxに対応する生起確率（生起確率格納用メモリ６５により格納されている生起確率のうち、当該コンテキスト値ctxIdxによって指定されるメモリ領域に格納されている生起確率）に基づいて算術符号化すると共に、スキャン順で最初の非零係数位置をfirstNZPos、最後の非零係数位置をlastNZPosとする。
（３）上記スキャン順で最初の非零係数位置であるfirstNZPosにおける変換係数の絶対値が偶数である場合firstNZsign＝１、奇数である場合firstNZSign＝−１とする。
【０１０７】
（４）最後の非零係数位置lastNZPosと最初の非零係数位置firstNZPosとの位置差が４以上であり、上記正負符号埋め込みフラグが１である場合には、最初の非零係数位置firstNZPosにおける変換係数の正負の符号がfirstNZsignの正負と一致するように変換係数の値を調整する。
（５）逆スキャン順に、significant＿coeff＿flagが非零である旨を示している周波数成分位置の変換係数については、その変換係数の絶対値が１より大きいか否かを示すcoeff＿abs＿level＿greater1＿flagを算術符号化する。
（６）逆スキャン順に、coeff＿abs＿level＿greater1＿flagが、変換係数の絶対値が１より大きい旨を示している周波数成分位置の変換係数については、その変換係数の絶対値が２より大きいか否かを示すcoeff＿abs＿level＿greater2＿flagを算術符号化する。
【０１０８】
（７）最後の非零係数位置lastNZPosと最初の非零係数位置firstNZPosとの位置差が予め設定された所定の閾値sign_hiding_threshold以上であり、かつ、正負符号埋め込みフラグが１である場合には、最初の非零係数位置firstNZPosにおける変換係数の正負の符号以外について、逆スキャン順に、significant＿coeff＿flagが非零である旨を示している周波数成分位置の変換係数については、その変換係数の正負の符号を示すcoeff＿sign＿flagを算術符号化する。
最後の非零係数位置lastNZPosと最初の非零係数位置firstNZPosとの位置差が閾値sign_hiding_threshold未満であるか、あるいは、正負符号埋め込みフラグが０である場合には、すべての変換係数について、逆スキャン順に、significant＿coeff＿flagが非零である旨を示している周波数成分位置の変換係数の正負の符号を示すcoeff＿sign＿flagを算術符号化する。
（８）逆スキャン順に、coeff＿abs＿level＿greater2＿flagが、変換係数の絶対値が２より大きい旨を示している周波数成分位置の変換係数については、変換係数の絶対値から３を減じた値であるcoeff＿abs＿level＿minus3を算術符号化する。
【０１０９】
ここでは、変換係数可変長符号化部５１が、圧縮データである変換係数を最適な生起確率に基づいて算術符号化を行うものを示したが、符号化パラメータ可変長符号化部５２が、生起確率を格納する生起確率格納用メモリ領域を切り替えることで、符号化パラメータ（符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ又インター予測パラメータ、動き情報、ブロック分割情報など）についても、最適な生起確率に基づいて算術符号化を行うように構成してもよい。
ここで、符号化パラメータのうち、最大値や絶対値の最大値が予め決定されている量子化パラメータ（量子化パラメータの予測差分値でもよい）、動きベクトル差分値、参照画像インデックス、ループフィルタのオフセット値などについては、それらのインデックス値と最大値によって決定される。
【０１１０】
次に、図９の動画像復号装置の処理内容を説明する。
可変長復号部４１は、図１の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図１０のステップＳＴ４１）、１フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズを復号する。
可変長復号部４１は、フレームサイズを復号すると、図１の動画像符号化装置で決定された最大符号化ブロックサイズ（イントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ）と、分割階層数の上限（最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数）を動画像符号化装置と同様の手順で決定する（ステップＳＴ４２）。
【０１１１】
例えば、符号化ブロックの最大サイズが、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定されている場合には、先に復号しているフレームサイズに基づいて、図１の動画像符号化装置と同様の手順で、符号化ブロックの最大サイズを決定する。
動画像符号化装置によって、符号化ブロックの最大サイズ及び符号化ブロックの階層数がビットストリームに多重化されている場合には、そのビットストリームから符号化ブロックの最大サイズ及び符号化ブロックの階層数を復号する。
【０１１２】
可変長復号部４１は、符号化ブロックの最大サイズ及び符号化ブロックの階層数を決定すると、最大符号化ブロックを出発点にして、各符号化ブロックの階層的な分割状態を把握することで、ビットストリームに多重化されている符号化データの中で、各符号化ブロックに係る符号化データを特定し、その符号化データから各符号化ブロックに割り当てられている符号化モードを復号する。
そして、可変長復号部４１は、その符号化モードに含まれている符号化ブロックＢnに属するパーティションＰinの分割情報を参照して、ビットストリームに多重化されている符号化データの中で、各パーティションＰinに係る符号化データを特定する（ステップＳＴ４３）。
可変長復号部４１は、各パーティションＰinに係る符号化データから圧縮データ、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部４５に出力するとともに、符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ４２に出力する（ステップＳＴ４４）。
【０１１３】
例えば、予測方向代表インデックスと予測方向差分インデックスがビットストリームに多重化されている場合には、その予測方向代表インデックスと予測方向差分インデックスをそれぞれの確率モデルに応じた算術復号などによりエントロピー復号し、その予測方向代表インデックスと予測方向差分インデックスからイントラ予測パラメータを特定するようにする。
これにより、動画像符号化装置側で、イントラ予測パラメータの符号量を削減している場合でも、イントラ予測パラメータを正しく復号することができる。
【０１１４】
なお、可変長復号部４１は、図１１に示すように、変換係数可変長復号部７１と符号化パラメータ可変長復号部７２から構成されており、変換係数可変長復号部７１は、ビットストリームに多重化された符号化データから圧縮データである変換係数を可変長復号し、符号化パラメータ可変長復号部７２は、ビットストリームに多重化された符号化データから符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ、動き情報、ブロック分割情報などの符号化パラメータを可変長復号するものであるが、変換係数可変長復号部７１の処理内容の詳細は後述する。
【０１１５】
切替スイッチ４２は、可変長復号部４１から出力された符号化ブロックＢnに属するパーティションＰinの符号化モードがイントラ符号化モードである場合、可変長復号部４１から出力されたイントラ予測パラメータをイントラ予測部４３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部４１から出力されたインター予測パラメータを動き補償部４４に出力する。
【０１１６】
イントラ予測部４３は、可変長復号部４１からイントラ予測パラメータを受けると（ステップＳＴ４５）、図１のイントラ予測部４と同様に、そのイントラ予測パラメータに基づいて、各パーティションＰinに対するイントラ予測処理を実施することにより、イントラ予測画像（Ｐin）を生成する（ステップＳＴ４６）。
即ち、イントラ予測部４３は、可変長復号部４１からイントラ予測パラメータを受けると、動画像符号化装置の輝度信号イントラ予測部２１と同様に、例えば、パーティションＰinに対するイントラ予測モードのインデックス値が２（平均値予測）である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションＰin内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルｖp＝（ｄｘ，ｄｙ）に基づいて、パーティションＰin内の画素の予測値を生成する。
イントラ予測部４３は、同様の手順で、パーティションＰin内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像（Ｐin）を出力する。
【０１１７】
動き補償部４４は、切替スイッチ４２からインター予測パラメータを受けると、動画像符号化装置の動き補償予測部５と同様に、そのインター予測パラメータに基づいて、各パーティションＰinに対するインター予測処理を実施することにより、インター予測画像（Ｐin）を生成する（ステップＳＴ４７）。
即ち、動き補償部４４は、動き補償予測フレームメモリ４９により格納されている１フレーム以上の参照画像を用いて、そのインター予測パラメータに基づくパーティションＰinに対する動き補償予測処理を実施することで、インター予測画像（Ｐin）を生成する。
【０１１８】
逆量子化・逆変換部４５は、可変長復号部４１から変換ブロック分割フラグを含む予測差分符号化パラメータを受けると、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換ブロック分割フラグに従って決定される変換ブロックサイズ毎に、可変長復号部４１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として加算部４６に出力する（ステップＳＴ４８）。
【０１１９】
加算部４６は、逆量子化・逆変換部４５から出力された復号予測差分信号と、イントラ予測部４３又は動き補償部４４により生成された予測画像（Ｐin）を示す予測信号とを加算することで、復号パーティション画像ないしはその集まりとしての復号画像を示す復号画像信号を生成し、その復号画像信号をループフィルタ部４８に出力する（ステップＳＴ４９）。
また、イントラ予測用メモリ４７には、イントラ予測に用いるために、当該復号画像が格納される。
【０１２０】
ループフィルタ部４８は、加算部４６から復号画像信号を受けると、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ４９に格納するとともに、その復号画像を再生画像として出力する（ステップＳＴ５０）。
ここで、符号化歪は変換ブロック境界に沿って発生するため、変換ブロック境界に対して符号化歪の補償を行う。小さい変換ブロックについては、変換ブロック境界の符号化歪が目立ちにくいので、ヘッダで最小ループフィルタ適用ブロックサイズをシグナリングし、変換ブロックサイズが最小ループフィルタ適用ブロックサイズより大きいブロックに対してのみ符号化歪補償を適用するよう構成してもよい。
【０１２１】
このようにすれば、不要な符号化歪補償を省略できるので画質を保ちつつ演算量を削減することができる。また、輝度信号と色差信号では変換ブロックの分割形状が異なるので、符号化歪補償は輝度信号と色差信号でそれぞれ変換ブロックの分割形状を特定して処理
するよう構成する。
なお、ループフィルタ部４８によるフィルタリング処理は、入力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する復号画像信号が入力された後に１画面分まとめて行ってもよい。
ステップＳＴ４３〜ＳＴ４９の処理は、全ての符号化ブロックＢnに属するパーティションＰinに対する処理が完了するまで繰り返し実施される（ステップＳＴ５１）。
【０１２２】
以下、可変長復号部４１における変換係数可変長復号部７１の処理内容を具体的に説明する。
ＰｏｓＬａｓｔ復号部８１は、図１の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに多重化されたＰｏｓＬａｓｔ符号化データ（ＰｏｓＬａｓｔ符号化部６２により可変長符号化された符号化データ）を算術復号して、ＰｏｓＬａｓｔの水平成分であるＰｏｓＬａｓｔＸと、ＰｏｓＬａｓｔの垂直成分であるＰｏｓＬａｓｔＹとを得ることにより、圧縮データ系列のスキャン順で最後の非零係数の位置を示すＰｏｓＬａｓｔを算出し、ＰｏｓＬａｓｔをサブブロック復号部８５に出力する。
【０１２３】
並列コンテキスト値算出部８３は、動画像符号化装置の並列コンテキスト値算出部６４と同様に、係数パラメータ格納用メモリ８２により格納された復号済みの係数パラメータであるsignificant＿coeff＿flagをサブブロック内の周波数成分の位置の組み合わせに応じてグループ分けし、グループ単位で並列に上記係数パラメータのコンテキスト値ctxIdxを算出する。
即ち、並列コンテキスト値算出部８３は、係数パラメータであるsignificant＿coeff＿flagの算術復号に用いる生起確率に対応するコンテキスト値ctxIdxを、図２３に示すように、当該サブブロックの下及び右に隣接するサブブロックのSigCoeffGroupFlagの値に応じて、所定のテーブルを選択することによって切り替える。
このようにサブブロック単位に固定のテーブルを参照することにより、サブブロック内の１６個のコンテキスト値ctxIdxの並列算出処理を実現することができる。
【０１２４】
サブブロック復号部８５は、並列コンテキスト値算出部８３が係数パラメータのコンテキスト値ctxIdxを算出すると、並列コンテキスト値算出部８３から、ＰｏｓＬａｓｔ復号部８１より出力されたＰｏｓＬａｓｔが示す位置より後ろにある係数パラメータ以外の係数パラメータ（ＰｏｓＬａｓｔが示す位置にある係数パラメータと、ＰｏｓＬａｓｔが示す位置より前にある係数パラメータ）のコンテキスト値ctxIdxを取得して、生起確率格納用メモリ８４から上記コンテキスト値ctxIdxに対応する生起確率を取得する。
サブブロック復号部８５は、生起確率格納用メモリ８４からコンテキスト値ctxIdxに対応する生起確率を取得すると、その生起確率に基づいてビットストリームに多重化された符号化データ（サブブロック符号化部６６により算術符号化された符号化データ）から係数パラメータを算術復号する。
【０１２５】
また、サブブロック復号部８５は、その係数パラメータが非零である旨を示していれば、ビットストリームに多重化された符号化データから、その係数パラメータに係る変換係数の絶対値及び正負の符号を算術復号する。
この場合、生起確率格納用メモリ８４と異なる生起確率格納用メモリ（変換係数の絶対値等を算術復号するために、コンテキスト値ctxIdxに対応する生起確率を格納しているメモリ）から、コンテキスト値ctxIdxに対応する生起確率を取得し、その生起確率に基づいて、その係数パラメータに係る変換係数の絶対値及び正負の符号を算術復号する。
【０１２６】
ただし、サブブロック復号部８５は、スキャン順で、各々のサブブロック内の最初の非零の変換係数の位置と最後の非零の変換係数の位置との位置差が所定の閾値以上である場合、最初の非零の変換係数の正負符号を復号せずに絶対値だけを可変長復号し、最後の非零の変換係数の位置がスキャン順で偶数位置であれば、最初の非零の変換係数の正負符号を正とし、最後の非零の変換係数の位置がスキャン順で奇数位置であれば、最初の非零の変換係数の正負符号を負とする。
以下、サブブロック復号部８５の処理内容を具体的に説明する。
サブブロック復号部８５は、例えば、図２１に示すように、４×４サイズのサブブロック単位に、ビットストリームに多重化された符号化データを算術復号する。
【０１２７】
（１）図２１に示すスキャンと逆順である逆スキャン順（図２２に例示）に、ＰｏｓＬａｓｔを含むサブブロックから始めて、当該サブブロック内に非零の変換係数が含まれているか否かを示すSigCoeffGroupFlagを算術復号する。
SigCoeffGroupFlagが当該サブブロック内に非零の変換係数が含まれている旨を示している場合、以下の（２）〜（７）の処理を行う。
（２）逆スキャン順に、当該サブブロック内の変換係数（各周波数成分の位置にある変換係数）が非零であるか否かを示すsignificant＿coeff＿flagを、並列コンテキスト値算出部８３により算出されたコンテキスト値ctxIdxに対応する生起確率（生起確率格納用メモリ８４により格納されている生起確率のうち、当該コンテキスト値ctxIdxによって指定されるメモリ領域に格納されている生起確率）に基づいて算術復号するとともに、スキャン順で最初の非零係数位置をfirstNZPos、最後の非零係数位置をlastNZPosとする。
【０１２８】
（３）逆スキャン順に、significant＿coeff＿flagが非零である旨を示している周波数成分位置の変換係数については、その変換係数の絶対値が１より大きいか否かを示すcoeff＿abs＿level＿greater1＿flagを算術復号する。
coeff＿abs＿level＿greater1＿flagが、変換係数の絶対値が１より大きくないことを示す場合には、当該周波数成分位置の変換係数の絶対値として１を出力する。
（４）スキャン順に、coeff＿abs＿level＿greater1＿flagが、変換係数の絶対値が１より大きい旨を示している周波数成分位置の変換係数については、その変換係数の絶対値が２より大きいか否かを示すcoeff＿abs＿level＿greater2＿flagを算術復号する。
coeff＿abs＿level＿greater2＿flagが、変換係数の絶対値が２より大きくないことを示す場合には、当該周波数成分位置の変換係数の絶対値として２を出力する。
【０１２９】
（５）最後の非零係数位置lastNZPosと最初の非零係数位置firstNZPosとの位置差が予め設定された所定の閾値sign_hiding_threshold以上であり、かつ、正負符号埋め込みフラグが１である場合には、最初の非零係数位置firstNZPosにおける変換係数の正負の符号以外について、逆スキャン順に、significant＿coeff＿flagが非零である旨を示している周波数成分位置の変換係数については、その変換係数の正負の符号を示すcoeff＿sign＿flagを算術復号し、当該周波数成分位置の変換係数の絶対値に対する正負の符号を決定する。
最後の非零係数位置lastNZPosと最初の非零係数位置firstNZPosとの位置差が閾値sign_hiding_threshold未満であるか、あるいは、正負符号埋め込みフラグが０である場合には、すべての変換係数について、逆スキャン順に、significant＿coeff＿flagが非零である旨を示している周波数成分位置の変換係数の正負の符号を示すcoeff＿sign＿flagを算術復号する。
【０１３０】
（６）逆スキャン順に、coeff＿abs＿level＿greater2＿flagが、変換係数の絶対値が２より大きい旨を示している周波数成分位置の変換係数については、変換係数の絶対値から３を減じた値であるcoeff＿abs＿level＿minus3を算術復号する。
当該周波数成分位置の変換係数の絶対値をcoeff＿abs＿level＿minus3の値に３を加えた値とし、coeff＿sign＿flagにより当該周波数成分位置の変換係数の絶対値に対する正負の符号を決定する。
（７）また、最初の非零係数位置firstNZPosにおける変換係数の正負符号を復号しない場合には、firstNZPosにおける変換係数の絶対値が偶数である場合には正、奇数である場合には負の値であると決定する。
【０１３１】
変換係数逆スキャン部８６は、処理対象となる変換ブロックにおいて、サブブロック復号部８５により算術復号された係数パラメータ、絶対値及び正負の符号からなる変換係数を図２２に示す逆スキャン順に整列して圧縮データを生成し、その圧縮データを出力する。
【０１３２】
ここでは、変換係数可変長復号部７１が、圧縮データである変換係数を最適な生起確率に基づいて算術復号を行うものを示したが、符号化パラメータ可変長復号部７２が、生起確率を格納する生起確率格納用メモリ領域を切り替えることで、符号化パラメータ（符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ又インター予測パラメータ、動き情報、ブロック分割情報など）についても、最適な生起確率に基づいて算術復号を行うように構成してもよい。
なお、各確率状態メモリ領域の初期値は、異なる複数種類の初期値テーブルのいずれかを用いて、スライスまたはピクチャの先頭で初期化される。
【０１３３】
以上で明らかなように、この実施の形態１によれば、サブブロック符号化部６６が、スキャン順で、各々のサブブロック内の最初の非零の変換係数の位置と最後の非零の変換係数の位置との位置差が所定の閾値以上であれば、最初の非零の変換係数については、当該変換係数が正の値であれば、当該変換係数の絶対値が偶数値になるように制御し、当該変換係数が負の値であれば、当該変換係数の絶対値が奇数値になるように制御して、正負符号を可変長符号化せずに絶対値だけを可変長符号化し、その位置差が閾値より小さければ、最初の非零の変換係数についても、正負符号及び絶対値を可変長符号化するように構成したので、サブブロック内の各周波数成分位置における変換係数を符号化する際の演算量や回路規模の大型化を招くことなく、圧縮率を高めることができる効果を奏する。
【０１３４】
なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
【符号の説明】
【０１３５】
１  符号化制御部、２  ブロック分割部、３  切替スイッチ、４  イントラ予測部、５  動き補償予測部、６  減算部、７  変換・量子化部、８  逆量子化・逆変換部、９  加算部、１０  イントラ予測用メモリ、１１  ループフィルタ部、１２  動き補償予測フレームメモリ、１３  可変長符号化部（可変長符号化手段）、２１  輝度信号イントラ予測部、２２  切替スイッチ、２３  色差信号方向性イントラ予測部、２４  輝度相関利用色差信号予測部、３１  平滑化輝度参照画素縮小部、３２  相関算出部、３３  色差予測画像生成部、４１  可変長復号部（可変長復号手段）、４２  切替スイッチ、４３  イントラ予測部、４４  動き補償部、４５  逆量子化・逆変換部、４６  加算部、４７  イントラ予測用メモリ、４８  ループフィルタ部、４９  動き補償予測フレームメモリ、５１  変換係数可変長符号化部、５２  符号化パラメータ可変長符号化部、６１  変換ブロックスキャン部（係数スキャン手段）、６２  ＰｏｓＬａｓｔ符号化部（最後位置情報符号化手段）、６３  係数パラメータ格納用メモリ、６４  並列コンテキスト値算出部、６５  生起確率格納用メモリ、６６  サブブロック符号化部（符号絶対値符号化手段）、７１  変換係数可変長復号部、７２  符号化パラメータ可変長復号部、８１  ＰｏｓＬａｓｔ復号部（最後位置情報復号手段）、８２  係数パラメータ格納用メモリ、８３  並列コンテキスト値算出部、８４  生起確率格納用メモリ、８５  サブブロック復号部（符号絶対値復号手段）、８６  変換係数逆スキャン部。
【図１】
2014007643.tif 000010
【図２】
2014007643.tif 000011
【図３】
2014007643.tif 000012
【図４】
2014007643.tif 000013
【図５】
2014007643.tif 000014
【図６】
2014007643.tif 000015
【図７】
2014007643.tif 000016
【図８】
2014007643.tif 000017
【図９】
2014007643.tif 000018
【図１０】
2014007643.tif 000019
【図１１】
2014007643.tif 000020
【図１２】
2014007643.tif 000021
【図１３】
2014007643.tif 000022
【図１４】
2014007643.tif 000023
【図１５】
2014007643.tif 000024
【図１６】
2014007643.tif 000025
【図１７】
2014007643.tif 000026
【図１８】
2014007643.tif 000027
【図１９】
2014007643.tif 000028
【図２０】
2014007643.tif 000029
【図２１】
2014007643.tif 000030
【図２２】
2014007643.tif 000031
【図２３】
2014007643.tif 000032
【図２４】
2014007643.tif 000033
【図２５】
2014007643.tif 000034
【図２６】
2014007643.tif 000035
【図２７】
2014007643.tif 000036
【図２８】
2014007643.tif 000037
【図２９】
2014007643.tif 000038