(57)【要約】【課題】高周波成分では絶対値が小さい係数が連続して発生する確率が高いことを利用して、２値化方法を適応的に切り替えることで高い符号化効率を得ることができるようにする。【解決手段】符号化対象ブロックの中に２次元に配列されている複数の量子化係数を走査して、複数の量子化係数を１次元に配列する配列変換ステップと、ＳＩＧビット、ＬＡＳＴ２ビット及びＬＡＳＴビットをエントロピー符号化するシンボル符号化ステップと、当該符号化対象ブロック内の非ゼロの量子化係数の値をエントロピー符号化する量子化係数値符号化ステップとを実行する。【選択図】図１
2012023611.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を予測処理単位のブロックに分割して、予測処理単位のブロックである符号化対象ブロックを出力するブロック分割手段と、上記ブロック分割手段から出力された符号化対象ブロックに対する予測処理を実施して、予測画像を生成する予測画像生成手段と、上記予測画像生成手段により生成された予測画像と上記ブロック分割手段から出力された符号化対象ブロックの差分画像を量子化し、上記差分画像の量子化係数を出力する量子化手段と、上記量子化手段から出力された量子化係数を可変長符号化してビットストリームを生成する可変長符号化手段とを備え、
上記可変長符号化手段は、上記量子化手段から出力された量子化係数を可変長符号化する際、当該符号化対象ブロックの中に２次元に配列されている複数の量子化係数を走査して、複数の量子化係数を１次元に配列する配列変換ステップと、
上記配列変換ステップで１次元に配列された量子化係数が非ゼロであるか否かを示す第１の１ビットシンボルと、上記配列変換ステップで１次元に配列された量子化係数が非ゼロである場合、走査順で当該量子化係数より後方に配置されている量子化係数の中に、所定の閾値より大きい絶対値を有する量子化係数があるか否かを示す第２の１ビットシンボルと、走査順で当該量子化係数より後方に配置されている量子化係数の中に、上記閾値より大きい絶対値を有する量子化係数がない場合、走査順で当該量子化係数より後方に配置されている量子化係数の中に、非ゼロの量子化係数があるか否かを示す第３の１ビットシンボルとをエントロピー符号化するシンボル符号化ステップと、
当該符号化対象ブロック内の非ゼロの量子化係数の値をエントロピー符号化する量子化係数値符号化ステップとを実行することを特徴とする動画像符号化装置。
【請求項２】
シンボル符号化ステップでは、各量子化係数の走査位置に依存するコンテキスト番号に基づく確率テーブルを用いて、第１、第２及び第３の１ビットシンボルをエントロピー符号化することを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
ビットストリームから量子化係数を可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された量子化係数を逆量子化する逆量子化手段と、復号対象ブロックに対する予測処理を実施して、予測画像を生成する予測画像生成手段と、上記予測画像生成手段により生成された予測画像と上記逆量子化手段の逆量子化結果が示す差分画像を加算して復号画像を得る画像加算手段とを備え、
上記可変長復号手段は、ビットストリームから量子化係数を可変長復号する際、１次元に配列されている量子化係数が非ゼロであるか否かを示す第１の１ビットシンボルと、走査順で非ゼロの量子化係数より後方に配置されている量子化係数の中に、所定の閾値より大きい絶対値を有する量子化係数があるか否かを示す第２の１ビットシンボルと、走査順で非ゼロの量子化係数より後方に配置されている量子化係数の中に、非ゼロの量子化係数があるか否かを示す第３の１ビットシンボルとをエントロピー復号するシンボル復号ステップと、
上記シンボル復号ステップでエントロピー復号された第１、第２及び第３の１ビットシンボルを参照して、復号対象ブロック内の非ゼロの量子化係数の位置を特定し、当該復号対象ブロック内の非ゼロの量子化係数の値をエントロピー復号する量子化係数値復号ステップと、
当該復号対象ブロックの中に１次元に配列されている複数の量子化係数を逆走査して、複数の量子化係数を２次元に配列する配列変換ステップとを実行することを特徴とする動画像復号装置。
【請求項４】
シンボル復号ステップでは、各量子化係数の走査位置に依存するコンテキスト番号に基づく確率テーブルを用いて、第１、第２及び第３の１ビットシンボルをエントロピー復号することを特徴とする請求項３記載の動画像復号装置。
【請求項５】
ブロック分割手段が、入力画像を予測処理単位のブロックに分割して、予測処理単位のブロックである符号化対象ブロックを出力するブロック分割処理ステップと、予測画像生成手段が、上記ブロック分割処理ステップによって出力された符号化対象ブロックに対する予測処理を実施して、予測画像を生成する予測画像生成処理ステップと、量子化手段が、上記予測画像生成処理ステップで生成された予測画像と上記ブロック分割処理ステップによって出力された符号化対象ブロックの差分画像を量子化し、上記差分画像の量子化係数を出力する量子化処理ステップと、可変長符号化手段が、上記量子化処理ステップによって出力された量子化係数を可変長符号化してビットストリームを生成する可変長符号化処理ステップとを備え、
上記可変長符号化手段は、上記量子化処理ステップによって出力された量子化係数を可変長符号化する際、当該符号化対象ブロックの中に２次元に配列されている複数の量子化係数を走査して、複数の量子化係数を１次元に配列する配列変換ステップと、
上記配列変換ステップで１次元に配列された量子化係数が非ゼロであるか否かを示す第１の１ビットシンボルと、上記配列変換ステップで１次元に配列された量子化係数が非ゼロである場合、走査順で当該量子化係数より後方に配置されている量子化係数の中に、所定の閾値より大きい絶対値を有する量子化係数があるか否かを示す第２の１ビットシンボルと、走査順で当該量子化係数より後方に配置されている量子化係数の中に、上記閾値より大きい絶対値を有する量子化係数がない場合、走査順で当該量子化係数より後方に配置されている量子化係数の中に、非ゼロの量子化係数があるか否かを示す第３の１ビットシンボルとをエントロピー符号化するシンボル符号化ステップと、
当該符号化対象ブロック内の非ゼロの量子化係数の値をエントロピー符号化する量子化係数値符号化ステップとを実行することを特徴とする動画像符号化方法。
【請求項６】
可変長復号手段が、ビットストリームから量子化係数を可変長復号する可変長復号処理ステップと、逆量子化手段が、上記可変長復号処理ステップで可変長復号された量子化係数を逆量子化する逆量子化処理ステップと、予測画像生成手段が、復号対象ブロックに対する予測処理を実施して、予測画像を生成する予測画像生成処理ステップと、画像加算手段が、上記予測画像生成処理ステップで生成された予測画像と上記逆量子化処理ステップでの逆量子化結果が示す差分画像を加算して復号画像を得る画像加算処理ステップとを備え、
上記可変長復号手段は、ビットストリームから量子化係数を可変長復号する際、１次元に配列されている量子化係数が非ゼロであるか否かを示す第１の１ビットシンボルと、走査順で非ゼロの量子化係数より後方に配置されている量子化係数の中に、所定の閾値より大きい絶対値を有する量子化係数があるか否かを示す第２の１ビットシンボルと、走査順で非ゼロの量子化係数より後方に配置されている量子化係数の中に、非ゼロの量子化係数があるか否かを示す第３の１ビットシンボルとをエントロピー復号するシンボル復号ステップと、
上記シンボル復号ステップでエントロピー復号された第１、第２及び第３の１ビットシンボルを参照して、復号対象ブロック内の非ゼロの量子化係数の位置を特定し、当該復号対象ブロック内の非ゼロの量子化係数の値をエントロピー復号する量子化係数値復号ステップと、
当該復号対象ブロックの中に１次元に配列されている複数の量子化係数を逆走査して、複数の量子化係数を２次元に配列する配列変換ステップとを実行することを特徴とする動画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像を高効率で符号化を行う動画像符号化装置及び動画像符号化方法と、高効率で符号化されている動画像を復号する動画像復号装置及び動画像復号方法とに関するものである。
【背景技術】
【０００２】
動画像を高効率で符号化を行う動画像符号化装置の符号化方式、即ち、異なるブロックサイズの周波数変換を有する動画像符号化における変換係数の可変長符号化方式として、例えば、以下の特許文献１には、コンテキスト適応型２値算術符号化方式（以下、「ＣＡＢＡＣ方式」と称する）が開示されている。
以下、ＣＡＢＡＣ方式において、ブロック内の各係数が有意係数であるか否かを示すビットおよび各有意係数の係数値を符号化する方法について説明する。
【０００３】
図１９はブロック内の係数が所定の走査順序で並べ替えられているものを示す説明図である。
ここでは、低周波数成分から高周波数成分に対して、ジグザグ順に走査する方法が用いられるものとする。
この際、各係数が有意係数であるか否かは、ＳＩＧビット及びＬＡＳＴビットと呼ばれるビットにより表現されて、これらのビットを算術符号化する。
ＳＩＧビットは、有意係数の場合には“１”、有意係数でない場合には“０”となる。
また、ＬＡＳＴビットは、有意係数に対してのみ割り振られ、その有意係数がブロック内の最後の係数である場合には“１”、最後の係数でない場合には“０”となる。
ＳＩＧビット及びＬＡＳＴビットを算術符号化する際の確率テーブルは、ブロックのサイズ及び種類別（例えば、画面内予測輝度信号ブロック、ピクチャ間予測輝度信号ブロック、画面内予測色差信号ブロック、ピクチャ間予測色差信号ブロックなど）に用意され、さらに、各ブロックの種類に対して、係数位置（走査順での位置）毎に用意される。
【０００４】
以下の特許文献２によれば、有意係数の係数値は、その絶対値であるＡＢＳと正負符号であるＳＩＧＮビットとして符号化される。
ＡＢＳは、図１４に示すように、単項２値化（ｕｎａｒｙ  ｂｉｎａｒｉｚａｔｉｏｎ）のシンボル、あるいは、接頭部と接尾部を備えた２値化シンボルで示され、この接頭部は、ＡＢＳの値に応じた個数の数字１から成り、接尾部は、ゼロ次の指数ゴロム符号から成る。
このようにして得られるＡＢＳの２値化シンボルに対して、１ビット毎に算術符号化が行われ、続いて、ＳＩＧＮビットが算術符号化されることにより、周波数変換ブロックが符号化される。
【０００５】
一般に、動画像の符号化において、周波数変換ブロックにおける有意係数の絶対値は、低周波成分が大きく、高周波成分が小さい傾向があることが知られている。
特に大きい周波数変換ブロックにおいては、有意係数の個数も多くなるため、その高周波成分では、絶対値が小さい係数が連続して発生する確率が高い。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４２３０１８８号
【特許文献２】特許第４３１３７５７号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来の動画像符号化装置は以上のように構成されているので、周波数変換ブロックにおける高周波成分では、絶対値が小さい係数が連続して発生する確率が高いにも関わらず、ＣＡＢＡＣ方式では、ＡＢＳの２値化方法が周波数成分によらず固定されている。このため、十分な符号化効率が得られないことがある課題があった。
【０００８】
この発明は上記のような課題を解決するためになされたもので、高周波成分では絶対値が小さい係数が連続して発生する確率が高いことを利用して、２値化方法を適応的に切り替えることで高い符号化効率を得ることができる動画像符号化装置及び動画像符号化方法を得ることを目的とする。
また、この発明は、上記の動画像符号化装置及び動画像符号化方法に適用することができる動画像復号装置及び動画像復号方法を得ることを目的とする。
【課題を解決するための手段】
【０００９】
この発明に係る動画像符号化装置は、可変長符号化手段が、量子化手段から出力された量子化係数を可変長符号化する際、符号化対象ブロックの中に２次元に配列されている複数の量子化係数を走査して、複数の量子化係数を１次元に配列する配列変換ステップと、その配列変換ステップで１次元に配列された量子化係数が非ゼロであるか否かを示す第１の１ビットシンボルと、その配列変換ステップで１次元に配列された量子化係数が非ゼロである場合、走査順で当該量子化係数より後方に配置されている量子化係数の中に、所定の閾値より大きい絶対値を有する量子化係数があるか否かを示す第２の１ビットシンボルと、走査順で当該量子化係数より後方に配置されている量子化係数の中に、その閾値より大きい絶対値を有する量子化係数がない場合、走査順で当該量子化係数より後方に配置されている量子化係数の中に、非ゼロの量子化係数があるか否かを示す第３の１ビットシンボルとをエントロピー符号化するシンボル符号化ステップと、当該符号化対象ブロック内の非ゼロの量子化係数の値をエントロピー符号化する量子化係数値符号化ステップとを実行するようにしたものである。
【発明の効果】
【００１０】
この発明によれば、可変長符号化手段が、量子化手段から出力された量子化係数を可変長符号化する際、符号化対象ブロックの中に２次元に配列されている複数の量子化係数を走査して、複数の量子化係数を１次元に配列する配列変換ステップと、その配列変換ステップで１次元に配列された量子化係数が非ゼロであるか否かを示す第１の１ビットシンボルと、その配列変換ステップで１次元に配列された量子化係数が非ゼロである場合、走査順で当該量子化係数より後方に配置されている量子化係数の中に、所定の閾値より大きい絶対値を有する量子化係数があるか否かを示す第２の１ビットシンボルと、走査順で当該量子化係数より後方に配置されている量子化係数の中に、その閾値より大きい絶対値を有する量子化係数がない場合、走査順で当該量子化係数より後方に配置されている量子化係数の中に、非ゼロの量子化係数があるか否かを示す第３の１ビットシンボルとをエントロピー符号化するシンボル符号化ステップと、当該符号化対象ブロック内の非ゼロの量子化係数の値をエントロピー符号化する量子化係数値符号化ステップとを実行するように構成したので、高周波成分における２値化シンボルの発生数を抑制して、高い符号化効率を得ることができる効果がある。
【図面の簡単な説明】
【００１１】
【図１】この発明の実施の形態１による動画像符号化装置を示す構成図である。
【図２】この発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。
【図３】最大符号化ブロックが階層的に複数の符号化対象ブロックに分割される例を示す説明図である。
【図４】（ａ）は分割後のパーティションの分布を示し、（ｂ）は階層分割によって符号化モードｍ（Ｂｎ）が割り当てられる状況を示す説明図である。
【図５】可変長符号化部１３における圧縮データである量子化係数（変換係数ブロック）のエントロピー符号化方法の基本原理を示す説明図である。
【図６】ＳＩＧビット、ＬＡＳＴ２ビット、ＬＡＳＴビット及びＡＢＳビット数の一例を示す説明図である。
【図７】ＳＩＧビット、ＬＡＳＴ２ビット、ＬＡＳＴビット及びＡＢＳビット数の一例を示す説明図である。
【図８】“１”から“ＴＨ−１”までに限定されたシンボル化の一例を示す説明図である。
【図９】ゴロム符号による２値化テーブルの一例を示す説明図である。
【図１０】ブロックタイプ、係数の値及びカテゴリの一例を示す説明図である。
【図１１】この発明の実施の形態１による動画像復号装置を示す構成図である。
【図１２】この発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。
【図１３】可変長復号部３１における変換係数ブロックのエントロピー復号方法の基本原理を示す説明図である。
【図１４】ＡＢＳの２値化シンボルを示す説明図である。
【図１５】この発明の実施の形態２における可変長符号化部１３における変換係数ブロックのエントロピー符号化方法の基本原理を示す説明図である。
【図１６】この発明の実施の形態２の可変長復号部３１における変換係数ブロックのエントロピー復号方法の基本原理を示す説明図である。
【図１７】この発明の実施の形態２における可変長符号化部１３における変換係数ブロックのエントロピー符号化方法の基本原理を示す説明図である。
【図１８】この発明の実施の形態２の可変長復号部３１における変換係数ブロックのエントロピー復号方法の基本原理を示す説明図である。
【図１９】ブロック内の係数が所定の走査順序で並べ替えられているものを示す説明図である。
【発明を実施するための形態】
【００１２】
実施の形態１．
図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
図１において、ブロック分割部１は入力画像を示す映像信号を入力すると、その入力画像を符号化制御部２により決定された符号化ブロックサイズのブロック（予測処理単位のブロック）に分割して、予測処理単位のブロックである符号化対象ブロックを出力する処理を実施する。なお、ブロック分割部１はブロック分割手段を構成している。
【００１３】
符号化制御部２は符号化ブロックサイズを決定するとともに、選択可能な１以上のイントラ符号化モード及びインター符号化モードの中から、ブロック分割部１から出力される符号化対象ブロックに対する符号化効率が最も高い符号化モードを決定する処理を実施する。
また、符号化制御部２は符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化対象ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化対象ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを決定する処理を実施する。
さらに、符号化制御部２は変換・量子化部７及び逆量子化・逆変換部８に与える予測差分符号化パラメータを決定する処理を実施する。
【００１４】
切換スイッチ３は符号化制御部２により決定された符号化モードがイントラ符号化モードであれば、ブロック分割部１から出力された符号化対象ブロックをイントラ予測部４に出力し、符号化制御部２により決定された符号化モードがインター符号化モードであれば、ブロック分割部１から出力された符号化対象ブロックを動き補償予測部５に出力する処理を実施する。
【００１５】
イントラ予測部４はイントラ予測用メモリ１０に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いて、切換スイッチ３から出力された符号化対象ブロックに対するイントラ予測処理を実施してイントラ予測画像（予測画像）を生成する処理を実施する。
動き補償予測部５は切換スイッチ３から出力された符号化対象ブロックと動き補償予測フレームメモリ１２に格納されているフィルタリング処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定されたインター予測パラメータを用いて、その符号化対象ブロックに対するインター予測処理（動き補償予測処理）を実施してインター予測画像（予測画像）を生成する処理を実施する。
なお、切換スイッチ３、イントラ予測部４、動き補償予測部５、イントラ予測用メモリ１０及び動き補償予測フレームメモリ１２から予測画像生成手段が構成されている。
【００１６】
減算部６はブロック分割部１より出力された符号化対象ブロックから、イントラ予測部４により生成されたイントラ予測画像、または、動き補償予測部５により生成されたインター予測画像を減算して、その減算結果である予測差分信号（差分画像）を変換・量子化部７に出力する処理を実施する。
変換・量子化部７は符号化制御部２により決定された予測差分符号化パラメータを参照して、減算部６から出力された予測差分信号に対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施して変換係数を算出するとともに、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データ（差分画像の量子化係数）を逆量子化・逆変換部８及び可変長符号化部１３に出力する処理を実施する。
なお、減算部６及び変換・量子化部７から量子化手段が構成されている。
【００１７】
逆量子化・逆変換部８は符号化制御部２により決定された予測差分符号化パラメータを参照して、変換・量子化部７から出力された圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、減算部６から出力された予測差分信号に相当する局所復号予測差分信号を算出する処理を実施する。
加算部９は逆量子化・逆変換部８により算出された局所復号予測差分信号と、イントラ予測部４により生成されたイントラ予測画像、または、動き補償予測部５により生成されたインター予測画像とを加算して、ブロック分割部１から出力された符号化対象ブロックに相当する局所復号画像を算出する処理を実施する。
【００１８】
イントラ予測用メモリ１０は加算部９により算出された局所復号画像を格納する記録媒体である。
ループフィルタ部１１は加算部９により算出された局所復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の局所復号画像を出力する処理を実施する。
動き補償予測フレームメモリ１２はフィルタリング処理後の局所復号画像を格納する記録媒体である。
【００１９】
可変長符号化部１３は変換・量子化部７から出力された圧縮データと、符号化制御部２の出力信号（符号化モード、イントラ予測パラメータ又はインター予測パラメータ、予測差分符号化パラメータ）と、動き補償予測部５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化してビットストリームを生成する処理を実施する。
ただし、可変長符号化部１３は変換・量子化部７から出力された圧縮データである量子化係数を可変長符号化する際、当該符号化対象ブロックの中に２次元に配列されている複数の量子化係数を走査して、複数の量子化係数を１次元に配列する配列変換ステップと、その配列変換ステップで１次元に配列された量子化係数が非ゼロであるか否かを示すＳＩＧビット（第１の１ビットシンボル）と、その配列変換ステップで１次元に配列された量子化係数が非ゼロである場合、走査順で当該量子化係数より後方に配置されている量子化係数の中に、所定の閾値より大きい絶対値を有する量子化係数があるか否かを示すＬＡＳＴ２ビット（第２の１ビットシンボル）と、その配列変換ステップで１次元に配列された量子化係数が非ゼロであり、走査順で当該量子化係数より後方に配置されている量子化係数の絶対値が全て前記所定の閾値以下である場合に、走査順で当該量子化係数より後方に配置されている量子化係数の中に、非ゼロである量子化係数があるか否かを示すＬＡＳＴビット（第３の１ビットシンボル）と、をエントロピー符号化するシンボル符号化ステップ（シンボル符号化ステップによりＳＩＧビット、ＬＡＳＴ２ビット及びＬＡＳＴビットがエントロピー符号化されることで、所定の閾値より大きい絶対値を有する量子化係数及び非ゼロの量子化係数の当該符号化対象ブロック内での位置を示す有意性マッピングが符号化される）と、当該符号化対象ブロック内の非ゼロの量子化係数の値をエントロピー符号化する量子化係数値符号化ステップとを実行する。
なお、可変長符号化部１３は可変長符号化手段を構成している。
【００２０】
図１の例では、動画像符号化装置の構成要素であるブロック分割部１、符号化制御部２、切換スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、イントラ予測用メモリ１０、ループフィルタ部１１、動き補償予測フレームメモリ１２及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、ブロック分割部１、符号化制御部２、切換スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。
【００２１】
図１１はこの発明の実施の形態１による動画像復号装置を示す構成図である。
図１１において、可変長復号部３１は動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームから圧縮データ、符号化モード、イントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）、インター予測パラメータ（符号化モードがインター符号化モードである場合）、予測差分符号化パラメータ及び動きベクトル（符号化モードがインター符号化モードである場合）を可変長復号する処理を実施する。
ただし、可変長復号部３１はビットストリームから圧縮データである量子化係数を可変長復号する際、１次元に配列されている量子化係数が非ゼロであるか否かを示すＳＩＧビット（第１の１ビットシンボル）と、走査順で非ゼロの量子化係数より後方に配置されている量子化係数の中に、所定の閾値より大きい絶対値を有する量子化係数があるか否かを示すＬＡＳＴ２ビット（第２の１ビットシンボル）と、走査順で非ゼロの量子化係数より後方に配置されている量子化係数の中に、非ゼロの量子化係数があるか否かを示すＬＡＳＴビット（第３の１ビットシンボル）とをエントロピー復号するシンボル復号ステップと、そのシンボル復号ステップでエントロピー復号されたＳＩＧビット、ＬＡＳＴ２ビット及びＬＡＳＴビットを参照して、復号対象ブロック内の非ゼロの量子化係数の位置を特定し、当該復号対象ブロック内の非ゼロの量子化係数の値をエントロピー復号する量子化係数値復号ステップと、当該復号対象ブロックの中に１次元に配列されている複数の量子化係数を逆走査して、複数の量子化係数を２次元に配列する配列変換ステップとを実行する。
なお、可変長復号部３１は可変長復号手段を構成している。
【００２２】
逆量子化・逆変換部３２は可変長復号部３１により可変長復号された予測差分符号化パラメータを参照して、可変長復号部３１により可変長復号された圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の減算部６から出力された予測差分信号に相当する復号予測差分信号を算出する処理を実施する。なお、逆量子化・逆変換部３２は逆量子化手段を構成している。
【００２３】
切換スイッチ３３は可変長復号部３１により可変長復号された符号化モードがイントラ符号化モードであれば、可変長復号部３１により可変長復号されたイントラ予測パラメータをイントラ予測部３４に出力し、可変長復号部３１により可変長復号された符号化モードがインター符号化モードであれば、可変長復号部３１により可変長復号されたインター予測パラメータ及び動きベクトルを動き補償部３５に出力する処理を実施する。
【００２４】
イントラ予測部３４はイントラ予測用メモリ３７に格納されている復号画像を参照しながら、切換スイッチ３３から出力されたイントラ予測パラメータを用いて、復号対象ブロックに対するイントラ予測処理を実施してイントラ予測画像（予測画像）を生成する処理を実施する。
動き補償部３５は動き補償予測フレームメモリ３９に格納されているフィルタリング処理後の復号画像を参照しながら、切換スイッチ３３から出力された動きベクトルとインター予測パラメータを用いて、復号対象ブロックに対するインター予測処理（動き補償予測処理）を実施してインター予測画像（予測画像）を生成する処理を実施する。
なお、切換スイッチ３３、イントラ予測部３４、動き補償部３５、イントラ予測用メモリ３７及び動き補償予測フレームメモリ３９から予測画像生成手段が構成されている。
【００２５】
加算部３６は逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像、または、動き補償部３５により生成されたインター予測画像とを加算して、図１のブロック分割部１から出力された符号化対象ブロックに相当する復号画像を算出する処理を実施する。
【００２６】
イントラ予測用メモリ３７は加算部３６により算出された復号画像を格納する記録媒体である。
ループフィルタ部３８は加算部３６により算出された復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の復号画像を出力する処理を実施する。
動き補償予測フレームメモリ３９はフィルタリング処理後の復号画像を格納する記録媒体である。
【００２７】
図１１の例では、動画像復号装置の構成要素である可変長復号部３１、逆量子化・逆変換部３２、切換スイッチ３３、イントラ予測部３４、動き補償部３５、加算部３６、イントラ予測用メモリ３７、ループフィルタ部３８及び動き補償予測フレームメモリ３９のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、可変長復号部３１、逆量子化・逆変換部３２、切換スイッチ３３、イントラ予測部３４、動き補償部３５、加算部３６及びループフィルタ部３８の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図１２はこの発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。
【００２８】
次に動作について説明する。
この実施の形態１では、映像の各フレーム画像を入力画像として、近接フレーム間で動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されるビットストリームを復号する動画像復号装置について説明する。
【００２９】
図１の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズの領域に分割して、フレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある特定の映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
【００３０】
符号化処理は、時間・空間的な予測によって、信号電力やエントロピーの小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測に用いるパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量を削減することができない。
したがって、時間的・空間的に変化が大きい領域では、予測対象の領域を小さくして、予測に用いるパラメータのデータ量を増やしても、予測差分信号の電力・エントロピーを低減する方が望ましい。
【００３１】
この実施の形態１では、このような映像信号の一般的な性質に適応した符号化を行うため、最初に所定の最大ブロックサイズから予測処理等を開始し、階層的に映像信号の領域を分割し、分割した領域毎に予測処理や、その予測差分の符号化処理を適応化させる構成をとるようにしている。
【００３２】
図１の動画像符号化装置が処理対象とする映像信号フォーマットは、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号とする。
ただし、各画素の諧調は、８ビットでもよいし、１０ビットや１２ビットなどの諧調でもよい。
【００３３】
以下の説明では、便宜上、特に断らない限り、入力画像の映像信号はＹＵＶ信号であるとし、かつ、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号を扱う場合について述べる。
また、映像信号の各フレームに対応する処理データ単位を「ピクチャ」と称する。
この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレーム信号として説明を行うが、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
【００３４】
最初に、図１の動画像符号化装置の処理内容を説明する。
まず、符号化制御部２は、符号化対象となるピクチャ（カレントピクチャ）の符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する（図２のステップＳＴ１）。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、すべてのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
分割階層数の上限の決め方としては、例えば、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定するなどの方法がある。
【００３５】
ブロック分割部１は、入力画像の映像信号を入力すると、符号化制御部２により決定された最大符号化ブロックサイズで、入力画像のピクチャに分割し、分割後の各ピクチャを出力する。
また、符号化制御部２は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化対象ブロックに分割して、各符号化対象ブロックに対する符号化モードを決定する（ステップＳＴ２）。
【００３６】
ここで、図３は最大符号化ブロックが階層的に複数の符号化対象ブロックに分割される例を示す説明図である。
図３において、最大符号化ブロックは、「第０階層」と記されている輝度成分が（Ｌ０，Ｍ０）のサイズを有する符号化対象ブロックである。
最大符号化ブロックを出発点として、４分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化対象ブロックを得るようにしている。
深さｎにおいては、符号化対象ブロックはサイズ（Ｌｎ，Ｍｎ）の画像領域である。
ただし、ＬｎとＭｎは、同じであってもよいし、異なっていてもよいが、図３では、Ｌｎ＝Ｍｎのケースを示している。
【００３７】
以降、符号化制御部２により決定される符号化ブロックサイズは、符号化対象ブロックの輝度成分におけるサイズ（Ｌｎ，Ｍｎ）と定義する。
４分木分割を行うため、常に、（Ｌｎ＋１，Ｍｎ＋１）＝（Ｌｎ／２，Ｍｎ／２）が成立する。
なお、ＲＧＢ信号など、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌｎ，Ｍｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは（Ｌｎ／２，Ｍｎ／２）になる。
【００３８】
以降、第ｎ階層の符号化対象ブロックをＢｎで表し、符号化対象ブロックＢｎで選択可能な符号化モードをｍ（Ｂｎ）で表すものとする。
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂｎ）は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。
【００３９】
符号化モードｍ（Ｂｎ）には、１つないし複数のイントラ符号化モード（ＩＮＴＲＡ）と、１つないし複数のインター符号化モード（ＩＮＴＥＲ）とがあり、符号化制御部２は、当該ピクチャで利用可能な全ての符号化モード、または、そのサブセットの中から、符号化対象ブロックＢｎに対する符号化効率が最も高い符号化モードを選択する。
【００４０】
さらに、符号化対象ブロックＢｎは、図３に示すように、ブロック分割部１によって、１つないし複数の予測処理単位（パーティション）に分割される。
以降、符号化対象ブロックＢｎに属するパーティションをＰｉｎ（ｉは、第ｎ階層におけるパーティション番号）と表記する。
符号化対象ブロックＢｎのパーティション分割が、どのようになされているかは、符号化モードｍ（Ｂｎ）の中に情報として含まれる。
パーティションＰｉｎは、すべて符号化モードｍ（Ｂｎ）に従って予測処理が行われるが、パーティションＰｉｎ毎に、個別の予測パラメータを選択することができる。
【００４１】
符号化制御部２は、最大符号化ブロックに対して、例えば、図４に示すようなブロック分割状態を生成して、符号化対象ブロックを特定する。
図４（ａ）の斜線部分は、分割後のパーティションの分布を示しており、図４（ｂ）は階層分割によって符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示している。
図４（ｂ）の□で囲まれているノードは、符号化モードｍ（Ｂｎ）が割り当てられたノード（符号化対象ブロック）である。
符号化制御部２は、例えば、ブロックを分割した場合と分割しない場合の符号量Ｒと、画質劣化度Ｄを元にＤ＋λＲ（λは予め決定された値）が小さい値となる方を最適な階層分割モードであると判定し、これを階層毎に繰り返すことにより適切な階層分割を行うことができる。
【００４２】
切換スイッチ３は、符号化制御部２により決定された符号化モードｍ（Ｂｎ）がイントラ符号化モードである場合（ｍ（Ｂｎ）∈ＩＮＴＲＡの場合）、ブロック分割部１から出力された符号化対象ブロックＢｎをイントラ予測部４に出力する。
一方、符号化制御部２により決定された符号化モードｍ（Ｂｎ）がインター符号化モードである場合（ｍ（Ｂｎ）∈ＩＮＴＥＲの場合）、ブロック分割部１から出力された符号化対象ブロックＢｎを動き補償予測部５に出力する。
【００４３】
イントラ予測部４は、符号化制御部２により決定された符号化モードｍ（Ｂｎ）がイントラ符号化モードであり（ｍ（Ｂｎ）∈ＩＮＴＲＡの場合）、切換スイッチ３から符号化対象ブロックＢｎを受けると（ステップＳＴ３）、イントラ予測用メモリ１０に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いて、その符号化対象ブロックＢｎ内の各パーティションＰｉｎに対するイントラ予測処理を実施して、イントラ予測画像ＰＩＮＴＲＡｉｎを生成する（ステップＳＴ４）。
なお、画像復号装置がイントラ予測画像ＰＩＮＴＲＡｉｎと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像ＰＩＮＴＲＡｉｎの生成に用いられたイントラ予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
【００４４】
動き補償予測部５は、符号化制御部２により決定された符号化モードｍ（Ｂｎ）がインター符号化モードであり（ｍ（Ｂｎ）∈ＩＮＴＥＲの場合）、切換スイッチ３から符号化対象ブロックＢｎを受けると（ステップＳＴ３）、その符号化対象ブロックＢｎ内の各パーティションＰｉｎと動き補償予測フレームメモリ１２に格納されているフィルタリング処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定されたインター予測パラメータを用いて、その符号化対象ブロックＢｎ内の各パーティションＰｉｎに対するインター予測処理を実施して、インター予測画像ＰＩＮＴＥＲｉｎを生成する（ステップＳＴ５）。
なお、画像復号装置がインター予測画像ＰＩＮＴＥＲｉｎと全く同じインター予測画像を生成する必要があるため、インター予測画像ＰＩＮＴＥＲｉｎの生成に用いられたインター予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
また、動き補償予測部５により探索された動きベクトルも可変長符号化部１３に出力されて、ビットストリームに多重化される。
イントラ予測部４及び動き補償予測部５における予測には、例えば、動画像符号化国際標準規格であるＨ．２６４のイントラ予測や動き補償予測など、いかなる手法であっても本発明に適用可能である。
【００４５】
減算部６は、ブロック分割部１から符号化対象ブロックＢｎを受けると、その符号化対象ブロックＢｎ内のパーティションＰｉｎから、イントラ予測部４により生成されたイントラ予測画像ＰＩＮＴＲＡｉｎ、または、動き補償予測部５により生成されたインター予測画像ＰＩＮＴＥＲｉｎを減算して、その減算結果である予測差分信号ｅｉｎを変換・量子化部７に出力する（ステップＳＴ６）。
【００４６】
変換・量子化部７は、減算部６から予測差分信号ｅｉｎを受けると、符号化制御部２により決定された予測差分符号化パラメータを参照して、その予測差分信号ｅｉｎに対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施して、変換係数を算出する。
また、変換・量子化部７は、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ７）。
【００４７】
逆量子化・逆変換部８は、変換・量子化部７から圧縮データを受けると、符号化制御部２により決定された予測差分符号化パラメータを参照して、その圧縮データを逆量子化する。
また、逆量子化・逆変換部８は、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理（例えば、逆ＤＣＴ、逆ＫＬ変換など）を実施して、減算部６から出力された予測差分信号ｅｉｎに相当する局所復号予測差分信号を算出する（ステップＳＴ８）。
【００４８】
加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４により生成されたイントラ予測画像ＰＩＮＴＲＡｉｎ、または、動き補償予測部５により生成されたインター予測画像ＰＩＮＴＥＲｉｎとを加算して、局所復号パーティション画像、あるいは、その局所復号パーティション画像の集まりとして、ブロック分割部１から出力された符号化対象ブロックＢｎに相当する局所復号画像を算出する（ステップＳＴ９）。
なお、加算部９は、その局所復号画像をループフィルタ部１１に出力するとともに、その局所復号画像をイントラ予測用メモリ１０に格納する。
この局所復号画像が、以降のイントラ予測用の画像信号になる。
【００４９】
ループフィルタ部１１は、加算部９から局所復号画像を受けると、その局所復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の局所復号画像を動き補償予測フレームメモリ１２に格納する（ステップＳＴ１０）。
なお、ループフィルタ部１１によるフィルタリング処理は、入力される局所復号画像の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する局所復号画像が入力された後に１画面分まとめて行ってもよい。
【００５０】
可変長符号化部１３は、全ての符号化対象ブロックＢｎに対するステップＳＴ３〜ＳＴ９の処理が完了すると（ステップＳＴ１１、ＳＴ１２）、変換・量子化部７から出力された圧縮データと、符号化制御部２から出力された符号化モードｍ（Ｂｎ）と、符号化制御部２から出力されたイントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）又はインター予測パラメータ（符号化モードがインター符号化モードである場合）と、動き補償予測部５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化して、それらの符号化結果を示すビットストリームを生成する（ステップＳＴ１３）。
【００５１】
図５は可変長符号化部１３における圧縮データである量子化係数（変換係数ブロック）のエントロピー符号化方法の基本原理を示す説明図である。
最初に、変換係数ブロックに対して、１ビットシンボルＣＢＦ（Ｃｏｄｅｄ＿Ｂｌｏｃｋ＿Ｆｌａｇ）を符号化する。
例えばＣＢＦビットは、当該ブロックに有意変換係数が存在する場合に“１”、有意変換係数が存在しない場合に“０”とするよう構成できる。当然、さらに上位階層のシンタックスが当該ブロックに有意変換係数が無いことを示している場合は、この限りではない。
ＣＢＦビットが“０”である場合、当該ブロックについての符号化を終了する。
【００５２】
一方、ＣＢＦビットが、有意変換係数が存在することを示している場合、次のようなシンボル化が行われる。
まず、有意変換係数が２次元配列されている変換係数ブロックは、所定の走査順（例えば、ジグザグスキャンなど）に従って１次元配列に変換される。
次に、図６に示すように、走査順に有意変換係数の位置を示す情報がＳＩＧビットとしてシンボル化される。例えば、有意変換係数が存在する場合には、ＳＩＧビットとして“１”がシンボル化され、有意変換係数が存在しない場合には、ＳＩＧビットとして“０”がシンボル化される。
【００５３】
ＳＩＧビットとして“１”がシンボル化された場合に限り、有意変換係数の絶対値が予め設定された所定の閾値ＴＨ（例えば、“２”）以上となるものが、走査順で当該位置より後ろ（高周波成分側）に存在しているか否かを示すフラグをＬＡＳＴ２ビットとしてシンボル化する。
即ち、走査順で当該位置より後ろに、閾値ＴＨ以上の絶対値を有する有意変換係数が存在しない場合には“１”をシンボル化し、存在する場合には“０”をシンボル化する。
そのＬＡＳＴ２ビットが“１”となる位置以降では、有意変換係数が走査順で当該位置より後ろ（高周波成分側）に存在しているか否かを示すフラグをＬＡＳＴビットとしてシンボル化する。
即ち、走査順で当該位置より後ろに有意変換係数が存在しない場合には“１”をシンボル化し、存在する場合には“０”をシンボル化する。
なお、一度、ＬＡＳＴ２ビットとして“１”がシンボル化されれば、ＬＡＳＴ２ビットのシンボル化は終了し、ＬＡＳＴビットのみをシンボル化する。
このようにして走査順に閾値ＴＨ以上の絶対値を有する有意変換係数が存在する位置と、絶対値が閾値ＴＨ未満の絶対値を有する有意変換係数が存在する位置とが特定される。
【００５４】
続いて、有意変換係数の係数値をシンボル化する。係数値は、その絶対値であるＡＢＳと正負の符号であるＳＩＧＮビットから構成される。ＳＩＧＮビットは正の数の場合には“０”、負の数の場合には“１”としてシンボル化される。
走査順で最初の有意係数については、ＡＢＳから“１”を引いた値がシンボル化される。
【００５５】
走査順で最初ではない有意係数については、ＬＡＳＴ２ビットが“０”である場合には、ＡＢＳから“１”を引いた値がシンボル化され、ＬＡＳＴ２ビットが“１”である場合には、ＡＢＳから閾値ＴＨを引いた値がシンボル化される。
ＬＡＳＴ２ビットが存在せず、ＬＡＳＴビットのみが存在する場合には、ＡＢＳから“１”を引いた値がシンボル化される。
ＡＢＳについては、例えばＳＩＧビット、ＬＡＳＴ２ビット及びＬＡＳＴビットの走査順と逆方向の順序で符号化を行うよう構成する。
【００５６】
ＡＢＳのシンボル化は、例えば、図１４に示すように単項２値化（ｕｎａｒｙ  ｂｉｎａｒｉｚａｔｉｏｎ）のシンボル、あるいは、接頭部と接尾部を備えた２値化シンボルで示され、この接頭部はＡＢＳの値に応じた個数の数字から成り、接尾部はゼロ次の指数ゴロム符号から成る。
ＬＡＳＴ２ビットが存在せず、ＬＡＳＴビットのみが存在する場合については、ＡＢＳ−１のシンボル化において、ＡＢＳの最大値が閾値ＴＨ−１であるため、図８に示すように、“１”から“ＴＨ−１”までに限定されたシンボル化が行われる。特殊なケースとして、ＴＨ＝２の場合には、ＡＢＳの値が“１”であることが自明であるため、ＡＢＳの符号化を行う必要はない。
例えば、図６に示すような系列があった場合、ＴＨ＝３の場合、従来手法と比べて本手法では、発生するシンボル数を３個削減することができる。また、ＴＨ＝２の場合、従来手法と比べて本手法では、発生するシンボル数を７個削減することができる。
【００５７】
このようにして得られる各２値化シンボルに対してエントロピー符号化が行われることにより周波数変換ブロックが符号化される。
ここでのエントロピー符号化としては、２値化シンボルに対する算術符号化を行ってもよいし、２値化シンボルを１つまたは複数まとめたものに対してハフマン符号を割り当てることにより可変長符号化してもよい。
２値化シンボルに対して算術符号化や可変長符号化を行う際には、それぞれのシンボルについて生起確率に基づいて符号化を行うことにより高能率符号化を行うことができる。
各２値化シンボルに対して、それぞれ確率テーブルを割り当て、確率テーブルを実際のシンボルの生起履歴に基づいて更新することにより、更なる符号化効率の向上を図ることができる。
さらに、条件（コンテキスト）に応じて確率テーブルを切り替えることにより、より高能率な符号化を実現することができる。以下、コンテキストに応じた確率テーブルの切り替えの一例について記する。
【００５８】
ＳＩＧビット、ＬＡＳＴ２ビット及びＬＡＳＴビットを符号化するために、各ブロックカテゴリ（図１０を参照）毎に、ｍａｘ＿ｃｏｅｆｆ−１個の異なる確率テーブルが使用されるように構成する。
どの確率テーブルを使用するかを特定するためのコンテキスト番号は、常に当該係数の対応する係数走査位置によって示される。
ｉ番目の係数として走査された係数ｃｏｅｆｆ［ｉ］のコンテキスト番号は、
ｃｔｘ＿ＩＤ＿ＳＩＧ（ｃｏｅｆｆ［ｉ］）
＝ｃｔｘ＿ＩＤ＿ＬＡＳＴ２（ｃｏｅｆｆ［ｉ］）
＝ｃｔｘ＿ＩＤ＿ＬＡＳＴ（ｃｏｅｆｆ［ｉ］）
＝ｉ
となる。
【００５９】
また、ＡＢＳの符号化に用いる確率テーブルのコンテキスト番号としては、２つの異なるモデルを用いる。１つ目のコンテキスト番号ｃｔｘ＿ＩＤ＿ＡＢＳ＿１ｂｉｎはＡＢＳの２値化シンボルの先頭ビットに対して適用され、もう１つのコンテキスト番号ｃｔｘ＿ＩＤ＿ＡＢＳ＿ｒｂｉｎｓは残りの２値化シンボルに対して適用される。
ｃｔｘ＿ＩＤ＿ＡＢＳ＿１ｂｉｎは、例えば、ＡＢＳ＞１を有する係数がブロック内で符号化された場合、コンテキスト番号として“４”を割り当て、ＡＢＳ＝１の係数がブロック内で３個より多く符号化された場合、コンテキスト番号として３を割り当てる。
それ以外の場合には、ＡＢＳ＝１の係数がブロック内で符号化された個数をコンテキスト番号として割り当てる。
【００６０】
このように、発生したＡＢＳ＝１の係数数及びＡＢＳ＞１の稀有数数に応じてコンテキストを切り替えることにより、ＡＢＳ＞１の係数が符号化されていない場合、ＡＢＳ＞１が発生する確率は、有意係数が発生するごとに高くなる。
ＡＢＳ＞１の係数が一度発生した場合、ＡＢＳ＞１の係数が発生する確率はさらに高くなる。
このため、条件に応じて適切な確率テーブルを割り当てることができ、高い符号化効率で符号化することができる。
【００６１】
また、ｃｔｘ＿ＩＤ＿ＡＢＳ＿ｒｂｉｎは、例えば、ＡＢＳ＞１を有する係数がブロック内で４個より多く符号化された場合、コンテキスト番号として“４”を割り当て、それ以外の場合、ＡＢＳ＞１を有する係数がブロック内で発生した数をコンテキスト番号として割り当てる。
このように、発生したＡＢＳ＞１の係数数に応じてコンテキストを切り替えることにより、ＡＢＳ＞１の係数が発生するごとにＡＢＳ＞１の係数が発生する確率が高くなるため、条件に応じて適切な確率テーブルを割り当てることができ、高い符号化効率で符号化することができる。
【００６２】
次に、図１１の動画像復号装置の処理内容を具体的に説明する。
可変長復号部３１は、図１の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図１２のステップＳＴ２１）、１フレーム以上のピクチャから構成されるシーケンス単位、あるいは、ピクチャ単位にフレームサイズを復号する。
【００６３】
即ち、可変長復号部３１は、図１の動画像符号化装置の符号化制御部２により決定された最大符号化ブロックサイズ及び分割階層数の上限を動画像符号化装置と同様の手順で決定する（ステップＳＴ２２）。
例えば、最大符号化ブロックサイズが映像信号の解像度に応じて決められた場合には、復号したフレームサイズに基づいて、動画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
最大符号化ブロックサイズ及び分割階層数上限が、動画像符号化装置側でビットストリームに多重化された場合には、ビットストリームから復号した値を用いる。
動画像符号化装置は、図３で示されるように、最大符号化ブロックを出発点に階層的に複数の符号化対象ブロックに分割して得られる符号化対象ブロック単位に符号化モードや変換・量子化して得られる圧縮データをビットストリームに多重化する。
当該ビットストリームを受け取った可変長復号部３１は、決定された最大符号化ブロック単位に符号化モードに含まれる最大符号化ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に復号対象ブロック（図１の動画像符号化装置の「符号化対象ブロック」に相当するブロック）を特定する（ステップＳＴ２３）。
【００６４】
次に、可変長復号部３１は、復号対象ブロックに割り当てられている符号化モードを復号する。復号した符号化モードに含まれる情報に基づき、復号対象ブロックをさらに１つないし複数の予測処理単位に分割し、予測処理単位に割り当てられている予測パラメータを復号する。
【００６５】
可変長復号部３１は、復号対象ブロック（符号化対象ブロック）に割り当てられている符号化モードがイントラ符号化モードである場合、その復号対象ブロックに含まれている予測処理単位となる１つ以上のパーティション毎にイントラ予測パラメータを復号する。
【００６６】
予測処理単位となるパーティションは、更に予測差分符号化パラメータに含まれている変換ブロックサイズ情報に基づいて、変換処理単位となる１つないし複数のパーティションに分割されて、変換処理単位となるパーティション毎に、圧縮データ（量子化後の変換係数）を復号する（ステップＳＴ２４）。
可変長復号部３１は、更に、それぞれのパーティションにおける残差信号成分を変換係数ブロック毎に復号する。
【００６７】
図１３は可変長復号部３１における変換係数ブロックのエントロピー復号方法の基本原理を示す説明図である。
最初に、変換係数ブロックに対して、１ビットシンボルＣＢＦを復号する。
ＣＢＦビットが“１”である場合、当該ブロックに有意変換係数が存在することを示し、ＣＢＦビットが“０”である場合、当該ブロックに有意変換係数が存在しないことを示している。当然、更に上位階層のシンタックスが当該ブロックに有意変換係数が無いことを既に示している場合は、ＣＢＦ以下の復号処理は行われない。
ＣＢＦビットが“０”である場合、当該ブロックについての復号を終了し、変換ブロック内の全ての変換係数が“０”であるとして処理が進められる。
【００６８】
ＣＢＦビットが“１”である場合、次のような復号処理が行われる。
まず、走査順に有意変換係数の位置を示す情報がＳＩＧビットとして復号される。
ＳＩＧビットが“１”である場合には、有意変換係数が存在することを示し、ＳＩＧビットが“０”である場合には、有意変換係数が存在しないことを示している。
ＳＩＧビットとして“１”が復号された場合に限り、有意変換係数の絶対値が予め設定された所定の閾値ＴＨ（例えば、“２”）以上となるものが、走査順で当該位置より後ろ（高周波成分側）に存在しているか否かを示すフラグであるＬＡＳＴ２ビットが復号される。
即ち、ＬＡＳＴ２ビットが“１”である場合には、走査順で当該位置より後ろに閾値ＴＨ以上の絶対値を有する有意変換係数が存在しないことを示し、ＬＡＳＴ２ビットが“０”である場合には、走査順で当該位置より後ろに閾値ＴＨ以上の絶対値を有する有意変換係数が存在していることを示している。
【００６９】
ＬＡＳＴ２ビットが“１”となる位置以降では、有意変換係数が走査順で当該位置より後ろ（高周波成分側）に存在しているか否かを示すフラグであるＬＡＳＴビットが復号される。
即ち、ＬＡＳＴビットが“１”である場合には、走査順で当該位置より後ろに有意変換係数が存在しないことを示し、ＬＡＳＴビットが“０”である場合には、走査順で当該位置より後ろに有意変換係数が存在していることを示している。
ただし、一度、ＬＡＳＴ２ビットとして“１”が復号されれば、ＬＡＳＴ２ビットの復号は終了し、ＬＡＳＴビットのみを復号する。
【００７０】
このようにして、走査順に閾値ＴＨ以上の絶対値を有する有意変換係数が存在する位置と、絶対値が閾値ＴＨ未満の絶対値を有する有意変換係数が存在する位置とが特定される。
続いて、有意変換係数の係数値を復号する。
係数値は、その絶対値であるＡＢＳと、正負の符号であるＳＩＧＮビットから構成される。ＳＩＧＮビットは正の数の場合は“０”、負の数の場合は“１”として復号される。
【００７１】
走査順で最初の有意係数については、ＡＢＳから“１”を引いた値が復号される。
走査順で最初ではない有意係数については、ＬＡＳＴ２ビットが“０”である場合、ＡＢＳから“１”を引いた値が復号され、ＬＡＳＴ２ビットが“１”である場合、ＡＢＳから閾値ＴＨを引いた値が復号される。
ＬＡＳＴ２ビットが存在せず、ＬＡＳＴビットのみが存在する場合には、ＡＢＳから“１”を引いた値が復号される。
ＡＢＳについては、例えばＳＩＧビット、ＬＡＳＴ２ビット及びＬＡＳＴビットの走査順と逆方向の順序で復号を行うよう構成する。
【００７２】
ＡＢＳは、例えば、図１４に示すように、単項２値化（ｕｎａｒｙ  ｂｉｎａｒｉｚａｔｉｏｎ）のシンボル、あるいは、接頭部と接尾部を備えた２値化シンボルで示され、この接頭部は、ＡＢＳの値に応じた個数の数字１から成り、接尾部は、ゼロ次の指数ゴロム符号から成る。
ＬＡＳＴ２ビットが存在せず、ＬＡＳＴビットのみが存在する場合については、ＡＢＳ−１の復号において、ＡＢＳの最大値が閾値ＴＨ−１であるため、図８に示すように、“１”から“ＴＨ−１”までに限定された２値化シンボルとして復号される。特殊なケースとして、ＴＨ＝２の場合には、ＡＢＳの値が“１”であることが自明であるため、ＡＢＳの復号を行う必要はない。
【００７３】
このようにして得られる各２値化シンボルがエントロピー復号されることにより、周波数変換係数が１次元配列として復号される。
ここで、図１の動画像符号化装置における走査の逆処理である所定の逆走査（例えば、逆ジグザグスキャンなど）を行うことによって、１次元配列を２次元ブロックに変換することで、周波数変換ブロックを復号することができる。
ただし、ここでのエントロピー復号は、図１の動画像符号化装置におけるエントロピー符号化に対応する手法である必要がある。
【００７４】
ＳＩＧビット、ＬＡＳＴ２ビット及びＬＡＳＴビットを復号するために、各ブロックカテゴリ（図１０を参照）毎に、ｍａｘ＿ｃｏｅｆｆ−１個の異なる確率テーブルが使用されるように構成する。
どの確率テーブルを使用するかを特定するためのコンテキスト番号は、常に当該係数の対応する係数走査位置によって示される。
ｉ番目の係数として走査された係数ｃｏｅｆｆ［ｉ］のコンテキスト番号は、
ｃｔｘ＿ＩＤ＿ＳＩＧ（ｃｏｅｆｆ［ｉ］）
＝ｃｔｘ＿ＩＤ＿ＬＡＳＴ２（ｃｏｅｆｆ［ｉ］）
＝ｃｔｘ＿ＩＤ＿ＬＡＳＴ（ｃｏｅｆｆ［ｉ］）
＝ｉ
となる。
【００７５】
また、ＡＢＳの復号に用いる確率テーブルのコンテキスト番号としては、２つの異なるモデルを用いる。１つ目のコンテキスト番号ｃｔｘ＿ＩＤ＿ＡＢＳ＿１ｂｉｎはＡＢＳの２値化シンボルの先頭ビットに対して適用され、もう１つのコンテキスト番号ｃｔｘ＿ＩＤ＿ＡＢＳ＿ｒｂｉｎｓは残りの２値化シンボルに対して適用される。
ｃｔｘ＿ＩＤ＿ＡＢＳ＿１ｂｉｎは、例えば、ＡＢＳ＞１を有する係数がブロック内で復号された場合、コンテキスト番号として“４”を割り当て、ＡＢＳ＝１の係数がブロック内で３個より多く復号された場合、コンテキスト番号として３を割り当てる。
それ以外の場合には、ＡＢＳ＝１の係数がブロック内で復号された個数をコンテキスト番号として割り当てる。
【００７６】
このように、発生したＡＢＳ＝１の係数数及びＡＢＳ＞１の稀有数数に応じてコンテキストを切り替えることにより、条件に応じて符号化の際に選択された確率テーブルを割り当てることができ、好適に復号することができる。
また、ｃｔｘ＿ＩＤ＿ＡＢＳ＿ｒｂｉｎは、例えば、ＡＢＳ＞１を有する係数がブロック内で４個より多く復号された場合、コンテキスト番号として“４”を割り当て、それ以外の場合、ＡＢＳ＞１を有する係数がブロック内で発生した数をコンテキスト番号として割り当てる。
このように、発生したＡＢＳ＞１の係数数に応じてコンテキストを切り替えることにより、条件に応じて符号化の際に選択された確率テーブルを割り当てることができ、好適に復号することができる。
【００７７】
切換スイッチ３３は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂｎ）がイントラ符号化モードであれば（ｍ（Ｂｎ）∈ＩＮＴＲＡの場合）、可変長復号部３１により可変長復号されたイントラ予測パラメータをイントラ予測部３４に出力する。
一方、可変長復号部３１により可変長復号された符号化モードｍ（Ｂｎ）がインター符号化モードであれば（ｍ（Ｂｎ）∈ＩＮＴＥＲの場合）、可変長復号部３１により可変長復号されたインター予測パラメータ及び動きベクトルを動き補償部３５に出力する。
【００７８】
イントラ予測部３４は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂｎ）がイントラ符号化モードであり（ｍ（Ｂｎ）∈ＩＮＴＲＡの場合）、切換スイッチ３３からイントラ予測パラメータを受けると（ステップＳＴ２５）、図１のイントラ予測部４と同様の手順で、イントラ予測用メモリ３７に格納されている局所復号画像を参照しながら、切換スイッチ３３から出力されたイントラ予測パラメータを用いて、復号対象ブロックＢｎ内の各パーティションＰｉｎに対するイントラ予測処理を実施して、イントラ予測画像ＰＩＮＴＲＡｉｎを生成する（ステップＳＴ２６）。
【００７９】
動き補償部３５は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂｎ）がインター符号化モードであり（ｍ（Ｂｎ）∈ＩＮＴＥＲの場合）、切換スイッチ３３から符号化対象ブロックＢｎを受けると（ステップＳＴ２５）、動き補償予測フレームメモリ３９に格納されているフィルタリング処理後の復号画像を参照しながら、切換スイッチ３３から出力された動きベクトルとインター予測パラメータを用いて、復号対象ブロックに対するインター予測処理を実施してインター予測画像ＰＩＮＴＥＲｉｎを生成する（ステップＳＴ２７）。
【００８０】
逆量子化・逆変換部３２は、可変長復号部３１から圧縮データ及び予測差分符号化パラメータを受けると、図１の逆量子化・逆変換部８と同様の手順で、その予測差分符号化パラメータを参照して、その圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の減算部６から出力された予測差分信号に相当する復号予測差分信号を算出する（ステップＳＴ２８）。
【００８１】
加算部３６は、逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像ＰＩＮＴＲＡｉｎ、または、動き補償部３５により生成されたインター予測画像ＰＩＮＴＥＲｉｎとを加算して、復号対象ブロック内に含まれる１つないし複数の復号パーティション画像の集まりとして、復号画像をループフィルタ部３８に出力するとともに、その復号画像をイントラ予測用メモリ３７に格納する（ステップＳＴ２９）。
この復号画像が、以降のイントラ予測用の画像信号になる。
【００８２】
ループフィルタ部１１は、全ての復号対象ブロックＢｎに対するステップＳＴ２３〜ＳＴ２９の処理が完了すると（ステップＳＴ３０）、加算部３６から出力された復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の復号画像を動き補償予測フレームメモリ３９に格納する（ステップＳＴ３１）。
この復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。
【００８３】
以上で明らかなように、この実施の形態１によれば、動画像符号化装置の可変長符号化部１３が、変換・量子化部７から出力された量子化係数を可変長符号化する際、符号化対象ブロックの中に２次元に配列されている複数の量子化係数を走査して、複数の量子化係数を１次元に配列する配列変換ステップと、その配列変換ステップで１次元に配列された量子化係数が非ゼロであるか否かを示すＳＩＧビットと、その配列変換ステップで１次元に配列された量子化係数が非ゼロである場合、走査順で当該量子化係数より後方に配置されている量子化係数の中に、所定の閾値より大きい絶対値を有する量子化係数があるか否かを示すＬＡＳＴ２ビットと、走査順で当該量子化係数より後方に配置されている量子化係数の中に、その閾値より大きい絶対値を有する量子化係数がない場合、走査順で当該量子化係数より後方に配置されている量子化係数の中に、非ゼロの量子化係数があるか否かを示すＬＡＳＴビットとをエントロピー符号化するシンボル符号化ステップと、当該符号化対象ブロック内の非ゼロの量子化係数の値をエントロピー符号化する量子化係数値符号化ステップとを実行するように構成したので、高周波成分における２値化シンボルの発生数を抑制して、高い符号化効率を得ることができる効果を奏する。
【００８４】
実施の形態２．
上記実施の形態１では、ＬＡＳＴ２ビットやＬＡＳＴビットの符号化を行う際、ＳＩＧビットが“１”である走査位置について、ＬＡＳＴ２ビット又はＬＡＳＴビットを１ビット符号化するようにしている。
しかし、特に周波数変換ブロックサイズが大きい場合には、ＬＡＳＴ２ビットやＬＡＳＴビットとして“０”が連続する個数が多くなる。
そこで、この実施の形態２では、ＬＡＳＴ２ビットやＬＡＳＴビットとして“０”が連続する個数が多くなる場合の符号化効率を高める工夫を施している。
【００８５】
図１５はこの発明の実施の形態２における可変長符号化部１３における変換係数ブロックのエントロピー符号化方法の基本原理を示す説明図である。
これ以外の部分については、上記実施の形態１における動画像符号化装置と同じであるため説明を割愛する。
この実施の形態２では、可変長符号化部１３は、周波数変換ブロックの符号化処理でＬＡＳＴ２ビットの連続する“０”の個数（ＮｕｍＣｏｅｆｆ２）やＬＡＳＴビットの連続する“０”の個数（ＮｕｍＣｏｅｆｆ）を符号化することにより、２値化シンボル数を削減して、高い符号化効率を得るように構成している。
【００８６】
例えば、図９に示すようなゴロム符号による２値化テーブルを用いて、２値化シンボル化することにより、図６の従来手法については、ＬＡＳＴ２ビット及びＬＡＳＴビットのシンボル数が６個、ＴＨ＝３の場合には４個、ＴＨ＝２の場合には２個削減することができる。
当然、２値化テーブルとしてゴロム符号でなくとも、例えば、接頭部が単項２値化、接尾部がゴロム符号となっているものなど、全て単項２値化するより短いシンボルに変換できるものであれば、同様の効果を得ることができる。
【００８７】
図１６はこの発明の実施の形態２の可変長復号部３１における変換係数ブロックのエントロピー復号方法の基本原理を示す説明図である。
この実施の形態２の可変長復号部３１においても同様に、ＬＡＳＴ２ビットやＬＡＳＴビットを連続する“０”の個数として、例えば、図９に示すテーブルを用いて復号することにより、好適に復号することが可能である。
ここでは、ＬＡＳＴ２ビットの連続する“０”の個数（ＮｕｍＣｏｅｆｆ２）と、ＬＡＳＴビットの連続する“０”の個数（ＮｕｍＣｏｅｆｆ）として復号するものを示したが、いずれか一方のみを連続する“０”の個数として復号し、残りの一方は従来と同様にＳＩＧビットに対して１ビットずつシンボル化するようにしてもよい。
【００８８】
また、図１７及び図１８に示すように、ＬＡＳＴ２ビットを用いずに、ＬＡＳＴビットのみを用いる従来手法に対しても、ＬＡＳＴビットを連続する“０”の個数（ＮｕｍＣｏｅｆｆ）として、符号化／復号を行うよう構成してもよい。
この場合には、ＬＡＳＴビットの連続する“０”の個数は、ブロック内の有意係数の個数から“１”を引いた値を符号化／復号することと同義である。
なお、実施の形態１，２で説明したＣＢＦビット、ＳＩＧビット、ＬＡＳＴ２ビット、ＬＡＳＴビットおよびＳＩＧＮビットのそれぞれの意味に対して“１”と“０”の割り当ては一例を示しただけであり、これに限定されるものではなく、異なる割り当てをしても同様の効果が得られる。
また、ＡＢＳのシンボル化においては接頭部として単項２値化シンボル、接尾部としてゼロ次の指数ゴロム符号を一例として挙げたが、これに限らず、ＡＢＳがより大きい値である場合に、よりシンボル長の長い符号を割り当てる手法であれば、本発明の効果を得ることができる。
また、ＡＢＳの符号化・復号については、ＳＩＧビット、ＬＡＳＴ２ビット及びＬＡＳＴビットの走査順と逆方向の順序で処理を行うよう構成したが、当然走査順と同方向の順序で処理を行うよう構成してもよい。
【符号の説明】
【００８９】
１  ブロック分割部（ブロック分割手段）、２  符号化制御部、３  切換スイッチ（予測画像生成手段）、４  イントラ予測部（予測画像生成手段）、５  動き補償予測部（予測画像生成手段）、６  減算部（量子化手段）、７  変換・量子化部（量子化手段）、８  逆量子化・逆変換部、９  加算部、１０  イントラ予測用メモリ（予測画像生成手段）、１１  ループフィルタ部、１２  動き補償予測フレームメモリ（予測画像生成手段）、１３  可変長符号化部（可変長符号化手段）、３１  可変長復号部（可変長復号手段）、３２  逆量子化・逆変換部（逆量子化手段）、３３  切換スイッチ（予測画像生成手段）、３４  イントラ予測部（予測画像生成手段）、３５  動き補償部（予測画像生成手段）、３６  加算部、３７  イントラ予測用メモリ（予測画像生成手段）、３８  ループフィルタ部、３９  動き補償予測フレームメモリ（予測画像生成手段）。
【図１】
2012023611.tif 000003
【図２】
2012023611.tif 000004
【図３】
2012023611.tif 000005
【図４】
2012023611.tif 000006
【図５】
2012023611.tif 000007
【図６】
2012023611.tif 000008
【図７】
2012023611.tif 000009
【図８】
2012023611.tif 000010
【図９】
2012023611.tif 000011
【図１０】
2012023611.tif 000012
【図１１】
2012023611.tif 000013
【図１２】
2012023611.tif 000014
【図１３】
2012023611.tif 000015
【図１４】
2012023611.tif 000016
【図１５】
2012023611.tif 000017
【図１６】
2012023611.tif 000018
【図１７】
2012023611.tif 000019
【図１８】
2012023611.tif 000020
【図１９】
2012023611.tif 000021