(57)【要約】  ビデオデータの算術符号化／復号化方法及びその装置に係り、該算術復号化方法は、ブロック内の最後の有効変換係数の二次元位置を示すプレフィックスビット列を順次にコンテクストモデルを利用して算術復号化し、サフィックスビット列は、バイパスモードを利用して算術復号化し、算術復号化されたプレフィックスビット列及びサフィックスビット列を逆二進化し、ブロック内の最後の有効変換係数の位置を獲得する。
2014533058.tif 000002
【特許請求の範囲】
【請求項１】
ビデオの算術復号化方法において、
受信されたビットストリームから、現在ブロックの大きさに基づいて決定された臨界値を基準に、前記現在ブロックの最後の有効変換係数位置の第１座標成分を分類した第１座標プレフィックスビット列及び第１座標サフィックスビット列それぞれに対応する第１座標プレフィックス・シンタックスエレメント及び第１座標サフィックス・シンタックスエレメントと、前記臨界値を基準に、前記最後の有効変換係数位置の第２座標成分を分類した第２座標プレフィックスビット列及び第２座標サフィックスビット列それぞれに対応する第２座標プレフィックス・シンタックスエレメント及び第２座標サフィックス・シンタックスエレメントと、を獲得する段階と、
前記第１座標プレフィックス・シンタックスエレメント及び前記第２座標プレフィックス・シンタックスエレメントに対して、順次に第１算術復号化方式によって算術復号化を行い、前記第１座標プレフィックスビット列及び第２座標プレフィックスビット列を獲得する段階と、
前記第１座標サフィックス・シンタックスエレメント及び前記第２座標サフィックス・シンタックスエレメントに対して、第２算術復号化方式によって算術復号化を行い、前記第１座標サフィックスビット列及び第２座標サフィックスビット列を獲得する段階と、
前記第１座標プレフィックスビット列及び第１座標サフィックスビット列を逆二進化し、前記第１座標成分を復元し、前記第２座標プレフィックスビット列及び第２座標サフィックスビット列を逆二進化し、前記第２座標成分を復元する段階と、を含むことを特徴とする算術復号化方法。
【請求項２】
前記現在ブロックの幅をｗ（ｗは、整数）、前記現在ブロックの高さをｈ（ｈは、整数）、前記第１座標成分は、前記最後の有効変換係数の列位置ｘ（ｘは、０ないし（ｗ−１）の整数）、前記第２座標成分は、前記最後の有効変換係数の行位置ｙ（ｙは、０ないし（ｈ−１）の整数）、前記臨界値をｔｈとするとき、
前記最後の有効変換係数の列位置ｘが、前記臨界値ｔｈ以下である場合、前記第１座標プレフィックスビット列は、前記列位置ｘを所定の第１二進化方式によって二進化したビット列であり、前記最後の有効変換係数の列位置ｘが、前記臨界値ｔｈを超える場合、前記第１座標プレフィックスビット列は、前記臨界値ｔｈを、前記第１二進化方式によって二進化したビット列であり、前記第１座標サフィックスビット列は、（ｘ−ｔｈ）を所定の第２二進化方式によって二進化したビット列であり、
前記最後の有効変換係数の行位置ｙが、前記臨界値ｔｈ以下である場合、前記第２座標プレフィックスビット列は、前記行位置ｙを、前記第１二進化方式によって二進化したビット列であり、前記最後の有効変換係数の行位置ｙが、前記臨界値ｔｈを超える場合、前記第２座標プレフィックスビット列は、前記臨界値ｔｈを、前記第１二進化方式によって二進化したビット列であり、前記第２座標サフィックスビット列は、（ｙ−ｔｈ）を、前記第２二進化方式によって二進化したビット列であることを特徴とする請求項１に記載の算術復号化方法。
【請求項３】
前記第１二進化方式及び前記第２二進化方式は、
単項二進化方式、切削型単項二進化方式、指数ゴロム結合型二進化方式及び固定長二進化方式のうち一つであることを特徴とする請求項２に記載の算術復号化方法。
【請求項４】
前記第１算術復号化方式によって算術復号化を行う段階は、
前記第１座標プレフィックス・シンタックスエレメント及び前記第２座標プレフィックス・シンタックスエレメントに対して、ＣＡＢＡＣによるコンテクストモデルを適用して算術復号化することにより、前記第１座標プレフィックスビット列及び第２座標プレフィックスビット列を獲得することを特徴とする請求項１に記載の算術復号化方法。
【請求項５】
前記コンテクストモデルは、前記第１座標プレフィックスビット列及び前記第２座標プレフィックスビット列のビット位置ごとにあらかじめ割り当てられた所定コンテクスト・インデックスによって決定されることを特徴とする請求項４に記載の算術復号化方法。
【請求項６】
前記第２算術復号化方式によって算術復号化を行う段階は、
前記第１座標サフィックス・シンタックスエレメント及び前記第２座標サフィックス・シンタックスエレメントに対してバイパスモードを適用し、前記第１座標サフィックスビット列及び第２座標サフィックスビット列を獲得することを特徴とする請求項１に記載の算術復号化方法。
【請求項７】
前記復元する段階は、
既設定の二進化方式に基づいて、前記第１座標プレフィックスビット列、第１座標サフィックスビット列、前記第２座標プレフィックスビット列及び前記第２座標サフィックスビット列を逆二進化する段階と、
前記逆二進化された第１座標プレフィックスビット列と、第１座標サフィックスビット列とを加算し、前記第１座標成分を復元し、前記逆二進化された第２座標プレフィックスビット列と、第２座標サフィックスビットと列を加算し、前記第２座標成分を復元する段階と、を含むことを特徴とする請求項１に記載の算術復号化方法。
【請求項８】
ビデオの復号化装置において、
受信されたビットストリームから、現在ブロックの大きさに基づいて決定された臨界値を基準に、前記現在ブロックの最後の有効変換係数位置の第１座標成分を分類した第１座標プレフィックスビット列及び第１座標サフィックスビット列それぞれに対応する第１座標プレフィックス・シンタックスエレメント及び第１座標サフィックス・シンタックスエレメントと、前記臨界値を基準に、前記最後の有効変換係数位置の第２座標成分を分類した第２座標プレフィックスビット列及び第２座標サフィックスビット列それぞれに対応する第２座標プレフィックス・シンタックスエレメント及び第２座標サフィックス・シンタックスエレメントと、を獲得するパージング部と、
前記第１座標プレフィックス・シンタックスエレメント及び前記第２座標プレフィックス・シンタックスエレメントに対して、順次に第１算術復号化方式によって算術復号化を行い、前記第１座標プレフィックスビット列及び第２座標プレフィックスビット列を獲得し、前記第１座標サフィックス・シンタックスエレメント及び前記第２座標サフィックス・シンタックスエレメントに対して、第２算術復号化方式によって算術復号化を行い、前記第１座標サフィックスビット列及び第２座標サフィックスビット列を獲得し、前記第１座標プレフィックスビット列及び第１座標サフィックスビット列を逆二進化し、前記第１座標成分を復元し、前記第２座標プレフィックスビット列及び第２座標サフィックスビット列を逆二進化し、前記第２座標成分を復元する算術復号化部と、を含むことを特徴とするビデオ復号化装置。
【請求項９】
ビデオの算術符号化方法において、
現在ブロックの大きさに基づいて決定された臨界値を基準に、前記現在ブロックの最後の有効変換係数位置の第１座標成分を、第１座標プレフィックスビット列及び第１座標サフィックスビット列に分類する段階と、
前記臨界値を基準に、前記最後の有効変換係数位置の第２座標成分を、第２座標プレフィックスビット列及び第２座標サフィックスビット列に分類する段階と、
前記第１座標プレフィックスビット列及び前記第２座標プレフィックスビット列に対して、順次に第１算術符号化方式によって算術符号化を行う段階と、
前記第１座標サフィックスビット列及び前記第２座標サフィックスビット列に対して、第２算術符号化方式によって算術符号化を行う段階と、を含むことを特徴とする算術符号化方法。
【請求項１０】
前記現在ブロックの幅をｗ（ｗは、整数）、前記現在ブロックの高さをｈ（ｈは、整数）、前記第１座標成分は、前記最後の有効変換係数の列位置ｘ（ｘは、０ないし（ｗ−１）の整数）、前記第２座標成分は、前記最後の有効変換係数の行位置ｙ（ｙは、０ないし（ｈ−１）の整数）、前記臨界値をｔｈとするとき、
前記分類する段階は、
前記最後の有効変換係数の列位置ｘが、前記臨界値ｔｈ以下である場合、前記列位置ｘを、所定の第１二進化方式によって二進化し、前記第１座標プレフィックスビット列だけに分類し、前記最後の有効変換係数の列位置ｘが、前記臨界値ｔｈを超える場合、前記臨界値ｔｈを、前記第１二進化方式によって二進化した第１座標プレフィックスビット列と、（ｘ−ｔｈ）を、所定の第２二進化方式によって二進化した第１座標サフィックスビット列と、に分類し、
前記最後の有効変換係数の行位置ｙが、前記臨界値ｔｈ以下である場合、前記行位置ｙを、前記第１二進化方式によって二進化し、前記第２座標プレフィックスビット列だけに分類し、前記最後の有効変換係数の行位置ｙが、前記臨界値ｔｈを超える場合、前記臨界値ｔｈを、前記第１二進化方式によって二進化した第２座標プレフィックスビット列と、（ｙ−ｔｈ）を前記第２二進化方式によって二進化した第２座標サフィックスビット列と、に分類することを特徴とする請求項９に記載の算術符号化方法。
【請求項１１】
前記第１二進化方式及び前記第２二進化方式は、
単項二進化方式、切削型単項二進化方式、指数ゴロム結合型二進化方式及び固定長二進化方式のうち一つであることを特徴とする請求項１０に記載の算術符号化方法。
【請求項１２】
前記第１算術符号化方式によって算術符号化を行う段階は、
前記第１座標プレフィックスビット列及び第２座標プレフィックスビット列に対して、ＣＡＢＡＣによるコンテクストモデルを適用し、前記第１座標プレフィックスビット列及び第２座標プレフィックスビット列を順次に算術符号化することを特徴とする請求項９に記載の算術符号化方法。
【請求項１３】
前記コンテクストモデルは、前記第１座標プレフィックスビット列及び前記第２座標プレフィックスビット列のビット位置ごとに、事前に割り当てられた所定コンテクスト・インデックスによって決定されることを特徴とする請求項１２に記載の算術符号化方法。
【請求項１４】
前記第２算術符号化方式によって算術符号化を行う段階は、
前記第１座標サフィックスビット列及び前記第２座標サフィックスビット列に対して、バイパスモードを適用し、前記第１座標サフィックスビット列及び前記第２座標サフィックスビット列を算術符号化することを特徴とする請求項９に記載の算術符号化方法。
【請求項１５】
ビデオの符号化装置において、
映像を分割したブロックに対して、予測、変換及び量子化を行い、前記ブロックのシンタックスエレメントを生成する映像符号化部と、
現在ブロックの大きさに基づいて決定された臨界値を基準に、前記現在ブロックのシンタックスエレメントのうち最後の有効変換係数位置の第１座標成分を、第１座標プレフィックスビット列及び第１座標サフィックスビット列に分類し、前記臨界値を基準に、前記最後の有効変換係数位置の第２座標成分を、第２座標プレフィックスビット列及び第２座標サフィックスビット列に分類し、前記第１座標プレフィックスビット列及び前記第２座標プレフィックスビット列に対して、順次に第１算術符号化方式によって算術符号化を行い、前記第１座標サフィックスビット列及び前記第２座標サフィックスビット列に対して、第２算術符号化方式によって算術符号化を行うエントロピー符号化部と、を含むことを特徴とするビデオ符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオの符号化及び復号化に係り、さらに詳細には、変換係数をエントロピー符号化及びエントロピー復号化する方法及びその装置に関する。
【背景技術】
【０００２】
ＭＰＥＧ（moving  picture  experts  group）−１、ＭＰＥＧ−２、ＭＰＥＧ−４  Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ（advanced  video  coding）のような映像圧縮方式では、映像を所定サイズのブロックに分けた後、インター予測（inter  prediction）またはイントラ予測（intra  prediction）を利用して、ブロックの残差データを獲得する。残差データは、変換、量子化、スキャニング、ランレングス・コーディング（run  length  coding）及びエントロピー・コーディングを介して圧縮される。エントロピー・コーディング時には、シンタックスエレメント（ＳＥ：syntax  element）、例えば、変換係数や予測モードなどの情報をエントロピー符号化し、ビットストリームを出力する。デコーダは、ビットストリームからパージングしてシンタックスエレメントを抽出し、抽出されたシンタックスエレメントに基づいて映像を復元する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明が解決しようとする技術的課題は、圧縮性能（throughput）は高いが、演算複雑度が高いコンテクスト基盤適応的二進算術符号化方式（ＣＡＢＡＣ：context  adaptive  binary  arithmetic  coding）方式と、圧縮性能はＣＡＢＡＣに比べて落ちるが、演算複雑度が低いバイパス（bypass）算術符号化方式とを組み合わせ、変換係数に係わるシンボルを算術符号化及び算術復号化する方法及びその装置を提供するものである。
【課題を解決するための手段】
【０００４】
本発明は、最後の有効変換係数の位置に係わるシンボルを、所定臨界値を基準に、プレフィックス（prefix）及びサフィックスに分類し、プレフィックスに分類されたビット列と、サフィックスに分類されたビット列とに対して、互いに独立している算術符号化方式を適用する。
【発明の効果】
【０００５】
本発明の実施形態によれば、シンボルをグループ化し、演算複雑度が高いが、圧縮性能は良好なＣＡＢＡＣと、演算複雑度が低く、処理速度が速いバイパス算術符号化方式とを順次に適用することにより、演算複雑度と処理速度とのトレードオフ（trade-off）を介して、算術符号化時及び算術復号化時の処理速度を速めながら、圧縮性能向上させることができる。
【図面の簡単な説明】
【０００６】
【図１】本発明の一実施形態によるビデオ符号化装置の構成を示したブロック図である。
【図２】図１のシンタックスエレメント符号化部の具体的な構成を示したブロック図である。
【図３】本発明の一実施形態による、ブロック単位で変換係数情報を算術符号化及び算術復号化する過程を示したフローチャートである。
【図４】本発明の一実施形態による、変換係数と係わるシンタックスエレメントを算術符号化するためにブロックを分割したサブセットを示した図面である。
【図５】本発明の一実施形態による、最後の有効変換係数の位置をプレフィックスビット列と、サフィックスビット列とに分類して算術符号化する過程について説明するための参照図である。
【図６】本発明の一実施形態による、最後の有効変換係数の位置情報を算術符号化する過程について説明するための図面である。
【図７】図２のレギュラーコーディング部で遂行されるコンテクストモデルを利用した算術符号化過程について説明するための図面である。
【図８】本発明の一実施形態によるビデオの算術符号化方法を示したフローチャートである。
【図９Ａ】本発明の一実施形態によるビデオ復号化装置の構成を示したブロック図である。
【図９Ｂ】図９Ａのシンタックスエレメント復号化部に具備された算術復号化装置の構成を示したブロック図である。
【図１０】本発明の一実施形態によるビデオの算術復号化方法を示したフローチャートである。
【図１１】本発明の一実施形態によるビデオ符号化装置のブロック図である。
【図１２】本発明の一実施形態によるビデオ復号化装置のブロック図である。
【図１３】本発明の一実施形態による符号化単位の概念を図示する図面である。
【図１４】本発明の一実施形態による、階層的構造の符号化単位に基づいたビデオ符号化装置の具体的なブロック図である。
【図１５】本発明の一実施形態による、階層的構造の符号化単位に基づいたビデオ復号化装置の具体的なブロック図である。
【図１６】本発明の一実施形態による深度別符号化単位及びパーティションを図示する図面である。
【図１７】本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。
【図１８】本発明の一実施形態による深度別符号化情報を図示する図面である。
【図１９】本発明の一実施形態による深度別符号化単位を図示する図面である。
【図２０】本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。
【図２１】本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。
【図２２】本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。
【図２３】表１の符号化モード情報による符、号化単位、予測単位及び変換単位の関係を図示する図面である。
【発明を実施するための形態】
【０００７】
本発明の一実施形態によるビデオの算術復号化方法は、受信されたビットストリームから、現在ブロックの大きさに基づいて決定された臨界値を基準に、前記現在ブロックの最後の有効変換係数位置の第１座標成分を分類した第１座標プレフィックスビット列及び第１座標サフィックスビット列それぞれに対応する第１座標プレフィックス・シンタックスエレメント及び第１座標サフィックス・シンタックスエレメントと、前記臨界値を基準に、前記最後の有効変換係数位置の第２座標成分を分類した第２座標プレフィックスビット列及び第２座標サフィックスビット列それぞれに対応する第２座標プレフィックス・シンタックスエレメント及び第２座標サフィックス・シンタックスエレメントと、を獲得する段階；前記第１座標プレフィックス・シンタックスエレメント及び前記第２座標プレフィックス・シンタックスエレメントに対して、順次に第１算術復号化方式によって算術復号化を行い、前記第１座標プレフィックスビット列及び第２座標プレフィックスビット列を獲得する段階；前記第１座標サフィックス・シンタックスエレメント及び前記第２座標サフィックス・シンタックスエレメントに対して、第２算術復号化方式によって算術復号化を行い、前記第１座標サフィックスビット列及び第２座標サフィックスビット列を獲得する段階；及び前記第１座標プレフィックスビット列及び第１座標サフィックスビット列を逆二進化し、前記第１座標成分を復元し、前記第２座標プレフィックスビット列及び第２座標サフィックスビット列を逆二進化し、前記第２座標成分を復元する段階；を含む。
【０００８】
本発明の一実施形態によるビデオの復号化装置は、受信されたビットストリームから、現在ブロックの大きさに基づいて決定された臨界値を基準に、前記現在ブロックの最後の有効変換係数位置の第１座標成分を分類した第１座標プレフィックスビット列及び第１座標サフィックスビット列それぞれに対応する第１座標プレフィックス・シンタックスエレメント及び第１座標サフィックス・シンタックスエレメントと、前記臨界値を基準に、前記最後の有効変換係数位置の第２座標成分を分類した第２座標プレフィックスビット列及び第２座標サフィックスビット列それぞれに対応する第２座標プレフィックス・シンタックスエレメント及び第２座標サフィックス・シンタックスエレメントと、を獲得するパージング部；及び前記第１座標プレフィックス・シンタックスエレメント及び前記第２座標プレフィックス・シンタックスエレメントに対して、順次に第１算術復号化方式によって算術復号化を行い、前記第１座標プレフィックスビット列及び第２座標プレフィックスビット列を獲得し、前記第１座標サフィックス・シンタックスエレメント及び前記第２座標サフィックス・シンタックスエレメントに対して、第２算術復号化方式によって算術復号化を行い、前記第１座標サフィックスビット列及び第２座標サフィックスビット列を獲得し、前記第１座標プレフィックスビット列及び第１座標サフィックスビット列を逆二進化し、前記第１座標成分を復元し、前記第２座標プレフィックスビット列及び第２座標サフィックスビット列を逆二進化し、前記第２座標成分を復元する算術復号化部；を含む。
【０００９】
本発明の一実施形態によるビデオの算術符号化方法は、現在ブロックの大きさに基づいて決定された臨界値を基準に、前記現在ブロックの最後の有効変換係数位置の第１座標成分を、第１座標プレフィックスビット列及び第１座標サフィックスビット列に分類する段階；前記臨界値を基準に、前記最後の有効変換係数位置の第２座標成分を、第２座標プレフィックスビット列及び第２座標サフィックスビット列に分類する段階；前記第１座標プレフィックスビット列及び前記第２座標プレフィックスビット列に対して、順次に第１算術符号化方式によって算術符号化を行う段階；及び前記第１座標サフィックスビット列及び前記第２座標サフィックスビット列に対して、第２算術符号化方式によって算術符号化を行う段階；を含む。
【００１０】
本発明の一実施形態によるビデオの符号化装置は、映像を分割したブロックに対して、予測、変換及び量子化を行い、前記ブロックのシンタックスエレメントを生成する映像符号化部；及び現在ブロックの大きさに基づいて決定された臨界値を基準に、前記現在ブロックのシンタックスエレメントのうち最後の有効変換係数位置の第１座標成分を、第１座標プレフィックスビット列及び第１座標サフィックスビット列に分類し、前記臨界値を基準に、前記最後の有効変換係数位置の第２座標成分を、第２座標プレフィックスビット列及び第２座標サフィックスビット列に分類し、前記第１座標プレフィックスビット列及び前記第２座標プレフィックスビット列に対して、順次に第１算術符号化方式によって算術符号化を行い、前記第１座標サフィックスビット列及び前記第２座標サフィックスビット列に対して、第２算術符号化方式によって算術符号化を行うエントロピー符号化部；を含む。
【００１１】
以下、添付された図面を参照し、本発明の実施形態について具体的に説明する。下記説明で、映像は、ビデオの静止映像や動画、すなわち、ビデオそのものを示すことができる。
【００１２】
まず、図１ないし図１０を参照し、一実施形態による算術符号化方法、及びそれを利用したビデオ符号化装置、並びに一実施形態による算術復号化方法、及びそれを利用したビデオ復号化装置について説明する。
【００１３】
図１は、本発明の一実施形態によるビデオ符号化装置の構成を示したブロック図である。
【００１４】
ビデオ符号化装置１０は、ビデオを構成するピクチャを、階層的構造のデータ単位に分割し、階層的構造のデータ単位を利用して、予測、変換及び量子化を行う。図１１ないし図２３を参照して説明するように、階層的構造のデータ単位は、最大符号化単位、符号化単位、予測単位、変換単位などでもある。予測過程及び変換過程に利用される予測単位及び変換単位は、他のデータ単位と独立して、コストに基づいて決定される。
【００１５】
最大符号化単位に含まれた、階層的な構造の符号化単位ごと、に再帰的に符号化が行われて最適符号化単位が決定されることにより、ツリー構造によるデータ単位が構成される。すなわち、最大符号化単位ごとに、ツリー構造の符号化単位、ツリー構造の予測単位及び変換単位が決定される。復号化のために、かような階層的構造のデータ単位の構造情報を示す情報である階層情報（hierarchical  structure  information）と、階層情報以外に、復号化のための非階層情報（non-hierarchical  structure  information）とが伝送される必要がある。
【００１６】
階層的構造と係わる情報は、後述するツリー構造の符号化単位、ツリー構造の予測単位、及びツリー構造の変換単位を決定するために必要な情報であり、最大符号化単位の大きさ、符号化深度、予測単位のパーティション情報、符号化単位の分割いかんを示す分割フラグ（split  flag）、変換単位のサイズ情報、変換単位の分割いかんを示す変換単位分割フラグ（ＴＵ  size  flag）などを含む。階層的構造情報以外の符号化情報としては、各予測単位に適用されたイントラ／インター予測の予測モード情報、動きベクトル情報、予測方向情報、複数個のカラー成分が利用された場合、当該データ単位に適用されたカラー成分情報、変換係数情報などを含む。以下の説明で、エントロピー符号化及びエントロピー復号化の対象である階層情報及び非階層情報は、シンタックスエレメント（ＳＥ：syntax  element（構文要素））またはシンボル（symbol）と呼称される。また、説明の便宜のために、データ単位は、ブロックと呼称される。ブロックは、予測過程では、予測単位またはパーティションに対応し、変換過程では、変換単位に対応する。
【００１７】
図１を参照すれば、ビデオ符号化装置１０は、映像符号化部１１及びシンタックスエレメント符号化部１２を含む。映像符号化部１１は、映像ブロックに対して、予測、変換及び量子化などの動作を遂行し、シンタックスエレメントを生成する。具体的には、映像符号化部１１は、ブロック単位で、イントラ予測及びインター予測を介して予測値を生成し、原ブロックと予測値との差である残差を、変換及び量子化して変換係数を生成する。
【００１８】
シンタックスエレメント符号化部１２は、ブロック単位で生成された変換係数に係わるシンタックスエレメント、及びその他符号化過程で生成された多様なシンタックスエレメントを算術符号化し、ビットストリームを生成する。特に、本発明の実施形態によるシンタックスエレメント符号化部１２は、ブロック内の０ではない変換係数（以下、「有効変換係数（significant  coefficient）」とする）において、所定スキャン順序によって、最後にスキャンされた最後の有効変換係数の列位置及び行位置を、現在ブロックの幅または高さに基づいて決定された臨界値を基準に、プレフィックス（prefix）及びサフィックス（surfix）に分類し、プレフィックスを二進化したビット列を、順次にＣＡＢＡＣ（context  adaptive  binary  arithmetic  coding）によるコンテクストモデルを適用して算術符号化し、ＣＡＢＡＣ後に、サフィックスを二進化したビット列を、バイパス（bypass）モードで算術符号化する。
【００１９】
図２は、図１のシンタックスエレメント符号化部１２の具体的な構成を示したブロック図である。図２を参照すれば、シンタックスエレメント符号化部２０は、二進化部（binarizer）２１、コンテクストモデラ（context  modeler）２２及び二進算術符号化部（binary  arithmetic  coder）２３を含む。また、二進算術符号化部２３は、レギュラーコーディング部（regular  coding  engine）２４と、バイパスコーディング部（bypass  coding  engine）２５と、を含む。
【００２０】
二進化部２１は、シンタックスエレメントが二進値ではない場合、シンタックスエレメントを二進化し、０または１の二進値で構成されたビット列、すなわち、ビン（bin）ストリングを出力する。ビンは、０または１で構成されたビット列の各ビットを示す。シンタックスエレメントの類型によって、単項二進化方式（unary  binarization）、切削型単項二進化方式（truncated  unary  binarization）、指数ゴロム結合型二進化方式（exponential  Golomb  binarization）及び固定長二進化方式（fixed  length  binarization）のうち一つの二進化方式が適用される。
【００２１】
特に、一実施形態による二進化部２１は、現在ブロックの大きさに基づいて決定された臨界値を基準に、現在符号化されるシンタックスエレメントを、プレフィックス及びサフィックスに分類し、プレフィックス及びサフィックスに対して互いに独立している所定二進化方式を適用して二進化し、プレフィックスビット列及びサフィックスビット列を出力することができる。例えば、二進化部２１は、現在ブロックの幅（width）に基づいて決定された臨界値を基準に、最後の有効変換係数の列（column）の位置をプレフィックス及びサフィックスに分類し、列位置のプレフィックスに対して、所定の第１二進化方式を適用し、列位置のプレフィックスビット列を出力し、列位置のサフィックスに対して、所定の第２二進化方式を適用し、列位置に対するサフィックスビット列を出力することができる。第１二進化方式と第２二進化方式は、互いに独立しており、同一であるか、あるいは異なる二進化方式である。
【００２２】
同様に、二進化部２１は、現在ブロックの高さ（height）に基づいて決定された臨界値を基準に、最後の有効変換係数の行位置をプレフィックス及びサフィックスに分類し、行位置のプレフィックスに対して、第１二進化方式を適用し、行位置のプレフィックスビット列を出力し、行位置のサフィックスに対して、第２二進化方式を適用し、行位置のサフィックスビット列を出力することができる。現在符号化されるシンタックスエレメントを、プレフィックス及びサフィックスに分類する過程については、図５を参照して説明する。
【００２３】
シンタックスエレメントの類型によって、ビット列の各ビンは、レギュラーコーディング部２４で、コンテクストモデルを適用して算術符号化されたり、あるいはバイパスコーディング部２５によって算術符号化される。特に、一実施形態によるレギュラーコーディング部２４は、最後の有効変換係数の位置をプレフィックスビット列及びサフィックスビット列に分類した場合、先にプレフィックスに分類されたビット列を、順次にＣＡＢＡＣによるコンテクストモデルを適用して算術符号化し、バイパスコーディング部２５は、サフィックスに分類されたビット列を、バイパスモードで算術符号化することができる。
【００２４】
コンテクストモデラ２２は、レギュラーコーディング部２４に、現在シンタックスエレメントの算術符号化のためのコンテクストモデルを提供する。特に、コンテクストモデラ２２は、レギュラーコーディング部２４で、最後の有効変換係数位置のプレフィックスビット列を算術符号化するとき、プレフィックスビット列の各ビンを符号化するための二進値の発生確率を、レギュラーコーディング部２４に出力する。コンテクストモデルは、ビンに係わる確率モデルであり、０及び１のうちいずれの値がＭＰＳ（most  probable  symbol）及びＬＰＳ（least  probable  symbol）に該当するかということに係わる情報と、ＭＰＳまたはＬＰＳの確率とを含む。コンテクストモデラ２２は、レギュラーコーディング部２４で符号化されたビンの値が０であるか、あるいは１であるかということにより、コンテクストモデルをアップデートする。
【００２５】
レギュラーコーディング部２４は、コンテクストモデラ２２から提供されたコンテクストモデル、すなわち、ＭＰＳ、ＬＰＳに係わる情報、及びＭＰＳまたはＬＰＳの確率情報に基づいて、最後の有効変換係数位置のプレフィックスビット列を構成する各ビンを算術符号化する。
【００２６】
バイパスコーディング部２５は、最後の有効変換係数位置のサフィックスビット列を、バイパスモードによって算術符号化する。バイパスモードは、０及び１の二進信号の発生確率が固定された値を有する。従って、各ビンを算術符号化しながら、コンテクストモデルをアップデートし、アップデートされたコンテクストモデルを、次のビンの算術符号化に利用するコンテクストモデルを利用した算術符号化方式とは異なり、バイパスコーディング部２５は、入力されたビット列を即座に算術符号化することができる。
【００２７】
図７は、図２のレギュラーコーディング部２４で遂行される、コンテクストモデルを利用した算術符号化過程について説明するための図面である。図７で、現在符号化されるシンボルの二進値は、「０１０」であり、説明の便宜のために、１の発生確率は、０．２、０の発生確率は、０．８に固定された値であると仮定する。実際、レギュラーコーディング部２４は、二進値「０１０」の各ビンを算術符号化することにより、二進値の発生確率をアップデートする。
【００２８】
図７を参照すれば、二進値「０１０」のうち最初のビン値「０」を符号化する場合、初期区間［０．０〜１．０］において、下端８０％部分である［０．０〜０．８］が新たな区間として更新され、次のビン値「１」を符号化する場合、［０．０〜０．８］の上端の２０％部分である［０．６４〜０．８］が新たな区間として更新される。また、次の「０」を符号化する場合、［０．６４〜０．８］の下端の８０％部分である［０．６４〜０．７６８］が新たな区間として更新される。最終的な区間［０．６４〜０．７６８］間に入る実数である０．７５に対応する二進数０．１１において、最初の０を除いた小数点以下の「１１」が符号化されるシンボルの二進値「０１０」に対応するビットストリームとして出力される。
【００２９】
以下、変換係数と係わる情報、すなわち、変換係数と係わるシンタックスエレメントを算術符号化及び算術復号化する過程について具体的に説明する。
【００３０】
図３は、本発明の一実施形態による、ブロック単位で変換係数情報を算術符号化及び算術復号化する過程を示したフローチャートである。図３を参照すれば、段階３１で、現在ブロックに含まれた変換係数のうち０ではない有効変換係数が存在するか否かということを示すcoded＿block＿flagが、まず算術符号化または算術復号化される。
【００３１】
現在ブロックに、０である変換係数だけが含まれ、０ではない有効変換係数が含まれていない場合、coded＿block＿flagとして、０の値が算術符号化され、他の残りの変換係数に係わるシンタックスエレメントの算術符号化過程は、スキップされる。
【００３２】
段階３２で、現在ブロックに有効変換係数が存在する場合、すなわち、coded＿block＿flagの値が１である場合には、有効変換係数の位置を示す有効性マップ（ＳｉｇＭａｐ：significance  map）が算術符号化または算術復号化される。
【００３３】
有効性マップは、有効ビット（significant  bit）、及び最後の有効変換係数の位置を示す所定の情報から構成される。有効ビットは、各スキャンインデックスによる変換係数が有効変換係数であるか、それとも０であるかということを示すものであり、significant＿ｃｏｅｆｆ＿flag［ｉ］を利用して表現される。有効性マップは、現在ブロックを分割した所定サイズのサブセット単位で設定される。すなわち、significant＿ｃｏｅｆｆ＿flag［ｉ］は、現在ブロックに含まれた１つのサブセットに含まれた変換係数のうちｉ番目のスキャンインデックスの変換係数が０であるか否かということを示す。
【００３４】
従来Ｈ．２６４などでは、各有効変換係数ごとに、最後の有効変換係数であるか否かということを示すフラグ（End−Of−Block）が別途に算術符号化または算術復号化された。しかし、本発明の一実施形態によれば、最後の有効変換係数の位置情報がそのまま算術符号化または算術復号化される。例えば、最後の有効変換係数が現在ブロックのｘ（ｘは、整数）列目（column）及びｙ（ｙは、整数）行目（row）に位置する場合、すなわち、最後の有効変換係数の位置が（ｘ，ｙ）であるならば、ｘ及びｙの値が算術符号化または算術復号化される。
【００３５】
特に、一実施形態によるシンタックスエレメント符号化部１２は、現在ブロックの幅に基づいて決定された臨界値を基準に、最後の有効変換係数の列位置（ｘ）を、ｘ軸プレフィックスビット列（または、「第１座標プレフィックスビット列」という）と、ｘ軸サフィックスビット列（または、「第１座標サフィックスビット列」という）とに分類し、現在ブロックの高さに基づいて決定された臨界値を基準に、最後の有効変換係数の行位置（ｙ）を、ｙ軸プレフィックスビット列（または、「第２座標プレフィックスビット列」という）と、ｙ軸サフィックスビット列（または、「第２座標サフィックスビット列」という）とに分類する。そして、シンタックスエレメント符号化部１２は、ｘ軸及びｙ軸のプレフィックスビット列については、ＣＡＢＡＣによるコンテクストモデルを適用して算術符号化し、ｘ軸及びｙ軸のサフィックスビット列は、バイパスモードで算術符号化する。また、シンタックスエレメント符号化部１２は、互いに異なる算術符号化方式が適用されるプレフィックスビット列と、サフィックスビット列とをグループ化し、順次に算術符号化を行うことができる。すなわち、シンタックスエレメント符号化部１２は、ｘ軸プレフィックスビット列及びｙ軸プレフィックスビット列に対して、コンテクストモデルを適用して算術符号化し、プレフィックスビット列に対する算術符号化過程以後、またはプレフィックスビット列に対する算術符号化過程と独立して、ｘ軸サフィックスビット列及びｙ軸サフィックスビット列を、バイパスモードによって算術符号化することができる。
【００３６】
図４は、本発明の一実施形態による、変換係数と係わるシンタックスエレメントを算術符号化するために、ブロックを分割したサブセットを示した図面である。図４で、図面符号４１は、ブロック４０内の最後の有効変換係数を示す。
【００３７】
図４を参照すれば、ブロック４０に含まれた変換係数と係わるシンタックスエレメントの算術符号化のために、ブロック４０は、所定サイズのサブセットに分割される。変換係数情報は、有効性マップ（ＳｉｇＭａｐ）、サブセットに含まれた有効変換係数が１より大きい値を有するか否かということを示すフラグ（Greaterthan１  flag）、サブセットに含まれた有効変換係数が２より大きい値を有するか否かということを示すフラグ（Greaterthan２  flag）、２より大きい値を有する有効変換係数のレベルを示す情報（level−３）、及び最後の有効変換係数４１の位置情報などがある。ＳｉｇＭａｐ、Greaterthan１  flag、Greaterthan２  flag及び（level−３）などのシンタックスエレメントは、サブセット単位で算術符号化される。サブセット間の処理順序は、多様に設定される。一例として図示された矢印方向のように、Subset  １５からSubset  ０の順序に、各サブセットに含まれた変換係数情報が算術符号化される。それらに限定されるものではなく、ブロック４０の大きさが小さい場合には、サブセットに分割されず、１つのブロック４０について、ＳｉｇＭａｐ、Greaterthan１  flag、Greaterthan２  flag及び（level−３）のようなシンタックスエレメントが算術符号化される。
【００３８】
前述のように、ブロック４０に含まれた有効変換係数のうち、所定スキャン順序によって最後に位置した最後の有効変換係数４１の列位置（ｘ）及び行位置（ｙ）それぞれは、現在ブロックの大きさに基づいて、プレフィックスビット列と、サフィックスビット列とに分類され、プレフィックスビット列は、ＣＡＢＡＣによるコンテクストモデルを適用して算術符号化され、サフィックスに分類されたビット列は、バイパスモードで算術符号化される。
【００３９】
以下、一実施形態による、最後の有効変換係数の位置を、プレフィックスビット列と、サフィックスビット列とに分類する過程について具体的に説明する。
【００４０】
図５は、本発明の一実施形態による、最後の有効変換係数の位置を、プレフィックスビット列と、サフィックスビット列とに分類して算術符号化する過程について説明するための参照図である。
【００４１】
ブロックの幅をｗ（ｗは、整数）、高さをｈ（ｈは、整数）とすれば、ブロック内の変換係数の位置の二次元座標値を（ｘ，ｙ）と仮定する。ブロックの最左上側コーナーに位置した変換係数の位置を（０，０）、最右下側コーナーに位置した変換係数の位置を（（ｗ−１），（ｈ−１））と定義する場合、ブロック内の変換係数の列位置ｘは、０ないし（ｗ−１）のうち１つの値を有し、変換係数の行位置ｙは、０ないし（ｈ−１）のうち１つの値を有する。
【００４２】
まず、列位置ｘをプレフィックスビット列及びサフィックスビット列に分類し、算術符号化する過程について説明する。
【００４３】
図５を参照すれば、ブロック内に位置した最後の有効変換係数の列位置ｘは、０〜（ｗ−１）のうち１つの値を有することができる。ブロックの幅（ｗ）に基づいて決定された臨界値ｔｈを基準に、列位置ｘは、臨界値ｔｈ以下のプレフィックスと、臨界値ｔｈを超える（ｘ−ｔｈ）のサフィックスとに分類される。
【００４４】
具体的には、最後の有効変換係数の列位置ｘが、臨界値ｔｈ以下である場合、列位置ｘは、プレフィックスにしか分類されず、サフィックスには分類されない。列位置ｘが臨界値ｔｈを超える場合、列位置ｘは、臨界値ｔｈに該当するプレフィックスと、臨界値ｔｈを超える（ｘ−ｔｈ）のサフィックスとに分類される。すなわち、列位置ｘが臨界値ｔｈ以下の値を有する場合、プレフィックスにのみ分類され、サフィックスは存在せず、列位置ｘが臨界値ｔｈを超える場合にのみ、列位置ｘは、プレフィックスとサフィックスとに分類される。
【００４５】
言い替えれば、最後の有効変換係数の列位置ｘが、臨界値ｔｈ以下である場合、列位置ｘは、所定の第１二進化方式によって二進化され、ｘ軸プレフィックスビット列だけに分類される。最後の有効変換係数の列位置ｘが、臨界値ｔｈを超える場合、列位置ｘは、臨界値ｔｈを、第１二進化方式によって二進化したｘ軸プレフィックスビット列と、（ｘ−ｔｈ）を所定の第２二進化方式によって二進化したｘ軸サフィックスビット列とに分類される。
【００４６】
列位置ｘをプレフィックスとサフィックスとに分類する臨界値ｔｈは、前述のように、ブロックの幅ｗに基づいて決定される。一例として、臨界値ｔｈは、列位置ｘが有することができる値の範囲である０〜（ｗ−１）の中間値である（ｗ／２）−１でもある。他の例として、ブロックの幅ｗが２の自乗（power  of２）であるとするとき、臨界値ｔｈは、次の数学式によって決定される。
【００４７】
ｔｈ＝（ｌｏｇ２ｗ＜＜１）−１
臨界値ｔｈは、それに限定されるものではなく、多様な方式で設定される。
【００４８】
具体的な例として、ブロック幅ｗが８の値を有する場合、臨界値ｔｈは、（８／２）−１＝３であるので、３の値を基準に、列位置ｘは、プレフィックスとサフィックスとに分類される。列位置ｘが３を超える場合、例えば、列位置ｘが５の値を有するのであるならば、ｘ＝ｔｈ＋２＝３＋２であるので、３の値を有するプレフィックスと、２の値を有するサフィックスとに分類される。列位置ｘが３以下の値を有する場合には、列位置ｘは、すぐに二進化されてプレフィックスに分類され、サフィックスは存在しない。
【００４９】
前述の例において、プレフィックス３とサフィックス２は、それぞれ個別的な所定の二進化方式が適用されて二進化される。例えば、プレフィックスは、切削型単項二進符号化（truncated  unary  binarization）を介して二進化され、サフィックスは、固定長二進符号化（fixed  length  binarization）を介して二進化される。説明の便宜のために、図５では、列位置ｘが５、臨界値ｔｈが３である場合、プレフィックスに分類された３の値は、単項二進符号化（unary  binarization）を介して、０００１  ５２に二進化され、サフィックスに分類された２の値は、一般的な二進化を介して、０１０  ５４に二進化された場合であると仮定する。
【００５０】
前述のように、プレフィックスビット列である０００１  ５２は、コンテクストモデルを適用して算術符号化される。「０００１」の各ビンごとに、コンテクスト・インデックスが決定され、決定されたコンテクスト・インデックスに基づいて、各ビンの算術符号化のためのコンテクストモデルが決定される。サフィックスビット列である０１０  ５４は、バイパスモードによって、コンテクストモデリング過程なしに、算術符号化が行われる。バイパスモードでは、各ビンごとに、同一の確率状態、すなわち、０及び１の値が１／２の固定された確率値を有すると仮定するので、コンテクストモデルを利用せずに入力されたビット列０１０  ５４が即座に算術符号化される。
【００５１】
前述のように、列位置ｘが臨界値ｔｈ以下の値を有する場合、列位置ｘは、プレフィックスにのみ分類され、サフィックスは存在しない。前述の例において、もし列位置ｘが臨界値ｔｈの値である３より小さい１の値を有すると仮定する。その場合、列位置ｘの値１は、所定の二進化方式を介して、プレフィックスビット列にのみ分類され、サフィックスビット列は存在しない。前述のように、プレフィックスビット列は、コンテクストモデルを適用して算術符号化され、サフィックスビット列は、存在しないのでバ、イパスモードを利用した算術符号化過程は、スキップされる。
【００５２】
列位置ｘを、プレフィックスビット列と、サフィックスビット列とに分類して算術符号化するように、行位置ｙは、プレフィックスビット列と、サフィックスビット列とに分類されて算術符号化される。すなわち、ブロックの高さｈに基づいて決定された臨界値ｔｈを基準に、行位置ｙは、臨界値ｔｈ以下のプレフィックスと、臨界値ｔｈを超える（ｙ−ｔｈ）のサフィックスとに分類される。もし行位置ｙが臨界値ｔｈ以下の値を有する場合、プレフィックスにだけ分類され、サフィックスは存在しない。行位置ｙが、プレフィックスとサフィックスとに分類されれば、プレフィックス及びサフィックスそれぞれは、個別的な二進化方式を介して二進化され、プレフィックスビット列と、フィックスビット列とが獲得される。
【００５３】
言い替えれば、最後の有効変換係数の行位置ｙが臨界値ｔｈ以下である場合、行位置ｙは、第１二進化方式によって二進化され、ｙ軸プレフィックスビット列だけに分類される。最後の有効変換係数の行位置ｙが臨界値ｔｈを超える場合、行位置ｙは、臨界値ｔｈを、第１二進化方式によって二進化したｙ軸プレフィックスビット列と、（ｙ−ｔｈ）を、第２二進化方式によって二進化したｙ軸サフィックスビット列とに分類される。
【００５４】
そして、プレフィックスビット列は、コンテクストモデルを利用して算術符号化され、サフィックスビット列は、バイパスモードで算術符号化される。
【００５５】
図６は、本発明の一実施形態による、最後の有効変換係数の位置情報を算術符号化する過程について説明するための図面である。
【００５６】
前述のように、一実施形態によるシンタックスエレメント符号化部１２は、最後の有効変換係数の列位置ｘ及び行位置ｙそれぞれに対して、現在ブロックの大きさに基づいて決定された臨界値を基準に、プレフィックスビット列と、サフィックスビット列とに分類すれば、プレフィックスビット列を、ＣＡＢＡＣによるコンテクストモデルを適用して算術符号化し、サフィックスに分類されたビット列を、バイパスモードで算術符号化する。
【００５７】
図６を参照すれば、シンタックスエレメント符号化部１２は、最後の有効変換係数の列位置ｘ  ６１が、ｘ軸成分プレフィックス６２及びｘ軸成分サフィックス６３に分類され、行位置ｙ  ６５が、ｙ軸成分プレフィックス６６及びｙ軸成分サフィックス６７に分類されれば、ｘ軸成分プレフィックス６２及びｙ軸成分プレフィックス６６をグループ化し、まずコンテクストモデリング６８を適用して算術符号化する。そして、コンテクストモデリング６８以後、またはコンテクストモデリング６８と独立して、ｘ軸成分サフィックス６３及びｙ軸成分サフィックス６７をグループ化し、バイパス６９モードを適用して算術符号化する。そのように、一実施形態によるシンタックスエレメント符号化部１２は、同一の算術符号化方式が適用されるビット列をグループ化して処理することにより、演算速度向上させることができる。特に、算術符号化されるｘ軸成分サフィックス６３及びｙ軸成分サフィックス６７をグループ化し、バイパスモードを適用することにより、サフィックスビット列に対する即座の算術符号化が可能である。なぜならば、前述のように、バイパスモードでは、固定された確率値を利用するので、入力されたビット列全体に対して、対応する符号化結果を即座に出力することができる。一方、前述のように、最後の有効変換係数の列位置ｘまたは行位置ｙが所定臨界値以下の値を有する場合には、当該サフィックスビット列が存在しないので、サフィックスビット列に対する算術符号化過程は、スキップされる。
【００５８】
図８は、本発明の一実施形態によるビデオの算術符号化方法を示したフローチャートである。図８を参照すれば、段階８１で、シンタックスエレメント符号化部１２は、現在ブロックの大きさに基づいて決定された臨界値を基準に、現在ブロックの最後の有効変換係数位置の第１座標成分を、第１座標プレフィックスビット列及び第１座標サフィックスビット列に分類する。前述のように、シンタックスエレメント符号化部１２は、最後の有効変換係数の列位置ｘが臨界値ｔｈ以下である場合、列位置ｘを所定の第１二進化方式によって二進化し、ｘ軸プレフィックスビット列に分類する。また、シンタックスエレメント符号化部１２は、最後の有効変換係数の列位置ｘが臨界値ｔｈを超える場合、臨界値ｔｈを、第１二進化方式によって二進化したｘ軸プレフィックスビット列と、（ｘ−ｔｈ）を所定の第２二進化方式によって二進化したｘ軸サフィックスビット列とに分類する。
【００５９】
段階８２で、シンタックスエレメント符号化部１２は、臨界値を基準に、最後の有効変換係数位置の第２座標成分を、第２座標プレフィックスビット列及び第２座標サフィックスビット列に分類する。前述のように、シンタックスエレメント符号化部１２は、最後の有効変換係数の行位置ｙが臨界値ｔｈ以下である場合、行位置ｙを所定の第１二進化方式によって二進化し、ｙ軸プレフィックスビット列に分類する。また、シンタックスエレメント符号化部１２は、最後の有効変換係数の行位置ｙが臨界値ｔｈを超える場合、臨界値ｔｈを、第１二進化方式によって二進化したｙ軸プレフィックスビット列と、（ｙ−ｔｈ）を、所定の第２二進化方式によって二進化したｙ軸サフィックスビット列とに分類する。、ブロックの幅及び高さが同一である場合、列位置ｘ及び行位置ｙを、プレフィックスとサフィックスとに分類する基準である臨界値は、同一である。ブロックが正四角形ではない長方形である場合には、幅及び広さそれぞれに基づいて、列位置ｘ及び行位置ｙそれぞれを、プレフィックスとサフィックスとに分類するための臨界値が決定される。
【００６０】
段階８３で、シンタックスエレメント符号化部１２は、第１座標プレフィックスビット列及び第２座標プレフィックスビット列に対して、順次に第１算術符号化方式によって算術符号化を行う。前述のように、シンタックスエレメント符号化部１２は、コンテクストモデルを利用して、算術符号化されるプレフィックスビット列をグループ化して処理することができる。
【００６１】
段階８４で、シンタックスエレメント符号化部１２は、第１座標サフィックスビット列及び第２座標サフィックスビット列に対して、第２算術符号化方式によって算術符号化を行う。前述のように、シンタックスエレメント符号化部１２は、バイパスモデルを利用して、サフィックスビット列をグループ化して処理することができる。
【００６２】
図９Ａは、本発明の一実施形態によるビデオ復号化装置の構成を示したブロック図である。図９Ａを参照すれば、ビデオ復号化装置９０は、シンタックスエレメント復号化部９１及び映像復元部９２を含む。
【００６３】
シンタックスエレメント復号化部９１は、ビデオの符号化されたデータを示す多様なシンタックスエレメントが含まれたビットストリームを受信し、ビットストリームをパージングしてシンタックスエレメントを獲得する。かような動作は、シンタックスエレメント復号化部９１内部のパージング部で遂行される。シンタックスエレメントは、前述のビデオ符号化装置１０によって、二進化及び算術符号化過程を介して符号化されたので、シンタックスエレメント復号化部９１は、符号化過程の逆過程で、シンタックスエレメントを算術復号化及び逆二進化して復元する。
【００６４】
特に、一実施形態によるシンタックスエレメント復号化部９１は、受信されたビットストリームから、現在ブロックの大きさに基づいて決定された臨界値を基準に、現在ブロックの最後の有効変換係数のｘ軸位置を分類したｘ軸成分プレフィックスビット列及びｘ軸成分サフィックスビット列それぞれに対応するｘ軸成分プレフィックス・シンタックスエレメント及びｘ軸サフィックス・シンタックスエレメントと、臨界値を基準に、最後の有効変換係数のｙ軸位置を分類したｙ軸成分プレフィックスビット列及びｙ軸成分サフィックスビット列それぞれに対応するｙ軸成分プレフィックス・シンタックスエレメント及びｙ軸成分サフィックス・シンタックスエレメントと、を獲得する。
【００６５】
そして、シンタックスエレメント復号化部９１は、ｘ軸成分プレフィックス・シンタックスエレメント及びｙ軸成分プレフィックス・シンタックスエレメントに対して、順次に第１算術復号化方式、すなわち、コンテクストモデルを利用した算術復号化を行い、ｘ軸成分プレフィックスビット列及びｙ軸成分プレフィックスビット列を獲得する。
【００６６】
また、シンタックスエレメント復号化部９１は、ｘ軸成分サフィックス・シンタックスエレメント及びｙ軸成分サフィックス・シンタックスエレメントに対して、第２算術復号化方式、すなわち、バイパスモードによって算術復号化を行い、ｘ軸成分サフィックスビット列及びｙ軸成分サフィックスビット列を獲得する。前述のように、列位置ｘまたは行位置ｙの値が所定臨界値ｔｈ以下である場合、サフィックスが存在しないので、かような場合、サフィックス・シンタックスエレメントに対する算術復号化過程は、スキップされる。
【００６７】
ｘ軸成分プレフィックスビット列及びｙ軸成分プレフィックスビット列、並びにｘ軸成分サフィックスビット列及びｙ軸成分サフィックスビット列を獲得すれば、シンタックスエレメント復号化部９１は、ｘ軸成分プレフィックスビット列及びｘ軸成分サフィックスビット列を逆二進化し、逆二進化されたｘ軸成分プレフィックスと、ｘ軸成分サフィックスとを加算し、ｘ軸成分を復元する。また、シンタックスエレメント復号化部９１は、ｙ軸成分プレフィックスビット列及びｘ軸成分サフィックスビット列を逆二進化し、逆二進化されたｙ軸成分プレフィックスと、ｙ軸成分サフィックスとを加算し、ｙ軸成分成分を復元する。
【００６８】
映像復元部９２は、シンタックスエレメント復号化部９１で復元された多様なシンタックスエレメント情報を利用して、現在ブロックに対して、逆変換及び予測を行う。映像復元部９２は、映像ブロックごとに復元されたシンタックスエレメントを利用して、逆量子化、逆変換、イントラ予測／動き補償などの動作を遂行し、映像ブロックを復元することができる。
【００６９】
図９Ｂは、図９Ａのシンタックスエレメント復号化部９１に具備された算術復号化装置の構成を示したブロック図である。図９Ｂの算術復号化装置９３は、図２のシンタックスエレメント符号化装置２０に対応する。算術復号化装置９３は、前述のシンタックスエレメント符号化装置２０で遂行される算術符号化過程の逆過程を遂行する。
【００７０】
図９Ｂを参照すれば、算術復号化装置９３は、コンテクストモデラ９４、レギュラーデコーディング部９５、バイパスデコーディング部９６及び逆二進化部９７を含む。
【００７１】
バイパスモードによって符号化されたシンボルは、バイパスデコーディング部９６に出力されて復号化され、レギュラーコーディングによって符号化されたシンボルは、レギュラーデコーディング部９５によってデコーディングされる。レギュラーデコーディング部９５は、コンテクストモデラ９４から提供されるコンテクストモデルに基づいて、現在符号化シンボルの二進値を算術復号化する。前述のように、レギュラーデコーディング部９５は、受信されたビットストリームから獲得されたｘ軸成分プレフィックス・シンタックスエレメント及びｙ軸成分プレフィックス・シンタックスエレメントに対して、順次にコンテクストモデルを利用した算術復号化を行い、ｘ軸成分プレフィックスビット列及びｙ軸成分プレフィックスビット列を獲得する。
【００７２】
バイパスデコーディング部９６は、受信されたビットストリームから獲得されたｘ軸成分サフィックス・シンタックスエレメント及びｙ軸成分サフィックス・シンタックスエレメントに対して、バイパスモードによって算術復号化を行い、ｘ軸成分サフィックスビット列及びｙ軸成分サフィックスビット列を獲得する。
【００７３】
逆二進化部９７は、レギュラーデコーディング部９５またはバイパスデコーディング部９６で復元されたｘ軸成分プレフィックスビット列及びｙ軸成分プレフィックスビット列、並びにｘ軸成分サフィックスビット列及びｙ軸成分サフィックスビット列に対する逆二進化を行い、ｘ軸成分プレフィックス及びｙ軸成分プレフィックス、並びにｘ軸成分サフィックス及びｙ軸成分サフィックスを復元する。ｘ軸成分プレフィックスと、ｘ軸成分サフィックスとを加え、最後の有効変換係数位置のｘ軸位置が決定され、ｙ軸成分プレフィックスと、ｙ軸成分サフィックスとを加え、最後の有効変換係数位置のｙ軸位置が決定される。
【００７４】
図１０は、本発明の一実施形態によるビデオの算術復号化方法を示したフローチャートである。図１０を参照すれば、段階１０１で、シンタックスエレメント復号化部９１は、受信されたビットストリームから、現在ブロックの大きさに基づいて決定された臨界値を基準に、現在ブロックの最後の有効変換係数位置の第１座標成分を分類した第１座標プレフィックスビット列及び第１座標サフィックスビット列それぞれに対応する第１座標プレフィックス・シンタックスエレメント及び第１座標サフィックス・シンタックスエレメント；及び臨界値を基準に、最後の有効変換係数位置の第２座標成分を分類した第２座標プレフィックスビット列及び第２座標サフィックスビット列それぞれに対応する第２座標プレフィックス・シンタックスエレメント及び第２座標サフィックス・シンタックスエレメント；を獲得する。
【００７５】
段階１０２で、シンタックスエレメント復号化部９１は、第１座標プレフィックス・シンタックスエレメント及び第２座標プレフィックス・シンタックスエレメントに対して、順次に第１算術復号化方式、すなわち、コンテクストモデルを利用した算術復号化を行い、第１座標プレフィックスビット列及び第２座標プレフィックスビット列を獲得する。
【００７６】
段階１０３で、シンタックスエレメント復号化部９１は、第１座標サフィックス・シンタックスエレメント及び第２座標サフィックス・シンタックスエレメントに対して、第２算術復号化方式、すなわち、バイパスモードによる算術復号化を行い、第１座標サフィックスビット列及び第２座標サフィックスビット列を獲得する。
【００７７】
段階１０４で、シンタックスエレメント復号化部９１は、第１座標プレフィックスビット列及び第１座標サフィックスビット列を逆二進化して第１座標成分を復元し、第２座標プレフィックスビット列及び第２座標サフィックスビット列を逆二進化し、第２座標成分を復元する。
【００７８】
前述の本発明の実施形態によれば、最後の有効変換係数の位置を、プレフィックスビット列と、サフィックスビット列とに分類し、同一の算術符号化方式が適用されるビット列をグループ化して順次に処理する。プレフィックスビット列については、コンテクストモデリングを介した算術符号化及び算術復号化を行い、サフィックスビット列については、コンテクストモデリングを省略し、バイパスモードによって、算術符号化及び算術復号化を行うので、最後の有効変換係数の位置を、いずれもコンテクストモデリングを介して、算術符号化及び算術復号化する場合に比べ、演算量が減少し、算術符号化及び算術復号化の処理速度が向上する。
【００７９】
前述のように、一実施形態によるビデオ符号化装置１０及びビデオ復号化装置９０で、ビデオデータが分割されるブロックが、ツリー構造の符号化単位に分割され、符号化単位の予測のための予測単位が利用され、変換のために変換単位が利用される。以下、図１１ないし図２３を参照し、一実施形態によるツリー構造の符号化単位、予測単位及び変換単位に基づいたビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置について開示する。
【００８０】
図１１は、本発明の一実施形態によるビデオ符号化装置のブロック図である。
【００８１】
一実施形態によるビデオ符号化装置１００は、階層的符号化部１１０及びエントロピー符号化部１２０を含む。
【００８２】
階層的符号化部１１０は、符号化される現在ピクチャを、所定サイズのデータ単位に分割し、データ単位別に符号化を行う。具体的には、階層的符号化部１１０は、現在ピクチャを、最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを分割することができる。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６のようなデータ単位であり、縦横大きさが８より大きい２の累乗である正方形のデータ単位でもある。
【００８３】
一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含む。
【００８４】
前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含む。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial  domain）の映像データが、深度によって階層的に分類される。
【００８５】
最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズがあらかじめ設定されている。
【００８６】
階層的符号化部１１０は、深度ごとに、最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に最終符号化結果が出力される深度を決定する。すなわち、階層的符号化部１１０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で、映像データを符号化し、最小の符号化誤差が発生する深度を選択し、符号化深度として決定する。決定された符号化深度及び最大符号化単位別映像データは、エントロピー符号化部１２０に出力される。
【００８７】
最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。
【００８８】
最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一の深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって深度別符号化誤差が異なるので、位置によって符号化深度が異なって決定される。従って、１つの最大符号化単位に対して、符号化深度が一つ以上設定されもし、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。
【００８９】
従って、一実施形態による階層的符号化部１１０は、現在最大符号化単位に含まれるツリー構造による符号化単位を決定することができる。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位において、符号化深度と決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。
【００９０】
一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示す。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は、４、第２最大深度は、５に設定される。
【００９１】
最大符号化単位の予測符号化及び周波数変換が行われる。予測符号化及び周波数変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。
【００９２】
最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれ、生成される全ての深度別符号化単位に対して予、測符号化、及び周波数変換を含んだ符号化が行われなければならない。以下、説明の便宜のために少なくとも１つの最大符号化単位のうち現在深度の符号化単位を基に、予測符号化及び周波数変換について説明する。
【００９３】
一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、周波数変換、エントロピー符号化などの段階を経るが、全ての段階にわたり、同一のデータ単位が使用され、段階別にデータ単位が変更されもする。
【００９４】
例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。
【００９５】
最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位を基に予測符号化が行われる。以下、予測符号化の基盤になるそれ以上分割されない符号化単位を「予測単位」と呼称する。予測単位が分割されたパーティションは、予測単位及び予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含む。
【００９６】
例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどでもある。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。
【００９７】
予測単位の予測モードは、イントラモード、インタモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインタモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して行われる。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ行われる。符号化単位以内の１つの予測単位ごとに独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。
【００９８】
また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの周波数変換を行うことができる。
【００９９】
符号化単位の周波数変換のためには、符号化単位より小さいか、あるいは同じ大きさのデータ単位を基に周波数変換が行われる。例えば、周波数変換のためのデータ単位は、イントラモードのためのデータ単位及びインタモードのためのデータ単位を含む。
【０１００】
以下、周波数変換の基盤になるデータ単位は、「変換単位」とする。符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位の残差データが、変換深度により、ツリー構造による変換単位によって分割される。
【０１０１】
一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが２Ｎｘ２Ｎであるならば、変換深度０、変換単位の大きさがＮｘＮであるならば、変換深度１、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によってツリー構造による変換単位が設定される。
【０１０２】
符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び周波数変換関連情報が必要である。従って、階層的符号化部１１０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、周波数変換のための変換単位の大きさなどを決定することができる。
【０１０３】
一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティションの決定方式については、後述する。
【０１０４】
階層的符号化部１１０は、深度別符号化単位の符号化誤差をラグランジュ乗数（Lagrangian  multiplier）基盤の率・歪曲最適化技法（rate-distortion  optimization）を利用して測定することができる。
【０１０５】
エントロピー符号化部１２０は、階層的符号化部１１０で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ、及び深度別符号化モードに係わる情報をビットストリーム形態で出力する。符号化された映像データは、映像の残差データの符号化結果でもある。深度別符号化モードに係わる情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含む。
【０１０６】
符号化深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かということを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が、符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。
【０１０７】
現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復的に符号化が行われ、同一の深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。
【０１０８】
１つの最大符号化単位内でツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに少なくとも１つの符号化モードに係わる情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードに係わる情報が決定される。また、最大符号化単位のデータは、深度によって階層的に分割され、位置別に符号化深度が異なるので、データに対して、符号化深度及び符号化モードに係わる情報が設定される。
【０１０９】
従って、一実施形態によるエントロピー符号化部１２０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該符号化深度及び符号化モードに係わる符号化情報を割り当てることができる。
【０１１０】
一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位であり、最大符号化単位に含まれる全ての符号化単位、予測単位及び変換単位内に含まれる最大サイズの正方形データ単位でもある。
【０１１１】
例えば、エントロピー符号化部１２０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含む。予測単位別に伝送される符号化情報は、インタモードの推定方向に係わる情報、インタモードの参照映像インデックスに係わる情報、動きベクトルに係わる情報、イントラモードのクロマ成分に係わる情報、イントラモードの補間方式に係わる情報などを含む。また、ピクチャ別、スライス別またはＧＯＰ（group  of  pictures）別に定義される符号化単位の最大サイズに係わる情報及び最大深度に係わる情報は、ビットストリームのヘッダに挿入される。
【０１１２】
ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含む。
【０１１３】
従って、一実施形態によるビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適形態及び最適サイズの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、周波数変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。
【０１１４】
従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を、既存マクロブロック単位で符号化するならば、ピクチャだマクロブロックの数が過度に多くなる。それによって、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置１００は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮し、符号化単位を調節することができるので、映像圧縮効率が上昇する。
【０１１５】
図１２は、本発明の一実施形態によるビデオ復号化装置のブロック図である。
【０１１６】
一実施形態によるビデオ復号化装置２００は、構文要素（ＳＥ：  syntax  element）抽出部２１０、エントロピー復号化部２２０及び階層的復号化部２３０を含む。一実施形態によるビデオ復号化装置２００の各種プロセッシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードに係わる情報など各種用語の定義は、図１１及びビデオ符号化装置１００を参照して説明したところと同一である。
【０１１７】
構文要素抽出部２１０は、符号化されたビデオに係わるビットストリームを受信してパージング（parsing）する。エントロピー復号化部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、階層的復号化部２３０に出力する。
【０１１８】
エントロピー復号化部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度、符号化モード、カラー成分情報、予測モード情報などの付加情報を抽出する。抽出された符号化深度及び符号化モードなどに係わる情報は、階層的復号化部２３０に出力される。ビット列の映像データは、最大符号化単位に分割されて符号化されたので、階層的復号化部２３０は、最大符号化単位ごとに、映像データを復号化することができる。
【０１１９】
最大符号化単位別符号化深度及び符号化モードに係わる情報は、一つ以上の符号化深度情報について設定され、符号化深度別符号化モードに係わる情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含む。また、符号化深度情報として、深度別分割情報が抽出されもする。
【０１２０】
エントロピー復号化部２２０が抽出した最大符号化単位別符号化深度及び符号化モードに係わる情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに、反復的に符号化を行い、最小符号化誤差を発生させることによって決定された符号化深度及び符号化モードに係わる情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によってデータを復号化し、映像を復元することができる。
【０１２１】
一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位に対して割り当てられているので、エントロピー復号化部２２０は、所定データ単位別に、符号化深度及び符号化モードに係わる情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードに係わる情報が記録されているのであるならば、同一の符号化深度及び符号化モードに係わる情報を有している所定データ単位は、同一の最大符号化単位に含まれるデータ単位と類推される。
【０１２２】
階層的復号化部２３０は、最大符号化単位別符号化深度及び符号化モードに係わる情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程及び周波数逆変換過程を含む。
【０１２３】
階層的復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うとができる。
【０１２４】
また、階層的復号化部２３０は、最大符号化単位別周波数逆変換のために、符号化深度別符号化単位の変換単位のサイズ情報に基づいて、符号化単位ごとに、それぞれの変換単位によって、周波数逆変換を行うことができる。
【０１２５】
階層的復号化部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が現在深度で、それ以上分割されないということを示しているのであれば、現在深度が符号化深度である。従って、階層的復号化部２３０は、現在最大符号化単位の映像データについて、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して、復号化することができる。
【０１２６】
すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位について設定されている符号化情報を観察し、同一の分割情報を含んだ符号化情報を保有しているデータ単位が集まり、階層的復号化部２３０によって、同一の符号化モードで復号化する１つのデータ単位と見なされる。
【０１２７】
一実施形態によるビデオ復号化装置２００は、符号化過程で、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに対する復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位と決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。
【０１２８】
従って、高い解像度の映像、またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードに係わる情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。
【０１２９】
以下、図１３ないし図２３を参照し、本発明の一実施形態によるツリー構造による符号化単位、予測単位及び変換単位の決定方式について詳細に説明する。
【０１３０】
図１３は、階層的符号化単位の概念を図示している。
【０１３１】
符号化単位の例は、符号化単位の大きさが幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含む。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに分割され、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに分割され、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。
【０１３２】
ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図１３に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。
【０１３３】
解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上及び映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。
【０１３４】
ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含む。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含む。
【０１３５】
ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含む。深度が深くなるほど、詳細情報の表現能力が向上するのである。
【０１３６】
図１４は、本発明の一実施形態による階層的構造の符号化単位に基づいたビデオ符号化装置の具体的なブロック図である。
【０１３７】
イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位についてイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インタモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。
【０１３８】
イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、周波数変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、周波数逆変換部４７０を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピー符号化部４５０を経て、ビットストリーム４５５として出力される。
【０１３９】
一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、周波数変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、周波数逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０が、いずれも最大符号化単位ごとに、最大深度を考慮し、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を遂行しなければならない。
【０１４０】
イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうちそれぞれの符号化単位のパーティション及び予測モードを決定し、周波数変換部４３０は、ツリー構造による符号化単位のうちそれぞれの符号化単位内の変換単位の大きさを決定する。
【０１４１】
図１５は、本発明の一実施形態による階層的構造の符号化単位に基づいたビデオ復号化装置の具体的なブロック図である。
【０１４２】
ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化に係わる情報がパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、周波数逆変換部５４０を経て、空間領域の映像データが復元される。
【０１４３】
空間領域の映像データについて、イントラ予測部５５０は、イントラモードの符号化単位についてイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インタモードの符号化単位について動き補償を行う。
【０１４４】
イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理され、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。
【０１４５】
一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素であるパージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、周波数逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を遂行しなければならない。
【０１４６】
イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位ごとに、それぞれパーティション及び予測モードを決定し、周波数逆変換部５４０は、符号化単位ごとに、変換単位の大きさを決定しなければならない。
【０１４７】
図１６は、本発明の一実施形態による深度別符号化単位及びパーティションを図示する。
【０１４８】
一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって多様に設定されもする。既設定の符号化単位の最大サイズによって、深度別符号化単位の大きさが決定される。
【０１４９】
一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び最大幅が６４であり、最大深度が４である場合を図示している。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが図示されている。
【０１５０】
すなわち、符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位であり、深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０、大きさ４ｘ４である深度１４の符号化単位６５０が存在する。大きさ４ｘ４である深度４の符号化単位６５０は、最小符号化単位である。
【０１５１】
それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。
【０１５２】
同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。
【０１５３】
同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。
【０１５４】
同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。
【０１５５】
最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最下位深度の符号化単位であり、当該予測単位も、サイズ４ｘ４のパーティション６５０だけに設定される。
【０１５６】
一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに、符号化を行わなければならない。
【０１５７】
同一範囲及び同サイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位を一つ含むデータに対して、深度２の符号化単位は、四つが必要である。従って、同一データの符号化結果を深度別に比較するために、１つの深度１の符号化単位、及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。
【０１５８】
それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で、最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプに選択される。
【０１５９】
図１７は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。
【０１６０】
一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいは同サイズの符号化単位で、映像を符号化したり、あるいは復号化する。符号化過程において、周波数変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基に選択される。
【０１６１】
例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して、周波数変換が行われる。
【０１６２】
また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位で、それぞれ周波数変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。
【０１６３】
図１８は、本発明の一実施形態による、深度別符号化情報を図示している。
【０１６４】
一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードに係わる情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。
【０１６５】
パーティションタイプに係わる情報８００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプに係わる情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。
【０１６６】
予測モードに係わる情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードに係わる情報８１０を介して、パーティションタイプに係わる情報８００が示すパーティションが、イントラモード８１２、インタモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるかということが設定される。
【０１６７】
また、変換単位サイズに係わる情報８２０は、現在符号化単位を、いかなる変換単位を基に周波数変換を行うかということを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２インター変換単位サイズ８２８のうち一つでもある。
【０１６８】
一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を抽出し、復号化に利用することができる。
【０１６９】
図１９は、本発明の一実施形態による深度別符号化単位を図示している。
【０１７０】
深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。
【０１７１】
深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含む。予測単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含む。
【０１７２】
パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに、反復的に予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。
【０１７３】
サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最小であるならば、それ以上下位深度に分割する必要ない。
【０１７４】
サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最小であるならば、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０に対して反復的に符号化を行い、最小符号化誤差を検索していく。
【０１７５】
深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含む。
【０１７６】
また、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８による符号化誤差が最小であるならば、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復的に符号化を行い、最小符号化誤差を検索していく。
【０１７７】
最大深度がｄである場合、深度別分割情報は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含む。
【０１７８】
パーティションタイプのうち、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復的に予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。
【０１７９】
サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に対する符号化深度が深度ｄ−１に決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）と決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）については、分割情報が設定されない。
【０１８０】
データ単位９９９は、現在最大符号化単位に係わる「最小単位」と呼ばれる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。かような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが、符号化深度の符号化モードに設定される。
【０１８１】
かように、深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度として決定される。符号化深度、予測単位のパーティションタイプ及び予測モードは、符号化モードに係わる情報として符号化されて伝送される。また、深度０から符号化深度に至るまで、符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。
【０１８２】
一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に係わる符号化深度、及び予測単位に係わる情報を抽出し、符号化単位９１２を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を、符号化深度として把握し、当該深度に係わる符号化モードに係わる情報を利用して、復号化に利用することができる。
【０１８３】
図２０、図２１及び図２２は、本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示している。
【０１８４】
符号化単位１０１０は、最大符号化単位について、一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。
【０１８５】
深度別符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。
【０１８６】
予測単位１０６０において、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプ、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいは同じである。
【０１８７】
変換単位１０７０のうち一部変換単位１０５２の映像データについては、符号化単位に比べ、小サイズのデータ単位であり、周波数変換または周波数逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０において、当該予測単位及びパーティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態に他のビデオ復号化装置２００は、同一の符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び周波数変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行することができる。
【０１８８】
それによって、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに、再帰的に符号化が行われ、最適符号化単位が決定されることにより、ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含む。下記表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示している。
【０１８９】
【表１】
2014533058.tif 000003
一実施形態によるビデオ符号化装置１００のエントロピー符号化部１２０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００のエントロピー復号化部２１０は、受信されたビットストリームをパージングし、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。
【０１９０】
分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が、下位符号化単位にそれ以上分割されない深度が、符号化深度であるので、符号化深度に対して、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報により、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。
【０１９１】
予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示す。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。
【０１９２】
パーティションタイプ情報は、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎを示す。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：ｎ（ｎは、１より大きい整数）及びｎ：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：ｎ及びｎ：１に分割された形態を示す。
【０１９３】
変換単位サイズは、イントラモードで二種の大きさ、インターモードで二種の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさが、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが、対称形パーティションタイプであるならば、変換単位の大きさは、ＮｘＮ、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。
【０１９４】
一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同一の符号化情報を保有している予測単位及び最小単位を一つ以上含む。
【０１９５】
従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一の符号化深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。
【０１９６】
従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。
【０１９７】
他の実施形態で、現在符号化単位が、周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照されもする。
【０１９８】
図２３は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。
【０１９９】
最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。そのうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ  １３２２，２ＮｘＮ  １３２４，Ｎｘ２Ｎ  １３２６，ＮｘＮ  １３２８，２ＮｘｎＵ  １３３２，２ＮｘｎＤ  １３３４，ｎＬｘ２Ｎ  １３３６及びｎＲｘ２Ｎ  １３３８のうち一つに設定される。
【０２００】
パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ  １３２２，２ＮｘＮ  １３２４，Ｎｘ２Ｎ  １３２６及びＮｘＮ  １３２８のうち一つに設定されている場合、変換単位分割情報（ＴＵ  size  flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。
【０２０１】
パーティションタイプ情報が、非対称形パーティションタイプ２ＮｘｎＵ  １３３２，２ＮｘｎＤ  １３３４，ｎＬｘ２Ｎ  １３３６及びｎＲｘ２Ｎ  １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ  size  flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。
【０２０２】
変換単位分割情報（ＴＵ  size  flag）は、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。
【０２０３】
例えば、パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ  １３２２，２ＮｘＮ  １３２４，Ｎｘ２Ｎ  １３２６及びＮｘＮ  １３２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。
【０２０４】
パーティションタイプ情報が、非対称形パーティションタイプ２ＮｘｎＵ  １３３２，２ＮｘｎＤ  １３３４，ｎＬｘ２Ｎ  １３３６及びｎＲｘ２Ｎ  １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ  size  flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。
【０２０５】
図２３を参照して説明した変換単位分割情報（ＴＵ  size  flag）は、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報が１ビットのフラグに限定されるのではなく、設定によって、０、１、２、３、…などでに増やして変換単位が階層的に分割されもする。変換単位分割情報は、変換インデックスの一実施形態として利用される。
【０２０６】
その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳ（sequence  parameter  set）に挿入される。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号化に利用することができる。
【０２０７】
例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２、（ａ−２）変換単位分割情報が１であるとき、変換単位の大きさは、１６ｘ１６、（ａ−３）変換単位分割情報が２であるとき、変換単位の大きさは、８ｘ８に設定される。
【０２０８】
他の例として、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に設定され、変換単位の大きさが、３２ｘ３２より小さいことがないので、それ以上の変換単位分割情報が設定されることがない。
【０２０９】
さらに他の例として、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であり、他の変換単位分割情報が設定されることがない。
【０２１０】
従って、最大変換単位分割情報を「ＭａｘTransformSizeIndex」、最小変換単位サイズを「ＭｉｎTransformSize」、変換単位分割情報が０である場合の変換単位、すなわち、基礎変換単位「RootTu」の大きさを「RootTuSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎTuSize」は、下記数式（１）のように定義される。
【０２１１】
ＣｕｒｒＭｉｎTuSize
＝ｍａｘ（ＭｉｎTransformSize，RootTuSize／（２＾ＭａｘTransformSizeIndex））      （１）
現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎTuSize」と比較し、基礎変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示す。すなわち、数式（１）によれば、「RootTuSize／（２＾ＭａｘTransformSizeIndex）」は、基礎変換単位サイズである「RootTuSize」を、最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「ＭｉｎTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が、現在現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎTuSize」である。
【０２１２】
一実施形態による基礎変換単位サイズ「RootTuSize」は、予測モードによって異なる。
【０２１３】
例えば、現在予測モードがインターモードであるならば、「RootTuSize」は、下記数式（２）によって決定される。数式（２）で、「ＭａｘTransformSize」は、最大変換単位サイズ、「ＰＵSize」は、現在予測単位サイズを示す。
【０２１４】
RootTuSize＝ｍｉｎ（ＭａｘTransformSize，ＰＵSize）      （２）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位である基礎変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。
【０２１５】
現在パーティション単位の予測モードがイントラモードであるならば、「RootTuSize」は、下記数式（３）によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。
【０２１６】
RootTuSize＝ｍｉｎ（ＭａｘTransformSize，PartitionSize）      （３）
すなわち、現在予測モードがイントラモードであるならば、基礎変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。
【０２１７】
ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズである基礎変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因は、それに限定されるものではないということに留意しなければならない。
【０２１８】
本発明はまた、コンピュータで読み取り可能記録媒体に、コンピュータで読み取り可能コードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存される全種の記録装置を含む。コンピュータで読み取り可能記録媒体の例としては、ＲＯＭ（read-only  memory）、ＲＡＭ（random-access  memory）、ＣＤ（compact  disc）−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などが含まれる。また、コンピュータで読み取り可能記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式で、コンピュータで読み取り可能コードに保存されて実行される。
【０２１９】
以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が、本発明の本質的な特性から外れない範囲で変形された形態で具現されるということを理解することがであろう。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。
【図１】
2014533058.tif 000004
【図２】
2014533058.tif 000005
【図３】
2014533058.tif 000006
【図４】
2014533058.tif 000007
【図５】
2014533058.tif 000008
【図６】
2014533058.tif 000009
【図７】
2014533058.tif 000010
【図８】
2014533058.tif 000011
【図９Ａ】
2014533058.tif 000012
【図９Ｂ】
2014533058.tif 000013
【図１０】
2014533058.tif 000014
【図１１】
2014533058.tif 000015
【図１２】
2014533058.tif 000016
【図１３】
2014533058.tif 000017
【図１４】
2014533058.tif 000018
【図１５】
2014533058.tif 000019
【図１６】
2014533058.tif 000020
【図１７】
2014533058.tif 000021
【図１８】
2014533058.tif 000022
【図１９】
2014533058.tif 000023
【図２０】
2014533058.tif 000024
【図２１】
2014533058.tif 000025
【図２２】
2014533058.tif 000026
【図２３】
2014533058.tif 000027
【国際調査報告】
2014533058.tif 000028
2014533058.tif 000029
2014533058.tif 000030
2014533058.tif 000031