(57)【要約】【課題】  階層構造の映像処理技術に適用されることができるエントロピーエンコーディング／デコーディング方法及び装置とこのためのシンボルエンコーディング／デコーディング方法及び装置を提供する。【解決手段】  本発明によるエントロピーデコーディング方法は、受信された残差映像のビット列に対して２個乃至４個のシンボル単位で定められたコンテキストモデルに従って対応するシンボル単位でシンボルデコーディングを行うステップと、前記残差映像のデコーディングされた係数を周波数領域で元来の順序に整列するステップとを有する。ここで、上記シンボルデコーディングは、レベルデコーディングとともに行われることができ、受信された残差映像のビット列に対して少なくとも２シンボル単位で固有シンボル値を用いて行われることができる。【選択図】      図９
2012085256.tif 000002
【特許請求の範囲】
【請求項１】
階層構造基盤の映像処理でのエントロピーエンコーディング方法であって、
受信された残差映像の係数を周波数領域に従って再整列するステップと、
前記残差映像の係数を２個乃至４個のシンボル単位で定められたコンテキストモデルに従って対応するシンボル単位でシンボルエンコーディングを行うステップと
を有することを特徴とするエントロピーエンコーディング方法。
【請求項２】
前記シンボルエンコーディングを行うステップは、
前記２個乃至４個のシンボル単位で対応するシンボルに対して階層的にゼロ検査を行うステップをさらに有することを特徴とする請求項１に記載のエントロピーエンコーディング方法。
【請求項３】
前記コンテキストモデルは、前記２個乃至４個のシンボル単位で定められたハフマンテーブルに対応することを特徴とする請求項１に記載のエントロピーエンコーディング方法。
【請求項４】
前記残差映像の係数に対して前記ハフマンテーブルを周期的にアップデートするステップをさらに有することを特徴とする請求項３に記載のエントロピーエンコーディング方法。
【請求項５】
階層構造基盤の映像処理でのエントロピーエンコーディング方法であって、
受信された残差映像の係数を周波数領域に従って再整列するステップと、
前記残差映像の係数に対して少なくとも２シンボル単位でシンボルエンコーディング及びレベルエンコーディングをともに実行するステップと
を有することを特徴とするエントロピーエンコーディング方法。
【請求項６】
階層構造基盤の映像処理でのエントロピーエンコーディング方法であって、
受信された残差映像の係数を周波数領域に従って再整列するステップと、
前記残差映像の係数に対して少なくとも２シンボル単位で固有シンボル値を用いるシンボルエンコーディングを実行するステップと
を有することを特徴とするエントロピーエンコーディング方法。
【請求項７】
階層構造基盤の映像処理でのエントロピーデコーディング方法であって、
受信された残差映像のビット列に対して２個乃至４個のシンボル単位で定められたコンテキストモデルに従って対応するシンボル単位でシンボルデコーディングを行うステップと、
前記残差映像のデコーディングされた係数を周波数領域で元来の順序に整列するステップと
を有することを特徴とするエントロピーデコーディング方法。
【請求項８】
前記シンボルデコーディングを行うステップは、
前記２個乃至４個のシンボル単位で対応するシンボルに対して階層的にゼロ検査を行うステップをさらに有することを特徴とする請求項７に記載のエントロピーデコーディング方法。
【請求項９】
前記コンテキストモデルは、前記２個乃至４個のシンボル単位で定められたハフマンテーブルに対応することを特徴とする請求項７に記載のエントロピーデコーディング方法。
【請求項１０】
前記残差映像の係数に対して前記ハフマンテーブルを周期的にアップデートするステップをさらに有することを特徴とする請求項９に記載のエントロピーデコーディング方法。
【請求項１１】
階層構造基盤の映像処理でのエントロピーデコーディング方法であって、
受信された残差映像のビット列に対して少なくとも２シンボル単位でシンボルデコーディング及びレベルデコーディングをともに実行するステップと、
前記残差映像のデコーディングされた係数を周波数領域で元来の順序に整列するステップと
を有することを特徴とするエントロピーデコーディング方法。
【請求項１２】
階層構造基盤の映像処理でのエントロピーデコーディング方法であって、
受信された残差映像のビット列に対して少なくとも２シンボル単位で固有シンボル値を用いるシンボルデコーディングを実行するステップと、
前記残差映像のデコーディングされた係数を周波数領域で元来の順序に整列するステップと
を有することを特徴とするエントロピーデコーディング方法。
【請求項１３】
階層構造基盤の映像処理でのエントロピーエンコーディング装置であって、
受信された残差映像の係数を周波数領域に従って再整列する再整列器と、
前記残差映像の係数を２個乃至４個のシンボル単位で定められたコンテキストモデルに従って対応するシンボル単位でシンボルエンコーディングを行うシンボルエンコーダと
を有することを特徴とするエントロピーエンコーディング装置。
【請求項１４】
階層構造基盤の映像処理でのエントロピーデコーディング装置であって、
受信された残差映像のビット列に対して２個乃至４個のシンボル単位で定められたコンテキストモデルに従って対応するシンボル単位でシンボルデコーディングを行うシンボルデコーダと、
前記残差映像のデコーディングされた係数を周波数領域で元来の順序に整列する整列器と
を有することを特徴とするエントロピーデコーディング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理方法及び装置に関し、特に、階層構造の映像処理技術に適用されることができるエントロピーエンコーディング／デコーディング方法及び装置とこのためのシンボルエンコーディング／デコーディング方法及び装置に関する。
【背景技術】
【０００２】
デジタル映像は、大容量のデータ処理を必要とする。このような大容量の映像処理のために、大部分の映像処理技術では、ブロック単位で映像のエンコーディング／デコーディングを行う様々な圧縮技術を使用している。
【０００３】
映像処理技術では、一般的に、マクロブロック単位で映像処理を実行し、マクロブロックは、複数のピクセルブロックに区分されることにより処理される。映像コーディングは、動き予測、動き補償、ＤＣＴ変換、量子化、エントロピーコーディング（entropy  coding）などの映像処理過程を通して実行される。このエントロピーコーディングは、シンボルが出現する確率に従ってシンボルを示すコードの長さを異らせ、出現頻度が高いシンボル順序に短い長さのコードワードをマッピングすることにより映像圧縮効率を高めるコーディング方式である。大容量映像データの処理量を減少させるためには、映像間の残差映像を用いて映像エンコーディング／デコーディングを実行するか、又はＶＣ系列の映像コーデックのように残差映像を用いて様々な階層構造で映像を処理する技術が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】ＵＳ２００６／０２３２４５２Ａ１
【発明の概要】
【発明が解決しようとする課題】
【０００５】
したがって、本発明は、上述した従来技術の問題点を解決するために提案されたものであり、その目的は、階層構造の映像処理での効率的なエントロピーエンコーディング／デコーディング方法及び装置を提供することにある。
【０００６】
本発明の他の目的は、階層構造の映像処理でのエントロピーエンコーディング／デコーディングの性能を向上させるシンボルエンコーディング／デコーディング方法及び装置を提供することにある。
【０００７】
本発明のまた他の目的は、階層構造の映像処理でのエントロピーエンコーディング／デコーディングの性能を向上させるシンボル及びレベルエンコーディング／デコーディング方法及び装置を提供することにある。
【０００８】
本発明のさらなる他の目的は、改善したエントロピーエンコーディング／デコーディング方式が適用された階層構造の映像エンコーディング／デコーディング方法及び装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記のような目的を達成するために、本発明の実施形態の一態様によれば、階層構造基盤の映像処理でのエントロピーエンコーディング方法は、受信された残差映像の係数を周波数領域に従って再整列するステップと、上記残差映像の係数を２個乃至４個のシンボル単位で定められたコンテキストモデルに従って対応するシンボル単位でシンボルエンコーディングを行うステップとを有することを特徴とする。
【００１０】
本発明の実施形態の他の態様によれば、階層構造基盤の映像処理でのエントロピーエンコーディング方法は、受信された残差映像の係数を周波数領域に従って再整列するステップと、上記残差映像の係数に対して少なくとも２シンボル単位でシンボルエンコーディング及びレベルエンコーディングをともに実行するステップとを有することを特徴とする。
【００１１】
本発明の実施形態のさらに他の態様によれば、階層構造基盤の映像処理でのエントロピーエンコーディング方法は、受信された残差映像の係数を周波数領域に従って再整列するステップと、上記残差映像の係数に対して少なくとも２シンボル単位で固有シンボル値を用いるシンボルエンコーディングを実行するステップとを有することを特徴とする。
【００１２】
本発明の実施形態のさらなる他の態様によれば、階層構造基盤の映像処理でのエントロピーデコーディング方法は、受信された残差映像のビット列に対して２個乃至４個のシンボル単位で定められたコンテキストモデルに従って対応するシンボル単位でシンボルデコーディングを行うステップと、上記残差映像のデコーディングされた係数を周波数領域で元来の順序に整列するステップとを有することを特徴とする。
【００１３】
本発明の実施形態のさらに他の１つの態様によれば、階層構造基盤の映像処理でのエントロピーデコーディング方法は、受信された残差映像のビット列に対して少なくとも２シンボル単位でシンボルデコーディング及びレベルデコーディングをともに実行するステップと、上記残差映像のデコーディングされた係数を周波数領域で元来の順序に整列するステップとを有することを特徴とする。
【００１４】
本発明の実施形態のさらにまた他の態様によれば、階層構造基盤の映像処理でのエントロピーデコーディング方法は、受信された残差映像のビット列に対して少なくとも２シンボル単位で固有シンボル値を用いるシンボルデコーディングを実行するステップと、上記残差映像のデコーディングされた係数を周波数領域で元来の順序に整列するステップとを有することを特徴とする。
【００１５】
本発明の実施形態のさらなる他の態様によれば、階層構造基盤の映像処理でのエントロピーエンコーディング装置は、受信された残差映像の係数を周波数領域に従って再整列する再整列器と、上記残差映像の係数を２個乃至４個のシンボル単位で定められたコンテキストモデルに従って対応するシンボル単位でシンボルエンコーディングを行うシンボルエンコーダと、を有することを特徴とする。
【００１６】
本発明の実施形態のさらにまた他の態様によれば、階層構造基盤の映像処理でのエントロピーデコーディング装置は、受信された残差映像のビット列に対して２個乃至４個のシンボル単位で定められたコンテキストモデルに従って対応するシンボル単位でシンボルデコーディングを行うシンボルデコーダと、上記残差映像のデコーディングされた係数を周波数領域で元来の順序に整列する整列器とを有することを特徴とする。
【００１７】
本発明の実施形態のさらにまた他の態様によれば、階層構造基盤の映像処理でのエントロピーエンコーディング装置は、受信された残差映像の係数を周波数領域に従って再整列する再整列器と、上記残差映像の係数に対して少なくとも２シンボル単位で固有シンボル値を用いるシンボルエンコーディングを行うシンボルエンコーダと、上記残差映像の係数に対して上記レベルエンコーディングを行うレベルエンコーダとを有する。この時、上記シンボルエンコーダを使用するエンコーディングの際に、必要に応じて上記レベルエンコーダを使用するエンコーディングが引き続き行われる。
本発明の実施形態のさらにその他の態様によれば、階層構造基盤の映像処理でのエントロピーデコーディング装置は、受信された残差映像のビット列に対して少なくとも２シンボル単位で固有シンボル値を用いるシンボルデコーディングを実行するシンボルデコーダと、上記レベルデコーディングを実行するレベルデコーダと、上記受信された残差映像のデコーディングされた係数を周波数領域で元来の順序に整列する整列器とを有することを特徴とする。この時、上記シンボルデコーダを使用するデコーディングの際に、必要に応じて上記レベルデコーダを使用するデコーディングが引き続き行われる。
【発明の効果】
【００１８】
本発明は、２シンボル単位のシンボルコーディングはもちろん、３シンボル又は４シンボル単位のように少なくとも２シンボル単位のシンボルコーディングが可能であるので、シンボルコーディングの時に遅延を減少させることができ、コーディング演算複雑度を減少させ、コーディング利得を向上させることができる。
【００１９】
また、シンボルコーディングと並行してレベルコーディングが行われるので、レベルコーディングの時に対応するシンボル値を再び確認しなくてもよいので、重複した演算動作を減少させることができる。
【００２０】
さらに、既存の方式に比べて、ハフマンコーディングのような可変長コーディング(ＶＬＣ）の適用の時に固有シンボル値を用いてメモリアクセス回数を減少させることができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態による多階層構造の映像エンコーディング装置１００の構成を示すブロック図である。
【図２】本発明の実施形態による多階層構造の映像デコーディング装置２００の構成を示すブロック図である。
【図３】８×８ピクセルブロックでのＤＣ及びＡＣ係数を説明するための図である。
【図４Ａ】シンボルコーディング及びレベルコーディング方式を説明するための図である。
【図４Ｂ】シンボルコーディング及びレベルコーディング方式を説明するための図である。
【図４Ｃ】シンボルコーディング及びレベルコーディング方式を説明するための図である。
【図４Ｄ】シンボルコーディング及びレベルコーディング方式を説明するための図である。
【図４Ｅ】シンボルコーディング及びレベルコーディング方式を説明するための図である。
【図５】本発明の実施形態によるエントロピーエンコーディング装置の構成を示すブロック図である。
【図６】本発明の実施形態によるエントロピーエンコーディング方法を示すフローチャートである。
【図７】本発明の実施形態によるエントロピーエンコーディング方法を示すフローチャートである。
【図８】本発明の実施形態によるエントロピーエンコーディング方法を示すフローチャートである。
【図９】本発明の実施形態によるエントロピーデコーディング装置の構成を示すブロック図である。
【図１０】本発明の実施形態による様々なエントロピーデコーディング方法を示すフローチャートである。
【図１１】本発明の実施形態による様々なエントロピーデコーディング方法を示すフローチャートである。
【図１２】本発明の実施形態による様々なエントロピーデコーディング方法を示すフローチャートである。
【図１３】本発明の実施形態によるアップデート可能なハフマンテーブルの一例を示す図である。
【図１４】本発明の実施形態による２シンボル乃至４シンボル単位のエントロピーエンコーディング方法を示すフローチャートである。
【図１５】本発明の実施形態による２シンボル乃至４シンボル単位のエントロピーデコーディング方法を示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明の好適な一実施形態を、添付図面を参照しつつ詳細に説明する。下記の説明において、明瞭性と簡潔性の観点から、本発明に関連した公知の機能や構成に関する具体的な説明が本発明の要旨を不明瞭にすると判断される場合には、その詳細な説明を省略する。
【００２３】
本発明の実施形態による階層構造のシンボル及びレベルコーディング方式と階層構造のエントロピーコーディング方式とは、図１の階層構造を有する映像エンコーディング装置及び図１の映像エンコーディング装置から出力されたビット列を復号化するように図２の階層構造を有する映像デコーディング装置にそれぞれ適用されることができる。
【００２４】
図１は、本発明の実施形態による多階層構造の映像エンコーディング装置１００の構成を示すブロック図である。図１の映像エンコーディング装置１００は、基本階層（basement  layer）のコーディングされた映像から復元された、すなわち、再構成された映像を向上階層（enhancement  layer）の映像に変換し、向上階層の入力映像とこの基本階層から再構成された映像の間の差（残差）（residual）をエンコーディングする構造を示す。図１の映像エンコーディング装置１００は、入力映像をエンコーディングすることにより基本階層ビット列（basement  layer  bit  stream）及び向上階層ビット列（enhancement  layer  bit  stream）を出力する。この基本階層の映像及びこの向上階層の映像は、相互に異なる解像度、映像サイズ、又は視点（view point）を有する映像となることができる。
【００２５】
図１の実施形態において、入力映像及び向上階層で処理される映像は、高解像度、大きいサイズ又はある視点の映像であり、基本階層で処理される映像は、低解像度、小さいサイズ又は他の視点を有する映像である。図１において、フォーマット下方変換（format  down-conversion）器１０１は、入力映像を基本階層の映像フォーマットに下方変換する。ここで、このフォーマット下方変換は、例えば、映像フォーマットをさらに小さい解像度、さらに小さいビット深さ、縮小されたクロマフォーマットの中の１つのフォーマット又はこれを組み合わせたフォーマットに変換することを意味する。図１の基本階層エンコーダ１０３は、受信された基本階層の映像を、例えば、ＶＣ−１、Ｈ．２６４、ＭＰＥＧ−４  Ｐａｒｔ  ２  Ｖｉｓｕａｌ、ＭＰＥＧ−２  Ｐａｒｔ  ２  Ｖｉｄｅｏ、ＡＶＳ、ＪＰＥＧ２０００などのような映像コーデックに基づく任意の映像エンコーダを用いて既存の方式に従ってコーディングすることにより基本階層ビット列に出力する。
【００２６】
また、基本階層エンコーダ１０３は、基本階層映像のエンコーディング過程で再構成された基本階層映像をフォーマット上方変換器１０５に出力する。図１において、フォーマット上方変換（format  up-conversion）器１０５は、この再構成された基本階層映像を、例えば、映像フォーマットをさらに大きい解像度、さらに大きいビット深さ、拡張されたクロマフォーマットの中の１つのフォーマット又はこれを組み合わせたフォーマットに変換する。フォーマット下方変換器１０１に入力される映像は、減算器１０７にも入力される。減算器１０７は、入力映像からこのフォーマット上方変換された映像を減算した残差映像を出力し、残差エンコーダ１０９は、受信された残差映像の残差コーディングを行うことにより向上階層ビット列に出力する。減算器１０７から出力される残差映像は、線形スケーリングを通して所定のビット数に変換され、このための残差マッピング及びスケーリング器１１１は、選択的に備えられることができる。
【００２７】
図２は、本発明の実施形態による多階層構造の映像デコーディング装置２００の構成を示すブロック図である。図２において、映像デコーディング装置２００は、基本階層のビット列をデコーディングを通して再構成し、この再構成された基本階層の映像のフォーマット上方変換を行うことにより向上階層の映像に出力し、向上階層のビット列の残差デコーディングを行うことにより図１の映像エンコーディング装置１００でコーディングされた残差映像を復元し、この再構成された基本階層の映像からフォーマット上方変換された映像にこの復元された残差映像を加えることにより向上階層の映像を復元する構成を示す。
【００２８】
映像デコーディング装置２００は、基本階層処理及び向上階層処理を含む階層構造で構成され、図１の映像エンコーディング装置１００を通してコーディングされた基本階層ビット列及び向上階層ビット列を復号化することにより、それぞれ再構成された基本階層映像及び再構成された向上階層映像を出力する。この基本階層の映像及びこの向上階層の映像は、相互に異なる解像度、映像サイズ、又は視点を有する映像となることができる。
【００２９】
基本階層デコーダ２０１は、受信された基本階層ビット列を基本階層エンコーダ１０１で使用された任意の映像コーデックに対応する方式で復号化することにより再構成された基本階層映像を出力する。また、基本階層デコーダ２０１を通して再構成された基本階層映像は、フォーマット上方変換器２０３にも出力される。フォーマット上方変換器２０３は、この再構成された基本階層映像を向上階層の映像フォーマットに上方変換することにより出力する。残差デコーダ２０５は、受信された向上階層ビット列の残差デコーディングを行うことにより生成された残差映像を出力し、このデコーディングされた残差映像は、加算器２０７を通してこのフォーマット上方変換された映像に加えられることにより再構成された向上階層映像に出力される。残差デコーダ２０５から出力される残差映像は、線形スケーリングを通して所定のビット数に変換され、このための残差マッピング及びスケーリング器２０９は、選択的に備えられることができる。
【００３０】
本発明の実施形態によるシンボル及びレベルエンコーディング／デコーディングを使用するエントロピーエンコーディング／デコーディングは、図１及び図２に示す残差エンコーダ１０９／残差デコーダ２０５内で実行されるか又は残差エンコーダ１０９／残差デコーダ２０５に接続された別途の構成要素（図示せず）で実行されることができる。
【００３１】
以下、本発明の実施形態による階層構造の映像処理技術で提案するシンボル及びレベルエンコーディング／デコーディング方法とこれを用いるエントロピーエンコーディング／デコーディング方法について説明する。下記の実施形態は、例えば、エスエムピーティーイー（Society  of  Motion  Picture  and  Television  Engineers；ＳＭＰＴＥ）で提案するＶＣ系列の映像コーデックに適用されることができ、このＶＣ系列の映像コーデックはもちろん、階層構造で映像を処理する各種映像処理技術に適用されることができる。
【００３２】
一般的な映像処理技術において、残差映像の離散コサイン変換（Discrete  Cosine  Transform；ＤＣＴ）を行う際にブロック基盤ＤＣＴを使用する。ＤＣＴ変換は、例えば、８×８ピクセルブロックを周波数ドメインにマッピングすることにより行われる。１つのマクロブロックは、隣接している４個の８×８ピクセルブロックで構成される。ＤＣＴ変換を通した入力映像である残差映像は、８×８ピクセルブロックを、例えば、図３のように量子化された１個のＤＣ係数３０１及び６３個のＡＣ係数３０３（点線で示す部分）に変換する。一般的に、ピクセル（画素）データは、ＤＣＴ変換の後に、ＤＣ又は低周波領域では、大部分０でない係数を有するが、高周波領域では、大部分０の係数を有する。このような特性を用いてピクセルブロックを圧縮すると、その圧縮率を高めることができる。
【００３３】
本発明の実施形態によるシンボルコーディングでの階層構造のシンボルは、ＤＣＴ係数（１つのＤＣ係数又は少なくとも１つのＡＣ係数）のブロック（以下、“係数ブロック”）に対応し、各係数ブロックは、ＤＣＴ係数の値に従って、“０”、“１”、又は“２”の代表係数として表現され、本発明では、“０”、“１”、又は“２”の代表係数を重要係数タイプ（Coefficient-Significant  Type；ＣＳＴ）として定義する。したがって、ＤＣ係数又は少なくとも１つのＡＣ係数に対応するシンボルも“０”、“１”、又は“２”のＣＳＴとして表現される。
【００３４】
本発明の実施形態において、ＣＳＴ“０”は、対応する係数ブロックに含まれる少なくとも１つのＡＣ係数の大きさがすべてゼロである場合であり、ＣＳＴ“１”は、対応する係数ブロックに含まれる少なくとも１つのＡＣ係数の中でもっとも大きい大きさを有する係数が１である場合であり、ＣＳＴ“２”は、対応する係数ブロックに含まれる少なくとも１つのＡＣ係数の中でもっとも大きい大きさを有する係数が１より大きい場合であると仮定する。
【００３５】
このような仮定に基づいて、図４Ａ乃至図４Ｅを参照して既存のシンボルコーディング及びレベルコーディング方式を説明すると、相互に異なる陰影で示すブロックは、相互に異なる係数ブロックを示し、これは、６４個の係数で表現される８×８ピクセルブロックを仮定したのである。図４Ａ乃至図４Ｅにおいて、６４個のＤＣＴ変換された係数は、低周波成分から高周波成分に再整列（reordering）過程を経た後に、左側上端から右側下端の方向に順次に配列される。
【００３６】
既存のシンボルコーディング方式は、係数ブロックを構成するＡＣ係数の数を変化させつつＡＣ係数が“０”であるシンボルを探すゼロ検査を２シンボル単位まで行う。
【００３７】
本発明の実施形態において、残差映像の係数を２シンボル、３シンボル、又は４シンボルに細部分割し、これに対応するコンテキストモデルに従って２シンボル、３シンボル、又は４シンボル単位でシンボルコーディングを行う。このコンテキストモデルは、残差映像の係数を階層化することによりエントロピーコーディングを行う構造から得られる。すなわち、３個のシンボルとして代表される係数ブロックに対する確率特性を求め、４個のシンボルとして代表される係数ブロックに対する確率特性を求める。２個のシンボルに対しては、既存の方式の確率特性に従う。シンボル個数別確率特性に従って、すなわち、コンテキストモデルにより提案されるハフマンテーブルは、例えば、図１３のようである。
【００３８】
以下、図４Ａ乃至図４Ｅを参照して本発明のシンボルコーディング方式と既存のシンボルコーディング方式とを対比しつつ説明する。
【００３９】
まず、本発明のシンボルコーディング方式を説明すると、図４Ａに示すように、１つのＤＣ係数に対応する係数ブロック４０１及び６３個のＡＣ係数を含む係数ブロック４０３に対してシンボルコーディングを実行する。係数ブロック４０１のＣＳＴが“２”であり、係数ブロック４０３の最高のＣＳＴが“１”である場合に、シンボルコーディングは、（２，１）として表現されることができる。この場合に、係数ブロック４０３の最高のＣＳＴが“１”であるため、複数のＡＣ係数の中でどのＡＣ係数が０であるかを探し出すために、本発明のシンボルコーディング方式は、図４Ｂに示すように、６３個のＡＣ係数を階層的に分割する。
すなわち、６３個のＡＣ係数を左側上端から右側下端の方向に３個、１２個、及び４８個で構成される３個の階層ブロック４０５、４０７、４０８に分割し、３個の各階層ブロック４０５、４０７、４０８でゼロ検査を実行する。各階層ブロック４０５、４０７、４０８からゼロでない値が出ると、各階層ブロック４０５、４０７、４０８をさらに複数の階層ブロックに分割することによりゼロ検査を実行する。この際、本発明の実施形態において、３個のＣＳＴ又は４個のＣＳＴに分割することができるときまでブロックを階層的に分割する。シンボルコーディングは、３個のＣＳＴ又は４個のＣＳＴに分けられた各階層ブロックごとになされる。例えば、図４Ａのように、８×８ブロックのＤＣ係数４０１とＡＣ係数４０３とに分けられた１番目の階層でＤＣ係数のＣＳＴ値及びＡＣ係数の最高のＣＳＴから２シンボルコーディングがなされる。図４Ａにおいて、ＡＣ係数４０３のＣＳＴがすべてゼロでない場合には、図４Ｂのように、３個のブロック４０５、４０７、４０８に分けられる２番目の階層を形成する。この際、３個のＣＳＴでなされたブロック４０５、１２個のＣＳＴでなされたブロック４０７、及び残りの４８個のＣＳＴでなされたブロック４０８の各最高のＣＳＴ値で３シンボルコーディングを行う。３個のＣＳＴで構成されたブロック４０５のすべてのＣＳＴがゼロでない場合には、そのブロック４０５は、これ以上分割することができず、３個のＣＳＴ値で３シンボルコーディングを行う。１２個のＣＳＴで構成されたブロック４０７のすべてのＣＳＴがゼロでない場合には、そのブロック４０７を図４Ｄのように４個のＣＳＴで構成された４１５、４１７、４１９の３個のブロックに階層分割を行い、各ブロック４１５、４１７、４１９の４個のＣＳＴの中最高のＣＳＴ値で３シンボルコーディングを行う。この際、４個のＣＳＴで構成されたブロック４１５、４１７、４１９の各々は、４シンボルコーディングを行う。最後に、図４Ｂの４８個のＣＳＴで構成されたブロック４０８もすべてのＣＳＴがゼロでない場合には、図４Ｅのように、各１６個のＣＳＴで構成された３個のブロック４２１、４２３、４２５に階層分割を行い、各ブロック４２１、４２３、４２５の最高のＣＳＴ値で３シンボルコーディングを行う。ブロック４２１のすべてのＣＳＴがゼロでない場合には、４個ずつ分けて階層分割を行い、４シンボルコーディングを行う。ブロック４２１で階層分割が行われた４個のブロックの各々がゼロでない場合には、個別的に４シンボルコーディングを行う。
【００４０】
一方、既存のシンボルコーディング方式において、３シンボルコーディング及び４シンボルコーディングは、実際２シンボル化することにより再帰的に２シンボルコーディングを行う。例えば、図４Ｃの３個のＣＳＴ４０９、４１１、４１３の３シンボルコーディングを行う際に、ＣＳＴ４１１及びＣＳＴ４１３の中の最高のＣＳＴ及びＣＳＴ４０９で２シンボルコーディングを行う。２つのＣＳＴ４１１及びＣＳＴ４１３がすべてゼロでない場合には、この２つのＣＳＴ値で２シンボルコーディングをもう１回行う。既存の４シンボルコーディングも同様の方式で、２シンボル化することにより２シンボルコーディングを最大３回行う。この際、ゼロ検査を３シンボルコーディング及び４シンボルコーディングでそれぞれ最大２回又は３回実行するので、エンコーディング／デコーディングの時に複雑度を増加させる要因として作用する。
【００４１】
下記の表１は、階層構造で本発明の効率的なゼロ検査方式のアルゴリズムを示す。
【００４２】
【表１】
2012085256.tif 000003
上述の表１において、“ＡＣｐ３”は、例えば、図４Ｅにおいて、係数ブロック４２１、４２３、及び４２５にある４８個のＡＣ係数のＣＳＴの中でもっとも大きい値である場合に、“ＡＣｐ３＿ＣＳＴ”は、３個のブロック４２１、４２３、４２５の最高のＣＳＴ値で３シンボルコーディングを行うことを示す。シンボルデコーダは、“ＡＣｐ３＿ＣＳＴ”をデコーディングすることによりブロック４２１内のＣＳＴのもっとも大きい値Ｌ２［１］をわかる。係数ブロック４２１内の最初の４個のＡＣ係数のＣＳＴＬ２［１］＿ＣＳＴを求めることができ、ＣＳＴＬ２［１］＿ＣＳＴをレベルデコーディングすると、ブロック４２１の最初の４個に対応するＤＣＴ係数値を求めることができる。上述の表１には省略されているが、図４Ｅに示す他の係数ブロック４２３及び４２５に対しても、上述した表１のアルゴリズムは、同一の方式で適用されることができる。上述した本発明のシンボルコーディング方式によると、既存の方式に比べて、３シンボルコーディング及び４シンボルコーディングでゼロ検査回数が減少することがわかる。
【００４３】
上述したように、２シンボル単位のシンボルコーディングを行う既存の方式は、３シンボル又は４シンボルに対してそれぞれ２ステップ又は３ステップにわたってゼロ検査を行うので、シンボルコーディングの際に遅延が発生するが、３シンボル単位以上のシンボルコーディングを行う本発明の実施形態では、１ステップだけでゼロ検査を行うことができるのでシンボルコーディングの際に遅延が減少することができる。すなわち、本発明は、２シンボル単位のシンボルコーディングはもちろん、３シンボル又は４シンボル単位のように少なくとも２シンボル単位のシンボルコーディングが可能であるように提案されたものであり、これは、上述の表１の方式のように実現されることができる。ここで、３シンボル単位以上のシンボルコーディングを実行するためには、複数のシンボルエンコーダが備えられることができる。
【００４４】
図５乃至図８、図１３を参照して本発明の実施形態による階層構造基盤のエントロピーエンコーディング装置及び方法について説明する。
【００４５】
図５は、本発明の実施形態によるエントロピーエンコーディング装置の構成を示すブロック図であり、図６乃至図８は、本発明の実施形態による様々なエントロピーエンコーディング方法を示すフローチャートである。エントロピーエンコーディングは、再整列、シンボルエンコーディング、及びレベルエンコーディング動作を含む。
【００４６】
図５において、再整列器５１０は、受信された残差映像の係数を周波数領域に従って再整列する。再整列を通して低周波成分及び高周波成分が効率的なエントロピーコーディングのために分離して配置される。シンボルエンコーダ５３１は、この再整列された残差映像の係数をシンボルエンコーディングし、レベルエンコーダ５３３は、エンコーディングされたシンボルのレベル及び符号を示すレベルコーディングを行う。シンボルエンコーダ５３１及びレベルエンコーダ５３３は、図５に示すように個別に構成されるか、又は参照符号５３０のように１つのエンコーダとして構成されることができる。
【００４７】
図６の実施形態において、ステップ６０１で、受信された残差映像の係数が再整列されると、シンボルエンコーダ５３１及びレベルエンコーダ５３３は、ステップ６０３で、残差映像の係数に対して少なくとも２シンボル単位でシンボルエンコーディング及びレベルエンコーディングを行う。
【００４８】
ここで、少なくとも２シンボル単位でシンボルエンコーディングを行う動作の一例を既存の２シンボル単位の方式と対比して説明すると、既存の２シンボル単位方式は、例えば、｛２、２、０、１｝の４シンボルエンコーディングの際に２シンボル単位でシンボルコーディングを再帰的に反復して行うので、最大３回にわたった２シンボル単位のシンボルコーディングが要求され、他方、本発明の実施形態では、４シンボルエンコーディングを１回に行うことができるので、コーディング演算複雑度を減少させ、コーディング利得（coding  gain）を向上させることができる。
【００４９】
下記の表２は、図６の実施形態に従ってシンボルコーディング及びレベルコーディングがともに実行されるエントロピーコーディングのアルゴリズムの例を示す。
【００５０】
【表２】
2012085256.tif 000004
上述した表２において、“ＣＯＥＦＦ＿ＬＥＶＥＬ［０］”は、０でないＤＣ係数のレベル及び符号を示し、“ＡＣ＿ＣＳＴ”は、６３個のＡＣ係数を３個の係数ブロック（例えば、図４Ｂのブロック４０５、４０７、４０８）に分割し、この分割された３個のブロック４０５、４０７、４０８の最高のＣＳＴを意味する。“ＡＣｐ１”は、ブロック４０５の最高のＣＳＴを意味し、表２には省略されているが、“ＡＣｐ２”及び“ＡＣｐ３”は、それぞれブロック４０７及び４０８の最高のＣＳＴを意味する。
【００５１】
“ＣＡＬＬ＿ＣＯＥＦＦ＿ＬＥＶＥＬ”は、対応するＡＣ係数の中でＣＳＴが１以上である場合にそのレベル及び符号を求める過程を示す。例えば、表２において、ＣＡＬＬ＿ＣＯＥＦＦ＿ＬＥＶＥＬ（１，４）は、分割された３個のブロック４０５、４０７、４０８に対してそれぞれＣＳＴが１以上である場合にそのレベル及び符号を示す。
【００５２】
本発明の実施形態において、このレベルコーディングは、係数ブロックに対するシンボルコーディングの際に数回にわたってシンボルコーディングとともに実行される。すなわち、従来では、シンボルコーディングがすべて完了した後にすべてのシンボルに対してさらにレベルコーディングを実行したが、本発明では、シンボルコーディングとともにレベルコーディングが実行されるので、レベルコーディングの際に対応するシンボル値を再び確認しなくてもよいので、重複した演算動作を減少させることができる。
【００５３】
一方、図７の実施形態において、ステップ７０１で、受信された残差映像の係数が再整列されると、シンボルエンコーダ５３１は、ステップ７０３で、残差映像の係数に対して少なくとも２シンボル単位で固有のシンボル値を使用するシンボルエンコーディングを実行する。
【００５４】
既存のシンボルコーディングでは、ハフマンコーディング（Huffman  coding）のような可変長コーディング（ＶＬＣ）の適用の時にエンコーディング装置とデコーディング装置の間でハフマンツリー内の各コードワードに対応する順番を予め定め、各コードワードに対応するシンボルの出現頻度を考慮してその順番を再調整する方式を使用した。この場合に、エンコーディング装置及びデコーディング装置は、シンボルの出現頻度に従う順番が意味するＣＳＴ値をマッピングしたマッピング値を知るためにシンボルコーディングの度にメモリをアクセスしなければならず、これは、エンコーディング／デコーディングの際に遅延をもたらす。
【００５５】
図７の実施形態は、シンボルエンコーディング過程でシンボルの出現頻度を考慮する順番の代りに、対応するシンボルから固有シンボル値（unique  symbol  value）をビット演算を通して計算し、シンボルの出現頻度に従ってコードワードに対応する固有シンボル値の位置を再調整する方式を提案する。
【００５６】
このビット演算は、２シンボル、（２，１）を例に挙げると、左方に前の“２”の２ビットシフト演算を行い、後ろの“１”を加算する方式で行われる。したがって、２シンボル（２，１）は、“９”（２進数１００１）の固有シンボル値を有する。デコーディング過程では、そのビット演算を逆に実行することにより右方に“９”（２進数１００１）の２ビットシフト演算を行った後に（２，１）での前の“２”を抽出し、“９”の２進数“１００１”で最後の２ビット“０１”から（２，１）での後ろの“０１”を抽出することができる。このビット演算は、３シンボル、（Ａ，Ｂ，Ｃ）を例に挙げると、“Ａ”を左方に４ビットシフト演算し、“Ｂ”を左方に２ビットシフト演算し、“Ｃ”を加算する方式で行われる。４シンボルの場合に、左側のシンボルに基づいてそれぞれ６、４、２ビットシフト演算を行い、最後のシンボルを加算する方式でビット演算を行い、デコーディング過程では、上記のようにそのビット演算を逆に実行する。
【００５７】
したがって、図７の実施形態によれば、シンボルコーディングの際に頻繁に発生するメモリアクセスを防止することができる。
【００５８】
一方、図８の実施形態では、ステップ８０１で、受信された残差映像の係数が再整列されると、シンボルエンコーダ５３１は、ステップ８０３で、図１３に示すハフマンテーブルをＲＤＯ（Rate  Distortion  Optimization）観点で周期的にアップデートしつつ少なくとも２シンボル単位でシンボルエンコーディングを実行する。図１３において、“ｏｖｅｒＳｙｍ＝１”は、対応するシンボル数でＡＣ係数の最高のＣＳＴが“１”である場合であり、“ｏｖｅｒＳｙｍ＝２”は、対応するシンボル数でＡＣ係数の最高のＣＳＴが“２”である場合に参照するテーブルを意味する。同一の“ｏｖｅｒＳｙｍ”値内では、ＲＤＯ観点で最適のテーブルが選択される。ここで、ハフマンテーブルがアップデートされる周期は、数乃至数十マクロブロック（ＭＢ）単位内で適切な周期で設定されることができる。ここで、ハフマンテーブルのアップデート周期を検出し、その周期が到来する度に適用されるハフマンテーブルをアップデートする動作は、図５のシンボルエンコーダ５３１で実行されるか又はハフマンテーブルのアップデートを検出し適用するための個別の構成要素（図示せず）を備えることも可能である。
【００５９】
上記した実施形態において、図６及び図７の方法は、少なくとも１つの組合せで実施されることができる。
【００６０】
以下、図９乃至図１３を参照して、本発明の実施形態による階層構造基盤のエントロピーデコーディング装置及び方法について説明する。
【００６１】
図９は、本発明の実施形態によるエントロピーデコーディング装置の構成を示すブロック図であり、図１０乃至図１２は、本発明の実施形態による様々なエントロピーデコーディング方法を示すフローチャートである。エントロピーデコーディングは、シンボルデコーディング、レベルデコーディング、及び整列動作を含む。
【００６２】
図９において、シンボルデコーダ９１１は、受信された残差映像のビット列をシンボルデコーディングし、レベルデコーダ９１３は、デコーディングされたシンボルのレベル及び符号を示すレベルデコーディングを実行する。シンボルデコーダ９１１及びレベルデコーダ９１３は、図９のように個別に構成するか又は参照符号９１０のように１つのデコーダとして構成されることができる。整列器９３０は、シンボル及びレベルデコーディングされた残差映像の係数を周波数領域で元来の順序に整列する。
【００６３】
図１０の実施形態において、ステップ１００１で、シンボルデコーダ９１１及びレベルデコーダ９１３は、受信された残差映像のビット列に対して少なくとも２シンボル単位でシンボルデコーディング及びレベルデコーディングをともに実行する。ステップ１００３で、整列器９３０は、デコーディングされた係数を周波数領域で元来の順に整列する。
【００６４】
また、図１１の実施形態において、ステップ１１０１で、シンボルデコーダ９１１は、受信された残差映像のビット列に対して少なくとも２シンボル単位で固有シンボル値を用いるシンボルデコーディングを行う。ステップ１１０３で、整列器９３０は、デコーディングされた係数を周波数領域で元来の順序に整列する。
【００６５】
さらに、図１２の実施形態において、ステップ１２０１で、シンボルデコーダ９１１は、受信された残差映像のビット列に対してハフマンテーブルを周期的にアップデートしつつシンボルデコーディングを行う。ステップ１２０３で、整列器９３０は、デコーディングされた係数を周波数領域で元来の順序に整列する。
【００６６】
一方、上述したシンボルコーディング及びレベルコーディングが行われるエントロピーコーディングのアルゴリズムと、少なくとも２シンボル単位のシンボルコーディングと、固有シンボル値と、図１３でのハフマンテーブルのアップデート方式は、エントロピーデコーディングにも同一の原理で適用されることができる。
【００６７】
上述した実施形態において、図１０及び図１１の方法は、少なくとも１つの組合せで実施されることができる。
【００６８】
図１４は、本発明の実施形態による２シンボル乃至４シンボル単位のエントロピーエンコーディング方法を示すフローチャートである。図１４を参照すると、ステップ１４０１で、受信された残差映像の係数を周波数領域に従って再整列し、ステップ１４０３で、この残差映像の係数を２個乃至４個のシンボル単位で定められたコンテキストモデルに従って対応するシンボル単位でシンボルエンコーディングを行う。
【００６９】
図１５は、本発明の実施形態による２シンボル乃至４シンボル単位のエントロピーデコーディング方法を示すフローチャートである。図１５を参照すると、ステップ１５０１で、受信された残差映像のビット列に対して２個乃至４個のシンボル単位で定められたコンテキストモデルに従って対応するシンボル単位でシンボルデコーディングを行い、ステップ１５０３で、このデコーディングされた係数を周波数領域で元来の順序に整列する。
【００７０】
図１４及び図１５において、このシンボルエンコーディング／デコーディングは、この２個乃至４個のシンボル単位で対応するシンボルに対して階層的にゼロ検査を行うステップを含む。このコンテキストモデルは、この２個乃至４個のシンボル単位で定められた図１３で例示したハフマンテーブルに対応する。
【００７１】
また、図１４及び図１５で説明したシンボルエンコーディング／デコーディング方法は、上述の少なくとも２シンボル単位のシンボルエンコーディング／デコーディングに適用されることができる。
【００７２】
以上、本発明を具体的な実施形態を参照して詳細に説明してきたが、本発明の範囲及び趣旨を逸脱することなく様々な変更が可能であるということは、当業者には明らかであり、本発明の範囲は上述の実施形態に限定されるべきではなく、特許請求の範囲の記載及びこれと均等なものの範囲内で定められるべきである。
【図１】
2012085256.tif 000005
【図２】
2012085256.tif 000006
【図３】
2012085256.tif 000007
【図４Ａ】
2012085256.tif 000008
【図４Ｂ】
2012085256.tif 000009
【図４Ｃ】
2012085256.tif 000010
【図４Ｄ】
2012085256.tif 000011
【図４Ｅ】
2012085256.tif 000012
【図５】
2012085256.tif 000013
【図６】
2012085256.tif 000014
【図７】
2012085256.tif 000015
【図８】
2012085256.tif 000016
【図９】
2012085256.tif 000017
【図１０】
2012085256.tif 000018
【図１１】
2012085256.tif 000019
【図１２】
2012085256.tif 000020
【図１３】
2012085256.tif 000021
【図１４】
2012085256.tif 000022
【図１５】
2012085256.tif 000023