(57)【要約】【課題】本発明は、高いコード化効率を示すがコード化の複雑さが比較的低い映像およびビデオのコード化のための方法および装置を開発する問題を扱うものである。【解決手段】コード化の手法は、イントラ（マクロブロック、領域、画像、ＶＯＰ）データを効率的にコード化する。この手法は、固定型デインターリーブドトランスフォームコーディングのアプローチと適応型デインターリーブドトランスフォームコーディングのアプローチの二つの基本的アプローチを用いる。さらに、各アプローチでは二種類のエンコーダが開発される。一つのエンコーダは、全画像またはＶＯＰｓで機能し、他のエンコーダは小さい再局部領域で機能する。本発明のエンコーダおよびデコーダを用いれば、ある範囲の複雑さで効率的にコード化を行なうことができ、さまざまな用途で効率と複雑さの適当なかね合いを図ることができる。【選択図】図１
2008067396.tif 000002
【特許請求の範囲】
【請求項１】
映像をコード化する方法であって、
ａ）映像をデインターリーブして複数の映像サブセットを形成するステップ、
ｂ）該複数の映像サブセットを複数のトランスフォーム係数にトランスフォームするステップ、
ｃ）該複数のトランスフォーム係数を複数のサンプルに変換するステップ、および、
ｄ）該複数のサンプルのエントロピー符号化を行なって、符号化されたビットストリームを形成するステップ、を含み、
前記ステップａ）は、
（ｉ）該映像を複数のセグメントに分割するステップと、
（ｉｉ）該複数のセグメントのうちデインターリーブに値するセグメントを特定するステップと、
（ｉｉｉ）該ステップａ）（ｉｉ）でデインターリーブに値すると特定されたセグメントだけをデインターリーブするステップと、を含む方法。
【請求項２】
映像を圧縮および復元する方法であって、
ａ）該映像を圧縮するステップ、および
ｂ）該映像を復元するステップ、を含み、
前記ステップａ）は、
（ｉ）該映像をデインターリーブして第１の複数の映像サブセットを形成するサブステップと、
（ｉｉ）該第１の複数の映像サブセットを第１の複数のトランスフォーム係数にトランスフォームするサブステップと、
（ｉｉｉ）該第１の複数のトランスフォーム係数を第１の複数のサンプルに変換するサブステップと、
（ｉｖ）該第１の複数のサンプルにエントロピー符号化を行って、符号化されたビットストリームを形成するサブステップと、を含み、
前記ステップｂ）は、
（ｉ）該符号化されたビットストリームのエントロピー復号化を行って第２の複数のサンプルを形成するサブステップと、
（ｉｉ）該第２の複数のサンプルを第２の複数のトランスフォーム係数に変換するサブステップと、
（ｉｉｉ）該第２の複数のトランスフォーム係数に逆トランスフォームを行って第２の複数の映像サブセットを形成するサブステップと、
（ｉｖ）該第２の複数の映像サブセットをリインターリーブして該映像を形成するサブステップと、を含み、
前記ステップａ）（ｉ）は、
（１）該映像をデインターリーブする前に第１の複数のセグメントに分割するステップと、
（２）該第１の複数のセグメントのうちデインターリーブに値するセグメントを特定するステップと、
（３）該ステップａ）（ｉｉ）でデインターリーブに値すると特定されたセグメントだけをデインターリーブするステップと、を含む方法。
【請求項３】
請求項２に記載の方法において、前記ステップｂ）（ｉｖ）のリインターリーブするステップはさらに、
（１）該第２の複数の映像サブセットをリインターリーブして第２の複数のセグメントを形成するステップと、
（２）前記ステップｂ）（ｉｖ）のリインターリーブするステップで形成された該第２の複数のセグメントを映像に組み立てるステップと、を含む方法。
【請求項４】
映像をコード化する方法であって、
ａ）該映像を複数の局部領域に分割するステップと、
ｂ）該複数の局部領域をデインターリーブして複数のデインターリーブされた領域を形成するステップと、
ｃ）該複数のデインターリーブされた領域を複数のトランスフォーム係数にトランスフォームするステップと、
ｄ）該複数のトランスフォーム係数を複数のサンプルに変換するステップと、
ｅ）該複数のサンプルのエントロピー符号化を行って、符号化されたビットストリームを形成するステップと、を含み、
前記ステップｂ）は、
（ｉ）前記ステップａ）の複数の局部領域に分割するステップによって形成された該局部領域をさらに分割するステップと、
（ｉｉ）該複数の局部領域セグメントのうちデインターリーブに値するセグメントを特定するステップと、
（ｉｉｉ）前記ステップｂ）（ｉｉ）でデインターリーブに値すると特定されたセグメントだけをデインターリーブするステップと、を含む方法。
【請求項５】
映像をコード化する装置であって、
ａ）映像を受け取って該映像をデインターリーブして複数の映像サブセットを形成するデインターリーバ、
ｂ）該デインターリーバに連結されて該複数の映像サブセットを複数のトランスフォーム係数にトランスフォームするトランスフォーム器、
ｃ）該トランスフォーム器に連結されて該複数のトランスフォーム係数を複数のサンプルに変換するコンバータ、および
ｄ）該コンバータに連結されて該複数のサンプルのエントロピー符号化を行ない、符号化されたビットストリームを形成するエンコーダ、を含み、
前記コンバータは、
ｅ）該映像を受け取って、該デインターリーバに連結された出力を有し、該映像を複数のセグメントに分割し、かつ該複数のセグメントのうちデインターリーブに値するセグメントを特定するグローバルクァドツリー・セグメンタを含み、デインターリーバは、該グローバルクァドツリー・セグメンタによってデインターリーブに値すると特定されたセグメントだけをデインターリーブする装置。
【請求項６】
映像を圧縮および復元する装置であって、
ａ）映像を受け取って該映像をデインターリーブして第１の複数の映像サブセットを形成するデインターリーバ、
ｂ）該デインターリーバに連結されて該第１の複数の映像サブセットを第１の複数のトランスフォーム係数にトランスフォームするトランスフォーム器、
ｃ）該トランスフォーム器に連結されて該第１の複数のトランスフォーム係数を第１の複数のサンプルにトランスフォームする第１のコンバータ、
ｄ）該コンバータに連結されて該第１の複数のサンプルにエントロピー符号化を行って、符号化されたビットストリームを形成するエンコーダ、
ｅ）該符号化されたビットストリームを受け取って該符号化されたビットストリームのエントロピー復号化を行い第２の複数のサンプルを形成するデコーダ、
ｆ）該デコーダに連結されて該第２の複数のサンプルを第２の複数のトランスフォーム係数に変換する第２のコンバータ、
ｇ）該第２のコンバータに連結されて該第２の複数のトランスフォーム係数に逆トランスフォームを行い、第２の複数の映像サブセットを形成する逆トランスフォーム器、
ｈ）該逆トランスフォーム器に連結されて該第２の複数の映像サブセットをリインターリーブして該映像を形成するリインターリーバ、および
ｉ）該映像を受け取り、該デインターリーバに連結された出力を有し、該映像を複数のセグメントに分割し、かつ該複数のセグメントのうちデインターリーブに値するセグメントを特定するグローバルクゥアドツリー・セグメンタであって、該デインターリーバは該グローバルクゥアドツリー・セグメンタによってデインターリーブに値すると特定されたセグメントだけをデインターリーブするセグメンタ、を含む装置。
【請求項７】
映像を圧縮および復元する装置であって、
ａ）映像を受け取って該映像をデインターリーブして第１の複数の映像サブセットを形成するデインターリーバ、
ｂ）該デインターリーバに連結されて該第１の複数の映像サブセットを第１の複数のトランスフォーム係数にトランスフォームするトランスフォーム器、
ｃ）該トランスフォーム器に連結されて該第１の複数のトランスフォーム係数を第１の複数のサンプルにトランスフォームする第１のコンバータ、
ｄ）該コンバータに連結されて該第１の複数のサンプルのエントロピー符号化を行い、符号化されたビットストリームを形成するエンコーダ、
ｅ）該符号化されたビットストリームを受け取って該符号化されたビットストリームのエントロピー復号化を行い第２の複数のサンプルを形成するデコーダ、
ｆ）該デコーダに連結されて該第２の複数のサンプルを第２の複数のトランスフォーム係数に変換する第２のコンバータ、
ｇ）該第２のコンバータに連結されて該第２の複数のトランスフォーム係数に逆トランスフォームを行い、第２の複数の映像サブセットを形成する逆トランスフォーム器、
ｈ）該逆トランスフォーム器に連結されて該第２の複数の映像サブセットをリインターリーブして該映像を形成するリインターリーバ、および
ｉ）該リデインターリーバに連結されたグローバルクゥアドツリー・アセンブラであって、該リインターリーバは該複数の映像サブセットをリインターリーブして複数のセグメントを形成し、該グローバルクゥアドツリー・アセンブラは該リインターリーバによって形成された該複数のセグメントを該映像に組み立てるアセンブラ、を含む装置。
【請求項８】
映像をコード化するシステムであって、
ａ）映像を受け取って該映像を複数の局部領域に分割するセグメンタ、
ｂ）該セグメンタに連結されて該複数の局部領域をデインターリーブし複数の局部領域サブセットを形成するデインターリーバ、
ｃ）該デインターリーバに連結されて該複数の局部領域サブセットを複数のトランスフォーム係数にトランスフォームするトランスフォーム器、
ｄ）該トランスフォーム器に連結されて該複数のトランスフォーム係数を複数のサンプルに変換するコンバータ、
ｅ）該コンバータに連結されて該複数のサンプルにエントロピー符号化を行い、符号化されたビットストリームを形成するエンコーダ、および
ｆ）該セグメンタに連結され、該デインターリーバに連結された出力を有し、該複数の局部領域を複数の局部領域セグメントに分割し、かつ該複数の局部領域セグメントのうちデインターリーブに値するセグメントを特定する局部クゥアドツリー・セグメンタであって、該デインターリーバは該局部クゥアドツリー・セグメンタによってデインターリーブに値すると特定された局部セグメントだけをデインターリーブするセグメンタ、を含むシステム。
【請求項９】
映像を圧縮および復元するシステムであって、
ａ）映像を受け取って該映像を第１の複数の局部領域に分割するセグメンタ、
ｂ）該セグメンタに連結されて該第１の複数の局部領域をデインターリーブし第１の複数の局部領域サブセットを形成するデインターリーバ、
ｃ）該デインターリーバに連結されて該第１の複数の局部領域サブセットを第１の複数のトランスフォーム係数にトランスフォームするトランスフォーム器、
ｄ）該トランスフォーム器に連結されて該第１の複数のトランスフォーム係数を第１の複数のサンプルに変換する第１のコンバータ、
ｅ）該コンバータに連結されて該第１の複数のサンプルにエントロピー符号化を行い、符号化されたビットストリームを形成するエンコーダ、
ｆ）該符号化されたビットストリームを受け取って該符号化されたビットストリームのエントロピー復号化を行ない第２の複数のサンプルを形成するデコーダ、
ｇ）該デコーダに連結されて該第２の複数のサンプルを第２の複数のトランスフォーム係数に変換する第２のコンバータ、
ｈ）該第２のコンバータに連結されて該第２の複数のトランスフォーム係数に逆トランスフォームを行い第２の複数の局部領域サブセットを形成する逆トランスフォーム器、
ｉ）該逆トランスフォーム器に連結されて該第２の複数の局部領域サブセットのリインターリーブを行い第２の複数の局部領域を形成するリインターリーバ、
ｊ）該リインターリーバに連結されて該第２の複数の局部領域を組み立てて該映像を形成するアセンブラ、および
ｋ）該セグメンタに連結され、該デインターリーバに連結された出力を有し、該第１の複数の局部領域を第１の複数の局部領域セグメントに分割し、かつ該第１の複数の局部領域セグメントのうちでデインターリーブに値するセグメントを特定する局部クゥアドツリー・セグメンタであって、該デインターリーバは該局部クゥアドツリー・セグメンタによってデインターリーブに値すると特定された局部セグメントだけをデインターリーブするセグメンタ、を含むシステム。
【請求項１０】
映像を圧縮および復元する方法であって、
ａ）該映像を圧縮するステップ、および
ｂ）該映像を復元するステップ、を含み、
前記ステップａ）は、
（ｉ）該映像を第１の複数の局部領域に分割するサブステップと、
（ｉｉ）該第１の複数の局部領域をデインターリーブして第１の複数のデインターリーブされた領域を形成するサブステップと、
（ｉｉｉ）該第１の複数のデインターリーブされた領域を第１の複数のトランスフォーム係数にトランスフォームするサブステップと、
（ｉｖ）該第１の複数のトランスフォーム係数を第１の複数のサンプルに変換するサブステップと、
（ｖ）該第１の複数のサンプルのエントロピー符号化を行って、符号化されたビットストリームを形成するサブステップと、を含み、
前記ステップｂ）は、
（ｉ）該符号化されたビットストリームのエントロピー復号化を行って第２の複数のサンプルを形成するサブステップと、
（ｉｉ）該第２の複数のサンプルを第２の複数のトランスフォーム係数に変換するサブステップと、
（ｉｉｉ）該第２の複数のトランスフォーム係数に逆トランスフォームを行って第２の複数のデインターリーブされた領域を形成するサブステップと、
（ｉｖ）該第２の複数のデインターリーブされた領域の各領域をリインターリーブして第２の複数の局部領域を形成するサブステップと、
（ｖ）該第２の複数の局部領域を組み立てて該映像を形成するサブステップと、を含み、
前記ステップａ）（ｉｉ）は、
（１）各第１の複数の局部領域を第１の複数の局部領域セグメントにさらに分割するステップと、
（２）該第１の複数の局部領域セグメントのうちデインターリーブに値するセグメントを特定するステップと、
（３）前記ステップａ）（ｉｉ）（２）でデインターリーブに値すると特定されたセグメントだけをデインターリーブするステップと、を含む方法。
【請求項１１】
請求項１０に記載の方法において、前記ステップｂ）（ｉｖ）のリインターリーブするステップはさらに、
（１）該第２の複数のデインタリーブされた領域の各領域をリインターリーブして第２の複数の局部領域セグメントを形成するステップと、
（２）該第２の複数の局部領域セグメントを組み立て該第２の複数の局部領域を形成するステップと、を含む方法。
【請求項１２】
映像を圧縮および復元するシステムであって、
ａ）該映像を受け取って該映像を第１の複数の局部領域に分割するセグメンタ、
ｂ）該セグメンタに連結されて該第１の複数の局部領域をデインターリーブし第１の複数の局部領域サブセットを形成するデインターリーバ、
ｃ）該デインターリーバに連結されて該第１の複数の局部領域サブセットを第１の複数のトランスフォーム係数にトランスフォームするトランスフォーム器、
ｄ）該トランスフォーム器に連結されて該第１の複数のトランスフォーム係数を第１の複数のサンプルに変換する第１のコンバータ、
ｅ）該コンバータに連結されて該第１の複数のサンプルにエントロピー符号化を行い符号化されたビットストリームを形成するエンコーダ、
ｆ）該符号化されたビットストリームを受け取って該符号化されたビットストリームのエントロピー復号化を行ない第２の複数のサンプルを形成するデコーダ、
ｇ）該デコーダに連結されて該第２の複数のサンプルを第２の複数のトランスフォーム係数に変換する第２のコンバータ、
ｈ）該第２のコンバータに連結されて該第２の複数のトランスフォーム係数に逆トランスフォームを行い第２の複数の局部領域サブセットを形成する逆トランスフォーム器、
ｉ）該逆トランスフォーム器に連結されて該第２の複数の局部領域サブセットのリインターリーブを行い第２の複数の局部領域を形成するリインターリーバ、
ｊ）該リインターリーバに連結されて該第２の複数の局部領域を組み立てて該映像を形成するアセンブラ、
ｋ）該セグメンタに連結されて、該デインターリーバに連結された出力を有し、該第１の複数の局部領域を第１の複数の局部領域セグメントに分割し、第１の複数の局部領域セグメントのうちデインターリーブに値する局部領域セグメントを特定する局部クゥアドツリーセグメンタであって、該デインターリーバは該局部クゥアドツリーセグメンタによりデインターリーブに値すると特定された局部領域セグメントだけをデインターリーブする局部クゥアドツリーセグメンタ、
ｌ）該リインタリーバに連結される入力と、該アセンブラに連結される出力と、を有し、該リインタリーバは該第２の複数のデインタリーブされた領域をリインタリーブし、第２の複数の局部領域セグメントを形成し、該第２の複数の局部領域をアセンブラに出力する局部クゥアドツリーアセンブラ、を含むシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１９９６年９月２５日出願の米国仮出願第６０／０２７，４３６号に基づく出願である。
【０００２】
本発明は、ひろくは映像のコード化およびビデオのイントラ・コード化のための方法および装置に関し、より詳しくは、トランスフォームコード化を用いた映像のコード化およびビデオのイントラ・コード化のための方法および装置に関する。イントラ・コード化は、単純な符号化／復号化、低遅延性、高度の耐エラー頑強性、あるいは高いレベルの対話性を必要とする用途にとって重要である。この種の用途の例としては、インターネットでの映像／ビデオ、無線ビデオ、ネットワーク式ビデオゲーム等が挙げられる。
【背景技術】
【０００３】
映像コード化およびビデオのイントラ・コード化の最新技術では、トランスフォームコード化（例、離散コサイントランスフォーム、ＤＣＴ）が用いられるが、これは、映像を８×８の寸法の非重複ブロックに仕切り、２×２のルミナンス（Ｙ）ブロックのアレーおよび対応するＣｒ信号のクロミナンス・ブロックおよびＣｂ信号のブロック（ともにマクロブロックと呼ばれる）の単位にコード化することを含むものである。予め復元されたＤＣ係数を用いてＤＣＴブロックのＤＣ係数を予測することによってイントラ・コード化の性能の改善が行なわれている。最近では、ＡＣ係数を予測することによってＭＰＥＧ−４でさらなる改善が行なわれている。
【０００４】
過去数年間に、多くの研究者がトランスフォームコード化の代わりにウェイブレッツ（ｗａｖｅｌｅｔｓ）を用いた異なるアプローチに迫っている。これらの研究者は、かなりの改善が得られたことを報告しているが、同時に複雑さも増大している。最近、コード化に先立てサブサンプリングを用いるウェイブレッツコード化のバリエーションがあらわれており（その中には、ＭＰＥＧ−４で現在実験が行なわれているものもある）、それらは、サブサンプリングの効果を利用した高度な量子化の技法を用いてさらに高い性能を実現しているが、同時に極端に複雑なものとなっている。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
したがって、本発明は、高いコード化効率を示すがコード化の複雑さが比較的低い映像およびビデオのコード化のための方法および装置を開発する問題を扱うものである。
【課題を解決するための手段】
【０００６】
本発明は、トランスフォームステップに先立ってデインターリービング・ステップを適当な量子化の技法と組み合せて用いることによってこの問題を解決するものである。デインターリービングは、サブサンプリングより可撓性に富んでいる。本発明の方法および装置は、したがって、ウェイブレッツコード化のコード化効率を達成しながら、従来のトランスフォームコード化に比して複雑さがわずかだけ増し、ウェイブレッツコード化に比して複雑さが大きく低減したものである。
【０００７】
本発明は、符号化のプロセスで二つの形のデインターリービングを含む。本発明にもとづけば、固定型または適応型デインターリービング、トランスフォーム（例、ＤＣＴ）、拡張をともなう量子化、およびエントロピー符号化（例、可変長符号化ＶＬＥまたは算術符号化ＡＥ）によって改善されたイントラ・コード化が達成される。本発明に基づけば、コード化に二つの主要なアプローチが存在する。第一のものは、固定型デインターリービングを用い、第二のものは、適応型デインターリービングを用いる。本発明によって、固定型デインターリービングのアプローチを用いて高いコード化効率を達成する簡単なトランスフォームコード化法を用いるか、あるいは適応型デインターリービングのアプローチにもとづいてそれよりややすぐれた結果を産み出すわずかに複雑な方法を用いることが可能となった。ただし、これらのアプローチのいずれも、ウェイブレッツコード化よりは複雑でなく、しかも同じまたはほぼ同じコード化効率を達成することができる。
【発明を実施するための最良の形態】
【０００８】
本発明の効果的な実施形態にもとづけば、各アプローチごとに二つのバリエーションが存在する。一つは、動き／テクスチャ部分のそれぞれに対して分離してＭＰＥＧ−４検定モデル（ＶＭ）（グローバルトランスフォーム）コード化するものであり、もう一つは、動き／テクスチャを組み合わせてＶＭ（局部トランスフォーム）コード化するものである。
【０００９】
本発明にもとづけば、トランスフォームコード化の枠組みの中でイントラ・コード化の効率を有意に改善することが可能である。本発明は、ＭＰＥＧ−４で使用するために考案されたものである。ＭＰＥＧ−１／２ビデオ・コード化にあっては、しばしば、Ｉ−画像と呼ばれるそれ自体でコード化された画像のため、あるいは予測可能にコード化された画像（Ｐ−画像またはＢ−画像）のイントラ・マクロブロックのためにイントラ・コード化が用いられる。ＭＰＥＧ−４にあっては、画像またはマクロブロックの他に、ビデオ・オブジェクト（ＶＯ）およびビデオ・オブジェクト・プレーン（ＶＯＰｓ）のコンセプトが導入される。
【００１０】
ＭＰＥＧ−４コード化では、画面がある数のビデオ・オブジェクトに仕切られることができ、これらのビデオ・オブジェクトは、各々を独立してコード化することができる。ＶＯＰは、ビデオ・オブジェクトの時間的スナップショットである。実際、画像は、そこで形状が直方形のＶＯＰの特殊なケースとなる。
【００１１】
ＭＰＥＧ−４コード化は、また、それぞれＩ−画像、Ｐ−画像、およびＢ−画像の一般化であるＩ−ＶＯＰｓ、Ｐ−ＶＯＰｓ、およびＢ−ＶＯＰｓなど異なる種類のＶＯＰｓのコード化を含む。すなわち、Ｉ−画像のコード化およびイントラ・マクロブロックに加えて、本発明は、形状が直方形および任意のＩ−ＶＯＰｓのコード化のためにも使用することができる。
【００１２】
本発明が扱う主な機能分野は、Ｉ−ＶＯＰｓのコード化効率であるが、このアプローチは、Ｐ−ＶＯＰｓおよびＢ−ＶＯＰｓのコード化にも拡張することができる。本発明によって間接的に得られる付加的な機能分野は、空間的スケーラビリティである。
【００１３】
本発明は、デインターリービングおよび拡張量子化を加えたＤＣＴコード化の枠組みを維持しながら、イントラ・コード化の効率を有意に改善することができる（１．５以上の因子によって）。一般に、イントラ・コード化の効率は、ＤＣ係数の予測をさらに改善し、またＡＣ係数の予測および走査の適応を組み込むことによって若干は改善されるが、これらの手法をすべて組み合わせたとしても、本発明の改善の可能性と比較すればこれらの改善は小さい。
【実施例】
【００１４】
ＭＰＥＧ−４におけるＩ−ＶＯＰｓコード化に関して、図１は、本発明に基づくグローバルデインターリーブドトランスフォーム（ＧＤＴ）コード化の基本エンコーダ１０のブロック線図を示す。デインターリーバ１１への入力では、映像は、画素形式であり、各画素は、デジタル値であるルミナンス、クロミナンス、および彩度の三構成成分によってあらわされる。これらのデジタル値は、デインターリーバ１１内へ送られ、デインターリーバ１１は、映像内の隣接するサンプルを分離する。換言すれば、デインターリーバ１１は、画素セットを多数の画素サブセットに分離するが、非隣接画素からサブセットを生成することによってそれを行なう。そのためには、使用される分離パターンの明細が必要である。各サブセットは、いくつかのデジタル・サンプルを含んでいるが、あたえられたサブセット内のサンプルは、元画像の中では互いに隣接していない。
【００１５】
トランスフォーム操作１２によって各サブセットの中のデジタルの画素値がトランスフォーム係数にトランスフォームされ、エネルギーのほとんどは、わずかな係数にパックされる。コード化ステップでは、例えば、離散コサイントランスフォーム（ＤＣＴ）を使用することができる。
【００１６】
なお、他の公知のトランスフォームの手法も使用することができる。
【００１７】
トランスフォーマ１２は、デインターリーバ１１から画素のサブセットを受け取る。各サブセットは、いくつかの画素を含み、各画素は、ルミナンス、クロミナンス、および彩度、または等価の色のシステムによってあらわされる。トランスフォーマ１２は、次に、各サブセット内の値の空間周波数成分を表す係数を出力する。この時点では、真の圧縮はないが、ＤＣＴトランスフォームによってデータが分類され、これによってＤＣＴは、有意にデータを減少させるように処理を行なう。ＤＣＴトランスフォームは、サブセット内の情報を比較的低い空間周波数で定義し、比較的高い空間周波数の多くはゼロとなり、その結果、後に圧縮が行なわれる。トランスフォーマ１２の出力は、係数のブロックであり、デインターリービング・プロセス１１によって生成される各サブセットに一つのブロックが割り当てられる。
【００１８】
クゥアントＸプロセス１３は、通常の量子化プラス・コード化効率を改善するための若干の拡張を含み、エントロピー・エンコーダ１４のためのデータを用意する。これは、以下で、三つの異なるクゥアントＸプロセス１３を示して詳細に説明する。クゥアントＸプロセス１３の出力は、ビットのブロックで、デインターリービング・プロセス１１で生成される各サブセットに一つのビットが割り当てられる。
【００１９】
クゥアントＸプロセス１３の後に符号化のプロセス１４がつづく。この場合には、エントロピー符号化が用いられる。どのような形のエントロピー符号化でもよい。可変長符号化（ＶＬＥ）は、エントロピー符号化の一例である。算術符号化（ＡＥ）は、他の一例である。エントロピー・エンコーダ１４によって生成された符号化されたビットストリームは、保存または伝送することができる。
【００２０】
他の公知のエントロピー符号化も使用することができる。
【００２１】
図２は、図１に示すエンコーダ１０に対応するデコーダ２０を示す。Ｉ−ＶＯＰｓのグローバルデインターリーブドＤＣＴエンコード化は、エントロピー・デコーダ２１、逆量子化２２、逆トランスフォーム２３、およびリインターリーバ２４を含む。エントロピー・デコーダ２１は、コードワードを逆転させて係数データへ戻す。逆量子化２２は、量子化１３の逆操作に加えてエンコーダ１０で行なわれた若干の拡張を行なう。逆トランスフォーム２３は、トランスフォーム１２の逆操作を行ない、リインターリーバ２４は、デインターリーバ１１の逆を行なう。
【００２２】
コード化されたビットストリームは、エントロピー・デコーダ２１内へ送られる。エントロピー・デコーダ２１は、エントロピー・エンコーダ１４への入力と同様なデータのブロックを出力する。コード化側で行なわれたデインターリービング１１のために、このデータのブロックは、デインターリーバ１１によって生成されたサブセットに対応するブロックにサブ分類される。エントロピー・デコーダ２１は、インバース・クゥアントＸ２２へこのデータのブロックを出力する。
【００２３】
以下では、インバース・クゥアントＸ２２を詳細に説明するが、行なわれるコード化のプロセスに応じて三つの異なるプロセスが示されている。インバース・クゥアントＸ２２は、その出力を逆トランスフォーム２３へ送る。インバース・クゥアントＸ２２の出力は、係数のブロックであり、それらは、デインターリービング・プロセス１１によって生成されるサブセットにもとづいてサブ分類される。
【００２４】
逆トランスフォーム２３は、次に、係数の各サブブロックに逆トランスフォーム操作を行ない、それを画素サブセットのサブブロックに変換する。これらのサブブロックは、リインターリーバ２４は、次に、画素が現われた元の順序を復元する。
【００２５】
図３は、ＬＤＴコード化の基本エンコーダ３０のブロック線図を示す。図１と比較して主な相違点は、デインターリービングに先立って、入力ＶＯＰまたは画像が局部領域に分割されることである。これらの領域は、正方形（ブロック）とすることもあるいは任意の形状とすることもできる。このようなセグメンテーションによって、トランスフォームの大きさおよびクゥアントＸに関係するコード化の詳細が変わる可能性がある。
【００２６】
画素形式の映像は、局部領域セグメンタ３１へ送られる。セグメンタ３１は、分割された映像信号をデインターリーバ３２へ出力する。この場合、局部領域セグメンタ３１は、隣接する画素のサブセットを生成する。次に、デインターリービング・ステップ３２で、これらのサブセットがさらに仕切られ、その結果得られる仕切られたサブセットは、各々が非隣接画素を含んでいる。
【００２７】
残りのプロセスは、図１と同じである。デインターリーバ３２は、その出力をトランスフォーマ３３へ送り、トランスフォーマ３３は、その出力をクゥアントＸ３４へ送る。クゥアントＸ３４は、その出力をエントロピー・エンコーダ３５へ送り、エントロピー・エンコーダ３５は、コード化されたビットストリームを出力する。
【００２８】
図４は、図３に示すエンコーダ３０に対応するデコーダ４０を示す。図２に示すＧＤＴデコーダとの主な相違点は、復号プロセスの終わりに局部領域アセンブラ４５（例、ブロック・アンフォーマッタ）が付加されていることである。局部領域アセンブラ４５は、局部領域セグメンタ３１の逆操作を行なう。ＬＤＴデコーダ４０は、エントロピー・デコーダ４１、逆量子化４２、逆トランスフォーム４３、リインターリーバ４４、および局部領域アセンブラ４５を含む。
【００２９】
図４に示すプロセスは、その各ステップが図２と異なって仕切られたサブセット上で行なわれる以外、図２に示すプロセスと同じである。例えば、符号化されたビットは、エントロピー・デコーダ４１内へ送られる。これらのビットは、符号化のプロセス３０で生成された局部領域によって順序づけされる。すなわち、各ステップは、各局部領域グループ上で個別に行なわれる。次に、デコーダ４１は、ビットのブロックのグループをクゥアントＸ４２へ出力し、クゥアントＸ４２は、逆トランスフォームプロセス４３のために必要な係数のブロックのグループを生成する。逆トランスフォームプロセス４３は、次に、画素のグループをリインターリーバ４４へ出力し、リインターリーバ４４は、各グループ内の画素をリインターリーブする。したがって、リインターリーバ４４の出力は、局部領域セグメンタによって生成された局部領域である。この場合のデコーデング・プロセス４０は、各局部領域で個別に行なわれることがわかろう。このデコーデング・プロセス４０の終わりで、局部領域は、局部領域アセンブラ４５によってアセンブルされ、画素映像が分割された局部領域３１に示されるとき、それが復元される。
【００３０】
以下、このプロセスの中のいくつかのステップをより詳細に説明する。これらのステップには、デインターリービングおよびクゥアントＸが含まれる。
【００３１】
デインターリービング
デインターリービングは、入力画像（または領域）をサブ画像（またはサブ領域）に分離して、入力画像（または領域）内の隣接するサンプルを異なるサブ画像（またはサブ領域）に割り当てられるようにするプロセスである。したがって、その結果得られるサブ領域またはサブ画像は、元の画像では隣接していないサンプルを含んでいる。
【００３２】
図５は、水平および垂直の両方向に２の係数で領域をデインターリービングする簡単な例を示す。画素（ｏ、ｘ、＋、−）で構成される元の画像５１は、４つのサブ画像５２−５５にデインターリーブされる。第１横列（ｏ、ｘ、ｏ、ｘ、ｏ、ｘ）の一つおきの素子が、サブ画像の第１横列５２（ｏ、ｏ、ｏ）とサブ画像の第２横列５３（ｘ、ｘ、ｘ）に割り当てられる。残る奇数横列の場合も同じである。偶数横列は、それぞれ第３および４のサブ画像（＋、＋、＋）および（−、−、−）に割り当てられ、やはり分割される。基本的に、各画素（Ｐij）は、サブ画像k,m に割り当てられる。ただし、ｋ＝ｍｏｄ（ｉ／ｎ）およびｍ＝ｍｏｄ（ｊ／ｎ）で、そのサブ画像のｐr,s となる。ただし、ｒ＝（ｉ−ｋ）／ｎおよびｓ＝（ｊ−ｍ）／ｎである。
【００３３】
例えば、図５でｎ＝２とすると、素子５６（すなわち、ｐ23）がサブ画像０１（素子５３）に割り当てられることがわかる。すなわち、ｋ＝ｍｏｄ（２／２）＝０およびｍ＝ｍｏｄ（３／２）＝１である。サブ画像０１（素子５３）を調べると、素子５７は、そのサブ画像の画素１１としてあらわれ、ｒ＝（ｉ−ｋ）／ｎ＝（２−０）／２＝１およびｓ＝（ｊ−ｍ）／ｎ＝（３−１）／２＝１であることがわかる。
【００３４】
この例では、ＧＤＴコード化で、ＱＣＩＦ入力解像度（１７６×１４４）ではデインターリービング係数が８：１に固定されている。この解像度に関して、図６は、サブ画像の８×８のアレー、６３、を示している。水平および垂直方向での８：１のデインターリービングをルミナンス信号に適応する結果、各サブ画像６２は、大きさが２２×１８である。また、各クロミナンス成分は、４：１の係数でデインターリーブされ、その結果、各々の大きさが２２×１８のサブ画像の４×４のアレーが得られる。
【００３５】
他方、ＬＤＴコード化では、デインターリービング係数は、ＱＣＩＦ入力解像度では４：１に固定される。図７は、水平および垂直方向での４：１のデインターリービングをルミナンス信号の３２×３２領域に適応した結果得られる、各々の大きさが８×８のサブ画像７２の４×４のアレー７３を示す。この場合には、各クロミナンス成分は、２：１の係数でデインターリーブされ、その結果、各々の大きさが８×８のサブ領域の２×２のアレーが得られる。
【００３６】
ＤＣＴ
デインターリーブされたサブ画像あるいはサブ領域には二次元ＤＣＴが適用される。ＱＣＩＦ解像度でのＧＤＴコード化では、ＤＣＴの大きさは、ルミナンス成分およびクロミナンス成分ともに２２×１８に選ばれる。ＱＣＩＦ解像度でのＬＤＴコード化では、ＬＤＴの大きさは、ルミナンス成分およびクロミナンス成分ともに８×８に選ばれる。
【００３７】
クゥアントＸの選択
通常のスカラー量子化は、トランスフォームコード化がデインターリーブされたデータ上で行なわれる事実を考慮して修正する必要がある。量子化の後でも、実験の係数予測は、デインターリーブされた隣接のサブ画像（サブ領域）の係数の間の相関が高いため、コード化効率を高めるためにより効果的である。他のアプローチとしては、同じスペクトル周波数の係数のベクトルを形成してこの相関を利用し、それらのベクトル（ブロック）上でＤＣＴコード化を行なうものがある。最後に、さらに他のアプローチとして、ベクトルの量子化すなわち格子ベクトル量子化（ＬＶＱ）と呼ばれる特殊なバリエーションを使用するものがある。これは、ＭＰＥＧ−４で現在検討されている。これらの各種のアプローチは、ここでは、クゥアントＸと呼ぶが、性能と複雑さの関係でそれぞれに異なる長所と短所があり、用途に応じて選ぶことができる。
【００３８】
クゥアントＸメソッド１： 量子化およびＤＣＴ係数予測
図８を参照してこの方法を説明する。クゥアントＸ８０への信号入力はクゥアンタイザ８１によって受け取られる。クゥアンタイザ８１の出力は分割される。一つの通路は、ＤＣ＆ＡＣ係数予測器８２へ通じ、他の通路は、減算器８３の一つの入力へ通じている。ＤＣ＆ＡＣ係数予測器８２の出力は、減算器８３の他の入力に接続されている。ＤＣ＆ＡＣ係数予測器８２の出力がクゥアンタイザ８１の出力から減算され、例えばジグザグ・スキャナーなどのスキャナー８４へ送られる。
【００３９】
ＧＤＴコード化では、大きさが２２×１８のＤＣＴ係数サブ画像が通常のスカラー量子化で量子化され、次に前に量子化された係数サブ画像にもとづいて係数サブ画像が予測され、係数差のサブ画像が形成される。ＬＤＴコード化では、大きさが８×８のＤＣＴ係数サブ画像上でほぼ同様な操作が行なわれる。差係数が走査され（例、ジグザグ走査され）て事象を形成（ラン、レベル）する。
【００４０】
図９は、図８に示したクゥアントＸの逆操作を示す。逆クゥアントＸ９０への信号入力は逆スキャナー９１によって受け取られる。逆スキャナー９１の出力は、加算器９２の一つの入力へ送られる。加算器９２の第二の入力は、ＤＣ＆ＡＣ係数予測器９３の出力に接続されている。ＤＣ＆ＡＣ係数予測器９３は、加算器９２の出力からその入力を受け取る。加算器９２の出力は、逆クゥアンタイザ９４へ送られ、のぞむ信号が出力される。
【００４１】
図１０は、量子化されたＤＣ係数予測のための仕組みを示す。ＧＤＴコード化では、左端のサブ領域（サブ画像）のＤＣ予測が１２８に選択され、ＬＤＴコード化では、１ビットのオーバーヘッドを用いて、水平および垂直方向に隣接するサブ領域（サブ画像）のＤＣ値の間の選択が行なわれる。第１横列の残るサブ領域に関しては、第１横列の前のサブ領域（サブ画像）がＤＣ予測に使用される。第２横列の最初のサブ領域（サブ画像）に関しては、上のサブ領域（サブ画像）からＤＣ予測がとられる。この横列の他のすべてのサブ領域（サブ画像）には、オーバーヘッドを用いずに水平および垂直方向に隣接するサブ領域（サブ画像）のＤＣ値を選択してグラハムの予測器を適応させて使用する。その後の横列に関しては、第２横列の予測のプロセスが繰り返して用いられる。
【００４２】
ＡＣ係数予測がどのように行なわれるかを説明する。図１１は、用いられるＡＣ係数予測構造の例を示す。８×８サブ領域のＬＤＴコード化の場合には、サブ領域に関して２横列と２行のＡＣ係数予測を用いることができる。ＬＤＴコード化でサブ領域の大きさがそれより大きい場合あるいはＧＤＴコード化で画像がそれより大きい場合には、より多くのＡＣ係数を予測することができる。予測される係数の数および構造は異なる場合があるが、予測の基本原理は同じである。
【００４３】
領域（画像）の左端のサブ領域（サブ画像）に関しては、ＡＣ係数予測は０にリセットされる。サブ領域の第１横列のその後のサブ領域（サブ画像）に関しては、Ｌ−字形の強調した区域（ＤＣ係数のない）がサブ領域（サブ画像）から予測される。サブ領域の第２横列の最初のサブ領域に関しては、すぐ上のサブ領域から同じＬ−字形の区域が予測される。第２横列のその後のサブ領域は、前のサブ領域から係数の最初の２行と上のサブ領域から最初の２横列を用いて予測される。１係数（ＡＣ１１）の重複が一つあるが、これは、この係数の二つの予測の選択肢を平均して単一の予測係数を生成することで解消される。その後の横列に関しては、第２横列の予測のプロセスが繰り返して用いられる。
【００４４】
さらに、（オーバーヘッドを用いまたは用いずに）適応性予測プロセスを用いることもできる。
【００４５】
ＧＤＴコード化での２２×１８の大きさの差係数サブ画像およびＬＤＴコード化での８×８の大きさのサブブロックは、ジグザグ走査されて事象を形成（ラン、レベル）する。
【００４６】
クゥアントＸメソッド２：ＤＣＴ係数ベクトルのＤＣＴの量子化
図１２は、このクゥアントＸの方法に用いられる操作を示す。ＱＣＩＦ画像のＧＤＴコード化では、２２×１８の大きさのＤＣＴ係数サブ画像が小さい量子化レベル（Ｑｐ＝２または３）で予備量子化されて、そのダイナミックレンジを下げ、次に、（ルミナンスでは８×８の大きさ、クロミナンスでは４×４の大きさの）ベクトルが、すべてのサブ画像を通じて同じ周波数のすべての係数を集めて生成され、ＤＣＴされ、量子化される。３２×３２の大きさの領域のＬＤＴコード化では、ほぼ同様な操作が行なわれて（ルミナンスでは４×４の大きさ、クロミナンスでは２×２の大きさの）係数ベクトルが得られ、これらのベクトルがＤＣＴされ、量子化される。ＧＤＴコード化では、ルミナンスでは８×８の大きさ、クロミナンスでは４×４の大きさの量子化されたＤＣＴ係数ベクトルがジグザグ走査されて事象を形成（ラン、レベル）する。
【００４７】
図１２を参照して、クゥアントＸ１２０は、プレクゥアンタイザ１２１、ベクトル・フォーマッタ１２２、トランスフォーム１２３、クゥアンタイザ１２４、およびスキャナー１２５を含む。プレクゥアンタイザ１２１は、クゥアントＸ１２０への信号入力を受け、その信号をベクトル・フォーマッタ１２２へ出力する。ベクトル・フォーマッタは、その出力をトランスフォーム１２３へ送る。トランスフォーム１２３は、その出力をクゥアンタイザ１２４へ送り、クゥアンタイザ１２４は、その出力をスキャナー１２５へ送る。スキャナーは、その信号をクゥアントＸ１２０の出力として出力する。
【００４８】
図１３は、図１２に示したクゥアントＸ１２０の逆走査１３０を示す。逆クゥアントＸ１３０の入力は、逆走査１３１へ送られ、逆走査１３１は、その出力を逆クゥアンタイザ１３２へ送り、逆クゥアンタイザ１３２は、その出力を逆トランスフォーム１３３へ送る。ベクトル・アンフォーマッタ１３４は、逆トランスフォーム１３３から出力を受け取り、その信号を逆プレクゥアンタイザ１３５へ出力し、逆プレクゥアンタイザ１３５の出力は、逆クゥアントＸ１３０の出力を表す。
【００４９】
クゥアントＸメソッド３：ＤＣＴ係数ベクトルの格子ベクトル量子化
図１４は、このクゥアントＸの方法で用いられる操作を示す。クゥアントＸ１４０へに信号入力は、ベクトル・フォーマッタ１４１によって受け取られ、その出力は、縮尺器１４２へ送られ、縮尺器１４２は、その出力をベクトル・クゥアンタイザ１４３へ送る。ベクトル・クゥアンタイザ１４３は、その出力をベクトル量子化指数順序づけ器１４４へ送り、順序づけ器１４４の出力がクゥアントＸ１４０の出力となる。
【００５０】
２２×１８の大きさのＤＣＴ係数サブ画像を用いるＱＣＩＦ画像のＧＤＴコード化では、すべてのサブ画像を通じて同じ周波数のすべての係数を集めて（ルミナンスでは８×８の大きさ、クロミナンスでは４×４の大きさの）ベクトルが生成される。これらのベクトルは、ＬＶＱによって量子化される。３２×３２の領域の大きさのＬＤＴコード化では、これとほぼ同じ操作が行なわれて（ルミナンスでは４×４の大きさ、クロミナンスでは２×２の大きさの）係数ベクトルが得られる。これらのベクトルも、やはりＬＶＱによって量子化される。ＶＱは、管理可能な大きさの（あるいはＬＶＱでは、管理可能な複雑さの）コードブックを必要とする場合が多いので、これらのベクトルもやはりＬＶＱによって量子化される。ベクトルの縮尺が必要な場合があり、その場合には縮尺器によって行なわれるが、これは、係数のベクトルをサブベクトルに分割するだけの簡単な操作である場合と、より複雑な操作である場合がある。ＬＶＱのプロセスは、文献に説明されており、ここでは説明しない。ただし、簡単に述べると、最初に１６の大きさのＬＶＱが試行され、その結果閾値より大きいエラーが生成されると、４の大きさのＬＶＱが試行される。また、ＬＶＱの後、効率を高めるために全画像または領域のＬＶＱ指数が順序づけすることもできる。このプロセスは、ＶＱ指数順序づけ器の中で行なわれる。
【００５１】
図１５は、図１４に示すクゥアントＸ１４０の逆操作を示す図である。逆クゥアントＸ１５０の入力は、ベクトル量子化指数再順序づけ器１５１へ送られ、逆順序づけ器１５１はその出力を逆ベクトル・クゥアンタイザ１５２へ送り、逆ベクトル・クゥアンタイザ１５２は、その出力を復尺器１５３へ送る。ベクトル・アンフォーマッタ１５４は、復尺器１５３からその出力を受け、自らの信号を逆クゥアントＸ１５０の出力として出力する。クゥアントＸ１４０の場合と同様に、逆クゥアントＸ１５０では、まず１６のＬＶＱが試行される。その結果閾値より高いエラーが生成されれば、４の大きさのＬＶＱが試行される。ＬＶＱの仕様は、ＭＰＥＧ−４のトライアルの実験Ｔ．５のものと同じである。
【００５２】
エントロピー・コーディング
次に、係数（ラン、レベル）事象のためのＶＬコード化およびデコーディングについて説明する。これらの事象は、より高い効率を得るために統計的変動を用いてコード化される。
【００５３】
ＧＤＴコード化において、拡張クゥアントＸメソッド１が用いられる場合には、最大３９６のランが可能であり、少なくとも±２５５のレベルがサポートされる必要がある。ルミナンスのラン／レベル事象のコード化に関しては、ピュリ、シュミット、およびハスケルのアメリカ合衆国特許出願第０８／８１３，２１８号「映像コード化およびビデオのイントラ・コード化のための適応型および予測型コード化」のイントラＶＬＣテーブルを使用する。アメリカ合衆国特許出願第０８／８１３，２１８号は、参考資料として添付し、ここにその全体を説明したものとする。ただし、このテーブルは、６４の最大ランと±１２８のレベル（ＭＰＥＧ−４ＶＭと同じ）だけをサポートするものなので、レベルに関しては余分な１ビットをまたランに関しては余分な３ビットを付加してこの領域の外側まで拡張し、２５ビットまで使用するようにする。クロミナンスのラン／レベル事象のコード化に関して、使用されるＶＣＬテーブルは、レベルに関しては余分な１ビットをまたランに関しては余分な３ビットを付加して現在サポートされている領域の外側まで出るようにし、２６ビットまで使用するようにして、３９６の最大ランと±２５５のレベルをサポートするように拡張したＶＭで使用されるものと同じである。ＬＤＴコード化の場合には、サブ領域の大きさが８×８であるので、ルミナンスには参考資料として添付して上に述べた既特許出願のＶＬＣテーブルを用い、クロミナンスにはＶＭのＶＬＣテーブルを用いる。これらのテーブルは、ともに拡張を必要としない。
【００５４】
ＧＤＴコード化で拡張量子化クゥアントＸメソッド２が用いられる場合には、ベクトルの大きさが８×８であるので、ルミナンスには参考資料として添付した特許出願のＶＬＣテーブルを用い、クロミナンスにはＶＭのＶＬＣテーブルを用いる。これらのテーブルは、ともに拡張を必要としない。ＬＤＴコード化の場合には、最大ランがルミナンスでは１５でクロミナンスでは３であるので、この場合には、添付した特許出願のサブセットである新しいテーブルが用いられる。
【００５５】
拡張量子化クゥアントＸメソッド３が用いられる場合には、使用されるＶＬＣテーブルは、ＭＰＥＧ−４のコア実験Ｔ５で利用されまた一般に利用可能なテーブルに基づくものとなる。
【００５６】
適応型デインターリーブドトランスフォームコード化
適応型グローバルデインターリーブドトランスフォーム（ＡＧＤＴ）エンコーダ１６０のブロック線図を示す図１６のコード化構造を用いれば、ＤＴコード化をさらに改善することが可能である。図１との主な相違点は、デインターリーバに先立って全画像またはＶＯＰベースでクゥアドツリー・セグメンタを用いたクゥアドツリー・セグメンテーションが採用され、それが、固定型セグメンテーションではなく適応型セグメンテーションであることである。したがって、デインターリービングは、グローバルクゥアドツリー・セグメンタによってデインターリービングに値すると識別された部分にのみデインターリービングが行なわれ、その他の部分は、デインターリービングなしにコード化される。他のブロックの操作は、固定型ＧＤＴに関して説明したと同様である。
【００５７】
図１６を参照して、映像は、グローバルクゥアドツリー・セグメンタ１６１へ送られ、その出力は、デインターリーバ１６２へ送られ、後者の出力は、トランスフォーム１６３へ送られる。クゥアントＸ１６４は、トランスフォーム１６３から出力を受け、出力をエントロピー・エンコーダ１６５へ送る。エンコーダ１６５はコード化されたビットストリームを出力する。
【００５８】
図１７は、図１６に示すＡＧＤＴエンコーダ１６０に対応するＡＧＤＴデコーダ１７０のブロック線図を示す。コード化されたビットストリームは、エントロピー・デコーダ１７１へ送られ、その出力は、逆クゥアントＸ１７２へ送られ、後者の出力は、逆トランスフォーム１７３へ送られる。リインターリーバ１７４は、逆トランスフォーム１７３から出力を受け取り、その出力をグローバルクゥアドツリー・アセンブラ１７５へ送り、アセンブラ１７５は、復元された映像を出力する。
【００５９】
図１８は、適応型局部デインターリーブドトランスフォーム（ＡＬＤＴ）エンコーダ１８０のブロック線図を示す。図１６との主な相違点は、クゥアドツリーセグメンテーションが全画像あるいはＶＯＰではなく局部的に（領域に）適用されることである。次に、局部クゥアドツリー・セグメンタによってデインターリービングに値すると識別された領域にデインターリービングが行なわれる。他のブロックは、上に述べたものと同様である。
【００６０】
映像信号は、局部クゥアドツリー・セグメンタ１８１へ入力され、その出力は、デインターリーバ１８２へ送られ、後者の出力は、トランスフォーム１８３へ送られる。クゥアントＸ１８４は、トランスフォーム１８３から出力を受け取り、その出力をエントロピー・エンコーダ１８５へ送る。エンコーダ１８５は、コード化されたビットストリームを出力する。
【００６１】
図１９は、図１８のエンコーダに対応するＡＬＤＴデコーダ１９０を示す。コード化されたビットは、エントロピー・デコーダ１９１へ送られ、その出力は、逆クゥアントＸ１９２へ送られる、後者の出力は、逆トランスフォーム１９３へ送られる。逆トランスフォーム１９３は、その出力をリインターリーバ１９４へ送る。局部クゥアドツリー・アセンブラ１９５は、リインターリーバ１９４の出力を受け取り、復元された映像を出力する。
【００６２】
クゥアドツリー・セグメンタ
図１６および図１８に示すように、デインターリービングの量をコード化されている画像の空間的内容に適応させるために、デインターリービングに先立ってクゥアドツリー・セグメンテーションが用いられる。
【００６３】
図２０は、用いられるクゥアドツリー・セグメンテーションの例を示す。ＧＤおよびＬＤＴの双方で、この種のセグメンテーションが用いられる。その唯一の違いは、用いられるレベルの数である。ＧＤＴでは、 レベルのセグメンテーションが用いられ、ＬＤＴでは、レベルのセグメンテーションが用いられる。
【００６４】
図２０に示すように、画像ブロック２００がサブブロック２０２−２０５に分割される。次に、サブブロック２０３が、さらにセクション２０６−２０９に仕切られる。残りのブロックは分割されず、このプロセスは必要なブロックのみを分割することを示している。
【００６５】
ＭＰＥＧ−４に関するシンタックス（Ｓｙｎｔａｘ）およびシマンティックス（ＳｅｍａｎＴｉｃｓ）
本発明を用いてコード化されたビットストリームを生成するために必要なシンタックスおよびそのシマンティックスについて説明する。以下で用いる各種のクラスは、ＭＰＥＧ−４ＶＭ３．２の現行のシンタックスに対応する。
【００６６】
ビデオセッション・クラス
このクラスにはいかなる変更も行なう必要がない。
【００６７】
ビデオオブジェクト・クラス
このクラスにはいかなる変更も行なう必要がない。
【００６８】
ビデオオブジェクト・レーヤー・クラス
このクラスにはいかなる変更も行なう必要がない。
【００６９】
ビデオオブジェクト・プレーン・クラス
このクラスには、二つの新しいシンタックス要素が導入される。
【００７０】
：
：
ｒｅｇｉｏｎ  ｓｉｚｅ（領域  大きさ）
ｄｅｉｎｔｅｒｌｅａｖｅ ｒａｔｉｏ（デインターリーブ  比）
：
：
これらのシンタックス要素は、次のように定義される。
【００７１】
ｒｅｇｉｏｎ ｓｉｚｅ（領域  大きさ）
これは、コード化に先立ってデインターリービングが行なわれる領域の大きさを指定する３−ビットのコードである。各コードごとの領域の大きさを下の表１に示す。
【００７２】
（表１）
コード  意味
０００  １６×１６
００１  ３２×３２
０１０  ６４×６４
０１１  １２８×１２８
１００  保留
１０１  保留
１１０  保留
１１１  全画像
ｄｅｉｎｔｅｒｌｅａｖｅ ｒａｔｉｏ（デインターリーブ 比）
これは、コード化に先立って識別された領域で行なわれるデインターリービングの量を指定する３−ビットのコードである。水平および垂直ともに同じデインターリービング比が用いられる。各コードごとのデインターリービングの量を下の表２に示す。
【００７３】
（表２）
コード  意味
０００  １：１
００１  ２：１
０１０  ４：１
０１１  ８：１
１００  １６：１
１０１  保留
１１０  保留
１１１  保留
領域クラス
各領域に関するデータは、領域ヘッダの後にサブ領域データが付いたもので構成される。
【００７４】
（表３）
Ｒｔｙｐｅ  Ｒｑｕａｎｔ  Ｓｕｂｒｅｇｉｏｎ  ｄａｔａ
Ｒｑｕａｎｔ
Ｒｑｕａｎｔは、１から３１間での間の非線形値をとる３−ビットのクゥアンタイザである。表４にその意味を示す。
【００７５】
（表４）
コード  Ｑｐ
０００  ２
００１  ４３
０１０  ７
０１１  １０
１００  １４
１０１  １８
１１０  ２３
１１１  ２８
サブ領域・クラス
サブ領域データの定義は、用いられるクゥアントＸメソッドに依存し、以下のように指定される。
【００７６】
クゥアントＸメソッド１：
（表５）
Ｃｏｄ  ｓｕｂｒｅｇ    Ｔｃｏｅｆｓ  ｓｕｂｒｅｇ
クゥアントＸメソッド１に関するサブ領域・クラスの構造
Ｃｏｄ  ｓｕｂｒｅｇ
Ｃｏｄ  ｓｕｂｒｅｇは、そのサブ領域に関するなんらかのコード化されたデータ（ゼロでない値）が存在するか否かを識別する１−ビットのフラッグである。
【００７７】
Ｔｃｏｅｆｓ ｓｕｂｒｅｇ
Ｔｃｏｅｆｓ ｓｕｂｒｅｇは、ストリームの微分量子化係数である。
【００７８】
クゥアントＸメソッド２：
（表６）
Ｃｏｄ  ｖｅｃｔｏｒ    Ｔｃｏｅｆｓ  ｖｅｃｔｏｒ
クゥアントＸメソッド２に関するサブ領域・クラスの構造
Ｃｏｄ ｖｅｃｔｏｒ
Ｃｏｄ ｖｅｃｔｏｒは、そのサブ領域に関するなんらかのコード化されたデータが存在するか否かを識別する１−ビットのフラッグである。
【００７９】
Ｔｃｏｅｆｓ  ｖｅｃｔｏｒ
Ｔｃｏｅｆｓ  ｖｅｃｔｏｒは、ベクトルの二度量子化された係数をさす。
クゥアントＸメソッド３：
【図面の簡単な説明】
【００８０】
【図１】本発明に基づくグローバルデインターリーブドトランスフォーム（ＧＤＴ）コード化のための基本エンコーダのブロック線図である。
【図２】本発明に基づく図１に示すエンコーダのための対応するデコーダを示す図である。
【図３】本発明に基づく局部デインターリーブドトランスフォーム（ＬＤＴ）コード化の基本エンコーダのブロック線図である。
【図４】本発明に基づく図３に示すエンコーダのための対応するデコーダを示す図である。
【図５】サブ領域を生成するために一つの領域を水平および垂直の両方向に２の係数でデインターリーブする簡単な例を示す図である。
【図６】サブ画像の８×８のアレーを示す図である。その各々は、寸法が２２×１８で、（ＱＣＩＦ）解像度に関してＧＤＴコード化のルミナンス信号へ水平および垂直方向に８：１のデインターリービングを適用することで得られる。
【図７】サブ画像の４×４のアレーを示す図である。その各々は、寸法が８×８で、ＱＣＩＦ解像度に関してＬＤＴコード化のルミナンス信号の３２×３２の領域へへ水平および垂直方向に４：１のデインターリービングを適用することで得られる。
【図８】本発明に基づく拡張量子化の一方法、クゥアントＸメソッド１を示す図である。
【図９】本発明に基づく図８に示す拡張量子化法、クゥアントＸメソッド１の逆操作を示す図である。
【図１０】本発明で用いられる量子化されたＤＣ係数予測の例を示す図である。
【図１１】本発明で用いられるＡＣ係数予測の例を示す図である。
【図１２】本発明に基づく拡張量子化の他の方法、クゥアントＸメソッド２を示す図である。
【図１３】本発明に基づく図１２に示す拡張量子化法、クゥアントＸメソッド２の逆操作を示す図である。
【図１４】本発明に基づく拡張量子化の他の方法、クゥアントＸメソッド３を示す図である。
【図１５】本発明に基づく図１３に示す拡張量子化法、クゥアントＸメソッド３の逆操作を示す図である。
【図１６】本発明で用いられる適応型グローバルデインターリーブドトランスフォーム（ＡＧＤＴ）エンコーダ１５０のブロック線図である。
【図１７】図１６のＡＧＤＴに対応する本発明で用いられるＡＧＤＴデコーダのブロック線図である。
【図１８】本発明で用いられる適応型グローバルデインターリーブドトランスフォーム（ＡＧＤＴ）エンコーダのブロック線図である。
【図１９】図１８のＡＧＤＴに対応する本発明で用いられるＡＧＤＴデコーダのブロック線図である。
【図２０】本発明で用いられるクゥアドツリー・セグメンテーションの例を示す図である。
【符号の説明】
【００８１】
１１  デインターリーバ、１２  トランスフォーム（ＤＣＴ、・・・）、１３  クゥアントＸ、１４  エントロピー・エンコーダ（ＶＬＥ、ＡＥ、・・・）、２１  エントロピー・デコーダ（ＶＬＤ、ＡＤ、・・・）、２２  逆クゥアントＸ、２３  逆トランスフォーム（ＤＣＴ、・・・）、２４  リインターリーバ、３１  局部領域セグメンタ（ブロック、フォーマッタ、・・・）、４５  局部領域アセンブラ（ブロック、アンフォーマッタ、・・・）、８１  クゥアント、８２  ＤＣ＆ＡＣ係数予測器、８４  走査（ジグザグ）、９１  逆走査（ジグザグ）、９４  逆クゥアント、１４４  ＶＱ指数順序づけ器（走査、ツリー、・・・）、１５１  ＶＱ指数再順序づけ器（走査、ツリー、・・・）、１５２  逆ベクトル・クゥアント（ＶＱ、ＬＶＱ、・・・）、１５３  復尺器（組み合せ器、・・・）、１５４  ベクトル・アンフォーマッタ、１６１  グローバルクゥアドツリー・セグメンタ、１７５  グローバルクゥアドツリー・アセンブラ。
【図１】
2008067396.tif 000003
【図２】
2008067396.tif 000004
【図３】
2008067396.tif 000005
【図４】
2008067396.tif 000006
【図５】
2008067396.tif 000007
【図６】
2008067396.tif 000008
【図７】
2008067396.tif 000009
【図８】
2008067396.tif 000010
【図９】
2008067396.tif 000011
【図１０】
2008067396.tif 000012
【図１１】
2008067396.tif 000013
【図１２】
2008067396.tif 000014
【図１３】
2008067396.tif 000015
【図１４】
2008067396.tif 000016
【図１５】
2008067396.tif 000017
【図１６】
2008067396.tif 000018
【図１７】
2008067396.tif 000019
【図１８】
2008067396.tif 000020
【図１９】
2008067396.tif 000021
【図２０】
2008067396.tif 000022