(57)【要約】  符号化されたビデオシーケンスにおける重要度係数を復号するための方法が記載される。符号化されたビデオビットストリームが受信される。該ビットストリームからコードブック表情報が検索される。この検索されたコードブック表情報を使用して、重要度シンボルが復号される。この重要度符号を使用して、重要度係数が復号される。複数の変換係数が逆量子化される。逆変換が残余信号に適用される。複数の表と共に、ビデオシーケンスの中に重要度係数を符号化するための方法もまた記載される。【選択図】    図４
2009531992.tif 000002
【特許請求の範囲】
【請求項１】
ビデオシーケンスにおける重要度係数を符号化するための方法であって：
ビデオシーケンスを受信することと；
該ビデオシーケンスから、現在のフレームにおける元のビデオ信号の予測を構築することと；
該元のビデオ信号の予測を、現フレームにおける元のビデオ信号から差し引くことによって、残余信号を形成することと；
該残余信号に対して変換を適用することと；
複数の変換係数を量子化することと；
複数のコードブックからコードブックを選択することと、
重要度ランおよびブロック終結の少なくとも一つを符号化するために、複数のコードブックから一つのコードブックを選択することと；
該選択されたコードブックを使用して、重要度ランおよびブロック終結の少なくとも一つを符号化すること
を含んでなる方法
【請求項２】
請求項１に記載の方法であって、更に、前記選択されたコードブックを使用してブロック終結を符号化することを含んでなる方法。
【請求項３】
請求項１に記載の方法であって、更に、ビデオスライスと共にコードブック表情報を符号化することを含んでなる方法。
【請求項４】
請求項３に記載の方法であって、前記コードブック表情報はコードブック選択表を含んでなる方法。
【請求項５】
請求項３に記載の方法であって、前記コードブック表情報はコードブック選択表を含んでなり、各エントリーは符号化サイクル数およびＬＥＢＬ（ベース層における最後に符号化された係数）位置の各対に対応する方法。
【請求項６】
請求項３に記載の方法であって、前記コードブック表情報はコードブック選択表を含んでなり、各エントリーは符号化サイクル数のみに対応する方法。
【請求項７】
請求項６に記載の方法であって、更に、前記コードブック選択表を一次元のコードブック選択アレイとして符号化することを含んでなる方法。
【請求項８】
請求項７に記載の方法であって、更に、明示的に符号化される前記コードブック選択表エントリーの数を特定する変数を符号化することを含んでなり、該変数の後にはコードブック選択子が続き、各コードブック選択子は可変長コードを使用して符号化される方法。
【請求項９】
請求項３に記載の方法であって、前記コードブック表情報は、表形状および表寸法を含んでなる方法。
【請求項１０】
請求項９に記載の方法であって、前記表は矩形である方法。
【請求項１１】
請求項９に記載の方法であって、前記表は三角形である方法。
【請求項１２】
請求項１に記載の方法であって、前記コードブック選択表は統計的予測から動的に決定される方法。
【請求項１３】
請求項１に記載の方法であって、前記コードブック選択表は隣接相関から動的に決定される方法。
【請求項１４】
請求項１に記載の方法であって、前記複数のコードブックのうち、一つのコードブックはもう一つのコードブックのシフト版である方法。
【請求項１５】
請求項１に記載の方法であって、更に、
コードブック選択表を剪定縮小して、剪定縮小されたコードブック選択表を提供することと；
該剪定縮小されたコードブック選択表をビデオスライスと共に符号化すること
を含んでなる方法。
【請求項１６】
電子装置であって：
プロセッサと；
該プロセッサと電子的通信状態にあるメモリーと；
該メモリーに保存された命令と
を具備してなり、
前記命令が実行されて、
ビデオシーケンスを受信し；
該ビデオシーケンスから現在のフレームにおける元のビデオ信号の予測を構築し；
該元のビデオ信号の予測を、現在のフレームにおける元のビデオ信号から差し引くことによって残余フレームを形成し；
該残余信号に対して変換を適用し；
複数の変換係数を量子化し；
重要度ランおよびブロック終結の少なくとも一方を符号化するために、複数のコードブックから一つのコードブックを選択し；
該選択されたコードブックを使用して、重要度ランおよびブロック終結の少なくとも一方を符号化するようになっている装置。
【請求項１７】
請求項１６に記載の方法であって、前記命令は更に、コードブック表情報をビデオスライスと共に符号化するように実行可能である方法。
【請求項１８】
請求項１７に記載の方法であって、前記コードブック表情報がコードブック選択表を含んでなる方法。
【請求項１９】
請求項１７に記載の方法であって、前記コードブック表情報が表形状および表寸法を含んでなる方法。
【請求項２０】
請求項１７に記載の方法であって、前記命令は更に、
コードブック選択表を剪定縮小して、剪定縮小されたコードブック選択表を提供し、
該剪定縮小されたコードブック選択表をビデオスライスと共に符号化するように実行可能である方法。
【請求項２１】
符号化されたビデオシーケンスにおける重要度係数を復号するための方法であって：
符号化されたビデオビットストリームを尾受信することと；
該ビットストリームからコードブック表意情報を検索することと；
該検索されたコードブック表情報を使用して、重要度シンボルを復号することと；
該重要度シンボルを使用して、重要度係数を復号することと；
複数の変換係数を逆量子化することと；
残余信号に対して逆変換を低起用することと；
ビデオシーケンスを構築することと
を含んでなる方法。
【請求項２２】
請求項２１に記載の方法であって、更に、スライスからコードブック表情報を復号することを含んでなる方法。
【請求項２３】
請求項２２に記載の方法であって、前記コードブック表情報がコードブック選択表を含んでなる方法。
【請求項２４】
請求項２２に記載の方法であって、前記コードブック表情報が、サイクル数およびＬＥＢＬ（ベース層における最後に符号化された係数）位置をマッピングするコードブック選択表を含んでなる方法。
【請求項２５】
請求項２２に記載の方法であって、前記コードブック表情報が、サイクル数をマッピングするコードブック選択表を含んでなる方法。
【請求項２６】
請求項２２に記載の方法であって、前記コードブック表情報が、表形状および表寸法を含んでなる方法。
【請求項２７】
請求項２６に記載の方法であって、前記表形状が矩形である方法。
【請求項２８】
請求項２６に記載の方法であって、前記表形状が三角形である方法。
【請求項２９】
請求項２１に記載の方法であって、前記コードブック選択表が、統計学的推定から動的に決定される方法。
【請求項３０】
請求項２１に記載の方法であって、前記コードブック選択表が、隣接相関から動的に決定される方法。
【請求項３１】
電子装置であって：
プロセッサと；
該プロセッサと電子的通信状態にあるメモリーと；
該メモリーに保存された命令と
を具備してなり、
前記命令が実行されて、
符号化されたビデオビットストリームを受信し；
該ビットストリームからコードブック表情報を検索し；
該検索されたコードブック表情報を使用して重要度シンボルを復号し；
該重要度シンボルを使用して重要度係数を復号し；
複数の変換係数を逆量子化し；
残余信号に対して逆変換を適用し；
ビデオシーケンスを構築するようになっている装置。
【請求項３２】
ビデオシーケンスにおける重要度係数を符号化するように構成された電子装置であって：該装置は、
処理するための手段と；
ビデオシーケンスを受信するための手段と；
該ビデオシーケンスから現在のフレームにおける元のビデオシーケンスの予測を構築するための手段と；
該元のビデオ信号の予測を、前記現在のフレームにおける元のビデオ信号から差し引くことによって、残余フレームを形成するための手段と；
該残余信号に対して変換を適用するための手段と；
複数の変換係数を量子化するための手段と；
重要度ランおよびブロック終結の少なくとも一方を符号化するために、複数のコードブックから一つのコードブックを選択するための手段と；
選択されたコードブックを使用して、重要度ランおよびブロック終結の少なくとも一方を符号化するための手段
を具備してなる装置。
【発明の詳細な説明】
【関連出願】
【０００１】
本件特許出願は、２００６年３月２７日に提出された「微細粒状度スケーラビリティー（Fine Granularity Scalability）を符号化する重要度係数（significance coefficient）」と題する、本願と共に同一人に譲渡された米国仮出願第６０／７８６，７９８号の優先権を主張するものであり、これを本明細書の一部として本願に援用する。
【技術分野】
【０００２】
本システムおよび方法は、一般にはビデオ処理に関する。より詳細に言えば、本システムおよび方法は、ビデオ圧縮技術に関する情報を符号化および複号することに関する。
【背景】
【０００３】
ビデオ圧縮とは、デジタルビデオデータの圧縮を意味する。ビデオ圧縮は、ビデオファイルフォーマット、並びにビデオフォーマットのストリーミングおよび放送において、ビデオデータの効率的符号化のために使用される。圧縮は、より少ないビットを有するフォーマットへのデータの変換であり、該フォーマットはより効率的に保存または送信され得るものである。圧縮の逆は圧縮解除であり、これは元のデータの複製（または近似）を生じる。
【０００４】
今日、幾つかのビデオ圧縮方法は、時間的または空間的な予測技術を使用して発生される予測残余に残留する空間的冗長性を低減するために、離散コサイン変換（ＤＣＴ）のような一定のタイプの離散変換を適用する。また、幾つかのビデオ圧縮技術は量子化をも含んでいる。量子化は、スカラー量子化またはベクトル量子化の何れかであってよい。量子化の後、量子化された係数は、圧縮されたビデオビットストリームの中に符号化および配置されるエントロピーであってよい。次いで、圧縮されたビットストリームはデコーダに送られ、該デコーダは、該ビットストリームを圧縮解除して元のビデオデータの近似値を復元する。
【０００５】
ビデオ圧縮技術は、種々の形態の媒体の消費者に利益をもたらす可能性がある。例えば、放送エンジニアリングにおいて、デジタルテレビジョンはビデオ圧縮によって実用化され得る。テレビジョン（ＴＶ）局は、同じ物理的チャンネル上で高品位テレビジョン（ＨＤＴＶ）および多重仮想チャンネルを放送することができる。デジタルビデオ放送は、動画像符号化専門家会合（ＭＰＥＧ）標準、例えばＭＰＥＧ−２標準ビデオ圧縮フォーマットを使用してよい。しかし、Ｈ．２６４／ＭＰＥＧ−４およびＶＣ−１が、ビデオ圧縮における新しい標準として出現し始めている。
【０００６】
不幸にも、ビデオ圧縮において情報を符号化するための既知のシステムおよび方法は、種々の欠点を有する。従って、ビデオ圧縮において情報を符号化するための改善されたシステムおよび方法により、恩恵を実現することができる
【詳細な説明】
【０００７】
ビデオシーケンスにおける重要度係数（significance coefficient）を符号化する方法が記述される。ビデオシーケンスが受信される。現フレームにおける元のビデオ信号の予測が、前記ビデオシーケンスから構築される。この元のビデオ信号の予測を現フレームにおける元のビデオ信号から差し引くことによって、残余信号が形成される。該残余信号に対して変換が適用される。複数の変換係数が量子化される。重要度ランおよびブロック終結の少なくとも一つを符号化するために、コードブックが複数のコードブックから選択される。該重要度ランおよびブロック終結の少なくとも一つは、該選択されたコードブックを使用して符号化される。
【０００８】
電子装置もまた開示される。該電子装置は、プロセッサ、および該プロセッサと電子的に通信するメモリーを含んでいる。該メモリーの中には命令が保存される。ビデオシーケンスが受信される。現フレームにおける元のビデオ信号の予測が、当該ビデオシーケンスから構築される。残余信号が、元のビデオ信号の予測を前記現フレームにおける元のビデオ信号から差し引くことによって形成される。該残余信号に変換が適用される。複数の変換係数が量子化される。重要度ラン（significance run）およびブロック終結の少なくとも一つを符号化するために、コードブックが複数のコードブックから選択される。該重要度ランおよびブロック終結の少なくとも一つは、該選択されたコードブックを使用して符号化される。
【０００９】
符号化されたビデオシーケンスにおける重要度係数を複号するための方法が記載される。符号化されたビデオビットストリームが受信される。該ビットストリームからコードブック表情報が検索される。該検索されたコードブック表情報を使用して、重要度シンボルが複号される。複数の変換係数が逆量子化される。逆変換が残余信号に適用される。ビデオシーケンスが構築される。
【００１０】
ブロック終結は、選択されたコードブックを使用して符号化されてよい。該コードブック表情報は、ビデオスライス内に符号化されてよい。該コードブック表情報は、コードブック選択表を含んでよい。該コードブック選択表は、符号化サイクル数およびＬＥＢＬ（ベース層における最後の符号化された係数）位置の各々の対に対応する各エントリーを含んでよい。一つの構成において、該コードブック選択表は、符号化サイクル数にのみ対応する各エントリーを含んでいる。該コードブックセレクタは、可変長コードを使用して符号化される。
【００１１】
コードブック表情報は、表形状および表寸法を含んでいてよい。一つの側面において、表形状は矩形である。追加の側面において、表形状は三角形である。
【００１２】
該コードブック選択表は、統計的推定から動的に決定されてよい。一つの構成において、該コードブック選択表は隣接相関から動的に決定されてよい。該コードブックは、もう一つのコードブックのシフト版であってよい。
【００１３】
コードブック選択表は、剪定縮小された（pruned）コードブック選択表を提供するために剪定縮小されてよい。この剪定縮小されたコードブック選択表は、ビデオスライスと共に符号化されてよい。
【００１４】
電子装置もまた開示される。該電子装置は、プロセッサ、および該プロセッサと電子的に通信状態にあるメモリーを含んでいる。命令は該メモリーに保存される。符号化されたビデオビットストリームが受信される。該ビットストリームからコードブック表情報が検索される。該検索されたコードブック表情報を使用して、重要度シンボルが複号される。該重要度シンボルを使用して、重要度係数が複号される。複数の変換係数が逆量子化される。残余信号に対して逆変換が適用される。ビデオシーケンスが構築される。
【００１５】
一つの構成において、コードブック表情報はスライスから複号されてよい。該コードブック表情報は、コードブック選択表を含んでよい。該コードブック表情報は、サイクル数およびＬＥＢＬ（ベース層における最後の符号化された係数）位置をマッピングするコードブック選択表含んでよい。コードブック表情報は、サイクル数をマッピングするコードブック選択表を含んでよい。
【００１６】
コードブック表情報は、表形状および表寸法を含んでよい。一つの構成において、表形状は矩形である。追加の構成において、表形状は三角形である。
【００１７】
コードブック選択表は、統計的推定から動的に決定されてよい。該コードブック選択表は、隣接相関から動的に決定されてよい。
【００１８】
ビデオシーケンスにおいて、重要度係数を符号化するように構成される電子装置もまた開示される。該電子装置は、ビデオシーケンスを処理するための手段およびビデオシーケンスを受信するための手段を含んでいる。ビデオシーケンスから現フレームにおける元のビデオシーケンスの予測を構築するための手段、および該元のビデオ信号の予測を現フレームにおけるもとのビデオ信号から差引くことによって残余信号を形成するための手段が開示される。該残余信号に変換を適用するための手段、および複数の変換係数を量子化するための手段が開示される。重要度ランおよびブロック終結の少なくとも一つを符号化するために、複数のコードブックからコードブックを選択するための手段、並びに選択されたコードブックを使用して、重要度ランおよびブロック終結の少なくとも一つを符号化するための手段が開示される。
【００１９】
次に、図面を参照して、システムおよび方法の種々の構成を説明するが、ここでは同じ番号は同一の、もしくは機能的に同じ要素を示す。本発明のシステムおよび方法の特徴は、ここで図面に一般的に記載され且つ説明されているように、広範な異なる構成で配置および設計することができる。従って、以下での詳細な説明は、当該システムおよび方法の範囲を制限しようとするものではなく、単に当該システムおよび方法の構成を代表するものに過ぎない。
【００２０】
ここに開示される構成の多くの特徴は、コンピュータソフトウエア、電子ハードウエア、または両者の組合せとして実施されてよい。ハードウエアおよびソフトウエアのこの互換性を明瞭に示すために、種々のコンポーネントについては、それらの機能に関して一般的に説明される。斯かる機能がハードウエアまたはソフトウエアの何れとして実施されるかは、全体のシステムに課される特定の応用および設計上の制限に依存する。当業者は、各特定の応用について説明された機能を種々の方法で実施してよいが、斯かる実施の決定は、本システムおよび方法の範囲からの逸脱を生じるものと解釈されるべきではない。
【００２１】
記述された機能がコンピュータソフトウエアとして実施される場合、斯かるソフトウエアは、メモリー装置内に位置し、および／またはシステムバスもしくはネットワーク上の電子信号として送信される何れかのタイプのコンピュータ命令、またはコンピュータ／機械で実行可能なコードを含んでよい。ここに記載されるコンポーネントに関連した機能を実施するソフトウエアは、単一の命令、または多くの命令を含んでなるものであってよく、また幾つかの異なるコード切片に上に、異なるプログラムの間に、また幾つかのメモリー装置に亘って分布されてよい。
【００２２】
ここで使用する「一つの構成」、「構成」、「複数の構成」、「前記構成」、「前記複数の構成」、「１以上の構成」、「幾つかの構成」、「一定の構成」、「一つの構成」、「もう一つの構成」等は、他に明示的に特定しない限り、「開示されたシステムおよび方法の１以上（しかし必ずしも全てではない）の構成」を意味する。
【００２３】
「決定する」（およびその文法的変形）の用語は、極めて広い意味で使用される。「決定する」の用語は広範な動作を包含し、従って、「決定する」は計算する、コンピュータ処理する、処理する、誘導する、調査する、照合する（例えば表、データベースまたはもう一つのデータ構造において）、および確認する等を含むことができる。また、「決定する」は、受信する（例えば情報を受信する）、アクセスする（例えばメモリー中のデータにアクセスする）等をも含むことができる。また、「決定する」は、解決する、選択する、選ぶ、樹立する等も含むことができる。
【００２４】
「に基づく」の語句は、他に明示的に特定しない限り、「…にのみ基づく」を意味しない。即ち、「…に基づく」は、「…にのみ基づく」および「少なくとも…に基づく」の両方を記述するものである。
【００２５】
現在のビデオ圧縮システムで行われる幾つかのステップが知られている。予測、変換および量子化のような幾つかのビデオ圧縮ステップの後の次のステップは、シンタックス要素および量子化された係数に対してエントロピー符号化を行って、ビットストリームを形成することである。ビデオデコーダにおいては、逆のプロセスが行われる。シンタックス要素および量子化された係数は、ビットストリームから複号される。次いで、逆量子化および逆変換ステップが行われる。最後に、ビデオ信号を再構築するために、再構築された残余が予測値に加えられる。
【００２６】
現在、ＩＳＯ／ＩＥＣ・ＭＰＥＧおよびＩＴＵ−Ｔ・ＶＣＥＧからのビデオ符号化専門家からなる合同ビデオチーム（ＪＶＴ）が、Ｈ．２６４／先進ビデオ符号化（ＡＶＣ）へのスケーラブルビデオ符号化（ＳＶＣ）拡張に関して作業をしている。合同スケーラブルビデオモデル（ＪＳＶＭ）と称する共通のソフトウエアが、参加者によって使用されている。ＪＳＶＭは、種々のスケーラビリティーの特徴をサポートする。ＳＶＣビットストリームは、微細粒状度スケーラビリティー、空間スケーラビリティー、時間スケーラビリティー、またはこれら三つの何れかの組合せを有することができる。
【００２７】
ここではＦＧＳと称する微細粒状度スケーラビリティーは、重要であり、且つビデオ符号化のための極めて望ましい特徴である。この特徴は、圧縮されたビデオビットストリームが殆ど任意に短縮されることを可能にしながら、同時に、末端ユーザには複号されたビデオ品質の上品な劣化を提供する。微細粒状度スケーラビリティーにおいて、エンハンスメント層ビットストリームは任意に短縮することができる。ビデオデコーダは、この層における更なるビットを受信および複号するので、より良好なビデオ品質を生じるであろう。更に、ＪＳＶＭにおけるＦＧＳは、ビデオ品質における改善が全体のビデオフレームに亘って均一に広がるように設計されており、これはフレームの一定の空間領域のみに集中するのとは逆である。何故なら、後者の場合には末端ユーザに対して視覚的な不快さを生じるからである。
【００２８】
ＦＧＳは、ビット−プレーン符号化を使用して、ビデオ品質の上品な改善を達成する。量子化パラメータＱＰを使用してベース相のまたは以前の層のビデオフレームが量子化されれば、現在のエンハンスメント層のビデオは、典型的にはＱＰ−６を核とする量子化パラメータを使用して量子化されてよく、これは量子化ステップのサイズを効果的に半分にカットするものである。低い量子化ステップサイズの結果として、エンハンスメント層では、より多くの変換係数が非ゼロになるであろう。エンハンスメント層におけるゼロでない係数は三つのタイプに分類することができる：即ち、重要でない係数、重要な係数、および改善係数である。重要でない係数は、ベース層または以前の層においてゼロで、且つ現在のエンハンスメント層でもゼロのままの係数を意味する。重要な係数は、ベース層または以前の層ではゼロであるが、現在のエンハンスメント層においてはゼロでない係数になる係数を意味する。改善係数は、ベース層または以前の層において既にゼロでない（即ち、重要な）係数を意味する。それらの値は、現在のエンハンスメント層においては改善されるであろう。
【００２９】
改善係数は、他の係数とは異なる統計を有するので、それらはＦＧＳ層において別々に符号化される。Ｈ．２６４／ＡＶＣと同様に、ＳＶＣにおいて二つのエントロピー符号化モードが存在し得る：即ち、コンテキスト適応型二値算術符号化（ＣＡＢＡＣ）モード、およびコンテキスト適応型可変長符号化（ＣＡＶＬＣ）モードである。より高い符号化特性を発揮する、ＣＡＶＬＣモードにおける改良された重要な係数符号化システムについての詳細が提供される。
【００３０】
図１は、ビデオ符号化ビットストリーム構造の一つの構成１００を示すブロック図であり、該構造は通常、微細粒状度スケーラビリティーと称される。ＦＧＳにおいて、ビデオシーケンスは、少なくとも二つの層、即ちベース層１０６およびエンハンスメント層１０４を備えた単一のビデオストリームに圧縮される。図示のように、ＦＧＳは更にＮ−１のエンハンスメント層１０２を含んでよい。
【００３１】
一つの構成において、ベース層１０６は、ビデオシーケンスの非スケーラブルな符号化であり、典型的にはビデオシーケンスの最も低い品質を有する。エンハンスメント層１０４およびＮ−１のエンハンスメント層１０２は、ベース層１０６のそれよりも高い種々のレベルの品質を有する。ベース層１０６の後に符号化された各々の追加のエンハンスメント層の復号は、ビデオシーケンスの増大した品質をもたらす。加えて、ＦＧＳビットストリームは、符号化の際または後に、エンハンスメント層１０４およびＮ−１のエンハンスメント層１０２に属するビットがリアルタイムで短縮され得る（ビットレート、従って復号された映像品質を減少させる）という一つの顕著な利点を有する。これは、送信されるビットレートに対する融通性のある制御を提供し、またエンハンスメント層１０４およびＮ−１のエンハンスメント層１０２が、利用可能な送信ビットレートに適合するように調節されることを可能にする。
【００３２】
図２は、エンコーダ２０８からネットワーク２１０を横切ってデコーダ２１２へと送られるベース層２０２およびＮのエンハンスメント層２０４を示す、ネットワークブロック図２００である。デコーダ２１２は、ベース層２０２および１以上のエンハンスメント層２０４の全部または一部を復号し、使用してよい。デコーダ２１２は、元のビデオシーケンス２０６の最適近似を構築する。一つの構成において、この最適近似はコンピュータモニタ、テレビ、パーソナルデジタルアシスタント（ＰＤＡ）、プロジェクタ等のようなディスプレー２１６上に表示される。ビデオシーケンス２０６は、ベース層２０２および１以上のエンハンスメント層２０４として符号化される。最も低い品質のベース層２０２は最小品質標準を表し、エンハンスメント層２０４の各々は該ベース層２０２の映像品質に対する改善である。
【００３３】
一つの構成において、ビデオシーケンス２０６は、図１で説明したＦＧＳビデオ符号化フォーマットを使用して符号化される。該ＦＧＳ符号化フォーマットは、利用可能な送信バンド幅が予め知られないかもしれないビデオストリーミングおよび放送のアプリケーションのために特に有用である。符号化の際または符号化の後に、エンハンスメント層２０４は利用可能な送信ビットレートに適合させるために任意に短縮されてよい。利用可能なビットレートが変化すると共に、それに応じてエンハンスメント層２０４がリアルタイムで短縮されて、現在の帯域幅に関して最適品質の復号されたビデオシーケンスを与える。例えば、ネットワーク２００はエンハンスメント層２０４を短縮し、次いでビットストリームを異なるビットレートで異なる宛先へと送信する。
【００３４】
図３は、情報を符号化するための方法３００を示すフローチャートである。一つの構成において、符号化すべき情報はビデオシーケンスを含んでなるものである。方法３００はビデオエンコーダ内で実施されてよく、方法３００の逆はビデオデコーダによって実行されてよい。エンコーダは、信号またはデータを符号に変えるために使用される装置である。デコーダは、次いでこの符号から、元の信号または元の信号の近似を生じる。エンコーダおよびデコーダは一緒にしてビデオＣＯＤＥＣと称されてよく、これはソース画像またはビデオシーケンスを圧縮された形態に符号化し、またこれを復号して、ソースシーケンスのコピーもしくは近似を生じる。
【００３５】
方法３００は３０２で開始され、エンコーダがビデオシーケンスを受信する３０４。一つの構成において、ビデオシーケンスは圧縮されていないビデオ信号である。該エンコーダは、隣接するビデオフレームの間の類似性を利用することによるビデオシーケンスの圧縮を開始し、現在の／元のビデオ信号の予測を構築する３０６。この予測は、１以上の以前フレームまたは将来のフレームから形成され、これらフレームの間の差を補償することによって改善される。次に、実際の現在／元のフレームから該予測フレームを差し引くことによって、残余信号が形成される３０８。エンコーダは、空間的冗長性を低減するために、該予測残余の隣接するサンプル間での類似性を使用する。
【００３６】
方法３００は、残存する空間的冗長性を低減するために、残余信号に変換を適用することによって継続される３１０。該変換は、前記予測残余信号をもう一つのドメインに変換し、該ドメインにおいてはそれらが変換係数によって表される。該係数は、有意でない値を除去して小数の重要な係数を残すために量子化され、これは残余サンプルのよりコンパクトな表現を与える。一つの構成において、方法３００を使用して符号化されるこの予測残余は、エンハンスメント層の中にあってよい。ビデオフレームの以前の層またはビデオフレームのベース層が量子化パラメータＱＰを使用して量子化されれば、現在のエンハンスメント層は、典型的には概ねＱＰ６の量子化パラメータを使用して量子化され３１２、ここでのＱＰはベース層において使用される量子化パラメータである。これは、量子化ステップサイズを効果的に半分に低減する。低減された量子化ステップサイズの結果として、増大した量の変換係数が、現在のフレームにおいてゼロでなくなるであろう。
【００３７】
一つの構成において、エンハンスメント層におけるゼロでない量子化された係数は、重要でない係数、重要な係数、および改善係数に分類されてよい。
【００３８】
ここで述べるように、ＶＬＣ（可変長符号化）コードブックは、少なくとも一つの重要なランおよびＥＯＢ（エンド・オブ・ブック）を符号化するように選択される。従って、重要なランおよびＥＯＢが符号化され得る前に、コードブックが選択される３１４。一つの構成においては、以下で述べるように、コードブック選択表を使用してコードブックが選択される３１４。一つの構成において、コードブック表情報は、ビデオスライスの１部として符号化されてよい３１４。もう一つの構成において、コードブック表情報は、内部状態として、エンコーダおよびデコーダに保存されてよい。該コードブック表情報は、コードブック選択表および該表の寸法および形状を含んでよい。次いで、該選択されたコードブックを使用して、重要なランおよびＥＯＢが符号化される３１８。
【００３９】
図４は、符号化されたビデオシーケンスを復号する方法４００の一つの構成を示すフローチャートである。復号方法４００は、図３の符号化方法３００の逆であってよい。この復号方法４００は、符号化されたビデオシーケンスを受信４０４するデコーダによって開始される４０２。該符号化されたビデオシーケンスは、ビットストリームと称されてもよい。デコーダは、コードブック表情報を復号する。一つの構成において、コードブック表情報は、該スライスの一部であるコードブック選択表を含んでよい。該デコーダは、選択されたコードブックを使用して重要なシンボルを復号する４０７。
【００４０】
方法４００が継続され、デコーダは、最近復号された重要なシンボルを使用して重要な係数を復号する４０８。次いでデコーダは、復号された係数を逆量子化する４１０ように進行する。方法４００は、逆量子化係数に逆変換を適用する４１２によって進行する。一つの構成において、この逆変換は、逆離散コサイン変換を含んでよい。デコーダが係数に逆変換を適用した後、該デコーダは、図３の符号化方法３００の前に存在した元のビデオシーケンスの近似を構築する。
【００４１】
図５は、複数のマクロブロックに分割されたビデオフレーム５００の一つの構成を示している。マクロブロックは、復号プロセスにおける基本的なデータ単位である。図示のように、ビデオフレーム５００は、複数の固定された寸法のマクロブロックに分割区切られてよく、各々のブロックはビデオフレーム５００のサンプルを含んでいる。一つの構成において、各マクロブロックは、１６×１６画素のサンプルを含んでいる。追加の側面において、各マクロブロックは輝度（ｌｕｍａ）成分および二つのクロミナンス（ｃｈｒｏｍａ）成分を含んでいる。ｌｕｍａ成分は特定成分の明度に関連しているのに対して、ｃｈｒｏｍａ成分は該サンプルの色特性に関連している。一つの構成において、ビデオフレーム５００は更に複数のスライス、即ち、スライスＡ５０２、スライスＢ５０４、およびスライスＣ５０６に区切られる。一つのスライスは、マクロブロックのシーケンスであり、これらは一定の符号化順序で連続的に処理される。例えば、スライスＡ５０２および該スライスＡ５０２内に含まれるマクロブロックは、スライスＢ５０４およびスライスＣ５０６の前に、符号化されてデコーダに送られてよい。追加の特徴として、種々のスライス５０２、５０４および５０６を符号化し、これらをデコーダに送る順序は任意であってよい。例えば、スライスＢ５０４が他のスライスの前に符号化されて、デコーダに送られてよい。同様に、スライスＣ５０６が他の二つのスライスの前に符号化されて、デコーダに送られてよい。Ｎ番目のエンハンスメント層における各マクロブロックは、Ｎ−１番目のエンハンスメント層およびベース層の各々におけるマクロブロックに対応する。
【００４２】
図６は、係数を分類する方法の例を示している。ベース層係数ブロック６０２およびエンハンスメント層係数ブロック６０４が提供される。ベース層６０２およびエンハンスメント層６０４におけるブランクスペースは、ゼロの係数を表す。これらの係数は、重要でない係数と称される。残りのスペース６０６、６０８、６０８ａおよび６０８ｂは各々、ゼロでない値を有し得る係数を表す。一つの構成において、ベース層係数ブロック６０２は、ＦＧＳビデオ符号化フォーマットを使用する先のエンハンスメント層におけるものである。先に説明したように、図３の符号化方法３００の際に変換係数が量子化される。量子化の後に、エンハンスメント層係数ブロック６０４におけるゼロでない係数は、ゼロに等しいベース層係数ブロック６０２における対応する係数と共に、重要な係数６０６と称される。ベース層におけるその対応する係数がゼロでない係数は、改善係数６０８と称される。重要な係数６０６および改善係数６０８は異なる統計を有するから、それらはＦＧＳ符号化フォーマットに従い、エンハンスメント層６０４において別々に符号化される。
【００４３】
一つの構成において、重要な係数６０６ｃ、６０６ｄは、ベース層または以前の層におけるそれらの対応する係数６０６ａおよび６０６ｂ（同じ副帯域を表す係数）がゼロである係数である。改善係数６０８は、ベース層または以前の層におけるそれらの対応する係数６０８ａおよび６０８ｂがゼロでない係数である。
【００４４】
ＳＶＣ・ＦＧＳ層において、重要な係数はラン値として符号化される。エンコーダは、それが重要な係数を見出すまで、ジグザグの走査順序で改善層係数ブロック６０４を通っていく。次いで、エンコーダはラン値を符号化する。走査の過程で遭遇する改善係数は重要度ランには寄与しない。例えば、図６における最初の重要な係数６０６ｃは、二つの改善係数６０８がカウントされずに、ラン＝３の変わりにラン＝１を用いて符号化される。ＳＶＣ・ＪＤ５におけるＣＡＶＬＣモードにおいて、重要度ランは、開始−ステップ−停止またはＳ３コードを使用して符号化される。Thomas Wiegand, Gary Sullivan, Julien Raichel, Heiko Schwarz, and Mathias Wien, “Joint Draft 5:  Scalable Video Coding”, JVT-R 201, January 2006, Bangkok, Thailandを参照のこと。次いで、この係数の記号が１−ビットフラッグとして符号化され、０は性の値を示し、１は負の値を示す。次いで、当該スライスにおける全てのブロックがカバーされるまで、エンコーダは次のブロックへと移動する。これにより、第一の重要度符号化サイクルを終了する
次の重要度符号化サイクルが開始すると、エンコーダは第一のブロックに戻って、当該ブロックの次の重要度係数について走査する。図６の例では、ラン＝３が第二の重要度係数６０６ｄのために送られるであろう。次いで、これが正の値であることを示すためにビット０が送られる。次いで、第二のサイクルにおける全てのブロックが送られるまで、エンコーダは次のブロックへと移動する。
【００４５】
第三のサイクルにおいては、先に符号化された重要度係数が当該ブロックにおける最後のものであることを示すために、図６に示されたブロックについてＥＯＢ（エンド・オブ・ブロック）シンボルが送られる；このブロックについては、後続の符号化サイクルにおいて更なる情報は送られないであろう。ＣＡＶＬＣモードにおいては、ＥＯＢシンボルが全ての他のラン値と組み合わされてシンボル組が形成される。このシンボル組におけるＥＯＢのインデックスには、「ＩＥＯＢ」が割当てられる。ラン値「Ｒ」のインデックスは「ＩＲ」である。「ＩＲ」は、Ｒ＜ＩＥＯＢであればＩＲ＝Ｒ、さもなければＩＲ＝Ｒ＋１として、「Ｒ」および「ＩＥＯＢ」から分割することができる。より小さいインデックスを符号化する際に費やされるビット数は、より大きいインデックスを符号化する際に費やされるビット数以下である。ＥＯＢシンボルの確率は、符号化サイクル数と一定の相関を有しているので（ＥＯＢは後のサイクルにおいて類似するようになる）、各サイクルにおけるＥＯＢシンボルのオフセットを特定するアレイは、スライスの一部として符号化されて、このシンボル組におけるＥＯＢの指数「ＩＥＯＢ」が一つの符号化サイクルからもう一つの符号化サイクルへと変わることを可能にする。このアレイは、サイクル数の関数として、単調に非増大性であるように制限される。例えば、アレイ｛４１００…｝は、ＥＯＢのインデックスが最初のサイクルでは４として符号化され、第二のサイクルでは１として符号化され、その後の全てのサイクルでは０（最も可能性が高いシンボル）として符号化されることを示している。
【００４６】
重要度符号化において使用されるＳ３コードは、パラメータ、即ち、カットオフ閾値ｍを有している。シンボルｓ＜＝ｍであれば、ｓは単項コードを使用して符号化される。シンボルｓ＞ｍであれば、それは
【数１】
2009531992.tif 000003
【００４７】
の１（「１」）のプレフィックス、および「００」、「０１」または「１０」のサフィックスを用いて符号化される。例えば、図７に示した表は、ｍ＝０に対応するＳ３コード語およびコード長を与える。各サイクル数（０，１…１５）についての２５６のカットオフ閾値ｍ、およびベース層における最後の符号化係数の位置（ＬＥＢＬ）の各位置（０，１…１５）を含むコンテキスト表が、当該スライスの一部として送られる。
【００４８】
Ｓ３コードは、その確率分布が小さいシンボルについてバイアスされ、かつより大きなシンボルについてはフラットになるシンボルを符号化するために最も適している。しかし、重要度ランの実際の確率分布は、この仮定とは一致しないことが多い。従って、他のＶＬＣコードを使用することにより、符号化特性を改善することができる。
【００４９】
ここでのシステムおよび方法において、五つのタイプのＶＬＣコードブックのうちの一つは、重要度ランおよびＥＯＢを符号化するために選択される。この五つのコードブックは、ここではコードブック０、コードブック１、コードブック２、コードブック３およびコードブック４と称する。これらコードブックの各々に着いて説明する。幾つかの構成では、五つよりも少ないコードブックを使用してもよい。加えて、他の構成では、五つより多いコードブックを使用してもよい。ここでの五つのコードブックの使用は例示に過ぎず、限定的することを意味しない。
【００５０】
図８は、コードブック０のための擬似コードを示している。コードブック０は、単項コードを使用する。該単項コードは、（ｓ−1）の「１」、次いで一つの「０」を用いてシンボルｓを符号化する。このコードブックはコード長｛１，２，３…｝を有する。それは、確率分布が非常にバイアスされた入力シンボルのために適している。図８の擬似コードは、単項コードを使用する符号化および復号を示している。
【００５１】
図９は、コードブック１のための擬似コードを示している。コードブック１は、ｓ／２の「１」のプレフィックスを用い、次いで２ビットのサフィックスを用いて入力信号ｓを符号化し、残余ｍｏｄ（ｓ，２）を符号化する。ここで、ｍｏｄ（  ）はモジュール演算を表す。このコードブックは、コード長｛２，２，３，３，４，４，…｝を有する。それは、単項コードに比較して、より均一な分布をもった入力信号のために適している。図９における擬似コードは、コードブック１を使用した符号化９０２および復号化９０４を示している。
【００５２】
図１０は、コードブック２のための擬似コードを示している。コードブック２は、（ｓ／３）＊２の「１」のプレフィックスを用い、次いで２ビットのサフィックスを用いて入力信号ｓを符号化し、残余ｍｏｄ（ｓ，３）を符号化する。このコードブックは、コード長｛２，２，２，４，４，４，６，６，６…｝を有し、これはコードブック１に比較してより均一に分布した入力信号のために適している。図１０における擬似コードは、このコードブックを使用した符号化１００２および復号１００４を示している。
【００５３】
コードブック３は、ｍ＝３（図７）で、コード長｛１，３，３，３，５，５，５…｝のＳ３コードを使用する。該コードブックは、コードブック２のシフト版であることに留意すべきである。それは、ビット０で入力シンボルｓ＝０を符号化する。全ての他のシンボルｓについて、それは入力シンボル（ｓ＋１）と共にコードブック１を使用する。
【００５４】
コードブック４は、コードブック１（図９）のシフト版である。それはビット０で入力信号ｓ＝０を符号化する。全ての他のシンボルｓについて、それは入力シンボル組（ｓ＋１）と共にコードブック１を使用する。
【００５５】
コードブック０〜４は全て組織化されたコードブックである。一定の実施のためには、ハフマンのコードによって通常必要とされるように、エンコーダおよびデコーダに照合表を保存することが必要である。
【００５６】
ここでも、全部で五つのコードブックが示され且つ議論されるが、コードブック３および４は、それぞれコードブック２および１の単純なシフト版であることに留意することは価値がある。これは、デコーダ実施を大きく単純化するために利用できる重要な特徴である。
【００５７】
最適なコードブック「ｃ」は、重要度ランおよびＥＯＢシンボルを用いて形成されたシンボル組の確率分布に依存し、これはシーケンスの間で変化するだけでなく、与えられたシーケンス内のフレーム間でも変化する。
【００５８】
一つの構成において、コードブック選択表は、当該スライスの一部として明示的に符号化される。この表における各エントリーは、次の重要度ランまたはＥＯＢを一定の条件下で復号するために使用されるコードブックのインデックスである。該コードブック選択表は、他のパラメートに依存することなく、各符号化サイクル数「ＣＣＮ」のためのエントリーを含んでよい。異なる実施において，該コードブック選択表は、符号化サイクル数「ＣＣＮ」およびＬＥＢＬ位置の各対についてのエントリーを含んでよい。４×４ブロックの符号化のために、「ＣＣＮ」およびＬＥＢＬ位置の両者は、両端を含む範囲［０，１５］内にある。何れの場合にも、該エンコーダは、符号化特性を最適化するために、当該表における各エントリーの値を決定する。もう一つの側面において、次の重要度ランまたはＥＯＢを符号化するための最適なコードブックの選択は、当該スライスの一部として明示的に符号化されない。最適なコードブックは、実行時間の間に評価される確立分布および隣接相関に基づいて選択される。
【００５９】
ＦＧＳ層のための限定されたビットバジェットが存在し、コード選択表が明示的に当該スライスの中に符号化されるときは、ビットオーバーヘッドを最小化するために、該コードブック選択表自身が効率的に符号化される。コードブック選択表の非効率的な符号化は、ＦＧＳ層のためのレート歪み（ピーク信号／ノイズ比 vs.ビットレート）曲線の上昇勾配を遅延させる可能性がある。コードブック選択表の効率的な符号化を達成するために、二つのスキームが導入される。
【００６０】
そこから選択するための合計五つのコードブックが存在するが、これらコードブックの「支持率（popularity）」は異なることが認められる。図１１におけるＶＬＣ表１１０２は、コードブックエントリーを符号化して、表エントリーを符号化する際に費やされる平均ビットを低減するために使用されてよい。
【００６１】
一つの構成において、最適なコードブックの選択は符号化サイクル数「ＣＣＮ」にのみ依存し、各符号化サイクル数はジグザグ走査順序における走査位置の指数に対応する。該表エントリーは次のようにして符号化される。最初に、ビットストリームの中に符号化されるコードブックセレクタの数を示すために、変数「num_sig_vlc_selectors」が符号化され続いて「num_sig_vlc_selectors」コードブックセレクタがコード化される。各コードブックセレクタは、ＶＬＣ表１１０２において定義された可変長コードを使用して符号化される。各符号化サイクル数について一つのコードブックセレクタが存在する。復号化プロセスは、符号化プロセスの単純な逆である。当該スライスの中に符号化されないコードブックセレクタは、０のデフォルト値を有する。たとえば、４×４ブロックを符号化するためには、１６のコードブックセレクタが必要とされる。「num_sig_vlc_selectors」が５であれば、それは、最初の５のコードブックセレクタが明示的に符号化されることを意味する。残りの１１のコードブックセレクタはゼロである。
【００６２】
もう一つの側面において、コードブック選択表は、符号化サイクル数「ＣＣＮ」およびＬＥＢＬ位置の各対についてのエントリーを含んでよい。コードブック０（単項コード）が選ばれる確率は、大きなサイクル数およびＬＥＢＬ位置について一般に非常に高くなる。従って、これらコンテキストのためのコードブックを送ることは不要になるかもしれない。表の寸法を減少させるために、表の形状および表の寸法が新たなシンタックス要素として追加され、当該スライスの中に送られる。以後、二つの表形状が定義される：即ち、矩形（図１２参照）および三角形（図１３参照）である。矩形の表については二つの寸法パラメータ、即ち幅および高さが送られ、三角形の表については、深さと呼ばれる一つの追加のパラメータが送られる。表の形状および寸法が決定されると、剪定縮小された（pruned）表１２０２，１３０２の範囲内に入る表エントリーだけが、表１１のＶＬＣコードを使用して送られる。全ての他の表エントリー１２０４、１３０４（該剪定縮小された表内に入らない表エントリー）は送られず、且つ０と仮定される。
【００６３】
表の形状および寸法を得るために、１６×１６のコードブック選択表は、レート歪み最適化方法において剪定縮小される。この剪定縮小は、最初に列方向で起こり、続いて行方向で起こり、その後に対角線方向で起きる（しかし、該エンコーダは剪定縮小のために如何なる順序も選択できることに留意されたい）。例えば列を取ってみよう。表エントリーの一つの列を剪定縮小するコストＣを、最適コードブックの代りにコードブック０を用いることに起因して重要度符号化の際に後で受けるペナルティーとして決定する（例えば、この列の全てのエントリーが既にコードブック０を選択していれば、Ｃは０である）。次いで、表エントリーのこの列を剪定縮小するビット節減Ｓを、図１１におけるＶＬＣ表当たりで、これら表エントリーを送信しないことに起因して節減されるビットとして定義する（例えば、この列における全てのエントリーがコードブック０を選択すれば、Ｓ＝１６ビットである）。Ｓ＞Ｃであれば、この列の表エントリーは剪定縮小される。そうでなければこの列は維持され、列方向での剪定縮小は中止され、行方向での剪定縮小が開始される。この剪定縮小プロセスは、標的ビットレートに適合させる上で非常に効果的であることが証明される。非常に低いビットレートにおいては、僅かの重要度係数しか存在しないときに該表エントリーを送信するのに必要とされるビットは、最適コードブックを使用することにより節減される僅かなビットを正当化しない。そうであるときは、この該剪定縮小プロセスは全体の表を切り詰めてもよい。より高いビットレートでは、剪定縮小された表は、逆の理由でより大きな寸法を有する傾向がある。全ての表エントリーを剪定縮小するビットペナルティーは、コードブック選択表を形成しながら予め保存できるので、表を剪定縮小するプロセスの複雑さは非常に低い。図１４における擬似コード１４０２は、剪定縮小された表を送信する方法を要約している。
【００６４】
図１５は、デジタル画像および／またはデジタル映像を処理するように構成された装置１６００を示している。該装置１６００は、デジタルテレビジョン、デジタル直接放送システム、無線通信装置、ＰＤＡ、ラップトップコンピュータ、デスクトップコンピュータ、デジタルカメラ、デジタル記録装置、ネットワークを可能にされたデジタルテレビジョン、携帯もしくはサテライト無線電話、またはビデオ電話（ＶＴ）能力を備えた何等かの遠隔通信装置を表し、またはこれらにおいて実施される。
【００６５】
装置１６００は、画像および／またはビデオデータを処理し、符号化し、復号し、送信および／または受信してよい。ビデオデータは、ビデオ捕捉ユニット（または画像センサ）１６１２のようなビデオカメラによって捕捉されてよく、ビデオアーカイブから検索されてよく、または別の方法で入手されてもよい。当該装置１６００におけるビデオ符号化ユニット１６１０は、ＭＰＥＧ−４、ＩＴＵ−ＴＨ．２６３、ＩＴＵ−ＴＨ．２６４、または他のビデオ符号化標準等の、ビデオ符号化標準を使用してよい。該ビデオ符号化ユニット１６１０は、動き推定および動き補償のようなフレーム間符号化技術、空間推定のようなフレーム内符号化技術、および予想内符号化技術をサポートしてよい。
【００６６】
当該装置１６００は、画像またはビデオシーケンスを捕捉し、また該捕捉された画像またはシーケンスをメモリー１６１４に保存するために、カメラまたはビデオカメラのような画像／ビデオ捕捉装置１６１２を含んでよい。画像／ビデオ処理ユニット１６０２は、画像および／またはビデオシーケンスを処理してよい。メモリー１６０４は、このような処理の前後において、画像および／またはビデオシーケンスを保存してよい。
【００６７】
トランシーバ１６１６は、符号化されたビデオシーケンスを受信し、および／またはもう一つの装置へと送信してよい。該トランシーバ１６１６は、コード分割多重アクセス（ＣＤＭＡ）のような無線通信標準を使用してよい。ＣＤＭＡ標準の例には、ＣＤＭＡ１×ＥＶ−ＤＯ、広帯域コード分割多重アクセス（ＷＣＤＭＡ）等が含まれる。
【００６８】
装置１６００の１以上の要素は、通信バス１６１８を介して通信的に結合されてよい。図１６に示した要素に加えて、またはその代りに、他の要素が装置１６００に含まれてよい。図１６に示されたアーキテクチャーは単なる一例に過ぎない。ここに記載された技術は、種々の他のアーキテクチャーと共に実施されてよい。
【００６９】
メモリー１６１４は、比較的大きなメモリー空間を有してよい。該メモリー１６１４は、ダイナミックランダムアクセスメモリー（ＤＲＡＭ）またはＦＬＡＳＨメモリーを含んでよい。該メモリー１６１４は、「ＮＯＲ」または「ＮＡＮＤ」ゲートメモリー技術、または何らかの他のデータ保存技術を含んでよい。他の例において、メモリー１６１４は不揮発性メモリーまたは何れかの他の型のデータ保存ユニットを含んでよい。
【００７０】
画像／ビデオ処理ユニット１６０２は、モバイル無線電話のためのチップ組を備えてよく、これはハードウエア、ソフトウエア、ファームウエア、および／または１以上のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、アプリケーション特異的集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはこれらの種々の組合せを含んでよい。処理ユニット１６０２は、フロントエンド画像／ビデオ処理ユニット１６０８および画像／ビデオ符号化ユニット１６１０に結合された、ローカルメモリー１６０４を含んでよい。符号化ユニット１６１０は、デジタルビデオデータを符号化（圧縮）および復号（復元）するためのエンコーダ／デコーダ（ＣＯＤＥＣ）を含んでよい。
【００７１】
ローカルメモリー１６０４は、メモリー１６１４に比較して、より小さく且つより迅速なメモリー空間を含んでよい。例えば、ローカルメモリー１６０４は、同期式ダイナミックランダムアクセスメモリー（ＳＤＲＡＭ）を含んでよい。該ローカルメモリー１６０４は、プロセッサ集約的符号化プロセスの際のデータへの迅速なアクセスを提供するために、処理ユニット６１０の他のコンポーネントと集積化された「オンチップ」メモリーを含んでよい。しかし、メモリー１６１４および１６０４は一つのメモリーに合体されてよく、或いは他の多くの構成で実施されてよい。メモリーコントローラ１６０６は、メモリーフェッチを制御し、ローカルメモリー１６０４に書き戻してもよい。
【００７２】
フロントエンドの画像／ビデオ処理ユニット１６０８は、ビデオシーケンスのフレームに対して１以上の画像処理技術を実行して画像品質を改善し、それによってビデオシーケンスの品質を改善してよい。例えば、フロントエンド画像／ビデオ処理ユニット１６０８は、モザイク解除、レンズロールオフ補正、スケーリング、色補正、色変換、および空間フィルタリングのような技術を実行してよい。フロントエンド画像／ビデオ処理ユニット１６０８はまた、他の技術を実施してよい。一般に、ユニット１６０８によって実行される技術は、該技術が画像／ビデオ符号化ユニット１６１０によって符号化を進行させるので、「フロントエンド」画像処理技術と称される。
【００７３】
画像／ビデオ捕捉ユニット１６１２は画像センサを具備してよく、該センサはその表面に配置された色フィルタアレイを含んでいる。ユニット１６０８によって行われるフロントエンド画像処理は、捕捉ユニット１６１２によって捕捉されたビデオシーケンスの品質を改善することができる。例えば、フロントエンド処理ユニット１６０８および／または符号化ユニット１６１０は、捕捉ユニット１６１２によって捕捉された画像を処理するようにプログラムされたＤＳＰを含んでいてよい。メモリー１６０４（またはメモリー１６１４）の同じ領域が、フロントエンド画像処理の目的および他の保存目的の両方のために使用されてよい。
【００７４】
画像／ビデオ符号化ユニット１６１０は、画像および／またはビデオ符号化を実行してよく、これにはフレーム間圧縮および／またはフレーム内圧縮のような１以上のビデオ圧縮技術が含まれてよい。例えば、符号化ユニット１６１０は、時間的またはフレーム間のデータ補正を利用してフレーム間圧縮を提供するために、動き予測および動き補償技術を実施してよい。その代りに、またはそれに加えて、符号化ユニット１６１０は、空間またはフレーム内データ補正を利用してフレーム内圧縮を提供するために、空間予測およびイントラ予測技術を実施してよい。動き補償（またはイントラ予測）の出力は、「残余」として参照され、また符号化すべき現在のビデオブロックと、動き予測または空間予測により同定される予測ブロックとの間の差を示すデータのブロックを含んでよい。
【００７５】
符号化ユニット１６１０が動き補償を行って残余を形成した後に、この残余を更に符号化し、データを更に圧縮するために、一連の追加のステップが実行されてよい。この追加のステップは、使用される符号化標準に依存してよいが、一般には「残余符号化」と称される。符号化ユニット１６１０は、トランシーバ１６１６を介してビデオシーケンスをもう一つの装置へ通信するために必要なデータの量を低減するために、１以上のこれらビデオ圧縮技術を実行してよい。
【００７６】
情報および信号は、種々の異なる技術および技法の何れかを使用して表されてよい。例えば、上記の説明の全体を通して参照され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁界もしくは磁気粒子、光学場もしくは光粒子、またはこれらの何れかの組合せによって表されてよい。
【００７７】
ここに開示した構成に関連して記載した種々の例示した論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウエア、コンピュータソフトウエア、または両者の組み合わせとして実施されてよい。このハードウエアおよびソフトウエアの互換性を明瞭に示すために、種々の例示的コンポーネント、ブロック、モジュール、回路、およびステップについては、それらの機能性に関して上記で一般的に説明してきた。このような機能が、ハードウエアまたはソフトウエアの何れとして実施されるかは、特定の用途および全体のシステムに課される設計上の制約に依存する。当業者は、記載された機能を、それぞれの特定の適用について種々の方法で実施してよいが、かかる実施の決定が本システムおよび方法の範囲からの逸脱を生じるものと解釈されるべきではない。
【００７８】
ここの開示した構成に関連して記述した種々の例示的論理ブロック、モジュール、および回路は、ここに記載した機能を実行するように設計された汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、およびアプリケーション特異的集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ信号（ＦＰＧＡ）もしくは他のプログラマブル論理装置、個別のゲートもしくはトランジスタ論理回路、個別のハードウエアコンポーネント、またはそれらの何れかの組合せを用いて実施または実行されてよい。汎用プロセッサはマイクロプロセッサであってよいが、或いは、該プロセッサは何れかの慣用のプロセッサ、コントローラ、マイクロコントローラ、または状態マシンであってよい。プロセッサはまた、計算装置の組合せ、例えばＤＳＰおよびマイクロプロセッサ、複数のマイクロプロセッサの組合せ、ＤＳＰコアとの１以上のマイクロプロセッサの組合せ、または他の斯かる構成として実施されてよい。
【００７９】
ここに開示した構成に関連して記載した方法またはアルゴリズムのステップは、ハードウエア、プロセッサにより実行されるソフトウエアモジュール、またはこれら二つの組合せにおいて直接実現されてよい。ソフトウエアモジュールは、ランダムアクセスメモリー（ＲＡＭ）、フラッシュメモリー、リードオンリーメモリー（ＭＯＭ）、消去可能なプログラマブルリードオンリーメモリー（ＥＰＲＯＭ）、電気的に消去可能なプログラマブルリードオンリーメモリー（ＥＥＰＲＯＭ）、レジスタ、ハードディスク、取外し可能なディスク、コンパクトディスクリードオンリーメモリー（ＣＤ−ＲＯＭ）、または当該技術で知られた他の形態の保存媒体の中に常駐してよい。保存媒体は、保存媒体から情報を読み取り、且つ該媒体に情報を書き込むことができるように、プロセッサに結合されてよい。或いは、該保存媒体は前記プロセッサに組込まれてよい。プロセッサおよび保存媒体は、ＡＳＩＣの中に存在してよい。該ＡＳＩＣはユーザ端末の中に存在してよい。或いは、プロセッサおよび保存媒体は個別のコンポーネントとしてユーザ端末の中に存在してよい。
【００８０】
ここに開示された方法は、記載された方法を達成するための１以上のステップまたは動作を含んでなるものである。この方法ステップおよび／または動作は、本発明のシステムおよび方法の範囲を逸脱することなく、他のものと交換されてよい。換言すれば、当該構成の適正な動作のために特定のステップまたは動作が必要とされなければ、特定のステップおよび／または動作の順序および／または使用は、本発明のシステムおよび方法の範囲を逸脱することなく変更されてよい。
【００８１】
本発明によるシステムおよび方法の特定の構成および適用を例示して説明してきたが、本発明のシステムおよび方法は、ここに開示された正確な構成およびコンポーネントに限定されないことが理解されるべきである。本発明のシステムおよび方法の精神および範囲を逸脱することなく、ここに開示された方法およびシステムの構成、動作および詳細において、当業者に明らかな種々の修飾、改変および変更がなされ得るものである。
【図面の簡単な説明】
【００８２】
【図１】図１は、スケーラブルなビデオ符号化ビットストリームの一つの構成を示すブロック図である。
【図２】図２は、エンコーダからネットワークを横切ってデコーダへと送られる、ベース層および複数のエンハンスメント層の一つの構成を示すブロック図である。
【図３】図３は、情報を符号化するための方法の一つの構成を示すフローチャートである。
【図４】図４は、符号化されたビデオシーケンスを複号する方法の一つの構成を示すフローチャートである。
【図５】図５は、複数のマクロブロックに分割された画像フレームの一つの構成を示している。
【図６】図６は、重要度および改善係数を分類する一つの構成を示している。
【図７】図７は、コード語およびコード長の表の一つの構成を示している。
【図８】図８は、コードブック０を符号化および複号するための擬似コードを示している。
【図９】図９は、コードブック１を符号化および複号するための擬似コードを示している。
【図１０】図１０は、コードブック２を符号化および複号するための擬似コードを示している。
【図１１】図１１は、コードブック選択表エントリーを符号化するために使用される可変長符号化（ＶＬＣ）表の一つの構成を示している。
【図１２】図１２は、矩形コードブック選択表の一つの構成である。
【図１３】図１３は、三角形コードブック選択表の一つの構成である。
【図１４】図１４は、剪定縮小されたコードブック選択表を符号化する擬似コードを示している。
【図１５】図１５は、デジタル画像および／またはデジタルビデオを処理するために典型的に利用される、主要なハードウエアコンポーネントを示すブロック図である。
【図１】
2009531992.tif 000004
【図２】
2009531992.tif 000005
【図３】
2009531992.tif 000006
【図４】
2009531992.tif 000007
【図５】
2009531992.tif 000008
【図６】
2009531992.tif 000009
【図７】
2009531992.tif 000010
【図８】
2009531992.tif 000011
【図９】
2009531992.tif 000012
【図１０】
2009531992.tif 000013
【図１１】
2009531992.tif 000014
【図１２】
2009531992.tif 000015
【図１３】
2009531992.tif 000016
【図１４】
2009531992.tif 000017
【図１５】
2009531992.tif 000018
【国際調査報告】
2009531992.tif 000019
2009531992.tif 000020
2009531992.tif 000021
2009531992.tif 000022