(57)【要約】符号化プロセス中に、ビデオ・データを、量子化済みベース・レイヤと少なくとも２つのエンハンスメント・レイヤとのビットストリームとして表す。各レイヤ中の各ピクチャは、開始コードで識別される。ベース・レイヤと、それに加えて通信チャネルの帯域幅で送信できるいくつかのエンハンスメント・レイヤを、通信チャネル上で送る。
2004533134.tif 000002
【特許請求の範囲】
【請求項１】
ソース・ビデオ・シーケンスによって表される品質よりも低品質の視聴可能ビデオ・シーケンスを生成する第１のデータ本体を生成すること、および
前記第１のデータ本体から生成される視聴可能ビデオ・シーケンスの品質を向上させるのに十分な第２のデータ本体を生成することを含む方法であって、前記第２のデータ本体が、前記ソース・ビデオ・シーケンスのサブセクションから再構築済みデータ本体を引くことによって生成され、前記再構築済みデータ本体が、少なくとも２つの別々の再構築済みデータ本体からなるグループから選択される方法。
【請求項２】
前記少なくとも２つの別々の再構築済みデータ本体からなるグループが、前記ソース・ビデオ・シーケンスによって表される品質よりも低品質の視聴可能ビデオ・シーケンスを生成する第１の再構築済みデータ本体、前記第１のデータ本体から生成される視聴可能ビデオ・シーケンスの品質を向上させる第２の再構築済みデータ本体、および、前記第１と第２の再構築済みデータ本体の結合のうちから選択される請求項１に記載の方法。
【請求項３】
前記ソース・ビデオ・シーケンスのサブセクションから前記再構築済みデータ本体を引くことによって生成される前記第２のデータ本体を生成する前に、前記第１の再構築済みデータ本体を空間的に再構築およびクリッピングし、かつ前記第２の再構築済みデータ本体を空間的に再構築およびクリッピングすることをさらに含む請求項２に記載の方法。
【請求項４】
前記第２のデータ本体が、前記ソース・ビデオ・シーケンスのマクロブロックから再構築済みデータ本体を引くことによって生成される請求項２に記載の方法。
【請求項５】
前記少なくとも２つの別々の再構築済みデータ本体を前記ソース・ビデオ・シーケンスと比較して、前記第１の再構築済みデータ本体、前記第２の再構築済みデータ本体、および前記第１と第２の再構築済みデータ本体の結合のうちから適応的に選択することをさらに含む請求項２に記載の方法。
【請求項６】
前記再構築済みデータ本体の選択が、エンコーダから送られるビットストリームのシンタックス中で示される請求項２に記載の方法。
【請求項７】
第１の動きベクトル・セットを使用して前記第１のデータ本体が生成され、前記第１の動きベクトル・セットを使用して前記第２のデータ本体が生成される請求項２に記載の方法。
【請求項８】
前記第１のデータ本体および前記第２のデータ本体が単一のハードウェア・コンポーネントによって生成される請求項２に記載の方法。
【請求項９】
コンピュータ実行可能命令を記憶したコンピュータ可読媒体を含む物品であって、前記命令が、
ソース・ビデオ・シーケンスによって表される品質よりも低品質の視聴可能ビデオ・シーケンスを生成する第１のデータ本体を生成すること、および
前記第１のデータ本体から生成される視聴可能ビデオ・シーケンスの品質を向上させる第２のデータ本体を生成することをコンピュータに行わせ、前記第２のデータ本体が、前記ソース・ビデオ・シーケンスのサブセクションから再構築済みデータ本体を引くことによって生成され、前記再構築済みデータ本体が、少なくとも２つの別々の再構築済みデータ本体からなるグループから選択される、コンピュータ可読媒体を含む物品。
【請求項１０】
前記少なくとも２つの別々の再構築済みデータ本体からなるグループが、前記ソース・ビデオ・シーケンスによって表される品質よりも低品質の視聴可能ビデオ・シーケンスを生成する第１の再構築済みデータ本体、前記第１のデータ本体から生成される視聴可能ビデオ・シーケンスの品質を向上させる第２の再構築済みデータ本体、および、前記第１と第２の再構築済みデータ本体の結合のうちから選択される請求項９に記載のコンピュータ可読媒体を含む物品。
【請求項１１】
前記ソース・ビデオ・シーケンスのサブセクションから前記再構築済みデータ本体を引くことによって生成される前記第２のデータ本体を生成する前に、前記第１の再構築済みデータ本体を空間的に再構築およびクリッピングし、かつ前記第２の再構築済みデータ本体を空間的に再構築およびクリッピングすることをコンピュータに行わせる追加の命令をさらに含む請求項１０に記載のコンピュータ可読媒体を含む物品。
【請求項１２】
前記第２のデータ本体が、前記ソース・ビデオ・シーケンスのマクロブロックから再構築済みデータ本体を引くことによって生成される請求項１０に記載のコンピュータ可読媒体を含む物品。
【請求項１３】
前記少なくとも２つの別々の再構築済みデータ本体を前記ソース・ビデオ・シーケンスと比較して、前記第１の再構築済みデータ本体、前記第２の再構築済みデータ本体、および前記第１と第２の再構築済みデータ本体の結合のうちから適応的に選択することをコンピュータに行わせる追加の命令をさらに含む請求項１０に記載のコンピュータ可読媒体を含む物品。
【請求項１４】
前記再構築済みデータ本体の選択が、エンコーダから送られるビットストリームのシンタックス中で指摘される請求項１０に記載のコンピュータ可読媒体を含む物品。
【請求項１５】
第１の動きベクトル・セットを使用して前記第１のデータ本体が生成され、前記第１の動きベクトル・セットを使用して前記第２のデータ本体が生成される請求項１０に記載のコンピュータ可読媒体を含む物品。
【請求項１６】
前記第１のデータ本体と前記第２のデータ本体が単一のハードウェア・コンポーネントによって生成される請求項１０に記載のコンピュータ可読媒体を含む物品。
【請求項１７】
ソース・ビデオ・シーケンスによって表される品質よりも低品質の視聴可能ビデオ・シーケンスを生成する第１のデータ本体を生成する第１のユニットと、
前記第１のデータ本体から生成される視聴可能ビデオ・シーケンスの品質を向上させる第２のデータ本体を生成する第２のユニットとを備えるシステムであって、前記第２のデータ本体が、前記ソース・ビデオ・シーケンスのサブセクションから再構築済みデータ本体を引くことによって生成され、前記再構築済みデータ本体が、少なくとも２つの別々の再構築済みデータ本体からなるグループから選択されるシステム。
【請求項１８】
前記少なくとも２つの別々の再構築済みデータ本体からなるグループが、前記ソース・ビデオ・シーケンスによって表される品質よりも低品質の視聴可能ビデオ・シーケンスを生成する第１の再構築済みデータ本体、前記第１のデータ本体から生成される視聴可能ビデオ・シーケンスの品質を向上させる第２の再構築済みデータ本体、および前記第１と第２の再構築済みデータ本体の結合のいずれかから選択される請求項１７に記載のシステム。
【請求項１９】
前記第１のユニットが、前記ソース・ビデオ・シーケンスのサブセクションから前記再構築済みデータ本体を引くことによって生成される前記第２のデータ本体を生成する前に、前記第１の再構築済みデータ本体を空間的に再構築し、かつクリッピングし、前記第２のユニットが、前記第２の再構築済みデータ本体を空間的に再構築し、かつクリッピングする請求項１８に記載のシステム。
【請求項２０】
前記第２のデータ本体が、前記ソース・ビデオ・シーケンスのマクロブロックから再構築済みデータ本体を引くことによって生成される請求項１８に記載のシステム。
【請求項２１】
前記第２のユニットが、前記少なくとも２つの別々の再構築済みデータ本体を前記ソース・ビデオ・シーケンスと比較して、前記第１の再構築済みデータ本体、前記第２の再構築済みデータ本体、および前記第１と第２の再構築済みデータ本体の結合のうちから適応的に選択する請求項１８に記載のシステム。
【請求項２２】
前記再構築済みデータ本体の選択が、システムから送られるビットストリームのシンタックス中で指摘される請求項１８に記載のシステム。
【請求項２３】
前記第１のユニットが第１の動きベクトル・セットを使用して前記第１のデータ本体を生成し、前記第２のユニットが前記第１の動きベクトル・セットを使用して前記第２のデータ本体を生成する請求項１８に記載のシステム。
【請求項２４】
前記第１のユニットおよび前記第２のユニットが単一のハードウェア・コンポーネント上に含まれる請求項１８に記載のシステム。
【発明の詳細な説明】
【関連発明】
【０００１】
本件は、２００１年１月９日に出願された「Ｐｒｏｖｉｄｉｎｇ  Ｐｒｅｄｉｃｔｉｏｎ  Ｍｏｄｅ  Ｆｉｎｅ  Ｇｒａｎｕｌａｒｉｔｙ  Ｓｃａｌａｂｉｌｉｔｙ」という名称の仮出願第＿号の利益を請求する非仮出願である。
【背景技術】
【０００２】
ビデオは主として一連の静止ピクチャであり、静止ピクチャは次々に高速で連続表示されて、動いているような錯覚を視聴者に与える。通信チャネルを介してビデオを送信できるようになる前に、アナログ・ビデオをディジタル形式に変換または「符号化」することが必要な場合がある。ディジタル形式では、ビデオ・データは「ビットストリーム」と呼ばれる一連のビットで構成される。ビットストリームが受信位置に到着すると、ビデオ・データは「復号」される。すなわち視聴可能な形式に再変換される。通信チャネルの帯域幅制約により、ビデオ・データは、通信チャネル上で送られる前にしばしば「圧縮」される。圧縮の結果、受信端ではピクチャ品質が劣化することがある。
【０００３】
品質の損失（劣化）を部分的に補償する圧縮技術の１つは、送信前にビデオ・データを「ベース・レイヤ」と１つまたは複数の「エンハンスメント・レイヤ」に分離するものである。ベース・レイヤは、ビデオ・シーケンスの大まかなバージョンを含み、比較的わずかな帯域幅を使用して送ることができる。各エンハンスメント・レイヤもわずかな帯域幅しか必要とせず、１つまたは複数のエンハンスメント・レイヤをベース・レイヤと同時に送ることができる。受信端では、復号プロセス中にベース・レイヤをエンハンスメント・レイヤと再結合することができる。エンハンスメント・レイヤは、ベース・レイヤに対する訂正を提供し、したがって出力ビデオの品質を改善する。より多くのエンハンスメント・レイヤを送信すればよりよい出力ビデオが生み出されるが、より多くの帯域幅が必要になる。
【０００４】
国際標準化機構のＭＰＥＧ標準など、いくつかの圧縮方法とファイル・フォーマットが標準化されている。例えば、広く使用されているビデオ圧縮標準の１つは、ＭＰＥＧ‐２と呼ばれるものである。ＭＰＥＧ標準で使用される圧縮技術では、ピクチャ自体ではなく個々のピクチャ間の変化を符号化する。このプロセスにより、帯域幅がかなり節約される。
【０００５】
添付の図面の各図に、本発明を限定ではなく例として示す。図において、同じ参照は同様の要素を示す。
【発明の開示】
【発明実施するための最良の形態】
【０００６】
図１は、ネットワークを介して配信されるビデオ・データが辿る一般的な経路を示すブロック図である。入力ビデオ信号１０がエンコーダ１２に供給され、エンコーダ１２は信号１０を、機械読取り可能な一連のビットすなわちビットストリームの形でビデオ・データに変換する。次いでこのビデオ・データは、ビデオ・データに対する要求があるまでサーバ１４に記憶される。サーバ１４がビデオ・データに対する要求を受け取ると、サーバ１４はこのデータを送信機１６に送り、送信機１６は、ネットワーク上の通信チャネル１８に沿ってデータを送る。受信機２０がデータを受け取り、これをビットストリームとしてデコーダ２２に送る。デコーダ２２は、受け取ったビットストリームを出力ビデオ信号２４に変換する。次いで、このビデオ信号は視聴することができる。
【０００７】
エンコーダ１２中で行われる符号化は、ＭＰＥＧ‐４などの損失し易い圧縮技術を伴う場合があり、ソース・ビデオ・シーケンスによって表される品質よりも低品質の視聴可能ビデオ・シーケンスを生成するデータ本体であるベース・レイヤが得られる。ベース・レイヤは、ビデオ・シーケンスの狭帯域幅バージョンを含む。ベース・レイヤが復号され視聴されたとすれば、ベース・レイヤは元のビデオの劣ったバージョンとして知覚されることになる。以下に述べる受信端でのエンハンスメント技術により、欠けているデータが補償され、円滑で見た目に美しい出力ビデオが生み出される。
【０００８】
エンハンスメント・レイヤは、量子化／切捨てが施されたベース・ビデオ・ピクチャと、量子化前の元の入力ビデオ・ピクチャとの差分を取り込むことができる。エンハンスメント・レイヤは、ベース・レイヤから生成される視聴可能ビデオ・シーケンスの品質を向上させる。受信端でベース・レイヤを単一のエンハンスメント・レイヤと結合すると、ビデオ・データに対する訂正および改善された出力ビデオが生み出される。追加のエンハンスメント・レイヤを結合すると、追加の訂正および追加の改善がもたらされる。受信端でベース・レイヤをすべてのエンハンスメント・レイヤと結合すると、元の入力ビデオとほぼ等しい品質のビデオ出力が得られる。
【０００９】
通常、各エンハンスメント・レイヤは、差分データの１つの「ビット・スライス」である。このような構成では、各ピクチャについての各エンハンスメント・レイヤは一連のビットからなる。エンハンスメント・レイヤは、第１のエンハンスメント・レイヤが最上位ビットを含み、第２のエンハンスメント・レイヤが次の上位ビットを含み、以下同様となるような順序で配置される。このことは、最も重要な訂正が第１のエンハンスメント・レイヤによって行われることを意味する。より多くのエンハンスメント・レイヤを結合することで、出力品質は改善され続ける。このようにして、様々な数のエンハンスメント・レイヤをベース・レイヤと結合することにより、出力ビデオの品質を「スケール」することができる。より少数または多数のエンハンスメント・レイヤを使用して出力ビデオの品質をスケールするプロセスは、「ファイン・グラニュラリティ・スケーラビリティ（Fine Granularity Scalability）またはＦＧＳと呼ばれる。ＦＧＳを利用して、一定範囲の品質の出力ビデオを生み出すことができる。
【００１０】
復号プロセス中にベース・レイヤとすべてのエンハンスメント・レイヤを結合すれば、入力ビデオとほぼ等しい品質のピクチャを有する出力ビデオが生み出されるが、通信チャネルの帯域幅制約のためこの結果を実現することができない場合がある。帯域幅制約により、すべてではなくいくつかのエンハンスメント・レイヤしかベース・レイヤと共に送信できないことがある。ＦＧＳでは、ベース・レイヤとエンハンスメント・レイヤをサーバのメモリに記憶することができる。次いで、特定のチャネルの帯域幅に適したいくつかのエンハンスメント・レイヤと共にベース・レイヤを送ることができる。一般に、チャネルの帯域幅が広いほど、より多くのエンハンスメント・レイヤをベース・レイヤと共に送ることができ、よりよい品質の出力ビデオ信号になる。
【００１１】
より多くのエンハンスメント・レイヤを有するデータをより広い帯域幅のチャネルによって受け取る視聴者は、より少ないエンハンスメント・レイヤを有するデータをより狭い帯域幅のチャネルによって受け取る視聴者よりもよい品質の出力ビデオを視聴できることになる。本明細書に述べる実施形態の利点の１つは、様々な帯域幅を有する様々なチャネルにビデオ・データを容易に適合させることができることである。
【００１２】
図２に、一連の入力ピクチャ３０を符号化し、かつ圧縮し、その結果としてビデオ・データのベース・レイヤ・ビットストリーム３２と１つまたは複数のエンハンスメント・レイヤのビットストリーム３４を得る一実施形態を例証する。ベース・レイヤ・ビットストリーム３２とエンハンスド・レイヤ・ビットストリーム３４とは、マルチプレクサ（Ｍｕｘ）３８によって単一の出力ビットストリーム３６に結合される。
【００１３】
標準的なビデオ符号化圧縮技術４０によってベース・レイヤを生み出すことができる。図２に示す符号化圧縮技術４０は、例示的なものであり、符号化と圧縮を達成する唯一の方法ではない。符号化と圧縮は、離散コサイン変換（ＤＣＴ）４２、量子化（Ｑ）４４、および可変長符号化（ＶＬＣ）４８を利用するものでよい。図２はまた、個々のピクチャ間の変化を符号化する技術も含む。この技術は、逆量子化（ＩＱ）５０、逆離散コサイン変換（ＩＤＣＴ）５２、動き推定からの動きベクトル（｛Ｍ．Ｖ．｝）５９を用いた動き補償（ＭＣ）５４、フレーム記憶５６、および、あるピクチャから次のピクチャへの変化を分離するために入力ピクチャ・ストリーム３０から前のピクチャ６２を引く減算６０を含む。
【００１４】
図２には、エンハンスメント・レイヤを生み出すことになる減算６４も示してある。エンハンスメント・レイヤは、量子化済みベース・ビデオ（再構築済みピクチャとも呼ばれる）と量子化前の入力ビデオとの差分に関する様々なビットを含む。図２で、各ピクチャに対応するエンハンスメント・レイヤは、個々のピクチャ自体に対する向上ではなく、個々のピクチャ間の変化に対する向上を表す。エンハンスメント・レイヤ・データが個々のエンハンスメント・レイヤに構成されるとき、第１のエンハンスメント・レイヤはエンハンスメント・データの最上位ビットを含み、第２のエンハンスメント・レイヤはエンハンスメント・データの次の上位ビットを含み、以下同様になる。これらのビット構成は「ビット・プレーン」と呼ばれることもあり、これらはビット・プレーン・スライサ７０によって生成することができる。ビット・プレーンを生み出す際、１つまたは複数の開始コードをマーカとしてビットストリームに挿入する。図２には、２つの開始コード７２、７６の挿入が示してある。開始コード７２によって「ビデオ・オブジェクト・プレーン」と呼ばれるビット・プレーンのグループをマークすることができ、また、開始コード７６をビット・プレーンＶＬＣ７４に挿入して各ビット・プレーンの開始をマークすることができる。開始コードを挿入してビット・プレーンをマークすることは、実質的に、ビットストリーム中のエンハンスメント・レイヤに対するマーカを表す。
【００１５】
開始コードは、ビデオ・データを復号するときに有用である。開始コードは、バイト整列した固有の連続バイトである。例えば、開始コードは４バイトからなるものとすることができ、最初の３バイトはピクチャ・データの開始を識別し（ピクチャ開始コード）、最後のバイトはデータを識別する（識別コード）。通常、ベース・レイヤ中の各ピクチャに対応する各エンハンスメント・レイヤを開始コードでマークすることができる。一実施形態では、各エンハンスメント・レイヤ中の各ピクチャもまた、開始コードでマークすることができる。開始コードがバイト整列していることで、パーサまたはその他のプロセッサは、ビットストリームを容易に検索し、開始コードを識別し、ビットストリームを容易に解析することができる。開始コードを使用することにより、ビットストリームをビデオ・データのベース・レイヤと２つ以上のエンハンスメント・データ・レイヤに解析することができる。
【００１６】
図３に、エンハンスメント・レイヤ・ビットストリームに挿入することのできる開始コードの例を示す。ビットストリームは、ビデオ・データがあることを識別するための開始コードを１つのビットストリーム内に複数有することができるが、特定のビデオ・シーケンスの開始は「ビデオ・オブジェクト・レイヤ」（ＶＯＬ）開始コード８０でマークすることができる。ＶＯＬ開始コード８０の後には「ビデオ・オブジェクト・プレーン」またはＶＯＰと呼ばれることがある一連のピクチャが続く。ＶＯＰは、実際のピクチャ・データを表すか、あるいは、あるピクチャから次のピクチャへの変化を表している。各ピクチャまたはＶＯＰは、ＶＯＰ開始コード８２でマークされる。ＶＯＰ開始コードは図２のビット・プレーン・スライサー７０で挿入される。加えて、各ピクチャの各エンハンスメント・レイヤは、「ビデオ・オブジェクト・ビット・プレーン」（ＶＯＢＰ）と呼ばれ、それ自体のＶＯＢＰ開始コード８４が与えられる。ＶＯＢＰ開始コード８４は、図２のビット・プレーンＶＬＣ７４で挿入することができる。
【００１７】
各ピクチャは、「スライス」と呼ばれるより小さい単位で構成され、各スライスには、それ自体のスライス開始コード８６が与えられる。スライスは、一般にピクチャの水平ストリップであり、マクロブロックなどの単位で構成されるものとすることができる。マクロブロックは一般に、１６×１６の正方形に配置された２５６個のピクチャ要素またはピクセルからなる。各マクロブロックも開始コードでマークされる。
【００１８】
各エンハンスメント・レイヤ中の各ピクチャに対する開始コードがない場合、個々のエンハンスメント・レイヤについてのデータを容易に回復できないことがある。コンピュータ・プロセッサは通常、特定のバイトが特定のピクチャについての第１データ・バイトであるかどうかを、データ・バイトをチェックすることによって決定することはできない。対照的に、バイト整列した開始コードの場合は、コンピュータ・プロセッサは特定のピクチャについてのデータがどこで開始し、この特定のピクチャについてのデータがどこで終了するかを素早く決定することができる。このようにして開始コードで、エンハンスメント・レイヤを容易に解析することができる。
【００１９】
圧縮されたビデオ・データはすべて、クライアントからデータの要求があるまでサーバなどのメモリ・デバイスに記憶しておくことができる。通常、クライアントは、ビデオ・データなどのリソースをサーバに要求するアプリケーションである。
【００２０】
図４に、サーバがビデオ・データをクライアントに提供するのに用いることのできる各ステップを示す。ベース・レイヤとエンハンスメント・レイヤとを含むビデオ・データをサーバのメモリに記憶する（９０）。クライアントが通信チャネルに沿ってビデオ・データをサーバに要求すると（９２）、サーバ中のプロセッサが、クライアントの通信チャネルの帯域幅の量を決定する（９４）。利用可能な帯域幅の量をサーバが確認することのできる方法としては多くの方法がある。ある方法は、クライアントから帯域幅情報を提供してもらうことである。サーバ中のプロセッサはさらに、利用可能な帯域幅内でいくつのエンハンスメント・レイヤをチャネルに沿って確実に送信できるかを決定する（９６）。
【００２１】
エンハンスメント・レイヤをいくつ送信できるかを決定した後、サーバは、クライアントに送るビデオ・データのビットストリームを準備する（９８）。送られるビットストリームは、ベース・レイヤと、利用可能チャネルの帯域幅までの１つまたは複数のエンハンスメント・レイヤを含む。サーバから送られるエンハンスメント・レイヤの数は整数である必要はない。このようにして、クライアントに送られるエンハンスメント・レイヤの数をクライアントの帯域幅に従って調整することにより、ビデオ送信にフレキシビリティが加わる。
【００２２】
ビットストリームを準備するために、サーバは、デマルチプレクサを使用してベース・レイヤ・データをエンハンスメント・レイヤ・データから分離し、次いでエンハンスメント・レイヤ・データを適した数のエンハンスメント・レイヤのビットストリームに解析する。解析には、符号化プロセス中に挿入された開始コードを使用することができる。エンハンスメント・レイヤ・ビット・プレーンは通常、最も重要なものから最も重要でないものの順に配置され、サーバは、これらのレイヤをその重要度の順に送る。送られたエンハンスメント・レイヤは、ベース・レイヤに対するより重要な訂正に相当し、送られなかったレイヤは、より重要でない訂正に相当する。ベース・レイヤと解析されたエンハンスメント・レイヤは、送信前に単一のビットストリームに多重化することができる。
【００２３】
図５に、通信チャネルを介してサーバから送られ、クライアントによって受け取られたビデオ・データを復号し、回復する方法を説明する。受信端で、デコーダへの入力は、ビデオ・データのビットストリーム１００を含む。ビデオ・データのビットストリーム１００は、ベース・レイヤ・データのビットストリーム１０２と、エンハンスメント・レイヤ・データのビットストリーム１０４に分離することができる。ビットストリームの分離にはデマルチプレクサ（Ｄｅｍｕｘ）１０６を使用することができる。
【００２４】
ベース・レイヤとエンハンスメント・レイヤは、異なる復号プロセス、すなわち「パイプライン」１１６、１１８にかけることができる。ベース・レイヤとエンハンスメント・レイヤの符号化が同一のステップを含まない場合があるのと同様に、復号プロセスにもいくつかの違いがある場合がある。
【００２５】
ベース・レイヤ復号パイプライン１１８では、ベース・レイヤを、可変長復号（ＶＬＤ）１２０、逆量子化（ＩＱ）１２２、逆走査（ＩＳ）１２４、および逆離散コサイン変換（ＩＤＣＴ）１２６にかけることができる。ＶＬＤ１２０、ＩＱ１２２、ＩＳ１２４、およびＩＤＣＴ１２６のオペレーションは、本質的に、図２に示した符号化中に行われたＶＬＣ４８、Ｑ４４，Ｓ４６、およびＤＣＴ４２のオペレーションを取り消す。復号されたベース・レイヤ・データを、次いで、動き補償器（ＭＣ）１３０中で処理することができる。ＭＣ１３０は、あるピクチャから次のピクチャへの変化に基づいて個々のピクチャを再構築することができる。前のピクチャまたは「参照」ピクチャ１３４からのデータを、「フレーム・バッファ」１３６と呼ばれる一時メモリ・ユニットに記憶し、参照として使用することができる。ＩＤＣＴ１２６からの復号済みデータをＭＣ１３０が使用して、シーケンス中の次のピクチャが前のピクチャからどれくらい変化しているかを決定することができる。ＩＤＣＴ１２６は無効なビデオ・データを生み出す場合があるので、「クリップ」機能１３２を使用してデータを調整する。例えば、有効なビデオ・データは０から２５５まで（２５５を含む）のいずれかの数とすることができ、０は黒色ピクセルを表し、２５５は白色ピクセルを表す。ＩＤＣＴオペレーション１２６が無効な負の数を返した場合、クリップ・オペレーション１３２は、このデータを０に設定して有効にすることができる。同様に、ＩＤＣＴオペレーション１２６が２５５よりも大きい数を返した場合、クリップ・オペレーション１３２は、このデータを２５５に設定することができる。ベース・レイヤ・パイプライン１１８の出力はベース・レイヤ・ビデオ・データ１３８である。図５に示す復号技術は例示的なものであり、復号を達成するための唯一の方法ではない。
【００２６】
エンハンスメント・レイヤのための復号パイプライン１１６は、ベース・レイヤ１１８のための復号パイプライン１１８とは異なる。エンハンスメント・レイヤ・ビットストリーム１０４は、各エンハンスメント・レイヤにつき１つのビットストリームとして、エンハンスメント・レイヤ・データの個々のビットストリーム１０８、１１０、１１２にさらに分離することができる。エンハンスメント・レイヤ・ビットストリームをエンハンスメント・レイヤ・データの個々のビットストリーム１０８、１１０、１１２に分離するには、前パーサ１１４を使用することができる。前パーサ１１４は、符号化プロセス中に挿入されたビット・プレーン開始コードを使用して事前解析を達成することができる。事前解析により、各エンハンスメント・レイヤ１０８、１１０、１１２についてのデータを並列に復号することができる。
【００２７】
図５では、単一のピクチャについて複数のエンハンスメント・レイヤ１０８、１１０、１１２を復号することが必要な場合がある。部分的なエンハンスメント・レイヤが送られた場合、これはデコーダへの別個の並列入力を形成する。図５では、Ｍ個のレイヤが並列で復号される。Ｍ番目すなわち最後のレイヤ１１２は、送信前にサーバによって切り捨てられたものである場合もあり、完全なレイヤである必要はない。各エンハンスメント・レイヤを、ＶＬＤプロセス１４０とＩＳプロセス１４２にかける。符号化時に量子化が必要でなかった場合があるので、復号中にもエンハンスメント・レイヤのためのＩＱが必要でない場合がある。
【００２８】
ＩＳプロセス１４２の後、エンハンスド・レイヤをビット・プレーン・アキュムレータ１４４中で累算することができる。ビット・プレーン・アキュムレータ１４４は、各ビット・プレーンごとに最上位ビットをその正しい位置に配置し、次の上位ビットをその位置に配置し、以下同様にする。すべてよりも少ないエンハンスメント・レイヤがサーバから送られた場合は、ビット・プレーンが完全に埋められず、ビット・プレーン中のいくらかのデータが不確定である場合がある。ビット・プレーンを埋めるためのいくつかのルーチンを利用することができる。例えば、最下位ビットのための場所を単にランダム・ノイズで埋めることができる。次いで、ビット・プレーンはＩＤＣＴオペレーション１４６を受ける。
【００２９】
エンハンスメント・レイヤ・パイプライン１１６からの出力１５０は訂正を表しており、訂正は次いでベース・レイヤ・ビデオ１３８と合計される（１５２）。合計オペレーションからの出力１５６は、クリップ機能１４８にかけて範囲外のデータを除去することができる。クリップ機能１４８からの出力１５４は、チャネル帯域幅によって許容される程度まで向上され視聴できるようになったピクチャの最終バージョンである。このピクチャを、フレーム・バッファ１３６に記憶し、後続のピクチャに対する参照１３４として役立てることができる。通常のビューアは、フレーム・バッファ１３６からデータを読み出すことになり、フレーム・バッファ１３６は、間断のないビデオ・ピクチャ・データのストリームをビューアに提供することができる。
【００３０】
図５に示すデコーダは例示的なものである。図５に示すオペレーションのいくつかは線形であり、異なる順序で行うこともできる。例えば、ベース・レイヤとエンハンスメント・レイヤの加算は、ＩＤＣＴオペレーション１２６、１４６の前に行うこともできる。さらに代替の一実施形態では、エンハンスメント・レイヤにおけるオペレーションの多くは、並列ではなく直列で行うこともできる。
【００３１】
一実施形態では、エンハンスメント・レイヤは代替ＦＧＳを使用して生成される。前述のＦＧＳと同様、この代替ＦＧＳ符号化方式もまた、ビデオ・データ・フレームを比較的低品質のビデオのベース・レイヤと、だんだん高品質になるビデオの任意にスケール可能な複数のエンハンスメント・ビット・プレーン・レイヤとに符号化する。違いの１つは、代替ＦＧＳでは、何らかのエンハンスメント・レイヤ符号化のためにより高品質の参照（例えば前のエンハンスメント・フレーム）を使用して符号化効率を上げることである。より高品質の参照によって、より正確な動き補償をもたらすことができる。
【００３２】
一実施形態では、図６に示すように、下位エンハンスメント・レイヤ６８０に予測モード６７８が追加される。具体的には、予測モード６７８により、エンハンスメント・レイヤにおける入力ビデオ（マクロブロック）の減算を予測することができる（すなわち、複数の参照のうちの１つから、入力ビデオと前に処理された（例えば量子化された）ビデオとの差分を生成することができる）。
【００３３】
一実施形態では、図６に示すように、異なる３つの予測モードがある。すなわち、１）現在の再構築済みベース・レイヤ６８２からの予測（現在の再構築済みベース・レイヤを使用すると誤差ドリフトを低減することができる）、２）前のエンハンスメント・フレーム６８４からの予測（場面によっては、この動き予測されたエンハンスメント・レイヤからより高品質の参照がもたらされる。したがってこのモードを用いて剰余を低減し符号化効率を上げる）、および３）前のエンハンスメント・フレームと現在の再構築済みベース・レイヤ６８６との結合６８６（例えばこの２つの参照の平均、またはこの別個の２つの参照のその他何らかの結合）からの予測である。
【００３４】
一実施形態では、予測モードの選択は、入力ビデオのサブセクション（例えばマクロブロック）を、前のエンハンスメント・フレームのサブセクション６８４、現在の再構築済みベース・レイヤ６８２、かつ／または、前のエンハンスメント・フレームと現在の再構築済みベース・レイヤとの結合と比較することによって適応的に行う。この比較に基づいて予測モードを選択することができる。一実施形態では、入力ビデオに最も近い参照を選択することになる。というのは、符号化する差分がより少なくなるからである。一実施形態では、近さの尺度は、ピクセル・ブロック間で異なる絶対値の合計に基づく。一実施形態では、誤差ドリフトを低減するため周期的に、予測モードの選択は常に現在の再構築済みベース・レイヤからの予測となる。
【００３５】
さらに一実施形態では、再構築済みデータ本体の選択は、エンコーダからデコーダに送られるビットストリームのシンタックス中で示される。あるいは、予測モードにおける再構築済みデータ本体の選択は、再構築済みベース・レイヤや再構築済みエンハンスド・レイヤとは別に、エンコーダからデコーダに送ることもできる。さらに、第１の動きベクトルのセットを使用して第１の再構築済みデータ本体が生成され、この第１の動きベクトルのセットを使用して第２の再構築済みデータ本体も生成される。
【００３６】
加えて、図６にさらに示すように一実施形態では、前のエンハンスメント・フレーム６８４は、前述のように空間領域再構築およびクリッピング６９０にかけられた後で、予測モードによって受け取られる。また、現在の再構築済みベース・レイヤ６８２も、空間領域再構築およびクリッピング６８８にかけられた後で予測モードによって受け取られる。クリッピングする結果、エンコーダとデコーダの複雑さを低減することができる。
【００３７】
図７に、復号されるエンハンスメント・レイヤにどの参照を追加するかを決定するための予測モードを備えるデコーダを示す。図示のように予測モードは、現在の復号済みベース・レイヤ７８２、前の復号済みエンハンスメント・フレーム７８４、および／または、前の復号済みエンハンスメント・フレームと現在の復号済みベース・レイヤとの結合７８６から選択することができる。
【００３８】
図７にさらに示すように、一実施形態では、前の復号済みエンハンスメント・フレーム７８４は、前述のように空間領域再構築およびクリッピング７９０にかけられた後でデコーダ予測モード７７８によって受け取られる。また、現在の復号済みベース・レイヤ７８２も、空間領域再構築およびクリッピング７８８にかけられた後で予測モードによって受け取られる。
【００３９】
前述の方法、エンコーダ、およびデコーダは、実行される命令のセットとしてコンピュータ・システム（例えばセット・トップ・ボックス、ビデオ・レコーダなど）のメモリに記憶することができる。加えて、前述の方法、エンコーダ、およびデコーダを実施するための命令は、別法として、磁気ディスクや光ディスクを含めた他の形の機械可読媒体に記憶することもできる。例えば本発明の方法は、磁気ディスクや光ディスクなど、ディスク・ドライブ（またはコンピュータ可読媒体ドライブ）を介してアクセス可能な機械可読媒体に記憶することができる。さらに命令は、コンパイルされ、リンクされたバージョンの形でネットワークを介してコンピューティング・デバイスにダウンロードすることもできる。
【００４０】
あるいは、以上に論じた方法、エンコーダ、およびデコーダを実施するためのロジックは、大規模集積回路（ＬＳＩ）、特定用途向け集積回路（ＡＳＩＣ）、電気的消去可能プログラマブル読出し専用メモリ（ＥＥＰＲＯＭ）などのファームウェア等、離散ハードウェア・コンポーネントなどの追加のコンピュータおよび／または機械可読媒体に実装することもでき、また、電気、光、音響、およびその他の形の伝搬信号（例えば搬送波、赤外線信号、ディジタル信号など）に実装することもできる。さらに、前述のエンコーダおよびデコーダは、グラフィックス・コントローラ（チップセット・デバイスに統合される場合とそうでない場合がある）など、同じハードウェア・コンポーネントに実装することができる。
【００４１】
本発明を特定の例示的な実施形態に関して述べたが、本発明のより広範な趣旨および範囲を逸脱することなく、これらの実施形態に様々な修正および変更を加えることができることは明白であろう。したがって、本明細書および図面は、限定的な意味ではなく例示的な意味で考えるべきである。
【図面の簡単な説明】
【００４２】
【図１】ビデオ信号の経路を示す機能ブロック図である。
【図２】ビデオの符号化と圧縮を示すブロック図である。
【図３】ビットストリーム中のエンハンスメント・レイヤ・データを階層的に表す図である。
【図４】サーバが実施するステップを示すフロー・チャートである。
【図５】ビデオの復号を示すブロック図である。
【図６】一実施形態によるビデオの符号化と圧縮を示すブロック図である。
【図７】一実施形態によるビデオの復号を示すブロック図である。
【図１】
2004533134.tif 000003
【図２】
2004533134.tif 000004
【図３】
2004533134.tif 000005
【図４】
2004533134.tif 000006
【図５】
2004533134.tif 000007
【図６】
2004533134.tif 000008
【図７】
2004533134.tif 000009
【国際公開パンフレット】
2004533134.tif 000010
2004533134.tif 000011
2004533134.tif 000012
2004533134.tif 000013
2004533134.tif 000014
2004533134.tif 000015
2004533134.tif 000016
2004533134.tif 000017
2004533134.tif 000018
2004533134.tif 000019
2004533134.tif 000020
2004533134.tif 000021
2004533134.tif 000022
2004533134.tif 000023
2004533134.tif 000024
2004533134.tif 000025
2004533134.tif 000026
2004533134.tif 000027
2004533134.tif 000028
2004533134.tif 000029
2004533134.tif 000030
2004533134.tif 000031
2004533134.tif 000032
2004533134.tif 000033
2004533134.tif 000034
2004533134.tif 000035
2004533134.tif 000036
2004533134.tif 000037
2004533134.tif 000038
2004533134.tif 000039
2004533134.tif 000040
2004533134.tif 000041
【国際公開パンフレット（コレクトバージョン）】
2004533134.tif 000042
【国際調査報告】
2004533134.tif 000043
2004533134.tif 000044
2004533134.tif 000045