(57)【要約】  本発明は、ビデオフレームからなる第一の入力ストリームの形式で利用可能なビデオデータを符号化する方法、及び対応する符号化装置に関する。この方法は、たとえば３つの連続するステージ１０１，１０２，１０３で実現され、（ａ）第一のベースレイヤビットレートでの伝送に適した第一の符号化されたベースレイヤストリームＢＬ１を生成するため、第一の入力ストリームをエンコードするステップ、（ｂ）第一の入力ストリーム及びデコードされたバージョンの第一の符号化されたベースレイヤストリームに基づいて、第一の符号化されたエンハンスメントレイヤストリームＥＬ１を生成するため、第一のエンハンスメントレイヤストリームの形式における第一の残差フレームのセットを生成し、第一のエンハンスメントレイヤストリームをエンコードするステップ、及び更なる符号化されたベースレイヤストリームＢＬ２，ＢＬ３，．．．及び更なる符号化されたエンハンスメントストリームＥＬ２，ＥＬ３，．．．を生成するため、（ｃ）同じタイプのプロセスを少なくとも１度繰返すステップを含む。第一の入力ストリームは、要求された空間解像度を得るため、低いビットレートをもつ空間解像度までベースレイヤをエンコードし、要求された空間解像度に対応する最後のベースレイヤ及び／又はエンハンスメントレイヤに高いビットレートを割り当てることで圧縮される。対応する伝送方法も提案される。
2007520950.tif 000002
【特許請求の範囲】
【請求項１】
ビデオフレームからなる第一の入力ストリームの形式で利用可能なビデオデータを符号化する方法であって、
当該方法は、
（Ａ）第一のベースレイヤビットレートでの伝送に適した第一の符号化されたベースレイヤストリームを生成するため、前記第一の入力ストリームをエンコードするステップと、
（Ｂ）前記第一の入力ストリーム及び局所的にデコードされたバージョンの前記第一の符号化されたベースレイヤストリームに基づいて、第一の符号化されたエンハンスメントレイヤストリームを生成するため、第一のエンハンスメントレイヤストリームの形式における第一の残差フレームのセットを生成し、前記第一のエンハンスメントレイヤストリームをエンコードするステップと、
（Ｃ）同じタイプのプロセスを少なくとも１度繰返し、すなわち前記第一の入力ストリームと前記局所的にデコードされたバージョンの第一の符号化されたベースレイヤストリームとの間の差により第二の入力ストリームを生成し、前記第二の入力ストリームに基づいて、第二のベースレイヤビットレートでの伝送に適した第二の符号化されたベースレイヤストリームと、前記第二の入力ストリーム及び局所的にデコードされたバージョンの前記第二の符号化されたベースレイヤストリームに基づいて、第二の符号化されたエンハンスメントレイヤストリームを生成するために符号化される第二のエンハンスメントレイヤストリームの形式で第二の残差フレームのセットとを生成するため、タイプ（Ａ）及び（Ｂ）の２つのステップを前記第二の入力ストリームに適用するステップと、
（Ｄ）第三の符号化されたベース及びエンハンスメントレイヤストリームを生成するためにプログレッシブに増加する指標をもつ、前記ステップ（Ｃ）で提供された動作に類似の動作を含む前記プロセスを更に繰返すステップとを含み、
前記第一の入力ストリームは、予め決定された要求された空間解像度を得るため、ｃ）低いビットレートをもつ前記要求される空間解像度までベースレイヤをエンコードし、ｄ）前記要求された空間解像度に対応する最後のベースレイヤ及び／又はエンハンスメントレイヤに高いビットレートを割り当てることで圧縮される、
ことを特徴とする方法。
【請求項２】
前記ステップ（Ｃ）及び（Ｄ）に係るそれぞれの繰返しステップの前に、前記繰返しステップに対応してＤＣオフセット値が入力ストリームに追加される。
請求項１記載の符号化方法。
【請求項３】
ビデオフレームの第一の入力ストリームの形式で利用可能なビデオデータを符号化するコードを含む記憶媒体であって、
当該コードは、
（Ａ）第一のベースレイヤビットレートでの伝送のために適した第一の符号化されたベースレイヤストリームを生成するため、前記第一の入力ストリームをエンコードするコードと、
（Ｂ）前記第一の入力ストリーム及び局所的にデコードされたバージョンの前記第一の符号化されたベースレイヤストリームに基づいて、第一の符号化されたエンハンスメントレイヤストリームを生成するため、第一のエンハンスメントレイヤストリームの形式における第一の残差フレームのセットを生成し、前記第一のエンハンスメントレイヤストリームをエンコードするコードと、
（Ｃ）同じタイプのプロセスを少なくとも１度繰返し、すなわち前記第一の入力ストリームと前記局所的にデコードされたバージョンの第一の符号化されたベースレイヤストリームとの間の差により第二の入力ストリームを生成し、前記第二の入力ストリームに基づいて、第二のベースレイヤビットレートでの伝送に適した第二の符号化されたベースレイヤストリームと、前記第二の入力ストリーム及び局所的にデコードされたバージョンの前記第二の符号化されたベースレイヤストリームに基づいて、第二の符号化されたエンハンスメントレイヤストリームを生成するためにエンコードされる第二のエンハンスメントレイヤストリームの形式で第二の残差フレームのセットとを生成するため、タイプ（Ａ）及び（Ｂ）の２つのステップを前記第二の入力ストリームに適用するコードと、
（Ｄ）第三の符号化されたベース及びエンハンスメントレイヤストリームを生成するためプログレッシブに増加する指標をもつ、前記（Ｃ）で提供される動作に類似の動作をもつ前記プロセスを更に繰返すコードとを含む、
ことを特徴とする記憶媒体。
【請求項４】
ビデオフレームからなる第一の入力ストリームの形式で利用可能なビデオデータを符号化する装置であって、
（Ａ）第一のベースレイヤビットレートでの伝送のために適した第一の符号化されたベースレイヤストリームを生成するため、前記第一の入力ストリームをエンコードする手段と、
（Ｂ）前記第一の入力ストリーム及び局所的にデコードされたバージョンの前記第一の符号化されたベースレイヤストリームに基づいて、第一の符号化されたエンハンスメントレイヤストリームを生成するため、第一のエンハンスメントレイヤストリームの形式における第一の残差フレームのセットを生成し、前記第一のエンハンスメントレイヤストリームをエンコードする手段と、
（Ｃ）同じタイプのプロセスを少なくとも１度繰返し、すなわち前記第一の入力ストリームと前記局所的にデコードされたバージョンの第一の符号化されたベースレイヤストリームとの間の差により第二の入力ストリームを生成し、第二のベースレイヤビットレートでの伝送に適した第二の符号化されたベースレイヤストリーム、及び第二の符号化されたエンハンスメントレイヤストリームを生成するため、タイプ（Ａ）及び（Ｂ）の２つのステップを前記第二の入力ストリームに適用する手段と、
（Ｄ）第三の符号化されたベース及びエンハンスメントレイヤストリームを生成するためプログレッシブに増加する指標をもつ、前記（Ｃ）で提供された動作に類似の動作を含む前記（Ｃ）のプロセスを更に繰返す手段とを有し、
前記第一の入力ストリームは、予め決定された要求された空間解像度を得るため、低いビットレートをもつ前記要求された空間解像度にまでベースレイヤをエンコードし、前記要求された空間解像度に対応する最後のベースレイヤ及び／又はエンハンスメントレイヤに高いビットレートを割り当てることで圧縮される、
ことを特徴とする装置。
【請求項５】
請求項４記載のビデオ符号化装置と、前記装置で又は該装置と関連して、マルチメディアネットワークに属する複数のデコーダ又はユーザに前記符号化されたベースレイヤ及びエンハンスメントレイヤを伝送するコントローラとを有する伝送システムであって、
前記コントローラは、利用可能な帯域幅に依存して、前記符号化されたベースレイヤの全部又は一部の伝送を実現し、特定のデコーダ又はユーザの要件又は関連されるデコード能力に従って、前記デコーダ又はユーザにのみ対応する特定の解像度で符号化されたエンハンスメントレイヤの全部又は一部の伝送を実現する、
ことを特徴とする伝送システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画の符号化の分野に関し、より詳細には、空間及びＳＮＲファイングラニュラースケーラブルビデオ圧縮のアルゴリズムに関し、より正確には、ビデオフレームの第一の入力ストリームの形式で利用可能なビデオデータを符号化する方法に関する。  
また、本発明は、対応する符号化装置、及びかかる符号化装置を有する伝送システムに関する。
【背景技術】
【０００２】
多くの用途では、圧縮されたビデオ系列は、異なる解像度及び品質で利用される必要がある。異なるレベルの解像度又は品質でのビデオ系列の符号化は、スケーラブル符号化技術の使用により達成される場合がある。スケーラビリティの可能な実現の１つは、階層符号化であり、符号化されたビットストリームは、２以上のビットストリームすなわちレイヤに分離可能であり、このレイヤは、所与の要求に従って特定の品質及び／又はビデオ解像度で１つのビデオストリームを形成するために多かれ少なかれ結合することができる。
【０００３】
クオリティスケーラビリティのケースでは、いわゆる信号対雑音比（ＳＮＲ）スケーラビリティ、ベースレイヤ（ＢＬ）は、低品質のビデオ信号を提供する場合があり、１以上のエンハンスメントレイヤ（ＥＬ）は、ベースレイヤ画像を改善することができる更なる情報を提供する。空間スケーラビリティのケースでは、ベースレイヤビデオは、入力ビデオ系列よりも低い解像度を有し、エンハンスメントレイヤは、入力系列の解像度を回復することができる情報を含む。ＳＮＲスケーラビリティを提供する効率的なアルゴリズムは、ベースレイヤ符号化情報を使用して、改善されたファイングラニュラースケーラブルビデオのシステム及び方法に関連する、文献ＷＯ０１／０２４４１（ＰＨＡ２３７２５）で記載されるように、伝送帯域幅のワイドレンジをサポートする、ファイングラニュラースケーラビリティ（FGS:  Fine  Granular  Scalability）である。このスキームは、ＭＰＥＧ−４規格の一部として適合されているが、残念なことに、画像の空間解像度を変更することを狙いとしていない。
【０００４】
たとえば文献ＷＯ０２／３３９５２及びＷＯ０３／４７２６０で記載されるように、１つのスキームで空間スケーラビリティとＦＧＳスケーラビリティを結合することが最近になって提案されている。ＷＯ０２／３３９５２で記載される方法によれば、ビデオデータ画像は、ベースレイヤフレームを生成するためダウンスケールされ、エンコードされる。品質がエンハンスされた残差画像は、ダウンスケールされたビデオデータ、並びにエンコード／デコードされたＢＬフレームから生成される。これら残差フレームは、クヲリティエンハンスメントレイヤＥＬ１を生成するためにＦＧＳ技術を使用してエンコードされる。デコードされたＢＬ信号は、部分的にデコードされたＥＬ１に追加され、受信された信号は、アップスケールされる。受信されたアップスケールされた信号と入力信号との間の差は、空間エンハンスメントレイヤＥＬ２を形成するためのＦＧＳ技術を使用してエンコードされる。
【０００５】
しかし、この方法は、幾つかの問題点を有する。  
（ａ）たった２つの空間レイヤ（ＢＬ及びＥＬ２）をもつストリームが生成されるので、空間スケーラビリティのレンジが制限される。  
（ｂ）空間エンハンスメントレイヤＥＬ２における時間的な冗長度が全く利用されず、この方法が多くの時間的な冗長度を持つ系列に上手く機能しないという主要な結果となる。  
（ｃ）ＥＬ２の生成について、（ビットレートＲＥＬ１をもつ）ＥＬ１の幾つかの部分が使用され、これにより、実際の伝送ビットレートがＲＥＬ１よりも低い場合に、ドリフト及び補償されないエラーの様相のいずれかとなり、ＥＬ１の伝送ビットレートがＲＥＬ１よりも高い場合に非効率的な圧縮となる。  
（ｄ）標準的なＭＰＥＧ−４  ＦＧＳスキームでさえ、受信されたＥＬ２が規格と互換性がない。  
（ｅ）ＢＬ、ＥＬ１及びＥＬ２の間のビットレート割り当ては容易ではなく、空間エンハンスメントレイヤについて保証されたビットレート（及び品質）はなく、高い解像度画像での品質の変動につながる。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
したがって、本発明の目的は、最新のＦＧＳ空間スケーラビリティスキームの上述された問題点の少なくとも１部を克服することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明は、ビデオフレームからなる第一の入力ストリームの形式で利用可能なビデオデータを符号化する方法に関する。
【０００８】
当該方法は、以下のステップを有する。  
（Ａ）第一のベースレイヤビットレートでの伝送のために適した第一の符号化されたベースレイヤストリームを生成するため、前記第一の入力ストリーム（ＦＩＳ）を符号化するステップ。  
（Ｂ）前記第一の入力ストリーム（ＦＧＳ）及び局所的にデコードされたバージョンの前記第一の符号化されたベースレイヤストリームに基づいて、第一の符号化されたエンハンスメントレイヤストリーム（ＥＬ１）を生成するため、第一のエンハンスメントレイヤストリームの形式における第一の残差フレームのセットを生成し、前記第一のエンハンスメントレイヤストリームをエンコードするステップ。  
（Ｃ）同じタイプのプロセスを少なくとも１度繰返し、すなわち前記第一の入力ストリーム（ＦＩＳ）と前記局所的にデコードされたバージョンの第一の符号化されたベースレイヤストリームとの間の差により第二の入力ストリーム（ＳＩＳ）を生成し、前記第二の入力ストリーム（ＳＩＳ）に基づいて、第二のベースレイヤビットレートでの伝送に適した第二の符号化されたベースレイヤストリーム（ＢＬ２）と、前記第二の入力ストリーム及び局所的にデコードされたバージョンの前記第二の符号化されたベースレイヤストリームに基づいて、第二の符号化されたエンハンスメントレイヤストリーム（ＥＬ２）を生成するために符号化される第二のエンハンスメントレイヤストリームの形式で第二の残差フレームのセットとを生成するため、タイプ（Ａ）及び（Ｂ）の２つのステップを前記第二の入力ストリーム（ＳＩＳ）に適用するステップ。  
（Ｄ）第三の符号化されたベース及びエンハンスメントレイヤストリーム（ＢＬ３，ＥＬ３）を生成するためプログレッシブに増加する指標をもつ、（Ｃ）で提供された動作に類似の動作を含む前記プロセスを更に繰返すステップ。  
かかる第一の入力ストリームは、予め決定された要求された空間解像度を得るため、ａ）低いビットレートでの前記要求される空間解像度までベースレイヤ（ＢＬ１、ＢＬ２，．．．）をエンコードし、ｂ）前記要求された空間解像度に対応する最後のベースレイヤ及び／又はエンハンスメントレイヤに高い解像度を割り当てることで圧縮される。
【０００９】
最新式の技術と比較して、提案される方法は、３以上の空間解像度のレイヤを生成できるものであって、低解像度のエンハンスメントレイヤのデコードと高解像度のベースレイヤとの間の切り替えのため、品質が次第に変化するのを可能にし、ノンスケーラブルベースレイヤのストリームは低ビットレートを有するため、ファイングラニュラリティのＳＮＲスケーラビリティを提供することができる。さらに、空間解像度のエンコーダは、フィードバックループにあり、高い解像度でドリフトが現れず、それぞれのベースレイヤは、前の例やの圧縮及び空間スケーリングエラーを補償する。
【００１０】
好ましくは、（Ｃ）及び（Ｄ）に係るそれぞれの繰返しステップの前に、たとえば８ビットビデオサンプルについて１２８といった、ビデオレンジの中央の周りに対応するサンプルを集中するため、前記繰返しステップに対応してＤＣオフセット値が入力ストリームに追加される。エンハンスメント及びベースレイヤの符号化装置の標準コンポーネントを使用することができ、費用対効率の高い実現となる。
【００１１】
また、本発明の目的は、かかる方法の実現を可能にするコードを記憶する記憶媒体を提案することにある。  
上記目的のため、本発明は、ビデオフレームの第一の入力ストリームの形式で利用可能なビデオデータを符号化するコードを含む記憶媒体に関する。当該コードは、以下を有する。
【００１２】
（Ａ）第一のベースレイヤビットレートでの伝送に適した第一の符号化されたベースレイヤストリーム（ＢＬ１）を生成するため、前記第一の入力ストリーム（ＦＩＳ）を符号化するコード。  
（Ｂ）前記第一の入力ストリーム（ＦＧＳ）及び局所的にデコードされたバージョンの前記第一の符号化されたベースレイヤストリームに基づいて、第一の符号化されたエンハンスメントレイヤストリーム（ＥＬ１）を生成するため、第一のエンハンスメントレイヤストリームの形式における第一の残差フレームのセットを生成し、前記第一のエンハンスメントレイヤストリームをエンコードするコード。  
（Ｃ）同じタイプのプロセスを少なくとも１度繰返し、すなわち前記第一の入力ストリーム（ＦＩＳ）と前記局所的にデコードされたバージョンの第一の符号化されたベースレイヤストリームとの間の差により第二の入力ストリーム（ＳＩＳ）を生成し、前記第二の入力ストリーム（ＳＩＳ）に基づいて、第二のベースレイヤビットレートでの伝送に適した第二の符号化されたベースレイヤストリーム（ＢＬ２）と、前記第二の入力ストリーム及び局所的にデコードされたバージョンの前記第二の符号化されたベースレイヤストリームに基づいて、第二の符号化されたエンハンスメントレイヤストリーム（ＥＬ２）を生成するために符号化される第二のエンハンスメントレイヤストリームの形式で第二の残差フレームのセットを生成するため、タイプ（Ａ）及び（Ｂ）の２つのステップを前記第二の入力ストリーム（ＳＩＳ）に適用するコード。  
（Ｄ）第三の符号化されたベース及びエンハンスメントレイヤストリーム（ＢＬ３，ＥＬ３等）を生成するためプログレッシブに増加する指標をもつ、（Ｃ）で提供された動作に類似の動作をもつ前記プロセスを更に繰返すコード。  
さらに、本発明の目的は、本発明に係る符号化方法を実行するのを可能にする符号化装置を提案することにある。  
上記目的を達成するため、本発明は、ビデオフレームからなる第一の入力ストリームの形式で利用可能なビデオデータを符号化する装置に関し、かかる符号化装置は、以下の手段を有する。
【００１３】
（Ａ）第一のベースレイヤビットレートでの伝送のために適した第一の符号化されたベースレイヤストリーム（ＢＬ１）を生成するため、前記第一の入力ストリーム（ＦＩＳ）を符号化する手段。  
（Ｂ）前記第一の入力ストリーム（ＦＧＳ）及び局所的にデコードされたバージョンの前記第一の符号化されたベースレイヤストリームに基づいて、第一の符号化されたエンハンスメントレイヤストリーム（ＥＬ１）を生成するため、第一のエンハンスメントレイヤストリームの形式における第一のセットの残差フレームを生成し、前記第一のエンハンスメントレイヤストリームをエンコードする手段。  
（Ｃ）同じタイプの少なくとも１つのプロセスを繰返し、すなわち前記第一の入力ストリーム（ＦＩＳ）と前記局所的にデコードされたバージョンの第一の符号化されたベースレイヤストリームとの間の差により第二の入力ストリーム（ＳＩＳ）を生成し、第二のベースレイヤビットレートでの伝送に適した第二の符号化されたベースレイヤストリーム（ＢＬ２）と、第二の符号化されたエンハンスメントレイヤストリーム（ＥＬ２）を生成するため、タイプ（Ａ）及び（Ｂ）の２つのステップを前記第二の入力ストリーム（ＳＩＳ）に適用する手段。  
（Ｄ）第三の符号化されたベース及びエンハンスメントレイヤストリーム（ＢＬ３，ＥＬ３等）を生成するためプログレッシブに増加する指標をもつ、（Ｃ）で提供された動作に類似の動作を含むステップ（Ｃ）のプロセスを更に繰返す手段。  
前記第一の入力ストリームは、予め決定された要求された空間解像度を得るため、低いビットレートをもつ前記要求された空間解像度にまでベースレイヤ（ＢＬ１、ＢＬ２）をエンコードし、前記要求された空間解像度に対応する最後のベースレイヤ及び／又はエンハンスメントレイヤに高いビットレートを割り当てることで圧縮される。
【００１４】
かかる符号化装置は、たとえば、前記装置、該装置内部又は該装置と関連して、前記符号化されたベースレイヤ（ＢＬ１，ＢＬ２，．．．）及びエンハンスメントレイヤ（ＥＬ１，ＥＬ２，．．．）をマルチメディアネットワークに属する複数のデコーダ又はユーザに伝送するコントローラを有する伝送システムで使用することができ、かかるコントローラは、特定のデコーダ又はユーザの要件又は関連されるデコード容量に従って、利用可能な帯域幅に依存して、符号化されたベースレイヤ、及び前記デコーダ又はユーザにのみ対応する特定の解像度で符号化されたエンハンスメントレイヤの全部又は一部の伝送を実現する。
【発明を実施するための最良の形態】
【００１５】
本発明は、添付図面を参照して、例示を通して以下に記載される。  
図１には、提案される主要な実施の形態のスキームが示されている。例示されるコーダは、それぞれの空間解像度について３つのレベルからなる空間スケーラビリティ及びＦＧＳクオリティエンハンスメントレイヤを生成する連続する３つのステージ（１０１で参照される第一のステージ、並びに１０２及び１０３で参照される２つの類似のステージ）を含んでいる。ノンスケーラブルストリームＢＬ１，ＢＬ２，ＢＬ３は、ベースレイヤ情報を提供し、３つの空間解像度での最小の品質でのビデオのデコードのために必要とされるエンコードされたデータを含む。品質の改善は、デコードされたエンハンスメントレイヤＥＬ１，ＥＬ２，ＥＬ３を対応するベースレイヤＢＬ１，ＢＬ２，ＢＬ３に追加することで達成される場合がある。エンハンスメントレイヤは、ＦＧＳコーダによりエンコードされ、ＳＮＲスケーラビリティを提供する。それぞれ高解像度の空間レイヤは、前の空間レベルのベースレイヤの低ビットレート符号化により生じたエラーを補償する。高解像度の信号の予測のため、エンコードされたノンスケーラブルベースレイヤのみが使用され、ＦＧＳエンハンスメントレイヤが受信されないか、部分的にのみ受信及びデコードされる場合、デコード側でのドリフトエラーが現れない。
【００１６】
本発明の主要な考えは、ビデオ信号が非常に低いビットレートをもつ前記解像度にまでベースレイヤをエンコードし、要求された空間解像度に対応する最後のベースレイヤ及び／又は１つのＦＧＳエンハンスメントレイヤに高いビットレートを割り当てることで、要求された空間解像度で効率的に圧縮される場合がある。ビデオ品質の観点から、より多くのビットを要求された解像度のエンハンスメントレイヤに割り当て、次いで、前のフレームエンハンスメントレイヤに割り当てることがより最適である。言い換えれば、低解像度でのエンハンスメントレイヤは、高解像度でのビデオ系列を再構築するためにデコードされる必要がない。このように、（ノンスケーラブルベースレイヤストリームは低ビットレートを有するため）スケーラビリティの高いグラニュラリティ（粒状度）を達成することが可能であり、同時に、（全てのベースレイヤがフィードバックループにあり、ドリフトエラーが生じないため）高いビデオ品質を提供することができる。
【００１７】
提案されるスキームがどのように機能するか、及びビットレートの予算がレイヤ間でどのように分散されるかを説明するため、以下の例が考慮される。たとえば、入力ビデオは標準精細度（ＳＤ）の空間解像度を有し、レイヤＢＬ１及びＥＬ１（ステージ１０１）は、ＱＳＩＦ解像度を有し、レイヤＢＬ２及びＥＬ２（ステージ１０２）は、ＳＩＦ解像度を有し、レイヤＢＬ３，ＥＬ３（ステージ１０３）は、ＳＤ解像度を有し、ある者は、デコード側でＳＤ解像度を再構成するのを望む。ベースレイヤＢＬｎのビットレートはＲＢＬｎであり、エンハンスメントレイヤＥｌｎのビットレートは、ＲＥＬｎである。チャネル帯域幅Ｒは、緩やかに成長する。
【００１８】
（１）ＲはＲＢＬ１に等しい。ベースレイヤストリームＢＬ１が次いで送信され、デコード側で、ＢＬ１はデコードされ、２度アップスケールされる。  
（２）ＲはＲＢＬ１と（ＲＢＬ１＋ＲＢＬ２）との間に含まれ、ストリーム（ＢＬ１＋ＥＬ１）が送信された。  
（３）Ｒは（ＲＢＬ１＋ＲＢＬ２）に等しく、ストリーム（ＢＬ１＋ＢＬ２）が伝送される（及びＥＬ１は伝送されない）。  
（４）Ｒは（ＲＢＬ１＋ＲＢＬ２）と（ＲＢＬ１＋ＲＢＬ２＋ＲＢＬ３）の間に含まれる。ストリーム（ＢＬ１＋ＢＬ２＋ＥＬ３）が伝送される。  
（５）Ｒは（ＲＢＬ１＋ＲＢＬ２＋ＲＢＬ３）に等しく、ストリーム（ＢＬ１＋ＢＬ２＋ＢＬ３）が伝送される。  
（６）Ｒは（ＲＢＬ１＋ＲＢＬ２＋ＲＢＬ３）よりも大きく、ストリーム（ＢＬ１＋ＢＬ２＋ＢＬ３＋ＥＬ３）が伝送され、このケースでは、エンコードサーバは、エンハンスメントレイヤ（ＥＬ１，ＥＬ２）を送信しないか、デコーダはエンハンスメントレイヤをデコードしない。  
（７）帯域幅が十分に大きい場合、全てのベースレイヤ及びエンハンスメントレイヤ（ＢＬ１＋ＥＬ１＋ＢＬ２＋ＥＬ２＋ＢＬ３＋ＥＬ３）を伝送することで更に改善される場合があり、（提案されるスキームにより必要とされないが）全てのエンハンスメントレイヤのデコードが可能である場合がある。
【００１９】
したがって、前のエンハンスメントレイヤＥＬｉのビットレートが後続のベースレイヤＢＬ（ｉ＋１）のビットレートに等しいか、又は該ビットレートよりも高くなるとすぐ、
前の解像度のエンハンスメントレイヤＥＬｉの送信から次の解像度のベースレイヤＢＬ（ｉ＋１）の送信へのスイッチが存在する。言い換えれば、ＲＥＬ１＝ＲＢＬ２，ＲＥＬ２＝ＲＢＬ３の場合、切換えが行われる。勿論、デコード側がオリジナル（最大）よりも低い解像度をもつビデオを必要とする場合、次のベースレイヤストリームへのスイッチが存在せず、現在のエンハンスメントレイヤの伝送が継続する。このように、それぞれの空間解像度について最も低い最小の要求されるビットレートを保持し、最良のレート歪みのトレードオフを達成することが必要である。また、スキームは、全ての以前の及び現在のベースレイヤ及び唯一のＦＧＳエンハンスメントレイヤをデコードすることで、異なる空間解像度の要件をもつ各種のデコーダが所望の解像度でビデオを構築するのを可能にする。
【００２０】
ＢＬ２及びＢＬ３のコーダＣＤの前の図１におけるＦＳＴと呼ばれる、オフセットを適用する動作は、文献ＷＯ０３／０３６９８１（ＰＨＮＬ０２１０４２）で説明され、通常のビデオ信号として残差データの符号化を可能にする。ステージ１０１のケースにおける破線により図１で示される回路ＣＤ，ＤＣ及びＦＧＳ  ＣＤの組み合わせは、第一の引用された文献に記載された構造をもつ、１つのＭＰＥＧ−４  ＦＧＳエンコーダとして実現される場合がある。このエンコーダの構造は、ノンスケーラブルベースレイヤストリーム及び１つのＦＧＳエンハンスメントレイヤストリームを生成する。提案される空間スケーラブルスキームにおけるこのＭＰＥＧ−４  ＦＧＳの利用は、全て規格と互換性のある（standard  compatible）であるレイヤの生成を可能にする。ここで提案される３つのレイヤのスキームは、最も低い空間解像度（ＢＬ１，ＥＬ１）を持つループが省略される場合、２つのレイヤとして実現される場合がある。本発明の記載される実施の形態は、ユーザから受信された好み及び要件に従う伝送又はデコードの間、異なるベース及びエンハンスメントストリーム間の切り替えを想定する。本発明の別の実施の形態では、それらＦＧＳエンハンスメントとベースレイヤを１つのビットストリームに結合することが可能である。空間（ＢＬ）とＳＮＲ（ＥＬ）スケーラブルレイヤの１つのストリームへの埋め込みの優先度は、用途の要件に依存する。たとえば、スケーラビリティが最も重要である場合、優先度はＢＬ１，ＢＬ２，ＢＬ３，ＥＬ１，ＥＬ２，ＥＬ３である。それぞれの解像度での品質が最も重要である場合、優先度は、ＢＬ１，ＥＬ１，ＢＬ２，ＥＬ２，ＢＬ３，ＥＬ３である。
【００２１】
ここで提案される考えは、前の空間レイヤのビットレートが最小であり（低い空間解像度についてＥＬがない）、要求される空間解像度のビットレートが高い（ＢＬ＋ＥＬ）場合に、高いビデオ品質が利用可能であるという仮説に基づいている。この仮説は、前の空間解像度のベース及びエンハンスメントレイヤの両者が次の空間解像度の予測のために使用される、文献ＷＯ０２／３３９５２号に記載される最新の方法とは反対である。この仮説を確認するため、実験が行われた。実験では、ビットバジェットの大部分が最後の空間レイヤに割り当てられた場合に最良の品質が達成され、これは、前の低い解像度のレイヤに対してよりも要求される解像度のＦＧＳエンハンスメントレイヤに対してビットバジェットを割り当てることがより最適であることを意味する。視覚的な評価は、これら客観的な結果を確認する。
【００２２】
記載された方法及び装置は、先に既に示された利点を有しており、以下の利点をも有する。  
（ａ）規格に互換性のあるストリームを生成する、標準的なコーダ／デコーダが使用される場合がある。  
（ｂ）ベースレイヤのハイブリッド動き予測符号化により、それぞれの空間レイヤにおける時間的な冗長度が利用される。  
（ｃ）提案されるビットレート割り当ては、前の空間レイヤのエンハンスメントレイヤのデコードのスキップすることによる目標とされる解像度での信号の高い圧縮効率を提供する。
【００２３】
これらの方法及び装置は、マルチメディアネットワークにおける提案される符号化方法に従って符号化される全てのベースレイヤ（又は利用可能な帯域幅に依存してこれらベースレイヤの幾つかのみ）を伝送する、たとえば伝送システム又はかかるシステムと関連して使用される。特定のデコーダ又はユーザ（ディスプレイ解像度）又はそのデコード能力（最大ビットレート、処理能力）により定義される要件によれば、サーバにおける符号化装置は、そのデコーダ又はユーザのみに、対応するＦＧＳエンハンスメントレイヤを対応する解像度で伝送することを判定する。
【００２４】
ハードウェア又はソフトウェア、若しくはその両者のアイテムにより機能を実現する様々な方法が存在する。この観点では、図面は非常に図解的であって、本発明の可能な実施の形態のみを表す。したがって、図面は異なるブロックとして異なる機能を示しているが、これは、１つのハードウェア又はソフトウェアのアイテムが幾つかの機能を実行することを決して排除するものではない。さらに、ハードウェア又はソフトウェア若しくは両者のアイテムのアセンブリが機能を実行することを排除するものではない。
【００２５】
前に本明細書で行われた内容は、添付図面を参照した詳細な説明は本発明を制限するよりはむしろ例示することを示している。特許請求の範囲に含まれる様々な代替が存在する。単語「有する“comprising”又は“comprise”」は、請求項に列挙された以外のエレメント又はステップの存在を排除するものではない。エレメント又はステップに先行する単語“ａ”又は“ａｎ”は、複数のかかるエレメント又はステップの存在を排除するものではない。
【図面の簡単な説明】
【００２６】
【図１】本発明に係るエンコーダを例示する図である。
【図１】
2007520950.tif 000003
【国際調査報告】
2007520950.tif 000004
2007520950.tif 000005
2007520950.tif 000006