(57)【特許請求の範囲】
【請求項１】
ソースの第１の表現のベースレイヤマクロブロックを符号化するステップと、
ソースの第２の表現の対応するエンハンスメントレイヤマクロブロックを符号化するステップと、
を含む方法であって、
前記第２の表現は前記第１の表現よりも高空間分解能および高カラービット深度を有し、前記対応するエンハンスメントレイヤマクロブロックは、前記ベースレイヤと前記対応するエンハンスメントレイヤとの間の層間予測を実施することにより前記ベースレイヤマクロブロックの符号化に基づいて符号化され、
前記ベースレイヤと前記対応するエンハンスメントレイヤとの間の層間予測を実施することは、
前記符号化されたベースレイヤマクロブロックの再構成物を空間アップサンプリングするステップ、および
前記空間アップサンプリングされた再構成物をビット深度アップサンプリングして前記対応するエンハンスメントレイヤマクロブロックの予測を生成するステップであって、前記ビット深度アップサンプリングは逆トーンマッピングを含む、ステップ、
を含み、
前記対応するエンハンスメントレイヤマクロブロックを符号化するステップは、
前記対応するエンハンスメントレイヤマクロブロックの予測と前記対応するエンハンスメントレイヤマクロブロックとの残差を判定するステップ、および
前記残差を符号化するステップ、
を含む、前記方法。
【請求項２】
前記ベースレイヤマクロブロックを符号化するステップは、前記ベースレイヤマクロブロックをイントラ符号化するステップを含む、請求項１に記載の方法。
【請求項３】
前記ベースレイヤマクロブロックを符号化するステップは、動きベクトルを使用する方法で前記ベースレイヤマクロブロックをインター符号化するステップを含む、請求項１に記載の方法。
【請求項４】
ソースの第１の表現のベースレイヤマクロブロックを符号化する手段と、
ソースの第２の表現の対応するエンハンスメントレイヤマクロブロックを符号化する手段と、
を備えた装置であって、
前記第２の表現は前記第１の表現よりも高空間分解能および高カラービット深度を有し、前記対応するエンハンスメントレイヤマクロブロックは、前記ベースレイヤと前記対応するエンハンスメントレイヤとの間の層間予測を実施することにより前記ベースレイヤマクロブロックの符号化に基づいて符号化され、
前記ベースレイヤと前記対応するエンハンスメントレイヤとの間の層間予測の実施は、
前記符号化されたベースレイヤマクロブロックの再構成物を空間アップサンプリングするステップ、および
前記空間アップサンプリングされた再構成物をビット深度アップサンプリングして前記対応するエンハンスメントレイヤマクロブロックの予測を生成するステップであって、前記ビット深度アップサンプリングは逆トーンマッピングを含む、ステップ、
を含み、
前記対応するエンハンスメントレイヤマクロブロックの符号化は、
前記対応するエンハンスメントレイヤマクロブロックの予測と前記対応するエンハンスメントレイヤマクロブロックとの残差を判定するステップ、および
前記残差を符号化するステップ、
を含む、前記装置。
【請求項５】
前記ベースレイヤマクロブロックを符号化する手段は、前記ベースレイヤマクロブロックを符号化するベースレイヤエンコーダを含み、
前記対応するエンハンスメントレイヤマクロブロックを符号化する手段は、前記エンハンスメントレイヤマクロブロックを符号化するエンハンスメントレイヤエンコーダを含む、請求項４に記載の装置。
【請求項６】
前記ベースレイヤエンコーダは、前記ベースレイヤマクロブロックを符号化する空間予測モジュールを含み、
前記エンハンスメントレイヤエンコーダは、コロケートされたベースレイヤマクロブロックがイントラ符号化された前記エンハンスメントレイヤマクロブロックを符号化する層間予測モジュールを含む、請求項５に記載の装置。
【請求項７】
前記符号化されたベースレイヤマクロブロックおよび前記符号化されたエンハンスメントレイヤマクロブロックを変調し、かつ、送信する送信機をさらに備えた、請求項４乃至６のいずれかに記載の装置。
【請求項８】
プロセッサに、
ソースの第１の表現のベースレイヤマクロブロックを符号化するステップと、
ソースの第２の表現の対応するエンハンスメントレイヤマクロブロックを符号化するステップと、
を実行させるためのプログラムを記録したプロセッサ読み取り可能な記録媒体であって、
前記第２の表現は前記第１の表現よりも高空間分解能および高カラービット深度を有し、前記対応するエンハンスメントレイヤマクロブロックは、前記ベースレイヤと前記対応するエンハンスメントレイヤとの間の層間予測を実施することにより前記ベースレイヤマクロブロックの符号化に基づいて符号化され、
前記ベースレイヤと前記対応するエンハンスメントレイヤとの間の層間予測を実施することは、
前記符号化されたベースレイヤマクロブロックの再構成物を空間アップサンプリングするステップ、および
前記空間アップサンプリングされた再構成物をビット深度アップサンプリングして前記対応するエンハンスメントレイヤマクロブロックの予測を生成するステップであって、前記ビット深度アップサンプリングは逆トーンマッピングを含む、ステップ、
を含み、
前記対応するエンハンスメントレイヤマクロブロックを符号化するステップは、
前記対応するエンハンスメントレイヤマクロブロックの予測と前記対応するエンハンスメントレイヤマクロブロックとの残差を判定するステップ、および
前記残差を符号化するステップ、
を含む、前記プロセッサ読み取り可能な記録媒体。
【請求項９】
ソースの第１の表現の符号化されたベースレイヤマクロブロックを復号化するステップと、
ソースの第２の表現の符号化された対応するエンハンスメントレイヤマクロブロックを復号化するステップと、
を含む方法であって、
前記第２の表現は前記第１の表現よりも高空間分解能および高カラービット深度を有し、前記対応するエンハンスメントレイヤマクロブロックは、前記ベースレイヤと前記対応するエンハンスメントレイヤとの間の層間予測を実施することにより前記ベースレイヤマクロブロックの復号化に基づいて復号化され、
前記ベースレイヤと前記対応するエンハンスメントレイヤとの間の層間予測を実施することは、
前記復号化されたベースレイヤマクロブロックを空間アップサンプリングするステップ、および
前記空間アップサンプリングされた復号化をビット深度アップサンプリングして前記対応するエンハンスメントレイヤマクロブロックの予測を生成するステップであって、前記ビット深度アップサンプリングは逆トーンマッピングを含む、ステップ、
を含み、
前記対応するエンハンスメントレイヤマクロブロックを復号化するステップは、
前記対応するエンハンスメントレイヤマクロブロックの予測と前記対応するエンハンスメントレイヤマクロブロックとの差を表す残差を復号化するステップ、および
前記残差と前記対応するエンハンスメントレイヤマクロブロックの予測とを組み合わせて前記対応するエンハンスメントレイヤマクロブロックの復号化された再構成物を作成するステップ、
を含む、前記方法。
【請求項１０】
ソースの第１の表現の符号化されたベースレイヤマクロブロックを復号化する手段と、
ソースの第２の表現の符号化された対応するエンハンスメントレイヤマクロブロックを復号化する手段と、
を備えた装置であって、
前記第２の表現は前記第１の表現よりも高空間分解能および高カラービット深度を有し、前記対応するエンハンスメントレイヤマクロブロックは、前記ベースレイヤと前記対応するエンハンスメントレイヤとの間の層間予測を実施することにより前記ベースレイヤマクロブロックの復号化に基づいて復号化され、
前記ベースレイヤと前記対応するエンハンスメントレイヤとの間の層間予測の実施は、
前記復号化されたベースレイヤマクロブロックを空間アップサンプリングするステップ、および
前記空間アップサンプリングされた復号化をビット深度アップサンプリングして前記対応するエンハンスメントレイヤマクロブロックの予測を生成するステップであって、前記ビット深度アップサンプリングは逆トーンマッピングを含む、ステップ、
を含み、
前記対応するエンハンスメントレイヤマクロブロックの復号化は、
前記対応するエンハンスメントレイヤマクロブロックの予測と前記対応するエンハンスメントレイヤマクロブロックとの差を表す残差を復号化するステップ、および
前記残差と前記対応するエンハンスメントレイヤマクロブロックの予測とを組み合わせて前記対応するエンハンスメントレイヤマクロブロックの復号化された再構成物を作成するステップ、
を含む、前記装置。
【請求項１１】
前記符号化されたベースレイヤマクロブロックを復号化する手段は、前記符号化されたベースレイヤマクロブロックを復号化するベースレイヤデコーダを含み、
前記符号化された対応するエンハンスメントレイヤマクロブロックを復号化する手段は、前記符号化されたエンハンスメントレイヤマクロブロックを復号化するエンハンスメントレイヤデコーダを含む、請求項１０に記載の装置。
【請求項１２】
前記ベースレイヤデコーダは、前記エンコードベースレイヤマクロブロックを復号化する空間予測モジュールを含み、
前記エンハンスメントレイヤデコーダは、コロケートされたベースレイヤマクロブロックがイントラ符号化された前記符号化された対応するエンハンスメントレイヤマクロブロックを復号化する層間予測モジュールを含む、請求項１１に記載の装置。
【請求項１３】
前記符号化されたベースレイヤマクロブロックおよび前記符号化された対応するエンハンスメントレイヤマクロブロックを含む符号化された信号を受信する受信機をさらに備えた、請求項１０乃至１２のいずれかに記載の装置。
【請求項１４】
プロセッサに、
ソースの第１の表現の符号化されたベースレイヤマクロブロックを復号化するステップと、
ソースの第２の表現の符号化された対応するエンハンスメントレイヤマクロブロックを復号化するステップと、
を実行させるためのプログラムを記録したプロセッサ読み取り可能な記録媒体であって、
前記第２の表現は前記第１の表現よりも高空間分解能および高カラービット深度を有し、前記対応するエンハンスメントレイヤマクロブロックは、前記ベースレイヤと前記対応するエンハンスメントレイヤとの間の層間予測を実施することにより前記ベースレイヤマクロブロックの復号化に基づいて復号化され、
前記ベースレイヤと前記対応するエンハンスメントレイヤとの間の層間予測を実施することは、
前記復号化されたベースレイヤマクロブロックを空間アップサンプリングするステップ、および
前記空間アップサンプリングされた復号化をビット深度アップサンプリングして前記対応するエンハンスメントレイヤマクロブロックの予測を生成するステップであって、前記ビット深度アップサンプリングは逆トーンマッピングを含む、ステップ、
を含み、
前記対応するエンハンスメントレイヤマクロブロックを復号化するステップは、
前記対応するエンハンスメントレイヤマクロブロックの予測と前記対応するエンハンスメントレイヤマクロブロックとの差を表す残差を復号化するステップ、および
前記残差と前記対応するエンハンスメントレイヤマクロブロックの予測とを組み合わせて前記対応するエンハンスメントレイヤマクロブロックの復号化された再構成物を作成するステップ、
を含む、前記プロセッサ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
実装は、符号化システムに関連して説明される。詳細な実装は、ビット深度スケーラブルな符号化および／または空間スケーラブルな符号化に関する。
【背景技術】
【０００２】
本出願は、「ビット深度スケーラビリティ」と題する、２００７年１０月１９日に出願された米国仮特許出願第６０／９９９，５６９号の利益を主張するものであって、その内容は、参照によってその全体がここに組み込まれるものとする。
【０００３】
近年では、８ビットより大きいカラービット深度を有するデジタル画像およびデジタルビデオが、多くのビデオおよび画像のアプリケーションに用いられている。このようなアプリケーションは、例えば、医用画像処理、デジタル映画の撮影と撮影後のワークフロー、およびホームシアターに関連するアプリケーションを含む。ビット深度は、ビットマップ画像内の単一のピクセルまたはビデオフレームの色を表わすのに使用されるビット数である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許公開第２００５／２５９７２９号明細書
【特許文献２】中国特許出願公開第１４５７６０５号明細書
【特許文献３】中国特許出願公開第１６３６３９４号明細書
【特許文献４】中国特許出願公開第１８１００３６号明細書
【特許文献５】国際公開第０２／０６９６４５号明細書
【特許文献６】国際公開第０２／３３９５２号明細書
【特許文献７】国際公開第２００４／１１４６７２号明細書
【非特許文献】
【０００５】
【非特許文献１】GAO ET AL.: ”Simulation Results for CE2: SVC Bit-Depth Scalability,”  Joint Video Team of ISO/IEC MPEG & ITU-T VCEG, Doc. JVT-X051, June 29, 2007, pages 1-13.
【非特許文献２】WINKEN ET AL.: ”Bit-Depth Scalable Video Coding,” ICIP 2007, IEEE, 2007, page 1-5.
【非特許文献３】WINKEN ET AL.: “CE2: SVC bit-depth Scalable Coding,” Joint Video Team of ISO/IEC MPEG & ITU-T VCEG, doc. JVT-X057, June 29, 2007, pages 1-15.
【非特許文献４】WU ET AL.: “Bit Depth Scalable Coding,” ICME 2007, IEEE, Thomson Corporate Research Beijing, 2007, pages 1139-1142.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ビット深度スケーラビリティは、市場において、標準の８ビット深度のデジタル画像システムとそれより大きいビット深度のデジタル画像システムとの共存を可能にするために実際に役立つソリューションである。例えば、ビデオソースは、８ビッド深度と１０ビット深度を有するビデオストリームをレンダリングすることができる。ビッド深度スケーラビリティは、それぞれが異なるビッド深度の機能を有する２つの異なるビデオシンク（例えば、ディスプレイ）が、そのようなビデオストリームを符号化できるようにする。
【課題を解決するための手段】
【０００７】
一般的態様に従って、ベースレイヤマクロブロックのソース画像が符号化される。エンハンスメントレイヤマクロブロックのソース画像は、層間予測を実行することによって符号化される。ベースレイヤのソース画像とエンハンスメントレイヤのソース画像は、空間分解能とビットカラー深度の両方において互いに異なる。
【０００８】
別の一般的態様に従って、ベースレイヤマクロブロックのソース画像が復号される。エンハンスメントレイヤマクロブロックのソース画像は、層間予測を実行することによって復号される。ベースレイヤのソース画像とエンハンスメントレイヤのソース画像は、空間分解能とビットカラー深度の両方において互いに異なる。
【０００９】
別の一般的態様に従って、符号化された画像部分がアクセスされて復号される。その復号は、アクセスされた部分の空間アップサンプリングを実行して、アクセスされた部分の空間分解能を増加させることを含む。その復号は、アクセスされた部分のビット深度アップサンプリングを実行して、アクセスされた部分のビット深度分解能を増加させることも含む。
【００１０】
１または複数の実装の詳細は、以下の添付図面および説明において示される。或る特定の方法において実装が説明されていても、実装は、さまざまな方法において構成または実施されてもよいことは明らかである。例えば、実装は、方法として実行されてもよいし、または例えば、一連の動作を実行するように構成された装置または一連の動作を実行する命令を格納する装置などの装置として実施されてもよいし、または信号に実施されてもよい。他の態様および特徴は、添付図面および特許請求の範囲と共に考慮される以下の詳細な説明によって明白になるであろう。
【図面の簡単な説明】
【００１１】
【図１】イントラ符号化のために実装された層間予測を使用して、統合された空間・ビット深度スケーラビリティを符号化するエンコーダのブロック図である。
【図２】イントラ符号化のために実装されたエンコーダの層間予測モジュールのブロック図である。
【図３】イントラ符号化のために実装された層間予測を使用して、統合されたビット深度・空間スケーラビリティを復号するデコーダのブロック図である。
【図４】イントラ符号化のために実装されたデコーダの層間予測モジュールのブロック図である。
【図５】内部符号化のために実装された層間残差予測を使用して、統合された空間・ビット深度スケーラビリティを符号化するエンコーダのブロック図である。
【図６】内部符号化のために実装された層間残差予測モジュールのブロック図である。
【図７】内部符号化のために実装された層間残差予測を使用して、統合された空間・ビット深度スケーラビリティを復号するデコーダのブロック図である。
【図８】統合された空間・ビット深度スケーラビリティの符号化方法を説明したフローチャートである。
【図９】統合された空間・ビット深度スケーラビリティの復号方法を説明したフローチャートである。
【図１０】ビデオ送信機のブロック図である
【図１１】ビデオ受信機のブロック図である。
【図１２】エンコーダの別の実装のブロック図である。
【図１３】デコーダの別の実装のブロック図である。
【図１４】デコーダか、またはエンコーダのいずれかに使用する符号化プロセスを実装するフローチャートである。
【発明を実施するための形態】
【００１２】
８ビットのビット深度とそれより大きいビット深度（および特に１０ビットビデオ）との共存に対処するいくつかの技術を以下に論じる。或る実施形態は、データを符号化して、その符号化が統合された空間・ビット深度スケーラビリティを有することができるようにする方法を含む。或る実施形態は、そのような符号化を復号する方法も含む。
【００１３】
それらの技術のうちの１つは、トーンマッピング方法を１０ビットプレゼンテーションに適用することによって、１０ビットに符号化されたビットストリームのみを、標準の８ビット表示装置用の８ビットレプレゼンテーションが得られる場所に送信することを含む。８ビットと１０ビットとの共存を可能にする別の技術は、８ビットに符号化されたプレゼンテーションと１０ビットに符号化されたプレゼンテーションを含む同時ビットストリームを送信することを含む。デコーダは、復号すべきビット深度を選択する。例えば、８ビットデータのみをサポートする通常のデコーダが８ビットビデオを出力することができるのに対して、１０ビット対応のデコーダは、１０ビットビデオを復号して出力することができる。
【００１４】
第１の技術は、１０ビットデータを送信するので、Ｈ．２６４／ＡＶＣ８ビットのプロファイルに準拠していない。第２の技術は、すべての電流基準に準拠しているが、付加的な処理を必要とする。
【００１５】
信号圧縮と下位互換性間のトレードオフは、スケーラブルソリューションである。Ｈ．２６４／ＡＶＣのスケーラブル拡張方式（以下「ＳＶＣ」と呼ぶ）は、ビット深度スケーラビリティをサポートする。ビット深度スケーラブルな符号化ソリューションは、上記の技術に対して多くの利点を有する。例えば、このようなソリューションは、１０ビット深度が、ＡＶＣハイプロファイルと下位互換性を持つようにすることができ、さらにその適応が、異なるネットワーク帯域または装置の機能に対応できるようにする。スケーラブルソリューションはまた、複雑性を低減し、高度な効率性および柔軟性を与える。
【００１６】
ＳＶＣビット深度ソリューションは、時間スケーラビリティ、空間スケーラビリティおよびＳＮＲスケーラビリティをサポートするが、統合されたスケーラビリティをサポートしない。統合されたスケーラビリティは、空間スケーラビリティとビット深度スケーラビリティの両方を統合することを示す。すなわち、ビデオフレームまたは画像の異なるレイヤは、空間分解能とカラービット深度の両方において互いに異なる。一例において、ベースレイヤは、８ビット深度およびＳＤ(standard definition)分解能であり、エンハンスメントレイヤは、１０ビット深度およびＨＤ(high definition)分解能である。
【００１７】
或る実施形態は、ビット深度スケーラビリティが、空間スケーラビリティと完全な互換性を持つようにすることができるソリューションを与える。図１に、層間予測を使用して、統合された空間・ビット深度スケーラビリティを符号化するエンコーダ１００の実装の限定されないブロック図を示す。エンコーダ１００は、コロケートされたベースレイヤマクロブロックがイントラ符号化された時に利用される。エンコーダ１００は、ＢＬ(base layer)のソース画像１０１とＥＬ(enhancement layer)のソース画像１０２の２つを受信する。ベースレイヤとエンハンスメントレイヤは、少なくとも異なるビット深度および分解能のプロパティを有する。例えば、エンハンスメントレイヤが、高ビット深度および高空間分解能を有するのに対して、ベースレイヤは、低ビット深度および低空間分解能を有する。ＢＬビットストリーム１０１を符号化するために、最初に、空間予測モジュール１４０によって計算された電流ブロックの空間予測が、ソース画像１０１から引かれる。その差異は、変圧器・量子化器モジュール１１０を使用して、変換されて量子化された後に、エントロピー符号化モジュール１２０を使用して符号化される。モジュール１１０の出力は、モジュール１３０によって逆量子化されて逆変換されて、再構成されたベースレイヤの残差信号ＢＬresを生成する。その信号は、その後、空間予測モジュール１４０の出力に付加されて、コロケートされたベースレイヤマクロブロックＢＬrecを生成する。
【００１８】
層間予測モジュール１５０の出力を使用して、またはモデル１６０を使用して単に空間予測を実行することによって、ＥＬソース画像１０２を符号化することができる。その動作モードは、スイッチ１０４の状態によって判定される。スイッチ１０４の状態は、より高い符号化効率を有する状態を選択する、歪み率最適化プロセスによって判定されるエンコーダ決定である。より高い符号化効率は、コストの低減を意味する。コストは、ビット率と歪みを統合する手段である。同一の歪みのビット率を下げるまたは同一のビット率に歪みを下げることは、コストの低減を意味する。
【００１９】
層間予測モジュール１５０は、ＢＬrecを空間・ビット深度アップサンプリングすることによって、エンハンスメントレイヤの電流予測を計算する。図１には、エントロピー符号化モジュール１８０、逆量子化・逆変換モジュール１９０および変換・量子化モジュール１７０も示す。
【００２０】
図２に、層間予測モジュール１５０の限定されないブロック図を示す。層間予測モジュール１５０は、最初に、空間アップサンプラ２１０を用いて、再構成されたベースレイヤマクロブロックＢＬrecに空間アップサンプリングを実行する。その後、ビット深度アップサンプラ２２０を使用して、ビット深度アップサンプリング関数Ｆｂ｛.｝を、空間アップサンプリングされた信号に適用することによって、ビット深度アップサンプリングが実行される。関数Ｆｂは、オリジナルエンハンスメントレイヤマクロブロックＥＬorgを使用するモジュール２３０によって生成されて、空間アップサンプラ２４０によって生成される空間アップサンプリングされた信号である。空間アップサンプラ２４０は、オリジナルがコロケートされたベースレイヤマクロブロックＢＬorgか、または再構成されたベースレイヤマクロブロックＢＬrecのいずれかを処理することができる。一実施形態において、ビット深度アップサンプラ２２０は、逆トーンマッピングを実行する。層間予測モデル１５０の出力は、エンハンスメントレイヤの電流予測およびビット深度アップサンプリング関数Ｆｂのパラメータを含む。入力ソース画像１０２とその予測間の差異が符号化される。
【００２１】
図３に、層間予測を使用して、統合されたビット深度・空間スケーラビリティを復号するデコーダ３００の実装の限定されないブロック図を示す。デコーダ３００は、コロケートされたベースレイヤマクロブロックがイントラ符号化された時に使用される。デコーダ３００は、ＢＬビットストリーム３０１およびＥＬベースレイヤ３０２を受信する。
【００２２】
入力ＢＬビットストリーム３０１は、エントロピー符号化ユニット３１０によって解析されて、その後、逆量子化・逆変換モジュール３２０によって逆量子化されて逆変換されて、再構成されたベースレイヤの残差信号ＢＬresを出力する。空間予測モジュール３３０によって計算された電流ブロックの空間予測が、モジュール３２０の出力に付加されて、再構成されたベースレイヤがコロケートされたマクロブロックＢＬrecを生成する。
【００２３】
層間予測ユニット３４０の出力を使用して、ＥＬビットストリーム３０２を復号することができる。そうでなければ、その復号は、ＢＬビットストリーム３０１の復号と同様の空間予測に基づいて実行される。層間予測モジュール３４０は、ＢＬrecマクロブロックを使用して、空間・ビット深度アップサンプリングを行うことによって、エンハンスメントレイヤのビットストリーム３０２を復号する。非ブロック化は、モジュール３６０−１およびモジュール３６０−２を非ブロック化することによって実行される。
【００２４】
図４に、層間予測モジュール３４０の実装の限定されないブロック図を示す。
【００２５】
層間予測モジュール３４０を適用して、イントラ符号化されたマクロブロックを処理する。具体的には、最初に、空間アップサンプラ４１０を使用して、再構成されたベースレイヤマクロブロックＢＬrecが空間アップサンプリングされる。その後、ビット深度アップサンプラ４２０を使用して、ビット深度アップサンプリング関数Ｆｂを空間アップサンプリングされた信号に適用することによって、ビット深度アップサンプリングが実行される。そのＦｂ関数は、エンハンスメントレイヤを符号化するのに使用されるＦｂ関数と同じパラメータを有する。図２の要素２３０および要素２４０と類似したコンポーネントを使用して、図４の関数Ｆｂおよび関数Ｆｓを判定することができる。層間予測モデル３４０の出力は、エンハンスメントレイヤの電流予測を含む。この出力は、図３のエンハンスメントレイヤの残差信号ＥＬresに付加される。
【００２６】
図５に、層間残差予測を使用して、統合された空間・ビット深度スケーラビリティを符号化するエンコーダ５００の実装の図を示す。エンコーダ５００は、再構成されたベースレイヤマクロブロックがイントラ符号化された時に利用される。ＢＬソース画像５０１の符号化は、ＭＣ(motion-compensation)予測に基づき、ＭＣ予測モジュール５１０によって与えられる。ＥＬソース画像５０２の符号化を、層間予測モジュール５２０によって実行することができ、ＭＣ予測信号を、ＭＣ予測モジュール５４０によって生成することができる。ＭＣ予測モジュール５４０は、動きアップサンプラ５５０によって生成された、動きアップサンプリングされた信号を処理する。
【００２７】
層間残差予測モデル５２０は、再構成されたベースレイヤの残差信号ＢＬkres（ｋは、電流ピクチャのピクチャオーダカウントである）を処理する。残差信号ＢＬkresは、逆量子化・変換モジュール５３０によって出力される。
【００２８】
図６に示すように、層間残差予測モデル５２０は、ビット深度アップサンプリング関数Ｆｂ’を適用するビット深度アップサンプラ６４０を使用して、残差信号ＢＬkresをビット深度アップサンプリングして、信号Ｆｂ’｛ＢＬkres｝を生成する。この信号は、その後、空間アップサンプラ６３０を使用して空間アップサンプリングされて、残差予測信号Ｆｓ｛Ｆｂ’｛ＢＬkres｝｝を生成する。
【００２９】
図７に、内部符号化されてコロケートされたベースレイヤマクロブロックを復号するデコーダ７００の実装の限定されないブロック図を示す。ＥＬビットストリーム７０２を生じさせる復号は、層間予測残差モジュール７１０を使用して、再構成されたベースレイヤの残差信号ＢＬresを処理することによって実行される。さらに、動きアップサンプラモジュール７２０を使用して、コロケートされたベースレイヤマクロブロックの動きベクトルが動きアップサンプリングされる。動きアップサンプラモジュール７２０によってアップサンプリングされた動きベクトルを、動き補償された予測モジュール７３０に与えることができる。動き補償された予測モジュール７３０は、動き補償されたエンハンスメントレイヤマクロブロックの電流予測を与える。層間予測残差モジュール７１０は、空間アップサンプリングされた信号に、空間アップサンプリングおよびビット深度アップサンプリングを実行して、残差予測信号を生成する。
【００３０】
図７に、ベースレイヤを復号し、その結果ＢＬビットストリーム７０１を生じさせる一連の要素も示す。ベースレイヤを復号する一連の要素は、動き補償予測モジュール７４０を含んだ周知の要素を含む。
【００３１】
図８に、統合された空間・ビット深度スケーラビリティの符号化方法を説明した、限定されないフローチャート８００を示す。その方法は、空間分解能とカラービット深度の両方が異なる、ベースレイヤとエンハンスメントレイヤの少なくとも２つの入力ソース画像を使用して、コロケートされたベースレイヤマクロブロックがイントラ符号化か、または内部符号化された時に、エンハンスメントレイヤマクロブロックを符号化する。その方法は、空間アップサンプリングとビット深度アップランプリングの両方に対処する層間予測に基づく。
【００３２】
Ｓ８１０において、ベースレイヤのビットストリームが符号化される。そのベースレイヤは、通常、低ビット深度および低空間分解能を有する。Ｓ８２０において、コロケートされたベースレイヤマクロブロックがイントラ符号化されたかどうかが検査され、イントラ符号化された場合、実行はＳ８３０に進む。イントラ符号化されない場合、実行はＳ８４０に進む。Ｓ８３０において、再構成されたベースレイヤがコロケートされたマクロブロックＢＬrecが空間アップサンプリングされて、信号Ｆｓ｛ＢLrec｝を生成する。Ｓ８３１において、ビット深度アップサンプリング関数Ｆｂ｛.｝が生成される。Ｓ８３２において、ビット深度アップサンプリング関数Ｆｂ｛.｝が空間アップサンプリングされた信号Ｆｓ｛ＢＬrec｝に適用されて、エンハンスメントレイヤの電流予測Ｆｂ｛Ｆｓ｛ＢＬrec｝｝を生成する。Ｓ８３３において、ビット深度アップサンプリング関数Ｆｂ｛.｝のパラメータが符号化されて、その符号化されたビットが入力ＥＬビットストリームに挿入される。その後、実行はＳ８５０に進む。
【００３３】
Ｓ８４０において、コロケートされたベースレイヤマクロブロックの動きベクトルは、動き補償されたエンハンスメントレイヤマクロブロックの電流予測のために、動きアップサンプリングされる。その後、Ｓ８４１において、再構成されたベースレイヤの残差信号ＢＬKresを空間アップサンプリングする（Ｆｓ｛.｝）ことによって層間残差予測が実行されて、信号Ｆｓ｛ＢＬKres｝を生成する。信号Ｆｓ｛ＢＬKres｝は、その後、ビット深度アップサンプリングＦｂ’｛.｝）されて、残差予測信号Ｆｂ’｛Ｆｓ｛ＢＬres｝｝を生成する。Ｓ８５０において、Ｓ８３３またはＳ８４１によって出力される、エンハンスメントレイヤの電流残差予測信号がＥＬビットストリームに付加される。
【００３４】
図９に、統合された空間・ビット深度スケーラビリティの符号化方法を説明した、限定されないフローチャート９００を示す。その方法は、空間分解能とカラービット深度の両方において異なる、ベースレイヤとエンハンスメントレイヤの少なくとも２つのビットストリームを使用して、コロケートされたベースレイヤマクロブロックがイントラ符号化か、または内部符号化された時に、エンハンスメントレイヤマクロブロックを復号する。その方法は、空間アップサンプリングとビット深度アップランプリングの両方に対処する層間予測に基づく。
【００３５】
Ｓ９１０において、ベースレイヤのビットストリームが解析されて、ビット深度アップサンプリング関数Ｆｂ｛.｝のパラメータが、そのビットストリームから抽出される。Ｓ９２０において、コロケートされたベースレイヤマクロブロックがイントラ符号化されたかどうかを判定するための検査が行われ、イントラ符号化された場合、実行はＳ９３０に進む。イントラ符号化されない場合、実行はＳ９４０に進む。
【００３６】
Ｓ９３０において、再構成されたベースレイヤがコロケートされたマクロブロックＢＬrecが空間アップサンプリング（Ｆｓ｛.｝）されて、信号Ｆｓ｛ＢＬrec｝を生成する。Ｓ９３１において、空間アップサンプリングされた信号Ｆｓ｛ＢＬrec｝がビット深度アップサンプリング（Ｆｂ｛.｝）されて、エンハンスメントレイヤの電流予測Ｆｂ｛Ｆｓ｛ＢＬrec｝｝を生成する。その後、実行はＳ９５０に進む。
【００３７】
Ｓ９４０において、コロケートされたベースレイヤマクロブロックの動きベクトルは、動き補償されたエンハンスメントレイヤマクロブロックの電流予測のために、動きアップサンプリングされる。その後、Ｓ９４１において、再構成されたベースレイヤの残差信号ＢＬresを空間アップサンプリングする（Ｆｓ｛.｝）ことによって層間残差予測が実行されて、信号Ｆｓ｛ＢＬKres｝を生成して、その後、信号Ｆｓ｛ＢＬKres｝をビット深度アップサンプリング（Ｆｂ’｛.｝）して、残差予測信号Ｆｂ’｛Ｆｓ｛ＢＬkres｝｝を生成する。Ｓ９５０において、エンハンスメントレイヤの電流残差予測信号がエンハンスメントレイヤのビットストリームに付加される。
【００３８】
図１０に、ビデオ送信システム１０００の実装の図を示す。ビデオ送信システム１０００は、例えば、衛星、ケーブル、電話線などの任意のさまざまな媒体を使用した信号もしくは地上放送を送信するヘッドエンドもしくは送信システムなどにされてもよい。インターネット経由または他のネットワーク経由でそれらの送信を行うことができる。
【００３９】
ビデオ送信システム１０００は、異なるビデオ受信機の要件と互換性がある拡張色域およびハイダイナミックなどの、拡張機能を有するビデオコンテンツを生成して配信することができる。例えば、そのビデオコンテンツを、拡張機能をサポートするホームシアター装置上、標準機能をサポートするＣＲＴディスプレイおよびフラットパネルディスプレイ上、および限定機能をサポートする携帯型表示装置上に表示することができる。統合された空間・ビット深度スケーラビリティを含んだ符号化された信号を生成することによって、これらが実現される。
【００４０】
ビデオ送信システム１０００は、エンコーダ１０１０と、符号化された信号を送信することができる送信機１０２０を含む。エンコーダ１０１０は、異なるビット深度および分解能を有する２つのビデオストリームを受信して、統合されたスケーラビリティのプロパティを有する符号化された信号を生成する。エンコーダ１０１０を、例えば、上記に詳細に説明したエンコーダ１００またはエンコーダ５００にすることができる。
【００４１】
送信機１０２０を適用して、例えば、符号化されたピクチャを表す複数のビットストリームを有するプログラム信号を送信することができる。通常の送信機は、例えば、誤り訂正符号化を行い、信号内のデータをインタリーブし、信号内のエネルギーをランダマイズし、そして信号を１または複数の搬送波に変調するなどの、１または複数の機能を実行する。送信機は、アンテナ（図示せず）を含むまたはアンテナとインタフェースをとることができる。
【００４２】
図１１に、ビデオ受信システム２０００の実装の図を示す。ビデオ受信システム２０００を、例えば、衛星、ケーブル、電話線などのさまざまな媒体を経由した信号または地上放送を受信するように構成することができる。インターネット経由または他のネットワーク経由でその信号を受信することができる。
【００４３】
ビデオ受信システム２０００を、例えば、携帯電話、コンピュータ、セットトップボックス、テレビ、または符号化されたビデオを受信して、例えば、ユーザに表示するため、または格納のために復号されたビデオを与える他の装置にすることができる。従って、ビデオ受信システム２０００は、その出力を、例えば、テレビのスクリーン、コンピュータモニタ、（格納、処理または表示用の）コンピュータ、または他の記憶装置、処理装置または表示装置に与えることができる。
【００４４】
ビデオ受信システム２０００は、異なるビデオ受信機の要件と互換性がある拡張色域およびハイダイナミックなどの、拡張機能を有するビデオコンテンツを受信して処理することができる。例えば、そのビデオコンテンツを、拡張機能をサポートするホームシアター装置上、標準機能をサポートするＣＲＴディスプレイおよびフラットパネルディスプレイ上、および限定機能をサポートする携帯型表示装置上に表示することができる。統合された空間・ビット深度スケーラビリティを含んだ符号化された信号を受信することによって、これらが実現される。
【００４５】
ビデオ受信システム２０００は、統合された空間のプロパティを有する符号化された信号を受信することができる受信機２１００と、受信された信号を復号することができるデコーダ２２００を含む。
【００４６】
受信機２１００を適用して、例えば、符号化されたピクチャを表す複数のビットストリームを有するプログラム信号を受信することができる。通常の受信機は、例えば、変調されて符号化されたデータ信号を受信し、１または複数の搬送波からのデータ信号を復調し、信号内のエネルギーをデランダマイズし、信号内のデータをデインタリーブし、そして信号の誤り訂正復号を行うなどの、１または複数の機能を実行する。受信機２１００は、アンテナ（図示せず）を含むまたはアンテナとインタフェースをとることができる。
【００４７】
デコーダ２２００は、異なるビット深度および分解能を有する２つのビデオ信号を出力する。デコーダ２２００を、例えば、上記に詳細に説明したデコーダ３００またはデコーダ７００にすることができる。特定の実装において、ビデオ受信システム２０００は、異なる機能を有する２つの異なるディスプレイに接続されたセットトップボックスである。この特定の実装において、システム２０００は、それぞれの表示形式を、そのディスプレイによってサポートされるプロパティを有するビデオ信号に与える。
【００４８】
図１２に、エンコーダ１２００の別の実装を示す。エンコーダ１２００は、エンハンスメントレイヤのエンコーダ１２２０に接続されたベースレイヤのエンコーダ１２１０を含む。ベースレイヤのエンコーダ１２１０は、例えば、エンコーダ１００またはエンコーダ５００によるベースレイヤの符号化部分に従って動作することができる。エンコーダ１００またはエンコーダ５００によるベースレイヤの符号化部分は、一般的に、図１の下半分および図５の点線から下にある要素を含む。同様に、エンハンスメントレイヤのエンコーダ１２２０は、例えば、エンコーダ１００またはエンコーダ５００によるエンハンスメントレイヤの符号化部分に従って動作することができる。エンコーダ１００またはエンコーダ５００によるエンハンスメントレイヤの符号化部分は、一般的に、図１の上半分および図５の点線から上にある要素を含む。
【００４９】
図１３に、デコーダ１３００の別の実装を示す。デコーダ１３００は、エンハンスメントレイヤのデコーダ１３２０に接続されたベースレイヤのデコーダ１３１０を含む。ベースレイヤのデコーダ１３１０は、例えば、デコーダ３００またはデコーダ７００によるベースレイヤの復号部分に従って動作することができる。デコーダ３００またはデコーダ７００によるベースレイヤの復号部分は、図３の下半分および図７の点線から下にある要素を含む。同様に、エンハンスメントレイヤのデコーダ１３２０は、例えば、デコーダ３００またはデコーダ７００によるエンハンスメントレイヤの復号部分に従って動作することができる。デコーダ３００またはデコーダ７００によるエンハンスメントレイヤの復号部分は、一般的に、図３の上半分および図７の点線から上にある要素を含む。
【００５０】
図１４は、空間・ビット深度スケーラブルであるデータと、空間スケーラブルであるデータの両方を与える受信されたデータストリームを復号するプロセス１４００を与える。プロセス１４００は、符号化された画像部分にアクセス（１４１０）して、そのアクセスされた部分を復号する（１４２０）ことを含む。その部分を、例えば、ピクチャのエンハンスメントレイヤ、フレームまたはレイヤにすることができる。
【００５１】
符号化動作１４２０は、アクセスされた部分の空間アップサンプリングを実行して、そのアクセスされた部分の空間分解能を増加させることを含む（１４３０）。空間アップサンプリングは、例えば、アクセスされた部分をＳＤ(standard definition)からＨＤ(high definition)に変更することができる。
【００５２】
符号化動作１４２０は、アクセスされた部分のビット深度アップサンプリングを実行して、そのアクセスされた部分のビット深度分解能を増加させることを含む（１４４０）。ビット深度アップサンプリングは、例えば、アクセスされた部分を８ビットから１０ビッドに変更することができる。
【００５３】
空間アップサンプリング（１４３０）の前または後に、ビッド深度アップサンプリング（１４４０）を実行することができる。特定の実装において、ビット深度アップサンプリングは、空間アップサンプリングの後に実行されて、アクセスされた部分を８ビットＳＤから１０ビットＨＤに変更する。さまざまな実装におけるビット深度アップサンプリングは、一般的に、結果的に非線形をもたらす逆トーンマッピングを使用する。空間アップサンプリングの後に、さまざまな実装は、非線形逆トーンマッピングを適用する。
【００５４】
例えば、プロセス１４００を、デコーダ３００またはデコーダ７００によるエンハンスメントレイヤの復号部分を使用して実行することができる。さらに、空間・深度アップサンプリングを、例えば、層間予測モジュール３４０（図３または図４参照）または層間残差予測モジュール７１０（図７参照）によって実行することができる。明らかであるように、プロセス１４００を、イントラ符号化か、または内部符号化のいずれかの状況で実行することができる。
【００５５】
さらに、プロセス１４００を、例えば、エンコーダ１００またはエンコーダ５００などのエンコーダによって実行することができる。特に、プロセス１４００を、例えば、エンコーダ１００またはエンコーダ５００によるエンハンスメントレイヤの符号化部分を使用して実行することができる。さらに、空間・ビット深度アップサンプリングを、例えば、層間予測モジュール１５０（図１または図２参照）または層間予測モジュール５２０（図５および図６参照）によって実行することができる。
【００５６】
本明細書に説明された実装は、例えば、方法もしくはプロセス、装置またはソフトウェアプログラムに実装されてもよい。たとえ、（例えば、方法としてのみ説明される）単一の実装形態の状況においてのみ説明されていても、説明された機能の実装は、他の形態（例えば、装置またはプログラム）において実装されてもよい。装置は、例えば、適切なハードウェア、ソフトウェアおよびファームウェアに実装されてもよい。その方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路を含む、一般的な処理装置を示すプロセッサ、またはプログラム可能な論理装置などの装置に実装されてもよい。プロセッサは、例えば、コンピュータ、携帯電話、「ＰＤＡ(portable/personal digital assistant)」などの通信装置、およびエンドユーザ間の情報の伝達を容易にする他の装置も含む。
【００５７】
本明細書に説明されるさまざまなプロセスおよび機能の実装は、さまざまな異なる機器またはアプリケーション、特に、例えば、データの符号化および復号と関連付けられた機器またはアプリケーションに実施されてもよい。機器の例は、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡおよび他の通信装置を含む。明らかであるように、それらの機器は、移動体でもよく、移動車両に組み込まれてもよい。
【００５８】
さらに、その方法は、プロセッサによって実行される命令によって実装されてもよいし、その命令は、例えば、集積回路、ソフトウェア担体などのプロセッサ可読媒体上に、または例えば、ハードディスク、コンパクトディスケット、「ＲＡＭ(random access memory)」もしくは「ＲＯＭ(read-only memory)」などの他の記憶装置上に格納されてもよい。その命令は、プロセッサ可読媒体上で明示的に実施されるアプリケーションプログラムの形式にしてもよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組み合わせにしてもよい。命令は、例えば、オペレーティングシステム、個別のアプリケーション、またはその２つの組み合わせに含まれてもよい。プロセッサは、従って、プロセスを実行するように構成された装置と、プロセスを実行する命令を有したコンピュータ可読媒体を含む装置の両方として特徴付けられてもよい。
【００５９】
当業者には明らかであるように、実装は、例えば、格納または送信される情報を伝達するように初期化されたさまざまな信号を生成することができる。その情報は、例えば、方法を実行する命令、または説明した実装のうちの１つによって生成されたデータ命令を含むことができる。例えば、信号を初期化して、説明した実施形態のシンタックスを書き込むまたは読み込むルールをデータとして伝達する、または説明した実施形態によって書き込まれた実シンタックス値をデータとして伝達することができる。このような信号を、例えば、（例えば、スペクトルの無線周波数部分を使用する）電磁波としてまたはベースバンド信号として初期化することができる。その初期化は、例えば、データストリームを符号化すること、および符号化されたデータストリームを用いて搬送波を変調することを含むことができる。その信号を伝達する情報を、例えば、アナログ情報またはデジタル情報にしてもよい。周知のように、その信号を、さまざまな異なる有線リンクまたは無線リンク経由で送信することができる。
【００６０】
多数の実装が説明された。それでもなお、さまざまな変更が行われてもよいことが理解されよう。例えば、異なる実装の要素は、組み合わされ、補完され、変更されてもよく、または他の実装をもたらすために除去されてもよい。さらに、当業者には当然ながら、他の構造およびプロセスは、開示されたものの代替としてもよいし、その結果得られる実装は、少なくとも実質的に同じ関数を実行し、少なくとも実質的に同じ方法において実行して、開示された実装と少なくとも実質的に同じ結果を達成するであろう。従って、これらと他の実装は、本適用によって考慮されて、以下の特許請求の範囲の範囲内である。
【図１】
0005451626.tif 000002
【図２】
0005451626.tif 000003
【図３】
0005451626.tif 000004
【図４】
0005451626.tif 000005
【図５】
0005451626.tif 000006
【図６】
0005451626.tif 000007
【図７】
0005451626.tif 000008
【図８】
0005451626.tif 000009
【図９】
0005451626.tif 000010
【図１０】
0005451626.tif 000011
【図１１】
0005451626.tif 000012
【図１２】
0005451626.tif 000013
【図１３】
0005451626.tif 000014
【図１４】
0005451626.tif 000015