(57)【要約】スケーラブルビデオビットストリームは、Ｈ．２６４／ＡＶＣ規格と互換性のあるベースレイヤ（ＢＬ）とスケーラブルなエンハンスメントレイヤ（ＥＬ）とを有し、スケーラビリティはカラービット深度を示す。Ｈ．２６４／ＡＶＣスケーラビリティの拡張ＳＶＣは、たとえばＢＬとＥＬにおける画素数が異なる空間スケーラビリティといった他のタイプのスケーラビリティをも提供する。本発明によれば、ＢＬ情報は２つの論理ステップでアップサンプルされ、一方は、テクスチャのアップサンプリングであり、他方は、ビット深度のアップサンプリングである。テクスチャのアップサンプリングは、画素数を増加させるプロセスであり、ビット深度のアップサンプリングは、画素の色の強さに対応して、それぞれの画素が有することができる値の数を増加させるプロセスである。アップサンプルされたＢＬデータは配列されたＥＬを予測するために使用され、ＢＬの情報はエンコーダサイドでアップサンプリングされ、同様にデコーダサイドでアップサンプリングされ、アップサンプリングは、空間特性及びビット深度特性を示す。
2010512699.tif 000002
【特許請求の範囲】
【請求項１】
ベースレイヤがエンハンスメントレイヤよりも低い色解像度及び低い空間解像度を有するベースレイヤとエンハンスメントレイヤとを有するビデオデータを符号化する方法であって、
ベースレイヤの情報をアップサンプリングするステップと、前記ベースレイヤよりも高い値のビット深度の解像度と高い空間解像度とを有する予測されたバージョンのエンハンスメントレイヤの情報が得られ、
エンハンスメントレイヤの情報と前記予測されたバージョンのエンハンスメントレイヤの情報との間の差であるエンハンスメントレイヤの残差を生成するステップと、
前記ベースレイヤ情報と前記エンハンスメントレイヤの残差とを符号化するステップと、
を含むことを特徴とする方法。  
【請求項２】
前記アップサンプリングするステップは、イントラ符号化されたベースレイヤ情報の場合に、再構成されたベースレイヤの画像データのテクスチャをアップサンプリングするステップを含む、
請求項１記載の方法。  
【請求項３】
前記アップサンプリングするステップは、インター符号化されたベースレイヤ情報の場合に、再構成されたベースレイヤの残差データをアップサンプリングするステップを含む、
請求項１又は２記載の方法。  
【請求項４】
前記アップサンプリングするステップは、インター符号化されたベースレイヤ情報の場合に、ベースレイヤの動き情報データをアップサンプリングするステップを含む、
請求項１乃至３の何れか記載の方法。
【請求項５】
ベースレイヤとエンハンスメントレイヤとを有するビデオデータを復号化する方法であって、  当該方法は、
エンハンスメントレイヤ情報とベースレイヤ情報とを受信するステップと、
受信された情報に逆量子化及び逆変換を実行するステップと、
逆量子化及び逆変換されたベースレイヤ情報をアップサンプリングするステップと、画素数及び画素当たりの値の深さが増加され、予測されたエンハンスメントレイヤ情報が取得され、
前記予測されたエンハンスメント情報並びに前記逆量子化及び逆変換されたエンハンスメントレイヤ情報から、再構成されたエンハンスメントレイヤビデオ情報を再構成するステップと、
を含むことを特徴とする方法。  
【請求項６】
前記逆量子化及び逆変換されたエンハンスメントレイヤ情報は残差情報を含み、
当該方法は、前記逆量子化及び逆変換されたベースレイヤ情報からベースレイヤビデオを再構成するステップと、前記残差情報を前記予測されたバージョンのエンハンスメントレイヤ情報に加えるステップとを更に含む、
請求項５記載の方法。
【請求項７】
前記逆量子化及び逆変換されたエンハンスメントレイヤ情報は、エンハンスメントレイヤの残差情報を含み、前記逆量子化及び逆変換されたベースレイヤ情報は、ベースレイヤの残差情報を含み、
前記逆量子化及び逆変換されたベースレイヤ情報をアップサンプリングするステップは、前記ベースレイヤの残差情報をアップサンプリングするステップを含み、前記エンハンスメントレイヤの残差情報と前記アップサンプリングされたベースレイヤの残差情報とを加えるステップを更に含み、再構成されたエンハンスメントレイヤの残差が得られる、
請求項５記載の方法。  
【請求項８】
再構成されたエンハンスメントレイヤの残差が得られ、
前記再構成されたエンハンスメントレイヤの残差を、再構成された動き補償されたエンハンスメントレイヤの情報に加えるステップを更に含む、
請求項５又は７記載の方法。  
【請求項９】
前記受信されたエンハンスメントレイヤの情報から動き情報を抽出するステップと、
エンハンスメントレイヤのビデオを再構成するステップとを更に含み、
前記エンハンスメントレイヤの動き情報が使用される、
請求項５、７又は８記載の方法。  
【請求項１０】
ベースレイヤがエンハンスメントレイヤよりも低い色解像度と低い空間解像度とを有するベースレイヤとエンハンスメントレイヤとを有するビデオデータを符号化する装置であって、
ベースレイヤの情報をアップサンプリングする手段と、前記ベースレイヤ情報よりも高いカラービット深度及び高い空間解像度を有する予測されたバージョンのエンハンスメントレイヤの情報が生成され、
エンハンスメントレイヤの情報と前記予測されたバージョンのエンハンスメントレイヤの情報との間の差であるエンハンスメントレイヤの残差を生成する手段と、
前記ベースレイヤ情報を符号化する手段と、
前記エンハンスメントレイヤの残差を符号化する手段と、
を含むことを特徴とする装置。  
【請求項１１】
ベースレイヤとエンハンスメントレイヤを有するビデオデータを復号化する装置であって、
エンハンスメントレイヤの情報を受信する手段と、
ベースレイヤの情報を受信する手段と、
受信された情報に逆量子化及び逆変換を実行する手段と、
逆量子化及び逆変換されたベースレイヤの情報をアップサンプリングする手段と、画素数及び画素当たりの値の深さが増加され、予測されたエンハンスメントレイヤの情報が生成され、
前記予測されたエンハンスメントレイヤの情報と前記逆量子化及び逆変換されたエンハンスメントレイヤ情報から、再構成されたエンハンスメントレイヤのビデオ情報を再構成する手段と、を有することを特徴とする装置。
【請求項１２】
前記アップサンプリングする手段は、画素数を増加する手段と、それぞれの画素が有することができる値の数を増加する手段とを有する、
請求項１０又は１１記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルビデオ符号化の技術分野に関する。本発明は、ビット深度スケーラビリティといった新たなタイプのスケーラビリティについて符号化のソリューションを提供するものである。
【背景技術】
【０００２】
近年、従来の８ビットカラー深度よりも高いカラー深度は、科学画像形成、デジタルシネマ、高品質ビデオイネーブルコンピュータゲーム、並びに、プロフェッショナルスタジオ及びホームシアターに関連するアプリケーションのような多くの分野で益々望まれている。これに応じて、最新のビデオ符号化標準であるＨ．２６４／ＡＶＣは、高忠実度化規格（ＦＲＥｘｔ）を既に含んでおり、この規格は、サンプル当たり１４ビットまでであって、４：４：４クロマサンプリングまでをサポートする。現在のＳＶＣレファレンスソフトウェアＪＳＶＭは、高いビット深度をサポートしない。
【０００３】
しかし、これら既存の最新の符号化のソリューションのいずれもビット深度のスケーラビリティをサポートしない。２つの異なるデコーダ、又はたとえば同じｒａｗビデオについて８ビット及び１２ビットといったビット深度について異なる要求を持つクライアントによるシナリオについて、既存のＨ．２６４／ＡＶＣソリューションは、１２ビットのｒａｗビデオを符号化して第一のビットストリームを生成し、次いで１２ビットｒａｗビデオを８ビットｒａｗビデオに変換し、これを符号化して第二のビットストリームを生成する。ビデオが異なるビット深度を要求する異なるクライアントに伝達される場合、ビデオは２度伝達される必要があり、たとえば、２つのビットストリームが１つのディスクに一緒に記憶される。これは、圧縮率及び動作の複雑度の両者に関して効率が低い。
【０００４】
欧州特許出願ＥＰ０６２９１０４１は、１２ビットｒａｗビデオ全体を一度に符号化して、Ｈ．２６４／ＡＶＣと互換性のあるベースレイヤ（ＢＬ）及びスケーラブルエンハンスメントレイヤ（ＥＬ）を含む１つのビットストリームを生成するスケーラブルなソリューションを開示する。上述された第一のビットストリームに比較して全体のスケーラブルなビットストリームのオーバヘッドは、更なる第二のストリームに比較して小さいことである。Ｈ．２６４デコーダが受信エンドで利用可能である場合、ＢＬサブビットストリームのみがデコードされ、デコードされた８ビットビデオは、従来の８ビットディスプレイ装置で視聴することができ、ビット深度スケーラブルデコーダが受信エンドで利用可能である場合、ＢＬ及びＥＬサブビットストリームの両者がデコードされて１２ビットビデオが取得され、８ビットを超えるカラー深度をサポートする高品質表示装置で視聴することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
Ｈ．２６４／ＡＶＣスケーラビリティ拡張ＳＶＣは、たとえば空間スケーラビリティといった他のタイプのスケーラビリティをも提供する。空間スケーラビリティでは、ＢＬ及びＥＬにおける画素数は異なる。従って、ビット深度スケーラビリティと他のタイプのスケーラビリティ、特に空間スケーラビリティをどのように結合すべきかに関する問題が生じる。本発明は、この問題についてソリューションを提供するものである。
【課題を解決するための手段】
【０００６】
請求項１は、ビット深度スケーラビリティと他のスケーラビリティとの結合を可能にする符号化方法を開示する。請求項５は、対応する復号化方法を開示する。符号化方法を利用する装置は、請求項１０に開示されており、復号化方法を利用する装置は、請求項１１に開示されている。
【０００７】
本発明によれば、ＢＬ情報は２つの論理ステップでアップサンプルされ、一方は、テクスチャのアップサンプリングであり、他方は、ビット深度のアップサンプリングである。テクスチャのアップサンプリングは、画素数を増加させるプロセスであり、ビット深度のアップサンプリングは、それぞれの画素が有する値の数を増加させるプロセスである。この値は、画素の色の強度に対応する。アップサンプリングされたＢＬユニットは、配列されたＥＬユニットを予測するために使用される。エンコーダは、ＥＬビデオデータから残差を生成し、残差は、更に符号化され（通常はエントロピー符号化され）、送信される。アップサンプリングされたＢＬ情報は、たとえば１画素、画素ブロック、マクロブロック又は画像全体の単位といった任意の粒状度からなる。さらに、２つのロジカルなアップサンプリングステップを１つのステップで実行することができる。ベースレイヤの情報はエンコーダサイドでアップサンプリングされ、同様にデコーダサイドでアップサンプリングされ、アップサンプリングは、空間特性及びビット深度特性を示す。
【０００８】
さらに、結合された空間及びビット深度のアップサンプリングは、インター符号化画像についてと同様にイントラ符号化画像について実行される。
【０００９】
特に、ベースレイヤの画素がエンハンスメントレイヤの画素よりも小さなビット深度及び低い空間解像度を有するベースレイヤとエンハンスメントレイヤとを有するビデオデータを符号化する方法は、以下のステップを含む。ベースレイヤの情報をアップサンプリングするステップ。ベースレイヤよりも高い色解像度及び高い空間解像度を有する予測されたバージョンのエンハンスメントレイヤの情報が得られる。エンハンスメントレイヤの情報と前記予測されたバージョンのエンハンスメントレイヤの情報との間の差であるエンハンスメントレイヤの残差を生成するステップ。ベースレイヤ情報とエンハンスメントレイヤの残差との符号化するステップ。
【００１０】
本発明の１態様によれば、ビデオデータを復号化する方法は、量子化及び（たとえばＤＣＴ）変換されたエンハンスメントレイヤ情報及びベースレイヤ情報を受信するステップ、受信された情報に逆量子化及び逆変換を実行するステップ、逆量子化及び逆変換されたベースレイヤ情報をアップサンプリングするステップを含み、画素数及び画素当たりの値の深さが増加され、予測されるエンハンスメントレイヤ情報が取得される。さらに、本方法は、予測されるエンハンスメントレイヤ情報及び逆量子化及び逆変換されたエンハンスメントレイヤ情報から、再構成されたエンハンスメントレイヤビデオ情報を再構成するステップを含む。
【００１１】
本発明の１実施の形態では、符号化方法は、ＢＬ情報をイントラ符号化するステップ、イントラ符号化されたＢＬ情報を再構成するステップ、再構成されたＢＬ情報に空間のアップサンプリング及びカラービット深度のアップサンプリングを実行するステップ、現在のＥＬ情報（すなわち画像データ）と前記空間及びカラービット深度がアップサンプリングされたＢＬ情報（すなわち画像データ）の間の差であるＥＬ残差を生成するステップを含む。本発明の１実施の形態では、現在のＢＬ画像データと予測されたＢＬ画像データ（従来通りインター符号化ＢＬについて）の間の差であるＢＬ残差を生成するステップ、予測されたＢＬ画像データは、現在又は前のＢＬ画像のデータから予測することができ、前記ＢＬ残差を符号化（すなわち変換及び量子化）するステップ、符号化されたＢＬ残差を再構成（逆変換及び逆量子化）するステップ、再構成されたＢＬ残差に残差（空間）アップサンプリング及びカラービット深度アップサンプリングを実行するステップ、及び現在のＥＬ残差データと前記空間及びカラービット深度がアップサンプリングされた再構成されたＢＬ残差との間の差であるＥＬレイヤ間の残差を生成するステップを含む。
【００１２】
有利なことに、２つの言及されたエンコーダの実施の形態は、イントラ符号化及びインター符号化されたビデオデータを適合的にエンコードすることができる１つの結合されたエンコーダに結合することができる。
【００１３】
本発明の１実施の形態では、復号化方法は、さらに、受信されたＢＬ情報がイントラ符号化されているかを（暗黙的に）検出するステップ、受信された逆量子化及び逆変換されたＢＬ情報からＢＬビデオを再構成するステップ、再構成されたＢＬビデオをアップサンプリングするステップを含み、アップサンプリングは、テクスチャ（空間）アップサンプリング及びビット深度アップサンプリングを含み、予測されたＥＬ情報が取得され、本方法は、予測されたＥＬ情報並びに逆量子化及び逆変換された受信された情報から、再構成されたＥＬビデオ情報を再構成するステップを含む。
【００１４】
本発明の１実施の形態によれば、復号化方法は、受信されたＢＬデータがインター符号化されているかを（暗黙的に）検出するステップ、受信されたＢＬデータからＢＬ残差を抽出するステップ、抽出されたＢＬ残差に残差（空間）のアップサンプリング及びカラービット深度のアップサンプリングを実行するステップ、逆量子化及び逆変換されたＥＬ情報からＥＬ残差を抽出するステップ、再構成されたＥＬ残差をＥＬ残差及びアップサンプリングされたＢＬ残差から再構成するステップ、及び、再構成されたＥＬビデオ情報を再構成されたＥＬ残差及び前に再構成されたＥＬ情報から再構成するステップを含む。
【００１５】
有利なことに、２つの言及されたデコーダの実施の形態は、イントラ符号化及びインター符号化されたビデオデータを適合的にデコードすることができる１つの結合されたエンコーダに結合することができる。
【００１６】
本発明の別の態様によれば、ベースレイヤがエンハンスメントレイヤよりも低いカラー解像度及び低い空間解像度を有するベースレイヤとエンハンスメントレイヤとを有するビデオデータを符号化する装置は、以下の構成を有する。ベースレイヤの情報をアップサンプリングする手段。ベースレイヤよりも高い色解像度及び高い空間解像度を有する予測されたバージョンのエンハンスメントレイヤの情報が得られる。エンハンスメントレイヤの情報と前記予測されたバージョンのエンハンスメントレイヤの情報との間の差であるエンハンスメントレイヤの残差を生成する手段。ベースレイヤ情報とエンハンスメントレイヤの残差とを符号化する手段。
【００１７】
本発明の１実施の形態によれば、ビデオデータを符号化又は復号化する装置は、空間（残差又はテクスチャ）のアップサンプリングを実行する手段、及びカラービット深度のアップサンプリングを実行する手段を有し、空間のアップサンプリングを実行する手段は、ＢＬ情報内の値の数を増加し、カラービット深度のアップサンプリングを実行する手段は、値のカラーレンジを増加し、空間及びカラービット深度がアップサンプリングされたＢＬデータが取得される。
【００１８】
本発明の別の態様によれば、符号化されたスケーラブルビデオ信号は、イントラ符号化されたＢＬデータ及びイントラ符号化されたＥＬデータを含み、イントラ符号化されたＥＬデータは、アップサンプリングされたＢＬデータとＥＬ画像との間の差である残差を含み、残差は、差のテクスチャ情報及び差のビット深度情報を含む。
【００１９】
提供される符号化ソリューションの様々な実施の形態は、Ｈ．２６４／ＡＶＣに対して、Ｈ．２６４／ＡＶＣ規格のスケーラブルな拡張において現在定義されている全ての種類のスケーラビリティに対して互換性がある。
【００２０】
本発明の有利な実施の形態は、従属の請求項、以下の説明及び添付図面で開示される。
【図面の簡単な説明】
【００２１】
本発明の例示的な実施の形態は、添付図面を参照して記載される。
【図１】カラービット深度のスケーラブル符号化の概念を例示する図である。
【図２】空間スケーラビリティのカラービット深度スケーラビリティへのテクスチャ内のレイヤ間予測（ｉｎｔｒａ  ｔｅｘｔｕｒｅ  ｉｎｔｅｒ−ｌａｙｅｒ  ｐｒｅｄｉｃｔｉｏｎ  ）の拡張のためのエンコーダを示す図である。
【図３】空間スケーラビリティのカラービットスケーラビリティへの残差のレイヤ間予測の拡張向けエンコーダを示す図である。
【図４】空間スケーラビリティのカラービット深度のスケーラビリティへのテクスチャ内レイヤ間予測の拡張のためのデコーダを示す図である。
【図５】空間スケーラビリティのカラービット深度のスケーラビリティへの残差のレイヤ間予測の拡張向けデコーダを示す図である。
【図６】空間スケーラビリティのカラービット深度スケーラビリティへの残差のレイヤ間予測の拡張の概念の論理的に等価な概念を示す図である。
【発明を実施するための形態】
【００２２】
図１に示されるように、Ｎビットのｒａｗビデオ及びＭビット（Ｍ＜Ｎ、通常Ｍ＝８）ビットである２つのビデオは、ビデオエンコーダへの入力として使用される。Ｍビットビデオは、Ｎビットｒａｗビデオから構成されるか、他のやり方により与えられる。スケーラブルなソリューションは、ＢＬのピクチャを使用することで２つのレイヤ間の冗長度を低減することができる。一方が８ビットカラーであり、他方がＮビットカラー（Ｎ＞８）である２つのビデオストリームは、エンコーダに入力され、出力は、スケーラブルなビットストリームである。唯一のＮビットカラーデータストリームが入力されることも可能であり、これよりＭビット（Ｍ＜Ｎ）カラーデータストリームがＢＬについて内部生成される。
【００２３】
Ｍビットビデオは、包含されるＨ．２６４／ＡＶＣエンコーダを使用してＢＬとしてエンコードされる。ＢＬの情報は、ＥＬの符号化効率を改善するために使用することができる。これは、本実施の形態ではレイヤ間予測と呼ばれる。それぞれのピクチャ、ＭＢのグループは、２つのアクセスユニットを有しており、一方はＢＬ向けであり、他方はＥＬ向けである。符号化されたビットストリームは、スケーラブルビットストリームを形成するために多重化される。ＢＬエンコーダは、たとえばＨ．２６４／ＡＶＣエンコーダを有しており、再構成は、ＥＬ符号化のために使用されるＮビットカラービデオを予測するために使用される。
【００２４】
図１に示されるように、スケーラブルビットストリームは、ＢＬデコーダ（コンベンショナルなＡＶＣデコーダ）によりデコードされるＡＶＣに準拠するＢＬビットストリームを含む。次いで、エンコーダにおけるのと同じ予測がデコーダ側で行われ、予測されたＮビットビデオが取得される。Ｎビットの予測されたビデオにより、ＥＬデコーダは、Ｎビット予測を使用して、高品質表示ＨＱ用の最終的なＮビットビデオを生成する。
【００２５】
以下では、用語「カラービット深度」は、ビット深度、すなわち値当たりのビット数を意味するために使用される。これは、通常、色の強さに対応する。
【００２６】
１実施の形態では、本発明は、ＳＶＣ空間、時間及び品質スケーラビリティの現在の構造に基づいており、改善されたカラービット深度のためのビット深度スケーラビリティにより改善される。したがって、本実施の形態は、現在のＳＶＣ規格に対して完全に互換性がある。しかし、これを他の規格に適合することは、当業者にとって容易である。ビット深度スケーラビリティの鍵は、ビット深度のレイヤ間予測である。レイヤ間予測を使用することで、ＮビットビデオとＭビットビデオの間の差はＥＬとしてエンコードされる。
【００２７】
説明の便宜のため、以下の表記が示される。  
ＢＬｏｒｇは、ベースレイヤのオリジナルＭＢを示す。ＢＬｒｅｓは、ベースレイヤの残差ＭＢを示す。ＢＬｒｅｃは、ベースレイヤの再構成ＭＢを示す。ＥＬｏｒｇは、エンハンスメントレイヤのオリジナルＭＢを示す。ＥＬｒｅｃは、エンハンスメントレイヤの再構成ＭＢを示す。ＥＬ’ｒｅｓは、エンハンスメントレイヤの残差ＭＢを示す。Ｐｒｅｃ｛｝は、カラービット深度のレイヤ間予測の演算子を示す。Ｐｒｅｔ｛｝’は、テクスチャ（空間）のレイヤ間予測の演算子を示す。Ｐｒｅｒ｛｝は、残差（空間）のレイヤ間予測の演算子を示す。
【００２８】
例示的に、ＳＶＣに互換性のあるＭＢレベルのビット深度のスケーラブル符号化のソリューションは、現在のＳＶＣ空間スケーラビリティに基づく。以下では、イントラ符号化及びインター符号化の両者について、空間スケーラビリティのビット深度スケーラビリティへの拡張の詳細が説明される。ＳＶＣと互換性のあるビット深度のスケーラブル符号化の第一のステップは、ＥＬ符号化及び復号化においてＨ．２６４／ＡＶＣ  ＦＲＥｘｔ拡張（現在サンプル当たり１０〜１４ビット）が行うように高いビット符号化をサポートすることである。
【００２９】
［イントラ符号化］
図２は、現在のＳＶＣ標準で使用されるような空間スケーラビリティのビット深度スケーラビリティへのテクスチャ内レイヤ間予測の拡張のためのエンコーダを示す。ビット深度のアップサンプリングブロックＢＤＵｐは、ビット深度スケーラビリティへの拡張を表し、他のブロックは、現在のＳＶＣ規格における空間スケーラビリティを表す。このブックＢＤＵｐは、コンベンショナルなＳＶＣイントラエンコーダと本発明に係るイントラエンコーダとの間の差である。図２では、ＭビットのベースレイヤＭＢはＢＬエンコーダに入力され、ＮビットのエンハンスメントレイヤＭＢは、ＥＬエンコーダ（Ｎ＞Ｍ）に入力される。現在のＳＶＣ規格では、テクスチャのアップサンプリングは、空間のテクスチャ内のレイヤ間の予測のために設計される。図２では、テクスチャアップサンプリングＴＵｐへの入力は、再構成されたＢＬマクロブロックＢＬｒｅｃ、出力は、空間的（テクスチャ）に予測されたバージョンのＥＬマクロブロックＰｒｅｔ｛ＢＬｒｅｃ｝である。
【００３０】
ビット深度のスケーラビリティは、（この例では）テクスチャアップサンプリングＴＵｐに直接後続する、ビット深度のアップサンプリングＢＤＵｐのステップにより実現される。実際に、はじめに空間のレイヤ間予測としてテクスチャアップサンプリングを行い、次いでビット深度のレイヤ間予測としてビット深度のアップサンプリングＢＤＵｐが行われることが有利なことがある。テクスチャのアップサンプリングＴＵｐとビット深度のアップサンプリングＢＤＵｐの両者により、予測されたバージョンのＮビットのＥＬマクロブロックＰｒｅｃ｛Ｐｒｅｔ｛ＢＬｒｅｃ｝｝が得られる。同様の残差は、予測ステップの逆の順序により得られる。
【００３１】
オリジナルのＮビットのＥＬマクロブロックＥＬｏｒｇとその予測されたバージョンＰｒｅｃ｛Ｐｒｅｔ｛ＢＬｒｅｃ｝｝の間の残差ＥＬ’ｒｅｓは、差発生器ＤＥＬにより取得される。この残差は、本発明の１実施の形態では、更に変換されＴ、量子化されＱ、エントロピー符号化されＥＣＥＬ、ＳＶＣにおけるようなＥＬサブビットストリームが形成される。数学的な表現では、カラービット深度のイントラアップサンプリングの残差は、以下のように表される。
【００３２】
【数１】
2010512699.tif 000003
この場合、Ｐｒｅｔ｛｝は、テクスチャのアップサンプリング演算子を表す。
【００３３】
異なるバリエーションの符号化プロセスが可能であり、制御パラメータにより制御することができる。例示的なフラグ  ｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇは図２に示されており、このフラグは、ＥＬ残差が再構成されたＥＬ情報に基づいて決定されたか、又はアップサンプリングされたＢＬ情報に基づいて予測されたかを示す。
【００３４】
［インター符号化］
インター符号化のビット深度のスケーラビリティは、イントラ符号化のそれとは異なって実現される。現在のＳＶＣ規格では、動きアップサンプリング及び残差アップサンプリングは、空間テクスチャ内のレイヤ間の予測について設計される。
【００３５】
図３は、インター符号化（Ｐ及びＢ）マクロブロックの残差のレイヤ間の予測の拡張のためのエンコーダを示す。ビット深度のスケーラビリティは、（この例では）（空間）残差アップサンプリングＲＵｐが直接に後続する、ビット深度アップサンプリングＢＤＵｐのステップにより実現される。残差のアップサンプリングＲＵｐへの入力は、再構成されたＢＬ残差ＢＬｒｅｓ，ｒｅｃ，ｋであり、これは、再構成されたバージョンの送信されることとなるＢＬ残差ＢＬｒｅｓ，ｋ（以下の式（３）で表現される）。実際に、動きのアップサンプリングＭＵｐがはじめに行われ、ついで、ある種の空間のレイヤ間予測として残差のアップサンプリングＲＵｐが行われる。最後に、ビット深度のレイヤ間予測としてビット深度のアップサンプリングＢＤＵｐが行われる。動きのアップサンプリングＭＵｐ、残差のアップサンプリングＲＵｐ及びカラービット深度のアップサンプリングＢＤＵｐにより、予測されたバージョンのＮビットのＥＬマクロブロックＰｒｅｃ｛Ｐｒｅｒ｛ＢＬｒｅｓ，ｒｅｃ，ｋ｝｝が得られる。結果として得られるエンハンスメントレイヤの残差ＥＬ’ｒｅｓ，ｋ（以下で式（３）で定義される）は、さらに、変換Ｔ、量子化Ｑ及びエントロピー符号化され、ＳＶＣにおけるようなＥＬサブビットストリームが形成される。
【００３６】
異なるバリエーションの符号化プロセスが可能であり、制御パラメータにより制御することができる。図３に示されるフラグは、ＥＬ動き補償がＥＬから取得された動きベクトルに基づくか又はＢＬからアップサンプルされた動きベクトルに基づくかを制御するｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇ、及びＢＬ残差がＥＬ残差を予測するために使用されるかを制御するｒｅｓｉｄｕａｌ＿ｐｒｅｄ＿ｆｌａｇである。図２に示されるように、テクスチャ内レイヤ間予測を制御するためにｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇも使用される。図４は、レイヤ間予測を利用するイントラ符号化ＢＬ画像用の例示的なデコーダを示す。たとえば多重化されたパケット化ビットストリームで符号化されたＢＬ及びＥＬ情報を受信してＥＬ情報からＢＬ情報を分離した後、ＢＬ情報は、ＥＬ情報と共にエントロピー復号化される。次いで、逆量子化Ｑ−１及び逆変換Ｔ−１が行われる。ＢＬについて、処理は、従来のＳＶＣについてと同じである。
【００３７】
画像は、空間イントラ予測を使用して再構成され、すなわち前に再構成された同じ画像の情報に基づいて再構成される。デブロッキングの後、結果として得られるＢＬ信号ＢＬｒｅｃは、上述されたような８ビットカラー深度をもつ標準的なＳＶＣディスプレイで表示することができる。代替的に、この信号は、予測されたバージョンの配列されたＥＬ画像Ｐｒｅｃ｛Ｐｒｅｔ｛ＢＬｒｅｃ｝｝を生成するために使用される。このため、この信号は、テクスチャアップサンプルされＴＵｐ、テクスチャ予測されたバージョンのＥＬ画像Ｐｒｅｔ｛ＢＬｒｅｃ｝が得られ、これは、次いで、ビット深度アップサンプルされるＢＤＵｐ。テクスチャ及びビット深度アップサンプルされた再構成されたＢＬ画像Ｐｒｅｃ｛Ｐｒｅｔ｛ＢＬｒｅｃ｝｝は、次いで、Ａ２，ＥＬ、改善された、逆量子化及び逆変換されたＥＬ残差ＥＬ’ｒｅｓを更新するために使用され、これにより、デブロッキング後にＨＱディスプレイ用のＥＬビデオＥＬｒｅｃとして出力される信号が取得される。
【００３８】
勿論、ＥＬモードで動作されるデコーダは、ＥＬ予測のために必要とされるのでＢＬビデオも内部で生成するが、ＢＬビデオは、デコーダ出力で必ずしも利用可能である必要はない。１実施の形態では、デコーダは２つの出力を有し、１つはＢＬビデオＢＬｒｅｃ用であり、１つはＥＬビデオＥＬｒｅｃ用である。別の実施の形態では、デコーダは、ＥＬビデオＥＬｒｅｃ用の出力のみを有する。図２のイントラエンコーダについて上述されたように、デコーダは、符号化に対応して異なるモードで機能することができる。したがって、たとえばレイヤ間予測が使用されるか否かを示すＢａｓｅ＿ｍｏｄｅ＿ｆｌａｇといった、それぞれのフラグは、ビットストリームから抽出されて評価される。レイヤ間予測が使用されない場合、ＥＬ画像は、デブロッキング、空間予測及び空間予測された画像のＡ１，ＥＬの更新を使用して従来のように再構成される。
【００３９】
図５は、たとえばインター符号化されたＭＢといったインター符号化されたユニットのための例示的なデコーダを示す。エントロピー符号化されており、対応して復号化されるＢＬビットストリームから、１実施の形態では、動きデータが検出及び抽出され、必要に応じてＥＬのためにアップサンプルされる。これは、ＢＬ又はＥＬビットストリームに含まれる指示により示される。さらに、ＢＬビットストリームデータは、逆量子化Ｑ−１及び逆変換Ｔ−１され、これにより、再構成されたＢＬ残差ＢＬｒｅｓ，ｋが得られる。ＢＬビデオ信号ＢＬｄｅｃが必要とされる場合、更なるＢＬ処理は、デブロッキング、フレームメモリにおける記憶、動き補償、残差ＢＬｒｅｓ，ｋによる動き補償された予測画像の更新を含むコンベンショナルなＳＶＣ復号化を含む。ＥＬビデオ信号のみが必要とされる場合、これらのステップが省略される。
【００４０】
残差ＢＬｒｅｓ，ｋは、ＥＬデータを予測するために使用される。残差ＢＬｒｅｓ，ｋは、残差アップサンプリングＲＵｐによりアップサンプリングされ、これは、値の数が増加されるある種の空間のアップサンプリング、及び、ビット深度したがってそれぞれの値の可能性のあるレンジが増加されるビット深度のアップサンプリングでありＢＤＵｐ、予測された信号Ｐｒｅｃ｛Ｐｒｅｒ｛ＢＬｒｅｓ，ｋ｝｝が生成される。フラグｒｅｓｉｄｕａｌ＿ｐｒｅｄ＿ｆｌａｇにより示されるように、配列されるＥＬユニットが残差レイヤ間予測を使用して符号化されている場合、Ａ’１の受信された、逆量子化及び逆変換されたＥＬ残差ＥＬ’ｒｅｓ，ｋを更新するために予測される残差Ｐｒｅｃ｛Ｐｒｅｔ｛ＢＬｒｅｃ｝｝が使用され、これにより、実際のＥＬ残差ＥＬｒｅｓ，ｋが取得される。受信された、逆量子化及び逆変換されたＥＬ残差ＥＬ’ｒｅｓ，ｋは、原理的に、コンベンショナルな空間ＥＬ残差Ｒｏｒｇと残差Ｒｒｅｃ，ｋ−ｉ（αΔｘ，αΔｙ）との間の差に等価であり、この残差Ｒｒｅｃ，ｋ−ｉ（αΔｘ，αΔｙ）は、前のユニットｋ−１からエンコーダで再構成され、アップサンプリングされたものである。
【００４１】
更なるＥＬ処理は、原理的に、（改善されたビット深度を使用するが）ＳＶＣにおけるのと同様である。再構成された残差ＥＬｒｅｓ，ｋは、デブロッキングＤｅｂｌｋＥＬ、フレームメモリＦＭにおける記憶及び再構成された画像ＥＬｒｅｃ，ｋ−１の動き補償ＭＣからなるステップにより、予測されたＥＬ画像Ｓ＿ＥＬｒｅｃ，ｋ−１＝ＥＬｒｅｃ，ｋ−１を更新するために使用される。受信されたエンハンスメントレイヤのデータＥＬｅｎｃが動き情報ＥＬＭＩを含む場合、動き情報は抽出され、動き補償ユニットＭＣに供給される。代替的に、ＢＬからのアップサンプルされた動き情報ＭＵｐが使用される。
【００４２】
明らかに、本発明に係る改善されたＥＬ残差は、ＳＶＣ空間スケーラビリティで定義されたＥＬ残差とは異なる。しかし、その符号化は、原理的に、オリジナルのＥＬマクロブロックＥＬｏｒｇ，ｋとテクスチャ（空間）及びビット深度アップサンプルされたＢＬマクロブロックＰｒｅｃ｛Ｐｒｅｒ｛ＢＬｏｒｇ，ｋ｝｝との間の差をインター符号化することに等価である。
【００４３】
残差のアップサンプリングの演算子Ｐｒｅ｛｝とカラービット深度のレイヤ間予測の演算子Ｐｒｅｃ｛｝の両者が加法性及び安定性の属性を有するものとする。実際に、現在のＳＶＣの空間スケーラビリティで利用される残差のアップサンプリング演算は、加法性及び安定性＊１からなる。以下では、再定義されたＥＬ残差ＥＬ’ｒｅｓ，ｋの符号化は、オリジナルのＥＬ  ＭＢと再構成されたＥＬマクロブロック（動きアップサンプル、残差アップサンプル及び次いでカラービット深度アップサンプルされたバージョンの配列されたＢＬマクロブロック）との間の差のインター符号化に等価であることが証明される。ＥＬマクロブロックと、残差アップサンプルされ次いでビット深度アップサンプルされたバージョンの配列されたＢＬマクロブロックとの間の差は、レイヤ間の残差と呼ばれ、以下のように定義される。
【００４４】
【数２】
2010512699.tif 000004
この場合、ｋは現在のフレームのＰＯＣ（Ｐｉｃｔｕｒｅ  Ｏｒｄｅｒ  Ｃｏｕｎｔ）を表す。
【００４５】
一般性を失うことなしに、以下の２つの条件が満たされると想定する。第一に、現在のＭＢは、唯一のリファレンスＭＢを有しており、現在のＭＢフレームのＰＯＣはｋに等しく、リファレンスＭＢフレームのＰＯＣは（ｋ−１）に等しい。第二に、２つのみの空間レイヤが存在する。２つの想定に基づいて、式（２）の証明は以下の通りである。
【００４６】
【数３】
2010512699.tif 000005
この場合、（Δｘ，Δｙ）は現在のｋ番目のＢＬマクロブロックの動きベクトルを表し、αはＥＬの空間解像度のスケーリングファクタを表し、ＢＬｒｅｃ，ｋ−１（Δｘ，Δｙ）は、動き補償されたバージョンの再構成された（ｋ−１）番目のＢＬマクロブロックを表し、ＥＬｒｅｃ，ｋ−１（αΔｘ，αΔｙ）は、動き（アップサンプルされた動き）補償されたバージョンの再構成された（ｋ−１）番目のＥＬマクロブロックを表す。
【００４７】
上記加法性及び安定性＊１について、連続関数の場合、「安定性」は、微分可能であることに等価であり、離散関数の場合、「安定性」は、独立な変数の任意の利用可能な値で、離散関数の変化の絶対値は、定数で乗算された独立変数の変化の絶対値よりも大きくないことを意味する。
【００４８】
Ｐｒｅｒ｛｝及びＰｒｅｃ｛｝の両者が加法性の属性を有するという想定によれば、式（３）は以下に等価である。
【００４９】
【数４】
2010512699.tif 000006
Ｐｒｅｒ｛｝及びＰｒｅｃ｛｝の両者が安定性の属性を有するという想定によれば、式（２）を式（４）に代入して以下を得る。  
【００５０】
【数５】
2010512699.tif 000007
式（５）は、再定義されたＥＬ残差ＥＬ’ｒｅｓ，ｋは、オリジナルのＢＬマクロブロックＢＬｏｒｇ，ｋとオリジナルのＥＬマクロブロックＥＬｏｒｇ，ｋのレイヤ間の残差と、動き補償された再構成されたリファレンスＢＬのマクロブロックＢＬｒｅｃ，ｋ−ｉと動き（アップサンプルされた動き）補償された再構成されたリファレンスＥＬのマクロブロックＥＬｒｅｃ，ｋ−１のレイヤ間の残差Ｒｒｅｃ，ｋ−１との間の差に等価である。言い換えれば、レイヤ間の残差はインター符号化される。しかし、図５に示される符号化は、シンプルであるので有利である。
【００５１】
空間スケーラビリティのビット深度のスケーラビリティへの提供される拡張の１つの利点は、新たなシンタックスエレメント又は新たな予測モードのいずれもが、カラービット深度スケーラビリティへの拡張を実現するために必要とされないことである。別の利点、特にインター符号化のための利点は、最終的に符号化されるＥＬ残差が「残差の残差」であり、したがって式（３）で定義されるレイヤ間残差のインター符号化に等価であるために高い符号化効率が得られることである。実際に、インター符号化において最終的に符号化されるＥＬ残差は、オリジナルのＥＬマクロブロックから動き（アップサンプルされた動き）補償された再構成されたリファレンスＥＬマクロブロックを引きいたものから、次いで動き補償された、残差がアップサンプルされ次いでビット深度がアップサンプルされたバージョンの配列されたＢＬ再構成された残差を引いたものに等価である。
【００５２】
更なる利点は、インター符号化の場合について、ＢＬマクロブロックを再構成する必要がないことである。したがって、ＢＬ再構成はスキップされ、これにより、デコーダがシンプルになる。
【００５３】
有利なことに、カラービット深度スケーラビリティのイントラ符号化は、１実施の形態ではテクスチャ内のレイヤ間予測に直接に続く、提供されたイントラカラービット深度のレイヤ間の予測により実現される。この実施の形態について、ＳＶＣのケースでは、イントラカラービット深度のレイヤ間の予測のために必要とされる新たなシンタックスエレメント又は新たな予測モードは存在しない。
【００５４】
したがって、本発明は、スケーラブルエンコーダ、スケーラブルデコーダ及びスケーラブルシグナル、特にビデオ信号又は異なる品質レイヤ及び高いレイヤ間の冗長度を有する他のタイプの信号について使用される。
【００５５】
本発明は例示により記載され、詳細の変更は本発明の範囲から逸脱することなしに行われることを理解されたい。この記載及び（必要に応じて）請求項並びに図面で開示されるそれぞれの特徴は、独立に提供されるか又は任意の適切な組み合わせで提供される場合がある。特徴は、（必要に応じて）ハードウェア、ソフトウェア、又は両者の組み合わせで実現される場合がある。請求項に示される参照符号は、例示を目的とするものであり、請求項の範囲に限定的な影響を有するものではない。
【図１】
2010512699.tif 000008
【図２】
2010512699.tif 000009
【図３】
2010512699.tif 000010
【図４】
2010512699.tif 000011
【図５】
2010512699.tif 000012
【図６】
2010512699.tif 000013
【国際調査報告】
2010512699.tif 000014
2010512699.tif 000015