(57)【要約】  スケーラブル・ビデオ・ストリームは、Ｈ．２６４／ＡＶＣ互換のベース層（ＢＬ）及びスケーラブル・エンハンスメント層（ＥＬ）を有し得、ここで、スケーラビリティは色ビット深度を表す。Ｈ．２６４／ＡＶＣスケーラビリティ拡張ＳＶＣは他のタイプのスケーラビリティ（例えば、ＢＬ及びＥＬにおける画素の数が異なる空間スケーラビリティ）をもたらす。本発明によれば、ＢＬ情報が２つの論理工程で適応的順序でアップサンプリングされ（ＴＵｐ，ＢＤＵｐ）、一方はテクスチャ・アップサンプリングであり、他方は、ビット深度アップサンプリングである。テクスチャ・アップサンプリングは画素の数を増加させる処理であり、ビット深度アップサンプリングは、画素色強度に対応する、各画素が有し得る値の数を増加させる処理である。アップサンプリングされたＢＬデータを使用して、同じ場所に位置するＢＬを予測する。復号化器が符号化器と同様にＢＬ情報をアップサンプリングすることが可能であるように予測順序表示が転送される。ここで、アップサンプリングは空間特性及びビット深度を参照する。
2010514236.tif 000002
【特許請求の範囲】
【請求項１】
ベース層及びエンハンスメント層を有するビデオ・データを符号化する方法であって、前記ベース層は、前記エンハンスメント層よりも低い色分解能及び前記エンハンスメント層よりも低い空間分解能を有し、
ベース層情報をアップサンプリングする工程であって、前記アップサンプリングは、各画素の考えられる値の範囲であるビット深度及び空間分解能を表し、前記ベース層よりもビット深度が高く、前記ベース層よりも空間分解能が高い、エンハンスメント層情報の予測されたバージョンが得られる工程と、
前記エンハンスメント層情報と、前記エンハンスメント層情報の予測バージョンとの間の差であるエンハンスメント層残差を生成する工程と、
空間アップサンプリングが、ビット深度アップサンプリング前に行われたかビット深度アップサンプリング後に行われたかを示す表示、前記エンハンスメント層残差、及びベース層情報を符号化する工程とを含む方法。
【請求項２】
請求項１記載の方法であって、
前記アップサンプリングする工程は、空間予測及びビット深度予測の種々の予測順序を使用した、種々のやり方でのアップサンプリング工程を含み、エンハンスメント層情報の第１の予測バージョン及び第２の予測バージョンが得られ、
前記生成する工程は、エンハンスメント層の第１の予測バージョン及び第２の予測バージョンに基づいて別々の２つのエンハンスメント層残差を生成する工程を含み、
前記別々の２つのエンハンスメント層残差を含む工程であって、より小さな残差が求められる工程と、
求められた、より小さな残差が得られる予測順序を求める工程と、
より小さなエンハンスメント層残差を符号化する工程とを更に含む方法。
【請求項３】
請求項１記載の方法であって、
所定の規則に応じて前記ベース層及び／又は前記エンハンスメント層の情報を解析する工程であって、テクスチャ及び／又は色の同質性を示す値が得られる工程と、
テクスチャ及び／又は色の同質性を示す値に基づいて、求められる、より小さな残差が得られる予測順序を求める工程と、
前記求められた予測順序に応じて前記エンハンスメント層残差を符号化する工程とを更に含む方法。
【請求項４】
請求項１乃至３のうちの一項に記載の方法であって、アップサンプリングする工程は、イントラ符号化ベース層情報の場合、再構成されたベース層画像デ―タをテクスチャ・アップサンプリングする工程を含む方法。
【請求項５】
請求項１乃至４のうちの一項に記載の方法であって、アップサンプリングする工程は、インター符号化ベース層情報の場合、再構成されたベース層残差データをアップサンプリングする工程を含む方法。
【請求項６】
ベース層及びエンハンスメント層を有するビデオ・データを復号化する方法であって、
エンハンスメント層情報、ベース層情報及び表示を受信する工程と、
前記受信されたベース層情報及び前記受信されたエンハンスメント層情報に対して逆量子化及び逆変換を行う工程と、
前記表示に基づいて予測順序を求める工程であって、前記予測順序は、ビット深度アップサンプリングを空間アップサンプリング前に行うべきか空間アップサンプリング後に行うべきかを示す工程と、
逆量子化され、逆変換されたベース層情報をアップサンプリングする工程であって、画素の数、及び画素毎の値深度が、前記求められた予測順序で増加し、予測エンハンスメント層情報が得られる工程と、
前記予測エンハンスメント層情報、並びに、前記逆量子化され、逆変換されたエンハンスメント層情報から、再構成されたエンハンスメント層ビデオ情報を再構成する工程とを含む方法。
【請求項７】
請求項６記載の方法であって、前記逆量子化され、逆変換されたエンハンスメント層情報が残差情報を含み、前記逆量子化され、逆変換されたベース層情報からベース層ビデオを再構成し、残差情報をエンハンスメント層情報の予測バージョンに追加する工程を含む方法。
【請求項８】
請求項６記載の方法であって、前記逆量子化され、逆変換されたエンハンスメント層情報はエンハンスメント層残差情報を含み、前記逆量子化され、逆変換されたベース層情報はベース層残差情報を含み、前記ベース層情報を逆量子化し、逆変換する工程は前記ベース層残差情報をアップサンプリングする工程を含み、前記エンハンスメント層残差情報、及び前記アップサンプリングされたベース層残差情報を加算する工程を更に含み、再構成されたエンハンスメント層残差が得られる方法。
【請求項９】
ベース層及びエンハンスメント層を有するビデオ・データを符号化する装置であって、
前記ベース層は前記エンハンスメント層よりも低い色分解能及び前記エンハンスメント層よりも低い空間分解能を有し、
ベース層情報をアップサンプリングする手段であって、前記アップサンプリングは、各画素の考えられる値の範囲であるビット深度及び空間分解能を参照し、前記ベース層よりも高いビット深度、及び前記ベース層よりも高い空間分解能を有する、エンハンスメント層情報の予測バージョンが得られる手段と、
前記エンハンスメント層情報と、前記エンハンスメント層情報の前記予測バージョンとの間の差であるエンハンスメント層残差を生成する手段と、
前記ベース層情報、前記エンハンスメント残差、及び、空間アップサンプリングがビット深度アップサンプリング前に行われたかビット深度アップサンプリング後に行われたかを示す表示を符号化する手段とを備えた装置。
【請求項１０】
ベース層及びエンハンスメント層を有するビデオ・データを復号化する装置であって、
エンハンスメント層情報と、ベース層情報と、表示とを受信する手段と、
前記受信されたベース層情報及びエンハンスメント層情報に対して逆量子化及び逆変換を行う手段と、
前記表示に基づいて予測順序を求める手段であって、前記予測順序は、ビット深度アップサンプリングを空間アップサンプリング前に行うべきか又は空間アップサンプリング後に行うべきかを示す手段と、
逆量子化され、逆変換されたベース層情報をアップサンプリングする手段であって、画素毎値深度、及び画素の数が、前記求められた順序において増加し、予測エンハンスメント層情報が得られる手段と、
前記予測エンハンスメント層情報、及び前記逆量子化され、逆変換されたエンハンスメント層情報から、再構成されたエンハンスメント層ビデオ情報を再構成する手段とを備える装置。
【請求項１１】
符号化ベース層データ、符号化エンハンスメント層データ、及び予測順序表示を含むスケーラブルな符号化ビデオ信号であって、前記符号化エンハンスメント層データは、空間アップサンプリングされ、ビット深度アンプサンプリングされたベース層画像と、空間アップサンプリングされ、ビット深度アンプサンプリングされたエンハンスメント層画像との間の差である残差を含み、前記残差は、差分テクスチャ情報及び差分ビット深度情報を含み、前記予測順序表示は、２つのアップサンプリング工程のうちの何れを、エンハンスメント層残差が参照する前記空間アップサンプリングされ、ビット深度アップサンプリングされたベース層画像を再取得するために復号化器において最初に行われなければならないかを示す、スケーラブルな符号化ビデオ信号。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディジタル・ビデオ符号化の技術分野に関する。これは、新たなタイプのスケーラビリティ（すなわち、ビット深度スケーラビリティ）に対する符号化解決策をもたらす。
【背景技術】
【０００２】
近年、従来の８ビットの色深度でなく、より高い色深度が、多くの分野（サイエンティフィック・イメージング、ディジタル映画、高品質ビデオ対応のコンピュータ・ゲーム、プロフェッショナル・スタジオ、及びホーム・シアター関連アプリケーションなど）において一層望まれている。よって、従来技術のビデオ符号化標準であるＨ．２６４／ＡＶＣは、サンプル毎に最大１４ビットをサポートし、最大、４：４：４のクロマ・サンプリングをサポートする充実度範囲拡張（ＦＲＥｘｔ）を既に含んでいる。現行のＳＶＣ参照ソフトウェアＪＳＶＭは高ビット深度をサポートしない。
【０００３】
しかし、既存の高度符号化解決策は何れもビット深度スケーラビリティをサポートしない。別々の２つの復号化器、又はビット深度に対する要求が異なるクライアント（例えば、同じ未処理ビデオに対する８ビット及び１２ビット）のシナリオの場合、既存のＨ．２６４／ＡＶＣ解決策は、１２ビットの未処理ビデオを符号化して第１のビットストリームを生成し、次いで１２ビット未処理ビデオを８ビット未処理ビデオに変換し、これを符号化して第２のビットストリームを生成する。ビデオは、別々のビット深度を要求した別々のクライアントに配信される場合、２度配信される（すなわち、２つのビットストリームが併せて一ディスクに入れられる）ことを要する。これは、圧縮率及び動作計算量の点で低効率である。
【０００４】
欧州特許出願公開第０６２９１０４１号には、１２ビットの未処理ビデオ全体を符号化して、Ｈ．２６４／ＡＶＣ互換ベース層（ＢＬ）及びスケーラブル・エンハンスメント層（ＥＬ）を含む一ビットストリームを生成するためのスケーラブルな解決策が開示されている。前述の第１のビットストリームに対するスケーラブル・ビットストリーム全体のオーバヘッドは、更なる第２のビットストリームと比較して小さい。Ｈ．２６４／ＡＶＣ復号化器が受信側で利用可能な場合、ＢＬサブビットストリームのみが復号化され、復号化された８ビット・ビデオを従来の８ビット・ディスプレイ装置上に表示することが可能である。ビット深度スケーラブル復号化器が受信側で利用可能な場合、ＢＬサブストリーム及びＥＬサブストリームを復号化して１２ビット・ビデオを得ることができ、これは、９ビット以上の色深度をサポートする高品質ディスプレイ装置上に表示することが可能である。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
Ｈ．２６４／ＡＶＣスケーラビリティ拡張ＡＶＣは、他のタイプのスケーラビリティ（例えば、空間スケーラビリティ）も提供する。空間スケーラビリティでは、ＢＬ及びＥＬにおける画素の数は異なる。よって、ビット深度スケーラビリティを他のスケーラビリティ・タイプ（特に、空間スケーラビリティ）と組合せるやり方についての問題が生じる。本発明は、この問題に対する解決策を提供する。
【課題を解決するための手段】
【０００６】
請求項１は、ビット深度スケーラビリティ及び他のスケーラビリティ・タイプの動的な適応的組合せを可能にする符号化の方法を記載している。請求項６は、対応する復号化方法を記載している。
【０００７】
符号化する方法を利用する装置を請求項９に記載しており、復号化する方法を利用する装置を請求項１０に記載している。
【０００８】
本発明の一局面によれば、ＢＬ情報が２つの論理ステップでアップサンプリングされる。一方がテクスチャ・アップサンプリングであり、他方がビット深度アップサンプリングである。テクスチャ・アップサンプリングは画素の数を増加させる処理であり、ビット深度アップサンプリングは、各画素が有し得る値の数を増加させる処理である。値は、基本的には、画素の色強度に対応する。アップサンプリングされたＢＬユニットを使用して、同じ場所に位置するＢＬユニットを予測する。
【０００９】
本発明の一局面によれば、予測順序は可変である。ビット深度アップサンプリングが空間アップサンプリング前に行われ、空間アップサンプリングがビット深度アップサンプリング前に行われる。ＥＬ符号化結果に関する（期待）効率に応じて、符号化器が動的に選択することが可能である２つのモードが存在している。本発明の一局面によれば、符号化器は、選択された予測順序を示す情報（例えば、予測順序フラグ）をデータ・ストリーム内に含む。一局面によれば、復号化器はこの情報を検出し、上記情報に応じてその予測順序を動的に設定する。復号化器は、受信する残差の最適化された使用のために符号化器と同様の予測を行う。
【００１０】
本発明の一実施例では、符号化器は、考えられる２つのやり方でＢＬ情報のアップサンプリングを実際に行い、よって、別々の２つの予測データの組を生成し、次いで、同じ場所に位置するＥＬ情報（例えば、マクロブロック）を予測し、２つのＥＬ残差を生成する。次いで、前述の残差を比較し、より小さい残差が（データ量の点で）生成された予測方法を決定する。
【００１１】
一実施例では、符号化器は期待された符号化結果を（前述のＥＬ画像／残差のデータ量、ＥＬの圧縮効率等で）推定し、前述の通り、期待された結果に応じて、好ましい符号化モードに切り換わる。
【００１２】
一実施例では、符号化器はＢＬ及び／又はＥＬ画像を所定の規則（例えば、色ヒストグラムにおける色の分布、テクスチャ解析等）に応じて解析し、解析結果を１つ又は複数の閾値と比較し、比較結果に応じて、２つの予測順序タイプのどれを選択するかを決定する。解析結果は、心理視覚画像特性（例えば、解析されたマクロブロック（ＭＢ）又は他の画像ユニット内のテクスチャ及び／若しくは色の同質性）を示す値であり得る。テクスチャ・アップサンプリングが画素の数を増加させる一方、ビット深度アップサンプリングは各画素が有し得る値の数を増加させる。例えば、テクスチャが非常に平滑であり、色の細部が存在している場合、ビット深度アップサンプリングを最初に行うことが効果的であり得る。一方、テクスチャが非常に不均一であり、色の細部が、人間の眼にとって検出することが難しい場合、テクスチャ・アップサンプリングを最初に行うことが効果的であり得る。
【００１３】
一実施例では、符号化器はＥＬビデオ・データから残差を予測データに基づいて生成する。残差は、更に符号化し（通常、エントロピ符号化し）、送信することができる。アップサンプリングされる対象のＢＬ情報は、何れの細粒度のもの（例えば、単一画素、画素ブロック、マクロブロック（ＭＢ）や、画像全体の単位）であってもよい。更に、２つの論理アップサンプリング工程を単一の工程で行うことが可能であり得る。ＢＬ情報は符号化器側で、復号化器側と同様な、予測順序フラグの送信及び評価によってアップサンプリングされ、アップサンプリングは空間特性及びビット深度特性を表す。
【００１４】
更に、組合せた適応的な空間アップサンプリング及びビット深度アップサンプリングは、イントラ符号化画像及びインター符号化画像について行うことが可能である。
【００１５】
特に、ベース層及びエンハンスメント層を有するビデオ・データを符号化する方法であって、ベース層の画素が、エンハンスメント層の画素よりもビット深度が小さく、エンハンスメント層の画素よりも空間分解能が低い方法は、ベース層情報をアップサンプリングする工程であって、アップサンプリングは、各画素の考えられる値の範囲であるビット深度及び空間分解能を表す工程と、ベース層よりもビット深度が高く、ベース層よりも空間分解能が高い、エンハンスメント層情報の予測されたバージョンが得られる工程と、エンハンスメント層情報と、エンハンスメント層情報の予測バージョンとの間の差であるエンハンスメント層残差を生成する工程と、空間アップサンプリングが、ビット深度アップサンプリング前に行われたか、ビット深度アップサンプリング後に行われたかを示す表示、エンハンスメント層残差、ベース層情報を符号化する工程とを含む。
【００１６】
本発明の一局面によれば、ビデオ・データを復号化する方法は、エンハンスメント層情報、ベース層情報及び予測順序表示を受信する工程と、受信されたベース層及びエンハンスメント層の情報に対して逆変換及び逆量子化を行う工程と、予測順序表示に基づいて予測順序を求める工程であって、予測順序が、ビット深度アップサンプリングを空間アップサンプリング前に行うか空間アップサンプリング後に行うかを示す工程と、逆量子化され、逆変換されたベース層情報をアップサンプリングする工程であって、画素数、及び画素毎値深度は求められた予測順序において増加し、予測されたエンハンスメント層情報が得られる工程と、予測エンハンスメント層情報、並びに逆量子化及び逆変換エンハンスメント層情報から、再構成エンハンスメント層ビデオ情報を再構成する工程とを含む。
【００１７】
本発明の一実施例では、符号化する方法は、ＢＬ情報をイントラ符号化する工程と、イントラ符号化ＢＬ情報を再構成する工程と、再構成ＢＬ情報に対して空間アップサンプリング及び色ビット深度アップサンプリングを行う工程と、現行ＥＬ情報（すなわち、画像データ）と、空間及び色ビット深度アップサンプリングされたＢＬ情報（すなわち、画像データ）との間の差であるＥＬ残差を生成する工程とを含む。
【００１８】
本発明の一実施例では、符号化する方法は、現行ＢＬ画像データと、（インター符号化ＢＬの通常の）予測ＢＬ画像データとの間の差であるＢＬ残差を生成する工程であって、予測ＢＬ画像データは現行ＢＬ画像又は先行ＢＬ画像のデータから予測することが可能である工程と、ＢＬ残差を符号化する（すなわち、変換し、量子化する）工程と、符号化ＢＬ残差を再構成する（逆変換し、逆量子化する）工程と、先行して求められた順序で、再構成されたＢＬ残差に対して残差（空間）アップサンプリング及び色ビット深度アップサンプリングを行い、現行ＥＬ残差データと、空間及び色ビット深度アップサンプリングされた再構成ＢＬ残差との間の差であるＥＬインター層残差を生成する工程とを含む。
【００１９】
効果的には、前述の２つの符号化器の実施例は、イントラ符号化ビデオ・データ及びインター符号化ビデオ・データを適応的に符号化することが可能な合成符号化器に合成することが可能である。
【００２０】
本発明の一実施例では、復号化する方法は更に、受信ＢＬ情報がイントラ符号化されている旨を（暗黙的に）検出する工程と、逆量子化及び逆変換された受信ＢＬ情報からＢＬビデオを再構成する工程と、再構成ＢＬビデオをアップサンプリングする工程であって、アップサンプリングがテクスチャ（空間）アップサンプリング及びビット深度アップサンプリングを備え、予測ＥＬ情報が得られる工程と、予測ＥＬ情報、並びに逆量子化及び逆変換された受信ＥＬ情報から、再構成ＥＬビデオ情報を再構成する工程とを更に含む。
【００２１】
本発明の一実施例では、復号化する方法は、受信ＢＬデータがインター符号化されている旨を（暗黙的に）検出する工程と、受信ＢＬデータからＢＬ残差を抽出する工程と、抽出されたＢＬ残差に対して残差（空間）アップサンプリング及びビット深度アップサンプリングを行う工程と、逆量子化及び逆変換されたＥＬ情報からＥＬ残差を抽出する工程と、ＥＬ残差、及びアップサンプリングされたＢＬ残差から再構成ＥＬ残差を再構成し、再構成ＥＬ残差、及び先行して再構成されたＥＬ情報から、再構成ＥＬビデオ情報を再構成する工程とを含む。
【００２２】
効果的には、前述の２つの復号化器の実施例は、イントラ符号化ビデオ・データ及びインター符号化ビデオ・データを適応的に復号化することが可能な合成復号化器に合成することが可能である。
【００２３】
本発明の別の局面によれば、ＢＬが、ＥＬよりも低い色分解能及びＥＬよりも低い空間分解能を有する、ＢＬ及びＥＬを有するビデオ・データを符号化する装置は、ＢＬ情報をアップサンプリングする手段であって、アップサンプリングが、各画素の考えられる値範囲であるビット深度、及び空間分解能を表し、ＢＬよりも高いビット深度及びＢＬよりも高い空間分解能を有する、ＥＬ情報の予測バージョンが得られる手段と、ＥＬ情報と、ＥＬ情報の予測バージョンとの間の差であるＥＬ残差を生成する手段と、ＥＬ情報、ＥＬ残差、並びに、空間アップサンプリング及びビット深度アップサンプリングのどちらを最初に行ったかを示す表示を符号化する手段とを備える。上記表示は、例えば、パケット・ヘッダ情報に符号化することができる。装置は更に、符号化ＢＬ情報、符号化ＥＬ情報及び表示を例えば、多重化で送信する手段を更に含み得る。
【００２４】
本発明の一実施例では、ビデオ・データを符号化又は復号化する装置は、空間（残差又はテクスチャ）アップサンプリングを行う手段、及び色ビット深度アップサンプリングを行う手段を備え、空間アップサンプリングの手段は入力画像情報内の値の数を増加させ、色ビット深度アップサンプリングの手段は値の色範囲を（空間アップサンプリング前又は空間アップサンプリング後に）増加させ、空間及び色ビット深度サンプリングされたＢＬデータが得られる。
【００２５】
本発明の別の局面によれば、スケーラブルな符号化ビデオ信号は符号化ＢＬデータ、符号化ＥＬデータ及び予測順序表示を備え、符号化ＥＬデータは、空間及びビット深度アップリングされたＢＬ画像と、空間及びビット深度アップリングされたＥＬ画像との間の差である残差を含み、残差は、差分テクスチャ情報及び差分ビット深度情報を備え、予測順序表示は、空間及びビット深度アップサンプリングされたＢＬ画像を得るために、２つのアップサンプリング工程のどちらを行ったか、すなわち、ＥＬ残差が参照する空間及びビット深度アップサンプリングされたＢＬ画像を再取得するために、２つのアップサンプリング工程の何れを復号化器において最初に行わなければならないかを示す。
【００２６】
前述の符号化解決策の種々の実施例はＨ．２６４／ＡＶＣ、及びＨ．２６４／ＡＶＣスケーラブル拡張（ＳＶＣ）に現在規定されている全ての種類のスケーラビリティと互換である。
【図面の簡単な説明】
【００２７】
【図１】色ビット深度スケーラブル符号化のフレームワークを示す図である。
【図２】符号化器及び／又は復号化器における適応的予測順序の構造を示す図である。
【図３】空間スケーラビリティから、適応的予測順序を備えた色ビット深度スケーラビリティに拡張されたインター層予測を備えたイントラ符号化ビデオの符号化器を示す図である。
【図４】空間スケーラビリティから、適応的予測順序を備えた色ビット深度スケーラビリティに拡張されたインター層予測を備えたインター符号化ビデオの符号化器を示す図である。
【図５】空間スケーラビリティから、適応的予測順序を備えた色ビット深度スケーラビリティに拡張されたインター層予測を備えたインター符号化ビデオの復号化器を示す図である。
【図６】空間スケーラビリティから、適応的予測順序を備えた色ビット深度スケーラビリティに拡張されたインター層予測を備えたイントラ符号化ビデオの復号化器を示す図である。
【発明を実施するための形態】
【００２８】
本発明の別の実施例は、従属請求項、以下の説明、及び図面に記載している。
【００２９】
本発明の例示的な実施例は、添付図面を参照して説明する。
【実施例】
【００３０】
図１に示すように、２つのビデオ（すなわち、Ｎビットの未処理ビデオ、及びＭビット（Ｍ＜Ｎ、通常Ｍ＝８）のビデオ）がビデオ符号化器への入力として使用される。Ｍビットのビデオは、Ｎのビット未処理ビデオから分解されるか、又は他のやり方で与えられ得る。スケーラブルな解決策は、ＢＬのピクチャを使用することにより、２層間の冗長度を削減することが可能である。２つのビデオ・ストリーム（すなわち、８ビット色を備えた一方、及びＮ（Ｎ＞８）ビット色を備えた他方）が符号化器に入力され、出力はスケーラブルなビットストリームである。１つのＮビットの色デ―タ・ストリームのみが入力され、それからＭビット（Ｍ＜Ｎ）の色データ・ストリームがＢＬについて内部的に生成されることも考えられる。ＭビットのビデオはＢＬとして、含まれたＨ．２６４／ＡＶＣ符号化器を使用して符号化される。ＢＬの情報を使用してＥＬの符号化効率を向上させることが可能である。これは本明細書及び特許請求の範囲ではインター層予測と呼ばれる。各ピクチャ（ＭＢ群）は、２つのアクセス装置（ＢＬに対する一方及びＥＬに対する他方）を有する。符号化ビットストリームを多重化してスケーラブル・ビットストリームを形成する。ＢＬ符号化器は例えば、Ｈ．２６４／ＡＶＣ符号化器を備え、再構成を用いてＮビットの色ビデオを予測し、これはＥＬ符号化に使用される。
【００３１】
図１に示すように、スケーラブル・ビットストリームは例示的には、ＡＶＣ準拠ＢＬビットストリームを含む。これはＢＬ復号化器（従来のＡＶＣ復号化器）によって復号化することが可能である。次いで、符号化器と同様の予測を復号化器側で（当該表示の評価後に）行って、Ｎビットの予測ビデオを得る。Ｎビットの予測ビデオの場合、ＥＬ復号化器は次いで、Ｎビット予測を使用して、高品質ディスプレイＨＱの最後のＮビットのビデオを生成する。
【００３２】
本発明は、空間及び色ビット深度スケーラビリティの適応的インター層予測順序に対する技術的な解決策を提供する。２つの（例えば、隣接する）層が異なる空間分解能及びビット深度を有する場合、２つの種類のインター層予測（すなわち、空間インター層予測及び色ビット深度インター層予測）が、より効果的に符号化し、復号化するために必要である。どちらの種類のインター層予測を最初に行うかは可変であり、本発明によれば、動的に選択することが可能である。
【００３３】
色ビット深度の語は、本明細書及び特許請求の範囲で使用される場合、ビット深度（すなわち、値毎のビット数）を意味する。これは通常、色強度に対応する。
【００３４】
例示的には、２つの隣接層が、異なる空間分解能及び異なるビット深度を有する場合、２つの種類のインター層予測の順序は、フラグ（例えば、ｂｉｔ＿ｄｅｐｔｈ＿ｐｒｅｄ＿ａｆｔｅｒ＿ｓｐａｔｉａｌフラグ）によって決定することが可能である。このフラグが１に等しい場合、復号化器は、ビット深度予測前に空間インター層予測を行うべきであることを判定することが可能である。さもなければ、ビット深度インター層予測をまず行わなければならない。別の実施例では、デフォルト順序が符号化器及び復号化器について予め規定され、符号化器は、デフォルト順序を変更する場合にのみ、表示フラグを挿入する一方、復号化器はデフォルト順序を、受信データ・ストリームにおいて前述の表示フラグを検出した場合にのみ、変更する。
【００３５】
一実施例では、本発明は、ＳＶＣ空間、時間及び品質スケーラビリティの現行構造に基づいており、拡張された色ビット深度のビット深度スケーラビリティによって拡張される。よって、この実施例は、現行ＳＶＣ標準と完全に互換である。しかし、当業者にとって、これを他の標準に適合させることは簡単である。ビット深度スケーラビリティの鍵は、ビット深度インター層予測である。インター層予測を使用することにより、Ｎビット・ビデオとＭビット・ビデオとの間の差がＥＬとして符号化される。
【００３６】
以下に、ＳＶＣ標準に基づいた例示的な実施例を説明する。
【００３７】
２つの種類のインター層予測の順序の変更をサポートするために、新たな構文要素ｂｉｔ＿ｄｅｐｔｈ＿ｐｒｅｄ＿ａｆｔｅｒ＿ｓｐａｔｉａｌ＿ｆｌａｇを導入する。新たな構文要素は、表１（行１２乃至１４）で行われるように、シーケンス・パラメータ・セット（ＳＰＳ）ＳＶＣ拡張（ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｓｖｃ＿ｅｘｔｅｎｓｉｏｎ（））に加えることが可能であるか、又は、表２（行３９乃至４１）で行われるように、スケーラブル拡張におけるスライス・ヘッダ（ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｃａｌａｂｌｅ＿ｅｘｔｅｎｓｉｏｎ（））に加えることが可能である。
【００３８】
【表１】
2010514236.tif 000003
表１：ＳＰＳ  ＳＶＣ拡張に加えられた新たな構文要素
【００３９】
【表２】
2010514236.tif 000004
表２：スケーラブル拡張におけるスライス・ヘッダに加えられた新たな構文要素  
【００４０】
例示的には、ｂｉｔ＿ｄｅｐｔｈ＿ｐｒｅｄ＿ａｆｔｅｒ＿ｓｐａｔｉａｌ＿ｆｌａｇが１に等しいことは、ビット深度インター層予測を空間インター層予測後に行うべきであることを示す。その値が０に等しいことは、ビット深度インター層予測を空間インター層予測前に行うべきであることを示す。この例では、ビット深度インター層予測は好ましくは、空間インター層予測後に行われるべきであるので、デフォルト値は１である。
【００４１】
ｉｓＢｉｔＤｅｐｔｈｌｎｔｅｒＬａｙｅｒＰｒｅｄ（）は、ビット深度インター層予測が必要であるか否かを返すフラグである。
【００４２】
記載の都合上、下記の表記を以下で使用する。
【００４３】
ＢＬｏｒｇ：ベース層のオリジナルＭＢ
ＢＬｒｅｓ：ベース層の残差ＭＢ
ＢＬｒｅｃ：ベース層の再構成ＭＢ
ＥＬｏｒｇ：エンハンスメント層のオリジナルＭＢ
ＥＬｒｅｃ：エンハンスメント層の再構成ＭＢ
ＥＬ’ｒｅｓ：エンハンスメント層の残差ＭＢ
Ｐｒｅｃ｛｝：色ビット深度インター層予測演算子
Ｐｒｅｔ｛｝：テクスチャ（空間）インター層予測演算子
Ｐｒｅｒ｛｝：残差（空間）インター層予測演算子
図２は、適応的予測順序の一般的な概念を示す。符号化器の場合、ＥＬは、ＢＬのアップサンプリングされたバージョンに基づいて予測される。アップサンプリングは、空間アップサンプリングＴＵｐ及びビット深度アップサンプリングＢＤＵｐを含み、アップサンプリング順序は可変である。空間アップサンプリング及びビット深度アップサンプリングのうちの一方が最初に行われ、他方の工程が、選択された最初のアップサンプリング工程の出力に対して行われる。この目的で、フラグｂｉｔ＿ｄｅｐｔｈ＿ａｆｔｅｒ＿ｓｐａｔｉａｌ＿ｆｌａｇが符号化器によって生成され、送信され、次いで復号化器によって評価される。よって、何れも、同じ順序で２つのアップサンプリング工程を行い、同一の予測データを得ることが可能である。したがって、復号化器は、残差の生成に復号化器が使用した予測と同じ予測に対してＥＬ残差を施すことが可能であり、これは、再構成ＥＬ画像の品質を向上させる。
【００４４】
例示的には、ＭＢレベル・ビット深度スケーラブル符号化解決策は、現行ＳＶＣ空間スケーラビリティに基づく。以下に、イントラ符号化及びインター符号化についての空間スケーラビリティのビット深度スケーラビリティへの拡張を詳細に説明する。ＳＶＣ互換ビット深度スケーラブル符号化の第１の工程は、ＥＬ符号化及び復号化においてＨ．２６４／ＡＶＣ  ＦＲＥｘｔ拡張が行うこと（現在、サンプル毎１０乃至１４ビット）として高ビット符号化をサポートする。
【００４５】
イントラ符号化
図３は、ビット深度スケーラビリティへの、現行ＳＶＣ標準において使用されているような空間スケーラビリティのイントラ・テクスチャ・インター層予測の拡張のための符号化器を示す。図３では、Ｍビット・ベース層ＭＢがＢＬ符号化器に入力され、Ｎビット・エンハンスメント層ＭＢがＥＬ符号化器に入力される（Ｎ＞Ｍ）。ビット深度アップサンプリング・ブロックＢＤＵｐはビット深度スケーラビリティへの拡張を表す一方、他のブロックは、現行ＳＶＣ標準における空間スケーラビリティを表す。
【００４６】
アップサンプリングには２つのブロックが存在している。これらは、ＢＬ情報によって順次転送される。シーケンスは、図３の原理モデルでは２つの同期化スイッチを制御する予測順序フラグｐｒｅｄ＿ｏｒｄｅｒ＿ｆｌａｇによって表される。したがって、ＢＬ情報はまず、空間アップサンプリングされ（ＴＵｐ）、次いで、ビット深度アップサンプリングされる（ＢＤＵｐ）か、又は逆が行われる（予測順序フラグに応じて）。符号化器では、このフラグは例えば、予測順序判定装置の出力である一方、復号化器では、これはビットストリームから抽出される。よって、２つのアップサンプリング・ブロック間で転送される信号Ｐｒｅ1｛ＢＬｒｅｃ｝は、ビット深度アップサンプリングされる対象の空間アップサンプリングされたＢＬデータ、又は空間アップサンプリングされる対象のビット深度アップサンプリングされたＢＬデータである。同様に、最終予測データＰｒｅ２｛Ｐｒｅ１｛ＢＬｒｅｃ｝｝（例えば、ＮビットのＥＬマクロブロックの予測バージョン）は、ビット深度アップサンプリングされ、次いで空間アップサンプリングされたＢＬデータであるか、又は、空間アップサンプリングされ、次いでビット深度アップサンプリングされたＢＬデータである。前述の２つの予測は画像コンテンツに応じてわずかに異なる。したがって、それらのうちの１つは、実際のＥＬ画像に好適に一致し、予測のために選択される（図３で図示せず）。より小さなＥＬ残差をもたらすからである。図３では、第１のアップサンプリング・ブロックに対する入力は、現行ＳＶＣと同様に、ＢＬ残差以外の再構成ＢＬマクロブロックＢＬｒｅｃである。このことは、ビット深度アップサンプリングの場合の使用に効果的であることが分かっている。
【００４７】
一実施例では、２つの予測順序タイプの何れが、より好適な一致予測をもたらすかを判定する手段と、この予測順序タイプを選択する手段とを有する。
【００４８】
元のＮビットＥＬマクロブロックＥＬｏｒｇとその予測バージョンＰｒｅ２｛Ｐｒｅ１｛ＢＬｒｅｃ｝｝との間の残差ＥＬ’ｒｅｓが差分生成器ＤＥＬによって得られる。この例では、ＳＶＣと同様に、残差を更に変換し（Ｔ）、量子化し（Ｑ）、エントロピ符号化（ＥＣＥＬ）して、ＥＬサブビットストリームを形成する。数式では、色ビット深度イントラ・アップサンプリングの残差は、
【数１】
2010514236.tif 000005
であり、ここで、Ｐｒｅ１｛｝及びＰｒｅ２｛｝は、テクスチャ・アップサンプリング演算子及びビット深度アップサンプリング演算子を表す。
【００４９】
符号化処理の更なる変形が考えられ、他の制御パラメータによって制御することが可能である。ＥＬ残差が再構成ＥＬ情報に基づいて予測されるか、アップサンプリングされたＢＬ情報に基づいて予測されるかを決定する例示的なフラグ（ｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇ）を図３に示す。やはり、符号化器では、このフラグは、例えば、レート歪み最適化（ＲＤＯ）に基づいて、符号化モード選択装置によって生成することができる。
【００５０】
インター符号化
インター符号化のインター符号化ビット深度スケーラビリティは、イントラ符号化のビット深度スケーラビリティとは違ったふうに実現される。現行ＳＶＣ標準では、動きアップサンプリング及び残差アップサンプリングは、空間インター・テクスチャ・インター層予測のために企図されている。しかし、適応的予測順序は、空間アップサンプリングがテクスチャでなく残差に基づく以外は、イントラ符号化と同様な原理を使用する。
【００５１】
図４は、インター符号化（Ｐ及びＢ）ＭＢの場合の残差インター層予測の拡張のための符号化器を示す。ＥＬ情報の予測は、ビット深度アップサンプリングＢＤＵｐ及び（空間）残差アップサンプリングＲＵｐの工程によって実現される。最初のアップサンプリング・ブロックに対する入力は、（以下の式（３）に表すような）送信対象のＢＬ残差ＢＬｒｅｓ，ｋの再構成バージョンである再構成ＢＬ残差Ｂｌｒｅｓ，ｒｅｃ，ｋである。実際に、動きアップサンプリングＭｕｐは多くの場合、最初に行われ、次いで、残差アップサンプリングＲＵｐが一種の空間インター層予測として行われ、ビット深度インター層予測としてのビット深度アップサンプリングＢＤＵｐが、最適化された順序で行われる。動きアップサンプリングＭＵｐ、残差アップサンプリングＲＵｐ及び色ビット深度アップサンプリングＢＤＵｐにより、ＮビットのＥＬマクロブロックの予測バージョンＰｒｅ２｛Ｐｒｅ１｛ＢＬｒｅｓ，ｒｅｃ，ｋ｝｝が得られる。（以下に（式３）に規定したように）、結果として生じるＥＬ残差ＥＬ’ｒｅｓ，ｋを更に変換し（Ｔ）、量子化し（Ｑ）、エントロピ符号化してＥＬサブストリームを形成する（ＳＶＣと同様）。
【００５２】
符号化処理の更なる変形が考えられ、他の制御パラメータによって制御することが可能である。図４に示す、予測順序フラグｐｒｅｄ＿ｏｒｄｅｒ＿ｆｌａｇの上のフラグは、ＥＬ動き補償が、ＥＬから得られた動きベクトルに基づくか、ＢＬからアップサンプリングされた動きベクトルに基づくかを制御するｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇ、及びＢＬ残差を使用してＥＬ残差を予測するか否かを制御するｒｅｓｉｄｕａｌ＿ｐｒｅｄ＿ｆｌａｇである。図４に示すように、ｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇは、イントラ・テクスチャ・インター層予測を制御するためにも使用される。
【００５３】
図６は、適応的インター層予測を利用するイントラ符号化ＢＬ画像の例示的な復号化器を示す。符号化されたＢＬデータ、ＥＬデータ及び予測順序情報を、例えば多重化されたパケット化ビットストリームにおいて受け取り、ＢＬをＥＬデータから分離した後、ＢＬデータ及びＥＬデータがエントロピ復号化される。次いで、逆量子化Ｑ-１及び逆変換Ｔ-１が施される。ＢＬの場合、処理は通常のＳＶＣの場合と同じである。画像は、すなわち、同じ画像の先行して再構成された情報に基づいて、空間イントラ予測を使用して再構成される。デブロッキング後、結果として生じるＢＬ信号ＢＬｒｅｃは、上記のように、８ビット色深度を備えた標準的なＳＶＣディスプレイ上に表示することが可能である。しかし、代替的に、この信号は、同じ場所に位置するＥＬ画像の予測バージョンを生成するために使用することも可能である。この目的で、テクスチャ及びビット深度アップサンプリングされた再構成ＢＬ画像Ｐｒｅ２｛Ｐｒｅ１｛ＢＬｒｅｃ｝｝が生成され、予測順序は、受信された予測順序情報ｐｒｅｄ＿ｏｒｄｅｒ＿ｆｌａｇによって適応的に設定される。この情報は、例えば、スライス、ＧＯＰ（ピクチャ群）又は単一の画像に対して、有効であり得る。
【００５４】
一モードでは、再構成ＢＬは最初のテクスチャ・アップサンプリングされたＴＵｐであり、ＥＬ画像のテクスチャ予測バージョンＰｒｅｔ｛ＢＬｒｅｃ｝＝Ｐｒｅ１｛ＢＬｒｅｃ｝が得られる。これは次いで、ビット深度アップサンプリングされ（ＢＤＵｐ）、これは、テクスチャ・アップサンプリングされ、次いでビット深度アップサンプリングされたＢＬ画像Ｐｒｅｃ｛Ｐｒｅｔ｛ＢＬｒｅｃ｝｝＝Ｐｒｅ２｛Ｐｒｅ１｛ＢＬｒｅｃ｝｝をもたらす。
【００５５】
別のモードでは、再構成ＢＬは最初にビット深度アップサンプリングされ（ＢＤＵｐ）、ここで、ＥＬ画像のビット深度予測バージョンＰｒｅｃ｛ＢＬｒｅｃ｝＝Ｐｒｅ１｛ＢＬｒｅｃ｝が得られ、これは次いで、テクスチャ・アップサンプリングされ（ＴＵｐ）、これは、ビット深度アップサンプリングされ、次いでテクスチャ・アップサンプリングされたＢＬ画像Ｐｒｅｔ｛Ｐｒｅｃ｛ＢＬｒｅｃ｝｝＝Ｐｒｅ２｛Ｐｒｅ１｛ＢＬｒｅｃ｝｝をもたらす。
【００５６】
テクスチャ・アップサンプリングされ、ビット深度アップサンプリングされた再構成ＢＬ画像Ｐｒｅ２｛Ｐｒｅ１｛ＢＬｒｅｃ｝｝を次いで使用して,改良され、逆量子化され、逆変換されたＥＬ残差（ＥＬ’ｒｅｓ）を更新し（Ａ２，ＥＬ）、それにより信号を得る。この信号は、デブロッキング後、ＨＱディスプレイに対してＥＬビデオＥＬｒｅｃとして出力することが可能である。
【００５７】
前述の例では、ＥＬモードで動作される復号化器は内部的に、ＢＬビデオＢＬｒｅｃも生成する。ＥＬ予測に必要であるからであるが、ＢＬビデオは必ずしも、復号化器出力において利用可能でなくてよい。一実施例では、復号化器は、２つ（ＢＬビデオＢＬｒｅｃに対して１つ、及びＥＬビデオＥＬｒｅｃに対して１つ）の出力を有する一方、別の実施例では、ＥＬビデオＥＬｒｅｃの出力のみを有する。
【００５８】
図３のイントラ符号化器について前述したように、復号化器は、符号化器に対応する更なるモードで機能し得る。更に、それぞれの更なるフラグ（例えば、インター層予測が使用されているか否かを決定する表示ｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇ）をビットストリームから抽出し、評価することができる。否定（ｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇ＝０）の場合、ＥＬ画像は通常、空間予測画像のデブロッキング、空間予測、及び更新Ａ１，ＥＬを使用して再構成される。
【００５９】
図５は、インター符号化ユニット（例えば、インター符号化ＭＢ）の例示的な復号化器を示す。エントロピ符号化され、相応に復号化されていることがあり得るＢＬストリームから、予測順序情報が検出され、抽出され、一実施例では、動きデータも検出され、抽出される。動きデータは、必要な場合、ＥＬについてアップサンプリングすることが可能である。これは、ＢＬビットストリーム又はＥＬビットストリームに含まれる表示によって表示することが可能である。ＢＬビットストリーム・データは逆量子化され（Ｑ-１）、逆変換され（Ｔ-１）、これにより、再構成ＢＬ残差ＢＬｒｅｓ，ｋが得られる。ＢＬビデオ信号ＢＬｄｅｃが必要な場合、更なるＢＬ処理は、残差ＢＬｒｅｓ，ｋによる動き補償予測画像の更新及び動き補償、フレーム・メモリ内の記憶、デブロッキングを含む通常のＳＶＣ復号化を含む。ＥＬビデオ信号のみが必要な場合、前述の工程は省略することが可能である。
【００６０】
残差ＢＬｒｅｓ，ｋはＥＬデータの予測に使用される。これを、受信された予測順序情報ｐｒｅｄ＿ｏｒｄｅｒ＿ｆｌａｇに応じたビット深度アップサンプリング及び残差アップサンプリングＲＵｐによってアップサンプリングして予測信号Ｐｒｅ２｛Ｐｒｅ１｛ＢＬｒｅｓ，ｋ｝｝を生成する。残差アップサンプリングＲＵｐは一種の空間アップサンプリングである、すなわち、値の数が増加する。ビット深度アップサンプリングＢＤＵｐは、ビット深度が増加し、各値の考えられる範囲が増加することを意味する。同じ場所に位置するＥＬユニットが、フラグｒｅｓｉｄｕａｌ＿ｐｒｅｄ＿ｆｌａｇによって示されるように残差インター層予測を使用して符号化されている場合、予測された残差Ｐｒｅ２｛Ｐｒｅ１｛ＢＬｒｅｃ｝｝を使用して、受信され、逆量子化され、逆変換されたＥＬ残差  ＥＬ’ｒｅｓ，ｋを更新し（Ａ’１）、実際のＥＬ残差ＥＬｒｅｓ，ｋが得られる。受信され、逆量子化され、逆変換されたＥＬ残差ＥＬ’ｒｅｓ，ｋは基本的には、先行ユニットｋ−１から符号化器において再構成され、次いでアップサンプリングされた残差Ｒｒｅｃ，ｋ−１（αΔｘ，αΔｙ）と通常の空間ＥＬ残差Ｒｏｒｇとの間の差と同等である。
【００６１】
更なるＥＬ処理は、（拡張されたビット深度を使用するが）基本的にはＳＶＣと同様である。再構成された残差ＥＬｒｅｓ，ｋを使用して、予測ＥＬ画像Ｓ＿ＥＬｒｅｃ，ｋ−１＝ＥＬｒｅｃ，ｋ−１（αΔｘ，αΔｙ）を、デブロッキングＤｅｂｌｋＥＬ、フレーム・メモリＦＭ内の記憶、及び再構成画像ＥＬｒｅｃ，ｋ−１の動き補償ＭＣの工程によって更新する。受信されたエンハンスメント層データＥＬｅｎｃが動き情報ＥＬＭＩを含む場合、動き情報が抽出され、動き情報は動き補償装置ＭＣに供給することが可能である。あるいは、ＢＬからのアップサンプリングされた（ＭＵｐ）動き情報を使用することが可能である。
【００６２】
明らかに、本発明による改良されたＥＬ残差は、ＳＶＣ空間スケーラビリティにおいて規定されたものとは異なる。しかし、その符号化は基本的には、ビット深度アップサンプリング前に空間アップサンプリングが行われる場合について以下に示すように、テクスチャ（空間）アップサンプリングされ、ビット深度アップサンプリングされたマクロブロックＰｒｅ２｛Ｐｒｅ１｛ＢＬｏｒｇ，ｋ｝｝と、元のＥＬマクロブロックＥＬｏｒｇ，ｋとの間の差をインター符号化することと同様である。その処理は、もう１つの場合も同様である。
【００６３】
残差アップサンプリング演算子Ｐｒｅｒ｛｝も色ビット深度インター層予測演算子Ｐｒｅｃ｛｝も加算性及び安定性の属性を有するものとする。実際には、現行ＳＶＣ空間スケーラビリティにおいて使用される残差アップサンプリング動作には、加算性及び安定性がある。（連続関数の場合、「安定性」は導関数性と同等である。離散関数の場合、「安定性」は、独立変数の何れかの利用可能な値において、離散関数の変動の絶対値が、定数で乗算される独立変数の変動の絶対値以下であるということを意味する）。以下では、再定義されたＥＬ残差ＥＬ’ｒｅｓ，ｋの符号化が、再構成ＥＬブロック（同じ場所に位置するＢＬマクロブロックの動きアップサンプリングされ、残差アップサンプリングされ、次いで、色ビット深度アップサンプリングされたバージョン）と元のＥＬ  ＭＢとの間の差のインター符号化と同等であることが証明される。  
同じ場所に位置するＢＬマクロブロックの、残差アップサンプリングされ、次いでビット深度アップサンプリングされたバージョンと、ＥＬマクロブロックとの間の差は以下のように定義される。
【００６４】
【数２】
2010514236.tif 000006
ここで、ｋは現行フレームのＰＯＣ（ピクチャ順序カウント）を表す。
【００６５】
汎用性を失うことなく、以下の２つの条件が満たされるものとする。まず、現行ＭＢは、一参照ＭＢのみを有し、現行ＭＢフレームのＰＯＣはｋに等しく、参照ＭＢフレームのＰＯＣは（ｋ−１）に等しい。第２に、２つの空間層しか存在しない。上記２つの前提に基づけば、式（２）の証明は以下の通りである。
【００６６】
【数３】
2010514236.tif 000007
ここで、（Δｘ，Δｙ）は現行のｋ番目の動きベクトルを表し、αはＥＬの空間分解能スケーリング係数を表し、ＢＬｒｅｃ,ｋ−１（Δｘ，Δｙ）は、再構成された（ｋ−１）番目のＢＬの動き補償されたバージョンを表し、ＥＬｒｅｃ,ｋ−１（αΔｘ，αΔｙ）は、再構成された（ｋ−１）番目のＥＬマクロブロックの動き補償されたバージョンを表す。
【００６７】
Ｐｒｅｒ｛｝及びＰｒｅｃ｛｝が加算性を有しているという前提によれば、式（３）は、
【数４】
2010514236.tif 000008
と同等である。Ｐｒｅｒ｛｝もＰｒｅｃ｛｝も安定性を有しているという前提によれば、式（２）が式（４）に代入される。
【００６８】
【数５】
2010514236.tif 000009
式（５）は、再定義されたＥＬ残差ＥＬ’ｒｅｓ，ｋが、元のＢＬマクロブロックＢＬｏｒｇ，ｋ及び元のＥＬマクロブロックＥＬｏｒｇ，ｋのインター層残差Ｒｏｒｇ，ｋと、動き補償された再構成参照ＢＬマクロブロックＢＬｒｅｃ，ｋ−１及び動き補償された（アップサンプリング動き補償された）再構成参照ＥＬマクロブロックＥＬｒｅｃ，ｋ−１のインター層残差Ｒｒｅｃ，ｋ−１との間の差と同等であるということを示す。すなわち、インター層残差はインター符号化される。しかし、図５に示す符号化は、より単純であるため、効果的である。
【００６９】
１つの効果には（特に、インター符号化の場合、）最終的に符号化されたＥＬ残差が「残差の残差」であり、したがって、（式３）に規定されているようにインター層残差のインター符号化と同等であるので、高い符号化効率が得られるという点がある。実際には、インター符号化における最終符号化ＥＬ残差は、元のＥＬマクロブロックから、動き補償された（アップサンプリング動き補償された）再構成参照ＥＬマクロブロックを減算し、次いで、同じ場所に位置するＢＬ再構成残差の動き補償され、残差アップサンプリングされ、次いでビット深度アップサンプリングされたバージョンを減算したものと同等である。  
更なる効果は、インター符号化の場合に、ＢＬマクロブロックを再構成する必要がないということである。よって、ＢＬ再構成は飛ばすことが可能であり、これは復号化器をより単純にする。
【００７０】
効果的には、色ビット深度スケーラビリティのイントラ符号化は、適応的順序での、本願記載のイントラ色ビット深度インター層予測、及びイントラ・テクスチャ・インター層予測によって実現される。本願記載の実施例は、既存のＳＶＣ予測モードと互換である。
【００７１】
よって、本発明は、スケーラブル符号化器、スケーラブル復号化器、及びスケーラブル信号（特に、別々の品質層及び高いインター層冗長度を有するビデオ信号又は他のタイプの信号）に使用することが可能である。
【００７２】
本発明は例示の目的で説明したに過ぎず、本発明の範囲から逸脱しない限り、細部の修正を行うことが可能である。（適宜、）本願明細書、特許請求の範囲及び図面に記載した構成はそれぞれ、独立して提供することも、何れかの適切な組み合わせで提供することもできる。構成は（適宜、）ハードウェア、ソフトウェア、又はそれらの組合せで実現することができる。特許請求の範囲記載の参照符号は、例証の目的に過ぎず、特許請求の範囲記載の範囲を限定する効果はないものとする。
【図１】
2010514236.tif 000010
【図２】
2010514236.tif 000011
【図３】
2010514236.tif 000012
【図４】
2010514236.tif 000013
【図５】
2010514236.tif 000014
【図６】
2010514236.tif 000015
【国際調査報告】
2010514236.tif 000016
2010514236.tif 000017
2010514236.tif 000018