(57)【要約】【課題】スケーラブルビデオコーディングのためのテクスチャ予想及びリサンプリングの方法及び装置を提供する。【解決手段】ビデオデータはベースレイヤ（ＢＬ）及びエンハンスメントレイヤ（ＥＬ）に構成される。ＥＬは、ＢＬより高い空間分解能又はより良いビデオ品質を有する。本発明の実施形態に従って、方法は、ＢＬのテクスチャの情報を決定するステップと、ＢＬのテクスチャの情報に基づきＥＬのテクスチャの予測子を導出するステップとを有する。【選択図】図８
2015065688.tif 000002
【特許請求の範囲】
【請求項１】
スケーラブルビデオコーディングのためのテクスチャ予想及びリサンプリングの方法であって、ビデオデータはベースレイヤ及びエンハンスメントレイヤに構成され、前記エンハンスメントレイヤは前記ベースレイヤより高い空間分解能又はより良いビデオ品質を有する、方法において、
前記ベースレイヤのテクスチャの情報を決定するステップと、
前記ベースレイヤの前記テクスチャの情報に基づき前記エンハンスメントレイヤのテクスチャの予測子を導出するステップと
を有する方法。
【請求項２】
前記ベースレイヤの前記テクスチャの情報に基づき前記エンハンスメントレイヤのテクスチャの予測子を導出するステップは、
エンコーダ又はデコーダが前記エンハンスメントレイヤの前記テクスチャの予測子を導出する必要がある場合に、実行される、
請求項１に記載の方法。
【請求項３】
前記ベースレイヤのテクスチャは、リサンプリングされたベースレイヤ・テクスチャを生成するようフィルタを用いてリサンプリングされ、前記リサンプリングされたベースレイヤ・テクスチャは、前記エンハンスメントレイヤの前記テクスチャの予測子と同じ分解能を有し、該テクスチャの予測子として使用される、
請求項１に記載の方法。
【請求項４】
前記フィルタは、ＤＣＴＩＦ、ＤＳＴＩＦ、ウィーナフィルタ、非局所平均化フィルタ、平滑化フィルタ、及びバイラテラルフィルタのうちの１つ、又はそれらの組み合わせである、
請求項３に記載の方法。
【請求項５】
前記フィルタは、変換ブロック境界にわたって適用されるか、又は前記変換ブロック境界内に制限される、
請求項３に記載の方法。
【請求項６】
パッディング、デブロッキング、ＡＬＦ、又はＳＡＯ、非局所平均化フィルタ、平滑化フィルタ動作は、前記ベースレイヤのテクスチャがリサンプリングされる前又は後に、前記ベースレイヤのテクスチャに適用される、
請求項３に記載の方法。
【請求項７】
前記パッディング、デブロッキング、ＳＡＯ、非局所平均化フィルタ、平滑化フィルタ、又はＡＬＦは、ＬＣＵ全体、リーフＣＵ、ＰＵ、ＴＵ、所定範囲、ＬＣＵ境界、リーフＣＵ境界、ＰＵ境界、ＴＵ境界、又は前記所定範囲の境界についてスキップされ得る、
請求項６に記載の方法。
【請求項８】
前記ベースレイヤのテクスチャは、フィルタ処理されたベースレイヤ・テクスチャを生成するようフィルタを用いて処理され、前記ベースレイヤ・テクスチャは、前記エンハンスメントレイヤの前記テクスチャの予測子と同じ分解能を有し、該テクスチャの予測子として使用される、
請求項１に記載の方法。
【請求項９】
ウィーナフィルタ、ＡＬＦ、非局所平均化フィルタ、平滑化フィルタ、又はＳＡＯは、前記ベースレイヤのテクスチャが前記エンハンスメントレイヤの前記テクスチャの予測子として利用される前に、前記ベースレイヤのテクスチャに適用される、
請求項８に記載の方法。
【請求項１０】
スケーラブルビデオコーディングのためのテクスチャ予想及びリサンプリングの装置であって、ビデオデータはベースレイヤ及びエンハンスメントレイヤに構成され、前記エンハンスメントレイヤは前記ベースレイヤより高い空間分解能又はより良いビデオ品質を有する、装置において、
前記ベースレイヤのテクスチャの情報を決定する手段と、
前記ベースレイヤの前記テクスチャの情報に基づき前記エンハンスメントレイヤのテクスチャの予測子を導出する手段と
を有する装置。
【請求項１１】
前記ベースレイヤのテクスチャは、リサンプリングされたベースレイヤ・テクスチャを生成するようフィルタを用いてリサンプリングされ、前記リサンプリングされたベースレイヤ・テクスチャは、前記エンハンスメントレイヤの前記テクスチャの予測子と同じ分解能を有し、該テクスチャの予測子として使用される、
請求項１０に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオコーディングに関する。特に、本発明は、エンハンスメントレイヤ符号化のためにベースレイヤの情報を利用するスケーラブルビデオコーディングに関する。
【背景技術】
【０００２】
圧縮デジタルビデオは、デジタルネットワーク上のビデオストリーミング及びデジタルチャネル上のビデオ伝送のような様々な用途において幅広く使われている。非常に多くの場合、単一のビデオコンテンツが、異なる特性を有してネットワーク上を伝送されることがある。例えば、ライブのスポーツイベントは、割増のビデオサービスのためにブロードバンドネットワーク上で高帯域幅ストリーミングフォーマットにおいて搬送されてよい。そのような用途において、圧縮ビデオは、通常は高解像度及び高品質を保ち、ビデオコンテンツがＨＤＴＶ又は高解像度ＬＣＤディスプレイのような高精細装置に適するようにする。同じコンテンツはまたセルラーデータネットワークを介して搬送されてもよく、それにより、コンテンツは、スマートホン又は、ネットワークに接続された携帯型メディア装置のような携帯型装置で見られる。そのような用途において、スマートホン又は携帯型装置における典型的な低解像度ディスプレイに加えてネットワーク帯域幅の懸案事項により、ビデオコンテンツは、通常、より低い解像度及びより低いビットレートへ圧縮される。従って、異なるネットワーク環境ごと及び異なる用途ごとに、ビデオ解像度及びビデオ品質の要求は大きく異なっている。同じタイプのネットワークについてさえ、ユーザは、異なるネットワークインフラストラクチャ及びネットワークトラフィック条件により、様々な利用可能な帯域幅を経験しうる。従って、ユーザは、利用可能な帯域幅が高い場合は、より高い品質でビデオを受信し、ネットワーク混雑状態が起きる場合は、品質は低くとも滑らかなビデオを受信するよう望む。他のシナリオでは、ハイエンドのメディアプレーヤは、高解像度且つ高ビットレートの圧縮ビデオを扱うことができるが、低価格のメディアプレーヤは、制限された計算リソースのために低解像度且つ低ビットレートの圧縮ビデオを扱うことしかできない。然るに、異なる空間−時間分解能及び／又は品質にあるビデオが同じ圧縮ビットストリームから得られるように、スケーラブル態様で圧縮ビデオを構成することが望ましい。
【０００３】
現在のＨ．２６４／ＡＶＣビデオ標準において、スケーラブルビデオコーディング、すなわちＳＶＣ（Scalable  Video  Coding）と呼ばれるＨ．２６４／ＡＶＣ標準の拡張が存在する。ＳＶＣは、単一ビットストリームに基づき時間、空間及び品質のスケーラビリティを提供する。ＳＶＣビットストリームは、低フレームレート、低分解能及び低品質から高フレームレート、高精細及び高品質へのスケーラブルビデオ情報を含む。然るに、ＳＶＣは、ネットワークインフラストラクチャ、トラフィック条件、ユーザ好み等に適応するよう、ビデオ放送、ビデオストリーミング及びビデオ監視のような様々なビデオ用途に適する。
【０００４】
ＳＶＣでは、３種類のスケーラビリティ、すなわち、時間スケーラビリティ、空間スケーラビリティ、及び品質スケーラビリティが提供される。ＳＶＣは、三次元のスケーラビリティを実現するようマルチレイヤ符号化構造を使用する。ＳＶＣの主たる目的は、様々な伝送チャネル、様々なディスプレイ機能、及び異なる計算リソースに関連するビットレート要求に容易に且つ迅速に適応することができる１つのスケーラブルビットストリームを符号化又は再符号化によらずに生成することである。ＳＶＣ設計の重要な特徴は、スケーラビリティがビットストリームレベルで提供されることである。言い換えると、低減された空間及び／又は時間分解能を有してビデオを得るためのビットストリームは、対象とするビデオを復号化するために必要とされるスケーラブルビットストリームからネットワーク抽象化レイヤ、すなわちＮＡＬ（Network  Abstraction  Layer）ユニットを取り出すことによって、簡単に取得され得る。品質精緻化のためのＮＡＬユニットは、ビットレート及び関連するビデオ品質を低減するために、更に切り捨てられてよい。
【０００５】
例えば、時間スケーラビリティは、Ｈ．２６４／ＡＶＣ標準に従ってＢ−ピクチャに基づき階層符号化構造から得られる。図１は、８つのピクチャを有するグループ・オブ・ピクチャ（ＧＯＰ）及び４つの時間レイヤを有する階層Ｂ−ピクチャ構造の例を表す。図１におけるピクチャ０及び８はキーピクチャと呼ばれる。キーピクチャのインタ予測は、参照として前のキーピクチャのみを使用する。２つのキーピクチャの間の他のピクチャは、階層的に予測される。キーピクチャしか有さないビデオは、スケーラブルシステムの最も粗な時間分解能を形成する。時間スケーラビリティは、スケーラブルシステムのエンハンスメントレイヤに対応する更なるＢ−ピクチャを加えることによってより低レベルの（より粗の）ビデオを漸進的に精緻化することにより、達成される。図１の例では、ピクチャ４は、２つのキーピクチャが符号化された後に、キーピクチャ（すなわち、ピクチャ０及び８）を用いて最初に双方向予測される。ピクチャ４が処理された後、ピクチャ２及び６が処理される。ピクチャ２はピクチャ０及び４を用いて双方向予測され、ピクチャ６はピクチャ４及び８を用いて双方向予測される。ピクチャ２及び６が符号化された後、残りのピクチャ、すなわちピクチャ１、３、５及び７は、図１に示されるように、２つの夫々の隣接ピクチャを用いて双方向に処理される。然るに、ＧＯＰのための処理順序は０、８、４、２、６、１、３、５及び７である。図１の階層処理に従って処理されるピクチャは、階層４レベルピクチャをもたらし、ピクチャ０及び８は第１時間順位に属し、ピクチャ４は第２時間順位に属し、ピクチャ２及び６は第３時間順位に属し、ピクチャ１、３、５及び６は第４時間順位に属する。ベースレベルピクチャを復号化し、より高い時間順位のピクチャを加えることによって、より高いレベルのビデオを提供することが可能である。例えば、ベースレイヤピクチャ０及び８は、第２レベルビデオを形成するよう第２時間順位ピクチャ４と結合され得る。更に第３時間順位ピクチャを第２レベルビデオに加えることによって、第３レベルビデオを形成することが可能である。同様に、第４時間順位ピクチャを第３レベルビデオに加えることによって、第４レベルビデオを形成することが可能である。然るに、時間スケーラビリティが達成される。原のビデオが毎秒３０フレームのフレームレートを有する場合に、ベースレベルビデオは３０／８＝３．７５フレーム毎秒のフレームレートを有する。第２レベル、第３レベル及び第４レベルのビデオは７．５、１５及び３０フレーム毎秒に対応する。第１時間順位ピクチャはベースレベルビデオ又はベースレベルピクチャとも呼ばれる。第２時間順位ピクチャ乃至第４時間順位ピクチャはエンハンスメントレベルビデオ又はエンハンスメントレベルピクチャとも呼ばれる。時間スケーラビリティを可能にすることに加えて、階層Ｂ−ピクチャの符号化構造はまた、符号化−復号化遅延を犠牲にして、典型的なＩＢＢＰＧＯＰ構造に対して符号化効率を改善する。
【０００６】
ＳＶＣにおいて、空間スケーラビリティは、図２に示されるピラミッド符号化スキームに基づきサポートされる。空間スケーラビリティを備えたＳＶＣシステムでは、ビデオシーケンスは最初に、異なる空間分解能（レイヤ）でより小さいピクチャを得るよう、ダウンサンプリングされる。例えば、原の分解能でのピクチャ２１０は、分解能を低減されたピクチャ２１１を得るよう空間デシメーション２２０によって処理され得る。分解能を低減されたピクチャ２１１は、図２に示されるように更に分解能を低減されたピクチャ２１２を得るよう空間デシメーション２２１によって更に処理され得る。空間分解能が夫々のレベルの半分に低減されている２個一組の空間分解能に加えて、ＳＶＣはまた、拡張空間スケーラビリティ、すなわちＥＳＳ（Extended  Spatial  Scalability）と呼ばれる任意の分解能比をサポートする。図２のＳＶＣシステムは、３つのレイヤを備えた空間スケーラブルシステムの例を表し、レイヤ０は最も低い空間分解能を有するピクチャに対応し、レイヤ２は最も高い空間分解能を有するピクチャに対応する。レイヤ−０ピクチャは他のレイヤの参照なしに符号化される。すなわち、単一レイヤ符号化である。例えば、最下位レイヤピクチャ２１２は、モーション補償及びイントラ予測２３０を用いて符号化される。
【０００７】
モーション補償及びイントラ予測２３０は、更なるエントロピ符号化２４０のためのモーション情報のような符号化関連情報とともにシンタックス要素を生成する。図２は実際には、空間スケーラビリティ及び品質スケーラビリティ（ＳＮＲスケーラビリティとも呼ばれる。）を提供する複合ＳＶＣシステムを表す。システムはまた、時間スケーラビリティを提供してもよい。これは明示的には示されていない。夫々の単一レイヤ符号化について、残余符号化誤差は、ＳＮＲエンハンスメントレイヤ符号化２５０を用いて精緻化され得る。図２のＳＮＲエンハンスメントレイヤは、複数の品質レベル（品質スケーラビリティ）を提供してよい。夫々のサポートされる分解能レイヤは、非スケーラブル符号化システムのような夫々の単一レイヤモーション補償及びイントラ予測によって符号化され得る。夫々のより高い空間レイヤはまた、１又はそれ以上のより低い空間レイヤに基づきレイヤ間符号化を用いて符号化されてよい。例えば、レイヤ−１ビデオは、マクロブロックごと又は他のブロック単位ごとにレイヤ−０ビデオに基づくレイヤ間予測又は単一レイヤ符号化を用いて適応符号化され得る。同様に、レイヤ−２ビデオは、再構成されたレイヤ−１ビデオに基づくレイヤ間予測又は単一レイヤ符号化を用いて適応符号化され得る。図２に示されるように、レイヤ−１ピクチャ２１１は、モーション補償及びイントラ予測２３１、ベースレイヤエントロピ符号化２４１、並びにＳＮＲエンハンスメントレイヤ符号化２５１によって符号化され得る。同様に、レイヤ−２ピクチャ２１０は、モーション補償及びイントラ予測２３２、ベースレイヤエントロピ符号化２４２、並びにＳＮＲエンハンスメントレイヤ符号化２５２によって符号化され得る。符号化効率は、レイヤ間符号化により改善され得る。更に、空間レイヤ１を符号化するために必要とされる情報は、再構成されるレイヤ０（レイヤ間予測）に依存してよい。レイヤ間の差は、エンハンスメントレイヤと称される。Ｈ．２６４ＳＶＣは３種類のレイヤ間予測ツール、すなわち、レイヤ間モーション予測、レイヤ間イントラ予測、及びレイヤ間残余予測を提供する。
【０００８】
ＳＶＣにおいて、エンハンスメントレイヤ、すなわちＥＬ（Enhancement  Layer）は、レイヤ間モーションデータ冗長を低減するよう、ベースレイヤ、すなわちＢＬ（Base  Layer）におけるモーション情報を再利用することができる。例えば、ＥＬマクロブロック符号化は、ＥＬモーション情報がＢＬから直接に導出されるかどうかを示すよう、ｍｂ＿ｔｙｐｅが決定される前にｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇのようなフラグを使用してよい。ｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇが１に等しい場合は、関連する参照インデックス及びモーションベクトルとともにＥＬマクロブロックのパーティショニングデータがＢＬにおける同一場所に配置された８×８ブロックの対応するデータから導出される。ＢＬの参照ピクチャインデックスは、ＥＬにおいて直接使用される。ＥＬのモーションベクトルは、ＢＬに関連するデータからスケーリングされる。その上、スケーリングされたＢＬモーションベクトルは、ＥＬのための更なるモーションベクトル予測子として使用され得る。
【０００９】
レイヤ間残余予測は、ＥＬ残余の情報を低減するよう、アップサンプリングされたＢＬ残余情報を使用する。ＢＬの同一場所に配置された残余は、双一次フィルタを用いてブロック単位でアップサンプリングされ得、ＥＬにおける現在のマクロブロックの残余のための予測として使用され得る。参照レイヤ残余のアップサンプリングは、フィルタリングが変換ブロック境界にわたって適用されないことを確かにするために、変換ブロック単位で行われる。
【００１０】
レイヤ間残余予測と同様に、レイヤ間イントラ予測は、ＥＬの冗長テクスチャ情報を低減する。ＥＬにおける予測は、同一場所に配置されたＢＬ再構成信号をブロック単位でアップサンプリングすることによって、生成される。レイヤ間イントラ予測のアップサンプリングプロシージャにおいて、４−タップ及び２−タップフィルタは夫々、ルーマ成分及びクロマ成分に適用される。レイヤ間残余予測と異なり、レイヤ間イントラ予測のためのフィルタリングは常に、サブブロック境界にわたって行われる。復号化の簡単のために、レイヤ間イントラ予測は、ＢＬにおけるイントラ符号化されたマクロブロックにのみ制限され得る。
【００１１】
ＳＶＣにおいて、品質スケーラビリティは、精緻化係数から成る複数の品質ＥＬを符号化することによって実現される。スケーラブルビデオビットストリームは、異なるビデオビットストリームに異なるビデオ品質又はビットストリームサイズを提供するよう容易に切り捨てられ又は取り出され得る。ＳＶＣにおいて、品質スケーラビリティ（ＳＮＲスケーラビリティとも呼ばれる。）は、２つのストラテジ、すなわち粗粒スケーラビリティ又はＣＧＳ（Coarse  Grain  Scalability）及び中粒スケーラビリティ又はＭＧＳ（Medium  Grain  Scalability）を介して提供され得る。ＣＧＳは、ＢＬ及びＥＬの空間分解能が同じである空間スケーラビリティの特別な場合として考えることができる。しかし、ＥＬの品質はより良い（ＥＬのＱＰはＢＬのＱＰよりも小さい。）。空間スケーラブル符号化のための同じレイヤ間予測メカニズムが用いられ得る。しかし、対応するアップサンプリング又はデブロッキング動作は実行されない。更に、レイヤ間イントラ及び残余予測は、変換領域において直接実行される。ＣＧＳにおけるレイヤ間予測のために、テクスチャ情報の精緻化は、通常は、先行するＣＧＳレイヤに使用されるよりも小さい量子化ステップサイズによりＥＬにおける残余信号を再量子化することによって達成される。ＣＧＳは、複数の予め定められた品質点を提供することができる。
【００１２】
品質スケーラビリティに対して妥当な複雑性を保ちながら、より細かいビットレート粒度を提供するよう、ＭＧＳがＨ．２６４ＳＶＣによって使用される。ＭＧＣはＣＧＳの拡張として考えることができ、１ＣＧＳスライスにおける量子化係数は複数のＭＧＳスライスに分けられ得る。ＣＧＳにおける量子化係数は、ジグザグ走査順序におけるその走査位置に基づき１６のカテゴリに分類される。それらの１６カテゴリの係数は、ＣＧＳよりも多い品質抽出点を提供するよう、異なるスライスに分配され得る。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】米国特許出願公開第２００７／００２５４３９号明細書
【特許文献２】国際公開第２０１０／０２７６３４号パンフレット
【特許文献３】中国特許出願公開第１７２２８３８号明細書
【発明の概要】
【発明が解決しようとする課題】
【００１４】
現在のＨＥＶＣでは、それは、如何なる空間スケーラビリティ及び品質スケーラビリティも有さない階層Ｂ符号化構造に基づき単一レイヤ符号化しか提供しない。空間スケーラビリティ及び品質スケーラビリティの機能を現在のＨＥＶＣに提供することが望ましい。更に、より高い効率及び／又は更なる柔軟性を達成するようＨ．２６４ＳＶＣに対して改善されたＳＶＣを提供することが望ましい。
【課題を解決するための手段】
【００１５】
エンハンスメントレイヤ（ＥＬ）のためにベースレイヤ（ＢＬ）情報を用いるスケーラブルビデオコーディングのための方法及び装置が開示される。ＥＬは、ＢＬより高い空間分解能又はより良いビデオ品質を有する。本発明の実施形態は、ＥＬの符号化効率を改善するよう、ＢＬ情報の様々な要素を用いる。本発明に従う一実施形態では、方法及び装置は、ＥＬのための夫々の情報を得るよう、ＢＬのＣＵ構造情報、モード情報、又はモーション情報を利用する。ＣＵ構造、モード、及びモーション情報の組み合わせも、ＥＬのための夫々の情報を得るために使用されてよい。本発明の他の実施形態では、方法及び装置は、ＢＬのモーションベクトル予測子、すなわちＭＶＰ（Motion  Vector  Predictor）候補又はマージ候補に基づき、ＥＬのＭＶＰ候補又はマージ候補を導出する。本発明の更なる他の実施形態では、方法及び装置は、ＢＬのイントラ予測モードに基づき、ＥＬのイントラ予測モードを導出する。
【００１６】
本発明の実施形態は、ＥＬのための残余４分木構造（Residual  Quadtree  Structure）を導出するよう、ＢＬの残余４分木構造情報を利用する。本発明の他の実施形態は、ＢＬのテクスチャをリサンプリングすることによって、ＥＬのテクスチャを導出する。本発明の更なる実施形態は、ＢＬの残余をリサンプリングすることによって、ＥＬの残余の予測子を導出する。
【００１７】
本発明の一態様は、ＥＬのためのコンテキストに基づく適応エントロピ符号化の符号化効率に対処する。本発明の実施形態は、ＢＬの情報を用いて、ＥＬのシンタックス要素を処理するためのコンテキスト情報を決定する。本発明の他の態様は、符号化効率に関連するインループ処理に対処する。本発明の実施形態は、ＢＬのＡＬＦ情報、ＳＡＯ情報、又はＤＦ情報を夫々用いて、ＥＬのＡＬＦ情報、ＳＡＯ情報、又はＤＦ情報を導出する。
【図面の簡単な説明】
【００１８】
【図１】階層Ｂ−ピクチャを用いる時間スケーラブルビデオコーディングの例を表す。
【図２】３つの空間レイヤが設けられる場合に空間スケーラビリティ及び品質スケーラビリティを提供する複合スケーラブルビデオコーディングシステムの例を表す。
【図３】ベースレイヤのためのＣＵ構造がスケーリングされてエンハンスメントレイヤのための初期ＣＵ構造として使用されるスケーラブルビデオコーディングのためのＣＵ構造の例を表す。
【図４】本発明の実施形態に従うスケーラブルビデオコーディングのためのＣＵ構造符号化又はモーション情報符号化の例となるフローチャートを表す。
【図５】本発明の実施形態に従うスケーラブルビデオコーディングのためのＭＶＰ導出又はマージ候補導出の例となるフローチャートを表す。
【図６】本発明の実施形態に従うスケーラブルビデオコーディングのためのイントラ予測モード導出の例となるフローチャートを表す。
【図７】本発明の実施形態に従うスケーラブルビデオコーディングのための残余４分木構造符号化の例となるフローチャートを表す。
【図８】本発明の実施形態に従うスケーラブルビデオコーディングのためのテクスチャ予測及びリサンプリングの例となるフローチャートを表す。
【図９】本発明の実施形態に従うスケーラブルビデオコーディングのための残余予測及びリサンプリングの例となるフローチャートを表す。
【図１０】本発明の実施形態に従うスケーラブルビデオコーディングのためのコンテキスト適応エントロピ符号化の例となるフローチャートを表す。
【図１１】本発明の実施形態に従うスケーラブルビデオコーディングのためのＡＬＦ情報符号化、ＳＡＯ情報符号化及びＤＦ情報符号化の例となるフローチャートを表す。
【発明を実施するための形態】
【００１９】
ＨＥＶＣにおいて、符号化ユニット（Coding  Unit）（ＣＵ）構造は、符号化処理のための新しいブロック構造として紹介された。ピクチャは最も大きいＣＵ（ＬＣＵ）に分けられ、夫々のＬＣＵは、リーフＣＵが得られるか又は最小ＣＵサイズが達成されるまで、ＣＵに適応分割される。ＣＵ構造情報は、同じＣＵ情報がデコーダ側で回復され得るように、デコーダへ伝えられるべきである。スケーラブルＨＥＶＣのためのＣＵ構造に関連する符号化効率を改善するために、本発明に従う実施形態は、ＥＬによって再使用されるＢＬのＣＵ構造を可能にする。ＥＬのＬＣＵ又はＣＵレベルにおいて、１つのフラグは、ＣＵ構造がＢＬの対応するＣＵから再使用されるかどうかを示すよう送信される。ＢＬのＣＵ構造が再使用される場合は、ＢＬのＣＵ構造はＥＬの分解能に整合するようスケーリングされ、そのようにスケーリングされたＢＬのＣＵ構造はＥＬによって再使用される。更に、スケーリングされたＣＵ構造のリーフＣＵは更にサブＣＵに分けられ得る。図３は、ＣＵパーティション再使用の例を表す。バーティション３１０は、ＢＬのＣＵ構造に対応する。ＥＬのビデオ分解能は、水平方向及び垂直方向においてＢＬのビデオ分解能の２倍である。ＢＬの対応するＣＵパーティション３１５のＣＵ構造は２倍に拡大される。拡大されたＣＵ構造３２０は次いで、ＥＬのＬＣＵのための初期ＣＵとして使用される。ＥＬにおける拡大されたＣＵのリーフＣＬは更にサブＣＵに分割可能であり、その結果は図３において３３０によって示されている。フラグは、リーフＣＵが更にサブＣＵに分割されるかどうかを示すために使用されてよい。図３は、ＣＵ構造の例が再使用されることを表すが、他の情報が再使用されてもよい。例えば、予測タイプ、予測サイズ、マージインデックス、インタ参照方向、参照ピクチャインデックス、モーションベクトル、ＭＶＰインデックス及びイントラモードがある。情報／データは、その情報／データがＥＬにおいて再使用される前に、必要とされる場合にスケーリングされ得る。
【００２０】
本発明に従う他の実施形態では、リーフＣＵのためのモード情報が再使用される。モード情報は、スキップフラグ、予測タイプ、予測サイズ、インタ参照方向、参照ピクチャインデックス、モーションベクトル、モーションベクトルインデックス、マージフラグ、マージインデックス、及びイントラモードを含んでよい。ＥＬにおけるリーフＣＵのモード情報は、ＢＬにおける対応するＣＵの同じ又はスケーリングされたモード情報を共有することができる。１つのフラグは、ＥＬがＢＬからのモード情報を再使用するか否かを示すために使用され得る。モード情報の１又はそれ以上の要素について、１つのフラグは、ＥＬがＢＬからのこのモード情報を再使用するか否を示すために使用されてよい。
【００２１】
本発明に従う更なる他の実施形態では、ＢＬにおける対応する予測ユニット（Prediction  Unit）（ＰＵ）又は符号化ユニット（ＣＵ）のモーション情報が、ＥＬにおけるＰＵ又はＣＵのモーション情報を導出するために再使用される。モーション情報は、インタ予測方向、参照ピクチャインデックス、モーションベクトル（Motion  Vector）（ＭＶ）、モーションベクトル予測子（Motion  Vector  Predictor）（ＭＶＰ）、ＭＶＰインデックス、マージインデックス、マージ候補、及びイントラモードを含んでよい。ＢＬのためのモーション情報は、ＥＬにおけるモーション情報のための予測子又は候補として利用され得る。例えば、ＢＬのＭＶ及びＢＬのＭＶＰは、ＥＬのＭＶＰ導出のためのＭＶＰリスト及び／又はマージリストに加えられ得る。ＢＬの上記のＭＶは、ＢＬにおける対応するＰＵのＭＶ、ＢＬにおける対応するＰＵの隣接ＰＵのＭＶ、ＢＬにおける対応するＰＵのマージ候補のＭＶ、ＢＬにおける対応するＰＵのＭＶＰ、又はＢＬにおける対応するＰＵの同一場所に配置されるＭＶであってよい。
【００２２】
他の例では、ＥＬのためのマージ候補導出は、ＢＬのモーション情報を利用することができる。例えば、ＢＬにおける対応するＰＵのマージ候補は、マージ候補リスト及び／又はＭＶＰリストに加えられ得る。ＢＬの上記のモーション情報は、ＢＬにおける対応するＰＵのモーション情報、ＢＬにおける対応するＰＵの隣接ＰＵに関連するモーション情報、ＢＬにおける対応するＰＵのマージ候補、ＢＬにおける対応するＰＵのＭＶＰ、又はＢＬにおける対応するＰＵの同一場所に配置されるＰＵであってよい。この場合に、モーション情報は、インタ予測方向、参照ピクチャインデックス、及びモーションベクトルを含む。
【００２３】
更なる他の例では、ＢＬにおける対応するＰＵ又はＣＵのイントラモードがＥＬのために再使用され得る。例えば、ＢＬにおける対応するＰＵ又はＣＵのイントラモードは、イントラ最確モードリストに加えられ得る。本発明に従う実施形態は、ＥＬのためのイントラモードを予測するためにＢＬのモーション情報を使用する。ＥＬにおける最確モードリストのための順位は、ＢＬにおけるイントラ予測モード情報に従って適応変更され得る。然るに、ＥＬにおける最確モードリストにおける符号語の符号語長さは、ＢＬにおけるイントラ予測モード情報に従って適応変更され得る。例えば、符号化ＢＬイントラモードの予測方向に近い予測方向によるイントラ残余モードの符号語は、より短い長さを割り当てられる。他の例として、ＢＬイントラモードの隣接方向モードがまた、ＥＬイントラモード符号化のイントラ最確モード（Most  Probable  Mode）リストに加えられ得る。ＢＬのイントラ予測モード情報は、ＢＬにおける対応するＰＵのイントラ予測モード、ＢＬイントラモードの隣接方向モード、又はＢＬにおける対応するＰＵの隣接ＰＵのイントラ予測モードであってよい。
【００２４】
ＢＬモーション情報の選択されたＭＶＰインデックス、マージインデックス、及びイントラモードインデックスは、ＥＬのＭＶＰリスト、マージインデックスリスト、及びイントラ最確モードリストにおいてインデックス順序を適応変更するために利用され得る。例えば、ＨＥＶＣテストモードバージョン３．０（ＨＭ−３．０）において、ＭＶＰリストの順序は｛左ＭＶＰ，上ＭＶＰ，同一配置ＭＶＰ｝である。対応するＢＬのＰＵが上ＭＶＰを選択する場合は、上ＭＶＰの順序がＥＬにおいて前に移動される。然るに、ＥＬにおけるＭＶＰリストは｛上ＭＶＰ，左ＭＶＰ，同一配置ＭＶＰ｝となる。更に、ＢＬの符号化ＭＶ、選択された符号化ＭＶ、ＭＶＰ候補、スケーリングされたＭＶＰ候補、マージ候補、及びスケーリングされたマージ候補は、ＥＬのＭＶＰ候補及び／又はマージ候補の部分を置換することができる。ＢＬにおける対応するＰＵ又はＣＵに係るモーション情報に基づきＥＬにおけるＰＵ又はＣＵに係るモーション情報を導出する処理は、ＥＬにおけるＰＵ又はＣＵに係るＭＶＰ候補又はマージ候補が符号化又は復号化に必要とされる場合に呼び出される。
【００２５】
上述されたように、ＢＬのためのＣＵ構造情報は、ＥＬのためのＣＵ構造情報を決定するために使用され得る。更に、ＢＬのためのＣＵ構造情報、モード情報及びモーション情報は、ＥＬのためのＣＵ構造情報、モード情報及びモーション情報を決定するために一緒に使用され得る。ＢＬのためのモード情報又はモーション情報はまた、ＥＬのためのモード情報又はモーション情報を決定するために使用されてよい。ＢＬのための対応する情報に基づきＥＬのためのＣＵ構造情報、モード情報、モーション情報又はあらゆる組み合わせを導出する処理は、ＥＬのためのＣＵ構造情報、モード情報、モーション情報又はあらゆる組み合わせが符号化又は復号化される必要がある場合に呼び出され得る。
【００２６】
ＨＭ−３．０において、予測残余は四分木分割を用いて更に処理され、符号化タイプは残余四分木分割の結果のブロックごとに選択される。残余四分木分割情報及び符号化ブロックパターン（Coding  Block  Pattern）（ＣＢＰ）情報は両方とも、デコーダが残余四分木情報を回復することができるように、ビットストリームに組み込まれるべきである。本発明に従う実施形態は、ＥＬのためにＢＬにおける対応するＣＵの残余四分木分割及びＣＢＰを再使用する。残余四分木分割及びＣＢＰはスケーリングされて、ＥＬの残余四分木分割及びＣＢＰ符号化のための予測子として利用され得る。ＨＥＶＣにおいて、ブロック変換のための単位は変換ユニット（Transform  Unit）（ＴＵ）と呼ばれ、ＴＵはより小さいＴＵに分割され得る。本発明の実施形態において、ＥＬのルートＴＵレベル又はＴＵレベルのための１つのフラグは、ＢＬにおける対応するＴＵの残余四分木符号化（Residual  Quadtree  coding）構造がＥＬにおける現在のＴＵのＲＱＴ構造を予測するために利用されるかどうかを示すために送信される。ＢＬにおける対応するＴＵのＲＱＴ構造がＥＬにおける現在のＴＵのＲＱＴ構造を予測するために利用される場合は、ＢＬにおける対応するＴＵのＲＱＴ構造はスケーリングされて、ＥＬにおける現在のＴＵの初期ＲＱＴ構造として使用される。ＥＬのための初期ＲＱＴ構造のリーフＴＵにおいて、１つのスプリットフラグは、ＴＵがサブＴＵに分割されるかどうかを示すために送信され得る。ＢＬのＲＱＴ構造の情報に基づきＥＬのＲＱＴ構造を導出する処理は、エンコーダがＥＬのＲＱＴ構造を符号化する必要があるか又はデコーダがＥＬのＲＱＴ構造を復号化する必要がある場合に、実行される。
【００２７】
Ｈ．２６４／ＡＶＣスケーラブル拡張において、４−タップ及び２−タップフィルタは夫々、ルーマ成分及びクロマ成分に係るテスクチャ信号のアップサンプリング動作のために導入される。本発明に従う実施形態は、ＥＬテクスチャの予測子としてＢＬテクスチャをリサンプリングする。リサンプリングは、Ｈ．２６４／ＡＶＣスケーラブル拡張における４−タップ及び２−タップＦＩＲフィルタを置換するために、改善されたアップサンプリング方法を利用する。本発明に従うフィルタは、次のフィルタ、すなわち離散コサイン変換補間フィルタ（Discrete  Cosine  Transform  Interpolation  Filter）（ＤＣＴＩＦ）、離散サイン変換補間フィルタ（Discrete  Sine  Transform  Interpolation  Filter）（ＤＳＴＩＦ）、ウィーナフィルタ、非局所平均化フィルタ（non-local  mean  filter）、平滑化フィルタ、及びバイラテラルフィルタ（bilateral  filter）の中の１つ又はそれらのフィルタの組み合わせを使用する。本発明に従うフィルタは、ＴＵ境界を横断することができ、あるいは、ＴＵ境界内に制限され得る。本発明に従う実施形態は、計算及びデータ依存性の問題を解消するよう、レイヤ間イントラ予測においてパッディング及びデブロッキングプロシージャをスキップしてよい。ＢＬにおけるサンプル適応オフセット（Sample  Adaptive  Offset）（ＳＡＯ）、適応ループフィルタ（Adaptive  Loop  Filter）（ＡＬＦ）、非局所平均化フィルタ、及び／又は平滑化フィルタもスキップされてよい。パッディング、デブロッキング、ＳＡＯ、ＡＬＦ、非局所平均化フィルタ、及び平滑化フィルタのスキップは、ＬＣＵ全体、リーフＣＵ、ＰＵ、ＴＵ、所定範囲、ＬＣＵ境界、リーフＣＵ境界、ＰＵ境界、ＴＵ境界、又は所定範囲の境界に適用され得る。他の実施形態では、ＢＬのテクスチャは、フィルタ処理されたＢＬテクスチャを生成するようフィルタを用いて処理され、ＢＬテクスチャはＥＬテクスチャと同じ分解能を有し、ＥＬのテクスチャの予測子として使用される。ウィーナフィルタ、ＡＬＦ（Adaptive  Loop  Filter）、非局所平均化フィルタ、平滑化フィルタ、又はＳＡＯ（Sample  Adaptive  Offset）は、ＢＬのテクスチャがＥＬのテクスチャの予測子として利用される前に、ＢＬのテクスチャに適用され得る。
【００２８】
ピクチャ品質を改善するよう、本発明の実施形態は、ＢＬのテクスチャがリサンプリングされる前に、ウィーナフィルタ又は適応フィルタをＢＬのテクスチャに適用する。代替的に、ウィーナフィルタ又は適応フィルタは、ＢＬのテクスチャがリサンプリングされた後に、ＢＬのテクスチャに適用され得る。更に、本発明の実施形態は、ＢＬのテクスチャがリサンプリングされる前に、ＳＡＯ又はＡＬＦをＢＬのテクスチャに適用する。
【００２９】
本発明に従う他の実施形態は、レイヤ間イントラ予測のために、ＬＣＵに基づく若しくはＣＵに基づくウィーナフィルタ及び／又は適応オフセットを利用する。フィルタリングは、ＢＬテクスチャデータ又はアップサンプリングされたＢＬテクスチャデータに適用され得る。
【００３０】
Ｈ．２６４ＳＶＣにおいて、２−タップＦＩＲフィルタは、ルーマ及びクロマの両成分に係る残余信号のアップサンプリング動作のために導入される。本発明に従う実施形態は、Ｈ．２６４ＳＶＣの２−タップＦＩＲフィルタを置換するために、改善されたアップサンプリング方法を使用する。フィルタは、次のフィルタ、すなわちＤＣＴＩＦ、ＤＳＴＩＦ、ウィーナフィルタ、非局所平均化フィルタ、平滑化フィルタ、及びバイラテラルフィルタの中の１つ又はそれらのフィルタの組み合わせであってよい。ＥＬがＢＬよりも高い空間分解能を有する場合に、上記のフィルタは、ＢＬ残余をリサンプリングするよう適用され得る。上記のフィルタは全て、ＴＵ境界を交差するよう又は交差しないよう制限され得る。更に、残余予測は、ＢＬ及びＥＬが同じ分解能を有するか又はＥＬがＢＬよりも高い分解能を有する場合に、空間領域又は周波数領域のいずれか一方において実行され得る。ＥＬがＢＬよりも高い空間分解能を有する場合に、ＢＬの残余は、ＥＬ残余のための予測子を形成するよう周波数領域においてリサンプリングされ得る。ＢＬの残余をリサンプリングすることによってＥＬの残余の予測子を導出する処理は、エンコーダ又はデコーダがＢＬのリサンプリングされた残余に基づきＥＬの残余の予測子を導出する必要がある場合に、実行され得る。
【００３１】
本発明に従う実施形態は、ＥＬにおけるコンテキストに基づく適応エントロピ符号化のためにＢＬ情報を利用してよい。例えば、コンテキストに基づく適応２進演算符号化（Context-based  Adaptive  Binary  Arithmetic  Coding）（ＣＡＢＡＣ）のコンテキスト形成又は２値化は、ＢＬの情報を利用することができる。ＥＬは、ＢＬにおける対応する情報に基づき、異なるコンテキストモデル、異なるコンテキスト形成方法、又は異なるコンテキスト設定を使用することができる。例えば、ＥＬのＰＵは、ＢＬにおける対応するＰＵがスキップモードにおいて符号化されるか否かに依存して、異なるコンテキストモデルを使用することができる。本発明の他の実施形態では、ＢＬにおけるＣＡＢＡＣのためのコンテキストモデルの部分の確率又は最確シンボル（Most  Probable  Symbol）（ＭＰＳ）は、ＥＬにおけるＣＡＢＡＣのためのコンテキストモデルの部分の初期確率及びＭＰＳを導出するために再使用され得る。シンタックス要素は、スプリットフラグ、スキップフラグ、マージフラグ、マージインデックス、クロマイントラモード、ルーマイントラモード、パーティションサイズ、予測モード、インタ予測方向、モーションベクトル差、モーションベクトル予測子インデックス、参照インデックス、デルタ量子化パラメータ、有効フラグ、最終有効フラグ、１より大きい係数（coefficient-greater-than-one）、１を引いた大きさの係数（coefficient-magnitude-minus-one）、ＡＬＦ制御フラグ、ＡＬＦフラグ、ＡＬＦフットプリントサイズ、ＡＬＦマージフラグ、ＡＬＦオン・オフ決定、ＡＬＦ係数、ＳＡＯフラグ、ＳＡＯタイプ、ＳＡＯオフセット、ＳＡＯマージフラグ、ＳＡＯ実行、ＳＡＯオン・オフ決定、変換再分割フラグ、残余四分木ＣＢＦ（符号化ブロックフラグ（Coded  Block  Flag））、又は残余四分木ルートＣＢＦであってよい。シンタックス要素に対応する符号語はＢＬの情報に従って適応変更され得、ルックアップ符号化テーブルにおけるＥＬのシンタックス要素に対応する符号語順序も、ＢＬの情報に従って適応変更され得る。ＢＬの情報を用いてＥＬのシンタックス要素を処理するためのコンテキスト情報を決定する処理は、ＥＬのシンタックス要素が符号化又は復号化される必要がある場合に実行される。
【００３２】
本発明の実施形態は、ＥＬにおけるＡＬＦ情報を導出するために、ＢＬにおける何らかのＡＬＦ情報を使用する。ＡＬＦ情報は、フィルタ適応モード、フィルタ係数、フィルタフットプリント、領域分割、オン・オフ決定、イネーブルフラグ、及びマージ結果を含んでよい。例えば、ＥＬは、ＥＬにおけるＡＬＦパラメータ又はＡＬＦパラメータの予測子としてＢＬにおけるＡＬＦパラメータの部分を使用することができる。ＡＬＦ情報がＢＬのＡＬＦ情報から直接再使用される場合に、ＥＬのための関連するＡＬＦパラメータを送信する必要はない。フラグは、ＥＬのためのＡＬＦ情報がＢＬのＡＬＦ情報から予測されるかどうかを示すために使用され得る。ＥＬのためのＡＬＦ情報がＢＬのＡＬＦ情報から予測されることをフラグが示す場合は、ＢＬのＡＬＦ情報はスケーリングされて、ＥＬのＡＬＦ情報のための予測子として使用され得る。値は、ＥＬのＡＬＦ情報の予測子とＡＬＦ情報との間の差を表すために使用され得る。ＢＬのＡＬＦ情報を用いてＥＬのためのＡＬＦ情報を導出する処理は、エンコーダ又はデコーダがＥＬのＡＬＦ情報を導出する必要がある場合に実行される。
【００３３】
本発明の実施形態は、ＥＬにおけるＳＡＯ情報を導出するために、ＢＬにおける何らかのＳＡＯ情報を使用する。ＳＡＯ情報は、オフセットタイプ、オフセット、領域分割、オン・オフ決定、イネーブルフラグ、及びマージ結果を含んでよい。例えば、ＥＬは、ＥＬのためのＳＡＯパラメータとしてＢＬにおけるＳＡＯパラメータの部分を使用することができる。ＳＡＯ情報がＢＬのＳＡＯ情報から直接に再使用される場合に、ＥＬのための関連するＳＡＯパラメータを送信する必要はない。フラグは、ＥＬのためのＳＡＯ情報がＢＬのＳＡＯ情報から予測されるかどうかを示すために使用され得る。ＥＬのためのＳＡＯ情報がＢＬのＳＡＯ情報から予測されることをフラグが示す場合は、ＢＬのＳＡＯ情報はスケーリングされて、ＥＬのＳＡＯ情報のための予測子として使用され得る。値は、ＥＬのＳＡＯ情報の予測子とＳＡＯ情報との間の差を表すために使用され得る。ＢＬのＳＡＯ情報を用いてＥＬのためのＳＡＯ情報を導出する処理は、エンコーダ又はデコーダがＥＬのＳＡＯ情報を導出する必要がある場合に実行される。
【００３４】
本発明の実施形態は、ＥＬにおけるデブロッキングフィルタ（Deblocking  Filter）（ＤＦ）情報を導出するために、ＢＬにおける何らかのＤＦ情報を使用する。ＤＦ情報は、閾値（例えば、境界強さ（Boundary  Strength）（ＢＳ）を決定するために使用される閾値α、β及びｔＣ）を含んでよい。ＤＦ情報は、フィルタパラメータ、オン・オフフィルタ決定、強弱フィルタ選択、又はフィルタ強さを更に含んでよい。ＤＦ情報がＢＬのＤＦ情報から直接に再使用される場合に、ＥＬのための関連するＤＦパラメータを送信する必要はない。フラグは、ＥＬのためのＤＦ情報がＢＬのＤＦ情報から予測されるかどうかを示すために使用され得る。ＥＬのためのＤＦ情報がＢＬのＤＦ情報から予測されることをフラグが示す場合は、ＢＬのＤＦ情報はスケーリングされて、ＥＬのＤＦ情報のための予測子として使用され得る。値は、ＥＬのＤＦ情報の予測子とＤＦ情報との間の差を表すために使用され得る。ＢＬのＤＦ情報を用いてＥＬのＤＦ情報を導出する処理は、エンコーダ又はデコーダがＥＬのＤＦ情報を導出する必要がある場合に実行される。
【００３５】
図４乃至１１は、本発明の様々な実施形態に従うスケーラブルビデオコーディングのための例となるフローチャートを表す。図４は、本発明の実施形態に従うスケーラブルビデオコーディングのためのＣＵ構造符号化又はモーション情報符号化の例となるフローチャートを表し、ビデオデータはベースレイヤ（ＢＬ）及びエンハンスメントレイヤ（ＥＬ）に構成され、ＥＬはＢＬより高い空間分解能又はより良いビデオ品質を有する。ＢＬにおけるＣＵ（符号化ユニット）のためのＣＵ構造（符号化ユニット構造）、モーション情報、又はＣＵ構造及びモーション情報の組み合わせは、ステップ４１０で決定される。ＥＬにおける対応するＣＵのためのＣＵ構造、モーションベクトル予測子（ＭＶＰ）情報、又はＣＵ構造及びＭＶＰ情報の組み合わせは夫々、ＢＬにおけるＣＵのためのＣＵ構造、モーション情報、又はＣＵ構造及びモーション情報の組み合わせに基づきステップ４２０で決定される。図５は、本発明の実施形態に従うスケーラブルビデオコーディングのためのＭＶＰ導出又はマージ候補導出の例となるフローチャートを表し、ビデオデータはベースレイヤ（ＢＬ）及びエンハンスメントレイヤ（ＥＬ）に構成され、ＥＬはＢＬより高い空間分解能又はより良いビデオ品質を有する。ＢＬにおけるモーション情報はステップ５１０で決定される。ＥＬにおけるモーションベクトル予測子（ＭＶＰ）候補又はマージ候補は、ＢＬにおけるモーション情報に基づきステップ５２０で導出される。図６は、本発明の実施形態に従うスケーラブルビデオコーディングのためのイントラ予測モード導出の例となるフローチャートを表し、ビデオデータはベースレイヤ（ＢＬ）及びエンハンスメントレイヤ（ＥＬ）に構成され、ＥＬはＢＬより高い空間分解能又はより良いビデオ品質を有する。ＢＬのイントラ予測モードの情報はステップ６１０で決定される。ＥＬのイントラ予測モードは、ＢＬのイントラ予測モードの情報に基づきステップ６２０で導出される。
【００３６】
図７は、本発明の実施形態に従うスケーラブルビデオコーディングのための残余４分木構造符号化の例となるフローチャートを表し、ビデオデータはベースレイヤ（ＢＬ）及びエンハンスメントレイヤ（ＥＬ）に構成され、ＥＬはＢＬより高い空間分解能又はより良いビデオ品質を有する。ＢＬのＲＱＴ構造（Residual  Quadtree  Coding  structure）の情報はステップ７１０で決定される。ＥＬのＲＱＴ構造は、ＢＬのＲＱＴ構造の情報に基づきステップ７２０で導出される。図８は、本発明の実施形態に従うスケーラブルビデオコーディングのためのテクスチャ予測及びリサンプリングの例となるフローチャートを表し、ビデオデータはベースレイヤ（ＢＬ）及びエンハンスメントレイヤ（ＥＬ）に構成され、ＥＬはＢＬより高い空間分解能又はより良いビデオ品質を有する。ＢＬのテクスチャの情報はステップ８１０で決定される。ＥＬのテクスチャの予測子は、ＢＬのテクスチャの情報に基づきステップ８２０で導出される。図９は、本発明の実施形態に従うスケーラブルビデオコーディングのための残余予測及びリサンプリングの例となるフローチャートを表し、ビデオデータはベースレイヤ（ＢＬ）及びエンハンスメントレイヤ（ＥＬ）に構成され、ＥＬはＢＬより高い空間分解能又はより良いビデオ品質を有する。ＢＬの残余情報はステップ９１０で決定される。ＥＬの残余の予測子は、ＢＬの残余をリサンプリングすることによってステップ９２０で導出される。
【００３７】
図１０は、本発明の実施形態に従うスケーラブルビデオコーディングのためのコンテキスト適応エントロピ符号化の例となるフローチャートを表し、ビデオデータはベースレイヤ（ＢＬ）及びエンハンスメントレイヤ（ＥＬ）に構成され、ＥＬはＢＬより高い空間分解能又はより良いビデオ品質を有する。ＢＬの情報はステップ１０１０で決定される。ＥＬのシンタックス要素を処理するためのコンテキスト情報は、ＢＬの情報を用いてステップ１０２０で決定される。図１１は、本発明の実施形態に従うスケーラブルビデオコーディングのためのＡＬＦ情報符号化、ＳＡＯ情報符号化及びＤＦ情報符号化の例となるフローチャートを表し、ビデオデータはベースレイヤ（ＢＬ）及びエンハンスメントレイヤ（ＥＬ）に構成され、ＥＬはＢＬより高い空間分解能又はより良いビデオ品質を有する。ＢＬのＡＬＦ情報、ＳＡＯ情報又はＤＦ情報はステップ１１１０で決定される。ＥＬのためのＡＬＦ情報、ＳＡＯ情報又はＤＦ情報は夫々、ＢＬのＡＬＦ情報、ＳＡＯ情報又はＤＦ情報を用いてステップ１１２０で導出される。
【００３８】
上記の本発明に従う、エンハンスメントレイヤ符号化がベースレイヤの情報を利用するスケーラブルビデオコーディングの実施形態は、様々なハードウェア、ソフトウェアコード、又はそれらの組み合わせにおいて実施されてよい。例えば、本発明の実施形態は、ここで記載される処理を実行するよう、ビデオ圧縮チップに組み込まれた回路又はビデオ圧縮ソフトウェアに組み込まれたプログラムコードであってよい。本発明の実施形態は、ここで記載される処理を実行するようデジタル信号プロセッサ（ＤＳＰ）において実行されるプログラムコードであってもよい。本発明はまた、コンピュータプロセッサ、デジタル信号プロセッサ、マイクロプロセッサ、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）によって実行される多数の機能を伴ってよい。それらのプロセッサは、本発明によって具現される特定の方法を定義する機械可読ソフトウェアコード又はファームウェアコードを実行することによって、本発明に従う特定のタスクを実行するよう構成され得る。ソフトウェアコード又はファームウェアコードは、異なるプログラミング言語及び異なるフォーマット又はスタイルにおいて開発されてよい。ソフトウェアコードはまた、異なるターゲットプラットフォームごとにコンパイルされてよい。しかし、ソフトウェアコードの異なるコードフォーマット、スタイル及び言語並びに本発明に従うタスクを実行するようコードを設定する他の手段は、本発明の精神及び適用範囲から逸脱しない。
【００３９】
本発明は、その精神及び必須の特徴から逸脱することなしに他の具体的な形態において具現されてよい。記載される例は、あらゆる点において限定ではなく単なる例示として考えられるべきである。従って、本発明の適用範囲は、先の記載よってよりむしろ、添付の特許請求の範囲によって示される。特許請求の範囲の均等の意味及び範囲内にある全ての変更は、それらの適用範囲内に包含されるべきである。
【００４０】
［関連出願の相互参照］
本発明は、２０１１年６月１０日付で出願された米国特許仮出願第６１／４９５７４０号（発明の名称「Scalable  Coding  of  High  Efficiency  Video  Coding」）に基づく優先権を主張するものである。当該米国出願は、その全文を参照により本願に援用される。
【図１】
2015065688.tif 000003
【図２】
2015065688.tif 000004
【図３】
2015065688.tif 000005
【図４】
2015065688.tif 000006
【図５】
2015065688.tif 000007
【図６】
2015065688.tif 000008
【図７】
2015065688.tif 000009
【図８】
2015065688.tif 000010
【図９】
2015065688.tif 000011
【図１０】
2015065688.tif 000012
【図１１】
2015065688.tif 000013