"マルチレイヤフレームに準拠したビデオ配信のための符号化方法であって、a基本レイヤを通じて複数のデータカテゴリの画像又はビデオフレームを基本レイヤ処理するステップであって、i前記複数のデータカテゴリの画像又はビデオフレームの基本レイヤフレーム準拠表現を供給するステップ、を含むステップ、b1又は複数の拡張レイヤを通じて前記複数のデータカテゴリの画像又はビデオフレームを拡張レイヤ処理するステップであって、i前記複数のデータカテゴリの画像又はビデオフレームの拡張レイヤフレーム準拠表現を供給するステップ、ii少なくとも1つの拡張レイヤ参照ピクチャバッファを保持するステップ、iii前記基本レイヤ又は異なる拡張レイヤへの少なくとも1つの従属関係を参照処理するステップ、iv動き又は視差補償を実行するステップ、を含むステップ、を有し、前記1又は複数の拡張レイヤの各々は、前記複数のデータカテゴリの全てを処理する、符号化方法。マルチレイヤフレーム準拠ビデオ配信のための符号化方法であって、a基本レイヤを通じて複数のデータカテゴリの画像又はビデオフレームを基本レイヤ処理するステップであって、i前記複数のデータカテゴリの画像又はビデオフレームの基本レイヤフレーム準拠表現を供給するステップ、を含むステップ、b1又は複数の拡張レイヤを通じて前記複数のデータカテゴリの画像又はビデオフレームを拡張レイヤ処理するステップであって、i前記複数のデータカテゴリのうちの1つの画像又はビデオフレームの拡張レイヤ表現を供給するステップ、ii各拡張レイヤに拡張レイヤ参照ピクチャバッファを保持するステップ、iii前記基本レイヤ又は異なる拡張レイヤへの少なくとも1つの従属関係を参照処理するステップ、iv動き又は視差補償を実行するステップ、を含むステップ、を有する、符号化方法。マルチレイヤフレーム準拠ビデオ配信のための復号化方法であって、a基本レイヤを通じて複数の基本レイヤビットストリーム信号を基本レイヤ処理するステップであって、i少なくとも1つのフレーム準拠基本レイヤ復号化画像を供給するステップ、を含むステップ、b1又は複数の拡張レイヤを通じて前記複数の拡張ビットストリーム信号を拡張レイヤ処理するステップであって、i複数のデータカテゴリの少なくとも1つの拡張レイヤ復号化画像又はビデオフレームを供給するステップ、ii少なくとも1つの拡張レイヤ参照ピクチャバッファを保持するステップ、iii前記基本レイヤ又は異なる拡張レイヤへの少なくとも1つの従属関係を参照処理するステップ、iv視差補償を実行するステップ、を含むステップ、を有し、前記複数のデータカテゴリの全ては、同一の拡張レイヤで復号化され処理される、復号化方法。マルチレイヤフレーム準拠ビデオ配信のための復号化方法であって、a基本レイヤを通じて基本レイヤを通じて複数の基本レイヤビットストリーム信号を基本レイヤ処理するステップであって、i少なくとも1つのフレーム準拠基本レイヤ復号化画像又はビデオフレームを供給するステップ、を含むステップ、b1又は複数の拡張レイヤを通じて複数のデータカテゴリの1又は複数の拡張レイヤを通じて前記複数の拡張ビットストリーム信号を拡張レイヤ処理するステップであって、前記複数のデータカテゴリの各々は、別個の拡張レイヤで別個に処理され、前記1又は複数の拡張レイヤの各々は、i前記複数のデータカテゴリのうちの1つの少なくとも1つの拡張レイヤ復号化画像又はビデオフレームを供給するステップ、ii少なくとも1つの拡張レイヤ参照ピクチャバッファを保持するステップ、iii前記基本レイヤ又は異なる拡張レイヤへの少なくとも1つの従属関係を参照処理するステップ、iv視差補償を実行するステップ、を含むステップ、を有し、前記複数のデータカテゴリの全ては、同一の拡張レイヤで復号化され処理される、復号化方法。前記複数のデータカテゴリは、立体画像又はビデオの複数のビューを有する、請求項1乃至4のいずれか一項に記載の方法。前記複数のデータカテゴリの画像又はビデオフレームの前記基本レイヤフレーム準拠表現を供給するステップは、前記複数のデータカテゴリの画像又はビデオフレームを基本レイヤサンプリングし単一フレームに基本レイヤ多重化するステップ、を有する、請求項1乃至3のうちの1又は複数項に記載の方法。前記基本レイヤ処理のサンプリングは、前記複数のデータカテゴリの画像又はビデオフレームの対称又は非対称フィルタリングを含む、請求項6に記載の方法。前記基本レイヤサンプリングするステップは、水平サンプリング、垂直サンプリング又は5点形サンプリングを有する、請求項6に記載の方法。前記基本レイヤ多重化するステップは、チェックボードインタリーブ配置、列インタリーブ配置、行インタリーブ配置、サイドバイサイドインタリーブ配置、及び上下インタリーブ配置のうちのいずれか1つのフレーム準拠パッキング配置を用いる、請求項6に記載の方法。前記基本レイヤ処理は、前記複数のビューの画像又はビデオフレームの等しい又は等しくない量のサンプルを処理するステップを更に含む、請求項5に記載の方法。前記拡張レイヤ処理するステップは、同一の画像若しくはフレーム内のサンプルから、又は同一の拡張レイヤの過去の復号化フレームからのサンプルから、少なくとも1つの予測画像を予測することにより、少なくとも1つの参照画像又はビデオフレームを生成するステップ、前記少なくとも1つの予測画像又はビデオフレームを前記少なくとも1つの拡張レイヤ参照ピクチャバッファに格納するステップ、を含む、請求項1乃至3のいずれか1又は複数項に記載の方法。前記少なくとも1つの参照画像又はビデオフレームの生成は、少なくとも1つの予測残差画像と前記少なくとも1つの予測画像との和を逆多重化し参照処理するステップを更に含む、請求項11に記載の方法。前記逆多重化は、少なくとも1つの予測残差画像と前記少なくとも1つの予測画像との和をアップサンプリングし補間するステップを更に含む、請求項12に記載の方法。前記少なくとも1つの拡張レイヤ参照ピクチャバッファのうちの1つは、他の前記少なくとも1つの拡張レイヤ参照ピクチャバッファと異なる解像度で画像又はビデオフレームを格納する、請求項13に記載の符号化方法。前記拡張レイヤ処理するステップは、前記複数のデータカテゴリの各々に対し、前記少なくとも1つの拡張レイヤ参照ピクチャバッファから少なくとも1つの参照画像を選択するステップ、前記の選択された少なくとも1つの参照画像を拡張レイヤサンプリングし、少なくとも1つのフレーム準拠画像に拡張レイヤ多重化するステップ、前記少なくとも1つのフレーム準拠画像に基づき、視差補償又はインター予測を実行するステップ、を更に含む、請求項1乃至3のいずれか1又は複数項に記載の方法。前記拡張レイヤ処理するステップは、前記基本レイヤの参照バッファからの少なくとも1つの基本レイヤ復号化されたフレーム準拠画像を基本レイヤ-拡張レイヤBL-to-EL処理するステップ、前記のBL-to-EL処理された少なくとも1つの基本レイヤ復号化されたフレーム準拠画像を、前記少なくとも1つの拡張レイヤ参照ピクチャバッファに格納するステップ、を更に含む、請求項1乃至3のいずれか1又は複数項に記載の方法。前記BL-to-EL処理は、前記少なくとも1つの基本レイヤ復号化されたフレーム準拠画像を参照処理し、逆多重化し、アップサンプリングするステップ、又は前記少なくとも1つの基本レイヤ復号化フレーム準拠画像をフィルタリングし、アップスケーリングし、補間するステップ、のうちの1又は複数を含む、請求項16に記載の方法。少なくとも1つのプロセッサ、有形に格納された命令を有するコンピュータ可読媒体であって、前記命令は、前記少なくとも1つのプロセッサにより実行されると、請求項1、2、5乃至17のうちの1又は複数項に記載の方法の少なくとも1つのステップを前記プロセッサに実行させ、プログラミングし、設定し又は制御する、コンピュータ可読媒体、を有するビデオエンコーダ。少なくとも1つのプロセッサ、有形に格納された命令を有するコンピュータ可読媒体であって、前記命令は、前記少なくとも1つのプロセッサにより実行されると、請求項3、4、5乃至17のうちの1又は複数項に記載の方法の少なくとも1つのステップを前記プロセッサに実行させ、プログラミングし、設定し又は制御する、コンピュータ可読媒体、を有するビデオデコーダ。少なくとも1つのプロセッサ、有形に格納された命令を有するコンピュータ可読媒体であって、前記命令は、前記少なくとも1つのプロセッサにより実行されると、前記プロセッサに、請求項1乃至17のうちの1又は複数項に記載の方法の少なくとも1つのステップを実行し、達成し又は制御し、請求項18に記載のビデオエンコーダをプログラミングし、制御し又は設定し、又は請求項19に記載のビデオデコーダをプログラミングし、制御し又は設定するよう、にさせ、プログラミングし、設定し又は制御する、コンピュータ可読媒体、を有するビデオ装置。少なくとも1つのプロセッサ、有形に格納された命令を有するコンピュータ可読媒体であって、前記命令は、前記少なくとも1つのプロセッサにより実行されると、前記プロセッサに、請求項1乃至17のうちの1又は複数項に記載の方法の少なくとも1つのステップを実行し、達成し又は制御し、請求項18に記載のビデオエンコーダをプログラミングし、制御し又は設定し、請求項19に記載のビデオデコーダをプログラミングし、制御し又は設定し、請求項20に記載のビデオ装置をプログラミングし、制御し又は設定するよう、にさせ、プログラミングし、設定し又は制御する、コンピュータ可読媒体、を有するコンピュータ。請求項1乃至17のうちの1又は複数項に記載の方法の少なくとも1つのステップを実行し、達成し、生じさせ、又は制御する手段、請求項18に記載のビデオエンコーダをプログラミングし、制御し又は設定する手段、請求項19に記載のビデオデコーダをプログラミングし、制御し又は設定する手段、請求項20に記載のビデオ装置をプログラミングし、制御し又は設定する手段、又は請求項20に記載のコンピュータをプログラミングし、制御し又は設定する手段、を有するシステム。コンピュータ可読媒体であって、有形に符号化された命令を有し、前記命令は、1又は複数のプロセッサにより実行されると、前記プロセッサに、請求項1乃至17のうちの1又は複数項に記載の方法の少なくとも1つのステップを実行し、達成し又は制御し、請求項18に記載のビデオエンコーダをプログラミングし、制御し又は設定し、請求項19に記載のビデオデコーダをプログラミングし、制御し又は設定し、請求項20に記載のビデオ装置をプログラミングし、制御し又は設定し、請求項20に記載のビデオ装置をプログラミングし、制御し又は設定し、請求項20に記載のコンピュータをプログラミングし、制御し又は設定し、又は請求項21に記載のシステムをプログラミングし、制御し又は設定する、ようにさせる、コンピュータ可読媒体。しかしながら、このようなアプローチは、既存の展開されているセットトップボックス及びブルーレイプレイヤ基盤との互換性を提供しない。既存のH264デコーダは、基本ビューを復号化し表示できたとしても、従属右ビューを単に破棄し無視してしまう。その結果、既存のデコーダは、MVCを用いて符号化された3Dコンテンツを復号化し表示する能力を提供しない。したがって、MVCが3D互換性を保つと同時に、MVCはレガシー装置で3Dコンテンツを配信しない。後方互換性の欠如は、消費者3D立体ビデオの迅速な適用への更なる障壁である。本開示の第1の態様によると、マルチレイヤフレームに準拠したビデオ配信のための符号化方法が提供される。当該符号化方法は、a基本レイヤを通じて複数のデータカテゴリの画像又はビデオフレームを基本レイヤ処理するステップであって、i前記複数のデータカテゴリの画像又はビデオフレームの基本レイヤフレーム準拠表現を供給するステップ、を含むステップ、b1又は複数の拡張レイヤを通じて前記複数のデータカテゴリの画像又はビデオフレームを拡張レイヤ処理するステップであって、i前記複数のデータカテゴリの画像又はビデオフレームの拡張レイヤフレーム準拠表現を供給するステップ、ii少なくとも1つの拡張レイヤ参照ピクチャバッファを保持するステップ、iii前記基本レイヤ又は異なる拡張レイヤへの少なくとも1つの従属関係を参照処理するステップ、iv動き又は視差補償を実行するステップ、を含むステップ、を有し、前記1又は複数の拡張レイヤの各々は、前記複数のデータカテゴリの全てを処理する。本開示の第2の態様によると、マルチレイヤフレーム準拠ビデオ配信のための符号化方法が提供される。当該符号化方法は、a基本レイヤを通じて複数のデータカテゴリの画像又はビデオフレームを基本レイヤ処理するステップであって、i前記複数のデータカテゴリの画像又はビデオフレームの基本レイヤフレーム準拠表現を供給するステップ、を含むステップ、b1又は複数の拡張レイヤを通じて前記複数のデータカテゴリの画像又はビデオフレームを拡張レイヤ処理するステップであって、i前記複数のデータカテゴリのうちの1つの画像又はビデオフレームの拡張レイヤ表現を供給するステップ、ii各拡張レイヤに拡張レイヤ参照ピクチャバッファを保持するステップ、iii前記基本レイヤ又は異なる拡張レイヤへの少なくとも1つの従属関係を参照処理するステップ、iv動き又は視差補償を実行するステップ、を含むステップ、を有する。本開示の第3の態様によると、マルチレイヤフレーム準拠ビデオ配信のための復号化方法が提供される。当該復号化方法は、a基本レイヤを通じて複数の基本レイヤビットストリーム信号を基本レイヤ処理するステップであって、i少なくとも1つのフレーム準拠基本レイヤ復号化画像を供給するステップ、を含むステップ、b1又は複数の拡張レイヤを通じて前記複数の拡張ビットストリーム信号を拡張レイヤ処理するステップであって、i複数のデータカテゴリの少なくとも1つの拡張レイヤ復号化画像又はビデオフレームを供給するステップ、ii少なくとも1つの拡張レイヤ参照ピクチャバッファを保持するステップ、iii前記基本レイヤ又は異なる拡張レイヤへの少なくとも1つの従属関係を参照処理するステップ、iv視差補償を実行するステップ、を含むステップ、を有し、前記複数のデータカテゴリの全ては、同一の拡張レイヤで復号化され処理される。本開示の第4の態様によると、マルチレイヤフレーム準拠ビデオ配信のための復号化方法が提供される。当ギア復号化方法は、a基本レイヤを通じて基本レイヤを通じて複数の基本レイヤビットストリーム信号を基本レイヤ処理するステップであって、i少なくとも1つのフレーム準拠基本レイヤ復号化画像又はビデオフレームを供給するステップ、を含むステップ、b1又は複数の拡張レイヤを通じて複数のデータカテゴリの1又は複数の拡張レイヤを通じて前記複数の拡張ビットストリーム信号を拡張レイヤ処理するステップであって、前記複数のデータカテゴリの各々は、別個の拡張レイヤで別個に処理され、前記1又は複数の拡張レイヤの各々は、i前記複数のデータカテゴリのうちの1つの少なくとも1つの拡張レイヤ復号化画像又はビデオフレームを供給するステップ、ii少なくとも1つの拡張レイヤ参照ピクチャバッファを保持するステップ、iii前記基本レイヤ又は異なる拡張レイヤへの少なくとも1つの従属関係を参照処理するステップ、iv視差補償を実行するステップ、を含むステップ、を有し、前記複数のデータカテゴリの全ては、同一の拡張レイヤで復号化され処理される。既存のコーデックの後方互換性の欠如の観点から、セットトップボックス、ブルーレイプレイヤ及び高解像度TVセットのインストールされた基礎を活用することは、消費者3Dの展開を高速化し得る。大部分のディスプレイ製造者は、3D立体ディスプレイに対応した高解像度TVセットを提供している。これらのTVセットは、全ての主要なディスプレイ技術、LCD、プラズマ及びDLPのモデルを含む文献1。鍵は、VC1及びH264AVCのような既存の展開されているコーデックを利用しながら、両方のビューを含むが依然として単一フレームの範囲内に適合するコンテンツをディスプレイに供給することである。このようなアプローチは、所謂フレーム準拠アプローチであり、単一ピクチャ又はフレームの範囲内に適合するよう立体コンテンツをフォーマットする。フレーム準拠表現のサイズは、元のビューのフレームのサイズと同じである必要はない。H.264のMVCextensionと同様に、Dolbyの立体3D消費者配信システム特許文献1は、基本及び拡張レイヤを特徴とする。MVCのアプローチとは対照的に、消費者に、2つのビューのサブサンプリングされたバージョンを伝達することによりフレーム準拠基本レイヤ、及び基本レイヤと結合されると2つのビューのフル解像度の再構成をもたらす拡張レイヤを提供するために、ビューは2つのレイヤに多重化されても良い。後方互換性のある3Dビデオ配信システムは、既存の又はレガシー2Dビデオハードウェア及びシステムを通じて、3Dビデオを家庭又は他の場所へ配信できる。フレーム準拠3Dビデオシステムは、このような後方互換性のある配信アーキテクチャを提供する。その場合には、基本レイヤがフレーム準拠フォーマットに配置された左及び右目の低解像度バージョンを提供するレイヤアプローチを用いることができる。フレーム準拠フォーマットは、サイドバイサイド、上下、及び5点形/チェックボードインタリーブを含む。図1~6は、幾つかの指標となる例を示す。さらに、追加の前処理段階は、基本レイヤ復号化フレームを拡張レイヤの予測のための動き補償された参照として用いる前に、基本レイヤ復号化フレームが与えられる場合、拡張レイヤフレームを予測するために存在しても良い。図7、8は、それぞれ、特許文献1に開示されたシステムのエンコーダ及びデコーダを示す。MVCのような非フレーム準拠符号化構成でさえ、基本ビューから取られる参照を従属ビューの予測のための参照として用いる前に向上させるプリプロセッサ例えば、参照処理ユニットreferenceprocessingunit:RPU/予測器で拡張できる。このアーキテクチャは、特許文献1にも開示され、図9に示される。特許文献1のフレーム準拠技術は、フレーム準拠基本レイヤを保証する。プリプロセッサ/RPU要素の使用を通じ、これらの技術は、立体ビューのフル解像度再構成を実現する際のオーバヘッドを削減する。図10は、フル解像度再構成の処理を示す。拡張レイヤの利用可能性に基づき、最終的な再構成ビューを得るための幾つかの方法がある。幾つかの方法は、拡張レイヤの実際のピクセルデータの符号化を考慮できるか、符号化残差データ、若しくは概して基本レイヤからの差例えば、高周波数対低周波数のデータであって特定の形式で結合される場合に再構成された信号の高品質/解像度表現を可能にできるデータを考慮しても良い。任意の解像度をこれらの方法に用いることができる。例えば、これらの方法の幾つかは半分の解像度であり、幾つかはフル解像度又は低い、高い若しくはその間の解像度であっても良い。本開示の実施形態は、任意の解像度に向けることができる。それらは、基本レイヤフレーム準拠出力から補間され図10のVFC,BL1002、任意でV0,BL1004及び1006を生成するために後処理される。代替として、それらは、拡張レイヤの適正なサンプルと共に多重化でき、各ビューのより高い表現の再構成V0,FR,out1008及びV1,FR,out1008を生成する。両方の場合に結果として生じた再構成ビューは、同じ解像度を有しても良い。しかしながら、第2の場合には、全てのサンプルの情報を符号化するが、第1の場合には、再構成ビューの情報の半分は特許文献1に開示されたように知的アルゴリズムによる補間により得られる。図10から、基本及び拡張レイヤの復号化に続き、最終的なフル解像度の再構成ビューを引き出すために、追加の場合によってはメモリインテンシブ且つ帯域幅インテンシブな動作が用いられる。本開示は、フレーム準拠3Dビデオシステムがフル解像度の3D配信を達成することを可能にする技術を提供する。本開示は、幾つかの高次表現/解像度サンプルドメインで動き及びステレオ視差補償を実行することにより、拡張レイヤの内部予測精度を向上させる方法も提供する。このようなドメインは、フレーム準拠表現のサンプルよりも高い空間又は周波数解像度を有し得る。幾つかの実施形態では、これらのドメインは、フル解像度に等しい解像度、つまり各カテゴリのフレームがフィルタリング、サンプリング及びフレーム準拠表現に多重化される前の元の解像度を有しても良い。これらの構成により圧縮データを処理するための追加の方法は、特許文献2に見られる。明細書を通じて、用語データカテゴリ又はカテゴリは、データグループを表す。異なるデータカテゴリは、グループ間の関係を有しても有しなくても良い異なるデータグループを表し得る。3D又は立体画像若しくはビデオ配信に関連する本開示の実施形態では、用語データカテゴリ又はカテゴリは、3D画像又はビデオの単一ビューを表す。図11は、本開示の一実施形態によるマルチレイヤの解像度スケーラブル3D立体ビデオエンコーダを示し、拡張レイヤは、拡張解像度例えば半分の水平又は垂直解像度のそれぞれ1つ存在し特定の低下解像度で動き/視差補償を実行する2つの参照ピクチャバッファを保持する。図12は、本開示の実施形態による、図11に示したエンコーダに対応するデコーダを示す。本実施形態によると、所与の時刻で、複数のデータカテゴリに属するフレームを有するビデオシーケンスの圧縮のために、マルチレイヤコーデックが提供される。本開示の本実施形態によると、図11の基本レイヤ1102は、複数のデータカテゴリのフレーム準拠表現を提供する。フレーム準拠表現は、ここでは、異なるデータカテゴリをサンプリングし単一フレームに多重化することを表す。この単一フレームは、元のカテゴリを有するフレームのサイズと同じサイズを有しても良い。本開示の更なる実施形態によると、図11の基本レイヤ1102は、任意の利用可能な又はH264AVC、VP8及びVC1のような将来のビデオコーデックを用いて実施され符号化されても良い。続けて図11を参照し、データを基本レイヤエンコーダ1104に送る前に、データは、サンプラ1106によりサンプリングされ、マルチプレクサ1108で多重化される。更なる実施形態では、サンプリングはフィルタリングを有しても良い。さらに、フィルタリングは、異なるデータカテゴリの間で非対称であり得る。例えば、更に別の実施形態では、あるカテゴリは、半分より少ない情報例えば、周波数成分が保有されるように、フィルタリング及びサンプリングされても良い。また、別のカテゴリは、半分より多い情報が保有されるようにフィルタリング及びサンプリングされても良い。図1~6は、画像データの2つのカテゴリの指標となるサンプリング及び多重化構成を示す。図11に示した実施形態によると、追加拡張レイヤ1152が設けられる。他の実施形態によると、追加拡張レイヤの数は、フレームデータ及び基本レイヤ内で既にサンプリングされインタリーブされたデータのカテゴリの数に依存する。拡張レイヤでサンプリングされインタリーブされたデータは、既に基本レイヤ内にあるデータと結合されたとき、サンプリングされインタリーブされたデータが大部分のカテゴリのデータの効率的な表現及び再構成をもたらすように、選択される。図11に示した実施形態によると、2つのカテゴリのデータを含み、1つの拡張レイヤ1152は全ての元のデータを符号化するために用いられる。この実施形態によると、基本レイヤ1102は各カテゴリのサンプルの半分を伝達し、拡張レイヤ1152は各データカテゴリの他の失われる半分のサンプルを提供し得る。本開示の更なる実施形態によると、基本レイヤは、1つのカテゴリのサンプルの3分の1を圧縮し、残りの3分の2は拡張レイヤに格納される。反対も可能である。同様に、基本レイヤと同様に、拡張レイヤの各カテゴリのデータ成分は、他のデータカテゴリのデータ成分と同じでなくても良い。これは、異なる種類のフィルタリング又は異なる数及び構成のサンプル例えば、5点形と行ベースのサブサンプリングを用いることにより実現できる。本実施形態によると、サンプリング動作は、拡張レイヤ処理のためのサンプルを引き出し、サンプリング動作はこれらのサンプルのフィルタリングを含んでも良い。図11に示した実施形態によると、拡張レイヤ1152は、VC1及びH264AVCのような最新のビデオコーデックに見られるハイブリッドビデオ符号化モデルを採用する。入力データは、同じピクチャ又はフレーム内の近隣サンプルからイントラ予測を用いて又は同じレイヤに属し動き補償予測の参照として所謂参照ピクチャバッファ内にバッファリングされた過去に復号化したフレームからインター予測を用いて予測される。基本レイヤのような低優先度のレイヤから復号化した情報が拡張レイヤに利用可能な場合、インターレイヤ予測も可能である。このような情報へのアクセスを有する方法は、低優先度のレイヤから復号化されたピクチャを動き補償のための参照として考慮することによる。予測の後、予測残差1154は変換1156及び量子化1158が行われ、次に量子化係数がエントロピー符号化1160を用いて符号化される。図12に示したデコーダの拡張レイヤ1252は、この処理の逆である。過去に復号化されたピクチャ/フレームを有する単一の参照ピクチャバッファ1110を有する図11の基本レイヤ1102と異なり、拡張レイヤ1152は、各データカテゴリに1つある、複数の内部参照ピクチャバッファ1162を保持する。図11の実施形態では、これらのバッファに格納される参照ピクチャの生成は、デマルチプレクサ及びRPUプロセッサ1164の使用を通じて達成される。デマルチプレクサ及びRPUプロセッサ1164は、イントラ又はインター予測を通じて得られた予測残差及び予測フレームの和を処理する。図11のデマルチプレクサ1164は、各カテゴリのアップサンプリング及び失われるサンプルの補間も実行する。各参照ピクチャバッファ1162は、同じデータカテゴリに属するフレームのみを有する。バッファ1162は、拡張レイヤ1102に入力されるサンプルの解像度より高い解像度で、又は任意で拡張解像度で画像又はフレームを格納する。さらに、各参照ピクチャバッファにフレームを格納するために用いられる解像度は、互いに異なっても良い。あるバッファはある解像度でピクチャを格納し、一方で第2のピクチャバッファは別の解像度でピクチャを格納しても良い。視差補償つまり、動き補償又はイントラ予測1168を実行する前に、各参照ピクチャバッファ1162から選択された参照は、サンプラ1170でダウンサンプリングされ、マルチプレクサ1172で多重化され、単一の参照ピクチャを生成する。単一の参照ピクチャは、フレーム準拠構成でフォーマットすることができる。更なる実施形態によると、フレーム準拠フォーマットへのダウンサンプリング及び多重化動作は、2つの参照の最終的なフレーム準拠参照ピクチャへの線形又は非線形結合のようなより高機能な動作を含んでも良い。更に別の実施形態によると、内部バッファ内のフレームの解像度は、拡張解像度に一致しても良い。図11に示した実施形態によると、拡張レイヤ1152内のインター予測は、内部の複数の任意で、拡張解像度の参照ピクチャバッファから供給される参照ピクチャをサンプリング1170及び多重化1172した後に行われる。このように、インター予測は、フレーム準拠ドメインで行われるが、必ずしも基本レイヤと同じドメインではない。立体ビデオの更なる実施形態によると、基本レイヤフレーム準拠フォーマットは、左ビューからの偶数列及び右ビューからの奇数列を有しても良く、一方で、拡張レイヤにおいて、フレーム準拠フォーマットは、左ビューからの奇数列及び右ビューからの偶数列を有しても良い。同様の構成は、上下、サイドバイサイド等のような他のインタリーブ構成でも可能である。適正な構成の方法は、フレーム準拠基本レイヤピクチャ内で符号化されたサンプルと1又は複数の拡張レイヤ内で符号化されたサンプルとの結合が拡張解像度のデータカテゴリの再構成を生成するように、選択される。このような技術は、本開示の別の実施形態により、任意の数のレイヤ又はビューに拡張できる。さらに、インター予測処理は、符号化されデコーダに送信される各拡張レイヤの動きパラメータセットを推定することを含む。図11に示した実施形態によると、拡張レイヤの参照ピクチャバッファ1162は、ピクチャを有する。このピクチャは、拡張レイヤ1152の逆多重化されアップサンプリングされた1164符号化されたピクチャに限定されない。基本レイヤ-拡張レイヤ参照処理ユニットRPU/プリプロセッサモジュールBL-to-ELRPU1166は、入力として、基本レイヤ1102の参照ピクチャバッファ1110からのフレーム準拠復号化ピクチャを取り込み、次に、異なるデータカテゴリに属する高次表現任意で、拡張解像度のフレームを推定するために、フレームデータを逆多重化しアップサンプリングする。更なる実施形態によると、BL-to-ELRPU1166の処理は、フィルタリング、アップスケーリング、失われるサンプルの補間、周波数成分の回復又は推定を有しても良い。周波数成分の回復又は推定は、例えば基本レイヤが低周波数を符号化し拡張レイヤが高周波数を符号化するときに用いられる。これらのBL-to-ELRPU1166で処理された画像は、次に、拡張レイヤ1152の高次表現任意で、拡張解像度参照ピクチャバッファ1162内の追加動き補償された予測の参照として配置され用いられる。エンコーダにあるBL-to-ELRPUモジュール1166は、予測/アップサンプリング処理の情報を生成し、この情報RPUビットストリーム1174を、図12に示したデコーダに位置する図12の同一のBL-to-ELRPU1254へ伝達する。このように、エンコーダの予測動作は、デコーダにおいて繰り返されても良い。このRPUモジュールを用いた補間及び予測は、特許文献3に開示された技術を有しても良い。本開示の更なる実施形態によると、内部バッファは、拡張解像度でフレームを格納し、デコーダは、データカテゴリ毎に拡張解像度のフレームを内部で再構成し、参照ピクチャバッファに格納する。その結果、本実施形態は、拡張解像度のデータを表示する目的で図10の処理モジュールを用いない。代わりに、本実施形態によると、拡張解像度の再構成フレームは、拡張レイヤの参照ピクチャバッファから抽出され直接表示できる。本開示の別の実施形態によると、各カテゴリの拡張解像度は等しくない。本実施形態では、エンコーダ及びデコーダは、拡張レイヤのバッファ内のピクチャを特定の共通拡張解像度に再スケーリングする。更なる実施形態では、基本レイヤで符号化されたフレームは、各カテゴリに属するフレームと同じサイズを有しても良い。更なる実施形態では、拡張レイヤの参照ピクチャバッファは、元のフレームの解像度フル解像度でフレームを有する。本開示の一実施形態によると、動き補償が適用されるフレーム準拠ドメインは、基本レイヤのドメインと同一であって良い。更なる実施形態では、基本レイヤは、サイドバイサイドフォーマットでインタリーブされて良く、拡張レイヤも同じサイドバイサイドフォーマットでインタリーブされたフレームを符号化する。本開示の一実施形態によると、基本レイヤフレーム準拠フォーマットは、第1のビューからの偶数列及び第2のビューからの奇数列を有しても良く、一方で、拡張レイヤにおいて、フレーム準拠フォーマットは、第1のビューからの奇数列及び第2のビューからの偶数列を有しても良い。本開示の一実施形態によると、レイヤは、異なる空間解像度でフレームを符号化しても良い。この場合、空間スケーラビリティを備えたシステムを構築できる。更なる実施形態によると、コーデックシステムは、1280×720のサイドバイサイドのフレーム準拠基本レイヤ、及び1920×1080の両方のビューを再構成できる拡張レイヤを有する。本実施形態では、BL-to-ELRPUは、先ず、フレーム準拠データを別個のカテゴリに逆多重化し、次に、後続の動作のうちの1つを実行しても良い。あるスキームでは、BL-to-ELRPUは、先ず、そのカテゴリの失われるサンプルを補間し、次に、拡張レイヤの対応する参照ピクチャバッファに結果として生じたフレームを格納する前に、結果として生じたフレーム1280×720を所望の空間解像度1920×1080に再スケーリングする。第2のスキームでは、利用可能な逆多重化されたサンプルは、低解像度から高解像度へ、例えば640×720から960×1080へ再スケーリングされる。次に、追加補間動作は、失われる列を決定し、任意でフル解像度のフレームを引き出すために既存のサンプルをフィルタリングする。本開示の一実施形態によると、拡張レイヤ内の複数の参照ピクチャバッファは、非特許文献2に開示されたようなメモリ管理制御動作memorymanagementcontroloperation:MMCOを通じて制御されても良い。MMCO動作は、どのように参照ピクチャが追加されバッファから削除されるかを制御する。更なる実施形態によると、MMCO動作は、拡張レイヤに伝えられる。本実施形態では、各参照ピクチャバッファのMMCOセットは同じであるか、又は1つのMMCO動作セットがシグナリングされる。これは、両方の参照ピクチャバッファに適用される。結果として、ピクチャバッファの動作は同期したままである。更に別の実施形態は、非特許文献2に開示された方法を含むがこれに限定されない、参照ピクチャリストの変更/並べ替えのシグナリングのために同様のアプローチを用いても良い。シグナリング情報は、バッファ内の参照ピクチャのリストの生成を制御する。これらのリストは、次に動き補償された予測で用いられる。更なる実施形態によると、変更情報は、各データカテゴリの参照ピクチャリストについて同一である。更に別の実施形態では、単一の変更情報セットが送信され、拡張レイヤの全てのリストに適用される。本開示の更なる実施形態によると、同様のアプローチは、参照ピクチャバッファの内容を制御するシグナリング並びにその参照ピクチャリストの初期化及び変更を制御するシグナリングを用いるコーデックで用いられる。本開示の一実施形態によると、参照ピクチャバッファに格納される前に、拡張解像度で単一カテゴリのフレームを引き出すデマルチプレクサ及びアップサンプラRPUは、特許文献3に開示されたような参照処理ユニットとして実施されても良い。本開示の別の実施形態によると、基本レイヤは、第1の範囲の周波数成分を有する表現を符号化しても良く、一方で、追加拡張レイヤは、第2の範囲の周波数成分を提供しても良い。それらの出力は、デコーダで結合され、元のデータカテゴリのより良い表現を提供しても良い。図13は、本開示の一実施形態によるマルチレイヤ解像度スケーラブル3D立体ビデオエンコーダを示し、拡張レイヤは、拡張解像度にそれぞれ1つあり拡張解像度で動き/視差補償を実行する2つの参照ピクチャバッファを保持する。図14は、本開示の実施形態による、図13に示したエンコーダに対応するデコーダを示す。図13及び14に示した実施形態は、図11及び12に示した実施形態と同様である。しかし、図11及び12に示した実施形態との相違は、図13に示した実施形態によると、サンプラ1354及びマルチプレクサ1356が視差補償モジュール1358の後に置かれる点である。実際には、データカテゴリの存在だけ多くの視差補償モジュール1358が存在する。図13に示した実施形態によると、立体ビデオ配信のために、各ビューについて1つの、2つの視差補償モジュール1358がある。視差補償が各高次再構成の参照に実行された後、結果として生じたフレームは、サンプラ1354に渡される。サンプラ1354は、フィルタリングの後及び/又は前にダウンサンプリング処理を実行する。各データカテゴリからのダウンサンプリングされたデータは、次にマルチプレクサ1356へ供給される。マルチプレクサ1356は、フレーム準拠ピクチャ1360を生成する。このフレーム準拠ピクチャ1360は、次に、予測として用いられる。拡張レイヤのハイブリッドビデオ符号化ループ内で、この予測に予測残差1362が加算される。図13に示した実施形態によると、視差補償モジュール1358は、利用可能なより多くのサンプル高次表現ピクチャを有し、より良い予測を生成することができる。さらに、視差補償モジュールは、動き補償において、より多くの空間的に正確な区画を有しても良い。例えば、サイドバイサイドフォーマットが用いられるとき、フレーム準拠参照ピクチャ内の4x4の区画サイズは、フル解像度ピクチャの8x4の区画サイズと等価である。同様に、16×16の区画は、事実上、フル解像度ピクチャの32×16の区画である。この結果、本実施形態では、視差補償モジュール1358は、より大きく且つより正確な区画を有し得る。図13に示した実施形態によると、視差推定及び補償は、拡張レイヤで複数回例えば2回実行され得るので、システムの複雑性を増大してしまう。さらに、動き補償の空間的精度の増大により得られる利益は、高次表現の参照ピクチャが、図13のフレーム準拠予測ピクチャVFC,PRED1362に予測残差を加算することにより得られたフレーム準拠ピクチャからアップサンプリングされる方法次第である。また、本実施形態によると、拡張レイヤは、動きベクトル情報量を2回圧縮する。更なる実施形態によると、参照ピクチャバッファは、拡張解像度を採用し、各データカテゴリの最終的な再構成は、拡張レイヤの参照ピクチャバッファに格納される参照の生成の一部として実行される。したがって、本実施形態は、図10に示したデコーダと異なり、基本及び拡張レイヤの出力を更に処理しない。本開示の更なる実施形態によると、マルチレイヤコーデックは、第1の方法の追加の実施形態と同様に、空間的スケーラビリティを考慮しても良い。更に別の実施形態は、図11及び12に示した実施形態と同様に、参照ピクチャリストの変更及びデコーダにシグナリングされるMMCO動作を提供する。本開示の更なる実施形態によると、複数の視差/畚器推定及び補償モジュールで用いられる動きパラメータ間に十分な相関があるので、これらの動きパラメータは、あるモジュールのパラメータを他のモジュールのパラメータから効率的に予測できるよう選択される。更に別の実施形態では、動きパラメータは、各拡張レイヤについて同一になるよう選択され、1つのパラメータセットのみが送信される。別の実施形態では、各モジュールのパラメータセットはシグナリングされる。動きパラメータ予測は、近隣からの情報又は高優先度視差推定/補償モジュールからシグナリングされる結び付けられたパラメータも用いても良い。本開示の更なる実施形態では、基本レイヤで符号化されたフレームは、各カテゴリに属するフレームと同じサイズを有しても良い。別の実施形態では、拡張レイヤの参照ピクチャバッファは、元のフレームの解像度フル解像度でフレームを有する。更に別の実施形態によると、参照ピクチャバッファに格納される前に、拡張解像度で単一カテゴリのフレームを引き出すデマルチプレクサ及びアップサンプラは、特許文献3に開示されたような参照処理ユニットとして実施されても良い。更に別の実施形態では、基本レイヤは、第1の範囲の周波数成分を有する表現を符号化しても良く、一方で、追加拡張レイヤは、第2の範囲の周波数成分を提供しても良い。それらの出力は、デコーダで結合され、元のデータカテゴリのより良い表現を提供しても良い。図15は、本開示の一実施形態によるマルチレイヤの解像度スケーラブル3D立体ビデオエンコーダを示す。基本レイヤ1502はデータのフレーム準拠バージョンを符号化する。2つの複数の拡張レイヤ1532、1562は、2つの拡張解像度のそれぞれでデータカテゴリ3D立体ビデオ配信では各ビューを符号化する。図16は、本開示の実施形態による、対応するデコーダを示す。図15に示した実施形態によると、基本レイヤ1502のアーキテクチャは、図11~14に示した実施形態のアーキテクチャと同一である。図15に示した実施形態によると、基本レイヤ1502は、複数のデータカテゴリのフレーム準拠バージョンを符号化しても良い。本実施形態では、拡張レイヤ1532、1562は、データカテゴリ毎に設けられる。立体ビデオ配信の更なる実施形態によると、各拡張レイヤ1532、1562は、各データカテゴリの拡張解像度の再構成を提供する。本実施形態によると、各拡張レイヤ1532、1562は、単一の参照ピクチャバッファ1534、1564を有し、基本レイヤ1502と非常に似たアーキテクチャを用いる。本実施形態では、拡張レイヤ1532、1562は、各カテゴリの拡張例えばフル解像度のフレームを直接受信する。これに対し、図11~14に示した実施形態によると、拡張レイヤへの入力は、全てのデータカテゴリのフレーム準拠表現を有する。図15に示した実施形態によると、各レイヤ1532、1562の参照ピクチャバッファ1534、1564は、動き補償された予測1536、1566のために用いられる参照を格納する。これらの参照は、過去に復号化された同一レイヤのフレームを含む。更なる実施形態によると、拡張レイヤ1532、1562の追加の参照は、H264のMVCextensionで行われるように、基本レイヤ1502から挿入されても良い。本実施形態では、挿入される前に、これらの参照は、対象参照ピクチャバッファに格納されたフレームに対応する処理済みの参照を引き出すために、RPU/プリプロセッサ1538、1568で処理される。立体ビデオ配信のための更なる実施形態によると、基本レイヤのフレーム準拠ピクチャは、異なるカテゴリに属するサンプルに逆多重化される。次に、サンプルは、各拡張レイヤ1532、1562の参照ピクチャバッファ1534、1564に格納される前に、RPU/プリプロセッサ1538、1568内で拡張例えばフル解像度にアップサンプリングされる。本実施形態によると、RPU/プリプロセッサ1538、1568内の予測、補間及びアップサンプリング処理は、特許文献3に開示された技術を採用しても良い。図15に示した実施形態によると、別個のRPU1538、1568が実装され、拡張レイヤの各参照ピクチャバッファ1534、1564に格納される各参照を生成しても良い。別の実施形態によると、単一モジュールが設けられ、最適化、逆多重化、及び基本レイヤの符号化されたフレームに準拠するピクチャの各拡張レイヤに1つある複数のフル参照ピクチャへのアップサンプリングを一緒に行っても良い。本開示の別の実施形態によると、基本レイヤの従属関係とは別に拡張レイヤの追加依存関係が提供される。本実施形態では、拡張レイヤは、別の拡張レイヤのパーシング及び復号化に依存し得る。続けて図15を参照すると、拡張レイヤ11562の復号化処理は、基本レイヤ1502とは別に、拡張レイヤ01532にも依存しても良い。拡張レイヤ01532の参照ピクチャバッファ1534に格納されたピクチャ1572は、表示するために、追加RPU/プリプロセッサモジュール1570に供給される。追加RPU/プリプロセッサ1570は、供給された参照入力1572を処理して、拡張レイヤ11562のフォーマットと同様になるようにする。処理結果1574は、次に、拡張レイヤ11562の参照ピクチャバッファ1564に格納され、動き補償された予測1566に利用可能である。立体ビデオ配信の更なる実施形態によると、各拡張レイヤは1つのビューを符号化し、RPUは、別のビューに近い参照ピクチャを生成するために、動き及び空間処理を用いて1つのビューを処理する。更に別の実施形態によると、動き処理は、アフィン及び透視動きモデルのような高次動きモデルを含み得る。更なる実施形態によると、マルチレイヤコーデックは、図11~14に示した実施形態と同様に、空間的スケーラビリティを考慮しても良い。本実施形態では、基本レイヤから拡張レイヤの予測を実行するプリプロセッサモジュール例えば、図15の1538及び1568は、目標レイヤ解像度への再スケーリングも含む。1つの拡張レイヤを第2の拡張レイヤ例えば、図15の1570から予測するプリプロセッサモジュールは、拡張レイヤが同一の空間解像度を有しない場合には、再スケーリングを有しても良い。図17は、本開示の一実施形態によるマルチレイヤの解像度スケーラブル3D立体ビデオエンコーダを示し、拡張レイヤは残差を符号化し、拡張解像度にそれぞれ1つあるフレーム準拠特定の低下解像度で動き/視差補償を実行する2つの参照ピクチャバッファを保持する。図18は、本開示の実施形態による、対応するデコーダを示す。図17に示した実施形態によると、基本レイヤ1702は、フレーム準拠信号を符号化する。これは、1又は複数の拡張レイヤ1752を復号化して、それらを基本レイヤ1702の出力と結合するときに、特に、解像度又は空間周波数成分の点で更に向上できる。本実施形態によると、拡張レイヤ1752は、フィルタリングされサンプリングされ多重化された残差を符号化する1574文献7。この残差は、元のフル解像度のデータカテゴリのフレームの予測1756を減算した結果である。この予測1756は、RPUプロセッサ1758を用いた結果である。RPUプロセッサ1758は、入力としてフレーム準拠基本レイヤ1702からの復号化ピクチャ1760を有し、元のフル解像度で元のフレームカテゴリの予測1756を出力する。更なる実施形態によると、RPU1758は、フィルタリング、補間、再スケーリング等を含む特許文献3に開示されたような技術を用いても良い。図17に示した実施形態によると、拡張レイヤ1752の内部ピクチャバッファ1762は、RPUを介して基本レイヤバッファ1704から処理された参照を受信しない。図18に示したデコーダで、同様のRPU1854は、入力として復号化された基本レイヤのピクチャを基本レイヤ1802のピクチャバッファ1804から取り込み、それを処理して元のフル解像度にし、各カテゴリのフル解像度フレーム1856を引き出し、次に、これらのフレーム1856を拡張レイヤ参照ピクチャバッファ1860内の既に復号化されたフレーム1858に加算して、各データカテゴリの最終的な再構成フレーム1862を生成する。図11及び12に示した実施形態と図17及び18に示した実施形態との間の差と矛盾しない図11及び12に示した実施形態に従う全ての更なる実施形態は、図17及び18に示した実施形態に従う更なる実施形態にも適用される。更なる実施形態によると、基本レイヤの解像度及び拡張レイヤの解像度、並びに拡張レイヤの内部参照ピクチャバッファは、異なっても良い。図17及び18に示した実施形態に従う更なる実施形態では、図13及び14に示した実施形態と同様に、拡張レイヤは、各データカテゴリの参照ピクチャバッファ毎に1つの、複数の視差補償モジュールを設ける。図13及び14に示した実施形態に従う全ての適用可能な更なる実施形態は、同様に適用される。図19は、本開示の一実施形態によるマルチレイヤの解像度スケーラブル3D立体ビデオエンコーダを示し、基本レイヤはデータのフレーム準拠バージョンを符号化し、2つの拡張レイヤはそれぞれ1つの拡張解像度でデータカテゴリ3D立体ビデオ配信のための各ビューの残差を符号化する。図20は、本開示の実施形態による、対応するデコーダを示す。図19に示した実施形態によると、拡張レイヤ1932、1962は、図17及び18に示した実施形態と同様に、残差の符号化を採用する。本実施形態によると、各拡張レイヤ1932、1962は、各データカテゴリに対応し、残差1934、1964文献7を符号化する。この残差は、元のフル解像度のデータカテゴリのフレームの予測1936、1966を減算した結果である。この予測1938は、RPUプロセッサ1938、1968を用いた結果である。RPUプロセッサ1938、1968は、入力としてフレーム準拠基本レイヤ1902からの復号化ピクチャを有し、所与のレイヤの元のフル解像度で元のフレームカテゴリの予測1936、1966を出力する。更なる実施形態によると、RPU1938、1968は、フィルタリング、補間、再スケーリング等を含む特許文献3に開示されたような技術を用いても良い。図19に示した実施形態によると、拡張レイヤ1932、1962の内部ピクチャバッファ1940、1970は、RPUを介して基本レイヤバッファ1904から処理された参照を受信しない。図20に示したデコーダで、拡張レイヤ2032、2062毎に、同様のRPU2034、2064は、入力として復号化された基本レイヤのピクチャを基本レイヤ2002のピクチャバッファ2004から取り込み、それを処理して元のフル解像度にし、所与のカテゴリのフル解像度フレーム2036、2066を引き出し、次に、このフレーム2036、2066を拡張レイヤ参照ピクチャバッファ2040、2070内の既に復号化されたフレーム2038、2068に加算して、所与のデータカテゴリの最終的な再構成フレーム2042、2072を生成する。図15及び16に示した実施形態と図19及び20に示した実施形態との間の差と矛盾しない図15及び16に示した実施形態に従う全ての更なる実施形態は、図19及び20に示した実施形態に従う更なる実施形態にも適用される。更なる実施形態によると、基本レイヤの解像度及び拡張レイヤの解像度、並びに拡張レイヤの内部参照ピクチャバッファは、異なっても良い。また、各拡張レイヤの解像度は異なっても良い。本開示で記載された方法及びシステムは、ハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせで実施されても良い。ブロック、モジュール又はコンポーネントとして記載された特徴は、一緒に例えば集積論理素子のような論理素子に又は別個に例えば別個に接続された論理素子として実施されても良い。本開示の方法のソフトウェア部分は、実行されると、少なくとも部分的に記載された方法を実行する命令を有するコンピュータ可読媒体を有しても良い。コンピュータ可読媒体は、例えば、ランダムアクセスメモリRAM及び/又は読み出し専用メモリROMを有しても良い。命令は、プロセッサ例えば、デジタル信号プロセッサDSP、特定用途向け集積回路ASIC又はフィールドプログラマブル論理アレイFPGAにより実行されても良い。以上に、本発明の実施形態が記載された。これらは、項として以下に列挙する1又は複数の例示的な実施形態に関連する。したがって、本発明は、本発明の幾つかの部分の構造、特徴及び機能を記載した以下に列挙する例示的実施形態EnumeratedExampleEmbodiments:EEEを含むがこれらに限定されない、本願明細書に記載された如何なる形式で実現されても良い。EEE1マルチレイヤフレーム準拠ビデオ配信のための符号化方法であって、a基本レイヤを通じて複数のデータカテゴリの画像又はビデオフレームを基本レイヤ処理するステップであって、i前記複数のデータカテゴリの画像又はビデオフレームの基本レイヤフレーム準拠表現を供給するステップ、を含むステップ、b1又は複数の拡張レイヤを通じて前記複数のデータカテゴリの画像又はビデオフレームを拡張レイヤ処理するステップであって、i前記複数のデータカテゴリの画像又はビデオフレームの拡張レイヤフレーム準拠表現を供給するステップ、ii少なくとも1つの拡張レイヤ参照ピクチャバッファを保持するステップ、iii前記基本レイヤ又は異なる拡張レイヤへの少なくとも1つの従属関係を参照処理するステップ、iv動き又は視差補償を実行するステップ、を含むステップ、を有し、前記1又は複数の拡張レイヤの各々は、前記複数のデータカテゴリの全てを処理する、符号化方法。EEE2前記複数のデータカテゴリは、立体画像又はビデオの複数のビューを有する、EEE1に記載の符号化方法。EEE3前記複数のデータカテゴリの画像又はビデオフレームの基本レイヤフレーム準拠表現を供給するステップは、前記複数のデータカテゴリの画像又はビデオフレームを基本レイヤサンプリングし単一フレームに基本レイヤ多重化するステップ、を有する、EEE1又は2に記載の符号化方法。EEE4前記基本レイヤ処理するステップは、複数の既存のビデオコーデックのうちの1つに従う、EEE1~3のいずれか一項に記載の符号化方法。EEE5前記複数の既存のビデオコーデックは、H264AVC、VP8及びVC1を有する、EEE4に記載の符号化方法。EEE6前記基本レイヤ処理のサンプリングは、前記複数のデータカテゴリの画像又はビデオフレームの対称又は非対称フィルタリングを含む、EEE3~5のいずれか一項に記載の符号化方法。EEE7前記基本レイヤサンプリングするステップは、水平サンプリング、垂直サンプリング又は5点形サンプリングを有する、EEE3~6のいずれか一項に記載の符号化方法。EEE8前記基本レイヤ多重化するステップは、チェックボードインタリーブ配置、列インタリーブ配置、行インタリーブ配置、サイドバイサイドインタリーブ配置、及び上下インタリーブ配置のうちのいずれか1つのフレーム準拠パッキング配置を用いる、EEE3~7のいずれか一項に記載の符号化方法。EEE9前記基本レイヤ処理は、前記複数のビューの画像又はビデオフレームの等しい又は等しくない量のサンプルを処理するステップを更に含む、EEE2~8のいずれか一項に記載の符号化方法。EEE10前記拡張レイヤ処理するステップは、ハイブリッドビデオ符号化モデルを採用し、前記ハイブリッドビデオ符号化モデルは、複数の既存のコーデックのうちのいずれか1つに従う、EEE2~9のいずれか一項に記載の符号化方法。EEE11前記複数の既存のコーデックは、VC1及びH264AVCを有する、EEE10に記載の符号化方法。EEE12前記拡張レイヤ処理するステップは、同一の画像若しくはフレーム内のサンプルから、又は同一の拡張レイヤの過去の復号化フレームからのサンプルから、少なくとも1つの予測画像を予測することにより、少なくとも1つの参照画像又はビデオフレームを生成するステップ、前記少なくとも1つの予測画像又はビデオフレームを前記少なくとも1つの拡張レイヤ参照ピクチャバッファに格納するステップ、を含む、EEE2~11のいずれか一項に記載の符号化方法。EEE13前記少なくとも1つの参照画像又はビデオフレームの生成は、少なくとも1つの予測残差画像と前記少なくとも1つの予測画像との和を逆多重化し参照処理するステップを更に含む、EEE12に記載の符号化方法。EEE14前記逆多重化は、少なくとも1つの予測残差画像と前記少なくとも1つの予測画像との和をアップサンプリングし補間するステップを更に含む、EEE13に記載の符号化方法。EEE15前記少なくとも1つの拡張レイヤ参照ピクチャバッファのうちの1つは、他の前記少なくとも1つの拡張レイヤ参照ピクチャバッファと異なる解像度で画像又はビデオフレームを格納する、EEE2~14のいずれか一項に記載の符号化方法。EEE16前記拡張レイヤ処理するステップは、前記複数のデータカテゴリの各々に対し、前記少なくとも1つの拡張レイヤ参照ピクチャバッファから少なくとも1つの参照画像を選択するステップ、前記の選択された少なくとも1つの参照画像を拡張レイヤサンプリングし、少なくとも1つのフレーム準拠画像に拡張レイヤ多重化するステップ、前記少なくとも1つのフレーム準拠画像に基づき、視差補償又はインター予測を実行するステップ、を更に含む、EEE1~15のいずれか一項に記載の符号化方法。EEE17前記選択された少なくとも1つの参照画像の拡張レイヤサンプリングは、水平サンプリング、垂直サンプリング又は5点形サンプリングのうちのいずれか1つを有し、前記選択された少なくとも1つの参照画像の拡張レイヤ多重化は、チェックボードインタリーブ配置、列インタリーブ配置、行インタリーブ配置、サイドバイサイドインタリーブ配置、及び上下インタリーブ配置のうちのいずれか1つのフレーム準拠パッキング配置を用いる、EEE16に記載の符号化方法。EEE18前記拡張レイヤ処理は、前記基本レイヤの参照バッファからの少なくとも1つの基本レイヤ復号化されたフレーム準拠画像を基本レイヤ-拡張レイヤBL-to-EL処理するステップ、前記のBL-to-EL処理された少なくとも1つの基本レイヤ復号化されたフレーム準拠画像を、前記少なくとも1つの拡張レイヤ参照ピクチャバッファに格納するステップ、を更に含む、EEE16又は17に記載の符号化方法。EEE19前記BL-to-EL処理は、前記少なくとも1つの基本レイヤ復号化されたフレーム準拠画像を参照処理し、逆多重化し、アップサンプリングするステップを含む、EEE18に記載の符号化方法。EEE20前記BL-to-EL処理は、前記少なくとも1つの基本レイヤ復号化されたフレーム準拠画像をフィルタリングし、アップスケーリングし、補間するステップを更に含む、EEE19に記載の符号化方法。EEE21前記拡張レイヤ処理するステップは、前記BL-to-EL処理に関する情報を対応するデコーダに供給するステップを更に含む、EEE18~20のいずれか一項に記載の符号化方法。EEE22前記少なくとも1つの拡張レイヤ参照ピクチャバッファは、前記複数のデータカテゴリのうちの各々1つに対して、同一の又は異なる拡張解像度で、画像を格納する、EEE1~21のいずれか一項に記載の符号化方法。EEE23前記少なくとも1つの拡張レイヤ参照ピクチャバッファは、元の入力画像と同じ解像度で、画像を格納する、EEE1~22のいずれか一項に記載の符号化方法。EEE24前記基本レイヤ多重化するステップ及び前記拡張レイヤ多重化するステップは、同一のフレーム準拠パッキング配置を用いる、EEE1~23のいずれか一項に記載の符号化方法。EEE25前記基本レイヤ処理するステップ及び前記拡張レイヤ処理するステップは、異なる空間解像度で画像を処理する、EEE18~24のいずれか一項に記載の符号化方法。EEE26前記BL-to-EL処理するステップは、前記少なくとも1つの基本レイヤ復号化されたフレーム準拠画像を逆多重化するステップ、前記の逆多重化された少なくとも1つの基本レイヤ復号化されたフレーム準拠画像を補間するステップ、前記補完された逆多重化された少なくとも1つの基本レイヤ復号化されたフレーム準拠画像を目標空間解像度に再スケーリングするステップ、を有する、EEE25に記載の符号化方法。EEE27前記BL-to-EL処理するステップは、前記少なくとも1つの基本レイヤ復号化されたフレーム準拠画像を逆多重化するステップ、前記の逆多重化された少なくとも1つの基本レイヤ復号化されたフレーム準拠画像を異なる空間解像度に再スケーリングするステップ、前記の逆多重化された再スケーリングされた少なくとも1つの基本レイヤ復号化されたフレーム準拠画像を目標空間解像度に補間するステップ、を有する、EEE25に記載の符号化方法。EEE28逆多重化された再スケーリングされた少なくとも1つの基本レイヤ復号化されたフレーム準拠画像を目標空間解像度にフィルタリングするステップを更に含む、EEE27に記載の符号化方法。EEE29前記拡張レイヤ処理するステップは、メモリ管理制御動作memorymanagementcontroloperation:MMCOを通じて前記少なくとも1つの拡張レイヤ参照ピクチャバッファを制御するステップを更に含む、EEE1~28のいずれか一項に記載の符号化方法。EEE30前記少なくとも1つの拡張レイヤ参照ピクチャバッファは、1又は複数のMMCOセットに従い同期化される、EEE1~29のいずれか一項に記載の符号化方法。EEE31前記拡張レイヤ処理するステップは、前記MMCOに関する情報を対応するデコーダに供給するステップを更に含む、EEE29又は30に記載の符号化方法。EEE32前記基本レイヤ処理するステップは、第1の周波数範囲の画像成分を符号化し、前記拡張レイヤ処理するステップは、第2の周波数範囲の画像成分を符号化する、EEE1~31のいずれか一項に記載の符号化方法。EEE33前記拡張レイヤ処理するステップは、前記複数のデータカテゴリの各々に対し、前記少なくとも1つの拡張レイヤ参照ピクチャバッファから少なくとも1つの参照画像を選択するステップ、前記少なくとも1つの参照画像に基づき視差補償又はインター予測を実行することにより、前記複数のデータカテゴリの各々に対し、少なくとも1つの補償画像を得るステップ、前記少なくとも1つの補償画像を拡張レイヤサンプリングし、少なくとも1つのフレーム準拠画像に拡張レイヤ多重化するステップ、を更に含む、EEE1~15のいずれか一項に記載の符号化方法。EEE34前記拡張レイヤ処理するステップは、メモリ管理制御動作memorymanagementcontroloperation:MMCOを通じて前記少なくとも1つの拡張レイヤ参照ピクチャバッファを制御するステップを更に含む、EEE33に記載の符号化方法。EEE35前記拡張レイヤ処理するステップは、前記MMCOに関する情報を対応するデコーダに供給するステップを更に含む、EEE34に記載の符号化方法。EEE36前記少なくとも1つの拡張レイヤ参照ピクチャバッファは、前記複数のデータカテゴリの各々に対して、同一の又は異なる拡張解像度で、画像を格納する、EEE33~35のいずれか一項に記載の符号化方法。EEE37前記少なくとも1つの拡張レイヤ参照ピクチャバッファは、元の入力画像と同じ解像度で、画像を格納する、EEE33~36のいずれか一項に記載の符号化方法。EEE38前記基本レイヤ処理するステップは、第1の周波数範囲の画像成分を符号化し、前記拡張レイヤ処理するステップは、第2の周波数範囲の画像成分を符号化する、EEE33~37のいずれか一項に記載の符号化方法。EEE39マルチレイヤフレーム準拠ビデオ配信のための符号化方法であって、a基本レイヤを通じて複数のデータカテゴリの画像又はビデオフレームを基本レイヤ処理するステップであって、i前記複数のデータカテゴリの画像又はビデオフレームの基本レイヤフレーム準拠表現を供給するステップ、を含むステップ、b1又は複数の拡張レイヤを通じて前記複数のデータカテゴリの画像又はビデオフレームを拡張レイヤ処理するステップであって、i前記複数のデータカテゴリのうちの1つの画像又はビデオフレームの拡張レイヤ表現を供給するステップ、ii各拡張レイヤに拡張レイヤ参照ピクチャバッファを保持するステップ、iii前記基本レイヤ又は異なる拡張レイヤへの少なくとも1つの従属関係を参照処理するステップ、iv動き又は視差補償を実行するステップ、を含むステップ、を有する、符号化方法。EEE40前記複数のデータカテゴリは、立体画像又はビデオの複数のビューを有する、EEE39に記載の符号化方法。EEE41前記複数のデータカテゴリの画像又はビデオフレームの基本レイヤフレーム準拠表現を供給するステップは、前記複数のデータカテゴリの画像又はビデオフレームを基本レイヤサンプリングし単一フレームに基本レイヤ多重化するステップ、を有する、EEE39又は40に記載の符号化方法。EEE42前記基本レイヤ処理するステップは、複数の既存のビデオコーデックのうちの1つに従う、EEE39~41のいずれか一項に記載の符号化方法。EEE43前記複数の既存のビデオコーデックは、H264AVC、VP8及びVC1を有する、EEE42に記載の符号化方法。EEE44前記基本レイヤ処理のサンプリングは、前記複数のデータカテゴリの画像又はビデオフレームの対称又は非対称フィルタリングを含む、EEE41~43のいずれか一項に記載の符号化方法。EEE45前記基本レイヤサンプリングするステップは、水平サンプリング、垂直サンプリング又は5点形サンプリングを有する、EEE41~44のいずれか一項に記載の符号化方法。EEE46前記基本レイヤ多重化するステップは、チェックボードインタリーブ配置、列インタリーブ配置、行インタリーブ配置、サイドバイサイドインタリーブ配置、及び上下インタリーブ配置のうちのいずれか1つのフレームに準拠したパッキング配置を用いる、EEE41~45のいずれか一項に記載の符号化方法。EEE47前記基本レイヤ処理は、前記複数のビューの画像又はビデオフレームの等しい又は等しくない量のサンプルを処理するステップを更に含む、EEE40~46のいずれか一項に記載の符号化方法。EEE48前記符号化レイヤ処理するステップは、ハイブリッドビデオ符号化モデルを採用し、前記ハイブリッドビデオ符号化モデルは、複数の既存のコーデックのうちのいずれか1つに従う、EEE40~47のいずれか一項に記載の符号化方法。EEE49前記複数の既存のコーデックは、VC1及びH264AVCを有する、EEE48に記載の符号化方法。EEE50前記動き又は視差補償を実行するステップは、前記拡張レイヤ参照ピクチャバッファに格納された少なくとも1つの画像に基づく、EEE39~49のいずれか一項に記載の符号化方法。EEE51前記拡張レイヤ処理するステップは、前記基本レイヤの参照バッファからの少なくとも1つの基本レイヤ復号化されたフレーム準拠画像を基本レイヤ-拡張レイヤBL-to-EL処理するステップ、前記のBL-to-EL処理された少なくとも1つの基本レイヤ復号化されたフレーム準拠画像を、前記少なくとも1つの拡張レイヤ参照ピクチャバッファに格納するステップ、を更に含む、EEE39~49のいずれか一項に記載の符号化方法。EEE52前記BL-to-EL処理は、前記少なくとも1つの基本レイヤ復号化されたフレーム準拠画像を参照処理し、逆多重化しアップサンプリングするステップを含む、EEE51に記載の符号化方法。EEE53前記1又は複数の拡張レイヤの各々の前記BL-to-EL処理は、前記少なくとも1つの基本レイヤ復号化されたフレーム準拠画像の参照処理、逆多重化、アップサンプリングを一緒に実行し最適化する単一の処理ユニットにより処理される、EEE52に記載の符号化方法。EEE54前記拡張レイヤ処理するステップは、異なる拡張レイヤの拡張レイヤ参照ピクチャバッファに格納された少なくとも1つの参照画像を拡張レイヤ-拡張レイヤEL-to-EL処理するステップ、前記のEL-to-EL処理された少なくとも1つの拡張レイヤの参照画像を該拡張レイヤの前記少なくとも1つの拡張レイヤ参照ピクチャバッファに格納するステップ、を更に含む、EEE39~53に記載の符号化方法。EEE55前記BL-to-EL処理するステップは、前記のBL-to-EL処理された少なくとも1つの基本レイヤ復号化されたフレーム準拠画像を目標空間解像度に再スケーリングするステップを更に含む、EEE51~54に記載の符号化方法。EEE56前記EL-to-EL処理するステップは、前記のEL-to-EL処理された少なくとも1つの拡張レイヤ参照画像を目標空間解像度に再スケーリングするステップを更に含む、EEE54又は55に記載の符号化方法。EEE57前記複数のデータカテゴリの画像又はビデオフレームの拡張レイヤフレーム準拠表現を供給するステップは、前記複数のデータカテゴリの元のフル解像度画像と少なくとも1つの基本レイヤ-拡張レイヤBL-to-EL予測との差分画像をフィルタリングし、サンプリングし、多重化するステップ、を有する、EEE1に記載の符号化方法。EEE58前記少なくとも1つのBL-to-EL予測は、前記基本レイヤからの少なくとも1つのフレーム準拠復号化ピクチャを逆多重化し参照処理することにより得られる、EEE57に記載の符号化方法。EEE59前記逆多重化及び参照処理は、フィルタリング、補間又は再スケーリングを更に有する、EEE58に記載の符号化方法。EEE60前記動き又は視差補償は、前記複数のデータカテゴリの各々に対して実行される、EEE57に記載の符号化方法。EEE61前記複数のデータカテゴリのうちの1つの画像又はビデオの拡張レイヤ表現を供給するステップは、前記複数のデータカテゴリのうちの1つの少なくとも1つの元のフル解像度画像と少なくとも1つの基本レイヤ-拡張レイヤBL-to-EL予測との少なくとも1つの差分画像を得るステップ、を有する、EEE39に記載の符号化方法。EEE62前記少なくとも1つのBL-to-EL予測は、前記基本レイヤからの少なくとも1つのフレーム準拠復号化ピクチャを逆多重化し参照処理することにより得られる、EEE61に記載の符号化方法。EEE63前記逆多重化及び参照処理は、フィルタリング、補間又は再スケーリングを更に有する、EEE62に記載の符号化方法。EEE64マルチレイヤフレーム準拠ビデオ配信のための復号化方法であって、a基本レイヤを通じて複数の基本レイヤビットストリーム信号を基本レイヤ処理するステップであって、i少なくとも1つのフレーム準拠基本レイヤ復号化画像又はビデオフレームを供給するステップ、を含むステップ、b1又は複数の拡張レイヤを通じて前記複数の拡張ビットストリーム信号を拡張レイヤ処理するステップであって、i複数のデータカテゴリの少なくとも1つの拡張レイヤ復号化画像又はビデオフレームを供給するステップ、ii少なくとも1つの拡張レイヤ参照ピクチャバッファを保持するステップ、iii前記基本レイヤ又は異なる拡張レイヤへの少なくとも1つの従属関係を参照処理するステップ、iv視差補償を実行するステップ、を含むステップ、を有し、前記複数のデータカテゴリの全ては、同一の拡張レイヤで復号化され処理される、復号化方法。EEE65前記複数のデータカテゴリは、立体画像又はビデオの複数のビューを有する、EEE64に記載の復号化方法。EEE66前記基本レイヤ処理するステップは、複数の既存のビデオコーデックのうちの1つに従う、EEE64又は65に記載の符号化方法。EEE67前記複数の既存のビデオコーデックは、H264AVC、VP8及びVC1を有する、EEE66に記載の符号化方法。EEE68前記拡張レイヤ処理するステップは、ハイブリッドビデオ符号化モデルを採用し、前記ハイブリッドビデオ符号化モデルは、複数の既存のコーデックのうちのいずれか1つに従う、EEE64~67のいずれか一項に記載の復号化方法。EEE69前記複数の既存のコーデックは、VC1及びH264AVCを有する、EEE68に記載の復号化方法。EEE70前記拡張レイヤ処理するステップは、同一の画像若しくはフレーム内のサンプルから、又は同一の拡張レイヤの過去の復号化フレームからのサンプルから、少なくとも1つの予測画像を予測することにより、少なくとも1つの参照画像又はビデオフレームを生成するステップ、前記少なくとも1つの予測画像又はビデオフレームを前記少なくとも1つの拡張レイヤ参照ピクチャバッファに格納するステップ、を含む、EEE64~69のいずれか一項に記載の復号化方法。EEE71前記少なくとも1つの参照画像又はビデオフレームの生成は、前記複数の拡張レイヤビットストリーム信号から復号化された少なくとも1つの画像と前記少なくとも1つの予測残差画像との和を逆多重化し参照処理するステップを更に含む、EEE70に記載の復号化方法。EEE72前記逆多重化は、少なくとも1つの予測残差画像と前記少なくとも1つの予測画像との和をアップサンプリングし補間するステップを更に含む、EEE71に記載の復号化方法。EEE73前記少なくとも1つの拡張レイヤ参照ピクチャバッファのうちの1つは、他の前記少なくとも1つの拡張レイヤ参照ピクチャバッファと異なる解像度で画像又はビデオフレームを格納する、EEE65~72のいずれか一項に記載の復号化方法。EEE74前記拡張レイヤ処理するステップは、前記複数のデータカテゴリの各々に対し、前記少なくとも1つの拡張レイヤ参照ピクチャバッファから少なくとも1つの参照画像を選択するステップ、前記の選択された少なくとも1つの参照画像を拡張レイヤサンプリングし、少なくとも1つのフレーム準拠画像に拡張レイヤ多重化するステップ、前記少なくとも1つのフレーム準拠画像に基づき、視差補償又はインター予測を実行するステップ、を更に含む、EEE64~73のいずれか一項に記載の復号化方法。EEE75前記拡張レイヤ処理は、前記基本レイヤの参照バッファからの少なくとも1つの基本レイヤ復号化されたフレーム準拠画像を基本レイヤ-拡張レイヤBL-to-EL処理するステップ、前記のBL-to-EL処理された少なくとも1つの基本レイヤ復号化されたフレーム準拠画像を、前記少なくとも1つの拡張レイヤ参照ピクチャバッファに格納するステップ、を更に含む、EEE73又は74に記載の復号化方法。EEE76前記BL-to-EL処理は、前記少なくとも1つの基本レイヤ復号化されたフレーム準拠画像を参照処理し、逆多重化し、アップサンプリングするステップを含む、EEE75に記載の復号化方法。EEE77前記BL-to-EL処理は、前記少なくとも1つの基本レイヤ復号化されたフレーム準拠画像をフィルタリングし、アップスケーリングし、補間するステップを更に含む、EEE76に記載の復号化方法。EEE78前記拡張レイヤ処理するステップは、前記BL-to-EL処理に関する情報を対応するエンコーダから受信するステップを更に含む、EEE75~77のいずれか一項に記載の復号化方法。EEE79前記基本レイヤ処理するステップ及び前記拡張レイヤ処理するステップは、異なる空間解像度で画像を処理する、EEE75~78のいずれか一項に記載の復号化方法。EEE80前記BL-to-EL処理するステップは、前記少なくとも1つの基本レイヤ復号化されたフレーム準拠画像を逆多重化するステップ、前記の逆多重化された少なくとも1つの基本レイヤ復号化されたフレーム準拠画像を補間するステップ、前記補完された逆多重化された少なくとも1つの基本レイヤ復号化されたフレーム準拠画像を目標空間解像度に再スケーリングするステップ、を有する、EEE79に記載の復号化方法。EEE81前記BL-to-EL処理するステップは、前記少なくとも1つの基本レイヤ復号化されたフレーム準拠画像を逆多重化するステップ、前記の逆多重化された少なくとも1つの基本レイヤ復号化されたフレーム準拠画像を異なる空間解像度に再スケーリングするステップ、前記の逆多重化された再スケーリングされた少なくとも1つの基本レイヤ復号化されたフレーム準拠画像を目標空間解像度に補間するステップ、を有する、EEE79に記載の復号化方法。EEE82逆多重化された再スケーリングされた少なくとも1つの基本レイヤ復号化されたフレーム準拠画像を目標空間解像度にフィルタリングするステップを更に含む、EEE81に記載の復号化方法。EEE83前記拡張レイヤ処理するステップは、メモリ管理制御動作memorymanagementcontroloperation:MMCOを通じて前記少なくとも1つの拡張レイヤ参照ピクチャバッファを制御するステップを更に含む、EEE64~82のいずれか一項に記載の復号化方法。EEE84前記少なくとも1つの拡張レイヤ参照ピクチャバッファは、1又は複数のMMCOセットに従い同期化される、EEE83に記載の復号化方法。EEE85前記拡張レイヤ処理するステップは、前記MMCOに関する情報を対応するエンコーダから受信するステップを更に含む、EEE83又は84に記載の復号化方法。EEE86前記拡張レイヤ処理するステップは、前記複数のデータカテゴリの各々に対し、前記少なくとも1つの拡張レイヤ参照ピクチャバッファから少なくとも1つの参照画像を選択するステップ、前記少なくとも1つの参照画像に基づき視差補償又はインター予測を実行することにより、前記複数のデータカテゴリの各々に対し、少なくとも1つの補償画像を得るステップ、前記少なくとも1つの補償画像を拡張レイヤサンプリングし、少なくとも1つのフレーム準拠画像に拡張レイヤ多重化するステップ、を更に含む、EEE64~67のいずれか一項に記載の復号化方法。EEE87前記拡張レイヤ処理するステップは、メモリ管理制御動作memorymanagementcontroloperation:MMCOを通じて前記少なくとも1つの拡張レイヤ参照ピクチャバッファを制御するステップを更に含む、EEE86に記載の復号化方法。EEE88前記拡張レイヤ処理するステップは、前記MMCOに関する情報を対応するエンコーダから受信するステップを更に含む、EEE87に記載の復号化方法。EEE89マルチレイヤフレーム準拠ビデオ配信のための復号化方法であって、a基本レイヤを通じて基本レイヤを通じて複数の基本レイヤビットストリーム信号を基本レイヤ処理するステップであって、i少なくとも1つのフレーム準拠基本レイヤ復号化画像又はビデオフレームを供給するステップ、を含むステップ、b1又は複数の拡張レイヤを通じて複数のデータカテゴリの1又は複数の拡張レイヤを通じて前記複数の拡張ビットストリーム信号を拡張レイヤ処理するステップであって、前記複数のデータカテゴリの各々は、別個の拡張レイヤで別個に処理され、前記1又は複数の拡張レイヤの各々は、i前記複数のデータカテゴリのうちの1つの少なくとも1つの拡張レイヤ復号化画像又はビデオフレームを供給するステップ、ii少なくとも1つの拡張レイヤ参照ピクチャバッファを保持するステップ、iii前記基本レイヤ又は異なる拡張レイヤへの少なくとも1つの従属関係を参照処理するステップ、iv視差補償を実行するステップ、を含むステップ、を有し、前記複数のデータカテゴリの全ては、同一の拡張レイヤで復号化され処理される、復号化方法。EEE90前記複数のデータカテゴリは、立体画像又はビデオの複数のビューを有する、EEE89に記載の復号化方法。EEE91前記基本レイヤ処理するステップは、複数の既存のビデオコーデックのうちの1つに従う、EEE89又は90に記載の復号化方法。EEE92前記複数の既存のビデオコーデックは、H264AVC、VP8及びVC1を有する、EEE91に記載の復号化方法。EEE93前記符号化レイヤ処理するステップは、ハイブリッドビデオ符号化モデルを採用し、前記ハイブリッドビデオ符号化モデルは、複数の既存のコーデックのうちのいずれか1つに従う、EEE89~92のいずれか一項に記載の復号化方法。EEE94前記複数の既存のコーデックは、VC1及びH264AVCを有する、EEE93に記載の復号化方法。EEE95前記動き又は視差補償を実行するステップは、前記拡張レイヤ参照ピクチャバッファに格納された少なくとも1つの画像に基づく、EEE89~94のいずれか一項に記載の復号化方法。EEE96前記拡張レイヤ処理するステップは、前記基本レイヤの参照バッファからの少なくとも1つの基本レイヤ復号化されたフレーム準拠画像を基本レイヤ-拡張レイヤBL-to-EL処理するステップ、前記のBL-to-EL処理された少なくとも1つの基本レイヤ復号化されたフレーム準拠画像を、前記少なくとも1つの拡張レイヤ参照ピクチャバッファに格納するステップ、を更に含む、EEE89~95のいずれか一項に記載の復号化方法。EEE97前記BL-to-EL処理は、前記少なくとも1つの基本レイヤ復号化されたフレーム準拠画像を参照処理し、逆多重化し、アップサンプリングするステップを含む、EEE96に記載の復号化方法。EEE98前記1又は複数の拡張レイヤの各々の前記BL-to-EL処理は、前記少なくとも1つの基本レイヤ復号化されたフレーム準拠画像の参照処理、逆多重化、アップサンプリングを一緒に実行し最適化する単一の処理ユニットにより処理される、EEE97に記載の復号化方法。EEE99前記拡張レイヤ処理するステップは、異なる拡張レイヤの拡張レイヤ参照ピクチャバッファに格納された少なくとも1つの参照画像を拡張レイヤ-拡張レイヤEL-to-EL処理するステップ、前記のEL-to-EL処理された少なくとも1つの拡張レイヤの参照画像を該拡張レイヤの前記少なくとも1つの拡張レイヤ参照ピクチャバッファに格納するステップ、を更に含む、EEE89~98に記載の復号化方法。EEE100前記BL-to-EL処理するステップは、前記のBL-to-EL処理された少なくとも1つの基本レイヤ復号化されたフレーム準拠画像を目標空間解像度に再スケーリングするステップを更に含む、EEE89~99に記載の復号化方法。EEE101前記EL-to-EL処理するステップは、前記のEL-to-EL処理された少なくとも1つの拡張レイヤ参照画像を目標空間解像度に再スケーリングするステップを更に含む、EEE99又は100に記載の復号化方法。EEE102前記複数のデータカテゴリの前記少なくとも1つの拡張レイヤ復号化画像又はビデオフレームを供給するステップは、前記少なくとも1つの拡張レイヤ参照ピクチャバッファに格納された参照画像を少なくとも1つの基本レイヤ-拡張レイヤBL-to-EL予測に加算するステップ、を有する、EEE89に記載の復号化方法。EEE103前記少なくとも1つのBL-to-EL予測は、前記基本レイヤの参照ピクチャバッファに格納された少なくとも1つのフレーム準拠復号化ピクチャを逆多重化し参照処理することにより得られる、EEE102に記載の復号化方法。EEE104前記視差補償は、前記複数のデータカテゴリの各々に対して実行される、EEE102に記載の復号化方法。EEE105前記複数のデータカテゴリのうちの1つの前記少なくとも1つの拡張レイヤ復号化画像又はビデオフレームを供給するステップは、前記少なくとも1つの拡張レイヤ参照ピクチャバッファに格納された参照画像を少なくとも1つの基本レイヤ-拡張レイヤBL-to-EL予測に加算するステップ、を有する、EEE89に記載の復号化方法。EEE106前記少なくとも1つのBL-to-EL予測は、前記基本レイヤの参照ピクチャバッファに格納された少なくとも1つのフレーム準拠復号化ピクチャを逆多重化し参照処理することにより得られる、EEE105に記載の復号化方法。EEE107前記逆多重化及び参照処理は、フィルタリング、補間又は再スケーリングを更に有する、EEE106に記載の復号化方法。EEE108EEE1~63、117の1又は複数項に記載された方法に従って、少なくとも1つの画像又はビデオフレームを符号化するエンコーダ。EEE109EEE1~63、117の1又は複数項に記載された方法に従って、少なくとも1つの画像又はビデオフレームを符号化する装置。EEE110EEE1~63、117の1又は複数項に記載された方法に従って、少なくとも1つの画像又はビデオフレームを符号化するシステム。EEE111EEE64~107、118の1又は複数項に記載された方法に従って、少なくとも1つの画像又はビデオフレームを復号化するデコーダ。EEE112EEE64~107、118の1又は複数項に記載された方法に従って、少なくとも1つの画像又はビデオフレームを復号化する装置。EEE113EEE64~107、118の1又は複数項に記載された方法に従って、少なくとも1つの画像又はビデオフレームを復号化するシステム。EEE114命令セットを有するコンピュータ可読媒体であって、前記命令セットは、コンピュータにEEE1~107、117、118の1又は複数項に記載された方法を実行させる、コンピュータ可読媒体。EEE115少なくとも1つの画像又はビデオフレームを符号化するための、EEE1~63、117の1又は複数項に記載された方法の使用。EEE116少なくとも1つの画像又はビデオフレームを復号化するための、EEE64~107、118の1又は複数項に記載された方法の使用。EEE117前記少なくとも1つの拡張レイヤ参照ピクチャバッファは、少なくとも2つの拡張レイヤ参照バッファを有する、EEE1~38のいずれか一項に記載の符号化方法。EEE118前記少なくとも1つの拡張レイヤ参照ピクチャバッファは、少なくとも2つの拡張レイヤ参照バッファを有する、EEE64~68のいずれか一項に記載の復号化方法。本願明細書で言及された全ての特許文献及び刊行物は、本開示の関連する分野の当業者の水準を示し得る。本開示で引用された全ての参考文献は、参照されることにより、各文献の全体が個々に参照により組み込まれているのと同程度に本願明細書に組み込まれる。上述の例は、当業者に本開示のマルチレイヤフレーム準拠ビデオ配信のシステム及び方法の実施形態をどのように作り使用するかの完全な開示及び説明を与えるために提供され、発明者等が彼らの開示として見なす範囲を限定するものではない。本開示を実施するための上述のモードの変更が、当業者により用いられ、以下の請求の範囲の範囲内にあると見なされる。本願明細書で言及された全ての特許文献及び刊行物は、本開示の関連する分野の当業者の水準を示し得る。本開示で引用された全ての参考文献は、参照されることにより、各文献の全体が個々に参照により組み込まれているのと同程度に本願明細書に組み込まれる。本開示は特定の方法又はシステムに限定されるものではないことが理解されるべきである。これらの方法又はシステムは、勿論、変更できる。本願明細書で用いられた用語は、特定の実施形態を説明することのみを目的としており、限定を目的としていないことが理解されるべきである。明細書及び請求の範囲で用いられるように、単数を表す語a、an及びtheは、特に文脈上明示されない限り、複数への参照も含む。用語複数は、特に明示されない限り、2以上の指示対象を含む。特に定められない限り、本願明細書で用いられた全ての技術的及び科学的用語は、本開示の関連する分野の当業者により通常理解されるものと同じ意味を有する。本開示の多くの実施形態が記載された。しかしながら、本開示の精神及び範囲から逸脱することなく種々の変更を行うことができることが理解されるだろう。したがって、他の実施形態も添付の請求の範囲に包含される。[関連出願の参照]本願は、米国仮特許出願番号61/366,512、出願日2010年7月21日の優先権を主張する。該米国仮特許出願は参照されることにより本願明細書に組み込まれる。"