適応的に復号するマルチ-レイヤビデオシステムであって:ベースレイヤデコーダと;1つ以上のエンハンスメントレイヤデコーダと;前記ベースレイヤデコーダ及び前記1つ以上のエンハンスメントレイヤデコーダに接続される復号アダプタとを含み、前記復号アダプタは、前記ベースレイヤデコーダ及び前記1つ以上のエンハンスメントレイヤデコーダの演算を制御する、システム。前記ベースレイヤデコーダからフィルタ処理される予測を前記1つ以上のエンハンスメントレイヤデコーダに提供する1つ以上の処理モジュールをさらに含み:前記復号アダプタは、さらに前記1つ以上の処理モジュールの演算を制御する、請求項1記載のシステム。前記復号アダプタは、1つ以上の前記ベースレイヤデコーダ及び前記1つ以上のエンハンスメントレイヤデコーダから集められる情報に基づいて、前記ベースレイヤデコーダ及び前記1つ以上のエンハンスメントレイヤデコーダの演算を制御する、請求項1又は2記載のシステム。ポスト処理モジュールをさらに含み、前記復号アダプタは、前記ポスト処理モジュールから集められる情報に基づいて、前記ベースレイヤデコーダ及び前記1つ以上のエンハンスメントレイヤデコーダの演算を制御する、請求項1乃至3いずれか一項に記載のシステム。前記ポスト処理される情報は、前記ベースレイヤデコーダ及び前記1つ以上のエンハンスメントレイヤデコーダに関連する符号化時間情報を含む、請求項4記載のシステム。前記復号アダプタは、前記ベースレイヤデコーダ及び/又は1つ以上のエンハンスメントレイヤデコーダの演算を単純化することで、前記ベースレイヤデコーダ及び/又は1つ以上のエンハンスメントレイヤデコーダの演算を制御する、請求項1乃至5いずれか一項に記載の適応的に復号するマルチ-レイヤビデオシステム。前記ベースレイヤデコーダ及び1つ以上のエンハンスメントレイヤデコーダはそれぞれ、残差復号モジュール及びインループフィルタリングモジュールを含み、前記ベースレイヤデコーダ及び/又は1つ以上のエンハンスメントレイヤデコーダの単純化は、前記ベースレイヤデコーダ及び/又は1つ以上のエンハンスメントレイヤデコーダの1つ以上の前記残差復号モジュール及びインループフィルタリングモジュールを単純化又は除去することで行われる、請求項6記載の適応的に復号するマルチ-レイヤビデオシステム。前記ベースレイヤデコーダ及び前記1つ以上のエンハンスメントレイヤデコーダの演算は、1つ以上の画像、画像の部分、スライス、画像系列、及びピクチャのグループGOPに関して制御される、請求項1乃至7いずれか一項に記載の適応的に復号するマルチ-レイヤビデオシステム。前記復号アダプタは、非参照画像及び/又は参照画像の演算を制御する、請求項8記載の適応的に復号するマルチ-レイヤビデオシステム。前記復号アダプタは、複雑度の推定値に基づいて、前記ベースレイヤデコーダ及び前記1つ以上のエンハンスメントレイヤデコーダの前記演算を制御する、請求項1乃至9いずれか一項に記載の適応的に復号するマルチ-レイヤビデオシステム。前記復号アダプタは、平均復号時間に基づいて、前記ベースレイヤデコーダ及び前記1つ以上のエンハンスメントレイヤデコーダの前記演算を制御する、請求項1乃至10いずれか一項に記載の適応的に復号するマルチ-レイヤビデオシステム。前記復号アダプタは、復号された品質推定値に基づいて、前記ベースレイヤデコーダ及び前記1つ以上のエンハンスメントレイヤデコーダの前記演算を制御する、請求項1乃至11いずれか一項に記載の適応的に復号するマルチ-レイヤビデオシステム。前記復号アダプタは、メタデータ情報に基づいて、前記ベースレイヤデコーダ及び前記1つ以上のエンハンスメントレイヤデコーダの前記演算をさらに制御する請求項11又は12記載の適応的に復号するマルチ-レイヤビデオシステム。マルチ-レイヤビデオシステムの適応的な復号方法であって:ビデオ情報を読み込む段階と;前に復号されたビデオ情報の復号時間に基づいて、前記ビデオ情報のための複数の復号モードの中から1つの復号モードを選択する段階と;前記選択された復号モードに従ってマルチ-レイヤシステムの1つ以上のレイヤの前記ビデオ情報を復号する段階と;それぞれの復号後に、前記前に復号されたビデオ情報の前記復号時間を更新する段階と;次のビデオ情報が利用可能であれば、前記読み出す段階、選択する段階、及び復号する段階を繰り返す段落とを含む、方法。前に復号されたビデオ情報の前記復号時間は、平均復号時間である請求項14記載の方法。前記複数の復号モードは、最速の復号モードを含み、前記最速の復号モードが選択されるとき、前記最速の復号モードの復号の複雑度を推定する段階をさらに含む、請求項14又は15記載の方法。前記マルチ-レイヤシステムのどのレイヤを前記最速の復号モードで復号するかについての決定は、前記最速の復号モードの前記推定された復号の複雑度にも基づく、請求項16記載の方法。前記マルチ-レイヤシステムの1つ以上のレイヤのために単純化された復号を用いるかについての決定は、前記最速の復号モードの前記推定された復号の複雑度にも基づく、請求項17記載の方法。前記決定は、画像品質の推量にさらに基づく、請求項18記載の方法。前記ビデオ情報は、非参照ピクチャ情報及び参照ピクチャ情報を含み、参照ピクチャ情報を含むビデオ情報の復号モードが選択されるとき、前記復号モードの復号の複雑度を推定する段階をさらに含む、請求項14又は15記載の方法。前記マルチ-レイヤシステムのどのレイヤを前記復号モードで復号するかについての決定は、前記復号モードの前記推定された復号の複雑度にも基づく、請求項20記載の方法。前記マルチ-レイヤシステムの1つ以上のレイヤのために単純化された復号を用いるかについての決定は、前記復号モードの前記推定された復号の複雑度にも基づく、請求項21記載の方法。前記決定は、画像品質の推量にさらに基づく、請求項22記載の方法。前記ビデオ情報は、ピクチャ、ピクチャの部分、又は一連のピクチャ群を含む、請求項14乃至23いずれか一項に記載の方法。前記ピクチャの部分はスライスであり、前記一連のピクチャ群はピクチャのグループGOPである、請求項24記載の方法。前記マルチ-レイヤシステムは、ベースレイヤ及び1つ以上のエンハンスメントレイヤを含む、請求項14乃至25いずれか一項に記載の方法。前記マルチ-レイヤシステムは、前記ベースレイヤから1つ以上のエンハンスメントレイヤに復号情報を通信するために適した参照プロセッサを含む、請求項26記載の方法。前記複数の復号モードは、前記マルチ-レイヤシステムの1つ以上で実行される復号演算の単純化の量に基づいてそれぞれ異なり、前記復号モードの選択は、以前に行われた復号演算の平均復号時間を対象閾値と比較することで行われる、請求項14記載の方法。前記復号モードの選択は、以前に選択された復号モードを維持すること、最速の復号モードを選択すること、及びより遅い復号モードを選択することの中から選択される、請求項28記載の方法。前記復号モードの選択は、画像品質の推量にも依存する、請求項28又は29記載の方法。ネットワーク上のクライアントにビデオパケットを送るのに適した適応的なマルチ-レイヤビデオサーバであって:ベースレイヤビデオパケット化器と;1つ以上のエンハンスメントレイヤパケット化器と;前記ベースレイヤパケット化器及び前記1つ以上のエンハンスメントレイヤパケット化器に接続されるパケット化アダプタとを含み、前記パケット化アダプタは、前記ベースレイヤパケット化器及び前記1つ以上のエンハンスメントレイヤパケット化器の演算を制御する、ビデオサーバ。前記ベースレイヤビデオパケット化器及び1つ以上のエンハンスメントレイヤビデオパケット化器の演算は、前記ベースレイヤビデオパケット化器及び前記1つ以上のエンハンスメントレイヤビデオパケット化器を通してネットワーク上にどのパケットを送信する、又は送信しないかについての決定を制御する請求項31記載のビデオサーバ。前記パケット化アダプタの制御は、サーバにより生成された情報に基づく、請求項31又は32記載のビデオサーバ。前記パケット化アダプタの制御は、クライアントにより生成された情報に基づく、請求項31又は32記載のビデオサーバ。請求項1の前記復号システムと請求項31の前記ビデオサーバを含む、ビデオ処理アーキテクチャ。立体ビデオの配信は、コンテンツプロバイダのかねてからの目標であった。例えばDLPs[ここに参照によってその全体において組み込まれる非特許文献1]を可能とする3D、及び三菱やサムスンによるプラブマディスプレイのようなディスプレイ技術の最近の革新は、立体ビデオを配信するための効率的な技術を開発する緊急性を増加させた。適応的に復号するマルチ-レイヤビデオシステムであって:ベースレイヤデコーダと;1つ以上のエンハンスメントレイヤデコーダと;前記ベースレイヤデコーダ及び前記1つ以上のエンハンスメントレイヤデコーダに接続される復号アダプタとを含み、前記復号アダプタは、前記ベースレイヤデコーダ及び前記1つ以上のエンハンスメントレイヤデコーダの演算を制御する。第1実施形態によれば、適応的に復号するマルチ-レイヤビデオシステムであって:ベースレイヤデコーダと;1つ以上のエンハンスメントレイヤデコーダと;及び前記ベースレイヤデコーダと前記1つ以上のエンハンスメントレイヤデコーダとに接続される復号アダプタとを含み、前記復号アダプタは、前記ベースレイヤデコーダ及び前記1つ以上のエンハンスメントレイヤデコーダの演算を制御する。第2実施形態によれば、マルチ-レイヤビデオシステムの適応的な復号方法であって:ビデオ情報を読み込む段階と;前に復号されたビデオ情報の復号時間に基づいて、前記ビデオ情報のための複数の復号モードの中から1つの復号モードを選択する段階と;前記選択された復号モードに従ってマルチ-レイヤシステムの1つ以上のレイヤの前記ビデオ情報を復号する段階と;それぞれの復号後に、前記前に復号されたビデオ情報の前記復号時間を更新する段階と;及び次のビデオ情報が利用可能であれば、前記読み出す段階、選択する段階、及び復号する段階を繰り返す段落とを含む。第3実施形態によれば、ネットワーク上のクライアントにビデオパケットを送るのに適した適応的なマルチ-レイヤビデオサーバであって:ベースレイヤビデオパケット化器と;1つ以上のエンハンスメントレイヤパケット化器と;及び前記ベースレイヤパケット化器と前記1つ以上のエンハンスメントレイヤパケット化器とに接続されるパケット化アダプタとを含み、前記パケット化アダプタは、前記ベースレイヤパケット化器及び前記1つ以上のエンハンスメントレイヤパケット化器の演算を制御する。さらに、開示の実施形態は、本出願の明細書、図面及び請求項において提供される。図1A及び図1Bは、ベースレイヤ復号と、エンハンスメントレイヤ復号が示される、復号システムの概観を説明する。図1Aの復号システムを実施するアーキテクチャの一例は、MPEG-4AVC/H.264標準のステレオハイプロファイルSHPである。このプロファイルは、標準仕様をサポートするステレオビデオ符号化を追加した、MPEG-4AVCのマルチビュービデオ符号化を拡張した特別なケースである。例えば、ここに参照によってその全体において組み込まれる、非特許文献2を参照されたい。図1Bの復号システムを実施するアーキテクチャの一例は、ドルビーのフレーム互換フル解像度FCFR:FrameCompatibleFullResolutionシステムである。例えば、2009年4月20日に出願された、米国仮出願DirectedInterpolationandDataPostprocessingと、2009年7月4日に出願された、米国仮出願EncodingandDecodingArchitecturesforFormatCompatible3DVideoDeliveryを参照されたい。両方の出願とも、ここに参照によってその全体において組み込まれる。MPEG-4AVCSHPにおいて、各ビューは、別々のレイヤに記憶される。ドルビーのFCFRのベースレイヤは、各ビューからのサンプル数の半分が記憶され、例えば、特にチェッカーボードや並行してインタリービングするように、異なるインタリービング方法により構築されてもよい。エンハンスメントレイヤは、2つのビュー各ビューに対して他の半分のサンプルの残りの情報を提供する。復号システムは、フル解像度における2つのビューを生成するために、両方のレイヤから出力されるピクチャを合成する。図1Bのシステムにおいて、参照処理ユニットRPU:referenceprocessingunitが示される。RPUは、高品質の参照ピクチャを生成するためにベースレイヤからの出力ピクチャを処理する。その参照ピクチャは、エンハンスメントレイヤの動き補償予測のために後に用いられてもよい。図1に示されるポスト処理ユニットもまた、装置に含まれてもよい。3Dアプリケーションの例において、ポスト処理ユニットは、2つのデコーダの出力を合成することにより、各ビューのフル解像度ピクチャを生成することができる。本開示の実施形態は、図13に関して、後述されるような複雑度計算量により適応的に復号し、ストリーミングすることを導入する。既に上述されたように、そのような技術は、例えば、リアルタイム再生や、ハイエンドからローエンドの処理システムに及ぶ様々なプラットフォーム上の3Dビデオ符号化システムのストリーミングのために利用されうる。本開示の教示事項は、他にも適用でき、Sensio、Real-Dのような会社により明らかにされた3Dソリューション、又は同様のスケーラブルコンセプトを実施する他のソリューションのような同様のスケーラブルソリューションにも適用することができる。当業者は、本開示の教示事項が3Dへの適用のみに限定されるものではなく、特に高ダイナミックレンジのスケーラブルソリューションを含む、品質スケーラブルシステム、ビット深度スケーラビリティにも適用可能ということを理解するであろう。本開示のさらなる適用は、非特許文献3-5に記載されたような異種で様々なネットワークを介して、シームレスビデオストリーミングにも向けられる。非特許文献3-5は、ここに参照によってその全体において組み込まれる。本開示のいくつかの実施形態によれば、複雑度計算量の計量と、適用的なメカニズムとが提供される。図2Aと図2Bは、ベースレイヤデコーダ、RPU、及びエンハンスメントレイヤデコーダの操作演算を制御する復号適応モジュールを示す。図2Aの実施形態において、ベースレイヤデコーダと1つ以上のエンハンスメントレイヤデコーダとが示される。図2Bの実施形態において、RPUが考慮されている。特に、ベースレイヤデコーダとエンハンスメントレイヤデコーダのそれぞれに対し、復号適用モジュールは、完全復号モード、単純化した復号モードの実行を可能にし、又はその復号モード全てのスキップの実行を可能にする。同様に、RPUにとって、復号適用モジュールは、完全なフィルタリング、部分的なフィルタリング、又はRPUステップ全てをスキップすることを可能にする。図2A及び図2Bの復号適応ブロック復号アダプタは、ベースデコーダ、エンハンスメントデコーダ、及びRPUのような全ての他のブロックからフィードバックを受けるために適合される。復号適応ブロックに渡される情報は、復号の複雑度、ブロック間の依存度、又はビットストリーム分析又はビットストリームに存在しうるメタデータを通して符号化ユニット、電力消費及びビデオ品質についての情報も含むことができる。品質の推量は、今まで導入された歪みと、所定の決定が後でなされる場合に生じうる歪みとを含んでもよい。そのような情報は全て、どのモジュールがどれくらい影響されるべきかを決定するために、復号を適応的に実行するためのモジュール内で処理される。同様の事項が、図13に関して後述されるように、ネットワーク特性を含む実施形態のストリーミングに関しても検討される。以降の段落で説明される例において、異なる複雑度を伴う、6つの異なる復号モードが検討される。しかし、当業者であれば、任意の数の異なる復号モードを検討しうることを理解するだろう。以降の図面の例は、1つのエンハンスメントレイヤ及びRPUを説明するが、当業者であれば、所望されれば、RPUは任意のものであり、1つ以上のエンハンスメントレイヤが提供されうることを理解するだろう。図3は、復号モードの第1実施形態を示す。ここで、最も計算的に複雑なモード完全復号モードとも称すは、ベースレイヤとエンハンスメントレイヤとの両方に適用される。そのようなモードは、本開示を通してFDM-0として称されるだろう。制御された品質損失を伴う一方で、最も速い復号モードを用いるとき、ピクチャ品質は低下するだろう。図4は、復号処理におけるピクチャ依存度を示す。例えば、処分可能な両予測ピクチャBは、予測ピクチャPに依存するが、参照ピクチャとして用いられない。それゆえ、そのようなBピクチャを復号するときに発生したエラーは、他のピクチャの復号処理に影響を与えないであろう。Pピクチャは、後続のPピクチャやBピクチャのために参照ピクチャとして用いられうる。Pピクチャ内のエラーは、そのPピクチャに依存する次のPピクチャやBピクチャに伝播するだろう。そして、さらに悪いことに、この種のエラーは、グループオブピクチャGOP全体に伝播するだろう。ここで注意すべきことは、Bに符号化されたピクチャは処分可能ではあるが、動き補償予測のために参照ピクチャこの図では、BRピクチャとして定義されるとして用いられてもよい。同じことが、イントラ符号化ピクチャIや単一方向符号化ピクチャPに対してもあてはまる。過去の符号化標準において、IとPはいつも参照ピクチャとして用いられるが、Bピクチャは処分可能であった。MPEG-4AVCにおいて、このケースは、もはやそうではない。ピクチャのどんな種類でも、処分可能として信号化されてもよい。通常独立して復号することができる、2つのイントラI符号化ピクチャ間での画像は、1つの単一GOPに属するように一般的に検討される。MPEG-4AVCにおいて、イントラ符号化ピクチャは、瞬時デコーダリフレッシュIDR:InstantaneousDecoderRefreshピクチャとなってもよく、又はランダムアクセスユニットとして信号化されてもよい。結果として、符号化構造の図示された例に対し、PピクチャはBで符号化されたピクチャよりも重要である。同様の依存度は、固定又は適応的なGOP群の階層的な符号化構造を用いるときにも存在しうる。それゆえ、本開示の或る実施形態によれば、まずは、処分可能なピクチャの復号の複雑度復号計算量を削減するためになされるだろう。復号スピードがまだ目標復号スピードよりも遅く、現在参照ピクチャの復号の複雑度が、与えられた閾値よりも高ければ、そのときは、その参照ピクチャの復号の複雑度は低減されるだろう。その参照ピクチャの復号の複雑度は、GOP内の将来のピクチャへの影響に依存する。復号モードは、例えば、ピクチャレベルだけの代わりに、GOPレベルのように、より高いレベルに基づいて決定されることもできる。換言すると、復号モードは、一度に1つのピクチャで決定する代わりに、GOPレベルで、または一度にNピクチャ毎に決定することができる。つまり、デコーダ又は図13で後に説明されるストリーミングの場合のサーバは、その複雑度の性能又はストリーミングの実施形態におけるネットワークバンド帯域を評価することができ、かつ、現在のGOP内のピクチャ全てに影響を与える決定をすぐにすることができる。つまり、次のことが言える。デブロッキングは、全てのエンハンスメントレイヤのピクチャに対してスキップされてもよいし、GOP内の全てのピクチャに対しエンハンスメントレイヤのデブロッキングは行わなくてもよい又は図13のストリーミングの場合に対して任意のエンハンスメントレイヤの情報を送信しない。また、GOP内の依存度を分析し、完全に、又は全部ではなく部分的にどんなレベルでも復号されるべきピクチャはどれかを決定することに基づく。そのような場合、その決定は、広範囲グローバルのレベルで行われる。しかし、これは、局所的ローカルレベルピクチャ又はスライスでも実行されうる追加的な細かい単位を排除するものではない。それゆえ、その処理は、局所的、広範囲、又は局所的と広範囲との組み合わせで行うことができる。図5は、FDM-0モードよりも複雑ではなく、ここではFDM-1として称される、第2復号モードを説明する。第2復号モードによれば、エンハンスメントレイヤでの復号が単純化される。例を用いると、非参照ピクチャ通常Bピクチャのデブロッキング処理は、単純化又は削除することができる。例えば、デブロッキング処理は、システムによって特定されたデブロッキングフィルタリングメカニズムよりも簡単なデブロッキングフィルタリングメカニズムを用いることで単純化することができる。或る色成分だけのデブロッキング処理を単純化したり行わなかったり、また、或るスライスだけのデブロッキング処理を単純化したり行わなかったりする。デブロッキング処理をいつ、どのように修正するかの決定は、複雑度だけではなく、ピクチャに影響する品質にも依存する。その決定は、復号中に集められたピクチャやGOPについての情報に基づく。例を用いると、その決定は、ピクチャやスライスの動きに基づいたり、そのような処理にヒントを与える、ビットストリーム内のメタデータのような信号化された情報に基づいたりできる。図5に示すFDM-1モードを用いると、復号処理は、一般的にピクチャ品質の損失を少し犠牲にして、FDM-0と比較してスピードアップする。なぜなら、このモードは、処分可能な非参照ピクチャにだけ影響を与え、この単純化した復号処理によるエラーは、後続の復号ピクチャに伝播しないからである。図6は、FDM-2として称される、FDM-1と比較して単純な復号モードである。FDM-2のモードによれば、ベースレイヤとエンハンスメントレイヤとの両方での復号が単純化される。例を用いると、ベースレイヤとエンハンスメントレイヤとの両方で、非参照ピクチャのデブロッキング処理が単純化されるか、省略される。これは、ベースレイヤの歪みだけでなく、RPUにより提供される参照ピクチャの変更のせいで、エンハンスメントレイヤにおいてさらなる歪みを生じうることになる。しかし、そのようなフレームは、任意の他のピクチャの参照ピクチャとして用いられないので、復号中にドリフトするという結果にはならないであろう。ベースレイヤとエンハンスメントレイヤに対する単純化方法は異なってもよく、FDM-1を参照し、上述した単純化方法のいずれか1つであってもよいということに注意すべきである。図5と図6に示される、FDM-1とFDM-2の復号方法は、復号スピードが目標スピードよりもわずかに遅い場合に用いることができる。図7-10は、FDM-3とFDM-4と呼ばれる2つの追加的な速い復号モードを示す。それらの復号モードは、復号処理をさらに単純化するという結果を生じうる。図7は、復号モードFDM-3を説明する。ここで、エンハンスメントレイヤは、非参照又は処分可能なピクチャを復号するときに、その残差を復号する処理を追加的に単純化することを通じて単純化される。その残差復号処理は、エントロピー復号、逆変換、及び逆量子化のようなサブ処理を含む。それゆえ、そのような処理のいずれを単純化するかによって、異なる方法が存在する。また、1つ以上の上記のサブ処理を単純化することで、異なる方法が存在する。さらに、残差復号は、異なるスライスに対して単純化することができ、各スライスは、メタデータや分析に基づく異なる単純化方法を用いることができる。具体的な実施形態において、全体の残差復号処理は、図8に示されるように省略されてもよい。この場合、RPU処理の出力は、エンハンスメントレイヤの出力として得られるだろう。3Dビデオ符号化の場合では、デコーダは、ポスト処理ステップで、ベースレイヤの出力と、RPUユニットの出力とを共に多重化することで、フル解像度のピクチャを生成するだろう。復号モードFDM-3は、いくつかの追加された歪みを導入するだろう。なぜなら、圧縮されたビットストリームの残差部分に記憶される高周波数の信号は、エンコーダ側のその信号と一致しないからである。しかしながら、エラー伝播は、生じないだろう。さらに、そのエラーは、メタデータが単純化方法を支援するために用いられる場合、また、その単純化方法が適応的な内容である場合には、実施形態において上手く制御されることができる。例えば、残差復号処理を単純化することでの歪みの品質は、スライスレベルに基づいてエンコーダ側で測定することができ、この情報は、メタデータとしてビットストリームに埋め込むことができる。デコーダ側において、デコーダは、歪み情報によらず、或る単純化を実行可能とする決定を行うことができる。歪み情報の代わりに、異なるスライスやピクチャ間の依存度も提供されうる。一方で、その歪み情報は、単純化復号方法が検討されるならば、ビットストリームに導入されうる潜在的歪みのもっともな推定値でありうる。図13で後述されるストリーミングの実施形態において、エラー制御は、或る情報を信号化しなくても行うことができる。異なる実施形態において、1つのピクチャ内の或るスライスだけが復号のために選択されうる。また、これらのスライス内のマクロブロックの所定数が復号された後に、又は所定時間が経過した後に、全てのスライスの復号が、並行して開始したり停止したりしうる。復号されていない残りの領域に対して、図8に示すように、RPUからの信号が代わりに用いられうる。図9は、ここではFDM-4と称される、さらなる復号モードを説明する。この実施形態によれば、RPU処理、残差復号とデブロッキングのようなそのエンハンスメントレイヤの復号、及びエンハンスメントレイヤでの非参照ピクチャのポスト処理が単純化できる。特に、単純化処理は、特定されたフィルタよりも異なる内挿フィルタを用いることを必要とするだろう。単純化処理は、ぜいたくなサブピクセル位置を用いるマクロブロックを復号せず、信号を処理するRPUに戻り、両予測、又は重み付け予測などを用いるマクロブロックを復号しない。その単純化は、各サブ処理、又は各スライスで機能することができる。RPU処理もまた、特定されたフィルタよりも異なるフィルタを用いることで単純化することができる。例えば、短いフィルタは、長いフィルタの代わりに用いられるであろう。1Dフィルタは、2Dフィルタの変わりに用いられるであろう。固定のフィルタは、明示的なフィルタの代わりに用いられるであろう。これらのフィルタは、完全なピクチャ、領域異なるフィルタは、異なる領域に対してRPU内で信号化することができる、又は色成分レベルに対して、選択されうる。図10は、図9の実施形態の特別なケースを示す。ここで、RPU処理、残差復号処理、及びデブロッキング処理が省略される。そのFDM-4の処理は、エンハンスメントレイヤが既に完全に省略され、ベースレイヤが非参照ピクチャに属する場合に、ベースレイヤに拡張することもできる。上記図や実施形態に示された単純化処理は、参照ピクチャにも拡張できる。1つ以上の上記実施形態を使用しても、まだ十分なデコーダの複雑度や所望のストリーミング機能の結果にならならいときにも単純化処理を拡張することができる。上記実施形態を参照ピクチャに拡張する復号モードは、ここではFDM-5として称されるだろう。これは、最速の復号モードであり、ベースレイヤ、エンハンスメントレイヤ、その両方に用いることができる。そのような場合、単純化は制御された方法で行われないと、悪いアーティファクトが生じるかもしれない。例えば、GOP内のどのピクチャか、復号を単純化するせいで影響をうける品質がどうなるか、さらに、複雑度とストリーミングとの関係を検討することがもしあれば、このピクチャに適用されるべき処理の選択においてかなりの支援となりうる。例えば、GOPの終わり近くのピクチャは、例え参照ピクチャであっても、GOP内で早く出現するピクチャよりも容易に犠牲にされるであろう。なぜなら、終わり近くのピクチャの品質は、多くのピクチャに対して伝播しないからである。さらに、ベースレイヤにおける参照ピクチャに影響を与える前に、単純化や省略化を通してエンハンスメントレイヤにおける参照ピクチャに実行することが望ましい。特に、現在のピクチャが参照ピクチャであるとき、そのピクチャの復号の複雑度は、以降の段落で説明されるように、できるだけ品質損失を少なくするために推定されるだろう。一方で、品質損失を少なくすると同時に、復号スピードの増加を最大にする。そのようなピクチャの復号の複雑度が一旦知られたり、推定されたりすると、例えばメタデータを介して与えられたピクチャの歪みを示すためのサイド情報がなくても、復号処理は、次のように処理することができる。もし、そのピクチャの復号処理に対して推定された複雑度が、第1閾値T0FDM-5よりも低い場合、システムの復号能力に対して、その複雑度が十分に低いことを意味し、そのときは復号処理に何も変化させない。それ以外で、推定された複雑度が、第1閾値よりも高いが、第2閾値T1FDM-5よりも低い場合、その複雑度は、低すぎ、高すぎのいずれでもないことを意味し、そのときは復号処理の初期単純化、デブロッキング処理の単純化のような処理を行う。もし、それ以外で、その複雑度が、第2閾値よりも高い場合、そのときはさらに単純化、残差復号処理及びデブロッキング処理の単純化のような処理を行う。上記の実施形態は、ピクチャレベルで説明されている。しかしながら、異なる実施形態が提供されうる。ここで、提案された符号モードの全ては、例えば、サブ-ピクチャ/領域レベルである、スライスレベルで適用できる。スライスレベルでの適用は、参照ピクチャ及び非参照ピクチャの両方に生じうる。参照ピクチャのために用いられる上述された閾値は、ビットストリームの復号中に、以前の観察、1つのピクチャの復号のために割り当てられた平均時間、及びこの割り当てを超えないで復号することを保証するために現在ピクチャのために利用できる時間などに基づいて計算される。加えて、所望すれば、システムは、一度に一つのピクチャ又はスライスを検討する代わりに、複数のピクチャ群に対して決定してもよく、これらのピクチャに対して一緒にそのような決定を実行してもよい。複数のピクチャに対してデコーダの複雑度をスキップしたり減らしたりして複雑度を省略することは、他のピクチャに対して用いられる処理を省略するという結果につながるだろう。複数のピクチャに対する省略処理は、現在の品質よりも主観的な品質にさらに重要な影響を与えるだろう。複数のピクチャを省略するか否かを決定することは、ビットストリームのメタデータ、又は推定された所定のビットストリーム情報に提供されるピクチャの類似性に基づくことができる。ビットストリーム情報は、例えばビットストリーム内で利用可能な動きベクトルである。もし、例えば、2つの連続するピクチャの動きベクトルが同様であれば、そのとき、これらのピクチャは、類似するであろうことが知られており、同様の方法を用いて一緒に単純化例えば省略することができる。上記説明した単純化を制御的に適用するスケーラブル復号手順の実施形態は、図11に示される。復号モードは、ピクチャの読み込み後に最初に設定される。復号モードの設定の仕方の例は、後述する図12を参照して説明されるだろう。もし、選択された復号モードが、参照ピクチャの単純化を提供する、最も速い復号モードFDM-5であるなら、上記の通り、復号の複雑度も推定される。復号モードFDM-5の説明に関して既に注意したように、復号の複雑度の推定、及び推定後の閾値パラメータとの比較処理は、FDM-5の復号モード内で実行するいずれかの単純化処理に対して、制御された選択を可能にする。そして、スライス、ピクチャ、又はGOPは、選択された復号モードに従って復号される。そして、復号時間の平均は、後述される式に従って更新される。そして、その処理は、復号が終了するまで繰り返される。図12に移り、開示に従って使用されるアルゴリズムが設定された復号モードの一例が説明される。もし、平均復号時間Dectimeavgが、第1閾値T0よりも大きい場合、復号の複雑度は、単純なバージョンDecMode=DecMode1に復号モードを変更することで低減されるだろう。もし、平均復号時間が第2閾値T2T2>T0よりも大きい場合、現在ピクチャの復号がかなり遅いことを意味し、復号モードは、最も低い複雑度、例えば上述したFDM-5のようなモードに設定されるDecMode=FDM-5。もし、平均復号時間が、閾値T0よりも大きくなく、かつ閾値T1よりも小さい場合、復号が速すぎることを意味し、復号の複雑度は、ピクチャ品質を良くするために増加されるだろう。もし、他方で、平均復号時間が閾値T0よりも大きくなく、かつ閾値T1よりも大きい場合、前に用いられた復号の複雑度が維持されるKeeptheDecMode。以降の段落で、4つの式が、図11及び図12に関連する処理をより理解するために議論される。式1は、図11のフローチャートにおいて平均復号時間をどのようにして更新するかを説明する。他方、式2-4は、復号の複雑度をどのようにして推定するかを説明する。特に、式1は、平均復号時間DecTimeAvgがどのようにして更新されうるのかの一例を説明する。αは、更新スピードを制御する係数であり、ピクチャ群GOPの長さに依存する。例の方法では、αは、GOPが長くなるほど小さくなる。図11の復号の複雑度の推定ステップに移り、そのような処理は、2つの部分を含みうる。第1部分において、RPU処理の複雑度が推定される。そのような複雑度は、フィルタタイプ及び部分領域に依存し、例えば式2により計算されうる。完全なピクチャのRPU処理の複雑度は、全ての部分の複雑度の合計である。第2部分は残差復号の複雑度の推定を取り扱う。そのような推定は、符号化ビットの数と、スライスタイプとに依存し、推定を介して、式3により計算されうる。例えば、その推定は、ルックアップテーブルを用いる。そのようなテーブルは、前の復号統計を考慮し、同じサイズで異なるスライスタイプの復号時間のために作成されうる。全体の複雑度は、式4により推定されうる。ここで、式2及び式3の結果が考慮され、βは、完全な復号処理と比較したRPU処理の複雑度の割合に対応する重み係数である。βは、集められた統計に基づいて計算される。メタデータ情報は、例えば、SEISupplementalEnhancementInformationメッセージ、MPEG-4又はMPEG-2トランスポート、又はユーザがメッセージを特定したプログラムレイヤを用いて、又は他のメカニズムを通して信号化される。メタデータは、スライス、ピクチャ、又はGOPの歪みの影響についてのサイド情報を提供するために用いることができる。このような付加的な情報は、上述したFDM-5モードの制御時にできるだけ単純化するよう決定するのに役に立つだろう。例えば、デコーダは、各スライス又はピクチャの品質の測定値、及び/又はピクチャ依存度、及び任意の単純化されたデコーダがメタデータとして品質又は複雑度に対して持っているだろう影響を受け取ることができる。この情報が与えられると、デコーダは参照ピクチャに対してさえも以下の事を決定することができる。すなわち、わずかな歪みを生じるだけではあるが、デコーダ全体の複雑度に重要な影響を与える、第1影響スライスにより、デコーダの単純化処理がどのように行われるかを決定することができる。決定は、歪み又は複雑度のみに基づくだけでなく、例えば、ラグランジュ最適化方法を用いる統合した決定に基づいてもよい。図12の例において、SetDecodingModeアルゴリズムは、タイミングに基づくパフォーマンスを特定するのみであり、直接的に品質に影響を与えるわけではないことに注意が必要である。さらなる実施形態では、品質をもっと直接的に制御することが可能である。例えば、2つの方法が復号時間を同じように削減するという結果であれば、歪みがより小さい方の方法が選択されればよい。代わりに、少なくともNの複雑度を削減する全てのモードを検討し、それらのモードが一緒に評価され、J=DCが最善の性能となる方法が選択されればよい。ここで、Dは、導入された歪みであり、Cは、複雑度であり、λはラグランジュの乗数である。どんな単純化もなされていない又は無事な場所、GOP及び予測関係などのような付加的な情報は提供することができる。ピクチャの複雑度についての情報も、メタデータを通して提供することができる。しかしながら、或るケースでは、複雑度は、ビットストリームを分析することで、メタデータの存在があっても計算されたり、厳密化されたりする必要があるかもしれない。本開示の実施形態は、複雑度の推定処理を考慮しているが、そのような処理は、完全な復号演算を実行するよりも依然として複雑度を低くすることができる。特に、スライスレベルでの複雑度の推定値は、そのスライスを占めるビット数でまず試してみることで得ることができる。その推定値が十分でなければ、部分的、又は完全なエントロピー復号のみが実行される。そうすることで、ヘッダー情報のビットvsテクスチャビットの決定を可能にする。ビットストリームが多くのヘッダービットを含む場合、多くの動きベクトルが存在することを意味し、ビットストリームにおいて許容される限り、動き補償及びデブロッキングのために実行されるべき多くの処理があることを暗示するだろう。他方、テクスチャ情報が重要である場合、変換と量子化処理のための復号をしている間に多くの時間が費やされることを暗示するだろう。上述された複雑度の分析は、本開示で説明された任意のレイヤ及び任意のモードに対して影響を与えうる。もし、さらなる情報が必要であれば、ピクチャの復号の複雑度についてより良い推定値を得るために、完全な動き補償処理を実行せずに、ビデオの動き情報だけを復号することができる。もし、この推定値が満足するものであれば、そのときは、ピクチャの完全な復号は続き、そうでなければ、残りの復号ステップ全ては、上述したように省略されたり、単純化されたりすることができる。本開示で教示することは、ローエンドLowendプラットフォームのような異なるプラットフォーム上で、リアルタイム復号及び3Dビデオ符号化画像のストリーミングのために用いることができる。例えば、ビデオデコーダ、再生装置、及び高解像度の立体ビューを表示可能なディスプレイ装置に上記技術を用いることもできる。本開示で教示することは、ネットワーク伝送のバンド帯域及びクライアントの復号能力を考慮するビデオストリーミングサーバにも用いることができる。ビデオストリーミングサーバに生じる処理の一般的な説明は、図13に示される。ストリーミングに適用する場合、以前の図面を参照して説明したことと同様であり、サーバは、クライアントのために最善の品質を保とうとする間、パケット損失率及びクライアントからの遅延を含むフィードバックに従ってパケット化処理を適応的に行うだろう。パケット化とは、小さい単位で配信されるようデータを分割し、かつ、IPパケットのようなネットワーク伝送にふさわしいフォーマットにフォーマットされたブロックに、それぞれの単位をカプセル化する処理のことをいう。トラフィック情報は、クライアントにより、サーバ側の適応モジュールに返信して提供される。パケット損失率がかなり低い場合、サーバは、全てのレイヤの全てのパケットを送るだろう。もし、他方、パケット損失率が増加しているがまだ低い場合、そのときサーバは、処分可能なスライスのエンハンスメントレイヤのパケットをまず除去するだろう。もし、パケット損失率がまだ増加していれば、サーバはそのとき、処分可能なスライスのベースレイヤのパケットを捨て、かつ、さらに、非処分可能なスライスのエンハンスメントレイヤのパケットを除去するだろう。それゆえ、図13の適用において、デコーダの複雑度のためにビットストリームを調整する代わりに、ビットストリーム内の同じ依存度を考慮しつつ、いくつかのパケットだけを、クライアントに対して信号化するこれにより、ネットワークのロードと全体のビットレートを低減する。図13のストリーミング又はパケット化アダプタは、サーバ自身からクライアントから独立的に、又はクライアント情報を処理した後のいずれか、及び/又は1又は複数のクライアントから情報を受けることができる。開示の一実施形態によれば、サーバは、復号中に小さなドリフト、又はエラーが生じた情報を除去するために選択することもできる。これは、メタデータとしてクライアントに信号化されるだろう。さらに、この知識が与えられれば、クライアント側で、クライアントは可能であれば、及び/又は所望されればこれらのエラーの訂正を試みることもできる。サーバは、クライアント又はマルチキャスト環境上のクライアントの能力を知っていてもよく、クライアントの能力の知識に基づいて発生するこのようなシナリオを許容してもよい。例として、ラグランジュコストは、ネットワークのバンド帯域、各クライアントの品質、もし関連があれば消費電力などを含みうるパラメータの場所を提供されうる。本開示の実施形態は、復号側での図2のアーキテクチャが、サーバ側の図13のアーキテクチャと結合されるということも提供される。本開示のいくつかの実施形態は、シームレスビデオ配信を達成するためにビットストリームを適応化する技術と、主として立体ビデオソリューションのコンテキストにおける異なるプラットフォーム及びシステムに対するベストユーザの経験と、を重点的に説明する。しかしながら、当業者は、スケーラブルシステム、又はマルチビュー符号化の高ダイナミックレンジHDRのような他の同様のシステムにも、ここに示された概念が適用できるということを理解するだろう。本開示で記載した方法およびシステムは、ハードウェア、ソフトウェア、ファームウェアまたはそれらの組み合わせにおいて実装されてもよい。ブロック、モジュールまたはコンポーネントとして記載される諸特徴は一緒に実装されてもたとえば集積論理デバイスのような論理デバイスにおいて、別個に実装されてもたとえば別個の接続された論理デバイスとしてよい。本開示の方法のソフトウェア部分は、実行されたときに少なくとも部分的に記載される方法を実行する命令を含むコンピュータ可読媒体を含みうる。コンピュータ可読媒体はたとえば、ランダムアクセスメモリRAMおよび/または読み出し専用メモリROMを含みうる。命令はプロセッサたとえばデジタル信号プロセッサDSP、特定用途向け集積回路ASICまたはフィールドプログラム可能論理アレイFPGAによって実行されてもよい。本明細書において言及されるすべての特許および刊行物は、本開示が属する分野の当業者の技術レベルを示しうる。本開示において引用されるすべての文献は、各文献が個々にその全体において参照によって組み込まれた場合と同じ程度に、参照によって組み込まれる。本開示は特定の方法またはシステムに限定されないことは理解しておくべきである。具体的な方法またはシステムはむろん変わりうるものである。本稿で使われる用語は個別的な実施形態を記述するためだけに使われているのであり、限定することは意図されていないことも理解しておくべきである。本明細書および付属の請求項の用法では、単数形は、内容がそうでないことを明確に示しているのでない限り、複数の被指示物を含む。用語複数は、内容がそうでないことを明確に示しているのでない限り、二つ以上の被指示物を含む。別途定義がされていない限り、本稿で使われるすべての科学技術用語は当業者によって普通に理解されるのと同じ意味をもつ。本開示のいくつかの実施形態について説明してきたが、本開示の精神および範囲から外れることなく様々な修正がなされてもよいことは理解されるであろう。よって、他の実施形態も付属の請求項の範囲内にある。