画像およびビデオ送達のための多層式エンコード方法であって:基本層を通じた少なくとも一つの入力画像またはビデオフレーム302、304の基本層処理であって、該基本層処理は:前記少なくとも一つの入力画像またはビデオフレーム302、304を処理することによって少なくとも一つの第一のより低解像度の画像またはビデオフレーム316入力を得る段階;および前記少なくとも一つの第一のより低解像度の画像またはビデオフレーム314入力をエンコードすることによって複数の基本層のエンコードされたビットストリーム信号358を得る段階を含む、基本層処理と;一つまたは複数の向上層を通じた前記少なくとも一つの画像またはビデオフレーム302、304の向上層処理であって、該向上層処理は:第一の組の規則に従って、少なくとも一つの基本層信号356または少なくとも一つの第一の向上層信号を参照処理することによって第一の複数の参照処理信号322および少なくとも一つの第一の参照処理された画像またはビデオフレーム320を得る段階;第二の組の規則に従って、前記少なくとも一つの第一の参照処理された画像またはビデオフレーム320および前記少なくとも一つの入力画像またはビデオフレーム302、304を処理することによって少なくとも一つの残差画像またはビデオフレーム326を得る段階;前記少なくとも一つの残差画像またはビデオフレーム326を処理することによって少なくとも一つの第二のより低解像度の画像またはビデオフレーム338入力を得る段階;前記少なくとも一つの第二のより低解像度の画像またはビデオフレーム338入力をエンコードすることによって複数の向上層エンコードされたビットストリーム信号を得る段階;および第三の組の規則に従って、少なくとも一つの第二の向上層信号344を参照処理することによって第二の複数の参照処理信号362を得る段階を含む、向上層処理とを含む、方法。前記少なくとも一つの入力画像またはビデオフレーム302、304が複数のビューの画像またはビデオフレームである、請求項1記載の多層式エンコード方法。前記複数のビューが第一のビューおよび第二のビュー302、304である、請求項2記載の多層式エンコード方法。前記少なくとも一つの第一のより低解像度の画像またはビデオフレーム316入力が、前記第一のビューおよび前記第二のビューの画像またはビデオフレーム302、304を基本層フィルタリング306、基本層サブサンプリング310および基本層3D多重化314することによって得られる少なくとも一つのフレーム互換な画像またはビデオフレームを含む、請求項3記載の多層式エンコード方法。前記基本操作部サンプリングが水平方向、垂直方向または五の目状サブサンプリングを含む、請求項4記載の多層式エンコード方法。前記基本層サブサンプリングが前記二つのビューについて少なくとも一つの次元方向において不均等な品質を与える、請求項4記載の多層式エンコード方法。一方のビューが、少なくとも一つの第一の次元方向では他方のビューより低い解像度に、だが少なくとも一つの第二の次元方向ではより高い解像度にサブサンプリングされる、請求項6記載の多層式エンコード方法。前記基本層フィルタリングが前記第一のビューおよび前記第二のビューのすべての画像またはビデオフレーム302、304について固定されている、請求項4ないし7のうちいずれか一項記載の多層式エンコード方法。前記基本層フィルタリングが前記第一のビューおよび前記第二のビューの画像またはビデオフレーム302、304の空間的または時間的領域の少なくとも一つの特徴に依存する、請求項4ないし8のうちいずれか一項記載の多層式エンコード方法。前記基本層3D多重化314が隣り合わせ配置、上下配置、行インターリーブ配置、列インターリーブまたはチェッカーボード配置である、請求項4ないし9のうちいずれか一項記載の多層式エンコード方法。前記基本層のエンコードされたビットストリーム信号358が、前記複数の既存のビデオ符号化標準およびコーデックの一つに準拠するデコーダによってデコード可能である、請求項4ないし10のうちいずれか一項記載の多層式エンコード方法。前記少なくとも一つのフレーム互換な画像またはビデオフレーム316入力のエンコードがさらに、複数の既存の色およびサンプリングフォーマットの一つを用いてエンコードすることを含む、請求項4ないし11のうちいずれか一項記載の多層式エンコード方法。前記複数の既存の色およびサンプリングフォーマットがYUV400、YUV422、YUV444、RGBおよびXYZを含む、請求項12記載の多層式エンコード方法。前記基本層サブサンプリングが、前記複数の既存のビデオ符号化標準およびコーデックの一つまたは前記複数の既存の色およびサンプリングフォーマットの一つに従うビット深さ精度を与える、請求項11ないし13のうちいずれか一項記載の多層式エンコード方法。前記向上層サブサンプリングが前記基本層サブサンプリングより高いビット深さ精度を与える、請求項11ないし13のうちいずれか一項記載の多層式エンコード方法。複数の向上層ビットストリーム信号をデコーダに提供する段階をさらに含む、請求項1ないし15のうちいずれか一項記載の多層式エンコード方法であって、前記複数の向上層ビットストリーム信号は前記第一の複数の参照処理信号322、前記複数の向上層エンコードされたビットストリーム信号および前記第二の複数の参照処理信号を含む、方法。前記少なくとも一つの第二のより低い解像度の画像またはビデオフレーム338入力のエンコードがさらに、前記少なくとも一つの第一のより低い解像度の画像またはビデオフレーム314入力のエンコードによって生成された少なくとも一つの再構成された画像またはビデオフレームを参照として使うことを含む、請求項1ないし16のうちいずれか一項記載の多層式エンコード方法。前記少なくとも一つの基本層信号356を第四の組の規則に従って参照処理することによって、少なくとも一つの第三の参照処理された画像またはビデオ506を得ることをさらに含む、請求項1ないし17のうちいずれか一項記載の多層式エンコード方法。画像およびビデオ送達のための多層式エンコーダであって:少なくとも一つの入力画像またはビデオフレームに適応された基本層処理器であって、複数の基本層エンコードされたビットストリーム信号358を出力するよう適応された基本層エンコーダ314を有する基本層処理器と;少なくとも一つの入力画像またはビデオフレームに適応された少なくとも一つの向上層処理器であって、向上層エンコーダ336および少なくとも二つの参照処理ユニットRPU318、346を有する、向上層処理器とを有しており、前記向上層エンコーダは、複数の向上層エンコードされたビットストリーム354を出力するよう適応され、前記第一のRPU318は、第一の組の規則に従って、前記基本層エンコーダ316からの少なくとも一つの出力356または少なくとも一つの向上層信号を処理し、第一の複数の参照処理データ332および少なくとも一つの第一の参照処理された画像またはビデオフレーム320を出力するよう適応されており、前記第二のRPU346は、第二の組の規則に従って、前記向上層エンコーダ338からの少なくとも一つの出力を処理し、第二の複数の参照処理データ362を出力するよう適応されている、多層式エンコーダ。複数仮説プロセスを使う多層式エンコーダであって:第一層エンコーダ;前記第一層エンコーダに結合された第一の参照処理ユニットRPU;前記第一層エンコーダに結合された第二層エンコーダ;前記第二層エンコーダに結合された第二のRPU;前記第一のRPUおよび前記第二のRPUに結合された組み合わせ器;前記組み合わせ器に結合された比較器;前記第二層エンコーダおよび前記比較器に結合された第三層エンコーダ;および前記第三層エンコーダに結合された第三のRPUを有しており、前記組み合わせ器は、前記第一のRPUの出力および前記第二のRPUの出力の重み付けされた組み合わせによって、前記第三層エンコーダのための入力として予測画像を生成するよう適応されており;前記比較器は、前記予測画像およびもとのビュー画像から残差画像を計算するよう適応されており;前記第三層エンコーダは前記残差画像をエンコードするよう適応されている、多層式エンコーダ。画像およびビデオ送達のための多層式のデコード方法であって、基本層を通じて複数の基本層エンコードされたビットストリーム信号358を基本層処理する段階を有しており、該基本層処理は:前記複数の基本層エンコードされたビットストリーム信号358をデコードすることによって少なくとも一つの第一の低解像度の画像またはビデオフレーム342の出力を得る段階を含み、当該方法は、一つまたは複数の向上層を通じて複数の向上層ビットストリーム信号を向上層処理する段階を有しており、前記複数の向上層ビットストリーム信号は:複数の向上層エンコードされたビットストリーム信号354と、第一の複数の参照処理信号322と、第二の複数の参照処理信号362とを含み、前記向上層処理は:前記第一の複数の参照処理信号322および前記少なくとも一つの第一の低解像度の画像またはビデオフレーム342の出力を参照処理することによって少なくとも一つの第一の参照処理された画像またはビデオフレーム352を得る段階と;前記複数の向上層エンコードされたビットストリーム信号354をデコードし、基本層信号340の他方の入力または向上層信号を処理することによって少なくとも一つの向上層デコードされた信号340出力を得る段階と;前記第二の複数の参照処理信号362および前記少なくとも一つの向上層デコードされた信号340出力を参照処理することによって少なくとも一つの第二の参照処理された画像またはビデオフレーム350を得る段階と;前記少なくとも一つの第一の参照処理された画像またはビデオフレーム352および前記少なくとも一つの第二の参照処理された画像またはビデオフレーム350を組み合わせることによって少なくとも一つのフル解像度の画像またはビデオフレームを得る段階とを含む、多層式デコード方法。画像およびビデオ送達のための多層式デコーダであって:複数の基本層エンコードされたビットストリーム信号358をデコードするよう適応された少なくとも一つの基本層デコーダ342と;複数の向上層ビットストリーム信号を処理するよう適応された少なくとも一つの向上層処理器とを有しており、前記複数の向上層ビットストリーム信号は:複数の向上層エンコードされたビットストリーム信号354と;第一の複数の参照処理信号322と;第二の複数の参照処理信号362とを有し;前記向上層処理器は:前記複数の向上層ビットストリーム信号をパースparseして前記複数の向上エンコードされたビットストリーム信号354をデコードするよう適応された向上層デコーダ340と;前記第一の複数の参照処理信号322に従って、前記基本層デコーダ342からの出力において処理して少なくとも一つの第一の補間された再構成された画像またはビデオフレーム352を出力するよう適応された第一の参照処理ユニットRPU324と;前記第二の複数の参照処理信号322に従って、前記向上層デコーダ340からの出力において処理して少なくとも一つの第二の補間された再構成された画像またはビデオフレーム350を出力するよう適応された第二のRPU348と;前記少なくとも一つの第一の補間された再構成された画像またはビデオ352および前記少なくとも一つの第二の補間された再構成された画像またはビデオフレーム350を組み合わせて少なくとも一つのフル解像度の画像またはビデオフレーム360を得るよう適応された少なくとも一つの組み合わせ器とを有する、多層式デコーダ。複数仮説プロセスを使う多層式デコーダであって:第一層デコーダと;前記第一層デコーダに結合された第一の参照処理ユニットRPUと;前記第一層デコーダに結合された第二層デコーダと;前記第二層デコーダに結合された第二のRPUと;前記第一のRPUおよび前記第二のRPUに結合された組み合わせ器と;前記第二層エンコーダに結合された第三層エンコーダと;前記第三層エンコーダに結合された第三のRPUと;前記組み合わせ器および前記第三のRPUに結合された加算器とを有する、多層式デコーダ。画像またはビデオ送達の方法であって:請求項1ないし20のうち一つまたは複数に記載の方法に基づくエンコードプロセスと;請求項21ないし23のうち一つまたは複数に記載の方法に基づくデコードプロセスとを含む、方法。画像またはビデオ送達システムであって:請求項1ないし21のうちいずれか一項記載の多層式エンコーダと;請求項21ないし23のうちいずれか一項記載の多層式デコーダとを有する、システム。複数仮説を使うコーデックシステムであって:請求項22記載の多層式エンコーダと;請求項23記載の多層式デコーダとを有する、システム。たとえば、2Dコンテンツに比べて最小限の追加帯域幅を消費しつつ既存のセットトップボックスを使って家庭のユーザーが3D画像およびビデオを閲覧できるようにする送達ソリューションがたいていのサービスプロバイダーにとって魅力的なソリューションであろう。以下の案件は参照によってここに組み込まれる。2010年4月20日に出願された国際特許出願第PCTUS2010031762号国際公開第WO2010123909号、2009年4月20日公開;2010年6月30日に出願された国際特許出願第PCTUS2010040545号国際公開第WO2011005624号、2011年1月13日公開;2010年4月20日に出願された国際特許出願第PCTUS2010031693号国際公開第WO2010123855号、2010年10月28日公開。付属の図面は本明細書に組み込まれてその一部をなすものであり、本開示の一つまたは複数の実施形態を示しており、例示的な実施形態の記述と相俟って、本開示の原理および実装を説明するはたらきをする。本開示の第一の側面によれば、画像およびビデオ送達のための多層式のmultilayeredエンコード方法が提供される。本多層式のエンコード方法は基本層を通じて少なくとも一つの入力画像またはビデオフレームを基本層処理する段階を有する。該基本層処理は、前記少なくとも一つの入力画像またはビデオフレームを処理することによって少なくとも一つの第一のより低解像度の画像またはビデオフレームを得る段階と、前記少なくとも一つの第一のより低解像度の画像またはビデオフレームをエンコードすることによって複数の基本層のエンコードされたビットストリーム信号を得る段階とを含む。本多層式のエンコード方法は一つまたは複数の向上層を通じて前記少なくとも一つの画像またはビデオフレームを向上層処理する段階を有する。該向上層処理は、少なくとも一つの基本層信号または少なくとも一つの第一の向上層信号を第一の組の規則に従って参照処理することによって第一の複数の参照処理信号および少なくとも一つの第一の参照処理された画像またはビデオフレームを得る段階と、前記少なくとも一つの第一の参照処理された画像またはビデオフレームおよび前記少なくとも一つの入力画像またはビデオフレームを第二の組の規則に従って処理することによって少なくとも一つの残差画像またはビデオフレームを得る段階と、前記少なくとも一つの残差画像またはビデオフレームを処理することによって少なくとも一つの第二のより低解像度画像またはビデオフレームを得る段階と、前記少なくとも一つの第二のより低解像度画像またはビデオフレームをエンコードすることによって複数の向上層エンコードされたビットストリーム信号を得る段階と、少なくとも一つの第二の向上層信号を第三の組の規則に従って参照処理することによって第二の複数の参照処理信号を得る段階とを含む。本開示の第二の側面によれば、画像およびビデオ送達のための多層式のmultilayeredエンコーダが提供される。本多層式のエンコーダは、少なくとも一つの入力画像またはビデオフレームに適応された基本層処理器を有する。該基本層処理器は、複数の基本層エンコードされたビットストリーム信号を出力するよう適応された基本層エンコーダと、少なくとも一つの入力画像またはビデオフレームに適応された少なくとも一つの向上層処理器とを有する。前記向上層処理器は、向上層エンコーダおよび少なくとも二つの参照処理ユニットRPUreferenceprocessingunitを有する。前記向上層エンコーダは、複数の向上層エンコードされたビットストリームを出力するよう適応され、前記第一のRPUは前記基本層エンコーダからの少なくとも一つの出力または少なくとも一つの向上層信号を処理するよう適応され、第一の複数の参照処理データおよび少なくとも一つの第一の参照処理された画像またはビデオフレームを第一の組の規則に従って出力するよう適応されており、前記第二のRPUは前記向上層エンコーダからの少なくとも一つの出力を処理し、第二の複数の参照処理データを第二の組の規則に従って出力するよう適応されている。本開示の第三の側面によれば、複数仮説プロセスを使う多層式のmultilayeredエンコーダが提供される。本多層式のエンコーダは、第一層エンコーダ、前記第一層エンコーダに結合された第一参照処理ユニットRPU、前記第一層エンコーダに結合された第二層エンコーダ、前記第二層エンコーダに結合された第二RPU、前記第一RPUおよび前記第二RPUに結合された組み合わせ器、前記組み合わせ器に結合された比較器、前記第二層エンコーダおよび前記比較器に結合された第三層エンコーダおよび前記第三層エンコーダに結合された第三RPUを有しており、前記組み合わせ器は、前記第一RPUの出力および前記第二RPUの出力の重み付けされた組み合わせによって、前記第三層エンコーダのための入力として予測画像を生成するよう適応されており、前記比較器は、前記予測画像およびもとのビュー画像から残差画像を計算するよう適応されており、前記第三層エンコーダは前記残差画像をエンコードするよう適応されている。本開示の第四の側面によれば、画像およびビデオ送達のための多層式のデコード方法が提供される。本多層式のデコード方法は、基本層を通じて複数の基本層エンコードされたビットストリームを基本層処理する段階を有する。該基本層処理は、前記複数の基本層エンコードされたビットストリーム信号をデコードすることによって少なくとも一つの第一の低解像度画像またはビデオフレームを得る段階を有する。本多層式のデコード方法は、一つまたは複数の向上層を通じて複数の向上層ビットストリーム信号を向上層処理する段階を有する。前記複数の向上層ビットストリーム信号は、複数の向上層エンコードされたビットストリーム信号と、第一の複数の参照処理信号と、第二の複数の参照処理信号とを有し、前記向上層処理は、前記第一の複数の参照処理信号および前記少なくとも一つの第一の低解像度画像またはビデオフレームを参照処理して少なくとも一つの第一の参照処理された画像またはビデオフレームを得る段階と、前記複数の向上層エンコードされたビットストリーム信号をデコードし、基本層信号または向上層信号を処理することによって少なくとも一つの向上層デコードされた信号を得る段階と、前記第二の複数の参照処理信号および前記少なくとも一つの向上層デコードされた信号を参照処理することによって少なくとも一つの第二の参照処理された画像またはビデオフレームを得る段階と、前記少なくとも一つの第一の参照処理された画像またはビデオフレームおよび前記少なくとも一つの第二の参照処理された画像またはビデオフレームを組み合わせることによって少なくとも一つのフル解像度の画像またはビデオフレームを得る段階とを含む。本開示の第五の側面によれば、画像およびビデオ送達のための多層式のデコーダが提供される。本多層式のデコーダは、複数の基本層エンコードされたビットストリーム信号をデコードするよう適応された少なくとも一つの基本層デコーダと、複数の向上層ビットストリーム信号を処理するよう適応された少なくとも一つの向上層処理器とを有する。前記複数の向上層ビットストリーム信号は、複数の向上層エンコードされたビットストリーム信号と、第一の複数の参照処理信号と、第二の複数の参照処理信号とを有し、前記向上層処理器は、前記複数の向上層ビットストリーム信号をパースparseして前記複数の向上エンコードされたビットストリーム信号をデコードするよう適応された向上層デコーダと、前記基本層デコーダからの出力において処理して少なくとも一つの第一の補間された再構成された画像またはビデオフレームを前記第一の複数の参照処理信号に従って出力するよう適応された第一参照処理ユニットRPUと、前記向上層デコーダからの出力において処理して少なくとも一つの第二の補間された再構成された画像またはビデオフレームを前記第二の複数の参照処理信号に従って出力するよう適応された第二RPUと、前記少なくとも一つの第一の補間された再構成された画像またはビデオおよび前記少なくとも一つの第二の補間された再構成された画像またはビデオフレームを組み合わせて少なくとも一つのフル解像度の画像またはビデオフレームを得るよう適応された少なくとも一つの組み合わせ器とを有する。本開示の第六の側面によれば、複数仮説プロセスを使う多層式デコーダであって、本多層式でコーダは、第一層デコーダと、前記第一層デコーダに結合された第一参照処理ユニットRPUと、前記第一層デコーダに結合された第二層デコーダと、前記第二層デコーダに結合された第二RPUと、前記第一RPUおよび前記第二RPUに結合された組み合わせ器と、前記第二層エンコーダに結合された第三層エンコーダと、前記第三層エンコーダに結合された第三RPUと、前記組み合わせ器および前記第三RPUに結合された加算器とを有する。後方互換の3Dビデオ送達システムは、既存のまたはレガシーの2Dビデオハードウェアおよびシステムを通じて家庭または他の会場に3Dビデオを送達しうる。フレーム互換な3Dビデオシステムは、そのような後方互換な送達アーキテクチャを提供する。付録B参照。その場合、基本層が隣り合わせSbS、上下OUまたはチェッカーボードCBのようなフレーム互換フォーマットで配置された左眼および右眼の低解像度バージョンを提供する層構造のアプローチを使うことができる。もとのフル解像度のビューは、水平、垂直、五の目状quincunxサンプリングなどといった多様な技法を使ってフィルタリングおよびサンプリングされうる。たとえば、図1はフレーム互換なマルチビュービデオ送達のためのSbSパッキングを示しており、図2はフレーム互換なマルチビュービデオ送達のためのOUパッキングを示している。一つまたは向上層が、将来のフル解像度デコーダが両方のビューをフル解像度でデコードできるよう、後方互換な仕方で同じビットストリームに埋め込まれることができる。スケーラブルな3Dビデオ送達のための一つのそのような方式が付録Bにおいて提案されている。本開示は、その方式への、パフォーマンスを改善するまたは異なる特性をもつ代替的な実装を提供する拡張を提案する。たとえば、わずかな修正で既存のデコーダアーキテクチャが同様の向上を実行できるようにする。本方式は、2D画像およびビデオの空間的にスケーラブルな送達を得るためにも適用でき、SNR/品質、時間的、ビット深さなどといった他の形のスケーラビリティを提供するために、あるいは二つ以上のビューを含みうる一般的なマルチビュービデオ符号化のために適応されることができる。図3は、本開示のある実施形態に基づく3D立体視ビデオ送達システム300のブロック図である。この実施形態によれば、エンコードされるべきもとの左302および右304目のビューがまず、それぞれフィルタF1L306およびF1Rを使ってフィルタリングされ、次いでダウンサンプリング器310、312を使ってサブサンプリングされて、半分の解像度の左眼および右眼ビューが得られる。本開示の他の実施形態によれば、フィルタリングおよびサブサンプリングは水平、垂直、五の目状などのサブサンプリング方式のいずれに関係してもよい。また、ダウンサンプリングフィルタはシーケンス全体にわたって固定であってもよいし、あるいは特定の空間的および/または時間的な領域の特性に基づいて適応されてもよい。たとえば、テクスチャまたは動きの多い領域は、テクスチャまたは動きの少ない領域より強いフィルタリングを使ってもよい。ステレオマスキングをよりよく活用するために反対のビューにおいて対応する領域において、エンコーダまたはデコーダにおける異なるフィルタリングが適用されてもよい。フィルタリングされたサンプルは、要件およびコーデックによってサポートされるピクセル精度を与えられたもとで、いかなる適切な精度に量子化/変調されてもよい。デコーダは、何らかの処理を適用する前に、もとのフィルタリングされたサンプルを導出するよう逆量子化/復調をも提供する。図3に示した実施形態によれば、サブサンプリングされた画像は次いで3DMuxモジュール314で多重化され、モジュール314は隣り合わせ、上下、行インターリーブ、列インターリーブ、チェッカーボードなどのデータ配置の任意のものを実行してフレーム互換な画像シーケンスを形成してもよい。また、本開示の他の実施形態では、追加的な普通でないサブサンプリング技法および配置が使用されてもよい。たとえば、一方のビューを他方より低い解像度垂直方向または水平方向または両方にサブサンプリングして、異なるビューについて、一つまたは複数の方向において不均等な品質を与えるなどである。一つのそのような実施形態では、ある方向では一方のビューが他方のビューより高い解像度でサブサンプリングされるが、別の方向では他方のビューより低い解像度でサブサンプリングされてもよい。図3に示した実施形態によれば、結果として得られるフレーム互換な画像はビデオエンコーダ316を使ってエンコードされる。これは、MPEG2、H264AVCMPEG4Part10、VC1、VP6、VP7およびVP8などといった既存のビデオ符号化標準およびコーデックや次世代のビデオ符号化標準およびコーデックと互換であってもよい。コーデックはYUV400、420、422および444、RGB、XYZまたはその他といったいかなる入力色およびサンプリングフォーマットをサポートしていてもよく、任意のビット深さ精度をサポートできる。層と層の間で異なるフォーマットおよび/または精度がサポートされることができる。本開示のあるさらなる実施形態では、エンコーダ316の出力ビットストリームは、同じ標準に準拠する既存のデコーダによってデコード可能であるべきである。別の実施形態では、各層のビットストリームおよびRPUデータが統合されて単一層ビットストリームをなし、方式全体が一つのコーデックとして扱われてもよい。図3に示した実施形態によれば、エンコーダ316からの再構成された出力ピクチャは次いで領域処理ユニットRegionalProcessingUnit318RPU1参照処理ユニットともいう。ただし、参照という定義はこのピクチャが全符号化プロセスのうちで参照として明示的に使われることを含意するわけではないに入力される。RPUは付録AおよびBにおいて記述される。RPUの以下の記述は、特に断りのない限り、エンコーダのRPUおよびデコーダのRPUの両方にあてはまる。当業者は本開示を読めば、エンコーダ固有、デコーダ固有および一般的なRPUの記述、機能およびプロセスを理解し、それらの間の区別ができるであろう。図3に示した実施形態のようなフレーム互換な3D符号化システムのコンテキスト内では、RPU318は低解像度デコードされた3D画像を得て、種々のRPUフィルタを選択する一組の規則に従って、その画像を補間してもとの高解像度の左眼および右眼ビューの予測320を得る。RPUは補間プロセスが領域レベルで適応的であることを可能にする。ここで、ピクチャ/シーケンスの各領域はその領域の特性に従って補間される。RPU内で適用される可能な領域依存のフィルタには、水平方向、垂直方向または2Dフィルタ、エッジ適応性または周波数ベースのフィルタや、ピクセル複製フィルタまたは補間のために使われる他の方法がありうる。たとえば、一つのピクセル複製フィルタは単にゼロ次ホールドzeroorderholdを実行する。すなわち、補間された画像における各サンプルは低解像度画像における隣のサンプルの値に等しい。別のピクセル複製フィルタはビュー間コピーcrossviewcopy動作を実行してもよい。すなわち、あるビューにおける各補間されたサンプルは、相手のビューからの補間されていない共位置のサンプルに等しい。もう一つのオプションは、単に補間されたサンプルにゼロの値を割り当てるゼロフィルタzerofilterである。本開示のもう一つの実施形態によれば、視差補償されたコピー方式もRPUにおいて使用されることができる。この実施形態によれば、フィルタは、共位置でない領域の諸サンプルをコピーしてもよい。ここで、コピーされる領域の位置は、異なるビューからの領域であってもよく、視差ベクトルdisparityvectorを使って指定されることができる。視差ベクトルは、整数またはサブピクセルの精度を使って指定されることができ、単純な、たとえば並進動きパラメータまたはたとえばアフィンaffineまたは透視perspective動き情報のようなより複雑な動きモデルに関わってもよい。図3のエンコーダ310におけるRPU1フィルタ選択プロセスは、デコーダにおいてRPU1324に入力データ322として与えられる領域処理信号322を出力する。信号伝達signalingがフィルタリング方法を領域毎に指定する。ここで、領域の数、サイズ、形などといったパラメータがRPUデータヘッダにおいて指定される。フィルタのいくつかは固定したフィルタ係数から構成されてもよく、その場合、フィルタ係数はRPUによって明示的に信号伝達される必要はない。あるいはいくつかのフィルタモードは、係数値、水平/垂直タップの数などといったフィルタパラメータが明示的に信号伝達されることを要求する明示モードであってもよい。フィルタは、各色成分毎に指定されてもよい。線形フィルタに加えて、エッジ適応性フィルタのような非線形フィルタ、二側面bilateralフィルタなどといった非線形フィルタがRPUにおいて指定されてもよい。一方、アフィンまたは透視動きモデルのような高度な動き補償方法を指定するモデルを含むより高度な予測モデルが信号伝達されてもよい。図3のRPU1318からの予測された画像320は次いで、一組の規則に従ってもとの左302および右304の目のビューと比較され、予測誤差326がフィルタF2L330およびF2R332を使ってフィルタリングおよびサブサンプリングされ、任意的に、目標コーデックによってサポートされる適切なピクセル精度内に収まるようインクリメントされ、量子化される。図3に示した実施形態によれば、比較は差分計算328であることができ、RPU1に予測された画像320ともとの画像302、304の間の残差326が得られる。種々の実施形態において、RPU1により処理された画像と残差画像をもとの画像に関係付ける線形または非線形な関数が想定されてもよい。そのような関数は単純な減算であってもよく、あるいは他の何らかの線形または非線形な変換、たとえば比計算に関わっていてもよい。図3では各ビューからのRPU1により予測された画像320が別個の画像として扱われているが、別の実施形態では、それらは計算の目的のために一つの画像として扱われてもよいことを注意しておく。F2におけるフィルタ328、330およびサブサンプリング方式334は層1におけるものとは異なっていてもよく、各空間的および時間的領域について適応的であってもよい。図3に示した実施形態によれば、フィルタリングおよびサブサンプリングされた画像は次いで、向上層の3DMuxモジュール336によって改めて多重化され、層2ビデオエンコーダ338への入力が得られる。あるさらなる実施形態では、エンコーダにおけるRPU1318のプロセスは、出力として相補的なcomplementary位置基本層画像を生成するために間引きされた位置などからのサンプルを提供するだけであってもよい。そのような実施形態では、そうしたサンプルともとのビューとの間の残差は多重化され、層2エンコーダ338に入力されることができ、層2エンコードにおける追加のフィルタリング330、332およびサブサンプリング334プロセスが避けられる。層2エンコーダ338およびデコーダ340は層1エンコーダ316およびデコーダ342と同様である必要はない。層2エンコーダ338の再構成された出力ピクチャ344がRPU2346に入力される。エンコーダにおけるRPU2346は領域レベルで最適化を実行して、層2からの再構成されたピクチャ344について最適な上方変換方式を決定する。デコーダにおけるRPU2348からの出力画像350がデコーダにおけるRPU1324からの出力画像352と組み合わされるとき、組み合わされた画像品質が向上される。RPU2346の領域ベースのフィルタはRPU1318について上述した形のいずれを取ってもよい。関連する信号362は向上層ビットストリームにおいてデコーダに送信される。このビットストリームは層2からのエンコードされたビットストリーム354のほかRPU1信号伝達322をも含む。あるさらなる実施形態では、層1におけるエンコードされたサンプルと層2におけるエンコードされるべきサンプルとの間の高い相関があってもよいので、層1エンコーダ316からの再構成されたピクチャ356は層2についてのビデオエンコーダ338の参照ピクチャバッファにおいて参照として使用されてもよいことを注意しておく。それにより層2のいくつかの領域が空間的/時間的予測のために層1の領域を参照することが許容される。あるさらなる実施形態によれば、RPU318、346は、輪郭生成contouring/帯発生bandingアーチファクトを減らし、最終的な再構成された信号360の知覚的な品質を改善するために、RPU処理された画像320にディザリング処理を実行したり、コンフォートノイズを導入したりしてもよい。図5は、本開示のもう一つの実施形態に基づく、3D立体視ビデオ送達システム500のブロック図を示している。特に、図5に示される実施形態によれば、前の層からの参照504が、層2エンコーダ508の参照ピクチャバッファに入力される506のに先立って、付録AおよびBに示すように、RPUベースの技法を使って処理されてもよい。さらに、マクロブロックモード動きベクトルなどが層1エンコーダ502から層2エンコーダ508に渡されてもよい。ある実施形態では、層2は参照ピクチャ、マクロブロックモード、動きベクトルなどのような層1情報を、層2エンコードの圧縮効率を改善するための予測子として使ってもよい。異なる実施形態では、層2の画像は層1とは独立にエンコードされてもよい。これにより、簡略化されたデコーダ実装が許容される。その場合でも、層1情報はやはり層2エンコーダのエンコード決定を初期化するために使われてもよいことを注意しておく。それにより層2エンコードの計算量が軽減される。RPUにおけるアップサンプリングプロセスは左眼および右眼のための異なるサンプリングオフセット、エンコード/デコードされるべき層に依存する、異なる色成分についての異なるサンプリングオフセット、また各ピクチャについての異なるサンプリングオフセットを使ってもよい。したがって、サンプリングオフセット情報もRPUにおいて指定される。図6は、低解像度の再構成された画像をSbS方式でフル解像度に補間するときに、各ビューにおいて使用できるサンプリングオフセットの二つの例を示している。非整数サンプルオフセットを含む追加的なサンプリングオフセットも信号伝達されてもよい。サンプリングオフセットにおける同様の違いは、他のサンプリング配置についても生じることができる。提案されるシステムのためのデコードプロセスは比較的簡単である。図3の基本層層1デコーダ342は層1ビットストリーム358をデコードする。このビットストリームはそれ自身で、レガシーデコーダおよび既存の3Dディスプレイを使って3Dで表示できるフレーム互換出力を与える。向上層デコーダ340は、層2エンコードされたビットストリーム354のほかRPU1およびRPU2信号伝達データ322、362を含む向上層ビットストリームをパースする。各層のデコードされた出力は次いで対応するRPU324、348に入力され、補間された再構成されたビューL1、R1352およびL2、R2350が得られる。出力のフル解像度FRfullresolutionの左および右のビュー360は、RPU処理された左および右の画像のそれぞれを一緒に組み合わせることによって得られる。本開示のある実施形態では、向上層デコーダは、組み合わせプロセスの前に、RPU処理された左および右の画像の変換を実行する。さらなる諸実施形態によれば、そのような変換はオフセット調整、精度調整およびスケーリングであってもよい。たとえば、本開示のある実施形態によれば、向上層デコーダは、この変換プロセスにおいて、RPU処理された左および右の画像のピクセル値から128のようなオフセットを減算する。もう一つの実施形態では、向上層デコーダはRPU処理された左および右の画像を倍率2によりスケーリングする。RPUまたは別個のユニットがそのような変換を実行しうる。もう一つの実施形態では、デコーダは、輪郭生成contouring/帯発生bandingアーチファクトを減らし、最終的な再構成された信号360の知覚的な品質を改善するために、RPU処理された画像にディザリング処理を実行したり、コンフォートノイズを導入したりしてもよい。そのようなディザプロセスはRPU324、348によって実行されてもよい。図7および図8に示されるように、同じ概念が、非3Dの画像/ビデオのスケーラブルかつ多層式の送達のために適用されることもできる。図7および図8に示される実施形態によれば、もとの画像がフィルタリングおよびサブサンプリングされ、低解像度画像が得られ、それが次いで基本層エンコーダ702、802においてエンコードされる。層1の再構成された画像は次いで、RPU1704、804を使ってフル解像度に補間され、もとの画像と比較されて、層2のための残差画像が得られる。上述したように、比較は単純な減算であってもよいし、あるいは比計算のような他の何らかの線形または非線形変換に関わるものであってもよい。これらの画像はフィルタリングおよびサブサンプリングされ、層2エンコーダ706、806においてエンコードされる。デコードプロセスも3Dビデオについての先の場合と同様であり、二つの層が、各層をデコードしたのち、後処理ユニット内で組み合わされることができる。また、この場合、先述したような3D立体視ビデオ符号化の場合と同様、各層は異なる空間的または時間的分解能でエンコードされてもよい。それにより本システムによって与えられるスケーラビリティのさらなる柔軟性が許容される。本開示のさらなる実施形態によれば、RPUデータ信号伝達はエンコードされたビットストリームに埋め込まれることもできるし、デコーダに別個に伝送されることもできる。ある実施形態では、RPUデータは、RPU処理が実行される層とともに信号伝達される。別の実施形態では、すべての層のRPUデータが、層2エンコードされたデータの前またはあとにビットストリーム内に埋め込まれる一つのRPUデータパケット内で信号伝達される。また、RPUデータの提供は所与の層について任意的であってもよく、RPUデータが利用可能でない場合には、その層の上方変換のためにデフォルト方式が使用されることができることを注意しておく。同様に、向上層エンコードされたビットストリームの提供も任意的である。提案されるアーキテクチャは、各RPUにおけるフィルタおよびフィルタ処理される領域を最適に選択する複数の可能な方法を許容する。最適なRPU選択を決定することにおいて、いくつかの基準が別個に、あるいは連携して使用されてもよい。それらのうちには、基本層ビットストリームのデコード品質、向上層ビットストリームのデコード品質、RPUデータを含む各層のエンコードのために必要とされるビットレートおよびデータのデコードおよびRPU処理の複雑さがある。ある実施形態では、最適化は、RPU1の最適化が向上層におけるその後の処理とは独立であるように実行されてもよい。その場合、ある実施形態では、RPU1のための最適フィルタ選択は、補間される基本層画像ともとの左眼および右眼画像の間の予測誤差が、ビットレートおよびフィルタ複雑さのような他の制約条件のもとで最小化されるよう、決定されてもよい。もう一つの実施形態では、RPU1のためのフィルタ選択は、システムのパフォーマンスをさらに高めるために、付録Cに記載される方法と同様のF1LおよびF1Rのためのフィルタ選択と組み合わされてもよい。同様に、RPU2の最適化は、RPU1の最適化とは独立に、フル解像度のデコードされた画像の歪みがシステム制約条件のもとで最小化されるよう、実行されることができる。しかしながら、ある実施形態では、RPU1のために選択された諸フィルタおよび層1の符号化のために使われる他のエンコーダパラメータは、エンコーダにおけるフィルタ選択の複雑さが軽減されるよう、RPU2のためのより小さなフィルタ探索集合を初期化するために使用されてもよい。もう一つの実施形態では、RPU2またはRPU1または両方が、各ビットストリームをエンコードする前に適用されることのできる開ループ方式でそれぞれ層2および層1の事前エンコードされたpreencoded画像を使って最適されてもよい。もう一つの実施形態では、システム全体のパフォーマンスを制約条件のもとで改善するために、各層のエンコードならびに層1および層2の両方のRPUフィルタ選択が合同して最適化されてもよい。その場合、まずRPU1を最適化し、次いでRPU1において選択されたフィルタのもとでRPU2を最適化し、次いでRPU2において選択されたフィルタのもとでRPU1を改めて最適し、などとする逐次反復プロセスが使われてもよい。提案されるアーキテクチャは、追加的な向上層の符号化および送信を可能にするために拡張されることもできる。するとそれは、マルチビュー二つより多いビューアプリケーションおよびマルチビューアプリケーションおよび単一ビューにおけるスケーラビリティの複数のレベルを可能にするために使用できる。図9は、本開示のある実施形態に基づく、複数ビューに本アーキテクチャを拡張するための一つの方法を示している。その実施形態によれば、再構成されたピクチャのような情報が最初の二つの層のエンコーダ/デコーダから、その後の二つの層のエンコーダ/デコーダにおける対応する層に渡される。もう一つの実施形態では、参照ピクチャが、たとえばビュー間の視差や各層のビュー間の異なる三プリンツ位置を考慮に入れるようさらに処理されてもよい。これは、一つだけの、または奇数個の追加的なビューが使用される場合にも拡張できることを注意しておく。その場合、一つの追加的なエンコーダ/デコーダが必要とされるだけである。図10は、本開示のある実施形態に基づく、本方式を追加的な層に拡張する技法を示している。図10に示した実施形態によれば、最初の二つの層は、該最初の二つの層をデコードしたのちに残差情報をエンコードする第三の層より低い解像度のエンコーダを使用してもよい。もう一つの実施形態では、エンコード解像度はすべての層において同じままであってもよい。本開示のもう一つの実施形態によれば、異なるビューは異なる予測プロセスまたは異なる仮説プロセスを使ってエンコードおよびデコードされてもよい。すなわち、第一のビューはある予測仮説プロセスを使ってエンコードおよびデコードされ、第二または第三のビューは別の予測仮説プロセスを使ってエンコードおよびデコードされる。複数の予測または複数仮説プロセスを使うコーデックシステムは、二つ以上の仮説プロセスを別個に、または仮説プロセスを線形または非線形に組み合わせることによって合同して、使うことができる。図11および図12は、複数仮説プロセスを使う多層式符号化のためのある実施形態を示している。本実施形態によれば、層1および層2のエンコーダのデコードされたRPU処理された出力は、重み付けされた組み合わせを使って組み合わされて、層3エンコーダへの入力のための予測を生成する。重みは明示的または暗黙的に指定されてもよく、明示的な場合、組み合わせの重みも層3ビットストリームとともにデコーダに送られる。すると、層3は、層1および層2からの予測に対してrelativeto符号化されるべきビューについての残差情報をエンコードする。同様に、デコーダでは、層1および層2のデコードされた出力が組み合わされ、次いで層3のデコードされた出力がその結果に加えられて、最終的なデコードされたビューが得られる。先述したように、異なる実施形態では、層3のための残差画像を生成するために、層1および層2のデータが層3のデータと、線形/非線形フィルタなど、減算/加算とは異なる仕方で組み合わされてもよい。本開示に記載される方法およびシステムはハードウェア、ソフトウェア、ファームウェアまたはそれらの組み合わせにおいて実装されてもよい。ブロック、モジュールまたはコンポーネントとして記載される特徴は一緒にたとえば集積論理デバイスのような論理デバイスにおいてまたは別個にたとえば別個の接続された論理デバイスとして実装されてもよい。本開示の方法のソフトウェア部分は、実行されたときに少なくとも部分的に記載される方法を実行する命令を有するコンピュータ可読媒体を含んでいてもよい。コンピュータ可読媒体はたとえば、ランダムアクセスメモリRAMおよび/または読み出し専用メモリROMを含んでいてもよい。命令はプロセッサたとえば、デジタル信号プロセッサDSP、特定用途向け集積回路ASICまたはフィールドプログラム可能論理アレイFPGAによって実行されてもよい。本明細書において言及されるあらゆる特許および刊行物は、本開示が関係する当業者のレベルを示すことがありうる。本開示において引用されるあらゆる文献は、各文献が個々にその全体において参照によって組み込まれているかと同じように参照によって組み込まれる。上記の例は、本開示の参照処理信号を使った多層式の画像およびビデオ送達のためのシステムおよび方法の実施形態をいかにして作成し、利用するかの完全な開示および記述を当業者に与えるために提供されており、発明者がその開示と見なすものの範囲を限定することを意図したものではない。本開示を実行するための上記の態様の修正が当業者によって使用されてもよく、以下の請求項の範囲内であることが意図されている。本明細書において言及されるあらゆる特許および刊行物は、本開示が関係する当業者のレベルを示すことがありうる。本開示において引用されるあらゆる文献は、各文献が個々にその全体において参照によって組み込まれているかと同じように参照によって組み込まれる。本開示が特定の方法またはシステムに限定されないことは理解しておくべきである。具体的な方法やシステムが変わりうることはもちろんである。また、本稿で使われる用語は単に個別的な実施形態を説明するためのものであり、限定することは意図していないことも理解しておくべきである。本稿および付属の請求項での用法では、単数形の表現は、内容が明確にそうでないことを指定するのでない限り、複数の参照物をも含む。用語複数は、内容が明確に層でないことを示すのでない限り、二つ以上の参照物を示す。特段の定義がされていない限り、本稿で使われるすべての科学技術用語は当業者によって普通に理解されるのと同じ意味をもつ。よって、本発明のある実施形態は、以下に記載される例示的な実施形態の一つまたは複数に関係しうる。よって、本発明は、本稿に記載される形のいずれにおいて具現されてもよい。それは、これに限定されるものではないが、本発明のいくつかの部分の構造、特徴および機能を述べる以下の付番実施例EEEEnumeratedExampleEmbodimentを含む。よって、本発明のある実施形態は、以下に記載される例示的な実施形態の一つまたは複数に関係しうる。EEE1画像およびビデオ送達のための多層式multilayeredエンコード方法であって:基本層を通じて少なくとも一つの入力画像またはビデオフレーム302、304を基本層処理する段階であって、該基本層処理は:前記少なくとも一つの入力画像またはビデオフレーム302、304を処理することによって少なくとも一つの第一のより低解像度の画像またはビデオフレーム316入力を得る段階;および前記少なくとも一つの第一のより低解像度の画像またはビデオフレーム314入力をエンコードすることによって複数の基本層のエンコードされたビットストリーム信号358を得る段階を含む、基本層処理と;一つまたは複数の向上層を通じて前記少なくとも一つの画像またはビデオフレーム302、304を向上層処理する段階であって、該向上層処理は:少なくとも一つの基本層信号356または少なくとも一つの第一の向上層信号を第一の組の規則に従って参照処理することによって第一の複数の参照処理信号322および少なくとも一つの第一の参照処理された画像またはビデオフレーム320を得る段階;前記少なくとも一つの第一の参照処理された画像またはビデオフレーム320および前記少なくとも一つの入力画像またはビデオフレーム302、304を第二の組の規則に従って処理することによって少なくとも一つの残差画像またはビデオフレーム326を得る段階;前記少なくとも一つの残差画像またはビデオフレーム326を処理することによって少なくとも一つの第二のより低解像度画像またはビデオフレーム338入力を得る段階;前記少なくとも一つの第二のより低解像度画像またはビデオフレーム338入力をエンコードすることによって複数の向上層エンコードされたビットストリーム信号を得る段階;および少なくとも一つの第二の向上層信号344を第三の組の規則に従って参照処理することによって第二の複数の参照処理信号362を得る段階を含む、向上層処理とを含む、方法。EEE2前記少なくとも一つの入力画像またはビデオフレーム302、304が複数のビューの画像またはビデオフレームである、付番実施例1記載の多層式エンコード方法。EEE3前記複数のビューが第一のビューおよび第二のビュー302、304である、付番実施例2記載の多層式エンコード方法。EEE4前記少なくとも一つの第一のより低解像度の画像またはビデオフレーム316入力が、前記第一のビューおよび前記第二のビューの画像またはビデオフレーム302、304を基本層フィルタリング306、基本層サブサンプリング310および基本層3D多重化314することによって得られる少なくとも一つのフレーム互換な画像またはビデオフレームである、付番実施例3記載の多層式エンコード方法。EEE5前記基本操作部サンプリングが水平方向、垂直方向または五の目状サブサンプリングである、付番実施例4記載の多層式エンコード方法。EEE6前記基本層サブサンプリングが前記二つのビューについて少なくとも一つの次元方向において不均等な品質を与える、付番実施例4記載の多層式エンコード方法。EEE7一方のビューが、少なくとも一つの第一の次元方向では他方のビューより低い解像度に、だが少なくとも一つの第二の次元方向ではより高い解像度にサブサンプリングされる、付番実施例6記載の多層式エンコード方法。EEE8前記基本層フィルタリングが前記第一のビューおよび前記第二のビューのすべての画像またはビデオフレーム302、304について固定されている、付番実施例4ないし7のうちいずれか一項記載の多層式エンコード方法。EEE9前記基本層フィルタリングが前記第一のビューおよび前記第二のビューの画像またはビデオフレーム302、304の空間的または時間的領域の少なくとも一つの特徴に依存する、付番実施例4ないし8のうちいずれか一項記載の多層式エンコード方法。EEE10前記基本層3D多重化314が隣り合わせ配置、上下配置、行インターリーブ配置、列インターリーブまたはチェッカーボード配置である、付番実施例4ないし9のうちいずれか一項記載の多層式エンコード方法。EEE11前記基本層のエンコードされたビットストリーム信号358が、前記複数の既存のビデオ符号化標準およびコーデックの一つに準拠するデコーダによってデコード可能である、付番実施例4ないし10のうちいずれか一項記載の多層式エンコード方法。EEE12前記少なくとも一つのフレーム互換な画像またはビデオフレーム316入力のエンコードがさらに、複数の既存の色およびサンプリングフォーマットの一つを用いてエンコードすることを含む、付番実施例4ないし11のうちいずれか一項記載の多層式エンコード方法。EEE13前記複数の既存の色およびサンプリングフォーマットがYUV400、YUV422、YUV444、RGBおよびXYZを含む、付番実施例12記載の多層式エンコード方法。EEE14前記基本層サブサンプリングが、前記複数の既存のビデオ符号化標準およびコーデックの一つまたは前記複数の既存の色およびサンプリングフォーマットの一つに従うビット深さ精度を与える、付番実施例11ないし13のうちいずれか一項記載の多層式エンコード方法。EEE15前記向上層サブサンプリングが前記基本層サブサンプリングより高いビット深さ精度を与える、付番実施例11ないし13のうちいずれか一項記載の多層式エンコード方法。EEE16前記少なくとも一つの基本層信号356が、基本層エンコーダ316からの少なくとも一つの再構成された出力ピクチャを含む、付番実施例4ないし15のうちいずれか一項記載の多層式エンコード方法。EEE17前記基本層エンコーダ316からの前記少なくとも一つの再構成された出力ピクチャが少なくとも一つの低解像度のデコードされた3D画像356を含む、付番実施例16記載の多層式エンコード方法。EEE18前記少なくとも一つの基本層信号356を参照処理することが、前記基本層信号356を補間することを含む、付番実施例4ないし17のうちいずれか一項記載の多層式エンコード方法。EEE19前記第一の組の規則が参照処理において少なくとも一つの領域依存のフィルタを選択し、適用することを含む、付番実施例4ないし18のうちいずれか一項記載の多層式エンコード方法。EEE20前記少なくとも一つの領域依存のフィルタが、水平方向フィルタ、垂直方向フィルタ、2Dフィルタ、エッジ適応性フィルタ、周波数ベースのフィルタおよびピクセル複製フィルタから選択される、付番実施例19記載の多層式エンコード方法。EEE21前記ピクセル複製フィルタがゼロ次ホールドzeroorderholdフィルタである、付番実施例20記載の多層式エンコード方法。EEE22前記ピクセル複製フィルタがビュー間コピーcrossviewcopyフィルタである、付番実施例20記載の多層式エンコード方法。EEE23前記ピクセル複製フィルタが、交互のゼロおよび非ゼロ値をもつフィルタである、付番実施例20記載の多層式エンコード方法。EEE24前記第一の組の規則が視差補償されたコピーを含み、さらに非共位置のサンプルをコピーすることを含み、コピーされるべき領域の位置は視差ベクトルによって指定される、付番実施例4ないし18のうちいずれか一項記載の多層式エンコード方法。EEE25前記視差ベクトルが整数またはサブピクセルの精度を使って指定される、付番実施例24記載の多層式エンコード方法。EEE26前記第一の複数の参照処理信号322をデコーダの参照処理ユニット324のための入力データとして与えることをさらに含む、付番実施例4ないし25のうちいずれか一項記載の多層式エンコード方法。EEE27前記第一の複数の参照処理信号322が少なくとも一つの領域ベースのフィルタリングパラメータを含む、付番実施例4ないし26のうちいずれか一項記載の多層式エンコード方法。EEE28前記少なくとも一つの領域ベースのフィルタリングパラメータが、参照処理ユニットデータヘッダにおいて指定されている領域の数、サイズ、形から選択される少なくとも一つのパラメータを含む、付番実施例27記載の多層式エンコード方法。EEE29前記少なくとも一つの領域ベースのフィルタリングパラメータが、フィルタ係数値、水平方向タップ数および垂直方向タップ数から選択される少なくとも一つのパラメータを含む、付番実施例28記載の多層式エンコード方法。EEE30前記第一の複数の参照処理信号322がさらに、各色成分当たり少なくとも一つのフィルタに関連付けられた少なくとも一つの信号を含む、付番実施例4ないし29のうちいずれか一項記載の多層式エンコード方法。EEE31前記第一の複数の参照処理信号322がさらに、少なくとも一つの非線形フィルタに関連付けられた少なくとも一つの信号を含む、付番実施例4ないし30のうちいずれか一項記載の多層式エンコード方法。EEE32前記少なくとも一つの非線形フィルタが、エッジ適応性フィルタおよび二側面bilateralフィルタから選択される少なくとも一つのフィルタを含む、付番実施例31記載の多層式エンコード方法。EEE33前記第一の複数の参照処理信号322がさらに、少なくとも一つの高度な補償方法に関連する少なくとも一つの信号を含む、付番実施例4ないし32のうちいずれか一項記載の多層式エンコード方法。EEE34前記少なくとも一つの高度な補償方法がアフィン動きモデルまたは透視動きモデルである、付番実施例33記載の多層式エンコード方法。EEE35前記少なくとも一つの残差画像またはビデオフレーム326の処理が、前記少なくとも一つの残差画像またはビデオフレーム326の向上層フィルタリング、向上層サブサンプリングおよび向上層3D多重化を含む、付番実施例4ないし34のうちいずれか一項記載の多層式エンコード方法。EEE36前記少なくとも一つの第一の参照処理された画像またはビデオフレーム320および前記少なくとも一つの入力画像またはビデオフレーム302、304を第二の組の規則に従って処理することが、前記少なくとも一つの第一の参照処理された画像またはビデオフレーム320と前記少なくとも一つの入力画像またはビデオフレーム302、304の間の差を計算することを含む、付番実施例4ないし35のうちいずれか一項記載の多層式エンコード方法。EEE37前記少なくとも一つの第一の参照処理された画像またはビデオフレーム320および前記少なくとも一つの入力画像またはビデオフレーム302、304を第二の組の規則に従って処理することが、前記少なくとも一つの第一の参照処理された画像またはビデオフレーム320および前記少なくとも一つの残差画像またはビデオフレーム320を前記少なくとも一つの入力画像またはビデオフレーム302、304に関係付ける線形または非線形の関数に従って計算することを含む、付番実施例4ないし36のうちいずれか一項記載の多層式エンコード方法。EEE38前記少なくとも一つの基本層信号356を第一の組の規則に従って参照処理することが、複数の相補的位置からのサンプルを与えることを含む、付番実施例4ないし34のうちいずれか一項記載の多層式エンコード方法。EEE39前記少なくとも一つの残差画像またはビデオフレーム326の処理が、前記少なくとも一つの残差画像またはビデオフレーム326を多重化して向上層エンコーダ338に入力することを含む、付番実施例38記載の多層式エンコード方法。EEE40前記少なくとも一つの第一のより低い解像度の画像またはビデオフレーム314入力のエンコードが、前記少なくとも一つの第二のより低い解像度の画像またはビデオフレーム338入力のエンコードとは異なる、付番実施例4ないし39のうちいずれか一項記載の多層式エンコード方法。EEE41前記少なくとも一つの第二の向上層信号344が、向上層エンコーダ338からの少なくとも一つの再構成された出力ピクチャを含む、付番実施例4ないし40のうちいずれか一項記載の多層式エンコード方法。EEE42前記少なくとも一つの第二の向上層信号344を第三の組の規則に従って参照処理することが、領域レベルで最適化して、デコーダの組み合わされた画像出力の品質を高めるよう前記少なくとも一つの第二の向上層信号344のための最適な上方変換upconversion方式を決定することを含む、付番実施例4ないし41のうちいずれか一項記載の多層式エンコード方法。EEE43前記第三の組の規則が前記第一の組の規則の一部または全部を含む、付番実施例4ないし41のうちいずれか一項記載の多層式エンコード方法。EEE44複数の向上層ビットストリーム信号をデコーダに提供する段階をさらに含む、付番実施例1ないし43のうちいずれか一項記載の多層式エンコード方法であって、前記複数の向上層ビットストリーム信号は前記第一の複数の参照処理信号322、前記複数の向上層エンコードされたビットストリーム信号および前記第二の複数の参照処理信号を含む、方法。EEE45前記少なくとも一つの第二のより低い解像度の画像またはビデオフレーム338入力のエンコードがさらに、前記少なくとも一つの第一のより低い解像度の画像またはビデオフレーム314入力のエンコードによって生成された少なくとも一つの再構成された画像またはビデオフレームを参照として使うことを含む、付番実施例1ないし44のうちいずれか一項記載の多層式エンコード方法。EEE46前記少なくとも一つの基本層信号356を第四の組の規則に従って参照処理することによって、少なくとも一つの第三の参照処理された画像またはビデオ506を得ることをさらに含む、付番実施例1ないし45のうちいずれか一項記載の多層式エンコード方法。EEE47前記少なくとも一つの第二のより低い解像度の画像またはビデオフレーム338入力のエンコードがさらに、前記少なくとも一つの第三の参照処理された画像またはビデオを参照として使うことを含む、付番実施例46記載の多層式エンコード方法。EEE48前記少なくとも一つの第二のより低い解像度の画像またはビデオフレーム338入力のエンコードがさらに、前記少なくとも一つの第一のより低い解像度の画像またはビデオフレーム314入力のエンコードから生成された参照ピクチャ、マクロブロックモードおよび動きベクトルからの少なくとも一つを少なくとも一つの予測子として選択することをさらに含む、付番実施例46または47記載の多層式エンコード方法。EEE49前記少なくとも一つの第二のより低い解像度の画像またはビデオフレーム338入力のエンコードが、前記少なくとも一つの第一のより低い解像度の画像またはビデオフレーム314入力のエンコードとは独立である、付番実施例46ないし48のうちいずれか一項記載の多層式エンコード方法。EEE50前記少なくとも一つの第二のより低い解像度の画像またはビデオフレーム338入力のエンコードがさらに、少なくとも一つの第二の基本層信号を使って該エンコードを初期化することを含む、付番実施例49記載の多層式エンコード方法。EEE51前記少なくとも一つの基本層信号356の参照処理することが、前記第一のビューおよび前記第二のビューについて異なるサンプリングオフセットを使うことを含む、付番実施例3ないし43のうちいずれか一項記載の多層式エンコード方法。EEE52前記少なくとも一つの第二の向上層信号344の参照処理が、前記第一のビューおよび前記第二のビューについて異なるサンプリングオフセットを使うことを含む、付番実施例3ないし43および51のうちいずれか一項記載の多層式エンコード方法。EEE53画像およびビデオ送達のための多層式エンコーダであって:少なくとも一つの入力画像またはビデオフレームに適応された基本層処理器であって、複数の基本層エンコードされたビットストリーム信号358を出力するよう適応された基本層エンコーダ314を有する基本層処理器と;少なくとも一つの入力画像またはビデオフレームに適応された少なくとも一つの向上層処理器であって、向上層エンコーダ336および少なくとも二つの参照処理ユニットRPU318、346を有する、向上層処理器とを有しており、前記向上層エンコーダは、複数の向上層エンコードされたビットストリーム354を出力するよう適応され、前記第一のRPU318は前記基本層エンコーダ316からの少なくとも一つの出力356または少なくとも一つの向上層信号を処理し、第一の複数の参照処理データ332および少なくとも一つの第一の参照処理された画像またはビデオフレーム320を第一の組の規則に従って出力するよう適応されており、前記第二のRPU346は前記向上層エンコーダ338からの少なくとも一つの出力を処理し、第二の複数の参照処理データを第二の組の規則に従って出力するよう適応されている、多層式エンコーダ。EEE54前記少なくとも一つの入力画像またはビデオフレーム302、304が複数のビューの画像またはビデオフレームである、付番実施例53記載の多層式エンコーダ。EEE55前記複数のビューが第一のビューおよび第二のビュー302、304である、付番実施例54記載の多層式エンコーダ。EEE56前記基本層処理器がさらに、少なくとも二つの基本層フィルタ306、308、少なくとも二つの基本層サブサンプリング器310、312を有しており、前記少なくとも二つの基本層フィルタ306、308は前記第一のビューおよび前記第二のビューの画像またはビデオフレーム302、304をフィルタリングするよう適応されており、前記少なくとも二つの基本層サブサンプリング器は前記第一のビューおよび前記第二のビューのそのフィルタリングされた画像またはビデオフレームをサブサンプリングして前記第一のビューおよび前記第二のビューの半分の解像度の画像を得るよう適応されている、付番実施例53記載の多層式エンコーダ。EEE57前記少なくとも二つの基本層フィルタ306、308および前記少なくとも二つの基本層サブサンプリング器310、312が、水平方向、垂直方向または五の目状サブサンプリング方式のものである、付番実施例56記載の多層式エンコーダ。EEE58前記少なくとも二つの基本層サブサンプリング器310、312が前記二つのビューについて少なくとも一つの次元方向において不均等な品質を与えるよう適応されている、付番実施例56記載の多層式エンコーダ。EEE59前記少なくとも二つの基本層サブサンプリング器310、312が一方のビューを、少なくとも一つの第一の次元方向では他方のビューより低い解像度に、だが少なくとも一つの第二の次元方向ではより高い解像度にサブサンプリングするよう適応されている、付番実施例58記載の多層式エンコーダ。EEE60前記少なくとも二つの基本層フィルタ310、312が前記第一のビューおよび前記第二のビューのすべての画像またはビデオフレーム302、304について固定されているよう適応されている、付番実施例56ないし59のうちいずれか一項記載の多層式エンコーダ。EEE61前記少なくとも二つの基本層フィルタ306、308が前記第一のビューおよび前記第二のビューの画像またはビデオフレーム302、304の空間的または時間的領域の少なくとも一つの特徴に依存するよう適応されている、付番実施例56ないし59のうちいずれか一項記載の多層式エンコーダ。EEE62前記基本層処理器がさらに、基本層3D多重化器314を有し、前記基本層3D多重化器が、隣り合わせ配置、上下配置、行インターリーブ配置、列インターリーブまたはチェッカーボード配置を使って画像またはビデオフレームを3D多重化するよう適応されている、付番実施例56ないし61のうちいずれか一項記載の多層式エンコーダ。EEE63前記基本層のエンコードされたビットストリーム信号358が、前記複数の既存のビデオ符号化標準およびコーデックの一つに準拠するデコーダによってデコード可能である、付番実施例56ないし61のうちいずれか一項記載の多層式エンコーダ。EEE64前記基本層エンコーダ316が、少なくとも一つのフレーム互換な画像またはビデオフレーム316入力を複数の既存の色およびサンプリングフォーマットの一つを用いてエンコードするよう適応されている、付番実施例56ないし63のうちいずれか一項記載の多層式エンコーダ。EEE65前記複数の既存の色およびサンプリングフォーマットがYUV400、YUV422、YUV444、RGBおよびXYZを含む、付番実施例64記載の多層式エンコーダ。EEE66前記基本層サブサンプリング器が、前記複数の既存のビデオ符号化標準およびコーデックの一つまたは前記複数の既存の色およびサンプリングフォーマットの一つに従うビット深さ精度を与える、付番実施例61ないし65のうちいずれか一項記載の多層式エンコーダ。EEE67前記向上層サブサンプリング器が前記基本層サブサンプリング器より高いビット深さ精度を与える、付番実施例61ないし66のうちいずれか一項記載の多層式エンコーダ。EEE68前記基本層エンコーダ316の前記少なくとも一つの出力356が、前記基本層エンコーダ316からの少なくとも一つの再構成された出力ピクチャを含む、付番実施例56ないし66のうちいずれか一項記載の多層式エンコーダ。EEE69前記基本層エンコーダ316からの前記少なくとも一つの再構成された出力ピクチャが少なくとも一つの低解像度のデコードされた3D画像356を含む、付番実施例68記載の多層式エンコーダ。EEE70前記第一のRPU318が前記基本層エンコーダ316の前記少なくとも一つの出力356を補間するよう適応されている、付番実施例56ないし69のうちいずれか一項記載の多層式エンコーダ。EEE71前記第一の組の規則が前記第一のRPU318において少なくとも一つの領域依存のフィルタを選択し、適用することを含む、付番実施例56ないし70のうちいずれか一項記載の多層式エンコーダ。EEE72前記少なくとも一つの領域依存のフィルタが、水平方向フィルタ、垂直方向フィルタ、2Dフィルタ、エッジ適応性フィルタ、周波数ベースのフィルタおよびピクセル複製フィルタから選択される少なくとも一つである、付番実施例71記載の多層式エンコーダ。EEE73前記ピクセル複製フィルタがゼロ次ホールドzeroorderholdフィルタである、付番実施例72記載の多層式エンコーダ。EEE74前記ピクセル複製フィルタがビュー間コピーcrossviewcopyフィルタである、付番実施例72記載の多層式エンコーダ。EEE75前記ピクセル複製フィルタが、交互のゼロおよび非ゼロ値をもつフィルタである、付番実施例72記載の多層式エンコーダ。EEE76前記第一のRPU318が視差補償されたコピー方式のフィルタを使い、前記フィルタがサンプルの非共位置の領域をコピーし、コピーされるべき領域の位置は視差ベクトルによって指定される、付番実施例56ないし75のうちいずれか一項記載の多層式エンコーダ。EEE77前記視差ベクトルが整数またはサブピクセルの精度を使って指定される、付番実施例76記載の多層式エンコーダ。EEE78前記第一の複数の参照処理信号322が前記第一のRPU318のフィルタ選択プロセスから生成され、デコーダの参照処理ユニット324のための入力データとなるよう適応されている、付番実施例56ないし77のうちいずれか一項記載の多層式エンコーダ。EEE79前記第一の複数の参照処理信号322が少なくとも一つの領域ベースのフィルタリングパラメータを含む、付番実施例56ないし78のうちいずれか一項記載の多層式エンコーダ。EEE80前記少なくとも一つの領域ベースのフィルタリングパラメータが、RPUデータヘッダにおいて指定されている領域の数、サイズ、形から選択される少なくとも一つのパラメータを含む、付番実施例79記載の多層式エンコーダ。EEE81前記少なくとも一つの領域ベースのフィルタリングパラメータが、フィルタ係数値、水平方向タップ数および垂直方向タップ数から選択される少なくとも一つのパラメータを含む、付番実施例79記載の多層式エンコーダ。EEE82前記第一のRPU318のフィルタが各色成分当たりに指定されている、付番実施例56ないし81のうちいずれか一項記載の多層式エンコーダ。EEE83少なくとも一つの非線形フィルタが前記第一のRPU318において指定されている、付番実施例56ないし82のうちいずれか一項記載の多層式エンコーダ。EEE84前記少なくとも一つの非線形フィルタが、エッジ適応性フィルタおよび二側面bilateralフィルタから選択される少なくとも一つのフィルタを含む、付番実施例84記載の多層式エンコーダ。EEE85前記第一の複数の参照処理信号322がさらに、少なくとも一つの高度な補償方法に関連する少なくとも一つの信号を含む、付番実施例56ないし84のうちいずれか一項記載の多層式エンコーダ。EEE86前記少なくとも一つの高度な補償方法がアフィン動きモデルまたは透視動きモデルである、付番実施例85記載の多層式エンコーダ。EEE87前記向上層処理器がさらに、少なくとも二つの向上層フィルタ330、332、少なくとも二つの向上層サブサンプリング器334および少なくとも一つの向上層3D多重化器336を含む、付番実施例56ないし86のうちいずれか一項記載の多層式エンコーダ。EEE88前記向上層処理器がさらに、前記少なくとも一つの第一の参照処理された画像またはビデオフレーム320と前記少なくとも一つの入力画像またはビデオフレーム302、304との間の差から少なくとも一つの残差画像またはビデオフレームを計算するよう適応されている少なくとも一つの比較器328を有する、付番実施例56ないし87のうちいずれか一項記載の多層式エンコーダ。EEE89前記少なくとも一つの比較器328が、前記少なくとも一つの第一の参照処理された画像またはビデオフレーム320および前記少なくとも一つの残差画像またはビデオフレーム320を前記少なくとも一つの入力画像またはビデオフレーム302、304に関係付ける線形または非線形の関数に従って前記少なくとも一つの残差画像またはビデオフレームを計算するよう適応されている、付番実施例88記載の多層式エンコーダ。EEE90前記第一のRPU318が、複数の相補的位置からのサンプルを与えるよう適応されている、付番実施例88ないし89のうちいずれか一項記載の多層式エンコーダ。EEE91前記少なくとも一つの残差画像またはビデオフレームが多重化されて前記向上層エンコーダ338に入力されるよう適応されている、付番実施例90記載の多層式エンコーダ。EEE92前記基本層エンコーダが前記向上層エンコーダとは異なる、付番実施例56ないし91のうちいずれか一項記載の多層式エンコーダ。EEE93前記向上層エンコーダ338からの少なくとも一つの再構成された出力ピクチャが前記第二のRPU346に入力されるよう適応されている、付番実施例56ないし92のうちいずれか一項記載の多層式エンコーダ。EEE94前記第二のRPUが、領域レベルでの最適化を実行して、デコーダの組み合わされた画像出力の品質を高めるよう前記向上層エンコーダ338からの再構成されたピクチャ344のための最適な上方変換upconversion方式を決定するよう適応されている、付番実施例56ないし93のうちいずれか一項記載の多層式エンコーダ。EEE95前記第二の組の規則が前記第一の組の規則の一部または全部を含む、付番実施例56ないし95のうちいずれか一項記載の多層式エンコーダ。EEE96複数の向上層ビットストリーム信号をデコーダに提供するようさらに適応された、付番実施例53ないし95のうちいずれか一項記載の多層式エンコーダであって、前記複数の向上層ビットストリーム信号は前記第一の複数の参照処理信号322、前記複数の向上層エンコードされたビットストリーム信号354および前記第二の複数の参照処理信号362を含む、多層式エンコーダ。EEE97前記基本層エンコーダ316からの少なくとも一つの再構成された画像356が前記向上層エンコーダ338のための参照として使用される、付番実施例53ないし96のうちいずれか一項記載の多層式エンコーダ。EEE98前記基本層エンコーダからの出力504を第三の組の規則に従って処理して、前記向上層エンコーダ508に入力される少なくとも一つの第三の参照処理された画像またはビデオ506を出力するよう適応されている、付番実施例53ないし97のうちいずれか一項記載の多層式エンコーダ。EEE99前記向上層エンコーダ508が前記少なくとも一つの第三の参照処理された画像またはビデオ506を参照として使うよう適応されている、付番実施例98記載の多層式エンコーダ。EEE100前記向上層エンコーダ508が、前記基本層エンコーダ502の参照ピクチャ、マクロブロックモードおよび動きベクトルから選択される少なくとも一つの予測子を使うよう適応されている、付番実施例98または99記載の多層式エンコーダ。EEE101前記向上層エンコーダ508が、前記基本層エンコーダ502とは独立であるよう構成されている、付番実施例98ないし100のうちいずれか一項記載の多層式エンコーダ。EEE102前記向上層エンコーダ502が、前記基本層エンコーダ508からの少なくとも一つの信号を使って該エンコードを初期化するよう適応されている、付番実施例101記載の多層式エンコーダ。EEE103前記第一のRPUが、前記第一のビューおよび前記第二のビューについて異なるサンプリングオフセットを使うよう適応されている、付番実施例56ないし95のうちいずれか一項記載の多層式エンコーダ。EEE104前記第二のRPUが、前記第一のビューおよび前記第二のビューについて異なるサンプリングオフセットを使うよう適応されている、付番実施例56ないし95および103のうちいずれか一項記載の多層式エンコーダ。EEE105付番実施例53記載の多層式エンコーダであって:前記基本層処理器がさらに:基本層フィルタおよび基本層サブサンプリング器を有し、前記向上層処理器がさらに:向上層フィルタ、向上層サブサンプリング器および向上層比較器を有する、多層式エンコーダ。EEE106付番実施例105記載の多層式エンコーダであって、前記基本層フィルタが前記少なくとも一つの入力画像またはビデオフレームをフィルタリングするよう適応されており;前記基本層サブサンプリング器がフィルタリングされた少なくとも一つの入力画像またはビデオフレームをサブサンプリングして少なくとも一つの低解像度画像またはビデオフレームを出力するよう適応されており;前記基本層エンコーダが前記少なくとも一つの低解像度画像またはビデオフレームをエンコードするよう適応されており;前記第一のRPUが前記基本層エンコーダからの少なくとも一つの再構成された画像またはビデオフレームを補間して少なくとも一つのフル解像度の画像またはビデオフレームを出力するよう適応されており;前記向上層比較器が前記少なくとも一つの再構成された画像またはビデオフレームおよび前記少なくとも一つの入力画像またはビデオフレームから少なくとも一つの残差画像またはビデオフレームを計算するよう適応されており;前記向上層フィルタが前記少なくとも一つの残差画像またはビデオフレームをフィルタリングするよう適応されており;前記向上層サブサンプリング器が、フィルタリングされた少なくとも一つの残差画像またはビデオフレームをサブサンプリングするよう適応されており;前記向上層エンコーダが、サブサンプリングされた少なくとも一つの残差画像またはビデオフレームをエンコードするよう適応されている、多層式エンコーダ。EEE107前記向上層比較器によって実行される計算が減算、線形変換または非線形変換を含む、付番実施例106記載の多層式エンコーダ。EEE108前記第一および第二の複数の参照処理データが前記複数の向上層エンコードされたビットストリーム信号に埋め込まれるよう適応されている、付番実施例105ないし107のうちいずれか一項記載の多層式エンコーダ。EEE109前記第一および第二の複数の参照処理データが前記複数の向上層エンコードされたビットストリーム信号とは独立にデコーダに転送されるよう適応されている、付番実施例105ないし107のうちいずれか一項記載の多層式エンコーダ。EEE110同じ向上層処理器内の前記第一および第二の複数の参照処理データが一緒に転送されるよう適応されている、付番実施例105ないし109のうちいずれか一項記載の多層式エンコーダ。EEE111当該多層式エンコーダのすべての前記複数の参照処理データが、エンコードされたビットストリーム信号の前記複数の向上層の前または後で複数の向上層ビットストリーム信号に埋め込まれるRPUデータパケット内にグループ化されるよう適応されている、付番実施例106ないし110のうちいずれか一項記載の多層式エンコーダ。EEE112前記第一の組の規則および前記第二の組の規則が、前記複数の基本層エンコードされたビットストリーム信号のデコード品質、前記複数の向上層エンコードされたビットストリーム信号のデコード品質、各層のエンコードから要求されるビットレートおよびデコードおよび参照処理の複雑さから選択される少なくとも一つの因子に依存する、付番実施例105ないし111のうちいずれか一項記載の多層式エンコーダ。EEE113前記第一の組の規則および前記第二の組の規則が、前記二つのRPUのフィルタ選択を最適化するよう適応されている、付番実施例105ないし112のうちいずれか一項記載の多層式エンコーダ。EEE114前記第一のRPUの最適化が前記第二のRPUの最適化とは独立である、付番実施例113記載の多層式エンコーダ。EEE115前記第一の組の規則が、前記少なくとも一つの補間された基本層画像またはビデオフレームと前記少なくとも一つの入力画像またはビデオフレームとの間の予測誤差を最小にするような、前記第一のRPUのためのフィルタの組を選択するよう適応されている、付番実施例114記載の多層式エンコーダ。EEE116前記第一の組の規則が、エンコーダパフォーマンスを向上させるよう、前記第一のRPUのためのフィルタの組および前記基本層フィルタのためのフィルタの組を選択するよう適応されている、付番実施例113記載の多層式エンコーダ。EEE117前記第二の組の規則が、フル解像度のデコード画像の歪みを最小にするような、前記第二のRPUのためのフィルタの組を選択するよう適応されている、付番実施例113記載の多層式エンコーダ。EEE118前記第一のRPUのために選択されたフィルタが、前記第二のRPUのためにより小さなフィルタ探索を初期化するために使われる、付番実施例113ないし117のうちいずれか一項記載の多層式エンコーダ。EEE119前記第一の組の規則および前記第二の組の規則は前記第一のRPU、前記第二のRPU、前記基本層エンコーダおよび前記向上層エンコーダのパフォーマンスを最適化するよう構成されている、付番実施例113記載の多層式エンコーダ。EEE120マルチビュー画像またはビデオフレームをエンコードするようさらに適応されている、付番実施例53記載の多層式エンコーダ。EEE121各層のビュー間の異なるサンプリング位置およびビュー間の視差を考慮することによって少なくとも一つの参照画像を処理するようさらに適応されている、付番実施例120記載の多層式エンコーダ。EEE122付番実施例53記載の多層式エンコーダであって、さらに第二の向上層処理器を有しており、前記基本層処理器および前記第一の向上層処理器のエンコーダが、前記第二の向上層処理器よりも低い解像度をもつよう適応されており、前記第二の向上層処理器が、前記基本層処理器および前記第一の向上層処理器の出力のデコード後に残差情報をエンコードする、多層式エンコーダ。EEE123複数仮説プロセスを使う多層式エンコーダであって:第一層エンコーダ;前記第一層エンコーダに結合された第一の参照処理ユニットRPU;前記第一層エンコーダに結合された第二層エンコーダ;前記第二層エンコーダに結合された第二のRPU;前記第一のRPUおよび前記第二のRPUに結合された組み合わせ器;前記組み合わせ器に結合された比較器;前記第二層エンコーダおよび前記比較器に結合された第三層エンコーダ;および前記第三層エンコーダに結合された第三のRPUを有しており、前記組み合わせ器は、前記第一のRPUの出力および前記第二のRPUの出力の重み付けされた組み合わせによって、前記第三層エンコーダのための入力として予測画像を生成するよう適応されており;前記比較器は、前記予測画像およびもとのビュー画像から残差画像を計算するよう適応されており;前記第三層エンコーダは前記残差画像をエンコードするよう適応されている、多層式エンコーダ。EEE124画像およびビデオ送達のための多層式のデコード方法であって、基本層を通じて複数の基本層エンコードされたビットストリーム信号358を基本層処理する段階を有しており、該基本層処理は:前記複数の基本層エンコードされたビットストリーム信号358をデコードすることによって少なくとも一つの第一の低解像度画像またはビデオフレーム342の出力を得る段階を含み、当該方法は、一つまたは複数の向上層を通じて複数の向上層ビットストリーム信号を向上層処理する段階を有しており、前記複数の向上層ビットストリーム信号は:複数の向上層エンコードされたビットストリーム信号354と、第一の複数の参照処理信号322と、第二の複数の参照処理信号362とを含み、前記向上層処理は:前記第一の複数の参照処理信号322および前記少なくとも一つの第一の低解像度画像またはビデオフレーム342の出力を参照処理することによって少なくとも一つの第一の参照処理された画像またはビデオフレーム352を得る段階と;前記複数の向上層エンコードされたビットストリーム信号354をデコードし、基本層信号340の他方の入力または向上層信号を処理することによって少なくとも一つの向上層デコードされた信号340出力を得る段階と;前記第二の複数の参照処理信号362および前記少なくとも一つの向上層デコードされた信号340出力を参照処理することによって少なくとも一つの第二の参照処理された画像またはビデオフレーム350を得る段階と;前記少なくとも一つの第一の参照処理された画像またはビデオフレーム352および前記少なくとも一つの第二の参照処理された画像またはビデオフレーム350を組み合わせることによって少なくとも一つのフル解像度の画像またはビデオフレームを得る段階とを含む、多層式デコード方法。EEE125前記少なくとも一つのフル解像度画像またはビデオフレームが複数のビューの少なくとも一つの画像またはビデオフレームである、付番実施例124記載の多層式デコード方法。EEE126前記複数のビューが第一のビューおよび第二のビュー302、304である、付番実施例125記載の多層式デコード方法。EEE127前記複数の基本層のエンコードされたビットストリーム信号358のデコードが、複数の既存のビデオ符号化標準およびコーデックの一つによるデコードである、付番実施例126記載の多層式デコード方法。EEE128前記複数の既存のビデオ符号化標準およびコーデックがMPEG2、H264AVCMPEG4Part10、VC1、VP6、VP7およびVP8を含む、付番実施例126記載の多層式デコード方法。EEE129前記基本層エンコードされたビットストリーム信号358が、前記複数の既存のビデオ符号化標準およびコーデックの一つに準拠するデコーダによってデコード可能である、付番実施例127または128記載の多層式デコード方法。EEE130前記複数の基本層エンコードされたビットストリーム信号358のデコードがさらに、複数の既存の色およびサンプリングフォーマットの一つを用いてデコードすることを含む、付番実施例125ないし129のうちいずれか一項記載の多層式デコード方法。EEE131前記複数の既存の色およびサンプリングフォーマットがYUV400、YUV422、YUV444、RGBおよびXYZを含む、付番実施例130記載の多層式デコード方法。EEE132前記第一の複数の参照処理信号322および前記少なくとも一つの第一の低解像度画像またはビデオフレーム342の出力を参照処理することが、前記少なくとも一つの第一の低解像度画像またはビデオフレーム342の出力を補間することを含む、付番実施例125ないし131のうちいずれか一項記載の多層式デコード方法。EEE133前記少なくとも一つの第一の低解像度画像またはビデオフレーム342の出力を補間することが、隣り合わせアンパッキング配置、上下アンパッキング配置またはチェッカーボードアンパッキング配置である、付番実施例132記載の多層式デコード方法。EEE134前記第一の複数の参照処理信号322が少なくとも一つの領域ベースのフィルタリングパラメータを含む、付番実施例126ないし133のうちいずれか一項記載の多層式デコード方法。EEE135前記少なくとも一つの領域ベースのフィルタリングパラメータが、参照処理ユニットデータヘッダにおいて指定されている領域の数、サイズ、形から選択される少なくとも一つのパラメータを含む、付番実施例134記載の多層式デコード方法。EEE136前記少なくとも一つの領域ベースのフィルタリングパラメータが、フィルタ係数値、水平方向タップ数および垂直方向タップ数から選択される少なくとも一つのパラメータを含む、付番実施例134記載の多層式デコード方法。EEE137前記第一の複数の参照処理信号322がさらに、各色成分当たり少なくとも一つのフィルタに関連付けられた少なくとも一つの信号を含む、付番実施例126ないし136のうちいずれか一項記載の多層式デコード方法。EEE138前記第一の複数の参照処理信号322がさらに、少なくとも一つの非線形フィルタに関連付けられた少なくとも一つの信号を含む、付番実施例126ないし137のうちいずれか一項記載の多層式デコード方法。EEE139前記少なくとも一つの非線形フィルタが、エッジ適応性フィルタおよび二側面bilateralフィルタから選択される少なくとも一つのフィルタを含む、付番実施例138記載の多層式デコード方法。EEE140前記第一の複数の参照処理信号322がさらに、少なくとも一つの高度な補償方法に関連する少なくとも一つの信号を含む、付番実施例126ないし139のうちいずれか一項記載の多層式デコード方法。EEE141前記少なくとも一つの高度な補償方法がアフィン動きモデルまたは透視動きモデルである、付番実施例140記載の多層式デコード方法。EEE142前記複数の基本層エンコードされたビットストリーム信号のデコードからの出力および第三の複数の参照処理信号を参照処理することによって少なくとも一つの第三の参照処理された画像またはビデオフレームを得ることをさらに含む、付番実施例126ないし141のうちいずれか一項記載の多層式デコード方法。EEE143前記基本層信号または前記向上層信号の前記処理がさらに、前記少なくとも一つの第三の参照処理された画像またはビデオを参照として使うことを含む、付番実施例142記載の多層式デコード方法。EEE144前記第一の複数の参照処理信号322および前記少なくとも一つの第一の低解像度画像またはビデオフレーム342の出力の前記参照処理が、前記第一のビューおよび前記第二のビューについて異なるサンプリングオフセットを使うことを含む、付番実施例126ないし143のうちいずれか一項記載の多層式デコード方法。EEE145前記第二の複数の参照処理信号362および前記少なくとも一つの第一の向上層デコード信号340出力の前記参照処理が、前記第一のビューおよび前記第二のビューについて異なるサンプリングオフセットを使うことを含む、付番実施例126ないし144のうちいずれか一項記載の多層式デコード方法。EEE146画像およびビデオ送達のための多層式のデコーダであって:複数の基本層エンコードされたビットストリーム信号358をデコードするよう適応された少なくとも一つの基本層デコーダ342と;複数の向上層ビットストリーム信号を処理するよう適応された少なくとも一つの向上層処理器とを有しており、前記複数の向上層ビットストリーム信号は:複数の向上層エンコードされたビットストリーム信号354と;第一の複数の参照処理信号322と;第二の複数の参照処理信号362とを有し;前記向上層処理器は:前記複数の向上層ビットストリーム信号をパースparseして前記複数の向上エンコードされたビットストリーム信号354をデコードするよう適応された向上層デコーダ340と;前記基本層デコーダ342からの出力において処理して少なくとも一つの第一の補間された再構成された画像またはビデオフレーム352を前記第一の複数の参照処理信号322に従って出力するよう適応された第一の参照処理ユニットRPU324と;前記向上層デコーダ340からの出力において処理して少なくとも一つの第二の補間された再構成された画像またはビデオフレーム350を前記第二の複数の参照処理信号322に従って出力するよう適応された第二のRPU348と;前記少なくとも一つの第一の補間された再構成された画像またはビデオ352および前記少なくとも一つの第二の補間された再構成された画像またはビデオフレーム350を組み合わせて少なくとも一つのフル解像度の画像またはビデオフレーム360を得るよう適応された少なくとも一つの組み合わせ器とを有する、多層式デコーダ。EEE147前記少なくとも一つのフル解像度画像またはビデオフレームが複数のビューの少なくとも一つの画像またはビデオフレームである、付番実施例146記載の多層式デコーダ。EEE148前記複数のビューが第一のビューおよび第二のビュー302、304である、付番実施例147記載の多層式デコーダ。EEE149前記基本層デコーダ342が、複数の既存のビデオ符号化標準およびコーデックの一つに従って前記複数の基本層エンコードされたビットストリーム信号358をデコードするよう適応されている、付番実施例146ないし148のうちいずれか一項記載の多層式デコーダ。EEE150前記複数の既存のビデオ符号化標準およびコーデックがMPEG2、H264AVCMPEG4Part10、VC1、VP6、VP7およびVP8を含む、付番実施例149記載の多層式デコーダ。EEE151前記基本層デコーダ342が、複数の既存の色およびサンプリングフォーマットの一つに従って前記複数の基本層エンコードされたビットストリーム信号358をデコードするよう適応されている、付番実施例146ないし150のうちいずれか一項記載の多層式デコーダ。EEE152前記複数の既存の色およびサンプリングフォーマットがYUV400、YUV422、YUV444、RGBおよびXYZを含む、付番実施例151記載の多層式デコーダ。EEE153前記第一のRPU324が、前記基本層デコーダ342からの前記少なくとも一つの出力を補間するよう適応されている、付番実施例146ないし152のうちいずれか一項記載の多層式デコーダ。EEE154前記第一のRPU324がさらに、少なくとも一つの領域依存のフィルタを含む、付番実施例146ないし153のうちいずれか一項記載の多層式デコーダ。EEE155前記少なくとも一つの領域依存のフィルタが、水平方向フィルタ、垂直方向フィルタ、2Dフィルタ、エッジ適応性フィルタ、周波数ベースのフィルタ、ピクセル複製フィルタから選択される少なくとも一つである、付番実施例154記載の多層式デコーダ。EEE156前記ピクセル複製フィルタがゼロ次ホールドzeroorderholdフィルタである、付番実施例155記載の多層式デコーダ。EEE157前記ピクセル複製フィルタがビュー間コピーcrossviewcopyフィルタである、付番実施例155記載の多層式デコーダ。EEE158前記ピクセル複製フィルタが、交互のゼロおよび非ゼロ値をもつフィルタである、付番実施例155記載の多層式デコーダ。EEE159前記第一のRPU342が視差補償されたコピー方式のフィルタを使い、前記フィルタがサンプルの非共位置の領域をコピーし、コピーされるべき領域の位置は視差ベクトルによって指定される、付番実施例146ないし158のうちいずれか一項記載の多層式デコーダ。EEE160前記視差ベクトルが整数またはサブピクセルの精度を使って指定される、付番実施例159記載の多層式デコーダ。EEE161前記第一の複数の参照処理信号322が少なくとも一つの領域ベースのフィルタリングパラメータを含む、付番実施例146ないし160のうちいずれか一項記載の多層式デコーダ。EEE162前記少なくとも一つの領域ベースのフィルタリングパラメータが、RPUデータヘッダにおいて指定されている領域の数、サイズ、形から選択される少なくとも一つのパラメータを含む、付番実施例161記載の多層式デコーダ。EEE163前記少なくとも一つの領域ベースのフィルタリングパラメータが、フィルタ係数値、水平方向タップ数および垂直方向タップ数から選択される少なくとも一つのパラメータを含む、付番実施例161記載の多層式デコーダ。EEE164前記第一のRPU342のフィルタが各色成分当たりに指定されている、付番実施例146ないし163のうちいずれか一項記載の多層式デコーダ。EEE165少なくとも一つの非線形フィルタが前記第一のRPU342において指定されている、付番実施例146ないし164のうちいずれか一項記載の多層式デコーダ。EEE166前記少なくとも一つの非線形フィルタが、エッジ適応性フィルタおよび二側面bilateralフィルタから選択される少なくとも一つのフィルタを含む、付番実施例165記載の多層式デコーダ。EEE167前記第一の複数の参照処理信号322がさらに、少なくとも一つの高度な補償方法に関連する少なくとも一つの信号を含む、付番実施例146ないし166のうちいずれか一項記載の多層式デコーダ。EEE168前記少なくとも一つの高度な補償方法がアフィン動きモデルまたは透視動きモデルである、付番実施例167記載の多層式デコーダ。EEE169前記基本層デコーダが前記向上層デコーダとは異なる、付番実施例146ないし168のうちいずれか一項記載の多層式デコーダ。EEE170前記向上層デコーダ340からの少なくとも一つの再構成された出力ピクチャが前記第二のRPU348に入力されるよう適応されている、付番実施例146ないし169のうちいずれか一項記載の多層式デコーダ。EEE171前記基本層エンコーダ342からの少なくとも一つの再構成された画像が前記向上層デコーダ340のための参照として使用される、付番実施例146ないし170のうちいずれか一項記載の多層式デコーダ。EEE172前記基本層デコーダ342からの出力を第三の複数の参照処理信号に従って処理して、前記向上層デコーダ340に入力される少なくとも一つの第三の参照処理された画像またはビデオを出力するよう適応された第三のRPUをさらに有する、付番実施例146ないし170のうちいずれか一項記載の多層式デコーダ。EEE173前記向上層デコーダが前記少なくとも一つの第三の参照処理された画像またはビデオを参照として使うよう適応されている、付番実施例172記載の多層式デコーダ。EEE174前記向上層デコーダが、前記基本層デコーダの参照ピクチャ、マクロブロックモードおよび動きベクトルから選択される少なくとも一つの予測子を使うよう適応されている、付番実施例172または173記載の多層式デコーダ。EEE175前記向上層デコーダが、前記基本層デコーダとは独立であるよう構成されている、付番実施例172ないし174のうちいずれか一項記載の多層式デコーダ。EEE176前記向上層デコーダが、前記基本層デコーダからの少なくとも一つの信号を使って該デコードを初期化するよう適応されている、付番実施例175記載の多層式デコーダ。EEE177前記第一のRPUが、前記第一のビューおよび前記第二のビューについて異なるサンプリングオフセットを使うよう適応されている、付番実施例148ないし176のうちいずれか一項記載の多層式デコーダ。EEE178前記第二のRPUが、前記第一のビューおよび前記第二のビューについて異なるサンプリングオフセットを使うよう適応されている、付番実施例148ないし177のうちいずれか一項記載の多層式デコーダ。EEE179前記向上層組み合わせ器によって実行される組み合わせプロセスが、減算、線形変換または非線形変換を含む、付番実施例146記載の多層式デコーダ。EEE180マルチビュー画像またはビデオフレームをエンコードするようさらに適応されている、付番実施例146記載の多層式デコーダ。EEE181各層のビュー間の異なるサンプリング位置およびビュー間の視差を考慮することによって少なくとも一つの参照画像を処理するようさらに適応されている、付番実施例180記載の多層式デコーダ。EEE182複数仮説プロセスを使う多層式デコーダであって:第一層デコーダと;前記第一層デコーダに結合された第一の参照処理ユニットRPUと;前記第一層デコーダに結合された第二層デコーダと;前記第二層デコーダに結合された第二のRPUと;前記第一のRPUおよび前記第二のRPUに結合された組み合わせ器と;前記第二層エンコーダに結合された第三層エンコーダと;前記第三層エンコーダに結合された第三のRPUと;前記組み合わせ器および前記第三のRPUに結合された加算器とを有する、多層式デコーダ。EEE183画像またはビデオ送達の方法であって:付番実施例1ないし52のうち一つまたは複数に記載の方法に基づくエンコードプロセスと;付番実施例124ないし145のうち一つまたは複数に記載の方法に基づくデコードプロセスとを含む、方法。EEE184画像またはビデオ送達システムであって:付番実施例53ないし123のうちいずれか一項記載の多層式エンコーダと;付番実施例146ないし181のうちいずれか一項記載の多層式デコーダとを有する、システム。EEE185複数仮説を使うコーデックシステムであって:付番実施例117記載の多層式エンコーダと;付番実施例182記載の多層式デコーダとを有する、システム。