(57)【要約】本開示は参照処理信号を使った多層式の画像およびビデオ送達のためのシステム及び方法を記載する。多層式エンコーダおよび多層式デコーダはいずれも、参照処理を使う少なくとも一つの向上層処理器と、基本層処理器とを有する。参照処理を使い、フレーム互換な3Dビデオ送達ができる多層式エンコーダおよび多層式デコーダも記載される。
2013534117.tif 000002
【特許請求の範囲】
【請求項１】
画像およびビデオ送達のための多層式エンコード方法であって：
基本層を通じた少なくとも一つの入力画像またはビデオ・フレーム（３０２、３０４）の基本層処理であって、該基本層処理は：
前記少なくとも一つの入力画像またはビデオ・フレーム（３０２、３０４）を処理することによって少なくとも一つの第一のより低解像度の画像またはビデオ・フレーム（３１６入力）を得る段階；および
前記少なくとも一つの第一のより低解像度の画像またはビデオ・フレーム（３１４入力）をエンコードすることによって複数の基本層のエンコードされたビットストリーム信号（３５８）を得る段階を含む、基本層処理と；
一つまたは複数の向上層を通じた前記少なくとも一つの画像またはビデオ・フレーム（３０２、３０４）の向上層処理であって、該向上層処理は：
第一の組の規則に従って、少なくとも一つの基本層信号（３５６）または少なくとも一つの第一の向上層信号を参照処理することによって第一の複数の参照処理信号（３２２）および少なくとも一つの第一の参照処理された画像またはビデオ・フレーム（３２０）を得る段階；
第二の組の規則に従って、前記少なくとも一つの第一の参照処理された画像またはビデオ・フレーム（３２０）および前記少なくとも一つの入力画像またはビデオ・フレーム（３０２、３０４）を処理することによって少なくとも一つの残差画像またはビデオ・フレーム（３２６）を得る段階；
前記少なくとも一つの残差画像またはビデオ・フレーム（３２６）を処理することによって少なくとも一つの第二のより低解像度の画像またはビデオ・フレーム（３３８入力）を得る段階；
前記少なくとも一つの第二のより低解像度の画像またはビデオ・フレーム（３３８入力）をエンコードすることによって複数の向上層エンコードされたビットストリーム信号を得る段階；および
第三の組の規則に従って、少なくとも一つの第二の向上層信号（３４４）を参照処理することによって第二の複数の参照処理信号（３６２）を得る段階を含む、
向上層処理とを含む、
方法。
【請求項２】
前記少なくとも一つの入力画像またはビデオ・フレーム（３０２、３０４）が複数のビューの画像またはビデオ・フレームである、請求項１記載の多層式エンコード方法。
【請求項３】
前記複数のビューが第一のビューおよび第二のビュー（３０２、３０４）である、請求項２記載の多層式エンコード方法。
【請求項４】
前記少なくとも一つの第一のより低解像度の画像またはビデオ・フレーム（３１６入力）が、前記第一のビューおよび前記第二のビューの画像またはビデオ・フレーム（３０２、３０４）を基本層フィルタリング（３０６）、基本層サブサンプリング（３１０）および基本層3D多重化（３１４）することによって得られる少なくとも一つのフレーム互換な画像またはビデオ・フレームを含む、請求項３記載の多層式エンコード方法。
【請求項５】
前記基本操作部サンプリングが水平方向、垂直方向または五の目状サブサンプリングを含む、請求項４記載の多層式エンコード方法。
【請求項６】
前記基本層サブサンプリングが前記二つのビューについて少なくとも一つの次元方向において不均等な品質を与える、請求項４記載の多層式エンコード方法。
【請求項７】
一方のビューが、少なくとも一つの第一の次元方向では他方のビューより低い解像度に、だが少なくとも一つの第二の次元方向ではより高い解像度にサブサンプリングされる、請求項６記載の多層式エンコード方法。
【請求項８】
前記基本層フィルタリングが前記第一のビューおよび前記第二のビューのすべての画像またはビデオ・フレーム（３０２、３０４）について固定されている、請求項４ないし７のうちいずれか一項記載の多層式エンコード方法。
【請求項９】
前記基本層フィルタリングが前記第一のビューおよび前記第二のビューの画像またはビデオ・フレーム（３０２、３０４）の空間的または時間的領域の少なくとも一つの特徴に依存する、請求項４ないし８のうちいずれか一項記載の多層式エンコード方法。
【請求項１０】
前記基本層3D多重化（３１４）が隣り合わせ配置、上下配置、行インターリーブ配置、列インターリーブまたはチェッカーボード配置である、請求項４ないし９のうちいずれか一項記載の多層式エンコード方法。
【請求項１１】
前記基本層のエンコードされたビットストリーム信号（３５８）が、前記複数の既存のビデオ符号化標準およびコーデックの一つに準拠するデコーダによってデコード可能である、請求項４ないし１０のうちいずれか一項記載の多層式エンコード方法。
【請求項１２】
前記少なくとも一つのフレーム互換な画像またはビデオ・フレーム（３１６入力）のエンコードがさらに、複数の既存の色およびサンプリング・フォーマットの一つを用いてエンコードすることを含む、請求項４ないし１１のうちいずれか一項記載の多層式エンコード方法。
【請求項１３】
前記複数の既存の色およびサンプリング・フォーマットがYUV4:0:0、YUV4:2:2、YUV4:4:4、RGBおよびXYZを含む、請求項１２記載の多層式エンコード方法。
【請求項１４】
前記基本層サブサンプリングが、前記複数の既存のビデオ符号化標準およびコーデックの一つまたは前記複数の既存の色およびサンプリング・フォーマットの一つに従うビット深さ精度を与える、請求項１１ないし１３のうちいずれか一項記載の多層式エンコード方法。
【請求項１５】
前記向上層サブサンプリングが前記基本層サブサンプリングより高いビット深さ精度を与える、請求項１１ないし１３のうちいずれか一項記載の多層式エンコード方法。
【請求項１６】
複数の向上層ビットストリーム信号をデコーダに提供する段階をさらに含む、請求項１ないし１５のうちいずれか一項記載の多層式エンコード方法であって、前記複数の向上層ビットストリーム信号は前記第一の複数の参照処理信号（３２２）、前記複数の向上層エンコードされたビットストリーム信号および前記第二の複数の参照処理信号を含む、方法。
【請求項１７】
前記少なくとも一つの第二のより低い解像度の画像またはビデオ・フレーム（３３８入力）のエンコードがさらに、前記少なくとも一つの第一のより低い解像度の画像またはビデオ・フレーム（３１４入力）のエンコードによって生成された少なくとも一つの再構成された画像またはビデオ・フレームを参照として使うことを含む、請求項１ないし１６のうちいずれか一項記載の多層式エンコード方法。
【請求項１８】
前記少なくとも一つの基本層信号（３５６）を第四の組の規則に従って参照処理することによって、少なくとも一つの第三の参照処理された画像またはビデオ（５０６）を得ることをさらに含む、請求項１ないし１７のうちいずれか一項記載の多層式エンコード方法。
【請求項１９】
画像およびビデオ送達のための多層式エンコーダであって：
少なくとも一つの入力画像またはビデオ・フレームに適応された基本層処理器であって、複数の基本層エンコードされたビットストリーム信号（３５８）を出力するよう適応された基本層エンコーダ（３１４）を有する基本層処理器と；
少なくとも一つの入力画像またはビデオ・フレームに適応された少なくとも一つの向上層処理器であって、向上層エンコーダ（３３６）および少なくとも二つの参照処理ユニット（RPU）（３１８、３４６）を有する、向上層処理器とを有しており、
前記向上層エンコーダは、複数の向上層エンコードされたビットストリーム（３５４）を出力するよう適応され、
前記第一のRPU（３１８）は、第一の組の規則に従って、前記基本層エンコーダ（３１６）からの少なくとも一つの出力（３５６）または少なくとも一つの向上層信号を処理し、第一の複数の参照処理データ（３３２）および少なくとも一つの第一の参照処理された画像またはビデオ・フレーム（３２０）を出力するよう適応されており、
前記第二のRPU（３４６）は、第二の組の規則に従って、前記向上層エンコーダ（３３８）からの少なくとも一つの出力を処理し、第二の複数の参照処理データ（３６２）を出力するよう適応されている、
多層式エンコーダ。
【請求項２０】
複数仮説プロセスを使う多層式エンコーダであって：
第一層エンコーダ；
前記第一層エンコーダに結合された第一の参照処理ユニット（RPU）；
前記第一層エンコーダに結合された第二層エンコーダ；
前記第二層エンコーダに結合された第二のRPU；
前記第一のRPUおよび前記第二のRPUに結合された組み合わせ器；
前記組み合わせ器に結合された比較器；
前記第二層エンコーダおよび前記比較器に結合された第三層エンコーダ；および
前記第三層エンコーダに結合された第三のRPUを有しており、
前記組み合わせ器は、前記第一のRPUの出力および前記第二のRPUの出力の重み付けされた組み合わせによって、前記第三層エンコーダのための入力として予測画像を生成するよう適応されており；
前記比較器は、前記予測画像およびもとのビュー画像から残差画像を計算するよう適応されており；
前記第三層エンコーダは前記残差画像をエンコードするよう適応されている、
多層式エンコーダ。
【請求項２１】
画像およびビデオ送達のための多層式のデコード方法であって、
基本層を通じて複数の基本層エンコードされたビットストリーム信号（３５８）を基本層処理する段階を有しており、該基本層処理は：
前記複数の基本層エンコードされたビットストリーム信号（３５８）をデコードすることによって少なくとも一つの第一の低解像度の画像またはビデオ・フレーム（３４２の出力）を得る段階を含み、
当該方法は、
一つまたは複数の向上層を通じて複数の向上層ビットストリーム信号を向上層処理する段階を有しており、
前記複数の向上層ビットストリーム信号は：
複数の向上層エンコードされたビットストリーム信号（３５４）と、
第一の複数の参照処理信号（３２２）と、
第二の複数の参照処理信号（３６２）とを含み、
前記向上層処理は：
前記第一の複数の参照処理信号（３２２）および前記少なくとも一つの第一の低解像度の画像またはビデオ・フレーム（３４２の出力）を参照処理することによって少なくとも一つの第一の参照処理された画像またはビデオ・フレーム（３５２）を得る段階と；
前記複数の向上層エンコードされたビットストリーム信号（３５４）をデコードし、基本層信号（３４０の他方の入力）または向上層信号を処理することによって少なくとも一つの向上層デコードされた信号（３４０出力）を得る段階と；
前記第二の複数の参照処理信号（３６２）および前記少なくとも一つの向上層デコードされた信号（３４０出力）を参照処理することによって少なくとも一つの第二の参照処理された画像またはビデオ・フレーム（３５０）を得る段階と；
前記少なくとも一つの第一の参照処理された画像またはビデオ・フレーム（３５２）および前記少なくとも一つの第二の参照処理された画像またはビデオ・フレーム（３５０）を組み合わせることによって少なくとも一つのフル解像度の画像またはビデオ・フレームを得る段階とを含む、
多層式デコード方法。
【請求項２２】
画像およびビデオ送達のための多層式デコーダであって：
複数の基本層エンコードされたビットストリーム信号（３５８）をデコードするよう適応された少なくとも一つの基本層デコーダ（３４２）と；
複数の向上層ビットストリーム信号を処理するよう適応された少なくとも一つの向上層処理器とを有しており、
前記複数の向上層ビットストリーム信号は：
複数の向上層エンコードされたビットストリーム信号（３５４）と；
第一の複数の参照処理信号（３２２）と；
第二の複数の参照処理信号（３６２）とを有し；
前記向上層処理器は：
前記複数の向上層ビットストリーム信号をパース（parse）して前記複数の向上エンコードされたビットストリーム信号（３５４）をデコードするよう適応された向上層デコーダ（３４０）と；
前記第一の複数の参照処理信号（３２２）に従って、前記基本層デコーダ（３４２）からの出力において処理して少なくとも一つの第一の補間された再構成された画像またはビデオ・フレーム（３５２）を出力するよう適応された第一の参照処理ユニット（RPU）（３２４）と；
前記第二の複数の参照処理信号（３２２）に従って、前記向上層デコーダ（３４０）からの出力において処理して少なくとも一つの第二の補間された再構成された画像またはビデオ・フレーム（３５０）を出力するよう適応された第二のRPU（３４８）と；
前記少なくとも一つの第一の補間された再構成された画像またはビデオ（３５２）および前記少なくとも一つの第二の補間された再構成された画像またはビデオ・フレーム（３５０）を組み合わせて少なくとも一つのフル解像度の画像またはビデオ・フレーム（３６０）を得るよう適応された少なくとも一つの組み合わせ器とを有する、
多層式デコーダ。
【請求項２３】
複数仮説プロセスを使う多層式デコーダであって：
第一層デコーダと；
前記第一層デコーダに結合された第一の参照処理ユニット（RPU）と；
前記第一層デコーダに結合された第二層デコーダと；
前記第二層デコーダに結合された第二のRPUと；
前記第一のRPUおよび前記第二のRPUに結合された組み合わせ器と；
前記第二層エンコーダに結合された第三層エンコーダと；
前記第三層エンコーダに結合された第三のRPUと；
前記組み合わせ器および前記第三のRPUに結合された加算器とを有する、
多層式デコーダ。
【請求項２４】
画像またはビデオ送達の方法であって：
請求項１ないし２０のうち一つまたは複数に記載の方法に基づくエンコード・プロセスと；
請求項２１ないし２３のうち一つまたは複数に記載の方法に基づくデコード・プロセスとを含む、
方法。
【請求項２５】
画像またはビデオ送達システムであって：
請求項１ないし２１のうちいずれか一項記載の多層式エンコーダと；
請求項２１ないし２３のうちいずれか一項記載の多層式デコーダとを有する、
システム。
【請求項２６】
複数仮説を使うコーデック・システムであって：
請求項２２記載の多層式エンコーダと；
請求項２３記載の多層式デコーダとを有する、
システム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願への相互参照
本願はここに参照によって全体において組み込まれる2010年7月8日に出願された米国仮特許出願第61/362,661号の優先権を主張するものである。
【０００２】
技術
本開示は、画像処理およびビデオ圧縮に関する。より詳細には、本開示は、多層式の（multi-layered）画像およびビデオ送達のためのエンコードおよびデコード・システムおよび方法に関する。
【背景技術】
【０００３】
3Dでのいくつもの人気のある映画タイトルの公開により映画、素ポートおよび他の番組といった3Dコンテンツを家庭に送達する手法への需要が生じている。しかしながら、3Dを家庭に送達するには、いくつもの制約条件を考慮しなければならない。一つのそのような制約条件は、既存の（レガシー）ハードウェアおよびシステム・インフラストラクチャーとの後方互換性である。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
たとえば、2Dコンテンツに比べて最小限の追加帯域幅を消費しつつ既存のセットトップボックスを使って家庭のユーザーが3D画像およびビデオを閲覧できるようにする送達ソリューションがたいていのサービス・プロバイダーにとって魅力的なソリューションであろう。
【０００５】
以下の案件は参照によってここに組み込まれる。2010年4月20日に出願された国際特許出願第PCT/US2010/031762号（国際公開第WO2010/123909号、2009年4月20日公開）；2010年6月30日に出願された国際特許出願第PCT/US2010/040545号（国際公開第WO2011/005624号、2011年1月13日公開）；2010年4月20日に出願された国際特許出願第PCT/US2010/031693号（国際公開第WO2010/123855号、2010年10月28日公開）。
【課題を解決するための手段】
【０００６】
付属の図面は本明細書に組み込まれてその一部をなすものであり、本開示の一つまたは複数の実施形態を示しており、例示的な実施形態の記述と相俟って、本開示の原理および実装を説明するはたらきをする。
【図面の簡単な説明】
【０００７】
【図１】フレーム互換なマルチビュー・ビデオ送達のための隣り合わせ（SbS:  side-by-side）パッキング配置を示す図である。
【図２】フレーム互換なマルチビュー・ビデオ送達のための上下（Over/Under）パッキング配置を示す図である。
【図３】本開示のある実施形態に基づく3D立体視ビデオ送達システムのブロック図である。
【図４】本開示の複数の実施形態に基づく、SbSフレーム・パッキングのための参照処理ユニット（RPU:  Reference  Processing  Unit）におけるピクセル複製フィルタの例を示す図である。
【図５】本開示の別の実施形態に基づく、基本層参照ピクチャを処理するために追加的なRPUを使う、3D立体視ビデオ送達システムのブロック図である。
【図６】本開示のある実施形態に基づく、RPUにおけるSbSアンパッキングのための種々のサンプリング・オフセットの使用を示す図である：（ａ）ビュー0はゼロ・オフセットを使い、ビュー1は1ピクセルの水平方向オフセットを使う、（ｂ）両方のビューがゼロ・オフセットを使う。
【図７】本開示のある実施形態に基づく、非3D画像／ビデオのスケーラブルかつ多層式の送達システムのブロック図である。
【図８】本開示のある実施形態に基づく、基本層参照ピクチャを処理するために追加的なRPUを含む非3D画像／ビデオのスケーラブルかつ多層式の送達システムのブロック図である。
【図９Ａ】本開示のある実施形態に基づく、二つ以上の向上層を使う多層式のマルチビュー・ビデオ符号化アーキテクチャを示す図の左半分である。
【図９Ｂ】本開示のある実施形態に基づく、二つ以上の向上層を使う多層式のマルチビュー・ビデオ符号化アーキテクチャを示す図の右半分である。
【図１０】本開示のある実施形態に基づく、二つ以上の向上層を使うフレーム互換な多層式の符号化アーキテクチャを示す図である。
【図１１】本開示のある実施形態に基づく、多層式のエンコードのための複数仮説参照生成を描く図である。
【図１２】本開示のある実施形態に基づく、多層式のエンコード／デコードのための複数仮説デコーダを描く図である。
【発明を実施するための形態】
【０００８】
本開示の第一の側面によれば、画像およびビデオ送達のための多層式の（multi-layered）エンコード方法が提供される。本多層式のエンコード方法は基本層を通じて少なくとも一つの入力画像またはビデオ・フレームを基本層処理する段階を有する。該基本層処理は、前記少なくとも一つの入力画像またはビデオ・フレームを処理することによって少なくとも一つの第一のより低解像度の画像またはビデオ・フレームを得る段階と、前記少なくとも一つの第一のより低解像度の画像またはビデオ・フレームをエンコードすることによって複数の基本層のエンコードされたビットストリーム信号を得る段階とを含む。本多層式のエンコード方法は一つまたは複数の向上層を通じて前記少なくとも一つの画像またはビデオ・フレームを向上層処理する段階を有する。該向上層処理は、少なくとも一つの基本層信号または少なくとも一つの第一の向上層信号を第一の組の規則に従って参照処理することによって第一の複数の参照処理信号および少なくとも一つの第一の参照処理された画像またはビデオ・フレームを得る段階と、前記少なくとも一つの第一の参照処理された画像またはビデオ・フレームおよび前記少なくとも一つの入力画像またはビデオ・フレームを第二の組の規則に従って処理することによって少なくとも一つの残差画像またはビデオ・フレームを得る段階と、前記少なくとも一つの残差画像またはビデオ・フレームを処理することによって少なくとも一つの第二のより低解像度画像またはビデオ・フレームを得る段階と、前記少なくとも一つの第二のより低解像度画像またはビデオ・フレームをエンコードすることによって複数の向上層エンコードされたビットストリーム信号を得る段階と、少なくとも一つの第二の向上層信号を第三の組の規則に従って参照処理することによって第二の複数の参照処理信号を得る段階とを含む。
【０００９】
本開示の第二の側面によれば、画像およびビデオ送達のための多層式の（multi-layered）エンコーダが提供される。本多層式のエンコーダは、少なくとも一つの入力画像またはビデオ・フレームに適応された基本層処理器を有する。該基本層処理器は、複数の基本層エンコードされたビットストリーム信号を出力するよう適応された基本層エンコーダと、少なくとも一つの入力画像またはビデオ・フレームに適応された少なくとも一つの向上層処理器とを有する。前記向上層処理器は、向上層エンコーダおよび少なくとも二つの参照処理ユニット（RPU:  reference  processing  unit）を有する。前記向上層エンコーダは、複数の向上層エンコードされたビットストリームを出力するよう適応され、前記第一のRPUは前記基本層エンコーダからの少なくとも一つの出力または少なくとも一つの向上層信号を処理するよう適応され、第一の複数の参照処理データおよび少なくとも一つの第一の参照処理された画像またはビデオ・フレームを第一の組の規則に従って出力するよう適応されており、前記第二のRPUは前記向上層エンコーダからの少なくとも一つの出力を処理し、第二の複数の参照処理データを第二の組の規則に従って出力するよう適応されている。
【００１０】
本開示の第三の側面によれば、複数仮説プロセスを使う多層式の（multi-layered）エンコーダが提供される。本多層式のエンコーダは、第一層エンコーダ、前記第一層エンコーダに結合された第一参照処理ユニット（RPU）、前記第一層エンコーダに結合された第二層エンコーダ、前記第二層エンコーダに結合された第二RPU、前記第一RPUおよび前記第二RPUに結合された組み合わせ器、前記組み合わせ器に結合された比較器、前記第二層エンコーダおよび前記比較器に結合された第三層エンコーダおよび前記第三層エンコーダに結合された第三RPUを有しており、前記組み合わせ器は、前記第一RPUの出力および前記第二RPUの出力の重み付けされた組み合わせによって、前記第三層エンコーダのための入力として予測画像を生成するよう適応されており、前記比較器は、前記予測画像およびもとのビュー画像から残差画像を計算するよう適応されており、前記第三層エンコーダは前記残差画像をエンコードするよう適応されている。
【００１１】
本開示の第四の側面によれば、画像およびビデオ送達のための多層式のデコード方法が提供される。本多層式のデコード方法は、基本層を通じて複数の基本層エンコードされたビットストリームを基本層処理する段階を有する。該基本層処理は、前記複数の基本層エンコードされたビットストリーム信号をデコードすることによって少なくとも一つの第一の低解像度画像またはビデオ・フレームを得る段階を有する。本多層式のデコード方法は、一つまたは複数の向上層を通じて複数の向上層ビットストリーム信号を向上層処理する段階を有する。前記複数の向上層ビットストリーム信号は、複数の向上層エンコードされたビットストリーム信号と、第一の複数の参照処理信号と、第二の複数の参照処理信号とを有し、前記向上層処理は、前記第一の複数の参照処理信号および前記少なくとも一つの第一の低解像度画像またはビデオ・フレームを参照処理して少なくとも一つの第一の参照処理された画像またはビデオ・フレームを得る段階と、前記複数の向上層エンコードされたビットストリーム信号をデコードし、基本層信号または向上層信号を処理することによって少なくとも一つの向上層デコードされた信号を得る段階と、前記第二の複数の参照処理信号および前記少なくとも一つの向上層デコードされた信号を参照処理することによって少なくとも一つの第二の参照処理された画像またはビデオ・フレームを得る段階と、前記少なくとも一つの第一の参照処理された画像またはビデオ・フレームおよび前記少なくとも一つの第二の参照処理された画像またはビデオ・フレームを組み合わせることによって少なくとも一つのフル解像度の画像またはビデオ・フレームを得る段階とを含む。
【００１２】
本開示の第五の側面によれば、画像およびビデオ送達のための多層式のデコーダが提供される。本多層式のデコーダは、複数の基本層エンコードされたビットストリーム信号をデコードするよう適応された少なくとも一つの基本層デコーダと、複数の向上層ビットストリーム信号を処理するよう適応された少なくとも一つの向上層処理器とを有する。前記複数の向上層ビットストリーム信号は、複数の向上層エンコードされたビットストリーム信号と、第一の複数の参照処理信号と、第二の複数の参照処理信号とを有し、前記向上層処理器は、前記複数の向上層ビットストリーム信号をパース（parse）して前記複数の向上エンコードされたビットストリーム信号をデコードするよう適応された向上層デコーダと、前記基本層デコーダからの出力において処理して少なくとも一つの第一の補間された再構成された画像またはビデオ・フレームを前記第一の複数の参照処理信号に従って出力するよう適応された第一参照処理ユニット（RPU）と、前記向上層デコーダからの出力において処理して少なくとも一つの第二の補間された再構成された画像またはビデオ・フレームを前記第二の複数の参照処理信号に従って出力するよう適応された第二RPUと、前記少なくとも一つの第一の補間された再構成された画像またはビデオおよび前記少なくとも一つの第二の補間された再構成された画像またはビデオ・フレームを組み合わせて少なくとも一つのフル解像度の画像またはビデオ・フレームを得るよう適応された少なくとも一つの組み合わせ器とを有する。
【００１３】
本開示の第六の側面によれば、複数仮説プロセスを使う多層式デコーダであって、本多層式でコーダは、第一層デコーダと、前記第一層デコーダに結合された第一参照処理ユニット（RPU）と、前記第一層デコーダに結合された第二層デコーダと、前記第二層デコーダに結合された第二RPUと、前記第一RPUおよび前記第二RPUに結合された組み合わせ器と、前記第二層エンコーダに結合された第三層エンコーダと、前記第三層エンコーダに結合された第三RPUと、前記組み合わせ器および前記第三RPUに結合された加算器とを有する。
【００１４】
後方互換の3Dビデオ送達システムは、既存のまたはレガシーの2Dビデオ・ハードウェアおよびシステムを通じて家庭または他の会場に3Dビデオを送達しうる。フレーム互換な3Dビデオ・システムは、そのような後方互換な送達アーキテクチャを提供する。付録Ｂ参照。その場合、基本層が隣り合わせ（SbS）、上下（OU）またはチェッカーボード（CB）のような「フレーム互換」フォーマットで配置された左眼および右眼の低解像度バージョンを提供する層構造のアプローチを使うことができる。もとのフル解像度のビューは、水平、垂直、五の目状（quincunx）サンプリングなどといった多様な技法を使ってフィルタリングおよびサンプリングされうる。たとえば、図１はフレーム互換なマルチビュー・ビデオ送達のためのSbSパッキングを示しており、図２はフレーム互換なマルチビュー・ビデオ送達のためのOUパッキングを示している。
【００１５】
一つまたは向上層が、将来のフル解像度デコーダが両方のビューをフル解像度でデコードできるよう、後方互換な仕方で同じビットストリームに埋め込まれることができる。スケーラブルな3Dビデオ送達のための一つのそのような方式が付録Ｂにおいて提案されている。
【００１６】
本開示は、その方式への、パフォーマンスを改善するまたは異なる特性をもつ代替的な実装を提供する拡張を提案する。たとえば、わずかな修正で既存のデコーダ・アーキテクチャが同様の向上を実行できるようにする。本方式は、2D画像およびビデオの空間的にスケーラブルな送達を得るためにも適用でき、SNR／品質、時間的、ビット深さなどといった他の形のスケーラビリティを提供するために、あるいは二つ以上のビューを含みうる一般的なマルチビュー・ビデオ符号化のために適応されることができる。
【００１７】
図３は、本開示のある実施形態に基づく3D立体視ビデオ送達システム（３００）のブロック図である。この実施形態によれば、エンコードされるべきもとの左（３０２）および右（３０４）目のビューがまず、それぞれフィルタF1L（３０６）およびF1Rを使ってフィルタリングされ、次いでダウンサンプリング器（３１０、３１２）を使ってサブサンプリングされて、半分の解像度の左眼および右眼ビューが得られる。本開示の他の実施形態によれば、フィルタリングおよびサブサンプリングは水平、垂直、五の目状などのサブサンプリング方式のいずれに関係してもよい。また、ダウンサンプリング・フィルタはシーケンス全体にわたって固定であってもよいし、あるいは特定の空間的および／または時間的な領域の特性に基づいて適応されてもよい。たとえば、テクスチャまたは動きの多い領域は、テクスチャまたは動きの少ない領域より強いフィルタリングを使ってもよい。ステレオ・マスキングをよりよく活用するために反対のビューにおいて対応する領域において、エンコーダまたはデコーダにおける異なるフィルタリングが適用されてもよい。フィルタリングされたサンプルは、要件およびコーデックによってサポートされるピクセル精度を与えられたもとで、いかなる適切な精度に量子化／変調されてもよい。デコーダは、何らかの処理を適用する前に、もとのフィルタリングされたサンプルを導出するよう逆量子化／復調をも提供する。
【００１８】
図３に示した実施形態によれば、サブサンプリングされた画像は次いで3D  Muxモジュール（３１４）で多重化され、モジュール３１４は隣り合わせ、上下、行インターリーブ、列インターリーブ、チェッカーボードなどのデータ配置の任意のものを実行してフレーム互換な画像シーケンスを形成してもよい。
【００１９】
また、本開示の他の実施形態では、追加的な「普通でない」サブサンプリング技法および配置が使用されてもよい。たとえば、一方のビューを他方より低い解像度（垂直方向または水平方向または両方）にサブサンプリングして、異なるビューについて、一つまたは複数の方向において不均等な品質を与えるなどである。一つのそのような実施形態では、ある方向では一方のビューが他方のビューより高い解像度でサブサンプリングされるが、別の方向では他方のビューより低い解像度でサブサンプリングされてもよい。
【００２０】
図３に示した実施形態によれば、結果として得られるフレーム互換な画像はビデオ・エンコーダ（３１６）を使ってエンコードされる。これは、MPEG-2、H.264/AVC/MPEG-4  Part  10、VC1、VP6、VP7およびVP8などといった既存のビデオ符号化標準およびコーデックや次世代のビデオ符号化標準およびコーデックと互換であってもよい。コーデックはYUV4:0:0、4:2:0、4:2:2および4:4:4、RGB、XYZまたはその他といったいかなる入力色およびサンプリング・フォーマットをサポートしていてもよく、任意のビット深さ精度をサポートできる。層と層の間で異なるフォーマットおよび／または精度がサポートされることができる。本開示のあるさらなる実施形態では、エンコーダ（３１６）の出力ビットストリームは、同じ標準に準拠する既存のデコーダによってデコード可能であるべきである。別の実施形態では、各層のビットストリームおよびRPUデータが統合されて単一層ビットストリームをなし、方式全体が一つのコーデックとして扱われてもよい。
【００２１】
図３に示した実施形態によれば、エンコーダ（３１６）からの再構成された出力ピクチャは次いで領域処理ユニット（Regional  Processing  Unit）（３１８）（RPU1）（参照処理ユニットともいう。ただし、参照という定義はこのピクチャが全符号化プロセスのうちで参照として明示的に使われることを含意するわけではない）に入力される。RPUは付録ＡおよびＢにおいて記述される。RPUの以下の記述は、特に断りのない限り、エンコーダのRPUおよびデコーダのRPUの両方にあてはまる。当業者は本開示を読めば、エンコーダ固有、デコーダ固有および一般的なRPUの記述、機能およびプロセスを理解し、それらの間の区別ができるであろう。図３に示した実施形態のようなフレーム互換な3D符号化システムのコンテキスト内では、RPU（３１８）は低解像度デコードされた3D画像を得て、種々のRPUフィルタを選択する一組の規則に従って、その画像を補間してもとの高解像度の左眼および右眼ビューの予測（３２０）を得る。
【００２２】
RPUは補間プロセスが領域レベルで適応的であることを可能にする。ここで、ピクチャ／シーケンスの各領域はその領域の特性に従って補間される。RPU内で適用される可能な領域依存のフィルタには、水平方向、垂直方向または2Dフィルタ、エッジ適応性または周波数ベースのフィルタや、ピクセル複製フィルタまたは補間のために使われる他の方法がありうる。
【００２３】
たとえば、一つのピクセル複製フィルタは単にゼロ次ホールド（zero-order-hold）を実行する。すなわち、補間された画像における各サンプルは低解像度画像における隣のサンプルの値に等しい。別のピクセル複製フィルタはビュー間コピー（cross-view  copy）動作を実行してもよい。すなわち、あるビューにおける各補間されたサンプルは、相手のビューからの補間されていない共位置のサンプルに等しい。もう一つのオプションは、単に補間されたサンプルにゼロの値を割り当てる「ゼロ・フィルタ（zero  filter）」である。
【００２４】
本開示のもう一つの実施形態によれば、「視差補償されたコピー」方式もRPUにおいて使用されることができる。この実施形態によれば、フィルタは、共位置でない領域の諸サンプルをコピーしてもよい。ここで、コピーされる領域の位置は、異なるビューからの領域であってもよく、視差ベクトル（disparity  vector）を使って指定されることができる。視差ベクトルは、整数またはサブピクセルの精度を使って指定されることができ、単純な、たとえば並進動きパラメータまたはたとえばアフィン（affine）または透視（perspective）動き情報のようなより複雑な動きモデルに関わってもよい。
【００２５】
図３のエンコーダ（３１０）におけるRPU1フィルタ選択プロセスは、デコーダにおいてRPU1（３２４）に入力データ（３２２）として与えられる領域処理信号（３２２）を出力する。信号伝達（signaling）がフィルタリング方法を領域毎に指定する。ここで、領域の数、サイズ、形などといったパラメータがRPUデータ・ヘッダにおいて指定される。フィルタのいくつかは固定したフィルタ係数から構成されてもよく、その場合、フィルタ係数はRPUによって明示的に信号伝達される必要はない。あるいはいくつかのフィルタ・モードは、係数値、水平／垂直タップの数などといったフィルタ・パラメータが明示的に信号伝達されることを要求する明示モードであってもよい。
【００２６】
フィルタは、各色成分毎に指定されてもよい。線形フィルタに加えて、エッジ適応性フィルタのような非線形フィルタ、二側面（bi-lateral）フィルタなどといった非線形フィルタがRPUにおいて指定されてもよい。一方、アフィンまたは透視動きモデルのような高度な動き補償方法を指定するモデルを含むより高度な予測モデルが信号伝達されてもよい。
【００２７】
図３のRPU1（３１８）からの予測された画像（３２０）は次いで、一組の規則に従ってもとの左（３０２）および右（３０４）の目のビューと「比較」され、予測誤差（３２６）がフィルタF2L（３３０）およびF2R（３３２）を使ってフィルタリングおよびサブサンプリングされ、任意的に、目標コーデックによってサポートされる適切なピクセル精度内に収まるようインクリメントされ、量子化される。図３に示した実施形態によれば、比較は差分計算（３２８）であることができ、RPU1に予測された画像（３２０）ともとの画像（３０２、３０４）の間の残差（３２６）が得られる。種々の実施形態において、RPU1により処理された画像と「残差」画像をもとの画像に関係付ける線形または非線形な関数が想定されてもよい。そのような関数は単純な減算であってもよく、あるいは他の何らかの線形または非線形な変換、たとえば比計算に関わっていてもよい。図３では各ビューからのRPU1により予測された画像（３２０）が別個の画像として扱われているが、別の実施形態では、それらは計算の目的のために一つの画像として扱われてもよいことを注意しておく。F2におけるフィルタ（３２８、３３０）およびサブサンプリング方式（３３４）は層１におけるものとは異なっていてもよく、各空間的および時間的領域について適応的であってもよい。
【００２８】
図３に示した実施形態によれば、フィルタリングおよびサブサンプリングされた画像は次いで、向上層の「3D  Mux」モジュール（３３６）によって改めて多重化され、層２ビデオ・エンコーダ（３３８）への入力が得られる。あるさらなる実施形態では、エンコーダにおけるRPU1（３１８）のプロセスは、出力として相補的な（complementary）位置（基本層画像を生成するために間引きされた位置など）からのサンプルを提供するだけであってもよい。そのような実施形態では、そうしたサンプルともとのビューとの間の残差は多重化され、層２エンコーダ（３３８）に入力されることができ、層２エンコードにおける追加のフィルタリング（３３０、３３２）およびサブサンプリング（３３４）プロセスが避けられる。層２エンコーダ（３３８）およびデコーダ（３４０）は層１エンコーダ（３１６）およびデコーダ（３４２）と同様である必要はない。
【００２９】
層２エンコーダ（３３８）の再構成された出力ピクチャ（３４４）がRPU2（３４６）に入力される。エンコーダにおけるRPU2（３４６）は領域レベルで最適化を実行して、層２からの再構成されたピクチャ（３４４）について最適な上方変換方式を決定する。デコーダにおけるRPU2（３４８）からの出力画像（３５０）がデコーダにおけるRPU1（３２４）からの出力画像（３５２）と組み合わされるとき、組み合わされた画像品質が向上される。RPU2（３４６）の領域ベースのフィルタはRPU1（３１８）について上述した形のいずれを取ってもよい。関連する信号（３６２）は向上層ビットストリームにおいてデコーダに送信される。このビットストリームは層２からのエンコードされたビットストリーム（３５４）のほかRPU1信号伝達（３２２）をも含む。あるさらなる実施形態では、層１におけるエンコードされたサンプルと層２におけるエンコードされるべきサンプルとの間の高い相関があってもよいので、層１エンコーダ（３１６）からの再構成されたピクチャ（３５６）は層２についてのビデオ・エンコーダ（３３８）の参照ピクチャ・バッファにおいて参照として使用されてもよいことを注意しておく。それにより層２のいくつかの領域が空間的／時間的予測のために層１の領域を参照することが許容される。あるさらなる実施形態によれば、RPU（３１８、３４６）は、輪郭生成（contouring）／帯発生（banding）アーチファクトを減らし、最終的な再構成された信号（３６０）の知覚的な品質を改善するために、RPU処理された画像（３２０）にディザリング処理を実行したり、コンフォート・ノイズを導入したりしてもよい。
【００３０】
図５は、本開示のもう一つの実施形態に基づく、3D立体視ビデオ送達システム（５００）のブロック図を示している。特に、図５に示される実施形態によれば、前の層からの参照（５０４）が、層２エンコーダ（５０８）の参照ピクチャ・バッファに入力される（５０６）のに先立って、付録ＡおよびＢに示すように、RPUベースの技法を使って処理されてもよい。さらに、マクロブロック・モード動きベクトルなどが層１エンコーダ（５０２）から層２エンコーダ（５０８）に渡されてもよい。ある実施形態では、層２は参照ピクチャ、マクロブロック・モード、動きベクトルなどのような層１情報を、層２エンコードの圧縮効率を改善するための予測子として使ってもよい。異なる実施形態では、層２の画像は層１とは独立にエンコードされてもよい。これにより、簡略化されたデコーダ実装が許容される。その場合でも、層１情報はやはり層２エンコーダのエンコード決定を初期化するために使われてもよいことを注意しておく。それにより層２エンコードの計算量が軽減される。
【００３１】
RPUにおけるアップサンプリング・プロセスは左眼および右眼のための異なるサンプリング・オフセット、エンコード／デコードされるべき層に依存する、異なる色成分についての異なるサンプリング・オフセット、また各ピクチャについての異なるサンプリング・オフセットを使ってもよい。したがって、サンプリング・オフセット情報もRPUにおいて指定される。図６は、低解像度の再構成された画像をSbS方式でフル解像度に補間するときに、各ビューにおいて使用できるサンプリング・オフセットの二つの例を示している。非整数サンプル・オフセットを含む追加的なサンプリング・オフセットも信号伝達されてもよい。サンプリング・オフセットにおける同様の違いは、他のサンプリング配置についても生じることができる。
【００３２】
提案されるシステムのためのデコード・プロセスは比較的簡単である。図３の基本層（層１）デコーダ（３４２）は層１ビットストリーム（３５８）をデコードする。このビットストリームはそれ自身で、レガシー・デコーダおよび既存の3Dディスプレイを使って3Dで表示できるフレーム互換出力を与える。向上層デコーダ（３４０）は、層２エンコードされたビットストリーム（３５４）のほかRPU1およびRPU2信号伝達データ（３２２、３６２）を含む向上層ビットストリームをパースする。各層のデコードされた出力は次いで対応するRPU（３２４、３４８）に入力され、補間された再構成されたビューL1、R1（３５２）およびL2、R2（３５０）が得られる。出力のフル解像度（FR:  full  resolution）の左および右のビュー（３６０）は、RPU処理された左および右の画像のそれぞれを一緒に組み合わせることによって得られる。本開示のある実施形態では、向上層デコーダは、組み合わせプロセスの前に、RPU処理された左および右の画像の変換を実行する。さらなる諸実施形態によれば、そのような変換はオフセット調整、精度調整およびスケーリングであってもよい。たとえば、本開示のある実施形態によれば、向上層デコーダは、この変換プロセスにおいて、RPU処理された左および右の画像のピクセル値から128のようなオフセットを減算する。もう一つの実施形態では、向上層デコーダはRPU処理された左および右の画像を倍率2によりスケーリングする。RPUまたは別個のユニットがそのような変換を実行しうる。もう一つの実施形態では、デコーダは、輪郭生成（contouring）／帯発生（banding）アーチファクトを減らし、最終的な再構成された信号（３６０）の知覚的な品質を改善するために、RPU処理された画像にディザリング処理を実行したり、コンフォート・ノイズを導入したりしてもよい。そのようなディザ・プロセスはRPU（３２４、３４８）によって実行されてもよい。
【００３３】
図７および図８に示されるように、同じ概念が、非3Dの画像／ビデオのスケーラブルかつ多層式の送達のために適用されることもできる。図７および図８に示される実施形態によれば、もとの画像がフィルタリングおよびサブサンプリングされ、低解像度画像が得られ、それが次いで基本層エンコーダ（７０２、８０２）においてエンコードされる。層１の再構成された画像は次いで、RPU1（７０４、８０４）を使ってフル解像度に補間され、もとの画像と比較されて、層２のための「残差」画像が得られる。上述したように、比較は単純な減算であってもよいし、あるいは比計算のような他の何らかの線形または非線形変換に関わるものであってもよい。これらの画像はフィルタリングおよびサブサンプリングされ、層２エンコーダ（７０６、８０６）においてエンコードされる。デコード・プロセスも3Dビデオについての先の場合と同様であり、二つの層が、各層をデコードしたのち、後処理ユニット内で組み合わされることができる。また、この場合、先述したような3D立体視ビデオ符号化の場合と同様、各層は異なる空間的または時間的分解能でエンコードされてもよい。それにより本システムによって与えられるスケーラビリティのさらなる柔軟性が許容される。
【００３４】
本開示のさらなる実施形態によれば、RPUデータ信号伝達はエンコードされたビットストリームに埋め込まれることもできるし、デコーダに別個に伝送されることもできる。ある実施形態では、RPUデータは、RPU処理が実行される層とともに信号伝達される。別の実施形態では、すべての層のRPUデータが、層２エンコードされたデータの前またはあとにビットストリーム内に埋め込まれる一つのRPUデータ・パケット内で信号伝達される。また、RPUデータの提供は所与の層について任意的であってもよく、RPUデータが利用可能でない場合には、その層の上方変換のためにデフォルト方式が使用されることができることを注意しておく。同様に、向上層エンコードされたビットストリームの提供も任意的である。
【００３５】
提案されるアーキテクチャは、各RPUにおけるフィルタおよびフィルタ処理される領域を最適に選択する複数の可能な方法を許容する。最適なRPU選択を決定することにおいて、いくつかの基準が別個に、あるいは連携して使用されてもよい。それらのうちには、基本層ビットストリームのデコード品質、向上層ビットストリームのデコード品質、RPUデータを含む各層のエンコードのために必要とされるビットレートおよびデータのデコードおよびRPU処理の複雑さがある。
【００３６】
ある実施形態では、最適化は、RPU1の最適化が向上層におけるその後の処理とは独立であるように実行されてもよい。その場合、ある実施形態では、RPU1のための最適フィルタ選択は、補間される基本層画像ともとの左眼および右眼画像の間の予測誤差が、ビットレートおよびフィルタ複雑さのような他の制約条件のもとで最小化されるよう、決定されてもよい。
【００３７】
もう一つの実施形態では、RPU1のためのフィルタ選択は、システムのパフォーマンスをさらに高めるために、付録Ｃに記載される方法と同様のF1LおよびF1Rのためのフィルタ選択と組み合わされてもよい。同様に、RPU2の最適化は、RPU1の最適化とは独立に、フル解像度のデコードされた画像の歪みがシステム制約条件のもとで最小化されるよう、実行されることができる。
【００３８】
しかしながら、ある実施形態では、RPU1のために選択された諸フィルタおよび層１の符号化のために使われる他のエンコーダ・パラメータは、エンコーダにおけるフィルタ選択の複雑さが軽減されるよう、RPU2のためのより小さなフィルタ探索集合を初期化するために使用されてもよい。もう一つの実施形態では、RPU2またはRPU1または両方が、各ビットストリームをエンコードする前に適用されることのできる「開ループ」方式でそれぞれ層２および層１の事前エンコードされた（pre-encoded）画像を使って最適されてもよい。
【００３９】
もう一つの実施形態では、システム全体のパフォーマンスを制約条件のもとで改善するために、各層のエンコードならびに層１および層２の両方のRPUフィルタ選択が合同して最適化されてもよい。その場合、まずRPU1を最適化し、次いでRPU1において選択されたフィルタのもとでRPU2を最適化し、次いでRPU2において選択されたフィルタのもとでRPU1を改めて最適し、などとする逐次反復プロセスが使われてもよい。
【００４０】
提案されるアーキテクチャは、追加的な向上層の符号化および送信を可能にするために拡張されることもできる。するとそれは、マルチビュー（二つより多いビュー）アプリケーションおよびマルチビュー・アプリケーションおよび単一ビューにおけるスケーラビリティの複数のレベルを可能にするために使用できる。図９は、本開示のある実施形態に基づく、複数ビューに本アーキテクチャを拡張するための一つの方法を示している。その実施形態によれば、再構成されたピクチャのような情報が最初の二つの層のエンコーダ／デコーダから、その後の二つの層のエンコーダ／デコーダにおける対応する層に渡される。
【００４１】
もう一つの実施形態では、参照ピクチャが、たとえばビュー間の視差や各層のビュー間の異なる三プリンツ位置を考慮に入れるようさらに処理されてもよい。これは、一つだけの、または奇数個の追加的なビューが使用される場合にも拡張できることを注意しておく。その場合、一つの追加的なエンコーダ／デコーダが必要とされるだけである。
【００４２】
図１０は、本開示のある実施形態に基づく、本方式を追加的な層に拡張する技法を示している。図１０に示した実施形態によれば、最初の二つの層は、該最初の二つの層をデコードしたのちに残差情報をエンコードする第三の層より低い解像度のエンコーダを使用してもよい。もう一つの実施形態では、エンコード解像度はすべての層において同じままであってもよい。
【００４３】
本開示のもう一つの実施形態によれば、異なるビューは異なる予測プロセスまたは異なる仮説プロセスを使ってエンコードおよびデコードされてもよい。すなわち、第一のビューはある予測（仮説）プロセスを使ってエンコードおよびデコードされ、第二または第三のビューは別の予測（仮説）プロセスを使ってエンコードおよびデコードされる。複数の予測または複数仮説プロセスを使うコーデック・システムは、二つ以上の仮説プロセスを別個に、または仮説プロセスを線形または非線形に組み合わせることによって合同して、使うことができる。図１１および図１２は、複数仮説プロセスを使う多層式符号化のためのある実施形態を示している。本実施形態によれば、層１および層２のエンコーダのデコードされたRPU処理された出力は、重み付けされた組み合わせを使って組み合わされて、層３エンコーダへの入力のための予測を生成する。重みは明示的または暗黙的に指定されてもよく、明示的な場合、組み合わせの重みも層３ビットストリームとともにデコーダに送られる。すると、層３は、層１および層２からの予測に対して（relative  to）符号化されるべきビューについての残差情報をエンコードする。
【００４４】
同様に、デコーダでは、層１および層２のデコードされた出力が組み合わされ、次いで層３のデコードされた出力がその結果に加えられて、最終的なデコードされたビューが得られる。先述したように、異なる実施形態では、層３のための残差画像を生成するために、層１および層２のデータが層３のデータと、線形／非線形フィルタなど、減算／加算とは異なる仕方で組み合わされてもよい。
【００４５】
本開示に記載される方法およびシステムはハードウェア、ソフトウェア、ファームウェアまたはそれらの組み合わせにおいて実装されてもよい。ブロック、モジュールまたはコンポーネントとして記載される特徴は一緒に（たとえば集積論理デバイスのような論理デバイスにおいて）または別個に（たとえば別個の接続された論理デバイスとして）実装されてもよい。本開示の方法のソフトウェア部分は、実行されたときに少なくとも部分的に記載される方法を実行する命令を有するコンピュータ可読媒体を含んでいてもよい。コンピュータ可読媒体はたとえば、ランダム・アクセス・メモリ（RAM）および／または読み出し専用メモリ（ROM）を含んでいてもよい。命令はプロセッサ（たとえば、デジタル信号プロセッサ（DSP）、特定用途向け集積回路（ASIC）またはフィールド・プログラム可能論理アレイ（FPGA））によって実行されてもよい。
【００４６】
本明細書において言及されるあらゆる特許および刊行物は、本開示が関係する当業者のレベルを示すことがありうる。本開示において引用されるあらゆる文献は、各文献が個々にその全体において参照によって組み込まれているかと同じように参照によって組み込まれる。
【００４７】
上記の例は、本開示の参照処理信号を使った多層式の画像およびビデオ送達のためのシステムおよび方法の実施形態をいかにして作成し、利用するかの完全な開示および記述を当業者に与えるために提供されており、発明者がその開示と見なすものの範囲を限定することを意図したものではない。本開示を実行するための上記の態様の修正が当業者によって使用されてもよく、以下の請求項の範囲内であることが意図されている。本明細書において言及されるあらゆる特許および刊行物は、本開示が関係する当業者のレベルを示すことがありうる。本開示において引用されるあらゆる文献は、各文献が個々にその全体において参照によって組み込まれているかと同じように参照によって組み込まれる。
【００４８】
本開示が特定の方法またはシステムに限定されないことは理解しておくべきである。具体的な方法やシステムが変わりうることはもちろんである。また、本稿で使われる用語は単に個別的な実施形態を説明するためのものであり、限定することは意図していないことも理解しておくべきである。本稿および付属の請求項での用法では、単数形の表現は、内容が明確にそうでないことを指定するのでない限り、複数の参照物をも含む。用語「複数」は、内容が明確に層でないことを示すのでない限り、二つ以上の参照物を示す。特段の定義がされていない限り、本稿で使われるすべての科学技術用語は当業者によって普通に理解されるのと同じ意味をもつ。
【００４９】
よって、本発明のある実施形態は、以下に記載される例示的な実施形態の一つまたは複数に関係しうる。
【００５０】
よって、本発明は、本稿に記載される形のいずれにおいて具現されてもよい。それは、これに限定されるものではないが、本発明のいくつかの部分の構造、特徴および機能を述べる以下の付番実施例（EEE:  Enumerated  Example  Embodiment）を含む。
【００５１】
よって、本発明のある実施形態は、以下に記載される例示的な実施形態の一つまたは複数に関係しうる。
【実施例】
【００５２】
〔ＥＥＥ１〕画像およびビデオ送達のための多層式（multi-layered）エンコード方法であって：
基本層を通じて少なくとも一つの入力画像またはビデオ・フレーム（３０２、３０４）を基本層処理する段階であって、該基本層処理は：
前記少なくとも一つの入力画像またはビデオ・フレーム（３０２、３０４）を処理することによって少なくとも一つの第一のより低解像度の画像またはビデオ・フレーム（３１６入力）を得る段階；および
前記少なくとも一つの第一のより低解像度の画像またはビデオ・フレーム（３１４入力）をエンコードすることによって複数の基本層のエンコードされたビットストリーム信号（３５８）を得る段階を含む、基本層処理と；
一つまたは複数の向上層を通じて前記少なくとも一つの画像またはビデオ・フレーム（３０２、３０４）を向上層処理する段階であって、該向上層処理は：
少なくとも一つの基本層信号（３５６）または少なくとも一つの第一の向上層信号を第一の組の規則に従って参照処理することによって第一の複数の参照処理信号（３２２）および少なくとも一つの第一の参照処理された画像またはビデオ・フレーム（３２０）を得る段階；
前記少なくとも一つの第一の参照処理された画像またはビデオ・フレーム（３２０）および前記少なくとも一つの入力画像またはビデオ・フレーム（３０２、３０４）を第二の組の規則に従って処理することによって少なくとも一つの残差画像またはビデオ・フレーム（３２６）を得る段階；
前記少なくとも一つの残差画像またはビデオ・フレーム（３２６）を処理することによって少なくとも一つの第二のより低解像度画像またはビデオ・フレーム（３３８入力）を得る段階；
前記少なくとも一つの第二のより低解像度画像またはビデオ・フレーム（３３８入力）をエンコードすることによって複数の向上層エンコードされたビットストリーム信号を得る段階；および
少なくとも一つの第二の向上層信号（３４４）を第三の組の規則に従って参照処理することによって第二の複数の参照処理信号（３６２）を得る段階を含む、
向上層処理とを含む、
方法。
〔ＥＥＥ２〕前記少なくとも一つの入力画像またはビデオ・フレーム（３０２、３０４）が複数のビューの画像またはビデオ・フレームである、付番実施例１記載の多層式エンコード方法。
〔ＥＥＥ３〕前記複数のビューが第一のビューおよび第二のビュー（３０２、３０４）である、付番実施例２記載の多層式エンコード方法。
〔ＥＥＥ４〕前記少なくとも一つの第一のより低解像度の画像またはビデオ・フレーム（３１６入力）が、前記第一のビューおよび前記第二のビューの画像またはビデオ・フレーム（３０２、３０４）を基本層フィルタリング（３０６）、基本層サブサンプリング（３１０）および基本層3D多重化（３１４）することによって得られる少なくとも一つのフレーム互換な画像またはビデオ・フレームである、付番実施例３記載の多層式エンコード方法。
〔ＥＥＥ５〕前記基本操作部サンプリングが水平方向、垂直方向または五の目状サブサンプリングである、付番実施例４記載の多層式エンコード方法。
〔ＥＥＥ６〕前記基本層サブサンプリングが前記二つのビューについて少なくとも一つの次元方向において不均等な品質を与える、付番実施例４記載の多層式エンコード方法。
〔ＥＥＥ７〕一方のビューが、少なくとも一つの第一の次元方向では他方のビューより低い解像度に、だが少なくとも一つの第二の次元方向ではより高い解像度にサブサンプリングされる、付番実施例６記載の多層式エンコード方法。
〔ＥＥＥ８〕前記基本層フィルタリングが前記第一のビューおよび前記第二のビューのすべての画像またはビデオ・フレーム（３０２、３０４）について固定されている、付番実施例４ないし７のうちいずれか一項記載の多層式エンコード方法。
〔ＥＥＥ９〕前記基本層フィルタリングが前記第一のビューおよび前記第二のビューの画像またはビデオ・フレーム（３０２、３０４）の空間的または時間的領域の少なくとも一つの特徴に依存する、付番実施例４ないし８のうちいずれか一項記載の多層式エンコード方法。
〔ＥＥＥ１０〕前記基本層3D多重化（３１４）が隣り合わせ配置、上下配置、行インターリーブ配置、列インターリーブまたはチェッカーボード配置である、付番実施例４ないし９のうちいずれか一項記載の多層式エンコード方法。
〔ＥＥＥ１１〕前記基本層のエンコードされたビットストリーム信号（３５８）が、前記複数の既存のビデオ符号化標準およびコーデックの一つに準拠するデコーダによってデコード可能である、付番実施例４ないし１０のうちいずれか一項記載の多層式エンコード方法。
〔ＥＥＥ１２〕前記少なくとも一つのフレーム互換な画像またはビデオ・フレーム（３１６入力）のエンコードがさらに、複数の既存の色およびサンプリング・フォーマットの一つを用いてエンコードすることを含む、付番実施例４ないし１１のうちいずれか一項記載の多層式エンコード方法。
〔ＥＥＥ１３〕前記複数の既存の色およびサンプリング・フォーマットがYUV4:0:0、YUV4:2:2、YUV4:4:4、RGBおよびXYZを含む、付番実施例１２記載の多層式エンコード方法。
〔ＥＥＥ１４〕前記基本層サブサンプリングが、前記複数の既存のビデオ符号化標準およびコーデックの一つまたは前記複数の既存の色およびサンプリング・フォーマットの一つに従うビット深さ精度を与える、付番実施例１１ないし１３のうちいずれか一項記載の多層式エンコード方法。
〔ＥＥＥ１５〕前記向上層サブサンプリングが前記基本層サブサンプリングより高いビット深さ精度を与える、付番実施例１１ないし１３のうちいずれか一項記載の多層式エンコード方法。
〔ＥＥＥ１６〕前記少なくとも一つの基本層信号（３５６）が、基本層エンコーダ（３１６）からの少なくとも一つの再構成された出力ピクチャを含む、付番実施例４ないし１５のうちいずれか一項記載の多層式エンコード方法。
〔ＥＥＥ１７〕前記基本層エンコーダ（３１６）からの前記少なくとも一つの再構成された出力ピクチャが少なくとも一つの低解像度のデコードされた3D画像（３５６）を含む、付番実施例１６記載の多層式エンコード方法。
〔ＥＥＥ１８〕前記少なくとも一つの基本層信号（３５６）を参照処理することが、前記基本層信号（３５６）を補間することを含む、付番実施例４ないし１７のうちいずれか一項記載の多層式エンコード方法。
〔ＥＥＥ１９〕前記第一の組の規則が参照処理において少なくとも一つの領域依存のフィルタを選択し、適用することを含む、付番実施例４ないし１８のうちいずれか一項記載の多層式エンコード方法。
〔ＥＥＥ２０〕前記少なくとも一つの領域依存のフィルタが、水平方向フィルタ、垂直方向フィルタ、2Dフィルタ、エッジ適応性フィルタ、周波数ベースのフィルタおよびピクセル複製フィルタから選択される、付番実施例１９記載の多層式エンコード方法。
〔ＥＥＥ２１〕前記ピクセル複製フィルタがゼロ次ホールド（zero-order-hold）フィルタである、付番実施例２０記載の多層式エンコード方法。
〔ＥＥＥ２２〕前記ピクセル複製フィルタがビュー間コピー（cross-view  copy）フィルタである、付番実施例２０記載の多層式エンコード方法。
〔ＥＥＥ２３〕前記ピクセル複製フィルタが、交互のゼロおよび非ゼロ値をもつフィルタである、付番実施例２０記載の多層式エンコード方法。
〔ＥＥＥ２４〕前記第一の組の規則が視差補償されたコピーを含み、さらに非共位置のサンプルをコピーすることを含み、コピーされるべき領域の位置は視差ベクトルによって指定される、付番実施例４ないし１８のうちいずれか一項記載の多層式エンコード方法。
〔ＥＥＥ２５〕前記視差ベクトルが整数またはサブピクセルの精度を使って指定される、付番実施例２４記載の多層式エンコード方法。
〔ＥＥＥ２６〕前記第一の複数の参照処理信号（３２２）をデコーダの参照処理ユニット（３２４）のための入力データとして与えることをさらに含む、付番実施例４ないし２５のうちいずれか一項記載の多層式エンコード方法。
〔ＥＥＥ２７〕前記第一の複数の参照処理信号（３２２）が少なくとも一つの領域ベースのフィルタリング・パラメータを含む、付番実施例４ないし２６のうちいずれか一項記載の多層式エンコード方法。
〔ＥＥＥ２８〕前記少なくとも一つの領域ベースのフィルタリング・パラメータが、参照処理ユニット・データ・ヘッダにおいて指定されている領域の数、サイズ、形から選択される少なくとも一つのパラメータを含む、付番実施例２７記載の多層式エンコード方法。
〔ＥＥＥ２９〕前記少なくとも一つの領域ベースのフィルタリング・パラメータが、フィルタ係数値、水平方向タップ数および垂直方向タップ数から選択される少なくとも一つのパラメータを含む、付番実施例２８記載の多層式エンコード方法。
〔ＥＥＥ３０〕前記第一の複数の参照処理信号（３２２）がさらに、各色成分当たり少なくとも一つのフィルタに関連付けられた少なくとも一つの信号を含む、付番実施例４ないし２９のうちいずれか一項記載の多層式エンコード方法。
〔ＥＥＥ３１〕前記第一の複数の参照処理信号（３２２）がさらに、少なくとも一つの非線形フィルタに関連付けられた少なくとも一つの信号を含む、付番実施例４ないし３０のうちいずれか一項記載の多層式エンコード方法。
〔ＥＥＥ３２〕前記少なくとも一つの非線形フィルタが、エッジ適応性フィルタおよび二側面（bilateral）フィルタから選択される少なくとも一つのフィルタを含む、付番実施例３１記載の多層式エンコード方法。
〔ＥＥＥ３３〕前記第一の複数の参照処理信号（３２２）がさらに、少なくとも一つの高度な補償方法に関連する少なくとも一つの信号を含む、付番実施例４ないし３２のうちいずれか一項記載の多層式エンコード方法。
〔ＥＥＥ３４〕前記少なくとも一つの高度な補償方法がアフィン動きモデルまたは透視動きモデルである、付番実施例３３記載の多層式エンコード方法。
〔ＥＥＥ３５〕前記少なくとも一つの残差画像またはビデオ・フレーム（３２６）の処理が、前記少なくとも一つの残差画像またはビデオ・フレーム（３２６）の向上層フィルタリング、向上層サブサンプリングおよび向上層3D多重化を含む、付番実施例４ないし３４のうちいずれか一項記載の多層式エンコード方法。
〔ＥＥＥ３６〕前記少なくとも一つの第一の参照処理された画像またはビデオ・フレーム（３２０）および前記少なくとも一つの入力画像またはビデオ・フレーム（３０２、３０４）を第二の組の規則に従って処理することが、前記少なくとも一つの第一の参照処理された画像またはビデオ・フレーム（３２０）と前記少なくとも一つの入力画像またはビデオ・フレーム（３０２、３０４）の間の差を計算することを含む、付番実施例４ないし３５のうちいずれか一項記載の多層式エンコード方法。
〔ＥＥＥ３７〕前記少なくとも一つの第一の参照処理された画像またはビデオ・フレーム（３２０）および前記少なくとも一つの入力画像またはビデオ・フレーム（３０２、３０４）を第二の組の規則に従って処理することが、前記少なくとも一つの第一の参照処理された画像またはビデオ・フレーム（３２０）および前記少なくとも一つの残差画像またはビデオ・フレーム（３２０）を前記少なくとも一つの入力画像またはビデオ・フレーム（３０２、３０４）に関係付ける線形または非線形の関数に従って計算することを含む、付番実施例４ないし３６のうちいずれか一項記載の多層式エンコード方法。
〔ＥＥＥ３８〕前記少なくとも一つの基本層信号（３５６）を第一の組の規則に従って参照処理することが、複数の相補的位置からのサンプルを与えることを含む、付番実施例４ないし３４のうちいずれか一項記載の多層式エンコード方法。
〔ＥＥＥ３９〕前記少なくとも一つの残差画像またはビデオ・フレーム（３２６）の処理が、前記少なくとも一つの残差画像またはビデオ・フレーム（３２６）を多重化して向上層エンコーダ（３３８）に入力することを含む、付番実施例３８記載の多層式エンコード方法。
〔ＥＥＥ４０〕前記少なくとも一つの第一のより低い解像度の画像またはビデオ・フレーム（３１４入力）のエンコードが、前記少なくとも一つの第二のより低い解像度の画像またはビデオ・フレーム（３３８入力）のエンコードとは異なる、付番実施例４ないし３９のうちいずれか一項記載の多層式エンコード方法。
〔ＥＥＥ４１〕前記少なくとも一つの第二の向上層信号（３４４）が、向上層エンコーダ（３３８）からの少なくとも一つの再構成された出力ピクチャを含む、付番実施例４ないし４０のうちいずれか一項記載の多層式エンコード方法。
〔ＥＥＥ４２〕前記少なくとも一つの第二の向上層信号（３４４）を第三の組の規則に従って参照処理することが、領域レベルで最適化して、デコーダの組み合わされた画像出力の品質を高めるよう前記少なくとも一つの第二の向上層信号（３４４）のための最適な上方変換（upconversion）方式を決定することを含む、付番実施例４ないし４１のうちいずれか一項記載の多層式エンコード方法。
〔ＥＥＥ４３〕前記第三の組の規則が前記第一の組の規則の一部または全部を含む、付番実施例４ないし４１のうちいずれか一項記載の多層式エンコード方法。
〔ＥＥＥ４４〕複数の向上層ビットストリーム信号をデコーダに提供する段階をさらに含む、付番実施例１ないし４３のうちいずれか一項記載の多層式エンコード方法であって、前記複数の向上層ビットストリーム信号は前記第一の複数の参照処理信号（３２２）、前記複数の向上層エンコードされたビットストリーム信号および前記第二の複数の参照処理信号を含む、方法。
〔ＥＥＥ４５〕前記少なくとも一つの第二のより低い解像度の画像またはビデオ・フレーム（３３８入力）のエンコードがさらに、前記少なくとも一つの第一のより低い解像度の画像またはビデオ・フレーム（３１４入力）のエンコードによって生成された少なくとも一つの再構成された画像またはビデオ・フレームを参照として使うことを含む、付番実施例１ないし４４のうちいずれか一項記載の多層式エンコード方法。
〔ＥＥＥ４６〕前記少なくとも一つの基本層信号（３５６）を第四の組の規則に従って参照処理することによって、少なくとも一つの第三の参照処理された画像またはビデオ（５０６）を得ることをさらに含む、付番実施例１ないし４５のうちいずれか一項記載の多層式エンコード方法。
〔ＥＥＥ４７〕前記少なくとも一つの第二のより低い解像度の画像またはビデオ・フレーム（３３８入力）のエンコードがさらに、前記少なくとも一つの第三の参照処理された画像またはビデオを参照として使うことを含む、付番実施例４６記載の多層式エンコード方法。
〔ＥＥＥ４８〕前記少なくとも一つの第二のより低い解像度の画像またはビデオ・フレーム（３３８入力）のエンコードがさらに、前記少なくとも一つの第一のより低い解像度の画像またはビデオ・フレーム（３１４入力）のエンコードから生成された参照ピクチャ、マクロブロック・モードおよび動きベクトルからの少なくとも一つを少なくとも一つの予測子として選択することをさらに含む、付番実施例４６または４７記載の多層式エンコード方法。
〔ＥＥＥ４９〕前記少なくとも一つの第二のより低い解像度の画像またはビデオ・フレーム（３３８入力）のエンコードが、前記少なくとも一つの第一のより低い解像度の画像またはビデオ・フレーム（３１４入力）のエンコードとは独立である、付番実施例４６ないし４８のうちいずれか一項記載の多層式エンコード方法。
〔ＥＥＥ５０〕前記少なくとも一つの第二のより低い解像度の画像またはビデオ・フレーム（３３８入力）のエンコードがさらに、少なくとも一つの第二の基本層信号を使って該エンコードを初期化することを含む、付番実施例４９記載の多層式エンコード方法。
〔ＥＥＥ５１〕前記少なくとも一つの基本層信号（３５６）の参照処理することが、前記第一のビューおよび前記第二のビューについて異なるサンプリング・オフセットを使うことを含む、付番実施例３ないし４３のうちいずれか一項記載の多層式エンコード方法。
〔ＥＥＥ５２〕前記少なくとも一つの第二の向上層信号（３４４）の参照処理が、前記第一のビューおよび前記第二のビューについて異なるサンプリング・オフセットを使うことを含む、付番実施例３ないし４３および５１のうちいずれか一項記載の多層式エンコード方法。
〔ＥＥＥ５３〕画像およびビデオ送達のための多層式エンコーダであって：
少なくとも一つの入力画像またはビデオ・フレームに適応された基本層処理器であって、複数の基本層エンコードされたビットストリーム信号（３５８）を出力するよう適応された基本層エンコーダ（３１４）を有する基本層処理器と；
少なくとも一つの入力画像またはビデオ・フレームに適応された少なくとも一つの向上層処理器であって、向上層エンコーダ（３３６）および少なくとも二つの参照処理ユニット（RPU）（３１８、３４６）を有する、向上層処理器とを有しており、
前記向上層エンコーダは、複数の向上層エンコードされたビットストリーム（３５４）を出力するよう適応され、
前記第一のRPU（３１８）は前記基本層エンコーダ（３１６）からの少なくとも一つの出力（３５６）または少なくとも一つの向上層信号を処理し、第一の複数の参照処理データ（３３２）および少なくとも一つの第一の参照処理された画像またはビデオ・フレーム（３２０）を第一の組の規則に従って出力するよう適応されており、
前記第二のRPU（３４６）は前記向上層エンコーダ（３３８）からの少なくとも一つの出力を処理し、第二の複数の参照処理データを第二の組の規則に従って出力するよう適応されている、
多層式エンコーダ。
〔ＥＥＥ５４〕前記少なくとも一つの入力画像またはビデオ・フレーム（３０２、３０４）が複数のビューの画像またはビデオ・フレームである、付番実施例５３記載の多層式エンコーダ。
〔ＥＥＥ５５〕前記複数のビューが第一のビューおよび第二のビュー（３０２、３０４）である、付番実施例５４記載の多層式エンコーダ。
〔ＥＥＥ５６〕前記基本層処理器がさらに、少なくとも二つの基本層フィルタ（３０６、３０８）、少なくとも二つの基本層サブサンプリング器（３１０、３１２）を有しており、前記少なくとも二つの基本層フィルタ（３０６、３０８）は前記第一のビューおよび前記第二のビューの画像またはビデオ・フレーム（３０２、３０４）をフィルタリングするよう適応されており、前記少なくとも二つの基本層サブサンプリング器は前記第一のビューおよび前記第二のビューのそのフィルタリングされた画像またはビデオ・フレームをサブサンプリングして前記第一のビューおよび前記第二のビューの半分の解像度の画像を得るよう適応されている、付番実施例５３記載の多層式エンコーダ。
〔ＥＥＥ５７〕前記少なくとも二つの基本層フィルタ（３０６、３０８）および前記少なくとも二つの基本層サブサンプリング器（３１０、３１２）が、水平方向、垂直方向または五の目状サブサンプリング方式のものである、付番実施例５６記載の多層式エンコーダ。
〔ＥＥＥ５８〕前記少なくとも二つの基本層サブサンプリング器（３１０、３１２）が前記二つのビューについて少なくとも一つの次元方向において不均等な品質を与えるよう適応されている、付番実施例５６記載の多層式エンコーダ。
〔ＥＥＥ５９〕前記少なくとも二つの基本層サブサンプリング器（３１０、３１２）が一方のビューを、少なくとも一つの第一の次元方向では他方のビューより低い解像度に、だが少なくとも一つの第二の次元方向ではより高い解像度にサブサンプリングするよう適応されている、付番実施例５８記載の多層式エンコーダ。
〔ＥＥＥ６０〕前記少なくとも二つの基本層フィルタ（３１０、３１２）が前記第一のビューおよび前記第二のビューのすべての画像またはビデオ・フレーム（３０２、３０４）について固定されているよう適応されている、付番実施例５６ないし５９のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ６１〕前記少なくとも二つの基本層フィルタ（３０６、３０８）が前記第一のビューおよび前記第二のビューの画像またはビデオ・フレーム（３０２、３０４）の空間的または時間的領域の少なくとも一つの特徴に依存するよう適応されている、付番実施例５６ないし５９のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ６２〕前記基本層処理器がさらに、基本層3D多重化器（３１４）を有し、前記基本層3D多重化器が、隣り合わせ配置、上下配置、行インターリーブ配置、列インターリーブまたはチェッカーボード配置を使って画像またはビデオ・フレームを3D多重化するよう適応されている、付番実施例５６ないし６１のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ６３〕前記基本層のエンコードされたビットストリーム信号（３５８）が、前記複数の既存のビデオ符号化標準およびコーデックの一つに準拠するデコーダによってデコード可能である、付番実施例５６ないし６１のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ６４〕前記基本層エンコーダ（３１６）が、少なくとも一つのフレーム互換な画像またはビデオ・フレーム（３１６入力）を複数の既存の色およびサンプリング・フォーマットの一つを用いてエンコードするよう適応されている、付番実施例５６ないし６３のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ６５〕前記複数の既存の色およびサンプリング・フォーマットがYUV4:0:0、YUV4:2:2、YUV4:4:4、RGBおよびXYZを含む、付番実施例６４記載の多層式エンコーダ。
〔ＥＥＥ６６〕前記基本層サブサンプリング器が、前記複数の既存のビデオ符号化標準およびコーデックの一つまたは前記複数の既存の色およびサンプリング・フォーマットの一つに従うビット深さ精度を与える、付番実施例６１ないし６５のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ６７〕前記向上層サブサンプリング器が前記基本層サブサンプリング器より高いビット深さ精度を与える、付番実施例６１ないし６６のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ６８〕前記基本層エンコーダ（３１６）の前記少なくとも一つの出力（３５６）が、前記基本層エンコーダ（３１６）からの少なくとも一つの再構成された出力ピクチャを含む、付番実施例５６ないし６６のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ６９〕前記基本層エンコーダ（３１６）からの前記少なくとも一つの再構成された出力ピクチャが少なくとも一つの低解像度のデコードされた3D画像（３５６）を含む、付番実施例６８記載の多層式エンコーダ。
〔ＥＥＥ７０〕前記第一のRPU（３１８）が前記基本層エンコーダ（３１６）の前記少なくとも一つの出力（３５６）を補間するよう適応されている、付番実施例５６ないし６９のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ７１〕前記第一の組の規則が前記第一のRPU（３１８）において少なくとも一つの領域依存のフィルタを選択し、適用することを含む、付番実施例５６ないし７０のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ７２〕前記少なくとも一つの領域依存のフィルタが、水平方向フィルタ、垂直方向フィルタ、2Dフィルタ、エッジ適応性フィルタ、周波数ベースのフィルタおよびピクセル複製フィルタから選択される少なくとも一つである、付番実施例７１記載の多層式エンコーダ。
〔ＥＥＥ７３〕前記ピクセル複製フィルタがゼロ次ホールド（zero-order-hold）フィルタである、付番実施例７２記載の多層式エンコーダ。
〔ＥＥＥ７４〕前記ピクセル複製フィルタがビュー間コピー（cross-view  copy）フィルタである、付番実施例７２記載の多層式エンコーダ。
〔ＥＥＥ７５〕前記ピクセル複製フィルタが、交互のゼロおよび非ゼロ値をもつフィルタである、付番実施例７２記載の多層式エンコーダ。
〔ＥＥＥ７６〕前記第一のRPU（３１８）が視差補償されたコピー方式のフィルタを使い、前記フィルタがサンプルの非共位置の領域をコピーし、コピーされるべき領域の位置は視差ベクトルによって指定される、付番実施例５６ないし７５のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ７７〕前記視差ベクトルが整数またはサブピクセルの精度を使って指定される、付番実施例７６記載の多層式エンコーダ。
〔ＥＥＥ７８〕前記第一の複数の参照処理信号（３２２）が前記第一のRPU（３１８）のフィルタ選択プロセスから生成され、デコーダの参照処理ユニット（３２４）のための入力データとなるよう適応されている、付番実施例５６ないし７７のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ７９〕前記第一の複数の参照処理信号（３２２）が少なくとも一つの領域ベースのフィルタリング・パラメータを含む、付番実施例５６ないし７８のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ８０〕前記少なくとも一つの領域ベースのフィルタリング・パラメータが、RPUデータ・ヘッダにおいて指定されている領域の数、サイズ、形から選択される少なくとも一つのパラメータを含む、付番実施例７９記載の多層式エンコーダ。
〔ＥＥＥ８１〕前記少なくとも一つの領域ベースのフィルタリング・パラメータが、フィルタ係数値、水平方向タップ数および垂直方向タップ数から選択される少なくとも一つのパラメータを含む、付番実施例７９記載の多層式エンコーダ。
〔ＥＥＥ８２〕前記第一のRPU（３１８）のフィルタが各色成分当たりに指定されている、付番実施例５６ないし８１のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ８３〕少なくとも一つの非線形フィルタが前記第一のRPU（３１８）において指定されている、付番実施例５６ないし８２のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ８４〕前記少なくとも一つの非線形フィルタが、エッジ適応性フィルタおよび二側面（bilateral）フィルタから選択される少なくとも一つのフィルタを含む、付番実施例８４記載の多層式エンコーダ。
〔ＥＥＥ８５〕前記第一の複数の参照処理信号（３２２）がさらに、少なくとも一つの高度な補償方法に関連する少なくとも一つの信号を含む、付番実施例５６ないし８４のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ８６〕前記少なくとも一つの高度な補償方法がアフィン動きモデルまたは透視動きモデルである、付番実施例８５記載の多層式エンコーダ。
〔ＥＥＥ８７〕前記向上層処理器がさらに、少なくとも二つの向上層フィルタ（３３０、３３２）、少なくとも二つの向上層サブサンプリング器（３３４）および少なくとも一つの向上層3D多重化器（３３６）を含む、付番実施例５６ないし８６のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ８８〕前記向上層処理器がさらに、前記少なくとも一つの第一の参照処理された画像またはビデオ・フレーム（３２０）と前記少なくとも一つの入力画像またはビデオ・フレーム（３０２、３０４）との間の差から少なくとも一つの残差画像またはビデオ・フレームを計算するよう適応されている少なくとも一つの比較器（３２８）を有する、付番実施例５６ないし８７のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ８９〕前記少なくとも一つの比較器（３２８）が、前記少なくとも一つの第一の参照処理された画像またはビデオ・フレーム（３２０）および前記少なくとも一つの残差画像またはビデオ・フレーム（３２０）を前記少なくとも一つの入力画像またはビデオ・フレーム（３０２、３０４）に関係付ける線形または非線形の関数に従って前記少なくとも一つの残差画像またはビデオ・フレームを計算するよう適応されている、付番実施例８８記載の多層式エンコーダ。
〔ＥＥＥ９０〕前記第一のRPU（３１８）が、複数の相補的位置からのサンプルを与えるよう適応されている、付番実施例８８ないし８９のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ９１〕前記少なくとも一つの残差画像またはビデオ・フレームが多重化されて前記向上層エンコーダ（３３８）に入力されるよう適応されている、付番実施例９０記載の多層式エンコーダ。
〔ＥＥＥ９２〕前記基本層エンコーダが前記向上層エンコーダとは異なる、付番実施例５６ないし９１のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ９３〕前記向上層エンコーダ（３３８）からの少なくとも一つの再構成された出力ピクチャが前記第二のRPU（３４６）に入力されるよう適応されている、付番実施例５６ないし９２のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ９４〕前記第二のRPUが、領域レベルでの最適化を実行して、デコーダの組み合わされた画像出力の品質を高めるよう前記向上層エンコーダ（３３８）からの再構成されたピクチャ（３４４）のための最適な上方変換（upconversion）方式を決定するよう適応されている、付番実施例５６ないし９３のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ９５〕前記第二の組の規則が前記第一の組の規則の一部または全部を含む、付番実施例５６ないし９５のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ９６〕複数の向上層ビットストリーム信号をデコーダに提供するようさらに適応された、付番実施例５３ないし９５のうちいずれか一項記載の多層式エンコーダであって、前記複数の向上層ビットストリーム信号は前記第一の複数の参照処理信号（３２２）、前記複数の向上層エンコードされたビットストリーム信号（３５４）および前記第二の複数の参照処理信号（３６２）を含む、多層式エンコーダ。
〔ＥＥＥ９７〕前記基本層エンコーダ（３１６）からの少なくとも一つの再構成された画像（３５６）が前記向上層エンコーダ（３３８）のための参照として使用される、付番実施例５３ないし９６のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ９８〕前記基本層エンコーダからの出力（５０４）を第三の組の規則に従って処理して、前記向上層エンコーダ（５０８）に入力される少なくとも一つの第三の参照処理された画像またはビデオ（５０６）を出力するよう適応されている、付番実施例５３ないし９７のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ９９〕前記向上層エンコーダ（５０８）が前記少なくとも一つの第三の参照処理された画像またはビデオ（５０６）を参照として使うよう適応されている、付番実施例９８記載の多層式エンコーダ。
〔ＥＥＥ１００〕前記向上層エンコーダ（５０８）が、前記基本層エンコーダ（５０２）の参照ピクチャ、マクロブロック・モードおよび動きベクトルから選択される少なくとも一つの予測子を使うよう適応されている、付番実施例９８または９９記載の多層式エンコーダ。
〔ＥＥＥ１０１〕前記向上層エンコーダ（５０８）が、前記基本層エンコーダ（５０２）とは独立であるよう構成されている、付番実施例９８ないし１００のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ１０２〕前記向上層エンコーダ（５０２）が、前記基本層エンコーダ（５０８）からの少なくとも一つの信号を使って該エンコードを初期化するよう適応されている、付番実施例１０１記載の多層式エンコーダ。
〔ＥＥＥ１０３〕前記第一のRPUが、前記第一のビューおよび前記第二のビューについて異なるサンプリング・オフセットを使うよう適応されている、付番実施例５６ないし９５のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ１０４〕前記第二のRPUが、前記第一のビューおよび前記第二のビューについて異なるサンプリング・オフセットを使うよう適応されている、付番実施例５６ないし９５および１０３のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ１０５〕付番実施例５３記載の多層式エンコーダであって：
前記基本層処理器がさらに：
基本層フィルタおよび基本層サブサンプリング器を有し、
前記向上層処理器がさらに：
向上層フィルタ、向上層サブサンプリング器および向上層比較器を有する、
多層式エンコーダ。
〔ＥＥＥ１０６〕付番実施例１０５記載の多層式エンコーダであって、
前記基本層フィルタが前記少なくとも一つの入力画像またはビデオ・フレームをフィルタリングするよう適応されており；
前記基本層サブサンプリング器がフィルタリングされた少なくとも一つの入力画像またはビデオ・フレームをサブサンプリングして少なくとも一つの低解像度画像またはビデオ・フレームを出力するよう適応されており；
前記基本層エンコーダが前記少なくとも一つの低解像度画像またはビデオ・フレームをエンコードするよう適応されており；
前記第一のRPUが前記基本層エンコーダからの少なくとも一つの再構成された画像またはビデオ・フレームを補間して少なくとも一つのフル解像度の画像またはビデオ・フレームを出力するよう適応されており；
前記向上層比較器が前記少なくとも一つの再構成された画像またはビデオ・フレームおよび前記少なくとも一つの入力画像またはビデオ・フレームから少なくとも一つの残差画像またはビデオ・フレームを計算するよう適応されており；
前記向上層フィルタが前記少なくとも一つの残差画像またはビデオ・フレームをフィルタリングするよう適応されており；
前記向上層サブサンプリング器が、フィルタリングされた少なくとも一つの残差画像またはビデオ・フレームをサブサンプリングするよう適応されており；
前記向上層エンコーダが、サブサンプリングされた少なくとも一つの残差画像またはビデオ・フレームをエンコードするよう適応されている、
多層式エンコーダ。
〔ＥＥＥ１０７〕前記向上層比較器によって実行される計算が減算、線形変換または非線形変換を含む、付番実施例１０６記載の多層式エンコーダ。
〔ＥＥＥ１０８〕前記第一および第二の複数の参照処理データが前記複数の向上層エンコードされたビットストリーム信号に埋め込まれるよう適応されている、付番実施例１０５ないし１０７のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ１０９〕前記第一および第二の複数の参照処理データが前記複数の向上層エンコードされたビットストリーム信号とは独立にデコーダに転送されるよう適応されている、付番実施例１０５ないし１０７のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ１１０〕同じ向上層処理器内の前記第一および第二の複数の参照処理データが一緒に転送されるよう適応されている、付番実施例１０５ないし１０９のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ１１１〕当該多層式エンコーダのすべての前記複数の参照処理データが、エンコードされたビットストリーム信号の前記複数の向上層の前または後で複数の向上層ビットストリーム信号に埋め込まれるRPUデータ・パケット内にグループ化されるよう適応されている、付番実施例１０６ないし１１０のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ１１２〕前記第一の組の規則および前記第二の組の規則が、前記複数の基本層エンコードされたビットストリーム信号のデコード品質、前記複数の向上層エンコードされたビットストリーム信号のデコード品質、各層のエンコードから要求されるビットレートおよびデコードおよび参照処理の複雑さから選択される少なくとも一つの因子に依存する、付番実施例１０５ないし１１１のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ１１３〕前記第一の組の規則および前記第二の組の規則が、前記二つのRPUのフィルタ選択を最適化するよう適応されている、付番実施例１０５ないし１１２のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ１１４〕前記第一のRPUの最適化が前記第二のRPUの最適化とは独立である、付番実施例１１３記載の多層式エンコーダ。
〔ＥＥＥ１１５〕前記第一の組の規則が、前記少なくとも一つの補間された基本層画像またはビデオ・フレームと前記少なくとも一つの入力画像またはビデオ・フレームとの間の予測誤差を最小にするような、前記第一のRPUのためのフィルタの組を選択するよう適応されている、付番実施例１１４記載の多層式エンコーダ。
〔ＥＥＥ１１６〕前記第一の組の規則が、エンコーダ・パフォーマンスを向上させるよう、前記第一のRPUのためのフィルタの組および前記基本層フィルタのためのフィルタの組を選択するよう適応されている、付番実施例１１３記載の多層式エンコーダ。
〔ＥＥＥ１１７〕前記第二の組の規則が、フル解像度のデコード画像の歪みを最小にするような、前記第二のRPUのためのフィルタの組を選択するよう適応されている、付番実施例１１３記載の多層式エンコーダ。
〔ＥＥＥ１１８〕前記第一のRPUのために選択されたフィルタが、前記第二のRPUのためにより小さなフィルタ探索を初期化するために使われる、付番実施例１１３ないし１１７のうちいずれか一項記載の多層式エンコーダ。
〔ＥＥＥ１１９〕前記第一の組の規則および前記第二の組の規則は前記第一のRPU、前記第二のRPU、前記基本層エンコーダおよび前記向上層エンコーダのパフォーマンスを最適化するよう構成されている、付番実施例１１３記載の多層式エンコーダ。
〔ＥＥＥ１２０〕マルチビュー画像またはビデオ・フレームをエンコードするようさらに適応されている、付番実施例５３記載の多層式エンコーダ。
〔ＥＥＥ１２１〕各層のビュー間の異なるサンプリング位置およびビュー間の視差を考慮することによって少なくとも一つの参照画像を処理するようさらに適応されている、付番実施例１２０記載の多層式エンコーダ。
〔ＥＥＥ１２２〕付番実施例５３記載の多層式エンコーダであって、さらに第二の向上層処理器を有しており、
前記基本層処理器および前記第一の向上層処理器のエンコーダが、前記第二の向上層処理器よりも低い解像度をもつよう適応されており、
前記第二の向上層処理器が、前記基本層処理器および前記第一の向上層処理器の出力のデコード後に残差情報をエンコードする、
多層式エンコーダ。
〔ＥＥＥ１２３〕複数仮説プロセスを使う多層式エンコーダであって：
第一層エンコーダ；
前記第一層エンコーダに結合された第一の参照処理ユニット（RPU）；
前記第一層エンコーダに結合された第二層エンコーダ；
前記第二層エンコーダに結合された第二のRPU；
前記第一のRPUおよび前記第二のRPUに結合された組み合わせ器；
前記組み合わせ器に結合された比較器；
前記第二層エンコーダおよび前記比較器に結合された第三層エンコーダ；および
前記第三層エンコーダに結合された第三のRPUを有しており、
前記組み合わせ器は、前記第一のRPUの出力および前記第二のRPUの出力の重み付けされた組み合わせによって、前記第三層エンコーダのための入力として予測画像を生成するよう適応されており；
前記比較器は、前記予測画像およびもとのビュー画像から残差画像を計算するよう適応されており；
前記第三層エンコーダは前記残差画像をエンコードするよう適応されている、
多層式エンコーダ。
〔ＥＥＥ１２４〕画像およびビデオ送達のための多層式のデコード方法であって、
基本層を通じて複数の基本層エンコードされたビットストリーム信号（３５８）を基本層処理する段階を有しており、該基本層処理は：
前記複数の基本層エンコードされたビットストリーム信号（３５８）をデコードすることによって少なくとも一つの第一の低解像度画像またはビデオ・フレーム（３４２の出力）を得る段階を含み、
当該方法は、
一つまたは複数の向上層を通じて複数の向上層ビットストリーム信号を向上層処理する段階を有しており、
前記複数の向上層ビットストリーム信号は：
複数の向上層エンコードされたビットストリーム信号（３５４）と、
第一の複数の参照処理信号（３２２）と、
第二の複数の参照処理信号（３６２）とを含み、
前記向上層処理は：
前記第一の複数の参照処理信号（３２２）および前記少なくとも一つの第一の低解像度画像またはビデオ・フレーム（３４２の出力）を参照処理することによって少なくとも一つの第一の参照処理された画像またはビデオ・フレーム（３５２）を得る段階と；
前記複数の向上層エンコードされたビットストリーム信号（３５４）をデコードし、基本層信号（３４０の他方の入力）または向上層信号を処理することによって少なくとも一つの向上層デコードされた信号（３４０出力）を得る段階と；
前記第二の複数の参照処理信号（３６２）および前記少なくとも一つの向上層デコードされた信号（３４０出力）を参照処理することによって少なくとも一つの第二の参照処理された画像またはビデオ・フレーム（３５０）を得る段階と；
前記少なくとも一つの第一の参照処理された画像またはビデオ・フレーム（３５２）および前記少なくとも一つの第二の参照処理された画像またはビデオ・フレーム（３５０）を組み合わせることによって少なくとも一つのフル解像度の画像またはビデオ・フレームを得る段階とを含む、
多層式デコード方法。
〔ＥＥＥ１２５〕前記少なくとも一つのフル解像度画像またはビデオ・フレームが複数のビューの少なくとも一つの画像またはビデオ・フレームである、付番実施例１２４記載の多層式デコード方法。
〔ＥＥＥ１２６〕前記複数のビューが第一のビューおよび第二のビュー（３０２、３０４）である、付番実施例１２５記載の多層式デコード方法。
〔ＥＥＥ１２７〕前記複数の基本層のエンコードされたビットストリーム信号（３５８）のデコードが、複数の既存のビデオ符号化標準およびコーデックの一つによるデコードである、付番実施例１２６記載の多層式デコード方法。
〔ＥＥＥ１２８〕前記複数の既存のビデオ符号化標準およびコーデックがMPEG-2、H.264/AVC/MPEG-4  Part  10、VC1、VP6、VP7およびVP8を含む、付番実施例１２６記載の多層式デコード方法。
〔ＥＥＥ１２９〕前記基本層エンコードされたビットストリーム信号（３５８）が、前記複数の既存のビデオ符号化標準およびコーデックの一つに準拠するデコーダによってデコード可能である、付番実施例１２７または１２８記載の多層式デコード方法。
〔ＥＥＥ１３０〕前記複数の基本層エンコードされたビットストリーム信号（３５８）のデコードがさらに、複数の既存の色およびサンプリング・フォーマットの一つを用いてデコードすることを含む、付番実施例１２５ないし１２９のうちいずれか一項記載の多層式デコード方法。
〔ＥＥＥ１３１〕前記複数の既存の色およびサンプリング・フォーマットがYUV4:0:0、YUV4:2:2、YUV4:4:4、RGBおよびXYZを含む、付番実施例１３０記載の多層式デコード方法。
〔ＥＥＥ１３２〕前記第一の複数の参照処理信号（３２２）および前記少なくとも一つの第一の低解像度画像またはビデオ・フレーム（３４２の出力）を参照処理することが、前記少なくとも一つの第一の低解像度画像またはビデオ・フレーム（３４２の出力）を補間することを含む、付番実施例１２５ないし１３１のうちいずれか一項記載の多層式デコード方法。
〔ＥＥＥ１３３〕前記少なくとも一つの第一の低解像度画像またはビデオ・フレーム（３４２の出力）を補間することが、隣り合わせアンパッキング配置、上下アンパッキング配置またはチェッカーボード・アンパッキング配置である、付番実施例１３２記載の多層式デコード方法。
〔ＥＥＥ１３４〕前記第一の複数の参照処理信号（３２２）が少なくとも一つの領域ベースのフィルタリング・パラメータを含む、付番実施例１２６ないし１３３のうちいずれか一項記載の多層式デコード方法。
〔ＥＥＥ１３５〕前記少なくとも一つの領域ベースのフィルタリング・パラメータが、参照処理ユニット・データ・ヘッダにおいて指定されている領域の数、サイズ、形から選択される少なくとも一つのパラメータを含む、付番実施例１３４記載の多層式デコード方法。
〔ＥＥＥ１３６〕前記少なくとも一つの領域ベースのフィルタリング・パラメータが、フィルタ係数値、水平方向タップ数および垂直方向タップ数から選択される少なくとも一つのパラメータを含む、付番実施例１３４記載の多層式デコード方法。
〔ＥＥＥ１３７〕前記第一の複数の参照処理信号（３２２）がさらに、各色成分当たり少なくとも一つのフィルタに関連付けられた少なくとも一つの信号を含む、付番実施例１２６ないし１３６のうちいずれか一項記載の多層式デコード方法。
〔ＥＥＥ１３８〕前記第一の複数の参照処理信号（３２２）がさらに、少なくとも一つの非線形フィルタに関連付けられた少なくとも一つの信号を含む、付番実施例１２６ないし１３７のうちいずれか一項記載の多層式デコード方法。
〔ＥＥＥ１３９〕前記少なくとも一つの非線形フィルタが、エッジ適応性フィルタおよび二側面（bilateral）フィルタから選択される少なくとも一つのフィルタを含む、付番実施例１３８記載の多層式デコード方法。
〔ＥＥＥ１４０〕前記第一の複数の参照処理信号（３２２）がさらに、少なくとも一つの高度な補償方法に関連する少なくとも一つの信号を含む、付番実施例１２６ないし１３９のうちいずれか一項記載の多層式デコード方法。
〔ＥＥＥ１４１〕前記少なくとも一つの高度な補償方法がアフィン動きモデルまたは透視動きモデルである、付番実施例１４０記載の多層式デコード方法。
〔ＥＥＥ１４２〕前記複数の基本層エンコードされたビットストリーム信号のデコードからの出力および第三の複数の参照処理信号を参照処理することによって少なくとも一つの第三の参照処理された画像またはビデオ・フレームを得ることをさらに含む、付番実施例１２６ないし１４１のうちいずれか一項記載の多層式デコード方法。
〔ＥＥＥ１４３〕前記基本層信号または前記向上層信号の前記処理がさらに、前記少なくとも一つの第三の参照処理された画像またはビデオを参照として使うことを含む、付番実施例１４２記載の多層式デコード方法。
〔ＥＥＥ１４４〕前記第一の複数の参照処理信号（３２２）および前記少なくとも一つの第一の低解像度画像またはビデオ・フレーム（３４２の出力）の前記参照処理が、前記第一のビューおよび前記第二のビューについて異なるサンプリング・オフセットを使うことを含む、付番実施例１２６ないし１４３のうちいずれか一項記載の多層式デコード方法。
〔ＥＥＥ１４５〕前記第二の複数の参照処理信号（３６２）および前記少なくとも一つの第一の向上層デコード信号（３４０出力）の前記参照処理が、前記第一のビューおよび前記第二のビューについて異なるサンプリング・オフセットを使うことを含む、付番実施例１２６ないし１４４のうちいずれか一項記載の多層式デコード方法。
〔ＥＥＥ１４６〕画像およびビデオ送達のための多層式のデコーダであって：
複数の基本層エンコードされたビットストリーム信号（３５８）をデコードするよう適応された少なくとも一つの基本層デコーダ（３４２）と；
複数の向上層ビットストリーム信号を処理するよう適応された少なくとも一つの向上層処理器とを有しており、
前記複数の向上層ビットストリーム信号は：
複数の向上層エンコードされたビットストリーム信号（３５４）と；
第一の複数の参照処理信号（３２２）と；
第二の複数の参照処理信号（３６２）とを有し；
前記向上層処理器は：
前記複数の向上層ビットストリーム信号をパース（parse）して前記複数の向上エンコードされたビットストリーム信号（３５４）をデコードするよう適応された向上層デコーダ（３４０）と；
前記基本層デコーダ（３４２）からの出力において処理して少なくとも一つの第一の補間された再構成された画像またはビデオ・フレーム（３５２）を前記第一の複数の参照処理信号（３２２）に従って出力するよう適応された第一の参照処理ユニット（RPU）（３２４）と；
前記向上層デコーダ（３４０）からの出力において処理して少なくとも一つの第二の補間された再構成された画像またはビデオ・フレーム（３５０）を前記第二の複数の参照処理信号（３２２）に従って出力するよう適応された第二のRPU（３４８）と；
前記少なくとも一つの第一の補間された再構成された画像またはビデオ（３５２）および前記少なくとも一つの第二の補間された再構成された画像またはビデオ・フレーム（３５０）を組み合わせて少なくとも一つのフル解像度の画像またはビデオ・フレーム（３６０）を得るよう適応された少なくとも一つの組み合わせ器とを有する、
多層式デコーダ。
〔ＥＥＥ１４７〕前記少なくとも一つのフル解像度画像またはビデオ・フレームが複数のビューの少なくとも一つの画像またはビデオ・フレームである、付番実施例１４６記載の多層式デコーダ。
〔ＥＥＥ１４８〕前記複数のビューが第一のビューおよび第二のビュー（３０２、３０４）である、付番実施例１４７記載の多層式デコーダ。
〔ＥＥＥ１４９〕前記基本層デコーダ（３４２）が、複数の既存のビデオ符号化標準およびコーデックの一つに従って前記複数の基本層エンコードされたビットストリーム信号（３５８）をデコードするよう適応されている、付番実施例１４６ないし１４８のうちいずれか一項記載の多層式デコーダ。
〔ＥＥＥ１５０〕前記複数の既存のビデオ符号化標準およびコーデックがMPEG-2、H.264/AVC/MPEG-4  Part  10、VC1、VP6、VP7およびVP8を含む、付番実施例１４９記載の多層式デコーダ。
〔ＥＥＥ１５１〕前記基本層デコーダ（３４２）が、複数の既存の色およびサンプリング・フォーマットの一つに従って前記複数の基本層エンコードされたビットストリーム信号（３５８）をデコードするよう適応されている、付番実施例１４６ないし１５０のうちいずれか一項記載の多層式デコーダ。
〔ＥＥＥ１５２〕前記複数の既存の色およびサンプリング・フォーマットがYUV4:0:0、YUV4:2:2、YUV4:4:4、RGBおよびXYZを含む、付番実施例１５１記載の多層式デコーダ。
〔ＥＥＥ１５３〕前記第一のRPU（３２４）が、前記基本層デコーダ（３４２）からの前記少なくとも一つの出力を補間するよう適応されている、付番実施例１４６ないし１５２のうちいずれか一項記載の多層式デコーダ。
〔ＥＥＥ１５４〕前記第一のRPU（３２４）がさらに、少なくとも一つの領域依存のフィルタを含む、付番実施例１４６ないし１５３のうちいずれか一項記載の多層式デコーダ。
〔ＥＥＥ１５５〕前記少なくとも一つの領域依存のフィルタが、水平方向フィルタ、垂直方向フィルタ、2Dフィルタ、エッジ適応性フィルタ、周波数ベースのフィルタ、ピクセル複製フィルタから選択される少なくとも一つである、付番実施例１５４記載の多層式デコーダ。
〔ＥＥＥ１５６〕前記ピクセル複製フィルタがゼロ次ホールド（zero-order-hold）フィルタである、付番実施例１５５記載の多層式デコーダ。
〔ＥＥＥ１５７〕前記ピクセル複製フィルタがビュー間コピー（cross-view  copy）フィルタである、付番実施例１５５記載の多層式デコーダ。
〔ＥＥＥ１５８〕前記ピクセル複製フィルタが、交互のゼロおよび非ゼロ値をもつフィルタである、付番実施例１５５記載の多層式デコーダ。
〔ＥＥＥ１５９〕前記第一のRPU（３４２）が視差補償されたコピー方式のフィルタを使い、前記フィルタがサンプルの非共位置の領域をコピーし、コピーされるべき領域の位置は視差ベクトルによって指定される、付番実施例１４６ないし１５８のうちいずれか一項記載の多層式デコーダ。
〔ＥＥＥ１６０〕前記視差ベクトルが整数またはサブピクセルの精度を使って指定される、付番実施例１５９記載の多層式デコーダ。
〔ＥＥＥ１６１〕前記第一の複数の参照処理信号（３２２）が少なくとも一つの領域ベースのフィルタリング・パラメータを含む、付番実施例１４６ないし１６０のうちいずれか一項記載の多層式デコーダ。
〔ＥＥＥ１６２〕前記少なくとも一つの領域ベースのフィルタリング・パラメータが、RPUデータ・ヘッダにおいて指定されている領域の数、サイズ、形から選択される少なくとも一つのパラメータを含む、付番実施例１６１記載の多層式デコーダ。
〔ＥＥＥ１６３〕前記少なくとも一つの領域ベースのフィルタリング・パラメータが、フィルタ係数値、水平方向タップ数および垂直方向タップ数から選択される少なくとも一つのパラメータを含む、付番実施例１６１記載の多層式デコーダ。
〔ＥＥＥ１６４〕前記第一のRPU（３４２）のフィルタが各色成分当たりに指定されている、付番実施例１４６ないし１６３のうちいずれか一項記載の多層式デコーダ。
〔ＥＥＥ１６５〕少なくとも一つの非線形フィルタが前記第一のRPU（３４２）において指定されている、付番実施例１４６ないし１６４のうちいずれか一項記載の多層式デコーダ。
〔ＥＥＥ１６６〕前記少なくとも一つの非線形フィルタが、エッジ適応性フィルタおよび二側面（bilateral）フィルタから選択される少なくとも一つのフィルタを含む、付番実施例１６５記載の多層式デコーダ。
〔ＥＥＥ１６７〕前記第一の複数の参照処理信号（３２２）がさらに、少なくとも一つの高度な補償方法に関連する少なくとも一つの信号を含む、付番実施例１４６ないし１６６のうちいずれか一項記載の多層式デコーダ。
〔ＥＥＥ１６８〕前記少なくとも一つの高度な補償方法がアフィン動きモデルまたは透視動きモデルである、付番実施例１６７記載の多層式デコーダ。
〔ＥＥＥ１６９〕前記基本層デコーダが前記向上層デコーダとは異なる、付番実施例１４６ないし１６８のうちいずれか一項記載の多層式デコーダ。
〔ＥＥＥ１７０〕前記向上層デコーダ（３４０）からの少なくとも一つの再構成された出力ピクチャが前記第二のRPU（３４８）に入力されるよう適応されている、付番実施例１４６ないし１６９のうちいずれか一項記載の多層式デコーダ。
〔ＥＥＥ１７１〕前記基本層エンコーダ（３４２）からの少なくとも一つの再構成された画像が前記向上層デコーダ（３４０）のための参照として使用される、付番実施例１４６ないし１７０のうちいずれか一項記載の多層式デコーダ。
〔ＥＥＥ１７２〕前記基本層デコーダ（３４２）からの出力を第三の複数の参照処理信号に従って処理して、前記向上層デコーダ（３４０）に入力される少なくとも一つの第三の参照処理された画像またはビデオを出力するよう適応された第三のRPUをさらに有する、付番実施例１４６ないし１７０のうちいずれか一項記載の多層式デコーダ。
〔ＥＥＥ１７３〕前記向上層デコーダが前記少なくとも一つの第三の参照処理された画像またはビデオを参照として使うよう適応されている、付番実施例１７２記載の多層式デコーダ。
〔ＥＥＥ１７４〕前記向上層デコーダが、前記基本層デコーダの参照ピクチャ、マクロブロック・モードおよび動きベクトルから選択される少なくとも一つの予測子を使うよう適応されている、付番実施例１７２または１７３記載の多層式デコーダ。
〔ＥＥＥ１７５〕前記向上層デコーダが、前記基本層デコーダとは独立であるよう構成されている、付番実施例１７２ないし１７４のうちいずれか一項記載の多層式デコーダ。
〔ＥＥＥ１７６〕前記向上層デコーダが、前記基本層デコーダからの少なくとも一つの信号を使って該デコードを初期化するよう適応されている、付番実施例１７５記載の多層式デコーダ。
〔ＥＥＥ１７７〕前記第一のRPUが、前記第一のビューおよび前記第二のビューについて異なるサンプリング・オフセットを使うよう適応されている、付番実施例１４８ないし１７６のうちいずれか一項記載の多層式デコーダ。
〔ＥＥＥ１７８〕前記第二のRPUが、前記第一のビューおよび前記第二のビューについて異なるサンプリング・オフセットを使うよう適応されている、付番実施例１４８ないし１７７のうちいずれか一項記載の多層式デコーダ。
〔ＥＥＥ１７９〕前記向上層組み合わせ器によって実行される組み合わせプロセスが、減算、線形変換または非線形変換を含む、付番実施例１４６記載の多層式デコーダ。
〔ＥＥＥ１８０〕マルチビュー画像またはビデオ・フレームをエンコードするようさらに適応されている、付番実施例１４６記載の多層式デコーダ。
〔ＥＥＥ１８１〕各層のビュー間の異なるサンプリング位置およびビュー間の視差を考慮することによって少なくとも一つの参照画像を処理するようさらに適応されている、付番実施例１８０記載の多層式デコーダ。
〔ＥＥＥ１８２〕複数仮説プロセスを使う多層式デコーダであって：
第一層デコーダと；
前記第一層デコーダに結合された第一の参照処理ユニット（RPU）と；
前記第一層デコーダに結合された第二層デコーダと；
前記第二層デコーダに結合された第二のRPUと；
前記第一のRPUおよび前記第二のRPUに結合された組み合わせ器と；
前記第二層エンコーダに結合された第三層エンコーダと；
前記第三層エンコーダに結合された第三のRPUと；
前記組み合わせ器および前記第三のRPUに結合された加算器とを有する、
多層式デコーダ。
〔ＥＥＥ１８３〕画像またはビデオ送達の方法であって：
付番実施例１ないし５２のうち一つまたは複数に記載の方法に基づくエンコード・プロセスと；
付番実施例１２４ないし１４５のうち一つまたは複数に記載の方法に基づくデコード・プロセスとを含む、
方法。
〔ＥＥＥ１８４〕画像またはビデオ送達システムであって：
付番実施例５３ないし１２３のうちいずれか一項記載の多層式エンコーダと；
付番実施例１４６ないし１８１のうちいずれか一項記載の多層式デコーダとを有する、
システム。
〔ＥＥＥ１８５〕複数仮説を使うコーデック・システムであって：
付番実施例１１７記載の多層式エンコーダと；
付番実施例１８２記載の多層式デコーダとを有する、
システム。
【図１】
2013534117.tif 000003
【図２】
2013534117.tif 000004
【図３】
2013534117.tif 000005
【図４】
2013534117.tif 000006
【図５】
2013534117.tif 000007
【図６】
2013534117.tif 000008
【図７】
2013534117.tif 000009
【図８】
2013534117.tif 000010
【図９Ａ】
2013534117.tif 000011
【図９Ｂ】
2013534117.tif 000012
【図１０】
2013534117.tif 000013
【図１１】
2013534117.tif 000014
【図１２】
2013534117.tif 000015
【手続補正書】
【提出日】平成24年7月18日(2012.7.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像およびビデオ送達のための多層式エンコード方法であって：
基本層を通じた少なくとも一つの入力画像またはビデオ・フレーム（３０２、３０４）の基本層処理であって、該基本層処理は：
前記少なくとも一つの入力画像またはビデオ・フレーム（３０２、３０４）を処理することによって少なくとも一つの第一のより低解像度の画像またはビデオ・フレーム（３１６入力）を得る段階；および
前記少なくとも一つの第一のより低解像度の画像またはビデオ・フレーム（３１４入力）をエンコードすることによって複数の基本層のエンコードされたビットストリーム信号（３５８）を得る段階を含む、基本層処理と；
一つまたは複数の向上層を通じた前記少なくとも一つの画像またはビデオ・フレーム（３０２、３０４）の向上層処理であって、該向上層処理は：
第一の組の規則に従って、少なくとも一つの基本層信号（３５６）または少なくとも一つの第一の向上層信号に対して第一の型の参照処理を実行することによって第一の複数の参照処理信号（３２２）および少なくとも一つの第一の参照処理された画像またはビデオ・フレーム（３２０）を得る段階であって：
第一の型の前記参照処理はフィルタリング方法に従って、前記少なくとも一つの基本層信号（３５６）または前記少なくとも一つの第一の向上層信号を補間することを含み、
前記第一の複数の参照処理信号（３２２）は、前記少なくとも一つの基本層信号（３５６）または前記少なくとも一つの第一の向上層信号を補間する前記フィルタリング方法を指定する、段階；
第二の組の規則に従って、前記少なくとも一つの第一の参照処理された画像またはビデオ・フレーム（３２０）および前記少なくとも一つの入力画像またはビデオ・フレーム（３０２、３０４）を処理することによって少なくとも一つの残差画像またはビデオ・フレーム（３２６）を得る段階；
前記少なくとも一つの残差画像またはビデオ・フレーム（３２６）を処理することによって少なくとも一つの第二のより低解像度の画像またはビデオ・フレーム（３３８入力）を得る段階；
前記少なくとも一つの第二のより低解像度の画像またはビデオ・フレーム（３３８入力）をエンコードすることによって複数の向上層エンコードされたビットストリーム信号を得る段階；および
第三の組の規則に従って、少なくとも一つの第二の向上層信号（３４４）に対して第二の型の参照処理を実行することによって第二の複数の参照処理信号（３６２）を得る段階であって：
第二の型の前記参照処理は前記少なくとも一つの第二の向上層信号（３４４）についてのフィルタリング方法に対応する最適な上方変換方式を決定する最適化を実行することを含み；
前記最適な上方変換方式は、当該多層式エンコード方法に対応する多層式デコード方法において使われる場合に画質を向上させるよう適応されており；
前記第二の複数の参照処理信号（３６２）は、前記少なくとも一つの第二の向上層信号（３４４）についての前記最適な上方変換方式の前記フィルタリング方法を指定する、段階を含む、
向上層処理とを含む、
方法。
【請求項２】
前記少なくとも一つの入力画像またはビデオ・フレーム（３０２、３０４）が複数のビューの画像またはビデオ・フレームである、請求項１記載の多層式エンコード方法。
【請求項３】
前記複数のビューが第一のビューおよび第二のビュー（３０２、３０４）である、請求項２記載の多層式エンコード方法。
【請求項４】
前記少なくとも一つの第一のより低解像度の画像またはビデオ・フレーム（３１６入力）が、前記第一のビューおよび前記第二のビューの画像またはビデオ・フレーム（３０２、３０４）を基本層フィルタリング（３０６）、基本層サブサンプリング（３１０）および基本層3D多重化（３１４）することによって得られる少なくとも一つのフレーム互換な画像またはビデオ・フレームを含む、請求項３記載の多層式エンコード方法。
【請求項５】
前記基本操作部サンプリングが水平方向、垂直方向または五の目状サブサンプリングを含む、請求項４記載の多層式エンコード方法。
【請求項６】
前記基本層サブサンプリングが前記二つのビューについて少なくとも一つの次元方向において不均等な品質を与える、請求項４記載の多層式エンコード方法。
【請求項７】
一方のビューが、少なくとも一つの第一の次元方向では他方のビューより低い解像度に、だが少なくとも一つの第二の次元方向ではより高い解像度にサブサンプリングされる、請求項６記載の多層式エンコード方法。
【請求項８】
前記基本層フィルタリングが前記第一のビューおよび前記第二のビューのすべての画像またはビデオ・フレーム（３０２、３０４）について固定されている、請求項４ないし７のうちいずれか一項記載の多層式エンコード方法。
【請求項９】
前記基本層フィルタリングが前記第一のビューおよび前記第二のビューの画像またはビデオ・フレーム（３０２、３０４）の空間的または時間的領域の少なくとも一つの特徴に依存する、請求項４ないし８のうちいずれか一項記載の多層式エンコード方法。
【請求項１０】
前記基本層3D多重化（３１４）が隣り合わせ配置、上下配置、行インターリーブ配置、列インターリーブまたはチェッカーボード配置である、請求項４ないし９のうちいずれか一項記載の多層式エンコード方法。
【請求項１１】
前記基本層のエンコードされたビットストリーム信号（３５８）が、前記複数の既存のビデオ符号化標準およびコーデックの一つに準拠するデコーダによってデコード可能である、請求項４ないし１０のうちいずれか一項記載の多層式エンコード方法。
【請求項１２】
前記少なくとも一つのフレーム互換な画像またはビデオ・フレーム（３１６入力）のエンコードがさらに、複数の既存の色およびサンプリング・フォーマットの一つを用いてエンコードすることを含む、請求項４ないし１１のうちいずれか一項記載の多層式エンコード方法。
【請求項１３】
前記複数の既存の色およびサンプリング・フォーマットがYUV4:0:0、YUV4:2:2、YUV4:4:4、RGBおよびXYZを含む、請求項１２記載の多層式エンコード方法。
【請求項１４】
前記基本層サブサンプリングが、前記複数の既存のビデオ符号化標準およびコーデックの一つまたは前記複数の既存の色およびサンプリング・フォーマットの一つに従うビット深さ精度を与える、請求項１１ないし１３のうちいずれか一項記載の多層式エンコード方法。
【請求項１５】
前記向上層サブサンプリングが前記基本層サブサンプリングより高いビット深さ精度を与える、請求項１１ないし１３のうちいずれか一項記載の多層式エンコード方法。
【請求項１６】
複数の向上層ビットストリーム信号をデコーダに提供する段階をさらに含む、請求項１ないし１５のうちいずれか一項記載の多層式エンコード方法であって、前記複数の向上層ビットストリーム信号は前記第一の複数の参照処理信号（３２２）、前記複数の向上層エンコードされたビットストリーム信号および前記第二の複数の参照処理信号を含む、方法。
【請求項１７】
前記少なくとも一つの第二のより低い解像度の画像またはビデオ・フレーム（３３８入力）のエンコードがさらに、前記少なくとも一つの第一のより低い解像度の画像またはビデオ・フレーム（３１４入力）のエンコードによって生成された少なくとも一つの再構成された画像またはビデオ・フレームを参照として使うことを含む、請求項１ないし１６のうちいずれか一項記載の多層式エンコード方法。
【請求項１８】
前記少なくとも一つの基本層信号（３５６）を第四の組の規則に従って参照処理することによって、少なくとも一つの第三の参照処理された画像またはビデオ（５０６）を得ることをさらに含む、請求項１ないし１７のうちいずれか一項記載の多層式エンコード方法。
【請求項１９】
画像およびビデオ送達のための多層式エンコーダであって：
少なくとも一つの入力画像またはビデオ・フレームを処理するよう適応された基本層処理器であって、複数の基本層エンコードされたビットストリーム信号（３５８）を出力するよう適応された基本層エンコーダ（３１４）を有する基本層処理器と；
少なくとも一つの入力画像またはビデオ・フレームを処理するよう適応された少なくとも一つの向上層処理器であって、向上層エンコーダ（３３６）および少なくとも二つの参照処理ユニット（RPU）（３１８、３４６）を有する、向上層処理器とを有しており、
前記向上層エンコーダは、複数の向上層エンコードされたビットストリーム（３５４）を出力するよう適応され、
前記第一のRPU（３１８）は、第一の組の規則に従って、フィルタリング方法に従って、前記基本層エンコーダ（３１６）からの少なくとも一つの出力（３５６）または少なくとも一つの向上層信号を補間し、第一の複数の参照処理データ（３３２）および少なくとも一つの第一の補間された画像またはビデオ・フレーム（３２０）を出力するよう適応されており、前記第一の複数の参照処理データ（３３２）は前記基本層エンコーダ（３１６）からの前記少なくとも一つの出力（３５６）または前記少なくとも一つの向上層信号を補間する前記フィルタリング方法を指定し、
前記第二のRPU（３４６）は、第二の組の規則に従って、前記向上層エンコーダ（３３８）からの少なくとも一つの出力についてのフィルタリング方法に対応する最適な上方変換方式を決定する最適化を実行し、第二の複数の参照処理データ（３６２）を出力するよう適応されており、
前記最適な上方変換方式は、当該多層式エンコーダに対応する多層式デコーダにおいて使われる場合に画質を向上させるよう適応されており；
前記第二の複数の参照処理データ（３６２）は、前記向上層エンコーダ（３３８）からの前記少なくとも一つの出力についての前記最適な上方変換方式の前記フィルタリング方法を指定する、
多層式エンコーダ。
【請求項２０】
複数仮説プロセスを使う多層式エンコーダであって：
第一層エンコーダ；
動作中に前記第一層エンコーダの出力を補間するよう適応された、前記第一層エンコーダに結合された第一の参照処理ユニット（RPU）；
前記第一層エンコーダに結合された第二層エンコーダ；
動作中に前記第二層エンコーダの出力を補間するよう適応された、前記第二層エンコーダに結合された第二のRPU；
前記第一のRPUおよび前記第二のRPUに結合された組み合わせ器；
前記組み合わせ器に結合された比較器；
前記第二層エンコーダおよび前記比較器に結合された第三層エンコーダ；および
前記第三層エンコーダに結合された第三のRPUを有しており、
前記組み合わせ器は、前記第一のRPUの出力および前記第二のRPUの出力の重み付けされた組み合わせによって、前記第三層エンコーダのための入力として予測画像を生成するよう適応されており；
前記比較器は、動作中に、減算または加算を含まないフィルタリングを実行して前記予測画像およびもとのビュー画像から残差画像を計算するよう適応されており；
前記第三層エンコーダは前記残差画像をエンコードするよう適応されている、
多層式エンコーダ。
【請求項２１】
画像およびビデオ送達のための多層式のデコード方法であって、
基本層を通じて複数の基本層エンコードされたビットストリーム信号（３５８）を基本層処理する段階を有しており、該基本層処理は：
前記複数の基本層エンコードされたビットストリーム信号（３５８）をデコードすることによって少なくとも一つの第一の低解像度の画像またはビデオ・フレーム（３４２の出力）を得る段階を含み、
当該方法は、
一つまたは複数の向上層を通じて複数の向上層ビットストリーム信号を向上層処理する段階を有しており、
前記複数の向上層ビットストリーム信号は：
複数の向上層エンコードされたビットストリーム信号（３５４）と、
第一の複数の参照処理信号（３２２）と、
第二の複数の参照処理信号（３６２）とを含み、
前記向上層処理は：
前記第一の複数の参照処理信号（３２２）によって指定されるフィルタリング方法に従って、前記少なくとも一つの第一の低解像度の画像またはビデオ・フレーム（３４２の出力）を補間することによって少なくとも一つの第一の参照処理された画像またはビデオ・フレーム（３５２）を得る段階と；
前記複数の向上層エンコードされたビットストリーム信号（３５４）をデコードし、基本層信号（３４０の他方の入力）または向上層信号を処理することによって少なくとも一つの向上層デコードされた信号（３４０出力）を得る段階と；
前記第二の複数の参照処理信号（３６２）によって指定されるフィルタリング方法に従って、前記少なくとも一つの向上層デコードされた信号（３４０出力）を補間することによって少なくとも一つの第二の参照処理された画像またはビデオ・フレーム（３５０）を得る段階と；
前記少なくとも一つの第一の参照処理された画像またはビデオ・フレーム（３５２）および前記少なくとも一つの第二の参照処理された画像またはビデオ・フレーム（３５０）を組み合わせることによって少なくとも一つのフル解像度の画像またはビデオ・フレームを得る段階とを含み、
前記第二の複数の参照処理信号（３６２）によって指定される前記フィルタリング方法は、少なくとも一つの第二の参照処理された画像またはビデオ・フレーム（３５０）を得る前記段階およびそれに続く前記少なくとも一つの第一の参照処理された画像またはビデオ・フレーム（３５２）および前記少なくとも一つの第二の参照処理された画像またはビデオ・フレーム（３５０）を組み合わせることによって少なくとも一つのフル解像度の画像またはビデオ・フレーム（３５２）を得る前記段階において使われる場合に前記少なくとも一つのフル解像度の画像またはビデオ・フレーム（３５２）の画質を向上させるよう適応されている、
多層式デコード方法。
【請求項２２】
画像およびビデオ送達のための多層式デコーダであって：
複数の基本層エンコードされたビットストリーム信号（３５８）をデコードするよう適応された少なくとも一つの基本層デコーダ（３４２）と；
複数の向上層ビットストリーム信号を処理するよう適応された少なくとも一つの向上層処理器とを有しており、
前記複数の向上層ビットストリーム信号は：
複数の向上層エンコードされたビットストリーム信号（３５４）と；
第一の複数の参照処理信号（３２２）と；
第二の複数の参照処理信号（３６２）とを有し；
前記向上層処理器は：
前記複数の向上層ビットストリーム信号をパース（parse）して前記複数の向上エンコードされたビットストリーム信号（３５４）をデコードするよう適応された向上層デコーダ（３４０）と；
前記第一の複数の参照処理信号（３２２）によって指定されるフィルタリング方法に従って、前記基本層デコーダ（３４２）からの出力を補間して少なくとも一つの第一の補間された再構成された画像またはビデオ・フレーム（３５２）を出力するよう適応された第一の参照処理ユニット（RPU）（３２４）と；
前記第二の複数の参照処理信号（３２２）によって指定されるフィルタリング方法に従って、前記向上層デコーダ（３４０）からの出力を補間して少なくとも一つの第二の補間された再構成された画像またはビデオ・フレーム（３５０）を出力するよう適応された第二のRPU（３４８）と；
前記少なくとも一つの第一の補間された再構成された画像またはビデオ（３５２）および前記少なくとも一つの第二の補間された再構成された画像またはビデオ・フレーム（３５０）を組み合わせて少なくとも一つのフル解像度の画像またはビデオ・フレーム（３６０）を得るよう適応された少なくとも一つの組み合わせ器とを有しており、
前記第二の複数の参照処理信号（３６２）によって指定される前記フィルタリング方法は、前記第二のRPU（３４８）において使われる場合に前記少なくとも一つのフル解像度の画像またはビデオ・フレーム（３５２）の画質を向上させるよう適応されている、
多層式デコーダ。
【請求項２３】
複数仮説プロセスを使う多層式デコーダであって：
動作中に第一層のデコードされた出力を生成するよう適応されている第一層デコーダと；
動作中に前記第一層のデコードされた出力を補間して第一の補間された出力を生成するよう適応されている、前記第一層デコーダに結合された第一の参照処理ユニット（RPU）と；
動作中に第二層のデコードされた出力を生成するよう適応されている、前記第一層デコーダに結合された第二層デコーダと；
動作中に前記第二層のデコードされた出力を補間して第二の補間された出力を生成するよう適応されている、前記第二層デコーダに結合された第二のRPUと；
動作中に、前記第一の補間された出力と前記第二の補間された出力を組み合わせて第一の組み合わされた出力を生成するよう適応されている、前記第一のRPUおよび前記第二のRPUに結合された第一の組み合わせ器と；
動作中に、第三層のデコードされた出力を生成するよう適応されている、前記第二層エンコーダに結合された第三層エンコーダと；
動作中に、前記第三層のデコードされた出力を補間して第三の補間された出力を生成するよう適応されている、前記第三層エンコーダに結合された第三のRPUと；
動作中に、前記第一の組み合わされた出力および前記第三の補間された出力に対して減算または加算を含まない逆フィルタリングを実行することによって、前記第一の組み合わされた出力と前記第三の補間された出力を組み合わせるよう適応されている、前記第一の組み合わせ器および前記第三のRPUに結合された第二の組み合わせ器とを有する、
多層式デコーダ。
【請求項２４】
画像またはビデオ送達の方法であって：
請求項１ないし２０のうち一つまたは複数に記載の方法に基づくエンコード・プロセスと；
請求項２１ないし２３のうち一つまたは複数に記載の方法に基づくデコード・プロセスとを含む、
方法。
【請求項２５】
画像またはビデオ送達システムであって：
請求項１ないし２１のうちいずれか一項記載の多層式エンコーダと；
請求項２１ないし２３のうちいずれか一項記載の多層式デコーダとを有する、
システム。
【請求項２６】
複数仮説を使うコーデック・システムであって：
請求項２２記載の多層式エンコーダと；
請求項２３記載の多層式デコーダとを有する、
システム。
【請求項２７】
請求項１ないし１８のうちいずれか一項記載の多層式エンコード方法であって、前記少なくとも一つの残差画像またはビデオ・フレーム（３２６）を処理することが：
前記少なくとも一つの残差画像またはビデオ・フレーム（３２６）をフィルタリングし、それにより少なくとも一つのフィルタリングされた残差画像またはビデオ・フレームを生成する段階と；
前記少なくとも一つのフィルタリングされた残差画像またはビデオ・フレームをダウンサンプリングし、それにより少なくとも一つのフィルタリングされダウンサンプリングされた残差画像またはビデオ・フレームを生成する段階と；
前記少なくとも一つのフィルタリングされダウンサンプリングされた残差画像またはビデオ・フレームを多重化して、それにより前記第二のより低解像度の画像またはビデオ・フレーム（３３８）を得る段階とを含む、
多層式エンコード方法。
【請求項２８】
請求項１ないし１８および２７のうちいずれか一項記載の多層式エンコード方法であって、前記第一の型の前記参照処理（３１８）のフィルタ選択および前記第二の型の前記参照処理（３４６）のフィルタ選択が：
前記第一の型の前記参照処理を最適化して前記第一の型の前記参照処理の前記フィルタ選択を実行し；
前記第一の型の前記参照処理の前記フィルタ選択のもとで、前記第二の型の前記参照処理を最適化して前記第二の型の前記参照処理の前記フィルタ選択を実行し；
前記第二の型の前記参照処理の前記フィルタ選択のもとで、前記第一の型の前記参照処理を最適化し直して、今一度、前記第一の型の前記参照処理の前記フィルタ選択を実行し；
前記第一の型の前記参照処理のフィルタ選択を最適化して実行することおよび前記第二の型の前記参照処理のフィルタ選択を最適化して実行することを逐次反復することによって、
合同して最適化される、
多層式エンコード方法。
【国際調査報告】
2013534117.tif 000016
2013534117.tif 000017
2013534117.tif 000018