(57)【特許請求の範囲】
【請求項１】
入力3D画像を受領する段階であって、前記入力3D画像は、第一の視点についての第一の入力画像フレームおよび第二の異なる視点についての第二の入力画像フレームを含み、前記入力3D画像は、前記第一の視点についての第三の入力画像フレームおよび前記第二の視点についての第四の入力画像フレームをもつ第二の異なる入力3D画像を含む入力3D画像のシーケンスにおける第一の入力3D画像である、段階と；
前記第一の入力画像フレームに基づいて、前記第一の視点についての低減解像度画像データを生成する段階と；
前記第二の入力画像フレームに基づいて、前記第二の視点についてのフル解像度画像データを生成する段階と；
前記低減解像度画像データおよび前記フル解像度画像データをエンコードおよび出力して、第一の出力3D画像を表現する段階であって、前記第一の出力3D画像は、前記第一の視点についての前記低減解像度画像データから導出された低減解像度出力画像フレームおよび前記第二の視点についての前記フル解像度画像データから導出されたフル解像度出力画像フレームの対を含む、段階と
前記第四の入力画像フレームに基づいて、前記第二の視点についての第二の低減解像度画像データを生成する段階と；
前記第三の入力画像フレームに基づいて、前記第一の視点についての第二のフル解像度画像データを生成する段階と；
前記第二の低減解像度画像データおよび前記第二のフル解像度画像データをエンコードおよび出力して、第二の出力3D画像を表現する段階であって、前記第二の出力3D画像は、前記第二の視点についての前記第二の低減解像度画像データから導出された第二の低減解像度出力画像フレームおよび前記第一の視点についての前記第二のフル解像度画像データから導出された第二のフル解像度出力画像フレームの第二の対を含む、段階とを含み、
前記第一の出力3D画像および前記第二の出力3D画像を含む出力3D画像のシーケンスにおいて、フル解像度出力画像フレームの呈示が前記第一の視点と前記第二の視点の間で交互になり、
前記第一の視点についての低減解像度画像データおよび前記第二の視点についてのフル解像度画像データに基づく前記第一の出力3D画像と前記第二の視点についての第二の低減解像度画像データおよび前記第一の視点についての第二のフル解像度画像データに基づく前記第二の出力3D画像との間で、前記第二の視点についての画像の空間解像度が複数フレームにわたって徐々にスケールダウンされる、
方法。
【請求項２】
前記出力3D画像の前記フル解像度出力画像フレームは、前記第二の入力画像フレームから導出された、フィルタリングされていない高空間周波数内容を含み、前記出力3D画像の前記低減解像度出力画像フレームは、前記第一の入力画像フレームから導出されたフィルタリングされた画像データを含む、請求項１記載の方法。
【請求項３】
出力3D画像の前記シーケンスにおいて、フル解像度出力画像フレームの呈示が、固定期間から次の固定期間にかけて前記第一の視点と前記第二の視点の間で交互になる、請求項１記載の方法。
【請求項４】
前記第一の出力3D画像についての画像データの一部として、前記第二の視点に対応するパリティ・フラグの第一の値が出力され、前記第二の出力3D画像についての画像データの一部として、前記第一の視点に対応するパリティ・フラグの第二の異なる値が出力される、請求項１記載の方法。
【請求項５】
前記パリティ・フラグは、フレーム・レベル、シーン・レベルまたは固定期間レベルのうちの一つで、前記第一の値と前記第二の異なる値の間を遷移する、請求項４記載の方法。
【請求項６】
前記第一の視点についての前記低減解像度画像データは多重化された3D画像フレーム内にあり、該多重化された3D画像フレームはさらに、前記第二の視点についての低減解像度画像データを含む、請求項１記載の方法。
【請求項７】
前記多重化された3D画像フレームは、複数の出力ビットストリームの基本層出力ビットストリームにおいて出力される、請求項６記載の方法。
【請求項８】
少なくとも部分的には前記第二の視点についての前記低減解像度画像データに基づいて、予測参照フレームを生成する段階と；
前記第二の視点についての前記フル解像度画像データを、前記予測参照フレームと前記第二の入力画像フレームとの間の差として生成する段階とをさらに含む、
請求項６記載の方法。
【請求項９】
少なくとも部分的には前記第二の視点についての前記低減解像度画像データに基づいて、予測参照フレームを生成する段階と；
前記予測参照フレームを、前記低減解像度画像データおよび前記フル解像度画像データとともにエンコードして出力する段階とをさらに含む、
請求項６記載の方法。
【請求項１０】
エンコードされた前記フル解像度画像データの少なくとも一部が、前記複数の出力ビットストリームのうちの一つまたは複数の向上層出力ビットストリームにおいて出力される、請求項６記載の方法。
【請求項１１】
一つまたは複数の入力ビデオ信号と一緒に表現される、受領される、伝送されるまたは記憶される一つまたは複数の入力3D画像を、一つまたは複数の出力ビデオ信号と一緒に表現される、受領される、伝送されるまたは記憶される一つまたは複数の出力3D画像に変換する段階をさらに含む、請求項１記載の方法。
【請求項１２】
前記第一の出力3D画像および前記入力3D画像の少なくとも一方は、高ダイナミックレンジ（HDR）画像フォーマット、映画芸術科学アカデミー（AMPAS）のアカデミー色エンコード規格（ACES）に関連するRGB色空間、デジタル・シネマ・イニシアチブのP3色空間規格、参照入力媒体メトリック／参照出力媒体メトリック（RIMM/ROMM）規格、sRGB色空間または国際電気通信連合（ITU）のBT.709勧告の規格に関連するRGB色空間のうちの一つにおいてエンコードされた画像データを含む、請求項１記載の方法。
【請求項１３】
第一の視点についての入力低減解像度画像データおよび第二の異なる視点についての入力フル解像度画像データを含む3D画像を受領する段階であって、前記3D画像は、前記第二の視点についての第二の入力低減解像度画像データおよび前記第一の視点についての第二の入力フル解像度画像データを含む第二の異なる3D画像を含む3D画像のシーケンス中の第一の3D画像であり、3D画像の前記シーケンスにおいて入力フル解像度出力画像データの呈示が前記第一の視点と前記第二の視点の間で交互になる、段階と；
前記入力低減解像度画像データに基づいて、前記第一の視点についての前記3D画像の低減解像度画像フレームを生成する段階と；
前記入力フル解像度画像データに基づいて、前記第二の視点についてのフル解像度画像フレームを生成する段階と；
前記第一の視点についての前記3D画像の前記低減解像度画像フレームをレンダリングし、前記第二の視点についての前記3D画像の前記フル解像度画像フレームをレンダリングすることによって、前記3D画像をレンダリングする段階と；
前記第二の入力低減解像度画像データに基づいて、前記第二の視点についての前記第二の3D画像の第二の低減解像度画像フレームを生成する段階と；
前記第二の入力フル解像度画像データに基づいて、前記第一の視点についての第二のフル解像度画像フレームを生成する段階と；
前記第二の視点についての前記第二の3D画像の前記第二の低減解像度画像フレームをレンダリングし、前記第一の視点についての前記第二の3D画像の前記第二のフル解像度画像フレームをレンダリングすることによって前記第二の3D画像をレンダリングする段階とを含み、
第一の視点についての入力低減解像度画像データおよび第二の視点についての入力フル解像度画像データを含む前記3D画像と前記第二の視点についての第二の入力低減解像度画像データおよび前記第一の視点についての第二の入力フル解像度画像データを含む前記第二の異なる3D画像との間で、複数フレームにわたって、前記第二の視点についての前記画像の空間解像度を徐々にスケールダウンするよう、解像度フィルタを、受領されたフィルタ・インデックスに基づいて選択する段階をさらに含む、
方法。
【請求項１４】
前記3D画像の前記フル解像度画像フレームは、フィルタリングされていない源3D画像中の高空間周波数内容を含み、前記3D画像の前記低減解像度画像フレームはフィルタリングされた前記源3D画像中の画像データを含む、請求項１３記載の方法。
【請求項１５】
3D画像の前記シーケンスにおいて、入力フル解像度画像データの呈示が、固定期間から次の固定期間にかけて前記第一の視点と前記第二の視点の間で交互になる、請求項１３記載の方法。
【請求項１６】
前記第二の視点に対応するパリティ・フラグの第一の値が前記第一の3D画像についての画像データの一部として受領され、前記第一の視点に対応する前記パリティ・フラグの第二の異なる値が前記第二の3D画像についての画像データの一部として受領される、請求項１３記載の方法。
【請求項１７】
前記パリティ・フラグは、フレーム・レベル、シーン・レベルまたは固定期間レベルのうちの一つにおいて、前記第一の値と前記第二の異なる値との間で遷移する、請求項１６記載の方法。
【請求項１８】
入力ビットストリームにおいて、前記解像度フィルタを選択するためのフィルタ・フラグを受領する段階をさらに含む、請求項１３記載の方法。
【請求項１９】
前記第一の視点についての前記入力低減解像度画像データは入力多重化3D画像フレーム内にあり、該入力多重化3D画像フレームはさらに、前記第二の視点についての入力低減解像度画像データを含む、請求項１３記載の方法。
【請求項２０】
前記入力多重化3D画像フレームは、複数の入力ビットストリームの基本層入力ビットストリームから受領される、請求項１９記載の方法。
【請求項２１】
少なくとも部分的には前記第二の視点についての前記入力低減解像度画像データに基づいて、予測参照フレームを生成する段階と；
前記予測参照フレームと前記入力フル解像度画像データとを組み合わせることによって、前記フル解像度画像フレームを生成する段階とをさらに含む、
請求項１９記載の方法。
【請求項２２】
前記入力フル解像度画像データの少なくとも一部が、前記複数の入力ビットストリームのうちの一つまたは複数の向上層出力ビットストリームから受領される、請求項１９記載の方法。
【請求項２３】
一つまたは複数の入力ビデオ信号と一緒に表現される、受領される、伝送されるまたは記憶される一つまたは複数の3D画像を処理する段階をさらに含む、請求項１３記載の方法。
【請求項２４】
前記3D画像は、高ダイナミックレンジ（HDR）画像フォーマット、映画芸術科学アカデミー（AMPAS）のアカデミー色エンコード規格（ACES）に関連するRGB色空間、デジタル・シネマ・イニシアチブのP3色空間規格、参照入力媒体メトリック／参照出力媒体メトリック（RIMM/ROMM）規格、sRGB色空間または国際電気通信連合（ITU）のBT.709勧告の規格に関連するRGB色空間のうちの一つにおいてエンコードされた画像データを含む、請求項１３記載の方法。
【請求項２５】
請求項１ないし１２のうちいずれか一項記載の方法を実行するよう適応されたエンコーダ。
【請求項２６】
請求項１３ないし２４のうちいずれか一項記載の方法を実行するよう適応されたデコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願への相互参照
本願は2011年9月16日に出願された米国仮特許出願第61/535,880号の優先権を主張するものである。同出願の内容はここにその全体において参照によって組み込まれる。
【０００２】
技術
本発明は概括的には画像データに関する。より詳細には、本発明の例示的な実施形態は立体視3D画像のための画像データに関する。
【背景技術】
【０００３】
3Dコンテンツ送達のためのフレーム互換半解像度（FCHR:  frame-compatible  half  resolution）解決策には、半解像度3Dコンテンツはフル解像度の3D画像フレームからサブサンプリングされた半分の解像度の画像フレームしか含まないため、劣化した空間分解能の問題がある。
【０００４】
基本層を通じて半解像度3D画像フレームを送り、向上層を通じて相補的な半解像度3D画像フレームを送ることによってフル解像度3D画像フレームを生成するために、フレーム互換フル解像度（FCFR:  frame-compatible  full  resolution）解決策が使われてもよい。半解像度3Dフレームおよび相補的な半解像度3D画像フレームは受領装置によってフル解像度の3D画像フレームに組み合わされてもよい。
【０００５】
しかしながら、二層式のFCFR解決策は、半解像度画像フレームにおけるエイリアシングを軽減／除去するために低域通過フィルタ処理を実装する。画像フレーム内の高周波数内容が低域通過フィルタ処理によって除去されるので、下流の装置が、高空間周波数内容内にあったすべての微細な詳細およびテクスチャーを復元することは不可能である。フル解像度3D画像フレームはそれでも構築されうるものの、3D画像フレーム内のピクセルは低域通過フィルタ処理によって不可逆な改変を受けているはずであり、3D画像フレームを生じさせるもとの3D内容におけるもとの解像度および先鋭さを再現するために使用することはできない。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記のセクションで記述されたアプローチは、追求されることができたが必ずしも以前に着想または追求されたアプローチではない。したがって、特に断りのない限り、該セクションにおいて記述されるアプローチはいずれも、該セクションに含まれているというだけのために従来技術の資格をもつと想定されるべきではない。同様に、特に断りのない限り、一つまたは複数のアプローチに関して特定されている問題は、該セクションに基づいて何らかの従来技術において認識されていたと想定されるべきではない。
【課題を解決するための手段】
【０００７】
本発明は、限定ではなく例として、付属の図面の図において示される。図面において、同様の参照符号は同様の要素を指す。
【図面の簡単な説明】
【０００８】
【図１Ａ】例示的な多層ビデオ・エンコーダを示す図である。
【図１Ｂ】例示的な多層ビデオ・デコーダを示す図である。
【図１Ｃ】高空間周波数内容がフィルタリング／除去された画像データのエンコードまたはデコードとの関連での、例示的な基本層ビデオ・デコーダを示す図である。
【図２Ａ】左目および右目の一方のためであり他方の目のためではない、高空間周波数内容をエンコードする例示的な多層ビデオ・エンコーダを示す図である。
【図２Ｂ】左目および右目の一方のためであり他方の目のためではない、高空間周波数内容を含む一つまたは複数のビデオ信号をデコードするよう構成された例示的な多層ビデオ・デコーダを示す図である。
【図３Ａ】左目と右目の間の高空間周波数内容のエンコードを交互にする例示的な多層ビデオ・エンコーダを示す図である。
【図３Ｂ】左目と右目の間で交互にエンコードされた高空間周波数内容を含む一つまたは複数のビデオ信号をデコードする例示的な多層ビデオ・デコーダを示す図である。
【図３Ｃ】一つまたは複数の向上層において相補的な低減解像度画像データおよび高空間周波数内容をデコードするよう構成された例示的な多層ビデオ・デコーダを示す図である。
【図４】左目と右目の間で交互になる目についての高空間周波数内容を担持する3D画像の例示的な諸シーケンスを示す図である。
【図５】左目および右目の一方についてのフル解像度のフィルタリングされていない画像フレームと、他方の目についての半解像度のフィルタリングされた画像フレームとを含む例示的な型の3D画像を示す図である。
【図６】ＡおよびＢは、本発明の例示的な実施形態に基づく例示的な処理フローを示す図である。
【図７】本発明の例示的な実施形態に基づいて本稿に記載されるコンピュータまたはコンピューティング装置が実装されうる例示的なハードウェア・プラットフォームを示す図である。
【発明を実施するための形態】
【０００９】
異なるディスプレイ機能を横断しての知覚的ルミナンス非線形性に基づく画像データ交換に関する例示的な実施形態が本稿に記載される。以下の記述では、説明のために、数多くの個別的詳細が、本発明の十全な理解を与えるために記述される。しかしながら、本発明がそうした個別的詳細なしでも実施されうることは明白であろう。他方、よく知られた構造および装置は、本発明を無用に隠蔽し、埋没させ、あるいは曖昧にするのを避けるために、網羅的な詳細さでは記述されない。
【００１０】
例示的な実施形態は、以下のアウトラインに従って本稿で記載される。
１．概観
２．両目について高空間内容がフィルタリングされる多層ビデオ送達
３．一方の目のためのフィルタリングされていない高空間内容をもつ多層ビデオ送達
４．交互の視点におけるフィルタリングされていない高空間内容をもつ多層ビデオ送達
５．例示的な処理フロー
６．実装機構――ハードウェアの概観
７．等価物、拡張、代替その他
〈１．概観〉
この概観は、本発明のある例示的な実施形態のいくつかの側面の基本的な記述を提示する。この概観はその例示的な実施形態の包括的ないし網羅的な要約ではないことは注意しておくべきである。さらに、この概観は、その例示的な実施形態の何らかの特に有意な側面もしくは要素を特定するものと理解されることも、一般には本発明の、特にその例示的な実施形態の何らかの範囲を画定するものと理解されることも、意図されていない。この概観は単に、その例示的な実施形態に関係するいくつかの概念を凝縮された単純化された形式で提示するものであり、単に後続の例示的な諸実施形態のより詳細な説明への概念的な導入部として理解されるべきである。
【００１１】
ビデオ・データは現在、たいていはネットワーク接続を通じて、たとえばインターネット・ベースのコンテンツ・プロバイダーから受領される。しかしながら、コンピューティング装置上の3Dディスプレイ・アプリケーションのようなディスプレイ・アプリケーションに割り当てられるビットレートは限られている。
【００１２】
3D画像レンダリング装置の最も広い可能な多様性をサポートするために、3D画像コンテンツは、低下した解像度をもつフレーム互換な3D画像フレーム（またはピクチャー）として送達されてもよい。論じられるように、3D画像フレームは、フル解像度3D画像フレームから低減解像度3D画像フレームにサブサンプリングされてもよく、フル解像度3D画像フレーム中の高空間周波数内容は、サブサンプリングされた画像フレーム中のエイリアシングを防止するために、低域フィルタによって除去されてもよい。
【００１３】
本発明の諸実施形態は、知覚的な冗長性および立体視3D閲覧の場合における人間の視覚における眼間マスキング効果を利用する。二つの異なる空間解像度をもつ3Dフレームの左目（LE）および右目（RE）画像フレームを含む3D画像が（同時にまたはフレーム逐次式に）閲覧されるとき、人間の目は、二つの異なる空間解像度のうち高いほうで3D画像を知覚する傾向がある。
【００１４】
諸実施形態は、解像度非対称な3D画像データをエンコードし、下流の装置に提供することを含む。3D画像のシーケンスにおいて個々の3D画像を呈示するために、左目および右目のうちの一方についてはフル解像度のフィルタリングされていない画像データが与えられ、左目および右目のうちの他方についてはフィルタリングされた画像データのみが与えられる。
【００１５】
3D画像の品質および先鋭さの知覚は、LEおよびRE画像フレームの間で解像度が異なる場合、大きいほうの空間解像度の画像フレームを見る目のほうに強く重みがかけられるため、本稿に記載されるような技法のもとでの解像度非対称な3D画像データはずっと少ないデータ量を要求するが、他の技法のもとで左目および右目の両方のためにフル解像度のフィルタリングされていない画像データをもつ解像度対称な3D画像データを提供するためのずっと多くのデータを使う場合と同様の主観的な画質を提供する。
【００１６】
いくつかの例示的な実施形態では、3D画像のフレーム互換な低減解像度のLEおよびRE画像フレームが基本層において受領側装置に与えられる一方、左目および右目のうちの一方についての前記3D画像のフル解像度のフィルタリングされていない画像データが、基本層とは別個の一つまたは複数の向上層において、受領側装置に与えられる。3D画像のフル解像度のフィルタリングされていない画像データは受領側装置によって、前記3D画像の二つのフレーム互換な低減解像度3D画像フレームのうち、左目および右目のうちの同じ目についてのものと組み合わされて、左目および右目のうちの前記同じ目についてのフル解像度のフィルタリングされていない画像フレームを再構成してもよい。
【００１７】
本稿に記載される技法を実装するコーデックは、基本層における低減解像度のフィルタリングされた画像フレームの一つと対応する源画像フレームとの間の統計的な冗長性をフルに活用するために層間予測機能を含むよう構成されてもよい。向上層におけるエンコードされた画像データは、異なる層の画像データにおける統計的な冗長性を活用することなく大量のフル解像度のフィルタリングされていない画像データを担持するのではなく、残差（または差分）画像データ（可能性としてはそれだけ）を担持してもよい。向上層において与えられる残差画像データは、基本層における低減解像度のフィルタリングされた画像フレームの前記同じ目についてのものの上に該残差画像データを加えることによって、下流の装置がフル解像度のフィルタリングされていない画像フレームを構築することを可能にする。
【００１８】
いくつかの例示的な実施形態では、コーデックは、ITU-T勧告H.264およびISO/IEC  14496-10に記載されるように使われるビュー間予測機能を含むよう構成されていてもよい。いくつかの例示的な実施形態では、向上層圧縮のための層間予測において効率を改善するために、RPU（reference  processing  unit［参照処理ユニット］）が使用されてもよい。
【００１９】
いくつかの実施形態では、低域通過フィルタ処理がないために高空間周波数内容を保持する、一方の目についてのフル解像度のフィルタリングされていない画像フレームと、高空間周波数内容を保持しない他方の目についての低減解像度（たとえばアップサンプリングされた）画像フレームとが閲覧のために呈示される。フル解像度のフィルタリングされていない画像フレームの呈示は、ある3D画像から次の3D画像にかけて左目と右目の間で交互にされてもよい。代替的および／または任意的に、フル解像度のフィルタリングされていない画像フレームの呈示は、あるシーンから次のシーンにかけて左目と右目の間で交互にされてもよい。代替的および／または任意的に、フル解像度のフィルタリングされていない画像フレームの呈示は、ある固定期間から次の固定期間にかけて左目と右目の間で交互にされてもよい。ある例示的な実施形態では、固定期間は、ある単一フレームまたは複数のフレームの再生時間であってもよい。ある例示的な実施形態では、該期間の長さはプログラムからプログラムにかけて変わってもよい。フル解像度のフィルタリングされていない画像フレームを二つの目の間で交互させる他の方法も使用されうる。
【００２０】
向上層における画像データのパリティを信号伝達するために、画像フレームとともにパリティ・フラグが提供されてもよい。画像データのパリティとは、画像データがどちらの目のためのものであるかを指す。パリティ・フラグは、補足向上情報（SEI:  supplemental  enhancement  information）またはビデオ・ビットストリームにおいて利用可能な他の同様のメタデータ担体の一部として伝送されてもよい。
【００２１】
いくつかの例示的な実施形態では、他のアプリケーションのために必要とされるデータが、向上層においてフル解像度のフィルタリングされていない画像データと一緒に含められてもよい。いくつかの例示的な実施形態では、米国カリフォルニア州サンフランシスコのドルビー・ラボラトリーズから商業的に入手可能なFCFR技術によって与えられる機能は、本稿で記述されるように基本層および向上層によってサポートされてもよい。
【００２２】
本発明の諸実施形態は、帯域幅およびビットレート使用を最小限にし、さまざまなテレビジョン、ディスプレイおよび他の画像レンダリング装置をサポートできるフレーム互換な3D画像データを低減した解像度で保持しうる。さらに、いくつかの利用可能なシステム・コンポーネントの再利用および適応機能および改善能力は、本稿に記載される技法を使わない他のアプローチと比べ、相対的に低コストの実装を許容する。
【００２３】
いくつかの例示的な実施形態では、本稿に記載される機構は、メディア処理システムの一部をなす。メディア処理システムは、ハンドヘルド装置、ゲーム機、テレビジョン、ラップトップ・コンピュータ、ネットブック・コンピュータ、タブレット・コンピュータ、セルラー無線電話、電子書籍リーダー、ポイントオブセール端末、デスクトップ・コンピュータ、コンピュータ・ワークステーション、コンピュータ・キオスクまたはさまざまな他の種類の端末およびメディア処理ユニットを含むがそれに限られない。
【００２４】
本稿に記載される好ましい実施形態および一般的な原理および特徴に対するさまざまな修正が当業者にはすぐに明白となるであろう。よって、開示は示される実施形態に限定されることは意図されておらず、本稿に記載される原理および特徴と整合する最も広い範囲を与えられるべきものである。
【００２５】
〈２．両目について高空間内容がフィルタリングされる多層ビデオ送達〉
図１Ａは、本発明のある実施形態に基づく、入力ビデオ・シーケンスに存在する高空間周波数内容をフィルタリング／除去する例示的な多層ビデオ・エンコーダ（１００）を示している。図１Ｂは、本発明の前記実施形態に基づく、図１Ａに示される多層ビデオ・エンコーダ（１００）に対応する多層ビデオ・デコーダ（１５０）を示している。
【００２６】
ある例示的な実施形態では、多層ビデオ・エンコーダ（１００）は、3D入力画像のシーケンスからなる入力3Dビデオ・シーケンスをエンコードするよう構成されている。3D画像のシーケンス中の3D入力画像は、高空間周波数内容を含むフル解像度3D画像データを含む。本稿での用法では、用語「フル解像度」は、画像フレーム中の独立して設定可能なピクセルの総数によってサポートされる最大の空間解像度を指しうる。3D入力画像中のフル解像度3D画像データは最初に、多層ビデオ・エンコーダ（１００）によって入力LE画像フレーム（１０２-L）および入力RE画像フレーム（１０２-R）にデコードされる。これはいずれも高空間周波数内容を含む。
【００２７】
ある例示的な実施形態では、多層ビデオ・エンコーダ（１００）における一つまたは複数のフィルタリング機構（たとえば１０４-Lおよび１０４-R）が、入力LEおよびRE画像フレーム（１０２-Lおよび１０２-R）に基づいて、フィルタリングされたLEおよびRE画像データ（１０６-Lおよび１０６-R）を生成する。フィルタリングされたLEおよびRE画像データ（１０６-Lおよび１０６-R）は、入力LEおよびRE画像フレーム（１０２-Lおよび１０２-R）から高空間周波数内容の全部または実質的な部分を除去することによって生成されてもよい。フィルタリングは、フィルタリング機構（たとえば１０４-Lおよび１０４-R）において一つまたは複数の低域通過フィルタ（LPF）を用いて実行されてもよい。ある例示的な実施形態では、本稿に記載されるようなフィルタリングは、多層ビデオ・デコーダ（１５０）によってサポートされる空間解像度に対応する閾値周波数より上の入力画像中のいかなる空間周波数内容をも除去するまたは実質的に減衰させる。
【００２８】
本稿での用法では、用語「高空間周波数内容」は、入力3Dビデオ・シーケンスにおいて存在しているが、アンチエイリアシングのためにたとえば低域通過フィルタによって除去される高い空間周波数の画像詳細を指しうる。高空間周波数内容の除去が行なわれた場合、それは下流の装置がフィルタリングされた画像データを用いて高解像度の画像詳細を再現することができないという意味で不可逆である。
【００２９】
ある例示的な実施形態では、フィルタリング機構（たとえば１０４-Lおよび１０４-R）の一部としてまたはそれに加えて実装されうる一つまたは複数のサンプリング器（たとえば、図１Ａの１０４-Lおよび１０４-Rにおいて下向き矢印で示されているダウンサンプリング器）が、フィルタリングされたLEおよびRE画像データ（１０６-Lおよび１０６-R）の生成の一部としてサンプリング（ダウンサンプリング）を実行する。ある例示的な実施形態では、サンプリング器はフィルタリングされたLE画像データを二つの半分に分離し、その一方がサブサンプリングされた（たとえばすべての奇数番目の列または行の）LE画像データ部分を含み、その他方が相補的なサブサンプリングされた（たとえばすべての偶数番目の列または行の）LE画像データ部分を含む。同様に、サンプリング器は、フィルタリングされたRE画像データを二つの半分に分離し、その一方がサブサンプリングされた（たとえばすべての奇数番目の列または行の）RE画像データ部分を含み、その他方が相補的なサブサンプリングされた（たとえばすべての偶数番目の列または行の）RE画像データ部分を含む。
【００３０】
ある例示的な実施形態では、一つまたは複数のマルチプレクサ（たとえばMux  １０８−１およびMux  １０８−２）がフィルタリングされたLEおよびRE画像データ（１０６-Lおよび１０６-R）を多重化された3D画像フレーム（１１２−１および１１２−２）に多重化する。多重化された3D画像フレーム（１１２−１および１１２−２のうちの一つ）は、左目のための（たとえばダウンサンプリングされた）画像データ部分および右目のための（たとえばダウンサンプリングされた）画像データ部分の両方を含む。多重化された3D画像フレームは、下流の装置によってデコードされて、フル解像度の100%より少ない低減した解像度（たとえば半分の解像度）のLE画像フレームおよびRE画像フレームにされる。低減解像度のそのようなデコードされたLEおよびRE画像フレームは、アップサンプリングされて、フル解像度の画像フレームと同数のピクセルを含むようにされる。だがその見え方は、アップサンプリング処理によって得られたのでないフル解像度画像よりもぼやけている。
【００３１】
ある例示的な実施形態では、多重化された3D画像フレーム（１１２−１）は、左目のためのフル解像度画像フレーム内のピクセル総数の一方の半分（たとえば一つおきの列または一つおきの行）および右目のための他方の半分についての画像データを含む。一方、多重化された3D画像フレーム（１１２−２）は、左目のためのフル解像度画像フレーム内のピクセル総数の一方の半分（たとえば一つおきの列または一つおきの行）および右目のための他方の半分についての相補的な画像データを含む。低減解像度のLEおよびRE画像データ部分は多重化された3D画像フレーム（たとえば１１２−１および１１２−２のうちの一つ）内に、隣り合わせフォーマット、上下フォーマット、五の目フォーマット、市松模様フォーマット、インターリーブ・フォーマット、上記のフォーマットの組み合わせまたは他の多重フォーマットにおいて、多重化されてもよい。
【００３２】
一つまたは複数の向上層が、フル解像度のまたはフル解像度より低い画像フレームを生じるよう基本層内の画像データと組み合わされうる相補的な画像データを担持するために使われてもよい。一例では、基本層は半分の解像度の画像フレームを担持してもよく、向上層は、下流の装置によって基本層における該半分の解像度の画像フレームと組み合わされてフル解像度の画像フレームを生じる相補的な半分の解像度の画像フレームを担持してもよい。もう一つの例では、基本層はフル解像度の画像フレームの三分の一を圧縮して担持し、向上層はフル解像度の画像フレームの残りの三分の二を担持し、それが下流の装置によって基本層の三分の一の解像度の画像フレームと組み合わされてフル解像度の画像フレームを生じる。フル解像度から低減解像度への分解の他の変形も可能である。
【００３３】
ある例示的な実施形態では、BLエンコーダ（１１０）は、少なくとも部分的には多重化された3D画像フレーム（１１２−１）に基づいて、基本層フレーム互換ビデオ・ストリーム（BL  FCビデオ・ストリーム１１８−１）において担持される基本層ビデオ信号を生成し、一方、ELエンコーダ（１１６）は、少なくとも部分的には多重化された3D画像フレーム（１１２−２）に基づいて、向上層フレーム互換ビデオ・ストリーム（EL  FCビデオ・ストリーム１１８−３）において担持される向上層ビデオ信号を生成する。BLエンコーダ（１１０）およびELエンコーダ（１１６）の一方または両方が、H.264/AVC、VP8、VC-1および／またはその他のような複数のコーデックの一つまたは複数を使って実装されてもよい。
【００３４】
本稿で記述される向上層ビデオ信号は、（たとえばVC-1、H.264/AVCおよび／またはその他のようなビデオ・コーデックによって実装される）ハイブリッド・ビデオ符号化方法を使って生成されてもよい。多重化された3D画像フレーム１１２−２内の画像データは、同じ画像フレーム内の近隣のサンプルから（イントラ予測を使って）、あるいは同じ層に属し、予測参照画像フレーム・バッファ内に動き補償された予測参照としてバッファリングされる過去のデコードされた画像フレームからのサンプルから（インター予測）、予測されうる。層間予測は、少なくとも部分的に他の層（たとえば基本層など）からのデコードされた情報にも基づいていてもよい。
【００３５】
追加的および／または任意的に、多層ビデオ・エンコーダ（１００）は、予測に関係する動作を実行するために参照処理ユニット（RPU:  reference  processing  unit、１１４）を有していてもよい。参照処理ユニット（１１４）によって実装される予測は、多層ビデオ・デコーダ（１５０）におけるフル解像度の3D画像フレームを構築することにおいて冗長なデータおよびオーバーヘッドを低減するために使用されてもよい。RPU（１１４）は、BLエンコーダ１１０からのBL画像データおよび他の予測に関係した情報を受領し、利用してもよく、イントラまたはインター予測を通じて予測参照画像フレームを生成してもよい。
【００３６】
そのような予測を利用する例示的な実施形態において、ELエンコーダ（１１６）は、少なくとも部分的には多重化された3D画像フレーム（１１２−２）および予測参照画像フレームに基づいて、多重化された3D画像残差（予測参照画像フレームと多重化された3D画像フレーム１１２−２の間の差）を生成し、該画像残差を、EL  FCビデオ・ストリーム（１１８−３）において担持される向上層ビデオ信号中に格納する。さらに、RPU（１１４）は、少なくとも部分的には予測参照画像フレームに基づいて、向上層（EL）RPUストリーム（１１８−２）において担持される参照ビデオ信号を生成する。
【００３７】
図１Ｂは、ある実施形態に基づく、高空間周波数内容がもとのビデオ・シーケンス（これは図１Ａとの関連で論じた入力ビデオ・シーケンスであってもよい）から除去されている入力ビデオ信号を受領する多層ビデオ・デコーダ（１５０）を示している。ある例示的な実施形態では、入力ビデオ信号は複数層（または複数ビットストリーム）において受領される。本稿での用法では、用語「多層」または「複数層」は、（諸入力ビデオ信号の）互いの間で一つまたは複数の論理的な依存関係をもつ諸入力ビデオ信号を担持する二つ以上のビットストリームを指しうる。
【００３８】
ある例示的な実施形態では、多層ビデオ・デコーダ（１５０）は、BL  FCビデオ・ストリーム（図１Ｂの１１８−１）、EL  RPUストリーム（図１Ｂの１１８−２）およびEL  FCビデオ・ストリーム（図１Ｂの１１８−３）内の一つまたは複数の入力ビデオ信号をデコードして、3D出力画像のシーケンスにするよう構成されている。多層ビデオ・デコーダ（１５０）によってデコードされる3D出力画像のシーケンスにおける3D出力画像は、どちらの目についてもフル解像度のフィルタリングされていない3D画像フレームを含まない。前記諸入力ビデオ信号を生じさせるもとのビデオ・シーケンスにおける高空間周波数内容がフィルタリング／除去されており、もはや多層ビデオ・デコーダ（１５０）によって復元されることができないからである。
【００３９】
ある例示的な実施形態では、BLデコーダ（１５０）は、少なくとも部分的にはBL  FCビデオ・ストリーム（図１Ｂの１１８−１）から受領されるBLビデオ信号に基づいて、第一の多重化された3D画像フレーム（１５８−１）を生成し、ELデコーダ（１５６）は、少なくとも部分的にはEL  FCビデオ・ストリーム（図１Ｂの１１８−３）から受領されるELビデオ信号に基づいて、第二の多重化された3D画像フレーム（１５８−２）を生成する。BLデコーダ（１５２）およびELデコーダ（１５６）の一方または両方は、H.264/AVC、VP8、VC-1および／またはその他のような複数のコーデックの一つまたは複数を使って実装されてもよい。
【００４０】
予測を利用する実施形態では、デコーダ側のRPU（１５４）は、少なくとも部分的にはEL  RPUストリーム（図１Ｂの１１８−２）から受領される参照ビデオ信号および／またはBLデコーダ（１５２）からのBL画像データに基づいて、予測参照画像フレームを生成する。さらに、ELデコーダ（１５６）は、少なくとも部分的にはEL  FCビデオ・ストリーム（図１Ｂの１１８−３）内のELビデオ信号およびRPU（１５４）からの予測参照画像フレームに基づいて、第二の多重化された3D画像フレーム（１５８−２）を生成する。
【００４１】
多層ビデオ・デコーダ（１５０）は、一つまたは複数の向上層（たとえばEL  RPUストリーム１１８−２およびEL  FCビデオ・ストリーム１１８−３）において受領される相補的な画像データを、基本層（たとえばBL  FCビデオ・ストリーム１１８−１）において受領される画像データと組み合わせて、フル解像度またはフル解像度より低い画像フレームを生じてもよい。多層ビデオ・デコーダ（１５０）は、フル解像度を基本層および前記一つまたは複数の向上層における諸低減解像度に分解する諸変形のうちの一つまたは複数をサポートしてもよい。
【００４２】
ある例示的な実施形態では、一つまたは複数のデマルチプレクサ（たとえばDeMux  １６０−１および１６０−２）が多重化された3D画像フレーム（１５８−１および１５８−２）を多重分離して、フル解像度のまたはフル解像度より低いフィルタリングされたLEおよびRE出力画像フレーム（１６２-Lおよび１６２-R）にする。多重化された3D画像フレーム（１５８−１および１５８−２）は左目および右目両方について画像データを含むが、フィルタリングされたLEおよびRE出力画像フレーム（１６２-Lおよび１６２-R）のそれぞれは左目および右目の一方についてのみである。第一の多重化された3D画像フレーム（１５８−１）における低減解像度の第一のLE画像データ部分は、第二の多重化された3D画像フレーム（１５８−２）における低減解像度の第二のLE画像データ部分と組み合わされて、フル解像度のまたはフル解像度より低いフィルタリングされたLE出力画像（１６２-L）を形成する。同様に、第一の多重化された3D画像フレーム（１５８−１）における低減解像度の第一のRE画像データ部分は、第二の多重化された3D画像フレーム（１５８−２）における低減解像度の第二のRE画像データ部分と組み合わされて、フル解像度のまたはフル解像度より低いフィルタリングされたRE出力画像（１６２-R）を形成する。
【００４３】
フル解像度のまたはフル解像度より低いフィルタリングされたLEおよびRE出力画像フレームは、（たとえば多層ビデオ・デコーダ１５０を有していてもよい）ディスプレイ装置によってレンダリングされ、出力3D画像を呈示してもよい。フィルタリングされたLEおよびRE出力画像フレームのレンダリングは、フレーム逐次式になされてもよいが、それに限定されない。多層ビデオ・デコーダ（１５０）によって受領されるビデオ信号からは高空間周波数内容がフィルタ除去されているので、出力3D画像は、もとの3D画像（これは図１Ａの3D入力画像の一つであってもよい）に存在している可能性がある高空間周波数画像詳細を含まない。
【００４４】
図１Ｃは、ある実施形態に基づく、もとのビデオ・シーケンス（これは図１Ａとの関連で論じた入力ビデオ・シーケンスであってもよい）から高空間周波数内容が除去された一つまたは複数の入力ビデオ信号を受領する基本層ビデオ・デコーダ（１５０−１）を示している。ある例示的な実施形態では、基本層ビデオ・デコーダ（１５０−１）は、基本層（図１ＣのBL  FCビデオ・ストリーム１１８−１）から受領されるBL入力ビデオ信号をデコードして3D出力画像のシーケンスにするよう構成されている。これは、デコーダによって受領された物理的な信号において他の層内のビデオ信号が存在しうるか否かに関わりなく行なわれる。一例では、基本層ビデオ・デコーダ（１５０−１）は、BL  FCビデオ・ストリーム（１１８−１）以外の他のストリームにおけるビデオ信号のいかなる存在をも無視するよう構成される。
【００４５】
基本層ビデオ・デコーダ（１５０−１）によって生成される3D出力画像のシーケンスにおける3D出力画像は、フル解像度のフィルタリングされていない3D画像データを含まない。入力ビデオ信号を生じさせるもとのビデオ・シーケンスにおける高空間周波数内容がフィルタリング／除去されており、多層ビデオ・デコーダ（１５０−１）によって復元されることができないからである。
【００４６】
ある例示的な実施形態では、BLデコーダ（図１Ｃの１５２）は、少なくとも部分的にはBL  FCビデオ・ストリーム（図１Ｃの１１８−１）中のBL入力ビデオ信号に基づいて、多重化された3D画像フレーム（図１Ｃの１５８−１）を生成する。BLデコーダ（図１Ｃの１５２）は、H.264/AVC、VP8、VC-1および／またはその他のような複数のコーデックの一つまたは複数を使って実装されてもよい。
【００４７】
ある例示的な実施形態では、アップサンプリング・ユニット（１７０）が多重化された3D画像フレーム（１５８−１）を多重分離および／または分離して二つの画像データ部分にする。多重化された3D画像フレーム（１５８−１）は左目および右目両方について多重化されたフィルタリングされた画像データを含むが、前記画像データ部分はフィルタリングされたLE画像データ部分およびフィルタリングされたRE画像データ部分を含み、そのそれぞれはフル解像度より低い低減解像度にある。ある例示的な実施形態では、アップサンプリング・ユニット（１７０）は、フィルタリングされたLE画像データ部分をアップサンプリングしてフル解像度より低いアップサンプリングされたLEフィルタリングされた出力画像フレーム（１７２-L）を形成する。同様に、アップサンプリング・ユニット（１７０）は、フィルタリングされたRE画像データ部分をアップサンプリングしてフル解像度より低いアップサンプリングされたREフィルタリングされた出力画像フレーム（１７２-R）を形成する。アップサンプリングされたLEおよびREのフィルタリングされた画像フレーム（１７２-Lおよび-R）のそれぞれはフル解像度画像フレームと同数のピクセルを含むことがありうるが、アップサンプリングされたLEおよびREのフィルタリングされた画像フレーム（１７２-Lおよび-R）でのレンダリングされた3D画像は、アップサンプリング処理によって得られたのではないフル解像度のLEおよびRE画像フレーム（図１Ｂの１６２-Lおよび-R）から構成される3D画像よりもぼやけた見かけをもつ。さらに、アップサンプリングされたLEおよびREのフィルタリングされた画像フレーム（１７２-Lおよび-R）は、（たとえば図１Ａの１１８−１ないし１１８−３から導出されうる）入力ビデオ信号のエンコード・プロセスにおいて除去された高空間周波数画像詳細をもたない。
【００４８】
フル解像度より低いアップサンプリングされたLEおよびREのフィルタリングされた画像フレーム（１７２-Lおよび-R）は、（たとえば基本層ビデオ・デコーダ１５０−１を有していてもよい）ディスプレイ装置によってレンダリングされて、出力3D画像を呈示しもよい。アップサンプリングされたLEおよびREフィルタリングされた画像フレーム（１７２-Lおよび-R）のレンダリングは、フレーム逐次式であってもよいが、それに限定されない。
【００４９】
〈３．一方の目のためのフィルタリングされていない高空間内容をもつ多層ビデオ送達〉
図２Ａは、ある実施形態に基づく、一方の目については入力ビデオ・シーケンスにおける高空間周波数内容をフィルタリングするが、他方の目についてはそうしない多層ビデオ・エンコーダ（２００）を示している。図２Ｂは、前記実施形態に基づく、図２Ａに示される多層ビデオ・エンコーダ（２００）に対応する多層ビデオ・デコーダ（２５０）を示している。
【００５０】
単に例解の目的のため、図２Ａは、多層ビデオ・エンコーダ（２００）が、該多層ビデオ・エンコーダ（２００）によって生成されるエンコードされた出力ビデオ信号において、左目についてはフィルタリングされていない高空間周波数内容を、右目については高空間周波数内容のないフィルタリングされた画像データを提供するために使用されうることを示している。同じ技法は、その代わりに、多層ビデオ・エンコーダによって生成されるエンコードされた出力ビデオ信号において、右目についてはフィルタリングされていない高空間周波数内容を、左目については高空間周波数内容のないフィルタリングされた画像データを提供する多層ビデオ・エンコーダを実装するために使用されてもよい。
【００５１】
ある例示的な実施形態では、多層ビデオ・エンコーダ（２００）は、3D入力画像のシーケンスからなる入力3Dビデオ・シーケンスをエンコードするよう構成されている。3D画像のシーケンス中の3D入力画像のフル解像度のフィルタリングされていない3D画像データは、3D入力画像の入力左目（LE）画像フレーム（１０２-L）および入力右目（RE）画像フレーム（１２０-R）にデコードされてもよい。
【００５２】
ある例示的な実施形態では、多層ビデオ・エンコーダ（２００）における一つまたは複数のフィルタリング機構（たとえば１０４-Lおよび１０４-R）が、入力LEおよびRE画像フレーム（１０２-Lおよび１０２-R）に基づいて、フィルタリングされたLEおよびRE画像データ（１０６-Lおよび１０６-R）を生成する。フィルタリングされたLEおよびRE画像データ（１０６-Lおよび１０６-R）は、入力LEおよびRE画像フレーム（１０２-Lおよび１０２-R）から高空間周波数内容が除去されていてもよく、入力LEおよびRE画像フレーム（１０２-Lおよび１０２-R）をフィルタリングすることによっておよび／またはダウンサンプリングすることによって生成されてもよい。
【００５３】
ある例示的な実施形態では、マルチプレクサ（たとえばMux  １０８−１）がフィルタリングされたLEおよびRE画像データ（１０６-Lおよび１０６-R）を多重化された3D画像フレーム（１１２−１）に多重化する。多重化された3D画像フレームは、左目および右目両方のためのフィルタリングされた画像データを含み、下流の装置によってデコードされて、低減した解像度のLE画像フレームおよびRE画像フレームにされてもよい。
【００５４】
ある例示的な実施形態では、多重化された3D画像フレーム（１１２−１）は、フル解像度LE画像フレームの半分（たとえばすべての奇数番目の列または行）についての画像データおよびフル解像度RE画像の半分についての画像データを含む。低減解像度のLEおよびRE画像データは多重化された3D画像フレーム（１１２−１）内に、隣り合わせフォーマット、上下フォーマット、五の目フォーマット、市松模様フォーマット、インターリーブ・フォーマット、上記のフォーマットの組み合わせまたは他の多重フォーマットにおいて、多重化されてもよい。
【００５５】
一つまたは複数の向上層が、左目についてのフィルタリングされていない高空間画像詳細をもつフル解像度LE出力画像フレームを生じるよう下流の層によって使用される、左目のためのフィルタリングされていない高空間周波数内容を担持するために使われてもよい。一例では、基本層は半分の解像度の画像フレームを担持してもよく、向上層は、下流の装置によって基本層における該半分の解像度の画像フレームと組み合わされてフル解像度の画像フレームを生じうるフィルタリングされていないLE画像データを担持してもよい。もう一つの例では、基本層はフル解像度の画像フレームの三分の一を圧縮して担持し、向上層はフィルタリングされていないLE画像を担持し、それが下流の装置によって基本層の三分の一の解像度の画像フレームと組み合わされてフル解像度の画像フレームを生じてもよい。基本層および向上層画像データを組み合わせる他の変形も可能である。
【００５６】
ある例示的な実施形態では、BLエンコーダ（１１０）は、少なくとも部分的には多重化された3D画像フレーム（１１２−１）に基づいて、基本層フレーム互換ビデオ・ストリーム（BL  FCビデオ・ストリーム１１８−１）において担持される基本層ビデオ信号を生成し、一方、ELエンコーダ（２１６）は、少なくとも部分的には（フィルタリングされていない）入力左目（LE）画像フレーム（１０２-L）に基づいて、向上層ビデオ・ストリーム（ELビデオ・ストリーム２１８−１）において担持される左目のためのフィルタリングされていない高空間周波数内容をもつ向上層ビデオ信号を生成する。向上層ビデオ・ストリームはフレーム互換であってもなくてもよい。BLエンコーダ（１１０）およびELエンコーダ（２１６）の一方または両方が、H.264/AVC、VP8、VC-1および／またはその他のような複数のコーデックの一つまたは複数を使って実装されてもよい。
【００５７】
本稿で記述される向上層ビデオ信号は、（たとえばVC-1、H.264/AVCおよび／またはその他のようなビデオ・コーデックによって実装される）ハイブリッド・ビデオ符号化方法を使って生成されてもよい。多重化されたフル解像度LE画像フレームの画像データは、同じ画像フレーム内の近隣のサンプルから（イントラ予測を使って）、あるいは同じ層に属し、予測参照画像フレーム・バッファ内に動き補償された予測参照としてバッファリングされる過去のデコードされた画像フレームからのサンプルから（インター予測）、予測されうる。層間予測は、少なくとも部分的に他の層（たとえば基本層など）からのデコードされた情報にも基づいていてもよい。
【００５８】
追加的および／または任意的に、多層ビデオ・エンコーダ（２００）は、予測に関係する一つまたは複数の動作を実行する参照処理ユニット（RPU:  reference  processing  unit、２１４）を有していてもよい。参照処理ユニットによって実装される予測は、多層ビデオ・デコーダ（２５０）において左目のためのフル解像度のフィルタリングされていない画像フレームを構築する際に、オーバーヘッドを低減しうる。RPU（２１４）は、BLエンコーダ１１０からのBL画像データを受領し、イントラまたはインター予測（または推定）を通じて予測参照画像フレームを生成してもよい。
【００５９】
予測を利用する実施形態では、ELエンコーダ（２１６）は、少なくとも部分的にはフィルタリングされていない入力LE画像フレーム（１０２-L）および予測参照画像フレームに基づいて、フィルタリングされていないLE画像残差（予測参照画像フレームとフィルタリングされていない入力LE画像フレーム１０２-Lの間の差）を生成し、該画像残差を、ELビデオ・ストリーム（２１８−１）において担持される向上層ビデオ信号中に格納する。さらに、RPU（２１４）は、少なくとも部分的には予測参照画像フレームに基づいて、向上層（EL）RPUストリーム（２１８−２）において担持される参照ビデオ信号を生成する。
【００６０】
図２Ｂは、ある実施形態に基づく、左目のための、フィルタリングされていない高空間周波数内容と、右目のための、高空間周波数内容がないフィルタリングされた画像データとを含む入力ビデオ信号を受領する例示的な多層ビデオ・デコーダ（２５０）を示している。ある例示的な実施形態では、入力ビデオ信号は基本層および一つまたは複数の向上層を含む複数層（または複数ビットストリーム）において受領される。
【００６１】
ある例示的な実施形態では、多層ビデオ・デコーダ（２５０）は、BL  FCビデオ・ストリーム（図２Ｂの１１８−１）、EL  RPUストリーム（図２Ｂの２１８−２）およびELビデオ・ストリーム（図２Ｂの２１８−１）内の一つまたは複数の入力ビデオ信号をデコードして、3D出力画像のシーケンスにするよう構成されている。ある例示的な実施形態では、3D出力画像のシーケンスにおける3D出力画像は、左目のための、フル解像度の、フィルタリングされていない画像詳細をもつLE  3Dと、フル解像度のまたはフル解像度より低いREフィルタリングされた3D出力画像とを含む。
【００６２】
ある例示的な実施形態では、BLデコーダ（１５２）は、少なくとも部分的にはBL  FCビデオ・ストリーム（図２Ｂの１１８−１）内のBLビデオ信号に基づいて、多重化された3D画像フレーム（図２Ｂの１５８−１）を生成し、ELデコーダ（２５６）は、少なくとも部分的にはELビデオ・ストリーム（図２Ｂの２１８−１）内のELビデオ信号に基づいて、もとの入力ビデオ・シーケンスにおいて存在しているフィルタリングされていない高空間周波数内容を含む左目出力画像フレーム（２７２-L）を生成する（これは図２Ａの入力ビデオ・シーケンスであってもよい）。BLデコーダ（１５２）およびELデコーダ（２５６）の一方または両方は、H.264/AVC、VP8、VC-1および／またはその他のような複数のコーデックの一つまたは複数を使って実装されてもよい。
【００６３】
そのような予測を利用する実施形態では、デコーダ側のRPU（２５４）は、少なくとも部分的にはEL  RPUストリーム（図２Ｂの２１８−２）内の参照ビデオ信号および／またはBLデコーダ（１５２）からのBL画像データに基づいて、予測参照画像フレームを生成する。さらに、ELデコーダ（２５６）は、少なくとも部分的にはELビデオ・ストリーム（図２Ｂの２１８−１）内のELビデオ信号およびRPU（２５４）からの予測参照画像フレームに基づいて、フィルタリングされていない高空間周波数内容を含むLE出力画像フレーム（２７２-L）を生成する。
【００６４】
ある例示的な実施形態では、アップサンプリング・ユニット（１７０）が多重化された3D画像フレーム（１５８−１）を多重分離および／または分離して二つの画像データ部分にする。多重化された3D画像フレーム（１５８−１）は左目および右目両方について多重化されたフィルタリングされた画像データを含むが、前記画像データ部分はフィルタリングされたLE画像データ部分およびフィルタリングされたRE画像データ部分を含み、そのそれぞれはフル解像度より低い低減解像度にある。ある例示的な実施形態では、アップサンプリング・ユニット（１７０）は、フィルタリングされたRE画像データ部分をアップサンプリングしてフル解像度より低いアップサンプリングされたREフィルタリングされた出力画像フレーム（１７２-R）を形成する。アップサンプリングされたREフィルタリングされた画像フレーム（１７２-R）はフル解像度画像フレームと同数のピクセルを含むことがありうるが、アップサンプリングされたREフィルタリングされた画像フレーム（１７２-R）は、アップサンプリング処理によって得られたのではないフル解像度のRE画像フレーム（たとえば図１Ｂの１６２-R）よりもぼやけた見かけをもつ。さらに、アップサンプリングされたREのフィルタリングされた画像フレーム（１７２-R）は、（たとえば図２Ａの１１８−１から導出されたものでありうる）入力ビデオ信号のエンコード・プロセスにおいて除去された高空間周波数画像詳細をもたない。
【００６５】
ある例示的な実施形態では、複数層ビデオ・デコーダ（２５０）は、基本層において受領された画像データとともに、一つまたは複数の向上層において受領された画像データを利用して、アップサンプリングされたRE出力画像フレーム（１７２-R）の空間解像度を改善してもよい。向上層において受領された画像データは、EL  RPUストリームにおける参照ビデオ信号およびELビデオ・ストリームにおけるELビデオ信号を含むが、これに限られない。
【００６６】
フル解像度より低いアップサンプリングされたREのフィルタリングされた画像フレーム（１７２-R）およびフィルタリングされていない高空間周波数成分を含むLE出力画像フレーム（２７２-L）は、（たとえば多層ビデオ・デコーダ２５０を有していてもよい）ディスプレイ装置によってレンダリングされて、出力3D画像を呈示しもよい。REおよびLE画像フレームのレンダリングは、フレーム逐次式であってもよいが、それに限定されない。
【００６７】
〈４．交互の視点におけるフィルタリングされていない高空間内容をもつ多層ビデオ送達〉
利き目は人口集団によって変わりうる。フィルタリングされていないフル解像度の画像詳細を同じ目（たとえば左目または右目）のみに対して呈示することは、たとえば種々の人口集団の閲覧者に関係する主観的または審美的感覚において、3D閲覧体験の品質に影響しうる。いくつかの例示的な実施形態では、フィルタリングされていないフレームは左目と右目の間で交互してもよく、それにより3D画像品質を保持する助けとなりうる。たとえば、第一の時刻におけるそれぞれフィルタリングされていない高空間周波数内容をもつLE画像フレームおよびフィルタリングされていない高空間周波数内容をもたないREのフィルタリングされた画像フレームをもつ一つまたは複数の第一の3D画像と、それぞれフィルタリングされていない高空間周波数内容をもつRE画像フレームおよびフィルタリングされていない高空間周波数内容をもたないLEのフィルタリングされた画像フレームをもつ一つまたは複数の第二の3D画像とが第二の異なる時刻において、ディスプレイ装置によってレンダリングされてもよい。前記一つまたは複数の第一の3D画像と前記一つまたは複数の第二の3D画像との間の交替は、種々の時間分解能で起こりうる。これについてはのちに説明する。
【００６８】
図３Ａは、本開示のある実施形態に基づく、一方の目については入力ビデオ・シーケンスにおける高空間周波数内容をフィルタリングするが、他方の目についてはフィルタリングされていない高空間周波数内容を保持する多層ビデオ・エンコーダ（３００）を示している。図３Ｂは、本開示の前記実施形態に基づく、図３Ａに示される多層ビデオ・エンコーダ（３００）に対応する多層ビデオ・デコーダ（３５０）を示している。
【００６９】
ある例示的な実施形態では、多層ビデオ・エンコーダ（３００）は、3D入力画像のシーケンスからなる入力3Dビデオ・シーケンスをエンコードするよう構成されている。3D画像のシーケンス中の3D入力画像のフル解像度のフィルタリングされていない3D画像データは、3D入力画像の入力左目（LE）画像フレーム（１０２-L）および入力右目（RE）画像フレーム（１２０-R）にデコードされてもよい。
【００７０】
ある例示的な実施形態では、多層ビデオ・エンコーダ（３００）における一つまたは複数のフィルタリング機構（たとえば１０４-Lおよび１０４-R）が、入力LEおよびRE画像フレーム（１０２-Lおよび１０２-R）に基づいて、フィルタリングされたLEおよびRE画像データ（１０６-Lおよび１０６-R）を生成する。フィルタリングされたLEおよびRE画像データ（１０６-Lおよび１０６-R）は、入力LEおよびRE画像フレーム（１０２-Lおよび１０２-R）から高空間周波数内容が除去されていてもよく、入力LEおよびRE画像フレーム（１０２-Lおよび１０２-R）をフィルタリングすることによっておよび／またはダウンサンプリングすることによって生成されてもよい。
【００７１】
ある例示的な実施形態では、マルチプレクサ（たとえばMux  １０８−１）がフィルタリングされたLEおよびRE画像データ（１０６-Lおよび１０６-R）を多重化された3D画像フレーム（１１２−１）に多重化する。多重化された3D画像フレームは、左目および右目両方のためのフィルタリングされた画像データを含み、下流の装置によってデコードされて、低減した解像度のLE画像フレームおよびRE画像フレームにされてもよい。
【００７２】
ある例示的な実施形態では、多重化された3D画像フレーム（１１２−１）は、フル解像度LE画像フレームの半分（たとえばすべての奇数番目の列または行）についての画像データおよびフル解像度RE画像の半分についての画像データを含む。低減解像度のLEおよびRE画像データは多重化された3D画像フレーム（１１２−１）内に、隣り合わせフォーマット、上下フォーマット、五の目フォーマット、市松模様フォーマット、インターリーブ・フォーマット、上記のフォーマットの組み合わせまたは他の多重フォーマットにおいて、多重化されてもよい。
【００７３】
一つまたは複数の向上層が、左目および右目のうちの一方の目についてのフィルタリングされていない高空間画像詳細をもつフル解像度出力画像フレームを生じるよう下流の装置によって使用される、左目および右目のうちの前記一方の目のためのフィルタリングされていない高空間周波数内容を担持するために使われてもよい。一例では、基本層は半分の解像度のLEまたはRE画像フレームを担持してもよく、向上層は、下流の装置によって基本層における該半分の解像度の画像フレームと組み合わされてフル解像度の画像フレームを生じうるフィルタリングされていないLEまたはRE画像データを担持してもよい。もう一つの例では、基本層はフル解像度のLEまたはRE画像フレームの三分の一を圧縮して担持し、向上層はフィルタリングされていないLEまたはRE画像を担持し、それが下流の装置によって基本層における三分の一の解像度の画像フレームと組み合わされてフル解像度の画像フレームを生じてもよい。基本層および向上層画像データを組み合わせる他の変形も可能である。
【００７４】
ある例示的な実施形態では、BLエンコーダ（１１０）は、少なくとも部分的には多重化された3D画像フレーム（１１２−１）に基づいて、基本層フレーム互換ビデオ・ストリーム（BL  FCビデオ・ストリーム１１８−１）において担持される基本層ビデオ信号を生成し、一方、ELエンコーダ（３１６）は、少なくとも部分的には（フィルタリングされていない）入力LE画像フレーム（１０２-L）および（フィルタリングされていない）入力RE画像フレーム（１０２-R）に基づいて、向上層ビデオ・ストリーム（ELビデオ・ストリーム３１８−１）において担持される、対応する目のためのフィルタリングされていない高空間周波数内容をもつ向上層ビデオ信号を生成する。向上層ビデオ・ストリームはフレーム互換であってもなくてもよい。BLエンコーダ（１１０）およびELエンコーダ（３１６）の一方または両方が、H.264/AVC、VP8、VC-1および／またはその他のような複数のコーデックの一つまたは複数を使って実装されてもよい。
【００７５】
本稿で記述される向上層ビデオ信号は、（たとえばVC-1、H.264/AVCおよび／またはその他のようなビデオ・コーデックによって実装される）ハイブリッド・ビデオ符号化方法を使って生成されてもよい。フィルタリングされていないフル解像度のLEまたはRE画像フレームの画像データは、同じ画像フレーム内の近隣のサンプルから（イントラ予測を使って）、あるいは同じ層に属し、予測参照画像フレーム・バッファ内に動き補償された予測参照としてバッファリングされる過去のデコードされた画像フレームからのサンプルから（インター予測）、予測されうる。層間予測は、少なくとも部分的に他の層（たとえば基本層）からのデコードされた情報にも基づいていてもよい。
【００７６】
追加的および／または任意的に、多層ビデオ・エンコーダ（３００）は、予測に関係する一つまたは複数の動作を実行する参照処理ユニット（RPU:  reference  processing  unit、３１４）を有していてもよい。参照処理ユニットによって実装される予測は、多層ビデオ・デコーダ（３５０）において左目および右目のうち前記一方の目のためのフル解像度のフィルタリングされていない画像フレームを構築する際のオーバーヘッドを低減しうる。RPU（３１４）は、BLエンコーダ１１０からのBL画像データを受領し、イントラまたはインター予測（または推定）を通じて予測参照画像フレームを生成してもよい。
【００７７】
ある例示的な実施形態では、多層ビデオ・エンコーダ（３００）は、ELビデオ・ストリーム（３１８−１）内の画像データのパリティ・フラグについての値を決定する決定ユニット（３２０）を有する。パリティ・フラグの第一の値（たとえば「L」、二進値など）はELビデオ・ストリーム（３１８−１）内の画像データが、左目のためのフィルタリングされていない高空間周波数内容を含むことを示し、一方、第二の値（たとえば「R」、二進値など）はELビデオ・ストリーム（３１８−１）内の画像データが、左目のためのフィルタリングされていない高空間周波数内容を含むことを示す。決定ユニット（３２０）は、基本層画像データ、（フィルタリングされていない）入力LE画像フレーム（１０２-L）および（フィルタリングされていない）入力RE画像フレーム（１０２-R）のうち一つまたは複数に基づいてパリティ・フラグのための値を決定するよう構成される。ある例示的な実施形態では、決定ユニット（３２０）は、パリティ・フラグの決定された値をRPU（３１４）に提供する。パリティ・フラグの値およびパリティ・フラグのその値に関連付けられている画像フレームの識別情報が（たとえばSEIの一部として）下流の装置に、EL  RPUストリーム（３１８−２）を使って信号伝達されてもよい。ある例示的な実施形態では、決定器（３２０）は、（フィルタリングされていない）入力LE画像フレーム（１０２-L）および（フィルタリングされていない）入力RE画像フレーム（１０２-R）のうち、ELエンコーダ（３１６）に提供されるべきパリティ・フラグの値に対応する一方についてのデータ・フロー経路をセットアップするよう構成される。次いで、（フィルタリングされていない）入力LE画像フレーム（１０２-L）および（フィルタリングされていない）入力RE画像フレーム（１０２-R）のうち前記一方が、ELエンコーダ（３１６）によってELビデオ信号中にエンコードされる。
【００７８】
そのような予測を利用する例示的な実施形態では、ELエンコーダ（３１６）は、少なくとも部分的には、フィルタリングされていない入力LE画像フレーム（１０２-L）およびフィルタリングされていない入力LE画像フレーム（１０２-L）ならびに予測参照画像フレームに基づいて、フィルタリングされていない画像残差（予測参照画像フレームとフィルタリングされていない入力LE画像フレーム（１０２-L）およびフィルタリングされていない入力LE画像フレーム（１０２-L）のうちの前記一方との間の差）を生成し、該画像残差を、ELビデオ・ストリーム（３１８−１）において担持される向上層ビデオ信号中に格納する。さらに、RPU（３１４）は、少なくとも部分的には予測参照画像フレームに基づいて、向上層（EL）RPUストリーム（３１８−２）において担持される参照ビデオ信号を生成する。
【００７９】
ここで記載される技法のもとでは、前記一つまたは複数の向上層は本質的には、フィルタリングされていないフル解像度のLEまたはRE画像フレームのシーケンスを含む。LE画像とRE画像の対を含む3D画像については、該LE画像とRE画像のうちの一方のみが、向上層におけるフィルタリングされていない高空間周波数内容とともに存在する。画像データを向上層にエンコードすることは、基本層ピクチャーにおける画像データと向上層における画像データとの間の大量の統計的冗長性の存在のため、さらに効率的にされうる。統計的冗長性は、予測目的のために活用されてもよく、それにより向上層のためのビットレート要求を最小限にする。
【００８０】
決定器（３２０）は、向上層において担持されるフィルタリングされていない画像データのパリティ・フラグについての値を決定するために、複数の異なる方法のうちのいずれを使うように構成されていてもよい。第一の例では、同じ3D画像のLEおよびREのフィルタリングされていない画像データ両方が向上層において担持される。
【００８１】
第二の例では、任意の所与の時刻において、同じ3D画像の左目および右目のうち一方のみであり両方ではない目についてのフィルタリングされていない画像データが向上層において担持される。フィルタリングされていないLEおよびRE画像データは、フレーム・レベルで、交互に、向上層において担持されてもよい。たとえば、第一のフィルタリングされていないLE画像データが第一の3D画像についての向上層において担持されてもよい。向上層において、第一のフィルタリングされていないLE画像データの直後には第二の3D画像（たとえば、前記第一の3D画像の直後の画像）についての第二のフィルタリングされていないRE画像データが続いてもよい。向上層において、第二のフィルタリングされていないRE画像データの直後には第三の3D画像（たとえば、前記第二の3D画像の直後の画像）についての第三のフィルタリングされていない画像データが続いてもよい。これは、さらなるフィルタリングされていないLEおよびRE画像データについて同様に配列されてもよい。
【００８２】
第三の例では、フィルタリングされていないLEおよびRE画像データは、シーン・レベルで、交互に、向上層において担持されてもよい。3D画像のシーケンスにおける第一のシーンについては、第一のフィルタリングされていないLE画像データが向上層において担持されてもよい。向上層において、第一のフィルタリングされていないLE画像データの直後には、3D画像のシーケンスにおける第二のシーン（たとえば、前記第一のシーンの直後のシーン）について、第二のフィルタリングされていないRE画像データが続いてもよい。向上層において、第二のフィルタリングされていないRE画像データの直後には、3D画像のシーケンスにおける第三のシーン（たとえば、前記第二のシーンの直後のシーン）について第三のフィルタリングされていないLE画像データが続いてもよい。これは、さらなるフィルタリングされていないLEおよびRE画像データについて同様に配列されてもよい。
【００８３】
第四の例では、フィルタリングされていないLEおよびRE画像データが周期的に交互に向上層に担持されてもよい。第一の時間期間については、第一の複数のフィルタリングされていないLE画像フレームを構築するための第一のフィルタリングされていないLE画像データが向上層に担持されてもよい。第一のフィルタリングされていないLE画像データの直後には、第二の時間期間（たとえば第一の時間期間の直後）について、第二の複数のフィルタリングされていない画像フレームを構築するための第二のフィルタリングされていないRE画像データが向上層において続いてもよい。第二のフィルタリングされていないRE画像データの直後には、第三の時間期間（たとえば第二の時間期間の直後）について、第三の複数のフィルタリングされていない画像フレームを構築するための第三のフィルタリングされていないLE画像データが向上層において続いてもよい。これは、さらなるフィルタリングされていないLEおよびRE画像データについて同様に配列されてもよい。
【００８４】
図４に示した例示的な実施形態では、基本層および向上層のビデオ信号においてエンコードされた3D画像のシーケンスは、画像フレームの二つの型の対のシーケンスを含んでいてもよい（各対は図４に示されるように「3Dピクチャー対」である）。画像フレームの第一の型の対は、フィルタリングされていないフル解像度のRE画像フレーム（フル解像度RE）およびフィルタリングされたアップサンプリングされたLE画像フレーム（半解像度LE）を含み、一方、画像フレームの第二の型の対は、フィルタリングされていないフル解像度のLE画像フレーム（フル解像度LE）およびフィルタリングされたアップサンプリングされたRE画像フレーム（半解像度RE）を含む。画像フレームの各型の対は、後処理によって3D画像の空間的解像度をさらに向上させるための良好な基礎を提供するために使われてもよい。たとえば、一方の目（左でも右でも）について、アップサンプリングされておりかつフィルタリングされていないフル解像度の画像データが利用可能であって、他方の目についての画像データにおける高空間周波数内容を復元するための推定または予測を導出するために使われてもよい。
【００８５】
図４のａは、上記第二の例におけるようにフレーム・レベルで交互する画像フレームの対の交互の型のシーケンスを示しており、図４のｂは、上記第三の例におけるようにシーン・レベルで、あるいは上記第四の例におけるように固定した継続時間（または時間期間）で交替する画像フレームの対の交互の型のシーケンスを示している。
【００８６】
他の例示的な実施形態では、入力3D画像（またはそのLEおよびREの構成画像フレーム）の一つまたは複数の信号特性（たとえば、フィンガープリント、統計的ルミナンス値、動き、クロマ特徴、先鋭さ、明るさ、色など）が、パリティ・フラグについての、値、異なる値に遷移するかどうかおよびいつ遷移するかを決定するために、本稿に記載される多層ビデオ・エンコーダによって使用されてもよい。パリティ・フラグは、向上層における画像データが対応する左目および右目のうちの特定の目を指示する。たとえば、ライブ・アクション・コンテンツの場合、異なるカメラによって捕捉されたもとの画像フレーム（ピクチャー）はしばしば先鋭さ、明るさおよび色などにおいて差異を示す。本稿に記載される多層ビデオ・エンコーダは、もとの画像フレームに由来するまたはもとの画像フレームから導出されるこれらの信号特性の一つまたは複数に基づいて、エンコードされたビデオ信号が最良の3D閲覧経験を表わすよう、パリティ・フラグの値を選択してもよい。そのような決定プロセスは、向上層におけるフィルタリングされていないフル解像度画像データおよび基本層におけるフィルタリングされた画像データを解析した結果を考慮に入れてもよい。
【００８７】
多層ビデオ・エンコーダ（３００）またはその中の決定器（３２０）によってなされる決定は、向上層ビットストリームの生成をガイドする。したがって、そうした決定は、3D閲覧のためのLEおよびRE画像フレームの対の正しい構築のために下流の装置によって使用されるよう、下流の装置に信号内において伝送される。そのような信号は、EL  RPUストリーム（３１８−２）において担持されてもよいし、あるいは他の同様の仕方で伝送されてもよい。追加的および／または任意的に、下流の装置による必要とされるフィルタリングがあれば、それを示すインデックスが、ビデオ・デコーダ側でLEまたはRE出力画像フレームを構築するために、下流の装置に与えられてもよい。
【００８８】
しかしながら、特にフレーム・レベルの交替方法が使われる場合、異なる目からの交互の画像フレームに関連してユーザーが「ちらつき」を感知することがありうる。いくつかの例示的な実施形態では、これは、受信機／デコーダ側で、一つまたは複数の進んだ後処理技法を介して、たとえば動き推定動き補償（MEMC:  motion-estimation-motion-compensation）または3D補間技法のような方法を使って欠けているピクセルを補間することによって、緩和されうる。
【００８９】
いくつかの例示的な実施形態では、向上層において異なる目の間で交替することは、遷移の短い時間期間（一秒未満、一秒、二秒など）をもって実装されてもよい。たとえば、フィルタリングされていないLE画像データが変更されて向上層におけるフィルタリングされていないRE画像データにされるとき、本稿に記載される多層ビデオ・エンコーダ（たとえば３００）は、LEのフィルタリングされていない画像フレームのフル解像度を、基本層におけるフィルタリングされたRE画像フレームの解像度に匹敵する遷移解像度に徐々に（単一フレームでの急激な切り換えを避けるよう、一連のフレームにおいて）スケールダウンしてもよい。（匹敵するとは、等しい、同じ解像度範囲をもつ、解像度における差の５百分位（five  percentile）または別の小さな百分位（small  percentile）をもつなどである。）向上層におけるLE画像フレームが前記遷移解像度に到達するとき、前記遷移解像度に匹敵する開始解像度にフィルタリングされたRE画像フレームが向上層（いくつかの例示的な実施形態ではEL参照層を含む）中にエンコードされる。多層ビデオ・エンコーダ（３００）は、向上層におけるRE画像フレームを、開始解像度からフィルタリングされていないRE画像フレームのフル解像度に、徐々に（一連のフレームにおいて）スケールアップしてもよい。
【００９０】
いくつかの例示的な実施形態では、異なる目の間で向上層における画像フレームを変更するときに解像度を徐々に遷移させることは、下流の装置によって実行されてもよい。たとえば、多層ビデオ・エンコーダ（たとえば３００）は、あらかじめ決定されたフィルタの集合からフィルタを選択してもよい。該フィルタは、適用されるとき、向上層において担持される画像データにおいて、一方の目についての解像度を徐々に低下させ、他方の目についての解像度を徐々に向上させてもよい。ある例示的な実施形態では、多層ビデオ・エンコーダ（３００）は、EL  RPUストリームにおいて担持されるRPUデータ中にフィルタ・インデックスを含めてもよい。フィルタ・インデックスは、あらかじめ構成設定された利用可能なフィルタの集合を見出し、向上層において画像フレームが一方の目から他方の目に変更されているときに、あらかじめ構成設定された利用可能なフィルタの集合のうちどのフィルタが画像フレームの解像度を徐々に遷移させる処理に適用されるべきかを決定するために、下流の装置によって使われてもよい。
【００９１】
図３Ｂは、ある実施形態に基づく、左目および右目のうちの一方の目についてのフィルタリングされていない高空間周波数内容と、左目および右目のうちの他方の目についての、高空間周波数内容のないフィルタリングされた画像データとを含む入力ビデオ信号を受領する多層ビデオ・デコーダ（３５０）を示している。ある例示的な実施形態では、入力ビデオ信号は基本層および一つまたは複数の向上層を含む複数層（または複数ビットストリーム）において受領される。
【００９２】
ある例示的な実施形態では、多層ビデオ・デコーダ（３５０）は、BL  FCビデオ・ストリーム（図３Ｂの１１８−１）、EL  RPUストリーム（図３Ｂの３１８−２）およびELビデオ・ストリーム（図３Ｂの３１８−１）内の一つまたは複数の入力ビデオ信号をデコードして、3D出力画像のシーケンスにするよう提供されている。ある例示的な実施形態では、3D出力画像のシーケンスにおける3D出力画像は、左目および右目のうちの前記一方の目のための、フル解像度の、フィルタリングされていない画像詳細をもつ3Dと、左目および右目のうちの他方の目のための、フル解像度のまたはフル解像度より低いフィルタリングされた3D出力画像とを含む。
【００９３】
ある例示的な実施形態では、RPU（３５４）は、EL  RPUストリーム（３１８−２）内で受領された参照ビデオ信号から、ELビデオ・ストリーム（３１８−１）内のELビデオ信号中の、パリティ・フラグの値と、該パリティ・フラグの値に関連付けられている諸画像フレームの識別情報とを決定するよう構成されている。
【００９４】
ある例示的な実施形態では、ELデコーダ（３５６）はRPU（３５４）から、ELビデオ信号中の、パリティ・フラグの値と、該パリティ・フラグの値に関連付けられている諸画像フレームの識別情報とを受領する。少なくとも部分的にはELビデオ・ストリーム（図３Ｂの３１８−１）内のELビデオ信号に基づいて、ELデコーダ（３５６）は、左目および右目のうちRPU（３５４）から受領されるパリティ・フラグの値に対応する一方の目について、フィルタリングされていない出力画像フレーム（３７２-Lおよび３７２-Rの一方）を生成する。このフィルタリングされていない出力画像フレーム（３７２-Lおよび３７２-Rの一方）は、もとの入力ビデオ・シーケンス（これは図３Ａの入力ビデオ・シーケンスであってもよい）に存在するフィルタリングされていない高空間周波数内容を含む。
【００９５】
ある例示的な実施形態では、多層ビデオ・デコーダ（３５０）は、RPU（３５４）からパリティ・フラグの値を受領し、該パリティ・フラグの値に基づいてデータ・フローを切り換えるよう構成されているスイッチ（３７４）を有する。たとえば、パリティ・フラグの値が左目に対応する場合、フィルタリングされていない出力画像フレームは左目に対応する。スイッチ（３７４）は、パリティ・フラグの同じ値に基づいて、左目のためのフィルタリングされていない出力画像フレームを、3D出力画像のシーケンスの一部として出力するよう、対応するデータ・フローをセットアップする。
【００９６】
ある例示的な実施形態では、BLデコーダ（１５２）は、少なくとも部分的にはBL  FCビデオ・ストリーム（図３Ｂの１１８−１）に基づいて、多重化された3D画像フレーム（図３
Ｂの１５８−１）を生成する。
【００９７】
ある例示的な実施形態では、アップサンプリング・ユニット（３７０）がRPU（３５４）から、ELビデオ信号中の、パリティ・フラグの値と、該パリティ・フラグの値に関連する画像フレームの関係した情報（たとえば識別情報、フィルタ情報など）を受領する。RPU（３５４）から受領される情報に基づいて、アップサンプリング・ユニット（３７０）は、多重化された3D画像フレーム（１５８−１）から、左目および右目のうちの他方の目――ELデコーダ３５６によってデコードされた画像フレームに対して――に対応する中間的なフィルタリングされた画像部分を取得および／または抽出する。中間的なフィルタリングされた画像部分は、フル解像度より低い低減解像度にある。ある例示的な実施形態では、アップサンプリング・ユニット１７０）は、中間的なフィルタリングされた画像部分をアップサンプリングして、フル解像度より低い、アップサンプリングされたフィルタリングされた出力画像フレーム（１７２-Rおよび１７２-Lのうちの一方）を形成する。
【００９８】
ある例示的な実施形態では、多層ビデオ・デコーダ（３５０）は、一つまたは複数の向上層において受領される、EL  RPUストリーム内の参照ビデオ信号およびELビデオ・ストリーム内のELビデオ信号を含むがそれに限られない画像データを、基本層において受領される画像データとともに、アップサンプリングされた出力画像フレーム（１７２-Rおよび１７２-Lの一方）の空間解像度を改善するために利用してもよい。
【００９９】
予測を利用する実施形態では、デコーダ側のRPU（３５４）は、少なくとも部分的にはEL  RPUストリーム（図３Ｂの３１８−２）内の参照ビデオ信号および／またはBLデコーダ（１５２）からの予測に関係した情報に基づいて、予測参照画像フレームを生成する。さらに、ELデコーダ（３５６）は、少なくとも部分的にはELビデオ・ストリーム（図３Ｂの３１８−１）内のELビデオ信号およびRPU（３５４）からの予測参照画像フレームに基づいて、フィルタリングされていない高空間周波数内容を含む出力画像フレーム（３７２-Lおよび３７２-Rの一方）を生成する。
【０１００】
本稿に記載される諸技法のもとでは、デコードされた向上層は、フィルタリングされていないフル解像度のLEおよびRE画像フレームのシーケンスを含む。図５に示されるある例示的な実施形態では、3D画像が3D  TV上で、フィルタリングされていないフル解像度のRE画像フレーム（デコードされたフル解像度のREピクチャーまたはフル解像度RE）およびフィルタリングされたアップサンプリングされたLE画像フレーム（再構成されアップサンプリングされたフル解像度のLEピクチャーまたは半解像度LE）の対（または「3Dピクチャー対」）を用いて、レンダリングされてもよい。同様に、3D画像は3D  TV上で、フィルタリングされていないフル解像度のLE画像フレーム（デコードされたフル解像度のLEピクチャーまたはフル解像度LE）およびフィルタリングされたアップサンプリングされたRE画像フレーム（再構成されアップサンプリングされたフル解像度のREピクチャーまたは半解像度RE）の対（または3Dピクチャー対）を用いて、レンダリングされてもよい。
【０１０１】
フル解像度より低いアップサンプリングされたフィルタリングされた画像フレーム（１７２-Rおよび１７２-Lの一方）およびフィルタリングされていない高空間周波数内容を含むLE出力画像フレーム（２７２-Lおよび２７２-Rの一方）は、たとえばフレーム逐次式に、ディスプレイ装置によってレンダリングされてもよい。
【０１０２】
BLデコーダ（１５２）およびELデコーダ（２５６）の一方または両方は、H.264/AVC、VP8、VC-1および／またはその他のような複数のコーデックの一つまたは複数を使って実装されてもよい。
【０１０３】
例示的な実施形態は、図３Ｂのものより包括的なフレームワークを含む。図３Ｃは、向上層ストリームにおいてエンコードされた複数の異なる型の画像データの任意のものをデコードできてもよい多層ビデオ・デコード・プロセスを示している。複数の異なる型の（エンコードされた）画像データは、向上層における両方の目のためのフィルタリングされた低減解像度画像データ、向上層におけるフィルタリングされていないフル解像度のLE画像データ、向上層におけるフィルタリングされていないフル解像度のRE画像データ、上記の組み合わせ、他の型の解像度非対称画像データなどを含みうる。再構成を信号伝達するためのパリティ・フラグはRPUストリーム（３１８−２）によって担持される。いくつかの例示的な実施形態では、フル解像度3D閲覧のために、三つのオプションが利用可能である。オプションＡのもとでは、LEおよびRE画像（１６２-Lおよび１６２-R）を含んでいてもよい解像度対称的な3D画像が与えられる。オプションＢおよびＣのもとでは、フィルタリングされていないREまたはLE画像フレームが、3D画像の空間解像度の知覚を改善するために与えられる。オプションＡ、ＢまたはＣに対応する向上層における画像データを送る選択は、異なるアプリケーションからの要求に基づいていてもよい。エンコード処理は、どんな型の画像データが向上層を介して伝送されるべきかを決定する柔軟性を有していてもよい。3D画像の入力シーケンスを解析して、可能な最良の3D閲覧経験のためにはどれを送るべきかを選択するために、決定器（たとえば図３Ａの３２０）が用いられてもよい。
【０１０４】
図３Ｃでは、RPUストリームからのパリティ・フラグは、デコードされたBLおよびELビデオ・データの正しい再構成経路を制御する。各時点において向上層にどの型の画像データが存在するかに基づいて、パリティ・フラグは、適切な型のLEおよびRE画像の対が下流の処理に、たとえば3D  TV（３７４）上での画像レンダリングのために送られることを可能にするよう、スイッチ（３７４−１および３７４−２）の動作を制御するために使用されてもよい。
【０１０５】
追加的および／または任意的に、変換、量子化、エントロピー符号化、画像バッファリング、サンプル・フィルタリング、ダウンサンプリング、アップサンプリング、補間、多重化、多重分離、インターリーブ、アップスケーリング、ダウンスケーリング、動き補償、視差推定、視差補償、奥行き推定、奥行き補償、エンコード、デコードなどの一つまたは複数が、本稿に記載されるビデオ・エンコーダまたはデコーダによって実行されてもよい。
【０１０６】
諸実施形態は、エンコードされる立体視3D画像における空間的解像度を保存する。いくつかの例示的な実施形態では、BL  3D画像をデコードする機能しかないデコーダとの後方互換性およびフィルタリングされた相補的なEL  3D画像データをデコードする機能をもつデコーダとの後方互換性の一方または両方が維持される。こうして、いくつかの例示的な実施形態では、本稿に記載されるビデオ信号は、3Dコンテンツ送達のための既存のフレーム互換システムに対して後方互換でありえ、現在のFCFRフレームワークと一緒に使用されうる。さらに、本稿に記載される技法は、3D視覚的品質の最良の再現を作り出すために、向上層においてエンコードされる画像フレームのパリティを交互にする柔軟性を提供する。
【０１０７】
〈５．例示的な処理フロー〉
図６Ａは、本発明のある実施形態に基づく例示的な処理フローを示している。いくつかの例示的な実施形態では、一つまたは複数のコンピューティング装置またはコンポーネントがこの処理フローを実行してもよい。ブロック６０２では、多層ビデオ・エンコーダ（たとえば３００）が入力3D画像を受領する。該入力3D画像は、第一の視点のための第一の入力画像フレームおよび第二の異なる視点のための第二の入力画像フレームを含む。本稿での用法では、視点（たとえば上記の第一の視点または第二の視点）とは、左目（LE）ビューおよび右目（RE）ビューの一方を指す。
【０１０８】
ブロック６０４では、多層ビデオ・エンコーダ（３００）は、第一の入力画像フレームに基づいて、第一の視点についての低減解像度画像データを生成する。
【０１０９】
ブロック６０６では、多層ビデオ・エンコーダ（３００）は、第二の入力画像フレームに基づいて、第二の視点についてのフル解像度画像データを生成する。
【０１１０】
ブロック６０８では、多層ビデオ・エンコーダ（３００）は、前記低減解像度画像データおよび前記フル解像度画像データをエンコードおよび出力して、出力3D画像を表現する。ここで、前記出力3D画像は、第一の視点についての前記低減解像度画像データから導出された低減解像度の出力画像フレームおよび第二の視点についての前記フル解像度画像データから導出されたフル解像度の出力画像フレームの対を含む。
【０１１１】
ある例示的な実施形態では、3D出力画像のフル解像度出力画像フレームは、第二の入力画像フレームから導出された、フィルタリングされていない高空間周波数内容を含む。一方、3D出力画像の低減解像度出力画像フレームは、第一の入力画像フレームから導出されたフィルタリングされた画像データを含む。
【０１１２】
ある例示的な実施形態では、3D入力画像は、第一の視点についての第三の入力画像フレームおよび第二の視点についての第四の入力画像フレームをもつ第二の異なる3D入力画像を含む3D入力画像のシーケンスにおける第一の3D入力画像であり；多層ビデオ・エンコーダ（３００）はさらに、前記第四の入力画像フレームに基づいて、第二の視点についての第二の低減解像度画像データを生成し；前記第一の入力画像フレームに基づいて、第一の視点についての第二のフル解像度画像データを生成し；前記第二の低減解像度画像データおよび前記第二のフル解像度画像データをエンコードおよび出力して、第二の出力3D画像を表現することを実行する。ここで、前記第二の出力3D画像は、第二の視点についての前記低減解像度画像データから導出された第二の低減解像度出力画像フレームおよび第一の視点についての前記フル解像度画像データから導出されたフル解像度出力画像フレームの第二の対を含む。
【０１１３】
ある例示的な実施形態では、前記出力3D画像についての画像データの一部として、第二の視点に対応するパリティ・フラグの第一の値が出力され、前記第二の出力3D画像についての画像データの一部として、第一の視点に対応するパリティ・フラグの第二の異なる値が出力される。
【０１１４】
ある例示的な実施形態では、パリティ・フラグは、フレーム・レベル、シーン・レベルまたは固定期間レベルのうちの一つで、前記第一の値と前記第二の異なる値の間を遷移する。ある例示的な実施形態では、固定期間は、ある単一のフレームまたは複数フレームの再生時間であってもよい。ある例示的な実施形態では、期間の長さは番組〔プログラム〕によって変わってもよい。
【０１１５】
ある例示的な実施形態では、多層ビデオ・エンコーダ（３００）は、パリティ・フラグが前記第一の値と前記第二の異なる値の間で遷移する時間期間の間に両方の目についての解像度のなめらかな遷移を与えるよう、複数の出力3D画像における複数のフル解像度出力画像フレームの空間解像度をスケールダウンする。
【０１１６】
ある例示的な実施形態では、第一の視点についての低減解像度画像データは多重化された3D画像フレーム内にあり、該多重化された3D画像フレームはさらに、第二の視点についての低減解像度画像データを含む。ある例示的な実施形態では、多重化された3D画像フレームは、複数の出力ビットストリームの基本層出力ビットストリームにおいて出力される。
【０１１７】
ある例示的な実施形態では、多層ビデオ・エンコーダ（３００）はさらに、少なくとも部分的には第二の視点についての低減解像度画像データに基づいて、予測参照フレームを生成する段階と；第二の視点についての前記フル解像度画像データを、前記予測参照フレームと前記第二の入力画像フレームとの間の差として生成する段階とを実行する。ある例示的な実施形態では、多層ビデオ・エンコーダ（３００）はさらに、前記低減解像度画像データおよび前記フル解像度画像データとともに前記予測参照フレームを出力する。
【０１１８】
ある例示的な実施形態では、前記フル解像度画像データの少なくとも一部（たとえば、フィルタリングされていない高空間周波数内容）が、前記複数の出力ビットストリームのうちの一つまたは複数の向上層出力ビットストリームにおいて出力される。
【０１１９】
ある例示的な実施形態では、多層ビデオ・エンコーダ（３００）はさらに、一つまたは複数の入力ビデオ信号と一緒に表現される、受領される、伝送されるまたは記憶される一つまたは複数の3D入力画像を、一つまたは複数の出力ビデオ信号と一緒に表現される、受領される、伝送されるまたは記憶される一つまたは複数の3D出力画像に変換する段階を実行する。
【０１２０】
ある例示的な実施形態では、前記出力3D画像および前記入力3D画像の少なくとも一方は、高ダイナミックレンジ（HDR）画像フォーマット、映画芸術科学アカデミー（AMPAS:  Academy  of  Motion  Picture  Arts  and  Sciences）のアカデミー色エンコード規格（ACES:  Academy  Color  Encoding  Specification）に関連するRGB色空間、デジタル・シネマ・イニシアチブ（Digital  Cinema  Initiative）のP3色空間規格、参照入力媒体メトリック／参照出力媒体メトリック（RIMM/ROMM:  Reference  Input  Medium  Metric/Reference  Output  Medium  Metric）規格、sRGB色空間または国際電気通信連合（ITU）のBT.709勧告の規格に関連するRGB色空間のうちの一つにおいてエンコードされた画像データを含む。
【０１２１】
図６Ｂは、本発明のもう一つの例示的な実施形態に基づくもう一つの例示的な処理フローを示している。いくつかの例示的な実施形態では、一つまたは複数のコンピューティング装置がこの処理フローを実行してもよい。ブロック６５２では、多層ビデオ・デコーダ（たとえば３５０−１）が、第一の視点についての入力低減解像度画像データおよび第二の異なる視点についての入力フル解像度画像データを含む3D画像を受領する。
【０１２２】
ブロック６５４では、多層ビデオ・デコーダ（３５０−１）は、入力低減解像度画像データに基づいて、第一の視点についての3D画像の低減解像度画像フレームを生成する。
【０１２３】
ブロック６５６では、多層ビデオ・デコーダ（３５０−１）は、入力フル解像度画像データに基づいて、第二の視点についてのフル解像度画像フレームを生成する。
【０１２４】
ブロック６５８では、多層ビデオ・デコーダ（３５０−１）は、第一の視点についての3D画像の低減解像度画像フレームをレンダリングし、第二の視点についての3D画像のフル解像度画像フレームをレンダリングすることによって、3D画像をレンダリングする。
【０１２５】
ある例示的な実施形態では、3D画像のフル解像度画像フレームは、フィルタリングされていない源3D画像中の高空間周波数内容を含み、一方、3D画像の低減解像度画像フレームはフィルタリングされた源3D画像中の画像データを含む。
【０１２６】
ある例示的な実施形態では、3D画像は、第二の視点についての第二の入力低減解像度画像データおよび第一の視点についての第二の入力フル解像度画像データを有する第二の異なる3D画像を含む3D画像のシーケンス中の第一の3D画像であり；前記多層ビデオ・デコーダ（３５０−１）はさらに、前記第二の入力低減解像度画像データに基づいて、第二の視点についての第二の3D画像の第二の低減解像度画像フレームを生成する段階と；前記第二の入力フル解像度画像データに基づいて、第一の視点についての第二のフル解像度画像フレームを生成する段階と；第二の視点についての第二の3D画像の第二の低減解像度画像フレームをレンダリングし、第一の視点についての第二の3D画像の第二のフル解像度画像フレームをレンダリングすることによって第二の3D画像をレンダリングする段階とを実行する。
【０１２７】
ある例示的な実施形態では、第二の視点に対応するパリティ・フラグの第一の値が第一の3D画像についての画像データの一部として受領され、一方、第一の視点に対応するパリティ・フラグの第二の異なる値が第二の3D画像についての画像データの一部として受領される。ある例示的な実施形態では、パリティ・フラグは、フレーム・レベル、シーン・レベルまたは固定期間レベルのうちの一つにおいて、第一の値と第二の異なる値との間で遷移する。
【０１２８】
ある例示的な実施形態では、前記多層ビデオ・デコーダ（３５０−１）は、パリティ・フラグが前記第一の値と前記第二の異なる値の間で遷移する時間期間の間に両方の目についての解像度のなめらかな遷移を与えるよう、複数の3D画像における複数のフル解像度出力画像フレームの空間解像度をスケールダウンするために、受領されたフィルタ・フラグに基づいて解像度フィルタを選択する。
【０１２９】
ある例示的な実施形態では、第一の視点についての入力低減解像度画像データは入力多重化3D画像フレーム内にあり、該入力多重化3D画像フレームはさらに、第二の視点についての入力低減解像度画像データを含む。
【０１３０】
ある例示的な実施形態では、入力多重化3D画像フレームは、複数の入力ビットストリームの基本層入力ビットストリームから受領される。
【０１３１】
ある例示的な実施形態では、多層ビデオ・デコーダ（３５０−１）はさらに、少なくとも部分的には第二の視点についての入力低減解像度画像データに基づいて、予測参照フレームを生成する段階と；前記予測参照フレームと前記入力フル解像度画像データとを組み合わせることによって、前記フル解像度画像フレームを生成する段階とを実行する。
【０１３２】
ある例示的な実施形態では、前記入力フル解像度画像データの少なくとも一部が、前記複数の入力ビットストリームのうちの一つまたは複数の向上層出力ビットストリームから受領される。
【０１３３】
ある例示的な実施形態では、多層ビデオ・デコーダ（３５０−１）は、一つまたは複数の入力ビデオ信号と一緒に表現される、受領される、伝送されるまたは記憶される一つまたは複数の3D画像を処理する。
【０１３４】
ある例示的な実施形態では、前記3D画像は、高ダイナミックレンジ（HDR）画像フォーマット、映画芸術科学アカデミー（AMPAS:  Academy  of  Motion  Picture  Arts  and  Sciences）のアカデミー色エンコード規格（ACES:  Academy  Color  Encoding  Specification）に関連するRGB色空間、デジタル・シネマ・イニシアチブ（Digital  Cinema  Initiative）のP3色空間規格、参照入力媒体メトリック／参照出力媒体メトリック（RIMM/ROMM:  Reference  Input  Medium  Metric/Reference  Output  Medium  Metric）規格、sRGB色空間または国際電気通信連合（ITU）のBT.709勧告の規格に関連するRGB色空間のうちの一つにおいてエンコードされた画像データを含む。
【０１３５】
さまざまな例示的な実施形態において、エンコーダ、デコーダ、システムなどが、上記の方法のうちの任意のものまたはその一部を実行する。
【０１３６】
〈６．実装機構――ハードウェアの概観〉
ある実施形態によれば、本稿に記載される技法は、一つまたは複数の特殊目的コンピューティング装置によって実装される。特殊目的コンピューティング装置は、本技法を実行するよう固定構成とされていてもよいし、あるいは一つまたは複数の特定用途向け集積回路（ASIC）またはフィールド・プログラマブル・ゲート・アレイ（FPGA）のような、本技法を実行するよう持続的にプログラムされたデジタル電子デバイスを含んでいてもよいし、あるいはファームウェア、メモリ、他の記憶または組み合わせにおけるプログラム命令に従って本技法を実行するようプログラムされた一つまたは複数の汎用ハードウェア・プロセッサを含んでいてもよい。そのような特殊目的コンピューティング装置は、カスタムの固定構成論理、ASICまたはFPGAをカスタムのプログラミングと組み合わせて本技法を達成してもよい。特殊目的コンピューティング装置はデスクトップ・コンピュータ・システム、ポータブル・コンピュータ・システム、ハンドヘルド装置、ネットワーキング装置または本技法を実装するために固定構成および／またはプログラム論理を組み込んでいる他の任意の装置であってもよい。
【０１３７】
たとえば、図７は、本発明の例示的な実施形態が実装されうるコンピュータ・システム７００を示すブロック図である。コンピュータ・システム７００は、情報を通信するためのバス７０２または他の通信機構と、情報を処理するための、バス７０２に結合されたハードウェア・プロセッサ７０４とを含む。ハードウェア・プロセッサ７０４はたとえば汎用マイクロプロセッサであってもよい。
【０１３８】
コンピュータ・システム７００は、ランダム・アクセス・メモリ（RAM）または他の動的記憶装置のような、情報およびプロセッサ７０４によって実行されるべき命令を記憶するための、バス７０２に結合されたメイン・メモリ７０６をも含む。メイン・メモリ７０６はまた、一時変数または他の中間的な情報を、プロセッサ７０４によって実行されるべき命令の実行の間、記憶しておくために使われてもよい。そのような命令は、プロセッサ７０４にとってアクセス可能な非一時的な記憶媒体に記憶されたとき、コンピュータ・システム７００を、前記命令において指定されている処理を実行するようカスタマイズされた特殊目的機械にする。
【０１３９】
コンピュータ・システム７００はさらに、バス７０２に結合された、静的な情報およびプロセッサ７０４のための命令を記憶するための読み出し専用メモリ（ROM）７０８または他の静的記憶装置を含む。磁気ディスクまたは光ディスクのような記憶装置７１０が提供され、情報および命令を記憶するためにバス７０２に結合される。
【０１４０】
コンピュータ・システム７００は、コンピュータ・ユーザーに対して情報を表示するための、液晶ディスプレイのようなディスプレイ７１２にバス７０２を介して結合されていてもよい。英数字その他のキーを含む入力装置７１４が、情報およびコマンド選択をプロセッサ７０４に伝えるためにバス７０２に結合される。もう一つの型のユーザー入力装置は、方向情報およびコマンド選択をプロセッサ７０４に伝えるとともにディスプレイ７１２上でのカーソル動きを制御するための、マウス、トラックボールまたはカーソル方向キーのようなカーソル・コントロール７１６である。この入力装置は典型的には、第一軸（たとえばx）および第二軸（たとえばy）の二つの軸方向において二つの自由度をもち、これにより該装置は平面内での位置を指定できる。
【０１４１】
コンピュータ・システム７００は、本稿に記載される技法を実施するのに、カスタマイズされた固定構成論理、一つまたは複数のASICもしくはFPGA、コンピュータ・システムと組み合わさってコンピュータ・システム７００を特殊目的機械にするまたはプログラムするファームウェアおよび／またはプログラム論理を使ってもよい。ある実施形態によれば、本稿の技法は、プロセッサ７０４がメイン・メモリ７０６に含まれる一つまたは複数の命令の一つまたは複数のシーケンスを実行するのに応答して、コンピュータ・システム７００によって実行される。そのような命令は、記憶装置７１０のような別の記憶媒体からメイン・メモリ７０６に読み込まれてもよい。メイン・メモリ７０６に含まれる命令のシーケンスの実行により、プロセッサ７０４は、本稿に記載されるプロセス段階を実行する。代替的な実施形態では、ソフトウェア命令の代わりにまたはソフトウェア命令と組み合わせて固定構成の回路が使用されてもよい。
【０１４２】
本稿で用いられる用語「記憶媒体」は、データおよび／または機械に特定の仕方で動作させる命令を記憶する任意の非一時的な媒体を指す。そのような記憶媒体は、不揮発性媒体および／または揮発性媒体を含んでいてもよい。不揮発性媒体は、たとえば、記憶装置７１０のような光学式または磁気ディスクを含む。揮発性媒体は、メイン・メモリ７０６のような動的メモリを含む。記憶媒体の一般的な形は、たとえば、フロッピーディスク、フレキシブルディスク、ハードディスク、半導体ドライブ、磁気テープまたは他の任意の磁気データ記憶媒体、CD-ROM、他の任意の光学式データ記憶媒体、孔のパターンをもつ任意の物理的媒体、RAM、PROMおよびEPROM、フラッシュEPROM、NVRAM、他の任意のメモリ・チップまたはカートリッジを含む。
【０１４３】
記憶媒体は、伝送媒体とは異なるが、伝送媒体と関連して用いられてもよい。伝送媒体は、記憶媒体間で情報を転送するのに参加する。たとえば、伝送媒体は同軸ケーブル、銅線および光ファイバーを含み、バス７０２をなすワイヤを含む。伝送媒体は、電波および赤外線データ通信の際に生成されるような音響波または光波の形を取ることもできる。
【０１４４】
さまざまな形の媒体が、一つまたは複数の命令の一つまたは複数のシーケンスを実行のためにプロセッサ７０４に搬送するのに関与しうる。たとえば、命令は最初、リモート・コンピュータの磁気ディスクまたは半導体ドライブ上に担持されていてもよい。リモート・コンピュータは該命令をその動的メモリにロードし、該命令をモデムを使って電話線を通じて送ることができる。コンピュータ・システム７００にローカルなモデムは、電話線上のデータを受信し、赤外線送信器を使ってそのデータを赤外線信号に変換することができる。赤外線検出器が赤外線信号において担持されるデータを受信することができ、適切な回路がそのデータをバス７０２上に載せることができる。バス７０２はそのデータをメイン・メモリ７０６に搬送し、メイン・メモリ７０６から、プロセッサ７０４が命令を取り出し、実行する。メイン・メモリ７０６によって受信される命令は、任意的に、プロセッサ７０４による実行の前または後に記憶装置７１０上に記憶されてもよい。
【０１４５】
コンピュータ・システム７００は、バス７０２に結合された通信インターフェース７１８をも含む。通信インターフェース７１８は、ローカル・ネットワーク７２２に接続されているネットワーク・リンク７２０への双方向データ通信結合を提供する。たとえば、通信インターフェース７１８は、対応する型の電話線へのデータ通信接続を提供するための、統合サービス・デジタル通信網（ISDN）カード、ケーブル・モデム、衛星モデムまたはモデムであってもよい。もう一つの例として、通信インターフェース７１８は、互換LANへのデータ通信接続を提供するためのローカル・エリア・ネットワーク（LAN）カードであってもよい。無線リンクも実装されてもよい。そのようないかなる実装でも、通信インターフェース７１８は、さまざまな型の情報を表すデジタル・データ・ストリームを搬送する電気的、磁気的または光学的信号を送受信する。
【０１４６】
ネットワーク・リンク７２０は典型的には、一つまたは複数のネットワークを通じた他のデータ装置へのデータ通信を提供する。たとえば、ネットワーク・リンク７２０は、ローカル・ネットワーク７２２を通じてホスト・コンピュータ７２４またはインターネット・サービス・プロバイダー（ISP）７２６によって運営されているデータ設備への接続を提供してもよい。ISP  ７２６は、現在一般に「インターネット」７２８と称される世界規模のパケット・データ通信網を通じたデータ通信サービスを提供する。ローカル・ネットワーク７２２およびインターネット７２８はいずれも、デジタル・データ・ストリームを担持する電気的、電磁的または光学的信号を使う。コンピュータ・システム７００に／からデジタル・データを搬送する、さまざまなネットワークを通じた信号およびネットワーク・リンク７２０上および通信インターフェース７１８を通じた信号は、伝送媒体の例示的な形である。
【０１４７】
コンピュータ・システム７００は、ネットワーク（単数または複数）、ネットワーク・リンク７２０および通信インターフェース７１８を通じて、メッセージを送り、プログラム・コードを含めデータを受信することができる。インターネットの例では、サーバー７３０は、インターネット７２８、ISP  ７２６、ローカル・ネットワーク７２２および通信インターフェース７１８を通じてアプリケーション・プログラムのための要求されたコードを送信してもよい。
【０１４８】
受信されたコードは、受信される際にプロセッサ７０４によって実行されても、および／または、のちの実行のために記憶装置７１０または他の不揮発性記憶に記憶されてもよい。
【０１４９】
〈７．等価物、拡張、代替その他〉
以上の明細書では、本発明の例示的な諸実施形態について、実装によって変わりうる数多くの個別的詳細に言及しつつ述べてきた。このように、何が本発明であるか、何が出願人によって本発明であると意図されているかの唯一にして排他的な指標は、この出願に対して付与される特許の請求項の、その後の訂正があればそれも含めてかかる請求項が特許された特定の形のものである。かかる請求項に含まれる用語について本稿で明示的に記載される定義があったとすればそれは請求項において使用される当該用語の意味を支配する。よって、請求項に明示的に記載されていない限定、要素、属性、特徴、利点もしくは特性は、いかなる仕方であれかかる請求項の範囲を限定すべきではない。よって、明細書および図面は制約する意味ではなく例示的な意味で見なされるべきものである。
いくつかの態様を記載しておく。
〔態様１〕
入力3D画像を受領する段階であって、前記入力3D画像は、第一の視点についての第一の入力画像フレームおよび第二の異なる視点についての第二の入力画像フレームを含む、段階と；
前記第一の入力画像フレームに基づいて、前記第一の視点についての低減解像度画像データを生成する段階と；
前記第二の入力画像フレームに基づいて、前記第二の視点についてのフル解像度画像データを生成する段階と；
前記低減解像度画像データおよび前記フル解像度画像データをエンコードおよび出力して、出力3D画像を表現する段階であって、前記出力3D画像は、前記第一の視点についての前記低減解像度画像データから導出された低減解像度出力画像フレームおよび前記第二の視点についての前記フル解像度画像データから導出されたフル解像度出力画像フレームの対を含む、段階とを含む、
方法。
〔態様２〕
前記3D出力画像の前記フル解像度出力画像フレームは、前記第二の入力画像フレームから導出された、フィルタリングされていない高空間周波数内容を含み、前記3D出力画像の前記低減解像度出力画像フレームは、前記第一の入力画像フレームから導出されたフィルタリングされた画像データを含む、態様１記載の方法。
〔態様３〕
前記3D入力画像は、前記第一の視点についての第三の入力画像フレームおよび第四の入力画像フレームをもつ第二の異なる3D入力画像を含む3D入力画像のシーケンスにおける第一の3D入力画像であり；当該方法がさらに：
前記第四の入力画像フレームに基づいて、前記第二の視点についての第二の低減解像度画像データを生成する段階と；
前記第三の入力画像フレームに基づいて、前記第一の視点についての第二のフル解像度画像データを生成する段階と；
前記第二の低減解像度画像データおよび前記第二のフル解像度画像データをエンコードおよび出力して、第二の出力3D画像を表現する段階であって、前記第二の出力3D画像は、前記第二の視点についての前記第二の低減解像度画像データから導出された第二の低減解像度出力画像フレームおよび前記第一の視点についての前記第二のフル解像度画像データから導出された第二のフル解像度出力画像フレームの第二の対を含む、段階とを含む、
態様１記載の方法。
〔態様４〕
前記出力3D画像についての画像データの一部として、前記第二の視点に対応するパリティ・フラグの第一の値が出力され、前記第二の出力3D画像についての画像データの一部として、前記第一の視点に対応するパリティ・フラグの第二の異なる値が出力される、態様１記載の方法。
〔態様５〕
前記パリティ・フラグは、フレーム・レベル、シーン・レベルまたは固定期間レベルのうちの一つで、前記第一の値と前記第二の異なる値の間を遷移する、態様４記載の方法。
〔態様６〕
前記パリティ・フラグが前記第一の値と前記第二の異なる値の間で遷移する時間期間の間に両方の目についての解像度のなめらかな遷移を与えるよう、複数の出力3D画像における複数のフル解像度出力画像フレームの空間解像度をスケールダウンする段階をさらに含む、態様４記載の方法。
〔態様７〕
前記第一の視点についての前記低減解像度画像データは多重化された3D画像フレーム内にあり、該多重化された3D画像フレームはさらに、前記第二の視点についての低減解像度画像データを含む、態様１記載の方法。
〔態様８〕
前記多重化された3D画像フレームは、複数の出力ビットストリームの基本層出力ビットストリームにおいて出力される、態様７記載の方法。
〔態様９〕
少なくとも部分的には前記第二の視点についての前記低減解像度画像データに基づいて、予測参照フレームを生成する段階と；
前記第二の視点についての前記フル解像度画像データを、前記予測参照フレームと前記第二の入力画像フレームとの間の差として生成する段階とをさらに含む、
態様７記載の方法。
〔態様１０〕
少なくとも部分的には前記第二の視点についての前記低減解像度画像データに基づいて、予測参照フレームを生成する段階と；
前記予測参照フレームを、前記低減解像度画像データおよび前記フル解像度画像データとともに出力する段階とをさらに含む、
態様７記載の方法。
〔態様１１〕
エンコードされた前記フル解像度画像データの少なくとも一部が、前記複数の出力ビットストリームのうちの一つまたは複数の向上層出力ビットストリームにおいて出力される、態様７記載の方法。
〔態様１２〕
一つまたは複数の入力ビデオ信号と一緒に表現される、受領される、伝送されるまたは記憶される一つまたは複数の3D入力画像を、一つまたは複数の出力ビデオ信号と一緒に表現される、受領される、伝送されるまたは記憶される一つまたは複数の3D出力画像に変換する段階をさらに含む、態様１記載の方法。
〔態様１３〕
前記出力3D画像および前記入力3D画像の少なくとも一方は、高ダイナミックレンジ（HDR）画像フォーマット、映画芸術科学アカデミー（AMPAS）のアカデミー色エンコード規格（ACES）に関連するRGB色空間、デジタル・シネマ・イニシアチブのP3色空間規格、参照入力媒体メトリック／参照出力媒体メトリック（RIMM/ROMM）規格、sRGB色空間または国際電気通信連合（ITU）のBT.709勧告の規格に関連するRGB色空間のうちの一つにおいてエンコードされた画像データを含む、態様１記載の方法。
〔態様１４〕
第一の視点についての入力低減解像度画像データおよび第二の異なる視点についての入力フル解像度画像データを含む3D画像を受領する段階と；
前記入力低減解像度画像データに基づいて、前記第一の視点についての前記3D画像の低減解像度画像フレームを生成する段階と；
前記入力フル解像度画像データに基づいて、前記第二の視点についてのフル解像度画像フレームを生成する段階と；
前記第一の視点についての前記3D画像の前記低減解像度画像フレームをレンダリングし、前記第二の視点についての前記3D画像の前記フル解像度画像フレームをレンダリングすることによって、前記3D画像をレンダリングする段階とを含む、
方法。
〔態様１５〕
前記3D画像の前記フル解像度画像フレームは、フィルタリングされていない源3D画像中の高空間周波数内容を含み、前記3D画像の前記低減解像度画像フレームはフィルタリングされた前記源3D画像中の画像データを含む、態様１４記載の方法。
〔態様１６〕
前記3D画像は、前記第二の視点についての第二の入力低減解像度画像データおよび前記第一の視点についての第二の入力フル解像度画像データを有する第二の異なる3D画像を含む3D画像のシーケンス中の第一の3D画像であり；当該方法はさらに：
前記第二の入力低減解像度画像データに基づいて、前記第二の視点についての前記第二の3D画像の第二の低減解像度画像フレームを生成する段階と；
前記第二の入力フル解像度画像データに基づいて、前記第一の視点についての第二のフル解像度画像フレームを生成する段階と；
前記第二の視点についての前記第二の3D画像の前記第二の低減解像度画像フレームをレンダリングし、前記第一の視点についての前記第二の3D画像の前記第二のフル解像度画像フレームをレンダリングすることによって前記第二の3D画像をレンダリングする段階とを含む、
態様１４記載の方法。
〔態様１７〕
前記第二の視点に対応するパリティ・フラグの第一の値が前記第一の3D画像についての画像データの一部として受領され、前記第一の視点に対応する前記パリティ・フラグの第二の異なる値が前記第二の3D画像についての画像データの一部として受領される、態様１４記載の方法。
〔態様１８〕
前記パリティ・フラグは、フレーム・レベル、シーン・レベルまたは固定期間レベルのうちの一つにおいて、前記第一の値と前記第二の異なる値との間で遷移する、態様１７記載の方法。
〔態様１９〕
前記パリティ・フラグが前記第一の値と前記第二の異なる値の間で遷移する時間期間の間に両方の目についての解像度のなめらかな遷移を与えるよう、複数の3D画像における複数のフル解像度出力画像フレームの空間解像度をスケールダウンする解像度フィルタを、受領されたフィルタ・フラグに基づいて選択する段階をさらに含む、態様１７記載の方法。
〔態様２０〕
前記第一の視点についての前記入力低減解像度画像データは入力多重化3D画像フレーム内にあり、該入力多重化3D画像フレームはさらに、前記第二の視点についての入力低減解像度画像データを含む、態様１４記載の方法。
〔態様２１〕
前記入力多重化3D画像フレームは、複数の入力ビットストリームの基本層入力ビットストリームから受領される、態様２０記載の方法。
〔態様２２〕
少なくとも部分的には前記第二の視点についての前記入力低減解像度画像データに基づいて、予測参照フレームを生成する段階と；
前記予測参照フレームと前記入力フル解像度画像データとを組み合わせることによって、前記フル解像度画像フレームを生成する段階とをさらに含む、
態様２０記載の方法。
〔態様２３〕
前記入力フル解像度画像データの少なくとも一部が、前記複数の入力ビットストリームのうちの一つまたは複数の向上層出力ビットストリームから受領される、態様２０記載の方法。
〔態様２４〕
一つまたは複数の入力ビデオ信号と一緒に表現される、受領される、伝送されるまたは記憶される一つまたは複数の3D画像を処理する段階をさらに含む、態様１４記載の方法。
〔態様２５〕
前記3D画像は、高ダイナミックレンジ（HDR）画像フォーマット、映画芸術科学アカデミー（AMPAS）のアカデミー色エンコード規格（ACES）に関連するRGB色空間、デジタル・シネマ・イニシアチブのP3色空間規格、参照入力媒体メトリック／参照出力媒体メトリック（RIMM/ROMM）規格、sRGB色空間または国際電気通信連合（ITU）のBT.709勧告の規格に関連するRGB色空間のうちの一つにおいてエンコードされた画像データを含む、態様１４記載の方法。
〔態様２６〕
態様１ないし１３のうちいずれか一項記載の方法を実行するエンコーダ。
〔態様２７〕
態様１４ないし２５のうちいずれか一項記載の方法を実行するデコーダ。
〔態様２８〕
態様１ないし２５のうちいずれか一項記載の方法を実行するシステム。
〔態様２９〕
エンコーダおよびデコーダを有するシステムであって、
前記エンコーダは：
第一の視点についての第一の入力画像フレームおよび第二の異なる視点についての右目（RE）入力画像フレームを含む入力3D画像を受領する段階と；
前記第一の入力画像フレームに基づいて、前記第一の視点についての低減解像度画像データを生成する段階と；
前記第二の入力画像フレームに基づいて、前記第二の視点についてのフル解像度画像データを生成する段階と；
前記低減解像度画像データおよび前記フル解像度画像データをエンコードおよび出力して、出力3D画像を表現する段階であって、前記出力3D画像は、前記第一の視点についての前記低減解像度画像データから導出された低減解像度出力画像フレームおよび前記第二の視点についての前記フル解像度画像データから導出されたフル解像度出力画像フレームの対を含む、段階とを実行するよう構成されており、
前記デコーダは：
前記第一の視点についての前記低減解像度画像データおよび前記第二の視点についての前記フル解像度画像データを受領する段階と；
前記低減解像度画像データに基づいて、前記第一の視点についての前記低減解像度画像出力画像フレームを生成する段階と；
前記フル解像度画像データに基づいて、前記第二の視点についての前記フル解像度画像フレームを生成する段階と；
前記第一の視点についての前記低減解像度画像フレームをレンダリングし、前記第二の視点についての前記フル解像度画像フレームをレンダリングすることによって、前記出力3D画像をレンダリングする段階とを実行するよう構成されている、
システム。
【図１Ａ】
0005813236.tif 000002
【図１Ｂ】
0005813236.tif 000003
【図１Ｃ】
0005813236.tif 000004
【図２Ａ】
0005813236.tif 000005
【図２Ｂ】
0005813236.tif 000006
【図３Ａ】
0005813236.tif 000007
【図３Ｂ】
0005813236.tif 000008
【図３Ｃ】
0005813236.tif 000009
【図４】
0005813236.tif 000010
【図５】
0005813236.tif 000011
【図６】
0005813236.tif 000012
【図７】
0005813236.tif 000013