(57)【要約】  ユーザから受信されたユーザ選好データに基づいて、３Ｄ画像データが変更され得る。ユーザ選好データを第１の機器で受信し、使用して、表示装置による提示のために第１の機器によって生成された３Ｄ画像データを調節することができ、又は第１の機器は、ユーザ選好データを受信し、それを表示装置に送信することができ、それにより表示装置は、ユーザ選好データに基づいて３Ｄ画像データを調節することができる。３Ｄ画像データをユーザ選好データに基づいて調節して、ユーザが望むように表示装置上に３Ｄ像を提示するのをサポートすることができる。３Ｄユーザ視聴選好は、画像のポップアウト効果の規模、画像のステレオベースライン、画像の深度範囲、画像の空間分布、画像の深度先鋭度、又はユーザの利き目の指定を含み得る。
2013540402.tif 000002
【特許請求の範囲】
【請求項１】
３Ｄ画像コンテンツの提示のためのユーザ選好データを受信するように構成されたユーザインターフェースモジュールと、
前記３Ｄ画像コンテンツに関連する視差値に基づいて視差マップを維持するように構成された視差推定モジュールと、
前記ユーザ選好データに基づいて前記視差マップを変更することによって、変更された視差マップを生成するように構成された視差処理モジュールと
を備えるシステム。
【請求項２】
前記ユーザ選好データは、ポップアウト効果パラメータの変更を示すユーザ入力値を備える、請求項１に記載のシステム。
【請求項３】
前記ユーザ選好データは、ベースラインパラメータを変更するためのユーザ入力値を備える、請求項１に記載のシステム。
【請求項４】
前記ユーザ選好データは、深度範囲パラメータを変更するためのユーザ入力値を備える、請求項１に記載のシステム。
【請求項５】
前記ユーザ選好データは、利き目パラメータを選択するためのユーザ入力値を備える、請求項１に記載のシステム。
【請求項６】
前記ユーザ選好データは、先鋭度パラメータを変更するためのユーザ入力値を備える、請求項１に記載のシステム。
【請求項７】
前記ユーザ選好データは、深度分布パラメータを選択するためのユーザ入力値を備える、請求項１に記載のシステム。
【請求項８】
前記視差処理モジュールは、ワイヤレス通信を介して前記ユーザインターフェースモジュールから前記ユーザ選好データを受信するように構成される、請求項１に記載のシステム。
【請求項９】
前記変更された視差マップに基づいて３Ｄビデオをレンダリングするように構成されたレンダリングモジュールをさらに備える、請求項１に記載のシステム。
【請求項１０】
前記ユーザインターフェースモジュールを備える発信源機器から、前記レンダリングモジュールを備える宛先機器に、前記ユーザ選好データを送信するように構成された送信機をさらに備える、請求項９に記載のシステム。
【請求項１１】
前記ユーザインターフェースモジュールを備える発信源機器から、前記レンダリングモジュールを備える宛先機器に、前記変更された視差マップを送信するように構成された送信機をさらに備える、請求項９に記載のシステム。
【請求項１２】
３Ｄ画像コンテンツの提示のためのユーザ選好データを受信することと、
前記３Ｄ画像コンテンツに関連する視差値に基づいて視差マップを記憶することと、
前記ユーザ選好データに基づいて前記視差マップを変更することと、
変更された前記視差マップに基づいて３Ｄビデオを生成することと、
を備える方法。
【請求項１３】
前記ユーザ選好データは、ポップアウト効果パラメータを変更するためのユーザ入力値を備える、請求項１２に記載の方法。
【請求項１４】
前記ユーザ選好データは、ベースラインパラメータを変更するためのユーザ入力値を備える、請求項１２に記載の方法。
【請求項１５】
前記ユーザ選好データは、深度範囲パラメータを変更するためのユーザ入力値を備える、請求項１２に記載の方法。
【請求項１６】
前記ユーザ選好データは、利き目パラメータを選択するためのユーザ入力値を備える、請求項１２に記載の方法。
【請求項１７】
前記ユーザ選好データは、先鋭度パラメータを変更するためのユーザ入力値を備える、請求項１２に記載の方法。
【請求項１８】
前記ユーザ選好データは、深度分布パラメータを選択するためのユーザ入力値を備える、請求項１２に記載の方法。
【請求項１９】
前記視差処理モジュールは、ワイヤレス通信を介して前記ユーザインターフェースモジュールから前記ユーザ選好データを受信するように構成される、請求項１２に記載の方法。
【請求項２０】
前記受信することは発信源機器によって実行され、前記生成することは宛先機器によって実行される、請求項１２に記載の方法。
【請求項２１】
変更された前記視差マップに基づいて３Ｄビデオをレンダリングすることをさらに備える、請求項１２に記載の方法。
【請求項２２】
前記受信することを行う発信源機器から、前記レンダリングすることを行う宛先機器に、前記ユーザ選好データを送信することをさらに備える、請求項２１に記載の方法。
【請求項２３】
前記受信することを行う発信源機器から、前記レンダリングすることを行う宛先機器に、変更された前記視差マップを送信することをさらに備える、請求項２１に記載の方法。
【請求項２４】
３Ｄ画像コンテンツの提示のためのユーザ選好データを受信するための手段と、
前記３Ｄ画像コンテンツに関連する視差値に基づいて視差マップを記憶するための手段と、
前記ユーザ選好データに基づいて前記視差マップを変更するための手段と、
変更された前記視差マップに基づいて３Ｄビデオを生成するための手段と、
を備える装置。
【請求項２５】
前記ユーザ選好データは、ポップアウト効果パラメータを変更するためのユーザ入力値を備える、請求項２４に記載の装置。
【請求項２６】
前記ユーザ選好データは、ベースラインパラメータを変更するためのユーザ入力値を備える、請求項２４に記載の装置。
【請求項２７】
前記ユーザ選好データは、深度範囲パラメータを変更するためのユーザ入力値を備える、請求項２４に記載の装置。
【請求項２８】
前記ユーザ選好データは、利き目パラメータを選択するためのユーザ入力値を備える、請求項２４に記載の装置。
【請求項２９】
前記ユーザ選好データは、先鋭度パラメータを変更するためのユーザ入力値を備える、請求項２４に記載の装置。
【請求項３０】
前記ユーザ選好データは、深度分布パラメータを選択するためのユーザ入力値を備える、請求項２４に記載の装置。
【請求項３１】
前記視差処理モジュールは、ワイヤレス通信を介して前記ユーザインターフェースモジュールから前記ユーザ選好データを受信するように構成される、請求項２４に記載の装置。
【請求項３２】
変更された前記視差マップに基づいて３Ｄビデオをレンダリングするための手段をさらに備える、請求項２４に記載の装置。
【請求項３３】
前記受信するための手段を備える発信源機器から、前記レンダリングするための手段を備える宛先機器に、前記ユーザ選好データを送信するための手段をさらに備える、請求項３２に記載の装置。
【請求項３４】
前記受信するための手段を備える発信源機器から、前記レンダリングするための手段を備える宛先機器に、前記変更された視差マップを送信するための手段
をさらに備える、請求項３２に記載の装置。
【請求項３５】
１つ以上のプロセッサによって実行されるとき、前記１つ以上のプロセッサに、
３Ｄ画像コンテンツの提示のためのユーザ選好データを受信することと、
前記３Ｄ画像コンテンツに関連する視差値に基づいて視差マップを記憶することと、
前記ユーザ選好データに基づいて前記視差マップを変更することと、
変更された前記視差マップに基づいて３Ｄビデオを生成することと、
を行わせる１つ以上の命令を有形に記憶するコンピュータ可読記憶媒体。
【請求項３６】
前記ユーザ選好データは、ポップアウト効果パラメータを変更するためのユーザ入力値を備える、請求項３５に記載のコンピュータ可読記憶媒体。
【請求項３７】
前記ユーザ選好データは、ベースラインパラメータを変更するためのユーザ入力値を備える、請求項３５に記載のコンピュータ可読記憶媒体。
【請求項３８】
前記ユーザ選好データは、深度範囲パラメータを変更するためのユーザ入力値を備える、請求項３５に記載のコンピュータ可読記憶媒体。
【請求項３９】
前記ユーザ選好データは、利き目パラメータを選択するためのユーザ入力値を備える、請求項３５に記載のコンピュータ可読記憶媒体。
【請求項４０】
前記ユーザ選好データは、先鋭度パラメータを変更するためのユーザ入力値を備える、請求項３５に記載のコンピュータ可読記憶媒体。
【請求項４１】
前記ユーザ選好データは、深度分布パラメータを選択するためのユーザ入力値を備える、請求項３５に記載のコンピュータ可読記憶媒体。
【請求項４２】
前記視差処理モジュールは、ワイヤレス通信を介して前記ユーザインターフェースモジュールから前記ユーザ選好データを受信するように構成される、請求項３５に記載のコンピュータ可読記憶媒体。
【請求項４３】
前記受信することは発信源機器によって実行され、前記生成することは宛先機器によって実行される、請求項３５に記載のコンピュータ可読記憶媒体。
【請求項４４】
前記１つ以上のプロセッサによって実行されるとき、前記１つ以上のプロセッサに、
変更された前記視差マップに基づいて３Ｄビデオをレンダリングすることを行わせる１つ以上の追加命令を記憶する、請求項３５に記載のコンピュータ可読記憶媒体。
【請求項４５】
前記１つ以上のプロセッサによって実行されるとき、前記１つ以上のプロセッサに、
前記受信することを行う発信源機器から、前記レンダリングすることを行う宛先機器に、前記ユーザ選好データを送信することを行わせる１つ以上の追加命令を記憶する、請求項４４に記載のコンピュータ可読記憶媒体。
【請求項４６】
前記１つ以上のプロセッサによって実行されるとき、前記１つ以上のプロセッサに、
前記受信することを行う発信源機器から、前記レンダリングすることを行う宛先機器に、変更された前記視差マップを送信することを行わせる１つ以上の追加命令を記憶する、請求項４４に記載のコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、その内容全体が参照により本明細書に組み込まれる、２０１０年１０月４日に出願された米国仮出願第６１／３８９，３７２号の利益を主張する。
【０００２】
本開示は、マルチメディアデータのレンダリング及び処理に関し、具体的には、３次元ピクチャ及びビデオデータのレンダリング及び処理に関する。
【背景技術】
【０００３】
３次元（３Ｄ）グラフィックスのレンダリングにおいて、特に、モバイルフォン、モバイルメディアプレーヤ、携帯情報端末（ＰＤＡ）機器などの低電力（即ち、電池式）機器での３Ｄシーンの視覚化において、ステレオビデオ処理の計算の複雑度は重要である。３Ｄシーンの視覚化は、幾つかの映画、ビデオゲーム、ユーザインターフェース、及び他の３Ｄグラフィックスアプリケーションの提示に有益であり得る。
【０００４】
一般に、ステレオ対応表示器（例えば、裸眼立体表示器又は立体表示器）における３Ｄグラフィックスのレンダリングの難しさは、ステレオビデオ処理の効率性及び現実性の側面に起因する。低電力機器の限られた計算リソースが原因で、３Ｄグラフィックスのレンダリングは極めて時間のかかるルーチンになり得る。ステレオビデオ処理のパフォーマンスを向上させるために相当な努力が払われているものの、さらなる改善が望まれる。
【０００５】
加えて、ユーザの視聴経験をユーザがカスタマイズするのを許容する能力も望まれる。人間視覚系（ＨＶＳ）は、同じシーンの２つの視界がそれぞれ左目と右目とに提示されたときに深度を知覚する。立体又は裸眼立体のいずれかの平面３Ｄ表示器は、２つの異なる視界をそれぞれ左目と右目とに提供することに依存し、これらは、目がシーンを直接見たときに知覚するものと一致する。従って、シーン内の異なる深度に位置する点が、２つの視界において別様にシフトされる。位置のシフトは、この位置がスクリーン上にあるときの画像又はパララックスに言及する際に視差と呼ばれる。
【０００６】
所与の点のパララックスは、左視界のスクリーン上におけるこの点の位置が、右視界のスクリーン上におけるこの点の位置の左側にあるときに正である。左視界のスクリーン上におけるこの点の位置が、右視界のスクリーン上におけるこの点の位置の右側にあるとき、パララックスは負である。両方の視界の位置が同じである場合、パララックスはヌルである。パララックスがゼロである点全てを含む空間内の位置は、収束平面として知られている。負のパララックスがポップアウト効果(pop-out effect)をもたらす一方、正のパララックスは深度効果(deep effect)をもたらす（穴又は窓を通して見えているかのような効果をもたらす）。
【０００７】
スクリーン特性や視覚距離のような幾つかの視聴条件を想定すると、各個人が目を集中させることができる最大画像視差が存在する。これは融合範囲と呼ばれる。正の視差及び負の視差の範囲は、対称的ではなく、各個人に依存する。スクリーンパララックスの知覚される網膜視差は、画像視差、（スクリーンの規模及び解像度に関係する）スクリーン上の画素のピッチ、及び視聴距離に依存する。個人の目の差異及び視聴条件の相違により、最適な３Ｄコンテンツをレンダリングするために使用されるパラメータの有効性は、視聴者によって異なり得る。
【発明の概要】
【０００８】
本開示は、ユーザから受信したユーザ選好データに基づいて３Ｄ画像データを変更するための技法について説明する。幾つかの例では、ユーザ選好データを第１の機器で受信し、使用して、表示装置による提示のために第１の機器によって生成された３Ｄ画像データを調節することができる。他の例では、第１の機器は、ユーザ選好データを受信し、それを表示装置に送信することができ、それにより表示装置は、ユーザ選好データに基づいて３Ｄ画像データを調節することができる。いずれの場合も、３Ｄ画像データをユーザ選好データに基づいて調節して、ユーザが望むように表示装置上に３Ｄ像を提示し、３Ｄ像を視聴するのをサポートすることができる。幾つかの例では、第１の機器は、モバイルフォン、モバイルメディアプレーヤ、携帯情報端末（ＰＤＡ）機器などのモバイル機器であり得る。３Ｄユーザ視聴選好の例には、画像のポップアウト効果(pop-out effect)の規模、画像のステレオベースライン、画像の深度範囲、画像の空間分布、画像の深度先鋭度、又はユーザの利き目の指定があり得る。
【０００９】
一例では、システムは、３Ｄ画像コンテンツの提示のためのユーザ選好データを受信するように構成されたユーザインターフェースモジュールと、３Ｄ画像コンテンツに関連する視差値に基づいて視差マップを記憶するように構成された視差推定モジュールと、ユーザ選好データに基づいて視差マップを変更するように構成された視差処理モジュールとを含む。
【００１０】
別の例では、方法は、３Ｄ画像コンテンツの提示のためのユーザ選好データを受信することと、３Ｄ画像コンテンツに関連する視差値に基づいて視差マップを記憶することと、ユーザ選好データに基づいて視差マップを変更することと、変更された視差マップに基づいて３Ｄビデオを生成することとを含む。
【００１１】
別の例では、コンピュータ可読記憶媒体は、１つ又は複数の命令を有形に記憶し、かかる命令は、１つ又は複数のプロセッサによって実行されるとき、１つ又は複数のプロセッサに、３Ｄ画像コンテンツの提示のためのユーザ選好データを受信することと、３Ｄ画像コンテンツに関連する視差値に基づいて視差マップを記憶することと、ユーザ選好データに基づいて視差マップを変更することと、変更された視差マップに基づいて３Ｄビデオを生成することとを行わせる。
【００１２】
別の例示的な実施形態では、装置は、３Ｄ画像コンテンツの提示のためのユーザ選好データを受信するための手段と、３Ｄ画像コンテンツに関連する視差値に基づいて視差マップを記憶するための手段と、ユーザ選好データに基づいて視差マップを変更するための手段と、変更された視差マップに基づいて３Ｄビデオを生成するための手段とを含む。
【００１３】
本開示の１つ以上の態様の詳細を、添付の図面及び以下の説明に記載する。本開示で説明する技法の他の特徴、目的、及び利点は、説明及び図面から、また特許請求の範囲から明らかであろう。
【図面の簡単な説明】
【００１４】
【図１】発信源機器が３次元画像データを宛先機器に送る例示的なシステムを示すブロック図。
【図２】視差処理ユニットの構成要素の例示的な構成を示すブロック図。
【図３Ａ】画素の深度に基づく正の視差値の例を示す概念図。
【図３Ｂ】画素の深度に基づくゼロの視差値の例を示す概念図。
【図３Ｃ】画素の深度に基づく負の視差値の例を示す概念図。
【図４】本開示の例による、知覚される３Ｄ効果をユーザ選好に基づいて調節するように構成された例示的なシステムのブロック図。
【図５】３Ｄビデオ制御モジュールの構成要素の例示的な構成を示すブロック図。
【図６】本開示の例による、知覚される３Ｄ効果をユーザ選好に基づいて調節するように構成された例示的なシステムのブロック図。
【図７】本開示の例示的な態様を示す流れ図。
【図８】本開示の例による、３Ｄビデオをレンダリングするように構成された例示的なシステムのブロック図。
【発明を実施するための形態】
【００１５】
現在の２Ｄ表示器では、明るさや先鋭度などのピクチャ特性が、ユーザ選好に基づいて調節され得る。しかし、現在の３Ｄ対応表示器には、３Ｄコンテンツの視覚化を調節するためのそのような機構は通常含まれていない。各個人は、視聴条件及び視聴選好に基づいて、３Ｄコンテンツの表示特性に関して異なる好み又は要求を持っていることがある。本開示は、知覚される３Ｄ効果をユーザ選好に基づいて調節することについて説明する。
【００１６】
本開示の態様は、画像のステレオペアの２つの画像に関する視差値を計算するための技法を含み、この場合に画像のステレオペアは、共通シーンの第１の画像と第２の画像とを含む。第１の画像及び第２の画像は、本開示全体にわたって、左画像及び右画像、左視界及び右視界、又は第１の視界及び第２の視界と呼ばれることもある。ステレオペアの第１の画像及び第２の画像を同時に、又は続けざまに表示して、３次元（３Ｄ）被写体を有するシーンを作成することができる。本開示の態様は、どのように３Ｄコンテンツがレンダリングされ、最終的に表示されるかをカスタマイズする選好をユーザが調節できるようにするための技法をさらに含む。
【００１７】
本開示で使用する「視差」という用語は一般に、３Ｄ効果をもたらすための、一方の画像内の画素の、他方の画像内の対応する画素に対する水平オフセットを表している。本開示で使用する対応する画素は一般に、３Ｄ被写体内の同じ点に属するが、異なる画像内にある画素を指す。
【００１８】
カメラの焦点に比較的近い被写体を表す画素は一般に、カメラから比較的遠い被写体を表す画素よりも、高い視差を有する。より具体的には、画像を表示するために使用されるスクリーンは、収束平面であると考えられ、それにより、視差がゼロである対応する画素が、収束平面に位置し、一般に視聴者には、収束平面と同じ距離に位置するように見える。一般に、スクリーンの前にある被写体は、負の視差を有すると考えられ、スクリーンの背後にある被写体は、正の視差を有すると考えられる。
【００１９】
画像のステレオペアに関する複数の視差値が、視差マップと呼ばれるデータ構造に記憶され得る。画像のステレオペアに関連する視差マップは、２Ｄ関数ｄ（ｘ，ｙ）を表し、それにより、第１の画像内の所与の（ｘ，ｙ）座標におけるｄの値は、第２の画像内の対応する画素を見つけるように第２の画像内の座標（ｘ，ｙ）における画素に適用される必要のあるｘ座標のシフトに対応する。
【００２０】
図１は、例示的なシステム１０を示すブロック図である。図１に示すように、システム１０は、画像発信源２２と、視差処理ユニット２４と、エンコーダ２６と、送信機２８とを有する発信源機器を含むことができ、画像表示器４２と、視界合成ユニット４４と、デコーダ４６と、受信機４８とを有する宛先機器４０をさらに含むことができる。図１の例では、宛先機器４０は、符号化画像データ５４を発信源機器２０から受信する。発信源機器２０及び／又は宛先機器４０は、いわゆるセルラー無線電話又は衛星無線電話のワイヤレスハンドセットなどのワイヤレス通信機器、又は通信チャネルを介してピクチャ及び／又はビデオ情報を通信することができる任意のワイヤレス機器であって、通信チャネルがワイヤレス通信チャネルを備え得る任意のワイヤレス機器を備えることができる。宛先機器４０は、３次元（３Ｄ）表示装置又は３Ｄレンダリング機器と呼ばれ得る。
【００２１】
画像発信源２２は視差処理ユニット２４に対し、第１の視界５０と第２の視界５６とを含む画像のステレオペアを提供する。視差処理ユニット２４は、第１の視界５０と第２の視界５６とを使用して、３Ｄ処理情報５２を生成する。視差処理ユニット２４は、３Ｄ処理情報５２と２つの視界のうちの１つ（図１の例では第１の視界５０）とをエンコーダ２６に転送し、エンコーダ２６は、第１の視界５０と３Ｄ処理情報５２とを符号化して、符号化ビデオデータ５４を形成する。送信機２８は、符号化ビデオデータ５４を宛先機器４０に送信する。
【００２２】
受信機４８は、符号化画像データ５４を送信機２８から受信する。デコーダ４６は、符号化画像データ５４を復号して、第１の視界５０と３Ｄ処理情報５２とを抽出する。第１の視界５０及び３Ｄ処理情報５２に基づいて、視界合成ユニット４４は第２の視界５６を再構築することができる。第１の視界５０及び第２の視界５６に基づいて、画像表示器４２は３次元画像をレンダリングすることができる。図１には示されていないが、第１の視界５０及び第２の視界５６に対し、追加処理を発信源機器２０又は宛先機器４０のいずれかにおいて行うことができる。従って、幾つかの例では、視界合成ユニット４４によって受信される第１の視界５０、又は画像表示器４２によって受信される第１の視界５０及び第２の視界５６は実際には、画像発信源５６から受信される第１の視界５０及び第２の視界５６の変更バージョンであり得る。３Ｄ処理情報５２は、例えば、視差マップ又は視差マップに基づく深度情報を備えることができる。
【００２３】
視差情報に基づいて深度情報を判断し、またその逆のことを行うための様々な技法が存在する。従って、本開示が視差情報の符号化、復号、処理又は送信について論じるときは常に、視差情報に基づく深度情報が代わりに符号化され、復号され、処理され、又は送信され得ることも企図されている。
【００２４】
本開示の態様は、必ずしもワイヤレス適用例又は設定に限定されるとは限らない。例えば、本開示の態様は、無線テレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、インターネットビデオ送信、記憶媒体上に符号化される符号化デジタルビデオ、又は他のシナリオに適用され得る。従って、通信チャネルは、符号化ビデオデータ及び／又はピクチャデータの送信に好適なワイヤレス媒体又はワイヤード媒体の任意の組合せを備え得る。一例として、ピンホールカメラモデルと並列ステレオセットアップとを使用するとき、以下の式により、視差値（ｄ）に基づいて深度値（Ｚ）が決定され得る。
【数１】
2013540402.tif 000003
【００２５】
ここでｂはベースライン（即ち、ピンホールカメラモデルの２つのカメラの中心間の距離）であり、ｆはピンホールカメラモデルの焦点距離である。
【００２６】
画像発信源２２は、画像センサアレイ、例えば、デジタル静止ピクチャカメラ又はデジタルビデオカメラ、１つ以上の記憶された画像を備えるコンピュータ可読記憶媒体、外部ソースからデジタル画像を受信するためのインターフェース、例えばビデオゲームもしくは他の対話型マルチメディアソースを実行することによってデジタル画像を生成する処理ユニット、又は画像データの他のソースを備えることができる。画像発信源２２は、一般に、キャプチャされた画像、プリキャプチャされた画像、及び／又はコンピュータ生成された画像のうちの任意の１つ以上のソースに対応し得る。幾つかの例では、画像発信源２２は、セルラー（即ち、モバイル）電話のカメラに対応し得る。一般に、本開示における画像への言及は、ビデオデータのフレームと静止ピクチャの両方を含む。従って、本開示の技法は、撮影されたデジタルビデオデータ又はコンピュータ生成されたデジタルビデオデータのフレームと静止デジタルピクチャの両方に適用できる。
【００２７】
画像発信源２２は、画像５０及び５６のステレオペアに関する画像データを、これらの画像間の視差値の計算のために視差処理ユニット２４に提供する。画像５０及び５６のステレオペアは、第１の視界５０と第２の視界５６とを備える。視差処理ユニット２４は、画像５０及び５６のステレオペアに関する視差値を自動的に計算し、次いでこの視差値を使用して、３Ｄ画像内の被写体に関する深度値を計算することができるように構成され得る。例えば、画像発信源２２は、シーンの２つの視界を異なる遠近法で撮影することができ、次いで、決定された視差マップに基づいてシーン内の被写体に関する深度情報を計算することができる。様々な例では、画像発信源２２は、標準的な２次元カメラ、シーンの立体視界を提供する２カメラシステム、シーンの複数の視界を撮影するカメラアレイ、又は１つの視界と深度情報とを取得するカメラを備えることができる。
【００２８】
画像発信源２２は、複数の視界（即ち、第１の視界５０及び第２の視界５６）を提供することができるが、視差処理ユニット２４は、複数の視界に基づいて視差値を計算することができ、発信源機器２０は、第１の視界５０のみと３Ｄ処理情報５２（即ち、視差マップ又は視差マップから決定されたシーンの視界の各ペアに関する深度情報）とを送信することができる。例えば、画像発信源２２は、異なる角度から見られるシーンの視界の４ペアを作ることが意図された８カメラアレイを備えることができる。発信源機器２０は、各ペアに関する視差情報又は深度情報を計算し、各ペアの１つの画像のみと、ペアに関する視差情報又は深度情報とを宛先機器４０に送信することができる。従って、発信源機器２０は８つの視界を送信するのではなく、４つの視界と、４つの視界の各々に関する深度／視差情報とを、この例では符号化画像データ５４の形態で送信することができる。幾つかの例では、視差処理ユニット２４は、ユーザから、又は別の外部機器から、画像に関する視差情報を受信することができる。
【００２９】
視差処理ユニット２４は、第１の視界５０と３Ｄ処理情報５２とをエンコーダ２６に渡す。３Ｄ処理情報５２は、画像５０及び５６のステレオペアに関する視差マップを備えることができる。第１の視界５０がデジタル静止ピクチャであるとき、エンコーダ２６は、例えばＪｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＪＰＥＧ）画像として第１の視界５０を符号化するように構成され得る。第１の視界５０がビデオデータのフレームであるとき、エンコーダ２６は、例えば、Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＭＰＥＧ）、ＭＰＥＧ−２、国際電気通信連合（ＩＴＵ）Ｈ．２６３、ＩＴＵ−Ｔ  Ｈ．２６４／ＭＰＥＧ−４、Ｈ．２６４  Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＡＶＣ）、ＩＴＵ−Ｔ  Ｈ．２６５、又は他のビデオ符号化規格などのビデオ符号化規格に従って第１の視界５０を符号化するように構成され得る。エンコーダ２６は、符号化画像データ５４内に、第１の視界５０に関する符号化画像とともに３Ｄ処理情報５２を含めることができる。エンコーダ２６は、符号化画像データ５４を送信機２８に渡す。
【００３０】
幾つかの例では、深度マップが推定され得る。２つ以上の視界が提示されるとき、ステレオマッチングを使用して、２つ以上の視界が利用可能なときの深度マップを推定することができる。しかしながら、２Ｄ３Ｄ変換では、深度を推定することは一層難しいことがある。とはいえ、様々な方法によって推定される深度マップが、深度／画像ベースレンダリング（ＤＩＢＲ）に基づく３Ｄレンダリングに使用され得る。
【００３１】
例えば、ＩＴＵ−Ｔ  Ｈ．２６４／ＭＰＥＧ−４（ＡＶＣ）規格は、Ｊｏｉｎｔ  Ｖｉｄｅｏ  Ｔｅａｍ（ＪＶＴ）として知られる共同パートナーシップの成果として、ＩＳＯ／ＩＥＣ  Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＭＰＥＧ）とともにＩＴＵ−Ｔ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＶＣＥＧ）によって策定された。幾つかの態様では、本開示で説明する技法は、Ｈ．２６４規格に概して準拠する機器に適用され得る。Ｈ．２６４規格は、ＩＴＵ−Ｔ  Ｓｔｕｄｙ  Ｇｒｏｕｐによる２００５年３月付のＩＴＵ−Ｔ勧告Ｈ．２６４「Advanced Video Coding for generic audiovisual services」に記載されており、本明細書ではＨ．２６４規格又はＨ．２６４仕様、あるいはＨ．２６４／ＡＶＣ規格又は仕様と呼ぶことがある。Ｊｏｉｎｔ  Ｖｉｄｅｏ  Ｔｅａｍ（ＪＶＴ）はＨ．２６４／ＭＰＥＧ−４  ＡＶＣへの拡張に取り組み続けている。
【００３２】
視差処理ユニット２４は、視差マップの形態で３Ｄ処理情報５２を生成することができる。エンコーダ２６は、符号化画像データ５４としてビットストリームで送信される３Ｄコンテンツの一部として視差マップを符号化するように構成され得る。このプロセスは、１つの撮影された視界に関する１つの視差マップ、又は幾つかの送信された視界に関する視差マップを作ることができる。エンコーダ２６は、１つ以上の視界と視差マップとを受信し、複数の視界をジョイント符号化することができるＨ．２６４／ＡＶＣ、ＭＶＣ、又は深度及びテクスチャをジョイント符号化することができるスケーラブルビデオ符号化（ＳＶＣ）のようなビデオ符号化規格を用いて、それらの視界と視差マップとを符号化することができる。
【００３３】
第１の視界５０がビデオデータのフレームに対応するとき、エンコーダ２６は第１の視界５０を、イントラ予測モード又はインター予測モードで符号化することができる。一例として、ＩＴＵ−Ｔ  Ｈ．２６４規格は、ルーマ成分については１６×１６、８×８、又は４×４、及びクロマ成分については８×８など、様々なブロックサイズのイントラ予測をサポートし、ならびにルーマ成分については１６×１６、１６×８、８×１６、８×８、８×４、４×８及び４×４、及びクロマ成分については対応するスケーリングされたサイズなど、様々なブロックサイズのインター予測をサポートする。本開示では、「Ｎ×（x）Ｎ」及び「Ｎ×（by）Ｎ」は、垂直寸法及び水平寸法に関するブロックの画素寸法、例えば、１６×（x）１６画素又は１６×（by）１６画素を指すために互換的に使用され得る。一般に、１６×１６ブロックは、垂直方向に１６画素を有し、水平方向に１６画素を有する。同様に、Ｎ×Ｎブロックは、一般に、垂直方向にＮ画素を有し、水平方向にＮ画素を有し、Ｎは、１６よりも大きいことがある正の整数値を表す。ブロック中の画素は行及び列に構成され得る。ブロックはＮ×Ｍであってもよく、Ｎ及びＭは必ずしも等しいとは限らない整数である。
【００３４】
１６×１６よりも小さいブロックサイズは１６×１６マクロブロックのパーティションと呼ばれることがある。同様に、Ｎ×Ｎブロックについては、Ｎ×Ｎよりも小さいブロックサイズはＮ×Ｎブロックのパーティションと呼ばれることがある。ビデオブロックは、画素領域中の画素データのブロックを備え得、又は、例えば、コード化ビデオブロックと予測ビデオブロックとの画素差分を表す残差ビデオブロックデータへの離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、又は概念的に同様の変換などの変換の適用後の、変換領域中の変換係数のブロックを備え得る。場合によっては、ビデオブロックは、変換領域中の量子化変換係数のブロックを備え得る。
【００３５】
ビデオブロックは、小さいほどより良い解像度が得られ、高い詳細レベルを含むビデオフレームの位置決めに使用することができる。一般に、マクロブロック及び様々なパーティションはサブブロックと呼ばれることがあり、ビデオブロックであると見なされ得る。さらに、スライスは、マクロブロック及び／又はサブブロックなど、複数のビデオブロックであると見なされ得る。各スライスはビデオフレームの単独で復号可能なユニットとすることができる。代替的に、フレーム自体を復号可能なユニットとすることができるか、又はフレームの他の部分を復号可能なユニットとして定義することができる。「コード化ユニット」又は「符号化ユニット」という用語は、フレーム全体、フレームのスライス、シーケンス又はスーパーフレームとも呼ばれるピクチャグループ（ＧＯＰ）など、ビデオフレームの単独で復号可能な任意のユニット、又は適用可能な符号化技法に従って定義される別の単独で復号可能なユニットを指すことがある。
【００３６】
概して、マクロブロック及び様々なサブブロック又はパーティションは全てビデオブロックであると考えられ得る。さらに、スライスは、マクロブロック及び／又はサブブロック又はパーティションなど、一連のビデオブロックであると考えられ得る。概して、マクロブロックは、１６×１６の画素エリアを定義するクロミナンス値と輝度値とのセットを指し得る。輝度ブロックは、１６×１６の値セットを備え得るが、８×８ブロック、４×４ブロック、８×４ブロック、４×８ブロック又は他のサイズなど、より小さいビデオブロックにさらに区分され得る。２つの異なるクロミナンスブロックは、マクロブロックの色を定義し得、それぞれ１６×１６の画素エリアに関連するカラー値の８×８サブサンプルブロックを備え得る。マクロブロックは、マクロブロックに適用される符号化モード及び／又は符号化技法を定義するためのシンタックス情報を含み得る。
【００３７】
マクロブロック又は他のビデオブロックは、スライス、フレーム又は他の独立したユニットなど、復号可能なユニットにグループ化され得る。各スライスはビデオフレームの単独で復号可能なユニットとすることができる。代替的に、フレーム自体を復号可能なユニットとすることができるか、又はフレームの他の部分を復号可能なユニットとして定義することができる。
【００３８】
上記のように、画像発信源２２は視差処理ユニット２４に対し、３Ｄ処理情報５２を生成する目的で、同じシーンの２つの視界を提供することができる。そのような例では、エンコーダ２６は、３Ｄ処理情報５６とともに、視界のうちの１つのみを符号化することができる。一般に、発信源機器２０は、３Ｄ処理情報５２とともに第１の画像５０を宛先機器４０のような宛先機器に送るように構成され得る。視差マップ又は深度マップとともに１つの画像のみを送ることによって、さもなければ３Ｄ画像を作るためにシーンの２つの符号化視界を送ることから生じ得る帯域幅消費を減らすこと、及び／又は記憶スペースの使用量を減らすことができる。
【００３９】
送信機２８は宛先機器４０の受信機４８に対し、符号化画像データ５４を含むビットストリームを送ることができる。例えば、送信機２８は、トランスポートレベルカプセル化技法、例えばＭＰＥＧ−２システム技法を使用して、符号化画像データ５４をカプセル化することができる。送信機２８は、例えば、ネットワークインターフェース、ワイヤレスネットワークインターフェース、無線周波数送信機、送信機／受信機（トランシーバ）、又は他の送信ユニットを備えることができる。他の例では、発信源機器２０は、符号化画像データ５４を物理媒体、例えば光ストレージ媒体、例えばコンパクトディスク、デジタルビデオディスク、ブルーレイ（登録商標）ディスク、フラッシュメモリ、磁気媒体、又は他の記憶媒体などに記憶するように構成され得る。そのような例では、記憶媒体は、宛先機器４０の位置に物理的に移送され、データを取り出すために適切なインターフェースユニットによって読み取られ得る。幾つかの例では、ビットストリーム５４は、送信機２８によって送信される前に、変調器／復調器（ＭＯＤＥＭ）によって変調され得る。
【００４０】
受信機４８は、符号化画像データ５４を受信してカプセル化解除した後、幾つかの例では、符号化画像データ５４をデコーダ４６に（又は幾つかの例では、ビットストリームを復調するＭＯＤＥＭに）提供することができる。デコーダ４６は、符号化画像データ５４を復号して、受信したビットストリームから第１の視界５０と３Ｄ処理情報５２とを抽出する。例えば、デコーダ４６は、３Ｄ処理情報５２から第１の視界５０と第１の視界５０に関する視差マップとを再現することができる。視差マップの復号後、視界合成アルゴリズムは、送信されていない他の視界のテクスチャを生成することができる。デコーダ４６はまた、第１の視界５０と３Ｄ処理情報５２とを視界合成ユニット４４に送ることができる。視界合成ユニット４４は、第１の視界５０及び３Ｄ処理情報５２に基づいて、第２の視界５６を再現する。
【００４１】
一般に、人間視覚系（ＨＶＳ）は、被写体に対する収束の角度に基づいて、深度を知覚する。視聴者に比較的近い所にある被写体は、視聴者から比較的離れた所にある被写体よりも大きい角度で視聴者の目が被写体に集中することから、視聴者に近い所にあると知覚される。ピクチャやビデオなどのマルチメディアにおける３次元をシミュレートするために、２つの画像が視聴者に表示され、視聴者の目の各々に１つの画像が表示される。画像内の同じ空間位置に位置する被写体は一般に、画像が表示されているスクリーンと同じ深度にあるものとして知覚される。
【００４２】
深度の錯覚を作るために、被写体が、水平軸に沿って画像の各々における若干異なった位置に示され得る。２つの画像における被写体の位置間の差は、視差と呼ばれる。一般に、スクリーンに対して視聴者に近い所に被写体を現すために、負の視差値を使用することができ、スクリーンに対してユーザから離れた所に被写体を現すために、正の視差値を使用することができる。幾つかの例では、正又は負の視差を有する画素が、焦点からの正又は負の深度の効果をさらにもたらす目的で、先鋭度又はぼけ度を上昇又は低下させるために解像度を上昇又は低下させて表示され得る。
【００４３】
視界合成は、任意の視界アングルによる視界を生成するために高密度にサンプリングされた視界を使用するサンプリング問題として見なされることがある。しかしながら、実際的適用では、高密度にサンプリングされた視界によって必要とされる記憶帯域幅又は送信帯域幅は、大きくなり得る。従って、低密度にサンプリングされた視界及びそれらの深度マップに基づく視界合成に関する研究が行われている。詳細は異なるが、低密度にサンプリングされた視界に基づくそれらのアルゴリズムは、概ね３Ｄワーピングに基づいている。３Ｄワーピングでは、深度及びカメラモデルを仮定すれば、参照視界の画素は、最初に、２Ｄカメラ座標から世界座標における点Ｐに戻って射影され得る。次いで、その点Ｐは、宛先視界（生成すべき仮想視界）に射影され得る。世界座標における同じ被写体の異なる射影に対応する２つの画素は、同じ色強度を有し得る。
【００４４】
視界合成ユニット４４は、画像の被写体（例えば、画素、ブロック、画素のグループ、又はブロックのグループ）に関する視差値を、被写体に関する深度値に基づいて計算するように構成可能であり、又は符号化画像データ５４内に符号化された視差値を受信することができる。視界合成ユニット４４は、視差値を使用して第１の視界５０から第２の視界５６を作ることができ、これにより、視聴者が一方の目で第１の視界５０、他方の目で第２の視界５６を見るときに３次元効果がもたらされる。視界合成ユニット４４は、第１視界５０と第２の視界５６とを、ユーザへの表示のために画像表示器４２に渡すことができる。
【００４５】
画像表示器４２は、立体表示器又は裸眼立体表示器を備えることができる。一般に立体表示器は、１つの画像を一方の目に、第２の画像を他方の目に向ける、ゴーグル又は眼鏡のような頭部装着型ユニットを視聴者が着用している間に、２つの画像を表示することによって、３次元をシミュレートする。幾つかの例では、各画像は、例えば偏光眼鏡又はカラーフィルタリング眼鏡を使用した場合に、同時に表示される。幾つかの例では、画像は迅速に交替され、眼鏡又はゴーグルは表示器と同調してシャッターを迅速に交替して、対応する目のみに適正な画像を示す。裸眼立体表示器は、眼鏡を使用せず、代わりに、適正な画像を視聴者の対応する目に向けることができる。例えば、裸眼立体表示器は、視聴者の目がどこに位置するかを判断するためのカメラと、視聴者の目に画像を向けるための機械的手段及び／又は電子的手段とを装備することができる。
【００４６】
視界合成ユニット４４は、視聴者との関係でスクリーンの背後、スクリーン、及びスクリーンの前に関する深度値で構成され得る。視界合成ユニット４４は、ビットストリーム５４の画像データ内に表される被写体の深度を視差値にマッピングする機能で構成され得る。従って、視界合成ユニット４４は、かかる機能のうちの１つを実行して、被写体に関する視差値を計算することができる。３Ｄ処理情報５２に基づいて第１の視界５０の被写体に関する視差値を計算した後、視界合成ユニット４４は、第１の視界５０及び視差値から第２の視界５６を作ることができる。
【００４７】
視界合成ユニット４４は、スクリーンの前又は背後に最大深度で被写体を表示するために最大視差値で構成され得る。このようにして、視界合成ユニット４４は、ゼロの視差値から最大の正及び負の視差値までの視差範囲で構成され得る。視聴者は、構成を調節して、宛先機器４４によって被写体が表示されるスクリーンの前又は背後の最大深度を変更することができる。例えば、宛先機器４０は、視聴者が操作できる遠隔制御機器又は他の制御ユニットと通信していることがある。遠隔制御機器は、被写体を表示するスクリーンの前の最大深度とスクリーンの背後の最大深度とを視聴者が制御できるようにするユーザインターフェースを備えることができる。このようにして視聴者は、視聴経験を改善するために、画像表示器４２に関する構成パラメータを調節することが可能になり得る。
【００４８】
視界合成ユニット４４は、スクリーンの前又は背後に表示される被写体に関する最大視差値で構成されることによって、比較的単純な計算を使用して３Ｄ処理情報５２に基づいて視差値を計算することが可能になり得る。例えば、視界合成ユニット４４は、視差値に深度値をマッピングする機能で構成され得る。機能は、深度と対応する視差範囲内の１つの視差値との間の線形関係を備えることができ、それにより、収束深度間隔内の深度値を有する画素が、ゼロの視差値にマッピングされる一方、スクリーンの前の最大深度にある被写体が、最小の（負の）視差値にマッピングされ、結果的にスクリーンの前にあるものとして示され、また、最大深度にあり、結果的にスクリーンの背後にあるものとして示される被写体が、スクリーンの背後に関する最大の（正の）視差値にマッピングされる。
【００４９】
現実世界座標に関する一例では、深度範囲は、例えば［２００，１０００］であってよく、収束深度距離は、例えばミリメートルで測定したときに、例えば４００前後であり得る。この場合、スクリーンの前の最大深度は２００に対応し、スクリーンの背後の最大深度は１０００であり、収束深度間隔は例えば［３９５，４０５］であり得る。しかしながら、現実世界座標系における深度値は、利用できないことがあり、又は例えば８ビット値（０〜２５５の範囲）であり得るより小さいダイナミックレンジに量子化され得る。幾つかの例では、値が０〜２５５であるそのような量子化深度値は、深度マップが記憶又は送信される場合、若しくは深度マップが推定される場合のシナリオで使用され得る。一般的な深度／画像ベースレンダリング（ＤＩＢＲ）プロセスは、視差が計算される前に、低ダイナミックレンジ量子化深度マップを現実世界深度マップ内のマップに変換することを含むことができる。幾つかの技法では、より小さい量子化深度値が、現実世界座標内のより大きい深度値に対応することに留意されたい。しかしながら、本開示の技法では、この変換をする必要がないこともあり、従って、現実世界座標内の深度範囲又は量子化深度値から現実世界座標内の深度値への変換機能を知る必要がないこともある。例示的な視差範囲［−ｄｉｓn，ｄｉｓp］を考えると、量子化深度範囲がｄmin（０であり得る）〜ｄmax（２５５であり得る）の値を含むとき、深度値ｄminはｄｉｓpにマッピングされ、深度値ｄmax（２５５であり得る）は−ｄｉｓnにマッピングされる。この例ではｄｉｓnが正であることに留意されたい。収束深度マップ間隔が［ｄ−δ，ｄ＋δ］であると仮定すると、この間隔内の深度値は視差０にマッピングされる。一般に、本開示において、「深度値」という句は、低ダイナミックレンジ［ｄmin，ｄmax］における値を指す。δ値は、許容値と呼ばれることもあり、各方向で同じである必要はない。即ち、ｄは、第１の許容値δ1、及び第２の潜在的に異なる許容値δ2によって変更されてよく、それにより［ｄ−δ2，ｄ＋δ1］は、視差値ゼロに全てマッピングされ得る深度値の範囲を表すことができる。
【００５０】
図２は、視差処理ユニット２４の構成要素の例示的な構成を示すブロック図である。視差処理ユニット２４は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せで実装できる。ソフトウェア及び／又はファームウェアで実装される場合、宛先機器２０は、ソフトウェアを実行するためのハードウェア、例えば１つ以上のプロセッサ又は処理ユニットなどを含むことができる。視差処理ユニット２４の構成要素のいずれか又は全ては、機能的に統合され得る。
【００５１】
図２の例では、視差処理ユニット２４は、画像発信源からの第１の視界５０と第２の視界５６とを備える画像５０及び５６のステレオペアを受信するための画像入力インターフェース６２を含む。視差計算ユニット６６は、第１の視界５０と第２の視界５６とからなるステレオ画像ペアの画素に関する視差値を計算することができ、視差値を視差マップとして記憶することができる。視差マップは、視差深度変換ユニット６８によって深度マップに随意に変換され得る。出力インターフェース７０は、ステレオペア５０及び５６の第１の視界５０と、視差マップ又は深度マップのいずれかを備える３Ｄ処理情報５２とを、エンコーダ２６に出力するように構成され得る。
【００５２】
図１及び図２の例は総じて、発信源機器２０における視差処理ユニット２４によって実施される本開示の技法について論じているが、視差処理ユニット２４に機能的に等しい視差処理ユニットが、宛先機器４０に、又は発信源機器２０及び宛先機器４０とは別個の第三者の機器に位置してもよい。図１の代替構成の例では、発信源機器２０が、第１の視界５０と第２の視界５６とを含む符号化画像データ５４を宛先機器４０に送信することがあり、視差処理ユニット２４に機能的に等しい視差処理ユニットが、宛先機器４０において３Ｄ処理情報５２を計算することがある。宛先機器４０は、画像改良又はユーザ選好の調節などの目的で、３Ｄ処理情報を使用することができる。
【００５３】
図３Ａ〜図３Ｃは、画素の深度に基づく正、ゼロ及び負の視差値の例を示す概念図である。一般に、３次元効果をもたらすために、２つの画像が例えばスクリーン上に示され、スクリーンの前又は背後のいずれかに表示される被写体の画素は、それぞれ正又は負の視差値を有し、一方でスクリーンの深度で表示される被写体は、ゼロの視差値を有する。幾つかの例では、例えば、ユーザが頭部装着型ゴーグルを着用しているとき、「スクリーン」の深度は代わりに共通深度ｄに対応し得る。
【００５４】
図３Ａ〜図３Ｃの例は、スクリーン８２が同時に又は続けざまに、左画像８４と右画像８６とを表示する例を示している。図３Ａは、スクリーン８２の背後に（又は内部に）生じるものとして画素８０Ａを示すための例を示している。図３Ａの例では、スクリーン８２は、左画像画素８８Ａと右画像画素９０Ａとを表示し、この場合に左画像画素８８Ａ及び右画像画素９０Ａは、総じて、同じ被写体に対応しており、従って、類似又は同一の画素値を有し得る。幾つかの例では、３次元視聴経験をさらに高めるために、例えば、若干異なる角度から被写体を見るときに生じ得る若干の照度差又は色差を考慮して、左画像画素８８Ａ及び右画像画素９０Ａに関する輝度値及びクロミナンス値が若干異なることがある。
【００５５】
この例では、スクリーン８２によって表示されるときに、左画像画素８８Ａの位置は、右画像画素９０Ａの左側に生じる。即ち、左画像画素８８Ａと右画像画素９０Ａとの間に正の視差がある。視差値がｄであると仮定し、左画像画素８８Ａに対応する左画像画素９２Ａが、左画像８４内の水平位置ｘに生じると仮定した場合、右画像画素９０Ａに対応する右画像画素９４Ａが、右画像８６内の水平位置ｘ＋ｄに生じる。この正の視差により、視聴者の目は、かかるユーザの左目が左画像画素８８Ａに焦点を当て、かかるユーザの右目が右画像画素９０Ａに焦点を当てたとき、スクリーン８２の比較的背後にある点に集中し、画素８０Ａがスクリーン８２の背後に現れているような錯覚が生じる。
【００５６】
左画像８４は、図１及び図２に示した第１の画像５０に対応し得る。他の例では、右画像８６が第１の画像５０に対応し得る。図３Ａの例において正の視差値を計算するために、視界合成ユニット４４は、左画像８４と、スクリーン８２の背後にある左画像画素９２Ａの深度位置を示す、左画像画素９２Ａに関する深度値とを受信することができる。視界合成ユニット４４は、左画像８４をコピーして右画像８６を形成し、右画像画素９４Ａの値を変更して、左画像画素９２Ａの値と合致又は類似するようにすることができる。即ち、右画像画素９４Ａは、左画像画素９２Ａと同一又は類似の輝度値及び／又はクロミナンス値を有し得る。従って、スクリーン８２は、画像表示器４２に対応してよく、左画像画素８８Ａと右画像画素９０Ａとを実質的に同時に、又は続けざまに表示して、画素８０Ａがスクリーン８２の背後に生じる効果をもたらすことができる。
【００５７】
図３Ｂは、スクリーン８２の深度で画素８０Ｂを示すための例を示している。図３Ｂの例では、スクリーン８２は、左画像画素８８Ｂと右画像画素９０Ｂとを同じ位置に表示する。即ち、この例では左画像画素８８Ｂと右画像画素９０Ｂとの間にゼロの視差がある。左画像８４内の（スクリーン８２によって表示される左画像画素８８Ｂに対応する）左画像画素９２Ｂが水平位置ｘに生じると仮定すると、（スクリーン８２によって表示される右画像画素９０Ｂに対応する）右画像画素９４Ｂも、右画像８６内の水平位置ｘに生じる。
【００５８】
視界合成ユニット４４は、左画像画素９２Ｂに関する深度値が、スクリーン８２の深度に等しい深度ｄにあるか、スクリーン８２の深度からの小さい距離δ内にあると判断することができる。従って、視界合成ユニット４４は左画像画素９２Ｂに、ゼロの視差値を割り当てることができる。左画像８４及び視差値から右画像８６を構築するとき、視界合成ユニット４４は、右画像画素９４Ｂの値を、左画像画素９２Ｂと同じままにしてよい。
【００５９】
図３Ｃは、スクリーン８２の前にある画素８０Ｃを示すための例を示している。図３Ｃの例では、スクリーン８２は、左画像画素８８Ｃを、右画像画素９０Ｃの右側に表示する。即ち、この例では左画像画素８８Ｃと右画像画素９０Ｃとの間に負の視差がある。従って、ユーザの目は、スクリーン８２の前にある位置に集中することができ、画素８０Ｃがスクリーン８２の前に現れているような錯覚が生じ得る。
【００６０】
視界合成ユニット４４は、左画像画素９２Ｃに関する深度値が、スクリーン８２の前である深度にあると判断することができる。従って、視界合成ユニット４４は、左画像画素９２Ｃの深度を負の視差値−ｄにマッピングする機能を実行することができる。次いで、視界合成ユニット４４は、左画像８４及び負の視差値に基づいて、右画像８６を構築することができる。例えば、右画像８６を構築するとき、左画像画素９２Ｃが水平位置ｘを有すると仮定すると、視界合成ユニット４４は、右画像８６内の水平位置ｘ−ｄにおける画素（即ち、右画像画素９４Ｃ）の値を、左画像画素９２Ｃの値に変更することができる。
【００６１】
本開示の態様は、ユーザがユーザ選好を調節して、ユーザ向けにカスタマイズされた３Ｄビデオを作るのを可能にすることを含む。ユーザインターフェースを通じて、ユーザはユーザ選好を示す値を入力することができる。ユーザ入力値に基づいて、ユーザ選好データを生成することができ、ユーザ選好データを使用して、効果を定めるパラメータを変更することができる。ユーザが制御可能な選好タイプの例には、ポップアウト効果（飛び出し効果）の規模を選択することがある。ポップアウト効果の規模は、総深度範囲に対する収束平面の位置に関係する。（深度値が視聴者の位置に向かって増加すると仮定した場合）収束平面が最小深度に近くなるほど、知覚され得るポップアウト効果が大きくなる。ユーザ選好の別の例は、ベースラインを選択することである。ベースラインは、（ピンホールカメラモデルを想定した場合）２つのカメラの中心間の間隔を指す。ベースラインは、人間の目の間隔に関係し、これには個人差がある（例えば、子供の場合は間隔が小さい）。
【００６２】
ユーザ選好の別の例は、深度範囲を選択することであり、これは表示される最大の正及び負のパララックスに関係する。ユーザ選好の別の例は、深度分布モードを選択することである。ユーザによって選択される最大深度範囲を想定すると、シーンにおける現実の深度範囲の調節は、線形的に、又は対数、指数関数、若しくは切詰線形、又は任意の他の関数などの異なる分布に従ってマッピングされ得る。深度範囲分布だけでなく空間深度分布も変更して、例えば、平均凹面深度分布、又は凸面分布、又は任意の他の空間分布関数を作ることができる。
【００６３】
ユーザ選好の別の例は、深度不連続性の先鋭度を選択することである。深度マップ又は視差マップは、ユーザ選好に従って深度不連続性を平滑化又は先鋭化できるような方法で処理され得る。ユーザ選好の別の例は、目の優位性を選択することである。ユーザの利き目に応じて、合成画像が元の画像の左側又は右側にレンダリングされ得る。多くの場合、利き目のために元の画像を保持するのが望ましい。
【００６４】
ユーザ選好を調節するのに使用される制御機能の細分性は、値の尺度（scale）に基づき得る。所与のパラメータに関する最低値から最大値までの範囲で、ユーザは所望の値を選択することができる。例えば、ユーザは１から１０までの範囲で、１から２０までの範囲で、又は任意の他の望ましい尺度で、値を入力することができ、この場合に値は、ユーザが望むポップアウト効果の規模を示しており、１は、ポップアウト効果が小さいことを示し、数字が大きくなるにつれて、ポップアウト効果が大きくなる。ユーザ入力値に基づき、ポップアウト効果パラメータが変更され得る。例えば、利き目を指定する場合、ユーザは左又は右のいずれかを指定することができる。ユーザが右を指定した場合、利き目パラメータを右に設定することができ、又はユーザが左を指定した場合、利き目パラメータを左に設定することができる。利き目パラメータの設定に基づいて、視差処理情報とともに第１の視界又は第２の視界のいずれかを使用して、３Ｄビデオをレンダリングする。
【００６５】
選択はモード選択に基づいてもよく、この場合に所与の数の調節可能なパラメータ及び特定の値が特定のモードに割り当てられる。例えば、モード１は、５つのパラメータからなるグループに関するユーザ入力値を指定することがあり、モード２は、それらの５つのパラメータに関する異なる値を指定する。異なるモードを、以前に入力されたユーザ選好データに基づいて保持すること、又はパラメータに関する一般に望まれる値、若しくは互いに連動して使用したときに高品質ビデオをもたらすと考えられるパラメータに関する値に基づいて事前プログラムすること、のいずれかが可能である。ユーザ調節をマルチ視界表示器に適用することもできる。この特定の場合に、各視界を別個に調節することができ、それはマルチユーザ視聴条件において特に有益である。そのような場合、各ユーザはその特定の視界の視聴条件を制御することができる。
【００６６】
図４は、本開示による、知覚される３Ｄ効果をユーザ選好データに基づいて調節するように構成された例示的なシステムを示している。以下でより詳細に説明するように、図４に示す様々な構成要素は、図１の発信源機器２０及び宛先機器４０にわたって分散されてよく、又は図１に示されていない外部機器にあってもよい。図４に示す例示的なシステムにおいて、機器４２０の構成要素は、図１の発信源機器２０のような機器内にあってよく、機器４４０の構成要素は、図１の宛先機器４０のような機器内にあってよい。図４のシステムは、３Ｄビデオ制御モジュール４２２に３Ｄコンテンツ（特にステレオコンテンツ）を提供する３Ｄコンテンツソース４２１を含む。このコンテンツは、ファイルとしてローカル保存されること、機器の外部にあるソースからストリームされること、又は機器に埋め込まれたか、さもなければ機器に接続されたマルチ視界画像／ビデオカメラよって提供されることがある。
【００６７】
図４は、ユーザの入力を獲得して処理するように構成された３Ｄユーザインターフェースモジュール４２３をさらに含む。獲得は、様々なユーザ入力媒体、例えば触覚媒体、視覚媒体、又はオーディオ媒体のうちのいずれかに基づき得る。例えばユーザは、グラフィカルユーザインターフェース（ＧＵＩ）、ハードキーインターフェース、ドロップダウンメニュー、ダイヤル、又は他のインターフェースを通じて、特定の数値を指定することができる。ユーザが入力する数値は、ユーザ選好パラメータに関する値、又はユーザ選好パラメータの変更を指定することができる。グラフィカルユーザインターフェース（ＧＵＩ）、ハードキーインターフェース、ドロップダウンメニュー、ダイヤル、又は他のインターフェースを通じて、ユーザは、ユーザ選好パラメータに関する値を一定の規模だけ増やすこと、又は減らすことを指定することもできる。幾つかの例示的なシステムでは、３Ｄユーザインターフェースモジュールは、ボイスコマンドに応答する音声作動インターフェース、又は動きを検出するように構成された動き作動インターフェースであり得る。入力コマンドを処理した結果は、ユーザ選好データとして３Ｄビデオ制御モジュール４２２に通知される。ユーザ選好データに基づいて、３Ｄビデオ制御モジュール４２２は、３Ｄ視聴選好を、視聴セッションの初期化中、又はコンテンツの表示中のいずれかに調節することができる。一構成では、３Ｄビデオ制御モジュール４２２は、３Ｄユーザインターフェースモジュール４２３からのユーザ選好データをリアルタイムで処理することができる。
【００６８】
図４の例示的なシステムは、ワイヤレスチャネル４５４を介してブロック４４０の構成要素とインターフェースをとるように構成されたワイヤレスホスト４２４をさらに含む。ワイヤレスホスト４２４は、ユーザ選好データに基づいて変更された３Ｄコンテンツを３Ｄビデオ制御モジュール４２２から受信し、ＷｉＦｉ又は当技術分野で知られている任意の他のトランスポートプロトコルのようなトランスポートプロトコルに従って、変更された３Ｄコンテンツを機器４４０のワイヤレスクライアント４４１に送信する。特定の一実施形態では、ユーザ選好データを、変更された３Ｄコンテンツとともに送信し、機器４４０の３Ｄビデオ制御モジュールによって別個に処理することもできる。
【００６９】
機器４４０の３Ｄ表示器４４２は、ワイヤレスクライアント４４１を通じて３Ｄコンテンツを受信することができる。ワイヤレスクライアント４４１は、３Ｄ表示器４４２に埋め込まれ、又は３Ｄ表示器４４２の外部にあって、ＨＤＭＩ（登録商標）又は表示ポートインターフェースなどのインターフェースを通じて接続されてもよい。特定の一態様では、３Ｄビデオ制御モジュール４２２の一定の機能を３Ｄ表示器４４２に埋め込むこともできる。
【００７０】
例示的な一システムでは、機器４２０の機能は、セルラー電話、スマートフォン、ノートブックコンピュータ、タブレットコンピュータ、モバイルメディアプレーヤ、又は通信チャネルを介してピクチャ及び／又はビデオ情報を通信できる任意のワイヤレス機器内に含まれ得る。機器４４０の機能は、３Ｄ対応テレビジョン内、又は３Ｄ対応テレビジョンに接続されたセットトップボックス内のいずれかに含まれ得る。加えて、図４の例はワイヤレス通信チャネルに関して説明されているが、幾つかの構成では、通信チャネル４５４が有線通信チャネルであり得ることが企図されている。
【００７１】
図５は、図４の３Ｄビデオ制御モジュール４２２のような３Ｄビデオ制御モジュールのより詳細なバージョンを示している。但し、前述したように、３Ｄビデオ制御モジュール５２２の機能の全部又は一部のいずれかは、発信源機器、宛先機器、又は第三者の機器に分散され得る。３Ｄビデオ制御モジュール５２２は、３Ｄビデオコンテンツを３Ｄビデオコンテンツソース５１０から受信する。３Ｄビデオコンテンツは、機器メモリのようなローカル発信源から受信されること、又は外部から、例えば外部のビデオ発信源とのワイヤレス接続又は有線接続を介して受信されることがある。３Ｄコンテンツソース５１０は、３Ｄビデオコンテンツを３Ｄビデオ制御モジュール５２２に送信する前に、３Ｄビデオコンテンツの符号化又は復号のいずれかを行うためのビデオコーダ５１１を含むことができる。例示的な３Ｄコンテンツ発信源５１０は、同じシーンの複数の視界を撮影して処理するように構成されたマルチ視界カメラ処理ブロック５１２を含む。代替構成では、３Ｄコンテンツ発信源のコンテンツは、ゲームなどの特定の用途のためにコンピュータ生成されたものであり得る。一般に、３Ｄコンテンツソース５１０は、図１の画像発信源２２に関して上述した同じタイプの画像データの全てを提供することができる。
【００７２】
３Ｄビデオ制御モジュール５２２は、受信した３Ｄコンテンツに基づいて合成３Ｄ画像をレンダリングするように構成された視界合成器５３０を含む。視界合成器５３０は、ステレオセットアップにより取得された任意のペアの画像間の視差を推定して視差マップを作るように構成された視差推定モジュール５３１を含む。視差推定モジュール５３１は、上記の図１及び図２に関して説明した視差処理ユニット２４と機能的に同様であり得る。視界合成器５３０は、３Ｄユーザインターフェースモジュール５２３から受信したユーザ選好データに従って、視差推定モジュール５３１によって作られた視差マップを変更するように構成された視差後処理モジュール５３２をさらに含む。視界合成器５３０は、視差情報及びユーザ選好に基づいて３Ｄ画像をレンダリングするように構成されたレンダリングエンジン５３３をさらに含む。
【００７３】
３Ｄユーザインターフェースモジュール５２３は、３Ｄビデオ制御モジュール５２２にユーザ選好データを送ることができる。一例では、ユーザ選好データは、３Ｄコンテンツをレンダリングする際に右画像及び左画像のうちのいずれを使用するかを指定する。例えば、３Ｄユーザ選好データが左画像を指定している場合、レンダリングエンジン５３３は、３Ｄコンテンツを元の左画像及び視差マップに基づいてレンダリングすることができ、３Ｄユーザ選好データが右画像を指定している場合、レンダリングエンジン５３３は、３Ｄコンテンツを元の右画像及び視差マップに基づいてレンダリングすることができる。幾つかのタイプの位置情報を処理するにあたり右目に依存する傾向がある視聴者もいれば、左目に依存する傾向がある人々もいる。特定の人がどちらの目に最も強く依存しているか、即ち、どちらの目が利き目であるかが、３Ｄコンテンツがどのように視覚化されるかに影響を与え得る。従って、本開示の態様は、左画像及び右画像のうちどちらをレンダリングに使用するかをユーザが指定することができ、それにより左又は右のうちどちらの画像が、ユーザが選好する３Ｄコンテンツを作るかをユーザが特定できるシステムを含む。
【００７４】
別の例では、３Ｄユーザインターフェースモジュール５２３は、新しい深度範囲を含むか、現在の深度範囲の変更を含むユーザ選好データを、３Ｄビデオ制御モジュール５２２に送ることができる。深度範囲は、画像データがレンダリングされ得るスクリーンの前の最大深度とスクリーンの背後の最大深度とを指定する。第１の例では、ミリメートルで測定すると、現在の深度範囲は１２００で、スクリーンの前の最大深度が２００、スクリーンの背後の最大深度が１０００であることがあり、又は第２の例では、現在の深度範囲は１２００で、スクリーンの前の最大深度が６００、スクリーンの背後の最大深度が６００であることがある。３Ｄビデオ制御モジュール５２２は、深度範囲の変更を含むユーザ選好データを３Ｄユーザインターフェースモジュール５２３から受信したことに応答して、深度範囲を一定の規模だけ、例えば１０％縮小し得る。ユーザ選好データが、スクリーンの前又はスクリーンの背後のいずれかをより大きく縮小したいという選好を指定していない場合、深度範囲を縮小するために、３Ｄビデオ制御モジュール５２２は深度範囲を、スクリーンの前について１０％、スクリーンの背後について１０％縮小することができ、その結果、新しい総深度範囲は、第１の例では１０８０となり、スクリーンの前に１４０、スクリーンの背後に９４０が割り振られる。第２の例では、新しい総深度範囲は、同じく１０８０となるが、スクリーンの前に５４０、スクリーンの背後に５４０が割り振られる。
【００７５】
幾つかの実装形態では、ユーザは、スクリーンの前に割り振られた深度範囲の部分のみ、又はスクリーンの背後に割り振られた部分のみに対して、縮小又は拡大を指定することが可能であり得る。例えば、ユーザ選好データが、スクリーンの前に割り振られた深度範囲の部分に対して１０％縮小を指定している場合、第１の例では、新しい総深度範囲は１１８０に調節され、スクリーンの前に１８０、スクリーンの背後に１００が割り振られ、又は第２の例では、１１４０に調節され、スクリーンの前に５４０、スクリーンの背後に６００が割り振られる。スクリーンの前に割り振られた深度範囲の部分のみを変更することは、例えば、ユーザが経験するポップアウト効果の規模を調節する１つの方法であり得る。後述するように、本開示は、ユーザが経験するポップアウト効果の規模を調節するための他の技法も企図している。
【００７６】
３Ｄコンテンツの深度範囲を変更するために、視差推定モジュール５３１は、深度マップ内の各深度値を新しい深度値に線形射影して、変更された深度マップを作成する。新しい深度マップに基づいて、新しい視差マップを生成することができ、新しい視差マップに基づいて、レンダリングエンジン５３３はユーザ選好に従って３Ｄコンテンツを生成することができる。深度範囲を拡大又は縮小することで、レンダリングされた３Ｄコンテンツに対する視聴者の知覚状況を改善することができ、例えば眼精疲労の軽減により視聴者の満足感を高めることもできる。
【００７７】
別の例では、３Ｄユーザインターフェースモジュール５２３は、深度分布モードを変更するために、ユーザ選好データを３Ｄビデオ制御モジュール５２２に送ることができる。例えば、３Ｄユーザインターフェースモジュール５２３は、凹面又は凸面効果をもたらすために、不均一な新しい深度範囲又は現在の深度範囲に対する不均一な変更を含むユーザ選好データを送ることができる。例えば、画像の中心から離れている画素の深度範囲を縮小することで、凹面効果をもたらすことができ、中心から離れている画素の深度範囲を拡大することで、凸面効果をもたらすことができる。凸面又は凹面効果をもたらすために、深度範囲が上記のように変更されるが、各画素の深度範囲は異なり得る。例えば、凸面効果をもたらすために、中心画素は深度範囲が１２００であることがあり、境界画素は深度範囲が１０００である。中心と境界との間の画素は、画像の中心からの距離に応じて、深度範囲が１０００〜１２００となり得る。一方、凹面効果をもたらすために、画像の中心にある画素は、深度が１０００であることがあり、画像の境界にある画素は、深度が１２００である。
【００７８】
別の例では、３Ｄユーザインターフェースモジュール５２３は３Ｄビデオ制御モジュール５２２に、新しいベースライン又はポップアウト効果の新しい規模、若しくは現在のベースライン又はポップアウト効果の規模に対する変更のいずれかを含むユーザ選好データを送ることができる。ユーザ選好データを受信すると、視差後処理モジュール５３２は、以下の式に従って視差マップを変更することができる。
【数２】
2013540402.tif 000004
【００７９】
ここで、ｄsynthは画素に関する変更された視差値であり、ｂdはベースライン、即ち、画素の単位による２つのカメラの中心間の間隔であり、Ｚcはカメラから収束平面までの距離であり、Ｚはカメラからの画素の深度であり、ｆはカメラの焦点距離である。ポップアウト効果の規模を拡大することを示すユーザ選好データを受信したことに応じて、視差後処理モジュール５３２は、Ｚcの値を引き下げ、新しいＺc値に基づいて画素ごとに新しい視差値を決定することができる。ポップアウト効果の規模を縮小することを示すユーザ選好データを受信したことに応じて、視差後処理モジュール５３２は、Ｚcの値を引き上げ、新しいＺc値に基づいて画素ごとに新しい視差値を決定することができる。変更された視差マップに基づいて、レンダリングエンジン５３３は、ユーザの選好に従って３Ｄコンテンツをレンダリングすることができる。ポップアウト効果の規模を拡大又は縮小することで、レンダリングされた３Ｄコンテンツに対する視聴者の知覚状況を改善することができ、例えば眼精疲労の軽減により視聴者の満足感を高めることもできる
式１に基づいて、視差後処理ユニット５３２は、ベースラインを調節することもできる。ベースラインを縮小することを示すユーザ選好データを受信したことに応じて、視差後処理モジュール５３２は、ｂdの値を引き下げ、新しいｂd値に基づいて画素ごとに新しい視差値を決定することができる。ベースラインを拡大することを示すユーザ選好データを受信したことに応じて、視差後処理モジュール５３２は、ｂdの値を引き上げ、新しいｂd値に基づいて画素ごとに新しい視差値を決定することができる。変更された視差マップに基づいて、レンダリングエンジン５３３は、ユーザの選好に従って３Ｄコンテンツをレンダリングすることができる。視聴者の目の間の間隔は視聴者によって異なるので、レンダリングされた３Ｄコンテンツのベースラインに対する好みは視聴者によって異なり得る。
【００８０】
３Ｄビデオ制御モジュール５２２は、他のユーザ選好データに従って、又はワイヤレスチャネル能力に従って合成画像を変更するように構成された３Ｄ後処理ブロック５４１をさらに含む。他のユーザ選好データの例として、３Ｄユーザインターフェースモジュール５２３は３Ｄビデオ制御モジュール５２２に対し、３Ｄコンテンツの深度値に基づいて３Ｄコンテンツの様々な部分を先鋭化又は平滑化するユーザ選好データを送ることができる。３Ｄ後処理ブロック５４１は例えば、画像内の被写体遷移を識別し、被写体遷移に対応すると識別された画素において、クロマ値やルーマ値のような画素値を変更するために、ハイパスフィルタ処理のようなエッジ検出技法を使用することによって、画像又は画像の一部分を先鋭化又は平滑化することができる。例えば、幾つかの被写体遷移を強調するために、識別された被写体遷移における画素値間の差を拡大する（即ち先鋭化する）こと、又は縮小する（即ち平滑化する）ことができる。幾つかの実装形態では、３Ｄ後処理ブロック５４１は、深度に基づく先鋭化又は深度に基づく平滑化を実行することができ、この場合に画素値の変更は、画素の深度値に関係し得る。深度に基づく先鋭化及び深度に基づく平滑化がユーザによって使用されて、例えば、スクリーンの前の画像のみが先鋭化されること、又はスクリーンの背後の画像のみが平滑化されることがある。深度に基づく先鋭化及び深度に基づく平滑化は、一定の深度において先鋭化を通じて被写体を強調すること、又は一定の深度において平滑化を通じて被写体の強調を解除することをユーザに認めることによって、視聴者経験を改善することができる。
【００８１】
例えば、ワイヤレス送信用に圧縮されるときに、低ビットレートを要求するために、合成画像を平滑化する（ローパスフィルタ処理する）こと、又は合成画像の解像度を引き下げることができる。これは、ＨＶＳが画像の１つにあるエラーに対し耐性があり、特にこの画像が利き目でない目により視覚化された画像である場合はなおさらであることに基づいている。３Ｄビデオ制御モジュール５２２は、２つ以上の視界を符号化して、全ての視界の情報を含む複合画像を生成するように構成された３Ｄビデオエンコーダ５４２をさらに含む。３Ｄビデオエンコーダ５４２は、複合画像を、例えば、Ｈ．２６４／ＡＶＣ−Ａｍｅｎｄｍｅｎｔ  １：マルチ視界ビデオ符号化（ＭＶＣ）又はＨ．２６４／ＡＶＣに基づいて、全ての視界の情報を含む複合画像のために符号化することができる。複合画像は、元の視界及び後処理された合成視界の並行構成又は任意のインターリーブされた構成を使用して取得され得る。複合画像は、全ての視界に関する元の解像度を維持すること、又は任意の数の合成視界に関する解像度を引き下げることができる。
【００８２】
図６は、本開示による、知覚される３Ｄ効果をユーザ選好データに基づいて調節するように構成された例示的なシステムを示している。図６のシステムは図４のシステムに類似しているが、図４では３Ｄビデオ制御モジュール４２２が機器４２０内に完全に存在するものとして示されているのに対し、３Ｄビデオ制御モジュール４２２に相当する機能は、機器６２０内の３Ｄビデオ制御モジュール６２２Ａと機器６４０の３Ｄビデオ制御モジュール６２２Ｂとに分散されている。図６に示す例示的なシステムにおいて、機器６２０の構成要素は、図１の発信源機器２０のような機器内にあってよく、機器６４０の構成要素は、図１の宛先機器４０のような機器内にあってよい。図６のシステムは、３Ｄビデオ制御モジュール６２２Ａに３Ｄコンテンツ（特にステレオコンテンツ）を提供する３Ｄコンテンツソース６２１を含む。このコンテンツは、ファイルとしてローカル保存されること、機器の外部にあるソースからストリームされること、又は機器に埋め込まれたマルチ視界画像／ビデオカメラよって提供されることがある。
【００８３】
図６は、ユーザの入力を獲得して処理するように構成された３Ｄユーザインターフェースモジュール６２３をさらに含む。獲得は、任意の触覚手段、視覚手段又はオーディオ手段に基づき得る。入力コマンドを処理した結果は、ユーザ選好データとして３Ｄビデオ制御モジュール６２２Ａに通知される。ユーザ選好データに基づいて、３Ｄビデオ制御モジュール６２２Ａは、３Ｄ視聴選好を、視聴セッションの初期化中、又はコンテンツの表示中のいずれかに調節することができる。３Ｄビデオ制御モジュール６２２Ａは、３Ｄユーザインターフェースモジュール６２３からのユーザ選好データをリアルタイムで処理することができる。
【００８４】
図６の例示的なシステムは、ワイヤレスチャネル６５４を介して機器６４０の構成要素とインターフェースをとるように構成されたワイヤレスホスト６２４をさらに含む。ワイヤレスホスト６２４は、３Ｄコンテンツを３Ｄビデオ制御モジュール６２２Ａから受信し、ＷｉＦｉ又は別のトランスポートプロトコルのようなトランスポートプロトコルに従って、３Ｄコンテンツを機器６４０のワイヤレスクライアント６４１に送信する。特定の一実施形態では、ユーザ選好データを、３Ｄコンテンツとともに送信し、機器６４０の３Ｄビデオ制御モジュールによって別個に処理することもできる。
【００８５】
機器６４０の３Ｄ表示器６４２は、ワイヤレスクライアント６４１を通じて３Ｄコンテンツを受信することができる。ワイヤレスクライアント６４１は、３Ｄ表示器６４２に埋め込まれ、又は３Ｄ表示器６４２の外部にあって、ＨＤＭＩ又は表示ポートインターフェースなどのインターフェースを通じて接続されてもよい。特定の一態様では、３Ｄビデオ制御モジュール６２２Ｂの一定の機能を３Ｄ表示器６４２に埋め込むこともできる。
【００８６】
図６の例では、３Ｄビデオ制御モジュール６２２Ａ及び６２２Ｂの機能が機器６２０と６４０とに分割されており、ユーザインターフェースモジュール６２３から受信されたユーザ選好データが、機器６２０を含む機器から機器６４０を含む機器に送信され得る。そのような構成では、機器６２０を含む機器は、ユーザ選好データに基づいて表示器の３Ｄ効果を調節するための遠隔制御装置として動作する。送信チャネルは、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷｉ−Ｆｉのような利用可能なワイヤレス無線のうちのいずれかであり得る。ユーザ選好データの転送は、３Ｄコンテンツに使用される送信チャネルによる帯域内、又は別個の帯域上であり得る。３Ｄユーザ選好データは、３Ｄコンテンツが表示器にストリームされる前、又は３Ｄコンテンツがストリームされている間にセットアップされ得る。
【００８７】
図６の例では、３Ｄビデオ制御モジュール６２２Ａは、図５に関して説明した視差推定モジュール５３１及び３Ｄビデオエンコーダ５４２に類似した視差推定モジュールと３Ｄビデオエンコーダとを含むことができる。３Ｄビデオ制御モジュール６２２Ａのビデオエンコーダは、例えば、元の画像と視差マップとを、既知の符号化規格に従って符号化し、送信することができる。３Ｄビデオ制御モジュール６２２Ａのビデオエンコーダは、ユーザインターフェースモジュール６２３から受信したユーザ選好データを符号化し、送信することもできる。
【００８８】
図６の例では、３Ｄビデオ制御モジュール６２２Ｂは、図５に関して説明した視差後処理モジュール５３２、レンダリングエンジン５３３、及び３Ｄ後処理ブロック５４１に類似した視差後処理モジュールと、レンダリングエンジンと、３Ｄ後処理ブロックとを含むことができる。元の画像、視差マップ、及びユーザ選好データに基づいて、視差後処理モジュール、レンダリングエンジン、及び３Ｄ後処理ブロックは、図１、図２、及び図５に関して上述したのと同じ方法で、３Ｄ画像を生成することができる。図５に関して上述したユーザ選好データ及びユーザ選好データに基づくビデオレンダリングの調節は、図６のシステムによっても実行できる。例えば、図５の３Ｄビデオ制御モジュール５２２に関して上述した利き目選択、深度範囲、深度分布モード、ベースライン、ポップアウト効果の規模、及び先鋭度の変更は、図６の３Ｄビデオ制御モジュール６２２Ｂによっても実行できる。
【００８９】
例示的な一システムでは、機器６２０の機能は、セルラー電話、スマートフォン、ノートブックコンピュータ、タブレットコンピュータ、又は通信チャネルを介してピクチャ及び／又はビデオ情報を通信できる任意のワイヤレス機器内に含まれ得る。機器６４０の機能は、３Ｄ対応テレビジョン内、又は３Ｄ対応テレビジョンに接続されたセットトップボックス内のいずれかに含まれ得る。加えて、図６の例はワイヤレス通信チャネルに関して説明されているが、有線通信チャネルが通信チャネル６５４に使用されることもあることが企図されている。
【００９０】
一例では、ＲＴＳＰネットワーク制御プロトコルを使用し、３Ｄユーザ選好データは、いつでも更新され得るＳＥＴＵＰ／ＳＥＴ−ＰＡＲＡＭＥＴＥＲ方法による要求の一部であり得る。別の例では、ＳＯＡＰ（Simple Access Object Protocol）とＨＴＴＰアプリケーションプロトコルとを使用し、３Ｄユーザ選好はアクションコマンドによって更新されることがあり、アクションコマンドは、機器記述で説明されるサービスの引数（argument）を更新し、この場合に機器は、３Ｄビデオ制御モジュール６２２Ｂの機能を備えた３Ｄ表示器である。
【００９１】
図７は、本開示の態様を具現する方法の流れ図を示している。本方法は、図１〜図６を参照しながら説明する。３Ｄビデオ制御モジュール４２２、５２２、又は６２２Ａのような３Ｄビデオ制御モジュールにおいて、３Ｄ画像コンテンツの提示のためのユーザ選好データが受信される（７１０）。視差推定モジュール５３１のような視差推定モジュール又は視差処理ユニット２４において、３Ｄ画像コンテンツに関連する視差値に基づく視差マップが生成され、記憶され、更新され得る（７２０）。視差後処理モジュール５３２のような視差後処理モジュールが、ユーザ選好データに基づいて視差マップを変更する（７３０）。３Ｄレンダリングエンジン５３３のようなレンダリングエンジンが、変更された視差マップに基づいて３Ｄビデオを生成する（７４０）。
【００９２】
図８は、本開示による、知覚される３Ｄ効果をユーザ選好データに基づいて調節するように構成された例示的なシステムを示している。図８のシステムは、３Ｄビデオ制御モジュール８２２に３Ｄコンテンツ（特にステレオコンテンツ）を提供する３Ｄコンテンツソース８１０を含む。この３Ｄコンテンツは、ファイルとしてローカル保存されること、機器の外部にあるソースからストリームされること、又は機器に埋め込まれたマルチ視界画像／ビデオカメラよって提供されることがある。ローカル保存されたファイル又は外部ソースからストリームされたビデオのために、３Ｄコンテンツソース８１０は、３Ｄコンテンツを３Ｄビデオ制御モジュール８２２に送信する前に、３Ｄコンテンツを復号するためのビデオデコーダ８１１を含むことができる。埋込み３Ｄカメラから取得したマルチ視界画像／ビデオデータのために、３Ｄコンテンツソース８１２は、取得された３Ｄコンテンツを３Ｄビデオ制御モジュール８２２に送信する前に、取得された３Ｄコンテンツを処理するためのステレオカメラ処理ブロック８１２を含むことができる。ビデオデコーダ８１１からであるか、ステレオカメラ処理ブロック８１２からであるかを問わず、３Ｄビデオ制御モジュール８２２に送信される３Ｄコンテンツは一般に、画像のステレオペア（視界１及び視界２）の形態となる。３Ｄビデオ制御モジュール８２２は、画像のステレオペアに基づいて合成３Ｄ画像を生成する。
【００９３】
３Ｄビデオ制御モジュール８２２は、受信した３Ｄコンテンツ（視界１及び視界２）に基づいて合成３Ｄ画像をレンダリングするように構成された視界合成器８３０を含む。視界合成器８３０は、視界１及び視界２に基づいて視差マップを決定するように構成された視差推定モジュール８３１を含む。視差推定モジュール８３１は、上記の図１及び図２に関して説明した視差処理ユニット２４と機能的に同様であり得る。視界合成器８３０は、視差情報から取得された深度情報及び視界１と視界２の一方又は両方に基づいて合成３Ｄ画像をレンダリングするように構成された深度画像ベースレンダリング（ＤＩＢＲ）エンジン８３３をさらに含む。視界合成器８３０は、ＤＩＢＲ８３５によって作られた３Ｄ画像を改良するように構成された穴埋めモジュール８３６をさらに含む。穴埋めモジュール８３６によって実行される改良では、合成３Ｄ画像内のアーティファクトが検出され、訂正され得る。アーティファクトは、例えば、視差推定モジュール８３１によって実行される視差推定における誤り、又はＤＩＢＲ８３６によって実行されるレンダリングにおける誤りの結果であり得る。
【００９４】
３Ｄビデオ制御モジュール８２２は、合成３Ｄ画像を変更するように構成された３Ｄ後処理ブロック８４１をさらに含む。例えば、ワイヤレス送信用に圧縮されるときに、低ビットレートを要求するために、合成画像を平滑化する（ローパスフィルタ処理する）こと、又は合成画像の解像度を引き下げることができる。上記でより詳細に説明したように、３Ｄビデオ制御モジュール８２２は、ユーザ選好データに基づいて、受信した３Ｄコンテンツ及び／又は合成３Ｄ画像を変更するように構成され得る。図５に関して上述したユーザ選好データ及びユーザ選好データに基づくビデオレンダリングの調節は、図８のシステムによっても実行できる。例えば、図５の３Ｄビデオ制御モジュール５２２に関して上述した利き目選択、深度範囲、深度分布モード、ベースライン、ポップアウト効果の規模、及び先鋭度の変更は、図８の３Ｄビデオ制御モジュール８２２によっても実行できる。
【００９５】
合成３Ｄ画像は、埋込み３Ｄ表示器８４２Ａに表示されることがあり、又は、合成３Ｄ画像は、外部３Ｄ表示器８４２Ｂに送信するためにステレオビデオエンコーダ８５０によって符号化されることがある。ステレオビデオエンコーダ８５０は、複数の符号化モジュールを含むことができる。例えば、第１のエンコーダモジュール８５１は、外部３Ｄ表示装置８４２Ｂに送信するために深度情報とともに視界１と視界２の両方を符号化するように、又は視差情報とともに、視界１又は視界２のうちの１つのみを符号化するように構成され得る。第２のエンコーダモジュールは、例えば、視界１及び視界２のみ、又は視界１の元バージョン及び視界２の変更バージョンを符号化するように構成され得る。第２のエンコーダモジュール８５２は、視界合成器８３０によって出力された合成３Ｄ画像、又は３Ｄ後処理ブロック８４１によって出力された合成３Ｄ画像を代替的に符号化することができる。
【００９６】
３Ｄビデオ制御モジュール８２２は、他のユーザ選好に従って、又はワイヤレスチャネル能力に従って合成画像を変更するように構成された３Ｄ後処理ブロック８４１をさらに含む。例えば、ワイヤレス送信用に圧縮されるときに、低ビットレートを要求するために、合成画像を平滑化する（ローパスフィルタ処理する）こと、又は合成画像の解像度を引き下げることができる。３Ｄビデオ制御モジュール５２２は、２つ以上の視界を符号化して、全ての視界の情報を含む複合画像を生成するように構成された３Ｄビデオエンコーダ５４２をさらに含む。３Ｄビデオエンコーダ５４２は、複合画像を、例えば、Ｈ．２６４／ＡＶＣ−Ａｍｅｎｄｍｅｎｔ  １：マルチ視界ビデオ符号化（ＭＶＣ）又はＨ．２６４／ＡＶＣに基づいて、全ての視界の情報を含む複合画像のために符号化することができる。複合画像は、元の視界及び後処理された合成視界の並行構成又は任意のインターリーブされた構成を使用して取得され得る。複合画像は、全ての視界に関する元の解像度を維持すること、又は任意の数の合成視界に関する解像度を引き下げることができる。図１、図２、図４、図５、図６、及び図８で説明したモジュール、ユニット、ブロック、及び他の構成要素は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せとして実施できる。
【００９７】
本明細書で説明した技術は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せで実装できる。例えば、こうした技法の様々な態様は、１つ以上のマイクロプロセッサ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ、又は任意の他の均等な統合型若しくは個別論理回路、及び、エンコーダ、ラップトップ、デスクトップ又はハンドヘルドコンピュータ、ワイヤレスモバイルハンドセット、セットトップボックス、若しくは他の機器で実施されるそのような構成要素の任意の組合せにおいて実施することができる。「プロセッサ」又は「処理回路」という用語は、一般に、単独で、又は他の論理回路若しくは任意の他の等価回路との組合せで上記の論理回路のいずれかを指すことがある。
【００９８】
モジュール又は構成要素として説明する任意の機能は、集積論理機器に一緒に、又は個別であるが相互運用可能な論理機器として別々に実施できる。ソフトウェアで実施した場合、これらの技法は、実行されるとき、本開示で説明した方法の１つ以上を実行する命令を含むプログラムコードを備える非一時的コンピュータ可読データ記憶媒体によって少なくとも部分的に実現できる。非一時的コンピュータ可読データ記憶媒体は、コンピュータプログラム製品の一部を形成し得る。非一時的コンピュータ可読媒体は、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気又は光学データ記憶媒体などを備えることができる。本技法は、追加又は代替として、命令又はデータ構造の形態でプログラムコードを搬送又は伝達し、コンピュータによってアクセス、読取り、及び／又は実行できる非一時的コンピュータ可読通信媒体によって、少なくとも部分的に実現できる。「非一時的」という用語は、記憶媒体が、搬送波又は伝搬信号では実施されないことを示し得る。但し、「非一時的」という用語は、記憶媒体が非移動性であることを意味するものと解釈されるべきでない。一例として、記憶媒体は、ある機器から取り外され、別の機器に移され得る。別の例として、記憶媒体は、ある機器に挿すことができる。幾つかの例では、非一時的記憶媒体は、時間経過に伴って変動し得るデータを（例えば、ＲＡＭに）記憶することができる。
【００９９】
プログラムコードは、１つ以上のデジタル信号プロセッサ（ＤＳＰ）などの１つ以上のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、又は他の等価の集積回路又は個別論理回路によって実行され得る。従って、本明細書で使用する「プロセッサ」という用語は、前述の構造、又は本明細書で説明する技法の実装に好適な任意の他の構造のいずれかを指すことがある。さらに、幾つかの態様では、本明細書で説明する機能を、符号化及び復号のために構成された専用のソフトウェアモジュール又はハードウェアモジュール内に提供することができ、又は複合ビデオエンコーダ／デコーダ（コーデック）に組み込むことができる。
【図１】
2013540402.tif 000005
【図２】
2013540402.tif 000006
【図３Ａ】
2013540402.tif 000007
【図３Ｂ】
2013540402.tif 000008
【図３Ｃ】
2013540402.tif 000009
【図４】
2013540402.tif 000010
【図５】
2013540402.tif 000011
【図６】
2013540402.tif 000012
【図７】
2013540402.tif 000013
【図８】
2013540402.tif 000014
【国際調査報告】
2013540402.tif 000015
2013540402.tif 000016
2013540402.tif 000017
2013540402.tif 000018
2013540402.tif 000019