(57)【要約】  環境測定を行って使用する方法及び装置が記述される。さまざまな装置を使用してキャプチャされる環境情報は、環境モデルを生成するために処理されて結合され、これは顧客再生装置に伝えられる。画像を環境モデル上に適用、例えばラッピングするために使用されるＵＶマップも、再生装置に提供される。再生装置は、その後３Ｄビューイング体験を提供することの一部としてビューアに表示される画像をレンダリングするために環境モデルとＵＶマップを使用する。いくつかの実施形態において、更新された環境モデルは、さらに最近の、例えばイベントの間に実行された環境測定に基づいて生成される。更新された環境モデル、及び／又は、オプション的に更新されたＵＶマップとともに既存のモデルを更新するための差情報は、続いて受信された画像コンテンツのレンダリングと再生の際の使用のために、再生装置に伝えられる。更新された環境情報を伝えることによって、改善された３Ｄシミュレーションが達成される。
2018514968.tif 000002
【特許請求の範囲】
【請求項１】
再生装置を作動する方法であって、前記方法は、光領域カメラを使用して一度目に行われた環境の部分の測定に基づいて生成された３Ｄ環境の第１のメッシュモデルを伝える情報を受信することと、
画像コンテンツを受信することと、
前記第１のメッシュモデルを使用して、前記受信された画像コンテンツの少なくともいくつかをレンダリングすることと、を備える
方法。
【請求項２】
更新されたメッシュモデル情報を受信することをさらに備え、前記更新されたメッシュモデル情報は、前記光領域カメラを二度目に使用して前記環境の前記部分の測定に基づいて生成された少なくともいくつかの更新されたメッシュモデル情報を含む、請求項１に記載の方法。
【請求項３】
付加的な画像コンテンツを受信することと、
前記更新されたメッシュモデル情報を使用して前記受信された付加的な画像コンテンツのうちの少なくともいくつかをレンダリングすることと、をさらに備える、請求項２に記載の方法。
【請求項４】
前記３Ｄ環境の第１のメッシュモデルを伝える前記情報は、完全なメッシュモデルを規定する情報を含む、請求項３に記載の方法。
【請求項５】
前記更新されたメッシュモデル情報は、完全な更新されたメッシュモデルを伝える、請求項４に記載の方法。
【請求項６】
前記更新されたメッシュモデル情報は、前記第１及び第２の時間期間の間に変化した前記３Ｄ環境の部分についての新たなメッシュ情報を提供する、請求項５に記載の方法。
【請求項７】
前記更新されたメッシュモデル情報は、前記第１のメッシュモデルと更新されたメッシュモデルの間の差を示す差情報である、請求項６に記載の方法。
【請求項８】
前記第１のメッシュモデル情報は座標３組の第１のセットを含み、各座標３組は前記第１のメッシュモデルにおけるノードのＸ、Ｙ、Ｚスペースにおける座標を示す、請求項７に記載の方法。
【請求項９】
前記更新されたメッシュモデル情報は、
ｉ）前記第１のメッシュモデル情報における少なくともいくつかのノードについてのメッシュ座標の新たなセットであって、前記新たな座標が、前記第１のメッシュモデルにおける対応するノードの座標を置き換えるように意図されたもの、又は、
ｉｉ）座標３組の以前のセットの代わりに前記第１のメッシュモデルの少なくとも一部分について使用されることになる座標３組の新たなセットであって、前記座標３組の新たなセットは、置き換えられることになる座標３組の以前のセットと同一又は異なる数の座標３組を含むもの、
のうちの少なくとも１つを含む、請求項８に記載の方法。
【請求項１０】
２Ｄ画像スペースを前記第１のメッシュモデルにマッピングする第１のマップを受信することをさらに備え、
ここにおいて、前記第１のメッシュモデルを使用して前記受信された画像コンテンツのうちの少なくともいくつかをレンダリングすることは、前記受信された画像コンテンツ中に含まれる画像を前記第１のメッシュモデル上にどのようにラップするかを決定するために、前記第１のマップを使用することを含む、請求項９に記載の方法。
【請求項１１】
前記更新されたメッシュモデル情報に対応する更新されたマップ情報を受信することをさらに備え、
ここにおいて、前記更新されたメッシュモデル情報を使用して前記受信された付加的な画像コンテンツのうちの少なくともいくつかをレンダリングすることは、前記受信された付加的な画像コンテンツ中に含まれる付加的な画像を前記更新された第１のメッシュモデル上にどのようにラップするかを決定するために前記更新されたマップ情報を使用することを含む、請求項１０に記載の方法。
【請求項１２】
前記更新されたマップ情報はマップ差情報を含み、前記方法は、
更新されたマップを生成するために、前記マップ差情報を前記第１のマップに適用することによって、更新されたマップを生成することをさらに備え、
ここにおいて、前記更新されたメッシュモデル情報を使用して前記受信された付加的な画像コンテンツのうちの少なくともいくつかをレンダリングすることは、前記受信された画像コンテンツ中に含まれる付加的な画像を前記更新されたメッシュモデル上にどのようにラップするかを決定するために前記更新されたマップを使用することを含む、請求項１１に記載の方法。
【請求項１３】
コンピュータ読み取り可能な媒体であって、コンピュータにより実行されたとき、前記コンピュータに、
光領域カメラを使用して一度目に行われた環境の部分の測定に基づいて生成された３Ｄ環境の第１のメッシュモデルを伝える情報を受信し、
画像コンテンツを受信し、
前記第１のメッシュモデルを使用して、前記受信された画像コンテンツの少なくともいくつかをレンダリングするように制御するコンピュータ実行可能な命令を含む、コンピュータ読み取り可能な媒体。
【請求項１４】
再生装置であって、前記再生装置に、
光領域カメラを使用して一度目に行われた環境の部分の測定に基づいて生成された３Ｄ環境の第１のメッシュモデルを伝える情報を受信し、
画像コンテンツを受信し、
第１のメッシュモデルを使用して、前記受信された画像コンテンツの少なくともいくつかをレンダリングするように制御するように構成されたプロセッサを備える、再生装置。
【請求項１５】
前記プロセッサは、前記再生装置に、
更新されたメッシュモデル情報を受信するように制御するようにさらに構成され、前記更新されたメッシュモデル情報は、前記光領域カメラを二度目に使用して、前記環境の部分の測定に基づいて生成された少なくともいくつかの更新されたメッシュモデル情報を含む、請求項１４に記載の再生装置。
【請求項１６】
前記プロセッサは、前記再生装置に、
付加的な画像コンテンツを受信し、
前記更新されたメッシュモデル情報を使用して、前記受信された付加的な画像コンテンツの少なくともいくつかをレンダリングするように制御するようにさらに構成された、請求項１５に記載の再生装置。
【請求項１７】
前記プロセッサは、前記再生装置に、
２Ｄ画像スペースを前記第１のメッシュモデルにマッピングする第１のマップを受信し、
前記第１のメッシュモデルを使用して前記受信された画像コンテンツのうちの少なくともいくつかをレンダリングするように構成されたことの一部として、前記受信された画像コンテンツ中に含まれた画像を前記第１のメッシュモデル上にどのようにラップするかを決定するために前記第１のマップを使用するように制御するようにさらに構成された、請求項１４に記載の再生装置。
【請求項１８】
前記プロセッサは、前記再生装置に、
前記更新されたメッシュモデル情報に対応する更新されたマップ情報を受信し、
前記更新されたメッシュモデル情報を使用して、前記受信された付加的な画像コンテンツのうちの少なくともいくつかをレンダリングするように構成されたことの一部として、前記受信された付加的な画像コンテンツ中に含まれた付加的な画像を、前記更新されたメッシュモデル上にどのようにラップするかを決定するために前記更新されたマップ情報を使用するように制御するようにさらに構成された、請求項１７に記載の再生装置。
【請求項１９】
前記更新されたマップ情報は、マップ差情報を含み、
ここにおいて、前記プロセッサは、前記再生装置に、
更新されたマップを生成するために、前記マップ差情報を前記第１のマップに適用することによって更新されたマップを生成し、
前記更新されたメッシュモデル情報を使用して、前記受信された付加的な画像コンテンツのうちの少なくともいくつかをレンダリングすることの一部として、前記受信された付加的な画像コンテンツ中に含まれた付加的な画像を前記更新されたメッシュモデル上にどのようにラップするかを決定するために前記更新されたマップを使用するように制御するようにさらに構成された、請求項１８に記載の再生装置。
【請求項２０】
前記３Ｄ環境の第１のメッシュモデルを伝える前記情報は、完全なメッシュモデルを規定する情報を含む、請求項１６に記載の再生装置。
【発明の詳細な説明】
【関連出願】
【０００１】
[0001]  本出願は、２０１５年３月１日に提出された米国仮特許出願番号第６２／１２６、７０１、２０１５年３月１日に提出された米国仮特許出願番号第６２／１２６、７０９、及び、２０１５年３月２日に提出された米国仮特許出願番号第６２／１２７、２１５の利益を主張し、これらのそれぞれは、その全体が参照によって、ここに明確に組み込まれる。
【分野】
【０００２】
[0002]  本発明は、３Ｄビューイング体験を提供することの一部として使用され得る立体的な画像の生成及び／又は表示を含むさまざまなアプリケーションをサポートするために、環境情報、例えば、測定及び画像をキャプチャして使用するための方法及び装置に関連する。
【背景】
【０００３】
[0003]  ３Ｄ環境の正確な表示は、環境の信頼できるモデルを要求することが多い。このようなモデルは、利用可能であるとき、画像再生の間に使用され得る。このようなモデルは、利用可能であるとき、シーンの画像においてキャプチャされた対象が、正しいサイズであるようにビューに見えるように、画像再生の間に使用され得る。環境マップはまた、異なるカメラによってキャプチャされた画像の配列を促進するために、画像の異なる小片を縫い合わせる際に使用され得る。
【０００４】
[0004]  環境マップは、利用可能であるとき、環境の単純な範囲のモデルが仮定されるときよりも、はるかにより実際的な立体的な表示を促進し得るが、後の立体的な再生のためにフィルムに収められ得るイベントの間に、正確な環境情報を取得することに関係付けられた多数の困難がある。例えば、ＬＩＤＡＲは、イベントをキャプチャするために、立体カメラを配備する前に、カメラ位置に関連する距離の環境測定を行うのに使用され得るが、ＬＩＤＡＲ測定のために使用されるレーザは、人々がコンサートや試合や他の活動を見ようと試みるとき、実際のイベントの間の使用のためには迷惑あるいは適切でないかもしれない。さらに、イベントをキャプチャするのに使用されるカメラリグの配置は、イベントの間に同じ位置に置かれるＬＩＤＡＲ装置を妨げ得る。
【０００５】
[0005]  したがって、ＬＩＤＡＲは、イベントの前にスタジアムや他のイベント位置の正確な測定を行うのに使用され得るが、ＬＡＳＥＲ光やエリアのＬＩＤＡＲ測定を行うことに関係付けられた時間を使用するために、ＬＩＤＡＲは、イベント設置されて作動された１つ以上のカメラによって、進行中のイベントの間にカメラ位置からキャプチャされることになるイベントの間に、カメラ位置のロケーションから環境の測定を行うのにあまり適していない。
【０００６】
[0006]  ＬＩＤＡＲは、上で議論された理由のために、非常に正確な距離測定を行うのに使用され得るが、スタジアムや他のイベントエリアが進行中のイベントを有さないときに通常使用される。結果として、ＬＩＤＡＲ距離測定は普通、人々が存在することのない空のスタジアムやイベントエリアを測定する。さらに、ＬＩＤＡＲ測定は普通、任意の修正又は表示が特定のイベントのために準備する前に行われる。ＬＩＤＡＲ又は他の測定システムによって提供される静的な環境マップは、多くのケースにおいて測定の時間における環境に関して非常に正確である一方、スポーツの試合や、コンサートやファッションショーのようなイベントの間、環境の状況と形状を正確に反映しないことが多い。
【０００７】
[0007]  上の議論の観点から、環境測定、特に、イベントの間の環境の形状を測定して、３Ｄ環境をシミュレートする際に環境情報を使用する新しくて改善された方法に対する必要性があることが正しく認識されるべきである。必ずしも全ての実施形態についてではないが、イベントの３Ｄ環境をシミュレートすることの一部として、後の再生のために立体的又は他の画像がキャプチャされたカメラ位置に関して、イベントの間に環境が正しく測定され得ることが望ましい。
【概要】
【０００８】
[0008]  環境の測定を行って使用するための方法及び装置が記述される。さまざまな装置を使用してキャプチャされた環境情報は、処理されて結合される。いくつかの実施形態において、異なる時間、レート及び／又は解像度で環境情報をキャプチャするために、異なる装置が使用される。環境をマップするのに使用される環境情報の少なくともいくらかが、イベントの間にキャプチャされる。このような情報は、必ずしも全ての実施形態においてではないが、イベントの前にキャプチャされた環境情報と結合される。しかしながら、実施形態に依存して、単一の環境測定技術が使用され得るが、多くの実施形態において、環境情報、例えば、カメラ位置に対する深度情報とともに複数の環境測定技術が使用され、これは、環境情報の単一のソースが深度マップを生成するのに使用された場合に可能であり得るよりも、より信頼できてタイムリーな環境マップを生成するために結合される。
【０００９】
[0009]  さまざまな実施形態において、環境情報は、１つ以上のソースから取得される。いくつかの実施形態において、イベントが使用される前に、ＬＩＤＡＲ測定から作成されたもののような静的な環境マップ又はモデルが使用される。ＬＩＤＡＲは、レーダの原理で動作するが、距離測定のために、レーザからの光を使用する検出システムである。実際のイベントの間に画像をキャプチャするためにカメラが置かれたカメラ位置について使用されることになるロケーションから行われたＬＩＤＡＲ測定から、又は、別のロケーションに基づいて行われるが既知のカメラ位置のロケーションについての情報を有する環境のモデルから、カメラ位置に対する環境の静的なマップが生成される。環境が占有されていない、又は、静的なマップを作るのに測定が使用された時から違ったふうに変更されていないと仮定すると、静的なマップは、多くのケースにおいて環境についての正確な距離情報を提供する。静的なマップは普通、空の（empty）環境に対応し、人、サイン、小道具等のようなオブジェクトがイベントのための環境に付加されることが多く、静的なマップにおいて示される構造がイベントのために除去されることは稀であるので、静的な深度マップにおいて示された距離は、最大距離であることが多い。したがって、静的なマップは、最大の距離情報を提供するために、及び、環境のスケール／サイズ全体に関する情報を提供するために時々使用され得る。
【００１０】
[0010]  静的なモデル情報に加えて、いくつかの実施形態において、環境測定は、イベントの間にキャプチャされた情報を使用して行われる。イベントの間の環境情報のキャプチャは、いくつかの実施形態において、深度情報が既知の技術を使用して取得され得る画像をキャプチャする１つ以上の光領域カメラの使用を伴う。いくつかの実施形態において、光領域カメラによってキャプチャされた画像から生成された画像と深度マップの両方を提供する光領域カメラが使用される。カメラはおそらく、時々、立体カメラの１つ以上の対も含むカメラリグに据え付けられ、又は組み込まれる。光領域カメラからの深度情報を生成する方法は知られており、いくつかの実施形態において使用される。例えば、光領域マイクロアレイの異なるレンズに対応するセンサ部分によってキャプチャされた環境におけるエリア又はポイントに対応する画像データは、ポイント又はエリアに対する距離に関する情報を提供するように処理され得る。
【００１１】
[0011]  光領域カメラは、距離情報を提供するのに使用され得るイベントの間に画像を受動的に収集することができるという利点を有する。光領域カメラの使用の欠点は、これが普通、個々のキャプチャされた画像の解像度を効果的に低くするセンサ上のレンズアレイの使用により、標準のカメラのものよりも低い解像度を有することである。
【００１２】
[0012]  光領域カメラ又はカメラの画像に加えて、例えば、立体カメラ対を含む他のカメラによってキャプチャされた画像は、深度情報を提供するために処理されて使用され得る。これは、立体的な対のカメラが既知の距離で離れて間隔を空けられているので可能であり、キャプチャされた画像とともに、この情報は、いくつかの実施形態において、立体カメラ対におけるカメラによってキャプチャされた環境においてカメラからポイントへの距離を決定するのに使用され得る。カメラが、カメラのセンサ上のマイクロレンズアレイを使用しないので、深度情報は、深度が推定され得る環境のポイント又はロケーションの数に関して、立体的な対の個々のカメラによってキャプチャされた画像の画素数とおそらく同じ高さであるか、又は、ほぼ同じ高さである。
【００１３】
[0013]  立体カメラの出力は、いくつかの実施形態において、深度情報を生成するように処理される一方、多くのケースにおいて、光領域カメラの出力から取得された深度情報よりも信頼性が低いかもしれない。
【００１４】
[0014]  いくつかの実施形態において、環境の静的なモデルは、最大距離情報を提供し、光領域カメラからの深度情報は、普通、静的モデルによって示される深度と等しい又はより低いが、さらにタイムリーであり、環境条件が変化するにつれてイベントの間に変わり得るような深度を示すより最新の深度情報を提供する。同様に、立体カメラ対又は複数の対によってキャプチャされた画像からの深度情報は、イベントの間にキャプチャされたタイムリーで利用可能な形態画像である傾向がある。さまざまな実施形態において、異なるソースからの深度情報、例えば、イベントの前のＬＩＤＡＲ測定に基づき得る静的なモデル、１つ以上の光領域カメラからの深度情報、及び、立体的な画像から生成された深度情報は、結合され、例えば、調和される。調和プロセスは、異なる深度情報ソースの利点と、このような情報の利用可能性を考慮に入れて、さまざまな技術又は情報重み付け動作を伴い得る。例えば、１つの例示的な解決プロセスにおいて、イベントの前に環境の測定から取得されたＬＩＤＡＲベースの深度情報は、カメラ位置からの最大深度、例えば距離を決定するのに使用され、環境をモデリングするための付加的な深度情報の不在において使用される。
【００１５】
[0015]  深度情報が光領域カメラ又は光領域カメラのアレイから利用可能であるとき、それが進行中のイベントの間の環境における変化を反映できるように、環境深度マップを改良するために、深度情報は使用される。いくつかの実施形態において、光領域カメラによってキャプチャされた画像から取得された深度マップ情報を調和させることは、イベントの間の環境における対象の存在を反映するより短い深度を含むために、ＬＩＤＡＲベースの深度マップを改良することを含む。いくつかのケースにおいて、光領域深度測定単独に、あるいは、静的な又はＬＩＤＡＲ深度マップからの情報との組み合わせに基づいた環境深度マップを調和させることは、光領域カメラの出力からの深度情報が知られているポイント間の深度における変化をさらに明確化するために、深度情報を使用することを含む。この方法において、光領域からの利用可能な情報のより高い数のポイント及び／又は立体的な画像が、光領域カメラ又はカメラアレイの出力に基づいた深度マップを改良するのに使用され得る。
【００１６】
[0016]  深度情報及び／又はマップに基づいて、環境の３Ｄモデルは、時々環境メッシュモデルと呼ばれるが、いくつかの実施形態において生成され得る。３Ｄ環境モデルは、画像が適用され得る環境の格子マップの形態であり得る。いくつかの実施形態において、環境モデルは、光領域カメラを使用して実行される関心がある環境の環境測定、例えば深度測定に基づいて生成され、例えば光領域カメラによってキャプチャされた画像は、深度情報を取得するのに使用される。いくつかの実施形態において、環境の少なくとも部分の測定に基づいて生成された環境モデルは、光領域カメラを使用して一度目に、例えば、イベントの開始前及び／又は開始時点に作成される。環境モデルは、１つ以上の顧客装置、例えば、画像コンテンツのレンダリングと再生における使用のためのレンダリング及び再生装置に伝えられる。いくつかの実施形態において、画像を３Ｄ環境モデル上に適用、例えばラップするために使用されるＵＶマップも、顧客装置に提供される。
【００１７】
[0017]このようなマップへの画像の用途は、それが３Ｄ環境モデルのほうにラップされたかのように、画像、例えば２Ｄ画像を適用する効果を有するので、時々、ラッピングと呼ばれる。顧客再生装置は、その後、ビューアに３Ｄビューイング体験を提供することの一部としてビューアに表示される画像コンテンツをレンダリングするために、環境モデルとＵＶマップを使用する。
【００１８】
[0018]このような環境は動的であり、上記で議論されたイベントが進行中である間変化が生じ得るので、いくつかの実施形態において、更新された環境情報がイベントの間に環境の変化を正確にモデリングするように生成され、顧客装置に提供される。いくつかの実施形態において、更新された環境情報は、光領域カメラを使用して二度目に、例えば、イベントの第１の時間期間の後であってイベントの間に作成された環境の部分の測定に基づいて生成される。いくつかの実施形態において、更新されたモデル情報は、完全な更新されたメッシュモデルを伝える。いくつかの実施形態において、更新されたメッシュモデル情報は、更新されたモデルを生成するために、オリジナルの環境モデルに対して行われることになる変化を示す情報を含み、更新された環境モデル情報は、第１及び第２の時間期間の間に変化した３Ｄ環境の部分についての新たな情報を提供する。
【００１９】
[0019]  更新された環境モデル、及び／又は、既存のモデルを更新するための差情報は、オプション的に、更新されたＵＶマップとともに、続いて受信された画像コンテンツのレンダリングと再生に使用するため、再生装置に伝えられる。更新された環境情報を伝えることによって、改善された３Ｄシミュレーションが達成される。
【００２０】
[0020]  ここで記述された深度マップ生成技術を使用することによって、環境におけるアイテムがイベントの間に動く又は変更されるかもしれない進行中のコンサート、スポーツイベント、演劇等のような動的な環境の比較的正確な深度マップが生成され得る。更新された深度情報を通信することによって、例えば、環境の３Ｄモデル、又は、環境モデルに対する更新の形態において、改善された３Ｄシミュレーションは、達成されることができ、これは、次に、向上された３Ｄ再生及び／又はビューイング体験のために使用されることができる。環境においてキャプチャされた画像がシミュレートされることになる環境モデルは、環境モデルが静的であるケースにおけるよりも、実際の環境をさらに正確に反映するので、３Ｄ環境シミュレーションにおける改善は、静的な深度マップを使用するシステムを通して達成されることができる。
【００２１】
[0021]  立体及び／又は他のカメラによって画像がキャプチャされる環境に対する変化が生じるにつれて、このような変化は、キャプチャされた画像を表示するための再生装置によって使用される環境のモデルにおいて容易に、及びタイムリーに反映され得ることが正しく認識されるべきである。
【図面の簡単な説明】
【００２２】
【図１】[0022]  図１は、カメラリグを較正するために使用され得る較正ターゲットとともに１つの実施形態にしたがって実装されたカメラリグを図示する。
【図２】[0023]  図２は、例えば、三対のカメラを有するカメラリグを図示し、例えば、３対のカメラは、立体的な画像データをキャプチャし、カメラ装具において据え付けられる。
【図３】[0024]  図３は、いくつかの例示的な実施形態により実装された例示的な保護カバーを有する例示的なカメラリグを図示する。
【図４】[0025]  図４は、部分的に分解された形態において、明確性のために示された、カメラリグのさまざまな構成要素を有する例示的な実施形態により実装された、別の例示的なカメラリグを図示する。
【図５】[0026]  図５は、立体オーディオをキャプチャするために使用されるマイクロフォンを含む耳形状の装置を含む、音声キャプチャ装置とともに、その上に据え付けられたカメラを有する図４のカメラリグを示す。
【図６】[0027]  図６は、いくつかの例示的な実施形態により実装された、例示的なカメラリグのさまざまなビューを図示する。
【図７】[0027]  図７は、いくつかの例示的な実施形態により実装された、例示的なカメラリグのさまざまなビューを図示する。
【図８】[0027]  図８は、いくつかの例示的な実施形態により実装された、例示的なカメラリグのさまざまなビューを図示する。
【図９】[0028]  図９は、いくつかの例示的な実施形態により実装された、さらに別の例示的なカメラリグを図示する。
【図１０】[0029]  図１０は、いくつかの実施形態による、図１〜図９において示されるカメラリグのような本発明の例示的なカメラリグにおいて使用され得る、カメラのアレイの例示的な配置の正面図を図示する。
【図１１】[0030]  図１１は、本発明のカメラリグのいずれかにおいて使用され得るカメラのアレイのまた別の例示的な配置の正面図を図示する。
【図１２】[0031]  図１２は、本発明のいくつかの実施形態による実装された例示的なシステムを図示する。
【図１３Ａ】[0032]  図１３Ａは、いくつかの実施形態による、画像システムを作動する例示的な方法のフローチャートを図示する、図１３の第１の部分である。
【図１３Ｂ】[0033]  図１３Ｂは、画像システムを作動する例示的な方法のフローチャートを図示する、図１３の第２の部分である。
【図１４Ａ】[0034]  図１４Ａは、図１３Ａ及び図１３Ｂにおいて示された方法とともに使用するために適した例示的な実施形態による、３ＤメッシュモデルとＵＶマップを生成して更新する例示的な方法のフローチャートを図示する、図１４の第１の部分である。
【図１４Ｂ】[0035]  図１４Ｂは、例示的な実施形態による、３ＤメッシュモデルとＵＶマップを生成して更新するフローチャートを図示する、図１４の第２の部分である。
【図１５】[0036]  図１５は、図１〜図９において示されたカメラリグにおいて使用され得る例示的な光領域カメラを図示する。
【図１６】[0037]  図１６は、例示的な実施形態により実装される例示的な処理システムを図示する。
【図１７】[0038]  図１７は、例示的な実施形態による、例示的なレンダリング及び再生装置を作動する例示的な方法のフローチャートを図示する。
【図１８】[0039]  図１８は、例示的な実施形態による、実装される例示的なレンダリング及び再生装置を図示する。
【図１９】[0040]  図１９は、３Ｄモデルを区分に分割するのに使用される線の交差ポイントとして図示される複数のノードとともに、さまざまな実施形態において使用され得る例示的な３Ｄ環境メッシュモデルを図示する。
【図２０】[0041]  図２０は、図１９のメッシュモデルに、テクスチャを提供して、２Ｄフレームの部分をマッピングするために使用され得る例示的なＵＶマップを図示する。
【詳細な説明】
【００２３】
[0042]  さまざまな特徴がパノラマ立体イメージの分野に関連し、より詳細には、幅広い範囲の用途のための重さと電力要件を満たしながら、小さなサイズの装置においてリーズナブルな費用で最小数のカメラを使用する、高解像度、高ダイナミックレンジ、高フレームレートステレオスコープ、３６０度パノラマビデオをキャプチャするのに適した装置に関するものである。
【００２４】
[0043]  ステレオスコープ、３６０度パノラマビデオコンテンツは、仮想現実表示における使用のために、益々需要がある。最終画像明確性のために重要である、ステレオスコープ、４Ｋ又はより高い解像度を有する３６０度パノラマビデオコンテンツ、低光コンテンツを記録するために重要である高ダイナミックレンジ、（スポーツのような）速く動くコンテンツを詳細に記録するために重要である高フレームレートを作成するために、プロフェッショナル級のアレイ、大きなセンサ、適切な品質の映画カメラ又は他のカメラが必要とされることが多い。
【００２５】
[0044]  ステレオスコープ仮想現実表示においてビューするためのステレオスコープコンテンツをキャプチャするために、カメラアレイが有用であるために、ビューアの頭部がカメラとともに同じ場所に配置された場合、カメラアレイは、ビューアが見たものに結果が近似するようにコンテンツを得るべきである。特に、ステレオスコープカメラの対は、それらの軸間（inter-axial）間の間隔が、６３ｍｍの受容された人間モデル平均からの受容可能なデルタ内にあるように構成されるべきである。さらに、カメラレンズの入射瞳に対するパノラマアレイの中心ポイントからの距離（別称ノーダルオフセット）は、１０１ｍｍの受容された人間モデル平均からの受け入れ可能なデルタ内にあるように構成されるべきである。
【００２６】
[0045]  カメラアレイが、それがコンパクトであって邪魔にならないようにイベントと多くの観客を集めるスポーツをキャプチャするのに使用されるために、それは、幅広いさまざまなロケーションにおいて配備され、輸送が要求されるときに程よいサイズの容器で輸送されるのを可能にする、比較的小さな物理的低面積で構築されるべきである。
【００２７】
[0046]  カメラアレイは、アレイの最小画像距離が小さくなるよう、例えば、可能な限り小さくなるように設計されるべきであり、これは、「デッドゾーン」を最小限にする。このとき、シーン構成要素は、それらが隣接するカメラのビューの領域外にあるので、キャプチャされない。
【００２８】
[0047]  較正ターゲットを位置付けることによって光学的配列によってカメラアレイが較正されれば、これは有利であるが、最も高い光学的歪みが生じる傾向がある（ビューのレンズ角は交差し、レンズの最大の歪みが生じる）。最も効果的な較正ターゲット位置付けを促進するために、ターゲットロケーションは、いくつかの実施形態において、リグ設計から形式的に決定される。
【００２９】
[0048]  図１は、いくつかの実施形態において使用される例示的なカメラコンフィギュレーション１００を示す。いくつかの実施形態において使用されるように示されたカメラ対配置のより良い理解を可能にするため、図４及び図５において示されるサポート構造は図１において示されない。
【００３０】
[0049]   全てではないがいくつかの実施形態において、図１の例のように、３つのカメラ対が使用されるが、カメラアレイ、例えば、リグのカメラ位置は、同時の３６０度の立体的なビデオをサポートするのに使用されるかもしれない合計６つのカメラのうちの２つのみで占められる。カメラリグ又はアセンブリが、リグにおいて据え付けられ得る６つのカメラ全てよりも少ないもので構成されたとき、リグは、依然として高い値、リアルタイムでの前景１８０度のシーン構成要素をキャプチャすることが可能であり、一方、例えば、前景画像がキャプチャされないときには、リグを回転することによって、低い値の静的な画像、背景１８０度のシーン要素を手動でキャプチャすることができる。例えば、いくつかの実施形態において、２つのカメラアレイが、カメラに対して０度位置におけるプレイの領域でサッカーの試合をキャプチャするのに使用される場合、アレイは、ノーダルポイントの周囲を、１２０度と２４０度位置に手動で回転される。これは、スポーツの試合又はマッチのフィールド上のアクション、例えば、前景が、リアルタイムでキャプチャされることを可能にし、また、サイドライン及び外野席、例えば、背景エリアが、正面部分に対するリアルタイムの立体ビデオと左及び右後方位置に対する静的画像を含むハイブリッドパノラマを生成するのに使用されるために、立体的な静的画像としてキャプチャされることを可能にする。この方法において、リグは、３６０のシーンエリアの異なるビューがキャプチャされたときに、そのノーダル軸、例えば、時間において異なるポイント間の垂直な中心ポイントの周囲を回転されるカメラリグに合わせて、時間において異なるポイントでキャプチャされた３６０度のビューのいくつかの部分で、３６０度ビューをキャプチャするのに使用され得る。代替的に、単一のカメラは、第２及び第３のカメラ対据え付け位置において据え付けられ得、モノ（非立体的）画像コンテンツは、これらのエリアについてキャプチャされる。
【００３１】
[0050]  カメラ費用が問題ではない他のケースにおいて、２つよりも多いカメラが、図１の例において６つまでカメラを保持するリグで、リグにおける各位置で据え付けられ得る。この方法で、費用効果カメラ配置は、キャプチャされることになる性能、あるいは、例えば６つといった多数のカメラを輸送するためのユーザの必要性又は能力、又は６よりも少ない、例えば２つのように６つよりも少ないカメラを輸送するためのユーザの能力に依存して達成され得る。いくつかの実施形態において、環境深度マップは、カメラリグ１００においてカメラによってキャプチャされる画像から生成される。
【００３２】
[0051]  図１は、較正ターゲット１１５とともに、時々、リグ又はカメラアレイとも呼ばれる６つのカメラアセンブリ１００を図示する。図１において図示されたカメラリグ１００は、カメラを示された位置において保つ（図４と図５において示された）サポート構造、合計で６つのカメラ（１０１、１０３）、（１０５、１０７）、（１０９、１１１）からなる立体カメラの３対１０２、１０４、１０６を含む。サポート構造は、カメラをサポートして板の上でカメラが据え付けられる板が安全にされ得る据え付け板と呼ばれるベース７２０も含む（図４において示される構成要素７２０を参照）。サポート構造は、プラスチック、金属、又は、グラファイトやファイバーグラスのような複合材料からできていてもよく、カメラ間の間隔と関係性を示すのにも使用される三角形を形成する線によって表される。点線が交差する中心ポイントは、必ずしも全てではないがいくつかの実施形態において、カメラ対１０２、１０４、１０６が周囲を回転する中心ノーダルポイントを表わす。中心ノーダルポイントは、いくつかの実施形態において、例えば、三角線によって表されるカメラサポートフレームが周囲を回転する三脚ベースの鋼バー又はスレッデッド中心マウントに対応する。サポートフレームは、図４及び図５において示されるように、カメラが据え付けられる又は三脚構造である、プラスチックハウジングであり得る。
【００３３】
[0052]  図１において、カメラ１０２、１０４、１０６の各対は、異なるカメラ対位置に対応する。第１のカメラ対１０２は、前向き位置に向けて０度に対応し、メインアクションが起こる前面をカバーするように普通意図される。この位置は、普通、関心があるメインエリア、例えば、スポーツの試合が行われるフィールド、舞台、又は、メインアクション／パフォーマンスが起こりそうである他の何らかのエリアに対応する。第２のカメラ対１０４は、１２０度のカメラ位置に対応する（前向きからおおよそ１２０度の）右後方ビューイングエリアをキャプチャするのに使用される。第３のカメラ対１０６は、２４０度ビューイング位置（前向きからおおよそ２４０度の）と、左後方ビューイングエリアに対応する。３つのカメラ位置は、１２０度離れていることに着目されたい。
【００３４】
[0053]  各カメラビューイング位置は画像をキャプチャするのに使用される左カメラと、右カメラを含む各カメラ対で、図１の実施形態における１つのカメラ対を含む。左カメラは、左目画像として呼ばれることがあるものをキャプチャし、右カメラは、右目画像として呼ばれることがあるものをキャプチャする。画像は、ビューシーケンスの一部であったり、１回以上でキャプチャされる静止画であり得る。普通、カメラ対１０２に対応する少なくとも正面カメラ位置は、高品質ビデオカメラで占められる。他のカメラ位置は、高品質ビデオカメラで占められてもよく、低品質ビデオカメラ又は単一のカメラは、スチール又はモノ画像をキャプチャするのに使用される。いくつかの実施形態において、第２及び第３のカメラ実施形態は、左が未実装であり、カメラが据え付けられたサポート板は、第１のカメラ対１０２が異なる時間に３つのカメラ位置全てに対応する画像をキャプチャするのを可能にするように、回転される。いくつかのこのような実施形態において、左と右後方の画像は、キャプチャされて保管され、その後、前方のカメラ位置のビデオは、イベントの間にキャプチャされる。キャプチャされた画像は、例えば、１つ以上の再生装置に対してイベントがまだ進行中である間に、リアルタイムで符号化されてストリームされる。
【００３５】
[0054]  図１において示される第１のカメラ対１０２は、左カメラ１０１と右カメラ１０３を含む。左カメラは、第１のカメラに固定された第１のレンズアセンブリ１２０を有し、右カメラ１０３は、右カメラ１０３に固定された第２のレンズアセンブリを有する。レンズアセンブリ１２０、１２０’は、キャプチャされることになるビューの幅広い角度の領域を可能にするレンズを含む。いくつかの実施形態において、各レンズアセンブリ１２０、１２０’は、魚眼レンズを含む。したがって、カメラ１０２、１０３のそれぞれ、ビューの１８０度領域又はおおよそ１８０度をキャプチャできる。いくつかの実施形態において、１８０度未満がキャプチャされるが、いくつかの実施形態において、隣接するカメラ対からキャプチャされた画像には、依然として少なくともいくらかのオーバーラップがある。図１の実施形態において、カメラ対は、第１（０度）、第２（１２０度）、及び、第３（２４０度）のカメラ据え付け位置のそれぞれに位置付けられ、各対は、環境の少なくとも１２０度又はより多くをキャプチャするが、多くのケースにおいて、各カメラ対は、環境の１８０度又は、おおよそ１８０度をキャプチャする。
【００３６】
[0055]  第２及び第３のカメラ対１０４、１０６は、前面０度に関して、第１のカメラ対１０２と同じ又は同様であるが、１２０度と２４０度のカメラ据え付け位置で位置付けられる。第２のカメラ対１０４は、左カメラ１０５と左レンズアセンブリ１２２と、右カメラ１０７と、右カメラレンズアセンブリ１２２’とを含む。第３のカメラ対１０６は、左カメラ１０９と、左レンズアセンブリ１２４と、右カメラ１１１と、右カメラレンズアセンブリ１２４’とを含む。
【００３７】
[0056]  図１において、Ｄは、カメラ１０１、１０３の第１の１０２の立体的な対の軸間の距離を表わす。図１例において、Ｄは、平均的な人間の左目と右目の瞳孔間の距離と同じ又は同様である１１７ｍｍである。図１における破線１５０は、右カメラレンズ１２０’の入射瞳に対するパノラマアレイの中心ポイントからの距離（別称ノーダルオフセット）を図示する。図１に対応する１つの実施形態において、参照番号１５０によって示される例示的な距離は、３１５ｍｍであるが、他の距離が可能である。
【００３８】
[0057]  １つの特定の実施形態において、カメラリグ１００の低面積は、比較的小さい。このような小さなサイズは、カメラリグが聴衆の中、例えば、ファンや観客が普通位置付けられるか位置されるかもしれない着席位置に置かれることになるのを可能にする。したがって、いくつかの実施形態において、ビューアが聴衆の一員である感覚を有することができるように、このような効果が望まれる場合、カメラリグは、聴衆エリア中に置かれる。いくつかの実施形態の底面積は、いくつかの実施形態において中心サポートロッドを含むサポート構造が据え付けられるか又はサポートタワーが位置付けられるベースのサイズに対応する。いくつかの実施形態におけるカメラリグは、カメラの３対間の中心ポイントに対応するベースの中心ポイントの周囲を回転できることが正しく認識されるべきである。他の実施形態において、カメラは固定されて、カメラアレイの中心の周囲を回転しない。
【００３９】
[0058]  カメラリグ１００は、比較的近い対象とともに、異なる対象をキャプチャすることができる。１つの特有の実施形態において、カメラアレイの最小の画像距離は６４９ｍｍであるが、他の距離が可能であり、この距離は、決して重要ではない。
【００４０】
[0059]  カメラアセンブリの中心から第１の及び第３のカメラ部分のビューの交差ポイント１５１への距離は、第１及び第２のカメラ対によってキャプチャされた画像を較正するために使用され得る例示的な較正距離を表わす。１つの特有の例示的な実施形態において、ビュー交差のレンズ角と、レンズの最大の歪みが生じる最適な較正距離は、７４３ｍｍである。ターゲット１１５は、最大の歪みのエリアにおいて、又は、わずかにそこを超えて位置付けられたカメラ対からの既知の距離に置かれ得ることに着目されたい。較正ターゲットは、既知の固定された較正パターンを含む。較正ターゲットが、カメラ対のカメラによってキャプチャされた画像のサイズを較正するために使用されるか使用されてもよい。較正ターゲット１１５の画像をキャプチャするカメラに対して較正ターゲットのサイズと位置が知られているので、このような較正は可能である。
【００４１】
[0060]  図２は、図１において示されたカメラアレイ１００のさらに詳細なダイヤグラム２００である。カメラリグ１００は、６つのカメラで再び示されるが、いくつかの実施形態において、カメラリグ１００は、２つのカメラ、例えば、カメラ１０１と１０３を含むカメラ対１０２のみで占められる。示されるように、カメラ対据え付け位置のそれぞれの間に１２０度の間隔がある。各カメラ対の間の中心が、カメラ据え付け位置の方向に対応する場合の例を考慮する。このようなケースにおいて、第１のカメラ据え付け位置は０度に対応し、第２のカメラ据え付け位置は１２０度に対応し、第３のカメラ据え付け位置は２４０度に対応する。したがって、各カメラ据え付け位置は、１２０度離される。これは、各カメラ対１０２、１０４、１０６の中心を通して延長する中心線が延長されたか、線の間の角が測定された場合に見られ得る。
【００４２】
[0061]  図２の例において、カメラの対１０２、１０４、１０６は、いくつかの実施形態において、カメラリグベースの位置を変える必要なく、異なる時間でキャプチャされることになる異なるビューを可能にするように、カメラリグの中心ポイントの周囲を回転できる。すなわち、カメラは、リグの中心サポートの周囲を回転され得、そして、カメラは２つのカメラのみで占められるが、図２において示されるリグを使用した３６０度のシーンキャプチャを考慮して、カメラは異なる時間異なるシーンをキャプチャすることができるようにされ得る。このようなコンフィギュレーションは、特に、立体カメラの費用を考慮すると、費用の観点から望ましい。スポーツイベントや他のイベントの間のメインアクションを含む正面シーンが生じ得る時間とは異なる時間で、同じビューのポイントからキャプチャされた背景を示すことが所望され得るような多くのアプリケーションに対してうまく適する。例えば、イベントの間に、メインイベントの間に示さないようにすることが好ましい対象がカメラの後ろに置かれ得ることを考慮するイベント。このようなシナリオにおいて、後方画像は、時々、メインイベントの前にキャプチャされ、画像データの３６０度セットを提供するために、メインイベントのリアルタイムでキャプチャされた画像とともに入手可能にされる。
【００４３】
[0062]  さまざまな特徴はまた、カメラサポート構造とカメラコンフィギュレーションが、さまざまな実施形態において、７５ｍｍから３５０ｍｍの範囲におけるノーダルオフセット距離を維持し得るという事実にも関連する。１つの特定の実施形態において、３１５ｍｍのノーダルオフセット距離が維持される。サポート構造はまた、４００ｍｍ２から７００ｍｍ２の範囲で、いくつかの実施形態においてエリア全体（別称フットプリント）を維持する。１つの特定の実施形態において、６４０ｍｍ２のエリア全体（別称フットプリント）が維持される。１つの特定の実施形態において、６４９ｍｍの最小の画像距離が維持される。１つの特定の実施形態において、アレイの最適な較正距離は、ビュー交差のレンズ角とレンズの最大歪みが生じるとこりである。１つの特定の例示的な実施形態において、この距離は７４３ｍｍである。
【００４４】
[0063]  上で議論されたように、さまざまな実施形態において、カメラアレイ、例えばリグは、トータルで６のカメラのうちの２のみで占められ、これは通常、低い値、すなわち背面１８０度シーン要素の静的な画像を手動でキャプチャする一方、高い値、すなわち前面１８０度シーン要素をリアルタイムでキャプチャする目的で、同時の３６０度立体ビデオのために要求される。
【００４５】
[0064]  図３は、図１及び図２のリグと同じか又は同様であるがサポート三脚はなく、カメラ対に渡って置かれたプラスチックカバー３５０を有する例示的なカメラリグ３００を示す。プラスチックカバー３５０は、例えば、三脚上に置かれたときに、カメラリグ３００を持ち上げる又は回転するのに使用され得るハンドル３１０、３１２、３１４を含む。カメラリグ３００は、３対のカメラで示され、レンズアセンブリ３２０、３２０’を有するカメラ３０１、３０３を含む第１のカメラ対３０２、レンズアセンブリ３２２、３２２’を有するカメラを含む第２のカメラ対３０４、及び、レンズアセンブリ３２４、３２４’を有するカメラを含む第３のカメラ対３０６を含む。プラスチックカバー３５０は、図４において示されるように、１つ以上のスロットとねじ穴を有する平板として実装され得る据え付けプラットフォーム３１６に固定される。プラスチックカバー３５０は、カバー３５０の容易な取り外し又は取り付けと、カメラ対のカメラへの容易なアクセスを可能にするために、手によって取り除かれるか又は締められ得るナット又はねじ３３０、３３１でベースに固定される。図３に示されるリグ３００中は、６つのカメラが含まれるが、単一のカメラ対が含まれてもよく、及び／又は、カメラ対が据え付けられない他のカメラ据え付け位置に位置付けられた１つ以上の個々のカメラを有する単一のカメラ対が使用されてもよい。
【００４６】
[0065]  図４は、どのようにコンポーネントがアセンブルされるかについてのよりよいビューを可能にするために、部分的に分解された形態で示されたカメラリグアセンブリ４００の詳細なダイヤグラムである。カメラリグ４００は、１つの例示的な実施形態により実装され、図１及び図２において示されるカメラコンフィギュレーションを有し得る。図４において示される例において、カメラリグ４００のさまざまな構成要素が、明確性と詳細のために、分解された形態で示される。図４から正しく認識され得るように、カメラリグ４００は、カメラ７０２、７０４及び７０６の３対、例えば、立体カメラを含み、これらは、カメラリグ４００のサポート構造７２０上に据え付けられ得る。カメラ７０２の第１の対は、カメラ７５０と７５０’を含む。カメラ７０４の第２の対は、カメラ７５２、７５２’を含み、カメラ７０６の第３の対は、カメラ７５４、７５４’を含む。カメラ７５０、７５０’のレンズ７０１、７０１’は、図７において見られる。構成要素７０１と７０１’がレンズとして記述されたが、いくつかの実施形態において、これらは、カメラ７５０、７５０に固定されるレンズアセンブリであり、各レンズアセンブリは、摩擦ばめ（friction fit）又はツイストロック接続（twist lock connection）を介して、カメラ７５０、７５０’に固定される鏡胴（lens barrel）に位置付けられた複数のレンズを含む。
【００４７】
[0066]  いくつかの実施形態において、カメラ７０２、７０４及び７０６の３つの対（６つのカメラ）は、それぞれのカメラ対据え付け板７１０、７１２及び７１４を介して、サポート構造７２０上に据え付けられる。サポート構造７２０は、スロット付き据え付け板７２０の形態にあってもよい。スロット７３８は、板７２０中のスロットのうちのいくつかの例である。スロットは、重みを低減するが、カメラ対を、又は、いくつかのケースにおいて単一のカメラをサポートするのに使用されるカメラ据え付け板７１０、７１２、７１４の位置の調節も可能にする。
【００４８】
[0067]  サポート構造７２０は、隣接する据え付け位置の方向から異なる方向オフセット１２０度に対応する各据え付け位置を有する立体カメラ対７０２、７０４、７０６を据え付けるための３つの異なる据え付け位置を含む。説明された図７の実施形態において、立体カメラ７０２の第１の対は、３つの据え付け位置のうちの第１のもの、例えば、前向き位置に据え付けられ、正面ビューイングエリアに対応する。立体カメラ７０４の第２の対７０４は、３つの据え付け位置の第２のもの、例えば、正面位置に関して１２０度時計回りで回転する背景右位置に据え付けられ、異なる右後方ビューイングエリアに対応する。立体カメラの第３の対７０６は、３つの据え付け位置の第３のもの、例えば、正面位置に関して２４０度時計回りに回転する背景左位置に据え付けられ、左後方ビューイングエリアに対応する。各カメラ位置におけるカメラは、少なくとも１２０のビューイングエリアをキャプチャするが、多くのケースにおいて、少なくとも１８０度ビューイングエリアをキャプチャしてもよく、その結果、いくつかの実施形態では切り取られるようなオーバーラップ部分のうちのいくらかを使って、３６０度ビューへの画像の結合を可能にする、キャプチャされた画像のオーバーラップを生ずる。
【００４９】
[0068]  第１のカメラ対据え付け板７１０は、スレッデッドねじ穴７４１、７４１’、７４１’’、及び、７４１’’を含み、これらを通して、ねじ７０４、７４０’、７４０’’、７４０’’は、それぞれロット７３８及び７３８’を通して、サポート構造７２０に対する板７１０を固定するために挿入され得る。スロットは、サポート板７１０の位置の調節を可能にする。
【００５０】
[0069]  第１のカメラ対のカメラ７５０、７５０’は、板７０３、７０３’の底を通過してカメラ７５０、７５０’の底におけるスレッデッド穴（threaded holes）に延長するねじを使用して、個々の対応するカメラ据え付け板７０３、７０３’に固定される。いったん個々の据え付け板７０３、７０３’に固定されると、カメラ７５０、７５０’と据え付け板７９３、７０３’は、ねじを使用してカメラ対据え付け板７１０に固定され得る。ねじ７２５、７２５’、７２５’’ （完全に見えていない）及び７２５’’’は、カメラ板７０３とカメラ７５０をカメラ対据え付け板７１０に固定するために、対応するスロット７２４を通って、カメラ対据え付け板７１０のスレッデッド穴７４５、７４５’、７４５’’及び７４５’’’に通過する。同様にカメラ板７０３’とカメラ７５０’をカメラ対据え付け板７１０に固定するために、ねじ７２７、７２７’（完全に見えていない）、７２７’’及び７２７’’は、対応するスロット７２６、７２６’、７２６’’及び７２６’’’を通って、対応するカメラ対据え付け板７１０のスレッデッド穴７４６、７４６’、７４６’’及び７４６’’’に通過する。
【００５１】
[0070]  サポート構造７２０は、サポート構造を通過する物（object）が、近くを動くときにサポート構造上で捉えられるリスクを低減するために据え付けられたスタンドオフ・ローラ７３２、７３２’を有する。これは、サポート構造７２０へのダメージのリスクを低減する。さらに、ローラ後ろの内側の空洞エリア(hollow area)を有することによって、ローラへの衝撃は、サポート構造のメイン部分にあまり伝わらないようになる。すなわち、ローラ７３２、７３２’の後ろの空間は、カメラ据え付け板を固定するために使用されるスロットを含むサポート構造のメイン部分にダメージを与えることなく、スタンドオフ・ローラ７３２’が据え付けられるサポート構造のバー部分の変形を可能にする。
【００５２】
[0071]  さまざまな実施形態において、カメラリグ４００は、例えば、ベースの中心からサポート板７２０に延長するシャフトやスレッデッドロッドによって、サポート構造７２０が回転可能に据え付けられたベース７２２を含む。したがって、さまざまな実施形態において、サポート構造７２０上のカメラアセンブリは、ベース７２２の中心を通過する軸の周囲を３６０度回転され得る。いくつかの実施形態において、ベース７２２は、三脚や別の据え付け装置の一部であり得る。三脚は、チューブの対（７４２、７４２’）、（７４２’’及び７４２’’）によって形成された脚とともに、ビューイング角度に起因して、図４において見えない付加的な脚を含む。脚は、ヒンジによってベース７２２に固定され、輸送のために保持され得る。サポート構造は、プラスチック、金属、又は、グラファイトやファイバーグラスのような複合材料、又は、これらのいくつかの組み合わせからできていてもよい。カメラ対は、中心ポイントの周囲を回転され、いくつかの実施形態において、中心ノーダルポイントと呼ばれることもある。
【００５３】
[0072]  図４において示されるアセンブリ４００は、個々のカメラ据え付け板をカメラ対に固定するねじを緩めて、その後、ねじを再び締める前にカメラ位置を調節することによって、個々のカメラの位置がトップから調節されるのを可能にする。カメラ対の位置は、サポート構造７２０の底側からアクセス可能なねじを緩めた後にカメラ対据え付け板を動かすことと、板を動かして、その後ねじを再び締めることによって、調節され得る。したがって、カメラ対の一般的な位置と方向は、サポート板７２０におけるスロットによって規定され、位置と方向は、カメラリグが使用されることになる領域においてサポート構造７２０にカメラが固定される間、所望のカメラ配列を達成するためのカメラ較正プロセスの一部として細かく調節され得る。
【００５４】
[0073]  図５において、図４において使用されたのと同じ参照番号は、同じ構成要素を指す。図５は、カメラが所望の位置に調節された後に、カメラの剛性と安定性を増加するために、カメラ対のトップに付加された、付加的な安定化板５０２、５０２’、５０４、５０４’、５０６と、安定化板接合バー５０３、５０５、５０７、５０９、５１１、５１３を有するアセンブリされた形態の、例示的なカメラリグ４００を示す図５００を図示する。
【００５５】
[0074]  図５００において、カメラ対７０２、７０４、７０６は、図示された図面において見えているカメラ対据え付け板７１０の少なくとも１つを有するサポート構造７２０上に据え付けられているのがわかる。図４に関してすでに上述したカメラリグ４００の構成要素に加えて、図５００において、カメラ表面上に据え付けられた、２つのシミュレートされた耳７３０、７３２も見られる。これらのシミュレートされた耳７３０、７３２は、人間の耳を模倣しており、いくつかの実施形態において、人間の耳の形状で成形されたシリコンやプラスチックからできている。模倣された耳７３０、７３２は、平均的な人の人間の耳の間の間隔と等しい距離で、又は、おおよそ等しい距離で、互いに離された２つの耳を有するマイクロフォンを含む。模倣された耳７３０、７３２において据え付けられたマイクロフォンは、前向きカメラ対７０２上に据え付けられるが、代替的に、サポート構造、例えば、プラットフォーム７２０上に据え付けられ得る。人間の耳が、人間の頭部における目の前面と直角をなして位置されるのと同様の方法で、模倣された耳７３０、７３２は、カメラ対７０２の前面と直角をなして位置される。模倣された耳７３０、７３２の側面における穴は、模倣された耳に対するオーディオ／音声エントリポイントとして動作し、模倣された耳と穴は、人間の耳が人間の耳に含まれる鼓膜にオーディオ音声を方向付けるのと同様に、模倣された耳のそれぞれの中に据え付けられたマイクロフォンに向けてオーディオを方向付けるために協働して動作する。左及び右の模倣された耳７３０、７３２におけるマイクロフォンは、もし、人間がカメラリグの位置に位置付けられた場合、カメラリグ５００のロケーションにいる人間が、人間の左及び右耳を介して知覚するものと同様の立体音声キャプチャを提供する。模倣耳において据え付けられたマイクロフォンのオーディオ入力は、人間の耳のセンサ部分が人間の顔とやや直角をなしているのと同じように、前向きカメラ７５０、７５０’の外側レンズの面と直角をなす。模倣耳は、ちょうど人間の耳が人間の鼓膜に向けて音波を方向付けるように、音声をマイクロフォンに向けて方向付ける。
【００５６】
[0075]  模倣された耳７３０、７３０は、サポートバー５１０上に据え付けられ、これは、音声をキャプチャするためのマイクロフォンを含む。オーディオキャプチャシステム７３０、７３２、８１０は、ハンドル５１５を介して動かされ得る移動可能なアーム５１３によってサポートされる。
【００５７】
[0076]  図４と図５は、３つの立体カメラ対を有する例示的なカメラリグの１つのコンフィギュレーションを図示するものであるが、他の変形も可能であることが正しく認識されるべきである。例えば、１つのインプリメンテーションにおいて、カメラリグ４００は、異なる時間にキャプチャされるための異なる１２０度のビューを可能にするように、カメラリグの中心ポイントの周囲を回転できる立体カメラの単一の対を含む。したがって、単一のカメラ対は、サポート構造上に据え付けられて、リグの中心サポートの周囲を回転され、そして、３６０度シーンキャプチャを可能にする異なる時間で異なるシーンをキャプチャするのを可能にされ得る。
【００５８】
[0077]  他の実施形態において、カメラリグ４００は、単一の立体カメラ対７０２と、立体カメラの対のために普通使用される第２及び第３の位置のそれぞれにおいて据え付けられた１つのカメラを含む。このような実施形態において、単一のカメラは、第２のカメラ対７０４の代わりにリグに据え付けられ、別の単一のカメラがカメラ対７０６の代わりにカメラリグに据え付けられる。したがって、このような実施形態において、第２のカメラ対７０４は、単一のカメラを代表しているとして考えられ得、カメラ対７０６は、付加的な単一のカメラを説明するとして考えられ得る。
【００５９】
[0078]  図６〜図９は、いくつかの例示的な実施形態により実装される他の例示的なカメラリグのさまざまなビューを図示する。
【００６０】
[0079]  図６は、いくつかの例示的な実施形態により実装される例示的なカメラリグ８０１の１つのビューを示す図８００を図示する。カメラのアレイは、これらのうちのいくつかが立体カメラであるカメラリグ８０１中に含まれる。図８００における、カメラリグ８０１の図示されたビューにおいて、カメラの同様の配列が、図面８００において完全に見えないカメラリグ８０１の（異なる面としても呼ばれる）他の側面上に存在するが、カメラリグ８０１の一部分のみは見えている。全てではないがいくつかの実施形態において、カメラリグ８０１は、トッププラスチックボディ又はカバー８０５と、底ベースカバー８４２によって固定された１３のカメラを含む。いくつかの実施形態８において、これらの１３のカメラは、対におけるカメラ８０４、８０６、８１２及び８１４のような立体カメラである一方、他の多くのカメラは、図面８００において見えているカメラ８０２と８１０、及び、図面８００において完全ではないが部分的に見えているカメラ８１５と８２０のような光領域カメラである。さまざまな他のカメラの組み合わせが可能である。いくつかの実施形態において、カメラ８２５はまた、関心がある環境のトップ範囲の画像をキャプチャするために、カメラリグ８０１のトップ部分、例えば、カメラリグ８０１のトップ面８４０に据え付けられる。プラスチックボディ／カバー８０５は、カメラリグ８０１を持ち上げる又は回転するのに使用され得るハンドル８１１、８１３、８１７を含む。
【００６１】
[0080]  いくつかの実施形態において、カメラリグ８０１は、カメラリグ８０１の各より長い側面上で立体カメラ対を形成する１つの光領域カメラ(例えば、カメラ８０２）と、２つの他のカメラ（例えば、カメラ８０４、８０６）を含む。いくつかのこのような実施形態において、４つのより長い各側面（４つの側面８３０、８３２、８３４及び８３６としても呼ばれる）があり、より長い側面のそれぞれは１つの光領域カメラと１つの立体カメラを有しており、例えば、図８００において、左側に１つのより長い側面８３６上に光領域カメラ８０２と立体カメラ対８０４、８０６がある一方、右側に別のより長い側面８３０上に別の光領域カメラ８１０と立体カメラ対８１２、８１４があることが見られる。他の２つの側面は、図面８００には完全に示されていないが、それらは、図８においてさらに詳細に示される。いくつかの実施形態において、カメラの少なくともいくつか、例えば、立体カメラと光領域カメラは、カメラリグ８０１において魚眼レンズを使用する。さまざまな実施形態において、カメラリグ８０１におけるカメラのそれぞれは、対象によって引き起こされ得る物理的衝撃及び／又はダメージに対して、カメラ及び／又はレンズを保護するために対応するレンズ／カメラガードによって保護される。例えば、カメラ８０２、８０４及び８０６は、ガード８４５、８４７及び８４９によってそれぞれ保護される。同様に、カメラ８１０、８１２及び８１４は、ガード８５０、８５２及び８５４によってそれぞれ保護される。
【００６２】
[0081]  ４つのそれぞれの側面８３０、８３２、８３４及び８３６上の立体カメラ対と光領域カメラに加えて、いくつかの実施形態において、カメラリグ８０１は、例えば、カメラリグ８０１のトップ面８４０上で、閉じられた環境のケースにおいて、例えば空又は別の天井内張り表面に向かうように、上向きに垂直の方向に面しているカメラ８２５をさらに含む。いくつかのこのような実施形態において、カメラリグ８０１のトップ面上でのカメラ８２５は、光領域カメラである。図面８００において示されないが、他のいくつかの実施形態において、カメラリグ８０１のトップ面８４０はまた、カメラ８２５に加えて、左及び右目画像をキャプチャするための別の立体カメラ対を含む。通常の状況において、カメラ８２５によってキャプチャされた、例えば、スタジアム、劇場、コンサートホール等の３６０度環境の上部半球（top hemisphere）（空部分としても呼ばれる）は、いくつかのケースにおいてアクションを含み得ない、及び／又は、静的であるままであり得、他の環境部分がリグ８０１上で他のカメラによってキャプチャされるのと同じレートで、空部分をキャプチャすることが重要である、又は、望ましいかもしれない。
【００６３】
[0082]  １つの例示的なカメラアレイ配置が示され、カメラリグ８０１に関して上で議論されたが、いくつかの他のインプリメンテーションにおいて、カメラリグ８０１の４つの面８３０、８３２、８３４、８３６上の立体カメラの対（例えば、カメラ８０４、８０６、及び、８１２、８１４）のトップ上に配置された（例えば、カメラ８０２と８１０のような）ただ単一の光領域カメラの代わりに、カメラリグ８０１は、立体カメラ対で配置された光領域カメラのアレイを含む。例えば、いくつかの実施形態において、カメラリグ８０１のより長い側面のそれぞれの上に、立体カメラ対のトップ上に配置された３つの光領域カメラがある。別の実施形態において、カメラリグ８０１のより長い側面のそれぞれの上に、例えば、立体カメラ対のトップ上に配置された３つの光領域カメラの２つの列で、立体カメラ対のトップに配置された６つの光領域カメラがある。このような変形のいくつかは、図１２〜図１３に関して議論される。さらに別の変形において、図面８００において示されたタイプのカメラリグはまた、図８において示された水平方向においてポイントされたカメラを有する４つの面８３０、８３２、８３４、８３６の代わりに、水平方向においてポイントするカメラを有するカメラリグの３つの面があるように実装され得る。
【００６４】
[0083]  いくつかの実施形態において、カメラリグ８０１は、これが垂直軸の周囲を回転され得るように、サポート構造上に据え付けられ得る。さまざまな実施形態において、カメラリグ８０１は、例えば、スタジアム、観客席、又は、キャプチャされるためのイベントが開催されている別の場所のような関心がある環境において配備され得る。いくつかの実施形態において、カメラリグ８０１の光領域カメラは、関心がある環境の画像、例えば、関心がある３６０度のシーンエリアをキャプチャして、３Ｄ環境をシミュレートして立体的な画像コンテンツを表示する際に使用され得る深度マップを生成するのに使用される。
【００６５】
[0084]  図７は、さらなる明確性及び詳細のために分解された形態においてカメラリグ８０１のいくつかの構成要素を有する例示的なカメラリグ８０１を示す図面９００を図示する。図面８００において示された図において見えなかったカメラリグ８０１のさまざまな付加的な構成要素は、図７において示される。図７において、同じ参照番号が、図６において示されて識別されたカメラリグ８０１の構成要素を識別するのに使用された。図面９００において、少なくとも２つの側面８３０と８３６とともに、カメラリグ８０１のトップ面８４０と低面８４２は、目に見える。
【００６６】
[0085]  図面９００において、カメラリグ８０１の４つの側面８３０、８３２、８３４、８３６のうちの２つ以上のカメラのさまざまなコンポーネントが示される。レンズアセンブリ９０２、９０４及び９０６は、カメラリグ８０１の側面８３６のカメラ８０２、８０４及び８０６にそれぞれ対応する。レンズアセンブリ９２５が、カメラリグ８０１のトップ面上のカメラ８２５に対応する一方、レンズアセンブリ９１０、９１２及び９１４は、側面８３０のカメラ８１０、８１２及び８１４にそれぞれ対応する。図面９００において、３つの側面サポート板８０８、８０８’及び８０８’’’も示され、これらは、カメラリグ８０１のトップ及び低面カバー板８０５と８４２をサポートする。側面サポート板８０８、８０８’及び８０８’’’は、図において示されたねじの対応する対を介して、トップカバー８０５と低面ベースカバー８４２に固定される。例えば、側面サポート板８０８は、ねじ対９５１と９５６を介して、トップ及び底面カバー板８０５、８４２に固定され、側面サポート板８０８’は、ねじ対９５２と９５４を介して、トップ及び底面カバー板８０５、８４２に固定され、側面サポート板８０８’’’は、ねじ対９５０と９５８を介して、トップ及び底面カバー板８０５、８４２に固定される。いくつかの実施形態において、カメラリグ８０１は、複数のねじ９６０を介して、底面カバー板８４２に固定されたベースサポート９６０を含む。ベースサポート９６０を介したいくつかの実施形態において、カメラリグは、これが垂直軸、例えば、ベース９６０の中心を通っていく軸の周囲を回転されるように、サポート構造上に据え付けられ得る。外部サポート構造は、三脚又は別のプラットフォームであり得る。
【００６７】
[0086]  図８は、カメラリグ８０１のさらなる構成要素を有する、例示的なカメラリグ８０１の上面図を示す図面１０００をさらに詳細に図示する。カメラリグ８０１の上面図において、図面８００〜９００において完全には目に見えなかった他の２つの側面８３２と８３４が、さらに明確に示される。レンズアセンブリ９１５、９１６、及び９１８は、カメラリグ８０１の側面８３２上のカメラ８１５と立体カメラ対に対応する。レンズアセンブリ９２０、９２２及び９２４は、カメラリグ８０１の側面８３４上のカメラ９２０と立体カメラ対に対応する。
【００６８】
[0087]  図面１０００において見られ得るように、（小さな矢印が面に向かってポイントしている）４つの側面８３０、８３２、８３４、８３６のそれぞれの上のカメラのアセンブリと、異なる方向におけるカメラリグ８０１のトップ面８４０が見られる。カメラリグ８０１の側面８３０、８３２、８３４、８３６上のカメラは、（例えば、対応する面と垂直である）水平でポイントされる一方、トップ面８４０上のカメラは上向きの垂直方向においてポイントされる。例えば、図８において示されるように、カメラリグ８０１の面８３６上のカメラ（レンズアセンブリ９０２、９０４、９０６に対応するカメラ）は、矢印１００２によって示される第１の方向に面している。矢印１００４は、カメラリグ８０１の面８３０上のカメラ（レンズアセンブリ９１０、９１２、９１４に対応するカメラ）が面している第２の方向を示し、矢印１００６は、カメラリグ８０１の面８３２上のカメラ（レンズアセンブリ９１５、９１６、９１８に対応するカメラ）が面している第３の方向を示し、矢印１００８は、カメラリグ８０１の面８３４上のカメラ（レンズアセンブリ９２０、９２２、９２４に対応するカメラ）が面している第４の方向を示し、矢印１０１０は、カメラリグ８０１のトップ面８４０上のカメラ（レンズアセンブリ９２５に対応するカメラ８２５）が面している第５の（垂直）方向を示す。さまざまな実施形態において、第１、第２、第２及び第４の方向は、一般的に水平方向であるが、第５の方向は垂直方向である。いくつかの実施形態において、異なる側面８３０、８３２、８３４及び８３６上のカメラは、均等に間隔を空けられている。いくつかの実施形態において、第１、第２、第３及び第４の方向間の角度は同じである。いくつかの実施形態において、第１、第２、第３及び第４の方向は異なり、９０度離れている。いくつかの他の実施形態において、カメラリグは、図面８００〜１０００において示される同じ又は同様のカメラアセンブリとともに、カメラリグが、４つの側面の代わりに３つの側面を有するように実装される。このような実施形態において、カメラリグ８０１の側面上のカメラは、３つの異なる方向、例えば、１２０度離れている第１、第２及び第３の方向で、第１、第２及び第３の方向にポイントする。
【００６９】
[0088]  図９は、いくつかの例示的な実施形態により実装される、また別の例示的なカメラリグ１１０１のビューを示す図面１１００を図示する。例示的なカメラリグ１１０１は、殆どの及び多くの態様において、カメラリグ８０１と同様であり、カメラリグ８０１に関して先に議論されたカメラの同じ又は同様のコンフィギュレーションを含む。カメラリグ１１０１は、カメラリグ８０１と同様の、４つの側面１１３０、１１３２、１１３４、１１３６及び、トップ面１１４０を含む。カメラリグ１１０１の４つの側面１１３０、１１３２、１１３４、１１３６のそれぞれは、光領域カメラと立体カメラ対の対を含むカメラのアレイを含む一方、カメラリグのトップ面１１４０は、カメラリグ８０１に関して示されて議論されたものと同様の少なくとも１つのカメラ装置１１２５を含む。しかしながら、カメラリグ１１０１は、５つの面１１３０、１１３２、１１３４、１１３６及び１１４０のそれぞれ上のカメラアレイに加えて、例えば、グラウンドに向けて、垂直に下向きに面している少なくとも１つのカメラ１１２６を含む６番目の底面１１４２をさらに含む。いくつかのこのような実施形態において、垂直に下向きに面しているボトム面カメラ１１２６と、上向きに垂直に面しているトップ面カメラ１１２５は、光領域カメラである。いくつかの実施形態において、カメラ１１２５と１１２６のそれぞれは、カメラ領域１１０１のトップ及びボトム面１１４０、１１４２上の対応する立体カメラ対の一部である。
【００７０】
[0089]  カメラリグ８０１と１１０１の立体カメラは、例えばイベントの間に、立体的な画像コンテンツをキャプチャするのに使用される一方、光領域カメラの使用は、関心があるシーンエリアをスキャンすることを可能にし、（例えば、関心があるシーンのこれらの部分に対応するキャプチャされた画像から）光領域カメラによってキャプチャされたシーンエリアのさまざまな部分の深度マップを生成する。いくつかの実施形態において、シーンエリアのさまざまな部分の深度マップは、シーンエリアの複合深度マップを生成するために結合され得る。このような深度マップ、及び／又は、複合深度マップは、いくつかの実施形態において、立体的な画像コンテンツを表示して、ビューアによって体験され得る３Ｄ環境をシミュレートする際の使用のために、再生装置に提供される。
【００７１】
[0090]  図１０は、いくつかの実施形態による、カメラリグ３００、カメラリグ４００、及び／又は、カメラリグ８０１と１１０１のような、本発明により実装される例示的なカメラリグにおいて使用され得る、カメラのアレイの例示的な配置１２００の正面図を図示する。カメラリグ８０１のそれぞれの面の上の立体カメラの対の上に配置された単一の光領域カメラを有する、図面８００において示される配置との比較において、例示的な配置１２００は、立体カメラ対１２０８、１２１０とともに配置された光領域カメラ１２０２、１２０４及び１２０６のアレイを使用する。例示的な配置１２００は、いくつかの実施形態において、本発明により実装される（カメラリグ８０１のような）カメラリグにおいて使用され得る。このような実施形態において、カメラのリグの各面は、立体カメラの単一の対（例えば、１２０８、１２１０）で配置された３つの光領域カメラ（例えば、１２０２、１２０４及び１２０６）を有する例示的な配置１２００を使用する。配置における多くの変形が可能であり、本発明の範囲内にあることが正しく認識されるべきである。
【００７２】
[0091]  図１１は、いくつかの実施形態による、カメラリグ８０１、又は、以前に議論された他のカメラリグのいずれかのような例示的なカメラリグにおいて使用され得るカメラのアレイのまた別の例示的な配置１３００の正面図を図示する。立体カメラの対の上に配置された単一の光領域カメラを有する図面８００において示される配置との比較において、例示的な配置１３００は、立体カメラ対１３２０、１３２２とともに配置された６つの光領域カメラ１３０２、１３０４、１３０６、１３０８、１３１０及び１３１２のアレイを使用する。光領域カメラは、示される３つの光領域カメラのグループを含む各列で他方の上に１つの列を配置するように、３つの光領域カメラの２列で積み重ねられる。例示的な配置１３００は、いくつかの実施形態において、配置１３００を使用するカメラリグの各面を有する本発明により実装される（カメラリグ８０１のような）カメラリグにおいて使用され得る。
【００７３】
[0092]  上述のように、カメラリグの立体カメラが、例えばイベントの間に立体的な画像コンテンツをイベントキャプチャするのに使用される一方、光領域カメラの使用は、関心のあるシーンエリアをスキャンするのを可能にし、（関心のあるシーンのこれらの部分に対応するキャプチャされた画像から）光領域カメラによってキャプチャされたシーンエリアのさまざまな部分の深度マップを生成する。いくつかの実施形態において、シーンエリアのさまざまな部分の深度マップは、シーンエリアの複合深度マップを生成するように結合され得る。このような深度マップ及び／又は複合深度マップは、いくつかの実施形態において、立体的な画像コンテンツを表示して、ビューアによって体験され得る３Ｄ環境をシミュレートする際の使用のために、再生装置に提供され得る。
【００７４】
[0093]  立体カメラとの組み合わせ上での光領域カメラの使用は、環境測定とリアルタイムで、例えば、シュートがあるイベントの間に環境深度マップの生成を可能にし、したがって、例えば、サッカーの試合のようなイベントの開始の前に時間的に先だって、オフラインで実行されるための環境測定の配備に対する必要性を不要にする。
【００７５】
[0094]  各画像から生成された深度マップが、マップされるための環境の一部分に対応する一方、いくつかの実施形態において、個々の画像から生成された深度マップは処理され、例えば、光領域カメラを使用してスキャンされた完全な環境の複合マップを形成するように、縫い合わされる。したがって、光領域カメラを使用することによって、比較的完全な環境マップは、いくつかの実施形態において、生成され得る。
【００７６】
[0095]  光領域カメラのケースにおいて、マイクロレンズのアレイは、人が取得の後に画像に再焦点をあてるのに十分な情報をキャプチャする。画像キャプチャの後、メインレンズのサブアパチャ内の１つの視点をシフトし、効果的に複数のビューを取得することも可能である。光領域カメラのケースにおいて、焦点外れと一致の両方からの深度キューが単一のキャプチャにおいて同時に利用可能である。立体カメラによってキャプチャされない、遮られた情報／シーン部分中に埋めるように試行するときに、これは有用であり得る。
【００７７】
[0096]  光領域カメラ出力から生成された深度マップは、特定のイベント、例えば、立体カメラによってキャプチャされるためのコンサート又は試合のためのスタジアム又は関心ある他の環境における変化を正確に測定しやすい。さらに、立体カメラが据え付けられた同じロケーション又は近いロケーションから環境を測定することによって、環境マップは、少なくともいくつかの実施形態において、イベントをキャプチャするのに使用される立体カメラの観点から知覚されやすいので環境を正確に反映する。
【００７８】
[0097]  いくつかの実施形態において、例えば、立体カメラ対のビューの位置及び／又は領域がわずかに光領域カメラのものとは異なるので、ならびに／あるいは、立体カメラからのビューの妨害に起因して光領域カメラによってキャプチャされた画像は、処理されて、立体カメラ対によってキャプチャされない環境の部分について埋めるのに使用される。例えば、光領域カメラが、立体対の位置に対して後方に面しているとき、これは、前方に面する立体カメラ対に対して目に見えない後方に面するビューをキャプチャし得る。いくつかの実施形態において、光領域カメラの出力は、立体カメラ対によってキャプチャされた画像データとは別に、又は、一緒に、再生装置に対して提供される。再生装置は、立体カメラ対によって十分キャプチャされなかったシーンエリアが表示されることになるとき、光領域カメラによってキャプチャされた画像の全て又は一部分を使用し得る。さらに、光領域カメラによってキャプチャされた画像の一部分は、立体的な画像の一部分中に埋めるように使用されてもよく、これは、立体カメラ対の位置からのビューから遮られたが、ユーザは、彼又は彼女が、立体カメラ対のロケーションに対応するデフォルトビューイング位置に対して、彼又は彼女の頭部を左又は右にシフトするとき、見ることが可能であることを予期する。例えば、ユーザが、彼の／彼女のビューを遮断する柱の周囲をじっと見ようとする試行の際に、左又は右に傾く場合、いくつかの実施形態において、光領域カメラによってキャプチャされた１つ以上の画像からのコンテンツは、立体カメラに対して目に見えないが、ユーザが左又は右に傾くことによって再生の間に達成するシフトされた頭部位置から、ユーザに対して目に見えることが予期される画像コンテンツを提供するために使用される。
【００７９】
[0098]  図１〜図９において図示されたさまざまな例示的なカメラリグは、例えば、通常のカメラ、立体カメラ対、光領域カメラ等、さまざまな異なるカメラを備えることができる。例示的なカメラリグは、本発明の特徴によるさまざまな用途をサポートするために、例えば装備されたカメラを使用して、例えば測定や画像のような環境情報をキャプチャするためのさまざまな実施形態において使用される。
【００８０】
[0099]  図１２は、本発明のいくつかの実施形態によって実装された例示的なシステム１４００を図示する。システム１４００は、１つ以上の顧客装置、例えば顧客構内に位置付けられた再生装置／コンテンツプレーヤに対して、画像キャプチャや処理及び伝達等を含む環境情報測定とキャプチャをサポートする。システム１４００は、例示的な画像装置１４０４、立体的な画像システム１４０６、処理システム１４０８、通信ネットワーク１４５０、及び、複数の顧客構内１４１０、・・・、１４１２を含む。立体的な画像システム１４０６が１つ以上の立体カメラを含む一方、画像装置１４０４は、１つ以上の光領域カメラを含む。いくつかの実施形態において、画像装置１４０４と立体的な画像システム１４０６は、例示的なカメラリグ１４０２中に含まれ、これは、図１〜図９に関して、先に議論されたカメラリグのうちのいずれかであり得る。カメラリグ１４０２は、光領域カメラ装置と立体的な画像システム１４０６に加えて、付加的な画像及び／又は環境測定装置を含み得る。画像装置１４０２は、本発明の特徴に従って、画像コンテンツをキャプチャして処理する。通信ネットワーク１４５０は、例えば、ハイブリッドファイバー同軸（hybrid fiber-coaxial）（ＨＦＣ）ネットワーク、衛星ネットワーク、及び／又は、インターネットであり得る。
【００８１】
[00100]  処理システム１４０８は、本発明による、立体的な画像システム１４０６中に含まれる１つ以上の光領域カメラ１４０４と１つ以上の立体カメラから受信された画像データを処理するように構成される。処理システム１４０８によって実行される処理は、本発明のいくつかの特徴による、関心がある環境の深度マップを生成することと、３ＤメッシュモデルとＵＶマップを生成することと、１つ以上の再生装置にそれらを伝えることを含む。処理システム１４０８によって実行された処理は、立体的な画像システム１４０６から受信された立体的な画像データを処理して符号化することと、立体カメラから生成された立体的なコンテンツのレンダリング／再生の際に使用するための１つ以上の再生装置にそれを伝達することをさらに含む。
【００８２】
[00101]  いくつかの実施形態において、処理システム１４０８は、コンテンツ、例えば、関心がある環境に対応する深度マップ及び／又は３Ｄメッシュモデル及び／又は画像コンテンツに対する要求に応答するサーバを有するサーバを含む。再生装置は、いくつかの実施形態において、３Ｄ環境をシミュレートして３Ｄ画像コンテンツをレンダリングするためにこのような情報を使用し得る。全てではないがいくつかの実施形態において、画像データ、例えば、関心がある環境に対応する深度マップ、及び／又は、画像装置１４０４の光領域カメラ装置によってキャプチャされた画像から生成された画像コンテンツは、通信ネットワーク１４５０を通って、画像装置１４０４から顧客再生装置に直接伝えられる。
【００８３】
[00102]  処理システム１４０８は、例えば、通信ネットワーク１４５０を通して１つ以上の顧客装置に画像データ及び／又は情報を、ストリーミング、例えば送信するように構成される。ネットワーク１４５０を介して、処理システム１４０８は、通信ネットワーク１４５０を横切るリンク１４０９によって図面において表されるように、顧客構内１４１０、１４１２に位置付けられた装置に情報を送る、及び／又は、装置と情報を交換できる。画像データ及び／又は情報は、１つ以上の再生装置に伝達する前に符号化され得る。
【００８４】
[00103]  各顧客構内１４１０、１４１２は、複数の装置／プレーヤを含み得、これらは、例えば、システム１００において配備された立体カメラ及び／又は他のカメラによってキャプチャされた画像コンテンツを復号、再生／表示するのに使用される。画像コンテンツは通常、処理システム１４０８によって処理されて装置に伝えられる。顧客構内Ｎ  １４１２が、表示装置１４２４に結合された復号装置／再生装置１４２６を含む一方、顧客構内１  １４１０は、表示装置１４２０に結合された復号装置／再生装置１４２２を含む。いくつかの実施形態において、表示装置１４２０、１４２４は、頭部装着型立体表示装置である。いくつかの実施形態において、再生装置１４２２、１４２６は、立体カメラによってキャプチャされた立体コンテンツから生成された立体的な画像コンテンツを表示する際に、処理システム１４０８から受信された、関心がある環境の深度マップ及び／又は３Ｄメッシュモデル及びＵＶマップを受信して使用する。
【００８５】
[00104]  さまざまな実施形態において、再生装置１４２２、１４２６は、対応する表示装置１４２０、１４２４上で画像コンテンツを提示する。再生装置１４２２、１４２６は、立体カメラによってキャプチャされた立体画像コンテンツを復号し、復号されたコンテンツを使用して、表示装置１４２０、１４２４上で画像コンテンツ、例えば３Ｄ画像コンテンツをレンダリングして、画像コンテンツを生成することができる装置であり得る。さまざまな実施形態において、再生装置１４２２、１４２６は、画像データと深度マップ及び／又はメッシュモデルを処理システム１４０８から受信して、３Ｄ画像コンテンツを表示するのにそれらを使用する。
【００８６】
[00105]  図１３Ａと図１３Ｂの組み合わせを備える図１３は、いくつかの実施形態により、画像システムを作動する例示的な方法のフローチャート１５００を図示する。フローチャート１５００の方法は、画像キャプチャ装置を含む画像システムと処理システムを使用して、いくつかの実施形態において実装される。システム中の画像キャプチャ装置、例えば、光領域カメラ及び／又は立体カメラは、図面において示されて、上で詳細に議論された、さまざまなカメラリグ中に含まれ得る、及び／又は、その上に据え付けられ得る。
【００８７】
[00106]  方法は、ステップ１５０２において開始し、例えば、画像システムが電力を入れられて、初期化される。方法は、開始ステップ１５０２から、ステップ１５０４、１５０６、１５０８に進み、これらは、画像システムの異なる構成要素、例えば、１つ以上のカメラと処理システムによって並行して実行され得る。
【００８８】
[00107]  ステップ１５０６において、処理システムは、関心がある環境に対応する静的な環境深度マップを、例えば、システム上でダウンロードすることによって、及び／又は、処理システム上でアップロードすることによって記録媒体に環境深度マップを含ませることにより、得る。関心がある環境は、例えば、関心があるイベントが開催されるスタジアム、観客席、フィールド等であり得る。さまざまな実施形態において、イベントはキャプチャされ、例えば、立体カメラと光領域カメラを含む１つ以上のカメラ装置によって記録される。静的な環境深度マップは、例えば、イベントの前であり、したがって静的と呼ばれる、以前に行われた関心がある環境の環境測定を含む。関心があるさまざまな有名な環境、例えば、イベントが起こる既知のスタジアム、観客席等についての静的な環境の深度マップは、容易に利用可能であるが、しかしながら、このような環境深度マップは、イベントの間に生じるかもしれない環境に対する動的な変化、及び／又は、環境測定が行われたときから生じたかもしれない他の変化を考慮に入れていない。関心がある環境の静的な深度マップは、例えば、ＬＩＤＡＲ及び／又は他の方法を使用して、さまざまな測定技術を使用して生成され得る。動作は、ステップ１５０４からステップ１５１０へ進む。さまざまな実施形態において、処理システムは、静的な深度マップを利用可能であるとき要求する一方、静的な深度マップが利用可能でないときのケースにおいて、動作は次のステップ１５１０に進む。
【００８９】
[00108]  ステップ１５１０において、例えば、処理システムに対して、静的な深度マップが利用可能であるかどうかがチェックされる。静的な深度マップが利用可能である場合、動作は、ステップ１５１０からステップ１５１２に進み、そうでなければ、動作は、ステップ１５１８に進む。ステップ１５１２において、処理システムは、静的な深度マップになるように、現在の深度マップ（例えば、使用されることになるベース環境深度マップ）を設定する。いくつかの実施形態において、システムが初期化されて、他のソースからの深度マップが利用可能でないとき、その後処理システムは、最初に静的な深度マップになるように現在の深度マップを設定する。動作は、ステップ１５１２からステップ１５１８に進む。
【００９０】
[00109]  ステップ１５０６に対応する経路とともにステップを参照する。ステップ１５０６において、関心がある環境の部分の立体的な画像対、例えば、左及び右目画像は、１つ以上の立体カメラ対を使用してキャプチャされる。いくつかの実施形態において、画像をキャプチャする立体カメラ対は、上で議論されたさまざまな実施形態により実装されたカメラリグ上に据え付けられる。動作は、ステップ１５０６からステップ１５１４に進む。ステップ１４１４において、キャプチャされた立体的な画像対は、処理システムにおいて受信される。動作は、ステップ１５１４からステップ１５１６に進む。ステップ１５１６において、環境深度マップ（例えば、関心がある環境の複合深度マップ）は、１つ以上の立体的な画像対から生成される。動作は、ステップ１５１６からステップ１５１８に進む。
【００９１】
[00110]  ステップ１５１８に戻る。ステップ１５１８において、処理システムは、１つ以上の立体的な画像対から生成された環境深度マップが利用可能であるかどうかを決定する。例えば、いくつかのケースにおいて、立体カメラ対が立体的な画像をキャプチャすることを開始しなかったとき、及び／又は、環境深度マップがまだ生成されなかったとき、立体的な画像に基づいた環境深度情報は、処理システムに対して利用可能でないかもしれない。ステップ１５１８において、１つ以上の立体的な画像対から生成された環境深度マップが利用可能であると決定された場合、動作はステップ１５１８からステップ１５２０に進み、そうでなければ、動作はステップ１５３０に進む。
【００９２】
[00111]  ステップ１５２０において、現在の深度マップが既に設定されたかどうかが決定される。現在の深度マップが設定されなかったと決定された場合、動作はステップ１５２２に進み、ここにおいて、処理システムは、現在の環境深度マップを、１つ以上の立体的な画像対から生成された環境深度マップとなるように設定する。動作は、ステップ１５２２からステップ１５３０に進む。ステップ１５２０において、現在の環境深度マップが、既に設定されたと決定された（例えば、静的な深度マップが、現在の深度マップとして設定され得た）場合、動作はステップ１５２４に進み、ここにおいて、処理システムは、１つ以上の立体的な画像対から生成された環境深度マップを現在の深度マップと調和させる。動作を調和させることが完了した後、調和された環境深度マップは、現在の深度マップとして設定される。さまざまな実施形態において、調和された深度マップは、調和のために使用される２つの個々の深度マップのうちのいずれか１つと比較されて、より多くの向上された深度情報を有する。動作は、ステップ１５２４からステップ１５３０に進む。
【００９３】
[00112]  ステップ１５０８に対応する経路に沿ったステップを参照する。ステップ１５０８において、関心がある環境の部分の画像は、１つ以上の光領域カメラを使用してキャプチャされる。いくつかの実施形態において、画像をキャプチャする１つ以上の光領域カメラは、上で議論されたさまざまな実施形態により実装されるカメラリグ上に据え付けられる。動作はステップ１５０８からステップ１５２６に進む。ステップ１５２６において、光領域カメラによってキャプチャされた画像は、オプション的に、関心がある環境の部分の深度マップととともに処理システムで受信される。したがって、いくつかの実施形態において、１つ以上の光領域カメラは、キャプチャされた画像から環境の部分の深度マップを生成し、それらを処理システムに提供する。他のいくつかの実施形態において、光領域カメラによってキャプチャされた実際の画像が提供され、処理システムは、関心がある環境の部分の深度マップを生成する。動作は、ステップ１５２６からステップ１５２８に進む。ステップ１５２８において、環境深度マップ（例えば、関心がある環境の複合深度マップ）は、光領域カメラによってキャプチャされた１つ以上の受信された画像から、及び／又は、関心がある環境の部分の深度マップから生成される。動作は、ステップ１５２８からステップ１５３０に進む。
【００９４】
[00113]  ステップ１５３０に戻る。１５３０において、処理システムは、光領域カメラによってキャプチャされた画像から、又は、関心がある環境の１つ以上の部分の深度マップから生成された環境深度マップが、処理システムに対して利用可能であるかどうかを決定する。ステップ１５３０において、環境深度マップが利用可能であることが決定された場合、動作はステップ１５３０からステップ１５３２に進み、そうでなければ動作は、接続ノードＢ１５４０を介してステップ１５４２に進む。
【００９５】
[00114]ステップ１５３２において、現在の深度マップが既に設定されたかどうかが決定される。現在の深度マップが設定されていないと決定された場合、動作は、ステップ１５３２からステップ１５３４に進み、ここにおいて、処理システムは、現在の深度マップを、光領域カメラによってキャプチャされた画像から、又は、関心がある環境の１つ以上の部分の深度マップから生成された環境深度マップに対して設定する。動作は、ステップ１５３４からステップ１５４６に接続ノードＡ１５３８を介して進む。ステップ１５３２において、現在の環境深度マップが既に設定されたことが決定された（例えば、例えば静的な深度マップ、及び／又は、立体的な画像から生成された環境深度マップ、及び／又は、調和された深度マップが、現在の環境深度マップとして設定された）場合、動作はステップ１５３６に進み、ここにおいて、処理システムは、光領域カメラによってキャプチャされた１つ以上の受信された画像からステップ１５２９において生成された環境深度マップを、現在の深度マップと調和させる。調和動作が完了した後、調和された環境深度マップは、現在の環境深度マップとして設定される。動作は、ステップ１５３６からステップ１５４６に、接続ノード１５３８を介して進む。
【００９６】
[00115]  ステップ１５３０において、環境深度情報が利用可能でないと決定された場合、動作は、ステップ１５３０からステップ１５４２に、接続ノードＢ１５４０を介して進む。ステップ１５４２において、現在の深度マップが既に設定されたかどうかが決定される。現在の深度マップが設定されなかった場合、動作はステップ１５４２からステップ１５４４に進み、ここにおいて、他の環境深度マップは処理システムに対して利用可能でないので、処理システムは、現在の深度マップを半球に対応するデフォルト深度マップに設定する。動作は、ステップ１５４４からステップ１５４６に進む。
【００９７】
[00116]  ステップ１５４２において、現在の深度マップがすでに設定された（例えば、生成された／調和された環境深度マップ又は静的な深度マップ又はデフォルト半球環境深度のうちの１つに設定された）かどうか決定された場合、動作は、ステップ１５４２からステップ１５４６に進む。
【００９８】
[00117]  ステップ１５４６に戻る。ステップ１５４６において、処理システムは現在の深度マップを出力する。現在の環境深度マップは、さまざまな実施形態において、３Ｄ画像コンテンツを表示する際の使用のために１つ以上の顧客レンダリング及び再生装置に提供されてもよい。物事がイベントの間に動的に変化するかもしれないので、環境深度マップは、イベント、例えば試合及び／又は他のパフォーマンスの間に複数回生成されてもよい。これは、イベントの間に関心がある環境に影響を与えるものが動的に変化するかもしれず、したがって、システムが、ビューアに実生活の３Ｄ体験を提供するのに使用され得る情報と画像コンテンツを提供することになっている場合、それを最新に保つために環境深度マップを更新することは有用であるからである。フローチャート１５００に関して議論された方法は、複数のソース、例えば、静的な深度マップ、１つ以上の立体カメラ対及び／又は深度マップによってキャプチャされた画像を使用して生成された深度マップ、及び／又は、１つ以上の光領域カメラによってキャプチャされた画像を使用して生成された深度マップからの深度情報に基づいて、向上された改善された環境深度マップを生成するのを可能にする。
【００９９】
[00118]  図１４Ａ及び図１４Ｂの組み合わせは、図１３Ａ及び図１３Ｂにおいて示された方法で使用するために上手く適した例示的な実施形態による、３ＤメッシュモデルとＵＶマップを生成して更新する方法を説明する。
【０１００】
[00119]  図１５Ｃ及び図１５Ｄの組み合わせは、図１５Ａ及び図１５Ｂにおいて示された方法でユーザのために上手く適した例示的な実施形態による、３ＤメッシュモデルとＵＶマップを生成して更新する方法のフローチャート１５５０を説明する。いくつかの実施形態の１つの態様によると、３ＤメッシュモデルとＵＶマップの生成、送信及び更新は、１つ以上の深度測定ソース、例えば光領域カメラ出力及び／又は立体カメラ対出力から取得された環境深度情報への顕著な変化の検出によってトリガされ得る。いくつかの実施形態において、フローチャート１５５０の方法のさまざまなステップは、システム１４００の処理システム１４０８によって実行される。方法は、ステップ１５５２において開始して、１５５４に進む。ステップ１５５４において、現在の環境深度マップ、例えば、第１の環境深度マップは受信される（例えば、１つ以上の環境測定ソースからの入力を使用して処理システムによって生成された環境深度マップから選択される）。
【０１０１】
[00120]  動作は、ステップ１５５４から１５５６に進む。ステップ１５５６において、第１の３Ｄメッシュモデルは、現在の環境深度マップから生成される。動作は、ステップ１５５６から１５５８に進む。ステップ１５５８において、フレーム（例えば画像のフレーム）を第１の３Ｄメッシュモデル上にラッピングするために使用される第１のＵＶマップが生成される。動作はステップ１５５８からステップ１５６９に進み、ここにおいて、第１の３Ｄメッシュモデルと第１のＵＶマップは、例えば、再生装置に伝えられる、例えば、送信される。
【０１０２】
[00121]  動作は、ステップ１５６０からステップ１５６２に進む。ステップ１５６２において、処理システムは、例えば、現在の３Ｄメッシュモデルを第１の３Ｄメッシュモデルとして、及び、現在のＵＶマップを第１のＵＶマップとして設定することによって、現在の３ＤメッシュモデルとＵＶマップを第１の３Ｄメッシュモデルと第１のＵＶマップにそれぞれ初期化する。動作はステップ１５６２からステップ１５６４に進む。ステップ１５６４において、処理システムは、現在の環境深度マップ、例えば新たな環境深度マップを受信する。
【０１０３】
[00122]  動作は、ステップ１５６４からステップ１５６６に進み、ここにおいて、現在の環境深度マップが、現在の３Ｄメッシュモデルを生成するのに使用される環境深度マップから顕著な環境変化を反映するか否かが決定される。いくつかの実施形態において、深度情報を処理するシステムは、深度情報における顕著な変化、例えば予め決定された量を超える深度情報における変化を検出するために深度情報を監視する。いくつかの実施形態において、このような顕著な変化の検出は、現在のメッシュモデル及び／又はＵＶマップの更新をトリガする。したがって、ステップ１５５６において、現在の環境深度マップと、現在の３Ｄメッシュモデルを生成するのに使用される環境深度マップの間の顕著な環境変化が検出されたことが決定された場合、動作はステップ１５６８に進み、そうでなければ動作はステップ１５６４に戻るように進む。
【０１０４】
[00123]   顕著な環境変化が検出されたという決定に続いて、ステップ１５６８において、処理システムは、新たな現在の環境深度マップから更新された３Ｄメッシュモデルを生成する。動作は、ステップ１５６８からステップ１５７０に進む。ステップ１５７０において、フレームを更新された３Ｄメッシュモデル上にラッピングするために使用されることになる更新されたＵＶマップが生成される。
【０１０５】
[00124]  動作は、ステップ１５７０からステップ１５７４に接続ノードＭ１５７２を介して進む。ステップ１５７４において、３Ｄメッシュモデル差情報が生成される。さまざまな実施形態において、３Ｄメッシュモデル差情報は、新たな更新された３Ｄメッシュモデルと現在使用される３Ｄメッシュモデル、例えば第１の３Ｄメッシュモデルの間の差を反映する情報を含む。いくつかのケースにおいて、再生装置に差情報を伝えることは、更新された３Ｄメッシュモデル全体に差情報を伝えることよりもより効率的である。このようなケースにおいて、受信された異なる情報を使用することによって再生装置は、さまざまな実施形態において、更新されたメッシュモデルを生成するためにその現在の３Ｄメッシュモデルを更新する。いくつかの実施形態において３Ｄメッシュモデル差情報が生成されるが、例えば、更新されたメッシュモデル全体よりもむしろ差情報を送ることがより便利であり、及び／又は、より効率的であることが決定された場合、ステップ１５７４はオプション的であり、必ずしもすべての実施形態において実行されない。動作はステップ１５７４からステップ１５７６に進む。ステップ１５７６において、これもオプション的であるが、ＵＶマップ差情報が生成され、ここにおいて、ＵＶマップ差情報は、新たな更新されたＵＶマップと現在使用されるＵＶマップ、例えば第１のＵＶマップ差を反映する。
【０１０６】
[00125]  動作はステップ１５７６からステップ１５７８に進む。ステップ１５７８において、処理システムは、更新された３Ｄメッシュモデル情報、例えば生成された更新された３Ｄメッシュモデル又はメッシュモデル差情報を、再生装置に伝える。動作はステップ１５７８からステップ１５８０に進む。ステップ１５８０において処理システムは、更新されたＵＶマップ情報を伝える。例えば、生成されたＵＶマップ又はＵＶマップ差情報を、再生装置に伝える。
【０１０７】
[00126]  動作がステップ１５８０からステップ１５８２に進む。ステップ１５８２において、処理システムは現在の３Ｄメッシュモデルを更新された３Ｄメッシュモデルに設定する。動作は、ステップ１５８２からステップ１５８４に進む。ステップ１５８４において、処理システムは現在のＵＶマップを更新されたＵＶマップに設定する。更新されたメッシュモデルとＵＶマップは、新たなメッシュモデル及び／又はＵＶマップを、異なる時間にとられた古いメッシュモデル及び／又はマップよりも正確にする現在の深度測定に基づくことが正しく認識されるべきである。動作はステップ１５８４からステップ１５６４に接続ノードＮ１５８５を介して進み、処理は、上記で議論された方法で継続する。
【０１０８】
[00127]  図１５は、本発明の１つの例示的な実施形態により実装される、例示的な光領域カメラ１６００を説明しており、上で議論された先行する図面において示されたカメラリグのうちのいずれかにおいて使用され得る。例示的なカメラ装置１６００は、表示装置１６０２、入力装置１６０４、Ｉ／Ｏインターフェース１６０６、プロセッサ１６０８、メモリ１５１０及びバス１６０９を含み、これらは、参照番号１６００からの線によって示された矩形の箱によって表されたハウジング内に実装される。カメラ装置１６００は、光学的なチェーン１６１２と、ネットワークインターフェース１６１４をさらに含む。さまざまなコンポーネントは、バス１６０９を介してともに結合され、これは、信号と情報がカメラ１６００のコンポーネント間で通信されるのを可能にする。
【０１０９】
[00128]  表示装置１６０２は、いくつかの実施形態において、タッチスクリーンであり、画像、ビデオ、カメラ装置のコンフィギュレーションに関する情報、及び／又は、カメラ装置上で実行されるデータ処理の状況を表示するのに使用され得る。表示装置１６０２がタッチスクリーンであるケースにおいて、表示装置１６０２は、付加的な入力装置及び／又は代替として別の入力装置、例えば、ボタン１６０４をサーブする。入力装置１６０４は、いくつかの実施形態において、例えば、キーパッド、タッチスクリーン、又は、同様のデバイスであって、情報、データ及び／又は命令を入力するために使用され得るデバイスであり得る。
【０１１０】
[00129]  Ｉ／Ｏインターフェース１６０６を介して、カメラ装置１６００は外部装置に結合されて、このような外部装置と情報やシグナリングを交換し得る。カメラ１６００は、いくつかの実施形態において、Ｉ／Ｏインターフェース１６０６を介して処理システム１６００とのインターフェースを行うこともあり得る。いくつかのこのような実施形態において、処理システム１６００は、カメラ１６００を構成及び／又は制御するのに使用され得る。
【０１１１】
[00130]  ネットワークインターフェース１６１４は、カメラ装置１６００が通信ネットワークを介して外部装置に情報を受信及び／又は通信できるようにする。いくつかの実施形態において、ネットワークインターフェース１６１４を介して、カメラ１６００は、キャプチャされた画像及び／又は生成された深度マップを他の装置及び／又はシステムに通信ネットワーク、例えばインターネット及び／又は他のネットワークを介して通信する。
【０１１２】
[00131]  オプティカルチェーン１６１０は、マイクロレンズアレイ１６２４と画像センサ１６２６を含む。カメラ１６００は、カメラ１６００によって画像キャプチャ動作が実行されたとき、１つ以上の方向から到来する関心があるシーンの光情報をキャプチャするためにマイクロレンズアレイ１６２４を使用する。
【０１１３】
[00132]  メモリ１６１２は、さまざまなモジュールとルーチンを含み、これはプロセッサ１６０８によって実行されたとき、本発明によるカメラ１６００の動作を制御する。メモリ１６１２は、制御ルーチン１６２０とデータ／情報１５２２を含む。プロセッサ１６０８例えばＣＰＵは、本発明により動作して、フローチャート１６００の方法の１つ以上のステップを実装するように制御ルーチンを実行して、カメラ１６００を制御するためのデータ／情報１６２２を使用する。いくつかの実施形態において、プロセッサ１６０８はオン・チップ深度マップ生成回路１６０７を含み、オン・チップ深度マップ生成回路１６０７は、本発明によるカメラ１６００の動作の間にキャプチャされた関心がある環境のこれらの部分に対応するキャプチャされた画像から、関心がある環境のさまざまな部分についての深度マップを生成する。いくつかの他の実施形態において、カメラ１６００は、キャプチャされた画像１６２８を処理システム１６００に提供し、これは、光領域カメラ１６００によってキャプチャされた画像を使用して、深度マップを生成する。カメラ１６００によって生成された関心がある環境のさまざまな部分の深度マップは深度マップ１６３０としてメモリ１６１２中に記憶されるが、関心がある環境の１つ以上の部分に対応する画像はキャプチャされた画像１６２８として記憶される。キャプチャされた画像と深度マップは、将来の使用、例えば、付加的な処理及び／又は別の装置への送信のためにメモリ１６１２中に記憶される。さまざまな実施形態において、カメラ１６００によって生成された深度マップ１６３０と、カメラ１６００によってキャプチャされた関心がある環境の部分の１つ以上のキャプチャされた画像１６２８は、例えば、インターフェース１６０６及び／又は１６１４を介して、本発明の特徴によるさらなる処理とアクションのために、処理システムに提供される。いくつかの実施形態において、深度マップ及び／又はキャプチャされた画像が提供され、例えば、カメラ１６００によって、１つ以上の顧客装置に通信される。
【０１１４】
[00133]  図１７は、本発明の特徴により、例示的な処理システム１７００を説明する。処理システム１７００は、フローチャート１５００の方法のうちの１つ以上のステップを実装するのに使用され得る。処理システム１７００は、立体的な画像コンテンツをストリームして符号化するのに使用され得るマルチレート符号化能力を含む。例示的な処理システム１７００は、システム１４００の処理システム１４０８として使用され得る。
【０１１５】
[00134]  処理システム１７００は、本発明の特徴による複合環境深度マップ生成動作、マルチレート符号化動作、記憶装置、及び、送信及び／又はコンテンツ出力であり得、いくつかの実施形態において、これらを実行するのに使用される。処理システム１７００は、例えば、オペレータに対して、処理された及び／又は符号化された画像データを復号して表示する能力も含み得る。
【０１１６】
[00135]  システム１７００は、ディスプレイ１７０２、入力装置１７０４、入力／出力（Ｉ／Ｏ）インターフェース１７０６、プロセッサ１７０８、ネットワークインターフェース１７１０、及びメモリ１７１２を含む。システム１７００のさまざまなコンポーネントは、バス１７０９を介してともに結合され、これは、データが、システム１７００のコンポーネントの間で通信されるのを可能にする。
【０１１７】
[00136]  メモリ１７１２は、さまざまなルーチンとモジュールを含み、これらは、プロセッサ１７０８によって実行されたとき、システム１７００を制御し、本発明による複合環境深度マップ生成、環境深度マップ調和、符号化、記憶装置、及び、ストリーミング／送信、及び／又は、出力動作を実装する。
【０１１８】
[00137]  表示装置１７０２は、いくつかの実施形態において、処理システム１７００のコンフィギュレーションに関して、画像、ビデオ、情報を表示し、及び／又は、処理装置上で実行される処理の状況を示すのに使用されるタッチスクリーンであり得る。表示装置１６０２がタッチスクリーンであるケースにおいて、表示装置１６０２は、付加的な入力装置として及び／又は別の入力装置、例えば、ボタン１７０４に対する代替としてサーブする。入力装置１７０４は、いくつかの実施形態において、例えば、キーパッド、タッチスクリーン、あるいは、同様のデバイスであって、情報、データ及び／又は命令を入力するために使用され得るデバイスであり得る。
【０１１９】
[00138]  Ｉ／Ｏインターフェース１７０６を介して処理システム１７００は外部装置に結合されて、例えば、カメラリグ８０１、及び／又は、図面において示された他のカメラリグ、及び／又は、光領域カメラ１６００のような外部装置と情報及びシグナリングを交換し得る。Ｉ／Ｏインターフェース１６０６は、送信機と受信機を含む。いくつかの実施形態において、Ｉ／Ｏインターフェース１７０６を介して、処理システム１７００は、さまざまなカメラ、例えば、カメラリグ８０１のようなカメラリグの一部であるような立体カメラ対及び／又は光領域カメラ（例えば、カメラ１６００）によってキャプチャされた画像を受信する。
【０１２０】
[00139]  ネットワークインターフェース１７１０は、処理システム１７００が、例えば通信ネットワーク１０５のような通信ネットワークを通して外部装置に対して情報を受信及び／又は通信することができるようになるのを可能にする。ネットワークインターフェース１７１０は、マルチポートブロードキャスト送信機１７４０と受信機１７４２を含む。マルチポートブロードキャスト送信機１７４０は、処理システム１７００が複数の符号化された立体データストリームをブロードキャストするのを可能にし、それぞれの立体データストリームはさまざまな顧客装置に対して異なるビットレートをサポートする。いくつかの実施形態において、処理システム１７００は、シーンの異なる部分、例えば、１８０度正面部分、左近くの部分、右後方部分等をマルチポートブロードキャスト送信機１７４０を介して顧客装置に送信する。さらに、いくつかの実施形態において、マルチポートブロードキャスト送信機１７４０を介して、処理システム１７００は、現在の環境深度マップを１つ以上の顧客装置にブロードキャストする。いくつかの実施形態において、ネットワークインターフェース１７１０においてマルチポートブロードキャスト送信機１７４０が使用される一方、さらに他のいくつかの実施形態においては依然として、処理システムは環境深度マップ、３Ｄメッシュモデル、ＵＶマップ、及び／又は、立体的な画像コンテンツを個々の顧客装置に送信、例えば、ユニキャストする。
【０１２１】
[00140]  メモリ１７１２は、さまざまなモジュールとルーチンを含み、これは、プロセッサ１７０８によって実行されたとき、本発明によるシステム１７００の動作を制御する。本発明によって動作するためのシステム１７００を制御するために、そして、図１３及び図１４のフローチャートの方法の１つ以上のステップを実装するために、プロセッサ１７０８例えばＣＰＵは制御ルーチンを実行して、メモリ１７１２中で記憶されたデータ／情報を使用する。メモリ１７１２は、制御ルーチン１７１４、画像エンコーダ１７１６、深度マップ利用可能性決定モジュール１７１７、複合深度マップ生成モジュール１７１８、現在の深度マップ決定モジュール１７１９、ストリーミング制御装置１７２０、画像生成モジュール１７２１、深度マップ調和モジュール１７２２、３Ｄメッシュモデル生成及び更新モジュール１７４０、ＵＶマップ生成及び更新モジュール１７４２、１つ以上の光領域カメラによってキャプチャされた関心がある環境の受信された画像１７２３、関心がある環境の付加的な受信された深度マップ１７２５、受信された立体的な画像データ１７２４、符号化された立体的な画像データ１７２８、得られた静的な深度マップ１７３０、立体的な画像対から生成された環境深度マップ１７３２、１つ以上の光領域カメラによってキャプチャされた画像から生成された環境深度マップ１７３４、調和された環境深度マップ１７３６、範囲に対応するデフォルト深度マップ１７３８、生成された３Ｄメッシュモデル１７４４、生成されたＵＶマップ１７４６、現在の３Ｄメッシュモデル１７４８、現在のＵＶマップ１７５０を含む。
【０１２２】
[00141]  いくつかの実施形態において、モジュールは、ソフトウェアモジュールとして実装される。他の実施形態において、モジュールは、ハードウェア、例えば、モジュールが対応する機能を実行するための回路として実装される各モジュールを有する個々の回路として、メモリ１６１２の外側で実装される。さらに他の実施形態において、モジュールは、ソフトウェアとハードウェアの組み合わせを使用して実装される。１つ以上のモジュールがソフトウェアモジュール又はルーチンとして実装される実施形態において、モジュール及び／又はルーチンは、本発明によって動作して、フローチャート１５００及び／又は１５５０に関して議論された１つ以上の動作を実装するためのシステム１７００を制御するために、プロセッサ１７０８によって実行される。
【０１２３】
[00142]  制御ルーチン１７１４は、処理システム１７００の動作を制御するための、装置制御ルーチンと通信ルーチンを含む。エンコーダ１７１６は、いくつかの実施形態において、本発明の特徴による、受信された画像コンテンツ、シーンの立体的な画像、及び／又は、１つ以上のシーン部分を符号化するように構成された複数のエンコーダを含む。いくつかの実施形態において、エンコーダは複数のエンコーダを含み、各エンコーダは、所定のビットレートストリームをサポートするために、立体シーン及び／又は仕切られたシーン部分を符号化するように構成される。したがって、いくつかの実施形態において、各シーン部分は、各シーンに対して複数の異なるビットレートストリームをサポートするために、複数のエンコーダを使用して符号化され得る。エンコーダ１７１６の出力は、顧客装置、例えば再生装置にストリーミングするために、メモリ中に記憶された符号化された立体的な画像データ１７２８である。符号化されたコンテンツは、ネットワークインターフェース１７１０を介して１つ上の複数の異なる装置にストリームされ得る。
【０１２４】
[00143]  複合深度マップ生成モジュール１７１７は、関心がある環境の複合環境深度マップを、さまざまなカメラ、例えば立体カメラ対や１つ以上の光領域カメラによってキャプチャされた画像から生成するように構成される。したがって、複合深度マップ生成モジュール１７１７は、立体的な画像対から環境深度マップ１７３２を生成し、１つ以上の光領域カメラによってキャプチャされた画像から環境深度マップ１７３４を生成する。
【０１２５】
[00144]  深度マップ利用可能性決定モジュール１７１８は、所定の深度マップが所定の時間において利用可能であるか否か、例えば、静的な深度マップが利用可能であるか否か、及び／又は、光領域カメラによってキャプチャされた画像から生成された環境深度マップが利用可能であるか否か、及び／又は、立体カメラ対によってキャプチャされた画像から生成された環境深度マップが、所定の時間において利用可能であるか否かを決定するように構成される。
【０１２６】
[00145]  現在の深度マップ決定モジュール１７１９は、現在の深度マップが設定されたかどうかを決定するように構成される。さまざまな実施形態において、現在の深度マップ決定モジュール１７１９は、本発明の特徴にしたがって、現在の環境深度マップとして環境深度マップ又は調和された深度マップのうちの１つを設定するようにさらに構成される。例えば、例えば２つ以上のソースから生成された環境深度マップを調和させることによって生成された、調和された環境深度マップが利用可能であるとき、現在の深度マップ決定モジュール１７１９は、調和された環境深度マップを現在の深度マップとして設定する。
【０１２７】
[00146]  ストリーミング制御装置１７２０は、例えば、通信ネットワーク１０５を通して、符号化された画像コンテンツ（例えば、符号化された立体的な画像データ１７２８の少なくとも一部分）を１つ以上の顧客再生装置に運ぶために、符号化されたコンテンツのストリーミングを制御するように構成される。さまざまな実施形態において、ストリーミング制御装置１７２０は、例えば、ネットワークインターフェース１７１０を介して、１つ以上の顧客再生装置に現在の深度マップとして設定された環境深度マップを通信例えば送信するようにさらに構成される。
【０１２８】
[00147]  画像生成モジュール１７２１は、光領域カメラによってキャプチャされた少なくとも１つの画像、例えば、受信された画像１７２３から第１の画像を生成するように構成され、生成された第１の画像は、立体カメラによってキャプチャされた立体的な画像（例えば、立体的な画像コンテンツ１７２４）の少なくともいくつか中に含まれない関心がある画像の一部分を含む。いくつかの実施形態において、ストリーミング制御装置１７２０は、例えば、ネットワークインターフェース１７１０を介して、生成された第１の画像の少なくとも一部分を１つ以上の顧客再生装置に送信するようにさらに構成される。
【０１２９】
[00148]  深度マップ調和モジュール１７２２は、フローチャート１５００のステップ１５２６と１５３６に対応する機能を実装することによって、本発明による深度マップ調和動作を実行するように構成される。３Ｄメッシュモデル生成と更新モジュール１７４０は、現在の環境深度マップ（例えば、現在の環境深度マップとして設定された調和された深度マップ又は環境深度マップ）から３Ｄメッシュモデルを生成するように構成される。現在の３Ｄメッシュモデルを生成するのに使用される環境深度マップと比較して、現在の環境深度マップにおいて顕著な環境変化が検出されたとき、モジュール１７４０は、３Ｄメッシュモデルを更新するようにさらに構成される。いくつかの実施形態において、生成された３Ｄメッシュモデル１７４４は、モジュール１７４０によって生成された１つ以上の３Ｄメッシュモデルを含み得、３Ｄメッシュモデル１７４４において最も最近更新された３Ｄメッシュモデルは、現在の３Ｄメッシュモデル１７４８として設定される。ＵＶマップ生成及び更新モジュール１７４２は、フレームを生成された３Ｄメッシュモデル上にラッピングする際に使用されることになるＵＶマップを生成するように構成される。モジュール１７４２は、ＵＶマップを更新するようにさらに構成される。生成されたＵＶマップ１７４６は、モジュール１７４２によって生成された１つ以上のＵＶマップを含み得、生成されたＵＶマップ１７４６において最も最近更新されたＵＶマップは、現在のＵＶマップ１７５０として設定される。いくつかの実施形態において、モジュールは、図１４Ａと図１４Ｂにおいて議論されたさまざまなステップに対応する機能を実行するように構成される。
【０１３０】
[00149]  受信された立体的な画像データ１７２４は、例えば、リグ８０１中に含まれるもののような、１つ以上の立体カメラから受信されたキャプチャされた立体的な画像対を含む。符号化された立体的な画像データ１７２８は、複数の異なるビットレートストリームをサポートするために、エンコーダ１７１６によって符号化された立体的な画像データの複数のセットを含む。
【０１３１】
[00150]  静的な深度マップ１７３０は、例えば、ダウンロードにより得られた関心がある環境の深度マップである。立体カメラ対１７３２によってキャプチャされた画像から生成された環境深度マップと、１つ以上の光領域カメラ１７３４によってキャプチャされた画像から生成された環境深度マップは、複合環境深度マップ生成モジュール１７１７の出力である。本発明による、調和された環境深度マップ１７３６は、調和モジュール１７２２によって生成された１つ以上の環境深度マップを含む。範囲１７３８に対応するデフォルト深度マップはまた、他のソースからの環境深度マップが利用可能でないとき、例えば、静的な深度マップ１７３０、環境深度マップ１７３２、及び環境深度マップ１７３４が使用のために利用可能でないとき、イベントにおいて使用するために、メモリ１７１２中にも記憶される。したがって、いくつかの実施形態において、調和された環境深度マップ１７３６は、現在の環境深度マップとして設定され、３Ｄメッシュモデルを生成する際に使用される。
【０１３２】
[00151]  いくつかの実施形態において、３ＤメッシュモデルとＵＶマップの生成、送信及び更新は、１つ以上の深度測定ソース、例えば、光領域カメラ出力及び／又は立体カメラ対出力から取得された環境深度情報への顕著な変化の検出によってトリガされ得る。例えば、３Ｄモデル更新プロセスを示す図１４Ａと図１４Ｂの組み合わせを参照。いくつかの実施形態において、深度情報における顕著な変化、例えば、例えば５％や１０％や２０％や他の量として予め決定されたしきい値サイズを超えるような環境の部分に対応するエリアについて、元の測定された環境の外周までの距離の２０％といった予め決定された量超える深度の変化を検出するために、深度情報を処理するシステムは深度情報を監視する。このような変化を検出することに応答して、新たなモデル及び／又はＵＶマップが生成されて、再生装置に送信される。新たなマップは、異なる時間で行われた深度測定に基づいた古いメッシュモデル及び／又はマップよりも、より正確な新たなメッシュモデル及び／又はマップを作る現在の深度測定に基づく。したがって、いくつかの実施形態において、深度測定は進行ベースでイベントの間に行われ、及び／又は、イベントの間にキャプチャされた画像（光領域及び／又は立体的な画像対）から行われた環境測定に基づくものであるため、３Ｄモデルは、環境の変化、例えば、テクスチャとして使用される画像がキャプチャされるカメラ位置から、壁、屋根、カーテン等といった環境のオブジェクト又はエッジまでの距離における顕著な変化、あるいは、例えば屋根の撤去や壁の移動といったボリューム全体の変化を表す変化に応答して作成される。
【０１３３】
[00152]  完全な新たな３Ｄモデル又はモデル差情報は、いくつかの実施形態において、更新されたモデル情報として再生装置に送信される。更新された３Ｄモデル情報の生成と送信に加えて、更新されたＵＶマップ情報は、いくつかの実施形態において、生成されて、更新された３Ｄモデル情報を使用して画像をレンダリングするときに使用されることになる再生装置に送信される。メッシュモデル及び／又はＵＶマップ更新は、通常、シーン変化と一致し、及び／又は、送信された画像ストリームにおけるピクチャのグループ（ＧＯＰ）境界と整列するように時間が決められる。この方法は、各ＧＯＰ境界は通常イントラフレーム符号化された画像データを送ることと同時に起こるので、新たなモデル及び／又はマップの用途は、通常、現在のフレームの復号がより古いモデル又はマップを使用してレンダリングされるべきフレーム又は画像に依存しないようなポイントにおいて再生装置において適用され始める。環境変化は、カーテンを閉めること、壁を移動すること等のようなシーン変化と頻繁に同時に起こるので、シーン変化ポイントは新たなモデルを実装するための便利なポイントであり、多くのケースにおいて、更新されたモデル情報及び／又は更新されたＵＶマップの生成及び送信をトリガしたイベントと同時に起こる。
【０１３４】
[00153]  図１７は、例示的な実施形態において再生装置を作動する方法１８００のステップを図示する。いくつかの実施形態において、再生及びレンダリングシステム１９００は、フローチャート１９００の方法のステップを実装するのに使用される。図１７の例示的な実施形態において、再生装置は情報、例えば３Ｄモデル情報とＵＶマップを受信し、そしてその後の時間、例えばイベントがライブストリーミングのケースにおいて進行中である間に、モデリングされる３Ｄ環境に対する変化を反映する更新されたモデル及び／又はＵＶマップ情報を受信する。例えば、ステージ変化及び／又は幕間のイベントは、新たなモデル情報及び／又はＵＶマップにおいて反映され得る変化に関係付けられた環境変化を有し得る。更新されたモデル情報は、再生装置に伝えられ、いくつかの実施形態においては、再生装置によって差情報として受信され、再生装置は、元のモデル情報と組み合わせて、例えばＸ、Ｙ、Ｚスペースにおけるノード座標の元のセットのような元のモデルからの変化を示す受信された情報を使用し、例えば、第１のメッシュモデルを規定する座標のセットにおけるいくつかの座標を更新されたメッシュモデルを生成するために更新されたメッシュモデル情報における座標と置き換えることによって、更新されたメッシュモデルを作成する。いくつかの実施形態において、モデル差情報は更新されたメッシュモデルを作成するために受信されて使用される一方で、他の実施形態あるいは以前に供給されたモデルの大多数に対する変化があるケースにおいて、完全な新たなメッシュモデルが再生装置によって更新されたメッシュモデル情報の一部として受信されるか、受信されてもよい。メッシュモデル更新情報は、深度測定、例えば、光領域カメラ及び／又はイベントの間にキャプチャされた立体的な画像データに基づいた距離測定に基づき得る。
【０１３５】
[00154]  更新されたメッシュモデルを受信することに加えて、多くのケースにおいて再生装置は、例えばフレームのような画像を３Ｄスペース、例えば３Ｄ環境スペースを規定する３Ｄメッシュモデル上にマッピングするのに使用される対応するＵＶマップを受信する。フレームは、カメラリグ上に据え付けられた１つ以上の立体カメラ対によってキャプチャされた画像データから生成されるか、生成されてもよく、カメラリグはまた、３Ｄマップを更新する際に便利である深度情報をキャプチャするのに使用される例えばＬｙｔｒｏカメラのような１つ以上の光領域カメラを含む。新たな又は更新されたＵＶマップ情報は、更新されたメッシュモデル情報が受信されたときに受信されることが多く、３Ｄメッシュモデルにおけるノードの数が更新の前と後で同じままである場合、ＵＶマップは３Ｄメッシュモデルと同時に更新されなくてもよい。ＵＶマップ情報は完全な新たなマップ又は差情報として送信されて受信され得る。したがって、いくつかの実施形態において、ＵＶマップ差情報は、更新されたＵＶマップを生成するために受信された処理される。更新された差マップは、更新されたＵＶマップ情報において示された差を以前のＵＶマップに対して適用することによって生成されるか、生成されてもよい。
【０１３６】
[00155]  フローチャート１８００の方法は、開始ステップ１８０２において始まり、ゲームコンソールやディスプレイ又は頭部装着型の表示アセンブリのような再生装置は、電源を入れられて、３Ｄ関連画像データ、例えば、画像をレンダリングする際に使用されることになる、キャプチャされた画像から作成されたテクスチャ情報を表わすフレーム、モデル情報、及び／又は、ＵＶマップを受信して記憶して処理することを始めるために設定される。動作は、開始ステップ１８０２からステップ１８０４に進み、ここにおいて、光領域カメラを使用して一度目に行われた環境の少なくとも部分の測定に基づいて生成された、例えばスタジアム、劇場等の３Ｄ環境の第１のメッシュモデルを伝える情報は、受信されて例えばメモリ中に記憶される。モデルは、ユーザビューイング位置に対応する原点からノードへの距離を示す３Ｄ座標のセット（Ｘ、Ｙ、Ｚ）の形式であるか、形式であってもよい。ノード座標はメッシュモデルを規定する。したがって、いくつかの実施形態において第１のメッシュモデル情報は、座標３組の第１のセットを含み、各３組は、第１のメッシュモデルにおけるノードのＸ、Ｙ、Ｚスペースにおける座標を示す。
【０１３７】
[00156]  メッシュモデルは、示された又は予め決定された方法におけるノードポイントの相互接続によって形成されたセグメントを含む。例えば、メッシュのすべて又は一部分における各ノードは、３側面のセグメントが使用されるメッシュモデルの部分について最も近い３つの隣接ノードに結合され得る。４側面のセグメントが使用されるメッシュモデルの部分において、各ノードは、４つの最も近い隣接するものと相互接続することが知られ得る。ノード位置情報に加えて、モデルは、モデル中のノードがどのように相互接続されるかについての情報を含んでもよいし、いくつかの実施形態においては、実際に含んでいる。いくつかの実施形態において、３Ｄ環境の第１のメッシュモデルを伝える情報は、完全なメッシュモデルを規定する情報を含む。
【０１３８】
[00157]  動作はステップ１８０４からステップ１８０６に進み、ここにおいて、例えば受信されたフレームのような２Ｄ画像がどのように第１の３Ｄモデル上にラップされるかを示す、例えば第１のＵＶマップのような第１のマップが受信される。第１のＵＶマップは、通常、３Ｄモデルマップの各セグメントについて１つのセグメントを含み、第１のＵＶマップセグメントから第１の３Ｄモデルセグメントの間で、１対１の示された又はそうでなければ知られた対応がある。第１のＵＶマップは、時々ＵＶスペースと呼ばれるものに対応する２Ｄフレームのコンテンツを第１の３Ｄモデルのセグメントに適用、例えばラッピングするための画像レンダリングプロセスの一部として使用されるか、使用されてもよい。キャプチャされた画像データに対応するフレームの形式で、受信されたテクスチャを３Ｄモデルのセグメントによって表される３Ｄ環境にマッピングすることは、立体的な画像対に対応する受信された左右の目のフレームが、ユーザの左右の目によってそれぞれ見られる画像にレンダリングされるのを可能にする。
【０１３９】
[00158]  第１の３Ｄモデルと第１のレンダリングマップ、例えば第１のＵＶマップの受信は、同時に又は任意の順序で生じ得、例を理解するための簡潔性を提供する目的で、図１７において連続的な動作として示される。動作は、ステップ１８０６からステップ１８０８へ進み、ここにおいて画像コンテンツ、例えば１つ以上のフレームが受信される。画像コンテンツは立体的な画像データの形式でよく、いくつかの実施形態においてはその形式であり、ここにおいて左右の目の画像対が受信され、各目のコンテンツは、時々、立体的なフレーム対の単一のフレームとして表わされる。ステップ１８０８において受信された画像コンテンツは、通常、イベントの一部分に対応するフレーム対のシーケンス、例えばビデオシーケンスであろう。
【０１４０】
[00159]  動作はステップ１８０８からステップ１８１０に進み、ここにおいて、少なくとも１つの画像が第１のメッシュモデルを使用してレンダリングされる。ステップ１８１０において実行される画像レンダリングの一部として、第１のＵＶマップは、表示されてユーザによって見られ得る画像を生成するために、受信された画像コンテンツ中に含まれる画像を第１のメッシュモデル上にどのようにラッピングするかを決定するのに使用される。いくつかの実施形態において、画像が３Ｄ効果を有するとしてユーザによって知覚されることを可能にする異なる画像が、左右の目によって見られるように、立体的な対の左右の目のそれぞれは、個々にレンダリングされてディスプレイの異なる部分上で表示され得る。レンダリングされた画像は、通常、いくつかの実施形態において、例えば人の頭部に着けられるヘルメット中に据え付けられた携帯電話ディスプレイのような表示装置、例えば頭部装着型表示装置を介して、レンダリングの後にユーザに対して表示される。
【０１４１】
[00160]  複数の画像が、ステップ１８１０の一部として経時的にレンダリングされて表示され得る一方、再生のためにキャプチャされてストリーミングされるイベントの間のいくつかのポイントにおいて、例えばカーテンを下げること、ステージの壁が移動されること、スタジアム上のドームが開かれて閉じられることのような、環境における変化が生じ得る。このようなイベントは、さまざまな実施形態において、実行されている環境測定によって検出される。環境における変化を検出することに応答して、キャプチャされた画像及び／又は環境測定を処理するシステムによって、新たな３ＤメッシュモデルとＵＶマップが生成され得る。
【０１４２】
[00161]  ステップ１８１４において、更新されたメッシュモデル情報が受信される。更新されたメッシュモデルは、いくつかのケースにおいて、更新されたメッシュモデル情報、例えば環境の部分の測定に基づいて生成された新たなノードポイントを含む。測定は、第１のメッシュモデルについてのより早い測定が対応する環境の同じ部分に対応し得、及び／又は、新たな測定は環境の部分の測定を含み得る。このような測定は、例えば先行の図面において図示されたもののような、光領域カメラを使用して取得されたカメラリグ位置に対する環境深度測定に基づくか、基づいてもよい。いくつかの実施形態において、更新されたメッシュモデル情報は、例えば第１の時間期間後の時間期間のような第２の時間において、光領域カメラを二度目に使用して、少なくとも環境の部分の測定に基づいて生成された少なくともいくつかの更新されたメッシュモデル情報を含む。
【０１４３】
[00162]  ステップ１８１４において受信された更新されたメッシュモデル情報は、完全な更新されたメッシュモデルの形式であるか、又は、更新されたメッシュモデルを形成するために第１のメッシュモデルに対して行われることになる変化を示す差情報の形式であり得る。したがって、いくつかの実施形態において、更新されたメッシュモデル情報は、第１のメッシュモデルと更新されたメッシュモデルの間の差を示す差情報である。モデル差情報が受信されたとき実行される付加的なステップ１８１５において、再生装置は、第１のメッシュモデルと受信された差情報から、更新されたメッシュモデルを生成する。例えば、ステップ１８１５において、更新されたメッシュモデル中に含まれないノードは、第１のメッシュモデルを表わす情報のセットから削除されて、これにより更新されたメッシュモデルを作るために受信されたメッシュモジュール更新情報によって示された新たなノードと置き換えられ得る。このように、いくつかの実施形態において、更新されたメッシュモデル情報は、更新されたメッシュモデルを生成するために第１のメッシュモデルに対して行われた変化を示す情報を含む。いくつかの実施形態において、更新されたメッシュモデル情報は、第１と第２の時間期間の間に変化した３Ｄ環境の部分についての新しいメッシュ情報を提供する。いくつかの実施形態において、更新されたメッシュモデル情報は、ｉ）第１のメッシュモデル情報における少なくともいくつかのノードについてのメッシュ座標の新たなセットであって、新たな座標が、第１のメッシュモデルにおける対応するノードの座標を置き換えるように意図されたもの、又は、ｉｉ）座標３組の以前のセットの代わりに第１のメッシュモデルの少なくとも一部分について使用されることになる座標３組の新たなセットであって、座標３組の新たなセットは、置き換えられることになる座標３組の以前のセットと同一又は異なる数の座標３組を含むもの、のうちの少なくとも１つを含む。
【０１４４】
[00163]  更新されたメッシュモデル情報を受信することに加えて、再生装置は、更新されたマップ情報を受信し得る。これは、ステップ１８１６において示される。更新されたマップ情報は、画像を更新されたメッシュモデルにマッピングするのに使用されることになる完全な新たなＵＶマップの形式、又は、更新されたマップを生成するために第１のマップとの組み合わせにおいて使用され得る差情報の形式であり得る。更新されたＵＶマップは各３Ｄモデル更新とともに供給される必要はないが、ＵＶマップ更新は、通常、モデル更新と同時に生じ、そして、結果として３Ｄメッシュモデルにおいて異なる数のセグメントとなるノード数の変化が生じるときに起こる。３Ｄモデル中のセグメントとノードの数が変化しないままである場合、更新されたマップ情報は提供される必要はないが、キャプチャされた画像がどのように使用されている３Ｄメッシュモデルにマッピングされるかという点において、環境形状の変化が変化に値するならば、多くの場合、モデルセグメントの数における変化がない場合でさえ、更新されたマップ情報は提供される。
【０１４５】
[00164]  完全なＵＶマップよりもむしろ、差情報が受信された場合、動作はステップ１８１６からステップ１８１８に進む。マップ差情報がステップ１８１６において受信された場合使用されるステップ１８１８において、更新されたマップは、受信された更新マップ情報中に含まれるマップ差情報を第１のマップに適用することによって生成される。完全な更新されたＵＶマップがステップ１８１６において受信された場合、完全な更新されたマップが受信されるので、差情報からの更新されたマップを生成する必要はない。
【０１４６】
[00165]  更新された３Ｄメッシュモデル及び／又は更新されたＵＶマップの受信及び／又は生成と並行して、あるいはその後に、付加的な画像コンテンツがステップ１８２０において受信される。付加的な画像コンテンツは、例えば、第１の３Ｄモデルが対応する第１のイベントセグメントに続くイベントの第２の部分に対応するか、対応してもよい。動作はステップ１８２０からステップ１８２２に進む。ステップ１８２２において、付加的な画像コンテンツがレンダリングされる。ステップ１８２２において実行される画像レンダリングの一部として、更新された３Ｄモデルは、ステップ１８２４において示される受信された付加的な画像コンテンツの少なくともいくつかをレンダリングするのに使用される。更新ＵＶマップは、利用可能であるとき、ステップ１８２６によって示されるようにも使用される。受信された又は生成された更新ＵＶマップがないとき、ステップ１８２２における画像レンダリングは、古い例えば第１のＵＶマップをレンダリングプロセスの一部として使用する。ステップ１８２２においてレンダリングされた画像は、表示のための出力である。
【０１４７】
[00166]  ３Ｄモデル及び／又はＵＶマップの更新は、環境変化に応答して、提示の間に繰り返して生じ得る。繰り返されるモデル及びＵＶマップ更新の進行中の可能性は矢印１８２７によって表され、これは処理ステップ１８１４に戻り、ここにおいて付加的な更新されたメッシュモデル情報が受信される。それぞれがステップ１８１４に戻ると、更新が差情報を含む場合、現在のメッシュモデルとＵＶモデルは新たな更新されたメッシュモデル及び／又はＵＶマップを生成する目的で、第１のメッシュモデルとして取り扱われる。
【０１４８】
[00167]  図１７に関して記述された処理は、再生装置プロセッサの制御下で実行される。したがって、いくつかの実施形態において、再生装置は、図１７において示されたステップを実装するように再生装置を制御するように構成されたプロセッサを含む。送信及び受信ステップは、再生装置の（送信機及び受信機を含む）インターフェースを介して実行される。
【０１４９】
[00168]  いくつかの実施形態において、再生装置は命令を含み、これは再生装置のプロセッサによって実行されたとき、図１７において示されたステップを実装するように再生装置を制御する。別個のプロセッサ実行可能なコードは、図１７において示されたステップのそれぞれに対して含まれるか、含まれてもよい。他の実施形態において、図１７において示された個々のステップのそれぞれについて、回路は再生装置に含まれる。
【０１５０】
[00169]  図１８は、例示的な再生装置、例えば処理システム１４０８／１７００のように、図１２のシステム１４００の１つ以上のサブシステムによってストリーミングされたコンテンツを受信し復号し表示するのに使用され得る、システムのような例示的な再生装置１９００を図示する。例示的なレンダリング及び再生システム１９００は、図１２において示されたレンダリング及び再生装置のいずれかとして使用され得る。さまざまな実施形態において、再生システム１９００は、図１７のフローチャート１８００において図示されたさまざまなステップを実行するのに使用される。
【０１５１】
[00170]  いくつかの実施形態におけるレンダリング及び再生システム１９００は、３Ｄ頭部装着型ディスプレイ１９０５を含むか、これに結合される。システム１９００は、顧客への表示のために、受信された符号化された画像データを復号して３Ｄ画像コンテンツを生成する能力を含む。いくつかの実施形態における再生システム１９００は、家庭やオフィスのような顧客構内位置に位置付けられるが、画像キャプチャサイトで同様に位置付けられ得る。再生システム１９００は、本発明による、信号受信、復号、３Ｄメッシュモデル更新、レンダリング、表示、及び／又は他の動作を実行できる。
【０１５２】
[00171]  再生システム１９００は、ディスプレイ１９０２、表示装置インターフェース１９０３、ユーザ入力インターフェース装置１９０４、入力／出力（Ｉ／Ｏ）インターフェース１９０６、プロセッサ１９０８、ネットワークインターフェース１９１０及びメモリ１９１２を含む。再生システム１９００のさまざまなコンポーネントは、データがシステム１９００のコンポーネント間で伝えられるのを可能にするバス１９０９を介してともに結合される。
【０１５３】
[00172]  いくつかの実施形態においてディスプレイ１９０２は、破線のボックスを使用して図示された付加的なエレメントとして含まれる一方、いくつかの実施形態において、外部表示装置１９０５、例えば、頭部装着型立体表示装置は、表示装置インターフェース１９０３を介して再生システム１９００に結合され得る。頭部装着型ディスプレイ１２０２は、ＯＣＵＬＵＳ  ＲＩＦＴ  ＶＲ（仮想現実）ヘッドセットを使用して実装され得、これは、頭部装着型ディスプレイ１２０２を含み得る。他の頭部装着型ディスプレイも使用され得る。画像コンテンツはシステム１９００の表示装置上に提示され、例えば、立体的なコンテンツの場合には、ユーザの左右の目に異なる画像が提示される。単一スクリーン上、例えば異なる目に対応する単一スクリーンの異なる部分上で異なる画像を左右の目に表示することによって、単一のディスプレイは、ビューアの左右の目によって別々に知覚される画像を左右の目に表示するのに使用され得る。さまざまな実施形態が、システム１９００において使用される頭部装着型ディスプレイを注視する一方、方法とシステムは、３Ｄ画像をサポートできる頭部装着型でないディスプレイによっても使用され得る。
【０１５４】
[00173]  再生システム１９００のオペレータは、１つ以上のパラメータを制御し、及び／又は、ユーザ入力装置１９０４を介して入力を提供し得る。入力装置１９０４は、いくつかの実施形態において、キーパッド、タッチスクリーン、又は、情報、データ及び／又は命令を入力するために使用され得る同様の装置であり得る。
【０１５５】
[00174]  Ｉ／Ｏインターフェース１９０６を介して、再生装置１９００は外部装置に結合されて、情報と信号をこのような外部装置と交換し得る。いくつかの実施形態において、Ｉ／Ｏインターフェース１９０６を介して、再生システム１９００は、さまざまなカメラ、例えば立体カメラ対及び／又は光領域カメラによってキャプチャされた画像を受信し、３ＤメッシュモデルとＵＶマップを受信する。
【０１５６】
[00175]  メモリ１９１２は、プロセッサ１９０８によって実行されたとき、本発明による動作を実行するために再生システム１９００を制御するさまざまなモジュール、例えばルーチンを含む。メモリ１９１２は、制御ルーチン１９１４、ユーザ入力処理モジュール１９１６、頭部位置及び／又はビューイング角度決定モジュール１９１８、デコーダモジュール１９２０、３Ｄ画像生成モジュールとも呼ばれる立体的な画像レンダリングモジュール１９２２、３Ｄメッシュモデル更新モジュール１９２４、ＵＶマップ更新モジュール１９２６、受信された３Ｄメッシュモデル１９２８、受信されたＵＶマップ１９３０、及び、受信された符号化された画像コンテンツ１９３２を含むデータ／情報、復号された画像コンテンツ１９３４、更新された３Ｄメッシュモデル情報１９３６、更新されたＵＶマップ情報１９３８、更新された３Ｄメッシュモデル１９４０、更新されたＵＶマップ１９４０及び生成された立体的なコンテンツ１９３４を含む。
【０１５７】
[00176]  プロセッサ１９０８、例えばＣＰＵはルーチン１９１４を実行し、本発明により作動するシステム１９００を制御するために、さまざまなモジュールを使用する。プロセッサ１９０８は、システム１１００の一般的な動作全体を制御することを担う。さまざまな実施形態において、プロセッサ１１０８は、レンダリング及び再生システム１９００によって実行されるとして説明された機能を実行するように構成される。
【０１５８】
[00177]  ネットワークインターフェース１９１０は、送信機１９１１と受信機１９１３を含み、これは、再生システム１９００が、例えば通信ネットワーク１４５０のような通信ネットワークを介して、情報を受信でき、及び／又は、外部装置に伝えることができるようになるのを可能にする。いくつかの実施形態において、再生システム１９００は、例えばインターフェース１９１０を介して、画像コンテンツ１９３２、３Ｄメッシュモデル１９２８、ＵＶマップ１９３０、更新されたメッシュモデル情報１９３６、更新されたＵＶマップ情報１９２８を、通信ネットワーク１４５０を介して処理システム１７００から受信する。したがっていくつかの実施形態において、再生システム１９００は、光領域カメラを一度目に使用して行われた環境の少なくとも部分の測定に基づいて生成された３Ｄ環境の第１のメッシュモデル、例えば３Ｄメッシュモデル１９２８を伝える情報を、インターフェース１９１０を介して受信する。いくつかの実施形態において、再生システム１９００は、画像コンテンツ、例えば左右の目の画像対のフレームを、インターフェース１９１０を介してさらに受信する。
【０１５９】
[00178]  制御ルーチン１９１４は、システム１９００の動作を制御するための装置制御ルーチンと通信ルーチンを含む。要求生成モジュール１９１６は、例えば再生のための項目のユーザ選択の際に、コンテンツについての要求を生成するように構成される。受信情報処理モジュール１９１７は、例えばレンダリングと再生のためにシステム１９００によって使用され得る伝えられた情報を回復するために、例えばインターフェース１９０６及び／又は１９１０の受信機を介して、システム１９００によって受信された情報、例えば画像コンテンツ、音声データ、環境モデル、ＵＶマップ等を処理するように構成される。頭部位置及び／又はビューイング角度決定モジュール１９１８は、現在のビューイング角度及び／又は現在の頭部位置、例えば頭部装着型ディスプレイの方向のようなユーザの方向付けを決定し、いくつかの実施形態において、処理システム１７００に対して決定された位置及び／又はビューイング角度情報を報告するように構成される。
【０１６０】
[00179]  デコーダモジュール１９２０は、復号された画像データ１９３４を作成するために、処理システム１７００又はカメラリグ１４０２から受信された符号化された画像コンテンツ１９３２を復号するように構成される。復号された画像データ１９３４は、復号された立体的なシーン及び／又は復号されたシーン部分を含み得る。
【０１６１】
[00180]  ３Ｄ画像レンダラ１９２２は、ディスプレイ１９０２及び／又は表示装置１９０５上のユーザへの表示のために、本発明の特徴による３Ｄ画像コンテンツを生成するために復号された画像データを使用する。いくつかの実施形態において、３Ｄ画像レンダラ１９２２は、第１の３Ｄメッシュモデルを使用して、受信された画像コンテンツのうちの少なくともいくつかをレンダリングするように構成される。いくつかの実施形態において、３Ｄ画像レンダラ１９２２は、受信された画像コンテンツ中に含まれる画像を第１の３Ｄメッシュモデル上にどのようにラッピングするかを決定するために、第１のＵＶマップを使用するようにさらに構成される。
【０１６２】
[00181]  ３Ｄメッシュモデル更新モジュール１９２４は、更新されたメッシュモデル１９４０を生成するために、受信された更新されたメッシュモデル情報１９３６を使用して、受信された第１の３Ｄメッシュモデル１９２８（例えば、最初に受信されたメッシュモデル）を更新するように構成される。いくつかの実施形態において、受信された更新されたメッシュモデル情報１９３６は、再生装置１９００によって受信された３Ｄメッシュモデルの以前のバージョンに関する変化を反映するメッシュモデル差情報を含む。他のいくつかの実施形態において、受信された更新されたメッシュモデル情報１９３６は、完全な3Ｄメッシュモデル全体を生成するための完全な情報を含み、これはその後更新されたメッシュモデル１９４０として出力される。
【０１６３】
[00182]  ＵＶマップ更新モジュール１９２６は、更新されたＵＶマップ１９４２を生成するために、受信された更新されたＵＶマップ情報１９３８を使用して、受信された第１のＵＶマップ１９３０（例えば、最初に受信されたＵＶマップ）を更新するように構成される。いくつかの実施形態において、受信された更新されたＵＶマップ情報１９３８は、その後更新されたＵｖマップ１９４２として出力される完全なＵＶマップ全体を生成するための情報を含む。
【０１６４】
[00183]  さまざまな実施形態において、本発明による、３Ｄメッシュモデル及び／又はＵＶマップが更新されたとき、３Ｄ画像レンダリングモジュール１９２２は、更新されたメッシュモデルを使用して画像コンテンツのうちの少なくともいくつか、例えば、付加的な画像コンテンツをレンダリングするようにさらに構成される。いくつかのこのような実施形態において、３Ｄ画像レンダリングモジュール１９２２は、レンダリングされることになる画像コンテンツ中に含まれた画像を、更新された３Ｄメッシュモデル上にどのようにラッピングするかを決定するために、更新されたＵＶマップを使用するようにさらに構成される。生成された立体的な画像コンテンツ１９４４は、３Ｄ画像レンダリングモジュール１９２２の出力である。いくつかの実施形態において、モジュールのいくつかは、プロセッサ１９０８内で回路として実装され、他のモジュールは、プロセッサの外部あるいはプロセッサに結合された回路として実装される。代替的に、回路として実装されるよりもむしろ、他のいくつかの実施形態において、モジュールの全て又はいくつかはソフトウェアにおいて実装され、プロセッサ、例えばプロセッサ１９０８によってモジュールが実行されるとき、モジュールに対応する機能を実装するために、再生装置１９００の動作を制御するモジュールを有する再生装置１９００のメモリ中に記憶され得る。
【０１６５】
[00184]  さらなる他の実施形態において、さまざまなモジュールは、ハードウェアとソフトウェアの組み合わせとして実装され、例えば、プロセッサ１９０８の外部の回路が、ソフトウェア制御下でモジュールの機能の一部分を実行するように動作するプロセッサ１９０８に入力を提供する。
【０１６６】
[00185]  図１８においてメモリ１９１２中に含まれることになる例が示されるが、メモリ１９１２中に含まれるとして示されるモジュールは、いくつかの実施形態において、プロセッサ１９０８内のハードウェアにおいて例えば個々の回路として完全に実装される。他の実施形態において、エレメントのいくつかは、プロセッサ１１０８内で例えば回路として実装され、他のエレメントは、例えばプロセッサ１１０８の外部及びこれに結合された回路として実装される。プロセッサ上のモジュール、及び／又は、プロセッサの外部のいくつかのモジュールの一体化のレベルは、設計選択のうちの1つであり得ることが正しく認識されるべきである。
【０１６７】
[00186]  図１８において装置１９００内で例えばコンピュータのような単一のプロセッサ１９０８としての実施形態が示されているが、プロセッサ１９０８は、１つ以上のプロセッサ、例えば、複数のコンピュータとして実装され得ることが正しく認識されるべきである。ソフトウェアにおいて実装されたとき、モジュールはコードを含み、プロセッサ１９０８によって実行されたとき、プロセッサ例えばコンピュータをモジュールに対応する機能を実装するように構成する。いくつかの実施形態において、プロセッサ１９０８は、図１８の例におけるメモリ１９１２において示されたモジュールのそれぞれを実装するように構成される。モジュールがメモリ１９１２において記憶される実施形態において、メモリ１９１２はコンピュータプログラム製品であり、コンピュータプログラム製品はコンピュータ読み取り可能な媒体、例えばコードを備える一時的でないコンピュータ読み取り可能な媒体を備え、例えば各モジュールに対する個々のコードは、少なくとも１つのコンピュータ、例えばプロセッサ１９０８に、モジュールが対応する機能を実装させるようにする。
【０１６８】
[00187]  図１８において図示されたモジュールは、例えばフローチャート１８００において図示及び／又は記述されたように、本発明の方法の対応するステップの機能を実行するために、システム１９００又はプロセッサ１９０８のようなエレメントのそれぞれを制御及び／又は構成する。
【０１６９】
[00188]  １つの例示的な実施形態において、プロセッサ１９０８は、例えばインターフェース１９１０を介して光領域カメラを一度目に使用して行われた環境の少なくとも部分の測定に基づいて生成された３Ｄ環境の第１のメッシュモデルを伝える情報を受信し、例えばインターフェース１９１０を介して画像コンテンツを受信し、及び、第１のメッシュモデルを使用して受信された画像の少なくともいくつかをレンダリングするように、再生装置１９００を制御するように構成される。
【０１７０】
[00189]  いくつかの実施形態において、プロセッサは、例えばインターフェース１９１０を介して更新されたメッシュモデル情報を受信するように再生装置を制御するようにさらに構成され、更新されたメッシュモデル情報は、光領域カメラを二度目に使用した環境の少なくとも部分の測定に基づいて生成された少なくともいくつかの更新されたメッシュモデル情報を含む。いくつかの実施形態において、更新されたメッシュモデル情報は、完全な更新されたメッシュモデルを伝える。
【０１７１】
[00190]  いくつかの実施形態において、プロセッサは、付加的な画像コンテンツを受信し、更新されたメッシュモデル情報を使用して受信された付加的な画像コンテンツのうちの少なくともいくつかをレンダリングするように再生装置を制御するようにさらに構成される。
【０１７２】
[00191]  いくつかの実施形態において、プロセッサは、（例えば、インターフェース１９１０又は１９０６を介して）２Ｄ画像スペースを第１のメッシュモデルにマッピングする第１のマップを受信し、更新されたメッシュモデル情報を使用して受信された付加的な画像コンテンツの少なくともいくつかをレンダリングするように構成されることの一部として、受信された画像コンテンツ中に含まれる画像を第１のメッシュモデル上にどのようにラップするかを決定するために第１のマップを使用するように、再生装置を制御するようにさらに構成される。
【０１７３】
[00192]  いくつかの実施形態において、プロセッサは、（例えば、インターフェース１９１０又は１９０６を介して）更新されたメッシュモデル情報に対応する更新されたマップ情報を受信し、更新されたメッシュモデル情報を使用して、受信された付加的な画像コンテンツの少なくともいくつかをレンダリングするように構成されることの一部として、受信された付加的な画像コンテンツ中に含まれる付加的な画像を更新されたメッシュモデル上にどのようにラップするかを決定するために更新されたマップを使用するように、再生装置を制御するようにさらに構成される。
【０１７４】
[00193]  いくつかの実施形態において、更新されたマップ情報はマップ差情報を含む。いくつかのこのような実施形態において、プロセッサは、更新されたマップを生成するためにマップ差情報を第１のマップに適用することによって更新されたマップを生成し、更新されたメッシュモデル情報を使用して受信された付加的な画像コンテンツのうちの少なくともいくつかをレンダリングすることの一部として、受信された画像コンテンツ中に含まれる付加的な画像を更新されたメッシュモデル上にどのようにラップするかを決定するために更新されたマップを使用するように、再生装置を制御するようにさらに構成される。
【０１７５】
[00194]  ステップが例示的な順序において示される一方、多くのケースにおいて、ステップの順序は、悪影響を与える作動無しで変えられ得ることが正しく認識されるべきである。したがって、適切な動作についてステップの例示的な順序が要求されない限り、ステップの順序は例示的であり、限定的ではないと考えられるものである。
【０１７６】
[00195]  さまざまな実施形態が議論されたが、必ずしも全ての実施形態が同じ特徴を含むのではないことが正しく認識されるべきである。記述された特徴のいくつかは、必須ではないが、いくつかの実施形態において望ましいことがあることが正しく認識されるべきである。
【０１７７】
[00196]  さまざまな範囲と例示的な値が記述されたが、範囲と値は例示的なものである。いくつかの実施形態において、値の範囲は上述された範囲よりも２０％広い。他の実施形態において、範囲は、上述された例示的な範囲よりも２０％小さい。同様に、特定の値は、時々、上で特定された値よりも２０％まで広いかもしれない一方、他の実施形態において、値は、上で特定された値よりも２０％まで小さい。さらなる他の実施形態において、他の値が使用される。
【０１７８】
[00197]  図１９は、３Ｄモデルをセグメントに分割するために使用される線の交差点として図示された複数のノードを有する、さまざまな実施形態において使用され得る例示的な３Ｄメッシュモデル２０００を図示する。セグメントの形状が既知、あるいは、ノードを相互接続するためのルールが既知か又は３Ｄモデルにおいて規定されていると仮定して、図１９のモデルは、３Ｄスペースにおいて示され、３Ｄスペース中のメッシュにおけるノードの位置を規定する[Ｘ、Ｙ、Ｚ]座標のセットとして表現され得ることに着目されたい。いくつかの実施形態において、セグメントは、直線によって予め決定された数の隣接するノードに接続する各ノードと同じ数の側面を有するように予め決定される。図１９の例において、モデル２０００の上部は３組のセグメントのセットである一方、側面部は複数の４側面のセグメントによって形成される。このようなコンフィギュレーション、例えば３側面のセグメントから形成される上部と４側面のセグメントによって形成される側面部は、３Ｄモデルの部分を形成する情報中に含まれ得るか、又は、予め決定され得る。このような情報は、メッシュモデル情報とともに、又はこれの一部として顧客レンダリング及び再生装置に提供される。
【０１７９】
[00198]  図２０は、２ＤＵＶスペースと呼ばれることがあるものにおけるフレームを図１９に示された３Ｄモデル２０００にマッピングする際に使用され得る例示的なＵＶマップ２００２を示している。ＵＶマップ２００２は、１対１のマッピング関係性を有する３Ｄモデル２０００中のものと同じ数のノードとセグメントを含むことに着目されたい。テクスチャと呼ばれることがあるものを提案するが、実際の環境におけるカメラリグの有利なポイントからキャプチャされた画像のコンテンツを含むフレームは、シミュレートされた環境の３Ｄモデル２０００内のポジション[０、０、０]に対応する位置で、画像レンダリング動作の一部としてマップ２００２に従って３Ｄモデル２０００上に適用、例えばラッピングされ得る。
【０１８０】
[00199]  図１９及び図２０において、強調のための点として示される例示的なノードＰは、他のメッシュノードのそれぞれのように、ＵＶマップ２００２と３Ｄモデル２０００の両方において現れる。ノードＰ[Ｘ、Ｙ、Ｚ]はノードＰ[Ｕ、Ｖ]に対応し、ここにおいて、Ｘ、Ｙ、Ｚは、Ｘ、Ｙ、ＺスペースにおけるノードＰのポジションを特定し、Ｕ、Ｖは、２つの次元スペースにおける対応するノードＰの位置を特定する。各Ｕ、Ｖ対は、例えばフレームのような２Ｄ画像テクスチャの単一の画素のＸ、Ｙを表わす。周囲の画素は、近くのＵ、Ｖ対の間を補間することによって、レンダリングプロセスの間に２Ｄフレームから３Ｄメッシュにマッピングされる。
【０１８１】
[00200]  さまざまな実施形態の技術は、ソフトウェア、ハードウェア、及び／又は、ソフトウェアとハードウェアの組み合わせを使用して実装され得る。さまざまな実施形態は、装置、例えば、画像データキャプチャと処理システムに向けられる。さまざまな実施形態はまた、例えば、画像キャプチャの方法、及び／又は、画像データを処理する方法に向けられる。さまざまな実施形態は、一時的でない機械、例えば、コンピュータ、読み取り可能な媒体、例えば、ＲＯＭ、ＲＡＭ、ＣＤ、ハードディスク等にも向けられ、これらは、方法の１つ以上のステップを実装するために機会を制御するための、機械読み取り可能な命令を含む。
【０１８２】
[00201]  本発明のさまざまな特徴は、モジュールを使用して実装される。このようなモジュールは、いくつかの実施形態において、ソフトウェアモジュールとして実装される。他の実施形態において、モジュールはハードウェア中で実装される。さらに他の実施形態において、モジュールは、ソフトウェアとハードウェアの組み合わせを使用して実装される。いくつかの実施形態において、モジュールは、モジュールが対応する機能を実行するための回路として実装される各モジュールを有する個々の回路として実装される。幅広いさまざまな実施形態は、例えば、ハードウェア中のいくつか、ソフトウェア中のいくつか、及び、ハードウェアとソフトウェアの組み合わせを使用するいくつかで、異なるモジュールが異なって実装されるいくつかの実施形態を含むことが意図される。ルーチン及び／又はサブルーチン、又は、このようなルーチンによって実行されるステップのいくつかは、汎用プロセッサ上で実行されるソフトウェアに対向した専用ハードウェアにおいて実装され得ることにも着目されたい。このような実施形態は、本発明の範囲内にとどまる。上述された方法及び方法ステップの多くは、上述された方法の全て、又は一部分を実装するために、機械、例えば、付加的なハードウェアを有する又は無しの汎用コンピュータを制御するために、メモリ装置、例えば、ＲＡＭやフロッピー（登録商標）ディスク等のような機械読み取り可能な媒体中に含まれる、ソフトウェアのような、機械により実行可能な命令を使用して実装され得る。したがって、他のものの中でも、本発明は、機械、例えば、プロセッサ及び関係付けられたハードウェアに、上述された方法の１つ以上のステップを実行させるための、機械により実行可能な命令を含む機械読み取り可能な媒体に向けられる。
【０１８３】
[00202]  いくつかの実施形態は、立体的なビデオを符号化して圧縮するために、コンピュータ又は他の装置を制御するためのソフトウェア命令、例えば、コンピュータ実行可能な命令のセットを具現化する一時的でないコンピュータ読み取り可能な媒体に向けられる。他の実施形態は、プレーヤエンドでビデオを復号して伸長（decompress)するためにコンピュータ又は他の装置を制御するためのソフトウェア命令、例えば、コンピュータ実行可能な命令のセットを具現化するコンピュータ読み取り可能な媒体に向けられる。符号化及び圧縮は別々の動作の可能性があるものとして言及されたが、符号化は圧縮を実行するのに使用されてもよく、したがって、符号化はいくらか圧縮を含み得ることが正しく認識されるべきである。同様に、復号は伸長も伴い得る。
【０１８４】
[00203]  さまざまな実施形態において、処理システムのプロセッサは、例示的に記述された処理システムによって実行される方法ステップを実行するため、処理システムを制御するように構成される。さまざまな実施形態において、再生装置のプロセッサは、再生装置によって実行される、本願において記述された方法の１つ以上のステップを実装するため、再生装置を制御するように構成される。
【０１８５】
[00204]  上述されたさまざまな実施形態の方法及び装置上の多くの付加的な変形は、上記の観点から、当業者にとって明確となろう。このような変形は、範囲内にあると見なされる。
【図１】
2018514968.tif 000003
【図２】
2018514968.tif 000004
【図３】
2018514968.tif 000005
【図４】
2018514968.tif 000006
【図５】
2018514968.tif 000007
【図６】
2018514968.tif 000008
【図７】
2018514968.tif 000009
【図８】
2018514968.tif 000010
【図９】
2018514968.tif 000011
【図１０】
2018514968.tif 000012
【図１１】
2018514968.tif 000013
【図１２】
2018514968.tif 000014
【図１３】
2018514968.tif 000015
【図１３Ａ】
2018514968.tif 000016
【図１３Ｂ】
2018514968.tif 000017
【図１４】
2018514968.tif 000018
【図１４Ａ】
2018514968.tif 000019
【図１４Ｂ】
2018514968.tif 000020
【図１５】
2018514968.tif 000021
【図１６】
2018514968.tif 000022
【図１７】
2018514968.tif 000023
【図１８】
2018514968.tif 000024
【図１９】
2018514968.tif 000025
【図２０】
2018514968.tif 000026
【国際調査報告】
2018514968.tif 000027
2018514968.tif 000028