(57)【要約】【解決手段】ヘッドマウントディスプレイ（ＨＭＤ）を介してリモートユーザに現実世界空間の仮想現実（ＶＲ）体験を配信する方法及びシステムを提供する。方法は、現実世界空間のＶＲ体験についての要求を送信することと、ユーザによって行われたシート選択を識別することとを提供する。方法は、シート選択に対応する位置においてビデオ及び音声を捕捉するための現実世界捕捉システムにシート選択をマッピングし、現実世界捕捉システムに対する現実世界座標を受信する動作を含む。更に方法は、ユーザのユーザプロファイルにアクセスし、現実世界捕捉システムによって捕捉された現実世界空間のビデオストリームを受信する。方法は、現実世界オブジェクトと関連付けられた画像データの代わりに、グラフィカルコンテンツのアイテムをオーバレイすることによってグラフィカルコンテンツ要素により現実世界オブジェクトを識別及び再スキンすることができる。【選択図】図１
2020536603.tif 000002
【特許請求の範囲】
【請求項１】
ヘッドマウントディスプレイ（ＨＭＤ）を介してリモートユーザに現実世界空間の仮想現実（ＶＲ）提示を配信する方法であって、
前記現実世界空間の前記ＶＲ提示についての要求を送信することと、
前記ユーザによって行われた前記現実世界空間内のシート選択を識別することであって、前記シート選択は、前記現実世界空間における現実世界捕捉システムにマッピングされ、前記現実世界捕捉システムは、前記シート選択に対応する位置においてビデオ及び音声を捕捉するように構成される、前記識別することと、
前記現実世界捕捉システムについてのマッピングデータを受信することであって、前記マッピングデータは、前記現実世界捕捉システムに対する現実世界座標を含む、前記受信することと、
前記ユーザのユーザ好みを有するユーザプロファイルにアクセスすることと、
前記現実世界捕捉システムから前記現実世界空間のビデオストリームを受信することであって、前記ビデオストリームは、前記現実世界捕捉システムの１つ以上のカメラによって捕捉された複数のビデオ画像を含み、前記複数の画像は、前記シート選択に対応する前記現実世界捕捉システムの前記現実世界座標と関連付けられた観点から前記ＨＭＤにおいて提示される、前記受信することと、
前記ビデオストリームの前記複数の画像から、前記ユーザへの提示の間に再スキンするように構成された現実世界オブジェクトを識別することと、
前記ユーザプロファイルに基づいて、前記複数のビデオ画像内の前記現実世界オブジェクトを再スキンすることであって、前記再スキンすることは、前記現実世界オブジェクトと関連付けられた前記画像データの代わりにグラフィカルコンテンツ要素をオーバレイすることを含み、前記オーバレイすることは、前記シート選択に対応する前記現実世界捕捉システムと関連付けられた前記観点に基づいて幾何学的に調節される、前記再スキンすることと、
前記ＶＲ提示のために前記ＨＭＤを介して前記ユーザに前記ビデオストリームを提示することと、
を備えた、方法。
【請求項２】
複数のセンサから、前記ユーザが前記ＨＭＤを着用している間の場所及び方位を追跡することと、
前記ＨＭＤの前記場所及び方位を前記追跡したことに基づいて、前記ユーザが前記ＨＭＤを着用している間の前記ＨＭＤの移動を検出することであって、前記ビデオストリームの視野は、前記ＨＭＤの前記移動に応答して変化するように行われる、前記検出することと、
を更に備えた、請求項１に記載の方法。
【請求項３】
前記現実世界捕捉システムによって提供される前記ビデオストリームは、水平の３６０度の視野を含む、請求項１に記載の方法。
【請求項４】
前記マッピングデータは更に、前記現実世界オブジェクトの座標を含み、前記現実世界オブジェクトの前記座標は、前記現実世界オブジェクトを前記再スキンするために使用可能である、請求項１に記載の方法。
【請求項５】
前記ユーザ好みは、前記ユーザの統計、前記ユーザの閲覧履歴、前記ユーザの買い物履歴、前記ユーザの観覧履歴、前記ユーザのソーシャルメディアデータ、またはユーザの関心を含み、前記ユーザ好みは、前記再スキンするための前記グラフィカルコンテンツ要素を判定するために使用可能である、請求項１に記載の方法。
【請求項６】
前記オーバレイすることは、前記現実世界捕捉システムと前記現実世界オブジェクトの頂点との間の現実世界距離を測定すること、並びに前記現実世界捕捉システムから前記頂点に追跡された光線の間で形成された角度を測定することを含み、前記測定された距離及び測定された角度は、前記現実世界捕捉システムの前記観点に基づいて幾何学的に調節される前記グラフィカルコンテンツアイテムをオーバレイするために使用される、請求項１に記載の方法。
【請求項７】
前記現実世界オブジェクトは移動し、前記現実世界距離を前記測定すること、及び前記角度を前記測定することは、現実世界オブジェクトが移動するにつれて変化する現実世界オブジェクトの観点に基づいて前記グラフィカルコンテンツのアイテムが幾何学的に調節されるように、前記現実世界オブジェクトが移動するのとリアルタイムで、または準リアルタイムで行われる、請求項６に記載の方法。
【請求項８】
前記再スキンすることは、前記複数のビデオ画像内の前記現実世界オブジェクトの頂点を識別すること、及び前記グラフィカルコンテンツアイテムの頂点が前記現実世界オブジェクトの前記頂点と適合するように、前記グラフィカルコンテンツ要素を変換することを含み、前記グラフィカルコンテンツ要素は、前記現実世界オブジェクトと関連付けられた前記画像データの代わりに、前記グラフィカルコンテンツ要素を前記オーバレイするために使用されるように変換されている、請求項１に記載の方法。
【請求項９】
前記現実世界捕捉システムから前記現実世界空間の音声フィードを受信することを更に備え、前記音声フィードは、前記シート位置と関連付けられた前記現実世界捕捉システムの現実世界座標に従って処理される、請求項１に記載の方法。
【請求項１０】
前記ユーザからビデオモジュールの選択を受信すること、前記ビデオモジュールは、前記現実世界空間の追加のビデオストリームであることを更に備え、前記ビデオモジュールは、前記ＨＭＤを介して前記ユーザに前記ビデオストリームを前記提示している間にピクチャ対ピクチャ表示として表示される、請求項１に記載の方法。
【請求項１１】
前記現実世界空間は、エレクトロニックスポーツ（ｅスポーツ）活動を含み、前記ビデオモジュールは、プレイヤの前の観点、プレイヤの後の観点、プレイヤのスクリーン、プレイヤの制御パッドの観点、ゲームのジャンボトロンの観点、１つ以上のコメンテータの観点、プレイヤのチームの観点、または観衆メンバの観点の追加のビデオストリームのうちの１つである、請求項９に記載の方法。
【請求項１２】
前記ユーザから、前記現実世界空間においてプレイされているビデオゲームのフライスルービューについてのコマンドを受信することであって、前記コマンドは、前記フライスルービューについての前記ビデオゲーム内の位置を含む、前記受信することと、
前記現実世界空間から、プレイされている前記ビデオゲームのゲーム状態のストリームを受信することと、
前記ゲーム状態の前記ストリーム、及び前記フライスルービューについての前記ビデオゲーム内の前記位置と関連付けられた仮想カメラビューに基づいて、前記フライスルービューをレンダリングすることと、
前記ＨＭＤを介して前記ユーザに前記フライスルービューを提示することと、
を更に備えた、請求項１に記載の方法。
【請求項１３】
１つ以上のプロセッサと、
前記１つ以上のプロセッサと通信するように配置され、プロセッサ実行可能命令を記憶したメモリと、を備え、前記プロセッサ実行可能命令は、
現実世界空間のＶＲ提示についての要求を送信し、前記要求は、ＨＭＤを介してユーザに前記現実世界空間の前記ＶＲ提示を配信するための要求であり、
前記ユーザによって行われた前記現実世界空間内のシート選択を識別し、前記シート選択は、前記現実世界空間における現実世界捕捉システムにマッピングされ、前記現実世界捕捉システムは、前記シート選択に対応する位置においてビデオ及び音声を捕捉するように構成され、
前記現実世界捕捉システムについてのマッピングデータを受信し、前記マッピングデータは、前記現実世界捕捉システムに対する現実世界座標を含み、
前記現実世界捕捉システムから前記現実世界空間のビデオストリームを受信し、前記ビデオストリームは、前記現実世界捕捉システムの１つ以上のカメラによって捕捉された複数のビデオ画像を含み、前記複数の画像は、前記シート選択に対応する前記現実世界捕捉システムの前記現実世界座標と関連付けられた観点から前記ＨＭＤにおいて提示され、
前記ビデオストリームの前記複数の画像から、前記ユーザへの提示の間に再スキンするように構成された現実世界オブジェクトを識別し、
前記ユーザプロファイルに基づいて、前記複数のビデオ画像内の前記現実世界オブジェクトを再スキンし、前記再スキンすることは、前記現実世界オブジェクトと関連付けられた前記画像データの代わりに、グラフィカルコンテンツ要素をオーバレイすることを含み、前記オーバレイすることは、前記シート選択に対応する前記現実世界捕捉システムと関連付けられた前記観点に基づいて幾何学的に調節され、
前記ＶＲ提示のために前記ＨＭＤを介して前記ユーザに前記ビデオストリームを提示する、
サーバシステム。
【請求項１４】
複数のセンサから、前記ユーザが前記ＨＭＤを着用している間の場所及び方位を追跡し、
前記ＨＭＤの前記場所及び方位を前記追跡したことに基づいて、前記ユーザが前記ＨＭＤを着用している間の前記ＨＭＤの移動を検出し、前記ビデオストリームの視野は、前記ＨＭＤの前記移動に応答して変化するように行われる、
命令を更に含む、請求項１３に記載のサーバシステム。
【請求項１５】
前記マッピングデータは更に、前記現実世界オブジェクトの座標を含み、前記現実世界オブジェクトの前記座標は、前記現実世界オブジェクトを前記再スキンするために使用可能である、請求項１３に記載のサーバシステム。
【請求項１６】
前記オーバレイすることは、前記現実世界捕捉システムと前記現実世界オブジェクトの頂点との間の現実世界距離を測定すること、並びに前記現実世界捕捉システムから前記頂点に追跡された光線の間で形成された角度を測定することを含み、前記測定された距離及び前記測定された角度は、前記現実世界捕捉システムの前記観点に基づいて幾何学的に調節される前記グラフィカルコンテンツアイテムをオーバレイするために使用される、請求項１３に記載のサーバシステム。
【請求項１７】
前記現実世界オブジェクトは移動し、前記現実世界距離を前記測定すること、及び前記角度を前記測定することは、現実世界オブジェクトが移動するにつれて変化する現実世界オブジェクトの観点に基づいて前記グラフィカルコンテンツアイテムが幾何学的に調節されるように、前記現実世界オブジェクトが移動するのとリアルタイムで、または準リアルタイムで行われる、請求項１３に記載のサーバシステム。
【請求項１８】
前記再スキンすることは、前記複数のビデオ画像内の前記現実世界オブジェクトの頂点を識別すること、及び前記グラフィカルコンテンツアイテムの頂点が前記現実世界オブジェクトの前記頂点と適合するように、前記グラフィカルコンテンツ要素を変換することを含み、前記グラフィカルコンテンツ要素は、前記現実世界オブジェクトと関連付けられた前記画像データの代わりに、前記グラフィカルコンテンツ要素を前記オーバレイするために使用されるように変換されている、請求項１３に記載のサーバシステム。
【請求項１９】
プロセッサ実行可能命令を記憶した非一時的媒体であって、前記命令は、
現実世界空間のＶＲ提示についての要求を送信し、前記要求は、ＨＭＤを介してユーザに前記現実世界空間の前記ＶＲ提示を配信するための要求であり、
前記ユーザによって行われた前記現実世界空間内のシート選択を識別し、前記シート選択は、前記現実世界空間における現実世界捕捉システムにマッピングされ、前記現実世界捕捉システムは、前記シート選択に対応する位置においてビデオ及び音声を捕捉するように構成され、
前記現実世界捕捉システムについてのマッピングデータを受信し、前記マッピングデータは、前記現実世界捕捉システムに対する現実世界座標を含み、
前記現実世界捕捉システムから前記現実世界空間のビデオストリームを受信し、前記ビデオストリームは、前記現実世界捕捉システムの１つ以上のカメラによって捕捉された複数のビデオ画像を含み、前記複数の画像は、前記シート選択に対応する前記現実世界捕捉システムの前記現実世界座標と関連付けられた観点から前記ＨＭＤにおいて提示され、
前記ビデオストリームの前記複数の画像から、前記ユーザへの提示の間に再スキンするように構成された現実世界オブジェクトを識別し、
前記ユーザプロファイルに基づいて、前記複数のビデオ画像内の前記現実世界オブジェクトを再スキンし、前記再スキンすることは、前記現実世界オブジェクトと関連付けられた前記画像データの代わりに、グラフィカルコンテンツ要素をオーバレイすることを含み、前記オーバレイすることは、前記シート選択に対応する前記現実世界捕捉システムと関連付けられた前記観点に基づいて幾何学的に調節され、
前記ＶＲ提示のために前記ＨＭＤを介して前記ユーザに前記ビデオストリームを提示する、
前記命令を含む、非一時的媒体。
【請求項２０】
前記オーバレイすることは、前記現実世界捕捉システムと前記現実世界オブジェクトの頂点との間の現実世界距離を測定すること、並びに前記現実世界捕捉システムから前記頂点に追跡された光線の間で形成された角度を測定することを含み、前記測定された距離及び前記測定された角度は、前記現実世界捕捉システムの前記観点に基づいて幾何学的に調節される前記グラフィカルコンテンツアイテムをオーバレイするために使用される、請求項１９に記載の非一時的媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は概して、現実世界空間の仮想現実（ＶＲ）に関し、特に、ユーザにリモートであるｅスポーツイベントなどのライブイベントのＶＲ体験をヘッドマウントディスプレイ（ＨＭＤ）のユーザに提供する方法及びシステムに関する。
【背景技術】
【０００２】
エレクトロニックスポーツ、すなわち、「ｅスポーツ」が観客に対するエンターテインメントのますます人気の形式となっている。ｅスポーツは、ビデオゲームサーバ及びコンピュータシステムなどの電子システムによって促進される、マルチプレイヤビデオゲームを典型的には伴う競技の形式である。ｅスポーツの環境でプレイされるより人気のあるビデオゲームのジャンルには、リアルタイムの戦略ゲーム、戦闘ゲーム、ファーストパーソンシューター（ＦＰＳ）シュータゲーム、及びマルチプレイヤオンラインバトルアリーナ（ＭＯＢＡ）ゲームがある。ｅスポーツイベントは、ｅスポーツゲームが観衆の前でライブでプレイされるときに観客のイベントになる。多くのｅスポーツイベントは、大型アリーナで開催され、観衆のメンバに、ジャンボトロンなどの大型ディスプレイ上のゲームアクションのビューと共に、コメンテータチームからのライブコメンタリを提供する。よって、ｅスポーツのライブ観衆メンバは、ゲームアクション、プレイヤ、コメンテータ、及び観衆自身の没入型の現実世界体験が与えられる。
【０００３】
多くの例では、ｅスポーツイベントに直に参加することが可能でないｅスポーツのファンはなお、イベントのオンラインライブストリームを介して視聴することが可能である。よって、リモートの観客は、例えば、イベントを主催する組織またはイベントを配給する配給会社によって作成されたイベントの一般的なビデオストリームを取得することが可能である。いずれのシナリオでも、ｅスポーツイベントの現在のビデオストリームは没入型ではない。例えば、ディスプレイ上でｅスポーツのビデオストリームを見ているリモートの観客は、ｅスポーツイベントが主催されているアリーナにおいて没頭しているように感じない。その上、観客にとって関心があることがある複数のカメラビュー及び「スクリーンビュー」（例えば、プレイヤのスクリーンが表示しているもの）が存在することがある。ｅスポーツの現在の放送は、消費者が望んでいるどのビューが示されるかを選択することを可能にしない。
【０００４】
実施形態は、この状況においてなされる。
【発明の概要】
【０００５】
本開示の実施形態は、ヘッドマウントディスプレイ（ＨＭＤ）を介してリモートユーザに現実世界空間の仮想現実（ＶＲ）提示を配信する方法及びシステムに関する。一実施形態では、方法は、現実世界空間のＶＲ提示についての要求を送信し、ユーザによって行われた現実世界空間内のシート選択を識別し、シート選択は、シート選択に対応する位置においてビデオ及び音声を捕捉するように構成された現実世界捕捉システムにマッピングされる、動作を含む。方法はまた、現実世界捕捉システムについてのマッピングデータを受信する動作を含み、マッピングデータは、現実世界捕捉システムに対する現実世界座標を含む。方法は、ユーザのユーザ好みを有するユーザプロファイルにアクセスすることが可能である。いくつかの実施形態に従って、方法は、現実世界捕捉システムから現実世界空間のビデオストリームを受信し、ビデオストリームは、現実世界捕捉システムの１つ以上のカメラによって捕捉された複数のビデオ画像を含み、複数の画像は、シート選択に対応する現実世界捕捉システムの現実世界座標と関連付けられた観点からＨＭＤにおいて提示される。方法は更に、ビデオストリームの複数の画像から、提示の間に再スキンするように構成された現実世界オブジェクトを識別する動作を含む。この実施形態及び他の実施形態に従って、方法は、ユーザプロファイルに基づいて、複数のビデオ画像内の現実世界オブジェクトを再スキンし、再スキンすることは、現実世界オブジェクトと関連付けられた画像データの代わりにグラフィカルコンテンツ要素をオーバレイすることを含む。特定の実施形態では、オーバレイすることは、シート選択に対応する現実世界捕捉システムと関連付けられた観点に基づいて幾何学的に調節される。方法は次いで、ＶＲ提示のためにＨＭＤを介してユーザに、再スキンされたビデオストリームを提示する。
【０００６】
開示の他の態様が、開示の原理を例として表す添付図面を併用して、以下の詳細な説明から明らかになる。
【図面の簡単な説明】
【０００７】
添付図面を併用して以下の説明を参照することによって、開示を最良に理解することができる。
【０００８】
【図１】リモート現実世界空間において行われるｅスポーツイベントの仮想現実（ＶＲ）提示を配信する実施形態の概念図である。
【０００９】
【図２】一実施形態に従った、現実世界空間のＶＲ提示を再スキンする方法の全体フローを示す。
【００１０】
【図３】一実施形態に従った、ユーザによって行われるシート選択に対応する視点を有する現実世界空間のＶＲ提示を提供するために現実世界空間から収集されたデータを使用する方法の全体フローを示す。
【００１１】
【図４】一実施形態に従った、現実世界空間のＶＲ提示の間に現実世界空間の静的な現実世界オブジェクトを再スキンする方法の全体フローを示す。
【００１２】
【図５】一実施形態に従った、現実世界空間のＶＲ提示の間に現実世界空間の移動している現実世界オブジェクトを再スキンする方法の全体フローを示す。
【００１３】
【図６】一実施形態に従った、ＨＭＤを介してライブイベントを観覧するためにシート選択を行うリモート観客の概念図を示す。
【００１４】
【図７】一実施形態に従った、リモート観客のシート選択を現実世界捕捉システムにマッピングする処理の概念図を示し、現実世界捕捉システムは、現実世界におけるイベントを捕捉するための複数のカメラ及びマイクロフォンを含む。
【００１５】
【図８】一実施形態に従った、現実世界空間データ及び現実世界環境データから現実世界捕捉システムと関連付けられた視点マッピングデータを取得する概念図を示す。
【００１６】
【図９】ｅスポーツイベントの現実世界ビューにおける現実世界オブジェクトを再スキンする概念図を示す。
【００１７】
【図１０Ａ】現実世界捕捉システムの観点に基づいて再スキンする広告の上でオーバレイするグラフィカル要素を幾何学的に調節する概念図を示す。
【図１０Ｂ】現実世界捕捉システムの観点に基づいて再スキンする広告の上でオーバレイするグラフィカル要素を幾何学的に調節する概念図を示す。
【００１８】
【図１１】再スキンされるように構成可能な現実世界オブジェクトの追加の実施形態を示す。
【００１９】
【図１２】一実施形態に従った、ｅスポーツイベントにおいてプレイされているビデオゲームのゲーム内フライスルービューが提示されているリモート観客の概念図を示す。
【００２０】
【図１３】一実施形態に従った、表示のためにｅスポーツイベントの異なるビューの間で選択しているリモート観客の概念図を示す。
【００２１】
【図１４】一実施形態に従った、ＨＭＤを介したユーザへのｅスポーツイベントのＶＲ提示を可能にする例示的なコンピューティングシステムの図を示す。
【００２２】
【図１５】一実施形態に従った、ｅスポーツイベントのコンテキスト内で相互に仮想的にインタラクトしている２人のリモート観客の概念図を示す。
【００２３】
【図１６】ここで提示される方法及び処理と共に使用されることが可能なヘッドマウントディスプレイ（ＨＭＤ）の実施形態を示す。
【発明を実施するための形態】
【００２４】
以下の実施形態は、ＨＭＤを介してリモート観客にライブイベントの没入型の仮想体験を提供する方法、コンピュータプログラム、及び装置を説明する。しかしながら、本開示は、それらの特定の詳細のいくつかまたは全てなしに実施されてもよいことが当業者にとって明白である。他の例では、本開示を不必要に不明瞭にしないために、周知の処理動作が説明されていない。
【００２５】
エレクトロニックスポーツ、すなわち、「ｅスポーツ」が観客に対するエンターテインメントのますます人気の形式となっている。ｅスポーツは、ビデオゲームサーバ及びコンピュータシステムなどの電子システムによって促進される、マルチプレイヤビデオゲームを典型的には伴う競技の形式である。ｅスポーツの環境でプレイされるより人気のあるビデオゲームのジャンルには、リアルタイムの戦略ゲーム、戦闘ゲーム、ファーストパーソンシューター（ＦＰＳ）シュータゲーム、及びマルチプレイヤオンラインバトルアリーナ（ＭＯＢＡ）ゲームがある。ｅスポーツイベントは、ｅスポーツゲームが観衆の前でライブでプレイされるときに観客のイベントになる。多くのｅスポーツイベントは、大型アリーナで開催され、観衆のメンバに、ジャンボトロンなどの大型ディスプレイ上のゲームアクションのビューと共に、コメンテータチームからのライブコメンタリを提供する。よって、ｅスポーツのライブ観衆メンバは、ゲームアクション、プレイヤ、コメンテータ、及び観衆自身の没入型の現実世界体験が与えられる。
【００２６】
多くの例では、ｅスポーツイベントに直に参加することが可能でないｅスポーツのファンはなお、イベントのオンラインライブストリームを介して視聴することが可能である。よって、リモートの観客は、例えば、イベントを主催する組織またはイベントを配給する配給会社によって作成されたイベントの一般的なビデオストリームを取得することが可能である。いずれのシナリオでも、ｅスポーツイベントの現在のビデオストリームは没入型ではない。例えば、ディスプレイ上でｅスポーツのビデオストリームを見ているリモートの観客は、ｅスポーツイベントが主催されているアリーナにおいて没頭しているように感じない。その上、観客にとって関心があることがある複数のカメラビュー及び「スクリーンビュー」（例えば、プレイヤのスクリーンが表示しているもの）が存在することがある。ｅスポーツの現在の放送は、消費者が望んでいるどのビューが示されるかを選択することを可能にしない。
【００２７】
ここで提示される及びシステムは、ＨＭＤのリモートユーザが、ｅスポーツイベントなどの現実世界イベントのＶＲ提示を観覧することを可能にする。いくつかの実施形態に従って、ビデオ、音声、及び他のデータなどの現実世界データは、観客席、アリーナ、コンサートホール、倉庫などの現実世界空間内に位置するデバイスによって捕捉される。ビデオ及び音声データを含む現実世界データは、処理のためにＶＲホスティングサーバまたは他のコンテンツプロバイダに配信される。ＶＲホスティングサーバは、現実世界データを処理し、現実世界イベントのＶＲ提示をレンダリングすることが可能である。ＶＲ提示データは、ネットワークを通じてユーザのＨＭＤまたはＨＭＤに接続されたコンピューティングデバイスに送信される。
【００２８】
いくつかの実施形態に従って、特定のエリアもしくは領域、または概して現実世界オブジェクトは、ＶＲ提示のために視覚的に修正されてもよい。一実施形態では、視覚的修正は、広告などの現実世界オブジェクトを再スキンすることを含む。再スキンすることは、ビデオフレーム内の既存のコンテンツと関連付けられた画素データの代わりに、既存のコンテンツの上で新たなコンテンツをオーバレイし、または新たなコンテンツと関連付けられた画素データを置き換えもしくは統合する処理を含む。ここで考えられる実施形態は、再スキンするいずれかの方法を使用してもよい。結果として、現実世界イベントのリモートの観客は、自分の関心に更に順応したコンテンツが、望まれないコンテンツなしに提供されてもよい。
【００２９】
図１は、ＨＭＤ１０２及びＶＲ環境１０４を介してリモートユーザ１０１に、ｅスポーツイベント１００の仮想現実（ＶＲ）提示１０６を配信する実施形態の概念図である。ローカルサーバ１１６によってホストされたマルチプレイヤビデオゲームにおいて相互にプレイしている第１のチーム１１２及び第２のチーム１１４を含むｅスポーツイベント１００が示される。どのチームがどれであるかを示すチームバナー１２０及び１２２が示される。ビデオゲームの出来事のリアルタイム提示１０３は、ジャンボトロンなどのメインディスプレイ１１８上で表示され、様々な視点からプレイされているようなビデオゲームのライブビデオを含む。
【００３０】
マルチプレイヤゲームをプレイしている間にモニタ及び入力デバイスとインタラクトすることができる自分のゲーミングステーションを有する、ｅスポーツイベント１００における各々のプレイヤが示される。各々のゲーミングステーションはまた、プレイヤがマルチプレイヤゲームをプレイするにつれて、各々のプレイヤのライブポートレートビューを表示するように示される観衆対面パネルを有する。また、図１に示されるのは、ゲーム及びそのプレイヤに関する実況及びカラーコメンタリを提供することができるコメンテータ１０５のペアである。
【００３１】
更に、観衆１３２によって観覧可能な複数の物理的な広告を含むｅスポーツイベント１００が示される。物理的な広告は、印刷されたバナー広告、投影された広告、及びＬＥＤ表示された広告などを含んでもよい。例えば、ミルクについての左壁の広告１２４、インスタントヌードルについての右壁の広告１２６、エネルギードリンクについての舞台壁の広告１３０、及びゲーム製品についてのコメンテータデスク広告１２８を含むｅスポーツイベントが示される。
【００３２】
ｅスポーツイベント１００の舞台に面した複数のシートを含む観衆１３２が示される。いくつかの実施形態に従って、リモートユーザ１０１は、ｅスポーツイベント１００のＶＲ提示１０６のために複数のシートのうちの特定のシートを選択することが可能である。示される実施形態では、ユーザ１０１は、ＶＲ提示１０６を介してｅスポーツイベント１００を観覧するための視点１３６を有するシート１３４を選択している。以下で更に詳細に説明されるように、シート１３４の視点１３６は、シート１３４の視点１３６からｅスポーツイベント１００を捕捉するように、シート１３４に位置する複数のカメラ及びマイクロフォンを有する現実世界捕捉システム１３８によって提供される。
【００３３】
ＶＲホスティングサーバ１０７を通じてｅスポーツイベント１００へのアクセスを有するＨＭＤ１０２が示される。ＶＲホスティングサーバ１０７は、ＶＲ提示を処理するために、ローカルサーバ１１６によって提供される現実世界データ及びゲーム状態データを受信する。例えば、ビデオゲームのゲーム状態情報などのビデオゲームデータと共に、異なる視点からレンダリングされているビデオゲームのビデオシーンは、処理のためにＶＲホスティングサーバ１０７に提供されてもよい。その上、現実世界捕捉システム１３６によって捕捉された現実世界データは、処理のためにローカルサーバ１１６によってＶＲホスティングサーバ１０７に経路指定されてもよい。いくつかの実施形態では、ｅスポーツイベント１００内の複数の視座から現実世界データを捕捉するための複数の現実世界捕捉システムが存在してもよい。結果として、異なるサーバまたは複数のサーバは、マルチプレイヤビデオゲームをホストするために、ローカルサーバ１１６とは別個のリモートユーザに、複数の現実世界捕捉システムによって捕捉された現実世界データをサービスするために使用されてもよい。
【００３４】
リモートユーザ１０１によって選択されたシート１３４の視点または視座からであるｅスポーツイベント１００のＶＲ提示１０６が示される。結果として、ＶＲ提示１０６は、リモートユーザ１０１がシート１３４に位置しているかのように、ｅスポーツイベント１００の視覚的及び音声体験を提供することができる。いくつかの実施形態では、現実世界捕捉システム１３８は、リモートユーザ１０１も頭または体を移動及び回転させることによってｅスポーツイベント１００の３６０度のビューを有することが可能であるように、ｅスポーツイベント１００の３６０度のビュー及びそれを囲む物理空間を提供することが可能である。結果として、ｅスポーツイベント１００を主催するアリーナの内部にリモートユーザ１０１があるかのような体験をリモートユーザ１０１が提供されることを理由に、リモートユーザ１０１は、現在のｅスポーツ放送が提供することが可能でないｅスポーツイベント１００の没入型のＶＲ提示１０６を提供される。
【００３５】
図１に示される実施形態に従って、現実世界捕捉システム１３８によって捕捉された現実世界データとは異なるＶＲ提示１０６に対していくつかの修正が行われている。例えば、ミルクについての左壁の広告１２４は、ＶＲ提示におけるＰｌａｙＳｔａｔｉｏｎについての左壁の広告１２４’に再スキンされている。同様に、現実世界空間におけるインスタントヌードルについての右壁の広告１２６は、Ｆａｒｐｏｉｎｔについての右壁の広告１２６’としてリモートユーザ１０１に対して現れる。その上、舞台壁の広告１３６及びコメンテータデスク広告１２８は、現実世界空間のコンテンツとは異なる広告コンテンツを表示するように再スキンされている。再スキンされた広告１２４’〜１３０’の各々が、シート１３４及び現実世界捕捉システム１３８の視点に関して現実世界における観点、サイズ、及び幾何学的比率に対するＶＲ提示１０６内の観点、サイズ、及び幾何学的比率を維持して示される。例えば、左壁の広告１２４’は、ＶＲ提示１０６が再スキンすることなく発生した場合に、左壁の広告１２４があるのと同一の観点によりユーザ１０１に対して現れる。
【００３６】
前に言及されたように、再スキンすることは、既存のコンテンツの代わりに新たなコンテンツが表示されるように、既存のコンテンツを有するビデオストリームにフレームを挿入することによって、既存のコンテンツ上に置き換えコンテンツをオーバレイすることを伴ってもよい。他の実施形態では、再スキンすることは、既存のコンテンツと関連付けられた既存の画素データに、新たなコンテンツと関連付けられた新たな画素データを置き換えること、混合すること、または挿入することを伴ってもよい。
【００３７】
その上、新たなコンテンツにより既存のコンテンツを再スキンすることは、同一または類似の観点を有する新たなコンテンツが再スキンされるように、既存のコンテンツの観点を分析することを伴ってもよいことが想定される。いくつかの実施形態では、方法またはシステムは、既存のコンテンツの頂点の各々の現実世界座標と共に、現実世界捕捉システム（例えば、既存のコンテンツを捕捉するカメラ）の現実世界座標に関するデータを収集してもよい。それらの実施形態では、既存のコンテンツの観点は、収集された座標に基づいて判定されてもよい。例えば、新たなコンテンツの頂点は、既存のコンテンツの頂点の座標に一致するように３次元空間に仮想的に置かれてもよく、２次元空間に再度投影されてもよい。新たなコンテンツの結果として生じる２次元投影は、既存のコンテンツと同一または類似の観点を有する。再スキンすることの他の実施形態では、再スキンすることは、ビデオ画像内の既存のコンテンツと同一の２次元エリアを占有するように、新たなコンテンツを変形させる変形または新たなコンテンツを変形する観点によって２次元空間において行われてもよい。
【００３８】
その上、ここで提示される方法及びシステムにより使用される再スキンすることは、カメラ視点に関連して移動する既存のコンテンツを動的に再スキンすることを可能にされると考えられる。例えば、現実世界において移動しているオブジェクトは、ビデオフレームの各々におけるオブジェクトを追跡し、ビデオフレーム内のオブジェクトに対して再スキンすることを実行することによって再スキンされてもよい。オブジェクトが移動するにつれて、オブジェクトの観点も変化してもよい。ここで考えられる再スキンする方法は、それらの変化をリアルタイムで追跡し、変化する観点に従って新たなコンテンツを再スキンすることが可能である。
【００３９】
他の実施形態では、現実世界捕捉システムは、現実世界空間内で移動してもよい。よって、現実世界オブジェクトが現実世界において静止している場合でさえ、現実世界オブジェクトの観点は、カメラが移動している間に変化する。ここで考えられる方法及びシステムは、現実世界捕捉システムのカメラが現実世界の周りで移動するにつれて変化する観点に従って、現実世界オブジェクトを再スキンすることが可能である。移動しているオブジェクトを再スキンすることと同様に、移動しているカメラ視点に対して静止オブジェクトを再スキンすることは、一連のビデオフレームにわたってオブジェクトを追跡すること、及び既存のコンテンツと関連付けられた既存の画像データを新たなコンテンツと関連付けられた新たな画像データによりオーバレイまたは置き換えることを伴ってもよい。
【００４０】
いくつかの実施形態では、既存のコンテンツ（例えば、現実世界広告）は、分類器、オブジェクト認識器、特徴認識器、及び人工知能を使用して自動で識別されてもよい。それらの実施形態では、自動で識別された既存のコンテンツは、再スキンロジックによって置き換えられるとタグ付けされる。例えば、ＶＲホスティングサービスは、ビーフジャーキの特定のブランドを、そのブランドの目印が捕捉されるたびに識別及び再スキンすることを指示されてもよい。ＶＲホスティングサービスは、最終的なＶＲ提示のためにビーフジャーキのブランドの目印を自動で再スキンすることを可能にされてもよいことが想定される。
【００４１】
いくつかの実施形態では、再スキンするために使用されるコンテンツ（例えば、「ＰｌａｙＳｔａｔｉｏｎ」、「ＦａｒＰｏｉｎｔ」など）は、ユーザ好み、ユーザ設定、ユーザ統計、ユーザ閲覧履歴、ユーザ買い物履歴、及びユーザ観覧履歴などに基づいてもよい。結果として、リモートユーザ１０１は、ｅスポーツイベント１００のＶＲ提示１０６から注意を逸らさない方式において、リモートユーザ１０１の関心に一致する広告コンテンツが提供されてもよい。
【００４２】
図２は、一実施形態に従った、現実世界空間のＶＲ提示を再スキンする方法の全体フローを示す。方法は、ＨＭＤを使用して、現実世界空間のＶＲ提示を体験するように、リモート位置にあるユーザから現実世界空間に入ることを要求する動作２１０を含む。方法は次いで、ユーザのユーザプロファイルを識別する働きをし、ユーザプロファイルは、ユーザ好みを含む、動作２２０に移る。いくつかの実施形態では、ユーザプロファイル及びユーザ好みは、ユーザ関心、ユーザ統計、ユーザ買い物履歴、ユーザ閲覧履歴、ユーザ観覧履歴に関するデータと共に、ソーシャルフレンド活動及び関心などに関するソーシャルネットワークデータを含んでもよい。結果として、方法は、リモートユーザに関心がある製品、サービス、イベントなどを学習することを可能にされてもよい。
【００４３】
動作２３０では、方法は、ユーザからシート選択を受信する。以下で更に詳細に議論されるように、ユーザは、現実世界アクションを観覧するための現実世界空間における現実世界位置に対応する複数のシートが供給されてもよい。異なるシートは、異なるシートが現実世界アクションの異なる視点または視座を有することに起因して、異なるＶＲ提示を提供することができる。いくつかの実施形態では、異なるシートは、異なる値で価格付けされてもよい。例えば、舞台の前及び中心にある家屋内の最良のシートは、舞台から離れて位置するシートよりも高い価格または要件を有してもよい。
【００４４】
動作２４０では、方法は、リモートユーザのシート選択に対応する視座を有するライブビデオストリームを要求する。図１に示されるように、ライブビデオストリームは、複数のカメラ及びマイクロフォンを有する現実世界捕捉システムによって提供されてもよい。方法は次いで、視座に対する現実世界座標位置を受ける働きをする、動作２５０に流れる。よって、例えば、動作２５０は、図１に示された現実世界捕捉システムの現実世界座標位置を取得することができる。加えて、方法は、現実世界空間の現実世界マッピングデータを取得することが可能であり、現実世界空間は、現実世界空間内のオブジェクトの現実世界座標を含んでもよい。例えば、現実世界空間が舞台を有するアリーナである場合、現実世界マッピングデータは、舞台が視座に関連する情報を提供することができる。
【００４５】
方法は次いで、視座に対する現実世界座標位置、現実世界マッピングデータ、及びユーザ好みに基づいて、ＨＭＤ上で観覧された現実世界オブジェクトに対して動的な再スキン処理を実行する働きをする、動作２６０に移る。動的な再スキンのために使用される現実世界オブジェクトは、広告、バナー、ディスプレイ、表面、パッチ、床、天井、電子デバイスなど、現実世界におけるいずれかのオブジェクトを含んでもよい。
【００４６】
図３は、一実施形態に従った、ユーザによって行われたシート選択に対応する視点を有する現実世界空間のＶＲ提示を提供するために、現実世界空間から収集されたデータを使用する方法の全体フローを示す。動作３１０は、現実世界空間のＶＲ提示を体験するためにユーザによって行われたシート選択を識別する。方法は次いで、ＶＲ提示を処理するために、シート選択のための現実世界座標位置を取得する働きをする、動作３２０に移る。シート選択のための現実世界座標を取得する処理は、シート選択に対応する現実世界に位置する現実世界捕捉システムにシート選択をマッピングすることを伴ってもよい。
【００４７】
いくつかの実施形態では、シート選択処理は、チケット販売者がアリーナ内の特定のシートのためのチケットを購入するオプションが提供される、ライブイベントのためにシートを選択することと同様である。よって、各々のシート選択は、現実世界空間における現実世界シートにマッピングする。いくつかの実施形態では、シート選択ごとに、シート選択に対応する位置から現実世界におけるイベントを捕捉する明確に異なる現実世界捕捉システムが存在する。それらの実施形態では、現実世界シートについての現実世界座標は、現実世界捕捉システムの現実世界座標と同様である。他の実施形態では、同一の現実世界捕捉システムにマッピングする２つ以上のシート選択が存在してもよい。結果として、方法は、ＶＲ提示を処理する目的で、現実世界捕捉システムの現実世界座標を取得する。他の実施形態では、現実世界捕捉システムへのシート選択の１対１及び多対１のマッピングの組み合わせが存在してもよい。動作３２０は、シート選択に対して、近接性、観覧角度などに関して最良に適合する現実世界捕捉システムにシート選択をマッピングすることが可能である。
【００４８】
シート選択がｅスポーツイベントを主催する観客席またはアリーナにおけるシートに対するものである場合、動作３２０によって取得された現実世界捕捉システムの現実世界座標位置は、現実世界捕捉システムが観客席またはアリーナにおけるオブジェクトに関連する場所を識別することを支援する。例えば、ＡＡ０１のシート選択は、観客席またはアリーナの座標システム内の（ｘ，ｙ，ｚ）の現実世界座標位置を有する現実世界捕捉システムにマッピングされてもよい。
【００４９】
動作３３０は、現実世界空間についての空間マッピングデータにアクセスするように構成される。空間マッピングデータは、上述した観客席またはアリーナの座標システムに関して物理空間の仮想マップを含んでもよい。空間マッピングデータは概して、オブジェクト、壁、床、天井、シート、舞台などの位置を識別することを支援する。再度、現実世界空間がｅスポーツイベントを主催する観客席またはアリーナである場合、空間マッピングデータは、ｅスポーツプレイヤ、コメンテータ、メインディスプレイ、舞台、広告、及び関心の他のポイントの座標データを含んでもよい。
【００５０】
動作３４０では、方法は、シート選択がマッピングされる現実世界捕捉システムから現実世界空間についての空間環境データにアクセスする。空間環境データは、現実世界捕捉システムによって捕捉されることが可能ないずれかのタイプのデータを含んでもよい。例えば、上述したように、現実世界捕捉システムは、カメラ、マイクロフォン、及びオブジェクトの距離を測定するための他のセンサのアレイを含んでもよい。結果として、空間環境データは、現実世界捕捉システムの場所に対する観客席の音響特性を検出する音声校正処理から収集されたデータを含んでもよい。検出された音響特性は、指向性音響反射率、インピーダンス、ゲイン、ハーモニック、背景、または周辺雑音などを含んでもよい。
【００５１】
動作３４０によって取得された空間環境データはまた、現実世界捕捉システムと現実世界空間内の様々なオブジェクトとの間の距離の測定値を含んでもよい。現実世界空間内の大型広告の角など、現実世界オブジェクトの頂点への追跡された光線の間の角距離も測定されてもよい。例えば、空間マッピングデータは、現実世界空間における大型の矩形広告の４つの頂点の各々の座標位置を判定することが可能であってもよい。結果として、空間環境データは、現実世界空間における３Ｄモデル現実世界オブジェクトを構築するために使用可能であってもよい。
【００５２】
動作３４０では、動作３２０から収集されたデータ（例えば、現実世界捕捉システムに対する現実世界座標位置）、動作３３０から収集されたデータ（例えば、空間マッピングデータ）、及び動作３４０から収集されたデータ（例えば、空間環境データ）は、視点マッピングデータを処理するために使用される。視点マッピングデータは、現実世界空間のＶＲ提示を処理することと共に、ＶＲ提示のために現実世界オブジェクトを再スキンすることに関連するデータを含んでもよい。例えば、視点マッピングデータは、現実世界オブジェクトへの測定された距離、現実世界オブジェクトの頂点への追跡された光線の角距離、現実世界オブジェクトの現実世界座標（例えば、現実世界捕捉システムとは独立した現実世界オブジェクトの座標）、現実世界オブジェクトのカメラ座標（例えば、現実世界捕捉システムに対する現実世界オブジェクトの座標）を含んでもよい。加えて、視点マッピングデータはまた、現実世界捕捉システムの位置における現実世界空間の音響特性に関するデータを含んでもよい。
【００５３】
図３に示される方法は次いで、動作３５０によって処理された視点マッピングデータに従って、ＨＭＤを介してユーザに現実世界空間のＶＲ提示を提供する、動作３６０に移る。ＶＲ提示は、現実世界捕捉システムによって捕捉されたライブ音声及びビデオストリームを含んでもよい。特定の実施形態では、ＶＲ提示は、視点マッピングデータに従ったライブ音声及びビデオストリームの修正されたバージョンを含んでもよい。音声ストリームを修正する実施例は、現実世界捕捉システムにおいて捕捉されたそのような音声の様々な音声入力を、観衆、プレイヤ、コメンテータ、ゲームサウンドなどと関連付けられた音声と混合することを含む。ビデオストリームを修正する実施例は、ＶＲ提示において他の何かについての大型の矩形広告として現れる大型の矩形広告などの現実世界オブジェクトを再スキンすることを含む。
【００５４】
図４は、一実施形態に従った、現実世界空間のＶＲ提示の間に現実世界空間の静的な現実世界オブジェクトを再スキンする全体フローを示す。方法は、ＨＭＤを介してリモートユーザから現実世界空間のＶＲ提示を要求する動作４１０により開始する。方法は次いで、現実世界捕捉システムから、現実世界空間のライブビデオストリームを受信し、ビデオストリームは、複数のビデオ画像を含む、動作４２０に移る。現実世界空間がｅスポーツイベントを主催するアリーナである場合、ビデオストリームは、各々のチームのプレイヤ、ビデオゲームのメインディスプレイ、他の観客、コメンテータ、広告のビデオなどを含んでもよい。上述したように、ビデオフィードは、ビデオフィードを受信するＨＭＤユーザが頭または体を回転させることによって３６０度で見渡すことを可能にする、現実世界空間の３６０度の水平ビューを含んでもよい。他の実施形態では、現実世界空間の３６０度の垂直ビューももたらされてもよい。
【００５５】
方法は次いで、現実世界捕捉システムの現実世界座標位置を識別する働きをし、現実世界座標位置は、現実世界捕捉システムに対する観点を判定するために使用可能である、動作４３０に移る。例えば、現実世界捕捉システムの現実世界座標を有することによって、方法は、様々な現実世界オブジェクトと関連付けられた観点または現実世界捕捉システムによって捕捉されたシーンを分析することが可能である。一実施例では、現実世界座標が現実世界空間における大型の矩形広告に対して既知である場合、方法は次いで、現実世界捕捉システムによって捕捉されるときに広告と関連付けられた観点を判定するために、現実世界捕捉システムの現実世界座標（例えば、ｘ，ｙ，ｚ）を使用してもよい。
【００５６】
動作４４０では、方法は、位置、閲覧履歴、購入履歴、検索履歴、統計、及び関心などの好みを識別するように、ユーザプロファイルにアクセスする。動作４５０では、方法は、現実世界アリーナのライブビデオストリームの複数のビデオ画像から、再スキンされるように構成可能な静止した現実世界オブジェクトを識別する。例えば、動作４５０は、大型の矩形広告がいくつかの他のコンテンツにより再スキンされるように構成可能であると識別してもよい。再スキンされるように構成可能とされることができる、いずれかの数のタイプの静的現実世界オブジェクト及び現実世界オブジェクトの一部が存在する。例えば、壁の一部、カーテン、ディスプレイ、ゲーミングステーション、舞台の一部などは全て、静的現実世界オブジェクトとして再スキンされるように構成可能であってもよい。再スキンされるように構成可能である現実世界オブジェクトも、再スキンされるように構成可能である現実世界オブジェクトの一部を意味すると取られることを認識される。
【００５７】
方法は次いで、ユーザのユーザプロファイルに基づいて、及び現実世界捕捉システムの現実世界座標システムに基づいて、ライブビデオストリーム内の静止した現実世界オブジェクトを再スキンする働きをする、動作４６０に移る。示される実施形態では、再スキンすることは、ライブビデオストリームにおいて現実世界オブジェクトと関連付けられた画像データの代わりにグラフィカルコンテンツをオーバレイすることを含む。その上、オーバレイすることが、現実世界捕捉システムの現実世界座標位置と関連付けられた観点に基づいて幾何学的に調節されることが示される。
【００５８】
例えば、大型の矩形広告が、再スキンされるように構成可能な静止した現実世界オブジェクトとして動作４５０によって識別される場合、動作４６０は次いで、例えば、スニーカについての広告を再スキンするために、ユーザにとって関心があるグラフィカルコンテンツ要素を識別するように動作可能である。動作４６０は、例えば、大型の矩形広告と前に関連付けられた画素値の代わりに、スニーカについての広告を有する新たなビデオストリームを作成することによって、大型の矩形広告と関連付けられた画像データの代わりにスニーカについての広告をオーバレイすることが可能である。その上、スニーカについての広告が現実世界捕捉システムの観点に基づいて幾何学的に調節できると考えられる。例えば、大型の矩形広告が現実世界捕捉システムの観点から斜めに現れる場合、スニーカについての広告の置き換えグラフィカルコンテンツも、大型の矩形広告と同様の方式において歪んで現れるようにされてもよい。動作４７０は次いで、再スキンされる現実世界オブジェクトを有する修正されたビデオストリームを提示する。
【００５９】
図５は、一実施形態に従った、現実世界空間のＶＲ提示の間に現実世界空間の移動している現実世界オブジェクトを再スキンする全体フローを示す。方法は、図４に示された方法と同様に続行する。例えば、動作５１０及び５２０はそれぞれ、ＨＭＤを介して提示されたリモートユーザからの現実世界空間のＶＲ提示を要求し、現実世界捕捉システムから現実世界空間のライブビデオストリームを受信するように構成される。
【００６０】
動作５３０では、方法は、現実世界捕捉システムの観点を判定するために、現実世界捕捉システムの現実世界座標位置を識別する。動作５４０では、方法は、位置、閲覧履歴、購入履歴、検索履歴、統計、関心などのユーザ好みを識別するように、ユーザのユーザプロファイルにアクセスする。動作５５０では、方法は、現実世界空間のライブビデオストリームの複数のビデオ画像から再スキンされるように構成可能な動的オブジェクトを識別する。
【００６１】
図５の方法は次いで、ライブビデオストリームの複数のビデオフレーム内の動的なオブジェクトを追跡する働きをする、動作５６０に移る。再スキンされるように構成可能である動的現実世界オブジェクトは、プレイヤまたは観客が着用している服装、服飾品、及び物理空間内で移動する傾向がある他のギアを含んでもよい。動作５６０は、後の動作において再スキンするためにそれらの移動を追跡するように構成される。
【００６２】
方法の動作５７０は、ユーザのユーザプロファイルに基づいて、及び現実世界捕捉システムの現実世界座標位置に基づいて、ビデオストリーム内の動的な現実世界オブジェクトを再スキンすることを可能にする。示される実施形態に従って、再スキンすることは、現実世界オブジェクトと関連付けられた画像データの代わりに、置き換えグラフィカルコンテンツをオーバレイすることを含み、オーバレイは、現実世界捕捉システムの現実世界座標位置の観点に基づいて幾何学的に調節される。動作５８０では、方法は、ＨＭＤを介してユーザに再スキンされたビデオストリームを提示する。
【００６３】
図６は、一実施形態に従った、ＨＭＤ６０１を介してライブイベントを観覧するためのシート選択を行うリモート観客６００の概念図を示す。ＨＭＤにより観覧可能であるシート選択インタフェース６０２が提供されるリモート観客６００が示される。シート選択インタフェース６０２は、ユーザに観客席及びシート情報を搬送することが可能である。いくつかの実施形態では、シート選択インタフェース６０２はまた、現実世界イベントのＶＲ提示のための各々のシートの価格情報を搬送することが可能である。
【００６４】
図６に従って、リモート観客６００は、シート選択インタフェース６０２において示される様々なシートをプレビューすることが可能である。例えば、観客席の前に向かうシートのための第１の選択６０４を行うことリモート観客６００が示される。シート選択インタフェース６０２は次いで、第１の選択６０４に対応するシートからの観客席のＶＲシーンを含む第１のプレビュー６０６を提供することができる。同様に、リモート観客６００が観客席のバルコニー内にある第２の選択６０８を行うとき、シート選択インタフェース６０２は次いで、第２の選択６１８に対応するシートからの観客席のＶＲシーンを含む第２のプレビュー６１０を提供することができる。いくつかの実施形態について、第１のプレビュー６０６及び第２のプレビュー６１０は、３６０度のビューを有する没入型のＶＲビューであってもよいと考えられる。
【００６５】
図７は、リモート観客のシート選択を現実世界捕捉システムにマッピングする処理の概念図を示す。シートマッピングチャート７１６における黒点によって表される様々な現実世界捕捉システムにマッピングされる実施例のシート選択７００が示される。例えば、現実世界捕捉システム７１８にマッピングするシートＡ８のための選択７０２が示される。シートＡ８のための選択７０２に対応する実世界シート７２０の背面上に取り付けられる現実世界捕捉システム７１８が示される。結果として、現実世界捕捉システム７１８は、シート７２０に座っている人間が有するビューと同様である現実世界空間内のビューを提供する。
【００６６】
現実世界の３６０度のビューを捕捉するためのカメラ７２２のアレイ、様々な方向から発するサウンドを捕捉するためのマイクロフォン７２４のアレイ、及び環境データ検知するためのセンサ７２６のアレイを含む現実世界捕捉システム７１８が示される。
【００６７】
図７のシートマッピングチャート７１６は、シート選択７００が様々な現実世界捕捉システムにどのようにマッピングされるかを例示する。行Ａ及びＢについて、明確に異なる現実世界捕捉システムへのシート選択の１対１のマッピングが存在する。すなわち、行Ａ及びＢからのあらゆるシート選択は、その自身の現実世界捕捉システムにマッピングする。例えば、シートＡ８のための選択７０４は、シートＡ８に特有であり、シートＡ９とは明確に異なる現実世界捕捉システムにマッピングする。しかしながら、行Ｃ及びＤについて、シートマッピングチャート７１６は、４つのシート選択のグループが１つの現実世界捕捉システムにマッピングされることを示す。例えば、４つのシート（例えば、Ｃ９、Ｃ１０、Ｄ９、及びＤ１０）のグループ７２８は各々、１つの現実世界捕捉システムにマッピングされる。よって、例えば、シートＣ９のための選択７０６は、シートＣ１０、Ｄ９、及びＤ１０のための選択のように現実世界捕捉システム７３０にマッピングされてもよい。示される実施形態に従って、現実世界捕捉システム７３０は、シートＣ９、Ｃ１０、Ｄ９、及びＤ１０の各々の位置の間または平均にある場所に置かれる。しかしながら、他の実施形態では、これは、必ずしも必須ではない。
【００６８】
現実世界捕捉システム７３４にマッピングされるシートＥ３のためのシート選択７０８が示され、現実世界捕捉システム７３４は、９個のシートのグループ７３６と関連付けられる。よって、グループ７３６におけるシートの各々の位置の平均に最も近い、シートＦ９の上に取り付けられる現実世界捕捉システム７３４が示される。
【００６９】
シート選択チャート７１６は、様々なサイズのグループを示す。例えば、シートの４行及び５列に及ぶグループ７３８と関連付けられた現実世界捕捉システムにマッピングするための選択７１０が示される。その上、５×５パターンにおいて配列された２５個のシートを有するグループ７４０と関連付けられた現実世界捕捉システムにマッピングするための選択７１２及び７１４の両方が示される。シートの特定のグループ化が例示を目的に図７において示されているが、いずれかのサイズまたはパターンのグループ化がここで提示される方法及びシステムにより利用されてもよいことを認識できる。
【００７０】
様々な実施形態に従って、現実世界捕捉システム７１８、７３０、及び７３４は、１人以上の仮想観客が接続されると現実世界観衆が認識するように、現実世界観衆にフィードバック信号を提供することを可能にされてもよい。例えば、現実世界捕捉システム７１８、７３０、及び７３４の各々は、仮想観客からフィードバックを配信するための１つ以上のＬＥＤ（図示せず）などのフィードバックシステムを含んでもよい。いくつかの実施形態では、フィードバックシステムは、現実世界観客に対して１人以上の仮想観客から取得されたフィードバックの表現を表示するように構成されたＬＥＤのアレイを含んでもよい。それらの実施形態及び他の実施形態では、現実世界捕捉システム７１８、７３０、及び７３４はまた、仮想観客から現実世界観客にサウンドを配信するように構成されたスピーカ（図示せず）を含んでもよい。結果として、仮想観客は、現実世界アリーナの応答及び興奮を強化することができる、現実世界空間へのフィードバックを表現することが可能である。
【００７１】
特定の実施形態では、フィードバックシステムは、仮想観客フィードバックの強度及び方向性を識別及び搬送するように構成されてもよい。実施例として、仮想観客が拍手を開始する場合、観客の拍手は、ＬＥＤのアレイを介して表示される動的なパターンによって表されてもよい。観客の拍手の強度は、ＬＥＤのアレイ内の移動の様々な色またはパターンを表示することによって表されてもよい。いくつかの実施形態では、１人よりも多い仮想観客は、いずれかの所与の時間に現実世界捕捉システムに接続されてもよい。それらの実施形態では、フィードバックの強度及びパターンは、現実世界捕捉システムに接続された２人以上の仮想観客の平均的な反応または応答と相関付けられてもよい。例えば、同一の現実世界捕捉システムに接続された１０人以上の仮想観客が称賛の反応を提供する場合、スターバーストなどのパターンが現実世界捕捉システムの表示機構上に現れてもよい。結果として、現実世界観衆は、仮想観客の応答または反応の性質に加え、現実世界捕捉システムに接続された仮想観客の数を示す仮想観客からのフィードバックを提供されてもよい。
【００７２】
図８は、一実施形態に従った、現実世界空間データ及び現実世界環境データから現実世界捕捉システムと関連付けられた視点マッピングデータを取得する概念図を示す。現実世界空間内の現実世界オブジェクトのマッピングデータを含む現実世界空間データ８００が示される。例えば、現実世界空間データ８００は、物理環境における様々な現実世界オブジェクトの座標位置を含んでもよい。示される実施形態では、現実世界空間は、Ｂｉｌｌ  Ｇｒａｈａｍ  Ｃｉｖｉｃ  Ａｕｄｉｔｏｒｉｕｍであってもよく、現実世界空間データは、舞台、壁、階段、歩道、観客席のバルコニー階の座標位置と共に、観客席において開催される所与の現実世界イベントについての様々な関心のポイントを含んでもよい。
【００７３】
現実世界捕捉システム８０１によって捕捉される現実世界空間環境データ８０２が示され、現実世界捕捉システム８０１は、現実世界捕捉デバイス８０１と関連付けられたシートの視点またはシートのグループについての環境データを捕捉する。上述したように、現実世界捕捉デバイス８０１は、マイクロフォン、カメラ、及びセンサのアレイを含んでもよい。
【００７４】
図８は、現実世界空間データ８００及び現実世界環境データ８０２が視点マッピングデータ８０４を提供するように組み合わされてもよいことを示す。現実世界座標、舞台への距離（例えば、２０メートル）、チーム１のプレイヤ１への距離（例えば、２５メートル）、ｗヘルツにある方向θ、Φの音響反射率、大型の矩形広告への距離、コメンテータへの距離、カメラ角度、カメラ視野、物理空間の３Ｄマップ、物理空間の音響マップ、観衆メンバのマップ、ジャンボトロンへの距離、スピーカへの距離、及び／または現実世界空間において直にもしくは仮想的のいずれかで存在する友人への距離を含む、視点マッピングデータ８０４が示される。
【００７５】
いくつかの実施形態に従って、視点マッピングデータ８０４は、現実世界及び現実世界オブジェクトのカメラ座標を構築するために、現実世界空間データ８００及び現実世界空間環境データ８０２を使用する。例えば、いくつかの実施形態では、視点マッピングデータ８０４は、現実世界環境データ８０２を使用して、現実世界空間データによってもたらされる「世界座標」を「カメラ座標」に変換することが可能である。結果として、視点マッピングデータ８０４は、視点マッピングデータ８０４が、現実世界空間の画像捕捉の間に大型の矩形広告がどのようにカメラ上で投影されるかを知るように、例えば、再スキンする目的で、大型の矩形広告のカメラ座標を使用することを可能にされる。
【００７６】
図９は、ｅスポーツイベントの現実世界ビューにおける現実世界オブジェクトを再スキンする概念図を示す。ｅスポーツイベントを捕捉するように再スキンされている第１のビュー９００が示される。ビュー９００は、例えば、現実世界捕捉システムのビデオ捕捉の一部であってもよい。第１のビュー９００は、ｅスポーツイベントの観衆によって観覧可能である様々な表面上に置かれた複数の広告を含む。例えば、第１のビュー９００は、ミルクについての左壁の広告９０４、ヌードルについての右壁の広告、エネルギードリンクについての第１の舞台の広告９０８、チップメーカについての第２の舞台の広告９１０、及び製作会社についてのコメンテータデスク広告９１２を含む。ビューはまた、プレイされているビデオゲームアクションのメインディスプレイ９０４と共に、チームバナーを含む。
【００７７】
再スキンロジック９０１に入力される第１のビュー９００が示され、次いで、再スキンされているｅスポーツイベントの第２のビュー９００を出力するための再スキンロジック９０１が示される。図９は、再スキンロジックのグラフィカル及び視覚的能力を証明する。例えば、ミルクについての左壁の広告９０４’は、ＰｌａｙＳｔａｔｉｏｎについての左壁の広告９０４’として現れるように再スキンされている。同様に、Ｆａｒｐｏｉｎｔについての右壁の広告９０６’及び異なるチップメーカについての第２の舞台の広告９１０’として現れるように再スキンされているヌードルについての右壁の広告９０６及び第２の舞台の広告９１０が各々示される。広告９０４’、９０６’、及び広告９１０’の各々について、再スキンロジック９０１は、元の広告９０４、９０６、及び９１０と同一の空間を占有する方式において置き換え広告をオーバレイしている。その上、再スキンロジック９０１は、置き換え広告９０４’、９０６’、及び９１０’の各々が、第１のビュー９００において提供されるそれぞれの元の広告９０４、９０６、及び９１０と同一の第２のビュー９０２における観点を提供するよう描かれるように、再スキンすることを実行している。例えば、左壁の広告９０４は、歪みを有する観点により第１のビュー９００に現れる。第２のビュー９０２では、再スキンロジック９０１は、同一の歪みを有する観点により置き換え左壁の広告９０４’をオーバレイする。
【００７８】
既存の広告を置き換えまたはオーバレイすることに加え、再スキンロジック９０１はまた、コンテンツにより再スキンされることができる表面の一部などの追加の現実世界オブジェクトを検出することが可能である。例えば、第１のビュー９００におけるコンテンツを有さない領域において再スキンされている、ヘッドフォンメーカについての背壁の広告９１４が示される。同様に、現実世界空間の第１のビュー９００において既存のコンテンツが存在しなかった領域における第２のビュー９０２にある舞台床の広告９１６が示される。更に、現実世界捕捉デバイスにより第１のビュー９００によって捕捉されるような、舞台床との幾何学的及び遠近感の一貫性を有するように再スキンされている舞台床の広告９１６が示される。すなわち、舞台床の広告９１６は、あたかも舞台床上で平坦に据えられたように現れる。
【００７９】
結果として、ここで考えられる再スキンロジック９０１は、現実世界空間内の領域を現実世界捕捉デバイスによって捕捉されたとして識別することが可能であり、現実世界捕捉デバイスでは、コンテンツが補足されてもよく、そこでは、コンテンツが現実世界空間に存在しない。追加のコンテンツにより補足されることができる現実世界空間内の領域があるかどうか、及びどの領域であるかの判定は、各々の現実世界捕捉システムによって受信されたビューに依存する。例えば、コンテンツが特定の現実世界捕捉システムに対して存在しないコンテンツを捕捉することが望ましいと判定される、現実世界空間内の領域は、視点における差を理由に、異なる現実世界捕捉システムによって望ましいと発見されなくてもよい。
【００８０】
いくつかの実施形態では、置き換えコンテンツは、元の既存のコンテンツと同一の空間をして占有するようにされ、置き換えコンテンツが再スキンされる既存のコンテンツとは異なる表示寸法及びアスペクト比を有する他の例が存在する。例えば、より広い寸法を有するスターウォーズバトルフロントについての置き換えの第１の舞台の広告９０８’により再スキンされている、エネルギードリンクについての第１の舞台の広告９０８が示される。示される実施形態では、置き換えられた第１の舞台の広告９０８’は、空中に浮かび上がるように現れる代わりに、舞台の前の輪郭に対してフラッシュするように第２のビュー９０２に現れる。結果として、再スキンロジック９０１は、置き換えられるコンテンツとは異なる寸法を有する置き換えコンテンツを再スキンすることが可能であり、置き換えコンテンツがオーバレイされる現実世界オブジェクトとの幾何学的及び遠近感の一貫性を維持する。
【００８１】
その上、追加の領域が再スキンされてもよいことが考えられる。例えば、第１のビュー９００では、ゲーミングステーションの観衆が対面するディスプレイ上のそれぞれのプレイヤのライブポートレートビューを表示するためのプレイヤゲーミングステーション９１８の各々が示される。ライブポートレートディスプレイは、観衆に、そうではない場合にそれぞれのコンピュータモニタによってビューから遮断されるプレイヤの顔表情を見る方式をもたらす。以下で更に詳細に議論されるように、ここで考えられる実施形態は、理解することが困難である場合がある、ゲーミングステーションの観衆が対面するディスプレイに依存する必要なく、リモートユーザが、プレイヤのそれらのライブポートレートビューにアクセスすることを可能にする。よって、いくつかの実施形態では、再スキンすることはまた、ゲーミングステーションの全てまたは一部の観衆が対面するディスプレイ上で実行されてもよい。例えば、図９は、プレイヤゲーミングステーション９１８の各々の第１のビュー９００が、第２のビュー９０２においてプレイヤゲーミングステーション９１８’上の「ＧＥＡＴＮＥＳＳ  ＡＷＡＩＴＳ」と読む文字を表示するように再スキンロジック９０１によって再スキンされていることを示す。よって、置き換えコンテンツは、広告グラフィックなどのグラフィカルコンテンツに加えて、テキストの形式にあってもよいことが考えられる。
【００８２】
特定の条件下で、数または理由に対して変わらないままであってもよく、及び再スキンされていなくてもよい元の、既存の広告コンテンツが存在してもよい。示される実施形態では、再スキンロジック９０１による再スキンの後に変わらないままでいるコメンテータデスク広告９１２が示される。
【００８３】
図１０Ａは、現実世界捕捉システム１００６の観点に基づいて再スキンするための現実世界広告１００４の上でオーバレイする置き換えグラフィック１００２を幾何学的に調節する概念図を示す。正方形でなく、または現実世界広告１００４の平面に直行する、観点における現実世界広告１００４を捕捉する現実世界捕捉システム１００６が示される。現実世界捕捉システム１００６は、現実世界広告１００６の頂点ｖ１、ｖ２、ｖ３、及びｖ４への距離（ｄ：ｄ１、ｄ２、ｄ３、及びｄ４）と共に、頂点の各々への追跡された光線の間で形成された角度（θ：θ１、θ２、θ３、及びθ４）を判定することが可能とされると考えられる。ｄ及びθに基づいて、再スキンロジックは、現実世界捕捉システム１００６の観点からの現実世界広告に類似して現れるように、変換関数を使用して様々なグラフィカル要素を変換することが可能である。
【００８４】
ｄ及びθの関数である変換関数Ｆを含む再スキンロジック１００１が示され、変換関数Ｆは、セットＸからの画像データを２次元空間または３次元空間のいずれかにあるそれ自体にマッピングする。示される実施形態では再スキンロジックに入力される置き換えグラフィック１００２が示され、再スキンロジックは、置き換えグラフィック１００２と関連付けられた画素データを修正された置き換えグラフィック１００２における新たな画素座標にマッピングする。結果として、修正された置き換えグラフィック１００２は、ＶＲ提示における現実世界広告１００４と同一の観点により現れるようにされる。
【００８５】
図１０Ｂは、現実世界捕捉デバイスの視点が変化している間に現実世界オブジェクトを再スキンする実施形態を示す。例えば、現実世界オブジェクトの左にある視点から現実世界オブジェクトの右にある視点に縦方向に進む現実世界捕捉デバイスが示される。その移動の間、再スキンロジックは、入力グラフィックを幾何学的に変換するために使用されるパラメータを更新する。結果として、再スキンロジックは、現実世界捕捉デバイスの現在の場所及び視点に応じて、入力グラフィックの変化する観点を出力することが可能である。
【００８６】
図１１は、再スキンされるように構成可能にできる追加の現実世界オブジェクトを示す。多くのｅスポーツイベントでは、異なる角度からプレイヤを捕捉する多数のビデオカメラが存在してもよい。示される実施形態では、ビデオゲームとインタラクトしているプレイヤのショット１０００は、再スキンされることができるいくつかの現実世界オブジェクトを含む。例えば、プレイヤが使用しているモニタと関連付けられた領域１１０２及び１１０４は、再スキンされるように構成可能であってもよい。「パフォーマンスチェア」と関連付けられた領域１１０６及びヘッドフォンと関連付けられた領域１１０８などの特定の他のゲーミングギアロゴは、ここで説明される再スキンロジックと互換性を有する領域でもあってもよい。その上、プレイヤの服装上に着用されたグラフィック、ロゴ、バッジ、パッチなどは、再スキンされるように構成可能な候補現実世界オブジェクトでもあってもよい。例えば、プレイヤのチームジャージまたは服装と関連付けられた領域１１１０及び１１１２も、ＶＲ提示のために再スキンされると考えられる。
【００８７】
図１２は、一実施形態に従った、ｅスポーツイベントにおいてプレイされているビデオゲームのゲーム内フライスルービューが提示されているリモート観客１２０１の概念図を示す。リモート観客は、ｅスポーツイベントに位置する現実世界捕捉システムによって提供される、ｅスポーツイベントの第１のビュー１２００を受信する。リモート観客１２０１は、ゲームの「内部」にある視点からゲームアクションを観覧するために、プレイされているゲームの「フライスルー」ビュー（例えば、第１の個人ビュー）を有することを望むことがある。ここで考えられる方法及びシステムは、ユーザが、ゲームアクションのフライスルービューを受信するように、ｅスポーツイベントにおいてプレイされているｅスポーツビデオゲームに「ジャンプインする」ことを可能にする。示される実施形態では、ユーザは、人形をｅスポーツイベントのメインディスプレイ内の場所に指し示し、ドラッグする。それに応じて、ＶＲ提示は、現実世界捕捉システムによって提供されるビデオストリームから、人形が置かれた場所に対応する位置にあるフライスルービューである第２のビュー１２０２に変化する。フライスルービューは、ｅスポーツゲームのライブゲーム状態データを使用してレンダリングされてもよく、ＨＭＤ上で、ＨＭＤと関連付けられたコンピューティングデバイスにおいて、またはリモートサーバにおいて実行されてもよい。
【００８８】
図１３は、一実施形態に従った、表示のためにｅスポーツイベントの異なるビューの間で選択しているリモート観客１３０１の概念図を示す。第１のビュー１３００では、リモート観客１３０１は、選択のために、現実世界捕捉システムと共に複数の観覧モジュール１３０４からｅスポーツイベントのビデオフィードが提供される。観覧モジュールは、プレイヤのポートレートビュー、プレイヤの背後からのビュー、キーボード、マウス、タッチパッド、ジョイスティック、もしくは他の入力デバイスとインタラクトしているプレイヤのビュー、個々のプレイヤスクリーンのビュー、フライスルービュー、観衆のビュー、コメンテータのビューなど、現実世界の様々なカメラビューを含んでもよい。プレイヤ１のスクリーンビュー１３０６を選択しており、表示のために望まれるＶＲ提示内の位置に、プレイヤ１の正面１３０８と関連付けられた観覧モジュールを指し示し、ドラッグする（１３１０）ことによって、プレイヤ１の正面１３０８を選択している最中であるリモート観客１３０１が示される。
【００８９】
ＶＲ提示の第２のビュー１３０２では、選択された位置において表示される選択された観覧モジュールが示される。例えば、プレイヤ１が自分のスクリーン上で何を見ているかのミラーを表示するためのプレイヤ１のスクリーンビュー１３０６’が示される。よって、リモート観客１３０１は、プレイヤ１によって実行されるクリック及びコマンドなどの制御アクションを見ることが可能である。加えて、顔表情を含むことができるプレイヤ１のビュー、及びコントローラ入力アクションを表示するためのプレイヤ１の正面１３０８’が示される。結果として、ｅスポーツイベントのピクチャ対ピクチャビュー（複数可）がここで考えられる方法及びシステムによって提供されることができ、リモート観客１３０１は、そうでない場合に対面の観客として所望のビューへのアクセスを有しないことがあるリモート観客１３０１に所望のビューを見ることを可能にする。様々なカメラビュー及びゲームアクションビューを同時に観覧する機能は、リモート観客が何を観覧することを望んでいるかの同一の程度の制御を与えない、現在のｅスポーツの放送への追加の技術的な利点を表す。
【００９０】
図１４は、一実施形態に従った、ユーザへのＨＭＤを介したｅスポーツイベントのＶＲ提示を可能にする例示的なＶＲホスティングサーバ／コンピューティングデバイス１４０１の図を示す。ｅスポーツイベントサーバ１４００から現実世界データを受信するＶＲホスティングサーバ／コンピューティングデバイス１４０１が示される。様々な実施形態に応じて、ｅスポーツイベントサーバ１４００は、ｅスポーツイベントにおいて捕捉されたデータをサービスする、製作会社または配給会社からであってもよい。ｅスポーツイベントの様々なカメラビュー及びゲームアクションビューを含むビデオストリーム１４０４と共に、ｅスポーツイベントを主催する物理空間またはアリーナの空間マッピングデータ１４１０、及び現実世界捕捉システムによって捕捉された空間環境データ１４１２を取得するＶＲホスティングサーバ／コンピューティングデバイス１４０１が示される。加えて、ユーザ好み及びユーザデータを含むユーザプロファイル１４０６と共に、例えば、置き換え広告を含む置き換えコンテンツ１４０８を受信するＶＲホスティングサーバ／コンピューティングデバイス１４０１が示される。
【００９１】
前に言及されたように、ビデオストリーム１４０４は、いくつかの視点からのいくつかのビデオを含んでもよい。また、単一の視点であったとしても、３６０度（または、それよりも低い）視野を生じさせるために使用される複数のビデオストリームが存在してもよい。いくつかの実施形態では、３６０度のビューを生じさせるための１つの位置から取られる複数のビデオストリームは、ｅスポーツイベントサーバ１４００などのリモートサーバによって、または製作会社もしくはコンテンツ供給サーバにおいて共にステッチされてもよい。他の実施形態では、ＶＲホスティングサーバ／コンピューティングデバイス１４０１のビデオ画像ステッチングロジック１４２４は、３６０度のビューをレンダリングするように、重なり合う視野を有する複数のビデオストリームのステッチングを実行してもよい。ビデオ画像ステッチングロジック１４２４によって提供される３６０度のビューは次いで、再スキンロジック１４２８にフィードされる。３６０度のビューがここで提示される方法及びシステムによって列挙されてもよいが、３６０度よりも低いビュー、例えば、１８０度のビューまたは１５０度のビューなども使用されてもよいことを認識されるべきである。
【００９２】
また、再スキンロジック１４２８にフィードされるのは、ユーザプロファイル１４０６から分析されたユーザ好み１４２６である。ユーザ好み１４２６は、置き換えコンテンツ（例えば、置き換え広告）のどれがリモート観客に関心があるかもしれないかを判定することを支援する。置き換えコンテンツ１４０８もＶＲ提示１４４０へのビデオクリップを再スキンするためのビデオ画像を含んでもよいことを認識されるべきである。加えて、視点マッピングデータ１４３２も、置き換えコンテンツ１４０８によって提供される画像またはビデオへの幾何学的及び遠近感の修正などの変換を実行するために再スキンロジック１４２８にフィードされる。
【００９３】
ビデオ画像ステッチングロジック１４２４によって提供されるビデオストリーム、ユーザ好み１４２６、置き換えコンテンツ１４０８、及びＰＯＶマッピングデータ１４３２に基づいて、再スキンロジック１４２８は、再スキンするために使用される現実世界オブジェクトとの幾何学的及び遠近感の一貫性を維持する方式において、置き換えコンテンツによりビデオストリーム内の現実世界オブジェクトを再スキンすることを可能にされる。再スキンされたビデオストリームは次いで、ＨＭＤインタフェース１４３８を介したリモート観客へのＶＲ提示をレンダリングするように構成されたＶＲグラフィックシステム１４３０にフィードされる。図示されないが、様々なビデオ圧縮処理及び符号化は、ＶＲホスティングサーバ／コンピューティングデバイス１４０１において示される様々な構成要素の前、内、または後に実行されてもよいことが理解できる。例えば、ＶＲグラフィックシステム１４３０によって出力されるビデオフィードは、ネットワークを通じたＨＤＭへの配信のためにＨＭＤインタフェース１４３８に転送される前に圧縮を受けてもよい。
【００９４】
また、現実世界捕捉システムにおいて捕捉されたサウンドを含むシートサウンドフィード１４１４、群衆によって生じたサウンド及び雑音を含む背景サウンド１４１６、コメンテータサウンドフィード１４１８、プレイヤ／チームサウンドフィード１４２０、並びに友人の音声フィード１４２２を含む、様々なサウンドストリームを受信するＨＭＤ／コンピューティングデバイス１４０１が示される。ここで説明される方法及びシステムは、リモート観客が、ＶＲ提示１４４０において配信される様々なサウンド源の間で選択することを可能にすると考えられる。サウンド混合ロジック１４３４は、ユーザ選択に応じて、サウンド処理システム１４２６にフィードされる所望のサウンド出力を提供するように、様々なサウンド源を混合するように構成される。サウンド処理システム１４２６は、ＨＭＤインタフェース１４３８を介してＶＲ提示１４３８に音声信号を出力する。再度、図示されないが、明確にすることを目的に、様々な圧縮及び解凍工程が例示から省略されている。しかしながら、圧縮及び解凍、符号化及び復号を伴う様々な動作は、サウンドに関連するモジュールまたは工程のいずれかの前、内、または後に実行されてもよいことが理解される。例えば、サウンド処理システムによって提供されるサウンド出力は、ＨＭＤインタフェース１４３８を介してＨＭＤに伝送される前に符号化されてもよい。
【００９５】
図１５は、一実施形態に従った、ｅスポーツイベントのコンテキスト内で相互に仮想的にインタラクトしている２人のリモート観客の概念図を示す。現実世界空間において隣接するシートを選択している２人のリモート観客が示される。結果として、２人のリモート観客は、それぞれのＶＲ提示を介して共に対面しているかのようにｅスポーツイベントを体験することができる。いくつかの実施形態では、ＶＲ提示は、他のリモート観客の仮想提示を表示するようにＶＲシーンをレンダリングしてもよく、逆もそうである。よって、各々のリモート観客は、お互いを見る。いくつかの実施形態では、示されるものなど、アバタが仮想提示のために使用されてもよい。他の実施形態では、リモート観客のうちの１人のライブ画像または３Ｄ表現は、他のリモート観客のためにＶＲ提示においてレンダリングされておよい。また、２人以上の観客が上記説明された体験を観戦しているグループに参加することができることが想定される。
【００９６】
いくつかの実施形態では、リモート観客は、ｅスポーツイベントを観覧もしているライブ観客と連絡することが可能であってもよい。例えば、現実世界シートが、カメラ、マイクロフォン、及びスピーカを含む現実世界捕捉システムを備える場合、リモート観客は、ＶＲ提示内で現実世界において隣に座っているライブ顧客を見ることが可能であってもよい。
【００９７】
図１６は、提示される方法及び／またはシステムにより使用されることができるＨＭＤ１６００の追加の実施形態を例示する。ＨＭＤ１６００は、プロセッサ１６０２、バッテリ１６０４、顔認識器１６０６、ボタン、センサ、スイッチ１６０８、サウンド特定器１６１０、ディスプレイ１６１２、及びメモリ１６１４などのハードウェアを含む。また、磁力計１６１６、加速度計１６１８、ジャイロスコープ１６２０、ＧＰＳ１６２２、及びコンパス１６２４を含むポジションモジュール１６２６を含むＨＭＤ１６００が示される。更に、ロボット１６００に含まれるのは、スピーカ１６２８、マイクロフォン１６３０、ＬＥＤ１６３２、視覚的認識のためのオブジェクト（複数可）１６３４、ＩＲライト１６３６、フロントカメラ１６３８、リアカメラ１６４０、凝視追跡カメラ（複数可）１６４２、ＵＳＢ１６４４、永続的記憶装置１６４６、振動触知フィードバック１６４８、通信リンク１６５０、ＷｉＦｉ（登録商標）１６５２、超音波通信１６５４、Ｂｌｕｅｔｏｏｔｈ（登録商標）１６５６、近接場通信（ＮＦＣ）１６５８、及びレーダ１６６０である。
【００９８】
方法動作が特定の順序で説明されてきたが、他の維持管理動作が動作の間で実行されてもよく、動作が僅かに異なる時に行われるように動作が調節されてもよく、または処理と関連付けられた様々な間隔において処理動作を行うことを可能にするシステム内で分散されてもよいことが理解されるべきである。
【００９９】
また、１つ以上の実施形態は、コンピュータ可読媒体上でコンピュータ可読コードとして組み立てられることができる。コンピュータ可読媒体は、その後、コンピュータシステムによって読み取られることができる、データを記憶することができるいずれかのデータ記憶装置である。コンピュータ可読媒体の実施例は、ハードドライブ、ネットワークアタッチドストレージ（ＮＡＳ）、リードオンリメモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、並びに他の光学及び非光学データ記憶装置を含む。コンピュータ可読媒体は、コンピュータ可読コードが分散方式において記憶及び実行されるように、ネットワーク結合コンピュータシステムにわたって分散されたコンピュータ可読有形媒体を含むことができる。
【０１００】
上記実施形態が理解を明確にする目的である程度詳細に説明されてきたが、特定の変更及び修正が添付の請求項の範囲内で実施されることができることが明白である。したがって、本実施形態は、例示的且つ非限定的であると考えられ、実施形態は、本明細書で与えられる詳細に限定されないが、添付の請求項の範囲及びその同等物内で修正されてもよい。
【図１】
2020536603.tif 000003
【図２】
2020536603.tif 000004
【図３】
2020536603.tif 000005
【図４】
2020536603.tif 000006
【図５】
2020536603.tif 000007
【図６】
2020536603.tif 000008
【図７】
2020536603.tif 000009
【図８】
2020536603.tif 000010
【図９】
2020536603.tif 000011
【図１０Ａ】
2020536603.tif 000012
【図１０Ｂ】
2020536603.tif 000013
【図１１】
2020536603.tif 000014
【図１２】
2020536603.tif 000015
【図１３】
2020536603.tif 000016
【図１４】
2020536603.tif 000017
【図１５】
2020536603.tif 000018
【図１６】
2020536603.tif 000019
【国際調査報告】
2020536603.tif 000020
2020536603.tif 000021
2020536603.tif 000022