(57)【特許請求の範囲】
【請求項１】
見物人フィードバックコンテンツをヘッドマウントディスプレイ（ＨＭＤ）ユーザのＨＭＤに配信するための動作を処理するためのコンピュータ実施方法であって、
前記ＨＭＤユーザの前記ＨＭＤに仮想現実（ＶＲ）シーンを提供することと、
１人または複数人の見物人の画像をキャプチャすることであって、前記画像は１人または複数人の見物人の存在と、前記１人または複数人の見物人の感情状態とを検出するために使用可能である、前記キャプチャすることと、
前記ＶＲシーン内に表示するために、１つまたは複数のアバターを提供することであって、前記１つまたは複数のアバターはそれぞれ前記１人または複数人の見物人の前記存在を描写したものである、前記提供することと、
前記ＶＲシーン内に表示するために、前記１人または複数人の見物人の検出された感情状態の表示を前記ＨＭＤに配信することであって、前記表示は前記ＶＲシーン内のそれぞれのアバターによって描写される、前記配信することと、
前記ＶＲシーン内のプレイヤーアバターを前記ＨＭＤに提供して前記ＶＲシーン内に表示することであって、前記プレイヤーアバターは前記ＨＭＤユーザを描写したものである、前記表示することと、
前記ＨＭＤユーザが前記ＨＭＤを使用していた時間量を追跡することと、
前記ＨＭＤユーザが前記ＨＭＤを使用していた前記時間量の描写を前記ＨＭＤに提供して前記ＶＲシーン内に表示することであって、前記描写は前記プレイヤーアバターのゲーム年齢を更新することを含む、前記表示することと
を含む、コンピュータ実施方法。
【請求項２】
前記検出された感情状態の前記表示を前記配信することは、前記検出された感情状態に少なくとも部分的に対応するように前記１つまたは複数のアバターの顔の特徴を変化させることを含む、請求項１に記載のコンピュータ実施方法。
【請求項３】
前記検出された感情状態の前記表示は、前記検出された感情状態を少なくとも部分的に説明するテキストを含む、請求項１に記載のコンピュータ実施方法。
【請求項４】
前記１人または複数人の見物人が待っていた時間量を追跡することと、
前記１人または複数人の見物人が待っていた前記時間量の描写を前記ＨＭＤに提供して前記ＶＲシーン内に表示することと
をさらに含む、請求項１に記載のコンピュータ実施方法。
【請求項５】
前記１人または複数人の見物人の音声データをキャプチャすることであって、前記音声データは見物人が前記ＨＭＤユーザにコミュニケーションを提供していることを判定するために使用可能である、前記キャプチャすることと、
前記音声データを処理して、前記ＨＭＤユーザに前記コミュニケーションを提供している前記見物人を識別することと、
前記ＨＭＤユーザに前記コミュニケーションの描写を配信することであって、前記描写は前記ＨＭＤに前記コミュニケーションを提供した前記見物人を示す、前記配信することと
をさらに含む、請求項１に記載のコンピュータ実施方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ＶＲ環境またはシーンが提供されているＨＭＤユーザのＨＭＤに見物人フィードバックコンテンツ（ＳＦＣ：ｓｐｅｃｔａｔｏｒ  ｆｅｅｄｂａｃｋ  ｃｏｎｔｅｎｔ）を配信することに関する。より詳細には、本開示の実施形態は、見物人が誰であるか、見物人がどこにいるか、見物人がどんな感情状態を表出しているか、見物人がどれくらいの間順番を待っているか、見物人がＨＭＤユーザに何を伝えているかに関する情報を取得し、上記情報をＨＭＤユーザのＨＭＤを介してＶＲ環境またはシーンに配信するための方法及びシステムに関する。
【背景技術】
【０００２】
ヘッドマウントディスプレイ（ＨＭＤ）によって提供される仮想現実（ＶＲ）シーンは、消費者がコンテンツと対話するためのますます一般的な媒体となっている。ＶＲの魅力の一部は、ユーザを現実世界の周囲から切り離された環境に仮想的に移動させることができることであるが、現実世界からの切り離しがＶＲ体験への支障となる多くの状況が存在する。これは、ユーザがＶＲシーンと対話するのを１人または複数人の見物人が見ているソーシャルな状況において特に当てはまる。
【０００３】
たとえば、ＨＭＤユーザは、ＶＲシーンと対話しているときに、見物している１人または複数人の見物人からフィードバックを受けたいと思う場合がある。最も基本的な意味では、ＨＭＤユーザは、自分を見ている見物人がいるかどうか、また、いる場合、どこの誰であるかを知りたいと思う場合がある。また、ＨＭＤユーザは、各見物人の様子も知りたい場合がある。たとえば、ＨＭＤユーザは、見物人が見物中に楽しく過ごしているだろうかと考える場合がある。見物人の観衆からのフィードバックコンテンツが配信されれば、より豊かな体験がＨＭＤユーザに提供され得る。フィードバックコンテンツには、喝采、激励、提案、空咳（ｈａｃｋ）、さらには雑談が含まれ得る。加えて、ＨＭＤユーザは、見物人が楽しんでいないのではないか、及びその理由も知りたいと思う場合がある。
【０００４】
このように、ＨＭＤ体験の状況下で見物人からのフィードバックを受けることの利点は、他の社交目的のターン制の活動、たとえば、ゴルフをすること、ボーリングに行くこと、ボードゲームをすること、またはアーケードゲームをすることとそれほど変わらない。しかしながら、ＨＭＤ体験の場合は独特であり、その理由は、ＨＭＤユーザは孤立しており、見物人から切り離されているためである。結果として、ＨＭＤユーザは典型的には観衆の状態を認識していない。ＨＭＤユーザに見物人からのフィードバックを配信することによって、ＶＲ及びＨＭＤユーザ体験を向上させる必要性及び機会の両方が存在する。同様に、見物人が見物しているＨＭＤユーザにフィードバックを伝えるためのチャネルを割り当てることによって、見物人の体験を向上させる必要性及び機会の両方が存在する。
【０００５】
この文脈で、本開示の実施形態が生じている。
【発明の概要】
【０００６】
本開示の実施形態は、ＨＭＤユーザ（または単に「ユーザ」）のＶＲシーンに見物人フィードバックコンテンツ（ＳＦＣ）を配信するための方法及びシステムを提供し、より詳細には、１人または複数人の見物人の状態に関するデータを取得し、上記状態の描写をＶＲシーンに配信して、１人または複数人の見物人の様子をＨＭＤユーザに知らせるための方法及びシステムを提供する。また、この方法及びシステムは、１人または複数人の見物人がＨＭＤユーザと能動的にコミュニケーションをとることを、ソーシャル仮想現実対話空間からオーディオデータを取得し、上記コミュニケーションの描写をＨＭＤユーザのＶＲシーンに配信することによって行うための実施形態を定義する。本開示はコンピュータ可読媒体上で、たとえば、処理、装置、システム、デバイス、または方法など多数の方法で実装できることを理解されたい。本開示のいくつかの発明的実施形態を以下に説明する。
【０００７】
一実施形態では、コンピュータ実施方法は、見物人フィードバックコンテンツをヘッドマウントディスプレイ（ＨＭＤ）ユーザのＨＭＤに配信するための動作を処理することを含む。この方法は、ＨＭＤユーザのＨＭＤにＶＲシーンを提供することと、１人または複数人の見物人の画像をキャプチャすることとを含む。画像は１人または複数人の見物人の存在と、１人または複数人の見物人の感情状態とを検出するために使用可能である。この方法は、ＶＲシーン内に１つまたは複数のアバターを表示することであって、１つまたは複数のアバターは１人または複数人の見物人の存在を描写したものである、表示することをさらに含む。この方法は、１人または複数人の見物人の検出された感情状態の表示を、それぞれ１つまたは複数のアバターを介して配信する動作をさらに含む。
【０００８】
他の実施形態では、現実世界の環境内の１人または複数人の見物人の位置状態に関する情報をヘッドマウントディスプレイ（ＨＭＤ）ユーザのＨＭＤに配信するための動作を処理するためのコンピュータ実施方法を記載する。この方法は、ＨＭＤユーザのＨＭＤにＶＲシーンを提供することを含む。また、この方法は、１人または複数人の見物人に関する位置データを取得するための動作であって、位置データは現実世界の環境におけるＨＭＤユーザに対する１人または複数人の見物人の位置を決定するために使用可能である、動作を含む。加えて、この方法は、ＨＭＤに対する１人または複数人の見物人の位置の表示を含む俯瞰図を表示するための動作を含む。記載した一実施形態では、俯瞰図は鳥瞰図である。
【０００９】
記載した他の実施形態は、現実世界の環境内の１人または複数人の見物人の位置状態に関する情報をＨＭＤユーザのＨＭＤに配信するための動作を処理するためのコンピュータ実施方法を含む。この方法は、ＨＭＤユーザのＨＭＤにＶＲシーンを提供することと、１人または複数人の見物人に関する位置を取得することであって、位置データは現実世界の環境におけるＨＭＤユーザに対する１人または複数人の見物人の位置を決定するために使用可能である、取得することとを含む。また、この方法は、位置データに基づいて、見物人のパーソナルスペースに侵入していることを判定することを含む。さらに、この方法は、パーソナルスペースに侵入されている見物人の描写をＶＲシーン内に表示することを含む。
【００１０】
本開示の他の態様は、本発明の原理を例示した添付の図面と併せて、以下の詳細な説明から明らかとなろう。
【図面の簡単な説明】
【００１１】
本開示は、添付の図面と併せて以下の説明を参照することによって、最もよく理解されよう。
【００１２】
【図１】ＨＭＤユーザが、数人の見物人の状態に関するソーシャルフィードバックコンテンツ（ＳＦＣ）が配信されながらも、ＶＲコンテンツと対話しているソーシャル仮想現実対話空間の一実施形態を示す図である。
【００１３】
【図２】ＨＭＤユーザの１人または複数人の見物人の存在及び感情状態を検出し、その表示を含むＳＦＣをＨＭＤユーザに配信するための方法の全体的な流れを示す図である。
【００１４】
【図３】見物人が退出して戻ってきたというＳＦＣをＨＭＤユーザに配信する方法の一実施形態を示す図である。
【００１５】
【図４】見物人からのコミュニケーションを含むＳＦＣをＨＭＤユーザに配信する方法の全体的な流れを示す図である。
【００１６】
【図５】１人または複数人の見物人の位置を含むＳＦＣをＨＭＤユーザに配信し、見物人のパーソナルスペースに侵入していることをＨＭＤユーザに警告するための方法の全体的な流れを示す図である。
【００１７】
【図６】パーソナルスペースに侵入されている見物人の仮想的描写を含む拡張ビューを含むＳＦＣをＨＭＤユーザに配信するための方法の流れを示す図である。
【００１８】
【図７】ＨＭＤユーザのＶＲシーンと、ＶＲシーンに対する見物人の反応とのクリップを記録し共有するための方法の流れを示す図である。
【００１９】
【図８Ａ】ＨＭＤユーザの視点からのＶＲシーンにＳＦＣを配信するいくつかの実施形態を示す図である。
【図８Ｂ】ＨＭＤユーザの視点からのＶＲシーンにＳＦＣを配信するいくつかの実施形態を示す図である。
【図８Ｃ】ＨＭＤユーザの視点からのＶＲシーンにＳＦＣを配信するいくつかの実施形態を示す図である。
【００２０】
【図９Ａ】言語でのコミュニケーションを含むＳＦＣを処理し、ＳＦＣをＨＭＤユーザに配信する一実施形態を示す図である。
【図９Ｂ】言語でのコミュニケーションを含むＳＦＣを処理し、ＳＦＣをＨＭＤユーザに配信する一実施形態を示す図である。
【図９Ｃ】言語でのコミュニケーションを含むＳＦＣを処理し、ＳＦＣをＨＭＤユーザに配信する一実施形態を示す図である。
【００２１】
【図１０Ａ】見物人の感情及び／または欲求の状態に関するＳＦＣをＨＭＤユーザのＶＲシーンに配信するいくつかの追加の実施形態を示す図である。
【図１０Ｂ】見物人の感情及び／または欲求の状態に関するＳＦＣをＨＭＤユーザのＶＲシーンに配信するいくつかの追加の実施形態を示す図である。
【図１０Ｃ】見物人の感情及び／または欲求の状態に関するＳＦＣをＨＭＤユーザのＶＲシーンに配信するいくつかの追加の実施形態を示す図である。
【００２２】
【図１１】結合されたＨＭＤにＳＦＣを配信することが可能なＶＲシステムであって、ＳＦＣの処理及び配信に使用可能な例示的なコンポーネントを有するＶＲシステムの一実施形態を示す図である。
【００２３】
【図１２Ａ】現在のＨＭＤユーザがＨＭＤを占有していた時間量と、各見物人がＨＭＤを使用する順番を待っていた時間量とに関するＳＦＣをＨＭＤユーザに配信する実施形態を示す図である。
【図１２Ｂ】現在のＨＭＤユーザがＨＭＤを占有していた時間量と、各見物人がＨＭＤを使用する順番を待っていた時間量とに関するＳＦＣをＨＭＤユーザに配信する実施形態を示す図である。
【００２４】
【図１３Ａ】見物人によって行われたコミュニケーションと、見物人によってなされた表情とに関するＳＦＣをＨＭＤユーザに配信する実施形態を示す図である。
【図１３Ｂ】見物人によって行われたコミュニケーションと、見物人によってなされた表情とに関するＳＦＣをＨＭＤユーザに配信する実施形態を示す図である。
【００２５】
【図１４Ａ】見物人のパーソナルスペースに侵入していることに関するＳＦＣをＨＭＤユーザに配信する実施形態を示す図である。
【図１４Ｂ】見物人のパーソナルスペースに侵入していることに関するＳＦＣをＨＭＤユーザに配信する実施形態を示す図である。
【図１４Ｃ】見物人のパーソナルスペースに侵入していることに関するＳＦＣをＨＭＤユーザに配信する実施形態を示す図である。
【図１４Ｄ】見物人のパーソナルスペースに侵入していることに関するＳＦＣをＨＭＤユーザに配信する実施形態を示す図である。
【図１４Ｅ】見物人のパーソナルスペースに侵入していることに関するＳＦＣをＨＭＤユーザに配信する実施形態を示す図である。
【図１４Ｆ】見物人のパーソナルスペースに侵入していることに関するＳＦＣをＨＭＤユーザに配信する実施形態を示す図である。
【００２６】
【図１５Ａ】見物人のパーソナルスペースに侵入していることに関するＳＦＣを、ＨＭＤユーザを配信するための追加の実施形態を示す図である。
【図１５Ｂ】見物人のパーソナルスペースに侵入していることに関するＳＦＣを、ＨＭＤユーザを配信するための追加の実施形態を示す図である。
【図１５Ｃ】見物人のパーソナルスペースに侵入していることに関するＳＦＣを、ＨＭＤユーザを配信するための追加の実施形態を示す図である。
【図１５Ｄ】見物人のパーソナルスペースに侵入していることに関するＳＦＣを、ＨＭＤユーザを配信するための追加の実施形態を示す図である。
【００２７】
【図１６】ＳＦＣを受信し表示することが可能なＨＭＤの一実施形態を示す図である。
【発明を実施するための形態】
【００２８】
以下の実施形態では、仮想現実（ＶＲ）シーンが提示されながら見物人フィードバックコンテンツ（ＳＦＣ）をヘッドマウントディスプレイ（ＨＭＤ）ユーザに配信するための動作を処理するための方法、コンピュータプログラム、及び装置を説明する。しかしながら、これらの具体的な詳細の一部または全部がなくても本開示が実施され得ることは当業者には明らかであろう。他の例では、本開示を不必要に不明瞭にしないように、よく知られている処理動作は詳細に説明していない。
【００２９】
ＨＭＤによって提供されるＶＲ環境は、典型的には一度に１人のユーザによって移動可能なように構成される。また、ＨＭＤは没入型の聴覚及び視覚体験を提供するように設計されているので、ＶＲコンテンツと対話しているＨＭＤユーザは現実世界の環境から切り離される。この切り離しは、たとえば、数名の人間が限られた台数のＨＭＤを共有しているまたは順番に使っている場合など、多くの状況で最適とは言えない場合がある。これらのソーシャルな状況では、ＨＭＤユーザがソーシャルグループの様子を認識していないだけでなく、ソーシャルグループもＨＭＤユーザが何を体験しているかを認識していない。
【００３０】
ソーシャルグループ内の人々の関与を高めるために、ＨＭＤユーザのＶＲ体験のコンテンツは、ソーシャルＶＲ対話空間内の人々によりリアルタイムに視聴可能なソーシャルスクリーン上に投影され得る。結果として、ソーシャルグループのメンバーはＨＭＤユーザのＶＲ体験の見物人になり得、それによってＨＭＤユーザ（現在自分の進み具合を友人と共有し得る人）と、グループ内の見物人（友人がＶＲシーン内を移動するのを見て楽しみ得る人）との両方に関してユーザ満足度が増す。ソーシャルスクリーンは当技術分野において説明されており、ＨＭＤユーザから見物人へコミュニケーション及びエンターテイメントが流れ得るようにするために使用される。
【００３１】
しかしながら、ソーシャルスクリーンを使用しても、ＨＭＤユーザはそれでもなお、観衆の反応及び／または感情状態を認識させられることが妨げられている。たとえば、ＨＭＤユーザは、自分のゲームプレイまたはゲーム内の判断についてのフィードバックを受けたいと思う場合がある。他の状況では、ＨＭＤユーザは、見物人がプレイする順番を待っている間に落ち着きがなくっているまたはイライラしているかについて知らされたいと思う場合がある。またさらに、ＨＭＤユーザが、見物人のあまりに近くをさまよい歩いたり、想像上の射撃物体を見物人に向けたりして、見物人のパーソナルスペースに知らずに侵入した場合、ユーザは知りたいであろう。
【００３２】
見物人に関する情報をＨＭＤユーザに提供する１つの方法は、見物人フィードバックコンテンツをＨＭＤユーザのＶＲシーンまたは環境に配信することである。これらの方法では、ユーザは、ＶＲコンテンツと対話することができながらも、見物人からのフィードバックをリアルタイムに知らされ得る。一般に、見物人からのフィードバックは、受動的フィードバック及び能動的フィードバックを含み得る。受動的フィードバックは、たとえば、表情、姿勢、注視状態、及び必ずしも能動的に伝えようとしているわけではない見物人の他の状態を含み得る。一方、能動的フィードバックは、ある程度の意図を伝え得る表現及びジェスチャーを含み得る。両方の種類のフィードバックは、観衆の様子、及び彼らが楽しんでいるか否かの指標であるので、本明細書に記載の方法は受動的及び能動的フィードバックの両方を配信することができる。
【００３３】
この方法の一実施形態によれば、１つまたは複数のカメラは、ＨＭＤユーザの見物人の観衆に関連する画像をキャプチャし得る。ＨＭＤユーザのＨＭＤに結合されたコンピューティングシステムは、キャプチャされた画像を分析し、ＨＭＤユーザが体験するＶＲシーン内に表示される見物人の描写を提供し得る。結果として、ＨＭＤユーザは、ＶＲコンテンツに継続的にアクセスできながらも、見物人のビューがリアルタイムに提供される。
【００３４】
本明細書で使用する場合、「コンピューティングシステム」という用語は、ＨＭＤによって表示されるＶＲコンテンツを処理し実行するシステムまたはＶＲシステムを指す。コンピューティングシステムは、有線または無線チャネルを介してＨＭＤに接続される別個のユニットであり得る。他の実施形態では、コンピューティングシステムは、ＨＭＤ本体に収容または統合され得る。追加の実施形態は、コンピューティングシステムがＨＭＤ本体に取り付け可能であって、他の用途のために取り外し可能でもあるようなものであり得る。すなわち、コンピューティングシステムは、スマートフォン、タブレット、または画面及び１つまたは複数のプロセッサを有する他のモバイルコンピューティングデバイスの形態であり得る。さらに他の実施形態では、コンピューティングシステムはインターネットを介してリモートでＨＭＤに接続され得、その場合コンピューティングシステムは１つまたは複数のリモートサーバ上に実装されるか、または上記実装の任意の組み合わせで分散される。
【００３５】
一般に、「ＶＲシステム」という用語は、見物人フィードバックコンテンツ（ＳＦＣ）がＨＭＤユーザのＨＭＤに配信されることを可能にする少なくとも最小のコンポーネントのセットを意味するものと解釈される。たとえば、本明細書で使用するＶＲシステムは、少なくとも１つのＨＭＤ、少なくとも１つのコンピューティングシステム、及び少なくとも１つの見物人検出またはキャプチャデバイスを含み得る。見物人キャプチャデバイスは、例として、１つまたは複数のカメラ、マイクロフォン、ハンドヘルド入力デバイス、あるいはタブレットまたはコントローラなどの他のネットワークデバイスを含み得る。
【００３６】
本明細書で使用する場合、ソーシャルＶＲ対話空間とは、ＨＭＤユーザがＶＲコンテンツと対話するのを１人または複数人の見物人の観衆が直接観察し得る現実世界の環境を指す。
【００３７】
本明細書で使用する場合、見物人フィードバックコンテンツ（ＳＦＣ）とは、ソーシャルＶＲ対話空間の１人または複数人の見物人から得られるコンテンツを指す。ＳＦＣは、例として、見物人が誰であるか、彼らがどこにいるか、彼らがどれくらいの間順番を待っているか、彼らの感情状態、または見物人からの言語でのコミュニケーションに関する情報を含み得る。また、ＳＦＣは絵文字、ＧＩＦ、画像、Ｖｉｎｅ、アニメーション、「ステッカー」、「スナップ」（ショートビデオ録画）、及び他の形態のデジタルコミュニケーションなどのデジタルに伝達可能な表現も含み得る。また、ＳＦＣはＨＭＤユーザに対する見物人の位置に関するフィードバック情報を含むよう解釈される。このように、見物人フィードバックコンテンツは、ＶＲ対話空間内に位置する見物人についてキャプチャされ得る任意の情報を含むよう解釈される。
【００３８】
本明細書で使用する場合、ＶＲシーンは、仮想現実コンテンツを含む仮想現実対応デバイスの視覚及び聴覚出力を意味するものと解釈される。
【００３９】
この方法のいくつかの実施形態では、ＳＦＣはＶＲシーンまたは環境内でサムネイルの形態をとって、必要以上にＨＭＤユーザの視野の大部分を占有しないようにし得る。加えて、ＳＦＣは、たとえば、非限定的な例として、見物人に似たアバター、見物人の実物そっくりの描写、見物人のキャプチャされたライブ画像を後処理するためのフィルタ、レンズまたは効果を施した見物人の実物そっくりの描写、複数の可能な表情状態を有する一般的な顔、または見物人の名前など、多くの形態のうちの１つをとり得る見物人の描写を含み得る。見物人の描写は、見物人の観衆の中に誰がいるか、ならびに見物人が有し得る他の状態をＨＭＤユーザに知らせるのに役立ち得る。いくつかの実施形態によれば、見物人の感情状態は画像データから抽出され、その見物人の描写にマッピングされる。他の実施形態では、見物人のＨＭＤの順番が回ることに我慢が限界であるかまたは逼迫している状態もまた、画像データ及び／またはプレイヤータイマモジュールから抽出され、見物人の描写にマッピングされ得る。
【００４０】
見物人の状態に関する視覚情報を提供することに加えて、この方法のいくつかの実施形態は、ＨＭＤユーザとコミュニケーションをとっている見物人からの発言（ｖｅｒｂａｌｉｚａｔｉｏｎ）を含むＳＦＣを提供し得る。これらの実施形態では、１つまたは複数のマイクロフォンを使用して、現実世界の環境から音声データをキャプチャし、それを意味を持つコンテンツへと解析する。たとえば、見物人は単に提案を発声することによって、ＨＭＤユーザに提案を伝えることができ得る。提案は、いったんキャプチャされると、テキスト形態もしくは可聴形式またはその両方でＨＭＤユーザに伝えられる。一般的に言えば、ＨＭＤは通常ヘッドホンのような音声出力を有しており、これは言語／音声ＳＦＣをＨＭＤユーザに配信することができるものである。また、この方法は、言語でのフィードバックを、それを提供した見物人と対応させることによって、ＨＭＤユーザがフィードバックを受け取り、それが誰から来たかを知ることができるように構成される。
【００４１】
他のソーシャルな状況では、ＨＭＤユーザは付近にいる１人または複数人の見物人の位置について知らされたいと思う場合がある。たとえば、いくつかのソーシャルな環境（たとえば、ソーシャルＶＲ対話空間）では、見物人はＨＭＤユーザの付近を動き回り、しきりに出入りしている場合がある。これらのソーシャル環境では、見物人のパーソナルスペースに侵入する可能性が高まる。この方法の特定の実施形態は、ＨＭＤユーザに対する見物人の位置を追跡するためのビューを提供し得る。この位置追跡ビューのいくつかの実施形態は、鳥瞰図（ＢＥＶ）または「ミニマップ」などの俯瞰図の形態であり得る。これらの実施形態は、ユーザの付近の見物人及び他の物体を含む、ＨＭＤユーザの周囲の位置図または俯瞰図を提供する。ＨＭＤユーザは、鳥瞰図の見物人フィードバックコンテンツ（ＢＥＶ−ＳＦＣ）があれば、誰かにぶつかるかまたはそれ以外の方法で誰かのパーソナルスペースに侵入する心配なしに、ＶＲコンテンツとの対話に集中し得る。
【００４２】
この方法の追加の実施形態は、ＨＭＤユーザがＶＲシーンと対話しているときの上記ＶＲシーンのクリップを記録する動作を含む。また、この方法は、ＨＭＤユーザがＶＲシーンと対話するのを見ている間の見物人の反応のクリップを記録することもできる。これらのクリップはインターネットを通じて共有できるようにもされ得る。
【００４３】
図１に、ＨＭＤユーザ１０１にＨＭＤ１０２を介してＶＲディスプレイ１２０が提示されているソーシャルＶＲ対話空間１００の一実施形態を示す。また、ソーシャルＶＲ対話空間１００は、２次元ディスプレイ１１６に表示されたソーシャルスクリーン１１４を介してＨＭＤユーザ１０１がＶＲシーン１２２内を移動するのを見ている見物人１０４〜１１０の観衆１１２を含むように示されている。見物人１０４、１０６、１０８、及び１１０のそれぞれは、画像キャプチャデバイス１１８を介して追跡されるように示されている。ただ１つの画像キャプチャデバイス１１８を図示しているが、ソーシャルＶＲ対話空間１００内に配置されるそのようなデバイスはいくつでも存在し得る。画像キャプチャデバイス１１８は、ＨＭＤ１０２に結合されるかまたはＨＭＤ１０２内に収容されるコンピューティングシステム（図示せず）と通信する。ＶＲディスプレイ１２０は、ＶＲシーン１２２及びＳＦＣ１２４の両方を有するように示されている。図示した実施形態では、ＳＦＣ１２４は、見物人１０４、１０６、１０８、及び１１０にそれぞれ対応するアバター１０４ｂ、１０６ｂ、１０８ｂ、及び１１０ｂを含む。
【００４４】
ソーシャルスクリーン１１４はＶＲシーン１２２を含むがＳＦＣ１２４は含まないように示されているが、ソーシャルスクリーン１１４はＳＦＣ１２４を表示するようにも構成され得る。そのような実施形態では、見物人１０４〜１１０は、自分たちがＨＭＤユーザ１０１にどのように見えているかを認識させられ得る。前述のように、図示した実施形態は見物人１０４〜１１０の描写としてアバターを含むが、ＨＭＤユーザ１０１に対して上記見物人を描写するいくつかの他の方法がある。
【００４５】
図２に、ＳＦＣをＨＭＤユーザに配信するための方法の一実施形態を示す。動作２００がＨＭＤユーザにＶＲシーンを表示すると、動作２１０は見物人の存在を検出する。たとえば、この動作は画像キャプチャ及び音声キャプチャを使用して、ＨＭＤユーザの付近に他の人がいることを特定し得る。付近に見物人がいることが検出された場合、動作２２０は１人または複数人の見物人の表情及び／または感情を検出し得る。顔の特徴及び表情の検出技術は当技術分野においてよく理解されており、本明細書では詳細に説明しない。
【００４６】
この方法は次いで動作２３０に進み、１人または複数人の見物人の存在の表示をＨＭＤユーザのＶＲシーン内に表示する。上述のように、表示は、アバターなどの仮想的描写、または画像キャプチャデータの実物そっくりの投影を含む、多くの形態のうちの１つをとり得る。しかしながら、明確性及び一貫性のために、「アバター」という用語は、ＨＭＤユーザのＶＲシーン内の見物人の任意の表示または描写を意味するために使用する。ほとんどの場合、各見物人はＶＲシーン内で自分のアバターが提供される。この方法は次いで動作２４０に進み、各見物人の検出された表情及び／または感情の表示が各見物人のそれぞれのアバター上に表示される。たとえば、見物人が楽しくて微笑んでいる場合、この方法はそれぞれのアバターを楽しくて微笑んでいるように表示することになる。結果として、この方法により、ＨＭＤユーザに見物人の感情状態を認識させることが可能になる。
【００４７】
一般的に言えば、感情状態は定義では私的な主観的な状態であるが、一般的に感情状態は人間に生じるときに感情的なきっかけまたは観察可能な相関物を伴う。結果として、本明細書で使用する感情状態という用語は、行動データに基づいて人がどのように感じているかの推定を指す。行動データは、個人の表情、注視、姿勢、発声、または動きにおける任意の外部から観察可能または測定可能な状態を含み得る。次いで、行動データをキャプチャし、追跡し、分析して、相関がありそうな感情状態を推定し得る。
【００４８】
他の特定の実施形態では、感情状態の表示は、アバターによって与えられる仮想的表情に基づかない形式で描写され得る。代わりに、感情状態は、記号、文字、単語、カラーマップ、またはゲージによって描写され得る。
【００４９】
図３に、見物人がソーシャルＶＲ対話空間を退出したがその後戻ってきたことを検出するための方法の全体的な流れを示す。一般に、動作３００は、当技術分野においてよく理解されている顔認識方法によって見物人のＩＤを特定する。この方法は次いで動作３１０に進み、各見物人のＩＤが、ＨＭＤユーザに提示されているＶＲシーン上に表示される。動作３２０は見物人の１人がソーシャルＶＲ対話空間を退出したことを検出することができ、動作３３０はそれを表示する。特定の実施形態では、この方法は、見物人のうちの誰が退出したかを認識し、ＶＲシーンにそれを表示する。たとえば、ＬＢＪが偶然この方法の動作３００において識別された見物人のうちの１人であって、その後付近から離れた場合、この方法はＬＢＪが退出したことを明確に表示し得る。
【００５０】
ＬＢＪがソーシャルＶＲ対話空間に戻った場合、この方法は、動作３４０において彼の復帰として検出し、動作３５０においてＨＭＤユーザのＶＲシーンにこれを表示することができる。代わりに、ＬＢＪではない見物人が部屋に入った場合、この方法は２人の見物人の間の違いを認識することができ、新たな見物人が付近に入ったことの表示を表示することになる。このように、ＨＭＤユーザは、誰がソーシャルＶＲ対話空間内にいるかを認識させられ、周囲の理解が深まる。一般に、人々は自分と同じ部屋に誰がいるかを認識しているとより安心する場合がある。したがって、自分と同じ部屋にいる他の人をＨＭＤユーザに知らせると、ＶＲ体験が向上し得る。
【００５１】
図４に、言語でのコミュニケーションの形態のＳＦＣをＨＭＤユーザに配信するための全体的な方法を与える。動作４２０において、この方法は、見物人がＨＭＤユーザとコミュニケーションをとろうとしていることを検出する。たとえば、見物人ＬＢＪは、ＨＭＤユーザにＨＭＤの順番を要求している場合がある（たとえば、「自分にやらせて！」）。この方法は次いで、コミュニケーションをとろうとしているＨＭＤユーザのＩＤと、そのユーザが伝えていることとをそれぞれ動作４３０及び４４０において特定することができる。この方法は次いで動作４５０に進み、ＶＲシーンが、何が伝えられているか、誰がそれを伝えたかの表示と共に表示される。特定の実施形態では、言語でのコミュニケーションの書き起こしがＶＲシーン内に表示される。他の実施形態では、コミュニケーションはＶＲシーン内で可聴であり得る。加えて、これらの実施形態によれば、コミュニケーションはそれぞれのアバターと関連付けられ、それによってＨＭＤユーザはコミュニケーションの発生元を認識する。
【００５２】
図５に、見物人の位置及びパーソナルスペースに関する情報を含むＳＦＣをＨＭＤユーザに配信するための全体的な方法を示す。動作５１０において、この方法は１人または複数人の見物人の位置を検出する。この方法は次いで動作５２０に進み、見物人の位置に対するＨＭＤユーザの位置の鳥瞰図（または均等物）が表示され得る。特定の実施形態によれば、鳥瞰図は、ＨＭＤユーザに対する見物人の位置を示すことができる上方からの第三者のビューである。鳥瞰図は画像及び音声データから計算される相対位置の仮想的描写である。すなわち、ほとんどの状況では、ソーシャルＶＲ対話空間の鳥瞰図を有する実際のカメラは存在しないので、その図が画像キャプチャデータ及び音声キャプチャデータから代わりに生成され得る。
【００５３】
特定の実施形態によれば、ＶＲ対話空間の鳥瞰図はＨＭＤユーザに、見物人のパーソナルスペースに侵入していることを警告することができる。動作５３０は侵入が生じているか否かを検出するように構成され、動作５４０は次いでＨＭＤのＶＲシーン内の鳥瞰図にそのように表示してＨＭＤユーザに警告し得る。いくつかの実施形態では、この方法は、誰のパーソナルスペースに侵入しているか、または侵入しそうかを示すグラフィックまたはアニメーションを鳥瞰図上に提供し得る。グラフィックは、ソナーの「ｐｉｎｇ」のような点滅するアニメーション、または他の目立つ視覚要素であり得る。表示は、見物人のパーソナルスペースに侵入している程度によって異なり得る。たとえば、いくつかの実施形態では、ＨＭＤユーザが見物人のパーソナルの中にさらに入り続けるほど、アラートはサイズ及び／または明るさが増加し得る。
【００５４】
他の実施形態では、ユーザは、自分の注意をパーソナルスペースへの侵入のイベントに向けるためにより強い警告が使用され得る程度まで、ＶＲコンテンツに熱中している場合がある。たとえば、場合によっては、ＨＭＤユーザのＨＭＤは見物人のパーソナルスペースから出るために、ＶＲコンテンツへの割り込み、振動警告、ＶＲコンテンツ上に重畳された現実世界の環境のビュー、可聴警告、または可聴、テキスト、もしくは視覚的指示、あるいはそれらの任意の組み合わせが提供され得る。これらの実施形態では、これらの指示によって、ＨＭＤユーザは見物人のパーソナルスペースに侵入しないように自分の位置または向きを変更することが可能になる。
【００５５】
さらなる実施形態では、パーソナルスペースに侵入されている見物人は自分の画像がキャプチャされ得、これはＨＭＤのＶＲシーン内に表示される。いくつかの実施形態によれば、スペースに侵入されている見物人の画像を配信することによって、ＨＭＤユーザは上記見物人の位置及び配置を認識させられ得る。
【００５６】
スペースに侵入されている見物人の画像をＨＭＤのＶＲシーンに配信することができる方法を図６に示す。たとえば、動作６１０及び６２０は、見物人の位置及び表情をそれぞれ検出する。この方法は次いで動作６３０に進み、ＨＭＤユーザが見物人のパーソナルスペースに侵入していること、または見物人がＨＭＤユーザの行動のために不快になっていることを判定する。動作６４０において、この方法は、パーソナルスペースに侵入されている見物人の画像をキャプチャすることができる。いくつかの実施形態では、画像は、たとえば、ＨＭＤ上または周囲、及びソーシャルＶＲ対話空間内の他の場所に配置されたカメラによってキャプチャされ得る。
【００５７】
この方法は次いで動作６５０に進み、見物人の仮想的描写がＨＭＤユーザに表示されるＶＲシーンに挿入され得る。一般に、この方法は、ＨＭＤユーザに対する見物人の現実世界での位置に対応するＶＲシーン内の表示位置に見物人の描写を表示する。このようにして、ＨＭＤユーザは見物人の位置を認識させられる。
【００５８】
図６の方法のステップは例示的な順序で提示しているが、各ステップの正確な順序は、実施形態の範囲及び精神から逸脱することなく修正され、または並行して実行され得ることに留意されたい。結果として、図６に示すステップの順序は限定として解釈されるべきではない。
【００５９】
図７に、ＨＭＤユーザが移動しているＶＲシーンの再生クリップを記録するための方法の全体的な流れを示す。動作７１０は、たとえば、ＨＭＤによって移動しているＶＲシーンを、１人または複数人の見物人が視聴可能な二次スクリーン（ソーシャルスクリーン）上に表示することができる。この方法は次いで動作７２０に進み、これはＨＭＤユーザが移動しているＶＲシーンの再生クリップを記録する。動作７２０がＶＲシーンを記録しているときに、動作７３０はソーシャルスクリーン上に見たものに反応している見物人のクリップを記録する。そのようにする場合、特定の実施形態によれば、ＶＲコンテンツのセグメントを、そのセグメントに対する観衆の反応と対応させる。動作７４０において、この方法は、再生クリップ及び観衆の反応を、インターネットを通じて共有可能にすることができる。
【００６０】
図８Ａ〜図８Ｃに、ＶＲシーン内の移動中にＨＭＤユーザに表示され得る見物人フィードバックコンテンツ（ＳＦＣ）の複数の実施形態を示す。たとえば、図８Ａでは、ＶＲシーン８０１は、見物人アバター８０２、８０４、８０６、及び８０８の列の形態のＳＦＣを有するように示されている。同じ見物人が、図８ＢのＶＲシーン８０３ではグリッド形態で配置され、図８ＣのＶＲシーン８０５ではフローティング形態で配置されるように示されている。
【００６１】
明確にするために図から意図的に除外された、この方法の範囲及び精神に入る、ＨＭＤのディスプレイ上にＳＦＣを表示するための形態の多数の配列及び変形があることを理解されたい。これらの図は、見物人アバターなどの見物人フィードバックコンテンツがＶＲディスプレイ内のどこにどのように配置され得るかを示す例示的な実施形態である。図に示し説明する例示的な実施形態では、ＨＭＤユーザがＶＲコンテンツに集中できるようにしながらも、ＨＭＤユーザが見物人アバター８０２〜８０８を介して見物人フィードバックコンテンツを見ることが可能になる。いくつかの実施形態によれば、ＳＦＣは、図８Ａ及び図８Ｂならびに図１に示されるように、ディスプレイの端または角に向かって配置される。他の特定の実施形態では、ＳＦＣは、専用のＳＦＣディスプレイまたはＶＲディスプレイの領域に、たとえばＨＭＤユーザの視野の端、脇、または角に向かって配置され得る。
【００６２】
図９Ａ〜図９Ｃに、言語情報を含むＳＦＣをＨＭＤユーザに配信するための方法の一実施形態を示す。たとえば、図９Ａに、見物人９０２、９０４、９０６、及び９０８を含む観衆９０１を有するソーシャルＶＲ対話空間を示す。実施形態によれば、見物人９０２〜９０８は、たとえばソーシャルスクリーン（図示せず）を介して、ＨＭＤユーザ（図示せず）がＶＲコンテンツと対話するのを観察している。見物人９０２は、「ロープを掴んでバランスを取れ」という発言９１０をＨＭＤユーザに提案するように示されている。また、ＶＲ対話空間には、見物人９０６が見物人９０８に、ゴミは出したか、という発言９１２を尋ねることが示されている。見物人９０８は、後でやるよ、という発言９１４を答えている。各発言９１０、９１２、及び９１４はマイクロフォンアレイ９１８によってキャプチャされる。また、画像キャプチャデバイス９１６は、見物人９０２〜９０８のＩＤを含めて、ソーシャルＶＲ対話空間の内容をキャプチャする。
【００６３】
図９Ｂに、音声データ９２８（たとえば、図９Ａの発言９１０、９１２、及び９１４）を、意味を持つ表現９３０へと解析するための方法の一実施形態を示す。加えて、この実施形態は、顔の特徴データ９２０を分析し、使用して、観衆９０１に対応する見物人ＩＤ９２２を認識することを示す。この実施形態によれば、見物人ＩＤ９２２及び表現９３０は見物人音声ロジック／フィルタ９２４に適用され、これはＨＭＤユーザに伝えられることが意図された表現９３０（たとえば、発言９１０）を、そうでないもの（発言９１２及び９１４）から除外することができる。さらに、見物人音声ロジック／フィルタ９２４は表現９３０を見物人ＩＤ９２２と対応させることもできる。たとえば、見物人音声ロジック／フィルタ９２４は、「ロープを掴んでバランスを取れ」という発言９１０を見物人９０２であるＪＬｉｎにタグ付けすることができる。また、この実施形態は、発言９１２及び９１４がＨＭＤユーザ向けのコミュニケーションではないと決定することができる。
【００６４】
特定の実施形態では、見物人音声ロジック／フィルタ９２４は音声指紋採取を使用して、言語表現を、その言語表現を発した見物人と対応させ得る。このようにして、ＨＭＤユーザは、表現と、その発生元の見物人とを知らされ得る。
【００６５】
音声を、それを発した見物人と対応させるための方法の実施形態は、２００６年５月６日に出願され、「ＳＥＬＥＣＴＩＶＥ  ＳＯＵＮＤ  ＳＯＵＲＣＥ  ＬＩＳＴＥＮＩＮＧ  ＩＮ  ＣＯＮＪＵＮＣＴＩＯＮＷＩＴＨ  ＣＯＭＰＵＴＥＲ  ＩＮＴＥＲＡＣＴＩＶＥ  ＰＲＯＣＥＳＳＩＮＧ」と題された、以前に出願された同時係属中の米国特許出願第１１／４２９１３３号に記載されており、引用により本明細書に組み込まれている。
【００６６】
この実施形態によれば、ＨＭＤユーザに伝えられることが意図されていない発言は除外することができる。たとえば、見物人９０６（Ｕｍａ）は、見物人９０８（ＬＢＪ）に、ゴミは出したか９１２、を尋ねるように図９Ａに示されている。見物人９０８（ＬＢＪ）は、後でやるよ、と発言９１４で答えている。これらの発言は意味を持つ表現９３０へと解析され得るが、ＨＭＤユーザには配信されない。意味解釈特性を有する見物人音声ロジック／フィルタ９２４は、これらの表現がＨＭＤユーザ向けのものではないことを特定することができる。
【００６７】
特定の実施形態では、ＨＤＭユーザには、１人または複数人のユーザから発生した発言の表現をミュートする能力が与えられる。たとえば、ＨＭＤユーザがＶＲコンテンツと対話するのを特定の見物人が妨げている場合、ＨＭＤユーザは上記見物人からのコミュニケーションを選択的に除外することを許可され得る。本明細書に記載の方法及びシステムは、見物人音声ロジック／フィルタ９２４を使用して見物人のそのような選択的なミュートを行うことができる。他の実施形態では、ユーザは、全ての音声データをＨＭＤに伝えることを許可することが可能にされ得る。
【００６８】
図９Ｃには、見物人９０２、９０４、９０６、及び９０８にそれぞれ対応するアバター９０２ｂ、９０４ｂ、９０６ｂ、及び９０８ｂを含むＳＦＣを受信するようにＶＲシーンを図示している。加えて、ＳＦＣは、アバターＪＬｉｎ９０２ｂにタグ付けされた表現９２６を含む。図示したような特定の実施形態では、コミュニケーションの発信者をより良く示すために、アバター９０２ｂは残りのアバターよりも比較的大きく表示されている。他の実施形態では、コミュニケーションの記録の音声再生が、ＳＦＣの一部としてＨＭＤユーザに配信され得る。特定の実施形態では、コミュニケーションのテキスト形態のみがＳＦＣの一部とされる。さらに他の実施形態では、表現のテキスト形態及び可聴形態両方がＳＦＣの一部とされる。
【００６９】
図１０Ａ〜図１０Ｃに、ＨＭＤユーザのＶＲシーンに配信され得る様々な種類のＳＦＣのいくつかの実施形態を示す。たとえば、図１０Ａに、ＨＭＤのディスプレイの左手側にＳＦＣが「列」形式で表示されたＶＲシーン１００１を示す。ＳＦＣ内で、アバター１００２は、自分の時計１０１０をちらっと見て、我慢が限界であるように見える。特定の実施形態では、自分の時計をちらっと見るこのアニメーションは、見物人のプレイへの逼迫度を描写し得る。他の実施形態では、このアニメーションは、実生活において見物人１００２が時計をちらっと見ることに対応し得る。いずれの場合も、ＨＭＤユーザは見物人１００２のプレイしたい欲求を認識させられる。また、中立的に見えるアバター１００４及び１００６と、見物人ＬＢＪがソーシャルＶＲ対話空間に今入ってきたことの表示１００８とがＶＲシーン１００１に示されている。
【００７０】
図１０Ｂに、アバター１００２、１００４、１００８、及び１００６を含むＳＦＣを有するＶＲシーン１００３の追加の実施形態を示す。この実施形態では、アバターは、どの見物人に次に順番が回るべきかに対応する順序で並べられ得る。どの見物人に次に順番が回るべきかの決定は、ＨＭＤに関連付けられたコンピューティングシステムによって行われ得る。図示した実施形態では、アバター１００４は、まだプレイする順番が回ってきていないので、アバターの列の一番上に表示され得る。加えて、ＶＲシステムは、Ｋａｔにプレイする順番が回ってきていないことをＨＭＤユーザに知らせ、ＨＭＤユーザに彼女にプレイさせるように依頼しようと試みる(１０１２)。
【００７１】
図１０Ｃに、ＳＦＣがアバター１００２、１００４、１００６、及び１００８を含むＶＲシーン１００５の追加の実施形態を示す。この実施形態では、各アバターは、本明細書に記載の方法及びシステムの実施形態によって可能になるシステムによって検出される彼らの現在の感情状態の表示と共に表示される。たとえば、アバター１００２、１００４、１００６、及び１００８は、それぞれ楽しい１０１４、退屈１０１６、怖い１０１８、及び、我慢限界１０２０と表示される。このようにして、ＨＭＤユーザは、見物人のこれらの状態を認識させられ、それに応じて行動をとり得る。たとえば、ＨＭＤユーザはそのようなＳＦＣに直面した場合、見物人１００８に次の順番をＨＭＤと共に譲ることを選択し得る。他の場合では、ＨＭＤユーザは見物人１００４に次の順番を譲ることを選択し得る。
【００７２】
図１１に、ＳＦＣをＨＭＤユーザに配信することが可能なＶＲシステムの一例示的実施形態を示す。ＶＲシステムは、１つまたは複数のプロセッサ、ならびにいくつかのハードウェア及びソフトウェアコンポーネントを有するコンピューティングシステムまたはモジュール１１０２を含む。コンピューティングシステムは、たとえば、コンポーネントＩ／Ｏインターフェース１１０４、ＶＲコンテンツ生成器１１０６、ソーシャルスクリーン生成器１１０８、マイクロフォン１１１０、音声分析器１１１２、顔検出ロジック１１１４、表情検出ロジック１１１６、見物人識別ロジック１１１８、プレイヤーキュー１１２０、音声フィルタ１１２２、反応検出ロジック１１２４、ソーシャルネットワークインターフェース１１２６、再生モジュール１１２８、反応記録器１１３０、及びタイマロジック１１４６を含むように図示している。
【００７３】
図１１にはカメラ１１４６も示しており、これはＨＭＤユーザ１１４０及び見物人の観衆１１４４を含む視野から画像をキャプチャするものである。カメラ１１４６は、コンピューティングシステム１１０２に搭載されるように図示しているが、ＨＭＤユーザ１１４０及び観衆１１４４の視野を維持しながらも、ソーシャルＶＲ対話空間内の任意の場所に配置されるスタンドアロンユニットであり得る。さらに、簡単にするために１つのカメラ１１４６しか図示していないが、他の実施形態では、特に見物人の数が多く、対話空間に広がっている場合に、ソーシャルＶＲ対話空間から画像をキャプチャするために任意の数のカメラが実装され得ることに留意されたい。
【００７４】
また、コンピューティングシステム１１０２に接続されるように図示しているのは、ヘッドマウントディスプレイ（ＨＭＤ）１１３４である。ＨＭＤ１１３４は、一次ＶＲディスプレイ１１３６、ＳＦＣディスプレイ１１３８、正面カメラ（ＦＦＣ：ｆｒｏｎｔ−ｆａｃｉｎｇ  ｃａｍｅｒａ）１１５２、及び背面カメラ（ＲＦＣ：ｒｅａｒ−ｆａｃｉｎｇ  ｃａｍｅｒａ）１１５４を含むように示されている。一次ＶＲディスプレイ１１３６はＨＭＤユーザ１１４０へのＶＲコンテンツの表示を担当し、ＳＦＣディスプレイ１１３８は見物人フィードバックコンテンツをＨＭＤ１１３４に配信する。ＳＦＣディスプレイ１１３８は一次ＶＲディスプレイ１１３６の一部と重なるように示されており、これはＳＦＣ１１３８がＶＲディスプレイ１１３６の一部を使用してＳＦＣをＨＭＤ１１３４に配信できることを示している。加えて、いくつかの実施形態によれば、ＳＦＣディスプレイ１１３８は、ＳＦＣを配信するためにＨＭＤ１１３４内に専用スペースを有し得る。他の実施形態では、ＳＦＣディスプレイ１１３８は一次ＶＲディスプレイ１１３６に含まれる。
【００７５】
図示した実施形態によれば、ＦＦＣ１１５２は観衆／見物人１１４４の画像をキャプチャすることができる。ＦＦＣ１１５２によってキャプチャされた画像は、ＨＭＤユーザ１１４０へのＳＦＣの配信に使用され得る。同じことがＲＦＣ１１５４にも当てはまる。たとえば、ＨＭＤユーザ１１４０が見物人１１４４のあまりに近くをさまよい歩く場合、ＳＦＣコンテンツ生成器１１０８は上記見物人１１４４の描写をＳＦＣディスプレイ１１３８に挿入し得る。ＳＦＣコンテンツをキャプチャするためのＦＦＣ１１５２またはＲＦＣ１１５４の使用に関するさらなる詳細については以下に与える。ＨＭＤ内に含まれ得る追加のコンポーネントは、図１６により詳細に示す。また、ＨＭＤユーザ１１４０は、ＨＭＤ１１３４に接続されるように示されている。
【００７６】
ＨＭＤ１１３４はコンピューティングシステム１１０２に接続されたスタンドアロンデバイスであるように図示しているが、ＨＭＤ１１３４がスタンドアロンであるかコンピューティングデバイス１１０２と統合されるかは、この方法の実行及び範囲にとって重要ではないことを理解されたい。たとえば、いくつかの実施形態では、ＨＭＤ１１３４はコンピューティングデバイス１１０２用のスロットまたはマウントを有し得、それによってコンピューティングデバイス１１０２をＨＭＤ１１３４に自在に着脱することが可能になり得る。さらに他の実施形態では、ＨＭＤ１１３４は、有線または無線でコンピューティングシステム１１０２に接続されるスタンドアロンデバイスであり得る。加えて、一次ＶＲディスプレイ１１３６及びＳＦＣディスプレイ１１３８がコンピューティングデバイス１１０２に関連付けられ、今度はこれがＨＭＤ１１３４に関連付けられる、この方法及びシステムの特定の実施形態が存在する。これら及び他の実施形態では、ＨＭＤ１１３４は、一次ＶＲディスプレイ１１３６及びＳＦＣディスプレイ１１３８を含むディスプレイに関連付けられた分離可能なコンピューティングシステム１１０２のためのホルダまたはアセンブリとして機能し得る。
【００７７】
コンピューティングシステム１１０２の特定の実施形態に含まれるのは、ＶＲコンテンツ生成器１１０６及びソーシャルスクリーンコンテンツ生成器１１０６である。ＶＲコンテンツ生成器１１０６は一般に、ＶＲコンテンツをＨＭＤ１１３４に配信するための動作を処理することを担当する。ソーシャルスクリーンコンテンツ生成器１１０８は一般に、ソーシャルスクリーン１１４２などの二次ディスプレイにＨＭＤユーザの体験のビューを提供することを担当する。特定の実施形態において、ソーシャルスクリーンコンテンツ生成器１１０８は、ソーシャルスクリーン１１４２上に表示されるＶＲシーンの２次元バージョンをレンダリングする。３次元コンテンツの２次元投影またはバージョンをレンダリングするための方法は、当技術分野において十分に説明されており、本明細書では詳細に説明しない。
【００７８】
また、顔検出ロジック１１１４及び表情検出ロジック１１１６もそれぞれ、コンピューティングシステム１１０２に含まれるように図示している。顔検出ロジック１１１４は顔認識技術を使用して見物人が誰であるかを識別する。たとえば、見物人が部屋を退出した場合、顔検出ロジック１１１４は誰が部屋を退出したかを認識するように構成される。同じ見物人が部屋に再び入った場合、顔検出ロジック１１１４は、部屋を退出した同じ人物が戻ってきたことを認識することができる。コンピューティングシステム１１０２は顔検出ロジック１１１４を使用して、ソーシャルＶＲ対話空間に入った見物人が、退出した同じ見物人であり、新たな見物人などではないことをＨＭＤユーザ１１４０に知らせることができる。
【００７９】
新たな見物人が部屋に入った場合には、顔検出ロジック１１１４は、新たな見物人がソーシャルＶＲ対話空間に入ったことを認識し、それをＨＭＤユーザ１１４０に知らせるように構成される。いくつかの実施形態では、顔検出ロジック１１１４は見物人データベース１１５０と通信し、これは個々の見物人のプロフィールの記憶を生成するものである。他の実施形態では、顔検出ロジック１１１４は見物人識別ロジック１１１８と通信し、これは顔検出ロジック１１１４の顔認識機能を使用して見物人を記録するものである。加えて、見物人識別ロジック１１１８はまた、見物人データベース１１５０と通信して、所与の見物人がデータベース１１５０内に自分に関連するプロフィールを有することを判定するように構成され得る。
【００８０】
見物人データベース１１５０は、いくつかの実施形態では、各見物人に関するいくつかの種類の情報を記憶し得る。たとえば、データベース１１５０は、顔検出ロジック１１１４及び見物人検出ロジック１１１８が見物人プロファイルを使用して見物人の肯定的な識別を行い得るように、見物人の顔特徴データを記憶し得る。各見物人プロフィール内に、見物人の好み、及び／または傾向、ならびに／あるいは行動パターンが記憶され得る。たとえば、第１の見物人は第２の見物人よりも忍耐強い場合がある。この違いを捉えたデータは、ＳＦＣコンテンツ生成器１１４８に記憶され使用され得る。
【００８１】
見物人のＩＤを特定し得る顔検出ロジック１１１４に加えて、表情検出ロジック１１１６は、表情に基づいて見物人の感情状態を検出するように動作可能である。たとえば、表情検出ロジック１１１６は見物人のいくつかの顔の特徴、たとえば、眼球運動、まばたきの速度、頭の位置、瞳孔の拡大、口の形状などを分析し得る。そのような顔の特徴データから、１つまたは複数の感情状態が推定され得る。また、表情検出ロジック１１１６によって提供される感情状態データは、見物人の状態に関する情報をＨＭＤユーザ１１４０に提供するためにＳＦＣコンテンツ生成器１１４８によって使用され得る。
【００８２】
反応検出ロジック１１２４は、いくつかの実施形態では、たとえば、驚き、滑稽、恐怖、心配、興奮、畏敬など、区別されている種類の反応を示す顔の特徴を検出し得る。反応検出ロジック１１２４は反応記録器１１３０と通信し、これは、特定の強度または種類の反応が生じていると反応検出ロジックが判定した場合に、見物人の反応のライブビデオを記録するように構成されるものである。反応記録器１１２８はカメラ１１４６からビデオストリームを受信するが、必ずしも見物人のビデオを常時記録または記憶するわけではない。たとえば、いくつかの実施形態では、ＶＲコンテンツは、観衆の反応がそれほど頻繁ではないようなものであり得る。そのような実施形態では、反応検出ロジック１１２４は、反応のレベルが特定の閾値に達した場合のみ記録することを決定し得る。すなわち、注目に値するまたは共有する価値がある観衆の反応を、反応検出ロジック１１２４によって検出し、反応記録器１１３０によって記録及び記憶することができる。他の実施形態では、観衆の反応は常に記録及び記憶され得る。
【００８３】
一般に、観衆の反応の記録は、反応されているＶＲコンテンツの対応するセグメントにタグ付けまたは添付される。特定の実施形態では、再生モジュール１１２８は２つのクリップを同期させることによって、同時に再生している２つのクリップを見た第三者に、ＶＲコンテンツのセグメントが、ＶＲコンテンツに対する観衆の反応のクリップと共にリアルタイムに提供されるようにする。たとえば、たまたま面白いＶＲコンテンツの記録されたクリップと、観衆の笑う反応の対応するクリップとが存在する場合、その２つは再生モジュール１１２８によって、あたかも観衆が面白いＶＲコンテンツにリアルタイムに反応しているかのように同期され得る。ＶＲコンテンツクリップ及び観衆反応クリップは合わせて、ソーシャル双方向ＶＲコンテンツと呼ばれ得る。また、再生モジュール１１２８は、ＨＭＤユーザまたはリモートクライアントデバイスから再生要求を受信し、再生コンテンツをＨＭＤユーザまたはリモートクライアントデバイスに配信するように構成される。
【００８４】
特定の実施形態では、再生モジュール１２２８はソーシャルネットワークインターフェース１１２６ともインターフェースをとり、これ自体が、１つまたは複数のソーシャルネットワーク１１３２の１つまたは複数のアプリケーションプログラミングインターフェース（ＡＰＩ）とインターフェースをとる。ソーシャルネットワーク１１３２は、たとえば、ソーシャル双方向ＶＲコンテンツの再生をサポートし得る。加えて、ＨＭＤユーザの反応は、ソーシャル双方向ＶＲコンテンツに含まれ得る。たとえば、ＨＭＤユーザに面するカメラは、ＶＲコンテンツに応答したユーザの動きを記録し得る。また、マイクロフォンはＨＭＤユーザのＶＲに対する言語での反応を記録し得る。そのような反応は両方とも、ソーシャル双方向ＶＲコンテンツに結び付けられ、再生モジュール１１２８及びソーシャルネットワークインターフェース１１２６を介してインターネットを通じて共有可能にされ得る。
【００８５】
さらにコンピューティングシステム１１０２に含まれるように図示しているのは、音声キャプチャデバイス１１１０、音声分析器１１１２、及び音声フィルタ１１２２である。これらのコンポーネントは、特定の実施形態では、ＳＦＣコンテンツ生成器１１４８によって使用される可聴形態のＳＦＣをキャプチャすることを担当する。たとえば、音声キャプチャデバイス１１１０は、見物人がＨＭＤユーザ１１４０とコミュニケーションをとっていることを検出するように構成され、音声分析器１１１２は音声データを意味を持つ表現へと解析するように構成される。
【００８６】
特定の実施形態では、音声フィルタ１１２２は、ＨＭＤユーザ１１４０に伝えられることが意図された表現を、ＨＭＤユーザ１１４０に伝えられることが意図されていない音声及び表現から分離するように構成される。これらの実施形態によれば、ＨＭＤユーザ１１４０には関連のあるＳＦＣのみが提供され、ＨＭＤユーザ１１４０にとって有用または有益でない音声は別途除外され得る。
【００８７】
他の特定の実施形態では、ＨＭＤユーザ１１４０は、１人または複数人の見物人のコミュニケーションを、たとえば、それらが非生産的または気が散るものである場合に選択的にブロックすることを決定し得る。ＨＭＤユーザ１１４０は音声フィルタ１１２２を介してそのようにし得、このフィルタは、各コミュニケーションの発信元を検出し、コメントが望まれていない特定の見物人のコミュニケーションを選択的にブロックし得る。音声フィルタ１１２２は、いくつかの実施形態では、音声認識及び／または３次元音源検出を使用することによって、そのようにすることができる。たとえば、特定の実施形態では、音声フィルタ１１２２は、音声がコメントが歓迎されない見物人からのものであることを認識し、特にそれらを除外することができる。他の実施形態では、音声フィルタ１１２２は、音源の位置または場所に関するデータを受信し、音源を、顔検出ロジック１１１４及び見物人識別ロジック１１１８によって検出された人物のＩＤと相互参照することができる。
【００８８】
さらにコンピューティングシステム１１０２に含まれるように図示しているのは、プレイヤーキュー１１２０及びタイマロジック１１４６である。特定の実施形態によれば、プレイヤーキュー１１２０は、誰にＨＭＤの次の順番が回ってくるかを決定するために、見物人のキューを記録するように構成される。たとえば、順番が回るのを待っている４人の見物人がいる場合、プレイヤーキュー１１２０は、各プレイヤーが順番を待っていた相対的な時間、及び／または見物人にＨＭＤの以前の順番が回っていた時間量に基づいて、各見物人をキューに入れることになる。
【００８９】
いくつかの実施形態では、プレイヤーキュー１１２０はタイマロジック１１４６と通信し、これは各見物人が順番を待っていた時間量を記録し得るものである。加えて、タイマロジック１１４６は、ＨＭＤユーザがＨＭＤの使用に費やした時間量も記録し得る。プレイヤーキュー１１２０及びタイマロジック１１４６は、プレイヤーキュー、すなわち、見物人がＨＭＤの順番を待っていた時間をＨＭＤユーザ１１４０に知らせるために、ＳＦＣコンテンツ生成器１１４８によって使用され得る。
【００９０】
さらにコンピューティングシステム１１０２に含まれるように図示しているのは、見物人フィードバックコンテンツ（ＳＦＣ）生成器１１４８である。ＳＦＣ生成器１１４８は一般に、観衆１１４４の１人または複数人の見物人の状態に関するコンテンツを生成し、ＨＭＤ１１３４のＳＦＣディスプレイ１１３８に配信することを担当する。いくつかの実施形態では、ＳＦＣ生成器は、コンピューティングシステム１１０２に含まれる様々なコンポーネントからデータを収集し、ＨＭＤユーザ１１４０が視聴可能なコンテンツを生成する。たとえば、ＳＦＣ生成器１１４８は、顔検出ロジック１１１４、表情検出ロジック１１１６、及び見物人識別ロジック１１１８からデータを収集して、観衆／見物人１１４４を描写した一連のアバターをレンダリングし得る。いくつかの実施形態では、ＳＦＣ生成器１１４８は、顔検出ロジック１１１４によって認識された再来の見物人に同じアバターを使用することができる。他の実施形態では、見物人は、自分のアバターを選択しカスタマイズする機会を与えられる。
【００９１】
また、ＳＦＣ生成器１１４８は表情検出ロジック１１１６データ及び見物人識別ロジック１１１８を取得して、見物人の表情をそれぞれのアバターにマッピングするように構成され得る。また、ＳＦＣ生成器１１４８は音声キャプチャデバイス１１１０、音声分析器１１１２、及び音声フィルタ１１２２からデータを収集して、見物人の言語でのフィードバックをＨＭＤユーザ１１４０に配信し得る。加えて、ＳＦＣコンテンツ生成器１１４８は、アバターに加えてまたはその代わりに、ＳＦＣをノンプレイヤーキャラクターに帰属させるように構成され得る。
【００９２】
一般に、ＳＦＣ生成器１１４８はＶＲコンテンツ生成器１１０６と通信して、ＳＦＣをＨＭＤユーザ１１４０に配信する最も効果的な形式及び方法を決定する。たとえば、ＳＦＣ生成器１１４８は、ＨＭＤユーザ１１４０に何かを警告すべきではないと判定した場合、ＶＲディスプレイ内の目立たない場所にＳＦＣを配信することを決定し得る。一方、ＳＦＣ生成器１１４８は、ＨＭＤユーザ１１４０が見物人の何らかの状態を認識させられるべきであると判定した場合、ＳＦＣまたはその一部をＶＲディスプレイ内の意図的に目立つ場所、または他の方法で気付く場所に配信することを決定し得る。
【００９３】
図１２Ａ及び図１２Ｂに、見物人の観衆と、彼らが順番が回るのを待っていた時間量とに関するＳＦＣをＶＲシーンに配信するための追加の実施形態を示す。ＶＲシーン１２０２及び１２０２ｂでは、ＨＭＤユーザ１２０４は「Ｓｉｓｙｐｈｕｓ」のゲームにおいて山１２０８でボール１２０６を押し上げていることが示されている。また、ＳＦＣがＶＲシーンに配信されることが示されている。たとえば、アバター１２１０、１２１４、１２１８、及び１２２２は、それぞれタイマバー１２１２、１２１６、１２２０、及び１２２４に沿って前進していることが示されている。特定の実施形態では、タイマバーに沿って最も遠くに移動したアバターは、最も長く待ったアバターである。たとえば、見物人１２１０は、タイムバー１２１２に沿って残りの見物人１２１４、１２１８、及び１２２２よりも遠くに移動したように示されており、結果としてＳＦＣディスプレイの最上部に表示され得る。
【００９４】
さらに時間が経過して、各アバター１２１０、１２１４、１２１８、及び１２２２は、それぞれタイムバー１２１２、１２１６、１２２０、及び１２２４に沿って前進したことが示されている。このようにして、ＨＭＤユーザは、それぞれのタイムバーに沿った各アバターの相対的な進み具合によって、各見物人が順番を待っていた時間を認識させられる。図示した実施形態では、ＨＭＤユーザがプレイしていた時間量のさらなる表示が、老化したＨＭＤユーザのアバター１２０４ｂの形態で示される。
【００９５】
ＳＦＣを配信するための追加の実施形態を図１３Ａ及び図１３Ｂに示す。たとえば、ＶＲシーン１３０１において、アバター１３１０、１３１４、及び１３１８は、ＶＲシーン内でＳＦＣとして提示されることが示されている。アバター１３１０は表情が特に楽しくはないように示されている。また、アバター１３１０に帰属されているのは、「急いでよ！」という表現／コミュニケーションであり、それによってＨＭＤユーザ１３０８は、見物人／アバター１３１０が我慢限界であり、急いでほしいことを認識させられる。一方、アバター１３１４は、表情的にも言葉上も満足しているように示されている（１３１６）。見物人／アバター１３１８は、表情的に不快ではないように示されているが、次に順番が回ることを熱望しているように示されている（１３２０）。さらにＶＲシーン１３０１に示されているのは、４人目の見物人ＬＢＪがソーシャルＶＲ対話空間を退出したことの表示である。このようにして、ＨＭＤユーザは、彼らがどのように感じているか、及び順番が回ることへの熱望に関する見物人のいくつかの状態を認識させられる。
【００９６】
図１３Ｂに、ＳＦＣをＶＲシーン１３０３に配信する追加の実施形態を示す。図示した実施形態では、見物人の実物の描写または実物そっくりの描写１３２４、１３２６、及び１３２８が示されている。描写１３２４では見物人は口を尖らせているように示され、描写１３２６では見物人は興奮しているように示され、描写１３２８では見物人は怒っている及び／または欲求不満であるように示されている。結果として、この実施形態によれば、ＨＭＤユーザは見物人の状態に関するデータだけでなく、見物人の感情状態及び／または表情状態の性質を示す、実物そっくりの表示を知らされる。
【００９７】
図１４Ａから図１４Ｆに、見物人のパーソナルスペースに侵入していることに応答して、ＨＭＤユーザ１４０２のＶＲシーン１４０１、１４０３、及び１４０５にＳＦＣ１４１４を配信する方法を示す。たとえば、図１４Ａに、ＨＭＤユーザ１４０２が射撃デバイス１４０４を使用してＶＲシーン１４０１と対話していることを示す。見物人１４０６、１４０８、１４１０、及び１４１２は、ソーシャルＶＲ対話空間１４１３内でＨＭＤユーザ１４０２を見ているように示されている。ＨＭＤユーザ１４０２は見物人１４０６の方向に射撃デバイスを向けているように示されており、これはいくつかの実施形態によれば、誰かのパーソナルスペースへの侵入の仕方である。対応する図１４Ｂでは、ＶＲシーン１４０１は、ＨＭＤユーザ１４０２がターゲットにしているモンスター１４１８を含むように示されている。さらにＶＲシーン内に示されているのはＳＦＣ１４１４であり、これは特定の実施形態では、ＨＭＤユーザ１４０２ならびに見物人１４０６、１４０８、１４１０、及び１４１２の鳥瞰図（ＢＥＶ）（または他の俯瞰図）であり得る。ＢＥＶ−ＳＦＣ１４１４の見物人はそれぞれ文字付きの円Ａ、Ｂ、Ｃ、及びＤとして示されている。
【００９８】
ＢＥＶ−ＳＦＣの特定の実施形態では、ＨＭＤユーザに対する見物人の位置は、ソーシャルＶＲ対話空間１４１３内の見物人の現実世界での位置に比例する。さらにＢＥＶ−ＳＦＣ１４１４に示されているのは、射撃デバイス１４０４の描写と、ＨＭＤユーザ１４０２がどの方向に、何に向けているかを示すための仮想的な射撃ライン１４２０とである。図１４Ａに示すように、ＨＭＤユーザ１４０２は射撃デバイス１４０４を見物人１４０６に向けて、見物人１４０６のパーソナルスペースに侵入している。見物人１４０６のパーソナルスペースにＨＭＤユーザ１４０２が侵入していることの表示１４１６が、見物人１４０６の仮想的描写の周りに強調表示された及び／または拍動するリングの形態でＢＥＶ−ＳＦＣ１４１４に示されている。
【００９９】
図１４Ｃでは、ＨＭＤユーザ１４０２が射撃デバイス１４０４を見物人に向けていることを認識し、次に自分の位置を調整することが示されている。ＨＭＤユーザ１４０２は右手側に移動して、射撃ライン１４２０が見物人１４０６のパーソナルスペースと一致しなくなるようにしたことが示されている。結果として、見物人１４０６のパーソナルスペースに侵入していることの表示１４１６が縮小する。しかしながら、移動したことによって、ＨＭＤユーザ１４０２は知らずに見物人１４１２のパーソナルスペース１４２２内に入ってしまっている。ＢＥＶ−ＳＦＣ１４１４は、見物人１４１２の仮想的描写を拍動リング表示１４２２で強調表示することによって、その旨を示す。
【０１００】
表示１４１６及び１４２２は、１つまたは複数のパーソナルスペースに侵入していることをＨＭＤユーザ１４０２に警告する拍動リングであるように示されているが、表示１４１６及び１４２２は、可聴警告、位置変更のための視覚的指示または可聴指示、またはその任意の組み合わせを含むいくつかの形態のうちの１つを取り得ることに留意されたい。
【０１０１】
図１４Ｅ及び図１４Ｆでは、ＨＭＤユーザ１４０４は、射撃ライン１４２０が見物人１４０６、１４０８、１４１０、及び１４１２に面する方向にならないように、自分の位置及び／または向きを変更したことが示されている。結果として、表示１４１６及び１４２２は、ＶＲシーン１４０５のＢＥＶ−ＳＦＣ１４１４に提示されなくなる。特定の実施形態において、ＶＲコンテンツ生成器は、視覚的指示及び／または言語での指示を提供することによって、ＨＭＤユーザ１４０２に位置変更させ得る。加えて、ＶＲコンテンツを一時停止または遅くし、ＨＭＤユーザ１４０２の新たな位置及び／または向きと一致するようにＶＲコンテンツを再配置し得る。たとえば、ＨＭＤユーザ１４０２が観衆から新たな向きへ背を向ける間に、ターゲットモンスター１４１８はそれに応じて再配置される。
【０１０２】
他の特定の実施形態では、モンスター１４１８などのターゲットを選択的に移動、シフト、または再配置して、ＨＭＤユーザ１４０２に、見物人のパーソナルスペースに侵入している状態から離れるように位置変更及び／または向き変更させ得る。たとえば、ＶＲコンテンツ生成器は、見物人のパーソナルスペースに侵入していると判定された場合、見物人に面する方向から離れるようにターゲットを選択的に移動させ得る。結果として、ＨＭＤユーザ１４０２は、ＶＲコンテンツから離脱することなく、見物人のパーソナルスペースへの侵入状態から撤退する機会が与えられる。ＶＲコンテンツ生成器が観衆のパーソナルスペースから離れるように位置及び向きをシームレスに向け直すので、ＨＭＤユーザ１４０２は侵入状態から離れるように向けられていることさえ認識しない場合がある。
【０１０３】
図１５Ａ〜図１５Ｄに、ＳＦＣをＶＲシーン１５０１に配信するための追加の実施形態を示す。図１５Ａには、たとえば、ＨＭＤユーザ１５０２が射撃デバイス１５０４を介してＶＲコンテンツと対話していることが示されている。また、見物人１５０６、１５０８、及び１５１０が、ソーシャルＶＲ対話空間１５１２内にいることが示されている。図１４Ａとほぼ同様に、ＨＭＤユーザ１５０２は見物人１５０６の方向に射撃デバイス１５０４を向けている。しかしながら、ＶＲシーン１５０１内にＢＥＶ−ＳＦＣを表示する代わりに、見物人１５０６の現実世界の画像または描写が図１５ＢのＶＲシーン１５０１に重畳または挿入される。この実施形態によれば、見物人１５０６の現実世界の画像または描写は、ＦＦＣ１５０３によってキャプチャされることが示されている。
【０１０４】
この実施形態では、たとえば、ターゲットモンスター１５１４が前景に表示され、見物人１５０６の現実世界の描写が後景に表示される。また、見物人１５０６の現実世界の描写は、中立的な表情をしているように示されている。加えて、見物人１５０６の現実世界の描写は、見物人１５０６の現実世界での位置及び向きに対応するＶＲシーン１５０１内の位置及び向きを有するように示されている。たとえば、見物人１５０６がＨＭＤユーザ１５０２に近いほど、見物人の現実世界の描写はＶＲシーン１５０１内で大きく表示される。
【０１０５】
図１５Ｃに、ＨＭＤユーザ１５０２が見物人１５０６に近づいたことが示されている。特定の実施形態では、ＨＭＤユーザ１５０２が見物人から特定の距離内にいることは、見物人のパーソナルスペースに侵入していることを示す。これは特に、ＨＭＤユーザ１５０２がポインティング及び／または射撃用のデバイスまたはコントローラを振りかざしている場合に当てはまる。結果として、現実世界の描写１５０６はより目立つようになり、前景に移動される。このようにして、ＨＭＤユーザ１５０２は、１５０１内での見物人１５０６の現実世界の描写の見え方に基づいて、見物人１５０６の位置及び向きを見積もる機会が与えられる。たとえば、ＶＲシーン１５０１において、見物人１５０６の現実世界の描写は、ＨＭＤユーザ１５０２には非常に近いように見える。加えて、この実施形態によれば、見物人１５０６の不快感の表情も見物人の現実世界の描写内に見られるように表示される。
【０１０６】
図１６に、提示した方法及び／またはシステムと共に使用され得るＨＭＤ１６０２の追加の実施形態を示す。ＨＭＤ１６０２は、プロセッサ１６０４、バッテリー１６０６、仮想現実生成器１６０８、ボタン、センサ、スイッチ１６１０、音像定位１６１２、ディスプレイ１６１４、及びメモリ１６１６などのハードウェアを含む。また、ＨＭＤ１６０２は、磁力計１６１８、加速度計１６２０、ジャイロスコープ１６２２、ＧＰＳ１６２４、及びコンパス１６２６を具備する位置モジュール１６２８を含むように示されている。ＨＭＤ１０２にさらに含まれるのは、スピーカー１６３０、マイクロフォン１６３２、ＬＥＤ１６３４、視覚認識用オブジェクト（複数可）１６３６、ＩＲライト１６３８、フロントカメラ１６４０、リアカメラ１６４２、視線追跡カメラ（複数可）１６４４、ＵＳＢ１６４６、永久記憶装置１６４８、振動−触覚フィードバック１６５０、通信リンク１６５２、ＷｉＦｉ（登録商標）１６５４、超音波通信１６５６、Ｂｌｕｅｔｏｏｔｈ（登録商標）１６５８、及び感光性ダイオード（ＰＳＤ）アレイ１６６０である。
【０１０７】
この方法の動作は特定の順序で説明しているが、他のハウスキーピング動作が動作間に実行され得、もしくは動作がわずかに異なる時間に行われるように調整され得、またはＶＲ動作の変更の処理が所望の方法で実行される限り、処理に関連付けられた様々な間隔で処理動作が行われることを可能にするシステムにおいて分散され得ることを理解されたい。
【０１０８】
１つまたは複数の実施形態は、コンピュータ可読媒体上のコンピュータ可読コードとして作ることもできる。コンピュータ可読媒体は、後でコンピュータシステムによって読み取ることが可能なデータを記憶することができる任意のデータ記憶デバイスである。コンピュータ可読媒体の例には、ハードドライブ、ネットワーク接続ストレージ（ＮＡＳ）、読み出し専用メモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、及び他の光学的及び非光学的データ記憶デバイスがある。コンピュータ可読媒体は、コンピュータ可読コードが分散して記憶及び実行されるように、ネットワーク結合されたコンピュータシステム上に分散されたコンピュータ可読有形媒体を含むことができる。
【０１０９】
前述の実施形態は理解を明確にするためにある程度詳細に説明したが、添付の特許請求の範囲内で特定の変更及び修正を実施できることは明らかであろう。したがって、本実施形態は限定的ではなく例示的なものと見なされるべきであり、実施形態は本明細書で与えた詳細に限定されるべきではなく、添付の特許請求の範囲及びその均等物内で修正され得る。
【図１】
0006767572.tif 000002
【図２】
0006767572.tif 000003
【図３】
0006767572.tif 000004
【図４】
0006767572.tif 000005
【図５】
0006767572.tif 000006
【図６】
0006767572.tif 000007
【図７】
0006767572.tif 000008
【図８Ａ】
0006767572.tif 000009
【図８Ｂ】
0006767572.tif 000010
【図８Ｃ】
0006767572.tif 000011
【図９Ａ】
0006767572.tif 000012
【図９Ｂ】
0006767572.tif 000013
【図９Ｃ】
0006767572.tif 000014
【図１０Ａ】
0006767572.tif 000015
【図１０Ｂ】
0006767572.tif 000016
【図１０Ｃ】
0006767572.tif 000017
【図１１】
0006767572.tif 000018
【図１２Ａ】
0006767572.tif 000019
【図１２Ｂ】
0006767572.tif 000020
【図１３Ａ】
0006767572.tif 000021
【図１３Ｂ】
0006767572.tif 000022
【図１４Ａ】
0006767572.tif 000023
【図１４Ｂ】
0006767572.tif 000024
【図１４Ｃ】
0006767572.tif 000025
【図１４Ｄ】
0006767572.tif 000026
【図１４Ｅ】
0006767572.tif 000027
【図１４Ｆ】
0006767572.tif 000028
【図１５Ａ】
0006767572.tif 000029
【図１５Ｂ】
0006767572.tif 000030
【図１５Ｃ】
0006767572.tif 000031
【図１５Ｄ】
0006767572.tif 000032
【図１６】
0006767572.tif 000033