(57)【要約】【解決手段】第１ヘッドマウントディスプレイ（ＨＭＤ）に仮想環境の第１ビューを提供する。第１ビューは、仮想環境内の第１位置から定義され、仮想環境内の仮想オブジェクトに向かう第１ビュー方向をもつ第１仮想キャラクタに関連する。第１ビューを提供すると同時に、第２ＨＭＤに仮想環境の第２ビューを提供する。第２のビューは、仮想環境内の第１位置から定義され、仮想環境内の第２仮想キャラクタに関連する。第２ビューを提供することは、第２ビュー内に第１仮想キャラクタをレンダリングする。第２ビュー内に第１仮想キャラクタをレンダリングすることは、仮想環境内の第２位置をもつものとして第１仮想キャラクタを提示する。第２ビュー内に第１仮想キャラクタをレンダリングすることは、第２ビュー内に示されるときに仮想オブジェクトに向かうように第１ビュー方向に対して調整される第２ビュー方向をもつものとして第１仮想キャラクタを提示する。【選択図】図５
2019526104.tif 000002
【特許請求の範囲】
【請求項１】
方法であって、
第１のヘッドマウントディスプレイ（ＨＭＤ）に仮想環境の第１のビューを提供することであって、前記第１のビューは、前記仮想環境内の第１の位置から定義されており、かつ前記仮想環境内の仮想オブジェクトに向かう第１のビュー方向を有する第１の仮想キャラクタに関連している、前記第１のビューを提供することと、
前記第１のビューを提供することと同時に、第２のＨＭＤに前記仮想環境の第２のビューを提供することであって、前記第２のビューは、前記仮想環境内の前記第１の位置から定義されており、かつ前記仮想環境内の第２の仮想キャラクタに関連している、前記第２のビューを提供することとを含み、
前記第２のビューを提供することは、前記第２のビュー内に前記第１の仮想キャラクタをレンダリングすることを含み、前記第２のビュー内に前記第１の仮想キャラクタをレンダリングすることは、前記仮想環境内の第２の位置を有するものとして前記第１の仮想キャラクタを提示するように構成されており、前記第２のビュー内に前記第１の仮想キャラクタをレンダリングすることは、前記第２のビュー内に示されるときに前記仮想オブジェクトに向かうように前記第１のビュー方向に対して調整される第２のビュー方向を有するものとして前記第１の仮想キャラクタを提示するように更に構成されている、方法。
【請求項２】
前記第２のビュー方向は、前記仮想オブジェクトの方を向くように前記第１の仮想キャラクタの頭部及び／または体を回すことによって前記第１のビュー方向に対して調整される、請求項１に記載の方法。
【請求項３】
前記仮想環境の前記第１のビューを前記第１のＨＭＤに提供することは、前記第１のＨＭＤが配されている第１のインタラクティブ環境内の前記第１のＨＭＤの方向を識別するデータを処理することを含み、
前記第１のビュー方向は、前記第１のインタラクティブ環境内の前記第１のＨＭＤの前記方向によって実質的に決定される、請求項１に記載の方法。
【請求項４】
前記仮想環境の前記第２のビューを前記第２のＨＭＤに提供することは、前記第２のＨＭＤが配されている第２のインタラクティブ環境内の前記第２のＨＭＤの方向を識別するデータを処理することを含む、請求項３に記載の方法。
【請求項５】
前記第１のビュー方向が指している前記仮想オブジェクトは、前記仮想環境内の前記第１の位置からの前記第１のビュー方向の推定に基づいて識別される、請求項１に記載の方法。
【請求項６】
前記第２のビュー方向は、前記仮想環境内の前記第１の位置、前記第２の位置及び前記仮想オブジェクトの相対的位置付けに基づいて決定される、請求項１に記載の方法。
【請求項７】
前記仮想環境は、ビデオゲームのゲームプレイに対して定義されており、前記第１のビュー及び第２のビューは、前記ビデオゲームの前記ゲームプレイの観賞者ビューである、請求項１に記載の方法。
【請求項８】
方法であって、
ネットワークを介して、複数のヘッドマウントディスプレイ（ＨＭＤ）を使用して仮想環境を鑑賞するための要求を受信することと、
各ＨＭＤを複数のビューインググループのうちの１つに割り当てることであって、各ビューインググループは、前記ビューインググループに割り当てられているＨＭＤに関連したアバターの空間的配列を定義している、前記割り当てることと、
各ＨＭＤについて、前記ネットワークを介して、前記ＨＭＤ上にレンダリングするための前記仮想環境のビューを提供することであって、前記ＨＭＤが割り当てられている前記ビューインググループを前記仮想環境内の指定されたビュー位置に配置することと、前記ビューインググループの前記空間的配列によって定義されているように前記ＨＭＤの関連アバターの視点からの前記ビューを提供することとを含む、前記仮想環境のビューを提供することとを含み、
前記仮想環境内の前記指定されたビュー位置は各ビューインググループについて同一である、方法。
【請求項９】
所与のビューインググループによって定義された前記空間的配列は、前記仮想環境内の互いの固定された空間的関係を有するアバター配置位置の群を含む、請求項８に記載の方法。
【請求項１０】
前記ビューを所与のＨＭＤに提供するとき、前記所与のＨＭＤが割り当てられている前記ビューインググループを、他のビューインググループを除いて前記指定されたビュー位置内に配置する、請求項８に記載の方法。
【請求項１１】
前記ビューを前記所与のＨＭＤに提供するとき、前記他のビューインググループのうちの少なくとも一部は、前記所与のＨＭＤが割り当てられている前記ビューインググループに隣接する、及び／または前記ビューインググループを囲むように前記仮想環境内の他のビュー位置に配置される、請求項１０に記載の方法。
【請求項１２】
前記ＨＭＤを割り当てることは、前記ＨＭＤに関連したユーザアカウントのソーシャルグラフに基づいている、請求項８に記載の方法。
【請求項１３】
前記仮想環境を鑑賞するための前記要求は、複数のＨＭＤ接続コンピュータから前記ネットワークを介して受信される、請求項８に記載の方法。
【請求項１４】
方法であって、
ネットワークを介して、複数のヘッドマウントディスプレイ（ＨＭＤ）を使用して仮想環境を鑑賞するための要求を受信することと、
各ＨＭＤについて、前記ＨＭＤに関連するアバターを観賞者アレイ内の位置に割り当てることであって、前記観賞者アレイは、前記仮想環境内にレンダリングされるときの互いに対する前記アバターの配列を定義している、前記割り当てることと、
各ＨＭＤについて、前記ネットワークを介して、前記ＨＭＤ上にレンダリングするための前記仮想環境のビューを提供することであって、前記ＨＭＤの関連アバターが前記仮想環境内の第１のビューイング位置に位置付けられるように、前記ＨＭＤの関連アバターを含む前記観賞者アレイの一部を前記仮想環境内に位置付けることを含む、前記仮想環境のビューを提供することとを含み、
前記仮想環境内の前記第１のビューイング位置は各ＨＭＤについて同一である、方法。
【請求項１５】
前記ＨＭＤの関連アバターが前記第１のビューイング位置に位置するように、前記ＨＭＤの関連アバターを含む前記観賞者アレイの前記一部を位置付けることは、前記仮想環境内の前記第１のビューイング位置を囲む第２のビューイング位置に、前記観賞者アレイの前記一部内に含まれる他のアバターを位置付けることを更に含み、前記第２のビューイング位置に前記他のアバターを前記位置付けることは、前記観賞者アレイによって定義されているように前記ＨＭＤの関連アバターと前記他のアバターとの互いに対する前記配列を維持するように構成されている、請求項１４に記載の方法。
【請求項１６】
互いに対する前記アバターの前記配列は、互いに対する前記アバターの固定された空間的位置付けを識別する、請求項１５に記載の方法。
【請求項１７】
前記ビューを所与のＨＭＤに提供するとき、前記ＨＭＤの関連アバターを、他のアバターを除いて前記第１のビューイング位置に位置付ける、請求項１４に記載の方法。
【請求項１８】
前記ＨＭＤを割り当てることは、前記ＨＭＤに関連したユーザアカウントのソーシャルグラフに基づいている、請求項１４に記載の方法。
【請求項１９】
前記仮想環境を鑑賞するための前記要求は、複数のＨＭＤ接続コンピュータから前記ネットワークを介して受信される、請求項１４に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ヘッドマウントディスプレイ（ｈｅａｄ  ｍｏｕｎｔｅｄ  ｄｉｓｐｌａｙ：ＨＭＤ）内に提示される仮想現実（ｖｉｒｔｕａｌ  ｒｅａｌｉｔｙ：ＶＲ）環境コンテンツ、ならびに共通のビューイング位置から観賞しているＨＭＤ鑑賞者を管理すると共に所与の鑑賞者のビュー内に他の鑑賞者をレンダリングすることも可能にするための方法及びシステムに関する。
【背景技術】
【０００２】
ビデオゲーム産業には、長年にわたって多くの変化が見られる。計算能力が拡大するにつれて、ビデオゲームの開発者は、同じように、計算能力のこれらの向上を利用するゲームソフトウェアを製作してきた。この目的で、ビデオゲーム開発者は、高度な演算及び数学を組み込んで非常に詳細で魅力のあるゲーミング体験を生じさせるゲームをコーディングしてきた。
【０００３】
例示的なゲーミングプラットフォームとしては、Ｓｏｎｙプレイステーション（登録商標）、Ｓｏｎｙプレイステーション２（登録商標）（ＰＳ２）、Ｓｏｎｙプレイステーション３（登録商標）（ＰＳ３）及びＳｏｎｙプレイステーション４（登録商標）（ＰＳ４）が挙げられる。これらのそれぞれは、ゲームコンソールの形態で販売されている。周知のように、ゲームコンソールは、ディスプレイ（通常はテレビ受像機）に接続され、ハンドヘルドコントローラを通してユーザインタラクションを可能にするように設計されている。ゲームコンソールは、ＣＰＵ、処理集約型グラフィックス演算用のグラフィックスシンセサイザ、形状変形を実行するためのベクトルユニット、ならびに他のグルーハードウェア、ファームウェア及びソフトウェアを含む専用処理ハードウェアを用いて設計されている。ゲームコンソールは、ゲームコンソールを通したローカルプレイのためのゲームディスクを受けるための光学ディスクリーダを用いて更に設計されてもよい。オンラインゲーミングも可能である。その場合、ユーザは、インターネット上の他のユーザを相手に、またはそのユーザと共にインタラクティブにプレイすることができる。ゲームの複雑さがプレイヤーの関心を引き続けるため、ゲーム及びハードウェアメーカーは、更なるインタラクティビティ及びコンピュータプログラムを可能にするようにイノベーションを続けてきた。
【０００４】
コンピュータゲーミング産業において高まりつつある傾向は、ユーザとゲーミングシステムとの間のインタラクションを向上させるゲームを開発することである。より豊かなインタラクティブ体験を達成する１つの方法は、無線ゲームコントローラを使用し、その動きをゲーミングシステムによって追跡することにより、プレイヤーの動きを追跡し、ゲームのための入力としてこれらの動きを使用することである。一般的に言えば、ジェスチャ入力は、コンピューティングシステム、ビデオゲームコンソール、スマート家電などの電子デバイスを、プレイヤーによってなされ、当該電子デバイスによって取得される何らかのジェスチャに対して反応させることを指す。
【０００５】
より没入的なインタラクティブ体験を達成する別の方法は、ヘッドマウントディスプレイを使用することである。ヘッドマウントディスプレイは、ユーザによって着用され、仮想空間のビューなどの様々なグラフィックスを提示するように構成することができる。ヘッドマウントディスプレイ上に提示されるグラフィックスは、ユーザの視野の大部分を、または全てをもカバーすることができる。従って、ヘッドマウントディスプレイは、視覚的に没入する体験をユーザに提供することができる。
【０００６】
本開示の実施形態が生じるのは、この背景においてである。
【発明の概要】
【０００７】
本開示の実施態様は、仮想現実環境を鑑賞するための好ましいビューイング位置を各観賞者に提供しつつ、複数の観賞者が仮想現実環境を鑑賞することを可能にするために使用される方法及びシステムを含む。
【０００８】
いくつかの実施態様において、第１のヘッドマウントディスプレイ（ＨＭＤ）に仮想環境の第１のビューを提供することであって、第１のビューは、仮想環境内の第１の位置から定義されており、かつ仮想環境内の仮想オブジェクトに向かう第１のビュー方向を有する第１の仮想キャラクタに関連している、第１のビューを提供することと；第１のビューを提供することと同時に、第２のＨＭＤに仮想環境の第２のビューを提供することであって、第２のビューは、仮想環境内の第１の位置から定義されており、かつ仮想環境内の第２の仮想キャラクタに関連している、第２のビューを提供することと；を含み、第２のビューを提供することは、第２のビュー内に第１の仮想キャラクタをレンダリングすることを含み、第２のビュー内に第１の仮想キャラクタをレンダリングすることは、仮想環境内の第２の位置を有するものとして第１の仮想キャラクタを提示するように構成されており、第２のビュー内に第１の仮想キャラクタをレンダリングすることは、第２のビュー内に示されるときに仮想オブジェクトに向かうように第１のビュー方向に対して調整される第２のビュー方向を有するものとして第１の仮想キャラクタを提示するように更に構成されている；方法が提供される。
【０００９】
いくつかの実施態様において、第２のビュー方向は、仮想オブジェクトの方を向くように第１の仮想キャラクタの頭部及び／または体を回すことによって第１のビュー方向に対して調整される。
【００１０】
いくつかの実施態様において、仮想環境の第１のビューを第１のＨＭＤに提供することは、第１のＨＭＤが配されている第１のインタラクティブ環境内の第１のＨＭＤの方向を識別するデータを処理することを含み、第１のビュー方向は、第１のインタラクティブ環境内の第１のＨＭＤの方向によって実質的に決定される。
【００１１】
いくつかの実施態様において、仮想環境の第２のビューを第２のＨＭＤに提供することは、第２のＨＭＤが配されている第２のインタラクティブ環境内の第２のＨＭＤの方向を識別するデータを処理することを含む。
【００１２】
いくつかの実施態様において、第１のビュー方向が指している仮想オブジェクトは、仮想環境内の第１の位置からの第１のビュー方向の推定に基づいて識別される。
【００１３】
【００１４】
６． 第２のビュー方向は、仮想環境内の第１の位置、第２の位置及び仮想オブジェクトの相対的位置付けに基づいて決定される、請求項１に記載の方法。
【００１５】
いくつかの実施形態において、仮想環境は、ビデオゲームのゲームプレイに対して定義されており、第１のビュー及び第２のビューは、ビデオゲームのゲームプレイの観賞者ビューである。
【００１６】
いくつかの実施態様において、ネットワークを介して、複数のヘッドマウントディスプレイ（ＨＭＤ）を使用して仮想環境を鑑賞するための要求を受信することと；各ＨＭＤを複数のビューインググループのうちの１つに割り当てることであって、各ビューインググループは、ビューインググループに割り当てられているＨＭＤに関連したアバターの空間的配列を定義している、割り当てることと；各ＨＭＤについて、ネットワークを介して、ＨＭＤ上にレンダリングするための仮想環境のビューを提供することであって、ＨＭＤが割り当てられているビューインググループを仮想環境内の指定されたビュー位置に配置することと、ビューインググループの空間的配列によって定義されているようにＨＭＤの関連アバターの視点からのビューを提供することとを含む、仮想環境のビューを提供することと；を含み、仮想環境内の指定されたビュー位置は各ビューインググループについて同一である、方法が提供される。
【００１７】
いくつかの実施態様において、所与のビューインググループによって定義された空間的配列は、仮想環境内の互いの固定された空間的関係を有するアバター配置位置の群を含む。
【００１８】
いくつかの実施態様において、ビューを所与のＨＭＤに提供するとき、所与のＨＭＤが割り当てられているビューインググループを、他のビューインググループを除いて指定されたビュー位置内に配置する。
【００１９】
いくつかの実施態様において、ビューを所与のＨＭＤに提供するとき、他のビューインググループのうちの少なくとも一部は、所与のＨＭＤが割り当てられているビューインググループに隣接する、及び／またはビューインググループを囲むように仮想環境の他のビュー位置内に配置される。
【００２０】
いくつかの実施態様において、ＨＭＤを割り当てることは、ＨＭＤに関連したユーザアカウントのソーシャルグラフに基づいている。
【００２１】
いくつかの実施態様において、仮想環境を鑑賞するための要求は、複数のＨＭＤ接続コンピュータからネットワークを介して受信される。
【００２２】
いくつかの実施態様において、ネットワークを介して、複数のヘッドマウントディスプレイ（ＨＭＤ）を使用して仮想環境を鑑賞するための要求を受信することと；各ＨＭＤについて、ＨＭＤに関連するアバターを観賞者アレイ内の位置に割り当てることであって、観賞者アレイは、仮想環境内にレンダリングされるときの互いに対するアバターの配列を定義している、割り当てることと；各ＨＭＤについて、ネットワークを介して、ＨＭＤ上にレンダリングするための仮想環境のビューを提供することであって、ＨＭＤの関連アバターが仮想環境内の第１のビューイング位置に位置付けられるように、ＨＭＤの関連アバターを含む観賞者アレイの一部を仮想環境内に位置付けることを含む、仮想環境のビューを提供することと；を含み、仮想環境内の第１のビューイング位置は各ＨＭＤについて同一である、方法が提供される。
【００２３】
いくつかの実施態様において、ＨＭＤの関連アバターが第１のビューイング位置に位置するように、ＨＭＤの関連アバターを含む観賞者アレイの一部を位置付けることは、仮想環境内の第１のビューイング位置を囲む第２のビューイング位置に、観賞者アレイの一部内に含まれる他のアバターを位置付けることを更に含み、第２のビューイング位置に他のアバターを位置付けることは、観賞者アレイによって定義されているようにＨＭＤの関連アバターと他のアバターとの互いに対する配列を維持するように構成されている。
【００２４】
いくつかの実施態様において、互いに対するアバターの配列は、互いに対するアバターの固定された空間的位置付けを識別する。
【００２５】
いくつかの実施態様において、ビューを所与のＨＭＤに提供するとき、ＨＭＤの関連アバターを、他のアバターを除いて第１のビューイング位置に位置付ける。
【００２６】
いくつかの実施態様において、ＨＭＤを割り当てることは、ＨＭＤに関連したユーザアカウントのソーシャルグラフに基づいている。
【００２７】
いくつかの実施態様において、仮想環境を鑑賞するための要求は、複数のＨＭＤ接続コンピュータからネットワークを介して受信される。
【００２８】
本開示の他の態様及び利点は、本開示の原理を一例として示す添付の図面と併せて、以下の詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【００２９】
本開示は、添付図面と併せて以下の詳細な説明を参照することによってより良く理解することができる。
【００３０】
【図１】本開示の実施形態に従う、ビデオゲームのインタラクティブなゲームプレイのためのシステムを示す図である。
【００３１】
【図２Ａ−１】本開示の実施形態に従う、ヘッドマウントディスプレイ（ＨＭＤ）を示す図である。
【図２Ａ−２】本開示の実施形態に従う、ヘッドマウントディスプレイ（ＨＭＤ）を示す図である。
【００３２】
【図２Ｂ】一実施形態に従う、第２のスクリーンと呼ばれる第２のスクリーンディスプレイにコンテンツを提供するクライアントシステムとインタフェースしているＨＭＤユーザの一例を示す図である。
【００３３】
【図３】本開示の実施形態に従う、実行中のビデオゲームに関連するＨＭＤの機能を概念的に示す図である。
【００３４】
【図４】仮想現実環境を案内しているＨＭＤプレイヤー及び仮想現実コンテンツを見ている１人以上の鑑賞者の例を示す図である。
【００３５】
【図５】本開示の実施態様に従う、鑑賞者のための位置を備えた仮想環境を示す図である。
【００３６】
【図６】本開示の実施態様に従う、ＶＲ環境のビューイングエリア／領域内の鑑賞者の配置を示す図である。
【００３７】
【図７Ａ−７Ｂ】図７Ａ及び７Ｂは、本開示の実施態様に従う、観賞者の知覚された関心対象のオブジェクトに対するＶＲ環境内の観賞者アバターの制御に基づく当該アバターの調整を示す図である。
【００３８】
【図８Ａ−８Ｃ】図８Ａ、８Ｂ及び８Ｃは、本開示の実施態様に従う、３人の異なる鑑賞者の視点から見たときのＶＲ環境内のＶＲシーンを示す図である。
【００３９】
【図９】本開示の実施態様に従う、様々なビューインググループに整理された複数の鑑賞者を概念的に示す図である。
【００４０】
【図１０Ａ】本開示の実施態様に従う、追加のビューインググループ１００２ａ〜ｈによって囲まれたＶＲ環境内のビューインググループ１０００を示す図である。
【００４１】
【図１０Ｂ】本開示の実施態様に従う、様々なサイズの追加のビューインググループによって囲まれたＶＲ環境内のビューインググループ１０００を示す図である。
【００４２】
【図１１】本開示の実施態様に従う、鑑賞者のアレイ１１００を示す図である。
【００４３】
【図１２】本開示の実施形態に従う、ヘッドマウントディスプレイの構成要素を示す図である。
【００４４】
【図１３】本開示の様々な実施形態に従う、ゲームシステム１４００のブロック図である。
【発明を実施するための形態】
【００４５】
本開示の以下の実施態様は、仮想環境（例えば、ゲーミング環境）のＨＭＤ鑑賞者に鑑賞者の体験を改善するカスタマイズされたビューを提供するための方法、システム、コンピュータ可読媒体及びクラウドシステムを提供する。より具体的には、本開示の実施態様に従って、鑑賞者は、同一の、または実質的に同一のビューイング位置から仮想環境を見ているにも関わらず、友人などの他の鑑賞者を仮想環境内の自分の付近にレンダリングすることを提供されることも可能である。ビューイング位置は、好ましい、または最適なビューイング位置であり得る所定のビューイング位置とすることができる。従って、各鑑賞者は、仮想環境内の実質的に同一の地点を体験すると共に、他の鑑賞者によって自分が囲まれている感覚を提供されることも可能であり、更にこのとき、他の鑑賞者のそれぞれにも、仮想環境内の同一の地点、及び他の鑑賞者によって囲まれている感覚が提供される。仮想現実環境内の所定のビューイング位置は、仮想環境内の関心のあるコンテンツを見る、またはそれに注目するために鑑賞者の注意を引くことができる。この仮想環境は、例えば、ＨＭＤプレイヤーによって案内されるとき、ビデオゲームの仮想現実シーンであってもよい。ゲーム、コンテンツ、マルチメディア、または（例えば、ＨＭＤ）プレイヤーによって案内されている一般的なコンテンツの異なるエリアに予め定義され得る２つ以上のビューイング位置が存在してもよいことが理解されよう。
【００４６】
様々な実施態様において、方法、システム、画像取得オブジェクト、センサ及び関連インタフェースオブジェクト（例えば、グローブ、コントローラなど）は、実際の現実時間内にディスプレイスクリーン上にレンダリングされるように構成されているデータを処理するように構成されている。ディスプレイは、ヘッドマウントディスプレイ（ＨＭＤ）のディスプレイ、第２のスクリーンのディスプレイ、携帯型デバイスのディスプレイ、コンピュータディスプレイ、ディスプレイパネル、リモート接続された１人以上のユーザ（例えば、このユーザは、コンテンツを見ている、またはインタラクティブ体験を共にしている場合がある）のディスプレイなどであってもよい。
【００４７】
しかしながら、本開示は、これらの具体的な詳細事項の一部または全てを用いずに実施され得ることが当業者にとって明らかであろう。他の例では、本開示を必要以上に不明瞭にしないために、周知の処理動作を詳細には説明していない。
【００４８】
図１は、本開示の実施形態に従う、ビデオゲームのインタラクティブなゲームプレイのためのシステムを示す図である。ヘッドマウントディスプレイ（ＨＭＤ）１０２を着用しているユーザ１００が示されている。ＨＭＤ１０２は、眼鏡、ゴーグルまたはヘルメットと同様の方法で着用され、ビデオゲームまたは他のコンテンツをユーザ１００に表示するように構成されている。ＨＭＤ１０２は、ユーザの目に近接したディスプレイ機構の提供により、非常に没入的な体験をユーザに提供する。従って、ＨＭＤ１０２は、ユーザの視野の大部分または全体をも占有するディスプレイ領域をユーザの目のそれぞれに提供することができる。
【００４９】
一実施形態において、ＨＭＤ１０２は、コンピュータ１０６に接続することができる。コンピュータ１０６への接続は、有線または無線とすることができる。コンピュータ１０６は、当技術分野において知られた任意の汎用または専用コンピュータとすることができる。このようなコンピュータとしては、ゲーミングコンソール、パーソナルコンピュータ、ラップトップ、タブレットコンピュータ、モバイルデバイス、携帯電話、タブレット、シンクライアント、セットトップボックス、メディアストリーミングデバイスなどが挙げられるが、これらに限定されることはない。一実施形態において、コンピュータ１０６は、ビデオゲームを実行し、ＨＭＤ１０２によってレンダリングするために当該ビデオゲームからビデオ及びオーディオを出力するように構成することができる。
【００５０】
ユーザ１００はグローブインタフェースオブジェクト１０４ａを操作して入力をビデオゲームに提供してもよい。加えて、カメラ１０８は、ユーザ１００が位置するインタラクティブ環境の画像を取得するように構成することができる。これらの取得画像を分析して、ユーザ１００、ＨＭＤ１０２及びグローブインタフェースオブジェクト１０４ａの位置及び動きを決定することができる。一実施形態において、グローブインタフェースオブジェクト１０４ａは、その位置及び方向を決定するために追跡することができるライトを含む。
【００５１】
後述するように、ＨＭＤ１０２内に表示された仮想現実シーンに対してユーザがインタフェースする方法は変えることができ、グローブインタフェースオブジェクト１０４ａに加えて他のインタフェースデバイスを使用することができる。例えば、両手用コントローラに加えて、片手用コントローラも使用することができる。いくつかの実施形態において、コントローラは、コントローラに関連した光を追跡することによって、またはコントローラと関連した形状、センサ及び慣性データを追跡することによってそれ自体を追跡することができる。これらの様々な種類のコントローラを、または１つ以上のカメラによってなされ、取得される単純な手のジェスチャをも使用して、ＨＭＤ１０２上に提示される仮想現実環境をインタフェースし、制御し、操縦し、それと対話し、それに参加することが可能である。
【００５２】
加えて、ＨＭＤ１０２は、ＨＭＤ１０２の位置及び方向を決定するために追跡可能な１つ以上のライトを含んでもよい。カメラ１０８は、インタラクティブ環境から音を取得するために１つ以上のマイクロホンを含むことができる。マイクロホンアレイによって取得された音を処理して音源の位置を識別してもよい。識別された位置からの音は、識別された位置からではない他の音を除いて選択的に利用または処理することができる。更に、カメラ１０８は、複数の画像取得デバイス（例えば、立体視ペアのカメラ）、ＩＲカメラ、デプスカメラ、及びこれらの組み合わせを含むように定めることができる。
【００５３】
別の実施形態において、コンピュータ１０６は、クラウドゲーミングプロバイダ１１２とネットワークを介して通信するシンクライアントとして機能する。クラウドゲーミングプロバイダ１１２は、ユーザ１０２によってプレイされているビデオゲームを保守し、実行する。コンピュータ１０６は、ＨＭＤ１０２、グローブインタフェースオブジェクト１０４ａ及びカメラ１０８からの入力をクラウドゲーミングプロバイダに送信し、クラウドゲーミングプロバイダは、実行中のビデオゲームのゲーム状態に影響を与えるためにその入力を処理する。ビデオデータ、オーディオデータ及び触覚フィードバックデータなどの、実行中のビデオゲームからの出力は、コンピュータ１０６に送信される。コンピュータ１０６は、送信の前にデータを更に処理してもよく、または関連デバイスにデータを直接送信してもよい。例えば、ビデオ及びオーディオストリームはＨＭＤ１０２に提供されるのに対し、振動フィードバックコマンドはグローブインタフェースオブジェクト１０４ａに提供される。
【００５４】
一実施形態において、ＨＭＤ１０２、グローブインタフェースオブジェクト１０４ａ及びカメラ１０８は、それら自体が、クラウドゲーミングプロバイダ１１２と通信するためにネットワーク１１０に繋がるネットワーク化デバイスであってもよい。例えば、コンピュータ１０６は、普通はビデオゲーム処理を実行しないが、ネットワークトラフィックの通過を容易にする、ルーターなどのローカルネットワークデバイスであってもよい。ＨＭＤ１０２、グローブインタフェースオブジェクト１０４ａ及びカメラ１０８によるネットワークへの接続は、有線であってもよく、または無線であってもよい。
【００５５】
加えて、本開示における実施形態はヘッドマウントディスプレイに関して記載され得るが、他の実施形態では、非ヘッドマウントディスプレイに替えてもよいことが理解されよう。このような非ヘッドマウントディスプレイとしては、テレビ受像機、プロジェクタ、ＬＣＤディスプレイスクリーン、携帯型デバイススクリーン（例えば、タブレット、スマートフォン、ラップトップなど）、または本実施形態に従ってビデオをレンダリングする、及び／または、インタラクティブシーンまたは仮想環境の表示を提供するように構成可能な任意の他の種類のディスプレイが挙げられるが、これらに限定されることはない。
【００５６】
図２Ａ−１及び２Ａ−２は、本開示の実施形態に従う、ヘッドマウントディスプレイ（ＨＭＤ）を示す図である。図２Ａ−１は、特に、プレイステーション（登録商標）ＶＲヘッドセットを示す図であり、このヘッドセットは、本開示の実施態様に従うＨＭＤの一例である。図に示すように、ＨＭＤ１０２は、複数のライト２００Ａ〜Ｈを含む。これらのライトのそれぞれは、特定の形状を有するように構成されてもよく、同一の、または異なる色を有するように構成することができる。ライト２００Ａ、２００Ｂ、２００Ｃ及び２００Ｄは、ＨＭＤ１０２の前面に配列されている。ライト２００Ｅ及び２００Ｆは、ＨＭＤ１０２の側面に配列されている。更に、ライト２００Ｇ及び２００Ｈは、ＨＭＤ１０２の前面及び側面に及ぶようにＨＭＤ１０２の角に配列されている。ライトは、ユーザがＨＭＤ１０２を使用するインタラクティブ環境の取得画像内で識別可能であることが理解されよう。ライトの識別及び追跡に基づき、インタラクティブ環境内のＨＭＤ１０２の位置及び方向を決定することができる。ライトの一部は、画像取得デバイスに対するＨＭＤ１０２の特定の方向に応じて見える、または見えない場合があることが更に理解されよう。また、ライトの異なる部分（例えば、ライト２００Ｇ及び２００Ｈ）は、画像取得デバイスに対するＨＭＤ１０２の方向に応じた画像取得のために露出され得る。
【００５７】
一実施形態において、ライトは、ＨＭＤの現在のステータスを付近の他者に示すように構成することができる。例えば、ライトの一部または全ては、あるカラー配列、すなわち輝度配列を有するように構成されてもよく、点滅するように構成されてもよく、あるオン／オフ構成を有してもよく、またはＨＭＤ１０２の現在のステータスを示す他の配列を有してもよい。一例として、ライトは、ビデオゲームのアクティブなゲームプレイ（一般に、アクティブなタイムライン中に、またはゲームのシーン内で行われるゲームプレイ）中、メニューインタフェースの案内またはゲーム設定の構成などの、ビデオゲームの他の非アクティブなゲームプレイ態様（その間、ゲームのタイムラインまたはシーンは非アクティブになり得る、または停止され得る）に対して異なる構成を表示するように構成することができる。ライトはまた、ゲームプレイの相対輝度レベルを示すように構成されてもよい。例えば、ゲームプレイの激しさが増すとき、ライトの輝度、または点滅速度を上げてもよい。このように、ユーザの外部の人は、ＨＭＤ１０２上のライトを見てもよく、ユーザが激しいゲームプレイにアクティブに関わっており、その瞬間に邪魔されるのを望まない場合があることを理解し得る。
【００５８】
ＨＭＤ１０２は、１つ以上のマイクロホンを追加的に含んでもよい。例示された態様において、ＨＭＤ１０２は、ＨＭＤ１０２の前面に定められたマイクロホン２０４Ａ及び２０４Ｂ、ならびにＨＭＤ１０２の側面に定められたマイクロホン２０４Ｃを含む。マイクロホンのアレイを利用することにより、マイクロホンのそれぞれからの音を処理して、その音の源の位置を決定することができる。この情報は、不必要な音源の除外、音源と視覚的識別との関連付けなどを含む、様々な方法で利用することができる。
【００５９】
ＨＭＤ１０２はまた、１つ以上の画像取得デバイスを含んでもよい。例示された実施形態において、ＨＭＤ１０２は、画像取得デバイス２０２Ａ及び２０２Ｂを含むように示されている。立体視ペアの画像取得デバイスを利用することにより、環境の３次元（ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ：３Ｄ）画像及びビデオをＨＭＤ１０２の視点から取得することができる。このようなビデオをユーザに提示して、ＨＭＤ１０２を着用しながらユーザに「ビデオシースルー」能力を提供することができる。すなわち、ユーザは、厳密な感覚でＨＭＤ１０２を通して見ることはできないが、画像取得デバイス２０２Ａ及び２０２Ｂ（例えば、以下の図３に示すような、ＨＭＤ１０２の外側本体に配された１つ以上の前向きのカメラ１０８’）によって取得されたビデオは、それにもかかわらず、あたかもＨＭＤ１０２を通して眺めているかのようにＨＭＤ１０２の外部の環境を見ることを可能にすることの機能的等価性を提供することができる。このようなビデオは、仮想要素によって拡張されて拡張現実体験を提供することができ、または、他の方法で仮想要素と組み合わされ、もしくは混合されてもよい。例示された実施形態では、ＨＭＤ１０２の前面に２つのカメラが示されているが、ＨＭＤ１０２に搭載された、任意の向きに方向付けられた任意の数の外向きのカメラが存在してもよいことが理解されよう。例えば、別の実施形態において、環境の追加的なパノラマ画像の取得を提供するためにＨＭＤ１０２の側面に載置されたカメラが存在してもよい。
【００６０】
図２Ｂは、クライアントシステム１０６とインタフェースしているＨＭＤ１０２のユーザ１００の一例を示す図であり、クライアントシステム１０６は、第２のスクリーン１０７と呼ばれる第２のスクリーンディスプレイにコンテンツを提供する。クライアントシステム１０６は、ＨＭＤ１０２からのコンテンツの第２のスクリーン１０７との共有を処理するための集積電子回路を含んでもよい。他の実施形態は、クライアントシステムとＨＭＤ１０２のそれぞれと第２のスクリーン１０７との間をインタフェースする別個のデバイス、モジュール、コネクタを含んでもよい。この一般的な例において、ユーザ１００は、ＨＭＤ１０２を着用しており、コントローラ１０４を使用してビデオゲームをプレイしている。ユーザ１００によるインタラクティブプレイによってビデオゲームコンテンツ（ｖｉｄｅｏ  ｇａｍｅ  ｃｏｎｔｅｎｔ：ＶＧＣ）が生成され、そのコンテンツは、ＨＭＤ１０２にインタラクティブに表示される。
【００６１】
一実施形態において、ＨＭＤ１０２内に表示されているコンテンツは第２のスクリーン１０７と共有される。一例において、第２のスクリーン１０７を見ている人は、ユーザ１００によってＨＭＤ１０２内にインタラクティブにプレイされているコンテンツを見ることができる。別の実施形態において、別のユーザ（例えば、プレイヤー２）は、クライアントシステム１０６と対話して第２のスクリーンのコンテンツ（ｓｅｃｏｎｄ  ｓｃｒｅｅｎ  ｃｏｎｔｅｎｔ：ＳＳＣ）を生成することができる。コントローラ１０４（または任意の種類のユーザインタフェース、ジェスチャ、音声もしくは入力）と対話しているプレイヤーによっても生成された第２のスクリーンのコンテンツは、クライアントシステム１０６へのＳＳＣとして生成されてもよく、このコンテンツは、ＨＭＤ１０２から受信されたＶＧＣと共に第２のスクリーン１０７上に表示することができる。
【００６２】
従って、同じ場所に位置する、またはＨＭＤユーザから離れている場合がある他のユーザによるインタラクティビティは、ＨＭＤユーザと、ＨＭＤユーザによってプレイされたコンテンツを第２のスクリーン１０７上で見ている場合があるユーザとの両方に対し、ソーシャルに、インタラクティブに、かつより没入的になり得る。例示されているように、クライアントシステム１０６をインターネット１１０に接続することができる。インターネットは、様々なコンテンツソース１２０からのコンテンツへのアクセスをクライアントシステム１０６に提供することもできる。コンテンツソース１２０は、インターネットを介してアクセス可能である任意の種類のコンテンツを含むことができる。
【００６３】
このようなコンテンツとしては、限定されることはないが、ビデオコンテンツ、ムービーコンテンツ、ストリーミングコンテンツ、ソーシャルメディアコンテンツ、ニュースコンテンツ、友人のコンテンツ、広告コンテンツなどを挙げることができる。一実施形態において、クライアントシステム１０６を使用してＨＭＤユーザのためのコンテンツを同時に処理することができ、それにより、ＨＭＤには、ゲームプレイ中、インタラクティビティに関連したマルチメディアコンテンツが提供される。クライアントシステム１０６は、次いで、他のコンテンツを提供することもできる。このコンテンツは、第２のスクリーンへのビデオゲームコンテンツとは無関係であってもよい。クライアントシステム１０６は、一実施形態において、コンテンツソース１２０のうちの１つから、またはローカルユーザもしくはリモートユーザから第２のスクリーンのコンテンツを受信することができる。
【００６４】
図３は、本開示の実施形態に従う、実行中のビデオゲームに関連するＨＭＤ１０２の機能を概念的に示す図である。実行中のビデオゲームは、入力を受信してビデオゲームのゲーム状態を更新するゲームエンジン３２０によって定義される。ビデオゲームのゲーム状態は、オブジェクトの存在及び位置、仮想環境の条件、イベントのトリガリング、ユーザプロファイル、ビュー視点などの、現在のゲームプレイの様々な態様を定義する、ビデオゲームの様々なパラメータの値により、少なくとも部分的に定義することができる。
【００６５】
例示された実施形態において、ゲームエンジンは、一例として、コントローラ入力３１４、オーディオ入力３１６及びモーション入力３１８を受信する。コントローラ入力３１４は、ハンドヘルドゲーミングコントローラ（例えば、Ｓｏｎｙデュアルショック（登録商標）４無線コントローラ、Ｓｏｎｙプレイステーション（登録商標）ムービーモーションコントローラ）またはグローブインタフェースオブジェクト１０４ａなどの、ＨＭＤ１０２とは別のゲーミングコントローラの操作から定義されてもよい。一例として、コントローラ入力３１４は、ゲーミングコントローラの操作から処理された方向入力、ボタン押下、トリガ起動、動き、ジェスチャまたは他の種類の入力を含んでもよい。オーディオ入力３１６は、ＨＭＤ１０２のマイクロホン３０２から、または画像取得デバイス１０８内に、もしくはローカルシステム環境内の他の箇所に含まれるマイクロホンから処理することができる。モーション入力３１８は、ＨＭＤ１０２内に含まれるモーションセンサ３００から、または画像取得デバイス１０８がＨＭＤ１０２の画像を取得するときにその画像取得デバイスから処理することができる。ゲームエンジン３２０は、ビデオゲームのゲーム状態を更新するためにゲームエンジンの構成に従って処理される入力を受信する。ゲームエンジン３２０は、様々なレンダリングモジュールにゲーム状態データを出力し、レンダリングモジュールは、そのゲーム状態データを処理してユーザに提示されるコンテンツを定義する。
【００６６】
例示された実施形態において、ビデオレンダリングモジュール３２２は、ＨＭＤ１０２上に提示するためのビデオストリームをレンダリングするように定義されている。ビデオストリームは、ディスプレイ／プロジェクタ機構３１０によって提示され、光学系３０８を通してユーザの目３０６によって見ることができる。オーディオレンダリングモジュール３０４は、ユーザが聴くためのオーディオストリームをレンダリングするように構成されている。一実施形態において、オーディオストリームは、ＨＭＤ１０２に関連したスピーカ３０４を通して出力される。スピーカ３０４は、オーディオを提示することが可能であるオープンエアスピーカ、ヘッドホンまたは任意の他の種類のスピーカの形態をとり得ることを理解すべきである。
【００６７】
一実施形態において、視線追跡カメラ３１２が、ユーザの視線の追跡を可能にするためにＨＭＤ１０２内に含まれている。視線追跡カメラは、ユーザの目の画像を取得する。これらの画像は、ユーザの視線の向きを決定するために分析される。一実施形態において、ユーザの視線の向きについての情報を利用して、ビデオレンダリングに影響を与えることができる。例えば、ユーザの目が特定の向きを眺めていると判定された場合、その向きに対するビデオレンダリングを、ユーザが眺めている領域内により詳細な、またはより高速な更新を提供することなどによって優先付けし、または強調することができる。ユーザの視線の向きは、ヘッドマウントディスプレイに対して、ユーザが位置している実環境に対して、及び／またはヘッドマウントディスプレイ上にレンダリングされている仮想環境に対して定義できるであることを理解すべきである。
【００６８】
概して、視線追跡カメラ３１２によって取得された画像の分析は、単独で検討されるとき、ＨＭＤ１０２に対するユーザの視線の向きを提供する。しかしながら、ＨＭＤ１０２の追跡された位置及び方向と組み合わせて検討されるとき、ユーザの現実世界の視線の向きは、ＨＭＤ１０２の位置及び方向がユーザの頭部の位置及び方向と同義となるように決定することができる。すなわち、ユーザの現実世界の視線の向きは、ユーザの目の位置的な動きを追跡すること、ならびにＨＭＤ１０２の位置及び方向を追跡することから決定することができる。仮想環境のビューをＨＭＤ１０２上でレンダリングするとき、ユーザの現実世界の視線の向きを適用して、仮想環境内のユーザの仮想世界の視線の向きを決定することができる。
【００６９】
加えて、触覚フィードバックモジュール３２６は、ＨＭＤ１０２、またはコントローラ１０４などのユーザによって操作される別のデバイスのいずれかに含まれる触覚フィードバックハードウェアに信号を提供するように構成されている。触覚フィードバックは、振動フィードバック、温度フィードバック、圧力フィードバックなどの様々な種類の触感の形態をとってもよい。
【００７０】
現在、ゲームプレイを共有するためのストリーミングサービスが非常に普及している。デュアルショック（登録商標）４無線コントローラは、このような共有を可能にするためにコントローラ上に直接「共有ボタン」を含む。上述したように、鑑賞する、例えば、（ＨＭＤ１０２を着用している場合がある）ユーザによって体験されているインタラクティブアクティビティを視聴する能力をユーザに提供する必要がある。例えば、１人のＨＭＤ仮想現実プレイヤーが、ＨＭＤ内に提示されたアクティビティに没入することができると共に、当該プレイヤーと同じ場所に位置している、またはリモートに位置している場合がある）他の人／鑑賞者が、そのＨＭＤプレイヤーによって体験されたインタラクティビティ、または当該プレイヤーによって見られている仮想現実シーンを視聴する際に楽しみを見つけることができる。本明細書で使用されるとき、ＨＭＤプレイヤーは、ＨＭＤ上に提示されたコンテンツを見ている人であり、またはＨＭＤ上に提示された何らかのコンテンツと対話している人とすることができ、またはＨＭＤ上に提示されたゲームをプレイしている人とすることができる。鑑賞者は、ＨＭＤを着用している場合があるため、プレイヤーと同一の仮想環境内にいる没入効果を体験し、従って鑑賞者の体験を高めることができる。
【００７１】
更に他の実施形態において、リモートプレイヤーによってプレイされている異なる種類のコンテンツまたはメディアを検索する、及び／または種々のプレイヤーから選択する能力をユーザに与えることにより、プレイヤーが自分のアクティビティを実行しながら視聴及び観賞できるようにするためのウェブサイトが提供されてもよい。リモートプレイヤーは、いくつかの実施形態において、ＨＭＤ１０２を使用してゲームをプレイしていてもよい。他の実施形態において、リモートプレイヤーは、デバイスの表示スクリーンまたはテレビ受像機の表示スクリーンを使用してゲームをプレイしていてもよく、またはコンテンツを視聴していてもよい。概して、例えば、ウェブサイト上で、リモートである別のプレイヤーのアクティビティを視聴することを望んでいるユーザは、次いで、プレイヤーによって演出されているアクティビティを見るために、特定のプレイヤーもしくはゲームの種類、またはゲームのサムネイル、またはコンテンツのサムネイルを選択することができる。従って、リモートプレイヤーによってアクティブにプレイされ得る特定のインタラクティブコンテンツをユーザが見ること及び選択することを可能にするウェブサイトを提供することができる。プレイヤーによるアクティビティを見ることを望んでいる鑑賞者は、単に、そのコンテンツをクリックし、視聴を開始することができる。プレイヤー及び鑑賞者の一方または両方が仮想環境を見るためにＨＭＤを使用していてもよいことが理解されよう。
【００７２】
ＨＭＤプレイヤーによるアクションを視聴し、見ている人は、一般に観賞者と呼ばれる。鑑賞者は、アクティビティ、インタラクティビティ、アクション、動きなどを見るためのアクセスが与えられている人であるが、ゲームアクションを必ずしも制御しているわけではない。この理由により、これらの見物者は鑑賞者と呼ばれる。ＨＭＤプレイヤーの文脈において、ＨＭＤディスプレイ内に提示されているコンテンツは、動的であり、ＨＭＤプレイヤーの動きによって制御される。例えば、ＨＭＤプレイヤーが自分の頭部を動かして回すとき、そのプレイヤーには、人の周囲の現実世界を見ることを行うのが可能な方法と同様に、見ることが可能な異なるコンテンツが提示される。
【００７３】
一例として、本明細書に記載された実施形態のいくつかは、プレイヤーによって見られている仮想現実環境内に種々のビューイング位置／スポットを提供する方法を教示する。いくつかの実施形態において、種々の仮想現実環境シーン、位置、エリア、レベル、チャプタなどを通してＨＭＤプレイヤーが移動及び横断するとき、見物中のユーザには、種々のビューイングスポットを提供することができる。これらは、見物中の鑑賞者に合わせてカスタマイズされる。例えば、様々なビューイングスポットは、種々の種類のコンテンツに対して事前にオーサリングすることができる。
【００７４】
更なる実施形態において、鑑賞者には、プレイヤーが仮想現実環境内で眺めている場所を鑑賞者に識別できるようにするために視覚的な手掛かりを提供することができる。１つの構成は、まさにプレイヤーがＶＲシーン内で眺めているものを決定するために、プレイヤーの視線の追跡を可能にすることができる。異なる視点からＶＲシーンを見ている場合がある鑑賞者に対し、特定のシーン内で注目しているものを決定することが有用となる。このように、鑑賞者は、仮想現実プレイヤーがシーン内で重要だと感じているものに集中することもできる。ファーストパーソン・シューティングゲームなどのいくつかの例において、鑑賞者は、敵または障害物を識別するために、プレイヤーが眺めている場所を知りたい場合がある。一実施形態において、（例えば、ＨＭＤを使用して）プレイヤーの視線を追跡することにより、コンテンツを強調表示する、あるオブジェクトもしくは位置のコントラストを変える、コンテンツを囲む、マーカーを追加する、エリア内でグレーアウトする、点滅ビーコンを追加する、テキストを追加する、浮遊オブジェクトを追加することなどによってプレイヤーが眺めているものを識別することが可能である。このように、鑑賞者は、そのとき、ＨＭＤプレイヤーが眺めている場所を確実に知ることができるため、鑑賞者自身も、その同じエリアを見て、より一層楽しくコンテンツを体験することができる。
【００７５】
例えば、プレイヤーは、特定のゲームをより体験している場合があり、または特定の種類のコンテンツを視聴している場合があり、ＨＭＤプレイヤーが仮想現実シーン内で眺めている場所に対するこのインジケータを提供することにより、案内、視覚的合図及び支援が鑑賞者に提供される。いくつかの実施形態において、これらの識別特徴は、混乱を排除するために、オン／オフにすることができる。識別子は、ＨＭＤプレイヤーによってアクティブ化することができ、または鑑賞者によってアクティブ化することができる。いくつかの実施形態において、複数の鑑賞者が、例えば、ＴｗｉｔｃｈプレゼンテーションにおいてＨＭＤプレイヤーによって提供された同一のコンテンツを見ている場合、鑑賞者の各々には、種々の制御を提供することができる。この制御により、視覚インジケータを提供する、または提供しない能力が各鑑賞者に提供される。ＨＭＤプレイヤーの視点からは、インジケータがＨＭＤプレイヤーのＨＭＤ内に全く示されなくてもよい。しかしながら、これらのインジケータは、ＨＭＤプレイヤーによって対話されているコンテンツを見ている場合がある鑑賞者または複数の鑑賞者にとって有用となる。
【００７６】
いくつかの実施形態において、仮想現実環境内の特定のリスニングゾーンを鑑賞者が識別することを可能にする制御を鑑賞者に提供することができる。リスニングゾーンは、仮想現実環境内で鑑賞者が聴くことを望んでいる場所を鑑賞者が選択することを可能にする。これが意味することは、鑑賞者がシーン内に実際に存在するであろう状況を模倣するオーディオ及び音響効果をその特定の位置から聴くことが鑑賞者に実質上提供されることである。一例として、建物を含むＨＭＤコンテンツを鑑賞者が通りを横切って見ている場合、そのビューイング位置に対して、鑑賞者は、その建物内の何らかの位置、例えば、人が立っている２階を識別し、その位置で聴くように選択することができる。
【００７７】
この機能は、鑑賞者にリスニングテレポーテーション（ｌｉｓｔｅｎｉｎｇ  ｔｅｌｅｐｏｒｔａｔｉｏｎ）を提供する。これにより、あたかも鑑賞者が２階の建物内に座っている、または立っているかのように鑑賞者がオーディオ及び音響効果のコンテンツを聴くことが可能になる。オーディオ及び音響効果は、一例において、実質上、建物の２階の位置に存在するであろうオーディオ音を強調し、その仮想位置からより離れている音を低減する。いくつかの実施形態において、鑑賞者は、時々、プライマリリスニングゾーンとなるように環境内の種々の位置を選択することができる。更に他の実施形態おいて、リスニングゾーンは、ＨＭＤプレイヤーの同一のリスニングゾーンとなるように調整することもできる。鑑賞者には、仮想環境内で鑑賞者が聴くことを望んでいる場所を識別するために、切り替え可能な選択能力を提供することができる。
【００７８】
また、鑑賞者がＨＭＤプレイヤーに対してローカルまたはリモートである可能性があり、図２Ｂに関して記載されているように第２のスクリーン上のＨＭＤコンテンツを見ている可能性があることに注意されたい。あるいは、鑑賞者もＨＭＤを着用している可能性がある。これにより、鑑賞者が見ているものがＨＭＤプレイヤーコンテンツ内に提供される。いくつかの実施形態において、鑑賞者は、ＨＭＤプレイヤーによるライブの、または実質的にライブのコンテンツを視聴している可能性がある。他の実施形態において、鑑賞者は、ＨＭＤプレイヤーによって見られたコンテンツの記録されたバージョンを視聴している可能性がある。また更に、ライブか記録されているかに関わらず、複数の、または更に多くの鑑賞者がＨＭＤプレイヤーの同一のコンテンツを視聴することを可能にするウェブサイトを提供することができる。
【００７９】
図４は、ＨＭＤ  ＶＲプレイヤー１００の例を示す図である。このプレイヤーは、一実施形態に従って、コンピューティングデバイス１０６を介して仮想環境４５０と対話していてもよい。従って、ＨＭＤ  ＶＲプレイヤー１００は、ＶＲ環境４５０内でインタラクティビティを進めている。それにより、ディスプレイ１０７内に示された複製ビューと同様に、ＨＭＤ１０２内に提示されたシーンが移動する。従って、鑑賞者は、鑑賞者１４０などの、ディスプレイ１０７を見ている人である可能性がある。上述したように、鑑賞者１４０は、その鑑賞者が、同じ場所に位置する空間内のＨＭＤプレイヤー１００と対話することが可能であるため、ソーシャルスクリーン鑑賞者である。他の実施形態において、または同じ場所に位置する鑑賞者１４０に加えて、ＨＭＤ鑑賞者１５０には、ＨＭＤプレイヤー１００によって案内されているコンテンツに対するアクセスを提供することもできる。ＨＭＤ鑑賞者１５０は、ＨＭＤプレイヤー１００と同じ場所に位置することができる。他の実施形態において、ＨＭＤ鑑賞者１５０は、ＨＭＤプレイヤーからリモートに位置することができ、Ｔｗｉｔｃｈ型ビューイングウェブサイトなどのウェブサイトからコンテンツを見ることができる。従って、図４に示した例は一例に過ぎず、リモート位置からＨＭＤプレイヤーコンテンツを見ている複数の鑑賞者、または数千もの鑑賞者を有することが可能である。鑑賞者には、彼らがディスプレイ１０７を見ているかＨＭＤを介してコンテンツを見ているかに関わらず、鑑賞体験を向上させるための機能が提供される。
【００８０】
複数の鑑賞者が仮想現実（ＶＲ）環境／空間内のイベントを鑑賞しているとき、各鑑賞者には、同一の最適なビューイング位置、または「住居内の最良のシート」を提供することが可能である。すなわち、環境が仮想空間であるため、何人のユーザが仮想空間内の同一位置を占有し得るかに対する物理的制限がない。しかしながら、現実世界内のイベントを鑑賞する体験の一部は、観衆の一部であり、自分自身の最も近くに位置する観衆のメンバーと対話することが可能であるという感覚である。各鑑賞者に最良の可能なビューイング体験を与えるためにＶＲ環境の全ての鑑賞者が同一スポットに位置している場合、もはや観衆の一部であるという感覚がない。更に、同一位置内に複数の鑑賞者アバターをレンダリングすることは、不満足なユーザ体験の原因となる可能性がある。
【００８１】
１つの可能な解決策は、所与の鑑賞者アバターの周囲の仮想環境内に人工知能（ａｒｔｉｆｉｃｉａｌ  ｉｎｔｅｌｌｉｇｅｎｃｅ：ＡＩ）アバターを提供することである。しかしながら、ＡＩアバターは、人間の操作者によって駆動されるアバターによって提供される体験を正確には複製しない。更に、ユーザは、現実世界において一般的であるように、自分の友人とイベントを鑑賞し、鑑賞中に友人と対話することを所望する場合があり、記載されたようにＡＩ制御アバターを挿入することは、この種類の共用体験を提供しない。
【００８２】
図５は、開示の実施態様に従う、鑑賞者のための位置を備えた仮想環境を示す図である。例示された実施態様において、ＶＲ環境５００が示されている。そこでは、ユーザが鑑賞することを望み得る何らかの関心対象のアクティビティ５０２またはイベントが行われる。例えば、ＶＲ環境５００は、ビデオゲームのゲームプレイが行われる３次元（３Ｄ）ゲーミング環境であってもよい。ＶＲ環境内で行われているアクティビティは、任意の種類の仮想アクティビティである可能性があることが理解されよう。このようなアクティビティとしては、戦闘（例えば、ファーストパーソン・シューティングゲーム）、リアルタイム戦略、レース、スポーツ、ダンス、演劇、音楽パフォーマンス、ゲームショーなどが挙げられるが、これらに限定されることはない。
【００８３】
ＶＲ環境内に複数の鑑賞者を収容するため、指定されたビューイングエリアの存在が可能であり、そこに複数の鑑賞者アバターを位置付けることができる。厳密に言えば、鑑賞者は、（例えば、ＨＭＤを使用して）ＶＲ環境を鑑賞するユーザ（人間）である。しかしながら、鑑賞者は、アバター（鑑賞者のアバターとも呼ばれる）によってＶＲ環境内で表現することができる。このアバターは、鑑賞者によって制御されてもよい。ＶＲ環境内の鑑賞者のアバターが鑑賞者の表現であり、鑑賞者によって制御されるため、本開示の説明が容易になるように、鑑賞者と鑑賞者のアバターとは、いくつかの例において区別なく使用され得る。（人間の）鑑賞者が鑑賞者のアバターとは異なることは当業者にとって明らかであろうが、それにも関わらず、この両者は、本実施態様の説明を単純化するために同義的に参照され得る。
【００８４】
例示された実施態様において、指定されたビューイングエリアは、スタジアムシートを備えた構造物５０６として概念化されている。しかしながら、本開示の様々な実施態様において、指定されたビューイングエリアは、鑑賞者アバターを位置付けることが可能な複数の所定の位置を有する任意の形態をとることができることが理解されよう。単なる一例として、限定されることはないが、指定されたビューイングエリアは、丘陵、フィールド、野外席、シート、アリーナ、スタジアム、劇場、クラブ、歩道、側道、階段、テラス、デッキ、台、屋根、スカイボックス、乗物（例えば、自動車、列車、ボート、飛行機、ヘリコプター、宇宙船など）、または鑑賞者が仮想アクティビティ５０２を鑑賞し得るＶＲ環境内のエリアとして機能し得る任意の他の種類の仮想オブジェクトのうちの１つ（または一部）とすることができる。
【００８５】
引き続き図５を参照すると、スタジアムシートを備えた構造物５０６は、鑑賞者アバターの配置に対して予め定義されている複数の位置５０８（スタジアムシートを備えた構造物内のシートであってもよい）を含む。鑑賞者５０４ａ〜ｆなどを含む鑑賞者５０４が概念的に示されている。仮想環境５００は現実世界の物理的制約に従わないため、鑑賞者５０４の各々に「住居内の最良のシート」を提供することができる。すなわち、各鑑賞者は、同一の好ましい位置から鑑賞することができ、その位置は、現在の例において位置５０８’である。鑑賞のための「最良の」位置は、複数の可能な位置の中から、予め定義されており、様々な要因に基づいて決定されてもよいことが理解されよう。このような要因としては、関心対象のアクティビティに対する近さ、高さ、ビューの範囲、ビューの障害（またはビューの欠如）、関心対象のアクティビティに対する中心性などがある。
【００８６】
説明したように、各鑑賞者５０４ａ〜ｆなどは、同一の位置／シート５０８’から鑑賞しており、この位置は、例示された実施態様において好ましい位置である。従って、あらゆる鑑賞者は、ＶＲ環境５００内で同一の、または実質的に同一のビューイング視点を体験する。しかしながら、位置５０８’から所与の鑑賞者にビューを提供するとき、観衆の中にいるという感覚を実現するために、次いで、構造物５０６内の所与の鑑賞者の周りの他の位置５０８に残りの鑑賞者を位置付けることができる。例えば、ＶＲ環境の観賞者ビューを鑑賞者５０４ａに提供する目的のために、次いで、鑑賞者５０４ａ’のアバター（及びビューポイント）を位置５０８’に位置付け、他の鑑賞者５０４ｂ〜ｆなどを構造物５０６内の他の位置５０８に位置付ける。これに対し、観賞者ビューを観賞者５０４ｂに提供するとき、次いで、観賞者５０４ｂを位置５０８’に位置付け、他の観賞者５０４ａ、５０４ｃ〜ｆなどを構造物５０６内の他の位置５０８に位置付ける。従って、観賞者５０４ａは、位置５０８’の観点から見回し、他の観賞者のアバターが自分を囲んでいるのを見ることができる。同様に、観賞者５０４ｂも、位置５０８’の観点から見回し、他の観賞者のアバターが自分を囲んでいるのを見ることができる。従って、全ての観賞者に「最良の」ビューイング位置を提供することができ、更に、大勢の観賞者の中にいるという感覚も体験させることができる。更に後述するように、観賞者の方向は、ビューが提供されている観賞者に応じて調整することができる。
【００８７】
図６は、開示の実施態様に従う、ＶＲ環境のビューイングエリア／領域内の鑑賞者の配置を示す図である。例示された実施態様において、９つの位置／シートＳ１〜Ｓ９を有するビューイング領域／エリア６００が提供されている。複数の観賞者Ｕ１〜Ｕ９（参照符号６０２で概念的に示されている）は、ビューイング領域６００が配されているＶＲ環境のビューがどの観賞者に提供されているかに応じて、位置Ｓ１〜Ｓ９内に位置付けられる。ビューイング領域６００において、位置Ｓ５は、鑑賞のための最良の位置／シートであり、従って、各ユーザは位置Ｓ５から鑑賞する。鑑賞するときに位置Ｓ５に配置される所与の観賞者のために、次いで、残りの観賞者を、ビューイング領域６００内の自分の周りの他の残りの位置／シート内に配置する。
【００８８】
ビューイング領域６００の位置内の観賞者の配置を管理する１つの方法は、ビューイング領域の位置の順序及び観賞者の順序を定義し、観賞者の順序を位置の順序に関連してシフトすることである。このような設定を、シートを備えたマトリックス６０４によって示す。ここで、各列は、所与の見物中のユーザ（ＶＲ環境のビューが提供されている観賞者）に対し、ビューイング領域６００内の位置に対する観賞者の割り当てを示す。従って、各列において、見物中のユーザは、Ｓ５が最良の、または好ましいシート／位置であるため、位置Ｓ５に割り当てられる。換言すれば、各観賞者は、同一の位置Ｓ５からＶＲ環境を鑑賞する。
【００８９】
一例として、例示された実施態様において、観賞者Ｕ３がＶＲ環境を見ているときに提供される観賞者の配列が示されている。観賞者Ｕ３は位置Ｓ５に位置付けられており、他方、観賞者Ｕ４〜Ｕ７は、位置Ｓ６〜Ｓ９にそれぞれ位置付けられている。観賞者Ｕ８及びＵ９は、位置Ｓ１及びＳ２にそれぞれ位置付けられており、観賞者Ｕ１及びＵ２は、位置Ｓ３及びＳ４にそれぞれ位置付けられている。従って、観賞者Ｕ３がＶＲ環境を鑑賞するとき、この観賞者は、他の観賞者の対応するアバターがこうして示したように位置付けられているのを見ることができる。別の観賞者がＶＲ環境を鑑賞するとき、その観賞者は、ビューイング領域６００内に異なる方法で位置付けられた他の観賞者を見る。
【００９０】
図７Ａ及び７Ｂは、開示の実施態様に従う、鑑賞者の知覚された関心対象のオブジェクトに対するＶＲ環境内の鑑賞者アバターの制御に基づく当該アバターの調整を示す図である。上で述べてきたように、複数の観賞者がＶＲ環境を見ているとき、各観賞者に、好ましい位置からのビューを提供すると共に、他の観賞者のアバターをＶＲ環境内の他の位置に位置付けることができる。従って、ＶＲ環境内の観賞者のアバターの位置は、どの観賞者にビューが提供されているかに依存する。各観賞者は、同一位置からＶＲ環境を見るが、他の位置にいる他の観賞者が自分を囲んでいることを体験する。
【００９１】
しかしながら、所与の観賞者のビューに対し、他の観賞者を単に再配置した場合、その観賞者は、その鑑賞者が実際には眺めているＶＲ環境内の正しいオブジェクトを眺めているように見えない場合がある。例えば、図７Ａは、ユーザＵ１の視点から見たときのＶＲ環境７００を示す図である。例示された実施態様において、ユーザＵ１によって体験されるときのＶＲ環境は、ユーザＵ１が、関心対象のオブジェクトまたはシーンの前の好ましい位置７０２に位置付けられるように構成されている。単なる一例として、限定されることはないが、例示された実施態様において、関心対象のオブジェクトは演奏者７０１である。ユーザＵ１は、演奏者７０１の方を眺めており、従って、破線の印７０６によって示されるビュー方向を呈する。
【００９２】
図７Ｂは、ユーザＵ２の視点から見たときのＶＲ環境７００を示す図である。例示された実施態様において、ユーザＵ２によって体験されるときのＶＲ環境は、ユーザＵ２が、説明したように演奏者７０１である関心対象のオブジェクト／シーンの前の好ましい位置７０２に位置付けられるように構成されている。加えて、ＶＲ環境のユーザＵ２のビューにおいて、ユーザＵ１は位置７０４に再度位置付けられる。上記のようにユーザＵ１が自分のビューにおいて呈したビュー方向７０６を調整することなくユーザＵ１のアバターを再度位置付けることにより、その後、ユーザＵ１のアバターのビュー方向は、ユーザＵ２のビューにおいて、演奏者７０１の方を眺めているように見えない。従って、ユーザＵ１のアバターのビュー方向をＶＲ環境のユーザＵ２のビューにおいてビュー方向７１２に調整することは有用である。その結果、ユーザＵ１のアバターは演奏者７０１の方を眺めている。アバターのビュー方向を調整することは、アバターの頭部、目、胴、脚、体全体などの回転または他のポーズ調整など調整を伴ってもよいことが理解されよう。
【００９３】
同様に、図７Ａを再度参照すると、上述したのと同様の方法で、ＶＲ環境のビューをユーザＵ１に提供するとき、ユーザＵ２のアバターのビュー方向を、関心対象のオブジェクトである演奏者７０１に向かうようにビュー方向７０８からビュー方向７１０に調整することができる。
【００９４】
ＶＲ環境内の他の観賞者のアバターの適切な調整を提供するために、システムは、ＶＲ環境内で所与の観賞者が眺めているものを決定するように構成することができる。これは、所与の観賞者の仮想環境内のオブジェクトへのビュー方向を推定することに基づいて決定することができ、更には、ＶＲ環境内の観賞者の位置に加えて、観賞者が着用しているＨＭＤの現実世界のポーズに基づいている。従って、観賞者がＶＲ環境を見ているとき、観賞者のビュー方向を決定し、その観賞者のビュー方向に基づき、ビュー方向が向いている、または指している関心対象のオブジェクトを決定するように論理を構成することができる。次いで、観賞者のアバターがＶＲ環境の別の観賞者のビュー内にレンダリングされるとき、そのアバターを、関心対象のオブジェクトに向かうビュー方向を有するように調整することができる。
【００９５】
図８Ａ、８Ｂ及び８Ｃは、本開示の実施態様に従う、３人の異なる鑑賞者の視点から見たときのＶＲ環境内のＶＲシーンを示す図である。図８Ａを参照すると、ユーザ／観賞者Ｕ１の視点から見たときのＶＲシーンが示されている。このユーザは、所定の観賞者位置８０２に位置付けられている。ＶＲシーンには、キャラクタ８０６及びモンスター８０８がいる。また、所定の観賞者位置８０４及び８００にそれぞれ位置付けられた他のユーザ／観賞者Ｕ２及びＵ３のアバターも示されている。観賞者Ｕ１は、観賞者Ｕ２のアバターの方を指しているビュー方向８１０を有する。観賞者Ｕ２のアバターは、モンスター８０８に向かうビュー方向８１２を有する。観賞者Ｕ３のアバターは、キャラクタ８０６に向かうビュー方向８１４を有する。いくつかの実施態様において、観賞者はＨＭＤを着用しており、ＶＲ環境内の観賞者のビュー方向は、検出されたＨＭＤの現実世界のポーズに基づいて決定されていることが理解されよう。
【００９６】
図８Ｂは、観賞者Ｕ２の視点から見たときのＶＲシーンを示す図である。図に示すように、観賞者Ｕ２は位置８０２を占有しているのに対し、観賞者Ｕ１及びＵ３は位置８００及び８０４をそれぞれ占有している。観賞者Ｕ２は、モンスター８０８に向かうビュー方向８１８を有し、観賞者Ｕ１のアバターは、観賞者Ｕ２の位置に向かうビュー方向８１６を有し、観賞者Ｕ３のアバターは、キャラクタ８０６に向かうビュー方向８２０を有する。
【００９７】
図８Ｃは、観賞者Ｕ３の視点から見たときのＶＲシーンを示す図である。図に示すように、観賞者Ｕ３は位置８０２を占有しているのに対し、観賞者Ｕ２及びＵ３は位置８００及び８０４をそれぞれ占有している。観賞者Ｕ３は、キャラクタ８０６に向かうビュー方向８２４を有し、観賞者Ｕ１のアバターは、観賞者Ｕ２の位置に向かうビュー方向８２６を有し、観賞者Ｕ２のアバターは、モンスター８０８に向かうビュー方向８２２を有する。
【００９８】
上記から理解できるように、ＶＲシーンを特定の観賞者に提示するときに他の観賞者のアバターのビュー方向を調整することにより、その後、ＶＲ環境内のどのオブジェクトが他の観賞者によって現在見られているかを示す際に他の観賞者のアバターのレンダリングを忠実に行うことができる。
【００９９】
本明細書に記載された概念は特定の数の観賞者に関して記載されているが、この概念は任意の数の観賞者に適用されてもよいことを理解すべきである。加えて、いくつかの実施態様において、様々な要因に基づき、一部の観賞者を互いに近接して位置付けることができる。このような要因としては、ソーシャルグラフ内のメンバー関係（ソーシャルネットワーク上の繋がりまたは「友人」であること）、地理的位置、共通言語、年齢、性別、興味、ゲーミングヒストリーなどが挙げられる。
【０１００】
図９は、本開示の実施態様に従う、様々なビューインググループに整理された複数の鑑賞者を概念的に示す図である。例示された実施態様において、複数の観賞者は、ビューインググループ９０２ａ〜ｅなどの様々なビューインググループに整理することができる。いくつかの実施態様において、所与のビューインググループ内に含まれる観賞者の数は変わる可能性があることが理解されよう。例えば、ビューインググループ９０２ａは３人の観賞者を含むように定義され、ビューインググループ９０２ｂは４人の観賞者を含むように定義され、ビューインググループ９０２ｃは９人の観賞者を含むように構成される、などである。これに対し、他の実施態様では、単一のグループサイズが指定される。ＶＲ環境を見る目的のために、ＶＲ環境のビューを所与の観賞者に提供するとき、その観賞者が割り当てられるビューインググループは、ビューイング領域の構造物９０４内の位置９０６などの、ＶＲ環境内で好ましいビューイング位置に位置付けられる。
【０１０１】
所与のビューインググループは、そのビューインググループ内にいる観賞者の空間的配列を定義している。すなわち、ＶＲ環境内にレンダリングされるとき、ビューインググループの観賞者アバターは、（いくつかの先述の実施態様とは異なり）互いに対する観賞者の位置がどの観賞者のビューが提供されているかに応じて変化しないという意味では、固定されている特定の空間的配列を有する。一例として、図示したビューインググループ９０２Ｃは、図示したようにグループ内の９人の観賞者位置の配列を定義し、グループの各観賞者は、９つの位置のうちの１つに割り当てられる。従って、所与のビューインググループの観賞者は、ＶＲ環境内の厳密な同一位置からではなく、むしろ互いに近接している異なる位置から鑑賞する。更に、特定のビューインググループ内で、観賞者のうちの１人の位置は、ＶＲ環境のビューをグループの観賞者の各々についてレンダリングするときに不変である。
【０１０２】
しかしながら、様々なグループのそれぞれを、（好ましいビューイング位置からのビューをあらゆる観賞者に提供するために）ＶＲ環境内で同一の、または実質的に同一の（例えば、グループサイズが変わる場合）位置に位置付けることが可能であることが理解されよう。従って、異なるグループに属する観賞者が、実際には、ＶＲ環境内の同一位置に位置付けられてもよい。しかしながら、異なるグループに属するこのような観賞者は、ＶＲ環境のビューを提供するときに同一位置に同時にレンダリングされない。ＶＲ環境のビューを所与の観賞者に提供するときのために、その際、その所与の観賞者のビューインググループのメンバーのみが、（観賞者のビューインググループの配列によって定義されているように）ＶＲ環境内のそれらの特定の位置を占有する。
【０１０３】
ビューインググループ内の観賞者の空間的位置は固定されている（すなわち、グループのどの観賞者にＶＲ環境のビューが提供されているかに応じて変化しない）ため、その際、ＶＲ環境のビューをグループの観賞者についてレンダリングするときにビューインググループ内の観賞者のビュー方向を調整する必要がない。更に、ビュー方向への潜在的に不自然な、または異常な調整が回避され、観賞者のＶＲアバターを介した観賞者同士のより自然なインタラクションが得られる。
【０１０４】
観賞者のビューインググループを越えて、所与の観賞者にビューを提供するとき、他のビューインググループまたは他の観賞者アバターを、観賞者のビューインググループのメンバーによって占有されていない他の近接位置にレンダリングすることができる。このような他の観賞者アバターのビュー方向は、それらの対応する観賞者が眺めている関心対象のオブジェクトに基づいて調整されてもよい。
【０１０５】
観賞者９００は、ソーシャルグラフ内の関係に基づいて各ビューインググループに整理することができることが理解されよう。例えば、ソーシャルネットワーク上の自分の友人と共に、または互いに近接した観賞者の位置付けに関して上に列挙された要因などの任意の他の要因に基づき、所与の観賞者をグループ化することが有用となり得る。
【０１０６】
いくつかの実施態様において、所与のビューインググループの観賞者は、互いに対話することが許可されている。これに対し、このような観賞者は、所与のビューインググループ内にいない他の観賞者と対話することが許可されていない。
【０１０７】
図１０Ａは、本開示の実施態様に従う、追加のビューインググループ１００２ａ〜ｈによって囲まれたＶＲ環境内のビューインググループ１０００を示す図である。ビューインググループ１０００は、ＶＲ環境内の好ましいビューイング位置に位置付けられている。いくつかの実施態様において、追加のビューインググループが、ビューインググループのプールから動的に選択される。しかしながら、他の実施態様において、ビューインググループは、レイアウト内で論理的に配列され、ビューインググループのレイアウトは、（特定のビューインググループ内の観賞者に対してビューを提示するときに）ＶＲ環境内の好ましいビューイング位置に特定のビューインググループを提示するように概念的に「シフトされる」。ＶＲ環境内のビューイング領域は、限られた数の観賞者またはビューインググループを収容する場合があるため、ビューインググループのレイアウトの一部を、特定のビューインググループがＶＲ環境内の好ましいビューイング位置に位置付けられるように合わせることができる。いくつかの実施態様において、レイアウトは、連続するように論理的に構成することができる。その結果、あらゆるビューインググループは、全ての側で別のビューインググループに隣接する。
【０１０８】
図１０Ｂは、本開示の実施態様に従う、様々なサイズの追加のビューインググループによって囲まれたＶＲ環境内のビューインググループ１０００を示す図である。図１０Ａの構成と同様に、追加のビューインググループを、いくつかの実施態様において動的に選択し、位置付けることができる。これに対し、別の実施態様では、ビューインググループのレイアウトが決定され、その一部は、（例えば、特定のビューインググループ内の観賞者のうちの１人に対してビューをレンダリングするときに）特定のビューインググループを好ましい位置に位置付けるようにＶＲ環境のビューイング領域に合わせられる。
【０１０９】
図１１は、本開示の実施態様に従う、鑑賞者のアレイ１１００を示す図である。アレイ１１００は、観賞者の空間的配列を定義することにより、ＶＲ環境内に観賞者がレンダリングされるときの（より具体的には、観賞者のアバターがレンダリングされるときの）観賞者の相対的位置付けを定義している。本開示の実施態様に従って、観賞者の各々は、ＶＲ環境内の同一の好ましい位置から鑑賞すると共に、観衆の中にいるという感覚を体験することもできる。これを実現するために、ＶＲ環境のビューを特定の観賞者１１０２に提供するとき、一例として、その際、観賞者１１０２を含むアレイ１１００の一部１１０４を選択する。その結果、一部１１０４内に含まれる観賞者をＶＲ環境内のビューイング領域に合わせるとき、アレイによって定義されているように観賞者の互いの空間的関係が維持され、その際、観賞者１１０２は好ましい位置に位置付ける。
【０１１０】
例えば、例示された実施態様において、ＶＲ環境内のビューイング領域１１１４は、３列の観賞者を収容するためのビューイング位置を有してもよい。このとき、観賞者は、一番上の列には３人、中間の列には５人、一番下の列には３人いて、好ましいビューイング位置は、真ん中のビューイング位置１１１６である。従って、一部１１０４は、観賞者１１０２の列より上の列の対応する３人の観賞者、観賞者１１０２の列に属する５人の観賞者（観賞者１１０２の左及び右にそれぞれ属する２人を含む）、ならびに観賞者１１０２の列より下の列に属する３人の観賞者に提供するように選択される。従って、一部１１０４に属する観賞者が、ビューイング領域１１１４の対応するビューイング位置内にそれぞれ位置付けられるとき、その際、観賞者１１０２は、アレイ１１００によって定義された観賞者の空間的関係に従って他の観賞者が自分を囲んでいる状態で、好ましいビューイング位置内に位置付けられる。アレイ１１００に示すように、例えば、観賞者１１０６、１１０８、１１１０及び１１１２は、観賞者１１０２の真下、上、左及び右にそれぞれ位置付けられている。従って、観賞者１１０２がＶＲ環境を見ているとき、この観賞者は、真下、上、自分の左及び自分の右に観賞者１１０６、１１０８、１１１０及び１１１２がそれぞれ位置付けられていることを体験する。
【０１１１】
アレイ１１００の観賞者同士のこの空間的関係は、どの観賞者がＶＲ環境を見ているかに関係なく維持されることが理解されよう。そのため、例えば、観賞者１１０８に提供されたＶＲ環境のビューにおいて、その際、（好ましいビューイング位置１１１６内に観賞者１１０８を位置付けるために）アレイの異なる一部が選択されるが、それでも他の観賞者との空間的関係は、アレイによって定義された空間的関係に従うように維持される。従って、観賞者１１０８に提供されるビューにおいて、観賞者１１０２は観賞者１１０８の真下にいることになり、観賞者１１１０は観賞者１１０８の下、かつ左にいることになり、観賞者１１１２は、観賞者１１０８の下、かつ右にいることになる。
【０１１２】
前述の構成は、他の方法で概念的に説明することができる。例えば、ビューイング領域１１１４は、ビューイング位置の配列を定義し、どの観賞者にＶＲ環境のビューが提供されているかに応じてアレイ１１００の異なる部分にシフトすることが可能なセレクタとして考えることができ、ビューイング領域１１１４のビューイング位置には、そのセレクタ内に属する観賞者がアレイ内の彼らの所定の位置に従って存在する。または、アレイを、同様の効果のためにビューイング領域１１１４に対してシフトすることができる。
【０１１３】
加えて、アレイ１１００内の特定の位置への観賞者の割り当ては、ソーシャルネットワーク内の関係または上記のような他の要因などの様々な要因に基づいている可能性があることが理解されよう。
【０１１４】
ＶＲ環境内の単一のビューイング領域に関して実施態様を実質的に説明してきたが、ＶＲ環境内に複数のビューイング領域が存在できることが理解されよう。更に、地理的位置、言語、体験レベルなどの要因に基づいて定義され得る複数の観賞者プールが存在してもよい。本明細書に記載された概念は、複数のビューイング領域及び観賞者の複数の観賞者プールに適用することができる。
【０１１５】
いくつかの実施態様において、観賞者のビューイング領域は、例えば、プレイヤーキャラクタがビデオゲーム環境を通して移動するときなど、ＶＲ環境内の移動アクションを鑑賞することを可能するために、ＶＲ環境内で移動するように構成されてもよい。その効果は、移動している車両から見ているのと同様になり得る。上記の原理を適用することにより、観賞者は、移動しているビューイング領域内に好ましいビューイング位置を有することができる。
【０１１６】
図１２を参照すると、本開示の実施形態に従う、ヘッドマウントディスプレイ１０２の構成要素を示す図が示されている。ヘッドマウントディスプレイ１０２は、プログラム命令を実行するためのプロセッサ１３００を含む。メモリ１３０２は、ストレージ目的のために提供され、揮発性メモリと不揮発性メモリとの両方を含んでもよい。ユーザが見ることができる視覚インタフェースを提供するディスプレイ１３０４が含まれる。ヘッドマウントディスプレイ１０２のための電源としてバッテリ１３０６が提供される。モーション検出モジュール１３０８は、磁力計１３１０、加速度計１３１２及びジャイロスコープ１３１４などの、様々な種類のモーション感知ハードウェアのいずれかを含んでもよい。
【０１１７】
加速度計は、加速度及び重力によって誘起された反力を測定するためのデバイスである。単軸及び多軸モデルは、異なる向きにおける加速度の大きさ及び向きを検出するために利用可能である。加速度計を使用して、傾き、振動及び衝撃を感知する。一実施形態において、３つの加速度計１３１２を使用して、２つの角度（ワールド空間ピッチ及びワールド空間ロール）に対する絶対的基準を与える重力の向きを提供する。
【０１１８】
磁力計は、ヘッドマウントディスプレイの付近の磁場の強さ及び向きを測定する。一実施形態において、３つの磁力計１３１０は、ヘッドマウントディスプレイ内で使用され、ワールド空間ヨー角に対する絶対的基準を確保する。一実施形態において、磁力計は、±８０マイクロテスラである地磁気にわたるように設計される。磁力計は、金属によって影響され、実際のヨーに関して単調であるヨー測定を提供する。磁場は、ヨー測定に歪みを引き起こす、環境内の金属のために歪む可能性がある。必要であれば、この歪みは、ジャイロスコープまたはカメラなどの他のセンサからの情報を使用して較正することができる。一実施形態において、加速度計１３１２は、磁力計１３１０と共に使用されてヘッドマウントディスプレイ１０２の傾き及び方位を取得する。
【０１１９】
いくつかの実施形態において、ヘッドマウントディスプレイの磁力計は、他の近傍のデバイス内の電磁石が作動していない時間中に読み出されるように構成されている。
【０１２０】
ジャイロスコープは、角運動量の原理に基づき、方向を測定する、または維持するためのデバイスである。一実施形態において、３つのジャイロスコープ１３１４は、慣性感知に基づき、それぞれの軸（ｘ、ｙ及びｚ）にわたる動きについての情報を提供する。ジャイロスコープは、高速回転を検出する際に有用である。しかしながら、ジャイロスコープは、絶対的基準が存在しなくても経時的にずれる可能性がある。これは、ジャイロスコープを周期的にリセットすることを必要とする。このリセットは、オブジェクトの視覚的追跡、加速度計、磁力計などに基づいた位置／方向決定などの、他の利用可能な情報を使用して行うことが可能である。
【０１２１】
現実環境の画像及び画像ストリームを取得するためのカメラ１３１６が提供される。２つ以上のカメラがヘッドマウントディスプレイ１０２内に含まれてもよい。これらのカメラは、後ろ向きのカメラ（ユーザがヘッドマウントディスプレイ１０２のディスプレイを見ているときにユーザから離れるように向けられる）、及び前向きのカメラ（ユーザがヘッドマウントディスプレイ１０２のディスプレイを見ているときにユーザの方に向けられる）を含む。加えて、デプスカメラ１３１８が、現実環境内のオブジェクトの奥行き情報を感知するためにヘッドマウントディスプレイ１０２内に含まれてもよい。
【０１２２】
ヘッドマウントディスプレイ１０２は、オーディオ出力を提供するためのスピーカ１３２０を含む。また、周囲環境からの音、ユーザによってなされたスピーチなどを含む、現実環境からの音声を取得するためのマイクロホン１３２２が含まれてもよい。ヘッドマウントディスプレイ１０２は、触覚フィードバックをユーザに提供するための触覚フィードバックモジュール１３２４を含む。一実施形態において、触覚フィードバックモジュール１３２４は、触覚フィードバックをユーザに提供するために、ヘッドマウントディスプレイ１０２の動き及び／または振動を引き起こすことが可能である。
【０１２３】
ＬＥＤ１３２６は、ヘッドマウントディスプレイ１０２のステータスの視覚インジケータとして提供される。例えば、ＬＥＤは、バッテリレベル、電源投入などを示してもよい。カードリーダ１３２８は、ヘッドマウントディスプレイ１０２がメモリカードとの間で情報を読み出し、書き込むことを可能にするために提供される。周辺デバイスの接続、または他の携帯型デバイス、コンピュータなどの他のデバイスへの接続を可能にするためのインタフェースの一例としてＵＳＢインタフェース１３３０が含まれる。ヘッドマウントディスプレイ１０２の様々な実施形態において、様々な種類のインタフェースのいずれかが、ヘッドマウントディスプレイ１０２のより高い接続性を可能にするために含まれてもよい。
【０１２４】
Ｗｉ−Ｆｉモジュール１３３２は、無線ネットワーク技術を介したインターネットまたはローカルエリアネットワークへの接続を可能にするために含まれる。また、ヘッドマウントディスプレイ１０２は、他のデバイスへの無線接続を可能にするためのＢｌｕｅｔｏｏｔｈ（登録商標）モジュール１３３４を含む。また、他のデバイスへの接続のために通信リンク１３３６が含まれてもよい。一実施形態において、通信リンク１３３６は、無線通信のために赤外線伝送を利用する。他の実施形態において、通信リンク１３３６は、他のデバイスとの通信のために様々な無線または有線伝送プロトコルのいずれかを利用してもよい。
【０１２５】
ユーザ用の入力インタフェースを提供するために入力ボタン／センサ１３３８が含まれる。ボタン、タッチパッド、ジョイスティック、トラックボールなどの、様々な種類の入力インタフェースのいずれかが含まれてもよい。超音波技術を介した他のデバイスとの通信を容易にするために、ヘッドマウントディスプレイ１０２内に超音波通信モジュール１３４０が含まれてもよい。
【０１２６】
バイオセンサ１３４２は、ユーザからの生理学的データの検出を可能にするために含まれる。一実施形態において、バイオセンサ１３４２は、ユーザの皮膚を通してユーザの生体電気信号を検出するための１つ以上の乾燥電極を含む。
【０１２７】
ビデオ入力１３４４は、ＨＭＤ上にレンダリングするために主たる処理コンピュータ（例えば、メインゲームコンソール）からビデオ信号を受信するように構成されている。いくつかの実施態様において、ビデオ入力はＨＤＭＩ（登録商標）入力である。
【０１２８】
ヘッドマウントディスプレイ１０２の前述の構成要素は、ヘッドマウントディスプレイ１０２内に含まれ得る単なる例示的な構成要素として記述されている。本開示の様々な実施形態において、ヘッドマウントディスプレイ１０２は、様々な前述の構成要素のうちのいくつかを含んでもよく、または含まなくてもよい。ヘッドマウントディスプレイ１０２の実施形態は、本明細書に記載されたような本開示の態様を容易にする目的のために、現在記述されていないが、当該技術分野において既知である他の構成要素を追加的に含んでもよい。
【０１２９】
図１３は、本開示の様々な実施形態に従う、ゲームシステム１４００のブロック図である。ゲームシステム１４００は、ネットワーク１４１５を介して１つ以上のクライアント１４１０にビデオストリームを提供するように構成されている。ゲームシステム１４００は、通常、ビデオサーバシステム１４２０及び任意選択のゲームサーバ１４２５を含む。ビデオサーバシステム１４２０は、最小限のサービス品質で１つ以上のクライアント１４１０にビデオストリームを提供するように構成されている。例えば、ビデオサーバシステム１４２０は、ビデオゲーム内のビューの状態またはビューポイントを変更するゲームコマンドを受信し、この変更を状態に反映した更新済みのビデオストリームを最小の遅延時間でクライアント１４１０に提供し得る。ビデオサーバシステム１４２０は、未だ定義されていないフォーマットを含む、多種多様な代替ビデオフォーマットでビデオストリームを提供するように構成されてもよい。更に、ビデオストリームは、多様なフレームレートでユーザに提示するように構成されたビデオフレームを含んでもよい。通常のフレームレートは、毎秒３０フレーム、毎秒６０フレーム及び毎秒１２０フレームである。ただし、本開示の代替的な実施形態には、より高いまたはより低いフレームレートが含まれる。
【０１３０】
本明細書で１４１０Ａ、１４１０Ｂなどと個々に呼ばれるクライアント１４１０は、ヘッドマウントディスプレイ、端末、パーソナルコンピュータ、ゲームコンソール、タブレットコンピュータ、電話機、セットトップボックス、キオスク、無線デバイス、デジタルパッド、スタンドアロンデバイス、ハンドヘルドゲームプレイングデバイス及び／または同様のものを含んでもよい。通常、クライアント１４１０は、符号化されたビデオストリームを受信し、ビデオストリームを復号化し、得られたビデオをユーザ、例えば、ゲームのプレイヤーに提示するように構成されている。符号化されたビデオストリームを受信し、及び／またはビデオストリームを復号化する処理は、通常、個々のビデオフレームをクライアントの受信バッファ内に記憶させることを含む。ビデオストリームは、クライアント１４１０に統合されたディスプレイ上、またはモニタもしくはテレビ受像機などの別個のデバイス上でユーザに提示されてもよい。クライアント１４１０は、任意選択で、２人以上のゲームプレイヤーをサポートするように構成されている。例えば、ゲームコンソールは、２人、３人、４人またはそれ以上の同時プレイヤーをサポートするように構成されてもよい。これらのプレイヤーの各々が、別個のビデオストリームを受信してもよく、または単一のビデオストリームが、各プレイヤーに対して特別に生成された、例えば、各プレイヤーのビューポイントに基づいて生成されたフレームの領域を含んでもよい。クライアント１４１０は、任意選択で地理的に分散される。ゲームシステム１４００内に含まれるクライアントの数は、１つもしくは２つから数千、数万、またはそれ以上に大きく変動し得る。本明細書で使用されるとき、「ゲームプレイヤー」という用語は、ゲームをプレイする人を指すために使用され、「ゲームプレイングデバイス」という用語は、ゲームをプレイするために使用されるデバイスを指すために使用される。いくつかの実施形態において、ゲームプレイングデバイスは、ゲーム体験をユーザに供するために協働する複数のコンピューティングデバイスを指してもよい。例えば、ゲームコンソール及びＨＭＤは、ＨＭＤを通して見られるゲームを供するためにビデオサーバシステム１４２０と協働してもよい。一実施形態において、ゲームコンソールは、ビデオサーバシステム１４２０からビデオストリームを受信し、ゲームコンソールは、ビデオストリームをレンダリングのためにＨＭＤに転送する、またはビデオストリームを更新する。
【０１３１】
クライアント１４１０は、ネットワーク１４１５を介してビデオストリームを受信するように構成されている。ネットワーク１４１５は、電話網、インターネット、無線ネットワーク、電力線ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、プライベートネットワーク及び／または同種のものを含む任意の種類の通信ネットワークであってもよい。典型的な実施形態において、ビデオストリームは、ＴＣＰ／ＩＰまたはＵＤＰ／ＩＰなどの標準プロトコルを介して通信される。あるいは、ビデオストリームは、独自の規格を介して通信される。
【０１３２】
クライアント１４１０の典型的な例は、プロセッサ、不揮発性メモリ、ディスプレイ、復号化ロジック、ネットワーク通信能力及び入力デバイスを含むパーソナルコンピュータである。復号化ロジックは、ハードウェア、ファームウェア、及び／またはコンピュータ可読媒体上に記憶されたソフトウェアを含んでもよい。ビデオストリームを復号化（及び符号化）するためのシステムは、当該技術分野において周知であり、使用される特定の符号化方式に応じて異なる。
【０１３３】
クライアント１４１０は、必須ではないが、受信されたビデオを修正するように構成されたシステムを更に含んでもよい。例えば、クライアントは、更なるレンダリングを実行する、あるビデオ画像を別のビデオ画像の上に重ね合わせる、ビデオ画像をトリミングする、及び／または同様のことを行うように構成されてもよい。例えば、クライアント１４１０は、Ｉフレーム、Ｐフレーム及びＢフレームなどの様々な種類のビデオフレームを受信し、ユーザに表示するためにこれらのフレームを処理して画像にするように構成されてもよい。いくつかの実施形態において、クライアント１４１０のメンバーは、ビデオストリームに対して更なるレンダリング、シェーディング、３次元への変換または同様の動作を実行するように構成されている。クライアント１４１０のメンバーは、任意選択で、２つ以上のオーディオまたはビデオストリームを受信するように構成されている。クライアント１４１０の入力デバイスは、例えば、片手用ゲームコントローラ、両手用ゲームコントローラ、ジェスチャ認識システム、視線認識システム、音声認識システム、キーボード、ジョイスティック、ポインティングデバイス、フォースフィードバックデバイス、モーション及び／または位置感知デバイス、マウス、タッチスクリーン、神経インタフェース、カメラ、未だ開発されていない入力デバイス、及び／または同様のものを含んでもよい。
【０１３４】
クライアント１４１０によって受信されたビデオストリーム（及び任意選択でオーディオストリーム）は、ビデオサーバシステム１４２０によって生成され、提供される。本明細書の他の箇所で更に記載されるように、このビデオストリームはビデオフレームを含む（また、オーディオストリームはオーディオフレームを含む）。ビデオフレームは、ユーザに表示される画像に有効に寄与する（例えば、ビデオフレームは、適切なデータ構造内に画素情報を含む）ように構成されている。本明細書で使用されるとき、「ビデオフレーム」という用語は、ユーザに示される画像に寄与する、例えば、影響を与えるように構成されている情報を主に含むフレームを指すために使用される。「ビデオフレーム」に関する本明細書の教示の大部分は、「オーディオフレーム」にも適用することができる。
【０１３５】
クライアント１４１０は、通常、ユーザからの入力を受信するように構成されている。これらの入力は、ビデオゲームの状態を変化させる、またはさもなければゲームプレイに影響を与えるように構成されたゲームコマンドを含んでもよい。ゲームコマンドは、入力デバイスを使用して受信することができ、及び／またはクライアント１４１０上で実行される演算命令によって自動的に生成され得る。受信されたゲームコマンドは、クライアント１４１０からネットワーク１４１５を介してビデオサーバシステム１４２０及び／またはゲームサーバ１４２５に通信される。例えば、いくつかの実施形態において、ゲームコマンドは、ビデオサーバシステム１４２０を介してゲームサーバ１４２５に通信される。いくつかの実施形態において、ゲームコマンドの別個のコピーが、クライアント１４１０からゲームサーバ１４２５及びビデオサーバシステム１４２０に通信される。ゲームコマンドの通信は、任意選択でコマンドの識別情報に依存する。ゲームコマンドは、任意選択で、オーディオまたはビデオストリームをクライアント１４１０Ａに提供するために使用された経路または通信チャネルとは異なる経路または通信チャネルを通してクライアント１４１０Ａから通信される。
【０１３６】
ゲームサーバ１４２５は、任意選択で、ビデオサーバシステム１４２０とは異なるエンティティによって運営される。例えば、ゲームサーバ１４２５は、マルチプレイヤーゲームの公開元によって運営されてもよい。この例において、ビデオサーバシステム１４２０は、任意選択で、ゲームサーバ１４２５によってクライアントとして見なされ、任意選択で、ゲームサーバ１４２５の観点から、従来技術のゲームエンジンを実行する従来技術のクライアントに見えるように構成されている。ビデオサーバシステム１４２０とゲームサーバ１４２５との間の通信は、任意選択で、ネットワーク１４１５を介して行われる。したがって、ゲームサーバ１４２５は、ゲーム状態情報を複数のクライアントに送信する従来技術のマルチプレイヤーゲームサーバとすることができる。この複数のクライアントのうちの１つがビデオサーバシステム１４２０である。ビデオサーバシステム１４２０は、ゲームサーバ１４２５の複数のインスタンスと同時に通信するように構成されてもよい。例えば、ビデオサーバシステム１４２０は、複数の異なるビデオゲームを異なるユーザに提供するように構成することができる。これらの異なるビデオゲームのそれぞれは、異なるゲームサーバ１４２５によってサポートされてもよく、及び／または異なるエンティティによって公開されてもよい。いくつかの実施形態において、ビデオサーバシステム１４２０の地理的に分散されたいくつかのインスタンスは、複数の異なるユーザにゲームビデオを提供するように構成されている。ビデオサーバシステム１４２０のこれらのインスタンスのそれぞれは、ゲームサーバ１４２５の同一のインスタンスと通信してもよい。ビデオサーバシステム１４２０と１つ以上のゲームサーバ１４２５との間の通信は、任意選択で、専用の通信チャネルを介して行われる。例えば、ビデオサーバシステム１４２０は、これらの２つのシステムの間の通信に専用である高帯域幅チャネルを介してゲームサーバ１４２５に接続されてもよい。
【０１３７】
ビデオサーバシステム１４２０は、少なくともビデオソース１４３０、Ｉ／Ｏデバイス１４４５、プロセッサ１４５０及び非一時的ストレージ１４５５を含む。ビデオサーバシステム１４２０は、１つのコンピューティングデバイスを含んでもよく、または複数のコンピューティングデバイス間に分散されてもよい。これらのコンピューティングデバイスは、任意選択で、ローカルエリアネットワークなどの通信システムを介して接続される。
【０１３８】
ビデオソース１４３０は、例えば、ストリーミングビデオ、または動画を構成する一連のビデオフレームなどの、ビデオストリームを提供するように構成されている。いくつかの実施形態において、ビデオソース１４３０は、ビデオゲームエンジン及びレンダリングロジックを含む。ビデオゲームエンジンは、プレイヤーからゲームコマンドを受信し、受信されたコマンドに基づいてビデオゲームの状態のコピーを維持するように構成されている。このゲーム状態は、通常はビューポイントに加えて、ゲーム環境内のオブジェクトの位置を含む。ゲーム状態はまた、オブジェクトの性質、画像、色及び／またはテクスチャを含んでもよい。ゲーム状態は、通常、ゲームルール、ならびに移動、回転、攻撃、フォーカス設定、相互作用、使用及び／または同様のものなどのゲームコマンドに基づいて維持される。ゲームエンジンの一部は、任意選択で、ゲームサーバ１４２５内に配される。ゲームサーバ１４２５は、地理的に分散したクライアントを使用する複数のプレイヤーから受信されたゲームコマンドに基づいてゲームの状態のコピーを維持してもよい。これらの場合、ゲーム状態は、ゲームサーバ１４２５によってビデオソース１４３０に提供され、そこでゲーム状態のコピーが記憶され、レンダリングが実行される。ゲームサーバ１４２５は、ネットワーク１４１５を介してクライアント１４１０から直接ゲームコマンドを受信してもよく、及び／またはビデオサーバシステム１４２０を介してゲームコマンドを受信してもよい。
【０１３９】
ビデオソース１４３０は、通常、レンダリングロジック、例えば、ハードウェア、ファームウェア、及び／またはストレージ１４５５などのコンピュータ可読媒体上に記憶されたソフトウェアなどを含む。このレンダリングロジックは、ゲーム状態に基づいてビデオストリームのビデオフレームを作成するように構成されている。レンダリングロジックの全てまたは一部は、任意選択で、グラフィックス処理ユニット（ＧＰＵ）内に配される。レンダリングロジックは、通常、ゲーム状態及びビューポイントに基づき、オブジェクト間の３次元空間関係を決定するように、及び／または適切なテクスチャなどを適用するように構成された処理ステージを含む。レンダリングロジックは、未処理のビデオを生成し、その後、このビデオは、通常、クライアント１４１０と通信する前に符号化される。例えば、未処理のビデオは、Ａｄｏｂｅ  Ｆｌａｓｈ（登録商標）規格、．ｗａｖ、Ｈ．２６４、Ｈ．２６３、Ｏｎ２、ＶＰ６、ＶＣ−１、ＷＭＡ、Ｈｕｆｆｙｕｖ、Ｌａｇａｒｉｔｈ、ＭＰＧ−ｘ．Ｘｖｉｄ．ＦＦｍｐｅｇ、ｘ２６４、ＶＰ６−８、リアルビデオ、ｍｐ３などに従って符号化されてもよい。符号化処理は、リモートデバイス上のデコーダに提供するために任意選択でパッケージ化されているビデオストリームを生成する。ビデオストリームは、フレームサイズ及びフレームレートによって特徴付けられる。典型的なフレームサイズとしては、８００×６００、１２８０×７２０（例えば、７２０ｐ）、１０２４×７６８が挙げられるが、任意の他のフレームサイズが使用されてもよい。フレームレートは、１秒あたりのビデオフレームの数である。ビデオストリームは、異なる種類のビデオフレームを含んでもよい。例えば、Ｈ．２６４規格は、「Ｐ」フレーム及び「Ｉ」フレームを含む。Ｉフレームは、表示デバイス上の全てのマクロブロック／画素を更新するための情報を含み、他方、Ｐフレームは、マクロブロック／画素の一部を更新するための情報を含む。Ｐフレームは、通常、Ｉフレームよりもデータサイズが小さい。本明細書で使用されるとき、「フレームサイズ」という用語は、フレーム内の画素数を指すことを意味する。「フレームデータサイズ」という用語は、フレームを記憶するために必要とされるバイト数を指すために使用される。
【０１４０】
代替的な実施形態において、ビデオソース１４３０は、カメラなどのビデオ記録デバイスを含む。このカメラは、コンピュータゲームのビデオストリーム内に含めることができる遅延ビデオまたはライブビデオを生成するために使用されてもよい。得られたビデオストリームは、任意選択で、レンダリングされた画像と、スチルカメラまたはビデオカメラを使用して記録された画像との両方を含む。ビデオソース１４３０はまた、ビデオストリーム内に含めるために以前に記録されたビデオを記憶するように構成されたストレージデバイスを含んでもよい。ビデオソース１４３０はまた、オブジェクト、例えば、人のモーションまたは位置を検出するように構成されたモーションまたは位置決め検知デバイス、ならびに検出されたモーション及び／または位置に基づいてゲーム状態を決定し、またはビデオを生成するように構成されたロジックを含んでもよい。
【０１４１】
ビデオソース１４３０は、任意選択で、他のビデオ上に配置されるように構成されたオーバーレイを提供するように構成されている。例えば、これらのオーバーレイは、コマンドインタフェース、ログイン指示、ゲームプレイヤーへのメッセージ、他のゲームプレイヤーの画像、他のゲームプレイヤーのビデオフィード（例えば、ウェブカメラビデオ）を含んでもよい。タッチスクリーンインタフェースまたは視線検出インタフェースを含むクライアント１４１０Ａの実施形態において、オーバーレイは、仮想キーボード、ジョイスティック、タッチパッド及び／または同種のものを含んでもよい。オーバーレイの一例では、プレイヤーの音声をオーディオストリーム上に重ね合わせる。ビデオソース１４３０は、任意選択で、１つ以上のオーディオソースを更に含む。
【０１４２】
２人以上のプレイヤーからの入力に基づいてビデオサーバシステム１４２０がゲーム状態を維持するように構成されている実施形態において、各プレイヤーは、ビューの位置及び向きを含む異なるビューポイントを有してもよい。ビデオソース１４３０は、任意選択で、各プレイヤーについて、彼らのビューポイントに基づいて別個のビデオストリームを提供するように構成されている。更に、ビデオソース１４３０は、異なるフレームサイズ、フレームデータサイズ、及び／または符号化をクライアント１４１０のそれぞれに提供するように構成されてもよい。ビデオソース１４３０は、任意選択で、３次元ビデオを提供するように構成されている。
【０１４３】
Ｉ／Ｏデバイス１４４５は、ビデオサーバシステム１４２０が、ビデオ、コマンド、情報要求、ゲーム状態、視線情報、デバイスモーション、デバイス位置、ユーザモーション、クライアント識別情報、プレイヤー識別情報、ゲームコマンド、セキュリティ情報、オーディオ及び／または同種のものなどの情報を送信及び／または受信するように構成されている。Ｉ／Ｏデバイス１４４５は、通常、ネットワークカードまたはモデムなどの通信ハードウェアを含む。Ｉ／Ｏデバイス１４４５は、ゲームサーバ１４２５、ネットワーク１４１５及び／またはクライアント１４１０と通信するように構成されている。
【０１４４】
プロセッサ１４５０は、本明細書で述べたビデオサーバシステム１４２０の様々な構成要素内に含まれるロジック、例えば、ソフトウェアを実行するように構成されている。例えば、プロセッサ１４５０は、ビデオソース１４３０、ゲームサーバ１４２５及び／またはクライアントクオリファイア１４６０の機能を実行するためにソフトウェア命令を用いてプログラムされてもよい。ビデオサーバシステム１４２０は、任意選択で、プロセッサ１４５０の２つ以上のインスタンスを含む。プロセッサ１４５０はまた、ビデオサーバシステム１４２０によって受信されたコマンドを実行するために、または本明細書で述べたゲームシステム１４００の様々な要素の動作を調整するために、ソフトウェア命令を用いてプログラムされてもよい。プロセッサ１４５０は、２つ以上のハードウェアデバイスを含んでもよい。プロセッサ１４５０は、電子プロセッサである。
【０１４５】
ストレージ１４５５は、非一時的なアナログ及び／またはデジタルストレージデバイスを含む。例えば、ストレージ１４５５は、ビデオフレームを記憶するように構成されたアナログストレージデバイスを含んでもよい。ストレージ１４５５は、コンピュータ可読デジタルストレージ、例えば、ハードドライブ、光学ドライブまたはソリッドステートストレージを含んでもよい。ストレージ１４１５は、ビデオフレーム、人工フレーム、ビデオフレームと人工フレームとの両方を含むビデオストリーム、オーディオフレーム、オーディオストリーム、及び／または同種のものを記憶するように（例えば、適切なデータ構造またはファイルシステムによって）構成されている。ストレージ１４５５は、任意選択で、複数のデバイス間に分散される。いくつかの実施形態において、ストレージ１４５５は、本明細書の他の箇所で述べたビデオソース１４３０のソフトウェア構成要素を記憶するように構成されている。これらの構成要素は、必要なときにすぐに供給できる形式で記憶されてもよい。
【０１４６】
ビデオサーバシステム１４２０は、任意選択で、クライアントクオリファイア１４６０を更に含む。クライアントクオリファイア１４６０は、クライアント１４１０Ａまたは１４１０Ｂなどのクライアントの能力をリモートで判定するように構成されている。これらの能力は、クライアント１４１０Ａ自体の能力と、クライアント１４１０Ａとビデオサーバシステム１４２０との間の１つ以上の通信チャネルの能力との両方を含むことができる。例えば、クライアントクオリファイア１４６０は、ネットワーク１４１５を通して通信チャネルをテストするように構成されてもよい。
【０１４７】
クライアントクオリファイア１４６０は、クライアント１４１０Ａの能力を手動または自動で判定（例えば、発見）することができる。手動判定は、クライアント１４１０Ａのユーザと通信し、能力を提供するようにユーザに依頼することを含む。例えば、いくつかの実施形態において、クライアントクオリファイア１４６０は、クライアント１４１０Ａのブラウザ内に画像、テキスト及び／または同種のものを表示するように構成されている。一実施形態において、クライアント１４１０Ａは、ブラウザを含むＨＭＤである。別の実施形態において、クライアント１４１０Ａは、ＨＭＤ上に表示され得るブラウザを有するゲームコンソールである。表示されたオブジェクトは、ユーザが、クライアント１４１０Ａのオペレーティングシステム、プロセッサ、ビデオデコーダの種類、ネットワーク接続の種類、ディスプレイ解像度などの情報を入力することを要求する。ユーザによって入力された情報は、クライアントクオリファイア１４６０に返信される。
【０１４８】
自動判定は、例えば、クライアント１４１０Ａ上のエージェントの実行によって、及び／またはクライアント１４１０Ａへのテストビデオの送信によって行われてもよい。エージェントは、ウェブページ内に埋め込まれた、またはアドオンとしてインストールされたＪａｖａ（登録商標）スクリプトなどの演算命令を含んでもよい。エージェントは、任意選択で、クライアントクオリファイア１４６０によって提供される。様々な実施形態において、エージェントは、クライアント１４１０Ａの処理能力、クライアント１４１０Ａの符号化及び表示能力、クライアント１４１０Ａとビデオサーバシステム１４２０との間の通信チャネルの遅延時間の信頼性及び帯域幅、クライアント１４１０Ａのディスプレイの種類、クライアント１４１０Ａ上に存在するファイアウォール、クライアント１４１０Ａのハードウェア、クライアント１４１０Ａ上で実行されているソフトウェア、クライアント１４１０Ａ内のレジストリエントリ、及び／または同種のものを知ることができる。
【０１４９】
クライアントクオリファイア１４６０は、ハードウェア、ファームウェア、及び／またはコンピュータ可読媒体上に記憶されたソフトウェアを含む。クライアントクオリファイア１４６０は、任意選択で、ビデオサーバシステム１４２０の１つ以上の他の要素とは別個のコンピューティングデバイス上に配される。例えば、いくつかの実施形態において、クライアントクオリファイア１４６０は、クライアント１４１０とビデオサーバシステム１４２０の２つ以上のインスタンスとの間の通信チャネルの特性を判定するように構成されている。これらの実施形態において、クライアントクオリファイアによって発見された情報を使用して、ビデオサーバシステム１４２０のどのインスタンスが、クライアント１４１０のうちの１つにストリーミングビデオを配信するのに最も適しているかを判定することができる。
【０１５０】
本開示の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラムマブル家庭用電化製品、ミニコンピュータ、メインフレームコンピュータなどを含む様々なコンピュータシステム構成を用いて実施されてもよい。本開示は、有線ベースまたは無線ネットワークを通してリンクされるリモート処理デバイスによってタスクが実行される分散型コンピューティング環境内で実施することもできる。
【０１５１】
上記の実施形態を念頭に置いて、本開示が、コンピュータシステム内に記憶されたデータを含む様々なコンピュータ実装動作を用いてもよいことを理解すべきである。これらの動作は、物理量の物理的操作を必要とする動作である。本開示の一部を構成する本明細書に記載されたいずれの動作も有用な機械動作である。本開示は、これらの動作を実行するためのデバイスまたは装置にも関する。装置は、必要とされる目的のために特別に構成することができ、または装置は、コンピュータに記憶されたコンピュータプログラムによって選択的に作動される、または構成される汎用コンピュータとすることができる。特に、本明細書の教示に従って書かれたコンピュータプログラムと共に様々な汎用機械を使用することができ、または必要とされる動作を実行するようにより特化された装置を構築することがより好都合となる場合がある。
【０１５２】
本開示は、コンピュータ可読媒体上のコンピュータ可読コードとして具現化することもできる。コンピュータ可読媒体は、データを記憶することができる任意のデータストレージデバイスであり、このデータは、その後、コンピュータシステムによって読み出すことができる。コンピュータ可読媒体の例としては、ハードドライブ、ネットワーク接続ストレージ（ＮＡＳ）、リードオンリーメモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、ならびに他の光学及び非光学データストレージデバイスが挙げられる。コンピュータ可読媒体は、コンピュータ可読コードが分散方式で記憶され、実行されるように、ネットワーク結合コンピュータシステム上に分散されたコンピュータ可読有形媒体を含むことができる。
【０１５３】
方法動作が特定の順序で説明されているが、他のハウスキーピング動作が動作の間に実行されてもよく、または動作が、わずかに異なる時間に生じるように調整されてもよく、もしくはオーバーレイ動作の処理が所望の方法で実行される限り、処理に関連する様々な間隔で処理動作の発生を可能にするシステム内に分散されてもよいことを理解すべきである。
【０１５４】
前述の開示は、理解を明確にするために幾分詳細に説明されてきたが、ある変更及び修正が添付の特許請求の範囲内で実施され得ることは明らかであろう。従って、本実施形態は例示的であって限定的ではないと見なされるべきであり、本開示は、本明細書に与えられた詳細事項に限定されるものではなく、本開示の範囲及び均等物の範囲内で修正され得る。
【図１】
2019526104.tif 000003
【図２Ａ−１】
2019526104.tif 000004
【図２Ａ−２】
2019526104.tif 000005
【図２Ｂ】
2019526104.tif 000006
【図３】
2019526104.tif 000007
【図４】
2019526104.tif 000008
【図５】
2019526104.tif 000009
【図６】
2019526104.tif 000010
【図７Ａ】
2019526104.tif 000011
【図７Ｂ】
2019526104.tif 000012
【図８Ａ】
2019526104.tif 000013
【図８Ｂ】
2019526104.tif 000014
【図８Ｃ】
2019526104.tif 000015
【図９】
2019526104.tif 000016
【図１０Ａ】
2019526104.tif 000017
【図１０Ｂ】
2019526104.tif 000018
【図１１】
2019526104.tif 000019
【図１２】
2019526104.tif 000020
【図１３】
2019526104.tif 000021
【国際調査報告】
2019526104.tif 000022
2019526104.tif 000023
2019526104.tif 000024
2019526104.tif 000025
2019526104.tif 000026