(57)【要約】      （修正有）【課題】ゲームプレイを移行する方法を提供する。【解決手段】方法は、ヘッドマウンテッドディスプレイ上に提示されているビデオゲームのゲームプレイを中断する信号を受信することと、信号の受信に応答して、ゲームプレイをアクティブ状態から一時停止状態に移行することと、を含み、ゲームプレイを移行することは、ゲームプレイの側面の強度を識別することと、一時停止状態に入る前にゲームプレイの側面の強度を漸進的に低下させることと、を含む。【選択図】図１
2018029968.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサと、少なくとも１つのディスプレイと、ゲームコンソールから受信したビデオストリームから画像を前記ディスプレイ上にレンダリングするビデオレンダラと、を備えるヘッドマウンテッドディスプレイデバイスにおいてゲームプレイを移行する方法であって、
プロセッサが、ビデオゲームのゲームプレイであって、ヘッドマウンテッドディスプレイに表示されているゲームプレイを中断する信号を受信することと、
プロセッサが、前記信号の受信に応答して、前記ゲームプレイをアクティブ状態から一時停止状態に移行することと、を含み、
前記ゲームプレイを移行することは、ゲームプレイの側面の強度を識別することと、前記一時停止状態に入る前に、前記ゲームプレイの側面の前記強度を漸進的に低下させることと、を含み、
前記ゲームプレイの側面の前記強度は、仮想要素の速度によって規定され、
前記ゲームプレイの側面の前記強度を漸進的に低下させることは、前記仮想要素の前記速度を漸進的に低下させることを含む、
ゲームプレイを移行する方法。
【請求項２】
仮想空間における前記仮想要素の位置が、前記ヘッドマウンテッドディスプレイに提示された前記仮想空間のビューであって、前記仮想要素の前記速度に従って変化する前記仮想空間のビューを規定する、請求項１に記載の方法。
【請求項３】
プロセッサが、前記ビデオゲームのゲームプレイを再開する信号を受信することと、
プロセッサが、ゲームプレイを再開する前記信号を受信することに応答して、前記ゲームプレイを前記一時停止状態から前記アクティブ状態に移行することと、をさらに含み、
前記ゲームプレイを前記一時停止状態から前記アクティブ状態に移行することは、前記ゲームプレイの側面の前記強度を漸進的に増加させることを含む、請求項１に記載の方法。
【請求項４】
前記ゲームプレイを前記一時停止状態から前記アクティブ状態に移行することは、前記ゲームプレイが一時停止されたゲームプレイ時点以前のゲームプレイ時点を識別することと、前記以前のゲームプレイ時点から、前記一時停止状態から前記アクティブ状態への移行を開始することと、を含む、請求項３に記載の方法。
【請求項５】
前記ビデオストリームは、無線接続を介して前記ゲームコンソールから受信される、請求項１に記載の方法。
【請求項６】
ユーザの視線が追跡され、前記ユーザが見ている領域が前記ビデオストリームにおいてより詳細に提供される、請求項１に記載の方法。
【請求項７】
ユーザがアクティブなゲームプレイに費やした時間量が増えるほど、前記ゲームプレイの側面の前記強度が変化する速度が増加する、請求項１に記載の方法。
【請求項８】
プロセッサと、少なくとも１つのディスプレイと、ゲームコンソールから受信したビデオストリームから画像を前記ディスプレイ上にレンダリングするビデオレンダラと、を備えるヘッドマウンテッドディスプレイデバイスにおいてゲームプレイを移行する方法であって、
プロセッサが、ビデオゲームのゲームプレイであって、ヘッドマウンテッドディスプレイに表示されているゲームプレイを中断する信号を受信することと、
プロセッサが、前記信号の受信に応答して、前記ゲームプレイをアクティブ状態から一時停止状態に移行することと、を含み、
前記ゲームプレイを移行することは、ゲームプレイの側面の強度を識別することと、前記一時停止状態に入る前に、前記ゲームプレイの側面の前記強度を漸進的に低下させることと、を含み、
前記ゲームプレイの側面の前記強度は、前記ヘッドマウンテッドディスプレイに提示された仮想要素の密度によって規定され、
前記ゲームプレイの側面の前記強度を漸進的に低下させることは、前記ヘッドマウンテッドディスプレイに提示された仮想要素の前記密度を漸進的に低下させることを含む、
ゲームプレイを移行する方法。
【請求項９】
プロセッサが、前記ビデオゲームのゲームプレイを再開する信号を受信することと、
プロセッサが、ゲームプレイを再開する前記信号を受信することに応答して、前記ゲームプレイを前記一時停止状態から前記アクティブ状態に移行することと、をさらに含み、
前記ゲームプレイを前記一時停止状態から前記アクティブ状態に移行することは、前記ゲームプレイの側面の前記強度を漸進的に増加させることを含む、請求項８に記載の方法。
【請求項１０】
前記ゲームプレイを前記一時停止状態から前記アクティブ状態に移行することは、前記ゲームプレイが一時停止されたゲームプレイ時点以前のゲームプレイ時点を識別することと、前記以前のゲームプレイ時点から、前記一時停止状態から前記アクティブ状態への移行を開始することと、を含む、請求項９に記載の方法。
【請求項１１】
前記ビデオストリームは、無線接続を介して前記ゲームコンソールから受信される、請求項８に記載の方法。
【請求項１２】
ユーザの視線が追跡され、前記ユーザが見ている領域が前記ビデオストリームにおいてより詳細に提供される、請求項８に記載の方法。
【請求項１３】
ユーザがアクティブなゲームプレイに費やした時間量が増えるほど、前記ゲームプレイの側面の前記強度が変化する速度が増加する、請求項８に記載の方法。
【請求項１４】
プロセッサと、少なくとも１つのディスプレイと、ゲームコンソールから受信したビデオストリームから画像を前記ディスプレイ上にレンダリングするビデオレンダラと、を備えるヘッドマウンテッドディスプレイデバイスにおいてゲームプレイを移行する方法であって、
プロセッサが、ビデオゲームのゲームプレイであって、ヘッドマウンテッドディスプレイに表示されているゲームプレイを中断する信号を受信することと、
プロセッサが、前記信号の受信に応答して、前記ゲームプレイをアクティブ状態から一時停止状態に移行することと、を含み、
前記ゲームプレイを移行することは、ゲームプレイの側面の強度を識別することと、前記一時停止状態に入る前に、前記ゲームプレイの側面の前記強度を漸進的に低下させることと、を含み、
前記ゲームプレイの側面の前記強度は、前記ヘッドマウンテッドディスプレイに提示されたグラフィックスの複雑さによって規定され、
前記ゲームプレイの側面の前記強度を漸進的に低下させることは、前記ヘッドマウンテッドディスプレイに提示された前記グラフィックスを漸進的に単純化することを含む、
ゲームプレイを移行する方法。
【請求項１５】
プロセッサが、前記ビデオゲームのゲームプレイを再開する信号を受信することと、
プロセッサが、ゲームプレイを再開する前記信号を受信することに応答して、前記ゲームプレイを前記一時停止状態から前記アクティブ状態に移行することと、をさらに含み、
前記ゲームプレイを前記一時停止状態から前記アクティブ状態に移行することは、前記ゲームプレイの側面の前記強度を漸進的に増加させることを含む、請求項１４に記載の方法。
【請求項１６】
前記ゲームプレイを前記一時停止状態から前記アクティブ状態に移行することは、前記ゲームプレイが一時停止されたゲームプレイ時点以前のゲームプレイ時点を識別することと、前記以前のゲームプレイ時点から、前記一時停止状態から前記アクティブ状態への移行を開始することと、を含む、請求項１５に記載の方法。
【請求項１７】
前記ビデオストリームは、無線接続を介して前記ゲームコンソールから受信される、請求項１４に記載の方法。
【請求項１８】
ユーザの視線が追跡され、前記ユーザが見ている領域が前記ビデオストリームにおいてより詳細に提供される、請求項１４に記載の方法。
【請求項１９】
ユーザがアクティブなゲームプレイに費やした時間量が増えるほど、前記ゲームプレイの側面の前記強度が変化する速度が増加する、請求項１４に記載の方法。
【請求項２０】
ゲームプレイを移行するプログラム命令を具体化させる非一時的コンピュータ可読媒体であって、前記プログラム命令は、
ビデオゲームのゲームプレイであって、ヘッドマウンテッドディスプレイに表示されたゲームプレイを中断する信号を受信するプログラム命令と、
前記信号を受信することに応答して、前記ゲームプレイをアクティブ状態から一時停止状態に移行するプログラム命令と、を含み、
前記ゲームプレイを移行することは、ゲームプレイの側面の強度を識別することと、前記一時停止状態に入る前に、前記ゲームプレイの側面の前記強度を漸進的に低下させることと、を含み、
前記ゲームプレイの側面の前記強度は、前記ヘッドマウンテッドディスプレイに提示されたグラフィックスの複雑さによって規定され、
前記ゲームプレイの側面の前記強度を漸進的に低下させることは、前記ヘッドマウンテッドディスプレイに提示された前記グラフィックスを漸進的に単純化することを含む、
非一時的コンピュータ可読媒体。
【請求項２１】
前記ビデオゲームのゲームプレイを再開する信号を受信するプログラム命令と、
ゲームプレイを再開する前記信号を受信することに応答して、前記ゲームプレイを前記一時停止状態から前記アクティブ状態に移行するプログラム命令と、をさらに含み、
前記ゲームプレイを前記一時停止状態から前記アクティブ状態に移行することは、前記ゲームプレイの側面の前記強度を漸進的に増加させることを含む、請求項２０に記載の非一時的コンピュータ可読媒体。
【請求項２２】
前記ゲームプレイを前記一時停止状態から前記アクティブ状態に移行することは、前記ゲームプレイが一時停止されたゲームプレイ時点以前のゲームプレイ時点を識別することと、前記以前のゲームプレイ時点から、前記一時停止状態から前記アクティブ状態への移行を開始することと、を含む、請求項２１に記載の非一時的コンピュータ可読媒体。
【請求項２３】
ユーザの視線が追跡され、前記ユーザが見ている領域がより詳細に提供される、請求項２０に記載の非一時的コンピュータ可読媒体。
【請求項２４】
ユーザがアクティブなゲームプレイに費やした時間量が増えるほど、前記ゲームプレイの側面の前記強度が変化する速度が増加する、請求項２０に記載の非一時的コンピュータ可読媒体。
【請求項２５】
プロセッサと、
少なくとも１つのディスプレイと、
ゲームコンソールから受信したビデオストリームから画像を前記ディスプレイ上にレンダリングするビデオレンダラと、
を備えるヘッドマウンテッドディスプレイデバイスであって、
前記ビデオストリームは、ビデオゲームのゲームプレイを、前記ゲームプレイを中断する信号に応答して、アクティブ状態から一時停止状態に移行することを含み、前記ゲームプレイの前記移行は、前記一時停止状態に入る前に、ゲームプレイの側面の強度の漸進的な低下を規定し、
前記ゲームプレイの側面の前記強度は、前記少なくとも１つのディスプレイに提示された仮想要素の密度によって規定され、
前記ゲームプレイの側面の前記強度の前記漸進的な低下は、前記ヘッドマウンテッドディスプレイに提示された仮想要素の前記密度の漸進的な低下を含む、
ヘッドマウンテッドディスプレイデバイス。
【請求項２６】
プロセッサが、前記ビデオゲームのゲームプレイを再開する信号を受信することと、
プロセッサが、ゲームプレイを再開する前記信号を受信することに応答して、前記ゲームプレイを前記一時停止状態から前記アクティブ状態に移行することと、をさらに含み、
前記ゲームプレイを前記一時停止状態から前記アクティブ状態に移行することは、前記ゲームプレイの側面の前記強度を漸進的に増加させることを含む、請求項２５に記載の方法。
【請求項２７】
前記ゲームプレイを前記一時停止状態から前記アクティブ状態に移行することは、前記ゲームプレイが一時停止されたゲームプレイ時点以前のゲームプレイ時点を識別することと、前記以前のゲームプレイ時点から、前記一時停止状態から前記アクティブ状態への移行を開始することと、を含む、請求項２６に記載の方法。
【請求項２８】
前記ビデオストリームは、無線接続を介して前記ゲームコンソールから受信される、請求項２５に記載の方法。
【請求項２９】
ユーザの視線が追跡され、前記ユーザが見ている領域が前記ビデオストリームにおいてより詳細に提供される、請求項２５に記載の方法。
【請求項３０】
ユーザがアクティブなゲームプレイに費やした時間量が増えるほど、前記ゲームプレイの側面の前記強度が変化する速度が増加する、請求項２５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ヘッドマウンテッドディスプレイ上でゲームプレイを移行する方法及びシステムに関する。
【背景技術】
【０００２】
ビデオゲーム業界では、ここ何年かの間に多くの変化があった。演算能力の拡大に応じて、ビデオゲーム開発者は、その演算能力の向上を利用するゲームソフトウェアを作成してきた。この目的のために、ビデオゲーム開発者は、非常にリアルなゲーム体験を生み出す高度な操作及び数学を組み込んだゲームをコーディングしてきた。
【０００３】
ゲームプラットフォームの例は、ソニープレイステーション（登録商標）、ソニープレイステーション２（登録商標）（ＰＳ２）、及び、ソニープレイステーション３（登録商標）（ＰＳ３）であってよく、それらはそれぞれ、ゲームコンソールの形で販売されている。周知のように、ゲームコンソールは、モニタ（通常は、テレビ）に接続して、ハンドヘルドコントローラを介してユーザインタラクションが可能なように設計されている。ゲームコンソールは、ＣＰＵ、インテンシブなグラフィック操作を処理するためのグラフィックスシンセサイザ、ジオメトリ変換を行うベクトルユニット、及び、他のグルーハードウェアを含む専用処理ハードウェア、ファームウェア、並びに、ソフトウェアで設計される。ゲームコンソールは、ゲームコンソールを介してローカルでプレイするためにゲームコンパクトディスクを受け入れる光ディスクトレイを有するように、さらに設計される。オンラインゲームも可能であり、オンラインゲームでは、ユーザは、インターネット経由でインタラクティブに、他のユーザと対戦したり、他のユーザと共にプレイしたりできる。ゲームの複雑さがプレイヤーの興味を引き付け続けるので、ゲームやハードウェアの製造者は、追加の双方向性及びコンピュータプログラムが可能になるように革新し続けてきた。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
コンピュータゲーム業界において増えている傾向は、ユーザとゲームシステムのインタラクションを増加させるゲームの開発である。より豊かな双方向体験を達成する１つの方法は、プレイヤーの動きを追跡し、その動きをゲームへの入力として用いるために、無線ゲームコントローラを使用して、ゲームコントローラの動きをゲームシステムが追跡することである。一般的に言うと、ジェスチャ入力は、プレイヤーが行い、電子デバイスが捕捉したジェスチャに、コンピュータシステム、ビデオゲームコンソール、スマート装置等の電子デバイスを反応させることを指す。
【０００５】
より没入型の双方向体験を達成する別の方法は、ヘッドマウンテッドディスプレイの使用である。ヘッドマウンテッドディスプレイは、ユーザが着用して、仮想空間のビュー等の様々なグラフィックスを提示するように構成することができる。ヘッドマウンテッドディスプレイ上に提示されたグラフィクスは、ユーザの視界の大部分または全てをカバーすることができる。よって、ヘッドマウンテッドディスプレイは、視覚的に没入型の体験をユーザに提供することができる。
【０００６】
同業界で増えている別の傾向は、クラウドベースのゲームシステムの開発を伴う。このようなシステムは遠隔処理サーバを含んでよく、遠隔処理サーバは、ゲームアプリケーションを実行し、ローカルシンクライアントと通信する。ローカルシンクライアントは、ユーザからの入力を受信し、ディスプレイにビデオをレンダリングするように構成することができる。
【０００７】
この文脈で発明の実施形態を記載する。
【課題を解決するための手段】
【０００８】
本発明の実施形態は、ビデオゲームのゲームプレイを移行する方法及びシステムを提供する。本発明は、コンピュータ可読媒体上でプロセス、装置、システム、デバイス、または、方法等の多くの手段で実施することができることは、理解されよう。本発明の幾つかの実施形態を以下に記載する。
【０００９】
一実施形態において、ゲームプレイを移行する方法を提供する。方法は、ヘッドマウンテッドディスプレイ上に提示されているビデオゲームのゲームプレイを中断する信号を受信することと、信号を受信したことに応答して、ゲームプレイをアクティブ状態から一時停止状態に移行することと、を含む。ゲームプレイの移行は、ゲームプレイの側面の強度を識別することと、一時停止状態に入る前に、ゲームプレイの側面の強度を漸進的に低下させることと、を含む。
【００１０】
一実施形態においては、ゲームプレイの側面の強度は、仮想要素の速度によって規定され、ゲームプレイの側面の強度を漸進的に低下させることは、仮想要素の速度を漸進的に低下させることを含む。
【００１１】
一実施形態においては、仮想空間における仮想要素の位置が、ヘッドマウンテッドディスプレイに提示される仮想空間のビューを規定し、仮想空間のビューは、仮想要素の速度に従って変化する。
【００１２】
一実施形態においては、ゲームプレイの側面の強度は、ヘッドマウンテッドディスプレイに提示される仮想要素の密度によって規定され、ゲームプレイの側面の強度を漸進的に低下させることは、ヘッドマウンテッドディスプレイに提示される仮想要素の密度を漸進的に低下させることを含む。
【００１３】
一実施形態においては、ゲームプレイの側面の強度は、ヘッドマウンテッドディスプレイに提示されるグラフィックスの複雑さによって規定され、ゲームプレイの側面の強度を漸進的に低下させることは、ヘッドマウンテッドディスプレイ上に提示されるグラフィックスを漸進的に単純にすることを含む。
【００１４】
一実施形態においては、方法は、ビデオゲームのゲームプレイを再開する信号を受信することと、ゲームプレイを再開する信号を受信したことに応答して、ゲームプレイを一時停止状態からアクティブ状態に移行することと、をさらに含み、ゲームプレイを一時停止状態からアクティブ状態に移行することは、ゲームプレイの側面の強度を漸進的に増加させることを含む。
【００１５】
一実施形態においては、ゲームプレイを一時停止状態からアクティブ状態に移行することは、ゲームプレイを一時停止したゲームプレイ時点以前のゲームプレイ時点を識別することと、一時停止状態からアクティブ状態への移行を当該以前のゲームプレイ時点から開始することと、を含む。
【００１６】
別の実施形態においては、ゲームプレイを移行するプログラム命令を具体化させる非一時的コンピュータ可読媒体を提供する。プログラム命令は、ビデオヘッドマウンテッドディスプレイに提示されているビデオゲームのゲームプレイを中断する信号を受信するプログラム命令と、信号を受信したことに応答して、ゲームプレイをアクティブ状態から一時停止状態に移行するプログラム命令と、を含み、ゲームプレイを移行することは、ゲームプレイの側面の強度を識別することと、一時停止状態に入る前に、ゲームプレイの側面の強度を漸進的に低下させることと、を含む。
【００１７】
別の実施形態においては、ゲームプレイを移行するロジックを有する少なくとも１つのコンピュータ装置を備えるシステムを提供する。ロジックは、ヘッドマウンテッドディスプレイに提示されているビデオゲームのゲームプレイを中断する信号を受信するロジックと、信号を受信したことに応答して、ゲームプレイをアクティブ状態から一時停止状態に移行するロジックと、を含み、ゲームプレイを移行することは、ゲームプレイの側面の強度を識別することと、一時停止状態に入る前に、ゲームプレイの側面の強度を漸進的に低下させることと、を含む。
【００１８】
発明の他の態様は、例を挙げて発明の原理を示す以下の詳細な記載を添付図面と共に、読むと明らかとなろう。
【図面の簡単な説明】
【００１９】
発明は、添付図面と共に以下の記載を参照することによってよく理解されよう。
【００２０】
【図１】発明の実施形態に係る、ビデオゲームの双方向ゲームプレイのシステムを示す図である。
【００２１】
【図２】発明の実施形態に係る、ヘッドマウンテッドディスプレイ（ＨＭＤ）を示す図である。
【００２２】
【図３】発明の実施形態に係る、実行中のビデオゲームに関連してＨＭＤの機能を概念的に示す図である。
【００２３】
【図４】発明の実施形態に係る、モバイルデバイスとペアリング設定のなされたヘッドマウンテッドディスプレイを装着しているユーザを示す図である。
【００２４】
【図５】発明の実施形態に係る、ユーザのゲームプレイを中断し得るオブジェクトを有する双方向環境を示す図である。
【００２５】
【図６Ａ−６Ｃ】発明の実施形態に係る、ＨＭＤに提示されたビデオゲームのビューを示す図である。
【００２６】
【図７Ａ−７Ｃ】発明の実施形態に係る、ＨＭＤに提示されたビデオゲームのビューを示す図である。
【００２７】
【図８Ａ−８Ｃ】発明の実施形態に係る、ＨＭＤに提示されたビデオゲームのビューを示す図である。
【００２８】
【図９Ａ−９Ｃ】発明の実施形態に係る、ＨＭＤに提示されたビデオゲームのビューを示す図である。
【００２９】
【図１０】発明の実施形態に係る、ゲームプレイの最大許容強度を時間の推移と共に示すグラフである。
【００３０】
【図１１】発明の実施形態に係る、２人の異なるユーザに関連付けられた最大強度を表す２つの曲線を示す図である。
【００３１】
【図１２】発明の実施形態に係る、ゲームプレイタイムラインに対する強度を示すグラフである。
【００３２】
【図１３】発明の実施形態に係る、ヘッドマウンテッドディスプレイのコンポーネントを示す図である。
【００３３】
【図１４】発明の様々な実施形態に係る、ゲームシステムのブロック図である。
【発明を実施するための形態】
【００３４】
以下の実施形態は、ヘッドマウンテッドディスプレイ上でゲームプレイを移行する方法と装置を記載する。
【００３５】
しかしながら、これらの具体的な詳細の一部または全てを用いずに、本発明を実施してよいことは当業者には明らかである。他の例においては、周知のプロセスの動作については、本発明を不必要に曖昧にしないために、詳細には記載しなかった。
【００３６】
図１は、発明の実施形態に係る、ビデオゲームの双方向ゲームプレイのシステムを示す。ヘッドマウンテッドディスプレイ（ＨＭＤ）１０２を装着しているユーザ１００が示されている。ＨＭＤ１０２は、眼鏡、ゴーグル、または、ヘルメットと同じように装着され、ビデオゲームまたは他のコンテンツをユーザ１００に表示するように構成される。ＨＭＤ１０２は、ユーザの眼のごく近くにディスプレイ機構を設けることによって、高度に没入型の体験をユーザに提供する。従って、ＨＭＤ１０２は、ユーザの各眼に、ユーザの視界の大部分または全体を占める表示領域を提供することができる。
【００３７】
一実施形態においては、ＨＭＤ１０２は、コンピュータ１０６に接続することができる。コンピュータ１０６への接続は、有線であっても無線であってもよい。コンピュータ１０６は、ゲームコンソール、パーソナルコンピュータ、ラップトップ、タブレットコンピュータ、モバイルデバイス、携帯電話、タブレット、シンクライアント、セットトップボックス、メディアストリーミングデバイス等を含むが、それらに限られない、当分野で既知の任意の汎用または専用コンピュータであってよい。一実施形態においては、コンピュータ１０６は、ビデオゲームを実行し、ＨＭＤ１０２でレンダリングするために、ビデオゲームからビデオ及び音声を出力するように構成することができる。
【００３８】
ユーザ１００は、コントローラ１０４を操作して、ビデオゲームに入力を行ってよい。さらに、カメラ１０８は、ユーザ１００がいる双方向環境の画像を撮影するように構成することができる。これらの撮影した画像を分析して、ユーザ１００、ＨＭＤ１０２、及び、コントローラ１０４の位置と動きを決定することができる。一実施形態においては、コントローラ１０４はライトを備え、そのライトを追跡してコントローラ１０４の位置と向きを決定することができる。さらに、以下に詳細に記載するように、ＨＭＤ１０２は、１つまたは複数のライトを備えてよく、そのライトを追跡してＨＭＤ１０２の位置と向きを決定することができる。カメラ１０８は、１つまたは複数のマイクロフォンを備えて、双方向環境からの音を捕捉することができる。マイクロフォンアレイが捕捉した音を処理して、音源の位置を識別してよい。識別された位置からの音を選択的に利用または処理して、識別した位置以外の他の音を除くことができる。さらに、カメラ１０８は、複数の撮像装置（例えば、ステレオペアカメラ）、ＩＲカメラ、デプスカメラ、及び、それらの組み合わせを含むように規定することができる。
【００３９】
別の実施形態においては、コンピュータ１０６は、クラウドゲームプロバイダ１１２とネットワークを介して通信するシンクライアントとして機能する。クラウドゲームプロバイダ１１２は、ユーザ１０２がプレイしているビデオゲームを維持、実行する。コンピュータ１０６は、ＨＭＤ１０２、コントローラ１０４、及び、カメラ１０８からの入力を、クラウドゲームプロバイダに送信し、クラウドゲームプロバイダは、その入力を処理して、実行中のビデオゲームのゲーム状態に影響を与える。ビデオデータ、オーディオデータ、及び、触覚フィードバックデータ等の実行中のビデオゲームからの出力は、コンピュータ１０６に送信される。コンピュータ１０６は、送信前にデータをさらに処理してもよく、または、データを関連する装置に直接送信してもよい。例えば、ビデオストリーム及びオーディオストリームは、ＨＭＤ１０２に提供され、振動フィードバックコマンドは、コントローラ１０４に提供される。
【００４０】
一実施形態においては、ＨＭＤ１０２、コントローラ１０４、及び、カメラ１０８は、それ自体、ネットワーク１１０に接続してクラウドゲームプロバイダ１１２と通信するネットワーク化された装置であってよい。例えば、コンピュータ１０６は、そうでなければ、ビデオゲーム処理を行わず、通路ネットワークトラフィックを促進するルータ等のローカルネットワーク装置であってよい。ＨＭＤ１０２、コントローラ１０４、及び、カメラ１０８のネットワークへの接続は、有線であっても無線であってもよい。
【００４１】
図２は、発明の実施形態に係る、ヘッドマウンテッドディスプレイ（ＨＭＤ）を示す。図に示すように、ＨＭＤ１０２は、複数のライト２００Ａ〜２００Ｈを備える。これらのライトはそれぞれ、特定の形を有するように構成されてよく、同じまたは異なる色を有するように構成することができる。ライト２００Ａ、２００Ｂ、２００Ｃ、２００Ｄは、ＨＭＤ１０２の前面に配置される。ライト２００Ｅ、２００Ｆは、ＨＭＤ１０２の側面に配置される。ライト２００Ｇ、２００Ｈは、ＨＭＤ１０２の前面と側面に及ぶように、ＨＭＤ１０２のコーナーに配置される。ライトは、ユーザがＨＭＤ１０２を使用する双方向環境を撮影した画像で識別できることは、理解されよう。ライトの識別及び追跡に基づいて、双方向環境におけるＨＭＤ１０２の位置と向きを決定することができる。それらのライトの一部は、撮像装置に対するＨＭＤ１０２の個々の向きに応じて、見える場合もあり、見えない場合もあることもさらに理解されよう。また、異なる部分のライト（例えば、ライト２００Ｇ、２００Ｈ）が、撮像装置に対するＨＭＤ１０２の向きに応じて、撮像のために露出されてよい。
【００４２】
一実施形態においては、ライトは、近くにいる他者に対してＨＭＤの現在の状態を示すように構成することができる。例えば、ライトの一部または全ては、一定の配色、強度の組み合わせを有するように構成されてよく、点滅、一定のオン／オフ構成、または、ＨＭＤ１０２の現在の状況を示す他の組み合わせを有するように構成されてよい。例を挙げると、ライトは、ビデオゲームのゲームプレイがアクティブな間（一般的に、ゲームプレイがアクティブタイムライン中またはゲームシーン内で行われている）と、メニューインタフェースのナビゲートまたはゲーム設定の構成等のビデオゲームの他の非アクティブなゲームプレイ態様（この間、ゲームのタイムラインまたはシーンは非アクティブまたは一時停止）とは、異なる構成を表示するように構成することができる。ライトは、ゲームプレイの相対強度レベルを示すように構成されてもよい。例えば、ゲームプレイの強度が増加すると、ライトの強度、または、点滅速度が増加してよい。こうすると、ユーザの外部の人は、ＨＭＤ１０２のライトを見て、ユーザが、積極的に強度の強いゲームプレイに没頭しており、今は邪魔されたくないであろうことを理解し得る。
【００４３】
ＨＭＤ１０２は、さらに、１つまたは複数のマイクロフォンを備えてよい。図示の実施形態においては、ＨＭＤ１０２は、ＨＭＤ１０２の前面に規定されたマイクロフォン２０４Ａ、２０４Ｂと、ＨＭＤ１０２の側面に規定されたマイクロフォン２０４Ｃとを備える。マイクロフォンアレイを利用することによって、各マイクロフォンからの音を処理して、音源の位置を決定することができる。この情報は、不要な音源を除くこと、音源を視覚的識別と関連付けることを含む、様々な方法で利用することができる。
【００４４】
ＨＭＤ１０２は、また、１つまたは複数の撮像装置も含んでよい。図示の実施形態においては、撮像装置２０２Ａ、２０２Ｂを備えるＨＭＤ１０２が示されている。ステレオペアの撮像装置を利用することによって、環境の三次元（３Ｄ）の画像及びビデオをＨＭＤ１０２の視点から撮影することができる。ＨＭＤ１０２を装着したユーザにこのようなビデオを提示して、ユーザに「ビデオシースルー」能力を提供することができる。すなわち、ユーザは、厳密な意味では、ＨＭＤ１０２を通して見ることはできないが、撮像装置２０２Ａ、２０２Ｂが撮影したビデオは、ＨＭＤ１０２を通して見るかのようにＨＭＤ１０２の外部の環境を見ることができるのと同等の機能を提供することができる。このようなビデオは、仮想要素を用いて拡張されて、拡張現実体験を提供することができる、または、他の方法においては、仮想要素と結合または融合させてもよい。図示の実施形態においては、２つのカメラは、ＨＭＤ１０２の前面に示されているが、任意の数の外向きのカメラをＨＭＤ１０２上に任意の向きで設置してよいことは理解されよう。例えば、別の実施形態においては、環境の追加のパノラマ画像を撮影するためにＨＭＤ１０２の側面に搭載されたカメラがあってよい。
【００４５】
図３は、発明の実施形態に係る、実行中のビデオゲームに関連してＨＭＤ１０２の機能を概念的に示す図である。実行中のビデオゲームは、入力を受信してビデオゲームのゲーム状態を更新するゲームエンジン３２０によって規定される。ビデオゲームのゲーム状態は、オブジェクトの存在及び位置、仮想環境の条件、イベントのトリガ、ユーザプロフィール、ビューの遠近等の、現在のゲームプレイの様々な側面を規定するビデオゲームの様々なパラメータの値によって少なくとも部分的に規定することができる。
【００４６】
図示の実施形態においては、ゲームエンジンは、例として、コントローラ入力３１４、オーディオ入力３１６、及び、動作入力３１８を受信する。コントローラ入力３１４は、コントローラ１０４等の、ＨＭＤ１０２とは別個のゲームコントローラの操作から規定されてよい。例として、コントローラ入力３１４は、方向入力、ボタンの押し下げ、トリガ起動、動き、または、ゲームコントローラの操作から処理される他の種類の入力を含んでよい。オーディオ入力３１６は、ＨＭＤ１０２のマイクロフォン３０２、または、撮像装置１０８に含まれるマイクロフォンから処理できる。動作入力２１８は、ＨＭＤ１０２に含まれる動作センサ３００、または、撮像装置１０８がＨＭＤ１０２の画像を撮影すると撮像装置１０８から処理できる。ゲームエンジン３２０は、入力を受信し、入力は、ゲームエンジンの構成に従って処理されて、ビデオゲームのゲーム状態を更新する。ゲームエンジン３２０は、ゲーム状態データを様々なレンダリングモジュールに出力し、レンダリングモジュールは、ゲーム状態データを処理して、ユーザに提示するコンテンツを規定する。
【００４７】
図示の実施形態においては、ビデオレンダリングモジュール３２２は、ＨＭＤ１０２に提示するためのビデオストリームをレンダリングすると規定される。ビデオストリームは、ディスプレイ／プロジェクタ機構３１０によって提示され、ユーザの眼３０６によってオプティクス３０８を介して見られてよい。オーディオレンダリングモジュール３０４は、ユーザが聞くために、オーディオストリームをレンダリングするように構成される。一実施形態においては、オーディオストリームは、ＨＭＤ１０２に関連付けられたスピーカ３０４を介して出力される。スピーカ３０４は、オープンエアスピーカ、ヘッドフォーン、または、音声を出すことができる任意の他の種類のスピーカの形をとってよいことは、理解されたい。
【００４８】
一実施形態においては、視線追跡カメラ３１２が、ユーザの視線を追跡できるようにＨＭＤ１０２に備えられている。視線追跡カメラは、ユーザの眼の画像を撮影し、その画像は分析されて、ユーザの視線方向が決定される。一実施形態においては、ユーザの視線方向に関する情報を利用して、ビデオレンダリングに影響を与えることができる。例えば、ユーザの眼が特定の方向を見ていると決定されると、ユーザが見ている領域をより詳細に提供またはより速く更新することによって、その方向のビデオレンダリングを優先または強調することができる。
【００４９】
さらに、触覚フィードバックモジュール３２６は、ＨＭＤ１０２またはコントローラ１０４等、ユーザが操作する別の装置に備えられた触覚フィードバックハードウェアに信号を供給するように構成される。触覚フィードバックは、振動フィードバック、温度フィードバック、圧力フィードバック等、様々な種類の触感の形態をとってよい。
【００５０】
図４は、発明の実施形態に係る、モバイルデバイスとペアリング設定をなされているヘッドマウンテッドディスプレイを装着したユーザを示す。図示の実施形態においては、モバイルデバイス４００は携帯電話であってよいが、他の実施形態においては、モバイルデバイスは、他の装置とペアリングし得る任意の他の種類のポータブルデバイスであってよい。さらに、モバイルデバイスは、ＨＭＤ１０２と直接、ペアリングされてもよく、または、ビデオデータ及び／またはオーディオデータを提示のためにＨＭＤ１０２に通信するコンピュータ１０６等のコンピュータとペアリングされてもよい。具体的な構成に関わらず、モバイルデバイス４００をペアリングする結果、モバイルデバイス４００の特徴（電話の呼び出しの送信及び受信、連絡先の閲覧、音声入力／命令の提供等）にＨＭＤ１０２からアクセスできるようになる。
【００５１】
参照番号４１０において、モバイルデバイス４００が着信を受けた時、ＨＭＤ１０２がユーザ１００に提供するビューが示されている。図に示すように、着信を示すメッセージがユーザのゲームプレイが規定される仮想シーン上に重ね合わせられて、ユーザに提示される。一実施形態においては、ユーザは、コントローラ１０４の特定のボタンを押すことによって、着信に応答するか拒絶するかを示してよい。別の実施形態においては、ＨＭＤ１０２は、同様の方法で利用できる１つまたは複数のボタンを含む。ユーザが着信に応答すると、参照番号４１２に示すように、ビデオシースルー部分４１４をＨＭＤ１０２が提供するビュー内に示す。ビデオシースルー部分４１４は、ＨＭＤ１０２の外部に向いているカメラからのビデオフィードを仮想環境の既存の表示に組み合わせることによって提供される。さらに、ビデオゲームは、ユーザ１００が着信に応答すると、一時停止されてよい。
【００５２】
図示の実施形態においては、表示されたビューの下部はビデオフィードを提示し、表示されたビューの上部は、仮想環境を示したままである。しかしながら、他の実施形態においては、ビデオシースルー部分は、ビュー全体を含む表示されたビューの任意の領域または向きで構成することができる。ビデオシースルーは、任意の他のコンテンツを入れないで示すことができる。または、別の実施形態においては、ビデオシースルーは、仮想空間の既存のビューと組み合わせることができる。一実施形態においては、仮想空間のビューを部分的に透明にする、または、明度を低下させ、ビデオシースルーを仮想空間ビューの少なくとも一部に重ね合わせる、または、組み合せる。電話が終わると、参照番号４１６に示すように、ビデオシースルー部分は取り除かれて、仮想空間ビューを回復する。
【００５３】
ビデオシースルー部分４１４を提供することによって、ユーザは、モバイルデバイス４００を見ることができる。これによって、ユーザ１００は、ＨＭＤ１０２を取り外すことなしに、モバイルデバイス４００に与えられた機能にアクセスすることができる。例として、ユーザ１００は、音量の調節、呼び出し音を消音にする、モバイルデバイスの他のアプリケーションにアクセスする等の、モバイルデバイスの機能にアクセスしたい場合がある。本実施形態は着信電話に関連して記載するが、類似の概念は、モバイルデバイスを介した他の種類の通信に対しても考えられる。例えば、テキストメッセージ、電子メール、または、他のアラートの受信が、ＨＭＤ１０２が提供するビューへのメッセージの表示をトリガして、ユーザにその通信を知らせてよい。そして、その通信の受領、または、ユーザ１００の肯定的な応答を示すものに応えて、頭からＨＭＤ１０２を取り外す必要なく、ユーザ１００がモバイルデバイスを見て、その機能にアクセスするように、ビデオシースルーを提供してよい。
【００５４】
図５は、発明の実施形態に係る、ユーザのゲームプレイを中断し得るオブジェクトを有する双方向環境を示す。例えば、ユーザ１００がＨＭＤ１０２に表示されたビデオゲームのゲームプレイを行っている時、人５００が、ユーザ１００の近くで話す場合がある。一実施形態においては、ユーザ１００は、話している人５００の存在を知らされてよい。人５００の位置は、ＨＭＤ１０２及び／または撮像装置１０８によって捕捉されたオーディオデータ及び／または画像データを利用して、音源位置特定及び／または画像認識に基づいて識別することができる。一実施形態においては、音声認識技術または画像認識技術を利用して、人５００が誰であるかを決定することができる。ユーザが、話している人５００の存在を知らされる時、ビデオシースルーモードが起動され、ＨＭＤ１０２上に少なくとも部分的に表示されて、ＨＭＤ１０２を取り外すことなく、ユーザ１００は人５００を見ることができる。
【００５５】
図５には、テーブル５０２も示されている。一実施形態においては、ユーザ１００は、テーブル５０２等のオブジェクトに近づきすぎて、ぶつかる危険がある場合、警告を受けることができる。アラートは、ＨＭＤ１０２を介してユーザに表示することができ、ビデオシースルーモードを起動させて、ユーザ１００は、テーブル５０２等の自分の近くにある外部のオブジェクトを見ることができる。ユーザ１００のローカル環境にあるオブジェクトは、ＨＭＤ１０２または別個の撮像装置１０８によって撮影された画像の画像分析に基づいてマッピングすることができる。環境の複数のビューを処理して、ユーザの近くのオブジェクトの三次元マッピングを規定することができる。さらに、ＨＭＤ１０２及び／または撮像装置１０８は、ローカル環境の奥行情報を捕捉するデプスカメラを備えることができる。奥行情報は、ユーザの近くのオブジェクトの上記三次元マッピングの規定を支援して、分析することができる。
【００５６】
ヘッドマウンテッドディスプレイは、１つには、ユーザの視界の全てではなくても大部分を含む表示を提供することができるので、高度に没入型の体験を提供することができる。従って、ユーザは、ユーザ自身が実際に動いていなくても、見ているものによって、動き、加速、方向転換、及び、他の種類の物理特性の感覚を体験することができる。ヘッドマウンテッドディスプレイは、高度に没入型の体験をユーザに提供することができるので、（おそらく、高レベルの動きまたはオブジェクトの高密度によって特徴付けられる）高強度のシーンの視聴から、停止したシーン（ゲームの一時停止時等）または、全く異なるシーンの視聴に突然移行することによって、ユーザの方向感覚を失わせる可能性がある。以下の図において、高強度から低強度にゲームプレイを移行させて、移行によって生じるユーザの方向感覚喪失を最小限にするようにビデオゲームのゲームプレイの強度を漸進的に低下させる幾つかの実施例を提供する。
【００５７】
図６Ａは、ＨＭＤに提示された、キャラクタが走っているビデオゲームシーンのビューを示す。キャラクタは走っているので、（仮想視点によって画定される）表示されるシーンは、キャラクタに従って移動し、ビューはＨＭＤを通して見ているユーザにこの移動の感覚を提供する。しかしながら、別の人が、ユーザの近くで話しているのが識別された。誰かが話していることを示すメッセージが示され、ゲームプレイを一時停止するオプションが提示される。ユーザがゲームプレイを一時停止することを選ぶ場合、図６Ｂに示すようにキャラクタの動きは、漸進的にゆっくりになって、停止する。
【００５８】
一実施形態においては、ビデオシースルー部分は、他の人が位置する方向からユーザのビュー内に開かれる。前述のように、他の人の位置は、音の位置特定と画像分析／認識に基づいて決定することができる。図６Ｃに示すように、ビデオシースルー部分は、話している他者が現れるように、ビューの右側から開かれる。
【００５９】
図７Ａは、発明の実施形態に係る、ＨＭＤを通して提示されるビデオゲームのビューを示す。図７Ａに示すビューにおいて、ユーザは、バスケットボールゲームをしていて、得点したところである。例として、ユーザがバスケットボールショットのクリップをソーシャルネットワーク上で共有するためのオプションを提示する。しかしながら、バスケットボールビデオゲームのゲームプレイは、多くのプレイヤーがバスケットボールコートで同時に動いており、ゲーム強度が高くなり得る。従って、ユーザが示唆されたように前のショットの共有を選択すると、ゲームプレイの強度を漸進的に低下させる。例としては、バスケットボールゲームの文脈においては、プレイヤーの動きを止めてよい、または、プレイヤーをシーンから取り除いてよく、そうして、視覚的な要素を単純化してよい、または、シーンから取り除いてもよい。図７Ｂに示すように、プレイヤーは、動きを止め、プレイヤーの１人や床のマーク等、一定の視覚的要素がシーンから取り除かれている。このようにして、シーンを単純化して、ゲームプレイから離れる方に移行する前にゲームの強度を低下させる。
【００６０】
ゲームプレイの強度が低下した後、図７Ｃに示すように、共有するバスケットボールショットのビデオクリップの開始点と終了点を選択するためのインタフェースが提示される。
【００６１】
図８Ａ、８Ｂ、８Ｃは、発明の実施形態に係る、カーレースゲームのビューを示す。図８Ａにおいて、ユーザは、ビデオゲームの文脈で、高速度で車を運転している。ゲームから離れる方に移行する前に、図８Ｂに示すように、車の速度を落とす。そして、図８Ｃに示すように、車は止まる。従って、シーンの表示が取り除かれる前に、または、ユーザがＨＭＤで別のシーンを見る前に、車は停車状態になる。
【００６２】
図９Ａ、９Ｂ、９Ｃは、発明の実施形態に係る、仮想シーンのビューを示す。図９Ａにおいて、オブジェクト（例えば、木々）の密度が高い丘陵のシーンが示されている。このシーンから移行する前に、図９Ｂに示すように、シーン内のオブジェクトの密度を低下させ、シーンの提示を単純にする。さらに、地形の丘陵性を低下させる。図９Ｃで、全てのオブジェクトがシーンから取り除かれ、地形はさらに単純化されてほぼ平坦な地形になっている。このように、ユーザに提示されるグラフィックスは、仮想シーンから移行する前に単純化されている。
【００６３】
上記実施例で示すように、ゲームのゲームプレイ強度を低下させることは、ビデオゲームの様々な側面に関連付けることができる。上記実施形態は、オブジェクトの速度や密度等の側面に関して一般的に記載した。しかしながら、ゲームプレイの全体的な強度に寄与するゲームプレイの他の側面は、移行時、同様に漸進的な方法で低下させることができると考えている。例えば、速度の変化（加速度）、密度の変化、音（例えば、密度、音量、一定の周波数範囲の振幅、経時的なばらつき）、色（例えば、彩度、明度）、コントラスト、明るさ、透明度、グラフィクスの複雑さ等の側面は、一時停止状態または他の動作状態に移る前に、全て、調整して、ビデオゲームの強度を低下させることができる。
【００６４】
ＨＭＤ上に提供される没入型体験からの突然の移行は、方向感覚を失わせる場合があるので、没入型体験への突然の移行でも同様の事が起こり得る。よって、ゲームプレイの強度は、アクティブなゲームプレイを開始する時、漸進的に強くすることができる。
【００６５】
図１０は、本発明の実施形態に係る、ゲームプレイの最大許容強度を時間の経過と共に示すグラフである。時刻ｔ０で、ゲームプレイを開始し、ゲームプレイの最大許容強度は漸進的に高められ、時刻ｔ１で規定された上限に達する。従って、ユーザが体験する実際のゲームプレイ強度は、ユーザのゲームプレイの具体的な性質に応じて、この期間中、漸進的に増加してよい。一実施形態においては、ユーザの側で、最大許容強度未満のゲームプレイ強度になるゲームプレイアクションは、許可されてよく、最大許容強度を超えるゲームプレイ強度になるゲームプレイアクションは、その時刻に対して規定された最大許容強度に制限、または、下方制御される。別の実施形態においては、ゲームプレイアクションの結果として生じるゲームプレイ強度は、その時刻に対して規定された最大許容強度に適合するようにスケーリングされる。ゲームプレイ強度を最大許容強度に適合するようにスケーリングすることによって、線形のスケーリング関係または何らかの他の非線形スケーリング関係を規定することができることは理解されたい。この点に関して、一実施形態においては、最大許容強度は、倍率をゲームプレイアクションから生じるゲームプレイ強度に適用することによって規定される。
【００６６】
幾つかの数値例の説明は、上記関係を示すのに役立つ。例えば、ゲームプレイアクティビティの結果、１〜１０の範囲の数値を有するゲームプレイ強度となり、最大許容強度が５の場合、一実施形態においては、１〜５の範囲のゲームプレイ強度は許可されるが、５〜１０の範囲のゲームプレイ強度は、最大許容強度、すなわち、５に調整される。別の実施形態においては、０．５のスカラー因子を全てのゲームプレイ強度に適用して、１〜１０のゲームプレイ強度範囲を１〜５の範囲に有効に低下させ、そうすることによって最大許容強度も規定する。上記数値例は、単に例として提供したことは理解されたい。様々な実施形態において、スカラー因子は、ゲームプレイの何らかの側面の有効なゲームプレイ強度を規定するように、ゼロから１の範囲であってよい、または、パーセンテージで表されてよく、０％〜１００％の範囲であってよい。スカラー因子は、ユーザの体験レベル等の様々な因子に応じて、上方または下方に調整できることは、理解されよう。
【００６７】
図１０を引き続き参照すると、最大許容強度の上限は、時刻ｔ１から時刻ｔ２まで維持され、時刻ｔ２で、ゲームプレイの中断が生じ、ゲームプレイを一時停止するコマンドが受信される。この時点で、ゲームプレイの一時停止状態に入る前に、最大許容強度は漸進的に低下させられ、時刻ｔ３でゼロになる。これは、ゲームプレイの実際の強度をゼロに低下させる効果がある。例としては、時刻ｔ３とｔ４の間、ビデオゲームは、一時停止状態にあってよい。時刻ｔ４で、ゲームプレイは再開され、最大許容強度も再び増加させる。時刻ｔ５で、最大強度レベルは、再び、上限に達する。
【００６８】
所与のビデオゲームの文脈に適用して、ゲームプレイの強度または最大許容強度を漸進的に増加または低下させることによって、ユーザが体験する様々な効果を生じることができる。例えば、ユーザは、動作入力等の所与の入力、または、ジョイスティックやボタンの作動等のコントローラ入力の感度が徐々に増加または低下するのを体験し得る。あるいは、加速度、減速度、速度、または、方向の変化の感覚を生じる、ＨＭＤを介してユーザに提供されるビューの変化は、漸進的に増減してよく、その結果、これらの感覚も対応して増減する。
【００６９】
経時的に規定された最大許容強度は、上記のように、ユーザに対する最大強度包絡線を規定する。上記の最大強度包絡線の提供によって、ユーザは、ゲームプレイの強度及び没入型性質に徐々に及び漸進的に慣れることができることを理解されたい。これは、アクティブなゲームプレイに移行したり、アクティブなゲームプレイから移行するときに、ユーザが方向感覚喪失、めまい等の不快な感覚を避ける助けになる。
【００７０】
一実施形態においては、ゲームプレイ強度は、アクティブなゲームプレイの前または最中に、ユーザが手動で調整することができる。ゲームプレイ強度の調整は、ユーザからの対応するコマンドに応答して、増減することができるユーザが調整可能な設定によって規定することができる。ボタン、音声コマンド、ジェスチャ等を含む、設定を調整する任意の種類のコマンドインタフェースを採用することができることは理解されよう。さらに、ユーザが調整可能な設定は、上記最大許容強度及び倍率等のゲームプレイ強度のプロパティ、または、ゲームプレイ全体の強度をユーザのために有効に増減可能なゲームプレイ強度の他のプロパティ、のパラメータによって規定することができる。
【００７１】
ゲームプレイ強度は、ゲームの文脈に従ってゲームによって規定することができ、かつ、ゲームプレイの様々な側面の任意の側面に影響を与えるようにさらに規定されてよいことは、理解されよう。さらに、ゲームの異なる部分の間、ゲームプレイ強度は、ゲームの当該異なる部分の間に関連のある異なる側面によって規定することができる。例えば、一実施形態においては、強度は、ゲームのキャラクタ（例えば、ユーザのキャラクタ、敵のキャラクタ、ボスキャラクタ等）が加えた、または、受けたダメージの量として規定してよい。従って、ユーザがゲームプレイに移行またはゲームプレイから移行すると、ユーザのキャラクタは、別のキャラクタにダメージを与え、別のキャラクタからダメージを受けてよいが、与えた／受けたダメージの量は、移行中、低下させてよい。こうすると、ユーザのキャラクタは、戦いの途中で一時停止状態に移行したり、一時停止状態から移行する時、あまりにも急に死ぬことはない。
【００７２】
ゲームプレイ強度は、ゲームプレイの様々な調整可能な側面の任意の側面によって規定されてよく、これらの側面には、与えるダメージの量、攻撃または武器の強さ、利用するエネルギーまたはリソースの量、消耗する健康の量、難しさのレベル、アクションの頻度、アクションの有効性等を含むが、これらに限定されないことは理解されたい。ゲームプレイ強度への変化によって影響されるゲームプレイの具体的な側面は、所与のゲーム、及び、ゲームプレイ強度を変化させた時点で行われているゲームプレイアクティビティに文脈的に固有であってよい。
【００７３】
図１１は、発明の実施形態に係る、２人の異なるユーザに関連付けられた最大強度の２つの曲線を示す。曲線１１００は、経験豊富なユーザの最大強度レベルを示し、曲線１１０２は、経験の少ないユーザの最大強度レベルを示す。図から分かるように、経験豊富なユーザの最大強度レベルは、経験の少ないユーザの最大強度レベルより、速く漸進的に増加し、低下する。これは、経験豊富なユーザは、ゲームプレイの高い強度と低い強度との間のより速い移行により良く対処できるという事実を反映している。さらに、図示の実施形態においては、経験豊富なユーザの曲線１１００は、曲線１１０２の上限より高くなっている。しかしながら、別の実施形態においては、経験の少ないユーザに関連付けられた曲線１１０２は、より徐々にではあるが、同じ上限に達してよい。
【００７４】
一実施形態においては、様々なユーザは、関連するユーザプロフィールを有してよい。ユーザプロフィールは、アクティブなゲームプレイに移行、及び、アクティブなゲームプレイから移行する時、ユーザがゲームプレイの強度を増減してよい速度と、ゲームプレイ強度の上限と、を規定する。上記のように、これらのパラメータは、ゲームプレイの強度に適用されるスカラー因子によって規定することができる。一実施形態においては、ユーザがビデオゲームシステムにログインすると、ユーザのプロフィールにアクセスして、ユーザに提示されるゲームプレイ強度を規定する。さらに、プロフィールは、ユーザの体験、及び、ユーザ定義の設定に基づいてよいことに留意する。ユーザの経験は、ユーザがビデオゲームをする、またはＨＭＤを使用する、のに費やした時間量、及び、このようなゲームプレイがどれくらい最近であるかに基づいてよい。一実施形態においては、アクティブなゲームプレイに費やした時間量が増えるほど、ユーザがゲームプレイ強度を変化（増加または低下）させてよい速度は増加する。一実施形態においては、この速度は、ユーザの前回のゲームプレイセッション以降の時間量が一定の閾値を超える場合、低下するように構成されてよい。さらに、閾値時間を超えると、前回のセッション以降の時間が増加するほど、速度は、さらに低下してよい。このように、しばらくの間、アクティブなゲームプレイを行わなかったユーザは、前回のセッション中と同じ速度の強度変化は受けなくてよく、ゲームプレイの強度により徐々に慣れることが認められる。
【００７５】
図１２は、本発明の実施形態に係る、ゲームプレイのタイムラインに対する強度を示すグラフである。ゲームプレイのタイムラインに亘るユーザのゲームプレイ強度を示す。ユーザのゲームプレイ強度は、曲線１２００に従って低下し、ゲームプレイのタイムラインに沿って参照番号１２０４で停止する。しかしながら、ゲームプレイを再開すると、ゲームプレイは、参照番号１２０６で示す、ゲームプレイタイムラインの以前の時点から開始される。このように、ユーザがアクティブなゲームプレイの再開を決めると、ユーザがビデオゲームのゲームプレイに再度入るための文脈が与えられる。
【００７６】
本明細書に記載の様々な実施形態は、ヘッドマウンテッドディスプレイデバイスに提示されるビデオゲームに関して記載した。しかしながら、他の実施形態に従って、このように記載した原理及び方法も、他の種類のインタラクティブアプリケーションの文脈、並びに、テレビ及びインタラクティブアプリケーションを提示可能な他の種類のディスプレイを含むがそれに限定されない他の種類の装置への提示の文脈にも適用してよいことは、理解されよう。
【００７７】
図１３を参照すると、本発明の実施形態に係る、ヘッドマウンテッドディスプレイ１０２のコンポーネントを表す図が示されている。ヘッドマウンテッドディスプレイ１０２は、プログラム命令を実行するプロセッサ１３００を備える。メモリ１３０２が記憶のために提供され、メモリ１３０２は、揮発性及び不揮発性のメモリの両方を含んでよい。ユーザが見ることが可能な視覚的インタフェースを提供するディスプレイ１３０４を備える。バッテリ１３０６が、ヘッドマウンテッドディスプレイ１０２の電源として備えられる。動作検出モジュール１３０８は、磁力計１３１０、加速度計１３１２、及び、ジャイロスコープ１３１４等の様々な種類の動作検知ハードウェアのうちの任意のハードウェアを備えてよい。
【００７８】
加速度計は、加速度と、重力によって引き起こされた反力を測定する装置である。１つまたは複数の軸モデルが、異なる方向の加速度の大きさ及び方向の検出に利用できる。加速度計を用いて、傾き、振動、及び、衝撃を感知する。一実施形態においては、３つの加速度計１３１２を用いて、２つの角度（ワールド空間のピッチ角とワールド空間のロール角）に絶対参照を与える重力の方向を提供する。
【００７９】
磁力計は、ヘッドマウンテッドディスプレイの近くの磁場の強さと方向を測定する。一実施形態においては、３つの磁力計１３１０をヘッドマウンテッドディスプレイ内で用いて、ワールド空間のヨー角に対する絶対参照を確保する。一実施形態においては、磁力計は、±８０マイクロテスラである地球の磁場に及ぶように設計される。磁力計は、金属の影響を受け、実際のヨーに対して単調なヨー測定を提供する。磁場は、環境に金属があるとゆがむ可能性があり、ヨー測定でゆがみをもたらす。必要に応じて、このゆがみは、ジャイロスコープまたはカメラ等の他のセンサからの情報を用いて較正することができる。一実施形態においては、加速度計１３１２を磁力計１３１０と共に用いて、ヘッドマウンテッドディスプレイ１０２の傾きと方位角を取得する。
【００８０】
ジャイロスコープは、角運動量の原理に基づいて、向きを測定または維持する装置である。一実施形態においては、３つのジャイロスコープ１３１４が、慣性感知に基づいて、各軸（ｘ、ｙ、ｚ）に関する動きの情報を提供する。ジャイロスコープは、速い回転の検出を支援する。しかしながら、ジャイロスコープは、絶対参照が存在しなければ、時間と共にドリフトし得る。これは、ジャイロスコープの周期的なリセットを必要とし、リセットは、オブジェクトの視覚的追跡、加速度計、磁力計等に基づいた位置／向きの決定等、他の入手可能な情報を用いて行うことができる。
【００８１】
カメラ１３１６が、実環境の画像及び画像ストリームを撮影するために備えられている。後ろ向き（ユーザがヘッドマウンテッドディスプレイ１０２の表示を見ている時、ユーザから離れる方向）のカメラと、前向き（ユーザがヘッドマウンテッドディスプレイ１０２の表示を見ている時、ユーザの方に向かう方向）のカメラを含む複数のカメラをヘッドマウンテッドディスプレイ１０２に備えてよい。さらに、デプスカメラ１３１８が、実環境のオブジェクトの奥行情報を感知するためにヘッドマウンテッドディスプレイ１０２に備えられてよい。
【００８２】
ヘッドマウンテッドディスプレイ１０２は、音声出力を行うスピーカ１３２０を備える。また、実環境から、周囲環境の音、ユーザの発話等を含む、音声を捕捉するためにマイクロフォン１３２２を備えてよい。ヘッドマウンテッドディスプレイ１０２は、触覚フィードバックをユーザに提供する触覚フィードバックモジュール１３２４を備える。一実施形態においては、触覚フィードバックモジュール１３２４は、触覚フィードバックをユーザに提供するように、ヘッドマウンテッドディスプレイ１０２の動き、及び／または、振動を引き起こすことができる。
【００８３】
ＬＥＤ１３２６は、ヘッドマウンテッドディスプレイ１０２の状態を視覚的に示すものとして備えられている。例えば、ＬＥＤは、バッテリレベル、電源オン等を示してよい。カードリーダ１３２８は、ヘッドマウンテッドディスプレイ１０２がメモリーカードから情報を読み取ったり、メモリーカードに情報を書き込んだりできるように備えられている。ＵＳＢインタフェース１３３０は、周辺装置の接続、または、他のポータブルデバイス、コンピュータ等の他の装置への接続を可能にするインタフェースの一例として、備えられている。ヘッドマウンテッドディスプレイ１０２の様々な実施形態において、様々な種類のインタフェースのうちの任意のインタフェースをヘッドマウンテッドディスプレイ１０２の接続性を向上させるために、備えてよい。
【００８４】
ＷｉＦｉ（登録商標）モジュール１３３２は、無線ネットワーク技術を介してインターネットへの接続を可能にするために備えられる。また、ヘッドマウンテッドディスプレイ１０２は、他の装置への無線接続を可能にするブルートゥース（登録商標）モジュール１３３４を備える。通信リンク１３３６が、他の装置への接続のために含まれてもよい。一実施形態においては、通信リンク１３３６は、無線通信のために赤外線伝送を利用する。他の実施形態においては、通信リンク１３３６は、他の装置との通信のために、様々な無線または有線の送信プロトコルのうちの任意のプロトコルを利用してよい。
【００８５】
入力ボタン／センサ１３３８は、入力インタフェースをユーザに提供するために備えられている。ボタン、タッチパッド、ジョイスティック、トラックボール等の様々な種類の入力インタフェースの任意のインタフェースを備えてよい。超音波技術を介した他の装置との通信を容易にするために、超音波通信モジュール１３４０をヘッドマウンテッドディスプレイ１０２に備えてよい。
【００８６】
バイオセンサ１３４２が、ユーザから生理学的データの検出を可能にするために備えられている。一実施形態においては、バイオセンサ１３４２は、ユーザの皮膚を通してユーザの生体電気信号を検出するために１つまたは複数のドライ電極を備える。
【００８７】
ヘッドマウンテッドディスプレイ１０２の上記コンポーネントは、ヘッドマウンテッドディスプレイ１０２に備えられてよい単に例示のコンポーネントとして記載した。本発明の様々な実施形態において、ヘッドマウンテッドディスプレイ１０２は、様々な上記コンポーネントの一部を備えてもよく、備えなくてもよい。ヘッドマウンテッドディスプレイ１０２の実施形態は、本明細書に記載の本発明の態様を容易にするために、ここに記載していないが当分野では既知の他コンポーネントをさらに備えてよい。
【００８８】
発明の様々な実施形態において、上記ハンドヘルドデバイスは、様々なインタラクティブ機能を提供するためにディスプレイに表示されたインタラクティブアプリケーションと共に利用されてよいことを、当業者は理解されよう。本明細書に記載の例示の実施形態は、例として記載しており、制限のために記載しているのではない。
【００８９】
図１４は、本発明の様々な実施形態に係る、ゲームシステム１４００のブロック図である。ゲームシステム１４００は、ネットワーク１４１５を介してビデオストリームを１つまたは複数のクライアント１４１０に提供するように構成される。ゲームシステム１４００は、ビデオサーバシステム１４２０と、オプションのゲームサーバ１４２５とを典型的に備える。ビデオサーバシステム１４２０は、最小限の品質のサービスで、ビデオストリームを１つまたは複数のクライアント１４１０に提供するように構成されている。例えば、ビデオサーバシステム１４２０は、ビデオゲーム内のビューの状態または視点を変えるゲームコマンドを受信し、この状態の変化を反映した更新済みビデオストリームを最小の時間の遅れでクライアント１４１０に提供してよい。ビデオサーバシステム１４２０は、今後定義されるフォーマットを含む、多種多様の代替ビデオフォーマットのビデオストリームを提供するように構成されてよい。さらに、ビデオストリームは、多種多様なフレームレートでユーザに提示されるように構成されたビデオフレームを含んでよい。典型的なフレームレートは、毎秒３０フレーム、毎秒６０フレーム、及び、毎秒１４２０フレームであるが、より高いまたはより低いフレームレートが発明の代替実施形態に含まれる。
【００９０】
ここでは、それぞれ、１４１０Ａ、１４１０Ｂ等として呼ばれるクライアント１４１０は、ヘッドマウンテッドディスプレイ、ターミナル、パーソナルコンピュータ、ゲームコンソール、タブレットコンピュータ、電話、セットトップボックス、キオスク、無線装置、デジタルパッド、スタンドアロンデバイス、ハンドヘルドゲームプレイデバイス等を含んでよい。典型的には、クライアント１４１０は、符号化されたビデオストリームを受信し、そのビデオストリームを復号し、結果として生じるビデオをユーザ、例えば、ゲームのプレイヤーに提示するように構成される。符号化されたビデオストリームの受信、及び／または、そのビデオストリームの復号のプロセスは、典型的には、クライアントの受信バッファに個々のビデオフレームを記憶することを含む。ビデオストリームは、クライアント１４１０に一体化されたディスプレイ上で、または、モニタまたはテレビ等の別個の装置上でユーザに提示されてよい。クライアント１４１０は、オプションで、複数のゲームプレイヤーをサポートするように構成される。例えば、ゲームコンソールは、２人、３人、４人、または、それ以上のプレイヤーを同時にサポートするように構成されてよい。これらのプレイヤーはそれぞれ、別個のビデオストリームを受信してよい、または、単一のビデオストリームは、特に各プレイヤー用に生成されたフレームの領域、例えば、各プレイヤーの視線に基づいて生成されたフレームの領域を備えてよい。クライアント１４１０は、オプションで、地理的に分散している。ゲームシステム１４００に含まれるクライアントの数は、１または２、何千、何万、それ以上まで大きく異なってよい。本明細書では、「ゲームプレイヤー」という語は、ゲームをする人を指し、「ゲームプレイデバイス」という語は、ゲームをするのに用いるデバイスを指す。一部の実施形態においては、ゲームプレイデバイスは、ゲーム体験をユーザに与えるために協働する複数のコンピュータ装置を指してよい。例えば、ゲームコンソールとＨＭＤは、ＨＭＤを通して見るゲームを配信するビデオサーバシステム１４２０と協働してよい。一実施形態においては、ゲームコンソールは、ビデオサーバシステム１４２０からビデオストリームを受信する、そして、ゲームコンソールは、ビデオストリームまたはビデオストリームへの更新をレンダリングのためにＨＭＤに転送する。
【００９１】
クライアント１４１０は、ネットワーク１４１５を介してビデオストリームを受信するように構成される。ネットワーク１４１５は、電話網、インターネット、無線ネットワーク、パワーラインネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、プライベートネットワーク等を含む、任意の種類の通信ネットワークであってよい。典型的な実施形態においては、ビデオストリームは、ＴＣＰ／ＩＰまたはＵＤＰ／ＩＰ等の標準プロトコルを介して通信される。あるいは、ビデオストリームは、プロプリエタリ規格を介して通信される。
【００９２】
クライアント１４１０の典型的な例は、プロセッサ、不揮発メモリ、ディスプレイ、復号ロジック、ネットワーク通信能力、及び、入力装置を備える、パーソナルコンピュータである。復号ロジックは、ハードウェア、ファームウェア、及び／または、コンピュータ可読媒体に記憶されたソフトウェアを含んでよい。ビデオストリームを復号（及び符号化）するためのシステムは、当分野で周知であり、使用される具体的な符号化スキームに応じて変わる。
【００９３】
クライアント１４１０は、受信したビデオを修正するように構成されたシステムをさらに備えることを必要とはされないが、備えてよい。例えば、クライアントは、１つのビデオ画像を別のビデオ画像に重ね合わせる、ビデオ画像をトリミングする等、のために、さらなるレンダリングを行うように構成されてよい。例えば、クライアント１４１０は、Ｉフレーム、Ｐフレーム、及び、Ｂフレーム等の様々な種類のビデオフレームを受信し、これらのフレームを処理してユーザに表示する画像にするように構成されてよい。一部の実施形態においては、クライアント１４１０のメンバーは、レンダリング、シェーディング、３Ｄへの変換等のさらなる操作をビデオストリームに対して行うよう構成される。クライアント１４１０のメンバーは、オプションで、複数のオーディオストリームまたはビデオストリームを受信するように構成される。クライアント１４１０の入力装置は、例えば、片手ゲームコントローラ、両手ゲームコントローラ、ジェスチャ認識システム、視線認識システム、音声認識システム、キーボード、ジョイスティック、ポインティングデバイス、力フィードバックデバイス、動作及び／または位置検出装置、マウス、タッチスクリーン、神経インタフェース、カメラ、今後開発される入力装置等を含んでよい。
【００９４】
クライアント１４１０が受信するビデオストリーム（及び、オプションで、オーディオストリーム）は、ビデオサーバシステム１４２０によって生成、提供される。本明細書の他の箇所でさらに記載するように、このビデオストリームは、ビデオフレームを含み（そして、オーディオストリームはオーディオフレームを含む）。ビデオフレームは、ユーザに表示される画像に有意義に寄与するように構成される（例えば、ビデオフレームは、適切なデータ構造で画素情報を含む）。本明細書では、「ビデオフレーム」という語は、ユーザに示される画像に寄与、例えば、影響を与えるように構成される情報を大部分に含むフレームを指す。「ビデオフレーム」に関する本明細書の教示の大部分は、「オーディオフレーム」にも適用できる。
【００９５】
クライアント１４１０は、典型的に、ユーザから入力を受信するように構成される。これらの入力は、ビデオゲームの状態を変更、そうでなければ、ゲームプレイに影響を与えるように構成されるゲームコマンドを含んでよい。ゲームコマンドは、入力装置を用いて受信することができる、及び／または、クライアント１４１０上で実行されるコンピュータ命令によって自動的に生成されてもよい。受信されたゲームコマンドは、クライアント１４１０からネットワーク１４１５を介して、ビデオサーバシステム１４２０及び／またはゲームサーバ１４２５に通信される。例えば、一部の実施形態においては、ゲームコマンドは、ビデオサーバシステム１４２０を介してゲームサーバ１４２５に通信される。一部の実施形態においては、ゲームコマンドの別個のコピーは、クライアント１４１０からゲームサーバ１４２５及びビデオサーバシステム１４２０に通信される。ゲームコマンドの通信は、オプションで、コマンドＩＤに依存する。ゲームコマンドは、オプションで、オーディオストリームまたはビデオストリームをクライアント１４１０Ａに提供するのに使用されるのと異なるルートまたは通信チャネルを介してクライアント１４１０Ａから通信される。
【００９６】
ゲームサーバ１４２５は、オプションで、ビデオサーバシステム１４２０とは異なるエンティティによって運営される。例えば、ゲームサーバ１４２５は、マルチプレイヤーゲームのパブリッシャーによって運営されてよい。この実施例においては、ビデオサーバシステム１４２０は、オプションで、ゲームサーバ１４２５から見るとクライアントであり、オプションで、ゲームサーバ１４２５の視点からは、先行技術のゲームエンジンを実行する先行技術のクライアントに見えるように構成される。ビデオサーバシステム１４２０とゲームサーバ１４２５間の通信は、オプションで、ネットワーク１４１５を介して行われる。従って、ゲームサーバ１４２５は、ゲーム状態情報を複数のクライアントに送る先行技術のマルチプレイヤーゲームサーバであってよく、その複数のクライアントの１つは、ゲームサーバシステム１４２０である。ビデオサーバシステム１４２０は、ゲームサーバ１４２５の複数のインスタンスと同時に通信するように構成されてよい。例えば、ビデオサーバシステム１４２０は、複数の異なるビデオゲームを異なるユーザに提供するように構成することができる。これらの異なるビデオゲームのそれぞれは、異なるゲームサーバ１４２５によってサポートされてよく、及び／または、異なるエンティティがパブリッシュしてよい。一部の実施形態においては、ビデオサーバシステム１４２０の幾つかの地理的に分散したインスタンスが、複数の異なるユーザにゲームビデオを提供するように構成される。ビデオサーバシステム１４２０のこれらのインスタンスのそれぞれは、ゲームサーバ１４２５の同じインスタンスと通信してよい。ビデオサーバシステム１４２０と１つまたは複数のゲームサーバ１４２５との間の通信は、オプションで、専用通信チャネルを介して生じる。例えば、ビデオサーバシステム１４２０は、これらの２つのシステム間の通信に専用の高帯域チャネルを介してゲームサーバ１４２５に接続されてよい。
【００９７】
ビデオサーバシステム１４２０は、少なくともビデオソース１４３０、Ｉ／Ｏ装置１４４５、プロセッサ１４５０、及び、非一時的ストレージ１４５５を備える。ビデオサーバシステム１４２０は、１つのコンピュータ装置を含んでよい、または、複数のコンピュータ装置に分散されてよい。これらのコンピュータ装置は、オプションで、ローカルエリアネットワーク等の通信システムを介して接続される。
【００９８】
ビデオソース１４３０は、ビデオストリーム、例えば、ストリーミングビデオ、または、動画を形成する一連のビデオフレームを提供するように構成される。一部の実施形態においては、ビデオソース１４３０は、ビデオゲームエンジン及びレンダリングロジックを備える。ビデオゲームエンジンは、プレイヤーからゲームコマンドを受信し、受信したコマンドに基づいてビデオゲームの状態のコピーを維持するように構成される。このゲーム状態は、ゲーム環境内のオブジェクトの位置と、典型的には視点を含む。ゲーム状態は、オブジェクトのプロパティ、画像、色、及び／または、テクスチャも含んでよい。ゲーム状態は、典型的には、ゲーム規則と、移動（ｍｏｖｅ）、回転（ｔｕｒｎ）、攻撃（ａｔｔａｃｋ）、〜にフォーカス設定（ｓｅｔ  ｆｏｃｕｓ  ｔｏ）、インタラクト（ｉｎｔｅｒａｃｔ）、使用（ｕｓｅ）等のゲームコマンドと、に基づいて維持されてよい。ゲームエンジンの一部は、オプションで、ゲームサーバ１４２５内に置かれる。ゲームサーバ１４２５は、地理的に分散したクライアントを用いて、複数のプレイヤーから受信したゲームコマンドに基づいて、ゲームの状態のコピーを維持してよい。これらの場合、ゲーム状態は、ゲームサーバ１４２５によってビデオソース１４３０に提供され、そこで、ゲーム状態のコピーが記憶され、レンダリングが行われる。ゲームサーバ１４２５は、クライアント１４１０からネットワーク１４１５を介して直接ゲームコマンドを受信してよく、及び／または、ビデオサーバシステム１４２０を介してゲームコマンドを受信してよい。
【００９９】
ビデオソース１４３０は、典型的には、レンダリングロジック、例えば、ハードウェア、ファームウェア、及び／または、ストレージ１４５５等のコンピュータ可読媒体に記憶されたソフトウェアを備える。このレンダリングロジックは、ゲーム状態に基づいてビデオストリームのビデオフレームを作成するように構成される。レンダリングロジックの全てまたは一部は、オプションで、グラフィックスプロセッシングユニット（ＧＰＵ）内に配置される。レンダリングロジックは、典型的には、ゲーム状態及び視点に基づいて、オブジェクト間の三次元空間関係を決定するために、及び／または、適切なテクスチャ等を適用するために、構成された処理段階を含む。レンダリングロジックは、未加工のビデオを生成し、通常、それらは、クライアント１４１０に通信する前に符号化される。例えば、未加工のビデオは、Ａｄｏｂｅ  Ｆｌａｓｈ（登録商標）規格、．ｗａｖ、Ｈ．２６４、Ｈ．２６３、Ｏｎ２、ＶＰ６、ＶＣ−１、ＷＭＡ、Ｈｕｆｆｙｕｖ、Ｌａｇａｒｉｔｈ、ＭＰＧ−ｘ．Ｘｖｉｄ．ＦＦｍｐｅｇ、ｘ２６４、ＶＰ６−８、リアルビデオ、ｍｐ３等に従って、符号化してよい。符号化プロセスによって、遠隔装置上のデコーダに送るためにオプションでパッケージ化されるビデオストリームを生成する。ビデオストリームは、フレームサイズ及びフレームレートによって特徴付けられる。任意の他のフレームサイズを使用してよいが、典型的なフレームサイズは、８００ｘ６００、１２８０ｘ７２０（例えば、７２０ｐ）、１０２４ｘ７６８を含む。フレームレートは、秒あたりのビデオフレームの数である。ビデオストリームは、異なる種類のビデオフレームを含んでよい。例えば、Ｈ．２６４規格は、「Ｐ」フレームと「Ｉ」フレームを含む。Ｉフレームは、表示装置上の全てのマクロブロック／画素をリフレッシュする情報を含み、Ｐフレームは、そのサブセットをリフレッシュする情報を含む。Ｐフレームは、典型的に、Ｉフレームよりデータサイズが小さい。本明細書においては、「フレームサイズ」という語はフレーム内の画素数を指し、「フレームデータサイズ」という語は、フレームを記憶するのに必要なバイト数を指す。
【０１００】
代替実施形態においては、ビデオソース１４３０は、カメラ等のビデオ記録装置を備える。このカメラを用いて、コンピュータゲームのビデオストリームに含むことができる遅延ビデオまたはライブビデオを生成してよい。結果として生じるビデオストリームは、オプションで、レンダリングされた画像と、静止カメラまたはビデオカメラを用いて記録された画像の両方を含む。ビデオソース１４３０は、ビデオストリームに含むために以前記録したビデオを記憶するように構成された記憶装置も備えてよい。ビデオソース１４３０は、オブジェクト、例えば、人、の動作や位置を検出するように構成された動作または位置検出装置と、検出された動作及び／または位置に基づいて、ゲーム状態を決定、または、ビデオを生成するように構成されたロジックも備えてよい。
【０１０１】
ビデオソース１４３０は、オプションで、他のビデオ上に配置するように構成されたオーバーレイを提供するように構成される。例えば、これらのオーバーレイは、コマンドインタフェース、ログイン命令、ゲームプレイヤーへのメッセージ、他のゲームプレイヤーの画像、他のゲームプレイヤーのビデオフィード（例えば、ウェブカムビデオ）を含んでよい。タッチスクリーンインタフェースまたは視線検出インタフェースを備えるクライアント１４１０Ａの実施形態においては、オーバーレイは、仮想のキーボード、ジョイスティック、タッチパッド等を含んでよい。オーバーレイの一実施例においては、プレイヤーの音声がオーディオストリーム上に重ねられる。ビデオソース１４３０は、オプションで、１つまたは複数のオーディオソースをさらに含む。
【０１０２】
ビデオサーバシステム１４２０が複数のプレイヤーからの入力に基づいてゲーム状態を維持するように構成される実施形態においては、各プレイヤーは、ビューの位置及び方向を含む異なる視点を有してよい。ビデオソース１４３０は、オプションで、各プレイヤーに、各プレイヤーの視点に基づいて別個のビデオストリームを提供するように構成される。さらに、ビデオソース１４３０は、異なるフレームサイズ、フレームデータサイズ、及び／または、符号化を各クライアント１４１０に提供するように構成されてよい。ビデオソース１４３０は、オプションで、３Ｄビデオを提供するように構成される。
【０１０３】
Ｉ／Ｏ装置１４４５は、ビデオ、コマンド、情報のリクエスト、ゲーム状態、視線情報、装置の動き、装置の位置、ユーザの動作、クライアントＩＤ、プレイヤーＩＤ、ゲームコマンド、セキュリティ情報、音声等の情報をビデオサーバシステム１４２０が送信及び／または受信するように構成される。Ｉ／Ｏ装置１４４５は、典型的には、ネットワークカードまたはモデム等の通信ハードウェアを備える。Ｉ／Ｏ装置１４４５は、ゲームサーバ１４２５、ネットワーク１４１５、及び／または、クライアント１４１０と通信するように構成される。
【０１０４】
プロセッサ１４５０は、本明細書に記載のビデオサーバシステム１４２０の様々なコンポーネント内に含まれるロジック、例えば、ソフトウェア、を実行するように構成される。例えば、プロセッサ１４５０は、ビデオソース１４３０、ゲームサーバ１４２５、及び／または、クライアントクオリファイア（Ｃｌｉｅｎｔ  Ｑｕａｌｉｆｉｅｒ）１４６０の機能を行うために、ソフトウェア命令でプログラムされてよい。ビデオサーバシステム１４２０は、オプションで、プロセッサ１４５０の複数のインスタンスを含む。プロセッサ１４５０も、ビデオサーバシステム１４２０が受信したコマンドを実行するために、または、本明細書に記載のゲームシステム１４００の様々な要素の動作を調整するために、ソフトウェア命令でプログラムされてよい。プロセッサ１４５０は、１つまたは複数のハードウェア装置を備えてよい。プロセッサ１４５０は電子プロセッサである。
【０１０５】
ストレージ１４５５は、非一時的なアナログ及び／またはデジタル記憶装置を含む。例えば、ストレージ１４５５は、ビデオフレームを記憶するように構成されたアナログ記憶装置を含んでよい。ストレージ１４５５は、コンピュータ可読デジタルストレージ、例えば、ハードドライブ、光学式ドライブ、または、半導体ストレージを含んでよい。ストレージ１４１５は、（例えば、適切なデータ構造またはファイルシステムによって）ビデオフレーム、疑似フレーム、ビデオフレーム及び疑似フレームの両方を含むビデオストリーム、オーディオフレーム、オーディオストリーム等を記憶するように構成される。ストレージ１４５５は、オプションで、複数の装置に分散される。一部の実施形態においては、ストレージ１４５５は、本明細書の他の箇所に記載のビデオソース１４３０のソフトウェアコンポーネントを記憶するように構成される。これらのコンポーネントは、必要時にすぐに供給できるフォーマットで記憶されてよい。
【０１０６】
ビデオサーバシステム１４２０は、オプションでクライアントクオリファイア１４６０をさらに備える。クライアントクオリファイア１４６０は、クライアント１４１０Ａ、１４１０Ｂ等のクライアントの能力を遠隔で判定するように構成される。これらの能力は、クライアント１４１０Ａ自体の能力と、クライアント１４１０Ａとビデオサーバシステム１４２０との間の１つまたは複数の通信チャネルの能力の両方を含むことができる。例えば、クライアントクオリファイア１４６０は、ネットワーク１４１５を介して通信チャネルをテストするように構成されてよい。
【０１０７】
クライアントクオリファイア１４６０は、クライアント１４１０Ａの能力を手動または自動で判定（例えば、発見）することができる。手動の判定は、クライアント１４１０Ａのユーザと通信することと、ユーザに能力を提供するように依頼することと、を含む。例えば、一部の実施形態においては、クライアントクオリファイア１４６０は、クライアント１４１０Ａのブラウザ内に、画像、テキスト等を表示するように構成される。一実施形態においては、クライアント１４１０Ａは、ブラウザを備えるＨＭＤである。別の実施形態においては、クライアント１４１０Ａは、ブラウザを有するゲームコンソールであり、ブラウザは、ＨＭＤ上に表示されてよい。表示されたオブジェクトは、クライアント１４１０Ａのオペレーティングシステム、プロセッサ、ビデオデコーダの種類、 ネットワーク接続の種類、ディスプレイ解像度等の情報をユーザが入力することを要求する。ユーザが入力した情報は、クライアントクオリファイア１４６０に返信される。
【０１０８】
例えば、クライアント１４１０Ａ上でエージェントを実行することにより、及び／または、テストビデオをクライアント１４１０Ａに送信することにより、自動で判定してよい。エージェントは、ウェブページに埋め込まれた、または、アドオンとしてインストールされたＪＡＶＡ（登録商標）スクリプト等のコンピュータ命令を含んでよい。エージェントは、オプションで、クライアントクオリファイア１４６０によって提供される。様々な実施形態において、エージェントは、クライアント１４１０Ａの処理能力、クライアント１４１０Ａの復号及び表示能力、クライアント１４１０Ａとビデオサーバシステム１４２０の間の通信チャネルの遅延時間信頼性と帯域幅、クライアント１４１０Ａのディスプレイの種類、クライアント１４１０Ａに存在するファイヤフォール、クライアント１４１０Ａのハードウェア、クライアント１４１０Ａ上で実行されるソフトウェア、クライアント１４１０Ａ内のレジストリエントリ等を見つけることができる。
【０１０９】
クライアントクオリファイア１４６０は、ハードウェア、ファームウェア、及び／または、コンピュータ可読媒体に記憶されたソフトウェアを含む。クライアントクオリファイア１４６０は、オプションで、ビデオサーバシステム１４２０の１つまたは複数の他の要素とは別個のコンピュータ装置に配置される。例えば、一部の実施形態においては、クライアントクオリファイア１４６０は、クライアント１４１０と、ビデオサーバシステム１４２０の複数のインスタンスとの間の通信チャネルの特性を判定するように構成される。これらの実施形態においては、クライアントクオリファイアによって発見された情報を用いて、クライアント１４１０の１つにストリーミングビデオを配信するのに最も適しているのはビデオサーバシステム１４２０のどのインスタンスかを決定することができる。
【０１１０】
本発明の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラム可能な家庭用電化製品、ミニコンピュータ、メインフレームコンピュータ等を含む様々なコンピュータシステム構成で実践されてよい。発明は、有線または無線ネットワークを介してリンクされる遠隔処理装置によってタスクを行う分散コンピュータ環境で実践することもできる。
【０１１１】
上記実施形態に留意して、発明は、コンピュータシステムに記憶されたデータを伴う様々なコンピュータで実施される操作を採用することができることは理解されたい。これらの操作は、物理量の物理的操作を必要とする操作である。発明の一部を形成する本明細書に記載の操作はいずれも、有用な機械操作である。発明は、これらの操作を行うデバイスまたは装置にも関する。装置は、必要な目的のために特に構築することができる。または、装置は、コンピュータに記憶されたコンピュータプログラムによって選択的に起動または構成される汎用コンピュータであってよい。詳細には、様々な汎用機械が、本明細書の教示に従って書かれたコンピュータプログラムと共に用いることができる、または、要求された操作を行うためにより専門化した装置を構築するとより便利であろう。
【０１１２】
発明は、コンピュータ可読媒体上で、コンピュータ可読コードとして具体化することもできる。コンピュータ可読媒体は、データを記憶することができる任意のデータ記憶装置で、そのデータは、後にコンピュータシステムによって読み取ることができる。コンピュータ可読媒体の例には、ハードドライブ、ネットワーク接続型ストレージ（ＮＡＳ）、リードオンリメモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、及び、他の光学データ記憶装置や非光学式のデータ記憶装置が含まれる。コンピュータ可読媒体は、コンピュータ可読コードが分散して記憶、実行されるように、ネットワーク接続されたコンピュータシステムを介して分散されたコンピュータ可読有形媒体を含むことができる。
【０１１３】
方法操作を特定の順で記載したが、オーバーレイ操作の処理が所望のように行われる限り、他のハウスキーピング操作を操作と操作の間に行ってよく、操作は、少し時間を違えて生じるように調整されてよく、または、操作は、処理に関連付けられた様々な間隔で処理操作が行われるのを可能にするシステムに分散されてよいことは理解されたい。
【０１１４】
上記発明は理解しやすいように詳細に記載したが、請求項の範囲内で一定の変更及び修正を行ってよいことは明らかである。従って、本実施形態は、例証的で、非制限的であるとみなすべきで、かつ、発明は、本明細書に記載の詳細に制限されず、請求項の範囲及び同等物の範囲内で修正してよい。
【図１】
2018029968.tif 000003
【図２】
2018029968.tif 000004
【図３】
2018029968.tif 000005
【図４】
2018029968.tif 000006
【図５】
2018029968.tif 000007
【図６Ａ】
2018029968.tif 000008
【図６Ｂ】
2018029968.tif 000009
【図６Ｃ】
2018029968.tif 000010
【図７Ａ】
2018029968.tif 000011
【図７Ｂ】
2018029968.tif 000012
【図７Ｃ】
2018029968.tif 000013
【図８Ａ】
2018029968.tif 000014
【図８Ｂ】
2018029968.tif 000015
【図８Ｃ】
2018029968.tif 000016
【図９Ａ】
2018029968.tif 000017
【図９Ｂ】
2018029968.tif 000018
【図９Ｃ】
2018029968.tif 000019
【図１０】
2018029968.tif 000020
【図１１】
2018029968.tif 000021
【図１２】
2018029968.tif 000022
【図１３】
2018029968.tif 000023
【図１４】
2018029968.tif 000024