(57)【特許請求の範囲】
【請求項１】
ヘッドマウントディスプレイ内の仮想現実シーンに表示するためにビデオデータをヘッドマウントディスプレイに送信し、
前記ヘッドマウントディスプレイ内の１つまたは複数の慣性センサから慣性センサデータを受信し、前記慣性センサデータは、前記ヘッドマウントディスプレイを装着しているユーザの動きに従った前記ヘッドマウントディスプレイの動きを示し、前記慣性データは、前記仮想現実シーンが前記ヘッドマウントディスプレイにより表示されたときに開始位置からの前記ヘッドマウントディスプレイの動きの速度と動きのルートとに関する動き情報と、を提供するものであり、
前記動き情報が前記仮想現実シーンの現在の文脈内で与えられた方向における前記ユーザのアバターの動きに相関するかを決定し、
前記動き情報が前記与えられた文脈内で与えられた方向における前記ユーザの前記アバターの前記動きに相関すると決定されたときに、前記仮想現実シーン内の前記与えられた方向における前記ユーザの前記アバターの進行中の動きを反映するように、前記仮想現実シーンへの更新を生成し、
前記ヘッドマウントディスプレイ内の前記１つ又は複数の慣性センサから追加の慣性センサデータを受信し、前記追加の慣性センサデータは、前記仮想現実シーン内の前記与えられた方向における前記ユーザの前記アバターの前記進行中の動きを停止させるための、前記ヘッドマウントディスプレイの前記開始位置へと戻る動きを示す追加の動き情報を提供する、方法。
【請求項２】
前記動きのルートに関する動き情報と前記開始位置からの前記ヘッドマウントディスプレイの前記動きの速度とに対応する前記仮想現実シーン内の特定の動きを識別するために較正表にクエリし、前記較正表は、前記開始位置からの前記ヘッドマウントディスプレイの動きの多くのルートと、前記仮想現実シーン内に結果として生じるアクションとの間の関連を規定する、
請求項１に記載の方法。
【請求項３】
前記開始位置からの前記ヘッドマウントディスプレイの動きの前記速度を、前記仮想現実シーン内の前記与えられた方向における前記ユーザの前記アバターの前記動きの速度に相関させる、
請求項２に記載の方法。
【請求項４】
更に、フィードバック信号を前記ヘッドマウントディスプレイに送信し、
前記フィードバック信号は、前記開始位置からの前記ヘッドマウントディスプレイの前記動きは、前記仮想現実シーン内の前記ユーザの前記アバターの許容できる動きに対応しないことを、前記ユーザに通知するものである、
請求項１に記載の方法。
【請求項５】
前記ヘッドマウントディスプレイの外部の位置で前記ユーザに配置された１つまたは複数の慣性センサから外部の慣性センサデータを受信し、
前記外部の慣性センサデータを用いて、前記ヘッドマウントディスプレイ内の前記１つまたは複数の慣性センサから受信した前記慣性センサデータを前記仮想現実シーン内の前記与えられた方向における前記ユーザの前記アバターの前記動きに相関させることを容易にする、
請求項１に記載の方法
【請求項６】
前記動きの情報が、前記仮想現実シーンの前記現在の文脈内の前記ユーザの視点のズームインまたはズームアウトに対応するかを決定し、かつ、
前記動きの情報が前記仮想現実シーンの前記現在の文脈内の前記ユーザの視点のズームインまたはズームアウトに対応すると決定されたときに、
前記ユーザの前記視点のズームインまたはズームアウトの実施を反映するために前記仮想現実シーンの更新を生成する、
請求項１に記載の方法。
【請求項７】
前記ヘッドマウントディスプレイ内の１つまたは複数の視線検出器から、視線方向データであって、前記ヘッドマウントディスプレイ内に表示された前記仮想現実シーンに対して前記ユーザの視覚の焦点方向を示す前記視線方向データを受信し、
前記視線方向データを前記慣性センサデータに同期させて、同期された視覚の焦点方向を決定する、
請求項１に記載の方法。
【請求項８】
前記開始位置からの前記ヘッドマウントディスプレイの動きの前記ルートと、前記同期された視覚の焦点方向との両方を用いて、前記仮想現実シーン内のアクションを決定する、
請求項７に記載の方法。
【請求項９】
仮想現実シーンを規定するビデオデータをヘッドマウントディスプレイにおいて受信し、
前記ヘッドマウントディスプレイ内に前記仮想現実シーンを表示し、
前記ヘッドマウントディスプレイ内の１つまたは複数の慣性センサを操作して、前記ヘッドマウントディスプレイを装着しているユーザの動きに従って、開始位置からの前記ヘッドマウントディスプレイの動きを示す慣性センサデータを生成し、
前記慣性センサデータを前記ビデオデータの送信元であるコンピューティングシステムに送信し、前記慣性センサデータによって、前記コンピューティングシステムにより前記開始位置からの前記ヘッドマウントディスプレイの動きのルートが決定され、かつ、前記コンピューティングシステムにより前記開始位置からの前記ヘッドマウントディスプレイの動きの速度が決定され、前記開始位置からの前記ヘッドマウントディスプレイの動きの前記ルートと、前記開始位置からの前記ヘッドマウントディスプレイの動きの前記速度とは、前記コンピューティングシステムによって、前記仮想現実シーン内の動きにマッピングされ、
前記仮想現実シーン内の前記与えられた方向における前記ユーザの前記アバターの進行中の動きを反映する更新された仮想現実シーンを規定するビデオデータを前記コンピューティングシステムから受信し、
前記ヘッドマウントディスプレイ内に前記更新された仮想現実シーンを表示し、
前記ヘッドマウントディスプレイ内の前記１つ以上の慣性センサを動作させて、前記ヘッドマウントディスプレイの前記開始位置へと戻る動きを示す追加の慣性センサデータを生成し、
前記追加の慣性センサデータを前記コンピューティングシステムに送信し、前記追加の慣性センサデータは、前記コンピューティングシステムによる、前記仮想現実シーン内の前記与えられた方向における前記ユーザの前記アバターの前記進行中の動きを停止させるとの決定を与えるものであり、
前記コンピューティングシステムから、前記仮想現実シーン内の前記与えられた方向における前記ユーザの前記アバターの前記進行中の動きの停止を反映する、さらに更新された仮想現実シーンを決定するビデオデータを受信し、
前記ヘッドマウントディスプレイ内に前記さらに更新された仮想現実シーンを表示する、方法。
【請求項１０】
前記開始位置からの前記ヘッドマウントディスプレイの動きの前記ルートは前記仮想現実シーンの前記現在の文脈内での前記ユーザの前記アバターの許容できる動きに対応しないことを示すフィードバック信号を前記コンピューティングシステムから受信し、
前記ヘッドマウントディスプレイを操作して、可聴信号、触覚信号、及び、視覚信号のうちの１つまたは複数を提供することによって前記フィードバック信号の受信を前記ユーザに通知する、
請求項９に記載の方法。
【請求項１１】
前記ヘッドマウントディスプレイの外部の位置で前記ユーザに配置された１つまたは複数の慣性センサから外部の慣性センサデータを前記コンピューティングシステムに送信し、
前記外部の慣性センサデータは、前記コンピューティングシステムによって使用されて、前記開始位置からの前記ヘッドマウントディスプレイの動きの前記ルートの決定を容易にする、
請求項９に記載の方法。
【請求項１２】
前記開始位置からの前記ヘッドマウントディスプレイの前記動きは、前記仮想現実シーン内の前記ユーザの視点のズームインまたはズームアウト、及び、前記仮想現実シーン内に表示された物体の動き、のうちの１つまたは複数に相関される、
請求項９に記載の方法。
【請求項１３】
前記ヘッドマウントディスプレイ内の１つまたは複数の視線検出器を操作して、前記ヘッドマウントディスプレイ内に表示された前記仮想現実シーンに対する前記ユーザの視覚の焦点方向を示す視線方向データを生成し、
前記視線方向データを、前記ビデオデータの送信元である前記コンピューティングシステムに送信し、
前記視線方向データは、前記慣性センサデータと同期されて、同期された視覚の焦点方向を決定する、
請求項９に記載の方法。
【請求項１４】
前記開始位置からの前記ヘッドマウントディスプレイの動きの前記ルートと、同期された視覚の焦点方向との両方を用いて、前記仮想現実シーン内の前記与えられた方向における前記ユーザの前記アバターの前記移動を決定する、
請求項１３に記載の方法。
【請求項１５】
ヘッドマウントディスプレイから慣性センサデータを受信するように構成された慣性データ処理モジュールを有し、前記慣性センサデータは、前記ヘッドマウントディスプレイを装着しているユーザの動きに従った前記ヘッドマウントディスプレイの動きを示し、前記慣性データ処理モジュールは、前記ヘッドマウントディスプレイによって前記仮想現実シーンが表示されたときに前記開始位置からの前記ヘッドマウントディスプレイの動きの速度と動きのルートとを前記慣性センサデータから決定するように構成され、
前記開始位置からの前記ヘッドマウントディスプレイの前記速度及び前記動きが前記仮想現実シーンの現在の文脈内の与えられた方向における前記ユーザのアバターの移動に相関するかを決定するように構成された慣性データ相関モジュールを有し、かつ、
前記開始位置からの前記ヘッドマウントディスプレイの前記移動の前記速度と前記移動のルートが前記仮想現実シーン内の前記現在の文脈内の前記与えられた方向における前記ユーザの前記アバターの前記移動に相関すると決定されたときに、コマンド信号をレンダリングエンジンに提供するように構成された慣性データコマンド出力モジュールを有し、
前記コマンド信号は、前記仮想現実シーン内の前記与えられた方向における前記ユーザの前記アバターの進行中の動きを反映するように前記仮想現実シーンを更新することを前記レンダリングエンジンに指示し、
前記慣性データ処理モジュールは、前記ヘッドマウントディスプレイから追加の慣性センサデータを受信するよう構成され、かつ、前記慣性データ処理モジュールは、前記追加の慣性センサデータは前記ヘッドマウントディスプレイの前記開始位置へと戻る動きを示すものであると決定するように構成され、かつ、前記慣性データ処理モジュールは、前記追加の慣性センサデータは前記ヘッドマウントディスプレイの前記開始位置へと戻る動きを示すものであると決定されたときに前記レンダリングエンジンに前記に追加のコマンド信号を提供するように構成され、前記追加のコマンド信号により、前記レンダリングエンジンが、前記仮想現実シーン内の前記与えられた方向における前記ユーザの前記アバターの移動の停止を反映させるように前記仮想現実シーンを更新する、システム。
【請求項１６】
前記慣性データ相関モジュールは、前記開始位置からの前記ヘッドマウントディスプレイの動きの前記速度を前記仮想現実シーン内の前記与えられた方向における前記ユーザの前記アバターの前記動きの速度にマッピングするように構成された、
請求項１５に記載のシステム。
【請求項１７】
前記慣性データ相関モジュールは、前記開始位置からの前記ヘッドマウントディスプレイの動きの前記ルートと動きの前記速度とを前記仮想現実シーン内の前記与えられた方向における前記ユーザの前記アバターの前記動きにマッピングするために、較正表にクエリするように構成される、
請求項１６に記載のシステム。
【請求項１８】
フィードバック信号を生成し、前記ヘッドマウントディスプレイに送信するように構成された慣性データフィードバックモジュールをさらに含み、
前記フィードバック信号は、前記開始位置からの前記ヘッドマウントディスプレイの前記動きの前記ルートが前記仮想現実シーンの前記現在の文脈内の前記ユーザの前記アバターの許容できる動きに対応しないことを前記ユーザに通知する、
請求項１５に記載のシステム。
【請求項１９】
前記ヘッドマウントディスプレイ内に表示された前記仮想現実シーンに対するユーザの視覚の焦点方向を示す前記視線方向データを前記ヘッドマウントディスプレイから受信するように構成された視線方向処理モジュールと、
前記視線方向データを前記慣性センサデータと同期して、同期された視覚の焦点方向を決定するように構成された同期モジュールと、をさらに有し、
前記慣性データ相関モジュールは、前記開始位置からの前記ヘッドマウントディスプレイの動きの前記ルートと前記同期された視覚の焦点方向との両方を用いて、前記仮想現実シーン内の前記与えられた方向における前記ユーザの前記アバターの前記動きを決定する、
請求項１５に記載のシステム。
【請求項２０】
前記慣性データ相関モジュールは、前記仮想現実シーン内の前記与えられた方向における前記ユーザの前記アバターの動きを決定する時、前記同期された視覚の焦点方向を方向重み付けパラメータとして使用するように構成された、
請求項１９に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想現実空間内におけるユーザ対話の方法とシステムに関する。
【背景技術】
【０００２】
仮想現実システムにおいて、ユーザは、コンピュータが生成した三次元の仮想現実シーンに視覚的に没入する。あるアプリケーションにおいては、ユーザに表示される仮想現実シーン全体をコンピュータによって生成する。他のアプリケーションにおいては、仮想現実シーンの一部がコンピュータによって生成され、仮想現実シーンの他の部分は、現実の物体及び／または人のビデオ及び／または画像に対応し、このような現実のビデオ／画像は、基本的にリアルタイムで仮想現実シーンにレンダリングできる。このようなアプリケーションは、拡張現実アプリケーションと呼ばれる。
【０００３】
多くの仮想現実アプリケーションにおいて、仮想現実シーンに視覚的に没入しているとユーザに感じさせることだけでなく、仮想現実シーン内に表示されたフィーチャと自然に対話する感覚をユーザに与えることも望ましい。本発明はこのような背景の下になされたものである。
【発明の概要】
【０００４】
例示的実施形態において、本方法には、ヘッドマウントディスプレイ内に仮想現実シーンを表示するためにビデオデータをヘッドマウントディスプレイに送信することも含まれ得る。本方法には、ヘッドマウントディスプレイ内の１つまたは複数の慣性センサからの慣性センサデータを受信することも含まれ得る。慣性センサデータは、ヘッドマウントディスプレイを装着しているユーザの動きに従ったヘッドマウントディスプレイの動きを示す。ユーザの動きは、ヘッドマウントディスプレイ内に表示された仮想現実シーンに基づいている。本方法には、受信した慣性センサデータを仮想現実シーン内のアクションと相関させることも含まれ得る。本方法には、アクションの実施を反映するように仮想現実シーンの更新を生成することも含まれ得る。
【０００５】
例示の実施形態において、本方法には、ヘッドマウントディスプレイでビデオデータを受信することも含まれ得る。ビデオデータは、仮想現実シーンを規定する。本方法には、ヘッドマウントディスプレイ内に仮想現実シーンを表示することも含まれ得る。本方法では、ヘッドマウントディスプレイ内の１つまたは複数の慣性センサを操作して、ヘッドマウントディスプレイを装着しているユーザの動きに従ったヘッドマウントディスプレイの動きを示す慣性センサデータも生成する。ユーザの動きは、仮想現実シーン内のアクションに対応する。本方法には、慣性センサデータを、ビデオデータの送信元であるコンピューティングシステムに送信することも含まれ得る。本方法には、ユーザの動きに対応する仮想現実シーン内のアクションを反映した更新された仮想現実シーンを規定するビデオデータをコンピューティングシステムから受信することも含まれ得る。本方法には、ヘッドマウントディスプレイ内に更新された仮想現実シーンを表示することも含まれ得る。
【０００６】
例示の実施形態において、本システムは、ヘッドマウントディスプレイから慣性センサデータを受信するように構成された慣性データ処理モジュールを含む。慣性センサデータは、ヘッドマウントディスプレイを装着しているユーザの動きに従ったヘッドマウントディスプレイの動きを示す。ユーザの動きは、ヘッドマウントディスプレイ内に表示された仮想現実シーンに基づいている。慣性データ処理モジュールは、ヘッドマウントディスプレイの動きのルートと、ヘッドマウントディスプレイの動きの速度とを慣性センサデータから決定するように構成される。本システムは、ヘッドマウントディスプレイの動きのルートとヘッドマウントディスプレイの動きの速度とを仮想現実シーン内のアクションに相関させるように構成された慣性データ相関モジュールも含む。本システムは、コマンド信号をレンダリングエンジンに提供するように構成された慣性データコマンド出力モジュールも含む。コマンド信号は、アクションの実施を反映するように仮想現実シーンを更新するようレンダリングエンジンに指示する。
【０００７】
例示の実施形態において、本方法には、ヘッドマウントディスプレイ内に仮想現実シーンを表示するために、ビデオデータをヘッドマウントディスプレイに送信することも含まれ得る。ヘッドマウントディスプレイは、ヘッドマウントディスプレイを装着しているユーザの動きに従ったヘッドマウントディスプレイの動きを示す慣性センサデータを生成するように構成された１つまたは複数の慣性センサを備える。仮想現実シーンは、仮想現実シーン内に特定のアクションを起こすジェスチャをするようにユーザに要求する。ジェスチャによって、ヘッドマウントディスプレイが動き、ヘッドマウントディスプレイの動きに対応する慣性センサデータが生成される。本方法には、ヘッドマウントディスプレイから慣性センサデータを受信することも含まれ得る。慣性センサデータは、ユーザがジェスチャを行って、仮想現実シーン内に特定のアクションを起こすことに応答して、ヘッドマウントディスプレイの動きを示す。本方法には、受信した慣性センサデータを仮想現実シーン内の特定のアクションに相関させることも含まれ、それによって、前に受信した慣性センサデータとほぼ等しい慣性センサデータをその後受信すると、その特定のアクションが仮想現実シーン内で実行される。
【０００８】
例示の実施形態において、本方法には、ヘッドマウントディスプレイ内に仮想現実シーンを表示するために、ビデオデータをヘッドマウントディスプレイに送信することも含まれ得る。ヘッドマウントディスプレイは、ヘッドマウントディスプレイを装着しているユーザの動きに従ったヘッドマウントディスプレイの動きを示す慣性センサデータを生成するように構成された１つまたは複数の慣性センサを備える。仮想現実シーンは、ユーザがジェスチャを行って仮想現実シーン内に特定のアクションを起こすことを可能にする。ジェスチャによって、ヘッドマウントディスプレイが動き、ヘッドマウントディスプレイの動きに対応する慣性センサデータが生成される。本方法は、ヘッドマウントディスプレイから慣性センサデータを受信することも含む。慣性センサデータは、ユーザがジェスチャを行って仮想現実シーン内に特定のアクションを起こすことに応答して、ヘッドマウントディスプレイの動きを示す。本方法には、受信した慣性センサデータを処理してユーザの動きのルートとユーザの動きの速度を決定することも含まれ得る。本方法には、受信した慣性センサデータに対応する仮想現実シーンの動きの分類を決定することも含まれ得る。本方法には、受信した慣性センサデータを仮想現実シーンの決定された動きの分類に相関させることも含まれ得る。本方法には、受信した慣性センサデータの仮想現実シーンの決定された動きの分類への相関をユーザプロファイルに記録することも含まれ得る。
【０００９】
発明の他の態様は、本発明の例として示す以下の詳細な説明と、その添付図面とからより明らかとなろう。
【図面の簡単な説明】
【００１０】
【図１Ａ】本発明の例示の実施形態に係る、有線リンクを介してコンピュータシステムと通信するヘッドマウントディスプレイを装着しているユーザを示す図である。
【図１Ｂ】本発明の例示の実施形態に係る、マルチメディアコンテンツを見る及び／またはマルチメディアコンテンツと対話するためにユーザが装着する例示のヘッドマウントディスプレイを示す図である。
【図２Ａ】本発明の例示の実施形態に係る、ｘ軸、ｙ軸、ｚ軸によって規定される基準デカルト座標系に対してホームポジションにいるヘッドマウントディスプレイを装着しているユーザを示す側面図である。
【図２Ｂ】本発明の例示の実施形態に係る、ｘ軸、ｙ軸、ｚ軸によって規定される基準デカルト座標系に対してホームポジションにいるヘッドマウントディスプレイを装着しているユーザを示す正面図である。
【図３Ａ】本発明の例示の実施形態に係る、ホームポジションからのユーザの前傾動作を示す図である。
【図３Ｂ】本発明の例示の実施形態に係る、ホームポジションからのユーザの後傾動作を示す図である。
【図３Ｃ】本発明の例示の実施形態に係る、ホームポジションからのユーザの左に傾く動きを示す図である。
【図３Ｄ】本発明の例示の実施形態に係る、ホームポジションからのユーザの右に傾く動きを示す図である。
【図３Ｅ】本発明の例示の実施形態に係る、ｘ軸、ｙ軸、ｚ軸で規定される基準デカルト座標系に対してホームポジションにいるヘッドマウントディスプレイを装着しているユーザを示す上面図である。
【図３Ｆ】本発明の例示の実施形態に係る、ホームポジションからユーザが頭を左に向ける動きを示す図である。
【図３Ｇ】本発明の例示の実施形態に係る、ホームポジションからユーザが頭を右に向ける動きを示す図である。
【図３Ｈ】本発明の例示の実施形態に係る、ホームポジションからユーザが頭を後ろに傾ける動きを示す図である。
【図３Ｉ】本発明の例示の実施形態に係る、ホームポジションからユーザが頭を前に傾ける動きを示す図である。
【図３Ｊ】本発明の例示の実施形態に係る、ホームポジションからユーザの下降動作を示す図である。
【図３Ｋ】本発明の例示の実施形態に係る、ホームポジションからユーザの上昇動作を示す図である。
【図３Ｌ】本発明の例示の実施形態に係る、ｘ軸、ｙ軸、ｚ軸で規定される基準デカルト座標系に対してホームポジションにいる、ヘッドマウントディスプレイを装着し、ヘッドマウントディスプレイの外部の体の部分に追加の慣性センサをつけた、ユーザを示す正面図である。
【図４】本発明の例示の実施形態に係る、ヘッドマウントディスプレイから受信した慣性センサデータに基づいて、コンピュータシステムを操作して、仮想現実シーンのためのビデオデータを生成する方法を示すフローチャートである。
【図５】本発明の例示の実施形態に係る、ヘッドマウントディスプレイから受信した慣性センサデータと視線方向データに基づいて、コンピュータシステムを操作して、仮想現実シーンのためのビデオデータを生成する方法を示すフローチャートである。
【図６】本発明の例示の実施形態に係る、ユーザの動きに基づいて生成された慣性データ信号が、仮想現実シーン内にアクションを起こすための入力として提供される、ヘッドマウントディスプレイを操作する方法を示すフローチャートである。
【図７】本発明の例示の実施形態に係る、ユーザの動きに基づいて生成された慣性データ信号と視線方向データの両方が、仮想現実シーン内にアクションを起こすための入力として提供される、ヘッドマウントディスプレイを操作する方法を示すフローチャートである。
【図８】本発明の例示の実施形態に係る、ヘッドマウントディスプレイから受信した慣性センサデータに基づいて、コンピュータシステムを操作して、仮想現実シーン内のアクションを較正する方法を示すフローチャートである。
【図９Ａ】本発明の例示の実施形態に係る、ヘッドマウントディスプレイから受信した慣性センサデータに基づいて、コンピュータシステムを操作して、仮想現実シーン内のアクションを動的に較正する方法を示すフローチャートである。
【図９Ｂ】本発明の例示の実施形態に係る、ユーザプロファイルにおける、受信した慣性センサデータの仮想現実シーンの決定された動きの分類への相関の例を示す図である。
【図１０】本発明の例示の実施形態に係る、ヘッドマウントディスプレイのブロックレベルアーキテクチャを示す図である。
【図１１Ａ】本発明の一部の実施形態を実施するために使用し得るコンピュータシステムと他のインタフェースハードウェアのブロックレベルアーキテクチャの例を示す図である。
【図１１Ｂ】本発明の例示の実施形態に係る、慣性処理モジュールを示すブロックレベル図である。
【発明を実施するための形態】
【００１１】
以下の記載において、本発明を十分に理解できるように、多くの具体的詳細を記載する。しかしながら、これらの具体的な詳細の一部または全て無しに本発明を実践してよいことは、当業者には明らかであろう。他の例では、周知のプロセス操作は、本発明を不必要に曖昧にしないために、詳細には記載していない。
【００１２】
以下の詳細な記載は、添付の図面の参照を含み、添付の図面は、詳細な記載の一部をなす。図面は、例示の実施形態に従った図である。「例」とも本明細書で呼ばれるこれらの例示の実施形態は、当業者が発明の内容を実践できるほど十分詳しく記載する。実施形態は、組み合わせることができ、他の実施形態を利用することができ、または、構造的、論理的、及び、電気的変更を請求項の範囲を逸脱することなく行うことができる。以下の詳細な記載は、従って、制限的な意味ととらえてはならず、発明の範囲は、請求項とその均等物によって定義される。本出願書において、「ａ」「ａｎ」という語は、特許書類では一般的なように、１つまたは複数を含むものとして使用される。本出願書において、「ｏｒ」という語は、排他的ではない「ｏｒ」を指して使用され、他に別段の記載の無い限り、「Ａ  ｏｒ  Ｂ」は、「ＢではなくＡ」、「ＡではなくＢ」、及び、「Ａ及びＢ」を含む。
【００１３】
本明細書に開示の実施形態の技術は、様々な技術を用いて実施できる。例えば、本明細書に記載の方法は、コンピュータシステムで実行するソフトウェアで、または、マイクロプロセッサの組み合わせ若しくは他の特別に設計された特定用途向け集積回路（ＡＳＩＣ）のいずれかを要するハードウェアで、プログラム可能論理装置、または、それらの様々な組み合わせで実施される。詳細には、本明細書に記載の方法は、ディスクドライブ等の記憶媒体、または、コンピュータ可読媒体上の一連のコンピュータ実行可能命令によって実施される。本明細書に開示の方法は、モバイル端末、携帯電話、スマートフォン、コンピュータ（例えば、デスクトップコンピュータ、タブレットコンピュータ、ラップトップコンピュータ）、ゲームコンソール、ハンドヘルドゲームデバイス等によって実施できることに注意されたい。
【００１４】
「ヘッドマウントディスプレイ」という語は、本明細書においては、ディスプレイ付きウェアラブルコンピュータ、ヘッドマウント電子装置、頭部装着型ディスプレイ、ヘルメットマウントディスプレイ、ディスプレイ付きヘッドマウントコンピュータのうちの１つまたは複数を指す。ヘッドマウントディスプレイは、ユーザの頭部に装着されるまたはヘルメットの一部であり、１つの（単眼ディスプレイ装置）または各眼の（双眼ディスプレイ装置）の正面に小さいディスプレイ光学素子（ｏｐｔｉｃ）を有する。ヘッドマウントディスプレイは、ヘルメット、眼鏡（データグラスとしても知られる）または、バイザーに埋め込まれたレンズと半透明の鏡を有する１つまたは２つの小さいディスプレイユニットを有する。ディスプレイユニットは、小型化することができ、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ等を含んでよい。一部のベンダは、複数のマイクロディスプレイを採用して、全体としての解像度と視野を向上させる。一部の他のヘッドマウントディスプレイは、従来のディスプレイを全く使用せず、代わりに、ユーザの眼に直接、光を投影する。
【００１５】
図１Ａは、本発明の例示の実施形態に係る、有線リンク１０４を介してコンピュータシステム１０６と通信するヘッドマウントディスプレイ１０２を装着しているユーザ１００を示す。ヘッドマウントディスプレイ１０２は、眼鏡、ゴーグル、または、ヘルメットと同じように着用され、ビデオゲームまたは他のコンテンツをユーザ１００に表示するように構成される。ヘッドマウントディスプレイ１０２は、光学素子及びディスプレイ画面等のヘッドマウントディスプレイのディスプレイコンポーネントの操作を介して、ユーザの眼のすぐ近くでユーザ１００に没入型体験を提供するように構成される。また、ビデオコンテンツのフォーマットは、ヘッドマウントディスプレイ１０２を介してユーザ１００に仮想現実シーンを表示するように規定でき、ユーザ１００に仮想現実シーン内に現実にいるような感覚を持たせる。一部の実施形態においては、ヘッドマウントディスプレイ１０２は、ユーザの各眼に対して、ユーザの視野の大部分または全体を占める表示領域を提供できる。
【００１６】
コンピュータシステム１０６は、ゲームコンソール、パーソナルコンピュータ、ラップトップ、タブレットコンピュータ、モバイル装置、携帯電話、タブレット、シンクライアント、セットトップボックス、メディアストリーミングデバイス等を含むが、これらに限らない、任意の汎用または専用コンピュータであってよい。コンピュータシステム１０６は、ビデオ及びオーディオコンテンツをレンダリングし、レンダリングされたコンテンツを、有線リンク１０４を介してヘッドマウントディスプレイ１０２に送信するように構成される。図１Ａの例は、有線リンク１０４を含むが、他の実施形態は、ヘッドマウントディスプレイ１０２とコンピュータシステム１０６との間の無線通信を、単独で、または、有線リンク１０４を介した通信と組み合わせて、利用できることを理解されたい。また、一部の実施形態においては、ヘッドマウントディスプレイ１０２は、インターネットに直接、接続できる。
【００１７】
コンピュータシステム１０６によってレンダリングされたコンテンツは、基本的に任意の種類のコンピュータアプリケーション用であってよく、ゲーム、映画、オーディオ、画像、マルチメディア等、１つまたは複数の種類のコンテンツを含んでよい。一部の実施形態においては、コンテンツ、または、コンテンツの一部は、コンピュータシステム１０６によって生成される。しかしながら、一部の実施形態においては、コンテンツ、または、コンテンツの一部は、遠隔コンテンツソース１２０からネットワーク１１０を介してコンピュータシステム１０６にストリーミング配信される。また、一部の実施形態においては、コンテンツまたはコンテンツの一部は、クラウドゲーミングインフラストラクチャ１１２からネットワーク１１０を介してコンピュータシステム１０６にストリーム配信される。クラウドゲーミングインフラストラクチャ１１２は、遠隔コンテンツソース１２０から様々な種類のコンテンツを、ネットワーク１１０を介してコンピュータシステム１０６に送信されるよう指示してよい。例示の遠隔コンテンツソース１２０は、ダウンロード可能なコンテンツ及び／またはストリーミングコンテンツを提供するインターネットウェブサイトである。遠隔コンテンツソース１２０によって提供されるコンテンツは、映画、ゲーム、静的／動的コンテンツ、写真、ソーシャルメディアコンテンツ、ソーシャルメディアウェブサイト等、任意の種類のマルチメディアコンテンツを含み得る。一部の実施形態においては、コンテンツデータは、遠隔コンテンツソース１２０からコンピュータシステム１０６に送信され、コンピュータシステム１０６において、コンテンツデータは、次に、ヘッドマウントディスプレイ１０２で使用するのに適したフォーマットでコンピュータシステム１０６によってレンダリングされ、レンダリングされたコンテンツはコンピュータシステム１０６から有線リンク１０４を介してヘッドマウントディスプレイ１０２に送信される。
【００１８】
一部の実施形態においては、ユーザ１００は、コントローラ（図示せず）を操作して、コンピュータシステム１０６に入力コマンドを与えてよい。また、一部の実施形態においては、カメラ１０８は、ユーザ１００がいる環境の画像を撮影するように構成される。カメラ１０８は、リンク１０９で示すようにコンピュータシステム１０６に接続される。コンピュータシステム１０６は、カメラ１０８が撮影した画像を分析するように動作して、ユーザ１００、ヘッドマウントディスプレイ１０２、及び／または、コントローラの位置及び動きを決定してよい。図１Ｂに関して記載するように、ヘッドマウントディスプレイ１０２は、１つまたは複数のライトを含んでよく、そのライトを、マーカとして使用して、カメラ１０８が撮影した画像の分析を通して、ヘッドマウントディスプレイ１０２の追跡を容易にできる。また、一部の実施形態においては、カメラ１０８は、立体写真カメラ、赤外線カメラ、デプスカメラ、または、これらの組み合わせ等、複数の撮像装置を含むように構成できる。一部の実施形態においては、１つまたは複数のマイクロフォン（図示せず）を使用して、ユーザ１００及び／または、ユーザ１００がいる環境からの音をコンピュータシステム１０６によって処理するために捕捉できる。
【００１９】
一部の実施形態においては、コンピュータシステム１０６は、コンピュータシステム１０６の処理ハードウェア上でローカルにゲームを実行するように構成される。ゲームまたはコンテンツは、物理媒体の形態等（例えば、デジタルディスク、テープ、カード、サムドライブ、ソリッドステートチップ若しくはカード等）任意の形態で、または、ネットワーク１１０を介してインターネットからダウンロードすることによって、取得できる。一部の実施形態においては、コンピュータシステム１０６は、ネットワーク１１０を介してクラウドゲーミングインフラストラクチャ１１２と通信するクライアントとして機能する。クラウドゲーミングインフラストラクチャ１１２は、ユーザ１００がプレイしているビデオゲームを維持、実行してよい。コンピュータシステム１０６は、ヘッドマウントディスプレイ１０２、コントローラ、及び、カメラ１０８から受信した入力をクラウドゲーミングインフラストラクチャ１１２に送信するように規定でき、クラウドゲーミングインフラストラクチャ１１２は、その入力を処理して、実行中のビデオゲームのゲーム状態に影響を与える。
【００２０】
一部の実施形態においては、ヘッドマウントディスプレイ１０２、コントローラ、及び、カメラ１０８は、それら自体、ネットワーク１１０に接続してクラウドゲーミングインフラストラクチャ１１２と通信するネットワーク化された装置であってよい。そうでない場合、例えば、コンピュータシステム１０６は、ビデオゲーム処理を行わず、ネットワークトラフィックの通過を容易にするルータ等のローカルネットワーク装置であってよい。ヘッドマウントディスプレイ１０２、コントローラ、及び、カメラ１０８によるネットワーク１１０への接続は、有線であっても無線であってもよい。
【００２１】
ビデオデータ、オーディオデータ、及び、触覚フィードバックデータ等、実行しているビデオゲームからのゲームデータは、クラウドゲーミングインフラストラクチャ１１２及び／またはコンテンツソース１２０からコンピュータシステム１０６に送信できる。コンピュータシステム１０６は、適切な装置に送信する前にゲームデータをさらに処理してよい、または、適切な装置にゲームデータを直接、送信してよい。例えば、ビデオストリーム及びオーディオストリームは、ヘッドマウントディスプレイ１０２に送信されてよく、振動フィードバックコマンドは、コントローラに送信されてよい。
【００２２】
図１Ｂは、本発明の例示の実施形態に係る、マルチメディアコンテンツを見る及び／またはマルチメディアコンテンツと対話するユーザ１００によって装着される例示のヘッドマウントディスプレイ１０２を示す。ヘッドマウントディスプレイ１０２は、ビデオゲームからの対話型シーン、映画からのシーン、インターネットコンテンツ、並びに、他の種類の対話型及び非対話型のコンテンツを含む、豊富なマルチメディアコンテンツをユーザ１００が見ることを可能にする。ヘッドマウントディスプレイ１０２の（向き、位置、方向等を含む）位置及び動きの追跡は、ヘッドマウントディスプレイ１０２上の慣性センサによって、且つ、ヘッドマウントディスプレイ１０２の種々の外側表面に分散された、発光ダイオード、赤外線マーカ、視覚マーカ要素等、複数のマーカ要素を、センサの組み合わせを用いて、または、ヘッドマウントディスプレイ１０２を囲む体積の規定に使用される１つまたは複数の変数に基づいて、追跡することによって可能になる。追跡に使用されるセンサの一部は、ヘッドマウントディスプレイ１０２の動きの追跡を可能にするヘッドマウントディスプレイ１０２内の慣性センサ、１つまたは複数の画像センサ、及び、１つまたは複数のデプスセンサを含むが、これらに限らない。ここで、画像センサ及びデプスセンサは、光学追跡を可能にする。慣性センサを用いた追跡は、ヘッドマウントディスプレイ１０２内に配置された１つまたは複数の加速度計及び１つまたは複数のジャイロスコープを用いて可能にされてよい。
【００２３】
画像センサは、１つまたは複数の単レンズカメラ、赤外線カメラ、ステレオカメラ等を含んでよい。デプスセンサは、１つまたは複数の深度検出カメラ、超音波カメラ、三次元（３Ｄ）ステレオカメラ、ビデオカメラ等を含んでよい。画像センサ及びデプスセンサは、ヘッドマウントディスプレイ１０２内に備えられた１つまたは複数のカメラと、ヘッドマウントディスプレイ１０２を装着しているユーザ１００の実世界環境内に分散されたカメラ１０８等の外部カメラを包含する。例えば、ヘッドマウントディスプレイ１０２内の画像センサ及び／またはデプスセンサを使用して、ヘッドマウントディスプレイ１０２を装着しているユーザ１００の視点から、ユーザ１００の直近の実世界の物体／シーンの画像／ビデオを撮影する。コンテンツが生成されている間、撮影された画像／ビデオは、ヘッドマウントディスプレイ１０２のディスプレイ部分でレンダリングされてよい。
【００２４】
また、撮影された画像／ビデオは、ユーザ１００がヘッドマウントディスプレイ１０２を装着している間、ヘッドマウントディスプレイ１０２のディスプレイでユーザ１００に提示できて、ユーザ１００に、「ビデオシースルー」機能を提供する。すなわち、ユーザ１００は、厳密な意味でヘッドマウントディスプレイ１０２を通して見ることはできないにもかかわらず、ヘッドマウントディスプレイ１０２の撮像装置が撮影したビデオは、ヘッドマウントディスプレイ１０２が透明であるかのように、ヘッドマウントディスプレイ１０２の外部の環境を見ることができる等価の機能を提供できる。このようなビデオは、仮想要素を用いて拡張されて、拡張現実体験を提供できる、または、他の方法で仮想要素と組み合わされる、または、混ぜ合わされてよい。記載を容易にするために、「仮想現実シーン」という語は、本明細書においては、完全にコンピュータで生成した仮想現実シーンまたは拡張現実シーンのいずれかである、ヘッドマウントディスプレイ１０２内のビデオの表示を指す。
【００２５】
ユーザ１００のシーン内の外部に分散された画像センサ及び／またはデプスセンサは、例えば、ヘッドマウントディスプレイ１０２の外側表面に分散されたライト、発光ダイオード（ＬＥＤ）、赤外線マーカ等の様々なマーカの画像／ビデオを撮影するように構成される。一実施形態においては、画像／ビデオは、コンピュータシステム１０６に送信され、コンピュータシステム１０６において、画像／ビデオフレームを分析して、ヘッドマウントディスプレイ１０２の位置を正確に決定する。従って、画像／ビデオは、ヘッドマウントディスプレイ１０２のコンピュータ処理能力内で分析されて、現実シーンの他の物体に対するヘッドマウントディスプレイ１０２の位置、向き、方向を決定できる。
【００２６】
１つの構成においては、ヘッドマウントディスプレイ１０２は、ヘッドマウントディスプレイ１０２の１つまたは複数の外側表面の戦略的な位置に配置された（例えば、図１Ｂの丸２、丸４、丸６で表された）ＬＥＤを含む。例えば、ＬＥＤは、ヘッドマウントディスプレイ１０２の前方ブロックユニット１０２ａ（例えば、光学素子ブロックとも呼ばれる）の４隅に配置されてよく、ヘッドマウントディスプレイ１０２の後部／背部１０２ｂに２つ配置されてよい。一部の実施形態においては、後部／背部１０２ｂは、調節可能なバンドユニットに配置される。ヘッドマウントディスプレイ１０２は、ユーザ１００の頭部にヘッドマウントディスプレイ１０２をユーザが安全にしっかりと配置するのを可能にする１０２ｃ及び１０２Ｄ等の他の表面も含んでよい。一部の実施形態においては、前方のＬＥＤは、前方ブロックユニット１０２ａの前面に部分的に配置され、前面の各側に位置する前方ブロックユニット１０２ａの側面に部分的に配置されるように構成されて、部分的Ｌ字型、曲がったＬ字型、ブーメラン型、曲がった長方形、曲がった線、点、円、パターン、または、これらの組み合わせを規定する。マーカは、ＬＥＤに限定されず、ライト、赤外線マーカ、色分けされたマーカ、反射マーカ等も含み得る。
【００２７】
画像／ビデオフレームの分析を用いて、ヘッドマウントディスプレイ１０２の異なるマーカの互いに対する、及び、１つまたは複数の基準点からの相対的距離を計算する。計算された距離を用いて、ヘッドマウントディスプレイ１０２の周りの体積と、使用中の体積の変化を決定して、ヘッドマウントディスプレイ１０２の位置をより正確に規定する。さらに、一部の実施形態においては、ヘッドマウントディスプレイ１０２を装着しているユーザ１００の動きの方向と位置とをより正確に決定するために、様々なセンサによって撮影されたビデオフレーム／画像を分析して、動きの向き、位置、及び、方向という点で、様々なマーカの位置決定を助ける。
【００２８】
また、本明細書に記載するように、ヘッドマウントディスプレイ１０２上の慣性センサは、慣性センサデータを生成し、慣性センサデータは、ヘッドマウントディスプレイ１０２に表示される仮想現実シーンを生成するように実行するアプリケーションへの入力としてユーザ１００が行ったアクション及び／またはジェスチャを決定するために、分析／処理されて、ヘッドマウントディスプレイ１０２の位置、動きの方向、及び、動きの速度を決定できる。一部の実施形態においては、慣性センサは、ヘッドマウントディスプレイ１０２の他のマーカ無しに使用されて、ヘッドマウントディスプレイ１０２の位置、動きの方向、及び、動きの速度を決定できる。一部の実施形態においては、慣性センサは、ヘッドマウントディスプレイ１０２の他のマーカと共に使用されて、ヘッドマウントディスプレイの１０２の位置、動きの方向、及び、動きの速度を決定できる。
【００２９】
一部の実施形態においては、ヘッドマウントディスプレイ１０２は、コンピュータアプリケーションの対話型仮想現実シーン内のビューあるいは視界を提供するように構成される。例えば、仮想現実シーンの生成とヘッドマウントディスプレイ１０２を通した表示を支援し得る一部のコンピュータアプリケーションは、ゲーム（ファーストパーソンシューターゲーム等）、仮想ツアー（ホテル、旅行サイト、地球上の関心場所等）、拡張現実アプリケーション（仮想ミーティング、遠隔ユーザ間のコラボレーション、共有／同期仮想空間のため等）、及び、拡張現実医療アプリケーション（遠隔検査、検査補助、遠隔手術、遠隔手術補助等）等を含む。様々なコンピュータアプリケーションにおいて、ヘッドマウントディスプレイ１０２を装着しているユーザ１００は、任意の方向に頭を動かして、仮想現実シーンの他の部分を見ることができる。そして、対話型仮想現実シーンの場合、ユーザの頭の動きによるヘッドマウントディスプレイ１０２の動きを用いて、仮想現実シーン内のユーザ及び／または他の物体の動きの制御、及び／または、仮想現実シーン内にあるオブジェクトに対してユーザのビューをズームイン、ズームアウトする等、仮想現実シーン内の他のアクション、の入力を行うことができる。
【００３０】
ヘッドマウントディスプレイ１０２の仮想現実シーンでレンダリングできる対話型コンテンツは、実質的に無限なので、ユーザは、ほとんどの次元で、仮想現実シーンを見て、仮想現実シーンと対話できる。ユーザの動きの追跡は、ヘッドマウントディスプレイ１０２内に配置される慣性センサの使用を含み得る。慣性センサは、１つまたは複数の加速度計（ＭＥＭＳ慣性加速度計等）、及び／または、１つまたは複数のジャイロスコープ（リングレーザジャイロスコープ、光ファイバジャイロスコープ、ＭＥＭＳジャイロスコープ等）を含み得る。ヘッドマウントディスプレイ１０２の一部の実施態様は、より多くまたはより少ない慣性センサを含んでよい。
【００３１】
記載を簡単にするために、本明細書における「慣性センサ」という語は、外部を参照することなしに、自己の動きを検出／感知できる任意の種類の慣性センサを指す。慣性センサは、慣性センサの動きの方向と速度に関する情報を提供する慣性センサデータを生成する。ヘッドマウントディスプレイ１０２内に固定された慣性センサを用いる場合、慣性センサデータを分析して、ヘッドマウントディスプレイ１０２の動きの方向と速度を決定でき、次に、その方向と速度を分析して、ヘッドマウントディスプレイ１０２を装着しているユーザ１００の動きの方向と速度を決定できる。このように、慣性センサデータの分析を通して決定されたユーザの動きは、仮想現実シーンを生成、レンダリングするように実行するコンピュータアプリケーションへの入力として使用できる。
【００３２】
従って、慣性センサデータの分析を通して、ユーザは、対話型仮想現実シーン内の特定のアクションに影響を与える人間コントローラとして働くことができる。そして、一部の実施形態においては、ユーザの動きと、仮想現実シーン内の対応するアクションとは、必然的に互いに関連し得る。例えば、ユーザの前傾を示す慣性センサデータは、入力としてコンピュータアプリケーションによって使用されて、ユーザの視点を仮想現実シーン内で前に移動させてよい。ユーザの動きの種類と、仮想現実シーン内での対応するアクションとは、人間の体の可能な動きの範囲と、任意の所与の仮想現実シーンの文脈とに応じて、基本的に無限であると理解されたい。
【００３３】
図２Ａは、本発明の例示の実施形態に係る、マウントディスプレイ１０２を装着しているユーザ１００の側面図を示す。ユーザは、ｘ軸、ｙ軸、ｚ軸で規定される基準デカルト座標系に対してホームポジションにある。図２Ｂは、本発明の例示の実施形態に係る、マウントディスプレイ１０２を装着しているユーザ１００の正面図を示す。ユーザは、ｘ軸、ｙ軸、ｚ軸で規定される基準デカルト座標系に対してホームポジションにある。
【００３４】
図３Ａは、本発明の例示の実施形態に係る、ホームポジションからのユーザ１００の前傾動作を示す。ユーザ１００の前傾動作によって、ヘッドマウントディスプレイ１０２上の慣性センサ（複数可）は慣性センサデータを生成し、その慣性センサデータを分析すると、矢印２０１によって示される前傾方向の動きが現れる。慣性センサデータの分析によって決定される前傾方向の動きを使用して、ヘッドマウントディスプレイ１０２に表示される仮想現実シーン内のアクションに影響を及ぼすことができる。仮想現実シーン内のアクションへの影響は、ユーザ若しくはユーザが制御している仮想物体の視点を前に移動させること、または、ユーザ若しくはユーザが制御している仮想物体の視点が後ろに移動するのを止めること、または、ユーザのビューを仮想現実シーン内の特定の物体または点にズームインさせること、ヘッドマウントディスプレイ１０２内でユーザ１００に対して現在、表示されている仮想現実シーンの文脈に見合った他の可能なアクション等である。
【００３５】
図３Ｂは、本発明の例示の実施形態に係る、ホームポジションからのユーザ１００の後傾動作を示す。ユーザ１００の後傾動作によって、ヘッドマウントディスプレイ１０２上の慣性センサ（複数可）は慣性センサデータを生成し、その慣性センサデータを分析すると、矢印２０３によって示される後傾方向の動きが現れる。慣性センサデータの分析によって決定される後傾方向の動きを使用して、ヘッドマウントディスプレイ１０２に表示される仮想現実シーン内のアクションに影響を及ぼすことができる。仮想現実シーン内のアクションへの影響は、ユーザ若しくはユーザが制御している仮想物体の視点が前に移動するのを止めること、または、ユーザ若しくはユーザが制御している仮想物体の視点を後ろに移動させること、または、ユーザのビューを仮想現実シーン内の特定の物体または点からズームアウトさせること、ヘッドマウントディスプレイ１０２内でユーザ１００に対して現在、表示されている仮想現実シーンの文脈に見合った他の可能なアクション等である。
【００３６】
図３Ｃは、本発明の例示の実施形態に係る、ホームポジションからユーザ１００が左に傾く動きを示す。ユーザ１００の左に傾く動きによって、ヘッドマウントディスプレイ１０２上の慣性センサ（複数可）は慣性センサデータを生成し、その慣性センサデータを分析すると、矢印２０５によって示される左方向に傾く動きが現れる。慣性センサデータの分析によって決定される左方向に傾く動きを使用して、ヘッドマウントディスプレイ１０２に表示される仮想現実シーン内のアクションに影響を及ぼすことができる。仮想現実シーン内のアクションへの影響は、ユーザ若しくはユーザが制御している仮想物体の視点が右に移動するのを止めること、または、ユーザ若しくはユーザが制御している仮想物体の視点を左に移動させること、または、ユーザ若しくはユーザが制御している仮想物体のビューを左に傾けること、ヘッドマウントディスプレイ１０２内でユーザ１００に対して現在、表示されている仮想現実シーンの文脈に見合った他の可能なアクション等である。
【００３７】
図３Ｄは、本発明の例示の実施形態に係る、ホームポジションからユーザ１００が右に傾く動きを示す。ユーザ１００の右に傾く動きによって、ヘッドマウントディスプレイ１０２上の慣性センサ（複数可）は、慣性センサデータを生成し、その慣性センサデータを分析すると、矢印２０７によって示される右方向に傾く動きが現れる。慣性センサデータの分析によって決定される右方向に傾く動きを使用して、ヘッドマウントディスプレイ１０２に表示される仮想現実シーン内のアクションに影響を及ぼすことができる。仮想現実シーン内のアクションへの影響は、ユーザ若しくはユーザが制御している仮想物体の視点が左に移動するのを止めること、または、ユーザ若しくはユーザが制御している仮想物体の視点を右に移動させること、または、ユーザ若しくはユーザが制御している仮想物体のビューを右に傾けること、ヘッドマウントディスプレイ１０２内でユーザ１００に対して現在、表示されている仮想現実シーンの文脈に見合った他の可能なアクション等である。
【００３８】
図３Ｅは、本発明の例示の実施形態に係る、マウントディスプレイ１０２を装着しているユーザ１００の上面図を示す。ユーザは、ｘ軸、ｙ軸、ｚ軸で規定される基準デカルト座標系に対してホームポジションにある。図３Ｆは、本発明の例示の実施形態に係る、ホームポジションからユーザ１００が頭を左に向ける動きを示す。ユーザ１００の頭を左に向ける動きによって、ヘッドマウントディスプレイ１０２上の慣性センサ（複数可）は慣性センサデータを生成し、その慣性センサデータを分析すると、矢印２０９によって示される頭を左に向ける動きが現れる。慣性センサデータの分析によって決定される頭を左に向ける動きを使用して、ヘッドマウントディスプレイ１０２に表示される仮想現実シーン内のアクションに影響を及ぼすことができる。仮想現実シーン内のアクションへの影響は、ユーザ若しくはユーザが制御している仮想物体の視点が右に向くのを止めること、または、ユーザ若しくはユーザが制御している仮想物体の視点を左に向けること、または、ユーザのビューを左にパンさせること、ヘッドマウントディスプレイ１０２内でユーザ１００に対して現在、表示されている仮想現実シーンの文脈に見合った他の可能なアクション等である。
【００３９】
図３Ｇは、本発明の例示の実施形態に係る、ホームポジションからユーザ１００が頭を右に向ける動きを示す。ユーザ１００の頭を右に向ける動きによって、ヘッドマウントディスプレイ１０２上の慣性センサ（複数可）は慣性センサデータを生成し、その慣性センサデータを分析すると、矢印２１１によって示される頭を右に向ける動きが現れる。慣性センサデータの分析によって決定される頭を右に向ける動きを使用して、ヘッドマウントディスプレイ１０２に表示される仮想現実シーン内のアクションに影響を及ぼすことができる。仮想現実シーン内のアクションへの影響は、ユーザ若しくはユーザが制御している仮想物体の視点が左に向くのを止めること、または、ユーザ若しくはユーザが制御している仮想物体の視点を右に向けること、または、ユーザのビューを右にパンさせること、ヘッドマウントディスプレイ１０２内でユーザ１００に対して現在、表示されている仮想現実シーンの文脈に見合った他の可能なアクション等である。
【００４０】
図３Ｈは、本発明の例示の実施形態に係る、ホームポジションからユーザ１００の頭を後ろに傾ける動きを示す。ユーザ１００の頭を後ろに傾ける動きによって、ヘッドマウントディスプレイ１０２上の慣性センサ（複数可）は慣性センサデータを生成し、その慣性センサデータを分析すると、矢印２１３によって示される頭を後ろに傾ける方向の動きが現れる。慣性センサデータの分析によって決定される頭を後ろに傾ける方向の動きを使用して、ヘッドマウントディスプレイ１０２に表示される仮想現実シーン内のアクションに影響を及ぼすことができる。仮想現実シーン内のアクションへの影響は、ユーザ若しくはユーザが制御している仮想物体の視点が下に向くのを止めること、または、ユーザ若しくはユーザが制御している仮想物体の視点を上に向けること、または、ユーザのビューを上にパンすること、ヘッドマウントディスプレイ１０２内でユーザ１００に対して現在、表示されている仮想現実シーンの文脈に見合った他の可能なアクション等である。
【００４１】
図３Ｉは、本発明の例示の実施形態に係る、ホームポジションからのユーザ１００の頭を前に傾ける動きを示す。ユーザ１００の頭を前に傾ける動きによって、ヘッドマウントディスプレイ１０２上の慣性センサ（複数可）は慣性センサデータを生成し、その慣性センサデータを分析すると、矢印２１５によって示される頭を前に傾ける方向の動きが現れる。慣性センサデータの分析によって決定される頭を前に傾ける方向の動きを使用して、ヘッドマウントディスプレイ１０２に表示される仮想現実シーン内のアクションに影響を及ぼすことができる。仮想現実シーン内のアクションへの影響は、ユーザ若しくはユーザが制御している仮想物体の視点が上に向くのを止めること、または、ユーザまたはユーザが制御している仮想物体の視点を下に向けること、または、ユーザのビューを下にパンすること、ヘッドマウントディスプレイ１０２内でユーザ１００に対して現在、表示されている仮想現実シーンの文脈に見合った他の可能なアクション等である。
【００４２】
図３Ｊは、本発明の例示の実施形態に係る、ホームポジションからのユーザ１００の下降動作を示す。ユーザ１００の下降動作によって、ヘッドマウントディスプレイ１０２上の慣性センサ（複数可）は慣性センサデータを生成し、その慣性センサデータを分析すると、矢印２１７によって示される下方への動きが現れる。慣性センサデータの分析によって決定される下方への動きを使用して、ヘッドマウントディスプレイ１０２に表示される仮想現実シーン内のアクションに影響を及ぼすことができる。仮想現実シーン内のアクションへの影響は、ユーザ若しくはユーザが制御している仮想物体の視点の上方への移動を止めること、または、ユーザ若しくはユーザが制御している仮想物体の視点を下方に移動させること、または、ユーザ若しくはユーザが制御している仮想物体の視点が仮想現実シーン内で静止状態であると仮定させること、または、選択アクションを生じさせること、ヘッドマウントディスプレイ１０２内でユーザ１００に対して現在、表示されている仮想現実シーンの文脈に見合った他の可能なアクション等である。
【００４３】
図３Ｋは、本発明の例示の実施形態に係る、ホームポジションからユーザ１００の上昇動作を示す。ユーザ１００の上昇動作によって、ヘッドマウントディスプレイ１０２上の慣性センサ（複数可）は慣性センサデータを生成し、その慣性センサデータを分析すると、矢印２１９によって示される上方への動きが現れる。慣性センサデータの分析によって決定される上方への動きを使用して、ヘッドマウントディスプレイ１０２に表示される仮想現実シーン内のアクションに影響を及ぼすことができる。ユーザ若しくはユーザが制御している仮想物体の視点の下方への移動を止めること、または、ユーザ若しくはユーザが制御している仮想物体の視点を上方に移動させること、または、ユーザ若しくはユーザが制御している仮想物体の視点を仮想現実シーン内でジャンプさせること、ヘッドマウントディスプレイ１０２内でユーザ１００に対して現在、表示されている仮想現実シーンの文脈に見合った他の可能なアクション等である。
【００４４】
図３Ｌは、本発明の例示の実施形態に係る、マウントディスプレイ１０２を装着しているユーザ１００の正面図を示す。ユーザは、ｘ軸、ｙ軸、ｚ軸で規定される基準デカルト座標系に対してホームポジションにあり、追加の慣性センサ３０１が、ヘッドマウントディスプレイ１０２の外部のユーザ１００の体に配置されている。この実施形態においては、ヘッドマウントディスプレイ１０２の外部のユーザ１００の体に配置された追加の慣性センサ３０１からの信号は、ヘッドマウントディスプレイ１０２上の慣性センサ（複数可）から受信された信号と共に処理されて、ユーザ１００が行っている特定の種類の動きの決定を容易にできる。例えば、ヘッドマウントディスプレイ１０２上の慣性センサ（複数可）が、横（左右）方向の動きを示し、ユーザ１００の体の慣性センサ３０１が、横方向の動きを示さない時、ヘッドマウントディスプレイ１０２上の慣性センサ（複数可）によって示される横方向の動きは、横方向に傾く動きではなく、頭を横に傾ける動きに対応するとして解釈できる。同様に、別の例において、ヘッドマウントディスプレイ１０２上の慣性センサ（複数可）が横（左右）方向の動きを示し、ユーザ１００の体上の慣性センサ３０１も横方向の動きを示す時、ヘッドマウントディスプレイ１０２上の慣性センサ（複数可）が示す横方向の動きは、頭を横に傾ける動きではなく、横方向に傾く動きに対応するとして解釈できる。
【００４５】
別の例において、ヘッドマウントディスプレイ１０２上の慣性センサ（複数可）が、前方への動きを示し、ユーザ１００の体の慣性センサ３０１が前方への動きを示さない時、ヘッドマウントディスプレイ１０２上の慣性センサ（複数可）が示す前方への動きは、前傾動作ではなく、頭を前に傾ける動きに対応するとして解釈できる。同様に、別の例において、ヘッドマウントディスプレイ１０２上の慣性センサ（複数可）が、前方への動きを示し、ユーザ１００の体の慣性センサ３０１も前方への動きを示す時、ヘッドマウントディスプレイ１０２上の慣性センサ（複数可）が示す前方への動きは、頭を前に傾ける動きではなく、前傾動作に対応するとして解釈できる。
【００４６】
別の例において、ヘッドマウントディスプレイ１０２上の慣性センサ（複数可）が、後方への動きを示し、ユーザ１００の体の慣性センサ３０１は、後方への動きを示さない時、ヘッドマウントディスプレイ１０２上の慣性センサ（複数可）によって示される後方への動きは、後傾動作ではなく、頭を後ろに傾ける動きに対応すると解釈できる。同様に、別の例において、ヘッドマウントディスプレイ１０２上の慣性センサ（複数可）が、後方への動きを示し、ユーザ１００の体の慣性センサ３０１も後方への動きを示す時、ヘッドマウントディスプレイ１０２上の慣性センサ（複数可）によって示される後方への動きは、頭を後ろに傾ける動きではなく、後傾動作に対応すると解釈できる。
【００４７】
別の例において、ヘッドマウントディスプレイ１０２上の慣性センサ（複数可）が、回転方向（左または右への回転）の動きを示し、ユーザ１００の体の慣性センサ３０１が回転方向の動きを示さない時、ヘッドマウントディスプレイ１０２上の慣性センサ（複数可）が示す回転方向の動きは、体の回転方向への動きではなく、頭の回転方向への動きに対応すると解釈できる。別の例において、ヘッドマウントディスプレイ１０２上の慣性センサ（複数可）が、第１の回転方向への動きを示し、ユーザ１００の体の慣性センサ３０１が、第１の回転方向の動きとは反対の第２の回転方向への動きを示す時、ユーザ１００の体の慣性センサに対してヘッドマウントディスプレイ１０２上の慣性センサ（複数可）が示す反対向きの回転運動は、ワインドアップ動作等の、反対の回転動作に対応すると解釈できる。
【００４８】
図３Ｌに示されたユーザ１００の体の慣性センサ３０１の特定の数及び位置は、例として提供したことを理解されたい。様々な実施形態において、ユーザ１００の体の慣性センサ３０１の数及び位置は、ユーザ１００の特定の動きを判別するために、ヘッドマウントディスプレイ１０２上の慣性センサ（複数可）によって生成された信号と比較するための体の動きを表す信号を提供するように必要に応じて、変化し得る。
【００４９】
図３Ａ〜図３Ｌに関して記載したユーザ１００の特定の動きは、ユーザ１００の可能な動きのより幅広いセットのうちの一例であることを理解されたい。従って、図３Ａ〜図３Ｌに関して記載したユーザ１００の特定の動きは、基本の動きと考えてよいが、ユーザ１００のこれらの特定の動きは、ユーザ１００可能な動きの全てを網羅するものではない。慣性センサデータの分析によって、図３Ａ〜図３Ｌに示すユーザ１００の特定の動きと、その動きの間に生じ得るユーザ１００の任意の方向とを含む、生じ得るユーザ１００の動きの任意の方向を表すことができる。また、仮想現実シーンの文脈に見合った仮想現実シーン内の任意のアクションは、ヘッドマウントディスプレイ１０２内の慣性センサから受信した慣性センサデータの分析を通して検出可能なユーザ１００の任意の動きに相関させることができる。
【００５０】
図４は、本発明の例示の実施形態に係る、ヘッドマウントディスプレイから受信した慣性センサデータに基づいて、コンピュータシステムを操作して、仮想現実シーンのためのビデオデータを生成する方法のフローチャートを示す。本方法は、ヘッドマウントディスプレイ内に仮想現実シーンを表示するために、ヘッドマウントディスプレイにビデオデータを送信する操作４０１を含む。本方法は、ヘッドマウントディスプレイ内の１つまたは複数の慣性センサから慣性センサデータを受信する操作４０３も含む。慣性センサデータは、ヘッドマウントディスプレイを装着しているユーザの動きに従ったヘッドマウントディスプレイの動きを示す。ユーザの動きは、ヘッドマウントディスプレイ内に表示された仮想現実シーンに基づいている。本方法は、受信した慣性センサデータを仮想現実シーン内のアクションに相関させる操作４０５も含む。本方法は、アクションの実施を反映するように仮想現実シーンへの更新を生成する操作４０７も含む。仮想現実シーンへの更新は、受信した慣性センサデータに相関されたアクションを処理した後の仮想現実シーンを反映するビデオデータである。
【００５１】
一部の実施形態においては、操作４０５の相関は、ヘッドマウントディスプレイの動きのルートの決定と、ヘッドマウントディスプレイの動きの速度の決定を含む。一部の実施形態においては、ヘッドマウントディスプレイの動きのルートは、前傾、後傾、左への傾き、右への傾き、頭を左に向けること、頭を右に向けること、頭を後ろに傾けること、頭を前に傾けること、スクワット、及び、ジャンプを含む、ユーザの動きのセット内の１つまたは複数のユーザの動きに対応する。しかしながら、他の実施形態においては、ヘッドマウントディスプレイの動きのルートは、人体の動きの能力内の任意のユーザの動きに基本的に対応してよい。
【００５２】
操作４０５の相関は、仮想現実シーンの現在の文脈内で許容できる仮想の動きのセットを決定することも含み得る。操作４０５の相関は、許容できる仮想の動きのセット内の対応する仮想の動きにヘッドマウントディスプレイの動きのルートをマッピングすることも含み得る。一部の実施形態においては、ヘッドマウントディスプレイの動きのルートを対応する仮想の動きにマッピングすることは、較正表にクエリを行うことを含み、較正表は、ヘッドマウントディスプレイの動きの多くのルートと、仮想現実シーン内、すなわち、仮想現実シーンの現在の文脈内に結果として生じるアクションとの関連を規定する。
【００５３】
操作４０５の相関は、ヘッドマウントディスプレイの動きの速度を仮想現実シーン内の対応する可能の動きの速度にマッピングすることも含み得る。仮想現実シーン内において、仮想の動きは、ユーザの視点、ユーザの制御下の物体、または、仮想現実シーン内の何らかの他の動きのアクションに関してよい。一部の実施形態においては、ヘッドマウントディスプレイの動きのルートと動きの速度との両方を仮想現実シーン内の対応する仮想の動きにマッピングすることは、較正表にクエリを行うことを含み、較正表は、ヘッドマウントディスプレイの動きのルートと速度の多くの組み合わせと、仮想現実シーン内に結果として生じるアクションとの関連を規定する。
【００５４】
一部の実施形態においては、操作４０５において、受信した慣性センサデータを相関させる仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点の動きである。一部の実施形態においては、操作４０５において受信した慣性センサデータを相関させる仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点の方向の変化である。一部の実施形態においては、操作４０５において受信した慣性センサデータを相関させる仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点のズームインまたはズームアウトである。一部の実施形態においては、操作４０５において受信した慣性センサデータを相関させる仮想現実シーン内のアクションは、仮想現実シーン内に表示される物体の動きである。しかしながら、特定の実施形態に関わらず、操作４０５において受信した慣性センサデータを相関させる仮想現実シーン内のアクションは、基本的に、ヘッドマウントディスプレイ内でユーザに表示される仮想現実シーンの現在の文脈に見合った任意の種類のアクションであってよいことは理解されたい。
【００５５】
操作４０５の相関が仮想現実シーンの現在の文脈内で許容できる仮想の動きのセットを決定することを含む一部の実施形態においては、操作４０５の相関がヘッドマウントディスプレイの動きのルートが許容できる仮想の動きのセット内のいずれの仮想の動きにも対応しないと、決定することも含み得る。これらの実施形態においては、本方法は、フィードバック信号をヘッドマウントディスプレイに送信するオプション操作も含むことができ、フィードバック信号は、ヘッドマウントディスプレイの動きが許容できる仮想の動きのセット内のいずれの仮想の動きにも対応していないことをユーザに通知する。
【００５６】
図４の方法は、ヘッドマウントディスプレイを装着しているユーザの体に配置されている１つまたは複数の外部の慣性センサから慣性センサデータを受信するオプション操作も含み得る。外部の慣性センサデータは、ユーザの体の動きを示す。本方法は、図３Ｌに関して記載した等のユーザが行う特定の動きを決定するために、外部の慣性センサデータをヘッドマウントディスプレイの慣性センサから受信した慣性センサデータと比較する操作も含み得る。そうして、受信した慣性センサデータを仮想現実シーン内のアクションに相関させる操作４０５は、ユーザの体に配置された１つまたは複数の外部の慣性センサから受信した外部の慣性センサデータを考慮する。
【００５７】
図５は、本発明の例示の実施形態に係る、ヘッドマウントディスプレイから受信した慣性センサデータと視線方向データとに基づいて、仮想現実シーンのためのビデオデータを生成するようにコンピュータシステムを操作する方法のフローチャートを示す。本方法は、ヘッドマウントディスプレイ内に仮想現実シーンを表示するために、ビデオデータをヘッドマウントディスプレイに送信する操作５０１を含む。本方法は、ヘッドマウントディスプレイ内の１つまたは複数の慣性センサから慣性センサデータを受信する操作５０３も含む。慣性センサデータは、ヘッドマウントディスプレイを装着しているユーザの動きに従ったヘッドマウントディスプレイの動きを示す。ユーザの動きは、ヘッドマウントディスプレイ内に表示された仮想現実シーンに基づいている。
【００５８】
本方法は、ヘッドマウントディスプレイ内の１つまたは複数の視線検出器からの視線方向データを受信する操作５０５も含む。視線検出器は、ユーザの眼の瞳孔の正確な位置を検出するように規定される。視線方向データは、ヘッドマウントディスプレイ内に表示された仮想現実シーンに対するユーザの視覚の焦点方向（ｖｉｓｉｏｎ  ｆｏｃｕｓ  ｄｉｒｅｃｔｉｏｎ）を示す。本方法は、視線方向データを慣性センサデータと同期させて、ヘッドマウントディスプレイ内に表示された仮想現実シーンに対するユーザの同期された視覚の焦点方向を決定する操作５０７も含む。一部の実施形態においては、操作５０７において視線方向データを慣性センサデータに同期させることは、視線方向データと慣性センサデータが時間的に同じインスタンスに対応するように、視線方向データと慣性センサデータを時間的に整列させることを含む。
【００５９】
本方法は、受信した慣性センサデータを仮想現実シーン内のアクションに相関させる操作５０９も含む。操作５０９の相関は、受信した慣性センサデータに基づいて、ヘッドマウントディスプレイの動きのルートとヘッドマウントディスプレイの動きの速度を決定する操作５０９Ａを含む。操作５０９の相関は、ヘッドマウントディスプレイの動きのルートと同期された視覚の焦点方向との両方を使用して、仮想現実シーン内のアクションを決定する操作５０９Ｂも含む。一部の実施形態においては、同期された視覚の焦点方向は、仮想現実シーン内のアクションを決定する時、方向重み付けパラメータとして適用される。例えば、一部の実施形態においては、方向重み付けパラメータの大きさは、同期された視覚の焦点方向が所与の方向で持続した時間量に比例する。図４の方法において操作４０５の相関に関して記載した特徴の任意の特徴を操作５０９の相関にも適用できることも理解されたい。
【００６０】
図５の方法は、アクションの実施を反映するように仮想現実シーンへの更新を生成する操作５１１をさらに含む。仮想現実シーンへの更新は、受信した慣性センサデータと受信した視線方向データとの両方に相関されるアクションを処理した後の仮想現実シーンを反映するビデオデータである。
【００６１】
図５の方法は、ヘッドマウントディスプレイを装着しているユーザの体に配置された１つまたは複数の外部の慣性センサから慣性センサデータを受信するオプション操作も含み得る。外部の慣性センサデータは、ユーザの体の動きを示す。本方法は、図３Ｌに関して記載した等のユーザが行った特定の動きを決定するために、外部の慣性センサデータをヘッドマウントディスプレイの慣性センサから受信した慣性センサデータと比較する操作も含み得る。そうして、受信した慣性センサデータを仮想現実シーン内のアクションに相関させる操作５０９は、ユーザの体に配置された１つまたは複数の外部の慣性センサから受信した外部の慣性センサデータを考慮する。
【００６２】
図６は、本発明の例示の実施形態に係る、ユーザの動きに基づいて生成された慣性データ信号が仮想現実シーン内にアクションを起こす入力として提供されるヘッドマウントディスプレイを操作する方法のフローチャートを示す。本方法は、ヘッドマウントディスプレイでビデオデータを受信する操作６０１を含み、ビデオデータは、仮想現実シーンを規定する。本方法は、ユーザが仮想現実シーンを見ることができるように、ヘッドマウントディスプレイ内に仮想現実シーンを表示する操作６０３も含む。本方法は、ヘッドマウントディスプレイ内の１つまたは複数の慣性センサを操作して、ヘッドマウントディスプレイを装着しているユーザの動きに従ったヘッドマウントディスプレイの動きを示す慣性センサデータを生成する操作６０５も含む。ユーザの動きは、仮想現実シーン内に行われるべきアクションに対応する。
【００６３】
慣性センサデータは、ヘッドマウントディスプレイの動きのルートを決定し、ヘッドマウントディスプレイの動きの速度を決定する。一部の実施形態においては、ヘッドマウントディスプレイの動きのルートと、ヘッドマウントディスプレイの動きの速度とは、仮想現実シーンの現在の文脈内で許容できる仮想の動きのセット内で対応する仮想の動きにコンピューティングシステムによってマッピングされる。一部の実施形態においては、ヘッドマウントディスプレイの動きのルートは、前傾、後傾、左への傾き、右への傾き、頭を左に向けること、頭を右に向けること、頭を後ろに傾けること、頭を前に傾けること、スクワット、及び、ジャンプを含む、ユーザの動きのセット内で１つまたは複数のユーザの動きに対応する。しかしながら、他の実施形態においては、ヘッドマウントディスプレイの動きのルートは、人体の動きの能力内の任意のユーザの動きに基本的に対応してよい。
【００６４】
一部の実施形態においては、生成された慣性センサデータが対応する仮想現実シーン内のアクションは、仮想現実シーン内でのユーザの視点の動きである。一部の実施形態においては、生成された慣性センサデータが対応する仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点の方向の変化である。一部の実施形態においては、生成された慣性センサデータが対応する仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点のズームインまたはズームアウトである。一部の実施形態においては、生成された慣性センサデータが対応する仮想現実シーン内のアクションは、仮想現実シーン内に表示された物体の動きである。しかしながら、特定の実施形態に関わらず、生成された慣性センサデータが対応する仮想現実シーン内のアクションは、基本的に、ヘッドマウントディスプレイ内でユーザに表示される仮想現実シーンの現在の文脈に見合った任意の種類のアクションであってよいことは理解されたい。
【００６５】
本方法は、慣性センサデータを、ビデオデータの送信元であるコンピューティングシステムに送信する操作６０７も含む。本方法は、ユーザの動きに対応する仮想現実シーン内のアクションを反映する更新された仮想現実シーンを規定するビデオデータをコンピューティングシステムから受信する操作６０９も含む。本方法は、ヘッドマウントディスプレイ内に更新された仮想現実シーンを表示する操作６１１も含む。
【００６６】
また、一部の実施形態においては、図６の方法は、ヘッドマウントディスプレイの動きのルートが仮想現実シーンの現在の文脈内で許容できる仮想の動きのセット内に対応する仮想の動きを有していないことを示すフィードバック信号をコンピューティングシステムから受信するオプション操作を含み得る。フィードバック信号に応答して、ヘッドマウントディスプレイの動きのルートが仮想現実シーンの現在の文脈内の有効なアクションに対応していないことをユーザに通知し得る。一部の実施形態においては、フィードバック信号をユーザに通知することは、ヘッドマウントディスプレイを操作して、可聴信号、触覚信号、視覚信号等の１つまたは複数を提供することによって行うことができる。
【００６７】
図６の方法は、ヘッドマウントディスプレイを装着しているユーザの体に配置されている１つまたは複数の外部の慣性センサからの慣性センサデータを、ビデオデータの送信元であるコンピューティングシステムに送信するオプション操作も含み得る。外部の慣性センサデータは、ユーザの体の動きを示す。コンピューティングシステムは、次に、図３Ｌに関して記載した等のユーザが行った特定の動きを決定するために、ヘッドマウントディスプレイの慣性センサから受信した慣性センサデータと組み合わせて外部の慣性センサデータを使用できる。そうして、操作６０９で受信された更新された仮想現実シーンを規定するビデオデータは、外部の慣性センサデータとヘッドマウントディスプレイの慣性センサデータとの組み合わせから判別される仮想シーン内のアクションを反映する。
【００６８】
図７は、本発明の例示の実施形態に係る、ユーザの動きに基づいて生成された慣性データ信号と視線方向データとの両方を仮想現実シーン内にアクションを起こすための入力として提供するヘッドマウントディスプレイを操作する方法のフローチャートを示す。本方法は、ヘッドマウントディスプレイでビデオデータを受信する操作７０１を含み、ビデオデータは、仮想現実シーンを規定する。本方法は、ユーザが仮想現実シーンを見ることができるように、ヘッドマウントディスプレイ内に仮想現実シーンを表示する操作７０３も含む。本方法は、ヘッドマウントディスプレイ内の１つまたは複数の慣性センサを操作して、ヘッドマウントディスプレイを装着しているユーザの動きに従ったヘッドマウントディスプレイの動きを示す慣性センサデータを生成する操作７０５も含む。ユーザの動きは、仮想現実シーン内で行われるアクションに対応する。本方法は、慣性センサデータを、ビデオデータの送信元であるコンピューティングシステムに送信する操作７０７も含む。
【００６９】
慣性センサデータは、ヘッドマウントディスプレイの動きのルートを決定し、ヘッドマウントディスプレイの動きの速度を決定する。一部の実施形態においては、ヘッドマウントディスプレイの動きのルートとヘッドマウントディスプレイの動きの速度とは、仮想現実シーンの現在の文脈内で許容できる仮想の動きのセット内の対応する仮想の動きにコンピューティングシステムによってマッピングされる。一部の実施形態においては、ヘッドマウントディスプレイの動きのルートは、前傾、後傾、左への傾き、右への傾き、頭を左に向けること、頭を右に向けること、頭を後ろに傾けること、頭を前に傾けること、スクワット、及び、ジャンプを含む、ユーザの動きのセット内の１つまたは複数のユーザの動きに対応する。しかしながら、他の実施形態においては、ヘッドマウントディスプレイの動きのルートは、人体の動きの能力内の任意のユーザの動きに基本的に対応してよい。
【００７０】
一部の実施形態においては、生成された慣性センサデータが対応する仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点の動きである。一部の実施形態においては、生成された慣性センサデータが対応する仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点の方向の変化である。一部の実施形態においては、生成された慣性センサデータが対応する仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点のズームインまたはズームアウトである。一部の実施形態においては、生成された慣性センサデータが対応する仮想現実シーン内のアクションは、仮想現実シーン内に表示された物体の動きである。しかしながら、特定の実施形態に関わらず、生成された慣性センサデータが対応する仮想現実シーン内のアクションは、基本的に、ヘッドマウントディスプレイ内でユーザに表示された仮想現実シーンの現在の文脈に見合った任意の種類のアクションであってよいことは理解されたい。
【００７１】
本方法は、ヘッドマウントディスプレイ内の１つまたは複数の視線検出器を操作して、ヘッドマウントディスプレイ内に表示された仮想現実シーンに対してユーザの視覚の焦点方向を示す視線方向データを生成する操作７０９も含む。視線検出器は、ユーザの眼の瞳孔の正確な位置を検出するように規定される。本方法は、ビデオデータの送信元であるコンピューティングシステムに、視線方向データを送信する操作７１１も含む。視線方向データは、慣性センサデータと同期されて、ヘッドマウントディスプレイ内に表示された仮想現実シーンに対するユーザの同期された視覚の焦点方向を決定する。一部の実施形態においては、視線方向データを慣性センサデータと同期することは、視線方向データと慣性センサデータとを時間的に同じインスタンスに対応させるように、視線方向データと慣性センサデータとを時間的に整列させることを含む。慣性センサデータから決定されたヘッドマウントディスプレイの動きのルートと、同期された視覚の焦点方向との両方を用いて、ユーザの動きに対応する仮想現実シーン内のアクションを決定する。
【００７２】
本方法は、ユーザの動きに対応する仮想現実シーン内のアクションを反映する更新された仮想現実シーンを規定するビデオデータをコンピューティングシステムから受信する操作７１３も含む。本方法は、ヘッドマウントディスプレイ内に更新された仮想現実シーンを表示する操作７１５も含む。
【００７３】
また、一部の実施形態においては、図７の方法は、ヘッドマウントディスプレイの動きのルートが仮想現実シーンの現在の文脈内で許容できる仮想の動きのセット内に対応する仮想の動きを有さないことを示すフィードバック信号をコンピューティングシステムから受信するオプション操作を含み得る。フィードバック信号に応答して、ヘッドマウントディスプレイの動きのルートは、仮想現実シーンの現在の文脈内の有効なアクションに対応していないことをユーザに通知できる。一部の実施形態においては、フィードバック信号のユーザへの通知は、ヘッドマウントディスプレイを操作して、可聴信号、触覚信号、視覚信号等の１つまたは複数を提供することによって行うことができる。
【００７４】
図７の方法は、ヘッドマウントディスプレイを装着しているユーザの体に配置された１つまたは複数の外部の慣性センサからの慣性センサデータを、ビデオデータの送信元であるコンピューティングシステムに送信するオプション操作も含み得る。外部の慣性センサデータは、ユーザの体の動きを示す。コンピューティングシステムは、次に、図３Ｌに関して記載した等のユーザが行った特定の動きを決定するために、ヘッドマウントディスプレイの慣性センサから受信した慣性センサデータと組み合わせて、外部の慣性センサデータを使用できる。そうして、操作７１３で受信した更新された仮想現実シーンを規定するビデオデータは、外部の慣性センサデータとヘッドマウントディスプレイの慣性センサデータとの組み合わせから判別される仮想シーン内のアクションを反映する。
【００７５】
図８は、本発明の例示の実施形態に係る、コンピュータシステムを操作して、仮想現実シーン内のアクションを、ヘッドマウントディスプレイから受信した慣性センサデータに基づいて較正する方法のフローチャートを示す。本方法は、ヘッドマウントディスプレイを装着しているユーザが仮想現実シーンを見ることができるように、ヘッドマウントディスプレイ内の仮想現実シーンに表示するために、ビデオデータをヘッドマウントディスプレイに送信する操作８０１を含む。ヘッドマウントディスプレイは、ヘッドマウントディスプレイを装着しているユーザの動きに従ったヘッドマウントディスプレイの動きを示す慣性センサデータを生成するように構成された１つまたは複数の慣性センサを備える。仮想現実シーン内に特定のアクションを起こすジェスチャを行うようにユーザに要求する仮想現実シーンが生成される。例えば、仮想現実シーンは、行うべきジェスチャのグラフィックを示してよい、または、行うべきジェスチャのテキスト命令を表示してよい、または、要求されたジェスチャを行うようにユーザを暗に誘うシーンを単に示してよい。要求されたジェスチャによって、ヘッドマウントディスプレイを動かし、ヘッドマウントディスプレイの動きに対応する慣性センサデータが生成される。
【００７６】
本方法は、ヘッドマウントディスプレイから慣性センサデータを受信する操作８０３も含む。慣性センサデータは、ユーザがジェスチャを行って仮想現実シーン内に特定のアクションを起こすのに応答して、ヘッドマウントディスプレイの動きを示す。本方法は、受信した慣性センサデータを仮想現実シーン内の特定のアクションに相関させる操作８０５も含み、それによって、操作８０３で受信した慣性センサデータにほぼ等しい慣性センサデータをその後、受信すると、仮想現実シーン内でその特定のアクションが実行される。操作８０５の相関は、受信した慣性センサデータと特定のアクションとを仮想現実シーンの文脈に関連付けることであると理解されたい。
【００７７】
受信した慣性センサデータを仮想現実シーン内の特定のアクションに相関させることは、受信した慣性センサデータに関連付けられたユーザの動きを仮想現実シーン内で特定のアクションを起こすように効果的に較正することである。一部の実施形態においては、操作８０５において受信した慣性センサデータを特定のアクションに相関させることは、ヘッドマウントディスプレイの動きのルートを決定することと、ヘッドマウントディスプレイの動きの速度を決定することと、特定のアクションと、ヘッドマウントディスプレイの動きの決定されたルート及びヘッドマウントディスプレイの動きの決定された速度との関連を記録することとを含む。
【００７８】
図８の方法は、仮想現実シーン内の複数の特定のアクションのそれぞれに対して、操作８０１、８０３、８０５を繰り返すことも含み得る。一部の実施形態においては、仮想現実シーン内の複数の特定のアクションは、前に移動、後ろに移動、左に移動、及び、右に移動の移動アクションを含み、これらの移動アクションを起こすためにユーザが行うジェスチャは、それぞれ、前傾、後傾、左に傾くこと、右に傾くことである。一部の実施形態においては、仮想現実シーン内の複数の特定のアクションは、左を見ること、右を見ること、上を見ること、及び、下を見ることの見るアクションを含み、これらの見るアクションを起こすためにユーザが行うジェスチャは、それぞれ、頭を左に向ける、頭を右に向ける、頭を後ろに傾ける、頭を前に傾けることである。一部の実施形態においては、仮想現実シーン内の複数の特定のアクションは、ジャンプ及びダッキングの垂直方向の動作アクションを含み、これらの垂直方向の動作アクションを起こすためにユーザが行うジェスチャは、それぞれ、ジャンプ、ダッキングである。一部の実施形態においては、仮想現実シーン内の複数の特定のアクションは、座ることを含み、座ることを起こすためにユーザが行うジェスチャは、スクワットである。一部の実施形態においては、仮想現実シーン内の複数の特定のアクションは、ズームイン及びズームアウトのズームアクションを含み、これらのズームアクションを起こすためにユーザが行うジェスチャは、それぞれ、頭を前に動かすことと頭を後ろに動かすことである。
【００７９】
図８の方法は、ヘッドマウントディスプレイを装着しているユーザの体に配置された１つまたは複数の外部の慣性センサから慣性センサデータを受信するオプション操作も含み得る。外部の慣性センサデータは、ユーザの体の動きを示す。本方法は、図３Ｌに関して記載した等のユーザが行った特定の動きを決定するために、外部の慣性センサデータをヘッドマウントディスプレイの慣性センサから受信した慣性センサデータと比較する操作を含み得る。そうして、受信した慣性センサデータを仮想現実シーン内の特定のアクションと相関させる操作８０５は、ユーザの体に配置された１つまたは複数の外部の慣性センサから受信した外部の慣性センサデータを考慮する。
【００８０】
図９Ａは、本発明の例示の実施形態に係る、コンピュータシステムを操作して、ヘッドマウントディスプレイから受信した慣性センサデータに基づいて、仮想現実シーン内のアクションを動的に較正する方法のフローチャートを示す。本方法は、ヘッドマウントディスプレイを装着しているユーザが仮想現実シーンを見ることができるように、ヘッドマウントディスプレイ内に仮想現実シーンを表示するためにヘッドマウントディスプレイにビデオデータを送信する操作９０１を含む。ヘッドマウントディスプレイは、ヘッドマウントディスプレイを装着しているユーザの動きに従ったヘッドマウントディスプレイの動きを示す慣性センサデータを生成するように構成された１つまたは複数の慣性センサを備える。仮想現実シーン内に特定のアクションを起こすジェスチャをユーザが行うのを可能にする仮想現実シーンが生成される。例えば、仮想現実シーンは、ユーザに既になじみのあるアプリケーションに関してよい。ユーザのジェスチャによって、ヘッドマウントディスプレイは動き、ヘッドマウントディスプレイの動きに対応する慣性センサデータが生成される。
【００８１】
本方法は、ヘッドマウントディスプレイから慣性センサデータを受信する操作９０３も含む。慣性センサデータは、ユーザがジェスチャを行って仮想現実シーン内に特定のアクションを起こすことに応答して、ヘッドマウントディスプレイの動きを示す。本方法は、受信した慣性センサデータを処理することによってユーザの動きのルートとユーザの動きの速度とを決定する操作９０５も含む。本方法は、受信した慣性センサデータに対応する仮想現実シーンの動きの分類を決定する操作９０７も含む。本方法は、受信した慣性センサデータを仮想現実シーンの決定された動きの分類に相関させる操作９０９も含む。そして、本方法は、受信した慣性センサデータの仮想現実シーンの決定された動きの分類への相関をユーザプロファイルに記録する操作９１１を含む。図９Ｂは、本発明の例示の実施形態に係る、受信した慣性センサデータの、ユーザプロファイルの仮想現実シーンの決定された動きの分類への相関の例を示す。受信した慣性センサデータのユーザプロファイルの仮想現実シーンの決定された動きの分類への相関は、ユーザが動いて仮想現実シーン内にアクションを起こすと、仮想現実シーンに関連付けられたアプリケーションによって継続的、自動的に更新できる。
【００８２】
図９Ａの方法は、ヘッドマウントディスプレイを装着しているユーザの体に配置された１つまたは複数の外部の慣性センサから慣性センサデータを受信するオプション操作も含み得る。外部の慣性センサデータは、ユーザの体の動きを示す。本方法は、図３Ｌに関して記載した等のユーザが行った特定の動きを決定するために、外部の慣性センサデータをヘッドマウントディスプレイの慣性センサから受信した慣性センサデータと比較する操作を含み得る。そうして、ユーザの動きのルートを決定する操作９０５は、ヘッドマウントディスプレイ内の慣性センサから受信した慣性センサデータと比較して、ユーザの体に配置された１つまたは複数の外部の慣性センサから受信した外部の慣性センサデータを考慮する。
【００８３】
図１０は、本発明の例示の実施形態に係る、ヘッドマウントディスプレイ１０２のブロックレベルアーキテクチャを示す。使用可能な構成及び機能に応じて、図１０に示すよりも多いまたは少ないコンポーネントが、ヘッドマウントディスプレイ１０２に含まれてよい、または、ヘッドマウントディスプレイ１０２から除かれてよいことは理解されたい。ヘッドマウントディスプレイ１０２は、プログラム命令を実行するプロセッサ１００１を含んでよい。メモリ１００３が、データを記憶する目的で備えられ、メモリ１００３は、揮発性及び不揮発性の両方のメモリを含んでよい。ユーザが見ることができる視覚的インタフェースを提供するディスプレイ１００５が含まれる。ディスプレイ１００５は、１つの単一ディスプレイによって、または、各眼に対して別個のディスプレイ画面の形で、規定できる。２つのディスプレイ画面を備える時、左眼と右眼のビデオコンテンツを別個に提供することが可能である。各眼に対して別個のビデオコンテンツを提示することによって、例えば、仮想現実シーンの三次元コンテンツのより良い没入型制御を提供できる。
【００８４】
電池１００７は、ヘッドマウントディスプレイ１０２の電源として備えられてよい。他の実施形態においては、電源は、電力へのアウトレット接続を含み得る。他の実施形態においては、電力へのアウトレット接続と電池１００７とを備えてよい。一部の実施形態においては、ヘッドマウントディスプレイ１０２は、同じケーブルから電力を取得する、または、別のケーブルに接続できる。一部の実施形態においては、ヘッドマウントディスプレイ１０２は、余分な電力コードを使用しないように、充電可能な電池１００７を有してよい。
【００８５】
動き検出モジュール１０３７は、磁力計１０３９、加速度計１０４１、及び、ジャイロスコープ１０４３等、様々な種類の動き感知ハードウェアのうちの任意のハードウェアを含んでよい。磁力計１０３９は、ヘッドマウントディスプレイ１０２の近くの磁場の強さと方向を測定する。一部の実施形態においては、３つの磁力計１０３９が、ヘッドマウントディスプレイ１０２内で使用されて、ワールド空間のヨー角の絶対参照を確実にする。一部の実施形態においては、磁力計１０３９は、±８０マイクロテスラである地球の磁場に亘るように設計される。磁力計は、金属の影響を受け、実際のヨーに対して単調である（ｍｏｎｏｔｏｎｉｃ）ヨー測定値を提供する。磁場は、環境内の金属によってゆがめられる場合があり、それによって、ヨー測定にひずみが起こる。必要に応じて、このひずみは、ジャイロスコープまたはカメラ等の他のセンサからの情報を用いて較正できる。一部の実施形態においては、加速度計１０４１は、磁力計１０３９と共に使用されて、ヘッドマウントディスプレイ１０２の傾きと方位角を取得する。 
【００８６】
加速度計１０４１は、加速度と重力によって生じる反作用の力を測定する装置である。一本または複数の軸（例えば、６本の軸）のモデルは、異なる方向の加速度の大きさと方向を検出できる。加速度計１０４１を用いて、傾き、振動、及び、衝撃を感知できる。一実施形態においては、３つの加速度計１０４１を用いて、重力の方向を提供し、重力の方向によって、２つの角（ワールド空間のピッチとワールド空間のロール）に絶対参照を与える。
【００８７】
ジャイロスコープ１０４３は、角運動量の原理に基づいて、向きを測定または維持する装置である。一実施形態においては、３つのジャイロスコープ１０４３が、慣性感知に基づいて、各座標軸（ｘ、ｙ、ｚ）に対する動きに関する情報を提供する。ジャイロスコープ１０４３は、速い回転の検出を支援する。しかしながら、ジャイロスコープ１０４３は、絶対参照の存在がないと、時間が経つと、ドリフトする可能性がある。これは、ジャイロスコープ１０４３の定期的なリセットを必要とし、リセットは、物体の視覚的追跡、加速度計、磁力計等に基づいた位置／向きの決定等、他の入手可能な情報を用いて行うことができる。
【００８８】
ヘッドマウントディスプレイ１０２が露出されている実世界環境の画像及び画像ストリームを撮影するためにカメラ１００９が備えられている。後ろを向いている（ユーザがヘッドマウントディスプレイ１０２のディスプレイを見ている時、ユーザから離れた方を向いている）カメラ１００９、及び、前を向いている（ユーザがヘッドマウントディスプレイ１０２のディスプレイを見ている時、ユーザの方を向いている）カメラ１００９を含む、複数のカメラ１００９（オプション）が、ヘッドマウントディスプレイ１０２に含まれてよい。さらに、ヘッドマウントディスプレイ１０２が露出されている実世界環境の物体の奥行情報を感知するデプスカメラ１０１１が、ヘッドマウントディスプレイ１０２に含まれてよい。
【００８９】
ヘッドマウントディスプレイ１０２は、音声出力を提供するスピーカ１０１３を含む。また、周囲環境からの音、ユーザが行った発話等、実世界環境からの音声を捕捉するマイクロフォン１０１５を含んでよい。ヘッドマウントディスプレイ１０２は、触覚フィードバックをユーザに与える触覚フィードバックモジュール１０１７を含む。一実施形態においては、触覚フィードバックモジュール１０１７は、触覚フィードバックをユーザに与えるように、ヘッドマウントディスプレイ１０２に動き及び／または振動を起こすことができる。
【００９０】
ＬＥＤ１０１９が、ヘッドマウントディスプレイ１０２の状態の視覚インジケータとして備えられる。例えば、ＬＥＤは、電池レベル、電源オン等を示してよい。ＬＥＤ１０１９は、ヘッドマウントディスプレイ１０２が存在する実世界環境を見ているカメラによって、ヘッドマウントディスプレイの１０２の位置及び動きを視覚的に追跡するためにも使用できる。カードリーダ１０２１が備えられて、ヘッドマウントディスプレイ１０２が、メモリカードに情報を書き込み、メモリカードから情報を読み出すことを可能にする。ＵＳＢインタフェース１０２３が、周辺装置への接続、または、他のポータブル装置、コンピュータ等、他の装置への接続を可能にするインタフェースの一例として含まれる。ヘッドマウントディスプレイ１０２の様々な実施形態において、ヘッドマウントディスプレイ１０２の接続性を向上させることができる様々な種類のインタフェースのうちの任意のインタフェースが含まれてよい。
【００９１】
ＷｉＦｉモジュール１０２５が、無線ネットワーキング技術を介してヘッドマウントディスプレイ１０２のインターネットへの接続を可能にするために含まれてよい。また、ヘッドマウントディスプレイ１０２は、他の装置への無線接続を可能にするブルートゥース（登録商標）モジュール１０２７を含んでよい。通信リンク１０２９も、他の装置への接続のために含まれてよい。一実施形態においては、通信リンク１０２９は、無線通信のために赤外線伝送を利用する。他の実施形態においては、通信リンク１０２９は、他の装置と通信するために、様々な無線または有線の伝送プロトコルの任意のプロトコルを利用してよい。
【００９２】
入力ボタン／センサ１０３１が備えられて、ユーザに入力インタフェースを提供する。ボタン、ジェスチャ、タッチパッド、ジョイスティック、トラックボール等、様々な種類の入力インタフェースの任意のインタフェースが含まれてよい。超音波通信モジュール１０３３が、超音波技術を介して他の装置への通信を促進するためにヘッドマウントディスプレイ１０２に含まれてよい。
【００９３】
ヘッドマウントディスプレイ１０２は、ヘッドマウントディスプレイ１０２を装着しているユーザからの生理学的データの検出を可能にする１つまたは複数のバイオセンサ１０３５も含み得る。一部の実施形態においては、バイオセンサ１０３５は、ユーザの皮膚、音声検出、眼の網膜検出を通したユーザの生体電気信号を検出してユーザ／プロファイルを識別する１つまたは複数の乾燥電極を含む。
【００９４】
図１０に示すヘッドマウントディスプレイ１０２のコンポーネントは、ヘッドマウントディスプレイ１０２に含まれてよいコンポーネントの例であり、ヘッドマウントディスプレイ１０２に含むことができる全ての可能なコンポーネントを表していないことを理解されたい。例えば、様々な実施形態において、ヘッドマウントディスプレイ１０２は、図１０に示すコンポーネントの一部を含んでもよく、含まなくてもよい。そして、一部の実施形態においては、ヘッドマウントディスプレイ１０２は、図１０には示していない追加のコンポーネントを含んでよい。
【００９５】
図１１Ａは、本発明の一部の実施形態を実施するのに使用されてよいコンピュータシステム１０６及び他のインタフェースハードウェアのブロックレベルアーキテクチャの例を示す。一部の実施形態においては、コンピュータシステム１０６は、Ｓｏｎｙ（登録商標）ＰｌａｙＳｔａｔｉｏｎ（登録商標）エンターテイメントデバイスであってよい。本明細書で使用されるＰｌａｙＳｔａｔｉｏｎ（登録商標）という語は、最初のＰｌａｙＳｔａｔｉｏｎ（登録商標）、ＰｌａｙＳｔａｔｉｏｎ２（登録商標）、ＰｌａｙＳｔａｔｉｏｎ３（登録商標）、ＰｌａｙＳｔａｔｉｏｎ４（登録商標）、または、ＰｌａｙＳｔａｔｉｏｎ（登録商標）ゲームシステムの任意の将来のバージョンを指す。コンピュータシステム１０６は、セルプロセッサ１１０２、Ｒａｍｂｕｓ（登録商標）ダイナミックランダムアクセスメモリ（ＸＤＲＡＭ）ユニット１１０４、専用ビデオランダムアクセスメモリ（ＶＲＡＭ）ユニット１１０８を有するリアリティシンセサイザグラフィックスユニット１１０６、及び、Ｉ／Ｏブリッジ１１１０を含み得る。コンピュータシステム１０６は、Ｉ／Ｏブリッジ１１１０を通してアクセス可能な、ディスク１１１２ａから読み出すためのＢｌｕ  Ｒａｙ（登録商標）Ｄｉｓｋ  ＢＤ−ＲＯＭ（登録商標）光学ディスクリーダ１１１２とリムーバブルスロットインハードディスクドライブ（ＨＤＤ）１１１４も含み得る。オプションで、コンピュータシステム１０６は、コンパクトフラッシュ（登録商標）メモリカード、メモリスティック（登録商標）メモリカード等を読み取るメモリカードリーダ１１０１も含み、メモリカードリーダ１１０１は、同様に、Ｉ／Ｏブリッジ１１１０を通してアクセス可能である。Ｉ／Ｏブリッジ１１１０は、６つのユニバーサルシリアルバス（ＵＳＢ）２．０ポート１１１６、ギガビットイーサネット（登録商標）ポート１１１８、ＩＥＥＥ８０２．１ｌｂ／ｇ無線ネットワーク（Ｗｉ−Ｆｉ）ポート１１２０、及び、７つのブルートゥース（登録商標）接続までサポートできるブルートゥース（登録商標）無線リンクポート１１２２にも接続する。
【００９６】
操作時、Ｉ／Ｏブリッジ１１１０は、１つまたは複数のゲームコントローラ１１６２、１１２４からのデータを含む、無線、ＵＳＢ、及び、イーサネット（登録商標）のデータの全てを扱う。例えば、ユーザがゲームをしている時、Ｉ／Ｏブリッジ１１１０は、ブルートゥース（登録商標）リンクを介してゲームコントローラ１１６２、１１２４からデータを受信し、データをセルプロセッサ１１０２に導き、セルプロセッサ１１０２は、それに従って、ゲームの現在の状態を更新する。
【００９７】
無線、ＵＳＢ、及び、イーサネット（登録商標）のポートは、ゲームコントローラ１１６２、１１２４に加えて、リモートコントロール１１２６、キーボード１１２８、マウス１１３０、Ｓｏｎｙ  ＰＳＰ（登録商標）エンターテイメントデバイス等のポータブルエンターテイメントデバイス１１３２、ＰｌａｙＳｔａｔｉｏｎ（登録商標）Ｅｙｅ  Ｃａｍｅｒａ１１３４等のビデオカメラ、形状オブジェクト１１３６、及び、マイクロフォン１１３８等、他の周辺装置への接続性も提供する。よって、このような周辺装置は、原理上、コンピュータシステム１０６に無線で接続されてよい。例えば、ポータブルエンターテイメントデバイス１１３２は、Ｗｉ−Ｆｉアドホック接続を介して通信してよく、形状オブジェクト１１３６は、ブルートゥース（登録商標）リンクを介して通信してよい。
【００９８】
これらのインタフェースを備えることは、コンピュータシステム１０６が、デジタルビデオレコーダ（ＤＶＲ）、セットトップボックス、デジタルカメラ、ポータブルメディアプレーヤ、ボイスオーバーインターネットプロトコル（ＩＰ）電話、モバイル電話、プリンタ、及び、スキャナ等の他の周辺装置にも対応可能であることを意味する。さらに、レガシーメモリカードリーダ１１４０が、ＵＳＢポート１１１６を介してシステムユニットに接続されてよく、初期のＰｌａｙＳｔａｔｉｏｎデバイスで使用された種類のメモリカードの読み取りを可能にする。
【００９９】
ゲームコントローラ１１６２、１１２４は、ブルートゥース（登録商標）リンクを介してコンピュータシステム１０６に無線で通信するように、または、ＵＳＢポートに接続されて、ゲームコントローラ１１６２、１１２４の電池を充電する電力も提供するように動作可能である。ゲームコントローラ１１６２、１１２４は、また、メモリと、プロセッサと、メモリカードリーダと、フラッシュメモリ等の永久メモリと、照射された球体部分、発光ダイオード（ＬＥＤ）、若しくは、赤外光等の発光体と、超音波通信のためのマイクロフォン及びスピーカと、音響チャンバと、デジタルカメラと、内部クロック、ゲームコンソールに面している認識可能な形状（ａ  ｒｅｃｏｇｎｉｚａｂｌｅ  ｓｈａｐｅ  ｆａｃｉｎｇ  ｔｈｅ  ｇａｍｅ  ｃｏｎｓｏｌｅ）と、ブルートゥース（登録商標）、ＷｉＦｉ（商標）等のプロトコルを用いた無線通信を含み得る。認識可能な形状は、実質的に、球体、立方体、平行四辺形、直方体、円錐、角錐、サッカーボール、フットボール、若しくは、ラグビーボール、不完全な球体、球体の一部、角錐台、円錐台、野球のバット、切頂立方体、星形等、または、これらの形の２つ以上の組み合わせであってよい。
【０１００】
ゲームコントローラ１１２４は、両手で使用されるように設計されコントローラであり、ゲームコントローラ１１６２は、ボールアタッチメントが付いた片手コントローラである。１つまたは複数のアナログジョイスティックと従来のコントロールボタンに加えて、ゲームコントローラは、三次元の位置決定が可能である。結果として、ゲームコントローラのユーザによるジェスチャ及び動きは、従来のボタンまたはジョイスティックのコマンドに加えて、または、その代わりにゲームへの入力として翻訳されてよい。オプションで、Ｓｏｎｙ  ＰＳＰ（登録商標）ポータブルデバイス等の他の無線対応の周辺装置をコントローラとして使用してよい。Ｓｏｎｙ  ＰＳＰ（登録商標）ポータブルデバイスの場合、追加のゲームまたは制御情報（例えば、制御命令、または、プレイ可能回数）が、デバイスの画面に提供されてよい。ダンスマット（図示せず）、ライトガン（図示せず）、ハンドルとペダル（図示せず）、または、即答を要するクイズゲーム用の１つ若しくは数個の大きいボタン等の特注コントローラ（同様に、図示せず）などの、他の代替または追加の制御装置を使用してよい。
【０１０１】
リモートコントロール１１２６は、ブルートゥース（登録商標）リンクを介してコンピュータシステム１０６と無線で通信するようにも動作可能である。リモートコントロール１１２６は、Ｂｌｕ  Ｒａｙ（商標）ディスクＢＤ−ＲＯＭリーダ１１１２の動作、及び、ディスクコンテンツのナビゲーションに適したコントロールも含む。Ｂｌｕ  Ｒａｙ（商標）ディスクＢＤ−ＲＯＭリーダ１１１２は、従来の記録済み及び記録可能なＣＤと、いわゆるスーパーオーディオＣＤとに加えて、任意のＰｌａｙＳｔａｔｉｏｎデバイスに対応したＣＤ−ＲＯＭを読み取るように動作可能である。リーダ１１１２は、従来の記録済み及び記録可能なＤＶＤに加えて、任意のＰｌａｙＳｔａｔｉｏｎデバイスに対応したＤＶＤ−ＲＯＭを読み取るようにも動作可能である。リーダ１１１２は、任意のＰｌａｙＳｔａｔｉｏｎデバイスに対応したＢＤ−ＲＯＭと、従来の記録済み及び記録可能なＢｌｕ−ｒａｙ（登録商標）ディスクを読み取るようにさらに動作可能である。
【０１０２】
コンピュータシステム１０６は、リアリティシンセサイザグラフィックスユニット（ＲＳＸ）１１０６を介してＰｌａｙＳｔａｔｉｏｎデバイスによって生成またはデコードされた音声とビデオを、ディスプレイ１１４６及び１つまたは複数のラウドスピーカ１１４８若しくはスタンドアロンスピーカ１１５０を有するモニタまたはテレビジョンセット等のディスプレイ及び音声出力装置１１４２に、オーディオコネクタ及びビデオコネクタを通して提供するように動作可能である。一部の実施形態においては、音声入力及び視線入力を利用して、ユーザのＰＯＧに従った特定のオーディオスピーカに向かって音を再生する。オーディオコネクタ１１５８は、従来のアナログ出力及びデジタル出力を含んでよく、ビデオコネクタ１１６０は、コンポーネントビデオ、Ｓ−ビデオ、コンポジットビデオ、及び、１つまたは複数の高解像度マルチメディアインタフェース（ＨＤＭＩ（登録商標））の出力を様々に含んでよい。結果として、ビデオ出力は、ＰＡＬ若しくはＮＴＳＣ等のフォーマットで、または、７２０ｐ、１０８０ｉ若しくは１０８０ｐの高解像度であってよい。オーディオ処理（生成、デコーディング等）は、セルプロセッサ１３０２によって行われる。ＰｌａｙＳｔａｔｉｏｎ３デバイスのオペレーティングシステムは、Ｄｏｌｂｙ（登録商標）５．１サラウンドサウンド、Ｄｏｌｂｙ（登録商標）Ｔｈｅａｔｒｅ  Ｓｕｒｒｏｕｎｄ（ＤＴＳ）、及び、Ｂｌｕ−ｒａｙ（登録商標）ディスクからの７．１サラウンドサウンドのデコードを支援する。
【０１０３】
コンピュータシステム１０６は、セルプロセッサ１１０２と通信する慣性処理モジュール１１７０も含む。慣性処理モジュール１１７０は、ヘッドマウントディスプレイ１０２内の慣性センサから慣性センサデータを受信するように接続される。図１１Ｂは、本発明の例示の実施形態に係る、慣性処理モジュール１１７０のブロックレベル図を示す。慣性処理モジュール１１７０は、ヘッドマウントディスプレイ１０２から慣性センサデータを受信するように構成された慣性データ処理モジュール１１８０を含む。慣性センサデータは、ヘッドマウントディスプレイ１０２を装着しているユーザの動きに従ったヘッドマウントディスプレイの１０２の動きを示す。ユーザの動きは、ヘッドマウントディスプレイ１０２内に表示される仮想現実シーンに基づいている。慣性データ処理モジュール１１８０は、ヘッドマウントディスプレイ１０２の動きのルートとヘッドマウントディスプレイ１０２の動きの速度とを慣性センサデータから決定するように構成される。一部の実施形態においては、ヘッドマウントディスプレイの動きのルートは、前傾、後傾、左への傾き、右への傾き、頭を左に向けること、頭を右に向けること、頭を後ろに傾けること、頭を前に傾けること、スクワット、及び、ジャンプを含む、ユーザの動きのセット内の１つまたは複数のユーザの動きに対応する。しかしながら、他の実施形態においては、ヘッドマウントディスプレイの動きのルートは、人体の動きの能力内の任意のユーザの動きに基本的に対応してよい。
【０１０４】
慣性処理モジュール１１７０は、ヘッドマウントディスプレイの動きのルートとヘッドマウントディスプレイの動きの速度とを、ヘッドマウントディスプレイ１０２内に現在、表示されている仮想現実シーン内のアクションに相関させるように構成された慣性データ相関モジュール１１８２も含む。一部の実施形態においては、仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点の動きである。一部の実施形態においては、仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点の方向の変化である。一部の実施形態においては、仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点のズームインまたはズームアウトである。一部の実施形態においては、仮想現実シーン内のアクションは、仮想現実シーン内に表示された物体の動きである。しかしながら、慣性センサデータを相関させる仮想現実シーン内のアクションは、基本的に、ヘッドマウントディスプレイ内でユーザに表示される仮想現実シーンの現在の文脈に見合った任意の種類のアクションであってよいことは理解されたい。
【０１０５】
慣性処理モジュール１１７０は、リアリティシンセサイザグラフィックスユニット（ＲＳＸ）１１０６等、レンダリングエンジンにコマンド信号を提供するように構成された慣性データコマンド出力モジュール１１８４も含む。コマンド信号は、ヘッドマウントディスプレイ１０２の動きのルートと動きの速度に相関したアクションの実施を反映するように仮想現実シーンを更新するようにレンダリングエンジンに指示する。
【０１０６】
一部の実施形態においては、慣性データ相関モジュール１１８２は、仮想現実シーンの現在の文脈内で許容できる仮想の動きのセットを決定するように構成される。一部の実施形態においては、慣性データ相関モジュール１１８２は、ヘッドマウントディスプレイの動きのルートを許容できる仮想の動きのセット内の対応する仮想の動きにマッピングするように構成される。一部の実施形態においては、慣性データ相関モジュール１１８２は、ヘッドマウントディスプレイの動きのルートを許容できる仮想の動きのセット内の対応する仮想の動きにマッピングするために、較正表にクエリするように構成される。このような実施形態においては、較正表は、ヘッドマウントディスプレイの動きの多くのルートと、仮想現実シーン内に結果として生じるアクションとの間の関連を規定する。
【０１０７】
また、一部の実施形態においては、慣性データ相関モジュール１１８２は、ヘッドマウントディスプレイの動きの速度を仮想現実シーン内の対応する仮想の動きの速度にマッピングするように構成される。一部の実施形態においては、慣性データ相関モジュール１１８２は、ヘッドマウントディスプレイの動きのルートと動きの速度とを仮想現実シーン内の対応する仮想の動きにマッピングするために、較正表をクエリするように構成される。このような実施形態においては、較正表は、ヘッドマウントディスプレイの動きのルートと速度の多くの組み合わせと、仮想現実シーン内に結果として生じるアクションとの間の関連を規定する。
【０１０８】
また、一部の実施形態においては、慣性データ相関モジュール１１８２は、ヘッドマウントディスプレイの動きのルートが許容できる仮想の動きのセット内の仮想の動きのいずれにも対応しないことを決定するように構成される。一部の実施形態においては、慣性処理モジュール１１７０は、フィードバック信号を生成して、ヘッドマウントディスプレイに送信するように構成された慣性データフィードバックモジュール１１８６を含み、フィードバック信号は、ヘッドマウントディスプレイの動きが許容できる仮想の動きのセット内の仮想の動きに対応していないことをユーザに通知する。
【０１０９】
一部の実施形態においては、慣性処理モジュール１１７０は、ヘッドマウントディスプレイから視線方向データを受信するように構成された視線方向処理モジュール１１８８を含む。視線方向データは、ヘッドマウントディスプレイ内に表示される仮想現実シーンに対するユーザの視覚の焦点方向を示す。慣性処理モジュール１１７０は、視線方向データを慣性センサデータと同期して、同期された視覚の焦点方向を決定するように構成された同期モジュール１１９０も含み得る。一部の実施形態においては、同期モジュール１１９０は、視線方向データと慣性センサデータとを時間的に整列させるように構成される。
【０１１０】
視線方向処理モジュール１１８８及び同期モジュール１１９０を利用する時、慣性データ相関モジュール１１８２は、ヘッドマウントディスプレイの動きのルートと同期された視覚の焦点方向との両方を使用して仮想現実シーン内のアクションを決定するように構成できる。一部の実施形態においては、慣性データ相関モジュール１１８２は、仮想現実シーン内のアクションを決定する時、同期された視覚の焦点方向を方向重み付けパラメータとして使用するように構成される。一部の実施形態においては、方向重み付けパラメータの大きさは、同期された視覚の焦点方向が所与の方向で持続する時間量に比例する。
【０１１１】
慣性処理モジュール１１７０の機能と出力へのアクセスをアプリケーションに提供するアプリケーションプログラミングインタフェース（ＡＰＩ）が利用可能であってよい。ＡＰＩは、複数のアプリケーション、例えば、ゲームによって同時に使用できる。慣性処理モジュール１１７０及び／または慣性処理モジュール１１７０内の様々なモジュール（１１８０、１１８２、１１８４、１１８６、１１８８、１１９０）は、様々な実施形態において、ソフトウェア及び／またはファームウェアとして実施できることは理解されたい。また、一部の実施形態においては、慣性処理モジュール１１７０及び／または慣性処理モジュール１１７０内の様々なモジュール（１１８０、１１８２、１１８４、１１８６、１１８８、１１９０）の一部は、アプリケーション性能のために迅速なデータ処理が必要な時など、ハードウェアとして実施できる。
【０１１２】
前述のように、ヘッドマウントディスプレイの動きを使用して、ヘッドマウントディスプレイ内に現在表示されている仮想現実シーン内で行うべきアクションを決定する方法及びシステムが提供される。ここで、ヘッドマウントディスプレイの動きのルートと速度は、ヘッドマウントディスプレイ内に配置された慣性センサを用いて検出、測定される。このように、ヘッドマウントディスプレイを装着しているユーザは、人間コントローラ、例えば、人間ジョイスティックとして働いて、仮想現実シーン内のアクションに影響を与えることができる。一部の実施形態においては、ヘッドマウントディスプレイの現実世界の動きを使用して、仮想現実シーンのユーザのアバターの動きを制御する。一部の実施形態においては、ヘッドマウントディスプレイの現実世界の動きを使用して、ユーザが仮想現実シーン内で動いているように見えるようにする等、仮想現実シーンのユーザの視点の動きを制御する。アプリケーションに応じて、ヘッドマウントディスプレイの現実世界の動きを用いて、仮想現実シーンの任意の種類のアクションを基本的に制御できることは理解されたい。
【０１１３】
一部の実施形態においては、ヘッドマウントディスプレイは、現実世界のホームポジションに関連付けられる。このホームポジションからのヘッドマウントディスプレイの動きが検出され、仮想現実シーンにおけるアクション、すなわち、変化を指示するように翻訳される。仮想現実シーンのアクションは、基本的に、ヘッドマウントディスプレイの物理的動きの検出による制御に従った任意のアクションであってよい。例えば、一部の実施形態においては、ヘッドマウントディスプレイの動きを用いて、仮想現実シーンにおいて、歩く、走る、ジャンプ等、ユーザの位置の変化を指示できる。また、一部の実施形態においては、ヘッドマウントディスプレイの動きを用いて、仮想現実シーンにおいて、ズームイン、ズームアウト、特定の方向を見る等、ユーザの視点の変化を指示できる。
【０１１４】
一部の実施形態においては、較正プロセスを行って、ヘッドマウントディスプレイの動きと、仮想現実シーン内のアクションとの間の相関を確立できる。このような較正プロセスは、ヘッドマウントディスプレイの慣性センサによって検出されたユーザの動きのルートを、仮想現実シーンのユーザのアバターの動きにマッピングすることも含む。また、このような較正プロセスは、ヘッドマウントディスプレイの慣性センサによって検出されたユーザの動きの速度（加速度／減速度）を仮想現実シーンのユーザのアバターの動きの速度にマッピングすることを含み得る。このように、ヘッドマウントディスプレイ内の慣性センサを用いて、較正プロセスに基づいて、仮想現実シーン内のユーザのアバターの方向及び速度を決定する。また、一部の実施形態においては、ヘッドマウントディスプレイの動きは、ユーザの体全体の動きに相関させることができて、ヘッドマウントディスプレイ以外の手段によってユーザの体の動きを追跡する必要性を減らす、または、取り除く。また、一部の実施形態においては、ユーザの眼の動き、すなわち、視線方向の検出を、ヘッドマウントディスプレイの検出された動きと組み合わせて、仮想現実シーン内のアクションを決定できる。
【０１１５】
仮想現実シーンの文脈を用いて、検出されたヘッドマウントディスプレイの動きに対応する仮想現実シーン内のアクションを測ることができる。例えば、タスク固有のズームイン／ズームアウトのアクションは、現在表示されている仮想現実シーンの視覚的文脈に基づいてよい。例えば、広い屋外のシーンを表示する仮想現実シーンのズームイン／ズームアウトの量は、ユーザが読んでいる本を表示する仮想現実シーンと比較して、ヘッドマウントディスプレイの所与の動きに関してより大きくなり得る。また、仮想現実シーンの文脈を用いて、検出されたヘッドマウントディスプレイの動きに対応する仮想現実シーン内のアクション、例えば、動きの速度を測ることができる。一部の実施形態においては、検出されたヘッドマウントディスプレイの動きに対応する仮想現実シーン内のアクションの文脈ベースのゲージを予め設定できる。しかしながら、一部の実施形態においては、検出されたヘッドマウントディスプレイの動きに対応する仮想現実シーン内のアクションの文脈ベースのゲージは、仮想現実シーンを生成するアプリケーションの実行中に決定できる。
【０１１６】
ヘッドマウントディスプレイの動きを用いて仮想現実シーン内で行うべきアクションを決定する本明細書に記載の方法及びシステムは、ヘッドマウントディスプレイ内でユーザに表示することができる任意の種類の仮想現実シーン及び任意の種類の拡張現実シーンと共に使用できることは理解されたい。例えば、ヘッドマウントディスプレイの動きを使用して仮想現実シーン内で行うべきアクションを決定する本明細書に記載の方法及びシステムは、次のアプリケーションと共に利用できる。すなわち、ゲーム（ファーストパーソンシューターゲーム、基本的に任意の他の種類のコンピュータゲーム等）、ホテル仮想現実ツアー、旅行サイト仮想現実ツアー、地球上の関心場所の仮想現実ツアー、遠隔ユーザ間のコラボレーション、共有／同期された仮想現実空間、仮想ミーティング、医療処置（遠隔手術補助、遠隔検査等）、及び、ユーザが装着しているヘッドマウントディスプレイ内の仮想現実シーンの表示に適している任意の他の種類のアクティビティと共に利用できる。
【０１１７】
本明細書に記載の方法及びシステムを用いて、ヘッドマウントディスプレイを装着しているユーザが、仮想現実シーンを動き回りたい時、ユーザは、単に、ジェスチャをして、その後、簡単な体の動きを行ってよい。例えば、ユーザは、ある方向を手で指し、その後、その方向に向かって少し前傾してよい。他の実施形態においては、ヘッドマウントディスプレイを装着して、単にある方向に向かって前傾すると、キャラクタまたはユーザを仮想現実シーンでその特定の方向に移動させることができる。移動を止めるためには、ユーザは、単に前傾を止めればよい。動き、例えば、傾きは、ヘッドマウントディスプレイの慣性センサが動き、または、動きの変化を検出できる限り、ごく少量であってよい。従って、ユーザの頭は、一種のジョイスティックとして働くことができ、これは、ある方向に向かって歩きたい、または、歩みを止めたいユーザが行う自然な種類の動きである。例えば、ユーザが現実世界で前方に歩きたい場合、ユーザは、一般的に前傾する。この傾きは検出でき、それによって、ヘッドマウントディスプレイ内に現在表示されているように、仮想現実シーンでユーザを移動させる。
【０１１８】
また、ヘッドマウントディスプレイ内の慣性センサによって検出されるヘッドマウントディスプレイの動きは、他の入力と組み合わされて、仮想現実シーンに対応するアクションを起こすことができる。例えば、足踏みペダルを、ユーザがペダルを踏んで動くことができるように、使用することができ、動きの方向は、あたかもユーザがジョイスティックコントローラとして働いているように、ヘッドマウントディスプレイの慣性センサを通してユーザの傾きによって検出できる。ジェスチャを拡張するために、ユーザがシーン内で見ている方向を、視線追跡を介して使用して動きの方向を確立でき、その後、その方向にユーザが頭を傾ける。別の方向のユーザの視線を使用して、仮想現実シーン内のキャラクタを自然に誘導することができる。従って、ジェスチャによる操縦方法の組み合わせを、ユーザの頭の自然な動き及び／または他のジェスチャを用いて使用できる。
【０１１９】
本明細書に記載の方法及びシステムの一実施態様は、遠隔手術を行うことであってよい。外科医が、何らかの集中するジェスチャを介して体のある特定の部分に焦点を合わせており、近くで見ようとして自然に前に移動する場合、そのジェスチャによって、拡大が行われ、ユーザは実際に近寄りすぎる必要は無い。このジェスチャは、ユーザが拡大を望んでいることを予測している。ユーザが画面を凝視し、その後、より近くに移動するように見える場合と同様である。これは、ズームインが必要であるということを示しており、ズームインを自動的に行うことができる。これは、ヘッドマウントディスプレイの慣性センサベースの動き検出を用いてヘッドマウントディスプレイを装着しているユーザに表示される仮想現実シーンにおける変化／アクションに影響を及ぼすことができる本明細書に記載の方法及びシステムの基本的に無限の数の適用の一例に過ぎないことを理解されたい。
【０１２０】
本発明の一部の実施形態においては、本方法は、（Ａ）ヘッドマウントディスプレイ内に仮想現実シーンを表示するために、ヘッドマウントディスプレイにビデオデータを送信すること、（Ｂ）ヘッドマウントディスプレイ内の１つまたは複数の慣性センサから慣性センサデータを受信すること、慣性センサデータは、ヘッドマウントディスプレイを装着しているユーザの動きに従ったヘッドマウントディスプレイの動きを示し、ユーザの動きは、ヘッドマウントディスプレイ内に表示された仮想現実シーンに基づいている、（Ｃ）受信した慣性センサデータを仮想現実シーン内のアクションに相関させること、及び、（Ｄ）アクションの実施を反映させるように仮想現実シーンへの更新を生成すること、を含む。本発明の一部の実施形態においては、（Ｃ）の相関は、ヘッドマウントディスプレイの動きのルートを決定することと、ヘッドマウントディスプレイの動きの速度を決定することとを含む。本発明の一部の実施形態においては、（Ｃ）の相関は、仮想現実シーン現在の文脈内で許容できる仮想の動きのセットを決定することを含む。本発明の一部の実施形態においては、（Ｃ）の相関は、ヘッドマウントディスプレイの動きのルートを許容できる仮想の動きのセット内の対応する仮想の動きにマッピングすることを含む。本発明の一部の実施形態においては、ヘッドマウントディスプレイの動きのルートを対応する仮想の動きにマッピングすることは、較正表にクエリすることを含み、較正表は、ヘッドマウントディスプレイの動きの多くのルートと仮想現実シーン内に結果として生じるアクションとの関連を規定する。本発明の一部の実施形態においては、（Ｃ）の相関は、ヘッドマウントディスプレイの動きの速度を仮想現実シーン内の対応する仮想の動きの速度にマッピングすることを含む。本発明の一部の実施形態においては、ヘッドマウントディスプレイの動きのルートと動きの速度とを対応する仮想の動きにマッピングすることは、較正表にクエリすることを含み、較正表は、ヘッドマウントディスプレイの動きのルートと速度の多くの組み合わせと、仮想現実シーン内に結果として生じるアクションとの間の関連を規定する。本発明の一部の実施形態においては、（Ｃ）の相関は、ヘッドマウントディスプレイの動きのルートが許容できる仮想の動きのセット内のいずれの仮想の動きにも対応しないと決定することを含む。
【０１２１】
本発明の一部の実施形態においては、本方法は、フィードバック信号をヘッドマウントディスプレイに送信することを含み、フィードバック信号は、ヘッドマウントディスプレイの動きが許容できる仮想の動きのセット内のいずれの仮想の動きにも対応しないことをユーザに通知する。本発明の一部の実施形態においては、ヘッドマウントディスプレイの動きのルートは、前傾、後傾、左への傾き、右への傾き、頭を左に向けること、頭を右に向けること、頭を後ろに傾けること、頭を前に傾けること、スクワット、及び、ジャンプを含む、ユーザの動きのセット内の１つまたは複数のユーザの動きに対応する。本発明の一部の実施形態においては、仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点の動きである。本発明の一部の実施形態においては、仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点の方向の変化である。本発明の一部の実施形態においては、仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点のズームインまたはズームアウトである。本発明の一部の実施形態においては、仮想現実シーン内のアクションは、仮想現実シーン内に表示された物体の動きである。
【０１２２】
本発明の一部の実施形態においては、本方法は、ヘッドマウントディスプレイ内に表示された仮想現実シーンに対するユーザの視覚の焦点方向を示す視線方向データをヘッドマウントディスプレイ内の１つまたは複数の視線検出器から受信することと、その視線方向データを慣性センサデータと同期して、同期された視覚の焦点方向を決定することとを含む。本発明の一部の実施形態においては、（Ｃ）の相関は、ヘッドマウントディスプレイの動きのルートを決定することと、ヘッドマウントディスプレイの動きの速度を決定することとを含み、（Ｃ）の相関は、ヘッドマウントディスプレイの動きのルートと、同期された視覚の焦点方向との両方を用いて、仮想現実シーン内のアクションを決定することを含む。本発明の一部の実施形態においては、同期された視覚の焦点方向は、仮想現実シーン内のアクションを決定する時、方向重み付けパラメータとして適用される。本発明の一部の実施形態においては、方向重み付けパラメータの大きさは、同期された視覚の焦点方向が所与の方向で持続する時間量に比例する。本発明の一部の実施形態においては、視線方向データと慣性センサデータを同期することは、視線方向データと慣性センサデータを時間的に整列させることを含む。
【０１２３】
本発明の一部の実施形態においては、本方法は、（Ａ）仮想現実シーンを規定するビデオデータをヘッドマウントディスプレイで受信すること、（Ｂ）ヘッドマウントディスプレイ内に仮想現実シーン表示すること、（Ｃ）ヘッドマウントディスプレイ内の１つまたは複数の慣性センサを操作して、ヘッドマウントディスプレイを装着しているユーザの動きに従ったヘッドマウントディスプレイの動きを示す慣性センサデータを生成すること、ユーザの動きは、仮想現実シーン内のアクションに対応する、（Ｄ）ビデオデータの送信元であるコンピューティングシステムに慣性センサデータを送信すること、（Ｅ）ユーザの動きに対応する仮想現実シーン内のアクションを反映する更新された仮想現実シーンを規定するビデオデータをコンピューティングシステムから受信すること、及び、（Ｆ）ヘッドマウントディスプレイ内に更新された仮想現実シーンを表示すること、を含む。本発明の一部の実施形態においては、慣性センサデータは、ヘッドマウントディスプレイの動きのルートを決定し、ヘッドマウントディスプレイの動きの速度を決定する。本発明の一部の実施形態においては、ヘッドマウントディスプレイの動きのルートとヘッドマウントディスプレイの動きの速度とは、仮想現実シーンの現在の文脈内で許容できる仮想の動きのセット内の対応する仮想の動きにコンピューティングシステムによってマッピングされる。
【０１２４】
本発明の一部の実施形態においては、本方法は、ヘッドマウントディスプレイの動きのルートが仮想現実シーンの現在の文脈内で許容できる仮想の動きのセット内に対応する仮想の動きを有さないことを示すフィードバック信号をコンピューティングシステムから受信することと、フィードバック信号の受信をユーザに通知することとを含む。本発明の一部の実施形態においては、通知は、ヘッドマウントディスプレイを操作して、可聴信号、触覚信号、及び、視覚信号のうちの１つまたは複数を提供することによって行う。本発明の一部の実施形態においては、ヘッドマウントディスプレイの動きのルートは、前傾、後傾、左への傾き、右への傾き、頭を左に向けること、頭を右に向けること、頭を後ろに傾けること、頭を前に傾けること、スクワット、及び、ジャンプを含む、ユーザの動きのセット内の１つまたは複数のユーザの動きに対応する。本発明の一部の実施形態においては、仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点の動きである。本発明の一部の実施形態においては、仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点の方向の変化である。本発明の一部の実施形態においては、仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点のズームインまたはズームアウトである。本発明の一部の実施形態においては、仮想現実シーン内のアクションは、仮想現実シーン内に表示された物体の動きである。
【０１２５】
本発明の一部の実施形態においては、本方法は、ヘッドマウントディスプレイ内の１つまたは複数の視線検出器を操作して、ヘッドマウントディスプレイ内に表示された仮想現実シーンに対するユーザの視覚の焦点方向を示す視線方向データを生成することと、ビデオデータの送信元であるコンピューティングシステムに視線方向データを送信することとを含み、視線方向データは、慣性センサデータと同期されて、同期された視覚の焦点方向を決定する。本発明の一部の実施形態においては、慣性センサデータは、ヘッドマウントディスプレイの動きのルートを決定し、ヘッドマウントディスプレイの動きの速度を決定し、ヘッドマウントディスプレイの動きのルートと、同期された視覚の焦点方向との両方を用いて、ユーザの動きに対応する仮想現実シーン内のアクションを決定する。
【０１２６】
本発明の一部の実施形態においては、本システムは、（Ａ）ヘッドマウントディスプレイから慣性センサデータを受信するように構成された慣性データ処理モジュールであって、慣性センサデータは、ヘッドマウントディスプレイを装着しているユーザの動きに従ったヘッドマウントディスプレイの動きを示し、ユーザの動きは、ヘッドマウントディスプレイ内に表示された仮想現実シーンに基づいており、ヘッドマウントディスプレイの動きのルートとヘッドマウントディスプレイの動きの速度とを慣性センサデータから決定するように構成された慣性データ処理モジュール、（Ｂ）ヘッドマウントディスプレイの動きのルートとヘッドマウントディスプレイの動きの速度とを仮想現実シーン内のアクションに相関させるように構成された慣性データ相関モジュール、及び、（Ｃ）アクションの実施を反映するように仮想現実シーンを更新するようにレンダリングエンジンに指示するコマンド信号をレンダリングエンジンに提供するように構成された慣性データコマンド出力モジュールを含む。本発明の一部の実施形態においては、慣性データ相関モジュールは、仮想現実シーン現在の文脈内で許容できる仮想の動きのセットを決定するように構成される。本発明の一部の実施形態においては、慣性データ相関モジュールは、ヘッドマウントディスプレイの動きのルートを許容できる仮想の動きのセット内の対応する仮想の動きにマッピングするように構成される。本発明の一部の実施形態においては、慣性データ相関モジュールは、許容できる仮想の動きのセット内の対応する仮想の動きにヘッドマウントディスプレイの動きのルートをマッピングするために、較正表にクエリするように構成され、較正表は、ヘッドマウントディスプレイの動きの多くのルートと仮想現実シーン内に結果として生じるアクションとの間の関連を規定する。本発明の一部の実施形態においては、慣性データ相関モジュールは、ヘッドマウントディスプレイの動きの速度を仮想現実シーン内の対応する仮想の動きの速度にマッピングするように構成される。本発明の一部の実施形態においては、慣性データ相関モジュールは、ヘッドマウントディスプレイの動きのルートと動きの速度を仮想現実シーン内の対応する仮想の動きにマッピングするために、較正表にクエリするように構成され、較正表は、ヘッドマウントディスプレイの動きのルートと速度の多くの組み合わせと、仮想現実シーン内に結果として生じるアクションとの関連を規定する。本発明の一部の実施形態においては、慣性データ相関モジュールは、ヘッドマウントディスプレイの動きのルートが許容できる仮想の動きのセット内のいずれの仮想の動きにも対応しないと決定するように構成される。
【０１２７】
本発明の一部の実施形態においては、本システムは、フィードバック信号を生成し、ヘッドマウントディスプレイに送信するように構成された慣性データフィードバックモジュールを含み、フィードバック信号は、ヘッドマウントディスプレイの動きが許容できる仮想の動きのセット内のいずれの仮想の動きにも対応していないことをユーザに通知する。本発明の一部の実施形態においては、ヘッドマウントディスプレイの動きのルートは、前傾、後傾、左への傾き、右への傾き、頭を左に向けること、頭を右に向けること、頭を後ろに傾けること、頭を前に傾けること、スクワット、及び、ジャンプを含む、ユーザの動きのセット内の１つまたは複数のユーザの動きに対応する。本発明の一部の実施形態においては、仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点の動きである。本発明の一部の実施形態においては、仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点の方向の変化である。本発明の一部の実施形態においては、仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点のズームインまたはズームアウトである。本発明の一部の実施形態においては、仮想現実シーン内のアクションは、仮想現実シーン内に表示された物体の動きである。
【０１２８】
本発明の一部の実施形態においては、本システムは、ヘッドマウントディスプレイ内に表示された仮想現実シーンに対するユーザの視覚の焦点方向を示す視線方向データをヘッドマウントディスプレイから受信するように構成された視線方向処理モジュールと、視線方向データを慣性センサデータと同期して同期された視覚の焦点方向を決定するように構成された同期モジュールとを含む。本発明の一部の実施形態においては、慣性データ相関モジュールは、ヘッドマウントディスプレイの動きのルートと同期された視覚の焦点方向との両方を用いて、仮想現実シーン内のアクションを決定するように構成される。本発明の一部の実施形態においては、慣性データ相関モジュールは、仮想現実シーン内のアクションを決定する時、同期された視覚の焦点方向を方向重み付けパラメータとして使用するように構成される。本発明の一部の実施形態においては、方向重み付けパラメータの大きさは、同期された視覚の焦点方向が所与の方向で持続する時間量に比例する。本発明の一部の実施形態においては、同期モジュールは、視線方向データと慣性センサデータを時間的に整列させるように構成される。
【０１２９】
本発明の一部の実施形態においては、本方法は、（Ａ）ヘッドマウントディスプレイ内に仮想現実シーンを表示するために、ビデオデータをヘッドマウントディスプレイに送信すること、ヘッドマウントディスプレイは、ヘッドマウントディスプレイを装着しているユーザの動きに従ったヘッドマウントディスプレイの動きを示す慣性センサデータを生成するように構成された１つまたは複数の慣性センサを備え、仮想現実シーンは、仮想現実シーン内に特定のアクションを起こすジェスチャを行うようにユーザに要求し、ジェスチャは、ヘッドマウントディスプレイを動かし、ヘッドマウントディスプレイの動きに対応する慣性センサデータが生成される、（Ｂ）慣性センサデータをヘッドマウントディスプレイから受信すること、慣性センサデータは、ユーザがジェスチャを行って仮想現実シーン内に特定のアクションを起こしたことに応答して、ヘッドマウントディスプレイの動きを示す、及び、（Ｃ）受信した慣性センサデータを仮想現実シーン内の特定のアクションに相関させて、Ｂで受信された慣性センサデータにほぼ等しい慣性センサデータをその後受信すると、その特定のアクションが仮想現実シーン内で実行されるようにすること、を含む。本発明の一部の実施形態においては、受信した慣性センサデータを特定のアクションに相関させることは、ヘッドマウントディスプレイの動きのルートと決定することと、ヘッドマウントディスプレイの動きの速度を決定することと、特定のアクションと、ヘッドマウントディスプレイの動きの決定されたルート及びヘッドマウントディスプレイの動きの決定された速度との関連を記録することとを含む。本発明の一部の実施形態においては、本方法は、仮想現実シーン内の複数の特定のアクションに関して、Ａ、Ｂ、Ｃを繰り返すことを含む。
【０１３０】
本発明の一部の実施形態においては、仮想現実シーン内の複数の特定のアクションは、前に移動、後ろに移動、左に移動、及び、右に移動の移動アクションを含み、移動アクションを起こすためにユーザが行うジェスチャは、それぞれ、前傾、後傾、左に傾くこと、及び、右に傾くことである。本発明の一部の実施形態においては、仮想現実シーン内の複数の特定のアクションは、左を見る、右を見る、上を見る、及び、下を見るアクションを含み、見るアクションを起こすためにユーザが行うジェスチャは、それぞれ、頭を左に向ける、頭を右に向ける、頭を後ろに傾ける、及び、頭を前に傾けることである。本発明の一部の実施形態においては、仮想現実シーン内の複数の特定のアクションは、ジャンプ及びダッキングの垂直方向の動きのアクションを含み、垂直方向の動きのアクションを起こすためにユーザが行うジェスチャは、それぞれ、ジャンプとダッキングである。本発明の一部の実施形態においては、仮想現実シーン内の複数の特定のアクションは、座ることを含み、座ることを起こすためにユーザが行うジェスチャは、スクワットである。本発明の一部の実施形態においては、仮想現実シーン内の複数の特定のアクションは、ズームインとズームアウトのズームアクションを含み、ズームアクションを起こすためにユーザが行うジェスチャは、それぞれ、頭を前に動かすことと頭を後ろに動かすことである。本発明の一部の実施形態においては、相関により、受信した慣性センサデータと特定のアクションとを、仮想現実シーンの文脈に関連付ける。
【０１３１】
本発明の一部の実施形態においては、本方法は、（Ａ）ヘッドマウントディスプレイ内に仮想現実シーンを表示するために、ビデオデータをヘッドマウントディスプレイに送信すること、ヘッドマウントディスプレイは、ヘッドマウントディスプレイを装着しているユーザの動きに従ったヘッドマウントディスプレイの動きを示す慣性センサデータを生成するように構成された１つまたは複数の慣性センサを備え、仮想現実シーンは、仮想現実シーン内に特定のアクションを起こすジェスチャをユーザが行うのを可能にし、ジェスチャは、ヘッドマウントディスプレイを動かし、ヘッドマウントディスプレイの動きに対応する慣性センサデータが生成される、（Ｂ）慣性センサデータをヘッドマウントディスプレイから受信すること、慣性センサデータは、ユーザがジェスチャを行って仮想現実シーン内に特定のアクションを起こすことに応答して、ヘッドマウントディスプレイの動きを示す、（Ｃ）受信した慣性センサデータの処理を通してユーザの動きのルートとユーザの動きの速度とを決定すること、（Ｄ）受信した慣性センサデータに対応する仮想現実シーンの動きの分類を決定すること、（Ｅ）受信した慣性センサデータを仮想現実シーンの決定された動きの分類に相関させること、及び、（Ｆ）受信した慣性センサデータの仮想現実シーンの決定された動きの分類への相関をユーザプロファイルに記録すること、を含む。
【０１３２】
本明細書において、幾つかの方法の操作を特定の順序で記載したが、操作と操作の間に他のハウスキーピング操作を行ってよく、または、操作は、少しずつ異なった時間に生じるように、調整されてよい、または、操作は、処理に関連付けられた様々な間隔で処理操作が生じることを可能にするシステムに分散されてよい、ことは理解されたい。本発明の実施形態は、ハンドヘルド装置、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラマブル家電、ミニコンピュータ、メインフレームコンピュータ等を含む様々なコンピュータシステム構成を用いて実践してよい。発明は、有線ベースまたは無線ネットワークを通してリンクされる遠隔処理装置によってタスクが行われる分散コンピュータ環境においても実践できる。
【０１３３】
上記実施形態を考慮して、発明は、コンピュータシステムに記憶されたデータに関する様々なコンピュータ実施操作を採用できることは理解されたい。これらの操作は、物理量の物理的操作を必要とする操作である。発明の一部をなす本明細書に記載の操作はいずれも、有用な機械操作である。発明は、これらの操作を行う素子または装置にも関する。装置は、必要な目的に合わせて特別に構成することができる、または、装置は、コンピュータに記憶されたコンピュータプログラムによって選択的に作動または構成される汎用コンピュータであってよい。特に、様々な汎用機械は、本明細書の教示に従って書かれたコンピュータプログラムと共に使用することができ、または、必要な操作を行うためにより専門化した装置を構築するとより便利であると思われる。
【０１３４】
本発明は、コンピュータ可読媒体上でコンピュータ可読コードとして具体化もできる。コンピュータ可読媒体は、データを記憶できる任意のデータ記憶装置であり、その後、データは、コンピュータシステムによって読み取ることができる。コンピュータ可読媒体の例は、ハードドライブ、ネットワーク接続ストレージ（ＮＡＳ）、リードオンリメモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、並びに、他の光学式及び非光学式データ記憶装置を含む。コンピュータ可読媒体は、コンピュータ可読コードが、分散して記憶、実行されるように、ネットワークに接続されたコンピュータシステムを介して分散されたコンピュータ可読有形媒体を含み得る。
【０１３５】
上記発明は、理解しやすいように詳細に記載したが、添付の請求項の範囲内で一定の変更及び修正を行えることは明らかである。従って、本実施形態は、制限ではなく、例示とみなすべきであり、発明は、本明細書に記載した詳細に制限すべきではなく、記載した実施形態及び均等物の範囲内で修正されてよい。
【図１Ａ】
0006484340.tif 000002
【図１Ｂ】
0006484340.tif 000003
【図２Ａ】
0006484340.tif 000004
【図２Ｂ】
0006484340.tif 000005
【図３Ａ】
0006484340.tif 000006
【図３Ｂ】
0006484340.tif 000007
【図３Ｃ】
0006484340.tif 000008
【図３Ｄ】
0006484340.tif 000009
【図３Ｅ】
0006484340.tif 000010
【図３Ｆ】
0006484340.tif 000011
【図３Ｇ】
0006484340.tif 000012
【図３Ｈ】
0006484340.tif 000013
【図３Ｉ】
0006484340.tif 000014
【図３Ｊ】
0006484340.tif 000015
【図３Ｋ】
0006484340.tif 000016
【図３Ｌ】
0006484340.tif 000017
【図４】
0006484340.tif 000018
【図５】
0006484340.tif 000019
【図６】
0006484340.tif 000020
【図７】
0006484340.tif 000021
【図８】
0006484340.tif 000022
【図９Ａ】
0006484340.tif 000023
【図９Ｂ】
0006484340.tif 000024
【図１０】
0006484340.tif 000025
【図１１Ａ】
0006484340.tif 000026
【図１１Ｂ】
0006484340.tif 000027