(57)【要約】      （修正有）【課題】ゲーミングデバイス付きの回転自在に設置されるカメラを使用するためのシステム及び方法を提供する。【解決手段】ウェアラブルデバイス１０４Ａ、１０４Ｂの部分である複数のカメラを使用し、第１の手の画像をキャプチャすることを含む。ウェアラブルデバイスは、第２の手の手首に取り付けられ、その複数のカメラは、ウェアラブルデバイスの回りに配置される。方法は、第１の手の追加画像のキャプチャを繰り返すことを含み、画像及び追加画像は、ヘッドマウントディスプレイ（ＨＭＤ３１０）で仮想環境を示すセッション中にキャプチャされた画像データのストリームを生じさせるためにキャプチャされる。方法は、ＨＭＤとインタフェースされるコンピューティングデバイスに、キャプチャされた画像データのストリームを送ることを含む。コンピューティングデバイスは、第１の手の指の位置の変化を識別するためにキャプチャされた画像データを処理する。【選択図】図３
2018136950.tif 000002
【特許請求の範囲】
【請求項１】
ヘッドマウントディスプレイ内に仮想手を表示するためにユーザの手首の位置を特定する方法であって、
前記ユーザの前記手首に着用されたウェアラブルデバイスの画像をキャプチャするステップであって、前記画像のキャプチャは前記手首に向けられた視野を有するカメラによって実行され、前記画像のキャプチャは、前記ウェアラブルデバイスが動かされて前記カメラによってキャプチャされるジェスチャが生成されるときに実行される、前記画像をキャプチャするステップと、
前記カメラによって前記ウェアラブルデバイスの追加画像のキャプチャを繰り返すステップであって、前記画像のキャプチャと前記追加画像のキャプチャの繰り返しが実行されて画像データのストリームが生成される、前記追加画像のキャプチャを繰り返すステップと、
コンピューティングデバイスに前記画像データのストリームを送信するステップであって、前記コンピューティングデバイスは、前記画像データを処理して前記ヘッドマウントディスプレイにおいて前記仮想手をレンダリングするために前記手首の位置の変化を特定するように構成される、前記画像データのストリームを送信するステップとを含む、方法。
【請求項２】
前記ウェアラブルデバイスは、前記ウェアラブルデバイスの外面に位置する複数の発光体を含み、前記発光体は、前記画像と前記追加画像のキャプチャを容易にするために前記外面を横切って周期的に間隔をあけて配置される、請求項１に記載の方法。
【請求項３】
前記カメラは、前記ウェアラブルデバイスが配置される部屋内に配置される、請求項１に記載の方法。
【請求項４】
前記カメラは、前記カメラのレンズが前記ウェアラブルデバイスに向き合うように前記ヘッドマウントディスプレイ内に配置される、請求項１に記載の方法。
【請求項５】
追加ウェアラブルデバイスの画像をキャプチャするステップであって、前記追加ウェアラブルデバイスは前記ユーザの別の手首に着用され、前記追加ウェアラブルデバイスは前記追加ウェアラブルデバイスの外面にカメラをもつ、前記追加ウェアラブルデバイスの画像をキャプチャするステップと、
前記追加ウェアラブルデバイス上の前記カメラによって前記ウェアラブルデバイスの一部の画像をキャプチャするステップと、
前記追加ウェアラブルデバイス上の前記カメラによって前記ウェアラブルデバイスの前記一部の追加画像のキャプチャを繰り返して画像データの追加ストリームを生成するステップと、
前記コンピューティングデバイスに前記画像データの追加ストリームを送信するステップであって、前記コンピューティングデバイスは、前記画像データの追加ストリームを処理して前記手首の位置の変化を特定するように構成される、前記画像データの追加ストリームを送信するステップとをさらに含む、請求項１に記載の方法。
【請求項６】
前記コンピューティングデバイスは、前記画像データのストリームから決定された前記手首の前記位置にもとづいて前記画像データの追加ストリームから決定された前記手首の前記位置の正確さを確認するように構成される、請求項５に記載の方法。
【請求項７】
前記ウェアラブルデバイスは、前記ユーザの別の手首に向けられた視野を有するカメラをもち、
前記別の手首に着用された別のウェアラブルデバイスの画像をキャプチャするステップであって、前記別のウェアラブルデバイスの前記画像のキャプチャは前記別の手首に向けられた前記視野を有する前記カメラによって実行される、前記別のウェアラブルデバイスの画像をキャプチャするステップと、
前記別の手首に向けられた前記視野を有する前記カメラによって前記別のウェアラブルデバイスの追加画像をキャプチャするステップであって、前記別のウェアラブルデバイスの前記画像のキャプチャと前記別のウェアラブルデバイスの前記追加画像のキャプチャの繰り返しが実行されて画像データの追加ストリームが生成される、前記追加画像をキャプチャするステップと、
前記コンピューティングデバイスに前記画像データの追加ストリームを送信するステップであって、前記コンピューティングデバイスは、前記画像データの追加ストリームを処理して前記ヘッドマウントディスプレイにおいて前記別の手首を表す別の仮想手をレンダリングするために前記別の手首の位置の変化を特定するように構成される、前記画像データの追加ストリームを送信するステップとをさらに含む、請求項１に記載の方法。
【請求項８】
前記ウェアラブルデバイスは、前記ウェアラブルデバイスの外面に位置する複数の発光体を含み、前記ユーザの別の手首に着用される別のウェアラブルデバイスから前記ウェアラブルデバイスを区別するのを容易にするように、前記複数の発光体は、前記別のウェアラブルデバイスの複数の追加発光体による発光と比較して異なる周波数で光を発するように構成される、請求項１に記載の方法。
【請求項９】
ヘッドマウントディスプレイ内に仮想手を表示するためにユーザの手首の位置を特定するシステムであって、
前記ユーザの前記手首に着用されるように構成されたウェアラブルデバイスと、
前記ユーザによって着用されるように構成された前記ヘッドマウントディスプレイと、
前記ウェアラブルデバイスの方を向き、前記手首に向けられた視野を有するカメラと、
前記カメラと前記ヘッドマウントディスプレイに接続されたコンピューティングデバイスとを備え、
前記カメラは、前記ウェアラブルデバイスの画像をキャプチャするように構成され、
前記カメラは、前記ウェアラブルデバイスの追加画像のキャプチャを繰り返すように構成され、
前記画像と前記追加画像がキャプチャされて画像データのストリームが生成され、
前記カメラは、前記画像データのストリームを前記コンピューティングデバイスに送信するように構成され、
前記コンピューティングデバイスは、前記画像データを処理して前記ヘッドマウントディスプレイにおいて前記仮想手をレンダリングするために前記手首の位置の変化を特定するように構成される、システム。
【請求項１０】
前記ウェアラブルデバイスは、前記ウェアラブルデバイスの外面に位置する複数の発光体を含み、前記発光体は、前記画像と前記追加画像のキャプチャを容易にするために前記外面を横切って周期的に間隔をあけて配置される、請求項９に記載のシステム。
【請求項１１】
前記カメラは、前記ウェアラブルデバイスが配置される部屋内に配置される、請求項９に記載のシステム。
【請求項１２】
前記カメラは、前記カメラのレンズが前記ウェアラブルデバイスに向き合うように前記ヘッドマウントディスプレイ内に配置される、請求項９に記載のシステム。
【請求項１３】
前記ユーザの別の手首に着用されるように構成された追加ウェアラブルデバイスと、
前記追加ウェアラブルデバイスの外面に配置されたカメラとをさらに含み、
前記追加ウェアラブルデバイス上の前記カメラは、前記ウェアラブルデバイスの一部の画像をキャプチャするように構成され、
前記追加ウェアラブルデバイス上の前記カメラは、前記ウェアラブルデバイスの前記一部の追加画像のキャプチャを繰り返して画像データの追加ストリームを生成するように構成され、
前記追加ウェアラブルデバイス上の前記カメラは、前記コンピューティングデバイスに前記画像データの追加ストリームを送信するように構成され、
前記コンピューティングデバイスは、前記画像データの追加ストリームを処理して前記手首の位置の変化を特定するように構成される、請求項９に記載のシステム。
【請求項１４】
前記コンピューティングデバイスは、前記画像データのストリームから決定された前記手首の前記位置にもとづいて前記画像データの追加ストリームから決定された前記手首の前記位置の正確さを確認するように構成される、請求項１３に記載のシステム。
【請求項１５】
前記ウェアラブルデバイスは、前記ユーザの別の手首に向けられた視野を有するカメラをもち、
前記別の手首に着用された別のウェアラブルデバイスの方を向く前記カメラは、前記別のウェアラブルデバイスの画像をキャプチャするように構成され、
前記別のウェアラブルデバイスの方を向く前記カメラは、前記別のウェアラブルデバイスの追加画像をキャプチャするように構成され、前記別のウェアラブルデバイスの前記画像と前記別のウェアラブルデバイスの前記追加画像がキャプチャされて画像データの追加ストリームが生成され、
前記別のウェアラブルデバイスの方を向く前記カメラは、前記コンピューティングデバイスに前記画像データの追加ストリームを送信するように構成され、
前記コンピューティングデバイスは、前記画像データの追加ストリームを処理して前記ヘッドマウントディスプレイにおいて前記別の手首を表す別の仮想手をレンダリングするために前記別の手首の位置の変化を特定するように構成される、請求項９に記載のシステム。
【請求項１６】
前記ウェアラブルデバイスは、前記ウェアラブルデバイスの外面に位置する複数の発光体を含み、前記ユーザの別の手首に着用される別のウェアラブルデバイスから前記ウェアラブルデバイスを区別するのを容易にするように、前記複数の発光体は、前記別のウェアラブルデバイスの複数の追加発光体による発光と比較して異なる周波数で光を発するように構成される、請求項９に記載のシステム。
【請求項１７】
ヘッドマウントディスプレイ内に仮想手を表示するためにユーザの手首の位置を特定するためのプログラム命令を格納したコンピュータ可読有形媒体であって、コンピュータシステムの１以上のプロセッサによる前記プログラム命令の実行により、前記１以上のプロセッサに、
前記ユーザの前記手首に着用されたウェアラブルデバイスの画像をキャプチャするステップであって、前記画像のキャプチャは前記手首に向けられた視野を有するカメラによって実行され、前記画像のキャプチャは、前記ウェアラブルデバイスが動かされて前記カメラによってキャプチャされるジェスチャが生成されるときに実行される、前記画像をキャプチャするステップと、
前記カメラによって前記ウェアラブルデバイスの追加画像のキャプチャを繰り返すステップであって、前記画像のキャプチャと前記追加画像のキャプチャの繰り返しが実行されて画像データのストリームが生成される、前記追加画像のキャプチャを繰り返すステップと、
コンピューティングデバイスに前記画像データのストリームを送信するステップであって、前記コンピューティングデバイスは、前記画像データを処理して前記ヘッドマウントディスプレイにおいて前記仮想手をレンダリングするために前記手首の位置の変化を特定するように構成される、前記画像データのストリームを送信するステップとを実行させる、記録媒体。
【請求項１８】
前記ウェアラブルデバイスは、前記ウェアラブルデバイスの外面に位置する複数の発光体を含み、前記発光体は、前記画像と前記追加画像のキャプチャを容易にするために前記外面を横切って周期的に間隔をあけて配置される、請求項１７に記載の記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ゲーミングデバイス付きの回転自在に設置されたカメラを使用するための方法及びシステムに関する。
【背景技術】
【０００２】
ユーザーの手を追跡する現在のシステムでは、ユーザーは、ユーザーが仮想空間または拡張空間で表される自分の手を見るように、通常、コントローラを保持する、または特殊な手袋を着用する。コントローラを保持するユーザーは、手及び指の移動の限られた範囲を有する。そうでなければ、ユーザーはコントローラを落とすことがある。追跡手袋を着用するユーザーも、自分の手を見たいと思うたびに手袋を着用し、手袋を外す不便さを経験し、手袋の内側に自分の指を置くことにより発生する衛生状態の低下も経験する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明の実施形態が発生するのはこの状況においてである。
【課題を解決するための手段】
【０００４】
本開示に説明される実施形態は、ゲーミングデバイス付きの回転自在に設置されるカメラを使用するためのシステム及び方法を提供する。
【０００５】
一実施形態では、ユーザーは自分の手首に回転自在のデバイスを着用する。例えば、１つのウェアラブルデバイスがユーザーの手首に着用され、もう１つのウェアラブルデバイスがユーザーの別の手首に着用される。カメラは各ウェアラブルデバイスの中に埋め込まれる。左手首に着用されるウェアラブルデバイスのカメラは、ユーザーの右手と関連付けられた画像データをキャプチャする。例えば、カメラは右手の指の、または右手の、または右手首に着用されたウェアラブルデバイスの、または右腕の一部分等の画像データをキャプチャする。同様に、右手首に着用されたウェアラブルデバイスのカメラは、ユーザーの左手と関連付けられた画像データをキャプチャする。画像データは、右腕の少なくとも一部分の位置及び向きを決定する、及び左腕の少なくとも一部分の位置及び向きを決定するために、ゲームコンソールまたは例えば別のコンピューティングデバイス等、別のコンピュータシステムに転送される。左腕の該部分の位置及び向き、及び／または右腕の該部分の位置及び向きは、例えば、ヘッドマウントディスプレイ（ＨＭＤ）上に表示される色、テクスチャ、位置、向き、陰影、形状等の仮想オブジェクトの状態を決定するために使用される。
【０００６】
いくつかの実施形態では、ユーザーは、ＨＭＤ上にまたは例えばテレビ、コンピュータ等、表示装置上に表示される仮想現実（ＶＲ）または拡張現実（ＡＲ）のシーンで仮想オブジェクトを、例えば掴む、移動する、押す、引く等、操作するためにウェアラブルデバイスを着用する。ゲームの中の仮想手は、ユーザーがウェアラブルデバイスを着用中に自分の手を動かすときに移動する。さらに、ゲームの仮想手の指は、ユーザーがウェアラブルデバイスを着用中に自分の指を動かすときに移動する。指の位置及び／または向きは仮想手の指の移動を生じさせるために上述されたカメラを使用しキャプチャされた画像データから決定される。
【０００７】
仮想現実または拡張現実の場合、例えば、ユーザーの手、足、指、親指、手及び指の組合せ、手及び親指の組合せ等、体の部分の位置及び／または向きが決定される場合、一定数のアプリケーションがイマージョンを増加する、または現実を厳密に複製する。
【０００８】
いくつかの実施形態では、例えば１組のリストバンド、１組のアンクルバンド、１組のフィンガーバンド、１組のサムバンド等のいくつかのウェアラブルバンドは、体の部分の位置及び／向きに関する画像データを生成するためにカメラを装備している。例えば、カメラと一体化され、ユーザーの左手の指に着用されたウェアラブルバンドは、ユーザーの右手の画像データを生成する。実施形態では、ウェアラブルバンドは、例えばリストウォッチ、ブレスレット等、ウェアラブルデバイスと一体化される。
【０００９】
実施形態では、各ウェアラブルバンドは、他のウェアラブルバンド及び／または他の体の部分を追跡できる少なくとも１台のカメラを有する。他のウェアラブルバンド及び／または他の体の部分のウェアラブルバンドによってキャプチャされる画像は、ユーザーの体の部分の位置及び／または向きを検出するために、例えばＨＭＤのプロセッサ、ゲームコンソールのプロセッサ等のプロセッサによって使用される。例えば、ユーザーの手首の相対位置及び／または相対向きは画像から決定される。相対位置及び／または相対向きは、ゲームの次のゲーム状態を決定するためにプロセッサによって使用される。例えば、体の部分の相対位置及び／または相対向きは、ユーザーがＶＲ画像またはＡＲ画像で、例えば仮想テニスボール、仮想武器等のゲームピースを移動するかどうかを判断するために使用される。
【００１０】
多様な実施形態では、各ウェアラブルバンドは、例えば、１台のカメラ、２台のカメラ、４台のカメラ等いくつかのカメラを含み、これによりカメラは体の部分の向き及び体の部分の位置に応じて他の体の部分を指すことができる。例えば、左腕の腹側部が右腕の腹側部に向くとき、ユーザーの左手首の回りに設置されたカメラはユーザーの右手首に向いて、右手首の及び／または右手の画像を得て、ユーザーの右手首の回りに設置されたカメラは左手首に向いて、左手首の及び／または左手の画像を得る。
【００１１】
複数の実施形態では、ウェアラブルバンドのカメラは広い視野のために広角レンズを有し、したがって各ウェアラブルバンドで使用されるカメラは少ない。
【００１２】
いくつかの実施形態では、ウェアラブルバンドは、例えば有線媒体、無線媒体等の媒体を介して互いと、ＨＭＤに及び／または例えばゲームコンソール、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、携帯電話等、コンピューティングデバイスに接続される。媒体の例はブルートゥース（登録商標）、Ｗｉ−Ｆｉ、ユニバーサルシリアルバス（ＵＳＢ）、パラレル転送媒体、シリアル転送媒体、及びイーサネット（登録商標）を含む。ウェアラブルバンドは媒体を介して互いと、ＨＭＤと、及び／またはゲームコンソールと通信する。例えば、ウェアラブルバンドは、互いと同期情報を交換するために互いと通信する。同期情報の例は、ウェアラブルデバイスのカメラのフレームレート、ウェアラブルデバイスの発光体がパルス化されるレート等を含む。
【００１３】
多様な実施形態では、ウェアラブルバンドは体の部分の移動及び／または向きを検出するために慣性センサを含む。慣性センサは、ウェアラブルバンドが着用される体の部分の移動に基づいて抵抗を示す信号を生成し、プロセッサに信号を提供する。プロセッサは、ウェアラブルデバイスのカメラに位置するｘｙｚ座標系に関して体の部分の位置及び／または向きを決定するために信号を分析する。
【００１４】
複数の実施形態では、各リストバンド上の少なくとも１台のカメラが他方の手首に導かれ、これにより各リストバンドが他方の手首及び他方の手または他方の手の指の移動を追跡する。
【００１５】
いくつかの実施形態では、各ウェアラブルバンドは、他の体の部分の場所の識別を可能にするために、例えば点滅している発光ダイオード（ＬＥＤ）、またはクイックレスポンス（ＱＲ）コード、または反射器、またはパターン、または可視光、または赤外（ＩＲ）光、またはその組合せ等のマーカを含む。例えば、ウェアラブルバンドのマーカ及びカメラは、マーカ及びカメラの交互の配置を実現するために互いに点在する。ウェアラブルバンド上のカメラは他方のウェアラブルバンド上のマーカの画像を生成し、他の体の部分の位置及び／または向きを決定するためにプロセッサに画像を提供する。
【００１６】
多様な実施形態では、第１のウェアラブルバンドの色は、第２のウェアラブルバンドが着用される第２の体の部分から第１のウェアラブルバンドが着用される第１の体の部分を区別するために第２のウェアラブルバンドの色と異なる。プロセッサは、第１の体の部分とある色を関連付け、第２の体の部分と別の色を関連付けて、２つの体の部分の移動を分離するように前もってプログラムされる。
【００１７】
複数の実施形態では、各ウェアラブルバンドは例えば光ファイバ発光体、拡散光ファイバ発光体等の発光体を含み、これにより各ウェアラブルバンドは色を発する。色は、プロセッサが体の部分の位置及び／または向きを決定できるようにするために、他のウェアラブルバンドの、及び／またはＨＭＤの、ならびに／またはゲームコンソールの、及び／または例えばテレビ、コンピューティングデバイスモニタ等の表示装置のカメラによって検出される。例として、光ファイバケーブルはウェアラブルバンドの回りに巻き付けられる、または他の体の部分に着用されるウェアラブルバンドに一体化されたカメラによって見られる発光体のパターンを画定する。パターンは、カメラによって媒体を介してプロセッサに提供される画像データの中で具体化される。プロセッサは、画像データの中で具体化されたパターンに基づいて、他のウェアラブルデバイス上のカメラ及び／またはＨＭＤ上のカメラ及び／またはゲームコンソールに接続されたカメラによって見られる体の部分（例えば、指、手首等）の位置及び／または向きを決定する。この例では、光ファイバケーブルは、光の流出用の開口部を有し、各開口部は発光体として働く。別の例として、光を発する発光体はウェアラブルバンドの回りに設置される。
【００１８】
いくつかの実施形態では、ユーザーは色付きのウェアラブルバンドを着用し、色付きのウェアラブルバンドはいずれの電子機器またはカメラを含まない。ユーザーは、例えば白い表面、白いマット、白い板等、表面上に自分の手または手首を置き、ＨＭＤのカメラまたはゲームコンソールのカメラが色付きの体の部分のバンド及びユーザーの腕の部分の位置及び向きを含んだ画像データを生成し、画像データはユーザーの手または手首の位置及び／または向きを識別するために使用される。
【００１９】
多様な実施形態では、ユーザーは、例えば、マット、表面、板等の、着色されている（例えば、緑の画面、青の画面等）パッドデバイス上に自分の手首及び／または手を置き、カメラは手首及び／または手を追跡できる。パッドデバイスの例は、可撓であり、丸められるマットを含む。
【００２０】
多様な実施形態では、カメラはＩＲカメラである。多様な実施形態では、ウェアラブルバンド上のいくつかのカメラはＩＲカメラであり、残りのカメラは可視光カメラである。
【００２１】
実施形態では、手の指の位置を識別する方法が説明される。位置は、ヘッドマウントディスプレイ（ＨＭＤ）で仮想環境を示すときに、ＨＭＤに表示される仮想手をレンダリングするために使用される。方法は、ウェアラブルデバイスの部分である複数のカメラを使用し第１の手の画像をキャプチャすることを含む。ウェアラブルデバイスは第２の手の手首に取り付けられ、複数のカメラが第２の手の手首の回りに分散されるようにウェアラブルデバイスの複数のカメラはウェアラブルデバイスの回りに配置される。方法は、第１の手の追加画像のキャプチャを繰り返すことであって、画像及び追加画像はＨＭＤの仮想環境を示すセッション中にキャプチャされた画像データのストリームを生じさせるためにキャプチャされる、繰り返すことを含む。方法は、ＨＭＤとインタフェースされるコンピューティングデバイスにキャプチャされた画像データのストリームを送ることを含む。コンピューティングデバイスはキャプチャされた画像データを処理して、第１の手の指の位置の変化に相当するＨＭＤの仮想手をレンダリングするために第１の手の指の位置の変化を識別するように構成される。
【００２２】
一実施形態では、ＨＭＤに表示される仮想環境と対話するユーザーの手の位置を識別するための方法が説明される。方法は、第１の手の手首に取り付けられる第１のウェアラブルデバイスの部分である複数のカメラを使用しユーザーの第１の手の画像をキャプチャすることを含む。第１のウェアラブルデバイスの複数のカメラは第１のウェアラブルデバイスの回りの角度位置に配置される。方法は、第２のウェアラブルデバイスの部分である複数のカメラを使用しユーザーの第２の手の画像をキャプチャすることを含む。第２のウェアラブルデバイスは第２の手の手首に取り付け可能である。第２のウェアラブルデバイスの複数のカメラは第２のウェアラブルデバイスの回りの角度位置に配置される。方法は、ＨＭＤに表示される仮想環境との対話性のセッション中に第１のウェアラブルデバイス及び第２のウェアラブルデバイスの複数のカメラからの画像のキャプチャを継続することを含む。第１のウェアラブルデバイスによってキャプチャされた画像は、第２のウェアラブルデバイスの画像を含み、第２のウェアラブルデバイスによってキャプチャされた画像は第１のウェアラブルデバイスの画像を含む。方法は、基準カメラを使用し第１のウェアラブルデバイス及び第２のウェアラブルデバイスの追加画像をキャプチャすることを含む。方法は、ＨＭＤとインタフェースされるコンピューティングデバイスに第１のウェアラブルデバイスからの画像、第２のウェアラブルデバイスからの画像、及び基準カメラからの追加画像を送ることを含む。コンピューティングデバイスは、第２の手の位置を識別するために第１のウェアラブルデバイスから画像を処理し、第１の手の位置を識別するために第２のウェアラブルデバイスから画像を処理するように構成され、コンピューティングデバイスは第１の手及び第２の手の位置に基準を提供するために基準カメラを使用する。
【００２３】
実施形態では、システムは、ユーザーの第１の手の手首に着用するための第１のウェアラブルデバイスを含む。第１のウェアラブルデバイスは、ユーザーの第２の手の画像データをキャプチャするためのカメラを含む。第１のウェアラブルデバイスは、第１のウェアラブルデバイスを使用しキャプチャされた画像データを通信するための通信装置を含む。システムは、第１のウェアラブルデバイスに結合されたゲームコンソールを含む。ゲームコンソールは、ウェアラブルデバイスの通信装置から画像データを受信するためにウェアラブルデバイスの通信装置に結合されたコンソール通信装置を有する。ゲームコンソールは、第１のウェアラブルデバイスを使用しキャプチャされた画像データからユーザーの第２の手の位置を識別するためのコンソール通信装置に結合されたゲームプロセッサを含む。ゲームプロセッサは、第２の手の位置に基づいて仮想環境内の仮想オブジェクトの状態に関するデータを決定するように構成される。コンソール通信装置は、仮想オブジェクトの状態に関するデータを送る。システムは、ゲームコンソールに結合されたＨＭＤを含む。ＨＭＤは、コンソール通信装置から仮想オブジェクトの状態に関するデータを受信するためにコンソール通信装置に結合されたＨＭＤ通信装置を含む。ＨＭＤは、ＨＭＤの表示画面に状態を有する仮想オブジェクトを表示するためにＨＭＤ通信装置に結合された処理ユニットをさらに含む。
【００２４】
本明細書に説明される実施形態のいくつかの優位点は、ユーザーの腕の一部分の接写ビューを提供することを含む。接写ビューは、ウェアラブルデバイスの中に統合されるカメラによってキャプチャされる。接写ビューは腕の部分の正確な位置及び／または向きを提供する。正確な位置及び／または向きは、画像内の仮想オブジェクトの、例えば色、テクスチャ、陰影、形状、位置、向き等の状態を決定するために使用される。
【００２５】
また、本明細書に説明されるいくつかの実施形態のさらなる利点は、手袋よりもより衛生的且つ使用しやすいウェアラブルデバイスを使用することを含む。例えば、ウェアラブルデバイスはユーザーの手首に取り付けられ、ユーザーの指及び手を取り囲むエンクロージャはない。エンクロージャの欠如はユーザーの衛生状態を改善する。さらに、ユーザーが、ユーザーが立っているまたは座っている床をユーザーの指が指しているジェスチャを行うときにウェアラブルデバイスが落下するリスクはより少ない。ウェアラブルデバイスは、ユーザーの腕に留められる。
【００２６】
本開示に説明される他の態様は、本開示に説明される原理を一例として示す添付図面と併せて解釈される、以下の発明を実施するための形態から明らかになる。
【図面の簡単な説明】
【００２７】
本開示の多様な実施形態は、添付図面と併せて解釈される以下の説明を参照することにより最もよく理解される。
【００２８】
【図１Ａ】本開示の一実施形態に従って、向かい合ったウェアラブルデバイス、及び／またはユーザーの向かい合った手及び／または向かい合った手の指の画像を生成するためのウェアラブルデバイスの使用を示すためのシステムの図である。
【００２９】
【図１Ｂ】本開示の一実施形態に従って、ユーザーの左手及び右手の画像をキャプチャするための複数のカメラの使用を示すための図である。
【００３０】
【図１Ｃ】本開示の一実施形態に従って、ウェアラブルデバイスが複数の発光体を含むときの画像データのキャプチャを示すために使用される図である。
【００３１】
【図２Ａ】本開示の一実施形態に係るウェアラブルデバイスの中のカメラの図である。
【００３２】
【図２Ｂ】本開示の一実施形態に従って、一方の手がユーザーの他方の手の後方にあるときに画像データをキャプチャするカメラを示すためのウェアラブルデバイスの図である。
【００３３】
【図３】本開示の一実施形態に係るカメラ及びエミッタを含むウェアラブルデバイスを示すためのシステムの図である。
【００３４】
【図４】本開示の一実施形態に従って、ＨＭＤとさらに通信するコンピュータとウェアラブルデバイスが通信するシステムの図である。
【００３５】
【図５】本開示の一実施形態に従って、カメラを含むＨＭＤの図である。
【００３６】
【図６】本開示の一実施形態に従って、ユーザーの手首に関してカメラの位置に基づいてウェアラブルデバイスのカメラを周期的にオフ及びオンにすることを示すためのカメラシステムの図である。
【００３７】
【図７Ａ】本開示の一実施形態に従って、いくつかのマーカを含むウェアラブルデバイスの図である。
【００３８】
【図７Ｂ】本開示の一実施形態に従って、別のウェアラブルデバイスに関してウェアラブルデバイスの向きを決定するための該ウェアラブルデバイスの位置の使用を示すための図である。
【００３９】
【図８】本開示の一実施形態に従って、ウェアラブルデバイスでの光ファイバケーブル及び発光体の使用を示すための複数のウェアラブルデバイスの図である。
【００４０】
【図９】本開示の一実施形態に従って、ユーザーの手の相対位置及び／または相対向きを決定するためのゲームコンソールの中のいくつかのカメラを示すためのシステムの図である。
【００４１】
【図１０】本開示の一実施形態に従って、ウェアラブルデバイスを着用しながらユーザーによって実行される多様なジェスチャを示す図である。
【００４２】
【図１１】本開示の一実施形態に従って、互いとゲームをプレイするためにＨＭＤ及びウェアラブルデバイスを着用する２人のユーザーを示すための図である。
【００４３】
【図１２】本開示の一実施形態に従って、テレビのカメラがｘｙｚ座標系に関してアイテムの位置及び／または向きを決定するために使用されるシステムの図である。
【００４４】
【図１３】本開示の一実施形態に従って、アンクルデバイスがユーザーの足首の回りに着用されるシステムの図である。
【００４５】
【図１４】本開示の一実施形態に従って、ユーザーが自分の手首の回りにウェアラブルデバイスを着用し、自分の足首の回りにアンクルデバイスを着用しているシステムの図である。
【００４６】
【図１５】本開示の一実施形態に従って、ユーザーがウェアラブルデバイスとパッドデバイスを使用しているシステムの図である。
【００４７】
【図１６】本開示の一実施形態に従って、パッドデバイスが表面上に置かれるシステムの図である。
【００４８】
【図１７】本開示の一実施形態に係るウェアラブルデバイスのブロック図である。
【００４９】
【図１８Ａ】本開示の一実施形態に従って、ユーザーの両手が、画像の中にある仮想オブジェクトを制御するために使用されることを示すためにＨＭＤに表示される仮想環境の画像の図である。
【００５０】
【図１８Ｂ】本開示の一実施形態に従って、ユーザーの一方の手が仮想オブジェクトを制御するために使用され、ユーザーの別の手が別の仮想オブジェクトを制御するために使用されることを示すためにＨＭＤに表示される仮想環境の画像の図である。
【００５１】
【図１９】本開示の一実施形態に係るＨＭＤの等角図である。
【００５２】
【図２０】本開示の一実施形態に従って、ＨＭＤ及びハンドヘルドコントローラを使用することによるユーザーの仮想環境との対話を示すためのシステムの図である。
【００５３】
【図２１】本開示の一実施形態に係る別のＨＭＤの等角図である。
【００５４】
【図２２】本開示の一実施形態に係るコンピュータネットワークを介する仮想環境のアクセスを示すために使用される図である。
【００５５】
【図２３】本開示の一実施形態に従って、仮想環境にアクセスするためにＨＭＤを着用するユーザーを示す。
【００５６】
【図２４】本開示の一実施形態に係るＨＭＤの例の構成要素を示すための図である。
【００５７】
【図２５】本開示の一実施形態に係る情報サービスプロバイダのアーキテクチャを示す。
【発明を実施するための形態】
【００５８】
ゲーミングデバイスを有する回転自在に設置されたカメラを使用するためのシステム及び方法が説明される。本開示に説明される多様な実施形態は、これらの具体的な詳細のいくらかまたはすべてなしに実践されて良いことに留意されたい。他の例では、周知のプロセス操作は、本開示に説明される多様な実施形態を不必要に分かりにくくしないために詳細には説明されていない。
【００５９】
図１Ａは、向かい合ったウェアラブルデバイス１０２Ａ及び１０２Ｂ、及び／またはユーザーの向かい合った手及び／または向かい合った手の指の画像を生成するためにウェアラブルデバイス１０２Ａ及び１０２Ｂの使用を示すためにウェアラブルデバイスの使用を示すためのシステムの実施形態の図である。各ウェアラブルデバイスはユーザーの対応する手首の回りに着用されている。例えば、ウェアラブルデバイスはリストバンド、腕時計、ブレスレット、フレキシブルバンド、ゴムバンド等である。一実施形態では、ウェアラブルデバイスは、例えば金属等、固形物から作られる。別の実施形態では、ウェアラブルデバイスは、例えば、布、プラスチック、ゴム等、可撓性材料から作られる。ウェアラブルデバイス１０２Ａはユーザーの左手首に着用され、ウェアラブルデバイス１０２Ｂはユーザーの右手首に着用される。
【００６０】
各ウェアラブルデバイス１０２Ａ及び１０２Ｂは、例えばＣ１及びＣ２等、１台または複数のカメラを含む。カメラＣ１及びＣ２は互いに向き合っている。例えば、カメラＣ１はカメラＣ２のレンズ及び／またはユーザーの右手を向く。別の例としては、カメラＣ２はカメラＣ１のレンズ及び／またはユーザーの左手を向く。さらに別の例としては、ウェアラブルデバイス１０２Ａは、ウェアラブルデバイス１０２ＡのカメラＣ１が左手の腹側に位置するようにユーザーの手首に着用される。別の例として、ウェアラブルデバイス１０２Ｂは、ウェアラブルデバイス１０２ＢのカメラＣ２が右手の腹側に位置するようにユーザーの手首に着用される。カメラの例は、視野カメラ、デジタルカメラ、赤外線カメラ等を含む。
【００６１】
ユーザーはウェアラブルデバイスを着用する一方、ユーザーは、例えば手首、手、前腕、脚、足首、膝、指、足、腕、指関節等、自分の体の部分でジェスチャをしている。例えば、ユーザーは、例えばユーザーが位置する部屋、ユーザーが位置するオープンスペース等、現実世界環境で自分の手を上下に移動する。別の例として、ユーザーは自分の手を左または右または斜めに移動する。さらに別の例としては、ユーザーは、例えば拡張現実環境、仮想現実環境、ゲーム環境、コンピュータネットワークを介してアクセスされたデータから生成される環境等、仮想環境を横切るために自分の手を移動する。別の例として、ユーザーは仮想環境で仮想オブジェクトの位置及び／または向きを変更するために自分の手を移動する。示すために、ユーザーはゲームで仮想銃の仮想引き金を押すために自分の人差し指で引き金を引くジェスチャを行う。別の実例として、ユーザーは、自分の指を伸ばし、右から左へ自分の掌を移動して仮想オブジェクトを横にずらすことによって横への手の動きを行う。仮想オブジェクトの他の例は、仮想車両、ユーザーの仮想手、仮想ユーザー、仮想剣、ユーザーのアバター、仮想指、仮想指関節、仮想木、仮想花等を含む。
【００６２】
ウェアラブルデバイス１０２ＡのカメラＣ１はユーザーの右手首の、及び／またはユーザーの右手の、及び／またはウェアラブルデバイス１０２Ｂの、及び／またはユーザーの右手の指の、及び／またはユーザーの右手の１本若しくは複数の指の指関節の画像を生成する。同様に、ウェアラブルデバイス１０２ＢのカメラＣ２は、ユーザーの左手首の、及び／またはユーザーの左手の、及び／またはウェアラブルデバイス１０２Ａの、及び／またはユーザーの左手の指の、及び／またはユーザーの左手の１本若しくは複数の指の指関節の画像データを生成する。カメラＣ１及びＣ２によって生成された画像データは、例えば有線媒体、無線媒体等、媒体を介して、ヘッドマウントディスプレイ（ＨＭＤ）にまたはゲームコンソールに通信される。
【００６３】
ＨＭＤのプロセッサまたはゲームコンソールのプロセッサは、左手首に着用されるカメラＣ１に関して右手首の位置、及び／または左手首に着用されるカメラＣ１に関して右手の指の位置、及び／または左手首に着用されるカメラＣ１に関して右手の位置、及び／または左手首に着用されるカメラＣ１に関して右手首の向き、及び／または左手首に着用されるカメラＣ１に関して右手の指の向き、及び／または左手首に着用されるカメラＣ１に関して右手の向きを決定するために画像データを分析する。
【００６４】
ＨＭＤのプロセッサまたはゲームコンソールのプロセッサは、右手首に着用されるカメラＣ２に関して左手首の位置、及び／または右手首に着用されるカメラＣ２に関して左手の指の位置、及び／または右手首に着用されるカメラＣ２に関して左手の位置、及び／または右手首に着用されるカメラＣ２に関して左手首の向き、右手首に着用されるカメラＣ２に関して左手の指の向き、及び／または右手首に着用されるカメラＣ２に関して左手の向きを決定するために画像データを分析する。
【００６５】
プロセッサの例は、特定用途向け集積回路（ＡＳＩＣ）、プログラム可能論理回路（ＰＬＤ）、マイクロプロセッサ、コントローラ、中央演算処理装置等を含む。
【００６６】
いくつかの実施形態では、各カメラが狭視野カメラである場合よりもカメラが広視野カメラである場合に、より少ない数のカメラがウェアラブルデバイスで使用される。
【００６７】
多様な実施形態では、カメラはウェアラブルデバイスの中に統合される。いくつかの実施形態では、カメラはウェアラブルデバイスの上部に設置される。
【００６８】
実施形態では、カメラは規則正しい間隔でウェアラブルデバイスの画像をキャプチャするようにプログラムされる。例えば、カメラは、例えばゲームプロセッサ、ＨＭＤのプロセッサ等、１台または複数の通信装置を介して周期的にカメラに信号を送るプロセッサに結合される。信号を受信すると、カメラはウェアラブルデバイスの画像をキャプチャする。
【００６９】
一実施形態では、カメラはウェアラブルデバイスの画像を周期的にキャプチャするためにスイッチに信号を送るように前もってプログラムされるプロセッサを含む。スイッチは画像データをキャプチャするためにカメラを制御する。
【００７０】
一実施形態では、電源は、ウェアラブルデバイスの中で、例えばカメラ、プロセッサ、光センサ、発光体等、電子機器に電力を提供する。電源はウェアラブルデバイスの中に位置する。
【００７１】
実施形態では、カメラはウェアラブルデバイスの中に埋め込まれ、カメラのレンズは、別のウェアラブルデバイスの画像をキャプチャすることを容易にするために、ウェアラブルデバイスの表面の外部に伸長する。例えば、ウェアラブルデバイスは、着用時、ユーザーの体の部分に当接する内面を有し、体の部分に当接しない外面を有する。レンズは、ウェアラブルデバイス着用時、外面に位置する。別の例として、ユーザーの腕に着用されるときのウェアラブルデバイスは、ユーザーの他の手に向くレンズを有するカメラを有する。
【００７２】
カメラＣ１が、例えばユーザーの右手、ユーザーの右手の指、ユーザーの右手の指関節、ユーザーの右手の掌、ウェアラブルデバイス１０２Ｂ、右手の腹側、右手の背側等、アイテムの画像データをキャプチャすることに留意されたい。画像データは、例えば、ｘｙｚ座標系の起点（０、０、０）等、基準点からのアイテムの位置及び／または向きを決定するために使用され、基準点はカメラＣ１にある。同様に、カメラＣ２は、例えばユーザーの左手、ユーザーの左手の指、ユーザーの左手の指関節、ユーザーの左手の掌、ウェアラブルデバイス１０２Ａ、左手の背側、左手の腹側等、アイテムの画像データをキャプチャする。画像データは、例えば、ｘｙｚ座標系の起点（０、０、０）等、基準点からのアイテムの位置及び／または向きを決定するために使用され、基準点はカメラＣ２にある。
【００７３】
実施形態では、ユーザーの手足の向きは、ｘｙｚ座標系のｘ軸に関して手足の全長を通過する軸によって形成される角度、ｘｙｚ座標系のｙ軸に関して手足の全長を通過する軸によって形成される角度、及びｘｙｚ座標系のｚ軸に関して手足の全長を通過する軸によって形成される角度を含む。
【００７４】
一実施形態では、本明細書に説明される各ウェアラブルデバイスは、ウェアラブルデバイスの位置及び／または向きを生成するために１台または複数の慣性センサを含む。例えば、ウェアラブルデバイス１０２Ａは、ウェアラブルデバイス１０２Ａの位置及び／または向きを生成するために、いくつかの磁力計、いくつかの加速度計、及び／またはいくつかのジャイロスコープを含む。位置及び／または向きはゲームコンソールに通信される。ゲームコンソールは、ウェアラブルデバイス１０２Ａの位置及び／向きに相当する仮想オブジェクトの、例えば色、テクスチャ、形状、位置、向き、陰影等の状態を識別するために位置及び／または向きを使用する。
【００７５】
一実施形態では、ウェアラブルデバイス１０２Ａは、リストウォッチを着用するのと類似した方法で着用される。例えば、ウェアラブルデバイス１０２Ａは、互いに巻き付いてユーザーの手首を取り巻くストラップを有する。ストラップは、例えば各ストラップの中に位置する磁石等、係合機構、フックが一方のストラップに取り付けられ、フックと係合するために穴が別のストラップに形成されるフック係合機構等を使用し互いに巻き付く。
【００７６】
実施形態では、ウェアラブルデバイス１０２Ａは、リストバンドを着用するのと類似した方法で手首をぴったりと取り巻くためにユーザーの手首の回りに着用される。例えば、ウェアラブルデバイス１０２Ａは、ユーザーの手首の回りにウェアラブルデバイスを適合するために、手がウェアラブルデバイス１０２Ａの内面間に形成される開口部の中に挿入されるときに伸びる可撓性材料から作られる。
【００７７】
一実施形態では、ウェアラブルデバイス１０２Ａは２本の腕を有し、ブレスレットを着用するのと類似した方法で着用される。例えば、２本の腕の一方は他方の腕に依存し、他方の腕に関してヒンジで動く。フック係合機構は、ウェアラブルデバイス１０２Ａがユーザーの手首に巻き付くことができるようにするために開かれる。ウェアラブルデバイスがいったんユーザーの手首に巻き付くと、一方の腕のフックは他方の腕の中に形成された穴に係合されて、フックを穴と係合させてウェアラブルデバイス１０２Ａを手首に合わせる。
【００７８】
実施形態では、手首は肘と腕の手と間のユーザーの腕の一部分である。一実施形態では、手首は肘と腕の手の間のユーザーの腕の一部分であり、部分は肘に対してより手に対してより近い。
【００７９】
図１Ｂは、ユーザーの左手及び右手の画像をキャプチャするための複数のカメラの使用を示すための図である。ウェアラブルデバイス１０５Ａは、例えばユーザーの左手の手首の回りに着用される、ユーザーの左手の手首の回りに合わせられる等、ユーザーの左手の手首に取り付けられ、別のウェアラブルデバイス１０５Ｂはユーザーの右手の手首に取り付けられる。ウェアラブルデバイス１０５Ａはウェアラブルデバイス１０２Ａ（図１Ａ）の例であり、ウェアラブルデバイス１０５Ｂはウェアラブルデバイス１０２Ｂ（図１Ａ）の例である。ウェアラブルデバイス１０５はその中にカメラＣ１、Ｃ１１、Ｃ１２、及びＣ１３を統合している。同様に、ウェアラブルデバイス１０５Ｂはその中にカメラＣ２、Ｃ２１、Ｃ２２、及びＣ２３を統合している。
【００８０】
カメラＣ１、Ｃ１１、Ｃ１２、及びＣ１３はａ１、ａ２、ａ３、及びａ４の角度位置に位置するように左手の手首の回りに分散され、カメラＣ２、Ｃ２１、Ｃ２２、及びＣ２３は、ａ１、ａ２、ａ３、及びａ４の角度位置に位置するように右手の手首の回りに分散される。例えば、カメラＣ１、Ｃ１１、Ｃ１２、及びＣ１３は、等しい角度位置に互いから間隔を空けて置かれる。さらに示すために、カメラＣ１はカメラＣ１１に関して９０度の角度に位置し、カメラＣ１１はカメラＣ１２に関して９０度の角度に位置し、カメラＣ１２はカメラＣ１３に関して９０度の角度に位置し、カメラＣ１３はカメラＣ１に関して９０度の角度に位置する。別の例として、カメラＣ１、Ｃ１１、Ｃ１２、及びＣ１３は、同等ではない角度位置で互いから間隔を空けて置かれる。例えば、角度ａ１は角度ａ２、ａ３、及びａ４の１つまたは複数に同等ではない。別の例として、カメラＣ２、Ｃ２１、Ｃ２２、及びＣ２３は、等しい角度位置に互いから間隔を空けて置かれる。さらに示すために、カメラＣ２は、カメラＣ２１に関して９０度の角度に位置し、カメラＣ２１はカメラＣ２２に関して９０度の角度に位置し、カメラＣ２２はカメラＣ２３に関して９０度の角度に位置し、カメラＣ２３はカメラＣ２に関して９０度の角度に位置する。別の例として、カメラＣ２、Ｃ２１、Ｃ２２、及びＣ２３は、同等ではない角度位置で互いから間隔を空けて置かれる。
【００８１】
ウェアラブルデバイスのカメラの角度位置は、ウェアラブルデバイスの重心を通過する線に関して形成される。例えば、角度ａ１は、ウェアラブルデバイス１０５Ａの重心ＣＴＤ１を通過する水平破線に関して形成され、角度ａ２は重心ＣＴＤ１を通過する垂直線に関して形成され、角度ａ３は水平線に関して形成され、角度ａ４は垂直線に関して形成される。別の例として、
【００８２】
カメラＣ１、Ｃ１１、Ｃ１２、及びＣ１３はユーザーの右手の画像データをキャプチャし、カメラＣ２、Ｃ２１、Ｃ２２、及びＣ２３はユーザーの左手の画像データをキャプチャする。例えば、ウェアラブルデバイス１０５Ｂが、ユーザーによって自分の右手の手首に着用されるとき、カメラＣ２はユーザーの左手の画像データをキャプチャする。ウェアラブルデバイス１０５Ｂが、ユーザーの仮想環境との対話中にユーザーの右手の手首に関して、例えば回転する等、向きを変えるとき、カメラＣ２１は、カメラＣ２の代わりにユーザーの左手に向き、左手の画像データをキャプチャする。別の例として、ウェアラブルデバイス１０５Ａが、ユーザーによって自分の左手の手首に着用されるとき、カメラＣ１はユーザーの右手の画像データをキャプチャする。ウェアラブルデバイス１０５Ａが、ユーザーの仮想環境との対話中にユーザーの左手の手首に関して向きを変えるとき、カメラＣ１１は、カメラＣ１の代わりにユーザーの右手に向き、右手の画像データをキャプチャする。
【００８３】
一実施形態では、ウェアラブルデバイス１０５Ｂ、ウェアラブルデバイス１０５Ａ等、ウェアラブルデバイスが着用される手の手首に関して向きを変えるウェアラブルデバイスの代わりに、ウェアラブルデバイスは、例えば押すことによって、ラップアラウンドベルトを使用することによって、フック係合機構を使用することによって、ストラップを使用することによって等、手首に合わせられて、ユーザーの右手の手首に関してウェアラブルデバイスが向きを変える可能性を削減する。例えば、右手の手首が向きを変えられる前に、カメラＣ２はユーザーの左手の画像データをキャプチャし、手首が例えば右回り等に回転された後、カメラＣ２３はユーザーの左手の画像データをキャプチャする。別の例として、左手の手首が向きを変えられる前に、カメラＣ１はユーザーの右手の画像データをキャプチャし、手首が例えば左回り等に回転された後、カメラＣ１３はユーザーの右手の画像データをキャプチャする。
【００８４】
各ウェアラブルデバイスは４台のカメラを含むとして示されているが、一実施形態では、各ウェアラブルデバイスは４台より多いまたは少ないカメラを含むことに留意されたい。例えば、ウェアラブルデバイス１０５Ａは、等しくまたは等しくなく離間される６台のカメラを含む。
【００８５】
実施形態では、ウェアラブルデバイス１０５Ａは、ウェアラブルデバイス１０５Ｂの中に含まれるカメラとは異なる数のカメラを含む。
【００８６】
実施形態では、ウェアラブルデバイスは、カメラによってキャプチャされる画像データを受信するためにウェアラブルデバイスのカメラに接続されるプロセッサを含む。ウェアラブルデバイスのプロセッサは、例えば、ウェアラブルデバイス等のハウジングの中の中空の空間の中に位置する等、ウェアラブルデバイスの中に埋め込まれる。ウェアラブルデバイスのプロセッサは、カメラから受信される画像データでユーザーの手が可視であるかどうかを判断する。例えば、ウェアラブルデバイスのプロセッサは、画像データの一部であるピクセルデータが手の形状、または手のテクスチャ、または手の色、またはその２つ以上の組合せを含むかどうかを判断する。ピクセルデータが形状またはテクスチャまたは色またはその２つ以上の組合せを含むと判断すると、プロセッサは、画像データが手の画像を含むと判断する。他方では、ピクセルデータが形状またはテクスチャ及び／または色を含まないと判断すると、プロセッサは、画像データが手の画像を含まないと判断する。プロセッサは、例えば電池等、やはりウェアラブルデバイスの中空空間の中に埋め込まれる電源にカメラを接続する、例えば１台のトランジスタ、トランジスタのグループ等、スイッチに接続される。画像データが手の画像を含まないと判断すると、プロセッサは、カメラをオフにするために電源からカメラに供給されていることから電力を取り除くためにスイッチをオフにする。他方、画像データが手の画像を含むと判断すると、プロセッサは、電源からカメラへの電力の供給を継続するための位置でスイッチを維持し続けて、カメラによる画像データのキャプチャを継続する。
【００８７】
実施形態では、カメラをオフにする代わりに、画像データがユーザーの手の画像を含まないと判断すると、ウェアラブルデバイスのプロセッサは、画像がカメラによってキャプチャされるフレームレートを削減するために、及び／またはカメラによってキャプチャされる画像の解像度を削減するために、ウェアラブルデバイスのカメラに信号を送信する。解像度を削減するために信号を送った後にカメラによってキャプチャされる画像データが手の画像を含むと判断すると、プロセッサは所定の量に画像の解像度を増加するためにカメラに別の信号を送る。同様に、フレームレートを削減するために信号を送った後にカメラによってキャプチャされる画像データが手の画像を含むと判断すると、プロセッサは所定のレベルにフレームレートを増加するためにカメラに別の信号を送る。
【００８８】
一実施形態では、プロセッサは、カメラをオンにするのかそれともオフにするのか判断するために、及び／またはフレームレートを減少させるために、及び／または画像データが手の画像を含むかどうかに基づいて解像度を減少させるためにウェアラブルデバイスに位置する代わりに、プロセッサはゲームコンソールに位置する。ウェアラブルデバイスのカメラによってキャプチャされる画像データはウェアラブルデバイスの通信装置及びゲームコンソールの通信装置を介してゲームコンソールのゲームプロセッサに提供される。ゲームプロセッサはウェアラブルデバイスのプロセッサに下されている上述の判断と同じ判断を下し、ゲームコンソールの通信装置及びウェアラブルデバイスの通信装置を介してウェアラブルデバイスに位置するスイッチを制御するためにウェアラブルデバイスに判断を提供する。
【００８９】
一実施形態では、プロセッサは、ウェアラブルデバイスのカメラを使用しキャプチャされた画像データから、カメラがさらなる画像データをキャプチャするためにオンのままであると判断し、ウェアラブルデバイスの別のカメラを使用しキャプチャされた画像データから、他のカメラがオフにされると判断する。例えば、ウェアラブルデバイス１０５ＡのカメラＣ１を使用しキャプチャされた画像データから、カメラＣ１がユーザーの右手に向くために配向されると判断すると、及びウェアラブルデバイス１０５ＡのカメラＣ１２を使用しキャプチャされた画像データから、カメラＣ１２がユーザーの右手から向きをそらすために配向されると判断すると、ウェアラブルデバイスのプロセッサまたはゲームコンソールのプロセッサは、カメラＣ１がオンのままとなり、カメラＣ１２がオフにされると判断する。示すために、ゲームプロセッサは、カメラＣ１によって生成される画像データが右手の画像を含むときに、カメラＣ１はユーザーの右手に向くように配向されると判断する。カメラをこのようにオン及びオフすることが電力を節約し、分析のために情報過多の変更を削減するためにカメラによって生成される画像データも削減する。
【００９０】
図１Ｃは、ウェアラブルデバイス１０７Ａ及び１０７Ｂが複数の発光体を含むときの画像データのキャプチャを示すために使用される図である。例えば、ウェアラブルデバイス１０７Ａは、ウェアラブルデバイス１０７Ａの表面に分散される発光体ＬＥＳ１、ＬＥＳ１１、ＬＥＳ１２、及びＬＥＳ１３を含む。発光体ＬＥＳ１、ＬＥＳ１１、ＬＥＳ１２、及びＬＥＳ１３は、カメラＣ１、Ｃ１１、Ｃ１２、及びＣ１３が分散される同じ表面に分散される。別の例として、ウェアラブルデバイス１０７Ｂは、ウェアラブルデバイス１０７Ｂの表面に分散される発光体ＬＥＳ２、ＬＥＳ２１、ＬＥＳ２２、及びＬＥＳ２３を含む。発光体ＬＥＳ２、ＬＥＳ２１、ＬＥＳ２２、及びＬＥＳ２３は、カメラＣ２、Ｃ２１、Ｃ２２、及びＣ２３が分散される同じ表面に分散される。ウェアラブルデバイス１０７Ａはウェアラブルデバイス１０２Ａ（図１Ａ）の例であり、ウェアラブルデバイス１０７Ｂはウェアラブルデバイス１０２Ｂ（図１Ａ）の例である。ウェアラブルデバイス１０７Ａは、例えばユーザーの左手首に着用される、ユーザーの左手首を取り巻く、ユーザーの左手首に合わせられる等、ユーザーの左手首に取り付けられ、ウェアラブルデバイス１０７Ｂはユーザーの右手首に取り付けられる。
【００９１】
ウェアラブルデバイスの発光体は、ウェアラブルデバイスの表面で等しくまたは同等ではなく間隔をあけて置かれる。例えば、発光体ＬＥＳ１は発光体ＬＥＳ１３に関して角度を形成し、発光体ＬＥＳ１３は発光体ＬＥＳ１２に関して同じ角度を形成する。また、この例では、発光体ＬＥＳ１１は発光体ＬＥＳ１２及び発光体ＬＥＳ１に関して同じ角度を形成する。別の例として、発光体ＬＥＳ１は発光体ＬＥＳ１３に関して第１の角度を形成し、発光体ＬＥＳ１３は発光体ＬＥＳ１２に関して第２の角度を形成する。また、この例では、発光体ＬＥＳ１１は発光体ＬＥＳ１２に関して第３の角度、及び発光体ＬＥＳ１に関して第４の角度を形成する。この例では、第１の角度は、第２の角度、第３の角度、及び第４の角度の少なくとも１つと異なる。
【００９２】
ウェアラブルデバイスの発光体は、ウェアラブルデバイスのカメラと、例えば散在される等、インタリーブされる。例えば、発光体ＬＥＳ１はカメラＣ１とＣ１１の間に位置し、発光体ＬＥＳ１１はカメラＣ１１とＣ１２の間に位置し、発光体ＬＥＳ１２はカメラＣ１２とＣ１３の間に位置し、発光体ＬＥＳ１３はカメラＣ１３とＣ１の間に位置する。同様に、カメラＣ１は発光体ＬＥＳ１とＬＥＳ１３の間に位置し、カメラＣ１１は発光体ＬＥＳ１とＬＥＳ１１の間に位置し、カメラＣ１２は発光体ＬＥＳ１１とＬＥＳ１２の間に位置し、カメラＣ１３は発光体ＬＥＳ１２とＬＥＳ１３の間に位置する。別の例として、発光体ＬＥＳ２はカメラＣ２１とＣ２２の間に位置し、発光体ＬＥＳ２１はカメラＣ２１とＣ２の間に位置し、発光体ＬＥＳ２２はカメラＣ２とＣ２３の間に位置し、発光体ＬＥＳ２３はカメラＣ２２とＣ２３の間に位置する。同様に、カメラＣ２は発光体ＬＥＳ２１とＬＥＳ２２の間に位置し、カメラＣ２３は発光体ＬＥＳ２２とＬＥＳ２３の間に位置し、カメラＣ２２は発光体ＬＥＳ２３とＬＥＳ２の間に位置し、カメラＣ２１は発光体ＬＥＳ２とＬＥＳ２１の間に位置する。
【００９３】
カメラＣ２、Ｃ２１、Ｃ２２、及びＣ２３のいずれかは、ウェアラブルデバイス１０７Ａの位置及び向きを含む画像データをキャプチャするためにカメラの視野の中にある発光体ＬＥＳ１、ＬＥＳ１１、ＬＥＳ１２、及びＬＥＳ１３の１つまたは複数によって発せられる光を検出する。例えば、カメラＣ２はＬＥＳ１に向くためにユーザーの右手首で配向されるが、発光体ＬＥＳ１がカメラＣ２に向かって光を導くためにユーザーの左手首に関して配向されるとき、カメラＣ２は発光体ＬＥＳ１によって発せられる光をキャプチャする。同様に、カメラＣ１、Ｃ１１、Ｃ１２、及びＣ１３のいずれかは、ウェアラブルデバイス１０７Ｂの位置及び向きを含む画像データをキャプチャするためにカメラの視野の中にある発光体ＬＥＳ２、ＬＥＳ２１、ＬＥＳ２２、及びＬＥＳ２３の１つまたは複数によって発せられる光を検出する。例えば、カメラＣ１が発光体ＬＥＳ２に向くためにユーザーの左手首で配向されるが、発光体ＬＥＳ２がカメラＣ１に向かって光を導くためにユーザーの右手首に関して配向されるとき、カメラＣ１は発光体ＬＥＳ２によって発せられる光をキャプチャする。
【００９４】
一実施形態では、第１のウェアラブルデバイスのＬＥＳは、第１のウェアラブルデバイスが、第１のウェアラブルデバイスが着用される手首に関して、例えば右回りに回転する、左回りに回転する等向きを変えた後、ユーザーの別の手首に着用される第２のウェアラブルデバイスのカメラに向かって光を導くためにユーザーの手首に関して配向される。
【００９５】
実施形態では、第１のウェアラブルデバイスのＬＥＳは、第１の手首及び／または第２の手首が方向を変えられた後に、ユーザーの第２の手首に着用される第２のウェアラブルデバイスのカメラに向かって光を導くためにユーザーの第１の手首に関して配向される。本実施形態では、第１のウェアラブルデバイスのＬＥＳの、第１の手首に関する位置は一定であり、実質的に一定であり、第２のウェアラブルデバイスのＬＥＳの、第２の手首に関する位置は一定である、または実質的に一定である。ウェアラブルデバイスが手首に合わせられるとき、ウェアラブルデバイスの手首に関する位置は一定である。
【００９６】
実施形態では、発光体及び／またはカメラは、例えばウェアラブルデバイスの中に統合される、ウェアラブルデバイスの中に取り付けられる、ウェアラブルデバイスに接着される、ウェアラブルデバイスにはんだ付けされる、ウェアラブルデバイスの中に埋め込まれる等、ウェアラブルデバイスに取り付けられる。
【００９７】
一実施形態では、ウェアラブルデバイスは４つより多いまたは少ない発光体を含む。
【００９８】
一実施形態では、ウェアラブルデバイスの発光体はたえず光を発している。
【００９９】
一実施形態では、ウェアラブルデバイスの発光体は、例えばストロボをたいている、パルスしている、点滅している等、ある周波数で光を発している。例えば、ウェアラブルデバイスの発光体はラウンドロビン方式で光を発する。示すために、発光体ＬＥＳ１は最初に光を発するために一度パルスし、発光体ＬＥＳ１３は次いで２番目に光を発するために一度パルスし、発光体ＬＥＳ１２は３番目に光を発するために一度パルスし、発光体ＬＥＳ１１は４番目に光を発するために一度パルスし、発光体ＬＥＳ１は光を発して、例えば左回りに等、発光のラウンドロビン方式を継続するために一度パルスする。この実例では、ウェアラブルデバイス１０７Ａの発光体がオンにされるとき、ウェアラブルデバイス１０７Ａのすべての残りの発光体がオフにされる。別の実例として、発光体ＬＥＳ１、ＬＥＳ１１、ＬＥＳ１２、及びＬＥＳ１３は右回りのラウンドロビン方式で光を発する。
【０１００】
実施形態では、ウェアラブルデバイスの発光体は、ウェアラブルデバイスの別の発光体とは異なる色の光を発する。例えば、発光体ＬＥＳ１は青色の光を発し、発光体ＬＥＳ１１は緑色の光を発し、発光体ＬＥＳ１２は赤色の光を発し、発光体ＬＥＳ１３は白色の光を発する。さらに、本実施形態では、ウェアラブルデバイスは、手の移動中に方向感覚を失わないようにユーザーの手に合わせられる。例えば、発光体ＬＥＳ１３は、ユーザーの左手の腹側上になるように位置決めされ、発光体ＬＥＳ１１は左手の背側上になるように位置決めされ、発光体ＬＥＳ１は左手の第１の側面になるように位置決めされ、発光体ＬＥＳ１２は左手の第２の側面になるように位置決めされる。色の違いは、異なる色を発するウェアラブルデバイスが着用されるユーザーの手の向きの識別を容易にする。例えば、ゲームコンソールのゲームプロセッサは、カメラによってキャプチャされる画像データから、手の腹側がカメラに向くように、ユーザーの手が配向されると判断する。画像データは、発光体ＬＥＳ１３によって発せられる光の白色を含む。別の例として、ゲームコンソールのゲームプロセッサは、カメラによってキャプチャされる画像データから、ユーザーの手が、手の背側がカメラに向くように配向されると判断する。画像データは、発光体ＬＥＳ１１によって発行される光の緑色を含む。
【０１０１】
一実施形態では、例えば発光体、カメラ等のデバイスは、デバイスが側面の上若しくは下または側面の片側に位置し、腕の側面に隣接するときに、腕の、例えば背側、側面側、腹側等の側面に位置決めされる。例えば、発光体は、発光体が背側の下に位置し、背側に隣接して位置するときに逆さまになるように向きを変えられる手首の背側に位置する。別の例として、発光体は、発光体が背側の側面に位置し、背側に隣接するとき側面方向が上になる位置に向きを変えられる手首の背側に位置する。
【０１０２】
実施形態では、ウェアラブルデバイスのいくつかの発光体はたえず光を発光し、ウェアラブルデバイスの残りの発光体はある周波数で光を発している。
【０１０３】
一実施形態では、ウェアラブルデバイス１０７Ａ及び１０７Ｂは、同期情報を交換する。例えば、ウェアラブルデバイス１０７Ａは、ウェアラブルデバイス１０７Ａの１台または複数のカメラが画像をキャプチャするフレームレートを制御し、ウェアラブルデバイス１０７Ａの通信装置を介してウェアラブルデバイス１０７Ｂの通信装置に、有線通信プロトコルまたは無線通信プロトコルを使用しフレームレートを送るプロセッサを含む。ウェアラブルデバイス１０７Ｂのプロセッサはフレームレートを受信し、フレームレートを達成するためにウェアラブルデバイス１０７Ｂの１台または複数のカメラを制御する。別の例として、ウェアラブルデバイス１０７Ａのプロセッサは、ウェアラブルデバイス１０７Ａの発光体による光の発光の周波数を制御する。ウェアラブルデバイス１０７Ａの通信装置はプロセッサに結合され、有線通信プロトコルまたは無線通信プロトコルを使用しウェアラブルデバイス１０７Ｂの通信装置に周波数を送る。周波数を受信すると、ウェアラブルデバイス１０７Ｂのプロセッサは該周波数で光を発するためにウェアラブルデバイス１０７Ｂの発光体を制御する。
【０１０４】
図２Ａは、ユーザーの手の背側または腹側の画像データのキャプチャを示すためのウェアラブルデバイス１０３Ａの中のカメラＣ３の実施形態の図である。カメラＣ３は、ユーザーの手の背側部分のビューを入手するためにウェアラブルデバイス１０３Ａの端縁に、例えばはんだ付けされる、接着される等、取り付けられる。さらに、図２Ａでは、ウェアラブルデバイス１０３Ｂの中の別のカメラＣ４は、ユーザーの手の、例えば腹側部分、掌等の底部のビューを入手するためにウェアラブルデバイス１０３Ｂの端縁に取り付けられる。
【０１０５】
カメラＣ３は、例えばユーザーの左手、ユーザーの左手の指、左手の指関節、ユーザーの左手の背側部分等、アイテムの画像データをキャプチャすることを容易にするために視界（ＦＯＶ）を有する。カメラＣ３によってキャプチャされる画像データは、ｘｙｚ座標系の、例えば起点（０、０、０）等、基準点からのアイテムの位置及び／または向きを決定するために使用され、基準点はカメラＣ３上にある。同様に、カメラＣ４は、例えばユーザーの右手、ユーザーの右手の指、右手の指の指関節、ユーザーの右手の掌等、アイテムの画像データをキャプチャすることを容易にするためにＦＯＶを有する。カメラＣ４によってキャプチャされる画像データは、ｘｙｚ座標系の、例えば起点（０、０、０）等、基準点からのアイテムの位置及び／または向きを決定するために使用され、基準点はカメラＣ４上にある。
【０１０６】
図２Ｂは、一方の手がユーザーの他方の手の後方にあるときに画像データをキャプチャするカメラＣ３１及びＣ４１を示すためのウェアラブルデバイス１０９Ａ及び１０９Ｂの実施形態の図である。例えば、右手が左手の後方にあるときに、カメラＣ３１の視界は、右手の画像データをキャプチャするためにユーザーの左手の後方にある。別の例として、カメラＣ４１の視野は、左手が右手の後方にあるときに、左の画像データをキャプチャするためにユーザーの右手の後方にある。カメラＣ３１がユーザーの左手の背側に位置し、カメラＣ４１がユーザーの右手の腹側に位置することに留意されたい。ウェアラブルデバイス１０９Ａはウェアラブルデバイス１０３Ａ（図２Ａ）の例であり、ウェアラブルデバイス１０９Ｂはウェアラブルデバイス１０３Ｂ（図２Ａ）の例である。
【０１０７】
カメラＣ３１が、カメラＣ３が位置する端縁に向かい合うウェアラブルデバイス１０９Ａの端縁に位置することに留意されたい。例えば、カメラＣ３はウェアラブルデバイス１０９Ａの先端に位置し、カメラＣ３１はウェアラブルデバイス１０９Ａの後端に位置する。別の例として、カメラＣ３はカメラＣ３１の視界の方向に反対の方向に視界を有する。同様に、カメラＣ４１は、カメラＣ４が位置する端縁に向かい合うウェアラブルデバイス１０９Ｂの端縁に位置する。
【０１０８】
一実施形態では、ウェアラブルデバイス１０９Ａは、ウェアラブルデバイス１０９Ａの端縁に位置する任意の数のカメラを含む。例えば、ウェアラブルデバイス１０９Ａは、ウェアラブルデバイス１０９Ａの後端に位置し、ユーザーの左腕の側面に隣接するカメラを含む。同様に、ウェアラブルデバイス１０９Ｂは、ウェアラブルデバイス１０９Ｂの端縁に位置する任意の数のカメラを含む。
【０１０９】
カメラＣ３１によってキャプチャされる画像データは、ｘｙｚ座標系の、例えば起点（０、０、０）等、基準点からのアイテムの位置及び／または向きを決定するために使用され、基準点はカメラＣ３１上にある。同様に、カメラＣ４１によってキャプチャされる画像データは、ｘｙｚ座標系の、例えば起点（０、０、０）等、基準点からのアイテムの位置及び／または向きを決定するために使用され、基準点はカメラＣ４１上にある。
【０１１０】
図３は、カメラ及びエミッタを含むウェアラブルデバイス１０４Ａ及び１０４Ｂを示すためのシステムの実施形態の図である。ウェアラブルデバイス１０４Ａはウェアラブルデバイス１０２Ａの例であり、ウェアラブルデバイス１０２Ａはウェアラブルデバイス１０４Ｂの例である。
【０１１１】
各ウェアラブルデバイス１０４Ａ及び１０４Ｂは、カメラ及び例えば、発光ダイオード、赤外光エミッタ、白熱灯、ガス放電ランプ等の発光体の装置を含む。例えば、ウェアラブルデバイス１０４Ｂは、埋込み発光体ＬＥ１及び別の埋込み発光体ＬＥ２を有する。別の例として、ウェアラブルデバイス１０４Ａは、埋込み発光体ＬＥ３及び別の埋込み発光体ＬＥ４を有する。ウェアラブルデバイス１０４Ａ及び１０４Ｂは、ゲームコンソール１０６に、例えば導線、コード、無線信号等の有線媒体または無線媒体を介して接続される。
【０１１２】
例えばウェアラブルデバイス１０４Ａ、のウェアラブルデバイスの発光体は、ウェアラブルデバイス１０４Ｂ等、別のウェアラブルデバイスのカメラに向かって、例えば可視光、赤外光等の光を発する。ウェアラブルデバイス１０４Ａのカメラは、ウェアラブルデバイス１０４Ｂが着用されるユーザーの右手から反射される光に基づいて画像データを生成する。画像データは、ゲームコンソール１０６のゲームプロセッサに媒体を介して転送される。画像データに基づいて、ゲームコンソール１０６のゲームプロセッサは、ユーザー３０２の左手に関してユーザー３０２の右手の相対向き及び／または相対位置を決定し、ユーザー３０２によって行われるジェスチャを決定するために相対向き及び／または相対位置を使用する。ユーザー３０２の腕に着用されるウェアラブルデバイスの発光体から発せられる光は、ユーザー３０２の手の位置及び／または向きのゲームコンソール１０６のゲームプロセッサによる識別を容易にする。テレビ１０８またはＨＭＤ３１０に表示される仮想環境の状態はジェスチャに相当するように変更され、状態の変化はゲームコンソール１０６からテレビ１０８に及び／またはＨＭＤ３１０に転送される。テレビ１０８のプロセッサはテレビの表示画面で仮想環境をレンダリングする、及び／またはＨＭＤ３１０のプロセッサは、ゲーム状態の変化に基づいてＨＭＤ３１０の表示画面で仮想環境をレンダリングする。
【０１１３】
多様な実施形態では、カメラによって生成される画像データは、ＨＭＤ３１０またはゲームコンソール１０６に媒体を介して転送される。画像データに基づいて、ＨＭＤ３１０のプロセッサまたはゲームコンソール１０６のゲームプロセッサは、ユーザーの右手のカメラに関してユーザー３０２の左手の相対向き及び／または相対位置を決定し、ユーザー３０２によって行われるジェスチャを決定するために相対向き及び／または相対位置を使用する。ジェスチャは、仮想オブジェクトの状態を識別するためにＨＭＤ３１０のプロセッサのゲームプロセッサによって使用される。仮想オブジェクトの状態は、有線媒体または無線媒体を介してゲームコンソール１０６からＨＭＤ３１０に通信される。仮想オブジェクトの状態は、ＨＭＤに表示される仮想オブジェクトの変化を変更するために使用される。
【０１１４】
一実施形態では、ウェアラブルデバイスは任意の数の発光体を含む。
【０１１５】
実施形態では、発光体はマーカの例である。
【０１１６】
図４は、ＨＭＤ３１０とさらに通信するゲームコンソール１０６とウェアラブルデバイスが通信するシステムの実施形態の図である。各ウェアラブルデバイス１０２Ａ及び１０２Ｂは、ゲームコンソール１０６に、例えばイーサネット媒体、Ｗｉ−Ｆｉ媒体、無線接続、有線接続、ブルートゥース接続、ユニバーサルシリアルバス（ＵＳＢ）接続等の媒体を介して接続される。右手の画像データは媒体を介してウェアラブルデバイス１０２Ａからゲームコンソール１０６に転送され、左手の画像は媒体を介してウェアラブルデバイス１０２Ｂからゲームコンソール１０６に転送される。ゲームコンソール１０６は、互いに関してユーザー３０２の手の位置及び／または向きを決定するために画像データを処理するゲームプロセッサを含む。位置及び／または向きは、ジェスチャ、及びジェスチャがどのようにして、例えばテレビ会議環境、ゲーム環境、拡張現実画像、仮想現実画像等、仮想環境の仮想オブジェクトの状態に影響を及ぼすのかを識別するために使用される。状態に関するデータは、ＨＭＤ３１０の表示画面での状態を有する仮想オブジェクトの表示のためにＨＭＤ３１０に送られる。
【０１１７】
多様な実施形態では、カメラ４０２は、ＨＭＤ３１０ならびにウェアラブルデバイス１０２Ａ及び１０２Ｂの画像データを生成するために、ＨＭＤ３１０ならびにウェアラブルデバイス１０２Ａ及び１０２Ｂを見る。画像データは、ユーザー３０２の手の位置及び／または向きを決定するため及びＨＭＤ３１０の位置及び／または向きを決定するためにゲームコンソール１０６に提供される。ユーザー３０２の手の位置及び向きを含み、ＨＭＤ３１０の位置及び／または向きを含む画像データは、ゲームコンソール１０６のゲームプロセッサに、カメラ４０２の通信装置及びゲームコンソール１０６の通信装置を介して送られる。ゲームコンソール１０６のゲームプロセッサは、ユーザー３０２の手の位置及び向きを入手するために、及びＨＭＤ３１０の位置及び向きを入手するために画像データを処理する。ゲームプロセッサは、手の位置及び向きから、ユーザー３０２によって実行されるジェスチャを識別し、ジェスチャから仮想オブジェクトの状態をさらに識別する。さらに、ゲームプロセッサは、ＨＭＤ３１０の位置及び向きならびにユーザー３０２の手の位置及び向きから、ユーザー３０２の手とＨＭＤ３１０との間の相対位置及び相対向きを識別する。相対位置及び相対向きは、仮想オブジェクトの状態を識別するためにゲームプロセッサによって使用される。仮想オブジェクトの状態に関するデータは、ＨＭＤ３１０のプロセッサにゲームコンソール１０６の通信装置及びＨＭＤ３１０の通信装置を介してゲームプロセッサによって送られる。ＨＭＤ３１０のプロセッサは、ＨＭＤ３１０の表示画面に状態を有する仮想オブジェクトを表示する。
【０１１８】
カメラ４０２によって生成される画像データは、ｘｙｚ座標系の、例えば起点（０、０、０）等、基準点からであり、基準点は、例えばカメラ４０２のレンズ上の点等、カメラ４０２上の点に位置することに留意されたい。
【０１１９】
一実施形態では、カメラ４０２を使用しキャプチャされた画像データから決定されるユーザー３０２のアイテムの位置及び向きは、ウェアラブルデバイスのカメラを使用しキャプチャされた画像データから決定されるアイテムの位置及び向きの正確さを確認するまたは否定するためにゲームコンソール１０６のゲームプロセッサによって使用される。例えば、ゲームプロセッサは、ウェアラブルデバイスのカメラを使用しキャプチャされた画像データを、ウェアラブルデバイスのカメラに位置するｘｙｚ座標系に対してとなる代わりに、カメラ４０２に位置するｘｙｚ座標系に対してとなるように変換する。示すために、ゲームプロセッサは、変換された位置を生成するために、ウェアラブルデバイスのカメラによって見られるアイテムのｘ距離、ｙ距離、及びｚ距離に、カメラ４０２に位置するｘｙｚ座標系とウェアラブルデバイスのカメラに位置するｘｙｚ座標系との間のそれぞれのｘ距離、ｙ距離、及びｚ距離を加える。別の実例として、ゲームプロセッサは、変換された向きを生成するために、ウェアラブルデバイスのカメラによって見られるアイテムの各軸によって形成される角度に、カメラ４０２に位置するｘｙｚ座標系のそれぞれｘ軸、ｙ軸、及びｚ軸と、ウェアラブルデバイスのカメラに位置するｘｙｚ座標系のそれぞれｘ軸、ｙ軸、及びｚ軸との間に形成される角度を加える。
【０１２０】
ウェアラブルデバイスのカメラを使用しキャプチャされた画像データから決定されたユーザー３０２のアイテムの変換された位置及び変換された向きが正確であると判断すると、ゲームプロセッサ１０６は、カメラ４０２を使用しキャプチャされた画像データから決定される位置及び向きから、またはウェアラブルデバイスのカメラを使用し、キャプチャされる画像データから、仮想オブジェクトの状態を識別する。他方、ウェアラブルデバイスのカメラを使用しキャプチャされた画像データから決定されたユーザー３０２のアイテムの変換された位置及び変換された向きが正確ではないと判断すると、ゲームコンソール１０６のゲームプロセッサは、カメラ４０２によってキャプチャされた追加画像データから決定されたアイテムの位置及び向きに比較して、ウェアラブルデバイスによってキャプチャされた追加画像データから決定されたユーザー３０２のアイテムの変換された位置及び変換された向きが正確であるかどうかを判断するために、ウェアラブルデバイスからの追加画像データ、及びカメラ４０２からの追加画像データを待機する。
【０１２１】
一実施形態では、ユーザー３０２のアイテムの変換された位置及び変換された向きが正確ではないと判断すると、ゲームコンソール１０４のゲームプロセッサは、前記カメラ４０２を使用しキャプチャされた画像データから決定された前記アイテムの状態及び位置及び向きの、例えばマッピング、関連付け、リンク等、相応関係から仮想オブジェクトの状態を識別する。
【０１２２】
図５は、カメラ５１２を含むＨＭＤ５１０の実施形態の図である。例えば、カメラ５１２は、カメラ５１２のレンズがカメラ５１２の前にある現実世界環境の一部分を見ることができるように、例えばＨＭＤ５１０の中のコンパートメントの中に埋め込まれる、ＨＭＤ５１０の中のコンパートメントの中に取り付けられる、ＨＭＤ５１０の中のコンパートメントの中に位置する等、統合される。実施形態では、ＨＭＤ５１０はＨＭＤ３１０（図４）の例である。ＨＭＤ５１０のカメラ５１２は、例えばユーザーの手首及び／またはユーザーの指、ユーザー３０２の掌を含んだユーザー３０２の手、ユーザー３０２によって着用されるウェアラブルデバイス１０２Ａ及び１０２Ｂ等、アイテムの画像データを生成する。
【０１２３】
ＨＭＤ５１０の通信装置は、有線通信プロトコルまたは無線通信プロトコルを使用し、ゲームコンソール１０６のゲームプロセッサに画像データを通信する。ゲームコンソール１０６のゲームプロセッサは、画像データのアイテムの位置及び向きからアイテムの位置及び向きを決定する。
【０１２４】
実施形態では、ＨＭＤ５１０のカメラ５１２を使用しキャプチャされた画像データから決定された位置及び向きは、ウェアラブルデバイスのカメラを使用しキャプチャされた画像データから決定されたアイテムの位置及び向きの正確さを確認するまたは否定するために使用される。例えば、ウェアラブルデバイス１０２Ａのカメラから受信された画像データから決定されたアイテムの変換された位置が、例えばＨＭＤ５１０のカメラ５１２から受信された画像データから決定されるアイテムの位置の、例えば（ｘ、ｙ、ｚ）座標系等、所定の距離の範囲内にあると判断すると、ゲームコンソール１０６のゲームプロセッサは、ウェアラブルデバイス１０２Ａのカメラを使用しキャプチャされた画像データから決定されたアイテムの位置の正確さを確認する。別の例として、ウェアラブルデバイス１０２Ａのカメラから受信された画像データから決定されるアイテムの変換された向きが、例えばＨＭＤ５１０のカメラ５１２から受信された画像データから決定されるアイテムの向きのｘ軸に関する角度、ｙ軸に関する角度、及びｚ軸等に関する角度等、所定の範囲内にあると判断すると、ゲームコンソール１０６のゲームプロセッサは、ウェアラブルデバイス１０２Ａのカメラを使用しキャプチャされた画像データから決定されたアイテムの向きの正確さを確認する。別の例として、ウェアラブルデバイス１０２Ａのカメラから受信された画像データから決定されたアイテムの変換された位置が、例えばＨＭＤ５１０のカメラ５１２から受信された画像データから決定されるアイテムの位置の（ｘ、ｙ、ｚ）座標等、所定の距離の範囲内にないと判断すると、ゲームコンソール１０６のゲームプロセッサは、ウェアラブルデバイス１０２Ａのカメラを使用しキャプチャされた画像データから決定されるアイテムの位置が正確ではないと判断する。別の例として、ウェアラブルデバイス１０２Ａのカメラから受信された画像データから決定されるアイテムの変換された向きが、例えばＨＭＤ５１０のカメラ５１２から受信された画像データから決定されるアイテムの向きのｘ軸に関する角度、ｙ軸に関する角度、またはｚ軸に関する角度等、所定の範囲内にないと判断すると、ゲームコンソール１０６のゲームプロセッサは、ウェアラブルデバイス１０２Ａのカメラを使用しキャプチャされた画像データから決定されたアイテムの向きが正確ではないと判断する。
【０１２５】
変換された位置及び変換された向きが、上述された方法に類似する方法でウェアラブルデバイスのカメラを使用しキャプチャされた画像データから決定されることに留意されたい。例えば、ゲームプロセッサは、ウェアラブルデバイスのカメラを使用しキャプチャされた画像データを、ウェアラブルデバイスのカメラに位置するｘｙｚ座標系に対してとなる代わりに、カメラ５１２に位置するｘｙｚ座標系に対してとなるように変換する。示すために、ゲームプロセッサは、変換された位置を生成するために、ウェアラブルデバイスのカメラによって見られるアイテムのｘ距離、ｙ距離、及びｚ距離に、カメラ５１２に位置するｘｙｚ座標系とウェアラブルデバイスのカメラに位置するｘｙｚ座標系との間のそれぞれのｘ距離、ｙ距離、及びｚ距離を加える。別の実例として、ゲームプロセッサは、変換された向きを生成するために、ウェアラブルデバイスのカメラによって見られるアイテムの各軸によって形成される角度にカメラ５１２に位置するｘｙｚ座標系のそれぞれｘ軸、ｙ軸、及びｚ軸と、ウェアラブルデバイスのカメラに位置するｘｙｚ座標系のそれぞれｘ軸、ｙ軸、及びｚ軸との間に形成される角度を加える。
【０１２６】
正確さを確認すると、ゲームコンソール１０６のゲームプロセッサは、ＨＭＤ５１０を使用し、またはウェアラブルデバイスのカメラを使用しキャプチャされた画像データから決定されるアイテムの位置及び／または向きから、ＨＭＤ５１０の表示画面に表示される、例えば仮想サッカー、仮想車両、仮想武器、仮想木等、仮想オブジェクトの状態に関するデータを識別する。ゲームプロセッサは、ゲームコンソール１０６の通信装置及びＨＭＤ５１０の通信装置を介して、ＨＭＤ５１０に仮想オブジェクトの状態に関するデータを送る。ＨＭＤ５１０のプロセッサは仮想オブジェクトの状態に関するデータを受信し、ＨＭＤ５１０の表示画面に仮想オブジェクトを表示するためにデータをレンダリングする。
【０１２７】
ウェアラブルデバイス１０２Ａのカメラを使用しキャプチャされた画像データから決定されるアイテムの位置及び／または向きが正確ではないと判断すると、ゲームコンソール１０６のゲームプロセッサは、ウェアラブルデバイスのカメラを使用しキャプチャされた追加画像データから、及びＨＭＤ５１０のカメラ５１２を使用しキャプチャされる追加画像データから位置及び／または向きが正確であると判断されるまで待機する。
【０１２８】
一実施形態では、ウェアラブルデバイスのカメラを使用しキャプチャされた画像データから決定されたアイテムの位置及び／または向きを使用する代わりに、ウェアラブルデバイス１０２Ａのカメラを使用しキャプチャされた画像データから決定されたアイテムの位置及び／または向きが正確ではないと判断すると、ゲームコンソール１０６のゲームプロセッサは、仮想オブジェクトの状態に関するデータを識別するために、ＨＭＤ５１０のカメラ５１２を使用しキャプチャされた画像データから決定されたアイテムの位置及び／または向きを使用する。識別された状態に関するデータは、ＨＭＤ５１０に状態を有する仮想オブジェクトを表示するためにＨＭＤ５１０に提供される。
【０１２９】
一実施形態では、ゲームプロセッサは、ウェアラブルデバイスのカメラを使用しキャプチャされた画像データから生成される変換された画像データから決定された位置、及び例えば別のウェアラブルデバイスのカメラ、ＨＭＤのカメラ、テレビのカメラ、独立して位置するカメラ、ゲームコンソールのカメラ等、別のカメラを使用しキャプチャされた画像データから決定された位置に、平均値を計算する等、統計計算を適用する。変換された画像データは、ウェアラブルデバイスのカメラから受信された画像データを、本明細書に説明される方法で他のカメラに関して位置決めされるように変換することによってゲームプロセッサによって生成される。統計計算は、位置の統計値を生成するために実行され、統計値は仮想オブジェクトの状態を識別するためにゲームプロセッサによって使用される。
【０１３０】
実施形態では、ゲームプロセッサは、ウェアラブルデバイスのカメラを使用しキャプチャされた画像データから生成された変換された画像データから決定された向き、及び例えば別のウェアラブルデバイスのカメラ、ＨＭＤのカメラ、テレビのカメラ、独立して位置するカメラ、ゲームコンソールのカメラ等、別のカメラを使用しキャプチャされた画像データから決定された向きに、例えば平均値を計算する等、統計計算を適用する。変換された画像データは、本明細書に説明される方法で他のカメラに関して配向されるように、ウェアラブルデバイスのカメラから受信された画像データを変換することによってゲームプロセッサによって生成される。統計計算は向きの統計値を生成するために実行され、統計値は仮想オブジェクトの状態を識別するためにゲームプロセッサによって使用される。
【０１３１】
実施形態では、ＨＭＤ５１０は、ウェアラブルデバイス１０２Ａ及び１０２Ｂに向かって光を発する、例えば可視光エミッタ、赤外光エミッタ等、発光体を含む。ウェアラブルデバイス１０２Ａ及び１０２Ｂから反射される光は、ユーザーの手の位置及び向きを含んだ画像データを生成するために、ＨＭＤ５１０の、例えば可視光センサ、赤外光センサ等のセンサによって感知される。画像データは、ＨＭＤ５１０の通信装置からゲームコンソール１０６の通信装置に通信される。ゲームプロセッサは、ユーザー３０２のそれぞれの手に関してユーザーの頭の相対位置及び相対向きを入手するために画像データをパースする。本実施形態では、ユーザー３０２の腕の手の位置が腕に着用されるウェアラブルデバイスの位置と同じであり、腕の向きがウェアラブルデバイスの向きと同じであることに留意されたい。
【０１３２】
カメラ５１２によって生成される画像データが、ｘｙｚ座標系の、例えば起点（０、０、０）等、基準点からであり、基準点が、例えばカメラ５１２のレンズ上の点等、ＨＭＤ５１０上の点に位置することに留意されたい。
【０１３３】
一実施形態では、カメラ５１２は、赤外光を検出する赤外線カメラである。さらに、各ウェアラブルデバイス１０２Ａ及び１０２Ｂは赤外光エミッタを含む。ウェアラブルデバイス１０２Ａの赤外光エミッタは、ウェアラブルデバイス１０２Ｂが着用される手に向かって光を発し、ウェアラブルデバイス１０２Ｂの赤外光エミッタは、ウェアラブルデバイス１０２Ａが着用される手に向かって光を発する。光は、赤外線カメラによって検出されるユーザーの手から反射される。カメラ５１２は、赤外線画像を含む画像データを生成する。
【０１３４】
実施形態では、ウェアラブルデバイスの赤外光エミッタは、ユーザーの他方の手に向かって導かれる代わりに、手に光を発するためにウェアラブルデバイスが着用される手に向かって導かれる。
【０１３５】
一実施形態では、ユーザーの第１の腕に着用されるウェアラブルデバイスの赤外線エミッタは、ある周波数で光を発するためにパルス化され、ユーザーの第２の腕に着用されるウェアラブルデバイスの赤外光エミッタは、例えば連続して光を発する等、パルス化されない。ゲームコンソールのゲームプロセッサは、パルス化された赤外光エミッタの画像を含む画像データから、パルス化されたエミッタを有するウェアラブルデバイスが第１の腕の位置及び／または向きを提供することを識別し、例えば連続して光を発する等、非パルス化された光の画像を含む画像データから、非パルス化エミッタを有するウェアラブルデバイスが第２の腕の位置及び／または向きを提供することを識別する。
【０１３６】
実施形態では、パルス化赤外光エミッタと非パルス化赤外光エミッタを区別する代わりに、ゲームプロセッサは、ウェアラブルデバイスが赤外光エミッタによる発光の周波数から、ウェアラブルデバイスが左腕に取り付けられているのか、それとも右腕に取り付けられているのかを識別する。本実施形態では、第１の腕に取り付けられているウェアラブルデバイスの赤外光エミッタは、第２の腕に取り付けられているウェアラブルデバイスの赤外光エミッタによる発光の周波数とは異なる周波数で光を発する。
【０１３７】
一実施形態では、ＨＭＤ５１０は、例えば赤外光を検出するためのあるカメラ、可視光を検出するために別のカメラ、同じタイプの光を検出するすべてのカメラ等、任意の数のカメラを含む。
【０１３８】
実施形態では、ゲームコンソールまたはテレビは、赤外光を検出するためのあるカメラ、可視光を検出するために別のカメラ、同じタイプの光を検出するすべてのカメラ等、任意の数のカメラを含む。
【０１３９】
一実施形態では、１台の独立して位置する代わりに、任意の数の独立して位置するカメラが使用される。例えば、１台の独立して位置するカメラは可視光を検出し、別の独立して位置するカメラは赤外光を検出する。別の例として、両方の独立して位置するカメラとも、例えば同じ波長を有する光等、同じタイプの光を検出する。
【０１４０】
図６は、ユーザー３０２の手首の側面に関してカメラＣ１の位置に基づいてウェアラブルデバイス１０２ＡのカメラＣ１を周期的にオフ及びオンにすることを示すためのカメラシステムの実施形態の図である。例えば、ウェアラブルデバイス１０２ＡのカメラＣ１がユーザー３０２の左手の腹側６０２に位置するとき、カメラＣ１はオンにされる。ウェアラブルデバイス１０２ＡのカメラＣ１がユーザー３０２の左手の腹側に位置するかどうかの判断は、ユーザー３０２の右手首に着用されるウェアラブルデバイス１０２ＢのカメラＣ２によってキャプチャされる画像データに基づいてゲームコンソール１０６のゲームプロセッサによって下される。カメラＣ１がユーザー３０２の左手の腹側に隣接すると判断すると、ゲームプロセッサは、例えばウェアラブルデバイス１０２Ａの１台のトランジスタ、トランジスタのグループ、トグルスイッチ等、スイッチにゲームコンソール１０６の通信装置及びウェアラブルデバイス１０２Ａの通信装置を介して信号を送る。スイッチは、カメラＣ１にウェアラブルデバイス１０２Ａの、例えば電池等、電源を接続する。信号は、スイッチを閉じて電源からウェアラブルデバイス１０２Ａのカメラへの電力の提供を容易にし、アイテムの画像をキャプチャすることを容易にするために使用される。
【０１４１】
別の例として、ウェアラブルデバイス１０２ＡのカメラＣ１が、ユーザー３０２の右手の視野を有さないように、例えばユーザー３０２の左手の背側６０４に、左手の側面に等、ユーザー３０２の左手の見ない側に位置するとき、カメラＣ１はオフにされる。示すために、カメラＣ１が、図１Ａに示されるように、ユーザー３０２の左手の腹側に位置するとき、カメラＣ１は左手の見る側に位置する。ウェアラブルデバイス１０２ＡのカメラＣ１がユーザー３０２の左手の見ない側に位置するかどうかの判断は、ウェアラブルデバイス１０２ＢのカメラＣ２によってキャプチャされる画像データに基づいて、ゲームコンソール１０６のゲームプロセッサによって下される。カメラＣ１がユーザー３０２の左手の見ない側に位置すると判断すると、ゲームプロセッサは、スイッチを、例えば開く等、オフにするためにウェアラブルデバイス１０２Ａのスイッチにゲームコンソール１０６の通信装置及びウェアラブルデバイス１０２Ａの通信装置を介して信号を送る。信号は、スイッチを開いて電源からウェアラブルデバイス１０２Ａのカメラへの電力の供給を取り除くことを容易にし、カメラＣ１がアイテムの画像をキャプチャするのを妨げるために使用される。
【０１４２】
同様に、ウェアラブルデバイス１０２Ｂのカメラは、カメラがユーザー３０２の右腕の背部側に位置するのか、それとも腹側に位置するのかを判断することによってオフまたはオンにされる。
【０１４３】
一実施形態では、ウェアラブルデバイスのカメラを使用して、例えばユーザー３０２の他方の腕に着用されるウェアラブルデバイス等、他のウェアラブルデバイスのカメラがユーザー３０２の手首の背側にあるのか、それとも腹側にあるのかを判断する代わりに、例えばゲームコンソール１０６のカメラ、カメラ４０２（図４）、ＨＭＤ５１０のカメラ（図５）、テレビのカメラ等、別のカメラがユーザー３０２の手首に関してウェアラブルデバイスのカメラの位置及び向きの画像データをキャプチャするために使用される。
【０１４４】
実施形態では、ユーザーの腕に着用されるウェアラブルデバイスの慣性センサは、ウェアラブルデバイスが所定の位置及び／または所定の向きにあるときにウェアラブルデバイスのカメラをオフにするために使用される。この例では、例えばゲームコンソール１０６のカメラ、カメラ４０２（図４）、ＨＭＤ５１０のカメラ（図５）、テレビのカメラ等、別のカメラがユーザーの別の腕に着用される別のウェアラブルデバイスの位置及び向きの画像データをキャプチャするために使用される。
【０１４５】
一実施形態では、ウェアラブルデバイスの電源及び通信装置は、例えばウェアラブルデバイスの中に埋め込まれる、ウェアラブルデバイスの内側に位置する、ウェアラブルデバイスに取り付けられる等、ウェアラブルデバイスの中に位置する。
【０１４６】
実施形態では、ウェアラブルデバイスの電源は電力を蓄え、ウェアラブルデバイスの、例えば通信装置、発光体、カメラ等、電気構成部品に提供する。
【０１４７】
図７Ａは、例えばパターンコード等のいくつかのマーカ、または反射器、または再帰反射器、または発光ダイオード、またはクイックレスポンス（ＱＲ）コード、またはその組合せ等を含む、ウェアラブルデバイス１１６の実施形態の図である。実施形態では、ウェアラブルデバイス１１６は反射布または反射金属から作られる。ウェアラブルデバイス１１６は、ウェアラブルデバイス１０２Ａまたは１０２Ｂ（図１Ａ）の例である。マーカは、例えばゲームコンソール１０６のカメラ、カメラ４０２（図４）、ＨＭＤ５１０のカメラ（図５）、テレビのカメラ、ウェアラブルデバイス１１６が着用される手首以外の手首に着用される他のウェアラブルデバイスのカメラ等、カメラにウェアラブルデバイス１１６の位置を示す。マーカの画像データはカメラによって生成され、画像データは、ｘｙｚ座標系の基準点に関してウェアラブルデバイス１１６が着用されるユーザー３０２の腕の位置及び向きを決定するために、ゲームコンソールのゲームプロセッサに、またはＨＭＤのプロセッサに提供される。基準点は、マーカの画像データをキャプチャするカメラに位置する。
【０１４８】
別のウェアラブルデバイス１１８は、例えばＩＳ１、ＩＳ２、ＩＳ３等、ウェアラブルデバイス１１８の移動を感知するいくつかの慣性センサを含む。慣性センサの例は、磁力計、加速度計、ジャイロスコープ等を含む。ウェアラブルデバイス１１８は、ウェアラブルデバイス１０２Ａまたは１０２Ｂ（図１Ａ）の例である。慣性センサは、ウェアラブルデバイス１１８の、例えば加速等、移動、ｘ軸、ｙ軸、及びｚ軸に関する向き、ｘ軸、ｙ軸、及びｚ軸に関する位置を示す信号を生成し、ＨＭＤのまたはゲームコンソールのプロセッサに信号を提供する。ＨＭＤのまたはゲームコンソールのプロセッサは、仮想オブジェクトの状態に関するデータを識別するために位置及び向きを使用する。
【０１４９】
いくつかの実施形態では、ウェアラブルデバイスはマーカ、及び／またはカメラ、及び／またはエミッタ、及び／または慣性センサを含む。
【０１５０】
図７Ｂは、ウェアラブルデバイス７０２上のマーカＭ３の位置が、ウェアラブルデバイス１１６の向きに関してウェアラブルデバイス７０２の向きを決定するために使用されることを示すための図である。ゲームコンソール１０６のゲームプロセッサは、画像データから、ｘｙｚ座標系の起点に関してマーカＭ３の位置（ｙ１、ｚ１）及び（ｙ２、ｚ２）を決定する。ｘｙｚ座標系の起点は、マーカＭ３の画像データをキャプチャするカメラに位置する。ウェアラブルデバイス１１６の位置及び向きは、大幅に変化しない、またはウェアラブルデバイスが着用される手首に関して変化しない。
【０１５１】
ゲームコンソール１０６のゲームプロセッサは、ウェアラブルデバイス７０２の向き及びウェアラブルデバイス７０２の位置の、例えばリンク、関係性、マッピング等、相応関係から、ウェアラブルデバイス１１６に関してウェアラブルデバイス７０２の向きを識別する。例えば、ウェアラブルデバイス７０２の位置がｘｙｚ座標系の起点に関して（ｙ１、ｚ１）であるとき、ゲームプロセッサは、ウェアラブルデバイス７０２の向きがｚ軸に関して角度Ａ１を形成することを識別する。別の例として、ウェアラブルデバイス７０２の位置がｘｙｚ座標軸の起点に関して（ｙ２、ｚ２）であるとき、ゲームプロセッサは、ウェアラブルデバイス７０２の向きがｚ軸に関して角度Ａ２を形成することを識別する。
【０１５２】
一実施形態では、ウェアラブルデバイスの向きは、ウェアラブルデバイスが着用される腕の向きと同じである。例えば、ゲームプロセッサは、腕の向きを、腕に着用されるウェアラブルデバイスの向きとして識別する。
【０１５３】
図８は、ウェアラブルデバイスでの光ファイバケーブル及び発光体の使用を示すための複数のウェアラブルデバイス１２０Ａ、１２０Ｂ、及び１２０Ｃの実施形態の図である。各ウェアラブルデバイス１２０Ａ、１２０Ｂ、及び１２０Ｃは、ウェアラブルデバイス１０２Ａまたは１０２Ｂ（図１Ａ）の例である。ウェアラブルデバイス１２０Ａは、拡散された光ファイバを生成するために円形パターンの光ファイバケーブル８１０を含む。例えば、光ファイバケーブル８１０は、例えば開口部Ｏ１、開口部Ｏ２、開口部Ｏ３等、複数の開口部を生成して、光ファイバケーブルの端部に、例えばはんだ付けされる、接着される等、取り付けられる発光体によって生成される光をさらに拡散するために、例えば間隔等、多様な場所で開かれる、または引き裂かれる、または切断される。各開口部は、ウェアラブルデバイス１２０Ａの画像データをキャプチャするカメラのためのマーカとして働く。
【０１５４】
ウェアラブルデバイス１２０Ｂは、拡散された光ファイバを生成するために星形パターンで光ファイバケーブル８１２を含む。星形パターンの頂点で、例えば、開口部Ｏ４、開口部Ｏ５、開口部Ｏ６等の１つまたは複数の開口部が、光ファイバケーブル８１２を切り裂くまたは切断することによって形成される。発光体によって発せられる光は光ファイバケーブルを通って移動し、光ファイバケーブル８１２の各開口部で発せられる。発光体は、光ファイバケーブル８１２の端部に、例えば接着される、はんだ付けされる等、取り付けられる。光ファイバケーブル８１２の各開口部は、ウェアラブルデバイス１２０Ｂの画像データのキャプチャを容易にするためのマーカとして働く。
【０１５５】
実施形態では、ウェアラブルデバイスはその中に埋め込まれた光ファイバケーブルを含む。光ファイバケーブルは、光ファイバケーブルに取り付けられる光源によって発せられる光を伝達する、例えば透明な媒体、半透明な媒体等、媒体から作られる。光が光ファイバケーブルを通過するとき、ケーブルは明るくなり、該照明は、例えば別のウェアラブルデバイスのカメラ、ＨＭＤのカメラ、ゲームコンソールのカメラ、独立して位置するカメラ、テレビのカメラ等、カメラによってキャプチャされる。
【０１５６】
ウェアラブルデバイス１２０Ｃは、ウェアラブルデバイス１２０Ｃに沿って、例えば間隔等、多様な点で発せられる光を生成するために、例えば発光体ＬＥ１、発光体ＬＥ２、発光体ＬＥ３等、発光体を含む。各発光体は、カメラによる画像データのキャプチャを容易にするためにマーカとして働く。発光体は、ウェアラブルデバイス１２０Ｃの外面の中に埋め込まれる。ウェアラブルデバイス１２０Ｃの外面は、ウェアラブルデバイス１２０Ｃがユーザー３０２によって着用されるときにユーザー３０２の手首に隣接していない。
【０１５７】
一実施形態では、ウェアラブルデバイスは、発光のための任意の数の開口部または任意の数の発光体を含む。
【０１５８】
一実施形態では、光ファイバケーブル８１０及び光ファイバケーブル８１２は、例えば多角形、楕円形、曲線状等、別の形状を有する。
【０１５９】
一実施形態では、各ウェアラブルデバイス１２０Ａ、１２０Ｂ、及び１２０Ｃは、光を発するためにウェアラブルデバイスの中の発光体によって発行される光を促進するために、例えば透明なプラスチック、透明な可撓性材料等、透明な材料、または半透明な材料から作られることに留意されたい。
【０１６０】
実施形態では、第１のウェアラブルデバイスの発光体によって形成される、または第１のウェアラブルデバイスの中に位置する光ファイバケーブルの開口部によって形成される第１のパターンは、第２のウェアラブルデバイスの発光体によって形成される、または第２のウェアラブルデバイスの中に位置する光ファイバケーブルの開口部によって形成される第２のパターンとは異なる。例えば、第１のパターンは星形パターンであり、第２のパターンは円形パターンである。第１のウェアラブルデバイスはユーザーの左腕に着用され、第２のウェアラブルパターンはユーザーの右腕に着用される。パターンの差は、右手の位置及び／向きから左手の位置及び／向きを区別するためにゲームコンソールのゲームプロセッサを手助けする。例えば、両方のパターンを含む画像の画像データでは、ゲームプロセッサは左手の位置を星形パターンの位置であるとして識別し、右手の位置を円形パターンの位置であるとして識別する。
【０１６１】
一実施形態では、第１のウェアラブルデバイスの発光体によって発せられる、または第１のウェアラブルデバイスの光ファイバケーブルの開口部を通して発せられる光の第１の色は、第２のウェアラブルデバイスの発光体によって発せられる光の、または第２のウェアラブルデバイスの光ファイバケーブルの開口部を通して発せられる光の第２の色とは異なる。例えば、第１の色は緑であり、第２の色は赤である。第１のウェアラブルデバイスはユーザーの左腕に着用され、第２のウェアラブルパターンはユーザーの右腕に着用される。色の違いは、右手の位置及び／または向きから左手の位置及び／または向きを区別するためにゲームコンソールのゲームプロセッサを手助けする。例えば、両方の色を含む画像の画像データでは、ゲームプロセッサは左手の位置を緑色の位置であるとして識別し、右手の位置を赤色の位置であるとして識別する。
【０１６２】
一実施形態では、ユーザーの一方の手に着用されるウェアラブルデバイスは、例えば赤外光等、第１の波長の光を発する１つまたは複数の発光体を含み、ユーザーの別の手に着用される別のウェアラブルデバイスは、例えば可視光等、第２の波長の光を発する１つまたは複数の発光体を含む。
【０１６３】
図９は、互いに関してユーザーの手の相対位置及び／または相対向きを決定するためのゲームコンソール１０６の中の、例えばカメラ９１０等、いくつかのカメラを示すためのシステムの実施形態の図である。カメラ９１０は、カメラ９１０のレンズがゲームコンソール１０６の前に現実世界環境のビューを有するように、例えばゲームコンソール１０６の中のコンパートメントに取り付けられる、ゲームコンソール１０６の中のコンパートメントの中に取り付けられる等、ゲームコンソール１０６の中のコンパートメントの中に統合される。ゲームコンソール１０６のカメラ９１０は、例えばウェアラブルデバイス１０２Ａ及び１０２Ｂ、ユーザー３０２の手の指、ユーザー３０２の手、ユーザー３０２の掌等、アイテムの画像データを生成し、画像データはカメラ９１０によってゲームコンソール１０６のゲームプロセッサに提供される。ゲームコンソール１０６のゲームプロセッサは、ｘｙｚ座標系の基準座標に関して画像データに表示されるアイテムの位置及び向きを決定し、基準座標はカメラ９１０の場所に位置する。ゲームプロセッサは、アイテムの位置及び向きから、仮想オブジェクトの、例えば位置、向き、テクスチャ、色、形状等、状態に関するデータをさらに識別し、ＨＭＤ３１０の表示画面での表示のためにＨＭＤ３１０に状態に関するデータを提供する。
【０１６４】
仮想オブジェクトの状態に関するデータは、ゲームコンソール１０６のゲームプロセッサからＨＭＤ３１０のプロセッサにゲームコンソール１０６の通信装置及びＨＭＤ３１０の通信装置を介して例えば、無線媒体、有線媒体等、媒体を介して送られる。ＨＭＤ３１０のプロセッサは、ＨＭＤ３１０の表示画面に仮想オブジェクトを表示するために仮想オブジェクトの状態に関するデータをレンダリングする。
【０１６５】
実施形態では、ゲームコンソール１０６のカメラ９１０を使用しキャプチャされた画像データから決定されるアイテムの位置及び向きは、ＨＭＤ５１０（図５）のカメラ５１２（図５）を使用しキャプチャされた画像データが、ウェアラブルデバイスのカメラを使用しキャプチャされた画像データから決定されたアイテムの位置及び向きの正確さを確認するまたは否定するために使用される上述された方法に類似した方法で、ウェアラブルデバイスのカメラを使用しキャプチャされた画像データから決定されるアイテムの位置及び向きの正確さを確認するまたは拒否するために使用される。正確さを確認すると、ゲームコンソール１０６のゲームプロセッサは、ゲームコンソール１０６のカメラ９１０を使用し、またはウェアラブルデバイスのカメラを使用しキャプチャされた画像データから決定されたアイテムの位置及び／または向きから、ＨＭＤ３１０の表示画面に表示される、例えば仮想サッカー、仮想車両、仮想武器、仮想木等、仮想オブジェクトの状態に関するデータを識別する。ゲームプロセッサは、表示のためにＨＭＤ３１０に、ゲームコンソール１０６の通信装置及びＨＭＤ３１０の通信装置を介して仮想オブジェクトの状態に関するデータを送る。
【０１６６】
ウェアラブルデバイス１０２Ａのカメラを使用しキャプチャされた画像データから決定されたアイテムの位置及び／または向きが正確ではないと判断すると、ゲームコンソール１０６のゲームプロセッサは、ウェアラブルデバイスのカメラを使用しキャプチャされた追加画像データから、及びゲームコンソール１０６のカメラ９１０を使用しキャプチャされた追加画像データから、位置及び／または向きが正確であると判断されるまで待機する。
【０１６７】
一実施形態では、ウェアラブルデバイス１０２Ａのカメラを使用しキャプチャされた画像データから決定されたアイテムの位置及び／または向きが正確ではないと判断すると、ゲームコンソール１０６のゲームプロセッサは、ウェアラブルデバイスのカメラを使用しキャプチャされた画像データから決定されたアイテムの位置及び／または向きを使用する代わりに、ゲームコンソール１０６のカメラ９１０を使用しキャプチャされた画像データから決定されたアイテムの位置及び／または向きを使用して、仮想オブジェクトの状態に関するデータを識別する。識別された状態に関するデータは、ＨＭＤ３１０に状態を有する仮想オブジェクトを表示するためにＨＭＤ３１０に提供される。
【０１６８】
カメラ９１０によって生成される画像データが、ｘｙｚ座標系の、例えば起点（０、０、０）等、基準点からであり、基準点は、例えばカメラ９１０のレンズ上の点等、ゲームコンソール１０６のカメラ９１０上の点に位置することに留意されたい。
【０１６９】
図１０は、ウェアラブルデバイス１０２Ａ及び１０２Ｂを着用しながらユーザー３０２によって実行される多様なジェスチャを示す図である。ジェスチャは、交通警官によって実行されるジェスチャである。例えば、ユーザー３０２の両手を使用し実行された１つのジェスチャ１００２は、例えば、車、トラック、人力車、自転車、オートバイ等、仮想交通が、ユーザー３０２の手によって指される方向で移動することを示す。仮想交通は、ＨＭＤ３１０の表示画面に表示される。別の例として、やはりユーザー３０２の両手を使用し実行された別のジェスチャ１００４は、ユーザー３０２が、ＨＭＤ３１０の表示画面に表示される仮想銃を引き寄せようとしていることを示す。さらに別の例として、ユーザー３０２の両手を使用し実行されたジェスチャ１００６は、ＨＭＤ３１０の表示画面に表示されるカンフー体感ゲームの間のブロックモーションを示す。
【０１７０】
図１１は、互いとゲームをプレイするためにＨＭＤ１１２及びウェアラブルデバイス１０２Ａ及び１０２Ｂを着用する２人のユーザーを示すための図である。例えば、左側のユーザー３０２の仮想手は、右側のユーザー１１０２の仮想手が示されるゲームの中に示される。別の例として、左側のユーザー３０２の仮想手は、右側のユーザー１１０２の仮想手が示されるゲームの中に示される。
【０１７１】
一実施形態では、ユーザー３０２は、ユーザー３０２によって着用されるＨＭＤ３１０の表示画面に表示される仮想環境のユーザー１１０２のアバターを見る。さらに、ユーザー１１０２は、ユーザー１１０２によって着用されるＨＭＤ３１０の表示画面に表示される同じ仮想環境のユーザー３０２のアバターを見る。
【０１７２】
実施形態では、ユーザー３０２及び１１０２は同じ地理的な位置に位置する、または互いから離れて位置する。例えば、ユーザー３１０はテキサスの自分の家に位置する間に、ユーザー３１０はユーザー１１０２のアバターと対話し、ユーザー１１０２はカリフォルニアの自分の家に位置する間にユーザー３１０のアバターと対話している。別の例として、ユーザー３１０及び１１０２の両方とも室内に位置し、ユーザー３０２及び１１０２によって着用されるＨＭＤ３１０に表示される仮想環境を介して互いと対話している。
【０１７３】
図１２は、テレビ１０８のカメラ１２１０がｘｙｚ座標系に関してアイテムの位置及び／または向きを決定するために使用されるシステムの実施形態の図である。テレビ１０８のカメラ１２１０は、ユーザーの頭の、及び例えばユーザー３０２によって着用されるウェアラブルデバイス１０２Ａ及び１０２Ｂ、ユーザー３０２の手、ユーザー３０２の指等、アイテムの画像データを生成する。画像データは、無線通信プロトコルまたは有線通信プロトコルを使用し、カメラ１２１０からゲームコンソール１０６のゲームプロセッサに送られる。ゲームコンソール１０６のゲームプロセッサは、ｘｙｚ座標系の基準点に関してユーザー３０２の頭の位置及び／または向きを決定し、基準点に関してユーザー３０２に関連付けられたアイテムの位置及び／または向きを決定する。
【０１７４】
アイテムの位置及び／または向きは、ＨＭＤ３１０に表示される可塑オブジェクトの状態に関するデータを識別するために、ゲームコンソール１０６のゲームプロセッサによって使用される。仮想オブジェクトはアイテムの位置及び／または向きに相当することに留意されたい。例えば、ゲームコンソール１０６のゲームメモリデバイスは、仮想オブジェクト及びアイテムの、例えば関連付け、マッピング、リンク等、相応関係を記憶する。ゲームコンソール１０６のゲームプロセッサは、仮想オブジェクト及びアイテムの相応関係にアクセスし、例えばウェアラブルデバイス、指、手、掌、足等、アイテムの位置及び／または向きに基づいて仮想オブジェクトの状態に影響を与えるようにプログラムされる。
【０１７５】
カメラ１２１０によって生成される画像データが、ｘｙｚ座標系の、例えば起点（０、０、０）等、基準点からであり、基準点は、カメラ１２１０上の点等、テレビ１０８の点に位置することに留意されたい。
【０１７６】
実施形態では、カメラ１２１０を使用しキャプチャされた画像データから決定されるアイテムの位置及び向きは、ＨＭＤ５１０（図５）のカメラ５１２（図５）を使用しキャプチャされた画像データがウェアラブルデバイスのカメラを使用しキャプチャされた画像データから決定されるアイテムの位置及び向きの正確さを確認するまたは否定するために使用される上述の方法に類似した方法で、ウェアラブルデバイスのカメラを使用しキャプチャされた画像データから決定されたアイテムの位置及び向きの正確さを確認するまたは否定するために使用される。正確さを確認すると、ゲームコンソール１０６のゲームプロセッサは、カメラ１２１０を使用し、またはウェアラブルデバイスのカメラを使用しキャプチャされた画像データから決定されたアイテムの位置及び／または向きから、ＨＭＤ３１０の表示画面にまたはテレビ１０８の表示画面に表示される仮想オブジェクトの状態に関するデータを識別する。ゲームプロセッサは、ゲームコンソール１０６の通信装置及びＨＭＤ３１０の通信装置を介して、表示のためにＨＭＤ３１０に、仮想オブジェクトの状態に関するデータを送る。一実施形態では、ゲームプロセッサは、ゲームコンソール１０６の通信装置及びテレビ１０８の通信装置を介して、表示のためにテレビ１０８のプロセッサに仮想オブジェクトの状態に関するデータを送る。
【０１７７】
ウェアラブルデバイス１０２Ａのカメラを使用しキャプチャされた画像データから決定されるアイテムの位置及び／向きが正確ではないと判断すると、ゲームコンソール１０６のゲームプロセッサは、ウェアラブルデバイスのカメラを使用しキャプチャされた追加画像データから、及びカメラ１２１０を使用しキャプチャされる追加画像データから、位置及び／向きが正確であると判断されるまで待機する。
【０１７８】
一実施形態では、ウェアラブルデバイス１０２Ａのカメラを使用しキャプチャされた画像データから決定されたアイテムの位置及び／または向きが正確ではないと判断すると、ゲームコンソール１０６のゲームプロセッサは、ウェアラブルデバイスのカメラを使用しキャプチャされた画像データから決定されたアイテムの位置及び／または向きを使用する代わりに、カメラ１２１０を使用しキャプチャされた画像から決定されたアイテムの位置及び／または向きを使用して、仮想オブジェクトの状態に関するデータを識別する。識別された状態に関するデータは、状態を有する仮想オブジェクトを表示するために、ＨＭＤ３１０にまたはテレビ１０８に提供される。
【０１７９】
図１３は、アンクルデバイス１２２Ａ及び１２２Ｂがユーザーの足首の回りに着用されるシステムの実施形態の図である。アンクルデバイス１２２Ａはウェアラブルデバイス１１２Ａの例であり、アンクルデバイス１２２Ｂはウェアラブルデバイス１１２Ｂの例である。例えば、アンクルデバイス１２２Ａは、アンクルデバイス１１２Ａが、ユーザー３０２の手首の代わりにユーザー３０２の足首にフィットするためにウェアラブルデバイス１１２Ａの直径よりも大きい直径を有する点を除き、ウェアラブルデバイス１１２Ａと同じ形状を有し、ウェアラブルデバイス１１２Ａの機能と同じ機能を実行する。別の例として、アンクルデバイス１２２Ｂは、アンクルデバイス１１２Ｂが、ユーザー３０２の手首の代わりにユーザー３０２の足首にフィットするためにウェアラブルデバイス１１２Ｂの直径よりも大きい直径を有する点を除き、ウェアラブルデバイス１１２Ｂと同じ形状を有し、ウェアラブルデバイス１１２Ｂの機能と同じ機能を実行する。
【０１８０】
アンクルデバイス１２２Ａは、ユーザー３０２の右脚のビューから画像データを生成する１つまたは複数のカメラを含む。画像データは、左脚に関して右脚の相対位置及び／または相対向き、及び／または左足の指に関して右足の指の相対位置及び／または相対向き、及び／または左足に関して右足の相対位置及び／または相対向きを計算するために、ゲームコンソール１０６のゲームプロセッサによって使用される。さらに、アンクルデバイス１２２Ｂ、ユーザー３０２の左脚のビューから画像データを生成する１台または複数のカメラ。画像データは、右脚に関して左脚の相対位置及び／または相対向き、及び／または右足の指に関して左足の指の相対位置及び／または相対向き、及び／または右足に関して左足の相対位置及び／または相対向きを計算するためにゲームコンソール１０６のゲームプロセッサによって使用される。
【０１８１】
アンクルデバイス１２２Ａのカメラを使用しキャプチャされた画像データは、ｘｙｚ座標系の、例えば起点（０、０、０）等、基準点から、例えば右脚、右足の指等、アイテムの位置及び／または向きを決定するために使用され、基準点がカメラ上にあることに留意されたい。同様に、アンクルデバイス１２２Ｂのカメラを使用しキャプチャされた画像データは、ｘｙｚ座標系の、例えば起点（０、０、０）等、基準点から、例えば右脚、右足の指等、アイテムの位置及び／または向きを決定するために使用され、基準点がカメラ上にある。
【０１８２】
図１４は、ユーザーが自分の手首の回りにウェアラブルデバイス１０２Ａ及び１０２Ｂを着用し、自分の足首の回りにアンクルデバイス１２２Ａ及び１２２Ｂを着用しているシステムの実施形態の図である。ウェアラブルデバイス１０２Ａ及び１０２Ｂは、有線媒体または無線媒体を介してＨＭＤ３１０に画像データを提供するためにＨＭＤ３１０と通信する、及び／または有線媒体または無線媒体を介してＨＭＤゲームコンソール３１０に画像データを提供するためにゲームコンソール１０６と通信する。アンクルデバイス１２２Ａ及び１２２Ｂは、有線媒体または無線媒体を介してＨＭＤ３１０に画像データを提供するためにＨＭＤ３１０と通信する、及び／または有線媒体または無線媒体を介してＨＭＤゲームコンソール３１０に画像データを提供するためにゲームコンソール１０６と通信する。
【０１８３】
図１５は、ユーザーがウェアラブルデバイス１０２Ａ及び１０２Ｂと、例えばマット、表面、板、木製ブロック等、パッドデバイス１５０２を使用しているシステムの実施形態の図である。パッドデバイス１５０２は、ウェアラブルデバイス１０２Ａ及び１０２ＢがＨＭＤ５１０のカメラ５１２に可視である、例えば白い背景、緑の背景、青の背景等、着色された背景を提供する。例えば、パッドデバイス１５０２はある色であり、ウェアラブルデバイス１０２Ａ及び１０２Ｂはパッドデバイス１５０２の色に対して目立つ色を有する。
【０１８４】
ＨＭＤ５１０のカメラ５１２は、ウェアラブルデバイス１０２Ａ及び１０２Ｂの、ならびにパッドデバイス１５０２の画像データをキャプチャする。画像データは、ｘｙｚ座標系の基準座標に関してウェアラブルデバイス１０２Ａ及び１０２Ｂの位置及び向きを決定するために、ウェアラブルデバイス１０２Ａ及び１０２Ｂからゲームコンソール１０６に通信される。基準座標はカメラ５１２のレンズに位置する。
【０１８５】
いくつかの実施形態では、ウェアラブルデバイス１０２Ａは、ウェアラブルデバイス１０２Ｂの色とは異なる色である。
【０１８６】
一実施形態では、パッドデバイス１５０２は、例えば表示画面、プロセッサ、センサ、カメラ等、電子機器を排除する。
【０１８７】
実施形態では、ウェアラブルデバイス１０２Ａは、ウェアラブルデバイス１０２Ｂ及びパッド１５０２とは異なる色または異なるパターンである。例えば、ウェアラブルデバイス１０２Ａは黄色または黄色に着色されたパターンであり、ウェアラブルデバイス１０２Ｂは紫色または紫色に着色されたパターンであり、パッドデバイス１５０２は緑色または緑色に着色されたパターンである。カメラ５１２によって生成される画像データはウェアラブルデバイス１０２Ｂからウェアラブルデバイス１０２Ａを区別する上でゲームコンソール１０６のゲームプロセッサを手助けする。カメラ５１２は、両方の色ともパッドデバイス１５０２の緑の背景色に対して置かれるとき、紫色から黄色を区別する上でゲームプロセッサを手助けする。ゲームプロセッサは、ゲームメモリデバイスから、画像データの黄色が、例えばユーザー３０２の左手にマッピングする、ユーザー３０２の左手に結び付く等、ユーザー３０２の左手に対応し、画像データの紫色がユーザー３０２の右手に対応することを識別する。ゲームプロセッサは、ウェアラブルデバイス１０２Ａの移動が左手の移動を示し、ウェアラブルデバイス１０２Ｂの移動が右手の移動を示すと判断する。
【０１８８】
実施形態では、パッド１５０２は、例えばセンサ、エミッタ、電池、カメラ等、あらゆる電子機器を、例えば排除する等、受動である。
【０１８９】
一実施形態では、受動パッドの代わりに、例えばタブレット、ファブレット等、能動パッドが、着色された画面を表示してウェアラブルデバイス１０２Ａ及び１０２Ｂに対して背景を提供するために使用される。
【０１９０】
図１６は、パッドデバイス１５０２が、例えば机、テーブル、椅子等、床の上に支えられている表面上に置かれるシステムの実施形態の図である。ＨＭＤ５１０の、またはゲームコンソール１０６のカメラ５１２は画像データを生成するためにパッドデバイス１２４を背にしてウェアラブルデバイス１０２Ａ及び１０２Ｂを見る。画像データは、ユーザー３０２の右手に関してユーザーの左手の相対位置及び／または相対向きを決定するために使用される。
【０１９１】
図１７は、例えばウェアラブルデバイス、アンクルデバイス等、ウェアラブルデバイス１２６の実施形態のブロック図である。ウェアラブルデバイス１２６は、ウェアラブルデバイス１０２Ａ（図１Ａ）、またはウェアラブルデバイス１０２Ｂ（図１Ａ）、またはウェアラブルデバイス１０３Ａ（図２Ａ）、またはウェアラブルデバイス１０３Ｂ（図２Ａ）、またはウェアラブルデバイス１０４Ａ（図３）、またはウェアラブルデバイス１０４Ｂ（図３）、またはウェアラブルデバイス１１６（図７）、またはウェアラブルデバイス１１８（図７）、またはウェアラブルデバイス１２０Ａ（図８）、またはウェアラブルデバイス１２０Ｂ（図８）、またはウェアラブルデバイス１２０Ｃ（図８）、またはウェアラブルデバイス１２２Ａ（図１３）、またはウェアラブルデバイス１２２Ｂ（図１３）の例である。ウェアラブルデバイス１２６は、いくつかのカメラ及び１台の１７１２を含む。通信装置通信装置の例は、別の通信装置と情報を通信するために有線通信プロトコルまたは無線通信プロトコルを使用する通信装置を含む。例えば、通信装置１７１２は別の通信装置と通信するために、例えばＷｉ−Ｆｉプロトコル、ブルートゥース等、無線通信プロトコルを使用する。別の例として、通信装置１７１２は、別の通信装置と通信するために、例えばシリアル転送プロトコル、パラレル転送プロトコル、ユニバーサルシリアルバス（ＵＳＢ）プロトコル等、有線通信プロトコルを使用する。
【０１９２】
ユーザー３０２の右腕に着用されるウェアラブルデバイス１２６の１台または複数のカメラは、画像データを生成するために、ユーザー３０２の左腕に着用されるウェアラブルデバイス、ユーザー３０２の左手の指、ユーザー３０２の左手、左手の指の指関節等、アイテムの、例えば１つまたは複数の画像等、画像データをキャプチャする。例えば、ウェアラブルデバイス１２６の第１のカメラは、左手が第１の位置及び／または第１の向きにあるときに左手の画像をキャプチャし、ウェアラブルデバイス１２６の第２のカメラは、左手が第２の位置及び／または第２の向きにあるときに左手の画像をキャプチャする。例えばデータパケット、アイテムの画像データの、例えばデジタルで符号化されたコヒーレント信号等、ストリームは、有線通信プロトコルまたは無線通信プロトコルを使用し、通信装置１７１２からゲームコンソール１０６の通信装置１７１８に通信される。例えば、画像データをパケット化された信号の形で通信するために、画像データは１つまたは複数のパケットの中にペイロードとして埋め込まれ、ヘッダはパケットの中に含まれる。別の例として、通信装置１７１２は、画像データのストリームである無線信号を生成するために無線通信プロトコルを適用する。さらに別の例として、通信装置１７１２は、画像データのストリームである有線信号を生成するために有線通信プロトコルを適用する。
【０１９３】
同様に、例えばウェアラブルデバイス１２６以外のウェアラブルデバイス等、ユーザー３０２の左腕に着用される別のウェアラブルデバイスの通信装置は、例えば無線信号、有線信号等、画像データのストリームを生成し、通信装置１７１８に送る。他のウェアラブルデバイスによって生成される画像データのストリームは、ウェアラブルデバイス１２６の、及び／または右手の指の及び／または右手の、及び／または右手の指関節の、及び／またはユーザー３０２の右腕に着用されるウェアラブルデバイスの画像データを含む。
【０１９４】
ゲームコンソール１０６の通信装置１７１８は、通信装置１７１２及びユーザーの左腕に着用される他のウェアラブルデバイスの通信装置から画像データのストリームを受信し、無線信号から画像データを抽出するために無線通信プロトコルを適用する、または有線通信信号から画像データを抽出するために有線通信プロトコルを適用する。例えば、ゲームコンソール１０６の通信装置１７１８は、画像データがウェアラブルデバイス１２６のカメラから生成される順序で画像データのパケットを配置し直す。
【０１９５】
通信装置１７１８は、ゲームコンソール１０６のゲームプロセッサ１７１０に、例えば右腕及び左腕に着用されるウェアラブルデバイス、及び／または右手及び左手、及び／または右手及び左手の指、及び／またはユーザー３０２の右手及び左手の指関節等、アイテムの位置及び向きを含む画像データを提供する。ゲームプロセッサ１７１０は、ユーザー３０２の左腕に着用されるウェアラブルデバイス１２６の画像データ等から、例えばユーザー３０２の右腕、及び／または右手の、及び／または右手の指の、及び／または右手の１本または複数の指の指関節に着用される他のウェアラブルデバイス等、アイテムの位置及び向きを、例えば識別する等、決定する。例えば、ゲームプロセッサ１７１０は、右腕の一部分の画像データから、ウェアラブルデバイス１２６、及び／または右手の指、及び／または右手の指関節、及び／または右手の、例えば（ｘ、ｙ、ｚ）座標等、位置を抽出する。画像データは、ｘｙｚ座標系の、例えば起点（０、０、０）等、基準点から右腕の一部分の位置及び向きを含む。基準点は、画像データをキャプチャするカメラに位置する。
【０１９６】
ゲームプロセッサ１７１０は、画像データから、現実世界環境のｘｙｚ座標系に関してアイテムの、例えば（ｘ、ｙ、ｚ）座標等、位置を識別する。アイテムの例は、指の指関節、腕の指、ウェアラブルデバイス、手、足、脚の一部分、掌、掌の一部分等を含む。例として、ｘｙｚ座標の、例えば起点（０、０、０）等、基準座標からのアイテムの位置は、基準座標からｘｙｚ座標系のｘ軸に沿った、画像データに示されるアイテムの点の距離、基準座標からのｘｙｚ座標系のｙ軸に沿った点の距離、及び基準座標からｘｙｚ座標系のｚ軸に沿った点の距離を含む。ｘｙｚ座標系がアイテムの画像データをキャプチャするカメラに位置することに留意されたい。例えば、ウェアラブルデバイス１２６のカメラがユーザー３０２の手の画像データをキャプチャするとき、例えば起点等、基準点は、例えばカメラのレンズ等、カメラに位置し、手の位置は基準点に関して識別される。
【０１９７】
同様に、ゲームプロセッサ１７１０は、画像データから現実世界環境のｘｙｚ座標系に関してアイテムの向きを識別する。例として、画像内のアイテムの向きは、ｘｙｚ座標系のｘ軸に関して画像内のアイテムの軸によって形成される角度、ｘｙｚ座標系のｙ軸に関して画像内のアイテムの軸によって形成される角度、及びｘｙｚ座標系のｚ軸に関して画像内のアイテムの軸によって形成される角度を含む。
【０１９８】
一実施形態では、アイテムの軸はアイテムの全長に沿って伸長する。例えば、手の軸は手の全長に沿って伸長し、足の軸は足の全長に沿って伸長する。
【０１９９】
実施形態では、画像に示されるアイテムは、本明細書では仮想オブジェクトと呼ばれる。
【０２００】
ゲームプロセッサ１７１０はさらに、ゲームメモリデバイス１７２６から、アイテムの位置に相当する仮想環境に表示される仮想オブジェクトの、例えば位置、色、テクスチャ、陰影、視覚効果、音声効果、音、外形、境界、形状等、状態に関するデータを識別する。例えば、ゲームプロセッサ１７１０はメモリデバイス１７２６から、アイテムの位置と仮想オブジェクトの状態に関するデータとの間のマッピングを識別する。別の例として、ゲームプロセッサ１７１０は、メモリデバイス１７２６から、ユーザー３０２の手の位置と、ユーザー３０２の手を表す仮想手の位置との間のマッピングを決定する。示すために、ユーザー３０２の指の位置がｘｙｚ座標系の基準点から距離（ｘ、ｙ、ｚ）にあるとき、仮想オブジェクトの位置はＸＹＺ座標系の基準点から距離（Ｘ、Ｙ、Ｚ）にある。この例では、画像の距離（Ｘ、Ｙ、Ｚ）は現実世界環境での距離（ｘ、ｙ、ｚ）に、Ｘ、Ｙ、及びＺ寸法のそれぞれで比例する。
【０２０１】
一実施形態では、ＸＹＺ座標系は、仮想オブジェクトの位置及び向きを決定するために使用される仮想座標系であることに留意されたい。ｘｙｚ座標系は、現実世界環境でアイテムの位置及び向きを決定するために使用される座標系である。
【０２０２】
状態がアイテムの位置に基づいて変更される仮想オブジェクトは、アイテムと関連付けられているとしてゲームプロセッサ１７１０でプログラムされることに留意されたい。例えば、ユーザー３０２の指が、指が仮想トリガを制御できるようにするために仮想トリガと関連付けられることが、ゲームプロセッサ１７１０でプログラムされる。別の例として、ユーザー３０２の右手または左手が仮想ボールと関連付けられて、ユーザー３０２の手を使用することによって仮想ボールの位置を変更するためにユーザー３０２を手助けすることが、ゲームプロセッサ１７１０でプログラムされる。
【０２０３】
同様に、ゲームプロセッサ１７１０は、ゲームメモリデバイス１７２６から、仮想オブジェクトに相当するアイテムの向きに対応して、仮想環境に表示される仮想オブジェクトの状態に関するデータをさらに識別する。例えば、ゲームプロセッサ１７１０はメモリデバイス１７２６から、アイテムの向きと仮想オブジェクトの状態との間のマッピングを識別する。別の例として、ゲームプロセッサ１７１０はメモリデバイス１７２６から、ユーザー３０２の手の向きと、ユーザー３０２の手を表す仮想手の向きとの間のマッピングを決定する。さらに別の例として、ユーザー３０２の指の向きがｘ軸に関して第１の角度、ｙ軸に関して第２の角度、及びｚ軸に関して第３の角度を形成するとき、ゲームプロセッサ１７１０はメモリデバイス１７２６から、Ｘ軸に関して第４の角度を形成するとして仮想オブジェクトの向きを、Ｙ軸に関して第５の角度を形成するとして仮想オブジェクトの向きを、及びＺ軸に関して第６の角度を形成するとして仮想オブジェクトの向きを識別する。第４の角度が第１の角度に比例し、第５の角度が第２の角度に比例し、第６の角度が第３の角度に比例することに留意されたい。
【０２０４】
ゲームプロセッサ１７１０は、通信装置１７１８に、仮想オブジェクトの状態に関して識別されたデータを提供する。通信装置１７１８は、有線信号または無線信号を生成するために仮想オブジェクトの状態に関して識別されたデータに有線通信プロトコルまたは無線通信プロトコルを適用する。
【０２０５】
ＨＭＤ１７２０の通信装置１７１４は通信装置１７１８から有線信号を受信し、有線信号から仮想オブジェクトの状態に関して識別されたデータを抽出するために有線信号に有線通信プロトコルを適用する。同様に、ＨＭＤ１７２０の通信装置１７１４は、無線信号から仮想オブジェクトの状態に関して識別されたデータを抽出するために無線信号に無線通信プロトコルを適用する。ＨＭＤ１７２０は、ＨＭＤ３１０またはＨＭＤ５１０の例である。
【０２０６】
通信装置１７１４は、オーディオ／ビデオ（Ａ／Ｖ）セパレータに抽出される状態に関するデータを提供する。Ａ／Ｖセパレータは、両方とも状態に関するデータの中に含まれる画像データから音声データを分離し、プロセッサ１７１６に画像データを送り、シンクロナイザに音声データを送る。シンクロナイザは音のプレイバックを仮想オブジェクトの表示のプレイバックと同期させる。例えば、シンクロナイザは、仮想オブジェクトが位置及び／または向きで、及び／または色を有するとして、及び／または形状を有するとして、及び／またはテクスチャを有するとして表示されるのと同時に音を再生する。シンクロナイザは、デジタルフォーマットからアナログフォーマットに音声データを変換するデジタルアナログ変換器に同期した音声データを送る。アナログ音声データは増幅器によって増幅される。増幅されたアナログ音声データは、１つまたは複数のスピーカによって音に変換される。
【０２０７】
ＨＭＤ１７２０のプロセッサ１７１６は、表示画面１１２２に仮想オブジェクトの状態を表示するために仮想オブジェクトの状態に関する画像データをレンダリングする。例えば、プロセッサ１７２０は、仮想環境で、色、形状、テクスチャ、位置、向き等を有するとして仮想オブジェクトを表示する。表示画面の例は、液晶ディスプレイ（ＬＣＤ）画面、ＬＥＤ表示画面、プラズマディスプレイ画面等を含む。
【０２０８】
メモリデバイスの例は、ハードドライブ、ネットワーク接続ストレージ（ＮＡＳ）、読出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、コンパクトディスクＲＯＭ（ＣＤ−ＲＯＭ）、データの書込みができるコンパクトディスク（ＣＤ−Ｒ）、書込み可能ＣＤ（ＣＤ−ＲＷ）、磁気テープ、及び他の光データストレージデバイスまたは非光データストレージデバイスを含む。
【０２０９】
一実施形態では、ゲームコンソール１０６のゲームプロセッサ１７１０は、テレビのカメラまたはＨＭＤ若しくは例えばカメラ４０２（図４）等、独立して位置するカメラによってキャプチャされる画像データを受信し、画像データから現実世界環境のアイテムの位置及び／または向きを決定する。
【０２１０】
実施形態では、ユーザーの右手首に着用されるウェアラブルデバイスのカメラは、ユーザーの左腕の一部分を表す画像データをキャプチャする。画像データは、ユーザーの左腕の一部分の位置及び向きを決定するためにゲームプロセッサによって使用される。位置及び／または向きは、ユーザーの仮想左腕の一部分の状態を識別するために使用される。仮想左腕の一部分は、ＨＭＤの表示画面に表示される。例として、ユーザーがユーザーの右手首に着用されるカメラの視界の中になるように自分の左腕を移動するにつれ、仮想左腕の一部分はＨＭＤの表示画面に表示される仮想環境に入る。同様に、本実施形態では、ユーザーの左手首上に着用されるウェアラブルデバイスのカメラは、ユーザーの右腕の一部分に関する画像データをキャプチャする。ウェアラブルデバイスによってキャプチャされた画像データは、ユーザーの右腕の一部分の位置及び向きを決定するためにゲームプロセッサによって使用される。ユーザーの右腕の位置及び／向きは、ユーザーの仮想右腕の一部分の状態を識別するために使用される。仮想右腕の一部分がＨＭＤの表示画面に表示される。例えば、ユーザーがユーザーの左手首に着用されるカメラの視界の中になるように自分の右腕を移動するにつれ、仮想右腕の一部分はＨＭＤの表示画面に表示される仮想環境に入る。
【０２１１】
実施形態では、ウェアラブルデバイス１２６の１台または複数のカメラは画像データをキャプチャする、及び／または１台の通信装置から別の通信装置への画像データのストリーミングはＨＭＤで、例えば仮想現実シーン、拡張現実シーン等、仮想環境を示すセッション中に発生する。例えば、ユーザーはＨＭＤを使用し、ゲームをプレイ中、ユーザーの左手首に着用されるウェアラブルデバイス１２６のカメラ及びユーザーの右手首に着用されるもう１つのウェアラブルデバイスのカメラが画像データをキャプチャする。別の例として、ユーザーがＨＭＤに表示される仮想環境と対話中、ウェアラブルデバイス１２６のカメラを使用しキャプチャされた画像データは、ウェアラブルデバイス１２６の通信装置１７１２からゲームコンソール１０６の通信装置１７１８にストリーミングされる。
【０２１２】
実施形態では、仮想環境のセッションは、ユーザー３０２が自分の目を覆うために自分の頭にＨＭＤを置くとき、ＨＭＤの表示画面に示される。
【０２１３】
一実施形態では、仮想環境のセッションは、ユーザー３０２に割り当てられる、例えばユーザー名、ユーザーパスワード等、ユーザー情報がゲームコンソール１０６の通信装置に接続される認証サーバによって認証されるとき、表示画面に示される。ユーザー３０２は、ゲームコンソール１０６のゲームプロセッサ１７１０に、例えばゲームコントローラ、キーパッド、キーボード、マウス等、入力装置を使用し、ユーザー情報を提供する。ゲームプロセッサ１７１０は、ゲームコンソール１０６の、例えばネットワークインタフェースコントローラ、ネットワークインタフェースカード、モデム等、ネットワークデバイス、及び例えばインターネット、イントラネット、その組合せ等、コンピュータネットワークを介して認証サーバにユーザー情報を送信する。認証サーバは、ユーザー情報が真正であるかどうかを判断し、ゲームプロセッサ１７１０に認証の結果を提供する。ユーザー情報が真正である旨の表示を受信すると、ゲームプロセッサ１７１０は、通信装置１７１８及び通信装置１７１４を介して仮想環境の状態データをプロセッサ１７１６に提供する。プロセッサ１７１６は、その間に仮想環境がＨＭＤ１７２０の表示画面１７２２を介してユーザー３０２に表示される仮想環境のセッションを始動するために状態データをレンダリングする。
【０２１４】
一実施形態では、通信装置が、例えば画像データ、音声データ等、データを互いと通信できるとき、例えば通信装置１７１８及び１７１４、通信装置１７１２及び１７１８等、複数の通信装置が互いと接続される。
【０２１５】
実施形態では、ゲームプロセッサ１７１０は、ユーザー３０２の手の指の位置の変化を識別するために複数の画像を表示するために使用される画像データを受信する。例えば、ゲームプロセッサ１７１０は、第１の画像から指の第１の位置、及び第２の画像から指の第２の位置を識別する。ゲームプロセッサ１７１０は、第１の位置から第２の位置への変更として指の位置の変化を識別する。第２の位置は、第１の位置が発生した後の時間内に発生する。第１の画像及び第２の画像は、ウェアラブルデバイス１２６の同じカメラによって、またはウェアラブルデバイス１２６の複数のカメラによってキャプチャされることに留意されたい。
【０２１６】
一実施形態では、ウェアラブルデバイス１２６は、例えばユーザーの手の向き、磁場、回転速度の変化、手の加速度等、運動データを生成する、例えばジャイロスコープ、磁力計、加速度系統、複数の慣性センサを含む。運動データは、例えば運動データに無線通信プロトコルを適用後に生成される無線信号、運動データに有線通信プロトコルを適用後に生成される有線信号等、ストリームの形をとって、ウェアラブルデバイス１２６の通信装置１７１２からゲームコンソール１０６の通信装置１７１８に通信される。ゲームコンソール１０６の通信装置１７１８は、有線信号に有線通信プロトコルを適用することによって、または無線信号に無線通信プロトコルを適用することによって運動データを抽出する。ゲームプロセッサ１７１０は、通信装置１７１８から運動データを受信する。ゲームプロセッサ１７１０は、運動データからユーザーの手の１つ若しくは複数の位置、及び／またはユーザーの手の１つ若しくは複数の向きを決定する。
【０２１７】
実施形態では、ウェアラブルデバイス１２６のカメラを使用しキャプチャされた画像データがユーザーの手の画像データを含んでいないと判断すると、ゲームプロセッサ１７１０は、ユーザーの手の位置及び／または向きを決定するために運動データを使用する。
【０２１８】
一実施形態では、ゲームプロセッサ１７１０は、ユーザーの手の位置及び／または向きを決定するために運動データ及び画像データの両方を使用する。例えば、ゲームプロセッサ１７１０は、ウェアラブルデバイスの位置を計算するために、ウェアラブルデバイスによって生成される運動データから決定される位置、及びウェアラブルデバイスの画像を含んだ画像データから決定される位置の、例えば平均等、統計値を生成する。計算位置は、仮想オブジェクトの状態を識別するために使用される。別の例として、ゲームプロセッサ１７１０は、ウェアラブルデバイスの向きを計算するために、ウェアラブルデバイスによって生成される運動データから決定される向き、及びウェアラブルデバイスの画像を含んだ画像データから決定される向きの、例えば平均等、統計値を生成する。計算された向きは、仮想オブジェクトの状態を識別するために使用される。
【０２１９】
一実施形態では、ウェアラブルデバイス１２６のカメラは、電気信号データを生成するために、例えばウェアラブルデバイス１２６が着用される腕等以外の腕に着用されるウェアラブルデバイス等、別のウェアラブルデバイスの発光体から発せられる光を検出する。電気信号データは、上述された方法と類似する方法でゲームプロセッサ１７１０によって受信され、他のウェアラブルデバイスが着用されるユーザーの腕の向きを決定するためにゲームプロセッサ１７１０によって処理される。例えば、光が青色であると判断すると、ゲームプロセッサ１７１０は、光の色及び手の向きの相応関係に基づいて、手の第１の側面がウェアラブルデバイス１２６のカメラに向くように手が配向されることを識別する。別の例として、光が緑色であると判断すると、ゲームプロセッサ１７１０は、光の色と手の向きの相応関係に基づいて、手の背部側がウェアラブルデバイス１２６のカメラに向くように、手が配向されることを識別する。ユーザーの手の側面と光の色の、例えば関連付け、リンク、マッピング等、相応関係は、ゲームメモリデバイス１７２６に記憶される。
【０２２０】
実施形態では、ユーザーの手の向きを決定するために光の色を使用する代わりに、光の輝度または光の陰影が向きを決定するために使用される。例えば、発光体ＬＥＳ１３（図１Ｃ）は、発光体ＬＥＳ１（図１Ｃ）によって発せられる光よりも大きい輝度を有する光を発する。光の色及び光の輝度は、光の特徴の例であることに留意されたい。
【０２２１】
一実施形態では、ユーザー３０２の両腕は互いと同期して、または実質的に同期して移動する。例えば、両方の腕は上へ、下へ、左へ、右へ等、同じ方向で、または実質的に同じ方向で移動する。両方の腕が互いと同期してまたは実質的に同期して移動するとき、例えばゲームコンソール１０６のカメラ、ＨＭＤ５１０（図５）のカメラ等、基準カメラがユーザー３０２の手の画像をキャプチャするために使用される。基準カメラを使用しキャプチャされた画像データは、有線通信プロトコルまたは無線通信プロトコルを使用し、基準カメラの通信装置からゲームコンソール１０６の通信装置１７１８に通信される。通信装置１７１８は、画像データを抽出し、ゲームプロセッサ１７１０に提供するために、有線通信プロトコルまたは無線通信プロトコルを適用する。ゲームプロセッサ１７１０は画像データを受信する。さらに、ゲームプロセッサ１７１０は、ユーザー３０２の左腕及び右腕に着用されるウェアラブルデバイスのカメラから画像データを受信する。例えば、ゲームプロセッサ１７１０は、ウェアラブルデバイス１０２Ａ（図１Ａ）から右手の位置及び向きを含む画像データを受信し、ウェアラブルデバイス１０２Ｂ（図１Ａ）から左手の位置及び向きを含む画像データを受信する。ゲームプロセッサ１７１０は、ウェアラブルデバイスのカメラによってキャプチャされた画像データから決定されたユーザー３０２の両手の位置及び／向きが所定の期間中に変化するかどうかを判断する。例えば、ゲームプロセッサ１７１０は、左手の位置及び／または向きがウェアラブルデバイス１０２Ｂのカメラを使用しキャプチャされた画像データで変化するかどうかを判断し、右手の位置及び／または向きがウェアラブルデバイス１０２Ａのカメラを使用しキャプチャされた画像データで変化するかどうかを判断する。ゲームプロセッサ１７１０は、基準カメラによってキャプチャされる画像データから決定されるユーザー３０２の両手の位置及び／向きが所定の期間中に変化するかどうかをさらに判断する。ウェアラブルデバイスのカメラによってキャプチャされた画像データから決定された両手の位置及び／または向きが所定の期間中に変化せず、基準カメラによってキャプチャされた画像データから決定されたユーザー３０２の位置及び／または向きが所定の期間中に変化すると判断すると、ゲームプロセッサ１７１０は、両方の手の位置及び／または向きが、基準カメラの位置に位置するｘｙｚ座標系の、例えば起点（０、０、０）等、基準点に関して変化すると判断する。
【０２２２】
一実施形態では、ウェアラブルデバイスのカメラによってキャプチャされた画像データから決定された両手の位置及び／または向きが所定の期間中に変化せず、基準カメラによってキャプチャされた画像データから決定されたユーザー３０２の両手の位置及び／向きが所定の期間中に変化すると判断すると、ゲームプロセッサ１７１０は、ウェアラブルデバイスのカメラを使用しキャプチャされた画像データを適用する代わりに、仮想オブジェクトの状態をさらに識別するために基準カメラを使用しキャプチャされた画像データから決定される両手の位置及び／向きを適用すると決定する。
【０２２３】
一実施形態では、ゲームプロセッサ１７１０は、例えばウェアラブルデバイスのカメラ、ゲームコンソールのカメラ、ＨＭＤのカメラ、独立して位置するカメラ等、カメラを使用しキャプチャされた画像データから、２つの連続して決定される位置の差異が所定の閾値よりも大きいかどうかを判断する。例えば、ユーザーの手がカメラの視界の中で及びカメラの視界の外で動き続けるとき、２つの連続して決定される位置の差異は所定の閾値よりも大きい。この例では、手は、カメラを含むウェアラブルデバイスが、ウェアラブルデバイスが着用される手首の回りで摺動するとき、及び／またはユーザーが、カメラが位置する自分の腕の手を動かすとき、及び／またはユーザーが自分の他方の手を動かしているとき、及び／またはオブジェクトがカメラと他方の手との間に障害物を作成しているときに、カメラの視界の中で及びカメラの視界の外で動き続ける。差異が所定の閾値よりも大きいと判断すると、ゲームプロセッサ１７１０は、２つの連続して決定された位置の間に位置を挿入する。例えば、ゲームプロセッサ１７１０は、ユーザー３０２の手の位置及び位置間の期間からユーザー３０２の手の移動の速度を決定し、位置の１つと、２つの連続して決定された位置の間で発生する位置の間の速度及び期間から、２つの連続して決定する位置の間の位置を決定する。別の例として、ゲームプロセッサ１７１０は、連続して決定される位置間に位置を生成するために、２つの連続して決定される位置を接続する。挿入は、仮想オブジェクトによって表される手の位置に相当する位置を有するとして表示される仮想オブジェクトの画像の画像安定化を生じさせる。
【０２２４】
一実施形態では、例えば第１のウェアラブルデバイス等、ユーザーの手首に着用されるウェアラブルデバイス１２６の通信装置１７１２は、ユーザーの別の手首に着用される第２のウェアラブルデバイスの通信装置から第１の画像データを含む有線信号または無線信号を受信する。第１の画像データは、第２のウェアラブルデバイスのカメラによってキャプチャされる。また、通信装置１７１２は第１のウェアラブルデバイスのカメラによってキャプチャされる第２の画像データも受信し、信号を生成し、ゲームコンソール１０６の通信装置１７１８に信号を通信するために、第１の画像データ及び第２の画像データに、例えば有線プロトコル、無線プロトコル等、通信プロトコルを適用する。通信装置１７１２は、信号の中で、第１の画像データが第２のウェアラブルデバイスから受信され、第２の画像データが第１のウェアラブルデバイスから入手されることをさらに識別する。通信装置１７１８は通信装置１７１２から信号を受信し、ゲームプロセッサ１７１０への提供のために第１の画像データ及び第２の画像データを抽出するために通信プロトコルを適用する。ゲームプロセッサ１７１０は、第１の画像データの識別及び第２の画像データの識別を使用し、第１の画像データと第２の画像データを区別する。
【０２２５】
図１８Ａは、ユーザー３０２の片手または両手が、画像１８１６の中に表示される、例えばバレーボール、サッカーボール、バスケットボール、ボーリングボール等、仮想オブジェクト１８１０を制御するために使用されることを示すために例えばＨＭＤ３１０、ＨＭＤ５１０等、ＨＭＤに表示される仮想環境の画像１８１６の実施形態の図である。ゲームコンソール１０６のゲームプロセッサは、ユーザー３０２の片手または両手の位置及び／または向きと仮想オブジェクト１８１０を、例えばリンクする、マッピングする等、関連付ける。例えば、片手または両手が現実世界環境と関連付けられたｘｙｚ座標系に関して移動するとき、ゲームコンソール１０６のゲームプロセッサは、ＸＹＺ座標系に関して仮想オブジェクト１８１０を移動する。
【０２２６】
ゲームコンソール１０６のゲームプロセッサが、仮想オブジェクト１８１０の位置を、ユーザー３０２の片手または両手の位置に比例するとして識別することに留意されたい。例えば、片手または両手が基準点から距離（ｘ、ｙ、ｚ）に位置するように現実世界環境のｘｙｚ座標系の基準点により近く移動するとき、仮想オブジェクト１８１０は、ＸＹＺ座標系の基準点から距離（Ｘ、Ｙ、Ｚ）に位置するようにＸＹＺ座標系の基準点のより近くに移動する。距離（Ｘ、Ｙ、Ｚ）は、距離（ｘ、ｙ、ｚ）に比例する。同様に、ゲームコンソール１０６のゲームプロセッサは、ユーザー３０２の片手または両手の向きに比例しているとして仮想オブジェクト１８１０の向きを識別する。例えば、両手が、ｘｙｚ座標系のｘ軸に関してある角度に、ｘｙｚ座標系のｙ軸に関してある角度に、及びｘｙｚ座標系のｚ軸に関してある角度にあるとき、仮想オブジェクト１８１０は、ＸＹＺ座標系のＸ軸に関してある角度に、ＸＹＺ座標系のＹ軸に関してある角度、及びＸＹＺ座標系のＺ軸に関してある角度に位置する。ＸＹＺ座標系のＸ軸に関する角度は、ｘｙｚ座標系のｘ座標に関する角度に比例し、ＸＹＺ座標系のＹ軸に関する角度は、ｘｙｚ座標系のｙ座標に関する角度に比例し、ＸＹＺ座標系のＺ軸に関する角度は、ｘｙｚ座標系のｚ座標に関する角度に比例する。
【０２２７】
一実施形態では、ｘｙｚ座標系の基準点に関するユーザー３０２の両手の位置は、２つの手から等距離である、２つの手の間の点の位置と同じであるとゲームコンソール１０６のゲームプロセッサによって識別される。さらに、本実施形態では、ｘｙｚ座標系に関するユーザー３０２の両手の向きは、２つの手の軸間で等距離である軸の向きと同じであるとゲームコンソール１０６のゲームプロセッサによって識別される。
【０２２８】
図１８Ｂは、例えば右手、左手等、ユーザー３０２の一方の手が、例えばテニスボール、ウェイトリフティング練習ボール、野球、クリケットボール等、仮想オブジェクト１８１２を制御するために使用され、ユーザー３０２の別の手が、画像１８１８の中で、例えばテニスボール、ウェイトリフティング練習ボール、野球、クリケットボール等、別の仮想オブジェクト１８１４を制御するために使用されることを示すために、例えばＨＭＤ３１０、ＨＭＤ５１０等、ＨＭＤに表示される仮想環境の画像１８１８の実施形態の図である。ゲームコンソール１０６のゲームプロセッサは、仮想オブジェクト１８１２をユーザー３０２の左手の位置及び／向きと、例えばリンクする、マッピングする等、関連付け、ユーザー３０２の右手と仮想オブジェクト１８１４を関連付ける。例えば、左手がｘｙｚ座標系の基準点に関して動かされるとき、ゲームコンソール１０６のゲームプロセッサはＸＹＺ座標系の基準点に関して仮想オブジェクト１８１２を移動し、右手がｘｙｚ座標系の基準点に関して動かされるとき、ゲームコンソール１０６のゲームプロセッサはＸＹＺ座標系の基準点に関して仮想オブジェクト１８１４を移動する。別の例として、ユーザー３０２の左手の移動は仮想オブジェクト１８１４の移動に影響を及ぼさず、ユーザー３０２の右手の移動は仮想オブジェクト１８１２の移動に影響を及ぼさない。
【０２２９】
図１９は、ＨＭＤ３１０（図３）の例であるＨＭＤ２１００の等角図である。ＨＭＤ２１００は、ユーザー３０２によって着用されるとき、ユーザー３０２の頭の背部に移動するバンド２１０２及び２１０４を含む。さらに、ＨＭＤ２１００は、例えばスピーカ等、例えば、ゲームプログラム、仮想環境生成プログラム等、コンピュータプログラムの実行によってプレイされる、例えばゲーム環境、仮想ツアー環境等、仮想環境と関連付けられた音を発する、イヤホン２１０６Ａ及び２１０６Ｂを含む。ＨＭＤ２１００は、ユーザー３０２が、ＨＭＤ２１００の表示画面に表示される仮想環境を見ることができるようにするレンズ２１０８Ａ及び２１０８Ｂを含む。溝２１８０は、鼻の上にＨＭＤ２１００を支持するために、ユーザー３０２の鼻の上にのる。
【０２３０】
いくつかの実施形態では、ＨＭＤ２１００は、サングラス、眼鏡、または拡大鏡がユーザー３０２によって着用されるのと同様に、ユーザー３０２によって着用される。
【０２３１】
図２０は、本開示に説明される実施形態に係る、ビデオゲームの対話型ゲームプレイのためのシステムを示す。ユーザー３０２は、ＨＭＤ３１０を着用して示されている。ＨＭＤ３１０は、眼鏡、ゴーグル、またはヘルメットに類似した方法で着用され、ユーザー３０２にビデオゲームまたは他のコンテンツを表示するように構成される。ＨＭＤ３１０は、ユーザーの目にきわめて近接して表示機構（例えば、光学部品及び表示画面）のその提供、及びＨＭＤ３１０に送達されるコンテンツのフォーマットのおかげで、ユーザーに没入型の体験を提供する。一例では、ＨＭＤ３１０は、ユーザー３０２の視野の大部分または全体をも占めるユーザーの目の各表示領域を提供する。
【０２３２】
一実施形態では、ＨＭＤ３１０はコンピュータ２２０２に接続される。コンピュータ２２０２への接続は、有線または無線であることがある。コンピュータ２２０２は、一実施形態では、ゲームコンソール、パーソナルコンピュータ、ラップトップ、タブレット、モバイル機器、スマートフォン、タブレット、シンクライアント、セットトップボックス、メディアストリーミングデバイス、多機能テレビ等を含むが、これに限定されるものではない、任意のまたは特殊目的のコンピュータである。いくつかの実施形態では、ＨＭＤ３１０は、インターネットに直接的に接続でき、このことが別個のローカルコンピュータを必要とすることなくクラウドゲーミングを可能にして良い。一実施形態では、コンピュータ２２０２は、ビデオゲーム（及び他のデジタルコンテンツ）を実行し、ＨＭＤ３１０によるレンダリングのためにビデオゲームからビデオ及び音声を出力するように構成される。また、コンピュータ２２０２は、本明細書では、一例ではビデオゲームコンソールであるクライアントシステムと呼ばれることもある。
【０２３３】
コンピュータ２２０２は、いくつかの実施形態では、ローカルコンピュータまたはリモートコンピュータであって良く、コンピュータはエミュレーションソフトウェアを実行する。クラウドゲーミング実施形態では、コンピュータ２２０２はリモートであり、ゲームシステム／論理が仮想化され、コンピュータネットワーク上でユーザー３０２に分散される、データセンタで仮想化されて良い複数のコンピューティングサービスによって表されて良い。
【０２３４】
ユーザー３０２は、仮想環境に入力を提供するためにハンドヘルドコントローラ２２０６を操作する。一例では、カメラ２２０４は、ユーザー３０２が位置する現実世界環境の画像をキャプチャするように構成される。これらのキャプチャされた画像は、ユーザー３０２、ＨＭＤ３１０、及びコントローラ２２０６の場所及び移動を決定するために分析される。一実施形態では、コントローラ２２０６は、その場所及び向きを決定するために追跡される１つのライト（または複数のライト）を含む。さらに、以下にさらに詳細に説明されるように、一実施形態では、ＨＭＤ３１０は、仮想環境の表示中に実質的なリアルタイムでＨＭＤ３１０の場所及び向きを決定するためにマーカとして追跡される１つまたは複数のライトを含む。
【０２３５】
カメラ２２０４は、一実施形態では、現実世界環境から音を捕捉するために１本または複数のマイクを含む。マイクアレイによって捕捉された音は音源の場所を特定するために処理される。特定された場所からの音は、特定された場所からではない他の音を除外して選択的に活用されるまたは処理される。さらに、一実施形態では、カメラ２２０４は、複数の画像キャプチャデバイス（例えば、カメラの立体的な組）、ＩＲカメラ、深度カメラ、及びその組合せを含むように構成される。
【０２３６】
いくつかの実施形態では、コンピュータ２２０２は、コンピュータ２２０２の処理ハードウェアでローカルにゲームを実行する。ゲームまたはコンテンツは、物理媒体形式（例えば、デジタルディスク、テープ、カード、サムドライブ、ソリッドステートチップ、若しくはカード等）等の任意の形で、または例えば、インターネット、イントラネット、ローカルエリアネットワーク、広域ネットワーク等、コンピュータネットワーク２２１０からのダウンロードを介して入手される。実施形態では、コンピュータ２２０２は、クラウドゲーミングプロバイダ２２１２とのコンピュータネットワーク２２１０上での通信でクライアントとして機能する。クラウドゲーミングプロバイダ２２１２は、ユーザー３０２によってプレイされているビデオゲームを維持し、実行する。コンピュータ２２０２は、ＨＭＤ３１０、コントローラ２２０６、及びカメラ２２０４から、実行されているビデオゲームのゲーム状態に影響を及ぼすために入力を処理するクラウドゲーミングプロバイダ２２１２に入力を送信する。ビデオデータ、音声データ、及び触覚フィードバックデータ等の実行中のビデオゲームからの出力は、コンピュータ２２０２に送信される。コンピュータ２２０２は、送信前にデータをさらに処理する、または関連デバイスにデータを直接的に送信する。例えば、振動フィードバックコマンドがコントローラ２２０６に提供されるのに対し、ビデオストリーム及び音声ストリームはＨＭＤ３１０に提供される。
【０２３７】
一実施形態では、ＨＭＤ３１０、コントローラ２２０６、及びカメラ２２０４は、クラウドゲーミングプロバイダ２２１２と通信するためにコンピュータネットワーク２２１０に接続するネットワーク化されたデバイスである。例えば、コンピュータ２２０２は、それ以外の場合ビデオゲーム処理を実行しないが、ネットワークトラフィックの通過を容易にする、ルータ等のローカルネットワークデバイスであって良い。ＨＭＤ３１０、コントローラ２２０６、及びカメラ２２０４によるコンピュータネットワーク２２１０への接続は有線または無線である。いくつかの実施形態では、ＨＭＤ３１０で実行される、または表示装置２２１４で表示可能なコンテンツは、コンテンツソース２２１６のいずれかから入手される。例のコンテンツソースは、例えば、ダウンロード可能なコンテンツ及び／またはストリーミングコンテンツを提供するインターネットウェブサイトを含むことがある。いくつかの例では、コンテンツは、映画、ゲーム、静的／動的コンテンツ、ピクチャ、ソーシャルメディアコンテンツ、ソーシャルメディアウェブサイト、バーチャルツアーコンテンツ、マンガコンテンツ等の任意のタイプのマルチメディアコンテンツを含むことがある。
【０２３８】
一実施形態では、ユーザー３０２は、係るコンテンツが没入型３Ｄ対話コンテンツである場合にＨＭＤ３１０上でゲームをプレイしている。ＨＭＤ３１０上のコンテンツは、プレーヤがプレイ中に、表示装置２２１４に共有される。一実施形態では、表示装置２２１４に共有されるコンテンツは、ユーザー３０２に近接するまたは遠隔の他のユーザーがユーザー３０２のゲームプレイとともに見ることができるようにする。なおもさらなる実施形態では、表示装置２２１４上でユーザー３０２のゲームプレイを見る別のプレーヤはユーザー３０２と対話的に参加する。例えば、表示装置２２１４上でゲームプレイを見るユーザーは、ゲームシーンのキャラクタを制御し、フィードバックを提供し、ソーシャルインタラクションを提供し、及び／またはＨＭＤ３１０を着用していないユーザーがユーザー３０２とソーシャルで対話できるようにするコメントを（テキストを介して、音声を介して、アクションを介して、ジェスチャを介して等）提供する。
【０２３９】
図２１は、本開示に説明される実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）２３００を示す。ＨＭＤ２３００は、ＨＭＤ５１０（図５）の例である。図示されるように、ＨＭＤ２３００は複数のライト２３０２Ａ‐Ｈ、Ｊ、及びＫを含む（例えば、２３０２Ｋ及び２３０２ＪがＨＭＤヘッドバンドの後部または裏面に向かって位置する）。これらのライトのそれぞれは、特定の形状及び／または位置を有するように構成され、同じ色または異なる色を有するように構成される。ライト２３０２Ａ、２３０２Ｂ、２３０２Ｃ、及び２３０２Ｄは、ＨＭＤ２３００の前面に配置される。ライト２３０２Ｅ及び２３０２Ｆは、ＨＭＤ２３００の側面に配置される。そして、ライト２３０２Ｇ及び２３０２Ｈは、ＨＭＤ２３００の前面及び側面に及ぶように、ＨＭＤ２３００の角に配置される。ライトが、ユーザーがＨＭＤ２３００を使用する対話型環境のキャプチャされた画像で識別されることが理解される。
【０２４０】
ライトの識別及び追跡に基づいて、対話型環境でのＨＭＤ２３００の場所及び向きが決定される。ライトのいくつかが、例えばカメラ等、画像キャプチャデバイスに関して、ＨＭＤ２３００の特定の向きに応じて可視である、または可視ではないことがさらに理解される。また、ライト（例えば、ライト２３０２Ｇ及び２３０２Ｈ）の異なる部分は、画像キャプチャデバイスに対するＨＭＤ２３００の向きに応じて画像キャプチャのために露呈される。いくつかの実施形態では、慣性センサはＨＭＤ２３００に配置され、ライトの必要なく位置決めに関するフィードバックを提供する。いくつかの実施形態では、ライト及び慣性センサは、位置／運動データの混合及び選択を可能にするためにともに働く。
【０２４１】
一実施形態では、ライトは現実世界環境の他のユーザーにＨＭＤ２３００のカレントステータスを示すように構成される。例えば、いくつかまたはすべてのライトは、配色、輝度準備を有し、点滅し、特定のオン／オフ構成またはＨＭＤ２３００のカレントステータスを示す他の配置を有するように構成されるように構成される。例として、ライトは、メニューインタフェースのナビゲートまたは（その間にゲームのタイムラインまたはシーンがインアクティブまたは休止している）ゲーム設定の構成等、ビデオゲームの他のアクティブではないゲームプレイ態様に対して、ビデオゲームのアクティブなゲームプレイ（概して、アクティブなタイムラインの間にまたはゲームのシーンの中で発生するゲームプレイ）中の異なる構成を表示するように構成される。
【０２４２】
実施形態では、ライトは、ゲームプレイの相対輝度レベルを示すようにも構成される。例えば、ライトの輝度、つまり点滅の速度は、ゲームプレイの輝度が増すときに増加する。
【０２４３】
ＨＭＤ２３００は、一実施形態では、１本または複数のマイクをさらに含む。示されている実施形態では、ＨＭＤ２３００は、ＨＭＤ２３００の前面に位置するマイク２３０４Ａ及び２３０４Ｂ、及びＨＭＤ２３００の側面に位置するマイクを含む。マイクのアレイを活用することによって、マイクのそれぞれからの音は、音の源の場所を決定するために処理される。この情報は、不必要な音源の除外、視覚的な識別との音源の関連付け等、多様に活用される。
【０２４４】
ＨＭＤ２３００は、１台または複数のキャプチャデバイスを含む。示されている実施形態では、ＨＭＤ２３００は画像キャプチャデバイス２３０６Ａ及び２３０６Ｂを含むと示される。実施形態では、画像キャプチャデバイスの立体組を活用することによって、現実世界環境の三次元（３Ｄ）画像及びビデオはＨＭＤ２３００の観点からキャプチャされる。係るビデオは、ＨＭＤ２３００を着用中に、ユーザーに「ビデオシースルー」能力を与えるためにユーザー３０２に示される。すなわち、ユーザーは厳密な意味ではＨＭＤ２３００を通して見ることはできないが、画像キャプチャデバイス２３０６Ａ及び２３０６Ｂによってキャプチャされるビデオは、それにも関わらず、ＨＭＤ２３００を通して見ているかのように、ＨＭＤ２３００に外部の現実世界環境を見ることができる同等な機能を提供する。
【０２４５】
係るビデオは、一実施形態では、拡張現実体験を提供するために仮想要素で拡張される、または他の方法で仮想要素と結合される若しくは混合される。示されている実施形態では、２台のカメラがＨＭＤ２３００の前面に示されているが、任意の数の外部に向くカメラがあって良い、または単一のカメラをＨＭＤ２３００に設置し、任意の方向で配向できることが理解される。例えば、別の実施形態では、環境の追加のパノラマ画像キャプチャを提供するためにＨＭＤ２３００の側面に取り付けられるカメラがあって良い。
【０２４６】
図２２は、ユーザー３０２のＨＭＤ２３００にビデオゲームコンテンツをレンダリングできるクライアントシステム２４０２を使用するゲームプレイの一例を示す。この図では、ＨＭＤ２３００に提供される、例えばゲームコンテンツ等、仮想オブジェクトの状態は豊かな対話型３−Ｄ空間にある。上述されたように、仮想オブジェクトの状態はクライアントシステム２４０２にダウンロードされる、またはクラウド処理システムによって一実施形態で実行される。クラウドゲーミングサービス２２１２は、特定のゲーム２４３０にアクセスし、他の友人と経験を共有し、コメントを掲載し、そのアカウント情報を管理できる、ユーザー２４０４のデータベースを含む。
【０２４７】
クラウドゲーミングサービス２２１２は、ゲームプレイ、将来のゲームプレイ中に利用可能であり、ソーシャルメディアネットワークに共有されて良い、またはトロフィー、商品、ステータス、ランキング等を記憶するために使用されて良い、特定のユーザーのゲームデータ２４０６を記憶する。ソーシャルデータ２４０８は、クラウドゲーミングサービス２２１２によって管理される。一実施形態では、ソーシャルデータ２４０８は、コンピュータネットワーク２２１０上でクラウドゲーミングサービス２２１２とインタフェースされる別個のソーシャルメディアネットワークによって管理される。コンピュータネットワーク２２１０上で、任意の数のクライアントシステム２４１０がコンテンツへのアクセス及び他のユーザーとの対話のために接続される。
【０２４８】
図２４の例を続けると、ＨＭＤ２３００で見られる三次元対話シーンは、３−Ｄビューに示されるキャラクタ等のゲームプレイ、または別の仮想環境を含む。例えばＰ１等、１つのキャラクタは、ＨＭＤ２３００を着用しているユーザー３０２によって制御される。この例は、ＨＭＤユーザー３０２が３−Ｄビューで別のキャラクタにボールをダンクシュートしている、２人のプレーヤの間のバスケットボールシーンを示す。他のキャラクタは、ゲームのＡＩ（人工知能）キャラクタであることがある、または別の１人または複数のプレーヤ（Ｐｎ）によって制御できる。ＨＭＤ２３００を着用しているユーザー３０２は使用の空間で動き回っていると示され、ＨＭＤ２３００はユーザーの頭の動き及び体の位置に基づいて動き回る。カメラ２４１２は室内の表示画面上に位置決めされて示されているが、ＨＭＤの使用のため、カメラ２４１２はＨＭＤ２３００の画像をキャプチャできる任意の場所に配置できる。このようにして、ＨＭＤ２３００でレンダリングされるコンテンツは、ＨＭＤ２３００がカメラ２４１２の観点から位置決めされる方向に依存することがあるので、ユーザー３０２はカメラ２４１２及び表示装置２２１２から約９０度で回転されて示される。言うまでもなく、ＨＭＤの使用中、ユーザー３０２は、ＨＭＤ２３００によってレンダリングされる動的な仮想シーンを利用するために必要とされるように、動き回り、自分の頭を回し、多様な方向で見る。
【０２４９】
図２３は、一実施形態に従って、使用中、ＨＭＤ２３００を着用するユーザーを示す。この例ではＨＭＤ２３００が、カメラ２４１２によってキャプチャされたビデオフレームから入手される画像データを使用し追跡される２５０２ことが示される。さらに、ハンドヘルドコントローラ２２０６も、カメラ２４１２によってキャプチャされたビデオフレームから入手される画像データを使用し追跡される２５０４ことが示される。ＨＭＤ２３００がケーブル２５１０を介してコンピューティングシステム２２０２に接続される構成も示される。一実施形態では、ＨＭＤ２３００は同じケーブルから電力を入手する、または別のケーブルに接続できる。さらに別の実施形態では、ＨＭＤ２３００は、余分な電源コードを回避するために、再充電可能である電池を有する。
【０２５０】
図２４を参照すると、本開示に説明される実施形態に従ってＨＭＤ２６００の例の構成要素を示す図が示されている。ＨＭＤ２６００はＨＭＤ５１０（図５）の例である。ＨＭＤ２６００があらゆるカメラを除外するとき、ＨＭＤ２６００はＨＭＤ３１０（図３）の例である。構成及び有効にされる機能に応じて、より多くの構成要素またはより少ない構成要素を含むまたはＨＭＤ２６００から除外できることが理解されるべきである。ＨＭＤ２６００は、プログラム命令を実行するためのプロセッサ２６０２を含む。メモリ２６０４は記憶目的のために設けられ、一実施形態では、揮発性メモリ及び不揮発性メモリの両方を含む。ユーザー３０２が見る視覚インタフェースを提供するディスプレイ２６０６が含まれる。
【０２５１】
ディスプレイ２６０６は１つの単一のディスプレイによって、または目ごとに別個の表示画面の形で画定される。２つの表示画面が提供されるとき、左目ビデオコンテンツ及び右目ビデオコンテンツを別々に提供することが可能である。目ごとのビデオコンテンツの別々の提示は、例えば、三次元（３Ｄ）コンテンツよりよい没入型制御を提供できる。本明細書に説明されるように、一実施形態では、第２の画面は一方の目に出力を使用し、次いで２Ｄフォーマットでの表示のためにコンテンツをフォーマットすることによってＨＭＤ２６００の第２の画面コンテンツを提供される。一方の目は、一実施形態では、左目ビデオフィードとなることがあるが、他の実施形態では、それは右目ビデオフィードであることがある。
【０２５２】
電池２６０８は、ＨＭＤ２６００用の電源として提供される。他の実施形態では、電源は電力に対する差し込み口接続を含む。他の実施形態では、電力に対する差し込み口接続及び電池２６０８が提供される。運動検出モジュール２６１０は、磁力計２６１２、加速度計２６１４、及びジャイロスコープ２６１６等、多様な種類の運動検知ハードウェアのいずれかを含む。
【０２５３】
加速度計は、加速及び重力によって誘発される反力を測定するための装置である。単一軸モデル及び多軸（例えば、６軸）モデルは、異なる方向での加速の大きさ及び方向を検出できる。加速度計は、傾斜、振動、及び衝撃を検知するために使用される。一実施形態では、３台の加速度計が、２つの角度（ワールドスペースピッチ及びワールドスペースロール）の絶対基準を示す、重力の方向を提供するために使用される。
【０２５４】
磁力計は、ＨＭＤの近傍の磁場の強度及び方向を測定する。一実施形態では、ＨＭＤの中に３つの磁力計が使用され、ワールドスペースヨー角の絶対基準を保証する。一実施形態では、磁力計は、±８０マイクロテスラである地磁場に及ぶように設計される。磁力計は金属により影響を及ぼされ、実際のヨーで単調であるヨー測定を提供する。磁場は、環境内の金属のために歪み、このことがヨー測定の歪みを引き起こす。必要な場合、この歪みはジャイロスコープまたはカメラ等の他のセンサからの情報を使用し較正される。一実施形態では、加速度計２６１４は、ＨＭＤ２６００の傾斜及びアジマスを入手するために磁力計２６１２とともに使用される。
【０２５５】
ジャイロスコープは、角度モーメンタムの原則に基づいて、向きを測定するまたは維持するための装置である。一実施形態では、３つのジャイロスコープは慣性設定に基づいて各軸（ｘ、ｙ、及びｚ）を横切る移動についての情報を提供する。ジャイロスコープは、高速回転を検知するのに役立つ。ただし、ジャイロスコープは、絶対基準の存在がない場合、経時的にドリフトする。ドリフトを削減するために、ジャイロスコープは定期的にリセットされ、これは、オブジェクトの視覚追跡、加速度計、磁力計に基づいて位置及び／または向きの決定等、他の使用可能な情報を使用し行うことができる。
【０２５６】
カメラ２６１８は、現実世界環境の画像及び画像ストリームをキャプチャするために提供される。一実施形態では、ユーザーがＨＭＤ２６００のディスプレイを見ているときにユーザー３０２から離れる方へ）後ろ向きであるカメラ、及び（ユーザーがＨＭＤ２６００のディスプレイを見ているときにユーザー３０２の方へ向けられる）前向きであるカメラを含んだ複数のカメラ（任意選択で）がＨＭＤ２６００に含まれる。さらに、実施形態では、現実世界環境でオブジェクトの深度情報を検知するための深度カメラ２６２０がＨＭＤ２６００に含まれる。
【０２５７】
ＨＭＤ２６００は、音声出力を提供するためのスピーカ２６２２を含む。また、一実施形態では、マイク２６２４が、周囲環境からの音、ユーザー３０２によって行われる会話等を含んだ現実世界環境からの音声をキャプチャするために含まれる。実施形態では、ＨＭＤ２６００はユーザー３０２に触覚フィードバックを提供するための触覚フィードバックモジュール２６２６を含む。一実施形態では、触覚フィードバックモジュール２６２６は、ユーザー３０２に触覚フィードバックを提供するようにＨＭＤ２６００の移動及び／または振動を引き起こすことができる。
【０２５８】
ＬＥＤ２６３０は、ＨＭＤ２６００のステータスの視覚インジケータとして提供される。例えば、ＬＥＤは電池残量、電源オン等を示す。カードリーダ２６３２は、ＨＭＤ２６００がメモリカードに情報を読み込む及びメモリカードから情報を書き出すことを可能にするために提供される。ＵＳＢインタフェース２６３４は、周辺機器の接続、または他の携帯機器、コンピュータ等の他のデバイスへの接続を可能にするためのインタフェースの一例として含まれる。ＨＭＤ２６００の多様な実施形態では、多様な種類のインタフェースのいずれかはＨＭＤ２６００のより大きい接続性を可能にするために含まれて良い。
【０２５９】
実施形態では、Ｗｉ−Ｆｉモジュール２６３６は、無線ネットワーキング技術を介してコンピュータネットワークへの接続を可能にするために含まれる。また、一実施形態では、ＨＭＤ２６００は他のデバイスへの無線接続を可能にするためのブルートゥースモジュール２６３８を含む。通信リンク２６４０は、他のデバイスへの接続のために含まれる。一実施形態では、通信リンク２６４０は無線通信のために赤外線伝送を活用する。他の実施形態では、通信リンク２６４０は、他のデバイスとの通信のために多様な無線伝送プロトコルまたは有線伝送プロトコルのいずれかを活用する。
【０２６０】
入力ボタン／センサ２６４２は、ユーザー３０２に入力インタフェースを提供するために含まれる。ボタン、ジェスチャ、タッチパッド、ジョイスティック、トラックボール等の多様な種類の入力インタフェースのいずれかが含まれて良い。一実施形態では、超音波通信モジュール２６４４が、超音波技術を介して他のデバイスとの通信を容易にするためにＨＭＤ２６００に含まれる。
【０２６１】
実施形態では、バイオセンサ２６４６は、ユーザー３０２からの生理学的データの検出を可能にするために含まれる。一実施形態では、バイオセンサ２６４６は、ユーザー／プロファイル等を識別するために、ユーザーの皮膚、声検出、目の網膜検出を通してユーザー３０２の生体電気信号を検出するための１つまたは複数のドライ電極を含む。
【０２６２】
ＨＭＤ２６００の上記構成部品は、ＨＭＤ２６００に含まれて良い単に例示的な構成要素として説明されている。本開示に説明される多様な実施形態では、ＨＭＤ２６００は多様な上記構成要素のいくつかを含んで良い、または含まなくて良い。ＨＭＤ２６００の実施形態は、本明細書に説明される本発明の態様を容易にする目的で、現在説明されていないが、当該技術分野で既知の他の構成要素をさらに含んで良い。
【０２６３】
本開示に説明される多様な実施形態では、上述のハンドヘルドデバイスは、多様な対話機能を提供するためにディスプレイに表示される対話型アプリケーションと連動して活用されることが当業者によって理解される。本明細書に説明される例示的な実施形態は、ほんの一例としてのみ、及び制限としてではなく提供される。
【０２６４】
一実施形態では、クライアント及び／またはクライアントデバイスは、本明細書に参照されるように、ヘッドマウントディスプレイ（ＨＭＤ）、端末、パーソナルコンピュータ、ゲームコンソール、タブレットコンピュータ、電話、セットトップボックス、キオスク、無線装置、デジタルパッド、スタンドアロンデバイス、ハンドヘルドゲームプレイデバイス等を含んで良い。通常、クライアントは符号化されたビデオストリームを受信し、ビデオストリームを復号し、例えばゲームのプレーヤ等、ユーザーに結果として生じる映像を示すように構成される。符号化されたビデオストリームを受信するプロセス、及び／またはビデオストリームを復号するプロセスは、通常、クライアントの受信バッファに個々のビデオフレームを記憶することを含む。ビデオストリームは、クライアントまたはモニタ若しくはテレビ等の別個のデバイスに不可欠なディスプレイでユーザーに示されて良い。
【０２６５】
クライアントは、任意選択で複数のゲームプレーヤをサポートするように構成される。例えば、ゲームコンソールは、２人、３人、４人以上の同時プレーヤ（例えば、Ｐ１、Ｐ２、...Ｐｎ）をサポートするように構成されて良い。これらのプレーヤのそれぞれはビデオストリームを受信する若しくは共有する、または単一のビデオストリームが、例えば各プレーヤの視点に基づいて生成された、特に各プレーヤのために生成されたフレームの領域を含んで良い。任意の数のクライアントはローカルである（例えば、同一場所に配置される）、または地理的に分散される。ゲームシステムに含まれるクライアントの数は、１または２から数千、数万以上、幅広く変化する。本明細書に使用されるように、用語「ゲームプレーヤ」はゲームをプレイする人を指すために使用され、用語「ゲームプレイデバイス」はゲームをプレイするために使用されるデバイスを指すために使用される。いくつかの実施形態では、ゲームプレイデバイスは、ユーザーにゲーム体験を送達するために協調する複数のコンピューティングデバイスを指して良い。
【０２６６】
例えば、ゲームコンソール及びＨＭＤは、ＨＭＤを通して見られるゲームを送達するためにビデオサーバシステムと協調して良い。一実施形態では、ゲームコンソールはビデオサーバシステムからビデオストリームを受信し、ゲームコンソールはビデオストリームを転送する、またはレンダリングのためにＨＭＤ及び／またはテレビに対してビデオストリームに更新する。
【０２６７】
なおさらに、ＨＭＤは、係るビデオゲームコンテンツ、映画コンテンツ、ビデオクリップコンテンツ、ウェブコンテンツ、広告コンテンツ、コンテストコンテンツ、飛び跳ねゲームコンテンツ、会議電話／電話会議コンテンツ、ソーシャルメディアコンテンツ（例えば、投稿、メッセージ、メディアストリーム、フレンドイベント及び／またはゲームプレイ）、ビデオ部分及び／または音声コンテンツ、ならびにブラウザ及びアプリケーションを介したインターネット上のソース及び任意のタイプのストリーミングコンテンツからの消費のために作られたコンテンツを見る、及び／または作成される若しくは使用される任意のタイプのコンテンツと対話するために使用される。言うまでもなく、任意のタイプのコンテンツは、それがＨＭＤで見ることができる限りレンダリングできる、または画面若しくはＨＭＤの画面にレンダリングできるので、コンテンツの上記リストは制限的ではない。
【０２６８】
クライアントは、受信されたビデオを修正するために構成されたシステムをさらに含んで良いが、必要ではない。例えば、クライアントは追加のレンダリングを実行する、あるビデオ画像を別のビデオ画像にオーバレイする、ビデオ画像をクロップする等のように構成される。別の例として、クライアントは、Ｉフレーム、Ｐフレーム、及びＢフレーム等の多様なタイプのビデオフレームを受信する、ならびにこれらのフレームをユーザーへの表示のために画像に処理するように構成される。いくつかの実施形態では、クライアントのメンバーは追加のレンダリング、シェーディング、３−Ｄへの変換、２Ｄへの変換、ひずみ除去、サイジング、または類似した動作をビデオストリームに対して実行するように構成される。クライアントのメンバーは、複数の音声ストリームまたはビデオストリームを受信するように、任意選択で構成される。
【０２６９】
クライアントの入力装置は、例えば、片手ゲームコントローラ、両手ゲームコントローラ、ジェスチャ認識システム、視線認識システム、音声認識システム、キーボード、ジョイスティック、ポインティングデバイス、力フィードバックデバイス、運動及び／または場所感知デバイス、マウス、タッチスクリーン、ニューラルインタフェース、カメラ、まだ開発されていない入力装置等を含む。
【０２７０】
ビデオソースは、例えばハードウェア、ファームウェア、及び／またはストレージ等のコンピュータ可読媒体に記憶されたソフトウェア等、レンダリングロジックを含む。このレンダリングロジックは、ゲーム状態に基づいてビデオストリームのビデオフレームを作成するように構成される。レンダリングロジックのすべてまたは一部は、１台または複数のグラフィックスプロセシングユニット（ＧＰＵ）の中に任意選択で配置される。レンダリングロジックは、通常、ゲーム状態及び視点に基づいて、オブジェクト間の三次元の空間関係性を決定するため、及び／または適切なテクスチャ等を適用するために構成された処理段階を含む。レンダリングロジックは、符号化される未処理ビデオを生成する。例えば、未処理ビデオはＡｄｏｂｅ  Ｆｌａｓｈ（登録商標）規格、ＨＴＭＬ−５、．ｗａｖ、Ｈ．２６４、Ｈ．２６３、Ｏｎ２、ＶＰ６、ＶＣ−１、ＷＭＡ、Ｈｕｆｆｙｕｖ、Ｌａｇａｒｉｔｈ、ＭＰＧ−ｘ．Ｘｖｉｄ．ＦＦｍｐｅｇ、ｘ２６４、ＶＰ６−８、ｒｅａｌｖｉｄｅｏ、ｍｐ３等に従って符号化される。符号化プロセスはデバイス上のデコーダへの送達のために任意選択でパッケージ化されるビデオストリームを生じさせる。ビデオストリームはフレームサイズ及びフレームレートを特徴とする。任意の他のフレームサイズが使用されて良いが、典型的なフレームサイズは８００ｘ６００、１２８０ｘ７２０（例えば、７２０ｐ）、１０２４ｘ７６８、１０８０ｐを含む。フレームレートは毎秒ビデオフレーム数である。一実施形態では、ビデオストリームは異なるタイプのビデオフレームを含む。例えば、Ｈ．２６４規格は「Ｐ」フレーム及び「Ｉ」フレームを含む。Ｉフレームは表示装置ですべてのマクロブロック／ピクセルをリフレッシュするための情報を含む。一方、Ｐフレームはそのサブセットをリフレッシュするための情報を含む。Ｐフレームは、通常、データサイズでＩフレームより小さい。本明細書で使用するとき、用語「フレームサイズ」はフレームの中のピクセルの数を指すように意図されている。用語「フレームデータサイズ」は、フレームを記憶するために必要とされるバイトの数を指すために使用される。
【０２７１】
いくつかの実施形態では、クライアントは汎用コンピュータ、特殊目的コンピュータ、ゲームコンソール、パーソナルコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、モバイルコンピューティングデバイス、携帯ゲーム機、携帯電話、セットトップボックス、ストリーミングメディアインタフェース／デバイス、多機能テレビまたはネットワークディスプレイ、または本明細書に定められるようにクライアントの機能性を実行するように構成されることが可能な任意の他のコンピューティングデバイスである。一実施形態では、クラウドゲーミングサーバは、ユーザーによって活用されているクライアントデバイスのタイプを検出し、ユーザーのクライアントデバイスに適切なクラウドゲーミング体験を提供するように構成される。例えば、画像設定、音声設定、及び他のタイプの設定は、ユーザーのクライアントデバイスに最適化されて良い。
【０２７２】
図２５は、情報サービスプロバイダアーキテクチャの実施形態を示す。情報サービスプロバイダ（ＩＳＰ）２７０２は、地理的に分散され、コンピュータネットワーク２２１０を介して接続されるユーザー２７００−１、２７００−２、２７００−３、２７００−４等に多数の情報サービスを送達する。一実施形態では、ＩＳＰは株価更新等の１つのタイプのサービス、または放送媒体、ニュース、スポーツ、ゲーミング等のさまざまなサービスを送達する。さらに、各ＩＳＰによって提供されるサービスは動的である。つまり、サービスは任意の時点で追加できるまたは取り除くことができる。したがって、特定の個人に特定のタイプのサービスを提供するＩＳＰは経時的に変化することがある。例えば、ユーザーは、ユーザーが自身の地元にいる間にユーザーに近接するＩＳＰによってサービスを提供され、ユーザーは、異なる都市に旅行するときは異なるＩＳＰによってサービスを提供される。地元のＩＳＰは新しいＩＳＰに必要な情報及びデータを転送し、これによりユーザー情報は新しい都市までユーザーに「付いていき」、データをユーザーにより近く、及びよりアクセスしやすくする。別の実施形態では、ユーザーのための情報を管理するマスタＩＳＰとマスタＩＳＰからの制御下のユーザーと直接的にインタフェースするサーバＩＳＰとの間でマスタ‐サーバ関係性が確立される。別の実施形態では、クライアントが世界中を移動し、ユーザーにサービスを提供するためにより良い位置にあるＩＳＰをこれらのサービスを送達するサービスにするので、データはあるＩＳＰから別のＩＳＰに転送される。
【０２７３】
ＩＳＰ２７０２は、コンピュータネットワーク２２１０上でカスタマにコンピュータベースのサービスを提供するアプリケーションサービスプロバイダ（ＡＳＰ）２７０６を含む。また、ＡＳＰモデルを使用し提供されるソフトウェアは、オンデマンドソフトウェアまたはソフトウェアアズアサービス（ＳａａＳ）と呼ばれることもある。（カスタマ関係性管理等の）特定のアプリケーションプログラムにアクセスを提供する簡略な形は、ＨＴＴＰ等の標準プロトコルを使用することによる。アプリケーションソフトウェアは、ベンダのシステムに常駐し、ウェブブラウザを通してＨＴＭＬを使用するユーザー、ベンダによって提供される特殊目的クライアントソフトウェアによって、またはシンクライアント等の他の遠隔インタフェースによってアクセスされる。
【０２７４】
広い地理的地域で送達されるサービスは、多くの場合、クラウドコンピューティングを使用する。クラウドコンピューティングは、動的にスケーラブル且つ多くの場合視覚化されたリソースがコンピュータネットワーク２２１０でサービスとして提供されるコンピューティングのスタイルである。ユーザーは、ユーザーをサポートする「クラウド」の技術インフラストラクチャで専門家である必要はない。一実施形態では、クラウドコンピューティングは、インフラストラクチャアズアサービス（ＩａaＳ）、プラットフォームアズアサービス（ＰａａＳ）、及びソフトウェアアズアサービス（ＳａａＳ）等の異なるサービスで分割される。クラウドコンピューティングサービスは、多くの場合、ウェブブラウザからアクセスされる共通ビジネスアプリケーションをオンラインで提供する。一方、ソフトウェア及びデータはサーバに記憶される。用語クラウドはインターネットがコンピュータネットワーク図でどのように示されるのかに基づいて（例えば、サーバ、ストレージ、及びロジックを使用する）インターネットのメタファーとして使用され、それが隠す複雑なインフラストラクチャの抽象概念である。
【０２７５】
さらに、ＩＳＰ２７０２は、単一ビデオゲーム及びマルチプレーヤビデオゲームをプレイするためにゲームクライアントによって使用されるゲーム処理サーバ（ＧＰＳ）２７０８を含む。インターネット上でプレイされる大部分のビデオゲームは、ゲームサーバへの接続を介して動作する。通常、ゲームはプレーヤからデータを収集し、他のプレーヤにデータを配布する専用のサーバアプリケーションを使用する。これはピアツーピア構成よりもより効率的且つ効果的であるが、それはサーバアプリケーションをホストするために別個のサーバを必要とする。別の実施形態では、ＧＰＳはプレーヤ間で通信を確立し、その各ゲームプレイデバイスは集中型のＧＰＳに依存することなく情報を交換する。
【０２７６】
専用のＧＰＳは、クライアントとは無関係に動作するサーバである。係るサーバは通常データセンタに位置する専用ハードウェアで実行し、より多くの帯域幅及び専用の処理能力を提供する。専用サーバは、大部分のＰＣベースのマルチプレーヤゲーム用のゲームサーバをホストする好ましい方法である。大規模に、マルチプレーヤオンラインゲームは通常、ゲーム所有権を所有するソフトウェア企業によってホストされる専用のサーバ上で実行し、サーバがコンテンツを制御し、更新することを可能にする。
【０２７７】
放送処理サーバ（ＢＰＳ）２７１０は、視聴者に音声信号またはビデオ信号を配布する。非常に狭い範囲の視聴者に放送することは、ナローキャスティングと呼ばれることがある。放送配信の最後の行程は、信号が傾聴者または視聴者にどのようにして到達するのかであり、信号はアンテナ及び受信機へラジオ局若しくはテレビ局と同様に放送で来る、または局を介して若しくはネットワークから直接的にケーブルテレビまたはケーブル無線（つまり「無線ケーブル」）を通って来ても良い。また、インターネットは、特に信号及び帯域幅を共有できるようにするマルチキャスティングを用いて、ラジオまたはテレビのどちらかを受取人にもたらしても良い。歴史的に、放送は、全国放送または地域放送等、地理的地域で区切られてきた。ただし、高速インターネットの普及により、コンテンツは世界のほぼいずれの国にも到達できるので、放送は地理によって定められない。
【０２７８】
ストレージサービスプロバイダ（ＳＳＰ）２７１２は、コンピュータにストレージスペースサービス及び関連する管理サービスを提供する。また、ＳＳＰは周期バックアップ及びアーカイブ処理を提供する。ストレージをサービスとして提供することによって、ユーザーは必要に応じてより多くのストレージを注文できる。別の主要な優位点は、ＳＳＰがバックアップサービスを含み、ユーザーが、自分のコンピュータのハードドライブが故障する場合に自分のすべてのデータを失わないことである。さらに、実施形態では、複数のＳＳＰはユーザーデータの完全なコピーまたは部分的なコピーを有し、ユーザーが位置するまたはデバイスがデータにアクセスするために使用されている場所に関わりなく、ユーザーが効率的にデータにアクセスできるようにする。例えば、ユーザーは、ユーザーが移動中である間に携帯電話でだけではなく、家のコンピュータでも個人的なファイルにアクセスできる。
【０２７９】
通信プロバイダ２７１４は、ユーザーに接続性を提供する。１つの種類の通信プロバイダは、インターネットへのアクセスを提供するインターネットサービスプロバイダ（ＩＳＰ）である。ＩＳＰは、ダイヤルアップ、ＤＳＬ、ケーブルモデム、ファイバ、無線、または専用の高速相互接続等のインターネットプロトコルデータグラムを送達するために適切なデータ伝送技術を使用しそのカスタマを接続する。また、通信プロバイダは、ｅ−メール、インスタントメッセージング、及びＳＭＳテクスティング等のメッセージサービスも提供できる。別のタイプの通信プロバイダは、インターネットに直接バックボーンアクセスを提供することによって帯域幅またはネットワークアクセスを販売するネットワークサービスプロバイダ（ＮＳＰ）である。ネットワークサービスプロバイダは、一実施形態では、電気通信企業、データキャリヤ、無線通信プロバイダ、インターネットサービスプロバイダ、高速インターネットアクセスを提供するケーブルテレビ事業者等を含む。
【０２８０】
データ交換２７０４は、ＩＳＰ２７０２の内側のいくつかのモジュールを相互接続し、コンピュータネットワーク２２１０を介してユーザー２７００にこれらのモジュールを接続する。データ交換２７０４は、ＩＳＰ２７０２のすべてのモジュールが近接している小さい領域をカバーする、または異なるモジュールが地理的に分散しているときに大きい地理的地域をカバーする。例えば、データ交換２７８８は、データセンタのキャビネットの中に高速ギガビットイーサネット（またはより高速）、または大陸間バーチャルエリアネットワーク（ＶＬＡＮ）を含む。
【０２８１】
ユーザー２７００は、少なくとも１つのＣＰＵ、ディスプレイ、及びＩ／Ｏを含むクライアントデバイス２７２０でリモートサービスにアクセスする。クライアントデバイスは、ＰＣ、携帯電話、ネットブック、タブレット、ゲーミングシステム、ＰＤＡ等であることがある。一実施形態では、ＩＳＰ２７０２は、クライアントによって使用されるデバイスのタイプを認識し、利用されている通信方法を調整する。他の場合、クライアントデバイスは、ＩＳＰ２７０２にアクセスするために、ｈｔｍｌ等、標準的な通信方法を使用する。
【０２８２】
実施形態のいくつかはユーザー３０２の手に関して本明細書に説明されるが、実施形態がユーザー３０２の別の体の部分にも同様に適用することに留意されたい。
【０２８３】
本開示に説明される実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースのまたはプログラム可能な家庭用電化製品、ミニコンピュータ、メインフレームコンピュータ等を含んだ多様なコンピュータシステムで実施されて良い。また、本開示に説明される実施形態は、タスクが有線ベースのネットワークまたは無線ネットワークを通してリンクされる遠隔処理装置によって実行される、分散型コンピューティング環境で実践することもできる。
【０２８４】
上記の実施形態を念頭に、本開示で説明される実施形態が、コンピュータシステムに記憶されるデータを含んだ多様なコンピュータ実装動作を利用できることが理解されるべきである。これらの動作は物理量の物理的な操作を必要とする動作である。本開示に説明される実施形態の部分を形成する本明細書に説明される動作のいずれかは、有用な機械動作である。また、本開示に説明されるいくつかの実施形態は、これらの動作を実行するためのデバイスまたは装置にも関する。装置は必要とされる目的のために特に構築することができる、または装置はコンピュータに記憶されるコンピュータプログラムによって選択的に活性化または構成される汎用コンピュータであることがある。特に、多様な汎用機械は、本明細書の教示に従って作成されたコンピュータプログラムとともに使用できる、または必要とされる動作を実行するためにより専門化された装置を構築することがより簡便であるかもしれない。
【０２８５】
また、本開示に説明されるいくつかの実施形態は、コンピュータ可読媒体でコンピュータ可読コードとして実施できる。コンピュータ可読媒体は、その後、コンピュータシステムによって読み取ることができるデータを記憶できる任意のデータストレージデバイスである。コンピュータ可読媒体の例は、ハードドライブ、ＮＡＳ、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、光学式データストレージデバイス、非光学式データストレージデバイス等を含む。コンピュータ可読媒体は、コンピュータ可読コードが分散式で記憶され、実行されるように、ネットワーク結合コンピュータシステムで分散されたコンピュータ可読有形媒体を含むことがある。
【０２８６】
いくつかの実施形態では、本明細書に説明される実施形態のいずれかは、残りの実施形態のいずれかと結合できることに留意されたい。
【０２８７】
さらに、上述された実施形態のいくつかはゲーミング環境に関して説明されるが、いくつかの実施形態では、ゲームの代わりに、例えばテレビ会議環境等、他の環境が使用される。
【０２８８】
方法動作は特定の順序で説明されてきたが、オーバレイ動作の処理が所望されるように実行される限り、他の準備動作が動作間で実行されて良い、または動作がわずかに異なるときに発生するように動作が調整されて良い、または処理と関連付けられた多様な間隔で処理動作の発生を可能にするシステムで分散されて良いことが理解されるべきである。
【０２８９】
本開示に説明された上述の実施形態は、理解を明確にするためにいくぶん詳細に説明されているが、特定の変更及び修正が添付の特許請求の範囲内で実践できることが明らかになる。したがって、本実施形態は、制限的ではなく例示的と見なされるべきであり、実施形態は本明細書に示される詳細に限定されるべきではなく、添付の特許請求の範囲及び均等物の中で修正されて良い。
【図１Ａ】
2018136950.tif 000003
【図１Ｂ】
2018136950.tif 000004
【図１Ｃ】
2018136950.tif 000005
【図２Ａ】
2018136950.tif 000006
【図２Ｂ】
2018136950.tif 000007
【図３】
2018136950.tif 000008
【図４】
2018136950.tif 000009
【図５】
2018136950.tif 000010
【図６】
2018136950.tif 000011
【図７Ａ】
2018136950.tif 000012
【図７Ｂ】
2018136950.tif 000013
【図８】
2018136950.tif 000014
【図９】
2018136950.tif 000015
【図１０】
2018136950.tif 000016
【図１１】
2018136950.tif 000017
【図１２】
2018136950.tif 000018
【図１３】
2018136950.tif 000019
【図１４】
2018136950.tif 000020
【図１５】
2018136950.tif 000021
【図１６】
2018136950.tif 000022
【図１７】
2018136950.tif 000023
【図１８Ａ】
2018136950.tif 000024
【図１８Ｂ】
2018136950.tif 000025
【図１９】
2018136950.tif 000026
【図２０】
2018136950.tif 000027
【図２１】
2018136950.tif 000028
【図２２】
2018136950.tif 000029
【図２３】
2018136950.tif 000030
【図２４】
2018136950.tif 000031
【図２５】
2018136950.tif 000032