(57)【特許請求の範囲】
【請求項１】
システムであって、
ユーザーによって着用されるように構成されたヘッドマウントディスプレイ（ＨＭＤ）と、
前記ユーザーの手によって着用されるように構成された手袋であって、前記手袋が前記手の指ごとに指セグメントを有し、前記手袋が、前記手によって移動されるときに前記指セグメントの位置を検出するための複数のセンサを含む、前記手袋と、
前記ＨＭＤの画像及び前記手袋の画像を取り込むための１つまたは複数のカメラと、
前記１つまたは複数のカメラに接続され、前記ＨＭＤ及び前記手袋とインタフェースがとられるコンピューティング装置と、
を含み、
前記コンピューティング装置が、ピンチアンドホールドジェスチャが前記指セグメントの少なくとも２つによって実行されると判断するために、前記センサからのデータを分析するように構成され、
前記コンピューティング装置が、前記ＨＭＤに通信される画像データを生成するために構成され、これにより前記ＨＭＤでレンダリングされるシーンが、前記ピンチアンドホールドジェスチャが関連付けられる前記シーンの場所を示す視覚的なキューをレンダリングするように修正され、
前記ピンチアンドホールドジェスチャがアクティブである間、前記コンピューティング装置が前記手袋の動きを前記シーンの動きと結合するために構成され、これにより前記シーンが前記手袋の検出された動きとともに移動し、
前記コンピューティング装置が、前記ピンチアンドホールドジェスチャがアクティブである期間中、前記ＨＭＤの動きに従って前記シーンを動かさないように構成される、システム。
【請求項２】
前記ピンチアンドホールドジェスチャが作動されないようにすると判断されるとき、前記コンピューティング装置が、前記手袋の前記動きと前記シーンの前記動きとの間の前記結合を解放するように構成される、請求項１に記載のシステム。
【請求項３】
前記コンピューティング装置が、前記ピンチアンドホールドジェスチャがアクティブである間、回転ジェスチャが前記手袋によって実行されるかどうかを判断するように構成され、前記コンピューティング装置が、前記回転ジェスチャが実行されると判断することに応えて、前記シーンを回転させるためのデータを送信するように構成される、請求項１に記載のシステム。
【請求項４】
前記コンピューティング装置が、前記ピンチアンドホールドジェスチャがアクティブである間、スライドジェスチャが前記手袋によって実行されるかどうかを判断するように構成され、前記コンピューティング装置が、前記スライドジェスチャが実行されると判断することに応えて前記シーンを変換するためのデータを送信するように構成され、前記シーンの前記変換が前記シーンの表示されていない部分をレンダリングし、前記表示されていない部分が、前記変換の動作が発生する前に前記ＨＭＤでレンダリングされない、請求項１に記載のシステム。
【請求項５】
前記コンピューティング装置が、前記手袋の前記画像から前記指セグメントのそれぞれの位置を決定するように構成され、前記コンピューティング装置が、前記ピンチアンドホールドジェスチャが前記少なくとも２つの指セグメントによって実行されると判断するために、前記指セグメントの前記位置から、前記少なくとも２つの指セグメントの１つの一部分が前記少なくとも２つの指セグメントの別の１つの一部分と接触していると判断するように構成される、請求項１に記載のシステム。
【請求項６】
前記コンピューティング装置が、前記シーンの前記ユーザーの前記手の画像を表示するためのデータを送信するように構成され、前記視覚的なキューが、前記手の前記画像が前記ピンチアンドホールドジェスチャを実行する前記シーンの前記場所で生成される、請求項１に記載のシステム。
【請求項７】
ヘッドマウントディスプレイ（ＨＭＤ）を介して見られるシーンの可視部分を変換するための方法であって、
視界方向及び前記視界方向の変化を決定するために現実空間でユーザーによって着用されるように構成された前記ＨＭＤの画像を取り込むことと、
前記ユーザーの手の画像を取り込むことと、
前記手の前記取り込まれた画像から前記ユーザーの前記手を追跡することと、
前記ＨＭＤを介して見られる前記シーンのピン止めを作動させることであって、これにより前記ピン止めが前記シーンを追跡されている前記手の場所に固定し、前記ピン止めが、前記手によって実行されるピンチアンドホールドジェスチャを検出すると作動させられる、前記ピン止めを作動させることと、
前記ピン止めがアクティブである間に前記手の動きに応えて前記シーンの変換を有効にすることであって、前記変換が前記シーンの前記可視部分を超えた表示を有効にする、前記変換を有効にすることと、
前記ピンチアンドホールドジェスチャがなされている期間中、前記ＨＭＤの動きに従って前記シーンを変換しないことと、
前記ピン止めがインアクティブであると検出されるとき前記変換を無効にすることであって、前記ピンチアンドホールドジェスチャが検出されなくなると前記ピン止めがインアクティブである、前記変換を無効にすることと、
を含む、方法。
【請求項８】
前記ＨＭＤの前記取り込まれた画像から前記ＨＭＤを追跡することと、
前記ピン止めがインアクティブであると検出されるとき、及び前記ＨＭＤの動きが追跡されるとき、前記シーンの前記可視部分の変化を有効にすることと、
をさらに含む、請求項７に記載の方法。
【請求項９】
前記ピン止めが作動されることを示すために、前記シーンの前記可視部分の中でキューを生成することをさらに含む、請求項７に記載の方法。
【請求項１０】
前記シーンの前記ピン止めを作動させることが、前記ピンチアンドホールドが所定の時間量よりも多く実行されると判断されるときに実行される、請求項７に記載の方法。
【請求項１１】
前記ピンチアンドホールドジェスチャが実行される間、前記ユーザーによって実行される追加のジェスチャに関するジェスチャデータを受信することと、
前記ジェスチャデータに従って前記シーンの前記可視部分を修正することと、
をさらに含む、請求項７に記載の方法。
【請求項１２】
前記ユーザーの他の手の画像を取り込むことと、
前記他の手の前記取り込まれた画像から前記ユーザーの前記他の手を追跡することと、
前記他の手の追跡から、前記ユーザーの前記他の手によって回転ジェスチャが実行されると判断されるときに、前記シーンの回転を有効にすることであって、前記シーンの前記回転が、前記シーンが追跡されている前記手の前記場所に固定される間、有効にされる、前記回転を有効にすることと、
をさらに含む、請求項７に記載の方法。
【請求項１３】
前記手の親指が前記手の指と接触していないとき、前記ピンチアンドホールドジェスチャが検出されなくなる、請求項７に記載の方法。
【請求項１４】
ヘッドマウントディスプレイ（ＨＭＤ）を介して見られるシーンのサイズを変更するための方法であって、
視界方向及び前記視界方向の変化を決定するために現実空間でユーザーによって着用されるように構成された前記ＨＭＤの画像を取り込むことと、
前記ユーザーの手の画像を取り込むことと、
前記取り込まれた画像から、それぞれの手がピンチアンドホールドジェスチャを実行すると判断することと、
前記取り込まれた画像が、前記ピンチアンドホールドジェスチャが実行されていることを示す前記シーンの場所に前記シーンを固定することと、
前記シーンが固定されている間、前記手の間の分離の相対的な変化に応えて、前記シーンのサイズの変更を有効にすることと、
前記ピンチアンドホールドジェスチャがなされている期間中、前記ＨＭＤの動きに従って前記シーンを動かさないことと、
前記取り込まれた画像から、前記手の１つからの前記ピンチアンドホールドジェスチャの１つが、解放されたと検出されるときに前記シーンのサイズの変更を無効にすることと、
を含む、前記方法。
【請求項１５】
前記分離が増加していると判断することに応えて、前記シーンをズームインするためのデータを生成することと、
前記分離が減少していると判断することに応えて、前記シーンをズームアウトするためのデータを生成することと、
をさらに含む、請求項１４に記載の方法。
【請求項１６】
前記手が前記ＨＭＤから離れるのか、それとも前記ＨＭＤに向かって移動するのかを判断することと、
前記手が前記ＨＭＤに向かって移動すると判断すると、前記シーンのズームアウトを容易にすることと、
前記手が前記ＨＭＤから離れていくと判断すると、前記シーンのズームインを容易にすることと、
をさらに含む、請求項１４に記載の方法。
【請求項１７】
前記手が、前記ユーザーの胴の幅に実質的に平行な方向で前記ＨＭＤから離れるのか、それとも前記ＨＭＤに向かって移動するのかを判断することと、
前記手が前記方向で前記ＨＭＤに向かって移動すると判断すると、前記シーンをズームアウトすることを容易にすることと、
前記手が前記方向で前記ＨＭＤから離れると判断すると、前記シーンのズームインを容易にすることと、
をさらに含む、請求項１４に記載の方法。
【請求項１８】
前記手を追跡することが、前記手の位置及び向きを決定するために前記手を追跡することを含み、前記方法がさらに、
前記手が回転ジェスチャを実行するかどうかを判断するために前記位置及び前記向きを分析することと、
前記手が前記回転ジェスチャを実行すると判断することに応えて、前記シーンのオブジェクトが傾くことを有効にするためのデータを提供することと、
をさらに含む、請求項１４に記載の方法。
【請求項１９】
前記取り込まれた画像から、前記手が前記ユーザーの胴の幅に実質的に垂直な方向で移動する間、前記手の間の前記分離が変化しているかどうかを判断することと、
前記取り込まれた画像から、前記分離が変化する運動と、前記ユーザーの前記胴の前記幅に実質的に垂直な前記方向での前記動きとの間の優勢な運動を識別することと、
前記優勢な運動から従属的な運動を決定することと、
前記従属的な運動を無視しながら、前記優勢な運動に従って、前記シーンの前記サイズの変更を有効にすることと、
をさらに含む、請求項１４に記載の方法。
【請求項２０】
前記取り込まれた画像から、前記手の間の前記分離が、前記手が前記ユーザーの胴の幅に実質的に平行な軸の回りを回転する間、変化しているかどうかを判断することと、
前記取り込まれた画像から、前記分離が変化する運動と、前記手が回転する運動との間の優勢な運動を識別することと、
前記優勢な運動から従属的な運動を決定することと、
前記従属的な運動を無視しながら、前記優勢な運動に従って前記シーンの変化を有効にすることと、
をさらに含む、請求項１４に記載の方法。
【請求項２１】
前記ＨＭＤと前記手の前記１つとの間の第１の相対位置を決定することと、
前記ＨＭＤと前記手の別の手との間の第２の相対位置を決定することと、
前記手が前記ＨＭＤの視野の中にあると判断すると、表示のために前記ＨＭＤに前記手のための画像データを送信することであって、前記手が前記視野の中にある旨の前記判断が前記第１の相対位置及び前記第２の相対位置から下される、前記送信することと、
をさらに含む、請求項１４に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はピンチアンドホールドジェスチャを適用することによってヘッドマウントディスプレイに表示されるシーンをナビゲートするための方法及びシステムに関する。
【背景技術】
【０００２】
現在のゲーム機は、多種多様の興奮及びやり取りをゲームプレーヤに提供している。ゲーム機はコンソールデバイス、ハンドヘルドコントローラ、及び表示画面を含む。ゲームプレーヤはハンドヘルドコントローラをコンソールデバイスに接続し、コンソールデバイスを表示画面に接続する。ゲームプレーヤは、次いでコンピュータネットワークからコンソールデバイスにゲームをダウンロードする、またはコンソールデバイスのディスクスロットの中にディスクを投入し、ゲームプレイを可能にする。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ゲームプレイ中、ゲームプレーヤはハンドヘルドコントローラを操作してゲームをプレイする。例えば、ゲームプレーヤは、ゲームの中でアバターを制御するためにまたはゲームプレイの環境を選ぶために１つのボタンまたはボタンの組合せを選択する。しかしながら、ゲームプレーヤはゲームをプレイできるようになるために、各ボタンがアバターの動きをどのようにして制御するのかを学習する。さらにゲームプレーヤがゲームのプレイ中にハンドヘルドコントローラを使用することは不便である。
【０００４】
本発明の実施形態が生じるのはこの状況においてである。
【課題を解決するための手段】
【０００５】
本開示に説明される実施形態は、ピンチアンドホールドジェスチャを適用することによりヘッドマウントディスプレイに表示されるシーンをナビゲートするための方法及びシステムを提供する。
【０００６】
一実施形態では、ピンチアンドホールドジェスチャを実行するためのシステムが説明される。システムは、ユーザーによって着用されるヘッドマウントディスプレイ（ＨＭＤ）を含む。システムはさらにユーザーの手に着用される手袋を含む。手袋は手の指ごとにセグメントを有する。各指セグメントは、手によって移動されるときに指セグメントの位置を検出するためのセンサを含む。システムは、ＨＭＤの画像及び手袋の画像を取り込むための１つまたは複数のカメラ、ならびに１つまたは複数のカメラに接続され、ＨＭＤ及び手袋とインタフェースがとられるコンピューティング装置を含む。コンピューティング装置は、ピンチアンドホールドジェスチャが指セグメントの少なくとも２つによって実行されると判断するために、指セグメントのセンサからのデータを分析する。さらに、コンピューティング装置はＨＭＤに通信される画像データを生成し、これによりＨＭＤでレンダリングされるシーンは、ピンチアンドホールドジェスチャが関連付けられるシーンの場所を示す視覚的なキューをレンダリングするために修正される。ピンチアンドホールドジェスチャがアクティブである間、コンピューティング装置は手袋の動きをシーンの動きと結合し、これによりシーンは検出された手袋の動きとともに移動する。
【０００７】
実施形態では、ＨＭＤを介して見られるシーンの可視部分を変換するための方法が説明される。方法は、視界方向及び視界方向の変化を決定するために現実空間でユーザーによって着用されるＨＭＤの画像を取り込むことを含む。方法はさらに、ユーザーの手の画像を取り込むこと、取り込まれた手の画像からユーザーの手を追跡すること、及び、ピン止めが、追跡されている手の場所にシーンを固定するようにＨＭＤを介して見られるシーンのピン止めを作動させることを含む。ピン止めは手によって実行されるピンチアンドホールドジェスチャを検出すると作動される。方法は、ピン止めがアクティブである間、手の動きに応えてシーンの変換を有効にすることを含む。変換は、シーンの現在の表示を超えた表示を有効にする。方法は、ピン止めがインアクティブであると検出されるとき変換を無効にすることを含む。ピン止めは、ピンチアンドホールドジェスチャが検出されなくなるとインアクティブである。
【０００８】
一実施形態では、ＨＭＤを介して見られるシーンのサイズを変更するための方法が説明される。方法は、視界方向及び視界方向の変化を決定するために現実空間でユーザーによって着用されたＨＭＤの画像を取り込むことを含む。方法はさらに、ユーザーの手の画像を取り込むことと、取り込まれた画像からそれぞれの手がピンチアンドホールドジェスチャを実行することを判断することと、取り込まれた画像が、ピンチアンドホールドジェスチャが実行されていることを示すシーンの場所にシーンを固定することとを含む。方法は、シーンが固定される間、手の間の分離の相対的な変化に応えてシーンのサイズの変更を有効にすることと、手の１つからピンチアンドホールドジェスチャの１つが解放されたと取り込まれた画像から検出されるときにシーンのサイズの変更を無効にすることを含む。
【０００９】
本明細書に説明される実施形態のいくつかの優位点は、シーンの制御を容易にするためにピンチアンドホールドジェスチャ及び／または追加のジェスチャを使用することを含む。ピンチアンドホールドジェスチャ及び／または追加のジェスチャは、手または手袋を使用し、実行される。したがって、ピンチアンドホールドジェスチャ及び／または追加のジェスチャを実行するためにハンドヘルドコントローラを使用する必要はない。さらに、ピンチアンドホールドジェスチャ及び／または追加のジェスチャを実行するための手または手袋の使用は、ユーザーに、あたかもユーザーがシーンとやり取りするために自然な手の動きを実行しているように感じさせる。自然な手の動きは、例えばユーザーがシーンの中におり、シーンで動作を実行しているように等、ユーザーに没入感覚を与える。
【００１０】
本開示に説明される他の態様は、例として本開示に説明される原理を示す添付図面とともに解釈される以下の発明を実施するための形態から明らかになる。
【図面の簡単な説明】
【００１１】
本開示の多様な実施形態は、添付図面と併せて解釈される以下の説明を参照することにより最も良く理解される。
【００１２】
【図１】本開示の一実施形態に係るピンチアンドホールドジェスチャの使用を示すためのシステムの図である。
【００１３】
【図２Ａ】本開示の一態様に従って、ユーザーによって実行される多様なジェスチャ、及びユーザーによって着用されるヘッドマウントディスプレイ（ＨＭＤ）に表示されるシーンに対するジェスチャの影響を示すために列挙する表である。
【００１４】
【図２Ｂ】本開示の一実施形態に従って、シーンを変換するためのスライドジェスチャを示す図である。
【００１５】
【図２Ｃ】本開示の一実施形態に従って、シーンを回転させるために片手を使用し、実行される回転ジェスチャを示す図である。
【００１６】
【図２Ｄ】本開示の一実施形態に従って、シーンを回転させるために両手を使用し、実行される回転ジェスチャを示す図である。
【００１７】
【図２Ｅ】本開示の一実施形態に従って、シーンをズームイン及びズームアウトするために両方の手を使用し、実行される多様なジェスチャを示す図である。
【００１８】
【図２Ｆ】本開示の一実施形態に従って、シーンを傾けるために両手を使用し、実行される多様なジェスチャを示す図である。
【００１９】
【図３Ａ】本開示の一実施形態に従って、ピンチアンドホールドジェスチャを示すための方法のフローチャートである。
【００２０】
【図３Ｂ】本開示の一実施形態に従って、ユーザーによって実行されるジェスチャに従ってシーンを修正するための方法のフローチャートである。
【００２１】
【図４Ａ】本開示の一実施形態に従って、カメラを使用するユーザーの手の位置及び向きの取込み、ならびにカメラを使用するＨＭＤの位置及び向きの取込みを示すためのシステムの図である。
【００２２】
【図４Ｂ】本開示の一実施形態に従って、パッシブな手袋の指セグメントの位置及び向きを決定するために図４Ａのカメラと併せてパッシブな手袋の使用を示すためのシステムの図である。
【００２３】
【図４Ｃ】本開示の一実施形態に従って、アクティブな手袋の指セグメントの位置を決定するためにアクティブな手袋が使用されるシステムの図である。
【００２４】
【図５】本開示の一実施形態に従って、ＨＭＤに関してユーザーの手の相対的な位置及び相対的な向きを決定するためのＨＭＤ上でのカメラの使用を示すためのシステムの図である。
【００２５】
【図６】本開示の一実施形態に従って、ユーザーによって実行される多様なジェスチャを示すために使用される図である。
【００２６】
【図７Ａ】本開示の一実施形態に従って、ユーザーによってユーザーの左手に着用されるアクティブな手袋の実施形態の背面図である。
【００２７】
【図７Ｂ】本開示の一実施形態に従って、手袋の導電パッドが手袋の別の導電パッドと接触しているときの信号の生成を示すための図７Ａの手袋の側面図である。
【００２８】
【図８】本開示の一実施形態に従って、ＨＭＤにシーンを表示するためにシステムの多様な装置間でのデータの通信を示すためのシステムの実施形態の図である。
【００２９】
【図９】本開示の一実施形態に従う、ＨＭＤの等角図である。
【００３０】
【図１０】本開示の一実施形態に従って、ビデオゲームの対話型ゲームプレイのためのシステムを示す図である。
【００３１】
【図１１】本開示に説明される一実施形態に従う、ＨＭＤの等角図である。
【００３２】
【図１２】本開示の一実施形態に従って、ユーザーによって着用されるＨＭＤにビデオゲームコンテンツをレンダリングできるクライアントシステムを使用するゲームプレイの一例を示す図である。
【００３３】
【図１３】本開示に説明される一実施形態に従って、使用中、ＨＭＤを着用するユーザーを示す図である。
【００３４】
【図１４】本開示に説明される一実施形態に従って、ＨＭＤの例の構成要素を示す図である。
【００３５】
【図１５】本開示に説明される一実施形態に従って、情報サービスプロバイダアーキテクチャを示す図である。
【発明を実施するための形態】
【００３６】
ピンチアンドホールドジェスチャを適用することによってヘッドマウントディスプレイ（ＨＭＤ）に表示されるシーンをナビゲートするためのシステム及び方法が説明される。本開示に説明される多様な実施形態がこれらの特定の詳細の一部またはすべてがなくても実施し得ることに留意されたい。他の例では、本開示に説明される多様な実施形態を不必要に不明瞭にしないために、周知のプロセス操作は詳細に説明されていない。
【００３７】
図１は、ピンチアンドホールドジェスチャの使用を示すためのシステム１００の実施形態の図である。ユーザー１０６は頭部にＨＭＤ１０２を着用している。例えば、ユーザー１０６は目の両方を覆うためにＨＭＤ１０２を着用する。ユーザー１０６は、例えば、自分の手１３０Ａを使用し、自分の親指を自分の他の指の１つまたは複数と接触させる等、ピンチジェスチャを実行し、自分の他の手１３０Ｂを使用し、ピンチジェスチャを実行する。手の１つまたは複数の他の指の例は、人さし指、中指、薬指、及び小指を含む。
【００３８】
例えば１つまたは複数のデジタルカメラ、１つまたは複数の赤外線カメラ、１つまたは複数の深度カメラ等のカメラシステムは、ＨＭＤ１０２の、ならびにユーザー１０６の手１３０Ａ及び手１３０Ｂの画像データを取り込む。例えば、ユーザー１０６及びＨＭＤ１０２が位置する、例えば部屋、現実世界環境、場所、倉庫等の現実空間内に位置するカメラは、ＨＭＤ１０２の視界の方向、及び視界の方向のあらゆる変化を取り込む。別の例として、現実空間内またはＨＭＤ１０２上に位置するカメラは、ユーザー１０６の手１３０Ａ及び１３０Ｂの指の画像データを取り込む。画像データは、有線プロトコルまたは無線プロトコルを介してカメラシステムから、例えばゲームコンソール、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、スマートフォン等のコンピューティング装置のプロセッサに送信される。本明細書で使用されるように、プロセッサの例はマイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、プログラム可能論理回路（ＰＬＤ）、マイクロコントローラ、中央演算処理装置（ＣＰＵ）等を含む。
【００３９】
コンピューティング装置のプロセッサは、例えばユーザー１０６の手１３０Ａ及び１３０Ｂの指の位置及び向きを決定するために等、ならびにＨＭＤ１０２の位置及び向きを決定するために、手１３０Ａ及び１３０Ｂを追跡するために画像データを分析する。例えば、コンピューティング装置のプロセッサは、画像データから、手１３０Ａの人さし指の先端が手１３０Ａの親指の先端と接触している、及び手１３０ＡがＨＭＤ１０２の視野の中にあると判断する。説明するために、手は、ＨＭＤ１０２の正面の外面１０３が手の方向を指しているときにＨＭＤ１０２の視野の中にある。別の例として、コンピューティング装置のプロセッサは、画像データから、手１３０Ｂの１つまたは複数の指の先端が手１３０Ｂの親指と接触している、及び手１３０ＢがＨＭＤ１０２の視野の中にあると判断する。
【００４０】
手１３０Ａ及び１３０Ｂの、ならびにＨＭＤ１０２の位置及び向きを分析すると、コンピューティング装置のプロセッサはＨＭＤ１０２でレンダリングされる画像データを生成する。例えば、手１３０Ａ及び１３０ＢがＨＭＤ１０２の視野の中にあること、手１３０Ａの人さし指が手１３０Ａの親指と接触していること、及び手１３０Ｂの人さし指が手１３０Ｂの親指と接触していることを判断すると、コンピューティング装置のプロセッサは、シーン２０２Ａの中に画像１０８Ａ及び画像１０８Ｂを表示するためにレンダリングされる画像データを生成する。画像１０８Ａのサイズは手１３０Ａのサイズに比例し、画像１０８Ｂのサイズは手１３０Ｂのサイズに比例する。さらに、画像１０８Ａと１０８Ｂとの間の距離は手１３０Ａと１３０Ｂとの間の距離に比例する。また、画像１０８Ａの中の指の間の相対的な位置は手１３０Ａの指の間の相対的な位置と同じであり、画像１０８Ｂの指の間の相対的な位置は手１３０Ｂの指の間の相対的な位置と同じである。説明するために、手１３０Ａの指がピンチアンドホールドジェスチャを実行するために使用されるとき、画像１０８Ａもピンチアンドホールドジェスチャを示す。別の実例として、手１３０Ｂの指がピンチアンドホールドジェスチャを実行するために使用されるとき、画像１０８Ｂもピンチアンドホールドジェスチャを示す。
【００４１】
ＨＭＤ１０２の手１３０Ａ及び１３０Ｂの位置及び向きを分析すると、画像を生成する別の例として、コンピューティング装置のプロセッサは、カメラシステムの１つまたは複数のカメラを使用し、取り込まれた画像データから、手が以前の位置に比較してカメラシステムのカメラにより近い位置で動くとき、手の画像が手の以前の画像に比較してシーン２０２Ａの中で比例してより大きくなると判断する。さらに別の例として、コンピューティング装置のプロセッサは、カメラシステムの１つまたは複数のカメラを使用し、取り込まれた画像データから、手が以前の位置に比較してカメラシステムのカメラから離れるとき、手の画像がシーン２０２Ａの中で比例してより小さくなると判断する。別の例として、コンピューティング装置のプロセッサは、カメラシステムの１つまたは複数のカメラを使用し、取り込まれた画像データから、手が例えばカメラシステムのカメラに位置する、例えば原点（０、０、０）等の基準点を有する、例えばｘ軸、ｙ軸、ｚ軸等の軸に関して斜めに回転するとき、手の画像がシーンの中で、例えば原点（０、０、０）等の基準点を有する、例えばＸ軸、Ｙ軸、Ｚ軸等の対応する軸に関して斜めに回転すると判断する。シーンの中のＸ軸が現実世界空間のｘ軸に一致し、シーンの中のＹ軸が現実世界空間のｙ軸に一致し、シーンの中のＺ軸が現実世界空間のｚ軸に一致することに留意されたい。
【００４２】
コンピューティング装置のプロセッサは、コンピューティング装置の通信装置及びＨＭＤ１０２の通信装置を介して、画像１０８Ａ及び１０８Ｂを生成するための画像データをＨＭＤ１０２のプロセッサに送信する。ＨＭＤ１０２のプロセッサは、例えばＨＭＤ１０２の液晶ディスプレイ（ＬＣＤ）画面、発光ダイオード（ＬＥＤ）表示画面、プラズマディスプレイ画面等の１つまたは複数の表示画面に、画像１０８Ａ及び１０８ｂを表示するためにレンダリングプログラムを適用する。一実施形態では、画像１０８Ａ及び１０８Ｂは、ＨＭＤ１０２の１つまたは複数の表示画面に表示されている代わりに、ユーザー１０６の目の中に投射される。
【００４３】
ＨＭＤ１０２の通信装置及びコンピューティング装置の通信装置は互いの間でデータを通信するために有線プロトコルまたは無線プロトコルを適用することに留意されたい。無線プロトコルの例はブルートゥース（登録商標）プロトコル、Ｗｉ−Ｆｉプロトコル等を含む。有線プロトコルの例は、パラレル転送プロトコル、シリアル転送プロトコル、ユニバーサルシリアルバス（ＵＳＢ）プロトコル等を含む。
【００４４】
シーン２０２Ａは、例えばＨＭＤ１０２の１つまたは複数の表示画面上等、ＨＭＤ１０２に表示される。シーン２０２Ａでは、左手１３０Ａの画像１０８Ａ及び右手１３０Ｂの画像１０８Ｂが表示される。例えば、コンピューティング装置のプロセッサは、画像１０８Ａ及び１０８Ｂが、シーン２０２Ａの例えば山、木等の他のオブジェクトと相互作用できるようにする。他のオブジェクトの例は、仮想動物、動物のリアルタイムビデオ、仮想ユーザー、ユーザーのリアルタイムビデオ、仮想無生物、無生物のリアルタイム表示、仮想背景、背景のリアルタイムビデオ等を含む。別の例として、コンピューティング装置のプロセッサは、シーン２０２Ａの中の残りのオブジェクト上への画像１０８Ａ及び１０８Ｂのオーバレイを有効にする。さらに別の例として、シーン２０２Ａは、ユーザー１０６がＨＭＤ１０２及びコンピューティング装置を使用し、ゲームをプレイしているときに表示される。ゲームのプレイ中、他のオブジェクトはシーン２０２Ａの中に表示される。さらに、ゲームのプレイ中、ユーザー１０６は、自分の手１３０Ａ及び１３０Ｂを使用し、ピンチアンドホールドジェスチャを行い、ピンチアンドホールドジェスチャは、シーン２０２Ａの中に画像１０８Ａ及び１０８Ｂを表示するためにカメラシステムによって画像データとして取り込まれる。
【００４５】
コンピューティング装置のプロセッサは、カメラシステムを使用し、取り込まれた画像データから、ピンチアンドホールドジェスチャがユーザー１０６のそれぞれの手１３０Ａ及び１３０Ｂによって実行されるかどうかを判断する。例えば、コンピューティング装置のプロセッサは、カメラシステムを使用し、取り込まれた画像データから、ユーザー１０６の手の１つまたは複数の指が手の親指と接触していると判断するとき、プロセッサは、ピンチジェスチャが、手を使用し、実行されると判断する。別の例として、コンピューティング装置のプロセッサは、カメラシステムを使用し、取り込まれた画像データから、ユーザー１０６が所定の時間量よりも多く手をつまんでいると判断されるときに、ピンチアンドホールドジェスチャが、手を使用し、実行されると判断する。
【００４６】
さらに、コンピューティング装置のプロセッサは、プロセッサが、ピンチアンドホールドジェスチャが手を用いて実行されると判断するとき、ユーザー１０６の手の画像の１つまたは複数の指と画像の親指との間の接触の点の場所で、シーン２０２Ａの中でキューをレンダリングするためのデータを生成する。例えば、キュー１１０Ａは、画像１０８Ａの指と画像１０８Ａの親指との間の接触の点の場所Ｌ１で、シーン２０２Ａの中に表示される。さらに説明するために、キュー１１０Ａは、画像１０８Ａの指と画像１０８Ａの親指との間の接触の点を囲む。別の実例として、画像１０８Ａの指と画像１０８Ａの親指との間の接触の点でリップル効果が示される。リップルは場所Ｌ１で発生し、場所Ｌ１から離れて流れると表示される。さらに別の実例として、シーン２０２Ａのキュー１１０Ａとして表示される触感または陰影または色の変化がある。別の例として、キュー１１０Ｂはシーン２０２Ａの中で、画像１０８Ｂの指と画像１０８Ｂの親指との間の接触の点の場所Ｌ２に表示される。さらに説明するために、キュー１１０Ｂは画像１０８Ｂの指と画像１０８Ｂの親指との間の接触の点を取り囲む。別の実例として、リップル効果は、画像１０８Ｂの指と画像１０８Ｂの親指との間の接触の点に示される。リップルは場所Ｌ２で発生し、場所Ｌ２から離れて流れると表示される。さらに別の実例として、シーン２０２Ａにキュー１１０Ｂとして表示される、触感または陰影または色の変化がある。
【００４７】
ピンチアンドホールドジェスチャが手１３０Ａ及び１３０Ｂによって実行されるときに、キュー１１０Ａ及び１１０Ｂをレンダリングするためのデータを生成することに加えて、コンピューティング装置のプロセッサは、シーン２０２Ａのピン止めを作動させ、ピン止めは、シーン２０２Ａを場所Ｌ１及びＬ２に固定するために作動させられる。例えば、コンピューティング装置のプロセッサは、シーン２０２Ａが画像１０８Ａ及び１０８Ｂの動きに従って移動するように、場所Ｌ１とシーン２０２Ａの間のリンク、及び場所Ｌ２とシーン２０２Ａとの間の別のリンクを作成する。画像１０８Ａ及び１０８Ｂは、手１３０Ａ及び１３０Ｂの動きに従って移動する。
【００４８】
一実施形態では、コンピューティング装置のプロセッサは、キュー１１０Ａ及び１１０Ｂをレンダリングするためのデータを生成せずにシーン２０２Ａのピン止めを作動させる。例えば、ピンチアンドホールドジェスチャが、手１３０Ａ及び１３０Ｂを使用し、実行されるとき、キュー１１０Ａ及び１１０Ｂは生成されず、シーン２０２Ａは場所Ｌ１及びＬ２に固定される。別の例として、ピンチアンドホールドジェスチャが手１３０Ａ及び１３０Ｂによって実行されるとき、キュー１１０Ａ及び１１０Ｂは表示されず、キュー１１０Ａ及び１１０Ｂに関するデータは生成されない。
【００４９】
一実施形態では、手の画像の１つまたは複数の指と手の画像の親指との間の接触の点は、シーンの任意の点にある場所にある。
【００５０】
実施形態では、キューがシーンの中に表示されるまたはピンチアンドホールドジェスチャが実行されると判断されるとき、音を出力するための音声データがコンピューティング装置のプロセッサによって生成され、キューの表示と、例えば同期して等、キューの表示とともに音声出力のためにＨＭＤ１０２に提供される。
【００５１】
一実施形態では、キューがシーンの中に表示されるときまたはピンチアンドホールドジェスチャが実行されると判断されるとき、音声データの代わりにまたは音声データに加えて、例えば検知出力、感触出力、感覚出力等の他のタイプの出力がユーザー１０６に提供される。例えば、ＨＭＤ１０２は多様なコンパートメントを含み、各コンパートメントは、香りを有する液体または気体を蓄える。例えば、キューがＨＭＤ１０２でレンダリングされるときまたはピンチアンドホールドジェスチャが実行されると判断されるとき、ＨＭＤ１０２のプロセッサはコンピューティング装置のプロセッサから信号を受信して、ユーザー１０６に検知出力及び／または味覚出力を提供する。信号を受信すると、ＨＭＤ１０２のプロセッサは、例えばＨＭＤ１０２のトランジスタ、トランジスタのグループ等のドライバを制御する。ドライバは、ある期間コンパートメントを開いてユーザー１０６に香り及び／または味覚を提供するために、ならびに、次いで該期間後コンパートメントを閉じるために、ＨＭＤ１０２のモータを制御する。別の例として、キューがＨＭＤ１０２でレンダリングされるとき、またはピンチアンドホールドジェスチャが実行されると判断されるとき、ＨＭＤ１０２のプロセッサはコンピューティング装置のプロセッサから信号を受信してユーザー１０６に感触出力を提供する。信号を受信すると、ＨＭＤ１０２のプロセッサは、例えば振動モータ、触覚アクチュエータ等のハプティックフィードバック装置に結合されるドライバに信号を送信する。ドライバは、例えばＨＭＤ１０２を振動させる、収縮させる、拡大させる等、移動させてユーザー１０６にハプティックフィードバックを提供するためにハプティックフィードバック装置を駆動する。ハプティックフィードバックは、ユーザー１０６に提供される触覚の例である。
【００５２】
一実施形態では、ユーザー１０６はシーンへのアクセスを受け取るために自分のユーザーアカウントにログインする。例えば、ユーザー１０６は、例えばユーザー名、パスワード等のユーザー情報を提供し、ユーザー情報は認証サーバによって認証される。認証サーバがユーザー情報を認証するとき、認証サーバは、例えばインターネット、イントラネット、インターネットとイントラネットの組合せ等のコンピュータネットワークを介してコンピューティング装置のプロセッサに認証の表示を送信する。認証の表示を受信すると、コンピューティング装置のプロセッサはシーン２０２ＡをレンダリングするためのデータをＨＭＤ１０２に送信する。ＨＭＤ１０２のプロセッサは、レンダリングコンピュータソフトウェアプログラムをデータに適用して、シーン２０２Ａをレンダリングする。
【００５３】
実施形態では、ユーザーアカウントは、コンピュータネットワークに接続されるソーシャルネットワークサーバに記憶されたソーシャルネットワークアカウント、またはコンピュータネットワークに接続されるゲームサーバに記憶されたゲームネットワークアカウントである。ソーシャルネットワークでは、ユーザーはそのそれぞれのユーザーアカウントにログインし、ソーシャルネットワークサーバの中でメッセージを投稿する、または投稿にコメントすることによって互いと通信する。ゲームネットワークでは、ユーザーは、互いとまたはプロセッサとゲームをプレイするためにそのそれぞれのユーザーアカウントにログインする。
【００５４】
本明細書に説明されるシーンの例は、拡張現実（ＡＲ）シーン、仮想現実（ＶＲ）シーン、ビデオゲームからのシーン、現実世界の場所からのシーン、訪問する場所のリアルタイムビデオ、ホテルのリアルタイムビデオ、非ゲームコンテンツ等を含む。説明するために、例えば対話型環境等のシーンでは、ユーザー１０６を表すアバターが、共用ネットワーク環境で１人または複数の他のユーザーを表す１つまたは他のアバターと対話する。別の実例として、例えば対話型環境等のシーンでは、ユーザー１０６の例えば顔、手、脚等の体の部分の画像が示され、別のユーザーの体の部分の画像が示される。両方のユーザーとも、対話型環境を介してリアルタイムで互いと、例えば会話する、おしゃべりする等、やり取りする。さらに別の実例として、現実世界場所のリアルタイムビデオをレンダリングするためのデータは、コンピューティング装置のプロセッサによってネットワークを介してサーバからアクセスされる。コンピューティング装置のプロセッサは、ＨＭＤ１０２でのリアルタイムビデオの表示のためにリアルタイムビデオをレンダリングするためのデータをＨＭＤ１０２に提供する。別の実例として、ユーザー１０６の体の部分を表す画像データはカメラによって取り込まれ、画像データはカメラからコンピューティング装置のプロセッサに提供される。コンピューティング装置のプロセッサは、ＨＭＤ１０２でのシーンの表示のためにＨＭＤ１０２に画像データを提供する。
【００５５】
一実施形態では、シーンはシーンの中での対話型オブジェクトの表示とともに音声出力を含む。例えば、シーンはゲームシーンでアバターによって話される言葉を含む。別の例として、シーンは乗り物によって出される音を含む。
【００５６】
実施形態では、シーンの表示は音声出力、味覚出力、感覚出力、及び嗅覚出力の１つまたは複数と結合されて、ユーザー１０６をシーンに没入させる。
【００５７】
実施形態では、シーンは、あたかもユーザー１０６がシーンの中にいるかのように環境の中にユーザー１０６を没入させるコンピュータでシミュレーションされた環境である。例えば、シーンはユーザー１０６に、例えば視力、感触、音、匂い等の知覚経験を与え、これによりユーザー１０６は、あたかも自分がシーンの一部であるかのように感じる。
【００５８】
本明細書に説明されるシーンの中のオブジェクトの例は、シーンの他の部分から区別可能であるシーンの部分を含む。オブジェクトは、例えば皮膚、触感、陰影、色、匂い、味、ハプティックフィードバック出力、及び／または音声出力等のルックアンドフィールを有する。音声出力の例は、音、ピッチ、歌詞、言葉等を含む。例えば、オブジェクトは、アバターまたはアバターの部分（例えば、手、腕等）、またはボール、またはラケット、または車両、または動物、または銃、または壁、または壁の上の文章、または表面上の画像または対話型環境の物事、またはシーンに示される任意の他のアイテムを含む。
【００５９】
実施形態では、本明細書で使用される比例数は割合を指す。例えば、第１の量が第２の量の割合であるとき、第１の量は第２の量に比例する。説明するために、第２の量が６センチメートルであるとき、第１の量は２センチメートルである。別の実例として、第２の量が６０度であるとき、第１の量は２０度である。
【００６０】
ｘｙｚ座標系が現実空間における座標系であり、ＸＹＺ座標系がシーンでの座標系であることに留意されたい。さらに、ｘ方向はｘ軸に平行である方向であり、ｙ方向はｙ軸に平行な方向であり、ｚ方向はｚ軸に平行な方向である。同様に、Ｘ方向はＸ軸に平行である方向であり、Ｙ方向はＹ軸に平行な方向であり、Ｚ方向はＺ軸に平行な方向である。
【００６１】
図２Ａは、ユーザー１０６（図１）によって実行される多様なジェスチャ、及びユーザー１０６によって着用されるＨＭＤ１０２に表示される、例えばシーン２０２Ａ（図１）等のシーンに対するジェスチャの影響を示すために列挙する表の実施形態である。例えば、図２Ｅに関して示されるように、ピンチアンドホールドジェスチャがユーザー１０６の両方の手１３０Ａ及び１３０Ｂによって実行されることは、ユーザー１０６（図１）の左手１３０Ａの画像データ及びユーザー１０６の右手１３０Ｂの画像データからコンピューティング装置のプロセッサによって判断される。ピンチアンドホールドジェスチャがユーザー１０６によって手１３０Ａ及び１３０Ｂを使用し、実行されると判断すると、コンピューティング装置のプロセッサは手１３０Ａ及び１３０Ｂの画像データから、図２Ａの行項目ａに示される引き込みジェスチャがユーザー１０６によって実行されるのか、それとも図２Ａの行項目ｂに示される押し出しジェスチャがユーザー１０６によって実行されるのかを判断する。説明するために、コンピューティング装置のプロセッサは、手１３０Ａ及び１３０Ｂが、ユーザー１０６の胴１０５の幅に平行である軸２５６から離れ、軸２５６に、例えば垂直等、実質的に垂直な方向２５８で移動するのか、それとも軸２５６に向かう２６０、実質的に軸２５６に垂直な方向で移動するのかを判断する。さらに、一実施形態では、方向が、軸２５６から、例えば６０度、９０度、４５度と９０度との間の角度等の所定の角度の範囲内にあるときに、方向が軸２５６に実質的に垂直であることにさらに留意されたい。手１３０Ａ及び１３０Ｂが方向２５８で移動すると判断すると、コンピューティング装置のプロセッサは、押し出しジェスチャが実行されると判断し、シーン２０２Ａをズームアウトするためのデータを生成する。シーン２０２Ａがズームアウトされるとき、シーン２０２Ａの中の、例えば山、木等のオブジェクトのサイズは、コンピューティング装置のプロセッサによってシーン２５２Ｂをレンダリングするためのデータを生成するためにシーン２０２Ａのオブジェクトのサイズに比較して小さくされる。他方、手１３０Ａ及び１３０Ｂが方向２６０で移動すると判断すると、コンピューティング装置のプロセッサは、引き込みジェスチャが実行されると判断し、シーン２０２Ａをズームインするためのデータを生成する。シーン２０２Ａがズームインされるとき、シーン２０２Ａの中の、例えば山、木等のオブジェクトのサイズは、コンピューティング装置のプロセッサによってシーン２５２Ａをレンダリングするためのデータを生成するために、シーン２０２Ａのオブジェクトのサイズに比較して大きくされる。
【００６２】
別の例として、ピンチアンドホールドジェスチャが、ユーザー１０６によって手１３０Ａ及び１３０Ｂを使用し、実行されると判断すると、コンピューティング装置のプロセッサは、手１３０Ａ及び１３０Ｂの画像データから、図２Ａの行項目ｃに示される引き離すジェスチャがユーザー１０６によって実行されるのか、それとも図２Ａの行項目ｄに示されるくっつけるジェスチャがユーザー１０６によって実行されるのかを判断する。説明するために、コンピューティング装置のプロセッサが、カメラシステムを使用し、取り込まれた画像データから、手１３０Ａ及び１３０Ｂが、ＨＭＤ１０２から離れ、軸２５６に、例えば平行等、実質的に平行な方向２６２で移動すると判断するとき、コンピューティング装置のプロセッサは、引き離すジェスチャがユーザー１０６によって実行されると判断する。さらに、一実施形態では、方向が軸２５６から、例えば４５度、３０度、０度と４５度との間の角度等の所定の角度の中にあるときに、方向が軸２５６に実質的に平行であることに留意されたい。引き離すジェスチャが実行されると判断すると、コンピューティング装置のプロセッサは、シーン２０２Ａをズームインし、シーン２５２Ａをレンダリングするためのデータを生成すると決定する。別の実例として、コンピューティング装置のプロセッサが、カメラシステムを使用し、取り込まれた画像データから、手１３０Ａ及び１３０ＢがＨＭＤ１０２に向かう、軸２５６に、例えば平行等、実質的に平行な方向２６４で移動すると判断するとき、コンピューティング装置のプロセッサは、くっつけるジェスチャがユーザー１０６によって実行されると判断する。くっつけるジェスチャが実行されると判断すると、コンピューティング装置のプロセッサはシーン２０２Ａをズームアウトし、シーン２５２Ｂをレンダリングするためのデータを生成することを決定する。
【００６３】
実施形態では、コンピューティング装置のプロセッサによってシーンに適用されるズームインまたはズームアウトの量は、ユーザー１０６の手１３０Ａ及び１３０Ｂの動きの量に比例する。例えば、ユーザー１０６の手１３０Ａ及び１３０Ｂに関し、カメラシステムによって取り込まれる画像データから、手１３０Ａ及び１３０Ｂが第１の距離、移動したと判断すると、コンピューティング装置のプロセッサは、例えばシーン２０２Ａ等、先行するシーンに比較して第１の尺度、ズームインまたはズームアウトする。ユーザー１０６の手１３０Ａ及び１３０Ｂに関し、カメラシステムによって取り込まれる画像データから、手１３０Ａ及び１３０Ｂが第２の距離、移動したと判断すると、コンピューティング装置のプロセッサは、先行するシーンに比較して第２の尺度、ズームインまたはズームアウトする。第１の距離が第２の距離よりも大きいとき、第１の尺度は第２の尺度よりも大きく、第２の距離が第１の距離よりも大きいとき、第２の尺度は第１の尺度よりも大きい。
【００６４】
別の例として、図２Ｄを参照すると、ピンチアンドホールドジェスチャがユーザー１０６によって手１３０Ａ及び１３０ｂを使用し、実行されると判断すると、コンピューティング装置のプロセッサは、手１３０Ａ及び１３０Ｂの画像データから、回転ジェスチャ２５３Ａが、例えば同時に、実質的に同時に等、軸２５６に対して実質的に垂直な軸の回りで右手１３０Ｂによって実行される回転ジェスチャ２５３Ｂと同期して、軸２５６に実質的に垂直である軸の回りで左手１３０Ａによって実行されるかどうかを判断する。両手による回転ジェスチャは図２Ａの行項目ｅに示される。説明するために、図２Ｄを参照し直すと、コンピューティング装置のプロセッサは、両方の手が実質的に同時に回転ジェスチャを実行すると判断するために、他方の手が回転ジェスチャを実行した後の所定の時間量の中でユーザー１０６の手によって回転ジェスチャが実行されるかどうかを判断する。別の実例として、コンピューティング装置のプロセッサは、カメラシステムを使用し、取り込まれる画像データから、回転ジェスチャ２５３Ａが、シーン２０２Ａが場所Ｌ１から場所Ｌ５でピン止めされるようにユーザー１０６の左手１３０Ａによって実行される、及び回転ジェスチャ２５３Ｂが、シーン２０２Ａが場所Ｌ２から場所Ｌ３でピン止めされるようにユーザー１０６の右手１３０Ｂによって実行されると判断する。別の実例として、コンピューティング装置のプロセッサは、カメラシステムを使用し、取り込まれる画像データから、ユーザー１０６の手の向きが、軸２５６に対して実質的に垂直である軸の回りで実質的に右回り方向で所定の量より多く変化するのか、それとも実質的に左回り方向で所定の量より多く変化するのかを判断する。一実施形態では、軸が軸２５６に関して例えば９０度、６０度、４５度と９０度との間の角度等の所定の角度を形成するときに、軸が軸２５６に対して実質的に垂直であることに留意されたい。さらに、実施形態では、軸の回りの実質的な右回り方向が、軸の回りの右回り方向の分散または標準偏差の範囲内の方向であることに留意されたい。また、実施形態では、軸の回りの実質的に左回り方向が、軸の回りの左回り方向の分散または標準偏差の範囲内の方向であることにも留意されたい。ユーザー１０６の手の向きの量が、軸２５６に対して実質的に垂直である軸の回りの実質的な右回り方向または実質的な左回り方向で所定の量よりも多く変化すると判断すると、コンピューティング装置のプロセッサは、回転ジェスチャが手によって実行されると判断する。
【００６５】
回転ジェスチャ２５３Ａ及び２５３Ｂが手１３０Ａ及び１３０Ｂによって実行されると判断すると、コンピューティング装置のプロセッサは、手が右回り方向で回転するのか、それとも左回り方向で回転するのかを識別する。手１３０Ａ及び１３０Ｂが右回り方向で回転すると識別すると、コンピューティング装置のプロセッサは、シーン２０２Ａのオブジェクトがシーン２０２Ａのオブジェクトの向きに比較して右回り方向で回転されるシーン２０２Ｄをレンダリングするためのデータを生成する。他方、手１３０Ａ及び１３０Ｂが左回り方向で回転すると識別すると、コンピューティング装置のプロセッサは、シーン２０２Ａのオブジェクトがシーン２０２Ａのオブジェクトの向きに比較して左方向で回転される別のシーンをレンダリングするためのデータを生成する。
【００６６】
一実施形態では、シーン２０２Ａの中の、オブジェクトの回転の、例えば程度等の量は、ユーザー１０６の手１３０Ａの、例えば右回りの動き、左回りの動き等の、例えば動きの程度等の量に、及びユーザー１０６の手１３０Ｂの、例えば右回りの動き、左回りの動き等の、例えば動きの程度等の量に比例する。例えば、コンピューティング装置のプロセッサは、手１３０Ａが第１の量、右回り方向で移動し、手１３０Ｂが第２の量、右回り方向で移動するとき、シーン２０２Ａのオブジェクトが第１の程度、回転されると判断する。第２の量は、第１の量の所定の範囲内にあるとコンピューティング装置のプロセッサによって決定される。コンピューティング装置のプロセッサは、手１３０Ａが第３の量、右回り方向で移動し、手１３０Ｂが第４の量右回り方向で移動するとき、シーン２０２Ａのオブジェクトが第２の程度、回転されるとさらに判断する。第４の量は、第３の量の所定の範囲内にあるとコンピューティング装置のプロセッサによって判断される。第３の量が第１の量よりも大きく、第４の量が第２の量よりも大きいとき、第２の程度は第１の程度よりも大きい。さらに、第１の量が第３の量よりも大きく、第２の量が第４の量よりも大きいとき、第１の程度は第２の程度よりも大きい。
【００６７】
別の例として、図２Ｃを参照すると、ピンチアンドホールドジェスチャがユーザー１０６の両手を使用し、実行されると判断すると、コンピューティング装置のプロセッサは手１３０Ａ及び１３０Ｂの画像データから、右回り方向の回転ジェスチャ２１２が、左手１３０Ａが実質的に場所Ｌ１にある間に軸２５６に実質的に垂直である軸に関して、例えば、右手１３０Ｂ等の片手で実行されるかどうかを判断する。ピンチアンドホールドジェスチャが別の手によって実行されるときに、片手で実行されるピンチアンドホールド及び回転ジェスチャは図２Ａの行項目ｆに示される。一実施形態では、図２Ｃを参照し直すと、コンピューティング装置のプロセッサは、左手１３０Ａが場所Ｌ１から、例えば（Ｘ、Ｙ、Ｚ）距離等の所定の距離の範囲内にあると判断すると、左手１３０Ａが実質的に場所Ｌ１にあると判断する。実質的な右回り方向の回転ジェスチャ２１２が右手１３０Ｂで実行され、左手１３０Ａが実質的に場所Ｌ１にあると判断すると、コンピューティング装置のプロセッサは、シーン２０２Ｂのためのデータを生成するために、場所Ｌ１に関して右回り方向でシーン２０２Ａを回転させるためのデータを生成する。説明するために、シーン２０２Ａは、場所Ｌ１に関して、例えば固定される等、蝶着されるように回転される。
【００６８】
上記の例は右回りの回転に関して説明されているが、右手１３０Ｂが、右回り方向の代わりに左回り方向で回転ジェスチャを実行するために移動されるとき、当業者が例を適用できることに留意されたい。例えば、回転ジェスチャが左回り方向で右手１３０Ｂによって実行されると判断すると、コンピューティング装置のプロセッサは、シーンのためのデータを生成するために左回り方向でシーン２０２Ａを回転させるためのデータを生成する。
【００６９】
一実施形態では、シーン２０２Ａの回転の量は回転ジェスチャ２１２の回転の量に比例することに留意されたい。例えば、コンピューティング装置のプロセッサは、カメラシステムを使用し、取り込まれた画像データから、軸２５６に実質的に垂直である軸に関する右手１３０Ｂの第１の回転の量を計算する。さらに、コンピューティング装置のプロセッサは、第１の量の回転が実行されると判断すると、Ｘ軸の回りで第１の程度、シーン２０２Ａを回転させる。この例では、コンピューティング装置のプロセッサは、カメラシステムを使用し、取り込まれた画像データから、軸２５６に実質的に垂直な軸に関する右手１３０Ｂの第２の回転の量をさらに計算する。コンピューティング装置のプロセッサは、第２の量の回転が実行されると判断すると、Ｘ軸の回りで第２の程度、シーン２０２Ａを回転させる。第１の量が第２の量よりも大きいとき、第２の程度は第２の程度よりも大きく、第２の量が第１の量よりも大きいとき、第２の程度は第１の程度よりも大きい。
【００７０】
図２Ｃに関して説明される実施形態は右手１３０Ｂの回転を使用し、説明されるが、当業者は、実施形態が、右手１３０Ｂがピンチアンドホールドジェスチャを実行するために使用される間に、ピンチアンドホールドジェスチャを実行する左手１３０Ａが右手１３０Ｂの代わりに回転される状況に適用することを認識することに留意されたい。例えば、ピンチアンドホールドジェスチャ及び回転ジェスチャが左手１３０Ａによって実行され、右手１３０Ｂが実質的に場所Ｌ２にあると判断すると、コンピューティング装置のプロセッサは、シーンのためのデータを生成するために場所Ｌ２に関して左回り方向でシーン２０２Ａを回転させるためのデータを生成する。
【００７１】
一実施形態では、方向２６２での手１３０Ａ及び１３０Ｂの動きは、手の間の、例えば距離等の分離を増加させ、方向２６４での手１３０Ａと１３０Ｂの動きは手の間の分離を減少させる。
【００７２】
さらに別の例として、図２Ａの行項目ｇ及びｈに関して、及び図２Ｆに関して、ピンチアンドホールドジェスチャがユーザー１０６によって手１３０Ａ及び１３０Ｂを使用し、実行されると判断すると、コンピューティング装置のプロセッサは、手１３０Ａ及び１３０Ｂの画像データから、回転ジェスチャ２７８Ａが、軸２５６に対して実質的に平行である軸２７６の回りの右回り方向で左手１３０Ａによって実行され、回転ジェスチャ２７８Ｂが軸２７６の回りの右回り方向で右手１３０Ｂによって実行されるかどうかを判断する。例えば、軸２５６に対して実質的に平行である軸２７６は、ユーザー１０６の手１３０Ａと１３０Ｂとの間、ならびにユーザー１０６の手１３０Ａ及び１３０Ｂを通過する虚軸である。実施形態では、軸２７６は、軸２７６が、軸２５６に関して例えば９０度未満、４５度未満、６０度未満等の所定の範囲内の角度を形成するときに軸２５６に実質的に平行である。回転ジェスチャ２７８Ａ及び２７８Ｂが実行されると判断すると、コンピューティング装置のプロセッサは、オブジェクト２８０Ａ及び２８０Ｂの底部２８２Ａ及び２８２Ｂ、ならびにオブジェクト２８０Ｃの底部を表示するためのデータを生成するためにＺ軸の回りの右回り方向でシーン２０２Ａの中のオブジェクト２８０Ａ、２８０Ｂ、及び２８０Ｃを、例えば回転させる等、傾けることを決定する。底部２８２Ａ及び２８２Ｂ、ならびにオブジェクト２８２Ｃの底部はシーン２０２Ａに表示されない。底部２８２Ａ及び２８２Ｂ，ならびにオブジェクト２８０Ｃの底部を表示するためのデータは、コンピューティング装置のプロセッサからＨＭＤ１０２のプロセッサに送信され、ＨＭＤ１０２の１つまたは複数の表示画面にシーン２７２を生成するためにＨＭＤ１０２のプロセッサによってレンダリングされる。
【００７３】
別の例として、ピンチアンドホールドジェスチャが、ユーザー１０６によって手１３０Ａ及び１３０Ｂを使用して実行されると判断すると、コンピューティング装置のプロセッサは、手１３０Ａ及び１３０Ｂの画像データから、回転ジェスチャ２８４Ａが軸２７６の回りの左回り方向で左手１３０Ａによって実行され、回転ジェスチャ２８４Ｂが軸２７６の回りの左回り方向で右手１３０Ｂによって実行されるかどうかを判断する。回転ジェスチャ２８４Ａ及び２８４Ｂが実行されると判断すると、コンピューティング装置のプロセッサは、オブジェクト２８０Ａ、２８０Ｂ、及び２８０Ｃの上部２８６Ａ、２８６Ｂ、及び２８６Ｃを表示するためのデータを生成するためにＺ軸の回りの左回り方向で、シーン２０２Ａの中のオブジェクト２８０Ａ、２８０Ｂ、及び２８０Ｃを、例えば回転させる等、傾けることを決定する。上部２８６Ａ、２８６Ｂ、及び２８６Ｃはシーン２０２Ａに表示されない。上部２８６Ａ、２８６Ｂ、及び２８６Ｃを表示するためのデータは、コンピューティング装置のプロセッサからＨＭＤ１０２のプロセッサに送信され、ＨＭＤ１０２の１つまたは複数の表示画面でシーン２７４を生成するためにＨＭＤ１０２のプロセッサによってレンダリングされる。
【００７４】
図２Ｆを参照して説明される右回り方向及び左回り方向は、ｚ軸の方向にあることに留意されたい。
【００７５】
実施形態では、オブジェクト２８０Ａ、２８０Ｂ、及び２８０Ｃの回転の、例えば程度等量は、例えば回転ジェスチャ２７８Ａ及び２７８Ｂ、回転ジェスチャ２８４Ａ及び２８４Ｂ等、回転ジェスチャの回転の、例えば程度等の量に比例する。例えば、コンピューティング装置のプロセッサは、回転ジェスチャ２８４Ａは第１の回転の程度を有し、回転ジェスチャ２８４Ｂは第２の回転の程度を有すると判断する。第２の程度は、第１の程度から所定の量の範囲内にあるとコンピューティング装置のプロセッサによって判断される。コンピューティング装置のプロセッサは、第１の回転の程度及び第２の回転の程度が発生するときに、オブジェクト２８０Ａ、２８０Ｂ、及び２８０Ｃの回転の量が第１の量であるとさらに判断する。さらに、コンピューティング装置のプロセッサは、回転ジェスチャ２８４Ａが第３の回転の程度を有し、回転ジェスチャ２８４Ｂが第４の回転の程度を有すると判断する。第４の程度は、第３の程度から所定の量の範囲内にあるとコンピューティング装置のプロセッサによって判断される。コンピューティング装置のプロセッサはさらに、第３の回転の程度及び第４の回転の程度が発生するときに、オブジェクト２８０Ａ、２８０Ｂ、及び２８０Ｃの回転の量が第２の量であると判断する。第１の程度が第３の程度よりも大きく、第２の程度が第４の程度よりも大きいとき、第１の量は第２の量よりも大きい。第３の程度が第１の程度よりも大きく、第４の程度が第２の程度よりも大きいとき、第２の量は第１の量よりも大きい。
【００７６】
実施形態では、例えばシーン２０２Ａの中のオブジェクト２８０Ａ、オブジェクト２８０Ｂ、オブジェクト２８０Ｃ等のオブジェクトは２次元オブジェクトとして表示される。回転ジェスチャがＺ軸に関して２次元オブジェクトを回転させるために手１３０Ａ及び１３０Ｂによって実行されるとき、コンピューティング装置のプロセッサは、シーン２７２での表示のために２次元（２Ｄ）オブジェクトを３次元（３Ｄ）オブジェクトに変換するためのデータを生成する。
【００７７】
一実施形態では、例えばオブジェクト２８０Ａ、オブジェクト２８０Ｂ、オブジェクト２８０Ｃ等のオブジェクトは、３次元オブジェクトの回転の前後にシーン２０２Ａ及び２７２で３次元オブジェクトとして表示される。
【００７８】
実施形態では、例えばオブジェクト２８０Ａ、オブジェクト２８０Ｂ、オブジェクト２８０Ｃ等のオブジェクトは、２次元オブジェクトの回転の前後にシーン２０２Ａ及び２７２で２次元オブジェクトとして表示される。例えば、オブジェクト２８０Ａの底縁は、３次元底部２８２Ａの代わりにシーン２７２に表示される。底縁はシーン２０２Ａに表示されない。別の例として、オブジェクト２８０Ａの上端は３次元上部２８６Ａの代わりにシーン２７４に表示される。上端はシーン２０２Ａに表示されない。
【００７９】
さらに別の例として、図２Ａの行項目Ｉを参照して、及び図２Ｃを参照し直すと、ピンチアンドホールドジェスチャがユーザー１０６によって、例えば右手１３０Ｂ等、第１の手を使用し、実行され、ピンチアンドホールドジェスチャがユーザー１０６の、例えば左手１３０Ａ等、第２の手を使用し、実行されないと判断すると、コンピューティング装置のプロセッサは、手１３０Ａ及び１３０Ｂの画像データから、回転ジェスチャ２１２が、軸２５６に実質的に垂直である軸に関して右回り方向で第１の手によって実行されるかどうかを判断する。回転ジェスチャ２１２が右回り方向で第１の点によって実行されると判断すると、コンピューティング装置のプロセッサはシーン２０２Ｂのためのデータを生成するために右回り方向でシーン２０２Ａを回転させるためのデータを生成する。
【００８０】
上記例は右回りの回転に関して説明されるが、当業者は、第１の手が右回り方向の代わりに左回り方向で回転ジェスチャを実行するために移動されるときに例を適用できることに留意されたい。例えば、回転ジェスチャが左回り方向で第１の手によって実行されると判断すると、コンピューティング装置のプロセッサはシーンのためのデータを生成するために左回り方向でシーン２０２Ａを回転させるためのデータを生成する。
【００８１】
別の例として、図２Ａの行項目ｊを参照して、及び図２Ｂを参照して、ピンチアンドホールドジェスチャがユーザー１０６によって例えば右手１３０Ｂ等の第１の手を使用し、実行され、ピンチアンドホールドジェスチャがユーザー１０６の例えば左手１３０Ａ等の第２の手を使用し、実行されないと判断すると、コンピューティング装置のプロセッサは、手１３０Ａ及び１３０Ｂの画像データから、スライドジェスチャ２１６が、例えばｘ方向で、ｙ方向で、ｚ方向で、ｘ方向とｙ方向との間の方向で、ｘ方向とｚ方向との間の方向で、ｙ方向とｚ方向との間の方向で、例えばｘｙｚ座標系の原点（０、０、０）等、基準座標に関して、軸２５６等に実質的に平行な方向２６２で等の方向で第１の手によって実行されるかどうかを判断する。スライドジェスチャ２１６が該方向で実行されると判断すると、コンピューティング装置のプロセッサは、例えばＸＹＺ座標系の原点（０、０、０）等、基準座標系に関する方向でシーン２０２Ａを摺動するためにデータを生成することを決定する。例えば、ユーザー１０６が軸２５６に実質的に平行な方向２６２で右手１３０Ｂを摺動するとき、コンピューティング装置のプロセッサはＺ方向でシーン２０２Ａを摺動する。説明するために、シーン２０２Ａの各オブジェクトはシーン２０２Ｃのためのデータを生成するためにＺ方向で摺動する。シーン２０２Ｃのためのデータは、ＨＭＤ１０２上でのシーン２０２Ｃとしての表示のためにＨＭＤ１０２のプロセッサにコンピューティング装置のプロセッサによって提供される。
【００８２】
実施形態では、シーン２０２Ａが例えば摺動する等、変換する量はスライドジェスチャを実行するユーザー１０６Ｂの手が摺動する量に比例する。例えば、手１３０Ｂが第１の量、摺動するとき、コンピューティング装置のプロセッサは、画像１０８Ｂを第２の量、摺動するためのデータを生成する。第２の量は第１の量の、例えば割合等、比例数である。
【００８３】
一実施形態では、コンピューティング装置のプロセッサは、ピンチアンドホールドジェスチャが場所Ｌ４で画像１０８Ｂによって実行されるように画像１０８Ｂを表示するためのデータを生成する。
【００８４】
実施形態では、シーン２０２Ａがシーン２０２Ｃを表示するために変換されるとき、シーン２０２Ａの中で表示されないオブジェクトはシーン２０２Ｃで表示される。例えば、コンピューティング装置のプロセッサは、シーン２０２Ａの変換の量がオブジェクト２７９の表示と関連付けられると判断する。コンピューティング装置のプロセッサは、シーン２０２Ｃにオブジェクト２７９を表示するためにＨＭＤ１０２のプロセッサにオブジェクト２７９をレンダリングするための、例えば形状、色、触感、位置、向き、ルックアンドフィール等のデータを提供する。
【００８５】
一実施形態では、オブジェクトのルックアンドフィールは、ＨＭＤ１０２に表示されるときのオブジェクトの色、またはＨＭＤ１０２に表示されるときのオブジェクトの形状、またはＨＭＤ１０２に表示されるときのオブジェクトのフォント、またはＨＭＤ１０２に表示されるときのオブジェクトの触感、またはＨＭＤ１０２に表示されるときのオブジェクトの陰影、またはＨＭＤ１０２に表示されるときにオブジェクトによってユーザー１０６に提供される感覚、またはオブジェクトがＨＭＤ１０２に表示されるときにオブジェクトによってユーザー１０６に提供される味覚、またはオブジェクトがＨＭＤ１０２に表示されるときにオブジェクトによってユーザー１０６に提供される嗅覚、またはオブジェクトがＨＭＤ１０２に表示されるときにオブジェクトから出力される音、またはその２つ以上の組合せ等を含む。
【００８６】
実施形態では、２つのシーンはシーンの可視部分である。例えば、シーン２０２Ａ及び２０２Ｃはシーンの可視部分である。
【００８７】
別の例として、図２Ａの行項目ｋを参照して、ピンチアンドホールドジェスチャが、ユーザー１０６の、例えば右手１３０Ｂ等の第１の手を使用し、実行され、ピンチアンドホールドジェスチャが、ユーザー１０６の、例えば左手１３０Ａ等の第２の手を使用し、実行されないと判断すると、コンピューティング装置のプロセッサは、手１３０Ａ及び１３０Ｂの画像データから、リリースジェスチャが第１の手によって実行され、ダブルタップジェスチャが後に続くかどうかを判断する。リリースジェスチャは、第１の手によるピンチアンドホールドジェスチャの実行に続き、第１の手によって実行される。例えば、ピンチアンドホールドジェスチャはリリースジェスチャに先行する。リリースジェスチャの例は、第１の手の指のどれも第１の手の親指と接触していないときである。ダブルタップジェスチャの例は、ユーザー１０６が、第１の方向で例えば人さし指等の自分の指を伸ばし、第１の方向に反対の第２の方向で指を引っ込め、再び該方向で指を伸ばし、第２の方向で指を引っ込めるときである。リリースジェスチャはダブルタップジェスチャに先行する。第１の手のピンチアンドホールドジェスチャの後にリリースジェスチャが続き、さらにダブルタップジェスチャが後に続くと判断すると、コンピューティング装置のプロセッサは、シーン２０２Ａの残りの部分にズームインすることなく、シーン２０２Ａのキューを出された部分をズームインするためのデータを生成する。キュー１１０Ｂは、キューを出された部分として表示される。例えば、コンピューティング装置のプロセッサは、シーン２０２Ａの残りの部分のオブジェクトのサイズを増加させることなく、キューを出された部分に表示されるオブジェクトのサイズを増加させる。
【００８８】
一実施形態では、第１の手のピンチアンドホールドジェスチャの後にリリースジェスチャが続き、さらにダブルタップジェスチャが後に続くと判断すると、コンピューティング装置のプロセッサは、シーン２０２Ａの中ですべてのオブジェクトをズームインするためのデータを生成する。
【００８９】
別の例として、図２Ａの行項目１を参照して、ピンチアンドホールドジェスチャがユーザー１０６によって、例えば右手１３０Ｂ等の第１の手を使用し、実行され、ピンチアンドホールドジェスチャが例えばユーザー１０６の左手１３０Ａ等の第２の手を使用し、実行されないと判断すると、コンピューティング装置のプロセッサは、手１３０Ａ及び１３０Ｂの画像データから、スライドジェスチャが第１の手によって実行され、第１の手によるリリースジェスチャが後に続き、さらに第１の手によるダブルタップジェスチャが後に続くかどうかを判断する。この例では、ピンチアンドホールドジェスチャはスライドジェスチャに先行し、スライドジェスチャはリリースジェスチャに先行し、リリースジェスチャはダブルタップジェスチャに先行する。スライドジェスチャが実行されると判断すると、コンピューティング装置のプロセッサは、スライドジェスチャが実行される方向でキュー１１０Ｂを摺動することを決定する。例えば、スライドジェスチャが方向２６２（図２Ｂ）で実行されるとき、コンピューティング装置のプロセッサはＸ方向でキュー１１０Ｂを摺動することを決定する。さらに、リリースジェスチャ及びダブルタップジェスチャが、スライドジェスチャが実行された後に実行されると判断すると、コンピューティング装置のプロセッサは、キュー１１０Ｂの中でシーンの一部分をズームインすることを決定する。
【００９０】
一実施形態では、キューが摺動する量は、キューが摺動するスライドジェスチャによって横断される距離に比例する。例えば、コンピューティング装置のプロセッサが、ユーザー１０６の手１３０Ｂが第１の距離、摺動すると判断するとき、コンピューティング装置のプロセッサは、第１の距離の割合である第２の距離、キュー１１０Ｂを摺動することを決定する。
【００９１】
一実施形態では、コンピューティング装置のプロセッサは、カメラシステムによって取り込まれる手１３０Ａ及び１３０Ｂの画像から、手１３０Ａ及び１３０Ｂが、軸２５６に実質的に垂直な方向で同時に移動しつつ、軸２５６に実質的に平行な方向で移動しているかどうかを判断する。例えば、ユーザー１０６は、方向２５８で自分の手１３０Ａ及び１３０Ｂを移動させ、同時に方向２６４で手を移動させる。別の例として、ユーザー１０６は、方向２６２で手１３０Ａ及び１３０Ｂを移動させ、同時に方向２６０で手を移動させる。
【００９２】
実施形態で、コンピューティング装置のプロセッサは、カメラシステムによって取り込まれる手１３０Ａ及び１３０Ｂの画像から、軸２５６に実質的に平行な方向での動きと、軸２５６に実質的に垂直な方向での動きとの間の優勢な運動を識別する。例えば、コンピューティング装置のプロセッサは、方向２５８の動きが方向２６４の動きの量よりも所定の量、大きいかどうかを判断する。方向２５８の動きが方向２６４の動きの量よりも所定の量、大きいと判断すると、プロセッサは優勢な運動として方向２５８の動きを識別する。他方、方向２６４の動きが方向２５８の動きの量よりも所定の量、大きいと判断すると、プロセッサは方向２６４の動きを優勢な運動として識別する。
【００９３】
別の例として、コンピューティング装置のプロセッサは、方向２６２の動きが方向２５８の動きよりも所定の量、大きいかどうかを判断する。方向２６２の動きが方向２５８の動きの量よりも所定の量大きいと判断すると、プロセッサは優勢な運動として方向２６２の動きを識別する。他方、方向２５８の動きが方向２６２の動きの量よりも所定の量大きいと判断すると、プロセッサは優勢な運動として方向２５８の動きを識別する。
【００９４】
さらに別の例として、コンピューティング装置のプロセッサは、方向２６２の動きの加速度が方向２５８の動きの加速度よりも所定のレベル大きいかどうかを判断する。方向２６２の動きの加速度が方向２５８の動きの量の加速度よりも所定のレベル大きいと判断すると、プロセッサは優勢な運動として方向２６２の動きを識別する。他方、方向２５８の動きの加速度が方向２６２の動きの加速度よりも所定のレベル大きいと判断すると、プロセッサは優勢な運動として方向２５８の動きを識別する。
【００９５】
さらに、実施形態では、コンピューティング装置のプロセッサは優勢な運動から従属的な運動を決定する。例えば、ユーザー１０６が同時に方向２５８及び２６４で手１３０Ａ及び１３０Ｂの動きを実行しているとき、プロセッサは方向２６４の手の動きを優勢な運動であると識別する。方向２５８での動きである他方の運動は、従属的な運動であると判断される。別の例として、ユーザー１０６が方向２５８及び２６２で同時に手１３０Ａ及び１３０Ｂの動きを実行しているとき、プロセッサは方向２６２の手の動きを優勢な運動であると識別する。方向２５８の動きである他方の運動は、従属的な運動であると判断される。
【００９６】
さらに、実施形態では、コンピューティング装置のプロセッサは、従属的な運動を無視する一方で、優勢な運動に従ってシーン２０２Ａのサイズの変更を有効にする。例えば、方向２５８の動きが優勢な運動であり、方向２６４の動きが従属的な運動であると識別すると、プロセッサは、方向２５８の動きに従ってシーン２０２Ａで変更することを決定し、方向２６４での動きに従ってシーン２０２Ａに変更を加えない。説明するために、コンピューティング装置のプロセッサは、方向２５８での動きの量に比例してシーン２０２Ａをズームアウトすることを決定し、方向２６４での動きに従ってシーン２０２Ａをズームアウトしないことを決定する。他方、方向２６４での動きを優勢な運動であると識別し、方向２５８での動きを従属的な運動であると識別すると、プロセッサは、方向２６４での動きに従ってシーン２０２Ａで変更することを決定し、方向２５８での動きに従ってシーン２０２Ａに変更を加えない。説明するために、コンピューティング装置のプロセッサは、方向２６４での動きの量に比例してシーン２０２Ａをズームアウトすることを決定し、方向２５８での動きに従ってシーン２０２Ａをズームアウトしないことを決定する。
【００９７】
別の例として、方向２６２での動きを優勢な運動であるとして識別し、方向２５８の動きを従属的な運動であるとして識別すると、プロセッサは、方向２６２での動きに従ってシーン２０２Ａで変更することを決定し、方向２５８での動きに従ってシーン２０２Ａを修正することを有効にしない。説明するために、コンピューティング装置のプロセッサは、方向２６２での動きの量に比例してシーン２０２Ａをズームインすることを決定し、方向２５８での動きに従ってシーン２０２Ａをズームアウトしないことを決定する。他方、方向２５８での動きが優勢な運動であり、方向２６２での動きが従属的な運動であると判断すると、プロセッサは方向２５８での動きに従ってシーン２０２Ａで変更することを決定し、方向２６２での動きに従ってシーン２０２Ａに対する修正を有効にしない。説明するために、コンピューティング装置のプロセッサは、方向２５８での動きの量に比例してシーン２０２Ａをズームアウトすることを決定し、方向２６２での動きに従ってシーン２０２Ａをズームインしないことを決定する。
【００９８】
実施形態では、コンピューティング装置のプロセッサは、カメラシステムによって取り込まれる手１３０Ａ及び１３０Ｂの画像から、手１３０Ａ及び１３０Ｂが、軸２５６に実質的に平行である軸の回りで同時に回転しながら、軸２５６に実質的に平行な及び／または実質的に垂直な方向で移動しているかどうかを判断する。例えば、ユーザー１０６は自分の手１３０Ａ及び１３０Ｂを方向２５８で移動させ、同時に回転ジェスチャ２７８Ａ及び２７８Ｂを実行する。別の例として、ユーザー１０６は方向２６２で手１３０Ａ及び１３０Ｂを移動させ、同時に回転ジェスチャ２８４Ａ及び２８４Ｂを実行する。
【００９９】
実施形態では、コンピューティング装置のプロセッサは、カメラシステムによって取り込まれる手１３０Ａ及び１３０Ｂの画像から、軸２５６に実質的に平行な方向での動き及び／または軸２５６に実質的に垂直な方向での動きと、手１３０Ａ及び１３０Ｂの回転ジェスチャとの間の優勢な運動を識別する。例えば、ユーザー１０６が回転ジェスチャ２７８Ａ及び２７８Ｂを実行し、方向２６２及び／または方向２５８で手１３０Ａ及び１３０Ｂを移動させていると判断すると、プロセッサは、回転ジェスチャ２７８Ａ及び２７８Ｂを手の優勢な運動であると識別する。他方、ユーザー１０６が方向２６２及び／または方向２５８で手１３０Ａ及び１３０Ｂを移動させながら回転ジェスチャ２７８Ａ及び２７８Ｂを実行していないと判断すると、プロセッサは方向２６２及び／または方向２５８での手１３０Ａ及び１３０Ｂの動きを優勢な運動であると識別する。
【０１００】
さらに、実施形態では、コンピューティング装置のプロセッサは、優勢な運動から従属的な運動を決定する。例えば、ユーザー１０６が方向２５８及び２６４で手１３０Ａ及び１３０Ｂを移動させ、同時に回転ジェスチャ２７８Ａ及び２７８Ｂを実行しているとき、プロセッサは、回転ジェスチャ２７８Ａ及び２７８Ｂを優勢な運動であると識別する。方向２５８及び２６４での動きである他の運動は、従属的な運動であると判断される。別の例として、ユーザー１０６が方向２５８で手１３０Ａ及び１３０Ｂを移動させ、回転ジェスチャ２７８Ａ及び２７８Ｂも実行しているとき、プロセッサは、回転ジェスチャ２７８Ａ及び２７８Ｂを優勢な運動であると識別する。方向２５８での動きである他方の運動は、従属的な運動であると判断される。
【０１０１】
さらに、実施形態では、コンピューティング装置のプロセッサは、従属的な運動を無視しながら、優勢な運動に従ってシーン２０２Ａでの変更を有効にする。例えば、回転ジェスチャ２７８Ａ及び２７８Ｂが優勢な運動であり、方向２５８での動きが従属的な運動であると識別すると、プロセッサは回転ジェスチャ２７８Ａ及び２７８Ｂに従ってシーン２０２Ａでオブジェクトを傾けることを決定し、方向２５８での動きに従ってシーン２０２Ａに対して変更を加えない。説明するために、コンピューティング装置のプロセッサ回転ジェスチャ２７８Ａ及び２７８Ｂに比例してシーン２０２Ａでオブジェクトを傾けることを決定し、方向２５８での動きに従ってシーン２０２Ａをズームアウトしないことを決定する。別の例として、方向での動き、回転ジェスチャ２８４Ａ及び２８４Ｂを優勢な運動であると識別し、方向２６２の動きを従属的な運動であると識別すると、プロセッサは回転ジェスチャ２８４Ａ及び２８４Ｂに従ってシーン２０２Ａで変更することを決定し、方向２６２での動きに従ってシーン２０２Ａに変更を加えない。説明するために、コンピューティング装置のプロセッサは、回転ジェスチャ２８４Ａ及び２８４Ｂに比例してシーン２０２Ａのオブジェクトを傾けることを決定し、方向２６２での動きに従ってシーン２０２Ａをズームインしないことを決定する。
【０１０２】
図３Ａは、ピンチアンドホールドジェスチャを示すための方法３００の実施形態のフローチャートである。方法３００は、コンピューティング装置のプロセッサによって実行される。方法３００の操作３０２では、ピンチジェスチャが手によって実行されるかどうかを判断するために、ユーザー１０６（図１）の手の親指とユーザー１０６の手の残りの指の１つまたは複数との間で接触が確立されるかどうかが判断される。例えば、手１３０Ａ（図１）に関する画像データはカメラシステムのカメラによって取り込まれ、画像データはカメラからコンピューティング装置の通信装置に有線プロトコルまたは無線プロトコルを介して通信される。コンピューティング装置のプロセッサは画像データを受信し、画像データを分析して、手１３０Ａの親指が手１３０Ａの残りの指の１つまたは複数と接触しているかどうかを判断する。説明するために、コンピューティング装置のプロセッサは、画像データの中の親指データを事前に記憶された親指データと比較することによって画像データから親指を検出する。事前に記憶された親指データは親指のサイズ、親指の色、親指の形状、親指の触感、残りの指に関する親指の位置、ユーザー１０６の手に関する親指の位置、またはその組合せ等を含む。さらに、コンピューティング装置のプロセッサは、画像データの中の指データを事前に記憶された人さし指データと比較することによって画像データから人さし指を検出する。事前に記憶された人さし指データは、人さし指のサイズ、人さし指の色、人さし指の形状、人さし指の触感、残りの指に関するユーザー１０６の手の人さし指の位置、ユーザー１０６の手に関する人さし指の位置、またはその組合せ等を含む。親指データと人さし指データとの間の残っている距離がないと判断すると、コンピューティング装置のプロセッサは、ユーザー１０６の手の親指が手の残りの指の１つまたは複数と接触しており、ピンチジェスチャが手によって実行されると判断する。
【０１０３】
別の例として、ユーザー１０６は、ユーザー１０６の手の指ごとに指セグメントを有する手袋を着用する。各指セグメントは１つまたは複数の電極を含む。手袋の親指セグメントの電極は、信号を生成するために手袋の指セグメントの電極と接触する。信号は、有線通信プロトコルまたは無線通信プロトコルを介してコンピューティング装置の通信装置に送信される。信号を受信すると、コンピューティング装置のプロセッサは、ピンチジェスチャがユーザー１０６の手によって実行されると判断する。
【０１０４】
ピンチジェスチャが実行されると判断すると、手の親指と１つまたは複数の手の残りの指との間の接触が所定の時間量よりも多く確立されるかどうか、及び接触が、ｘｙｚ座標系に関して実質的に固定される場所で確立されるかどうかが判断される。例えば、コンピューティング装置のプロセッサは、カメラシステムのカメラから受信された画像データを分析して、画像データが、所定の時間量よりも多く、手１３０Ａの親指と手の人さし指との間の接触を示すかどうかを判断する。一実施形態では、所定の時間量との比較のための時間量は、コンピューティング装置のプロセッサに結合されるクロックから受信される。実施形態では、所定の時間量と比較するための時間量は、コンピューティング装置のプロセッサによってコンピュータネットワークから受信される。一実施形態では、コンピューティング装置のプロセッサは時間量を計算する。画像データが所定の時間量よりも多く接触を示すと判断すると、コンピューティング装置のプロセッサは、接触の複数の場所が、例えば接触が最初に確立されると判断される場所、つまり接触の場所Ｌ１、場所Ｌ２等の場所の所定の範囲内にあるかどうかを判断する。画像データが所定の時間量より多く接触を示し、複数の接触の場所が所定の範囲内にあると判断すると、コンピューティング装置のプロセッサは、ピンチアンドホールドジェスチャが手１３０Ａによって実行されると判断する。他方、画像データが所定の時間量未満、接触を示す、または複数の接触の場所が所定の範囲内にないと判断すると、コンピューティング装置のプロセッサは、ピンチアンドホールドジェスチャが手１３０Ａによって実行されないと判断する。
【０１０５】
上記例の一実施形態では、コンピューティング装置のプロセッサは、複数の接触の場所が接触の場所の所定の範囲内にあると判断した後に、画像データが所定の時間量より多く接触を示すかどうかを判断する。
【０１０６】
上記例の実施形態では、コンピューティング装置のプロセッサは、例えば複数の接触の場所が接触の場所の所定の範囲内にあると判断するのと同時に等、判断する間に、画像データが所定の時間量よりも多く接触を示すかどうかを判断する。
【０１０７】
上記例の一実施形態では、接触が所定の時間量よりも多く確立されるかどうかを判断するために画像データを使用する代わりに、コンピューティング装置のプロセッサは、ユーザー１０６の手の親指とユーザー１０６の残りの指の１つまたは複数との間の接触を示す信号が所定の時間量よりも多く手袋の電極から受信されるかどうかを判断する。さらに、手袋の指セグメントに関する画像データは、複数の接触の場所が接触の場所の所定の範囲内にあるかどうかを判断するためにプロセッサによって分析される。説明するために、コンピューティング装置のプロセッサは、画像データの中の親指セグメントデータを事前に記憶された親指セグメントデータと比較することによって画像データから親指セグメントを検出する。事前に記憶された親指セグメントデータは、親指セグメントのサイズ、親指セグメントの色、親指セグメントの形状、親指セグメントの触感、残りの指セグメントに関する親指セグメントの位置、ユーザー１０６の手に関する親指セグメントの位置、またはその組合せ等を含む。さらに、実例では、コンピューティング装置のプロセッサは、画像データの中の人さし指セグメントデータを事前に記憶された人さし指セグメントデータと比較することによって画像データから人さし指セグメントを検出する。事前に記憶された人さし指セグメントデータは、人さし指セグメントのサイズ、人さし指セグメントの色、人さし指セグメントの形状、人さし指セグメントの触感、残りの指セグメントに関する人さし指セグメントの位置、ユーザー１０６の手に関する人さし指セグメントの位置、またはその組合せ等を含む。手袋の親指セグメントと、ユーザー１０６によって着用される手袋の残りの指のセグメントの１つまたは複数との間の接触を示す信号が、所定の時間量よりも多く手袋の電極から受信されると判断すると、及び複数の接触の場所が接触の場所の所定の範囲内にあると判断すると、コンピューティング装置のプロセッサは、ピンチアンドホールドジェスチャが、手袋が着用されるユーザー１０６の手によって実行されると判断する。他方、手袋の親指セグメントと、ユーザー１０６によって着用される手袋の残りの指セグメントの１つまたは複数との間の接触を示す信号が所定の時間量よりも多く手袋の電極から受信されないと判断すると、または複数の接触の場所が接触の場所の所定の範囲内にないと判断すると、コンピューティング装置のプロセッサは、ピンチアンドホールドジェスチャが、手袋が着用されるユーザー１０６の手によって実行されないと判断する。
【０１０８】
ピンチアンドホールドジェスチャがユーザー１０６の手によって実行されると判断すると、方法３００の操作３０６で、コンピューティング装置のプロセッサは、手の画像と、ＨＭＤ１０２（図１）に表示されるシーンの、例えば場所Ｌ１、場所Ｌ２等の場所との間のピン止めを示すためにキューデータを生成する。
【０１０９】
一実施形態では、方法３００の操作３０６で、所定の時間量よりも多くピンチアンドホールドジェスチャがユーザー１０６の手によって実行されると判断すると、コンピューティング装置のプロセッサは、手の画像と、ＨＭＤ１０２に表示されるシーンの、例えば場所Ｌ１、場所Ｌ２等の場所との間のピン止めを示すためにキューデータを生成する。例えば、キューの視覚的な表現を作動させるためのデータは、ピンチアンドホールドジェスチャが所定の時間量よりも多く実行されると判断されると、コンピューティング装置のプロセッサによって生成または識別される。
【０１１０】
実施形態では、キューデータが表示されるシーンの場所は、手の画像が位置する場所である。説明するために、キューデータが表示されるシーンの場所は、ユーザー１０６の手の画像の親指が手の画像の１つまたは複数の指と接触している場所である。キューデータの例は、リップル効果をレンダリングするためのデータ、ひだ効果をレンダリングするためのデータ、色変化をレンダリングするためのデータ、陰影変化をレンダリングするためのデータ、触感変化をレンダリングするためのデータ、音を生成するための音声データ、またはその２つ以上の組合せ等を含む。音の例はゴーン音、クリック音、タップ音等を含む。
【０１１１】
コンピューティング装置のプロセッサは、ＨＭＤ１０２の１つまたは複数の表示画面での表示のためにＨＭＤ１０２のプロセッサにキューデータを送信する。
【０１１２】
図３Ｂは、ユーザー１０６（図１）によって実行されるジェスチャに従って、例えばシーン２０２Ａ（図２Ａ）等のシーンを修正するための方法３５０の実施形態のフローチャートである。方法３５０は、コンピューティング装置のプロセッサによって実行される。方法３００の操作３５２で、ピンチアンドホールドジェスチャはプロセッサによって検出される。ピンチアンドホールドジェスチャがどのように検出されるのかは、図３Ａを参照して上述される。方法３００の操作３５４で、ピンチアンドホールドジェスチャを示す視覚的なキューが生成される。視覚的なキュー及び視覚的なキューが生成されるシーンの場所の例は上記に示される。
【０１１３】
方法３００の操作３５６で、ユーザー１０６によって実行されるジェスチャは、ピンチアンドホールドジェスチャがアクティブである間に処理される。例えば、コンピューティング装置のプロセッサは、カメラシステムのカメラを使用し、取り込まれる画像データから、ピンチアンドホールドジェスチャを実行する所定の期間の中にユーザー１０６によって実行される追加のジェスチャがあるかどうかを分析する。説明するために、コンピューティング装置のプロセッサは、ピンチアンドホールドジェスチャがユーザー１０６によって実行されている間に、ユーザー１０６によってスライドジェスチャが実行されるのか、それとも回転ジェスチャが実行されるのかを判断する。さらに説明するために、コンピューティング装置のプロセッサは、手１３０Ａ（図１）が実質的に直線方向でｘｙｚ座標系に関してある位置から別の位置に摺動するとき、スライドジェスチャが実行されると判断する。実質的に直線方向の例は、手１３０Ａの各位置が、例えば手１３０Ａが摺動を開始する位置等の１つもしくは複数の初期位置からの所定の分散または所定の標準偏差の範囲内にある方向である。実質的に直線方向の別の例は、例えばｘ軸、またはｙ軸、またはｚ軸、またはｘ軸とｙ軸との間の軸、またはｙ軸とｚ軸との間の軸、またはｘ軸とｚ軸との間の軸から所定の角度の中で等、ｘ軸、またはｙ軸、またはｚ軸、またはｘ軸とｙ軸との間の軸、またはｙ軸とｚ軸との間の軸、またはｘ軸とｚ軸に実質的に平行である方向である。コンピューティング装置のプロセッサは、手１３０Ａの特徴が、例えば左手の色、左手の形状、左手の触感、左手の残りの指に関する左手の親指の位置等の、左手の事前に記憶された特徴と一致するかどうかを判断することによって、画像データから手１３０Ａを識別する。
【０１１４】
回転ジェスチャの実例として、コンピューティング装置のプロセッサは、手１３０Ａがｘｙｚ座標系の軸に関して実質的に回転するかどうかを判断する。例えば、手１３０Ａの画像データから、手１３０Ａの位置が、場所Ｌ１で開始する円形運動から所定の分散または所定の標準偏差の範囲内にあるのかが判断される。手１３０Ａの位置が、場所Ｌ１で開始する円形運動からの所定の分散または所定の標準偏差の範囲内にあると判断すると、コンピューティング装置のプロセッサは、手１３０Ａが回転ジェスチャを実行するために実質的に回転されると判断する。
【０１１５】
一実施形態では、回転ジェスチャはｘ軸、またはｙ軸、またはｚ軸、またはｘ軸とｙ軸との間の軸、またはｙ軸とｚ軸との間の軸、またはｘ軸とｚ軸との間の軸に関して実行される。
【０１１６】
方法３５０の操作３５８で、追加のジェスチャに従って、操作３５２で参照されるシーンを修正することが決定される。例えば、スライドジェスチャがユーザー１０６によって実行されると判断すると、コンピューティング装置のプロセッサはシーンを摺動することを決定する。説明するために、スライドジェスチャがｚ方向で実行されると判断すると、コンピューティング装置のプロセッサは、Ｚ方向でシーンを摺動することを決定する。別の実例として、スライドジェスチャがｙ軸とｚ軸との間の方向で実行されると判断すると、コンピューティング装置のプロセッサは、Ｙ軸とＺ軸との間の方向でシーンを摺動することを決定する。さらに別の実例として、シーンがＸＹＺ座標系に関して摺動する距離は、手１３０Ａがｘｙｚ座標系に関して摺動する距離に比例する。
【０１１７】
図４Ａは、カメラＣ１を使用するユーザー１０６の手１３０Ａ及び１３０Ｂの位置及び向きの取込み、ならびにカメラＣ１を使用するＨＭＤ４０２の位置及び向きの取込みを示すためのシステム４００の実施形態の図である。ＨＭＤ４０２はＨＭＤ１０２（図１）の例である。カメラＣ１の例はデジタルカメラ、赤外線カメラ、深度カメラ等を含む。デジタルカメラの例はＰｌaｙｓｔaｔｉｏｎ  Ｅｙｅ（商標）カメラを含む。
【０１１８】
ＨＭＤ４０２は、ＨＭＤ４０２の１つまたは複数の表示画面が目の前に位置し、目を覆うようにユーザー１０６の目の前で着用される。ＨＭＤ４０２は、ＨＭＤ４０２の外面の角に位置する、例えば発光体、発光ダイオード、逆反射テープ、赤外線発光体、着色材料等のマーカーＭ１、Ｍ２、Ｍ３、及びＭ４等を含む。マーカーＭ１からＭ４はカメラＣ１に向くように配向される。
【０１１９】
ユーザー１０６は、ＨＭＤ４０２上で例えばシーン等、対話型環境にアクセスする。環境とやり取りしながら、ユーザー１０６は自分の手１３０Ａ及び１３０Ｂを使用し、ジェスチャを行う。例えば、ユーザー１０６はピンチアンドホールドジェスチャ、またはスライドジェスチャ、または回転ジェスチャ、またはリリースジェスチャ、またはダブルタップジェスチャ等を行う。
【０１２０】
カメラＣ１はｘ方向、ｙ方向、及びｚ方向のそれぞれで、それぞれの手１３０Ａ及び１３０Ｂの位置を取り込む。例えば、カメラＣ１は、例えばカメラＣ１に位置する原点（０、０、０）等の基準点と手１３０Ａの指との間のｘ方向、ｙ方向、及びｚ方向の距離を取り込む。さらに、カメラＣ１はｘ軸、ｙ軸、及びｚ軸のそれぞれに関してそれぞれの手１３０Ａ及び１３０Ｂの向きを取り込む。例えば、カメラＣ１は、手１３０Ａのピンチアンドホールドジェスチャの場所と、ｘ軸、またはｙ軸、またはｚ軸との間に形成される角度を示す画像データを取り込む。この例では、ｘ軸、ｙ軸、及びｚ軸がカメラＣ１の基準点を通過する。
【０１２１】
さらに、カメラＣ１はｘ方向、ｙ方向、及びｚ方向でＨＭＤ４０２の位置を取り込む。例えば、カメラＣ１は、ＨＭＤ４０２がカメラＣ１に位置する、例えば原点（０、０、０）等の基準点からｘ方向の、またはｙ方向の、またはｚ方向の距離、移動したことを示す画像データを取り込む。別の例として、カメラＣ１は、ＨＭＤ４０２がカメラＣ１に位置する基準点からｚ方向の、またはｙ方向の、またはｘ方向の距離、移動したことを示す画像データを取り込む。さらに、カメラＣ１はｘ軸、ｙ軸、及びｚ軸のそれぞれに関してＨＭＤ１０２の向きを取り込む。例えば、カメラＣ１は、ＨＭＤ１０２の長さとｘ軸、またはｙ軸、またはｚ軸との間で形成される角度を示す画像データを取り込む。ＨＭＤ１０２の長さの例は図１１を参照し、以下に示される。ＨＭＤ１０２の長さはＨＭＤ１０２の幅よりも大きく、奥行きよりも大きい。この例では、ｘ軸、ｙ軸、及びｚ軸はカメラＣ１の基準点を通過する。
【０１２２】
一実施形態では、カメラＣ１はマーカーＭ１からＭ４の任意の２つの間の距離を使用し、深度を取り込む。例えば、ユーザー１０６がカメラＣ１の近くに移動するにつれ、カメラＣ１から見られるマーカーＭ１からＭ４の任意の２つの間の距離は減少し、ユーザーがカメラＣ１から離れるにつれ、カメラから見られるマーカーＭ１からＭ４の任意の２つの間の距離は増加する。
【０１２３】
実施形態では、ＨＭＤ４０２は、例えば２、３、５、６等、任意の他の数のマーカーを含む。
【０１２４】
カメラＣ１によって取り込まれる画像データは、コンピューティング装置の例であるゲームコンソール４０８に、有線プロトコルまたは無線プロトコルを使用し、送信される。ゲームコンソールのプロセッサは、例えばピンチアンドホールドジェスチャ、スライドジェスチャ、回転ジェスチャ、ダブルタップジェスチャ、リリースジェスチャ等のジェスチャがユーザー１０６によって実行されるかどうかを判断するために、画像データを分析する。例えば、ゲームコンソール４０８のプロセッサは、手１３０Ｂの指と手１３０Ｂの親指との間に接触があるかどうかを判断するために、カメラＣ１によって取り込まれた画像データを分析する。ゲームコンソール４０８のプロセッサは、例えば指の長さ、指の形状、指の色、指の触感、指の指セグメントの数、手１３０Ｂの親指からの指の位置等の指に関する事前に記憶されたパラメータを使用することによって画像データから指を識別する。また、プロセッサは、例えば親指の長さ、親指の形状、親指の色、親指の触感、親指の指セグメントの数、手１３０Ｂの指からの親指の位置等の親指に関する事前に記憶されたパラメータを使用することによって画像データから親指を識別する。指及び親指を識別すると、プロセッサは、例えば指を表す画像データが親指等を表す画像データの所定の距離の範囲内にあるかどうか等、指と親指との間に接触があるかどうかを判断する。指を表す画像データが、親指を表す画像データから所定の距離の範囲内にあると判断すると、プロセッサは指と親指との間に接触があり、ピンチジェスチャが手１３０Ｂによって実行されると判断する。
【０１２５】
ゲームコンソール４０８のプロセッサは、ジェスチャに従ってシーンをレンダリングするためのデータを生成し、有線プロトコルまたは無線プロトコルを介してデータをＨＭＤ４０２に提供する。ＨＭＤ４０２のプロセッサは、ＨＭＤ４０２の１つまたは複数の表示画面にシーンを表示するために、ゲームコンソール４０８から受信されるデータにレンダリングプログラムを適用する。
【０１２６】
一実施形態では、ゲームコンソール４０８のプロセッサは、ＨＭＤ４０２とユーザー１０６の片手または両手との間の相対位置を決定する。例えば、ゲームコンソール４０８のプロセッサはカメラＣ１を使用し、取り込まれた画像データから、ＨＭＤ４０２とそれぞれの手１３０Ａ及び１３０Ｂとの間のｘ方向、ｙ方向、及びｚ方向のそれぞれの距離を決定する。さらに、ゲームコンソール４０８のプロセッサは、ＨＭＤ４０２とユーザー１０６の片手または両手との間の相対向きを決定する。例えば、ゲームコンソール４０８のプロセッサは、カメラＣ１を使用し、取り込まれた画像データから、ＨＭＤ４０２の長さと、手１３０Ａの長さに平行である軸との間で形成される角度、及びＨＭＤ４０２の長さと手１３０Ｂの長さに平行である軸の間で形成される角度を決定する。ＨＭＤ４０２に関する手１３０Ａ及び１３０Ｂの相対位置、ならびにＨＭＤ４０２に関する手１３０Ａ及び１３０Ｂの相対向きが、手１３０Ａ及び１３０ＢがＨＭＤ４０２の視野の中にあることを示すと判断すると、ゲームコンソール４０８のプロセッサは、ＨＭＤ４０２に表示されるシーンの中に手１３０Ａ及び１３０Ｂを示すためにデータを生成することを決定する。他方、ＨＭＤ４０２に関する手１３０Ａ及び１３０Ｂの相対位置、またはＨＭＤ４０２に関する手１３０Ａ及び１３０Ｂの相対向きが、手１３０Ａ及び１３０ＢがＨＭＤ４０２の視野の中にあることを示さないと判断すると、ゲームコンソール４０８のプロセッサはシーンに画像１０８Ａ及び１０８Ｂを示すことなく、ＨＭＤ４０２に表示されるシーンのためのデータを生成することを決定する。
【０１２７】
実施形態では、ＨＭＤ４０２の視野はＨＭＤ４０２の外面に設置されるときのカメラの視野である。外面に設置されたカメラはユーザー１０６の前の現実空間の画像を取り込むために設置される外部に向くカメラである。
【０１２８】
一実施形態では、ＨＭＤ４０２の視野は、間に所定の角度が形成される上部平面と底部平面との間、及び間に所定の角度が形成される左平面と右平面との間に広がる。上部平面はＨＭＤ４０２の上端から所定の角度で広がり、底部平面はＨＭＤ４０２の底縁から所定の角度で広がり、左平面はＨＭＤ４０２の第１の側端から所定の角度で広がり、右平面はＨＭＤ４０２の第２の側端から所定の角度で広がる。例えば、ＨＭＤ４０２の視野は、ＨＭＤ４０２の正面に位置するレンズを有するカメラの視野である。
【０１２９】
一実施形態では、カメラＣ１は、ゲームコンソール４０８の中もしくはテレビの中に埋め込まれる、または例えばテレビもしくはゲームコンソールの上に位置するまたはテーブルの上もしくはサポートの上等に位置する等、独立して位置する。
【０１３０】
実施形態では、本明細書に説明されるＨＭＤの位置及び向きは、ＨＭＤの中で、例えばジャイロスコープ、磁力計、加速度計等の１つまたは複数の慣性センサによって測定される。測定された位置及び向きは、ゲームコンソール４０８のプロセッサによる処理のためにゲームコンソール４０８の通信装置に対するＨＭＤの通信装置により通信される。
【０１３１】
図４Ｂは、手袋の指セグメントの位置及び向きを決定するためにカメラＣ１と併せて手袋Ｇ１及びＧ２の使用を示すためのシステム４２０の実施形態の図である。手袋Ｇ１はユーザー１０６によって手１３０Ａに着用され、手袋Ｇ２は手１３０Ｂに着用される。ユーザー１０６は、ＨＭＤ１０２も着用している。それぞれの手袋Ｇ１及びＧ２は５つの指セグメントを含み、１つが、手袋が着用される手のそれぞれの指用である。
【０１３２】
カメラＣ１は、図４Ａを参照するように説明されるように、ＨＭＤ４０２に関する画像データを取り込む。さらに、カメラＣ１は手袋Ｇ１及びＧ２の画像データを取り込む。カメラＣ１は、それぞれの手のそれぞれの指の画像データを取り込むことに関して図４Ａに関して上述された同じ方法で、それぞれの手袋Ｇ１及びＧ２の各セグメントの画像データを取り込む。例えば、ゲームコンソール４０８のプロセッサは、カメラＣ１を使用し、取り込まれた画像データから、例えばピンチアンドホールドジェスチャ、スライドジェスチャ、回転ジェスチャ、ダブルタップジェスチャ、リリースジェスチャ等のジェスチャが実行されるかどうかを判断するために、手袋Ｇ１及びＧ２のそれぞれの各指セグメントの位置及び向きを決定する。説明するために、プロセッサは、指セグメントに関する画像データを、例えば指セグメントに関して、手袋Ｇ１が着用される手の形状、サイズ、別の指セグメントに関する位置、識別等の事前に記憶されたパラメータと比較することによって、手袋Ｇ１の、例えば人さし指セグメント、親指セグメント等、指セグメントを識別する。手袋Ｇ１及びＧ２の一方または両方の指セグメントを使用し、実行される１つまたは複数のジェスチャから、プロセッサは、本明細書に説明されるようにシーンをレンダリングするためのデータを修正し、修正されたデータをＨＭＤ４０２に提供する。ＨＭＤ４０２は、ＨＭＤ４０２の１つまたは複数の表示画面にシーンを表示する。
【０１３３】
一実施形態では、ピンチアンドホールドジェスチャは、例えばゲームコンソール４０８のプロセッサによって、ユーザー１０６等によって実行されていると判断される等、アクティブであるが、ゲームコンソール４０８のプロセッサは、シーンの動きを手袋の動きと結合する。例えば、手袋がスライドジェスチャを実行するために使用されるとき、シーンは実質的に手袋の動きの方向で変換される。別の例として、手袋が回転ジェスチャを実行すると判断されると、シーンは回転した。
【０１３４】
一実施形態では、手袋Ｇ１及びＧ２はパッシブである。例えば、それぞれの手袋Ｇ１及びＧ２はマーカーを含むが、以下に説明されるセンサを含まない。別の例として、それぞれの手袋Ｇ１及びＧ２は、あらゆるマーカー及びセンサを除外する。指セグメント上のマーカーは、指セグメントの位置及び指セグメントの向きを識別するために役立つ。例えば、ゲームコンソール４０８のプロセッサは、カメラから受信される画像データから、複数の指セグメント上のマーカーに関する画像データを識別し、手袋の人さし指セグメントの遠位指節骨部分上のマーカーが手袋の親指セグメントの遠位指節骨部分上のマーカーと接触しているかどうかを判断する。人さし指セグメントの遠位指節骨部分のマーカーが親指セグメントの遠位指節骨部分のマーカーと接触していると判断すると、ゲームコンソール４０８のプロセッサは、ピンチジェスチャが手袋によって実行されると判断する。他方、人さし指セグメントの遠位指節骨部分のマーカーが親指セグメントの遠位指節骨部分のマーカーと接触していないと判断すると、ゲームコンソール４０８のプロセッサは、ピンチジェスチャが手袋によって実行されないと判断する。別の例として、ユーザー１０６の腕の長さを通過する軸に関するマーカーの向きは、マーカーが位置する指セグメントの向きを提供する。
【０１３５】
カメラシステムの通信装置及びコンピューティング装置の通信装置が、互いの間でデータを通信するために有線プロトコルまたは無線プロトコルを適用することに留意されたい。
【０１３６】
さらに、手袋の通信装置及びコンピューティング装置の通信装置が、互いの間でデータを通信するために有線プロトコルまたは無線プロトコルを適用することにもさらに留意されたい。
【０１３７】
実施形態では、マーカーは手袋の背側または腹側に位置する。
【０１３８】
図４Ｃは、アクティブな手袋４０６Ａ及び４０６Ｂが手袋の指セグメントの位置を決定するために使用される、システム４４０の実施形態の図である。それぞれの手袋４０６Ａ及び４０６Ｂは、ユーザー１０６の手の指ごとに１つ、複数の指セグメントを含む。例えば、手袋４０６Ａは５つの指セグメントを含み、手袋４０６Ｂは５つの指セグメントを含む。それぞれの手袋４０６Ａ及び４０６Ｂの各指セグメントは、例えば導電パッド、抵抗器、コンデンサ場所等、電極を含む。
【０１３９】
アクティブな手袋の指セグメントの電極とアクティブな手袋の別の指セグメントの電極との間に接触があるとき、例えば短絡信号、所定の電圧を有する信号等の信号が生成され、アクティブな手袋からゲームコンソール４０８に送信される。信号を受信すると、ゲームコンソール４０８のアナログ／デジタル変換器が信号をアナログ形式からデジタル形式に変換し、デジタル形式の信号を受信すると、ゲームコンソール４０８のプロセッサは、ピンチジェスチャが実行されると判断する。さらに、所定の時間量よりも多くデジタル形式の信号を受信すると、ゲームコンソール４０８のプロセッサは、ピンチアンドホールドジェスチャが実行されると判断する。
【０１４０】
さらに、カメラＣ１は、手袋４０６Ａ及び４０６Ｂの画像データを取り込み、画像データをゲームコンソール４０８のプロセッサに提供する。ゲームコンソール４０８のプロセッサは、実行されたジェスチャを識別するために画像データから手袋４０６Ａ及び４０６Ｂの指セグメントの位置及び向きを決定する。識別されたジェスチャは、ＨＭＤ４０２に表示されるシーンを修正するために、ゲームコンソール４０８のプロセッサによって使用される。
【０１４１】
一実施形態では、カメラＣ１を使用し、取り込まれた画像データは、アクティブな手袋から入手される信号を使用し、決定されたピンチアンドホールドジェスチャの発生を確認または否定するために使用される。例えば、手袋４０６Ａを使用し、入手されたデジタル形式の信号もピンチアンドホールドジェスチャの発生を示したと判断すると、ゲームコンソール４０８のプロセッサは、カメラＣ１を使用し、取り込まれた手袋４０６Ａの指セグメントの画像データがピンチアンドホールドジェスチャの発生を示すかどうかを判断する。カメラＣ１を使用し、取り込まれた手袋４０６Ａの指セグメントの画像データがピンチアンドホールドジェスチャの発生を示さないと判断すると、ゲームコンソール４０８のプロセッサは、ピンチアンドホールドジェスチャが手袋４０６Ａを使用し、実行されないと判断し、ピンチアンドホールドジェスチャに従って、及び／またはピンチアンドホールドジェスチャに続くジェスチャに従ってシーンを修正しないことを決定する。他方、カメラＣ１を使用し、取り込まれた手袋４０６Ａの指セグメントの画像データがピンチアンドホールドジェスチャの発生を示すと判断すると、ゲームコンソール４０８のプロセッサは、ピンチアンドホールドジェスチャが実行されると判断し、ピンチアンドホールドジェスチャに従って、及び／またはピンチアンドホールドジェスチャに続くジェスチャに従ってシーンを修正することを決定する。
【０１４２】
実施形態では、アクティブな手袋から入手されたデジタル形式の信号は、カメラＣ１を使用し、決定されたピンチアンドホールドジェスチャの発生を確認または否定するために使用される。例えば、カメラＣ１を使用し、取り込まれた手袋４０６Ａの指セグメントの画像データがピンチアンドホールドジェスチャの発生を示すと判断すると、ゲームコンソール４０８のプロセッサは、手袋４０６Ａを使用し、入手されたデジタル形式の信号がピンチアンドホールドジェスチャの発生を示すかどうかを判断する。手袋４０６Ａを使用し、入手されたデジタル形式の信号がピンチアンドホールドジェスチャの発生を示さないと判断すると、ゲームコンソール４０８のプロセッサは、ピンチアンドホールドジェスチャが手袋４０６Ａを使用し、実行されないと判断し、ピンチアンドホールドジェスチャに従って及び／またはピンチアンドホールドジェスチャに続くジェスチャに従ってシーンを修正しないことを決定する。他方、手袋４０６Ａを使用し、入手されたデジタル形式の信号がピンチアンドホールドジェスチャの発生を示すと判断すると、ゲームコンソール４０８のプロセッサは、ピンチアンドホールドジェスチャが実行されると判断し、ピンチアンドホールドジェスチャに従って及び／またはピンチアンドホールドジェスチャに続くジェスチャに従ってシーンを修正することを決定する。
【０１４３】
一実施形態では、図４Ａから図４Ｃを使用し、説明されたシステムでは、ＨＭＤ４０２ならびにユーザー１０６の手１３０Ａ及び１３０Ｂの位置及び向きを取り込むために、カメラＣ１に加えて任意の数のカメラが使用される。
【０１４４】
実施形態では、ユーザー１０６の手の画像データはカメラ１によって取り込まれ、ＨＭＤ４０２の画像データはカメラＣ１によって取り込まれる。手の画像データ及びＨＭＤ４０２の画像データは、有線プロトコルまたは無線プロトコルを介してカメラＣ１によってコンピューティング装置に提供される。コンピューティング装置のプロセッサは、ｘｙｚ座標系に関する手の位置、及びｘｙｚ座標系に関するＨＭＤ４０２の位置を決定して、手とＨＭＤ４０２との間の相対位置が、手がＨＭＤ４０２の視野の中にあるほどであるとさらに判断する。手がＨＭＤ４０２の視野の中にあると判断すると、コンピューティング装置のプロセッサはシーンの中で手を表示するための画像データを生成し、表示のためにＨＭＤ４０２に画像データを提供する。
【０１４５】
一実施形態では、コンピューティング装置のプロセッサによって提供されるユーザー１０６の手に関する画像データは、手の仮想現実画像もしくは漫画画像、またはアバターの手の画像である。手の画像データはＨＭＤ４０２の１つまたは複数の表示画面に仮想手を表示するためにレンダリングされる。
【０１４６】
図５は、ＨＭＤ５０２に関するユーザー１０６の手１３０Ａ及び１３０Ｂの相対位置及び相対向きを決定するためのＨＭＤ５０２でのカメラＣ２の使用を示すためのシステム５００の実施形態の図である。カメラＣ２の例はデジタルカメラ、深度カメラ、赤外線カメラ等を含む。ＨＭＤ５０２はＨＭＤ１０２（図１）の例である。ＨＭＤ５０２は、ユーザー１０６の目の前でのＨＭＤ５０２の１つまたは複数の表示画面の設置を容易にするためにユーザー１０６の頭部によって支持される支持構造を含む。
【０１４７】
カメラＣ２は外部に向くカメラである。例えば、カメラＣ２のレンズはユーザー１０６の前の部屋の一部分の視野５０３を有する。別の例として、カメラＣ２はＨＭＤ５０２のハウジングの中に埋め込まれ、カメラＣ２のレンズはユーザー１０６の前の現実空間の一部分に向く。
【０１４８】
ＨＭＤ５０２ならびに／または１３０Ａ及び１３０Ｂが、手がカメラＣ２の視野の中にあるように位置決めされ、配向されるとき、カメラＣ２は手１３０Ａ及び１３０Ｂに関する画像データを取り込む。画像データはＨＭＤ５０２からゲームコンソール４０８のプロセッサに送信される。ゲームコンソール４０８のプロセッサは、ＨＭＤ５０２から受信された画像データを解析して、手１３０Ａ及び１３０Ｂに関する画像データが、受信された画像データの中に含まれることを識別する。例えば、ゲームコンソール４０８は受信された画像データを解析して、手１３０Ａの１つまたは複数の指、及び／または手１３０Ｂの１つまたは複数の指を識別する。手の指の識別は、指に関する画像データを、例えば指の形状に関する画像データ、指のサイズに関する画像データ、指の触感に関する画像データ、指の色に関する画像データ、手の他の指の１つまたは複数に関する指の位置に関する画像データ等の、事前に記憶されていた画像データと比較することによって行われる。手の指を識別すると、ゲームコンソール４０８のプロセッサは、指を表示するための画像データを生成し、シーンでの指の画像の表示のために画像データをＨＭＤ５０２に送信する。他方、ユーザー１０６の手に関する画像データが受信された画像データに含まれていないと判断すると、ゲームコンソール４０８のプロセッサは、ＨＭＤ５０２での表示のために手の画像データを生成しないことを決定する。
【０１４９】
さらに、ゲームコンソール４０８のプロセッサは、ユーザー１０６の手によって実行されるジェスチャを識別するために受信された画像データを分析する。例えば、ユーザー１０６の手の親指の先端が手の別の指の先端と接触していると判断すると、ゲームコンソール４０８のプロセッサは、ピンチジェスチャが実行されると判断する。別の例として、ピンチアンドホールドジェスチャの位置が実質的に直線方向で受信された画像データの中で変化すると判断すると、ゲームコンソール４０８のプロセッサは、スライドジェスチャが実行されると判断する。ゲームコンソール４０８のプロセッサは、識別されるジェスチャに従ってＨＭＤ５０２に表示されるシーンを修正し、表示のためにＨＭＤ５０２にシーンに関するデータを提供する。
【０１５０】
ユーザー１０６の手に関してカメラＣ２によって取り込まれた画像データが、ＨＭＤ５０２に関する手の位置及び向きを決定するためにゲームコンソール４０８のプロセッサによって分析されることに留意されたい。カメラＣ２はＨＭＤ５０２に関して固定され、ＨＭＤ５０２の同じ位置及び向きを有する。
【０１５１】
実施形態では、カメラＣ２は、例えばＨＭＤ５０２の角に取り付けられる等、ＨＭＤ５０２の端縁に位置する。
【０１５２】
一実施形態では、ユーザー１０６は、例えばアクティブな手袋、パッシブな手袋等、手袋を着用しており、カメラＣ２は、手袋の指セグメントの画像データを取り込み、取り込まれた画像データをゲームコンソール４０８のプロセッサに提供する。ゲームコンソール４０８のプロセッサは、画像データから、ジェスチャが指セグメントを使用し、実行されるかどうか、及びユーザー１０６の手の、またはユーザー１０６によって着用される手袋の画像がシーンで表示されるかどうかを判断する。例えば、画像データがユーザー１０６の手に着用される手袋に関する画像データを含むとき、ゲームコンソール４０８のプロセッサは、手袋の手の画像がシーンに表示されると判断する。別の例として、画像データがユーザー１０６の手に着用される手袋に関する画像データを除外するとき、ゲームコンソール４０８のプロセッサは、手のまたは手袋の画像がシーンに表示されないと判断する。
【０１５３】
実施形態では、ＨＭＤ４０２の代わりに、ＨＭＤ１０２が図４Ａ〜図４Ｃのシステムで使用され、ＨＭＤ５０２の代わりに、ＨＭＤ１０２が図５のシステムで使用される。
【０１５４】
図６は、ユーザー１０６によって実行される多様なジェスチャを示すために使用される図である。ユーザー１０６は、ＨＭＤ１０２でシーン６０２Ａを見ている。ユーザー１０６は、例えばピンチアンドホールドジェスチャと、ピンチアンドホールドジェスチャが実行されるシーン６０２Ａの点と、例えばシーン６０２Ａの中の原点（０、０、０）等の基準点に関する場所（Ｘ１、Ｙ１、Ｚ１）でのシーン６０２Ａとの関係を固定する、確立する等、ピン止めするためにピンチアンドホールドジェスチャを実行する。シーン６０２Ａは、ユーザー１０６に表示されているオブジェクト６０４Ｂ、６０４Ｃ、及び６０４Ｄを含む。オブジェクト６０４Ａ及び６０４Ｅは、ユーザー１０６に対してシーン６０２Ａで、例えばレンダリングされる等、表示されていない。
【０１５５】
ピンチアンドホールドジェスチャが、例えばユーザー１０６によって実行されていると判断される等、アクティブであるとき、ＨＭＤ１０２の動きはシーン６０２Ａの動きを生じさせない。例えば、カメラシステムのカメラは、ピンチホールドジェスチャがユーザー１０６によって実行されると判断される間、ＨＭＤ１０２の動きに関する画像データを取り込む。画像データは、カメラシステムのカメラからゲームコンソール４０８（図４Ａ）のプロセッサによって受信される。ＨＭＤ１０２の動きを示す画像データを受信すると、プロセッサは、ユーザー１０６の手１３０Ａの指に関する画像データから、ピンチアンドホールドジェスチャがアクティブであるかどうかを判断する。ＨＭＤ１０２の動きに関する画像データは、ゲームコンソール４０８のプロセッサによって無視され、プロセッサは、ユーザー１０６の手１３０Ａの指に関する画像データから、ピンチアンドホールドジェスチャがアクティブであると判断すると、ＨＭＤ１０２の動きに従ってシーン６０２Ａを修正しないことを決定する。
【０１５６】
ピンチアンドホールドジェスチャがアクティブである間、ゲームコンソール４０８のプロセッサは、ユーザー１０６の手１３０Ａがある場所（ｘ１、ｙ１、ｚ１）から別の場所（ｘ２、ｙ２、ｚ２）に実質的に直線方向で移動すると判断する。手１３０Ａが場所（ｘ１、ｙ１、ｚ１）から場所（ｘ２、ｙ２、ｚ２）への方向で移動すると判断すると、ゲームコンソール４０８のプロセッサは、シーン６０２Ａに関するデータを場所（Ｘ１、Ｙ１、Ｚ１）から場所（Ｘ２、Ｙ２、Ｚ２）に移動することを決定する。Ｘ２とＸ１との間の距離がｘ２とｘ１との間の距離に比例し、Ｙ２とＹ１との間の距離がｙ２とｙ１との間の距離に比例し、Ｚ２とＺ１との間の距離がｚ２とｚ１との間の距離に比例することに留意されたい。シーンに関するデータが移動されると、オブジェクト６０４Ｅの少なくとも一部分は、ゲームコンソール４０８のプロセッサによってシーン６０２Ｂに表示されると判断され、オブジェクト６０４Ｂはシーン６０２Ｂに表示されないと判断される。シーン６０２Ｂに関するデータは、シーン６０２Ｂの表示のためにＨＭＤ１０２に提供される。
【０１５７】
シーン６０２ＢがＨＭＤ１０２に表示されているとき、ユーザー１０６は、例えば左手１３０Ａ等を使用し、実行されたピンチアンドホールドジェスチャ等、ピンチアンドホールドジェスチャを解放する。ゲームコンソール４０８のプロセッサは、カメラシステムのカメラを使用し、取り込まれた画像データから、ユーザー１０６がピンチアンドホールドジェスチャを実行していないと判断する。例えば、プロセッサは、画像データを分析して、左手１３０Ａの親指が左手１３０Ａの別の指と接触していないと判断する。説明するために、プロセッサは、左手１３０Ａの親指の色及び形状を有する画像ピクセルデータが、左手１３０Ａの別の指の色及び形状を有する別の画像ピクセルデータと接触していないと判断し、プロセッサは、親指が他の指に接触していないと判断する。
【０１５８】
ピンチアンドホールドジェスチャがユーザー１０６によって実行されないと判断すると、ゲームコンソール４０８のプロセッサは、ピンチアンドホールドジェスチャとシーン６０２Ｂとの間の結合を、例えば切り離す、関係を断つ、作動させないようにする等、ピン止めを外す。例えば、ゲームコンソール４０８のプロセッサは、ピンチアンドホールドジェスチャが実行されていたユーザー１０６の手の動きで、シーン６０２Ｂを、例えば並進させない、回転させない、摺動させない等、移動させないと決定する。別の例として、シーン６０２Ｂは、ユーザー１０６が、リリースジェスチャが実行された後、ユーザー１０６が別のピンチアンドホールドジェスチャを行うまで、自分の手を移動するときに変化しない。
【０１５９】
さらに、ピンチアンドホールドジェスチャがユーザー１０６によって実行されないと判断すると、ゲームコンソール４０８のプロセッサは、ｘｙｚ座標系に関してＨＭＤ１０２の動きがあるかどうかを判断する。例えば、ゲームコンソール４０８のプロセッサは、ユーザー１０６が自分の頭を自分の左へまたは自分の右への方向で回転するとき、ＨＭＤ１０２が移動したとカメラシステムのカメラを使用し、取り込まれた画像データを分析する。ＨＭＤ１０２が移動したと判断すると、ゲームコンソール４０８のプロセッサは、シーン６０２Ｃでの表示のためにオブジェクト６０４Ａ及び６０４Ｂを含むために、及びシーン６０２Ｂでオブジェクト６０４Ｃ及び６０４Ｄの位置を変更するために、及びさらにオブジェクト６０４Ｅがシーン６０２Ｃに表示されないようにするために、画像データを生成する。
【０１６０】
一実施形態では、カメラシステムのカメラを使用し、取り込まれた画像データを使用する代わりに、またはカメラシステムのカメラを使用し、取り込まれた画像データを使用することに加えて、ゲームコンソール４０８のプロセッサは、リリースジェスチャがユーザー１０６によって実行されるかどうかを判断するために、ユーザー１０６の手に着用される手袋から受信されるデジタル形式の信号を使用する。例えば、デジタル形式の信号が手袋から受信されないと判断すると、ゲームコンソール４０８のプロセッサは、手袋のセンサが互いに接触しておらず、ピンチアンドホールドジェスチャが、手袋を着用する手によって実行されないと判断する。
【０１６１】
上述された実施形態は軸２５６に関して説明されるが、一実施形態では、軸２５６の代わりに、ＨＭＤ１０２の長さの平行である軸が使用されることに留意されたい。
【０１６２】
図７Ａは、ユーザー１０６（図１）によって自分の左手１３０Ａに着用されるアクティブな手袋７０２の実施形態の背面図である。アクティブな手袋７０２は、手袋４０６Ａ（図４Ｃ）の例である。アクティブな手袋７０２は、指セグメントＳ１、Ｓ２、Ｓ３、Ｓ４、及びＳ５を含む。指セグメントＳ１は左手１３０Ａの親指を覆い、指セグメントＳ２は左手１３０Ａの人さし指を覆い、指セグメントＳ３は左手１３０Ａの中指を覆い、指セグメントＳ４は左手１３０Ａの薬指を覆い、指セグメントＳ５は左手１３０Ａの小指を覆う。各指セグメントは、図７Ａに示される点線まで伸びる。
【０１６３】
さらに、各指セグメントは導電パッドを備える。例えば、指セグメントＳ１は導電パッド７０４Ａを備え、指セグメントＳ２は導電パッド７０４Ｂを備え、指セグメントＳ３は導電パッド７０４Ｃを備え、指セグメントＳ４は導電パッド７０４Ｄを備え、指セグメントＳ５は導電パッド７０４Ｅを備える。説明するために、導電パッドは、導電パッドの導電面が手袋７０２の背面側に位置するように指セグメントの中に埋め込まれる。各導電パッドが指セグメントの先端にまたは先端の近くに位置することに留意されたい。例えば、導電パッド７０４Ａは指セグメントＳ１の遠位指節骨に位置し、導電パッド７０４Ｂは指セグメントＳ２の遠位指節骨に位置し、導電パッド７０４Ｃは指セグメントＳ３の遠位指節骨に位置し、導電パッド７０４Ｄは指セグメントＳ４の遠位指節骨に位置し、導電パッド７０４Ｅは指セグメントＳ５の遠位指節骨に位置する。
【０１６４】
手袋７０２は、布材料または皮革材料、またはプラスチック材料、またはその２つ以上の組合せから作られる。各導電パッドは、例えば金属等の導電性材料、または例えば半導体等の半導体材料から作られる。
【０１６５】
左手１３０Ａのためのアクティブな手袋７０２が示されているが、当業者は右手１３０Ｂ（図１）のための類似するアクティブな手袋が製作されることを理解するだろうことに留意されたい。
【０１６６】
図７Ｂは、手袋７０２の導電パッドが手袋７０２の別の導電パッドと接触しているときの信号の生成を示すための手袋７０２の実施形態の側面図である。ピンチアンドホールドジェスチャが手袋７０２を使用し、ユーザー１０６（図１）によって実行されるとき、導電パッド７０４Ａは導電パッド７０４Ｂと接触している。導電パッド７０４Ａが導電パッド７０４Ｂと接触しているとき、短絡信号が生成され、導体を介して手袋７０２の通信装置に送信され、短絡信号は、有線プロトコルまたは無線プロトコルを使用することによって手袋７０１の通信装置によってコンピューティング装置に通信される。例えば、導電パッド７０４Ａは手袋７０２の中の電源に接続され、導電パッド７０４Ｂは接地に接続される。導電パッド７０４Ａが導電パッド７０４Ｂに接触するとき、電源からの信号は経路を介して接地に横断して短絡信号を生成する。経路は、導電パッド７０４Ａ及び７０４Ｂならびに例えばワイヤ等の導体を介して電源を接地に接続する。例えば、以下にさらに説明されるトランジスタ、トランジスタのグループ、ワイヤ等のセンサは、導電パッド７０４Ｂと接地との間の経路の一部分に接続されて短絡信号を検知する。センサは、短絡信号または短絡信号から生成された別の信号を、コンピューティング装置に送信するために手袋７０２の通信装置に提供する。コンピューティング装置のプロセッサは、デジタル形式の短絡信号を受信して、ピンチアンドホールドジェスチャが実行されると判断する。
【０１６７】
手袋の指セグメントが手袋の別の指セグメントと接触するときに、信号を生成するための異なるタイプのアクティブな手袋が、２０１４年１０月１７日に出願され、「Ｔｈｕｍｂ  Ｃｏｎｔｒｏｌｌｅｒ」と題する出願番号第１４／５１７，７３３号に、及び２０１４年１０月１７日に出願され、「Ｇｌｏｖｅ  Ｉｎｔｅｒｆａｃｅ  Ｏｂｊｅｃｔ」と題する出願番号第１４／５１７，７４１号に示されており、これらは共にその全体が参照により本明細書に援用される、ことに留意されたい。
【０１６８】
さらに、図７Ｂは、手袋の人さし指セグメントの導電パッドと親指セグメントの導電パッドとの間の接触がピンチジェスチャの例であることを説明するが、一実施形態では、導電パッド７０４Ａと導電パッド７０４Ｂ、７０４Ｃ、７０４Ｄ、及び７０４Ｅの１つまたは複数との間の接触は、ピンチアンドホールドジェスチャを確立するために発生する。
【０１６９】
図８は、ＨＭＤ１０２にシーンを表示するためのシステム９００の多様な装置間のデータの通信を示すためのシステム９００の実施形態の図である。１つまたは複数のカメラを含むカメラシステム９０１は、例えばユーザー１０６の手の指の画像データ、ＨＭＤ１０２の画像データ等の画像データを取り込み、有線プロトコルまたは無線プロトコルを画像データに適用して通信信号を生成する。カメラシステム９０１は、ゲームコンソール４０８の通信装置９０４に通信信号を送信する。カメラシステム９０１の１つまたは複数のカメラの例は、カメラＣ１（図４Ａ）、カメラＣ２（図５）等を含む。
【０１７０】
センサ９０５は、導電パッドが別の導電パッドと接触するとき、例えば短絡信号等の信号を検知する。センサ９０５の例は上記に示されている。センサ９０５は、短絡信号または短絡信号がセンサ９０５によって受信されるときに生成される別の信号を、センサ９０５に結合された通信装置９０３に提供する。通信装置９０３は、通信信号を生成するために無線プロトコルまたは有線プロトコルを短絡信号にまたはセンサ９０５によって生成された他の信号に適用し、通信信号を通信装置９０４に送信する。
【０１７１】
ゲームコンソール４０８の通信装置９０４は、カメラシステム９０１から通信信号を、通信装置９０３から通信信号を受信する。通信装置９０４は、通信信号から画像データを取り出すために、有線プロトコルまたは無線プロトコルをカメラシステム９０１から受信された通信信号に適用する。さらに、通信装置９０４は、短絡信号またはセンサ９０５によって生成された他の信号を取り出すために、有線プロトコルまたは無線プロトコルを通信装置９０３から受信された通信信号に適用する。通信装置９０４とゲームプロセッサ９０２との間に位置するアナログ／デジタル変換器（不図示）は、例えばデジタル形式の短絡信号等、デジタル信号を生成するために短絡信号またはセンサ９０５によって生成された信号をアナログ形式からデジタル形式に変換する。
【０１７２】
ゲームプロセッサ９０２は、デジタル信号及び画像データを受信し、デジタル信号及び画像データを分析して、ユーザー１０６によって実行される、例えばピンチアンドホールドジェスチャ、スライドジェスチャ、回転ジェスチャ等のジェスチャを決定する。ゲームプロセッサ９０２は、ゲームメモリ装置９０６の中に記憶される、例えばゲームをプレイするためのゲームコンピュータプログラムコード、拡張現実環境に関するデータを生成するためのコンピュータプログラムコード、仮想現実環境に関するデータを生成するためのコンピュータプログラムコード、リアルタイムビデオに関するデータを生成するためのコンピュータプログラムコード等の対話型プログラムコードから、ジェスチャに対応するＨＭＤ１０２に表示されるシーンの状態を識別する。状態は、例えばシーンでのオブジェクトの場所、オブジェクトの機能、オブジェクトの色、オブジェクトの触感、オブジェクトの形状、オブジェクトの音声出力、オブジェクトによって提供される嗅覚、オブジェクトによって提供される味覚、オブジェクトによって提供される感覚等の多様なパラメータによって定義される。状態に関するデータは、ゲームプロセッサ９０２によって通信装置９０４に提供される。通信装置９０４は、通信信号を生成するために有線プロトコルまたは無線プロトコルを適用し、通信信号をＨＭＤ１０２の通信装置９１０に送信する。
【０１７３】
通信装置９１０は、状態に関するデータを通信信号から取り出すために無線プロトコルまたは有線プロトコルを適用し、状態に関するデータを音声／ビデオ（Ａ／Ｖ）セパレータ９１２に提供する。Ａ／Ｖセパレータ９１２は、状態に関するデータの中の音声データを、通信装置９１０から受信された状態に関するデータの中の画像データから分離する。画像データは、ディスプレイ装置９１６に、例えばオブジェクトの画像、背景の画像等のシーンを表示するために、Ａ／Ｖセパレータ９１２によって画像データをレンダリングするためのプロセッサ９１４に送信される。ディスプレイ装置の例は、ＬＣＤディスプレイ装置、ＬＥＤディスプレイ装置、プラズマディスプレイ装置等を含む。
【０１７４】
音声データは、ＨＭＤ１０２の１つまたは複数のスピーカを介して画像データの表示を音声データの出力と同期させるためのシンクロナイザに送信される。シンクロナイザは、オブジェクトが表示されるのと同時にシーンのオブジェクトの表示と関連付けられた音を再生するために予定を決める。シンクロナイザは、音声データをデジタル形式からアナログ形式に変換するデジタル／アナログ変換器（ＤＡＣ）に音声データを送信する。アナログ音声データは、ＨＭＤ１０２の増幅器（Ａ）によって増幅される。増幅されたアナログ音声データは、ＨＭＤ１０２の１つまたは複数のスピーカによって音に変換される。
【０１７５】
一実施形態では、本明細書に説明されるオブジェクトはシーンの背景を含む。
【０１７６】
メモリ装置の例は、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、揮発性メモリ、不揮発性メモリ、レイド（ｒｅｄｕｎｄａｎｔ  ａｒｒａｙ  ｏｆ  ｄｉｓｋｓ）、フラッシュメモリ等を含む。
【０１７７】
一実施形態では、カメラシステム９０１または通信装置９０３のどちらかがゲームコンソール４０８に接続される。
【０１７８】
実施形態では、通信装置９０３は、センサ９０５によって生成された信号が右手１３０Ｂに着用された手袋と関連付けられているのか、それとも左手１３０Ａに着用された手袋と関連付けられているのかを識別するようにプログラムされる。例えば、通信装置９０３は、センサ９０５が右手１３０Ｂに着用される手袋の中に位置することを、通信装置９０４に送信される通信信号の中に埋め込む。ゲームプロセッサ９０２は、センサ９０５によって生成された信号またはセンサ９０５によって転送された短絡信号がユーザー１０６の左手または右手に着用された手袋のセンサ９０５によって生成されることを識別するための識別を受信する。
【０１７９】
一実施形態では、通信装置９０３はゲームコンソール４０８のポートに接続され、ポートはユーザー１０６の右手に着用される手袋と関連付けられる。さらに、ユーザー１０６の左手に着用される手袋の別の通信装置は、ゲームコンソール４０８の別のポートに接続される。別々のポートが、センサ９０５によって生成された信号またはセンサ９０５によって転送された短絡信号が右手に着用された手袋から受信され、左手に着用された手袋のセンサによって生成された信号または左手に着用された手袋のセンサによって転送された短絡信号がユーザー１０６の左手に着用された手袋から受信される旨の、ゲームプロセッサ４０８による識別を容易にする。
【０１８０】
上記実施形態はユーザー１０６の手の親指の、手の１つまたは複数の指との接触を説明するが、一実施形態では、手の２つ以上の指の間で接触が確立されるとき、ピンチジェスチャが実行されるとコンピューティング装置のプロセッサによって判断されることに留意されたい。
【０１８１】
図９は、ＨＭＤ１０２の例であるＨＭＤ１０００の等角図である。ＨＭＤ１０００は、ユーザー１０６（図１）による着用時にユーザー１０６の頭部の後部に行くバンド１００２及び１００４を含む。さらに、ＨＭＤ１０００は、例えばゲーム環境、シーン、シーンのオブジェクト、例えばゲームプログラム、対話型環境生成プログラム等の対話型プログラムコードの実行によって提示される対話型ツアー環境等の対話型環境と関連付けられた音を発する、例えばスピーカ等のイヤホン１００６Ａ及び１００６Ｂを含む。ＨＭＤ１０００は、ユーザー１０６がＨＭＤ１０００の表示画面に表示される対話型環境を見ることができるようにするレンズ１００８Ａ及び１００８Ｂを含む。溝１０８０は、鼻の上でＨＭＤ１０００を支えるためにユーザー１０６の鼻の上にのる。
【０１８２】
いくつかの実施形態では、ＨＭＤ１０００は、サングラス、メガネ、またはルーペがユーザー１０６によって着用されるのと同様にユーザー１０６によって着用される。
【０１８３】
図１０は、本開示に説明される実施形態に係るビデオゲームの対話型ゲームプレイのためのシステムを示す。ユーザー１０６は、ＨＭＤ１０２を着用していると示される。ＨＭＤ１０２は眼鏡、ゴーグル、またはヘルメットと同様の方法で着用され、ユーザー１０６にビデオゲームまたは他のコンテンツを表示するように構成される。ＨＭＤ１０２は、ユーザーの目に近接した（例えば、光学機器及び表示画面等）表示機構の提供及びＨＭＤ１０２に配信されるコンテンツのフォーマットのおかげでユーザー１０６に没入型体験を提供する。一例では、ＨＭＤ１０２は、ユーザー１０６の視野の大きい部分または視野全体も占有する表示領域をユーザーの目のそれぞれに提供する。別の例として、ユーザー１０６は、あたかも自分がＨＭＤ１０２に表示される対話型環境の、例えば一部である等、対話型環境の中にいるように感じる。
【０１８４】
一実施形態では、ＨＭＤ１０２は、コンピューティング装置の例であるコンピュータ１１０２に接続される。コンピュータ１１０２への接続は有線または無線である。コンピュータ１１０２は、一実施形態では、ゲームコンソール、パーソナルコンピュータ、ラップトップ、タブレット、携帯機器、スマートフォン、タブレット、シンクライアント、セットトップボックス、メディアストリーミング装置、スマートテレビ等を含むが、これに限定されるものではない、任意の汎用コンピュータまたは特殊用途コンピュータである。いくつかの実施形態では、ＨＭＤ１０２は、インターネットに直接的に接続し、このことが別個のローカルコンピュータを必要とすることなくクラウドゲーミングを可能にしてよい。一実施形態では、コンピュータ１１０２は、ビデオゲーム（及び他のデジタルコンテンツ）を実行し、ＨＭＤ１０２によるレンダリングのためにビデオゲームからビデオ及び音声を出力する。
【０１８５】
コンピュータ１１０２は、一実施形態では、ローカルコンピュータまたはリモートコンピュータであり、コンピュータはエミュレーションソフトウェアを実行する。クラウドゲーミングの実施形態では、コンピュータ１１０２は遠隔であり、ゲームシステム／ロジックが利用され、コンピュータネットワークを介してユーザー１０６に分散されるデータセンタで実装される複数のコンピューティングサービスにより表される。
【０１８６】
ユーザー１０６は、対話型環境に入力を提供するためにハンドヘルドコントローラ１１０６を操作する。一例では、カメラＣ１は、ユーザー１０６が位置する現実世界環境の画像を取り込む。これらの取り込まれた画像は、ユーザー１０６、ＨＭＤ１０２、及びコントローラ１１０６の場所及び動きを決定するために分析される。一実施形態では、コントローラ１１０６は、その場所及び向きを決定するために追跡される１つまたは複数のライトを含む。さらに、以下にさらに詳細に説明されるように、一実施形態では、ＨＭＤ１０２は、対話型環境の表示中に実質的なリアルタイムでＨＭＤ１０２の場所及び向きを決定するためのマーカーとして追跡される１つまたは複数のライトを含む。
【０１８７】
カメラＣ１は、一実施形態では、現実世界空間から音を取り込むために１つまたは複数のマイクを含む。マイクアレイによって取り込まれる音は音源の場所を識別するために処理される。識別された場所からの音は、識別された場所からではない他の音を除外して、選択的に活用または処理される。さらに、一実施形態では、カメラＣ１は、例えばカメラの立体写真、赤外線（ＩＲ）カメラ、深度カメラ、及びその組合せ等の複数の画像取込装置を含む。
【０１８８】
いくつかの実施形態では、コンピュータ１１０２は、コンピュータ１１０２の処理ハードウェアでローカルにゲームを実行する。ゲームまたはコンテンツは、物理媒体形式（例えば、デジタルディスク、テープ、カード、サムドライブ、ソリッドステートチップ、またはカード等）等の任意の形式で、またはコンピュータネットワーク１１０３からのダウンロードによって入手される。実施形態では、コンピュータ１１０２は、クラウドゲーミングプロバイダ１１１２とのコンピュータネットワーク１１０３を介する通信でクライアントとして機能する。クラウドゲーミングプロバイダ１１１２は、ユーザー１０６によってプレイされているビデオゲームを維持し、実行する。コンピュータ１１０２は、ＨＭＤ１０２、コントローラ１１０６、及び／またはカメラＣ１からの入力を、実行されているビデオゲームのゲーム状態に影響を与えるために入力を処理するクラウドゲーミングプロバイダ１１１２に送信する。例えばビデオデータ、音声データ、及びハプティックフィードバックデータ等の実行中のビデオゲームからの出力は、コンピュータ１１０２に送信される。コンピュータ１１０２は、さらに送信前にデータを処理する、または関連する装置に直接的にデータを送信する。例えば、振動フィードバックコマンドはコントローラ１１０６に提供されるのに対して、ビデオストリーム及び音声ストリームはＨＭＤ１０２に提供される。
【０１８９】
一実施形態では、ＨＭＤ１０２、コントローラ１１０６、及びカメラＣ１は、クラウドゲーミングプロバイダ１１１２と通信するためにコンピュータネットワーク１１０３に接続するネットワーク化された装置である。例えば、コンピュータ１１０２は、それ以外の場合ビデオゲーム処理を実行しないが、ネットワークトラフィックの通過を容易にするルータ等のローカルネットワーク装置であってよい。ＨＭＤ１０２、コントローラ１１０６、及びカメラＣ１によるコンピュータ１１０３への接続は有線または無線である。いくつかの実施形態では、ＨＭＤ１０２で実行される、または例えばテレビ、ＬＣＤディスプレイ装置、ＬＥＤディスプレイ装置、プラズマディスプレイ装置、コンピュータモニタ等の表示装置１１１４で表示可能なコンテンツは、コンテンツソース１１１６のいずれかから入手される。例のコンテンツソースは、ダウンロード可能なコンテンツ及び／またはストリーミングコンテンツを提供する、例えばインターネットウェブサイトを含む。いくつかの例では、コンテンツは、映画、ゲーム、静的コンテンツ／動的コンテンツ、写真、ソーシャルメディアコンテンツ、ソーシャルメディアウェブサイト、対話型ツアーコンテンツ、漫画コンテンツ等の任意のタイプのマルチメディアコンテンツを含む。
【０１９０】
一実施形態では、ユーザー１０６は、係るコンテンツが没入型の３次元対話型コンテンツである場合、ＨＭＤ１０２でゲームをプレイしている。ユーザー１０６がプレイしている間、ＨＭＤ１０２上のコンテンツはディスプレイ装置１１１４に共用される。一実施形態では、ディスプレイ装置１１１４に共用されるコンテンツは、ユーザー１０６に近接するまたは遠い他のユーザーがユーザー１０６のゲームプレイとともに注視することを可能にする。さらに追加の実施形態では、ディスプレイ装置１１１４上のユーザー１０６のゲームプレイを見ている別のプレーヤは、ユーザー１０６と対話形式で参加する。例えば、ディスプレイ装置１１１４でゲームプレイを見ているユーザーは、ゲームシーンのキャラクタを制御し、フィードバックを提供し、ソーシャルインタラクションを提供し、及び／または（テキストを介して、音声を介して、動作を介して、ジェスチャを介して等）コメントを提供し、このことがＨＭＤ１０２を着用していないユーザーがユーザー１０６とソーシャルインタラクションできるようにする。
【０１９１】
図１１は、本開示で説明される実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）１２００を示す。ＨＭＤ１２００はＨＭＤ１０２（図１）の例であり、ＨＭＤ１０２の正面１２０６の一端からＨＭＤ１０２の正面１２０６の反対の端部まで伸びる長さ１２０４を有する。示されるように、ＨＭＤ１２００は複数のライト１２０２Ａ〜Ｈ、Ｊ、及びＫを含む（例えば、１２０２Ｋ及び１２０２ＪはＨＭＤヘッドバンドの後部または裏側に向かって位置する）。これらのライトのそれぞれは、特殊な形状及び／または位置を有し、同じ色または異なる色を有する。ライト１２０２Ａ、１２０２Ｂ、１２０２Ｃ、及び１２０２ＤはＨＭＤ１２００の正面に配置される。ライト１２０２Ｅ及び１２０２Ｆは、ＨＭＤ１２００の側面に配置される。そしてライト１２０２Ｇ及び１２０２Ｈは、ＨＭＤ１２００の正面及び側面に及ぶようにＨＭＤ１２００の角に配置される。ライトは、ユーザーがＨＭＤ１２００を使用する対話型環境の取り込まれた画像で識別されることが理解される。
【０１９２】
ライトの識別及び追跡に基づいて、対話型環境でのＨＭＤ１２００の場所及び向きは決定される。ライトのいくつかが、例えばカメラ、デジタルカメラ、深度カメラ、赤外線カメラ等の画像取込装置に対するＨＭＤ１２００の特定の向きに応じて見える、または見えないことがさらに理解される。ライト（例えば、ライト１２０２Ｇ及び１２０２Ｈ）の異なる部分が、画像取込装置に対するＨＭＤ１２００の「向きに応じて、画像取込みのために露呈される。いくつかの実施形態では、ライトを必要とせずに位置決めに関するフィードバックを提供する慣性センサはＨＭＤ１２００に配置される。いくつかの実施形態では、ライト及び慣性センサは、位置データ／運動データの混合及び選択を有効にするためにともに機能する。
【０１９３】
一実施形態では、ライトは現実空間で他のユーザーにＨＭＤ１２００の現在のステータスを示すように構成される。例えば、ライトのいくつかまたはすべては、色配置、強度配置、点滅を有し、オン／オフ構成またはＨＭＤ１２００の現在のステータスを示す他の配置を有する。例として、ライトは、例えばメニューインタフェースをナビゲートするまたはゲーム設定値を設定する（その間はゲームタイムラインまたはシーンがインアクティブであるまたは休止する）等のビデオゲームの他の非アクティブゲームプレイ態様に対して、ビデオゲームのアクティブなゲームプレイ（概して、アクティブタイムラインの間またはゲームのシーンの中で発生しているゲームプレイ）中に異なる構成を表示する。
【０１９４】
実施形態では、ライトはゲームプレイの相対的な強度レベルを示す。例えば、ライトの輝度、または点滅の速度は、ゲームプレイの強度が高まるときに加速する。
【０１９５】
ＨＭＤ１２００は、一実施形態では、さらに１つまたは複数のマイクを含む。示されている実施形態では、ＨＭＤ１２００は、ＨＭＤ１２００の正面に位置するマイク１２０４Ａ及び１２０４Ｂ、ならびにＨＭＤ１２００の側面に位置するマイクを含む。マイクのアレイを活用することによって、マイクのそれぞれからの音は、音の源の位置を決定するために処理される。この情報は、不必要な音源の除外、視覚的な識別との音源の関連付け等を含む多様な方法で活用される。
【０１９６】
ＨＭＤ１２００は１つまたは複数の画像取込装置を含む。示されている実施形態では、ＨＭＤ１２００は、画像取込装置１２０６Ａ及び１２０６Ｂを含むと示される。実施形態では、画像取込装置の立体写真を活用することによって、ＨＭＤ１２００の前の現実世界環境の３次元画像及びビデオがＨＭＤ１２００の視点から取り込まれる。係るビデオは、ユーザーにＨＭＤ１２００を着用中に「ビデオシースルー」能力を与えるためにユーザー１０６に提示される。すなわち、ユーザー１０６は、厳密な意味ではＨＭＤ１２００を通して見ることはできないが、画像取込装置１２０６Ａ及び１２０６Ｂによって取り込まれるビデオは、それにも関わらず、あたかもＨＭＤ１２００を通して見ているかのようにＨＭＤ１２００にとって外部の現実世界環境を見ることと同等な機能を提供する。
【０１９７】
係るビデオは、一実施形態では拡張現実経験を提供するために対話型環境で拡張される、または他の方法で対話型要素と結合もしくは混合される。示されている実施形態では、２つのカメラがＨＭＤ１２００の正面に示されているが、任意の数の外部に向くカメラがあってよい、または単一のカメラがＨＭＤ１２００に設置され、任意の方向に配向されることが理解される。例えば、別の実施形態では、環境の追加のパノラマ画像取込みを提供するために、ＨＭＤ１２００の側面に取り付けられたカメラがあってよい。
【０１９８】
図１２は、ビデオゲームコンテンツを生成し、ＨＭＤ１０２でのレンダリングのためにユーザー１０６のＨＭＤ１０２（図１）に提供することができるコンピュータ１１０２（図１０）を使用するゲームプレイの一例を示す。この図では、ＨＭＤ１０２に提供される例えばゲームコンテンツ等のオブジェクトの状態は、豊かな対話型３次元空間内にある。上述されたように、対話型オブジェクトの状態は、コンピュータ１１０２にダウンロードされる、または一実施形態ではクラウド処理システムによって実行される。クラウドゲーミングサービス１１１２は、特定のゲーム１３３０にアクセスし、他の友人と経験を共有し、コメントを投稿し、そのアカウント情報を管理することが可能にされるユーザー１３０４のデータベースを含む。
【０１９９】
クラウドゲーミングサービス１１１２は、特定のユーザーのためのゲームデータ１３０６を記憶し、ゲームデータはゲーム中に、将来のゲームプレイのために、ソーシャルメディアネットワークへの共用のために使用できる、またはトロフィー、賞、ステータス、ランキング等を記憶するために使用される。ソーシャルデータ１３０８は、クラウドゲーミングサービス１１１２によって管理される。一実施形態では、ソーシャルデータ１３０８は、コンピュータネットワーク１１０３を介してクラウドゲーミングサービス１１１２とインタフェースがとられる別個のソーシャルメディアネットワークによって管理される。コンピュータネットワーク１１０３を介して、コンピュータ１１０２を含む任意の数のコンピュータ１３１０が、コンテンツに対するアクセス及び他のユーザーとのやり取りのために接続される。
【０２００】
図１２の例を続けると、ＨＭＤ１０２で見られる３次元の対話型シーンは、３次元表示または別の対話型環境に示されるキャラクタ等のゲームプレイを含む。例えばＰ１等の１つのキャラクタは、ＨＭＤ１０２を着用しているユーザー１０６によって制御される。この例は、ＨＭＤユーザー１０６が３次元表示で別のキャラクタに対してボールをダンクシュートしている、２人のプレーヤ間のバスケットボールのシーンを示す。他のキャラクタは、ゲームのＡＩ（人工知能）キャラクタである、または別の１人もしくは複数のプレーヤ（Ｐｎ）によって制御される。ＨＭＤ１０２を着用しているユーザー１０６は、ＨＭＤ１０２がユーザーの頭部の動き及び体の位置に基づいて動き回る、使用空間で動き回って示されている。しかしながら、カメラ１３１２は室内の表示画面の上に位置決めされて示され、ＨＭＤ使用のために、一実施形態では、カメラ１３１２はＨＭＤ１０２の画像を取り込む任意の場所に設置される。カメラ１３１２はカメラＣ１（図４Ａ）の例である。したがって、ＨＭＤ１０２でレンダリングされるコンテンツは、ＨＭＤ１０２がカメラ１３１２の視点から位置決めされる方向に依存するので、ユーザー１０６は、カメラ１３１２及びディスプレイ装置１３１３から約９０度回転されて示される。言うまでもなく、ＨＭＤ使用中、ユーザー１０６は、ＨＭＤ１０２によってレンダリングされる動的な対話シーンを利用するために必要とされるように、動き回り、頭を回し、多様な方向を見ている。
【０２０１】
図１３は、一実施形態に従って使用中ＨＭＤ１４０３を着用しているユーザーを示す。ＨＭＤ１４０３は、ＨＭＤ１０２（図１）の例である。この例では、ＨＭＤ１４０３が、カメラ１３１２によって取り込まれたビデオフレームから入手される画像データを使用し、追跡されることが示される（１４０２）。さらに、ハンドヘルドコントローラ１１０６も、カメラ１３１２によって取り込まれたビデオフレームから入手される画像データを使用し、追跡されることが示される（１４０４）。また、ＨＭＤ１４０３がケーブル１４１０を介してゲームコンソール１４０５に接続される構成も示される。ゲームコンソール１４０５は、ゲームコンソール４０８（図４Ａ）の例である。一実施形態では、ＨＭＤ１０２は、同じケーブルから電力を入手する、または別のケーブルに接続する。さらに別の実施形態では、ＨＭＤ１０２は、余分な電源コードを回避するために再充電可能である電池を有する。
【０２０２】
図１４を参照すると、本開示に説明される実施形態に従って、ＨＭＤ１５００の例の構成要素を示す図が示される。ＨＭＤ１５００はＨＭＤ１０２（図１）の例である。一実施形態では、有効にされる構成及び機能に応じて、より多くのまたはより少ない構成要素が含まれる、またはＨＭＤ１５００から除外されることが理解されるべきである。ＨＭＤ１５００は、プログラム命令を実行するためのプロセッサ１５０２を含む。メモリ１５０４は記憶のために提供され、一実施形態では、揮発性メモリと不揮発性メモリの両方を含む。ユーザー１０６が見る視覚インタフェースを提供するディスプレイ１５０６が含まれる。
【０２０３】
ディスプレイ１５０６は、１つの単一のディスプレイによって、または目ごとの別々の表示画面の形で定義される。２つの表示画面が提供されるとき、左目ビデオコンテンツ及び右目ビデオコンテンツを別々に提供することができる。目ごとのビデオコンテンツの別々の提示は、例えば、３次元コンテンツのより優れた没入制御を提供する。本明細書に説明されるように、一実施形態では、第２の画面は、一方の目のための出力を使用し、次いで２次元フォーマットでの表示のためにコンテンツをフォーマットすることによって、ＨＭＤ１５００の第２の画面コンテンツを提供される。１つの目は、一実施形態では左目ビデオフィードであるが、他の実施形態では右目ビデオフィードである。
【０２０４】
電池１５０８はＨＭＤ１５００の電源として提供される。他の実施形態では、電源は電力に対するコンセント接続を含む。他の実施形態では、電力へのコンセント接続及び電池１５０８が提供される。運動検出モジュール１５１０は、例えば磁力計１５１２、加速度計１５１４、及びジャイロスコープ１５１６等の多様な種類の動作検知ハードウェアのいずれかを含む。
【０２０５】
加速度計は、加速度及び重力により誘発される反力を測定するための装置である。単一の軸のモデル及び複数の軸（例えば、６軸）のモデルは、異なる方向で加速度の大きさ及び方向を検出できる。加速度計は、傾斜、振動、及び衝撃を検知するために使用される。一実施形態では、３つの加速度計が重力の方向を提供するために使用され、このことが２つの角度（世界空間ピッチ及び世界空間ロール）の絶対的な基準を与える。
【０２０６】
磁力計はＨＭＤの近傍で磁場の強度及び方向を測定する。一実施形態では、磁力計はＨＭＤの中で使用され、世界空間ヨー角度の絶対基準を保証する。一実施形態では、磁力計は、±８０マイクロテスラである地球磁場に及ぶように設計される。磁力計は、金属によって影響を及ぼされ、実際のヨーと単調であるヨー測定値を提供する。磁場は、環境の中の金属のために歪められ、このことがヨー測定の歪みを生じさせる。必要な場合、この歪みは、ジャイロスコープまたはカメラ等の他のセンサからの情報を使用し、較正される。一実施形態では、加速度計１５１４は、ＨＭＤ１５００の傾斜及びアジマスを入手するために磁力計１５１２とともに使用される。
【０２０７】
ジャイロスコープは、角運動量の原理に基づいて向きを測定または維持するための装置である。一実施形態では、３つのジャイロスコープが慣性感知に基づいてそれぞれの軸（ｘ、ｙ、及びｚ）を横切る移動についての情報を提供する。ジャイロスコープは高速回転を検出するのに役立つ。しかしながら、ジャイロスコープは、絶対基準の存在なしに経時的にドリフトする。ドリフトを削減するために、ジャイロスコープは周期的にリセットされ、このことはオブジェクト、加速度計、磁力計等の視覚的な追跡に基づいた位置／向きの決定等の他の使用可能な情報を使用し、行われる。
【０２０８】
カメラ１５１８は、現実世界環境の画像及び画像ストリームを取り込むために提供される。一実施形態では、例えば外部を向いている（ユーザー１０６がＨＭＤ１５００のディスプレイを見ているときにユーザー１０６から離れて向けられる）等、後方を向いているカメラ、及び前方を向いている（ユーザーがＨＭＤ１５００のディスプレイを見ているときにユーザー１０６の方に向けられる）カメラを含む複数のカメラが（任意選択で）ＨＭＤ１５００に含まれる。さらに、実施形態では、深度カメラ１５２０が、現実世界環境のオブジェクトの深度情報を検知するためにＨＭＤ１５００に含まれる。深度カメラ１５２０は外部に向くカメラである。
【０２０９】
ＨＭＤ１５００は、音声出力を提供するためのスピーカ１５２２を含む。また、一実施形態では、マイク１５２４が、周囲環境からの音、ユーザー１０６によって行われる発話等の現実世界空間からの音声を取り込むために含まれる。実施形態では、ＨＭＤ１５００は、ユーザー１０６に触覚フィードバックを提供するための、例えばハプティックフィードバック装置等の触覚フィードバックモジュール１５２６を含む。一実施形態では、触覚フィードバックモジュール１５２６は、ユーザー１０６に触覚フィードバックを提供するためにＨＭＤ１５００の移動及び／または振動を引き起こすことができる。
【０２１０】
ＬＥＤ１５３０は、ＨＭＤ１５００のステータスの視覚的なインジケータとして提供される。例えば、ＬＥＤは電池残量、電源投入等を示す。カードリーダ１５３２は、ＨＭＤ１５００がメモリカードに情報を書き込み、メモリカードから情報を読み取ることができるようにするために提供される。ＵＳＢインタフェース１５３４は、周辺装置の接続または例えば他の携帯機器、コンピュータ等の他の装置への接続を可能にするためのインタフェースの一例として含まれる。ＨＭＤ１５００の多様な実施形態では、多様な種類のインタフェースのいずれかがＨＭＤ１５００のより大きい接続性を可能にするために含まれてよい。
【０２１１】
実施形態では、Ｗｉ−Ｆｉモジュール１５３６は、無線ネットワーキング技術を介してコンピュータネットワーク１１０３へのまたはゲームコンソールへの接続を可能にするために含まれる。また、一実施形態では、ＨＭＤ１５００は、例えばゲームコンソール、コンピューティング装置等の他の装置への無線接続を可能にするために、ブルートゥースモジュール１５３８を含む。通信リンク１５４０は、他の装置への接続のために含まれる。一実施形態では、通信リンク１５４０は無線通信のために赤外線伝送を活用する。他の実施形態では、通信リンク１５４０は、他の装置との通信のために多様な無線送信プロトコルまたは有線伝送プロトコルのいずれかを活用する。
【０２１２】
入力ボタン／センサ１５４２は、ユーザー１０６に入力インタフェースを提供するために含まれる。例えばボタン、ジェスチャ、タッチパッド、ジョイスティック、トラックボール等の多様なタイプの入力インタフェースのいずれかが含まれてよい。一実施形態では、超音波通信モジュール１５４４が、超音波技術を介して他の装置との通信を促進するためにＨＭＤ１５００に含まれる。
【０２１３】
実施形態では、バイオセンサ１５４６は、ユーザー１０６からの、例えば生体情報等の生理学的データの検出を可能にするために含まれる。一実施形態では、バイオセンサ１５４６は、ユーザー／プロファイル等を識別するために、ユーザーの皮膚、声の検出、目の網膜検出によってユーザー１０６の生体電気信号を検出するための１つまたは複数の乾式電極を含む。
【０２１４】
ＨＭＤ１５００の上記の構成要素は、ＨＭＤ１５００に含まれてよい単に例示的な構成要素として説明されてきた。本開示に説明される多様な実施形態では、ＨＭＤ１５００は多様な上記の構成要素のいくつかを含むこともあれば、は含まないこともある。ＨＭＤ１５００の実施形態はさらに、本明細書に説明される本発明の態様を容易にするために、現在説明されていないが、技術で既知の他の構成要素を含むことがある。
【０２１５】
本開示に説明される多様な実施形態では、上記のハンドヘルドデバイスは多様な対話機能を提供するためにディスプレイに表示される対話アプリケーションと併せて活用されることが当業者により理解される。本明細書に説明される例示的な実施形態は、制限としてではなく、例としてのみ提供される。
【０２１６】
一実施形態では、本明細書で参照されるコンピュータ１１０２はパーソナルコンピュータまたはゲームコンソールまたはタブレットコンピュータまたはスマートフォンまたはセットトップボックスまたはキオスクまたは無線装置またはデジタルパッドまたはスタンドアロン装置またはハンドヘルドゲームプレイ装置等を含む。実施形態では、コンピュータ１１０２は、符号化されたビデオストリームを受信し、ビデオストリームを復号し、結果として生じるビデオを、例えばゲームのプレーヤ等ユーザー１０６に提示する。符号化されたビデオストリームを受信する及び／またはビデオストリームを復号するプロセスは、通常、コンピュータ１１０２の受信バッファに個々のビデオフレームを記憶することを含む。ビデオストリームは、コンピュータ１１０２に一体のディスプレイで、またはモニタもしくはテレビもしくはＨＭＤ等の別個の装置でユーザー１０６に提示される。
【０２１７】
コンピュータ１１０２は、一実施形態では、複数のゲームプレーヤをサポートする。例えば、ゲームコンソールは、２人、３人、４人以上の同時プレーヤ（例えば、Ｐ１、Ｐ２、．．．Ｐｎ）をサポートする。これらのプレーヤのそれぞれは、ビデオストリームを受信もしくは共用する、または単一のビデオストリームは、例えば各プレーヤの視点に基づいて生成された等、特に各プレーヤのために生成されたフレームの領域を含む。任意の数のコンピュータはローカルである（例えば、同じ場所に配置されている）、または地理的に分散している。ゲームシステムに含まれるコンピュータの数は、１または２から数千以上まで大きく異なる。本明細書に使用されるように、用語「ゲームプレーヤ」は、ゲームをプレイする人を指すために使用され、用語「ゲームプレイ装置」はゲームをプレイするために使用される装置を指すために使用される。
【０２１８】
いくつかの実施形態では、ゲームプレイ装置は、ユーザーにゲーム経験を配信するために協調する複数のコンピューティング装置を指す。例えば、ゲームコンソール及びＨＭＤは、ＨＭＤを通して見られるゲームを配信するためにビデオサーバシステムと協調する。別の例として、ゲームコンソールは、ビデオサーバシステムからビデオストリームを受信し、ゲームコンソールは、レンダリングのためにＨＭＤ及び／またはテレビにビデオストリームまたはビデオストリームに対する更新を転送する。
【０２１９】
さらに、ＨＭＤは、例えばビデオゲームコンテンツ、映画コンテンツ、ビデオクリップコンテンツ、ウェブコンテンツ、広告コンテンツ、コンテストコンテンツ、ギャンブルゲームコンテンツ、電話会議／ミーティングコンテンツ、ソーシャルメディアコンテンツ（例えば、投稿、メッセージ、メディアストリーム、有人のイベント、及び／またはゲームプレイ等）、ビデオ部分及び／または音声コンテンツ、ならびにブラウザおよびアプリケーションを介してインターネット上でソースからの消費のために作成されるコンテンツ、及びに任意のタイプのストリーミングコンテンツ等の、作成または使用される任意のタイプのコンテンツを見る及び／または任意のタイプのコンテンツとやり取りするために使用される。任意のタイプのコンテンツは、それがＨＭＤで見られるまたは画面もしくはＨＭＤの画面にレンダリングされる限りレンダリングされるので、コンテンツの上記リストは制限的ではないことは言うまでもない。
【０２２０】
実施形態では、コンピュータは、受信されたビデオを修正するシステムをさらに含む。例えば、コンピュータはあるビデオ画像を別のビデオ画像の上にオーバレイするため、ビデオ画像をトリミングする等のために追加のレンダリングを実行する。別の例として、コンピュータは、Ｉフレーム、Ｐフレーム、及びＢフレーム等の多様なタイプのビデオフレームを受信し、ユーザーへの表示のためにこれらのフレームを画像に処理する。いくつかの実施形態では、コンピュータの一部は追加のレンダリング、シェーディング、３次元への変換、２次元（２Ｄ）画像への変換、ひずみ除去、サイジング、またはビデオストリームに対する類似操作を実行する。実施形態では、コンピュータの一部は複数の音声ストリームまたはビデオストリームを受信する。
【０２２１】
コンピュータの入力装置は、例えば片手ゲームコントローラ、または両手ゲームコントローラ、またはジェスチャ認識システム、または視線認識システム、または音声認識システム、またはキーボード、またはジョイスティック、またはポインティングデバイス、または力フィードバック装置、または運動検知装置及び／もしくは場所検知装置、またはマウス、またはタッチスクリーン、またはニューラルインタフェース、またはカメラ、またはその２つ以上の組合せ等を含む。
【０２２２】
ビデオソースは、例えば記憶装置等のコンピュータ可読媒体に記憶される、例えばハードウェア、ファームウェア、及び／またはソフトウェア等のレンダリングロジックを含む。このレンダリングロジックは、ゲーム状態に基づいてビデオストリームのビデオフレームを作成する。レンダリングロジックのすべてまたは部分は任意選択で１つまたは複数のグラフィックスプロセッシングユニット（ＧＰＵ）の中に配置される。レンダリングロジックは、ゲーム状態及び視点に基づいて、オブジェクト間の３次元空間関係を決定するため及び／または適切な触感等を適用するための処理段階を含む。レンダリングロジックは、符号化される未処理ビデオを生じさせる。例えば、未処理ビデオはＡｄｏｂｅ  Ｆｌａｓｈ（登録商標）規格、ＨＴＭＬ‐５、．ｗaｖ、Ｈ．２６４、Ｈ．２６３、Ｏｎ２、ＶＰ６、ＶＣ‐１、ＷＭＡ、Ｈｕｆｆｙｕｖ、Ｌａｇａｒｉｔｈ、ＭＰＧ‐ｘ、Ｘｖｉｄ、ＦＦｍｐｅｇ、ｘ２６４、ＶＰ６‐８、ｒｅａｌｖｉｄｅｏ、ｍｐ３等に従って符号化される。符号化プロセスは、装置のデコーダへの配信のために任意選択でパッケージ化されるビデオストリームを生じさせる。ビデオストリームはフレームサイズ及びフレームレートで特徴付けられる。任意の他のフレームサイズが使用され得るが、典型的なフレームサイズは、８００ｘ６００ピクセル、１２８０ｘ７２０ピクセル、１０２４ｘ７６８ピクセル、１０８０ピクセルを含む。フレームレートは１秒あたりのビデオフレーム数である。一実施形態では、ビデオストリームは異なるタイプのビデオフレームを含む。例えば、Ｈ．２６４規格は「Ｐ」フレーム及び「Ｉ」フレームを含む。Ｉ‐フレームは、ディスプレイ装置上ですべてのマクロブロック／ピクセルをリフレッシュするための情報を含む。一方、Ｐ‐フレームはそのサブセットをリフレッシュするための情報を含む。Ｐ‐フレームは通常Ｉ‐フレームよりもデータサイズが小さい。本明細書で使用されるように、用語「フレームサイズ」はフレームの中のピクセルの数を指すことを意図されている。用語「フレームデータサイズ」は、フレームを記憶するために必要とされるバイトの数を指すために使用される。
【０２２３】
いくつかの実施形態では、コンピュータは、汎用コンピュータ、特殊用途コンピュータ、ゲームコンソール、パーソナルコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、モバイルコンピューティング装置、携帯ゲーム機、セルラーフォン、セットトップボックス、ストリーミングメディアインタフェース／装置、スマートテレビもしくはネットワーク化ディスプレイ、または本明細書に定義されるコンピュータの機能性を達成するように構成されることが可能な任意の他のコンピューティング装置である。一実施形態では、クラウドゲーミングサーバは、ユーザー１０６によって活用されているある種のコンピュータを検出し、ユーザーのコンピュータに適切なクラウドゲーミング経験を提供するように構成される。例えば、画像設定、音声設定、及び他のタイプの設定はユーザーのコンピュータのために最適化される。
【０２２４】
図１５は、情報サービスプロバイダアーキテクチャの実施形態を示す。情報サービスプロバイダ（ＩＳＰ）１６０２は、多数の情報サービスを、地理的に分散され、ネットワーク１１０３（図１０）の例であるネットワーク１６１０を介して接続されたユーザー１６００−１、１６００−２、１６００−３、１６００−４等に配信する。一実施形態では、ＩＳＰは株価更新等のあるタイプのサービス、または放送媒体、ニュース、スポーツ、ゲーム等のさまざまなサービスを配信する。さらに、各ＩＳＰによって提供されるサービスは動的であり、つまりサービスは任意の時点で追加されるまたは取り去られる。したがって、特定のタイプのサービスを特定の個人に提供するＩＳＰは経時的に変化する。例えば、ユーザーは、ユーザーが地元にいる間、ユーザーに近接するＩＳＰによってサービスを提供され、ユーザーは異なる都市に旅行するとき異なるＩＳＰによってサービスを提供される。地元のＩＳＰは情報及びデータを新しいＩＳＰに転送し、これによりユーザー１０６に関する情報は新しい都市までユーザー１０６に「ついていき」、データをユーザー１０６により近く、よりアクセスしやすくする。別の実施形態では、マスタ‐サーバ関係が、ユーザー１０６のために情報を管理するマスタＩＳＰと、マスタＩＳＰからの制御下でユーザー１０６と直接的に接続するサーバＩＳＰとの間に確立される。別の実施形態では、コンピュータが世界を動き回るにつれてデータはあるＩＳＰから別のＩＳＰに転送され、ユーザー１０６にサービスを提供するためによりよい位置にいるＩＳＰをこれらのサービスを提供するＩＳＰにする。
【０２２５】
ＩＳＰ１６０２は、ネットワーク１６１０を介してカスタマにコンピュータベースのサービスを提供するアプリケーションサービスプロバイダ（ＡＳＰ）１６０６を含む。ＡＳＰモデルを使用し、提供されるソフトウェアは、オンデマンドソフトウェアまたはサービス型ソフトウェア（ＳａａＳ）とも呼ばれる。（カスタマ関係管理等の）特定のアプリケーションプログラムにアクセスを提供する簡略な形は、ハイパーテキスト転送プロトコル（ＨＴＴＰ）等の標準プロトコルを使用することによってである。アプリケーションソフトウェアはベンダシステムに常駐し、ハイパーテキストマークアップ言語（ＨＴＭＬ）を使用するウェブブラウザを通して、ベンダによって提供される特殊用途クライアントソフトウェア、またはシンクライアント等の他のリモートインタフェースによってユーザーによってアクセスされる。
【０２２６】
広い地理的領域上で配信されるサービスは、多くの場合クラウドコンピューティングを使用する。クラウドコンピューティングは、動的にスケラブルなリソースがネットワーク１６１０を介してサービスとして提供されるコンピューティングの形式である。ユーザーは、ユーザーをサポートする「クラウド」の技術インフラの専門家である必要はない。一実施形態では、クラウドコンピューティングは、サービス型インフラ（ＩaａＳ）、サービス型プラットフォーム（ＰａａＳ）、及びサービス型ソフトウェア（ＳａａＳ）等の異なるサービスで分けられる。ソフトウェア及びデータはサーバに記憶されるが、クラウドコンピューティングサービスは多くの場合、ウェブブラウザからアクセスされる共通ビジネスアプリケーションをオンラインで提供する。用語クラウドは、インターネットがコンピュータネットワーク図でどのように描かれているのかに基づいて（例えば、サーバ、記憶装置、及び論理を使用する）インターネットに対する隠喩として使用され、それが隠す複雑なインフラのための抽象概念である。
【０２２７】
さらに、ＩＳＰ１６０２は、シングルプレーヤビデオゲーム及びマルチプレーヤビデオゲームをプレイするためにゲームコンピュータによって使用されるゲーム処理サーバ（ＧＰＳ）１６０８を含む。インターネットを介してプレイされる大部分のビデオゲームは、ゲームサーバへの接続を介して動作する。通常、ゲームは、プレーヤからデータを収集し、他のプレーヤにデータを分散する専用のサーバアプリケーションを使用する。これはピアツーピア構成よりもより効率的且つ効果的であるが、それはサーバアプリケーションをホストするために別個のサーバを必要とする。別の実施形態では、ＧＰＳ１６０８はプレーヤ間で通信を確立し、そのそれぞれのゲームプレイ装置は集中ＧＰＳ１６０８に依存することなく情報を交換する。
【０２２８】
専用のＧＰＳは、コンピュータとして独立して実行するサーバである。係るサーバは、通常データセンタに位置する専用ハードウェアで実行され、より多くの帯域幅及び専用処理力を提供する。専用サーバは、大部分のＰＣベースのマルチプレーヤゲームにとってゲームサーバをホストする好ましい方法である。大量マルチプレーヤオンラインゲームは、ゲームの権利を所有するソフトウェア企業によって通常ホストされる専用サーバで実行し、該専用サーバがコンテンツを制御し、更新することを可能にする。
【０２２９】
放送処理サーバ（ＢＰＳ）１６１０は音声信号またはビデオ信号を視聴者に分散する。非常に狭い範囲の視聴者に対する放送はナローキャスティングと呼ばれることがある。放送分配の最後の行程は、信号が聴取者または視聴者にどのように達するのかであり、信号はラジオ局またはテレビ局と同様にアンテナまで放送で来ることがある、または局を介してもしくはネットワークから直接的にケーブルテレビもしくはケーブルラジオ（もしくは「無線ケーブル」）を通って来ることがある。また、インターネットは、特に信号及び帯域幅を共用できるようにするマルチキャスティングでラジオまたはテレビのどちらかを受取人にもたらしてよい。歴史的に、放送は国営放送または地域放送等の地理的地域によって区切られてきた。しかしながら、高速インターネットの拡散により、コンテンツは世界のほぼあらゆる国に到達するので、放送は地形によって定められない。
【０２３０】
ストレージサービスプロバイダ（ＳＳＰ）１６１２はコンピュータ記憶空間及び関係する管理サービスを提供する。また、ＳＳＰは周期的なバックアップ及びアーカイビングも提供する。サービスとしてストレージを提供することによって、ユーザーは必要に応じてより多くのストレージを注文する。別の主要な優位点は、ＳＳＰがバックアップサービスを含み、ユーザーは、ユーザーのコンピュータのハードドライブが故障した場合すべてのデータを失わないという点である。さらに、実施形態では、複数のＳＳＰはユーザーデータの完全なコピーまたは部分的なコピーを有し、ユーザーが、ユーザーがどこに位置しているのかまたはデータにアクセスするために使用されている装置に関わりなく効率的にデータにアクセスできるようにする。例えば、ユーザー１０６は、ユーザー１０６が移動中、携帯電話だけではなく自宅のコンピュータの個人ファイルにもアクセスする。
【０２３１】
通信プロバイダ１６１４は、ユーザーに接続性を提供する。１つの種類の通信プロバイダは、インターネットにアクセスを提供するインターネットサービスプロバイダ（ＩＳＰ）である。ＩＳＰはそのカスタマを、例えばダイヤルアップ、デジタル加入者回線（ＤＳＬ）、ケーブルモデム、ファイバ、無線、または専用高速相互接続等の、インターネットプロトコルデータグラムを配信するために適切なデータ伝送技術を使用し、接続する。また、通信プロバイダは、例えば電子メール、インスタントメッセージ、及びショートメッセージサービス（ＳＭＳ）テキストメッセージ等のメッセージングサービスも提供する。別のタイプの通信プロバイダは、インターネットに直接バックボーンアクセスを提供することによって帯域幅またはネットワークを販売するネットワークサービスプロバイダ（ＮＳＰ）である。ネットワークサービスプロバイダは、一実施形態では、電気通信企業、データキャリヤ、無線通信プロバイダ、インターネットサービスプロバイダ、高速インターネットアクセスを提供するケーブルテレビ事業者等を含む。
【０２３２】
データ交換１６０４は、ＩＳＰ１６０２内部のいくつかのモジュールを相互接続し、ネットワーク１６１０を介してこれらのモジュールをユーザー１６００に接続する。データ交換１６０４は、ＩＳＰ１６０２のすべてのモジュールが近接している小さい領域をカバーする、または異なるモジュールが地理的に分散しているとき大きい地理的地域をカバーする。例えば、データ交換１６８８はデータセンタのキャビネットの中に高速ギガビットイーサネット（登録商標）（もしくはより高速）または大陸間インタラクティブエリアネットワーク（ＶＬＡＮ）を含む。
【０２３３】
各ユーザー１６００‐１、１６００‐２、１６００‐３、及び１６００‐４は、少なくともＣＰＵ、ディスプレイ、及び入出力インタフェース（Ｉ／Ｏ）を含むクライアント装置１６２０でリモートサービスにアクセスする。一実施形態では、クライアント装置はパーソナルコンピュータ（ＰＣ）、携帯電話、ネットブック、タブレット、ゲーム機、パーソナルデジタルアシスタント（ＰＤＡ）等である。一実施形態では、ＩＳＰ１６０２は、あるタイプのクライアント装置を認識し、利用される通信方法を調整する。他の場合、クライアント装置は、ＩＳＰ１６０２にアクセスするために、ＨＴＭＬ等の標準的な通信方法を使用する。
【０２３４】
一実施形態では、ゲームコンソールの代わりに、例えばタブレット、コンピュータ、スマートテレビ等のコンピューティング装置が、ゲームコンソールによって実行されるとして本明細書に説明される操作を実行するために使用される。
【０２３５】
本開示に説明される実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースのまたはプログラム可能な家庭用電化製品、ミニコンピュータ、メインフレームコンピュータ等を含む多様なコンピュータシステム構成で実践されてよい。一実施態様では、本開示に説明される実施形態は、タスクが有線ベースのネットワークまたは無線ネットワークを通してリンクされる遠隔処理装置によって実行される分散コンピューティング環境で実践される。
【０２３６】
上記の実施形態を念頭に、一実施態様では、本開示に説明される実施形態はコンピュータシステムに記憶されるデータを含む多様なコンピュータ実装操作を利用することが理解されるべきである。これらの操作は、物理量の物理的な操作を要する操作である。本開示に説明される実施形態の部分を形成する、本明細書に説明される操作のいずれも有用な機械操作である。また、本開示に説明されるいくつかの実施形態は、これらの操作を実行するための装置または機器に関する。機器は、必要とされる目的のために特に構築される、または機器はコンピュータに記憶されたコンピュータプログラムによって選択的に作動させるもしくは構成される汎用コンピュータである。特に一実施形態では、多様な汎用機械が、本明細書の教示に従って作成されるコンピュータプログラムとともに使用される、または必要とされる操作を実行するためにより専門化した機器を構築することがより便利であることがある。
【０２３７】
実施態様では、本開示に説明されるいくつかの実施形態は、コンピュータ可読媒体上のコンピュータ可読コードとして実施される。コンピュータ可読媒体は、その後コンピュータシステムによって読み取られるデータを記憶する任意のデータ記憶装置である。コンピュータ可読媒体の例は、ハードドライブ、ＮＡＳ、ＲＯＭ、ＲＡＭ、コンパクトディスクＲＯＭ（ＣＤ‐ＲＯＭ）、ＣＤレコーダブル（ＣＤ‐Ｒ）、書き換え可能ＣＤ（ＣＤ‐ＲＷ）、磁気テープ、光データ記憶装置、非光データ記憶装置を含む。例として、コンピュータ可読媒体は、コンピュータ可読コードが分散式で記憶され、実行されるように、ネットワークで結合されたコンピュータシステムを介して分散されるコンピュータ可読有形的表現媒体を含む。
【０２３８】
いくつかの実施形態では、本明細書に説明される実施形態のいずれかが本明細書に説明される残りの実施形態のいずれかと結合されることに留意されたい。
【０２３９】
さらに、上述された実施形態のいくつかはゲーム環境に関して説明されるが、いくつかの実施形態では、ゲームの代わりに、例えばテレビ会議環境等の他の環境が使用される。
【０２４０】
一実施形態では、ピンチアンドホールドジェスチャは、ユーザー１０６が、例えばシーン２０２Ａ、本明細書に説明されるあらゆる他のシーン等の画像をつかみ、ユーザー１０６の頭部の移動から画像を切り離すことを望むことをプロセッサに信号で知らせるためのジェスチャとして幅広く解釈される。例えば、ピンチアンドホールドジェスチャが手によって実行された後にいったんシーンがユーザー１０６の手に結合すると、ユーザー１０６の頭部の移動は、シーンを、例えば移動させる、回転される、捻る、回す、傾ける、変更する、ズームインする、ズームアウトする、拡大する、収縮する、シーンにより多くのオブジェクトを追加する、シーンからオブジェクトを削除する等、シーンに影響を与えない。つまむことの例は、つかむこと、または保持すること、または把持すること、または触れること、またはしっかり握ること、または操縦すること、または獲得すること、または導くこと、または接触すること、または移動させること、またはもつこと、または取得すること、またはその２つ以上の組合せを含む。したがって、概して、ピンチアンドホールドジェスチャは、ユーザー１０６の片手または両手を使用し、シーンを制御するための任意の数のジェスチャである。
【０２４１】
実施形態では、ホールドジェスチャはピンチジェスチャと関連付けられる。例えば、ホールドジェスチャは、所定の時間量より多くピンチジェスチャを保持することである。
【０２４２】
方法操作は特定の順序で説明されているが、他のハウスキーピング処理操作は、操作間に実行されてよい、または操作は、操作がわずかに異なるときに発生するように調整されてよい、もしくはオーバレイ操作の処理が所望されるように実行される限り処理と関連付けられた多様な間隔で処理操作の発生を可能にするシステムで分散されてよいことが理解されるべきである。
【０２４３】
本開示に説明される上記実施形態は理解を明確にするためにいくらか詳細に説明されてきたが、特定の変更及び修正が添付の特許請求の範囲の範囲内で実施できることが明らかとなる。したがって、本実施形態は制限的ではなく例示的とみなされるべきであり、実施形態は、本明細書に示される詳細に制限されるのではなく、添付の特許請求の範囲の範囲及び同等物の中で修正され得る。
【図１】
0006581666.tif 000002
【図２Ａ】
0006581666.tif 000003
【図２Ｂ】
0006581666.tif 000004
【図２Ｃ】
0006581666.tif 000005
【図２Ｄ】
0006581666.tif 000006
【図２Ｅ】
0006581666.tif 000007
【図２Ｆ】
0006581666.tif 000008
【図３Ａ】
0006581666.tif 000009
【図３Ｂ】
0006581666.tif 000010
【図４Ａ】
0006581666.tif 000011
【図４Ｂ】
0006581666.tif 000012
【図４Ｃ】
0006581666.tif 000013
【図５】
0006581666.tif 000014
【図６】
0006581666.tif 000015
【図７Ａ】
0006581666.tif 000016
【図７Ｂ】
0006581666.tif 000017
【図８】
0006581666.tif 000018
【図９】
0006581666.tif 000019
【図１０】
0006581666.tif 000020
【図１１】
0006581666.tif 000021
【図１２】
0006581666.tif 000022
【図１３】
0006581666.tif 000023
【図１４】
0006581666.tif 000024
【図１５】
0006581666.tif 000025