(57)【要約】【課題】没入型現実環境とのインタラクションを容易にしかつ改善すること。【解決手段】没入型現実インターフェースモードを提供するシステム、装置及び方法が開示される。装置は、ハプティックアクチュエーター、コンピューティングユニット、ジェスチャー検出システム及び没入型現実表示デバイスを備える。ジェスチャー検出システムは、没入型現実環境とのインタラクション中にユーザーによってなされるジェスチャーを検出し、それは、没入型現実表示デバイスによって表示される。コンピューティングユニットはインターフェースモードを生成して動作させ、それにより、ユーザーは、ジェスチャーを通して、没入型現実環境とインタラクトし、ハプティック、視覚及び音声出力の提供を統合することができる。【選択図】図１
2019192242.tif 000002
【特許請求の範囲】
【請求項１】
没入型現実インタラクション中にハプティック効果を提供するシステムであって、
ユーザーのジェスチャー情報を検出するように構成された少なくとも１つのセンサーと、
前記ユーザーにハプティック効果を提供するように構成された少なくとも１つのハプティック出力デバイスと、
没入型現実表示デバイスと、
少なくとも１つのプロセッサであって、
前記ジェスチャー情報を受け取り、
前記ジェスチャー情報から開始ジェスチャーを決定し、
前記開始ジェスチャーに従ってインターフェースモードをアクティベートし、該インターフェースモードは、前記没入型現実表示デバイスを介して提供されるインタラクティブ視覚表示を含み、
前記開始ジェスチャーの場所に従って前記インタラクティブ視覚表示を固定し、
前記ジェスチャー情報からインタラクションジェスチャーを決定し、
前記インタラクションジェスチャーに応じて前記少なくとも１つのハプティック出力デバイスにより動的ハプティック効果を提供し、
前記ジェスチャー情報から選択ジェスチャーを決定し、
前記選択ジェスチャーに応じて選択ハプティック効果を決定し、
前記少なくとも１つのハプティック出力デバイスにより前記選択ハプティック効果を提供し、
前記没入型現実表示デバイスを介して選択視覚表示を提供する、
ように構成されたプロセッサと、
を備える、システム。
【請求項２】
前記プロセッサは、没入型現実環境内で前記インタラクティブ視覚表示を定位置で固定するように更に構成されている、請求項１に記載のシステム。
【請求項３】
前記プロセッサは、前記没入型現実表示内で前記インタラクティブ視覚表示を定位置で固定するように更に構成されている、請求項１に記載のシステム。
【請求項４】
前記プロセッサは、前記インタラクティブ視覚表示をアンカー物体に固定するように更に構成されている、請求項１に記載のシステム。
【請求項５】
前記プロセッサは、前記インタラクティブ視覚表示をジェスチャーエンティティに対して固定するように更に構成されている、請求項１に記載のシステム。
【請求項６】
前記プロセッサは、ジェスチャーエンティティの動きとして前記インタラクションジェスチャーを検出するように更に構成されており、該ジェスチャーエンティティは、前記ユーザーの片手又は両手及び周辺デバイスのうちの少なくとも１つを含む、請求項１に記載のシステム。
【請求項７】
前記プロセッサは、前記ジェスチャーエンティティが物質を通して動かされている感覚を提供するように前記動的ハプティック効果を調整するように更に構成されている、請求項６に記載のシステム。
【請求項８】
前記プロセッサは、前記インターフェースモードにおいてカーソルが選択可能な物体に近づく際、前記動的ハプティック効果の頻度及び大きさのうちの少なくとも一方を増大させるように更に構成されている、請求項１に記載のシステム。
【請求項９】
前記プロセッサは、前記開始ジェスチャーの解除として前記選択ジェスチャーを検出するように更に構成されている、請求項１に記載のシステム。
【請求項１０】
前記インタラクティブ視覚表示は、複数の層状視覚表示物体を含み、各視覚表示物体は選択可能な視覚表示物体を表す、請求項１に記載のシステム。
【請求項１１】
前記プロセッサは、
第１のジェスチャーエンティティの元の位置からの回転として前記開始ジェスチャーを検出し、
前記第１のジェスチャーエンティティを包囲する複数の選択可能な視覚表示物体として前記インタラクティブ視覚表示を提供し、
第２のジェスチャーエンティティの、前記複数の選択可能な視覚表示物体のうちの１つへの動きとして前記インタラクションジェスチャーを検出し、
前記第１のジェスチャーエンティティの前記元の位置への戻りとして前記選択ジェスチャーを検出する、
ように更に構成されている、請求項１に記載のシステム。
【請求項１２】
前記プロセッサは、
前記ユーザーのアンカー指の前記アンカー物体への配置として前記開始ジェスチャーを検出し、
前記アンカー物体の上の一組の積層画像として前記インタラクティブ視覚表示を提供し、
前記アンカー指の周囲での手の枢動として前記インタラクションジェスチャーを検出し、
前記インタラクションジェスチャーに応じて前記一組の積層画像のうちの１つの画像を回転させる、
ように更に構成されている、請求項４に記載のシステム。
【請求項１３】
前記ジェスチャーエンティティは前記ユーザーの前記手を含み、前記プロセッサは、
前記ユーザーの人差し指の上への親指の配置として前記開始ジェスチャーを検出し、
選択可能な視覚表示物体の線形の行又は列として前記インタラクティブ視覚表示を提供し、
前記人差し指にわたる前記親指のスライドとして前記インタラクションジェスチャーを検出し、
カーソルがそれぞれの選択可能な視覚表示物体に近づく際に前記動的ハプティック効果を提供し、
前記カーソルが前記それぞれの選択可能な視覚表示物体に焦点を合わせる際に、前記選択ハプティック効果を提供する、
ように更に構成されている、請求項６に記載のシステム。
【請求項１４】
前記ジェスチャーエンティティは前記ユーザーの前記手を含み、前記プロセッサは、
前記ユーザーの人差し指の上への親指の配置として前記開始ジェスチャーを検出し、
選択範囲を提供する範囲選択視覚表示物体として前記インタラクティブ視覚表示を提供し、
前記人差し指に沿った前記親指のスライドとして前記インタラクションジェスチャーを検出し、
前記インタラクションジェスチャーに応じて前記選択範囲内の選択値を変更し、
前記選択範囲内の前記選択値が変化すると前記動的ハプティック効果を提供し、
前記選択値が前記選択範囲の限界に達したときに前記選択ハプティック効果を提供する、
ように更に構成されている、請求項６に記載のシステム。
【請求項１５】
前記プロセッサは、
前記インタラクティブ視覚表示において把持可能な視覚表示物体を提供し、
前記ユーザーの手が前記把持可能な視覚表示物体に近づくに従い、強度が増大するハプティック効果として前記動的ハプティック効果を提供し、
前記手が前記把持可能な視覚表示物体と仮想的に接触することに応じて前記選択ハプティック効果を提供する
ように更に構成されている、請求項１に記載のシステム。
【請求項１６】
没入型現実インタラクション中にハプティック効果を提供するコンピューター実装方法であって、
少なくとも１つのセンサーによりユーザーのジェスチャー情報を検出することと、
没入型現実表示デバイスを介して没入型現実表示を提供することと、
少なくとも１つのプロセッサにより、前記ジェスチャー情報を受け取ることと、
前記少なくとも１つのプロセッサにより、前記ジェスチャー情報から開始ジェスチャーを決定することと、
前記少なくとも１つのプロセッサにより、前記開始ジェスチャーに従ってインターフェースモードをアクティベートすることであって、該インターフェースモードは、前記没入型現実表示デバイスを介して提供されるインタラクティブ視覚表示を含む、アクティベートすることと、
前記少なくとも１つのプロセッサにより、前記開始ジェスチャーの場所に従って前記インタラクティブ視覚表示を固定することと、
前記少なくとも１つのプロセッサにより、前記ジェスチャー情報からインタラクションジェスチャーを決定することと、
前記インタラクションジェスチャーに応じて少なくとも１つのハプティック出力デバイスにより動的ハプティック効果を提供することと、
前記少なくとも１つのプロセッサにより、前記ジェスチャー情報から選択ジェスチャーを決定することと、
前記少なくとも１つのプロセッサにより、前記選択ジェスチャーに応じて選択ハプティック効果を決定することと、
前記少なくとも１つのハプティック出力デバイスにより前記選択ハプティック効果を提供することと、
前記没入型現実表示デバイスを介して選択視覚表示を提供することと、
を含む、方法。
【請求項１７】
固定することは、没入型現実環境内で前記インタラクティブ視覚表示を定位置で固定することを含む、請求項１６に記載の方法。
【請求項１８】
固定することは、前記没入型現実表示内で前記インタラクティブ視覚表示を定位置で固定することを含む、請求項１６に記載の方法。
【請求項１９】
固定することは、前記インタラクティブ視覚表示をアンカー物体に固定することを含む、請求項１６に記載の方法。
【請求項２０】
固定することは、前記インタラクティブ視覚表示をジェスチャーエンティティに対して固定することを含む、請求項１６に記載の方法。
【請求項２１】
前記インタラクションジェスチャーは、ジェスチャーエンティティの動きとして検出され、該ジェスチャーエンティティは、前記ユーザーの片手又は両手及び周辺デバイスのうちの少なくとも１つを含む、請求項１６に記載の方法。
【請求項２２】
前記ジェスチャーエンティティが物質を通して動かされている感覚を提供するように前記動的ハプティック効果を調整することを更に含む、請求項２０に記載の方法。
【請求項２３】
前記インターフェースモードにおいてカーソルが選択可能な物体に近づく際、前記動的ハプティック効果の頻度及び大きさのうちの少なくとも一方を増大させることを更に含む、請求項１６に記載の方法。
【請求項２４】
前記開始ジェスチャーの解除として前記選択ジェスチャーを検出することを更に含む、請求項１６に記載の方法。
【請求項２５】
前記インタラクティブ視覚表示は、複数の層状視覚表示物体を含み、各視覚表示物体は選択可能な視覚表示物体を表す、請求項１６に記載の方法。
【請求項２６】
第１のジェスチャーエンティティの元の位置からの回転として前記開始ジェスチャーを検出することと、
前記第１のジェスチャーエンティティを包囲する複数の選択可能な物体として前記インタラクティブ視覚表示を提供することと、
第２のジェスチャーエンティティの、前記複数の選択可能な物体のうちの１つへの動きとして前記インタラクションジェスチャーを検出することと、
前記第１のジェスチャーエンティティの前記元の位置への戻りとして前記選択ジェスチャーを検出することと、
を更に含む、請求項１６に記載の方法。
【請求項２７】
前記ユーザーのアンカー指の前記アンカー物体への配置として前記開始ジェスチャーを検出することと、
前記アンカー物体の上の一組の積層された選択可能な視覚物体として前記インタラクティブ視覚表示を提供することと、
前記アンカー指の周囲での手の枢動として前記インタラクションジェスチャーを検出することと、
前記インタラクションジェスチャーに応じて前記一組の積層された選択可能な視覚物体の画像を回転させることと、
を更に含む、請求項１９に記載の方法。
【請求項２８】
前記ジェスチャーエンティティは前記ユーザーの前記手を含み、前記方法は、
前記ユーザーの人差し指の上への親指の配置として前記開始ジェスチャーを検出することと、
選択可能な視覚表示物体の線形の行又は列として前記インタラクティブ視覚表示を提供することと、
前記人差し指にわたるユーザーの親指のスライドとして前記インタラクションジェスチャーを検出することと、
カーソルがそれぞれの選択可能な視覚表示物体に近づく際に前記動的ハプティック効果を提供することと、
カーソルが前記それぞれの選択可能な視覚表示物体に焦点を合わせる際に、前記選択ハプティック効果を提供することと、
を更に含む、請求項２０に記載の方法。
【請求項２９】
前記ジェスチャーエンティティは前記ユーザーの手を含み、前記方法は、
前記ユーザーの人差し指の上への親指の配置として前記開始ジェスチャーを検出することと、
選択範囲を提供する範囲選択視覚表示物体として前記インタラクティブ視覚表示を提供することと、
ユーザーの人差し指にわたるユーザーの親指のスライドとして前記インタラクションジェスチャーを検出することと、
前記インタラクションジェスチャーに応じて前記選択範囲内の選択値を変更することと、
前記選択範囲内の前記選択値が変化すると前記動的ハプティック効果を提供することと、
前記選択値が前記選択範囲の限界に達したときに前記選択ハプティック効果を提供することと、
を更に含む、請求項２０に記載の方法。
【請求項３０】
前記インタラクティブ視覚表示において把持可能な視覚表示物体を提供することと、
前記ユーザーの手が前記把持可能な視覚表示物体に近づくに従い、強度が変化する効果として前記動的ハプティック効果を提供することと、
前記ユーザーの手が前記把持可能な視覚表示物体と仮想的に接触することに応じて前記選択ハプティック効果を提供することと、
を更に含む、請求項１６に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、没入型現実環境において動作を行うインターフェースモードを提供するシステム、装置及び方法に関する。特に、本発明の実施形態は、没入型現実環境とのインタラクションを容易にしかつ改善するハプティック及び視覚的な手がかり及び指標を提供する。
【背景技術】
【０００２】
拡張現実、複合現実、融合現実（merged reality）及び仮想現実を含む没入型現実環境は、人気が高まり使用が増加している。ユーザーがこれらの環境とインタラクトするモード及びシステムは、標準化されておらず、多くの場合扱いにくくかつ直観的でなく、視覚及び音声フィードバックに頼っている。既存のインターフェースモードが不十分であることにより、インタラクティブ没入型現実システムの使用及び魅力が限定される。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
従来のインタラクティブ没入型現実システムでは、これらの欠点及び他の欠点が存在する。これらの欠点は、本明細書に記載する発明によって対処される。
【課題を解決するための手段】
【０００４】
本発明の実施形態は、没入型現実環境とのユーザーインタラクションを容易にしかつ改善する可変インターフェースモードを生成するように構成されたシステムを含む。提供するインターフェースモードは、容易に訓練されマッスルメモリに記憶されるジェスチャーを通してインターフェースモードとインタラクトするように、インタラクションを容易にし、人間のユーザーを訓練するように特に構成されている。インターフェースモードは、ユーザーに対し、本明細書で考察するインターフェースモードとのインタラクション中に十分な感覚的体験を提供するように、ハプティック、視覚及び音声フィードバックを提供することにより支援される。システムは、没入型現実ディスプレイ、１つ以上のハプティック出力デバイス及び１つ以上のジェスチャー検出システムのうちの１つ以上を更に備える。ジェスチャー検出システムを使用して、ユーザーによって行われるジェスチャーが取り込まれる。没入型現実ディスプレイ及びハプティック出力デバイスを使用して、それぞれ、視覚フィードバック及びハプティックフィードバックが提供される。独立型デバイスとして、又は、他の記載したデバイスのうちの任意のものの追加の特徴として、音声出力を更に含めることができる。
【０００５】
システムのコンピューティングユニットが、開始ジェスチャーに基づいてユーザーがアクセスすることができるインターフェースモードを提供する。インタラクション中、ハプティック出力デバイスは、「感触」によりインターフェースモードを通してユーザーを誘導するようにハプティックフィードバックを提供する。ハプティック出力は、ユーザーが、没入型現実環境における空間視覚能力に完全に頼る必要なしに、インターフェースモードで作業するために適切なジェスチャーを学習するのに役立つ。
【０００６】
一実施形態において、没入型現実インタラクション中にハプティック効果を提供するシステムが提供される。本システムは、ユーザージェスチャー情報を検出するように構成された少なくとも１つのセンサーと、ユーザーにハプティック効果を提供するように構成された少なくとも１つのハプティック出力デバイスと、没入型現実表示デバイスと、少なくとも１つのプロセッサを備える。少なくとも１つのプロセッサは、ユーザージェスチャー情報を受け取り、ジェスチャー情報から開始ジェスチャーを決定し、開始ジェスチャーに従ってインターフェースモードをアクティベートし、インターフェースモードは、没入型現実表示デバイスを介して提供されるインタラクティブ視覚表示を含み、開始ジェスチャーの場所に従ってインターフェースモードを固定し、ユーザージェスチャー情報からインタラクションジェスチャーを決定し、インタラクションジェスチャーに応じて動的ハプティック効果を提供し、ジェスチャー情報から選択ジェスチャーを決定し、選択ジェスチャーに応じて選択ハプティック効果を決定し、没入型現実表示デバイスを介して選択視覚表示を提供するように構成される。
【０００７】
一実施形態において、没入型現実インタラクション中にハプティック効果を提供するコンピューター実装方法が提供される。本方法は、少なくとも１つのセンサーによりユーザージェスチャー情報を検出することと、没入型現実表示デバイスを介して没入型現実表示を提供することと、少なくとも１つのプロセッサにより、ユーザージェスチャー情報を受け取ることと、少なくとも１つのプロセッサにより、ジェスチャー情報から開始ジェスチャーを決定することと、少なくとも１つのプロセッサにより、開始ジェスチャーに従ってインターフェースモードをアクティベートすることであって、インターフェースモードは、没入型現実表示デバイスを介して提供されるインタラクティブ視覚表示を含む、アクティベートすることと、少なくとも１つのプロセッサにより、開始ジェスチャーの場所に従ってインターフェースモードを固定することと、少なくとも１つのプロセッサにより、ユーザージェスチャー情報からインタラクションジェスチャーを決定することと、インタラクションジェスチャーに応じて少なくとも１つのハプティック出力デバイスにより動的、静的又は別個のハプティック効果を提供することと、少なくとも１つのプロセッサにより、ジェスチャー情報から選択ジェスチャーを決定することと、少なくとも１つのプロセッサにより、選択ジェスチャーに応じて選択ハプティック効果を決定することと、少なくとも１つのハプティック出力デバイスにより選択ハプティック効果を与えることと、没入型現実表示デバイスによって選択視覚表示を提供することとを含む。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態と一貫する没入型現実インターフェースモードを提供するシステムを示す図である。
【図２】本発明の実施形態と一貫する没入型現実インターフェースモードを提供するシステムの概略図である。
【図３】本発明の一実施形態によるレイヤーケーキインターフェースモード例を示す図である。
【図４】本発明の一実施形態による迅速動作インターフェースモード例を示す図である。
【図５】本発明の一実施形態による枢動インターフェースモード例を示す図である。
【図６】本発明の一実施形態によるスライドアウトインターフェースモード例を示す図である。
【図７】本発明の一実施形態による比例インターフェースモード例を示す図である。
【図８】本発明の一実施形態による線形メニューインターフェースモードを示す図である。
【図９】本発明の一実施形態による仮想物体把持インターフェースモード例を示す図である。
【図１０】本発明の実施形態と一貫するインターフェースモード例を示す図である。
【発明を実施するための形態】
【０００９】
本発明の上述の特徴及び利点並びに他の特徴及び利点は、添付の図面に示されるような本発明の実施形態の以下の説明から明らかであろう。本明細書に組み込まれるとともに本明細書の一部をなす添付の図面は更に、本発明の原理を説明するとともに、当業者が本発明を実施及び使用することを可能にする役割を果たす。図面は一定縮尺ではない。
【００１０】
ここで、本発明の具体的な実施形態について図を参照して説明する。以下の詳細な説明は、本質的に例示にすぎず、本発明又は本発明の適用及び使用を制限することを意図しない。更に、前述の技術分野、背景、簡潔な要約、又は以下の詳細な説明に提示される明示的又は暗示的などんな理論によっても制限されるという意図は存在しない。
【００１１】
本発明の実施形態は、混合視覚及びハプティック効果を含む没入型現実インターフェースモードに関する。本明細書で用いる没入型現実とは、変更された現実観察をユーザーに提供する視覚表示システムを言う。没入型現実環境は、仮想現実環境、拡張現実環境、複合現実環境及び融合現実環境とともに、他の同様の視覚環境を含む。没入型現実環境は、現実的な観察体験を模倣し、ユーザーの動きにより表示が決まるパノラマ式撮像を含む、視覚表示環境を提供するように設計されている。ユーザーが自身の頭又は身体を回転させると、ユーザーに表示される画像は、ユーザーが没入型現実環境内部にいるかのように調整される。没入型現実環境は、現実感を向上させるために立体的な又は他の３次元撮像技術を含むことが多い。没入型現実環境は、互いに相互作用する場合もあればしない場合もある現実物体及び仮想物体の任意の混合を含むことができる。
【００１２】
図１は、没入型現実環境のユーザーにインターフェースモードを提供するシステム１００を示す。図１に示すように、システム１００は、ハプティック出力デバイス１１０と、没入型現実表示デバイス１２０と、少なくとも１つのセンサー１３１を備えるジェスチャー検出システム１３０と、少なくとも１つのプロセッサ１４０を備えるコンピューティングユニット１０５とを備える。他のシステムでは、本発明の範囲から逸脱することなく、１つ又は３つ以上のハプティック出力デバイスを設けることができる。
【００１３】
ユーザーは、没入型現実環境に参加すると、様々な手段を介して環境とインタラクトすることができる。ユーザーは、ジョイスティック、並びに、他の物体上に設けられたボタン、トリガー及び／又はキーを通して没入型現実環境に入力を提供する当該他の物体等、制御デバイスを操作することができる。ユーザーはまた、ジェスチャーを通して環境とインタラクトすることもできる。ジェスチャーインタラクションは、手、指又は他の身体部分を用いて行うことができ、グローブ、リストバンド及び他の物品等のウェアラブルデバイスとともに、ワンド又は他のハンドヘルド追跡デバイス等のハンドヘルドデバイスにより、支援することができる。
【００１４】
ジェスチャーインタラクションは、ジェスチャー検出システム１３０を介して容易にすることができる。ジェスチャー検出システム１３０は、１つ以上のセンサー１３１を使用して、ジェスチャーエンティティ１５０（gesture entity）の動き及び位置決めに関連する情報を取り込む。ジェスチャーエンティティ１５０は、ユーザーが、システムが認識可能なジェスチャーを行うために採用する物体又は身体部分である。ジェスチャーエンティティ１５０は、ワンド又はコントローラー等、物理的なハンドヘルド物体とすることができる。ジェスチャーエンティティ１５０は、グローブ、指輪、リストバンド、腕時計、又は追跡可能とすることができる他の任意のウェアラブルデバイス等、ウェアラブルデバイスとすることができる。最後に、ジェスチャーエンティティ１５０は、ユーザーの手又は指等、ユーザーの身体部分とすることができる。ユーザーの身体部分がジェスチャーエンティティ１５０として機能する場合、更に後述するように、ジェスチャー検出システム１３０による追跡は、付属物により補うことができる。実施形態では、ジェスチャーエンティティ１５０は、複数のジェスチャーエンティティ１５０、例えば、両手、片手及び物体等を含むことができる。
【００１５】
ジェスチャー検出システム１３０は、ジェスチャーエンティティ１５０の動き及び位置決めを追跡する１つ以上のセンサー１３１を備える。センサー１３１は、動き及び位置を追跡することができる任意のデバイス又は技術を含むことができる。例えば、センサー１３１は、カメラ及び赤外線検出器等の撮像技術を含むことができる。これらの実施形態では、ジェスチャーエンティティ１５０は、この撮像技術にとって目立つものであり、追跡を容易にする付属物を含むことができる。センサー１３１は、ライダー、レーダー及び超音波検出センサーを更に含むことができる。こうした実施形態では、ジェスチャーエンティティ１５０は、反射率を向上させるように構成された付属物を含むことができる。センサー１３１は、電磁場を生成し電磁場の変化に基づいて電磁場内の動きを検出するデバイスを更に含むことができる。こうした実施形態では、ジェスチャーエンティティ１５０は、電磁場に対する外乱を増大させる磁石又は回路等の付属物を含むことができる。センサー１３１は、ジェスチャーエンティティ１５０に取り付けられたアンテナに無線信号を送信し、三角測量を介して位置決め及び動きを求めるように設計されたデバイスを更に含むことができる。センサー１３１は、ジェスチャーエンティティ１５０に取り付けられた、加速度計等の慣性センサーを更に含むことができる。実施形態では、センサー１３１は、上述したセンサーの任意の組合せを含むことができる。
【００１６】
実施形態では、ジェスチャー検出システム１３０は、ユーザーに取り付けられるように設計されたウェアラブルシステムである。ジェスチャー検出システム１３０は、例えば、ハプティック出力デバイスも含むウェアラブルデバイスに結合するか又はウェアラブルデバイスと統合することができる。ジェスチャー検出システム１３０はまた、没入型現実表示デバイス１２０に結合するか又は没入型現実表示デバイス１２０と統合することもできる。
【００１７】
実施形態では、ジェスチャー検出システム１３０は固定システムとすることができる。実施形態では、ジェスチャー検出システム１３０は、部屋用のサイズとすることができ、部屋の境界内の任意の場所におけるジェスチャーエンティティ１５０の動き及び位置決めを検出するように構成することができる。実施形態では、ジェスチャー検出システム１３０は、デスクトップ用のサイズとすることができ、ワークステーション又は小区画（cubicle）の境界内のジェスチャーエンティティ１５０の動き及び位置決めを検出するように構成することができる。
【００１８】
上述したことは、単に、ジェスチャー検出システム１３０が採用することができ、排他的でも網羅的でもない技術の例である。ジェスチャー検出システム１３０は、ジェスチャーエンティティ１５０として示される物体又は身体部分の位置及び動きを検出することができる任意の技術を含むことができる。
【００１９】
ジェスチャー検出システム１３０は、システム１００のコンピューティングユニット１０５に生データを提供することができ、及び／又は取り込まれた情報を処理した後にコンピューティングユニット１０５にその取り込まれた情報を提供することができる１つ以上のプロセッサを含むことができる。
【００２０】
没入型現実環境は、ユーザーに対する没入型現実の表示を必要とする。没入型現実表示デバイス１２０は、ヘッドセット、眼鏡、コンタクトレンズ、並びに仮想、拡張及び／又は複合現実表示用に構成された他の表示技術を含む。没入型現実表示デバイス１２０はまた、画像を空中に、表面上に、又はユーザーの眼内に直接投影するように構成された投影デバイスも含むことができる。没入型現実表示デバイス１２０は、小型かつ持運び可能であり、すなわち、装着することができる場合があり、及び／又はより大型かつ固定である場合もある。更なる実施形態では、没入型現実表示デバイス１２０は、ユーザーの視神経又は他の神経学的構造と直接インタラクトして必要な視覚表示を提供することができる。
【００２１】
システム１００は、少なくとも１つのハプティック出力デバイス１１０を更に備える。実施形態では、ユーザーの１つ以上の身体部分にハプティック効果を提供するように構成されたウェアラブルハプティックデバイス内に、１つ以上のハプティック出力デバイス１１０を設けることができる。システム１００と互換性のあるウェアラブルハプティックデバイスは、ブレスレット、指輪、グローブ、指の爪の付属物、指先付属物、及び身体にハプティック効果を提供することができる他の任意のハプティック対応デバイスを含む。タブレットコンピューター、スマートフォン、ＰＤＡ、ゲームコントローラー、及び保持されるようなサイズでありかつそのような形状の他の任意のハプティック対応デバイス等、ハンドヘルドハプティック対応デバイスにもまた、１つ以上のハプティック出力デバイス１１０を設けることができる。本明細書の説明を通して、１つ以上のハプティック出力デバイス１１０は、便宜上、単数形で参照する場合がある。ハプティック出力デバイス１１０によって提供されるような本明細書において考察するいかなる効果も、複数のハプティック出力デバイス１１０によっても提供することができることが理解される。
【００２２】
考えられ得るハプティック出力デバイス１１０は、偏心質量体がモーターによって移動される偏心回転質量（「ＥＲＭ」）アクチュエーター、ばねに取り付けられた質量体が前後に駆動されるリニア共振アクチュエーター（「ＬＲＡ」）、圧電アクチュエーター、偏心質量体がモーターによって移動される電磁モーター、振動触覚アクチュエーター、慣性アクチュエーター、形状記憶合金、信号に応じて変形する電気活性ポリマー、硬度を変えるメカニズム、静電気摩擦（ＥＳＦ）アクチュエーター、超音波表面摩擦（ＵＳＦ）アクチュエーター、当該技術分野において既知の任意の他のアクチュエーター、及び／又はここで説明したアクチュエーターの任意の組み合わせを含むが、これらに限定されるものではない。
【００２３】
図２を参照すると、システム１００は、少なくとも１つのプロセッサ１４０と少なくとも１つのメモリユニット１４１とを備えるコンピューティングユニット１０５を更に備える。少なくとも１つのプロセッサ１４０は、少なくとも１つのメモリユニット１４１にアクセスし、システム１００の様々な態様を提供するようにソフトウェアモジュールを動作させるように構成されている。少なくとも１つのプロセッサ１４０は、より詳細に後述するように、ソフトウェア命令の実行を介して、没入型現実インターフェースモードを動作させるように構成されている。少なくとも１つのプロセッサ１４０は、システム１００の全ての態様とインターフェースし、それらを動作させるように更に構成されている。例えば、少なくとも１つのプロセッサ１４０は、没入型現実表示デバイス１２０を介して、没入型現実環境を生成し表示するように構成されている。少なくとも１つのプロセッサ１４０は、ジェスチャー検出システム１３０の様々なセンサー１３１とインターフェースし、それを動作させるように構成されている。少なくとも１つのプロセッサは、１つ以上のハプティック出力デバイス１１０とインターフェースし、そのアクティベーションをもたらすように更に構成されている。
【００２４】
少なくとも１つのプロセッサ１４０（本明細書では、便宜上、（複数の）プロセッサ１４０、プロセッサ（複数の場合もある）１４０又は（１つの）プロセッサ１４０と同義で呼ぶ）は、少なくとも１つのメモリユニット１４１を含むコンピューティングユニット若しくはコンピューター１０５、及び／又は他のコンポーネントの一部として機能する。プロセッサ１４０は、記憶デバイス１４１に記憶された１つ以上のコンピュータプログラム命令によってプログラムされる。図２に示すように、例えば、プロセッサ１４０は、ジェスチャー決定モジュール１４２、表示生成モジュール１４４、効果生成モジュール１４６及びインターフェース生成モジュール１４８によってプログラムされる。プロセッサ１４０は、１つ以上のソフトウェアアプリケーションによって更にプログラムされる。本明細書で用いるように、実際には、様々な命令モジュール及びシステムが、動作を実施するようにプロセッサ１４０をプログラムする場合、便宜上、それらのモジュール及びシステムは、動作を実施するものとして記載する。本明細書に記載するソフトウェアモジュールは、単に例としてのものであり、システムの全ての態様は、ソフトウェアにおいて、異なる能力及び／又は責務が割り当てられたモジュールによって実施することができる。
【００２５】
プロセッサ１４０は、サーバー（例えば、１つ以上のサーバーブレード、プロセッサ等を有する）、パーソナルコンピューター（例えば、デスクトップコンピューター、ラップトップコンピューター等）、スマートフォン、タブレットコンピューティングデバイス、ウェアラブルハプティックデバイス、及び／又は本明細書に記載するようなシステムの態様を実行するようにプログラムすることができる他の任意のデバイスの一部として構成することができる。便宜上、本明細書では、単数のプロセッサ１４０として記載することが多いが、少なくとも１つのプロセッサ１４０は、各々がシステムの様々な態様を実行するように構成されているいくつかのプロセッサを含むことができる。複数のプロセッサ１４０が採用される場合、システム１００の複数のプロセッサ１４０は、各々、システムの異なるハードウェア態様と関連付けることができ、合わせて若しくは別個に収容することができ、及び／又は他の複数のプロセッサ１４０のうちの任意の１つ以上と通信することができる。
【００２６】
例えば、一実施形態では、コンピューティングユニット１０５は、単一コンピューター内に、没入型現実表示デバイス１２０、ハプティック出力デバイス１１０及びジェスチャー検出システム１３０と通信する１つ以上のプロセッサ１４０を収容することができる。この実施形態では、プロセッサ１４０は、没入型現実表示デバイス１３０用の映像を生成し、ハプティック出力デバイス１１０用のハプティック出力信号を生成し、ジェスチャー検出システム１３０から情報を受け取り、それを解釈する。プロセッサ１４０は、システム１００全体を動作させる中心ハブとして作用し、没入型現実インターフェースモードを生成し動作させるようにも構成されている。この実施形態では、システムの様々なハードウェア態様は、中央コンピューティングユニット１０５の周辺デバイスとして作用する。例えば、ユーザーは、アプリケーションソフトウェアを実行するように構成されたタブレットコンピューター又はスマートフォンを所持する場合がある。この実施形態では、タブレットコンピューター又はスマートフォンは、没入型現実表示デバイス１２０に視聴覚データを出力し、ハプティック出力デバイス１１０にハプティックコマンド信号を出力し、ジェスチャー検出システム１３０から生ジェスチャー情報を受け取る。
【００２７】
別の実施形態では、没入型現実表示デバイス１２０、ハプティック出力デバイス１１０及びジェスチャー検出システム１３０の各々は、それぞれのハードウェアを動作させるように必要なタスクを実行するように構成された関連する１つ以上のプロセッサ１４０を有する。これらのシステムの各々は、独立型能力を有し、インターフェースモードを動作させかつ情報フロー及びハードウェアデバイスの動作を統合するように構成されたプロセッサ１４０から、高水準命令を受け取るように構成されている。プロセッサ１４０は、ハードウェアユニットに関連するプロセッサ１４０のうちの１つとすることができ、及び／又は追加のデバイスに収容された追加のプロセッサ１４０とすることができる。
【００２８】
別の実施形態では、コンピューティングユニット１０５は、プロセッサ１４０により、インターフェースモードを生成するために本明細書に記載する動作の全てを実行するように構成されている。コンピューティングユニット１０５は、それが接続される任意の没入型現実表示デバイス１２０、ハプティック出力デバイス１１０及びジェスチャー検出システム１３０の能力を決定するように更に構成することができる。コンピューティングユニット１０５は、機能のいかなる損失も受けることなくハードウェア能力を完全に利用するように、生成されたインターフェースモードの態様を調整するように更に構成されている。したがって、コンピューティングユニット１０５は、サードパーティ周辺ハードウェアデバイスにより本明細書に考察するようなインターフェースモードを生成し動作させるように構成されている。
【００２９】
ハードウェアの様々な他の構成及び処理デューティの割当は、システム１００のハードウェアデバイスの間の様々な場所に位置する１つ以上のプロセッサ１４０の間に存在する。本明細書に提供する具体的な例は、本明細書で考察するような没入型現実インターフェースモードの実施態様を限定するようには意図されていない。
【００３０】
図２は、没入型現実インターフェースモードを提供するシステム１００の概略図である。図２に示すように、システム１００は、少なくとも１つのハプティック出力デバイス１１０と、没入型現実表示デバイス１２０と、少なくとも１つのセンサー１３１を備えるジェスチャー検出システム１３０と、少なくとも１つのプロセッサ１４０とを備える。少なくとも１つのプロセッサ１４０は、少なくとも１つのメモリユニット１４１と通信し、そこには、没入型現実インターフェースモードを動作させるソフトウェア命令が記憶されている。ソフトウェア命令は、少なくともジェスチャー決定モジュール１４２、表示生成モジュール１４４、効果生成モジュール１４６及びインターフェース生成モジュール１４８を含む。更に、プロセッサ１４０は、生産性アプリケーション、通信アプリケーション、ゲーミングアプリケーション等を含む、種々のユーザーアプリケーションを実装するソフトウェア命令を実行するように構成されている。プロセッサ１４０は、没入型現実インターフェースモードとともにソフトウェアアプリケーションを動作させ、したがって、ソフトウェアアプリケーション内の動作に対して没入型現実インターフェースモードの機能を提供するように構成されている。
【００３１】
ジェスチャー決定モジュール１４２は、プロセッサ１４０で動作するソフトウェアモジュールである。ジェスチャー決定モジュール１４２は、ジェスチャー検出システム１３０からユーザージェスチャー情報を受け取るように構成されている。上述したように、ジェスチャー検出システム１３０は、ジェスチャーエンティティ１５０によって行われるユーザーのジェスチャー又は動きを取り込むように構成された１つ以上のセンサー１３１を含む。ジェスチャーエンティティ１５０は、ユーザーが、指及び手を含むジェスチャーを実施するために使用することができる任意の身体部分又はデバイス、コントローラー又はワンド等の能動的ハンドヘルドデバイス、並びにペン、鉛筆、ポインター及び他の物体等の受動的ハンドヘルドデバイスを含む。ジェスチャー決定モジュール１４２によって受け取られるユーザージェスチャー情報は、センサー１３１によって取り込まれるような生データ又は処理済みデータを含むことができる。一実施形態では、ユーザージェスチャー情報は、センサー１３１によって取り込まれる生データであり、解釈するためにジェスチャー決定モジュール１４２に直接送信される。更なる実施形態では、ジェスチャー検出システム１３０は、センサー１３１によって取り込まれるデータを精密化して、ジェスチャー決定モジュール１４２に処理済みユーザージェスチャー情報を提供する。処理済みユーザージェスチャー情報は、生データから様々なレベルの抽象化での情報を含むことができる。例えば、処理済みユーザージェスチャー情報は、ジェスチャーエンティティ１５０の動きを記述する情報を含むことができる。別の例では、処理済みジェスチャー情報は、ジェスチャーエンティティ１５０の動きを特定の特定可能なジェスチャーと一致させる情報を含むことができる。
【００３２】
ジェスチャー決定モジュール１４２は、受け取ったユーザージェスチャー情報に基づき特定可能なジェスチャーを検出し分類するように構成されている。ジェスチャー決定モジュール１４２によって検出可能な特定可能なジェスチャーは、少なくとも開始ジェスチャー、インタラクションジェスチャー、選択ジェスチャー、保持ジェスチャー及び終了ジェスチャーを含む。開始ジェスチャーは、没入型現実環境内でインターフェースモードを開始するために選択されるジェスチャーエンティティ１５０の動きである。インタラクションジェスチャーは、インターフェースモード内でインタラクション及びナビゲーションに対して使用されるジェスチャーエンティティ１５０の動きである。選択ジェスチャーは、インターフェースモード内でオプション又は要素を選択するために使用されるジェスチャーエンティティ１５０の動きであり、いくつかの実施形態では、インターフェースモードから出るために使用されるジェスチャーである。保持ジェスチャーは、インターフェースモードの一態様を固定するために使用されるジェスチャーエンティティ１５０の動きである。終了ジェスチャーは、インターフェースモードから出るために使用されるジェスチャーである。これらのジェスチャーの各々の例についてはより詳細に後述する。
【００３３】
表示生成モジュール１４４は、プロセッサ１４０で動作するソフトウェアモジュールである。表示生成モジュール１４４は、没入型現実表示デバイス１２０を介してユーザーにインターフェースモードのインタラクティブ視覚表示を提供するように構成されている。インタラクティブ視覚表示は、少なくともインタラクティブオプション表示及び選択視覚表示を含む。インタラクティブオプション表示は、１つ以上の選択可能な又は調整可能な物体をユーザーに提示し、選択視覚表示は、物体が選択されるか又は調整されたという視覚的確認をユーザーに提供する。
【００３４】
表示生成モジュール１４４はまた、開始されるインターフェースモードに基づきインタラクティブ視覚表示を固定するようにも構成されている。例えば、いくつかのインターフェースモード実施形態では、開始ジェスチャーが行われる場所に従って、没入型現実環境内の特定の場所又は定位置に、インタラクティブ視覚表示を固定することができる。検出された開始ジェスチャーを介してインターフェースモードを開始した後、関連するインタラクティブ視覚表示は、開始ジェスチャーに関連する環境内の或る場所に固定される。ユーザーが、その環境において自身の視野を回転させるか、又は動き回る際、インタラクティブ視覚表示は、元の場所に固定されたままであり、したがって、ユーザーの視野から出る可能性がある。実施形態では、インタラクティブ視覚表示は、永続的に固定されて、インタラクティブ視覚表示が適所に固定されたままである間、ユーザーが、その領域から離れ、システムをログアウトし、及び／又は他の作業を行うのを可能にすることができる。別のインターフェースモード実施形態では、インタラクティブ視覚表示は、ユーザーの視野内の特定の場所に固定することができる。ユーザーが、その環境を通して移動し、自身の視野を回転させると、固定されたインタラクティブ視覚表示はユーザーの動きに従い、常にユーザーの視野の同じ部分にあり続ける。別のインターフェースモード実施形態では、インタラクティブ視覚表示は、没入型現実環境内で、物理的又は仮想の別の物体に固定される。例えば、開始ジェスチャーにより、インタラクティブ視覚表示を現実又は仮想の本に固定することができる。ユーザーが環境内であらゆる場所及び方向に本を移動させると、インタラクティブ視覚表示は、その本とともに移動する。実施形態では、１人のユーザーによってインスタンス化されたインタラクティブ視覚表示が、同じ没入型現実環境とインタラクトしている他のユーザーに可視とすることができる。実施形態では、１人のユーザーによってインスタンス化されたインタラクティブ視覚表示は、開始ユーザーにとって個人的なものとすることができる。
【００３５】
効果生成モジュール１４６は、プロセッサ１４０で動作するソフトウェアモジュールである。効果生成モジュール１４６は、システム１００に関連する１つ以上のハプティック出力デバイス１１０にハプティック効果をもたらすように、コンピューティングユニット１０５からのハプティックコマンド信号の出力をもたらすように構成されている。出力ハプティックコマンド信号は、ハプティック出力デバイス１１０に関連する電源システムに対し、ハプティック出力デバイス１１０を駆動するように適切な電気信号を提供させるように構成されたコマンド信号とすることができる。出力ハプティックコマンド信号はまた、介在する電源システムを必要とすることなくハプティック出力デバイス１１０を駆動するように構成された直接駆動信号も含むことができる。
【００３６】
効果生成モジュール１４６は、ハプティックコマンド信号の出力に対し、少なくとも開始ハプティック効果、動的ハプティック効果及び選択ハプティック効果を提供させるように構成されている。開始ハプティック効果は、インターフェースモードが開始されたという確認をユーザーに提供するように構成されている。動的ハプティック効果は、インターフェースモードの使用及びナビゲーションを容易にするようにユーザーに対して様々な感覚を提供するように構成されている。選択ハプティック効果は、インターフェースモード内の選択が行われたという確認をユーザーに提供するように構成されている。実施形態では、開始ハプティック効果及び選択ハプティック効果は、発生を強調するか又は確認させるために短期間にわたって与えられる別個の効果である。動的ハプティック効果は、対照的に、インターフェースモードとのインタラクション中にハプティック知覚を提供するように変化する継続した効果である。様々なハプティック効果に関する更なる詳細については後述する。
【００３７】
インターフェース生成モジュール１４８は、プロセッサ１４０で動作するソフトウェアモジュールである。インターフェース生成モジュール１４８は、インターフェースモードを生成し、ジェスチャー決定モジュール１４２、表示生成モジュール１４４及び効果生成モジュール１４６の動作を統合するように動作する。インターフェース生成モジュール１４８は、更に、インターフェースモードが提供されるシステム１００で動作しているソフトウェアアプリケーションとインタラクトする。インターフェース生成モジュール１４８によってインターフェースモードが提供されると、それにより、ユーザーは、オプションを選択し、パラメーターを調整し、システム１００で動作しているソフトウェアアプリケーションと他の方法でインタラクトすることができる。
【００３８】
インターフェース生成モジュール１４８は、ジェスチャー決定モジュール１４２から決定された又は認識されたジェスチャーに関する情報を受け取り、インタラクティブ視覚表示を提供するように表示生成モジュール１４４にコマンドを出力し、ハプティック効果を提供するように効果生成モジュール１４６にコマンドを出力する。
【００３９】
ジェスチャー決定モジュール１４２によってジェスチャー情報において検出されたジェスチャーエンティティ１５０の開始ジェスチャーに応じて、インターフェース生成モジュール１４８は、検出された開始ジェスチャーに関連するインターフェースモードをアクティベートする。インターフェースモードは、ユーザーがシステム１００で動作しているソフトウェアアプリケーションとインタラクトするのを可能にするように提供される。インターフェースモードにより、ユーザーは、パラメーターを調整し、オプションを選択し、ソフトウェアアプリケーションに関連する他の動作を行うことができる。インターフェース生成モジュール１４８により、表示生成モジュール１４４は、没入型現実表示デバイス１２０を介してインターフェースモードのインタラクティブ視覚表示を提供する。実施形態では、インターフェース生成モジュール１４８により、効果生成モジュール１４６は、ハプティック出力デバイス１１０を介して開始ハプティック効果の出力をもたらす。上述したように、インターフェースモードのインタラクティブ視覚表示は、物理的又は仮想物体に、没入型現実環境における１つの点に、又は、没入型現実環境内のユーザーの視野における１つの点に固定することができる。例えば、ユーザーは、特定のインターフェースモードを開始するように握りこぶしをつくることができる。この実施形態では、ユーザーの手がジェスチャーエンティティ１５０である。握りこぶしは、ジェスチャー検出システム１３０によって取り込まれ、ジェスチャー決定モジュール１４２により開始ジェスチャーとして決定される。インターフェース生成モジュール１４８は、握りこぶしのジェスチャーに関連するインターフェースモードをアクティベートし、表示生成モジュール１４４に対して、没入型現実環境内にインタラクティブ視覚表示を提供させる。ユーザーは、握りこぶしをつくると、ジェスチャーが開始ジェスチャーとしてシステム１００によって解釈されたという確認として、ハプティック出力デバイス１１０を介して開始ハプティック効果として短時間のハプティック感覚を受け取ることができる。インタラクティブ視覚表示は、ユーザーの握りこぶしの近くの場所で生成され固定される。ユーザーが自身の頭を回転させるか又は握りこぶしを移動させる場合、インタラクティブ視覚表示は適所にあり続ける。ユーザーは、このとき、インターフェースモードのインタラクティブ視覚表示とインタラクトする。
【００４０】
実施形態では、開始ジェスチャーは２つの動作を含むことができる。例えば、第１の動作は、インタラクティブ視覚表示の表示をもたらすことができ、第２の動作は、インタラクティブ視覚表示の固定とインターフェースモードのアクティベーションとをもたらすことができる。例えば、握りこぶしは、第１の開始ジェスチャーとすることができる。第１の開始ジェスチャーの決定に応じて、インターフェース生成モジュール１４８は、インタラクティブ視覚表示の表示をもたらす。次いで、ユーザーは、自身の握りこぶしを、没入型現実環境を通してユーザーが表示を固定したい場所まで移動させることができる。握りこぶしを平手まで開くことを、第２の開始ジェスチャーとすることができる。第２の開始ジェスチャーの決定に応じて、インターフェース生成モジュール１４８は、第２の開始ジェスチャー中に手の場所でインタラクティブ視覚表示を固定し、インターフェースモードをアクティベートすることができる。２部開始ジェスチャーシステムにより、ユーザーは、インターフェースモードに入ることなく、すなわち、第２の開始ジェスチャーモードではなく第１の開始ジェスチャーのみを行うことにより、メニューオプションを迅速に吟味することができる。２部開始ジェスチャーシステムにより、ユーザーはまた、表示を固定したい場所を決定する前にメニューのサイズ及び形状を見ることもできる。
【００４１】
ジェスチャー決定モジュール１４６によりジェスチャー情報において検出された１つ以上のインタラクションジェスチャーに応じて、インターフェース生成モジュール１４８は、表示生成モジュール１４４に対して、選択可能な若しくは調整可能なオプション、ナビゲーション動作、又は検出されたインタラクションジェスチャーに関連するメニュー項目のインタラクティブ視覚表示を提供させる。例えば、ユーザーの手を回転させるか又は並進させて移動させることにより、カーソル又は他の視覚選択物体がインタラクティブ視覚表示を通して移動する。インタラクティブ視覚表示をナビゲートする間、インタラクティブ視覚表示のユーザーの空間視覚理解は、効果生成モジュール１４６によって提供される動的ハプティック効果によって補われる。例えば、カーソルがインタラクティブ視覚表示内の選択可能な物体又は物品に近づくと、ハプティック効果は、頻度及び大きさのうちの少なくとも一方を増大させることにより、強度を増大させる。別の例では、ハプティック効果は、カーソルが選択可能な物体に近づくに従い、より高い抵抗の感覚を提供するように調整される。カーソルが選択可能な物体に適切に焦点合せされると、効果生成モジュール１４６は、選択可能な物体が強調されるか又はインタラクティブ視覚表示において選択される用意ができていることをユーザーに示すように、ハプティック出力デバイス１１０を介して選択ハプティック効果を提供する。インタラクティブ視覚表示のナビゲーション中に動的ハプティック効果及びトリガーされた選択ハプティック効果を提供することにより、ユーザーは、触感とともに視覚により、インターフェースモードを通してナビゲートすることができ、迅速にインターフェースモードを熟知し精通することができる。
【００４２】
所望の選択可能な物体の上でカーソルを適切に配置した後、ユーザーは、ジェスチャーエンティティ１５０を用いて選択ジェスチャーを行う。ジェスチャー決定モジュール１４２は、ジェスチャー検出システム１３０から受け取ったジェスチャー情報において選択ジェスチャーを決定する。インターフェース生成モジュール１４８は、選択ジェスチャーが行われたという情報を受け取る。選択ジェスチャーに応じて、インターフェース生成モジュール１４８は、物体選択に関する情報を、アクティベートされたインターフェースモードに関連するシステム１００で動作しているソフトウェアアプリケーションに提供する。更に、選択ジェスチャーに応じて、インターフェース生成モジュールは、インターフェースモードをディアクティベートし、効果生成モジュール１４６に対し、選択ジェスチャーが認識され受け入れられたという確認として、ハプティック出力デバイス１１０を介して、ユーザーに選択ハプティック効果を提供させる。実施形態では、選択ジェスチャーは、開始ジェスチャーの解除、例えば、インターフェースモードを開始した握りこぶしを開くこととすることができる。実施形態では、選択ジェスチャーは、ジェスチャーエンティティの動きがないこととすることができ、例えば、ユーザーは、選択を示すために或る期間ジェスチャーエンティティを静止して保持することができる。
【００４３】
一実施形態では、実行中のソフトウェアアプリケーションに関連する音声の音量を調整する単純なインターフェースモードが、以下のように動作することができる。ユーザーは、ダイヤルを把持するかのように、自身の親指を人差し指及び中指の先端にはさみ付ける開始ジェスチャーを行う。インターフェース生成モジュール１４８は、開始ジェスチャーを認識し、確認させるために簡単なハプティック効果を出力し、音量ダイヤルの画像がユーザーのはさみ付けた指の間に現れるようにする。ユーザーは、音量が１レベルだけ増減する度に、クリックの形態で動的ハプティック効果を受け取りながら、仮想音量ダイヤルを「回す」ように自身の手を迅速に回転させる。ユーザーは、満足すると、自身のはさみ付けた指を解除し、確認するために選択ハプティック効果を受け取り、音量ダイヤルは消える。この単純なインタラクションは容易に、繰返し可能なジェスチャー及びハプティック効果によって支援される、ユーザーのマッスルメモリの一部になることができる。音量の変化は、１秒足らずで、かつ、ユーザーが行っている可能性がある主な作業又は動作からそれた思考又は注意はほとんどなしに実施される動作となる。
【００４４】
図３Ａ〜図３Ｃは、レイヤーケーキインターフェースモード例を示す。レイヤーケーキインターフェースモードでは、タブレットコンピューター、周辺デバイス又はスマートフォンが、ジェスチャーエンティティ３００としての役割を果たす。開始ジェスチャーは、ジェスチャーエンティティ３００が、ジェスチャーエンティティ３００の幅狭の端部がユーザーに面し画面がユーザーの視線に対して実質的に垂直に面して位置決めされているときに、ジェスチャーエンティティ３００を傾けることである。傾けるジェスチャーにより、ジェスチャーエンティティ３００は、元の位置又は向きから回転した位置又は向きまで回転する。ジェスチャー決定モジュール１４２によって開始ジェスチャーが決定されると、インターフェース生成モジュール１４８により、レイヤーケーキインターフェースモードが起動される。レイヤーケーキインターフェースモードのインタラクティブ視覚表示３０２において、いくつかの層状の（仮想的に積層された）選択可能な視覚表示物体３０１は、レイヤーケーキのようにジェスチャーエンティティ３００から延在する。インタラクティブ視覚表示３０２は、没入型現実環境内において、インタラクティブ視覚表示３０２がアクティベーション時に最初に表示された場所で固定される。ジェスチャー決定モジュール１４２は、インタラクションジェスチャーとして、異なる層状の選択可能な視覚表示物体３０１を通して固定された場所からジェスチャーエンティティ３００の動きを認識し、効果生成モジュール１４６は、ジェスチャーエンティティ３００が仮想的に各層を通って移動する際に、物質を通してジェスチャーエンティティ３００を移動させることをシミュレートする動的ハプティック効果を提供する。実施形態では、ジェスチャーエンティティ３００が選択可能な物体３０１の積層体の端部までナビゲートすると、ジェスチャーエンティティ３００の更なる移動は不要であり、選択可能な物体の積層体は、ジェスチャーエンティティ３００を通過してスクロールを開始する。一実施形態では、ジェスチャーエンティティ３００の位置決めにより、スクロールの速度を制御することができる。例えば、ジェスチャーエンティティ３００が選択可能な物体３０１の積層体の端部をはるかに越えて伸ばされる場合、スクロールはより高速で発生することができる。ジェスチャーエンティティ３００が選択可能な物体３０１の積層体の端部をわずかにのみ越えて伸ばされる場合、スクロールはより低速で発生することができる。更なる実施形態では、スクロールの速度は、ジェスチャーエンティティ３００のボタン又はタッチスクリーンに適用される圧力の量によって制御することができる。ジェスチャーエンティティ３００が選択可能な視覚表示物体３０１までナビゲートすると、その物体は、図３Ｂに示すように、インタラクティブ視覚表示内で視覚的に強調表示することができ、及び／又は効果生成モジュール１４６は、ハプティックデバイス１１０を介して選択ハプティック効果を提供することができる。ジェスチャー決定モジュール１４２は、選択ジェスチャーとして元の位置又は向きにジェスチャーエンティティ３００を戻す傾きを認識する。選択ジェスチャーの決定に応じて、インターフェース生成モジュール１４８は、層又は物体の選択を認識し、アプリケーションソフトウェアに報告する。インターフェース生成モジュール１４８は、レイヤーケーキインターフェースモジュールをディアクティベートし、表示生成モジュール１４４に対して、インタラクティブ視覚表示３０２の表示を終了させる。効果生成モジュール１４６は、選択が行われたというユーザーに対する確認として選択ハプティック効果を提供する。レイヤーケーキインターフェースモードは、ユーザーが、コンタクトリスト、ファイルリスト又はアプリケーションリスト等、多数の項目から選択しなければならない場合に有用である可能性がある。
【００４５】
レイヤーケーキインターフェースモードの代替実施形態を提供することができる。例えば、ユーザーの手が、ジェスチャーエンティティ３００として作用することができる。更なる変形では、選択ハプティック効果のうちの一方又は両方をなくすことができる。更なる変形では、選択ハプティック効果のうちの一方又は両方に、可聴確認が付随することができる。更なる変形では、選択ジェスチャーは、特定の期間、ジェスチャーエンティティ３００を適所で保持することにより行うことができる。例えば、設定期間、例えば３秒間、特定の選択可能な視覚表示物体３０１を選択するようにジェスチャーエンティティ３００を適所で保持することを、選択ジェスチャーとして解釈することができる。別の実施形態では、レイヤーケーキインターフェースモードの開始ジェスチャーは、２部ジェスチャーとすることができる。第１の開始ジェスチャーは、上述したように、ジェスチャーエンティティ３００を傾けることとして認識することができる。第１の開始ジェスチャーにより、ユーザーは、没入型現実環境において表示を固定する場所を選択する前に、ジェスチャーエンティティ３００及び関連するインタラクティブ視覚表示３０２を動かし続けることができる。ジェスチャーエンティティ３００を固定位置まで移動させた後、ジェスチャーエンティティ３００を構成するハプティック周辺デバイス上のボタンの押下、又はジェスチャーエンティティ３００を構成する手の特定の指の動き等、第２の開始ジェスチャーを実施することができる。そして、第２の開始ジェスチャーにより、インターフェース生成モジュール１４８は、第２の開始ジェスチャーが行われた場所でインタラクティブ視覚表示３０２を固定し、インターフェースモードをアクティベートすることができる。
【００４６】
上記変形の任意の組合せもまた実施することができる。
【００４７】
図４Ａ〜図４Ｃは、迅速動作インターフェースモード例を示す。迅速動作インターフェースモードでは、タブレットコンピューター又はスマートフォンが第１のジェスチャーエンティティ４００としての役割を果たす。第１のジェスチャーエンティティ４００を、第１のジェスチャーエンティティ４００の画面が概してユーザーに面している位置からユーザーに向かって傾けることが、開始ジェスチャーとしての役割を果たす。ジェスチャーエンティティ４００を傾けることにより、第１のジェスチャーエンティティ４００は、第１の位置又は向きから回転した位置又は向きまで回転する。ジェスチャー決定モジュール１４２により開始ジェスチャーが決定されると、インターフェース生成モジュール１４８により、迅速動作インターフェースモードが起動される。迅速動作インターフェースモードのインタラクティブ視覚表示４０２において、既存のユーザーインターフェース（ＵＩ）要素４０３は消され、第１のジェスチャーエンティティ４００を包囲するインタラクティブ視覚表示４０２内に、いくつかの選択可能な視覚表示物体４０１が示される。インタラクティブ視覚表示４０２は、没入型現実環境内で初期表示の場所で固定することができ、及び／又は、没入型現実環境内で動かされるに従い、第１のジェスチャーエンティティ４００に対して固定することができる。ジェスチャー決定モジュール１４２は、第２のジェスチャーエンティティ４０４、例えば、ユーザーの指又はユーザーによって保持される指示用具の動きをインタラクションジェスチャーとして認識する。実施形態では、効果生成モジュール１４６は、第２のジェスチャーエンティティ４０４が選択可能な視覚表示物体４０１のうちの１つに近づくに従い、動的ハプティック効果を提供することができる。第２のジェスチャーエンティティ４０４が選択可能な視覚表示物体４０１までナビゲートすると、その物体は、インタラクティブ視覚表示内で視覚的に強調表示することができ、及び／又は効果生成モジュール１４６は、ハプティックデバイス１１０を介して選択ハプティック効果を提供することができる。ジェスチャー決定モジュール１４２は、選択ジェスチャーとして、元の位置又は向きに戻るように第１のジェスチャーエンティティ４００を傾けることを認識する。したがって、ジェスチャーエンティティ４００を操作しているユーザーが、開始ジェスチャーとしてジェスチャーエンティティ４００を自身の方に傾け、選択後、選択ジェスチャーとしてジェスチャーエンティティをその元の位置又は向きに戻すことができる。選択ジェスチャーの決定に応じて、インターフェース生成モジュール１４８は、視覚表示物体選択を認識し、アプリケーションソフトウェアに報告する。インターフェース生成モジュール１４８は、迅速動作インターフェースモードをディアクティベートし、表示生成モジュール１４４に対してインタラクティブ視覚表示４０２の表示を終了させる。効果生成モジュール１４６は、選択が行われたというユーザーに対する確認として第２の選択ハプティック効果を提供する。第２の選択ハプティック効果は、第１の選択ハプティック効果と同じである場合もあれば異なる場合もある。
【００４８】
迅速動作インターフェースモードの代替実施形態を提供することができる。例えば、ユーザーの手が第１ジェスチャーエンティティ４００として作用することができる一方で、ユーザーの他方の手が、第２ジェスチャーエンティティ４０４として作用する。更なる変形では、選択ハプティック効果のうちの一方又は両方をなくすことができる。更なる変形では、選択ハプティック効果のうちの一方又は両方に、可聴確認が付随することができる。別の実施形態では、迅速動作インターフェースモードの開始ジェスチャーは２部ジェスチャーとすることができる。第１の開始ジェスチャーにより、ユーザーは、表示を固定する没入型現実環境内の場所を選択する前に、ジェスチャーエンティティ４００及び関連するインタラクティブ視覚表示４０２を動かし続けることができる。ジェスチャーエンティティ４００を固定場所まで移動させた後、ジェスチャーエンティティ４００を構成するハプティック周辺デバイス上のボタンの押下、又はジェスチャーエンティティ４００を構成する手の特定の指の動き等、第２の開始ジェスチャーを実施することができる。そして、第２の開始ジェスチャーにより、インターフェース生成モジュール１４８は、第２の開始ジェスチャーが行われた場所でインタラクティブ視覚表示４０２を固定し、インターフェースモードをアクティベートすることができる。上記変形の任意の組合せも実施することができる。
【００４９】
図５Ａ〜図５Ｄは、枢動インターフェースモードの一実施形態を示す。枢動インターフェースモードでは、ユーザーの手のうちの一方がジェスチャーエンティティ５００としての役割を果たす。開始ジェスチャーは、図５Ａに示すように、ユーザーの手の親指及び人差し指が広げられているときに、物理的なアンカー物体５０１の表面上のアンカーインタラクション点にユーザーの手の親指を配置することである。親指がアンカーインタラクション点に配置されたときの人差し指の場所は、可動ジェスチャー点である。アンカー物体５０１は、本、タブレット、ノートパッド、デスクトップ、キャビネット等、持運びできる又は固定の任意の物理的物体とすることができる。アンカー物体５０１はまた、仮想物体とすることもできる。ジェスチャー決定モジュール１４２により開始ジェスチャーが決定されると、インターフェース生成モジュール１４８により枢動インターフェースモードが起動される。枢動インターフェースモードのインタラクティブ視覚表示５０２において、アンカー物体５０１の上に、選択可能な視覚表示物体５０３としての一組の積層画像、ホログラム又は仮想物体が表示される。最初に表示されるとき、最上の選択可能な視覚表示物体５０３のみが可視である。選択可能な視覚表示物体５０３は、アンカー物体５０１と同様のサイズ及び形状とすることができ、アンカーインタラクション点と可動ジェスチャー点との間の寸法に従ってサイズ及び形状を決めることができ、又は、標準サイジングに従ってサイズ及び形状を決めることができる。インタラクティブ視覚表示５０２は、没入型現実環境内でアンカー物体５０１において固定され、没入型現実環境内でアンカー物体５０１とともに移動する。ジェスチャー決定モジュールは、図５Ｃに示すように、インタラクションジェスチャーとして固定された親指の周囲のジェスチャーエンティティ５００の枢動を認識する。枢動は、円弧運動で動いている可動ジェスチャー点として認識することができ、アンカーインタラクション点が円弧の中心である。実施形態では、効果生成モジュール１４６は、ジェスチャーエンティティ５００が枢動するに従い、動的ハプティック効果を提供することができる。枢動インタラクションジェスチャーに応じて、インターフェース生成モジュール１４８により、表示生成モジュール１４４は、下にある次の選択可能な視覚表示物体５０３を現わすように、ジェスチャーエンティティ５００の指によって回転する最上の選択可能な視覚表示物体５０３を示す。各回転可能な画像、ホログラム又は仮想物体は、選択可能な視覚表示物体５０３を表し、目下選択されている視覚表示物体は、表示生成モジュール１４４によりインタラクティブ視覚表示５０２において強調表示されるか又は他の方法で強調される。目下選択されている視覚表示物体は、より高位の選択可能な視覚表示物体５０３が枢動インタラクションジェスチャーによってわきによけるように回されると、積層体における次の選択可能な視覚表示物体５０３に切り替わることができる。ユーザーは、自身の指により、先行して回転した選択可能な視覚表示物体５０３に「タップ」して、それを目下選択されている視覚表示物体として示すこともできる。効果生成モジュール１４６は、目下選択されている視覚表示物体が別の視覚表示物体に切り替えられたときに、ハプティックデバイス１１０を介して選択ハプティック効果を提供することができる。ジェスチャー決定モジュール１４２は、選択ジェスチャーとして、アンカー物体５０１からの固定された親指の解除、又はジェスチャーエンティティ５００の指を閉じることを認識する。選択ジェスチャーの決定に応じて、インターフェース生成モジュール１４８は、視覚表示物体選択を認識し、アプリケーションソフトウェアに報告する。インターフェース生成モジュール１４８は、枢動インターフェースモードをディアクティベートし、表示生成モジュール１４４に対してインタラクティブ視覚表示５０２の表示を終了させる。効果生成モジュール１４６は、選択が行われたというユーザーに対する確認として第２の選択ハプティック効果を提供する。第２の選択ハプティック効果は、第１の選択ハプティック効果と同じである場合もあれば異なる場合もある。更なる変形では、選択ハプティック効果のうちの一方又は両方をなくすことができる。更なる変形では、選択ハプティック効果のうちの一方又は両方に、可聴確認が付随することができる。
【００５０】
枢動インターフェースモードの代替実施形態を提供することができる。一実施形態では、例えば、ジェスチャーエンティティ５００が他のことを行うために取り除かれた後であっても、インタラクティブ視覚表示５０２において選択可能な視覚表示物体５０３の相対位置を維持するコマンドとして、ジェスチャーエンティティ５００の保持ジェスチャーを認識することができる。保持ジェスチャーは、例えば、ジェスチャーエンティティ５００の人差し指の曲げ動きを含むことができ、それは、ジェスチャーエンティティ５００の親指がアンカー物体５０１との接触を維持する間に行うことができる。保持ジェスチャーの使用により、ユーザーは、他の作業に対して自身の手を使用しながら、選択可能な視覚表示物体５０３を観察し続けることができる。一実施形態では、上述したように、アンカー物体５０１は仮想物体とすることができる。別の実施形態では、ジェスチャーエンティティ５００は、ユーザーの第１の手及び第２の手を含むことができる。この両手実施形態では、一方の手の親指を、他方の手の人差し指が可動ジェスチャー点に配置されている間にアンカーインタラクション点に配置することが、開始ジェスチャーとしての役割を果たす。アンカーインタラクション点において親指の周囲で人差し指及び可動ジェスチャー点を枢動させることが、インターフェースジェスチャーとしての役割を果たす。枢動インターフェースモードは、ユーザーが１つ以上の視覚表示物体を同時に比較する際に特に有用である可能性がある。選択可能な視覚表示物体５０３を回転させて広げるか又は扇形に広げることにより、ユーザーは、それらを、同時に２つ以上が可視であるように位置決めすることができ、したがって、迅速かつ容易な比較が可能になる。更なる変形では、保持ジェスチャーが決定されると、ユーザーは、自由にアンカー物体５０１を下に置くか又は別のユーザーに手渡すことができる。上記変形の任意の組合せも実施することができる。
【００５１】
図６Ａ〜図６Ｃは、スライドアウトインターフェースモード例を示す。スライドアウトインターフェースモードでは、ユーザーの両手がジェスチャーエンティティ６００としての役割を果たす。開始ジェスチャーは、図６Ａに示すように、物理的なアンカー物体６０１の表面上に、第１の手の親指と第２の手の人差し指とを配置することである。アンカー物体６０１は、本、タブレット、ノートパッド、デスクトップ、キャビネット等、持運びできる又は固定の任意の物体とすることができる。実施形態では、アンカー物体６０１は仮想物体とすることができる。ジェスチャー決定モジュール１４２により開始ジェスチャーが決定されると、インターフェース生成モジュール１４８によりスライドアウトインターフェースモードが起動される。スライドアウトインターフェースモードのインタラクティブ視覚表示６０２では、アンカー物体６０１の上に、選択可能な視覚表示物体６０５としての一組の積層画像、ホログラム又は仮想物体が表示される。最初に表示されるとき、最上の選択可能な視覚表示物体６０５のみが可視である。選択可能な視覚表示物体６０５は、アンカー物体６０１と同様のサイズ及び形状とすることができ、第１の手の親指と第２の手の人差し指との間の寸法に従ってサイズ及び形状を決めることができ、又は、標準サイジングに従ってサイズ及び形状を決めることができる。インタラクティブ視覚表示６０２は、没入型現実環境内でアンカー物体６０１において固定され、没入型現実環境内でアンカー物体６０１とともに移動する。ジェスチャー決定モジュール１４２は、図６Ａ〜図６Ｃに示すように、インタラクションジェスチャーとして、ジェスチャーエンティティ６００の第１の手の固定された親指から離れるジェスチャーエンティティ６００の第２の手の人差し指の横方向に向けられたスライド運動を認識する。実施形態では、効果生成モジュール１４６は、ジェスチャーエンティティ６００がスライドインタラクションジェスチャーを提供する際に動的ハプティック効果を提供することができる。スライドインタラクションジェスチャーに応じて、インターフェース生成モジュール１４８により、表示生成モジュール１４４は、積層体における次の選択可能な視覚表示物体６０５を現わすように、ジェスチャーエンティティ６００の第２の手の人差し指によってスライドする最上の選択可能な視覚表示物体６０５を示す。表示生成モジュール１４４により、選択可能な視覚表示物体６０５の目下選択されている視覚表示物体が、インタラクティブ視覚表示６０１において強調表示されるか又は他の方法で強調される。目下選択されている視覚表示物体は、より高位の選択可能な視覚表示物体６０５がわきによけるように引き出されたときに、積層体における次の選択可能な視覚表示物体６０５に切り替わることができる。ユーザーは、先行して取り除かれた選択可能な視覚表示物体６０５に「タップ」して、それを目下選択されている視覚表示物体として示すこともできる。効果生成モジュール１４６は、目下選択されている視覚表示物体が切り替えられたときに、ハプティックデバイス１１０を介して選択ハプティック効果を提供することができる。ジェスチャー決定モジュール１４２は、選択ジェスチャーとして、ジェスチャーエンティティ６００の固定された親指の解除を認識する。選択ジェスチャーの決定に応じて、インターフェース生成モジュール１４８は、視覚表示物体選択を認識し、アプリケーションソフトウェアに報告する。インターフェース生成モジュール１４８は、スライドアウトインターフェースモードをディアクティベートし、表示生成モジュール１４４に対してインタラクティブ視覚表示６０１の表示を終了させる。効果生成モジュール１４６は、選択が行われたというユーザーに対する確認として第２の選択ハプティック効果を提供する。第２の選択ハプティック効果は、第１の選択ハプティック効果と同じである場合もあれば異なる場合もある。更なる変形では、選択ハプティック効果のうちの一方又は両方をなくすことができる。更なる変形では、選択ハプティック効果のうちの一方又は両方に、可聴確認が付随することができる。
【００５２】
スライドアウトインターフェースモードの代替実施形態を提供することができる。例えば、ジェスチャーエンティティ６００が他のことを行うために取り除かれた後であっても、インタラクティブ視覚表示６０１において画像の位置を維持するコマンドとして、ジェスチャーエンティティ６００の保持ジェスチャーを認識することができる。保持ジェスチャーは、ジェスチャーエンティティ６００の第２の手の人差し指の曲げを含むことができ、それは、第１の手の親指が固定されたままである間に実施することができる。これにより、ユーザーは、他の作業に対して自身の手を使用しながら、選択可能な視覚表示物体６０５を観察し続けることができる。更なる変形では、保持ジェスチャーが決定されると、ユーザーは、自由に物理的なアンカー物体６０１を下に置くか又は別のユーザーに手渡すことができる。上記変形の任意の組合せも実施することができる。
【００５３】
図７Ａ〜図７Ｃは、比例インターフェースモード例を示す。比例インターフェースモードは、或る選択範囲の値からの特定の選択値が選択される任意の状況で使用されるために価値がある可能性がある。比例インターフェースモードでは、ユーザーの手がジェスチャーエンティティ７００の役割を果たす。開始ジェスチャーは、図７Ａに示すように、隣接する人差し指の上に親指を配置することである。ジェスチャー決定モジュール１４２により開始ジェスチャーが決定されると、インターフェース生成モジュール１４８により比例インターフェースモードが起動される。比例インターフェースモードのインタラクティブ視覚表示７０１では、或る範囲の選択視覚表示物体７０５の画像が表示される。範囲選択視覚表示物体７０５は、あり得る選択値の範囲を示す視覚表示物体であり、例えば、ダイヤル、メーター、及び選択範囲の他の任意の視覚的表現を含むことができる。図７Ａ〜図７Ｃにおいて、範囲選択視覚表示物体７０５の画像は、仮想絵筆用の筆サイズ選択画像を含み、そこでは、目下選択されている筆サイズの画像が選択値として表示される。更なる実施形態では、筆サイズの連続した範囲を表示する画像を採用することができる。最初に表示されるとき、目下選択されている筆サイズが選択値として示される。インタラクティブ視覚表示７０１は、没入型現実環境内で初期表示の点において固定され、ユーザーが自身の頭を回転させるか又は環境内で移動する際であっても、没入型現実環境内でその位置を維持する。更なる実施形態では、インタラクティブ視覚表示７０１がユーザーの視野内で固定される。ジェスチャー決定モジュール１４２は、図７Ｂ及び図７Ｃに示すように、インタラクションジェスチャーとして、ジェスチャーエンティティ７００の手の隣接する人差し指に対するジェスチャーエンティティ７００の手の親指のスライド運動を認識する。一方の方向におけるジェスチャーエンティティ７００の手の親指のスライドにより、選択範囲内の選択値を増大させることができ、他方の方向におけるジェスチャーエンティティ７００の手の親指のスライドにより、選択範囲内の選択値を低減させることができる。実施形態では、効果生成モジュール１４６は、ジェスチャーエンティティ７００がスライドインタラクションジェスチャーを提供する際に動的ハプティック効果を提供することができる。スライドインタラクションジェスチャーに応答して、インターフェース生成モジュール１４８により、表示生成モジュール１４４は、範囲選択視覚表示物体７０５の範囲内で表示される値を変更する。図７Ａ〜図７Ｃの実施形態では、ユーザーがジェスチャーエンティティ７００の手の親指を前後にスライドさせるに従い、筆サイズはより大きくかつより小さくサイズを変化させる。ジェスチャー決定モジュール１４２は、選択ジェスチャーとしてジェスチャーエンティティ７００の手の人差し指に対する接触からの親指の解除を認識する。選択ジェスチャーの決定に応答して、インターフェース生成モジュール１４８は、最終選択値を認識し、アプリケーションソフトウェアに報告する。インターフェース生成モジュール１４８は、比例インターフェースモードをディアクティベートし、表示生成モジュール１４４に対して、インタラクティブ視覚表示７０１の表示を終了させる。効果生成モジュール１４６は、選択が行われたというユーザーに対する確認として選択ハプティック効果を提供する。
【００５４】
比例インターフェースモードの代替実施形態を提供することができる。変形では、ユーザーが利用可能な範囲の限界に達すると、選択ハプティック効果を提供することができる。更なる変形では、選択ハプティック効果に可聴確認が付随することができる。別の実施形態では、比例インターフェースモードの開始ジェスチャーは２部ジェスチャーとすることができる。第１の開始ジェスチャーにより、ユーザーは、表示を固定する没入型現実環境における場所を選択する前に、ジェスチャーエンティティ７００及び関連するインタラクティブ視覚表示７０２を動かし続けることができる。固定場所までジェスチャーエンティティ７００を移動させた後、ジェスチャーエンティティ７００を構成する手の特定の指の動き等、第２の開始ジェスチャーを行うことができる。そして、第２の開始ジェスチャーにより、インターフェース生成モジュール１４８は、第２の開始ジェスチャーが行われた場所でインタラクティブ視覚表示７０２を固定し、インターフェースモードをアクティベートすることができる。上記変形の任意の組合せも実施することができる。
【００５５】
図８Ａ〜図８Ｆは、線形メニューインターフェースモードを示す。線形メニューインターフェースモードでは、ユーザーの手がジェスチャーエンティティ８００としての役割を果たし、手の人差し指の上に手の親指を載せることが、開始ジェスチャーとしての役割を果たす。ジェスチャー決定モジュール１４２によって開始ジェスチャーが決定されると、インターフェース生成モジュール１４８により線形メニューインターフェースモードが起動される。線形メニューインターフェースモードのインタラクティブ視覚表示８０２において、仮想メニューの１つ以上の選択可能な視覚表示物体８０３が、線形に、例えば行又は列で表示される。実施形態では、開始ジェスチャー中の人差し指の実質的に水平な又は垂直な位置決めにより、メニューが水平向き（図８Ａ〜図８Ｃ）に開くか又は垂直向き（図８Ｄ〜図８Ｆ）に開くかを決めることができる。インタラクティブ視覚表示８０２は、没入型現実環境内で初期表示の場所で固定され、及び／又は、没入型現実環境内でユーザーの視野内で固定することができる。ジェスチャー決定モジュール１４２は、インタラクションジェスチャーとして人差し指に対する／沿った親指の動きを認識する。インタラクションジェスチャーに応答して、選択可能な視覚表示物体８０３を横切ってカーソルが動かされ、目下選択されている視覚表示物体を変化させる。実施形態では、効果生成モジュール１４６は、カーソルが動く際のインタラクションジェスチャーに応答して、動的ハプティック効果を提供することができる。カーソルが新たな選択可能な視覚表示物体８０３までナビゲートすると、図８Ｃ及び図８Ｆに示すように、その物体は、インタラクティブ視覚表示８０２内で強調表示するか又は他の方法で視覚的に強調させることができ、及び／又は、効果生成モジュール１４６は、ハプティックデバイス１１０を介して選択ハプティック効果を提供することができる。ジェスチャー決定モジュール１４２は、選択ジェスチャーとして人差し指からの親指の解除を認識する。選択ジェスチャーの決定に応答して、インターフェース生成モジュール１４８は、選択可能な視覚表示物体８０３のうちの目下選択されているものに基づき、視覚表示物体選択を認識し、アプリケーションソフトウェアに報告する。インターフェース生成モジュール１４８は、線形メニューインターフェースモードをディアクティベートし、表示生成モジュール１４４に対して、インタラクティブ視覚表示８０２の表示を終了させる。効果生成モジュール１４６は、選択が行われたというユーザーに対する確認として第２の選択ハプティック効果を提供する。第２の選択ハプティック効果は、第１の選択ハプティック効果と同じである場合もあれば異なる場合もある。
【００５６】
線形メニューインターフェースモードの代替実施形態を提供することができる。例えば、選択ハプティック効果のうちの一方又は両方をなくすことができる。別の実施形態では、迅速動作インターフェースモードの開始ジェスチャーは２部ジェスチャーとすることができる。第１の開始ジェスチャーにより、ユーザーは、表示を固定する没入型現実環境内の場所を選択する前に、ジェスチャーエンティティ８００及び関連するインタラクティブ視覚表示８０２を動かし続けることができる。ジェスチャーエンティティ８００を固定位置まで移動させた後、ジェスチャーエンティティ８００を構成する手の特定の指の動き等、第２の開始ジェスチャーを行うことができる。そして、第２の開始ジェスチャーにより、インターフェース生成モジュール１４８は、第２の開始ジェスチャーが行われた場所でインタラクティブ視覚表示８０２を固定し、インターフェースモードをアクティベートすることができる。更なる変形では、選択ハプティック効果のうちの一方又は両方に、可聴確認が付随することができる。上記変形の任意の組合せも実施することができる。
【００５７】
図９は、仮想物体把持インターフェースモード例を示す。仮想物体把持インターフェースモードでは、インターフェース生成モジュール１４８は、仮想物体を把持する、動かす、及び他の方法で仮想物体と接触するのを容易にするインターフェースモードを提供する。仮想物体把持インターフェースモードでは、ユーザーの手がジェスチャーエンティティ９００としての役割を果たし、物体を把持するのに備えているかのように全ての指を広げることが、開始ジェスチャーとしての役割を果たす。ジェスチャー決定モジュール１４２により開始ジェスチャーが決定されると、インターフェース生成モジュール１４８により仮想物体把持インターフェースモードが起動される。仮想物体把持インターフェースモードのインタラクティブ視覚表示９０２では、１つ以上の把持可能な視覚表示物体９０３が表示される。１つ以上の把持可能な視覚表示物体９０３は、没入型現実環境内で初期表示の場所で固定される。実施形態では、把持可能な視覚表示物体９０３は、仮想物体把持インターフェースモードの開始の前に可視とすることができ、インターフェースモードは、それらの操作を容易にする役割を果たすことができる。ジェスチャー決定モジュール１４２は、インタラクションジェスチャーとしてジェスチャーエンティティ９００の動きを認識する。インタラクションジェスチャーに応じて、動的ハプティック効果が効果生成モジュール１４６により提供され、ハプティック出力デバイス１１０によって与えられる。動的ハプティック効果は、ユーザーの手と把持可能な視覚表示物体９０３との間の距離が増大又は低減するように変化するに従い変化するように調整される。ユーザーの手が把持可能な視覚表示物体９０３に近づくに従い、ユーザーは、ハプティック出力デバイスによって提供されるハプティック効果の強度の増大を知覚し、そのハプティック効果により、ユーザーに対して近接性が増大することがアラートされる。ユーザーの手が把持可能な視覚表示物体９０３に達すると、効果生成モジュール１４６は、ユーザーに対して選択ハプティック効果を提供する。選択ハプティック効果は、例えば、クリック又は短いうなる（buzzing）感覚を含むことができる。実施形態では、ジェスチャー決定モジュール１４２は、選択ジェスチャーとして、把持するか又は閉じる手の動きを認識し、把持可能な仮想表示物体９０３が把持されると、選択ハプティック効果を提供する。インターフェース生成モジュール１４８は、仮想物体把持インターフェースモードを維持し、ユーザーが、把持可能な視覚的表示物体９０３をインタラクティブ視覚表示９０１内で、閉じた指で動かすのを可能にする。仮想物体把持インターフェースモードは、ジェスチャー決定モジュール１４２による閉じるジェスチャーの決定に応じて終了する。閉じるジェスチャーは、例えば、握りこぶし又はユーザーによって選択された他のジェスチャーを含むことができる。仮想物体把持インターフェースモードの代替実施形態を提供することができる。例えば、選択ハプティック効果に可聴確認が付随することができる。
【００５８】
実施形態では、上述した様々なインターフェースモードのうちの１つ以上は、より複雑な結合された形態のインターフェースモードとすることができる。すなわち、第１のインターフェースモードにおいてなされた選択に基づいて、第２のインターフェースモードを開始することができる。例えば、レイヤーケーキインターフェースモードを、枢動インターフェースモード又はスライドアウトインターフェースモードのいずれかと結合することができる。ユーザーは、レイヤーケーキインターフェースモードを開始し、選択を行い、次いで、レイヤーケーキインターフェースモードの選択された視覚表示物体から枢動インターフェースモード又はスライドアウトインターフェースのいずれかを起動することができる。他のあり得る組合せもこの説明の範囲内にある。実施形態では、３つ以上のインターフェースモードを結合することができる。このように、容易にナビゲート可能なインタラクティブ視覚表示の組合せを通して多層メニューを提供することができる。
【００５９】
実施形態では、様々なインタラクションジェスチャー、選択ジェスチャー、保持ジェスチャー及び閉じるジェスチャーとともに、関連する動的ハプティック効果及び選択ハプティック効果は、ユーザー選好に基づいて調整可能である。ユーザーは、上述したインターフェースモードのうちの任意のものを開始するかそれとインターフェースするために必要なジェスチャーを変更することができる。実施形態では、システム１００は、ジェスチャー訓練機能を提供することができる。ジェスチャー訓練機能を使用して、ユーザーが必要なジェスチャーを行うことと、ジェスチャー決定モジュール１４２が、ユーザーが行ったジェスチャーを認識することとの両方を訓練することができる。ユーザージェスチャー情報に機械学習技法を適用して、ジェスチャー決定モジュール１４２によるジェスチャー決定を改善することができる。
【００６０】
図１０は、インターフェースモードプロセス１０００の実施態様を示すプロセスフローチャートである。図１０に示す様々な処理動作及び／又はデータフローについて、本明細書ではより詳細に説明する。説明する動作は、上で詳述したシステムコンポーネントのうちのいくつか又は全てを使用して達成することができ、いくつかの実施態様では、様々な動作を異なる順序で実施することができ、及び／又は様々な動作を省略することができる。図示するフロー図に示す動作のうちのいくつか又は全てとともに、追加の動作を実施することができる。１つ以上の動作を同時に実施することができる。したがって、図示する（かつより詳細に後述する）動作は、本質的に例示的なものであり、したがって、限定するものとして見られるべきではない。
【００６１】
動作１００２において、インターフェースモードプロセス１０００は、ジェスチャー検出システム１３０の少なくとも１つのセンター１３１によりユーザージェスチャー情報を検出することを含む。そして、ユーザージェスチャー情報は、コンピューティングユニット１０５のジェスチャー決定モジュール１４２に送信される。ジェスチャー検出システム１３０は、インターフェースモードプロセス１０００を通して、ユーザージェスチャー情報を検出し、ユーザージェスチャー情報をジェスチャー決定モジュール１４２に送信し続ける。
【００６２】
動作１００４において、インターフェースモードプロセス１０００は、没入型現実表示デバイス１２０を介して没入型現実環境を提供することを含む。コンピューティングユニット１０５の表示生成モジュール１４４は、ユーザーに没入型現実環境を提供するために、没入型現実表示デバイス１２０に視覚情報を提供する。
【００６３】
動作１００６において、インターフェースモードプロセス１０００は、コンピューティングユニット１０５のジェスチャー決定モジュール１４２によりユーザージェスチャー情報を受け取ることを含む。ジェスチャー決定モジュール１４２は、動作１００８において、ユーザージェスチャー情報を使用して、ジェスチャー情報から開始ジェスチャーを決定する。
【００６４】
動作１０１０において、インターフェースモードプロセス１０００は、インターフェース生成モジュール１４８により、動作１００８において決定された開始ジェスチャーに従ってかつそれに応じてインターフェースモードをアクティベートすることを含む。インターフェースモードは、没入型現実表示デバイスを介して提供されるインタラクティブ視覚表示を含む。インタラクティブ視覚表示は、アクティベートされるインターフェースモードに従って変化する。
【００６５】
動作１０１２において、インターフェースモードプロセス１０００は、インターフェースモードのインタラクティブ視覚表示を固定することを含む。インタラクティブ視覚表示は、開始ジェスチャーの場所に従い、没入型現実環境内の物理的又は仮想物体の場所に従い、及び／又はユーザーの視野内の特定の場所に従い、固定することができる。
【００６６】
動作１０１４において、インターフェースモードプロセス１０００は、ジェスチャー決定モジュール１４２によりユーザージェスチャー情報からインタラクションジェスチャーを決定することを含む。インタラクションジェスチャーに関する情報は、ジェスチャー決定モジュール１４２によりインターフェース生成モジュール１４８に提供され、インターフェース生成モジュール１４８は、それにより、効果生成モジュール１４６及び表示生成モジュール１４４の動作を統合する。インタラクションジェスチャーに応じて、効果生成モジュール１４６により、ハプティック出力デバイス１１０は、動作１０１６において動的ハプティック効果を出力する。インタラクションジェスチャーに応じて、表示生成モジュール１４４は、インタラクションジェスチャーに関連するインタラクション及びナビゲーションの動きを示すようにインタラクティブ視覚表示を調整する。
【００６７】
動作１０１８において、インターフェースモードプロセス１０００は、ジェスチャー決定モジュール１４２により、ユーザージェスチャー情報から選択ジェスチャーを決定することを含む。選択ジェスチャーに関する情報は、ジェスチャー決定モジュール１４２によりインターフェース生成モジュール１４８に提供され、インターフェース生成モジュール１４８は、効果生成モジュール１４６及び表示生成モジュール１４４の動作を統合する。選択ジェスチャーに応じて、効果生成モジュール１４６により、ハプティック出力デバイス１１０は、動作１０２０において、ハプティック出力デバイス１１０を介して選択ハプティック効果を提供する。選択ジェスチャーに応じて、表示生成モジュール１４４は、インタラクティブ視覚表示を調整して、動作１０２２において選択ジェスチャーに関連する選択視覚表示を提供する。
【００６８】
動作１０２４において、インターフェースモードプロセス１０００は、コンピューティングユニット１０５のインターフェース生成モジュール１４８によりインターフェースモードから出ることを含む。インターフェースモードから出ると、インターフェース生成モジュール１４８は、インターフェース生成モジュール１４８の間にユーザーによって行われた任意の選択を、ソフトウェアアプリケーション又は選択に関連するアプリケーションに報告する。インターフェース生成モジュール１４８はまた、表示生成モジュール１４４に対して、没入型環境におけるインタラクティブ視覚表示の表示を終了させる。
【００６９】
上記は、本明細書に記載する実施形態によるインターフェースモード生成及び使用プロセス例の例示的な流れを説明している。図１０に示すようなプロセスは、単に例示的なものであり、本明細書に開示した実施形態の範囲から逸脱することなく変形が存在する。記載するものとは異なる順序でステップを実施することができ、追加のステップを実施することができ、及び／又はより少ないステップを実施することができる。ステップは、特定のソフトウェアモジュールによって実施されるものとして説明しているが、この説明もまた単に例としてのものである。ステップは、より多いか又はより少ないソフトウェアモジュールによって実施することができ、それらのモジュールの各々は、本明細書に記載する実施形態から逸脱することなく、本明細書に記載するものと異なる能力及び責務を有する。
【００７０】
したがって、没入型現実環境内において様々なインターフェースモードを生成し、かつ使用するシステム、デバイス、及び方法が提供される。本発明による種々の実施形態を上述してきたが、これらの実施形態は、限定としてではなく単なる説明及び例として提示されていることを理解すべきである。形式及び細部における種々の変更は本発明の趣旨及び範囲から逸脱することなく本発明内で行うことができることは当業者には明らかであろう。したがって、本発明の範囲（breadth and scope）は、上述の例示的な実施形態のいずれかによって限定されるべきではない。更なる実施形態及び組合せが、以下の番号付き段落において記述される。本明細書において論考された各実施形態、及び本明細書において引用された各引用文献の各特徴は、他の任意の実施形態の特徴と組み合わせて用いることができることも理解されるであろう。ハプティック効果をレンダリングする上記方法の態様は、本明細書において説明した他の方法と任意に組み合わせて用いることもできるし、上記方法は別々に用いることもできる。本明細書において論考された全ての特許及び刊行物はその全体が、引用することにより本明細書の一部をなす。
【００７１】
本願は、２０１８年４月２０日に出願された米国特許出願第１５／９５８，６１７号明細書の利益を主張し、この出願の開示は引用することによりその全体が本明細書の一部をなす。
【図１】
2019192242.tif 000003
【図２】
2019192242.tif 000004
【図３】
2019192242.tif 000005
【図４】
2019192242.tif 000006
【図５】
2019192242.tif 000007
【図６】
2019192242.tif 000008
【図７】
2019192242.tif 000009
【図８】
2019192242.tif 000010
【図９】
2019192242.tif 000011
【図１０】
2019192242.tif 000012
【外国語明細書】
2019192242.tif 000013
2019192242.tif 000014
2019192242.tif 000015
2019192242.tif 000016
2019192242.tif 000017
2019192242.tif 000018
2019192242.tif 000019
2019192242.tif 000020
2019192242.tif 000021
2019192242.tif 000022
2019192242.tif 000023
2019192242.tif 000024
2019192242.tif 000025
2019192242.tif 000026
2019192242.tif 000027
2019192242.tif 000028
2019192242.tif 000029
2019192242.tif 000030
2019192242.tif 000031
2019192242.tif 000032
2019192242.tif 000033
2019192242.tif 000034
2019192242.tif 000035
2019192242.tif 000036
2019192242.tif 000037
2019192242.tif 000038
2019192242.tif 000039
2019192242.tif 000040
2019192242.tif 000041
2019192242.tif 000042
2019192242.tif 000043
2019192242.tif 000044
2019192242.tif 000045
2019192242.tif 000046
2019192242.tif 000047
2019192242.tif 000048
2019192242.tif 000049
2019192242.tif 000050
2019192242.tif 000051
2019192242.tif 000052
2019192242.tif 000053
2019192242.tif 000054
2019192242.tif 000055
2019192242.tif 000056
2019192242.tif 000057
2019192242.tif 000058