(57)【要約】      （修正有）【課題】仮想現実感システムを使用して触覚対話を提示するための方法、システムおよび非一時的コンピュータ可読媒体を提供する。【解決手段】仮想ユーザは、仮想現実感環境で追跡され、仮想ユーザは、実世界環境における実世界ユーザの仮想表現を含む。仮想ユーザに対する仮想対象のための相対仮想位置が決定される。仮想対象のための触覚プロファイルが識別される。実世界対象は、相対仮想位置に対応する実世界ユーザに対する実世界位置に提供され、実世界対象の触覚特性は、仮想対象のための触覚プロファイルに対応する。【選択図】図５Ａ
2020004395.tif 000002
【特許請求の範囲】
【請求項１】
仮想現実感システムを使用して触覚対話を提示するための方法であって、
仮想現実感環境における仮想ユーザを追跡するステップであって、前記仮想ユーザが、実世界環境における実世界ユーザの仮想表現を含む、ステップと、
仮想対象のための前記仮想現実感環境における仮想位置を決定するステップであって、前記仮想位置が前記仮想ユーザに対するものである、ステップと、
前記仮想対象のための触覚プロファイルを識別するステップであって、前記触覚プロファイルが実世界対象の実世界表面に対応する、ステップと、
前記実世界対象を前記実世界環境の実世界位置において前記実世界ユーザに提供するステップと
を含む方法。
【請求項２】
前記触覚プロファイルが、手触り、こわさ、温度、形状、硬さおよび／または変形性を含む１つまたは複数の触覚特性を特定する、請求項１に記載の方法。
【請求項３】
前記触覚プロファイルが、音響またはビデオを含む１つまたは複数の媒体特性をさらに特定する、請求項２に記載の方法。
【請求項４】
類似性を決定するために、所定の実世界表面のセットの前記触覚特性を前記触覚プロファイルの触覚特性と比較するステップをさらに含み、前記実世界表面が、前記触覚プロファイルのために、前記実世界表面の前記触覚特性と前記触覚プロファイルの前記触覚特性との間の前記類似性に基づいて選択される、請求項２に記載の方法。
【請求項５】
前記実世界表面と前記触覚プロファイルとの間の前記類似性が、前記触覚プロファイルの前記触覚特性と前記実世界表面の前記触覚特性との間の一致の数を含む、請求項４に記載の方法。
【請求項６】
前記実世界対象を提供するステップが、前記実世界対象を前記実世界位置に提供するために機械装置を移動させるステップ、または前記実世界対象を前記実世界位置に提供するようにドローンに命令するステップを含む、請求項１に記載の方法。
【請求項７】
前記実世界対象が、所定の実世界表面のセットの少なくとも一部を含む触覚小片を含む、請求項１に記載の方法。
【請求項８】
前記仮想現実感環境が、所定の実世界表面の前記セットに基づく、請求項７に記載の方法。
【請求項９】
前記仮想現実感環境における複数の仮想対象の中から、所定の実世界表面の前記セットのうちの少なくとも１つと一致する触覚プロファイルを含む仮想対象のセットを識別するステップと、
仮想対象の前記セットのために触覚対話を利用することができることを示すインジケータを仮想対象の前記セットのための前記仮想現実感環境に表示するステップと
をさらに含む、請求項８に記載の方法。
【請求項１０】
前記触覚小片のための前記実世界表面が、前記仮想現実感環境におけるそれぞれの仮想対象のための１つまたは複数の触覚プロファイルに基づいて選択される、請求項７に記載の方法。
【請求項１１】
前記仮想対象と前記仮想ユーザとの間の仮想距離が閾値距離以下であることを決定するステップと、
前記仮想距離が閾値距離以下であることの決定に基づいて、前記実世界対象を前記実世界ユーザに向かって、あるいは前記実世界ユーザから遠ざかる方向に移動させるステップと
をさらに含み、前記移動させるステップが、前記仮想対象のための前記触覚プロファイルに対応する静的触覚特性を模擬する、請求項１に記載の方法。
【請求項１２】
前記仮想ユーザまたは仮想対象のうちの少なくとも１つが前記仮想現実感環境の中を移動している間、前記仮想対象のための前記仮想位置が追跡される、請求項１に記載の方法。
【請求項１３】
前記実世界対象を提供するステップが、前記実世界対象を前記仮想位置と対応する前記実世界ユーザへ移動させるステップをさらに含む、請求項１１に記載の方法。
【請求項１４】
デバイスであって、
１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサによって実行するための１つまたは複数のプログラムを記憶するメモリと、
を備え、前記１つまたは複数のプログラムが、
仮想現実感環境における仮想ユーザを追跡するステップであって、前記仮想ユーザが、実世界環境における実世界ユーザの仮想表現を含む、ステップと、
仮想対象のための前記仮想現実感環境における仮想位置を決定するステップであって、前記仮想位置が前記仮想ユーザに対するものである、ステップと、
前記仮想対象のための触覚プロファイルを識別するステップであって、前記触覚プロファイルが実世界対象の実世界表面に対応する、ステップと、
前記実世界対象を前記実世界環境の実世界位置において前記実世界ユーザに提供するステップと
を実施するための命令を含む、
デバイス。
【請求項１５】
前記触覚プロファイルが、手触り、こわさ、温度、形状、硬さおよび／または変形性を含む１つまたは複数の触覚特性を特定する、請求項１４に記載のデバイス。
【請求項１６】
類似性を決定するために、所定の実世界表面のセットの前記触覚特性を前記触覚プロファイルの触覚特性と比較するステップをさらに含み、前記実世界表面が、前記触覚プロファイルのために、前記実世界表面の前記触覚特性と前記触覚プロファイルの前記触覚特性との間の前記類似性に基づいて選択される、請求項１５に記載のデバイス。
【請求項１７】
前記実世界表面と前記触覚プロファイルとの間の前記類似性が、前記触覚プロファイルの前記触覚特性と前記実世界表面の前記触覚特性との間の一致の数を含む、請求項１６に記載のデバイス。
【請求項１８】
前記実世界対象を提供するステップが、前記実世界対象を前記実世界位置に提供するために機械装置を移動させるステップ、または前記実世界対象を前記実世界位置に提供するようにドローンに命令するステップを含む、請求項１４に記載のデバイス。
【請求項１９】
前記実世界対象が、所定の実世界表面のセットの少なくとも一部を含む触覚小片を含む、請求項１４に記載のデバイス。
【請求項２０】
１つまたは複数のプロセッサによって実行されるように構成された１つまたは複数のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つまたは複数のプログラムが、
仮想現実感環境における仮想ユーザを追跡するステップであって、前記仮想ユーザが、実世界環境における実世界ユーザの仮想表現を含む、ステップと、
仮想対象のための仮想位置を決定するステップであって、前記仮想位置が前記仮想ユーザに対するものである、ステップと、
前記仮想対象のための触覚プロファイルを識別するステップであって、前記触覚プロファイルが実世界対象の実世界表面に対応する、ステップと、
前記実世界対象を前記実世界環境の実世界位置において前記実世界ユーザに提供するステップと
を実施するための命令を含む、非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
一実施形態は、一般に、触覚プロファイルを使用して仮想現実感ユーザ（virtual reality user）に実世界触覚対話（real-world haptic interactions）を提示する仮想現実感システム（virtual reality system）を対象としている。
【背景技術】
【０００２】
「触覚（Haptics）」は、触覚フィードバック、触感効果（すなわち「触覚」効果）、および手触り（texture）、温度、力、振動、運動などの知覚効果ならびに他の適切な触覚効果を適用することによってユーザの接触の知覚を利用する技術を提供する触感、知覚および力に関している。いくつかの実施態様では、計算デバイスは、触覚効果を生成するように構成することができる。いくつかの実例では、触覚出力デバイス（アクチュエータなど）に送信される触覚信号を生成することができる埋込み型ハードウェア、または対象（object）（例えば触覚プロファイルに対応する実世界対象（real-world object））に特定の触覚特性を提供することができるデバイスへのコールは、デバイスのオペレーティング・システム（「ＯＳ」）内でプログラムすることができる。これらのコールは、再生させる触覚効果を特定することができる。
【０００３】
仮想現実感、拡張現実感および／または混合現実感システムは、仮想世界で実世界効果を模擬する（simulate）それらの能力が進歩している。詳細には、頭および身体を追跡する技術は、頭の動きなどのユーザの動きを追跡するポイント・オブ・ビュー（「ＰＯＶ：point-of-view」）表示を可能にしており、仮想世界における対応するＰＯＶ変化を提供している。しかしながら仮想システムは、ユーザに提示される物理的フィードバックが限られている。例えば現在の仮想システムは、実世界樹木の感触に対応する仮想触覚感触をユーザに提示するそれらの能力が限られている。
【発明の概要】
【０００４】
実施形態は、仮想現実感システムを使用して触覚対話を提示するための方法、システムおよびコンピュータ可読媒体を含む。仮想ユーザは仮想現実感環境で追跡され、仮想ユーザは、実世界環境における実世界ユーザの仮想表現を含む。仮想ユーザに対する仮想対象（virtual object）のための相対仮想位置が決定される。仮想対象のための触覚プロファイルが識別される。さらに、実世界対象は、相対仮想位置に対応する実世界ユーザに対する実世界位置に提供され、実世界対象の触覚特性は、仮想対象のための触覚プロファイルに対応する。
【０００５】
上記の一般的な説明および以下の詳細な説明は、いずれも例示的で、かつ、説明的なものであり、本開示を説明されている例に限定することは意図されていないことを理解されたい。
【０００６】
他の実施形態、詳細、利点および修正は、添付の図面に関連してなされる好ましい実施形態についての以下の詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【０００７】
【図１】様々な実施形態によるコンピュータ・サーバ／システムのブロック図である。
【図２】様々な実施形態による、仮想世界に基づく豊富な触覚対話を提示するための例示的システムを示す図である。
【図３】様々な実施形態による、豊富な触覚対話を提示するための例示的仮想システム周辺装置を示す図である。
【図４Ａ】様々な実施形態による、仮想対象を有する仮想世界および実世界対象を有する対応する実世界を示す図である。
【図４Ｂ】様々な実施形態による、仮想対象を有する仮想世界および実世界対象を有する対応する実世界を示す図である。
【図４Ｃ】様々な実施形態による、仮想対象を有する仮想世界および実世界対象を有する対応する実世界を示す図である。
【図５Ａ】様々な実施形態による、仮想世界における豊富な触覚対話を提示するための流れ図である。
【図５Ｂ】様々な実施形態による、仮想世界における豊富な触覚対話を提示するための流れ図である。
【図６】様々な実施形態による、豊富な触覚対話を提示するための例示的ドローン装備システムを示す図である。
【図７】様々な実施形態による、ドローンを使用して仮想世界における豊富な触覚対話を提示するための流れ図である。
【図８】様々な実施形態による、ドローンを使用して仮想世界における豊富な触覚対話を提示するための状態図である。
【図９】様々な実施形態による、豊富な触覚対話を提示するように複数のドローンに命令するための流れ図である。
【図１０】様々な実施形態による、仮想世界における豊富な触覚対話を提示するための別の流れ図である。
【発明を実施するための形態】
【０００８】
一実施形態は、仮想現実感（「ＶＲ：virtual reality」）、拡張現実感（「ＡＲ：augmented reality」）または混合現実感（「ＭＲ：mixed reality」）システムのユーザのための触覚対話を提示する。一実施形態では、仮想ユーザは仮想環境で追跡され、また、ユーザが遭遇し得る仮想対象のための触覚プロファイルが識別される。例えば仮想ユーザが仮想樹木の近くに存在している場合、例えばその仮想樹木のための触覚プロファイルを識別することができる。実世界では、仮想樹木の触覚プロファイルに対応する触覚特性を有する実世界対象は、その仮想樹木の相対仮想位置に対応する位置に提供することができる。例えば仮想ユーザに対する仮想樹木のための相対位置（例えば仮想ユーザのための位置に対するそれの関係によって画定される仮想樹木のための位置）を追跡することができ、また、実世界対象は、相対仮想位置に対応する実世界ユーザに対する実世界位置に提供することができる。仮想ユーザが仮想樹木に接触すると、実世界ユーザは、提供された実世界対象に基づいて実世界対象の触覚特性を感じることになり、したがって仮想世界における対話に対応する実世界触覚対話がユーザに提示される。他の例では、仮想ユーザは、仮想犬、仮想走行自動車両、あるいは仮想ガムのような粘着性の物質などの他の仮想対象に接触することができ、また、軟らかい毛皮で覆われた対象、熱いおよび／または振動する金属製の対象、粘着性の対象、等々などの対応する触覚特性を有する実世界対象を提供することができる。
【０００９】
提供は、様々なシステムおよび／または技法を使用して達成することができる。例えば異なる触覚特性を有する複数の表面を含む触覚小片（haptic swatch）を提供することができ、触覚小片は、仮想環境における触覚プロファイル（例えば仮想樹木、仮想犬、仮想走行自動車両、等々の触覚プロファイル）と対応する触覚特性を提示するように構成される。触覚特性を含む他の実世界対象を類似して提供することができる。いくつかの実施形態では、様々な技法を実現することにより、仮想ユーザおよび／または仮想対象の動きに基づいて実世界対象を異なる位置へ移動させることができる。例えばロボット・システムまたは機械部材を使用して、ユーザの仮想対話に対応する相対位置へ実世界対象（例えば触覚小片）を移動させることができる。別の例では、ドローンを使用して実世界対象を相対位置へ移動させることができる。
【００１０】
図１は、様々な実施形態によるシステム１０のブロック図を示したものである。いくつかの実施形態では、システム１０は、以下で説明されるようにＶＲ／ＡＲ／ＭＲシステムとして機能することができる。これらの実施形態では、システム１０は、センサー３０、スピーカー２８またはディスプレイ２４などの図１に示されているモジュールのうちの１つまたは複数を含んでいなくてもよい。
【００１１】
いくつかの実施形態では、システム１０は、仮想世界と対話するために、移動デバイス（例えばスマートフォン）または非移動デバイス（例えばゲーム・コントローラ）の一部であるか、またはこれらと通信している。また、システム１０は、仮想世界と対話するために、着用可能デバイスの一部であるか、または着用可能デバイスと通信することも可能である。着用可能デバイスの例は、リスト・バンド、ヘッドバンド、眼鏡、リング、レッグ・バンド、はきもの、衣服に統合されたアレイ、またはユーザが身体に着用することができ、あるいはユーザが保持することができる任意の他のタイプのデバイスを含む。いくつかの着用可能デバイスは触覚的にイネーブルすることができ、それらが触覚効果を生成する機構を含んでいることを意味している。いくつかの実施形態では、システム１０は、仮想世界をシステムのユーザに提供するために、ゲーミング・システムなどの独立型計算デバイスを含むことができる。いくつかの実施形態では、システム１０は、デバイス（例えば移動デバイスまたは着用可能デバイス）とは別のものであってもよい。
【００１２】
単一のシステムとして示されているが、システム１０の機能性は分散システムとして実現することも可能である。システム１０は、情報を通信するためのバス１２または他の通信機構、およびバス１２に結合された、情報を処理するためのプロセッサ２２を含む。プロセッサ２２は、任意のタイプの汎用プロセッサであっても、あるいは専用プロセッサであってもよい。システム１０は、情報およびプロセッサ２２によって実行される命令を記憶するためのメモリ１４をさらに含む。メモリ１４は、ランダム・アクセス・メモリ（「ＲＡＭ」）、リード・オンリ・メモリ（「ＲＯＭ」）、磁気ディスクまたは光ディスクなどの静的記憶装置、または任意の他のタイプの一時的あるいは非一時的コンピュータ可読媒体の任意の組合せを含むことができる。
【００１３】
コンピュータ可読媒体は、プロセッサ２２によってアクセスすることができる利用可能な任意の媒体であってもよく、また、揮発性および不揮発性の両方の媒体、取外し可能媒体および非取外し可能媒体、通信媒体および記憶媒体を含むことができる。通信媒体は、コンピュータ可読命令、データ構造、プログラム・モジュール、または搬送波あるいは他の輸送機構などのモジュール化されたデータ信号中の他のデータを含むことができ、また、当分野で知られている任意の他の形態の情報配信媒体を含むことができる。記憶媒体は、ＲＡＭ、フラッシュ・メモリ、ＲＯＭ、消去可能プログラマブル・リード・オンリ・メモリ（「ＥＰＲＯＭ」）、電気的消去可能プログラマブル・リード・オンリ・メモリ（「ＥＥＰＲＯＭ」）、レジスタ、ハード・ディスク、取外し可能ディスク、コンパクト・ディスク・リード・オンリ・メモリ（「ＣＤ−ＲＯＭ」）、または当分野で知られている任意の他の形態の記憶媒体を含むことができる。
【００１４】
一実施形態では、メモリ１４は、プロセッサ２２によって実行されると機能性を提供するソフトウェア・モジュールを記憶する。モジュールは、システム１０のためのオペレーティング・システム機能性を提供するオペレーティング・システム１５を含む。モジュールは、本明細書においてさらに詳細に開示されているように、仮想世界に基づくユーザのための触覚対話を提示する触覚対話モジュール１６をさらに含む。特定の実施形態では、触覚対話モジュール１６は、個々のモジュールが触覚効果を提供するために特定の個別の機能性で構成される複数のモジュールを含むことができる。システム１０は、通常、Ｉｍｍｅｒｓｉｏｎ  Ｃｏｒｐ．によるＴｏｕｃｈＳｅｎｓｅ（登録商標）ソフトウェアなどの追加機能性を含むために、１つまたは複数の追加アプリケーション・モジュール１８を含む。
【００１５】
システム１０は、遠隔ソースからデータを送信および／または受信する実施形態では、赤外線、無線、Ｗｉ−Ｆｉ、セルラー・ネットワーク通信、等々などの移動無線ネットワーク通信を提供するために、ネットワーク・インタフェース・カードなどの通信デバイス２０をさらに含む。他の実施形態では、通信デバイス２０は、イーサネット（登録商標）接続、モデム、等々などの有線ネットワーク接続を提供する。
【００１６】
プロセッサ２２は、グラフ表現またはユーザ・インタフェース（「ＵＩ」）をユーザに表示するために、バス１２を介して、液晶ディスプレイ（「ＬＣＤ」）などのディスプレイ２４にさらに結合される。ディスプレイ２４は、タッチ・スクリーンなどの、プロセッサ２２に信号を送り、かつ、プロセッサ２２から信号を受け取るように構成された接触感応入力デバイス（touch-sensitive input device）であってもよく、また、多重接触タッチ・スクリーンであってもよい。
【００１７】
システム１０は、一実施形態では、触覚出力デバイス２６をさらに含む。プロセッサ２２は、触覚効果と関連付けられた触覚信号を触覚出力デバイス２６に送信することができ、その触覚出力デバイス２６は、振動触感触覚効果、静電摩擦触覚効果、変形触覚効果、等々などの触覚効果を出力する。触覚出力デバイス２６はアクチュエータであってもよく、また、アクチュエータ駆動回路を含むことができる。触覚出力デバイス２６は、例えば電動機、電磁アクチュエータ、ボイス・コイル、形状記憶合金、電気活性重合体、ソレノイド、偏心回転質量モータ（「ＥＲＭ」）、線形共振アクチュエータ（「ＬＲＡ」）、圧電アクチュエータ、高帯域幅アクチュエータ、電気活性重合体（「ＥＡＰ」）アクチュエータ、等々であってもよい。代替実施形態では、システム１０は、触覚出力デバイス２６に加えて、１つまたは複数の追加触覚出力デバイスを含むことができる。代替的にまたは追加として、触覚出力デバイス２６は、熱ディスプレイ（例えばホット／コールド）、電気触感刺激（すなわち電流による触感レセプタの刺激）、運動性フィードバック、等々などの任意の他の触覚技術に従って動作することができる。さらに別の代替または追加実施形態は、システムがどのような動きをしているのか、および／または、システムがどのような動きをしているように感じているのか、を判断することをユーザに要求するタスクなどの電気的筋肉刺激を実現することができる。
【００１８】
触覚出力デバイス２６は、駆動信号に応答して、振動触感触覚効果、静電摩擦触覚効果、変形触覚効果、等々などの任意の形態の触覚効果を出力するように構成されたデバイスである。したがって触覚出力デバイス２６はアクチュエータであってもよく、あるいは代替実施形態では、静電摩擦（「ＥＳＦ」）または超音波表面摩擦（「ＵＳＦ」）を使用するデバイス、超音波触覚変換器を使用して音響放射圧力を誘導するデバイス、触覚基板および可撓性すなわち変形可能表面あるいは形状変化デバイスを使用し、かつ、ユーザの身体に取り付けることができるデバイス、空気噴流を使用した空気のパフなどの突出した触覚出力、レーザに基づく刺激器、音声に基づく刺激器を提供するデバイス、および任意の他の適切な触覚対話可能デバイスなどの非機械デバイスまたは非振動デバイスであってもよい。
【００１９】
さらに、他の代替実施形態では、システム１０は触覚出力デバイス２６を含んでいなくてもよく、また、システム１０とは別のデバイスは、触覚効果を生成する触覚出力デバイスを含み、システム１０は、生成された触覚信号を通信デバイス２０を介してそのデバイスに送る。
【００２０】
一実施形態では、触覚出力デバイス２６は、アクチュエータの設計によって限定される周波数で振動触覚効果を生成する標準精細度（「ＳＤ」）アクチュエータおよび／または触覚レンダリングシステムであってもよい。ＳＤアクチュエータの例はＥＲＭおよびＬＲＡを含む。ＳＤアクチュエータとは対照的に、圧電アクチュエータまたはＥＡＰアクチュエータなどの高精細度（「ＨＤ」）アクチュエータすなわち高忠実度アクチュエータは、複数の周波数で高帯域幅および／または高精細度触覚効果を生成することができる。ＨＤアクチュエータは、可変振幅、可変周波数で、かつ、過渡駆動信号に対する高速応答で、広い帯域幅の触感効果をもたらすそれらの能力によって特性化される。しかしながらＨＤアクチュエータは、一般的にＳＤアクチュエータより高価である。したがっていくつかのデバイスは、何らかのＨＤアクチュエータの代わりに、１つまたは複数のＳＤアクチュエータのみを含む。したがっていくつかの実施形態は、ＳＤアクチュエータと組み合わせたデバイスにおいて、１つまたは複数のスピーカー２８を活用してＨＤ触覚効果を模擬し、かつ、ＨＤアクチュエータを必要とすることなく、ＨＤ様触覚経験を提供する。
【００２１】
いくつかの実施形態では、触覚出力デバイス２６は触覚小片を含むことができる。触覚小片は、異なる触覚特性を有する複数の材料または表面を含む対象またはデバイスであってもよい。例えば触覚小片は、ざらざらした触覚特性を有する第１の触覚材料、および滑らかな触覚特性を有する第２の触覚材料を含むことができる。いくつかの実施形態では、小片の触覚特性は、樹木のざらざらした触感感触に対応する触覚材料、および紙やすりのざらざらした触感感触に対応する別の触覚材料などの様々な対象の感触に対応し得る。この例ではいずれの対象もざらざらした触感感触を含んでいるが、対象に対する触覚特性は異なっており、また、触覚小片は、この相違を捕獲する触覚特性を有する可変触覚材料を含むことができる。例えば樹木のための触覚プロファイルは、樹皮の粗いざらざらした感じに似ている比較的大きいバンプまたはノッチ（bumps or notches）によって表現することができ、また、紙やすりのための触覚プロファイルは、紙やすりの細かいざらざらした感じに似ている比較的小さい表面要素によって表現することができる。この例では触覚小片は、樹皮のための触覚プロファイルに対応する触覚材料、および紙やすりのための触覚プロファイルに対応する別の触覚材料を含むことができる。
【００２２】
いくつかの実施形態では、触覚小片は、異なる触覚特性を有する様々な表面または材料を含む非移動対象であってもよい。他の実施形態では、触覚小片は、回転して異なる触覚表面または材料をユーザに露出することができる回転アセンブリなどの移動部品を含むことができる。触覚出力デバイス２６は、様々な位置に触覚小片を移動させ／様々な位置に触覚小片を提供するために使用することができるロボット・アーム・アセンブリ、ドローンまたは他の可動機構を含むことができる。
【００２３】
システム１０は、一実施形態では、スピーカー２８をさらに含む。プロセッサ２２は音響信号をスピーカー２８に送信することができ、そのスピーカー２８は音響効果を出力する。スピーカー２８は、例えばダイナミック拡声器（loudspeaker）、エレクトロダイナミック拡声器、圧電拡声器、磁気ひずみ拡声器、静電拡声器、リボンおよび平面磁気拡声器、屈曲波拡声器、フラット・パネル拡声器、ハイル・エアー・モーション変換器（heil air motion transducer）、プラズマ・アーク・スピーカー、デジタル拡声器、等々であってもよい。代替実施形態では、システム１０は、スピーカー２８に加えて、１つまたは複数の追加スピーカーを含むことができる（図１には示されていない）。さらに、他の代替実施形態では、システム１０はスピーカー２８を含んでいなくてもよく、また、システム１０とは別のデバイスは、音響効果を出力するスピーカーを含み、システム１０は、音響信号を通信デバイス２０を介してそのデバイスに送る。いくつかの実施形態では、システム１０は、例えばヘッドマウント・ディスプレイ（「ＨＭＤ」）を含むことができる。
【００２４】
システム１０は、一実施形態では、センサー３０をさらに含む。センサー３０は、ある形態のエネルギーを検出するように構成することができ、あるいは、それらに限定されないが、音声、動き、加速度、生物学的信号、距離、流れ、力／圧力／ひずみ／曲り、湿度、直線位置、配向／傾き、無線周波数、回転位置、回転速度、スイッチの操作、温度、振動、可視光強度、等々などの他の物理的特性を検出するように構成することができる。センサー３０は、検出されたエネルギーまたは他の物理的特性を、仮想センサー情報を表す電気信号または任意の信号に変換するようにさらに構成することができる。センサー３０は、それらに限定されないが、加速度計、電流皮膚反応センサー、容量性センサー、ホール効果センサー、赤外線センサー、超音波センサー、圧力センサー、光ファイバ・センサー、屈曲センサー（または湾曲センサー）、力感応抵抗、ロード・セル、ＬｕＳｅｎｓｅ  ＣＰＳ２  １５５、ミニチュア圧力変換器、ピエゾ・センサー、ひずみゲージ、湿度計、直線位置接触センサー、リニア・ポテンショメータ（またはスライダー）、リニア可変差動変圧器、コンパス、傾斜計、磁気タグ（または無線周波数識別（「ＲＦＩＤ」）タグ）、回転エンコーダ、回転ポテンショメータ、ジャイロスコープ、オン−オフ・スイッチ、温度センサー（温度計、熱電対、抵抗温度検出器、サーミスタ、温度変換集積回路、等々など）、マイクロホン、光度計、高度計、生物学的モニタ、カメラ、光依存抵抗、等々などの任意のデバイスであってもよく、あるいは心電図、脳電図、筋電計、眼電図、エレクトロパラトグラフ（electropalatograph）または任意の他の電気生理学的出力を出力する任意のデバイスであってもよい。
【００２５】
代替実施形態では、システム１０は、センサー３０に加えて、１つまたは複数の追加センサーを含むことができる（図１には示されていない）。これらの実施形態のうちのいくつかでは、センサー３０および１つまたは複数の追加センサーは、センサー・アレイの一部、またはセンサーのいくつかの他のタイプの集合／配置であってもよい。さらに、他の代替実施形態では、システム１０はセンサー３０を含んでいなくてもよく、また、システム１０とは別のデバイスは、ある形態のエネルギーまたは他の物理的特性を検出するセンサーを含み、検出されたエネルギーまたは他の物理的特性を、仮想センサー情報を表す電気信号または他のタイプの信号に変換する。デバイスは、次に、変換された信号を通信デバイス２０を介してシステム１０に送ることができる。
【００２６】
通常、いくつかの知られているシステムは、ＶＲ、ＡＲまたはＭＲ環境における触覚効果を提示することができる。ＶＲは、ソフトウェアを使用して、実環境を複製する（すなわち想像の設定を創造する）現実のイメージ、音声および他の知覚を生成し、かつ、ユーザによる、この空間および専用のディスプレイ・スクリーン、プロジェクタまたは他のデバイスを使用してそれの中に描写された任意の対象との対話を可能にすることにより、この環境におけるユーザの「存在」を模擬することを意味している。ＶＲは、Ｆａｃｅｂｏｏｋ  Ｉｎｃ．からの「Ｏｃｕｌｕｓ  Ｒｉｆｔ」、Ｓｏｎｙ  Ｃｏｒｐ．からの「ＰｌａｙＳｔａｔｉｏｎ  ＶＲ」、Ｓａｍｓｕｎｇ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｃｏ．  Ｌｔｄ．からの「Ｇｅａｒ  ＶＲ」、ＨＴＣ  Ｃｏｒｐ．からの「Ｖｉｖｅ  ＶＲ」、Ｒａｚｅｒ  Ｉｎｃ．からの「Ｏｐｅｎ  Ｓｏｕｒｃｅ  ＶＲ」、等々などのシステムによって提供することができる。ＡＲは、物理的実世界環境の生の直接ビューまたは間接ビューを意味しており、物理的実世界環境の要素は、音声、ビデオ、図形、ＧＰＳデータ、等々などのコンピュータ生成知覚入力によって拡張されている（あるいは補われている）。ＡＲは、Ａｌｐｈａｂｅｔ  Ｉｎｃ．からの「Ｇｏｏｇｌｅ  Ｇｌａｓｓ」、ＤＡＱＲＩ，  ＬＬＣからの「ＤＡＱＲＩ  Ｓｍａｒｔ  Ｈｅｌｍｅｔ」あるいはＳｅｉｋｏ  Ｅｐｓｏｎ  Ｃｏｒｐ．からの「Ｍｏｖｅｒｉｏ」などのスマート・グラスによって提供することができる。ＭＲ（ハイブリッド現実感とも呼ばれる）は、新しい環境および視覚化をもたらすための実世界および仮想世界の併合を意味しており、物理的仮想対象およびデジタル仮想対象が共存し、かつ、リアルタイムで対話する。ＡＲとは異なり、ＭＲにおける仮想対象は実対象と対話し、実対象の上の仮想オーバレイとして単に追加されるわけではない。ＭＲは、Ｍｉｃｒｏｓｏｆｔ  Ｃｏｒｐ．からの「ＨｏｌｏＬｅｎｓ」などのシステムによって提供することができる。
【００２７】
いくつかの知られているシステムは、ＶＲ／ＡＲ／ＭＲシステムの事前構成されたコントローラを介して、ＶＲ／ＡＲ／ＭＲシステムのユーザに触覚フィードバックを提供する。例えばＶａｌｖｅ  Ｃｏｒｐ．は、ＬＲＡベース「Ｒｕｍｂｌｅｐａｄ」を提供し、Ｆａｃｅｂｏｏｋ  Ｉｎｃ．は「Ｔｏｕｃｈ」コントローラを提供し、ＨＴＣは「Ｖｉｖｅ」コントローラを提供し、ＮｅｕｒｏＤｉｇｉｔａｌ  Ｔｅｃｈｎｏｌｏｇｉｅｓ，  ＳＬは、「ＧｌｏｖｅＯｎｅ」ＬＲＡベース触覚グローブを提供し、Ｎｏｄ  Ｉｎｃ．は、リングベース・コントローラである「Ｂａｃｋｓｐｉｎ」を提供し、Ｖｉｒｔｕｉｘ  Ｉｎｃ．は「Ｖｉｒｔｕｉｘ  Ｏｍｎｉ」を提供し、また、Ｈａｐｔｅｃｈ  Ｉｎｃ．は「Ｉｎｆｉｎｉｔｙ」ライフル・コントローラを提供している。しかしながらＶＲシステムは、振動を引き起こすようにトリガされたアクチュエータなどの単純な触覚フィードバックを超えた豊富な触覚対話を提供していない。例えばＶｉｖｅおよびＴｏｕｃｈなどのいくつかのコントローラはアクチュエータを使用しており、また、アクチュエータをコールして触覚フィードバック効果を出力するための、異なる独自のアプリケーション・プログラミング・インタフェース（「ＡＰＩ」）方法を実現している（例えばモニタをコールし、かつ、モニタに電圧を送って振動を生成している）。これらのＶＲ実施態様は、伝統的に、仮想ユーザが仮想動物に接触すると、動物の毛皮のように感じる実世界材料への接触などの、仮想ユーザのための仮想対話に対応する、実世界ユーザのための豊富な実世界対話が不足している。
【００２８】
知られているシステムとは対照的に、実施形態は、ＶＲ／ＡＲ／ＭＲシステムによる、実世界ユーザに対する位置における実世界対象の提供を許容し、それにより仮想世界におけるユーザのための、豊富な触覚対話による没入型経験を強化する。実施形態は、仮想世界における触覚プロファイルに対応する実世界触覚材料または経験を提供することができるよう、仮想世界対象または表面のための触覚プロファイル化技法を実現する。例えば触覚小片などの実世界対象は、仮想世界における仮想ユーザのための追跡された位置に基づいて、実世界ユーザに対して位置決めすることができ、また、実世界対象は、仮想世界における仮想対象のための１つまたは複数の触覚プロファイルに対応する触覚表面または材料を含むことができる。したがって仮想ユーザのＶＲ／ＡＲ／ＭＲ対話に対応する豊富な触覚対話がユーザに提示される。
【００２９】
一実施形態では、例えばＶＲ／ＡＲ／ＭＲ環境におけるユーザは、ユーザによる、胸、背中、右手、左手、右足、左足、ひたい、等々などの様々な身体部位／領域での着用が可能なセンサーなどのモジュール式センサーの配置を許容する多重センサー・システムを使用することができる。いくつかの実施形態では、モジュール式センサーのうちの１つまたは複数は、触覚フィードバックを生成するためのアクチュエータを同じく含むことができる。一実施形態では、センサーの位置は、互いに対する関係で、ならびにＶＲ／ＡＲ／ＭＲ環境内で決定され／追跡される。
【００３０】
したがって実施形態は、仮想身体部位（例えば仮想手）がＶＲ／ＡＲ／ＭＲ環境内のどこに位置しているかに基づいて触覚対話をトリガすることができる。一実施形態では、触覚追跡が触覚設計者によって供給される際に、触覚設計者の最初の意図が決定され、かつ、その最初の意図に基づいて対応する触覚対話が提示される。例えば触覚設計者の最初の意図は、仮想対象のための触覚プロファイルを記憶しているルックアップ・テーブルなどに基づいて、触覚対話を対応する仮想世界文脈（context）に逆マッピングし、かつ、触覚対話が設計されている触覚プロファイルを決定することによって決定することができる。
【００３１】
実施形態では、ユーザは、ＶＲヘッドセットおよびユーザの仮想存在（または仮想ユーザ）のための仮想世界対話を提示する１つまたは複数のコントローラを使用して探検仮想環境に存在し得る。いくつかの実施形態では、ヘッドセットおよびコントローラ入力に加えて、ユーザは、それらの身体の様々な部位（例えば胸、手、足、指、等々）に置かれた着用可能センサーを同じく有することができる。センサーは、それらがＶＲゲーム空間において同じく位置的に知覚され、かつ、運動追跡されるよう、ＶＲシステムにネットワーク接続することができる。これらの身体部位がゲーム・プレイと対話すると、豊富な触覚対話を提示して、ユーザによる、実世界材料の触覚特性に基づく仮想対象の感触を許容することができる。
【００３２】
例えば仮想ユーザは、距離を隔てた仮想樹木を見ることができ、かつ、十分に接近して接触するまでその仮想樹木のより近くへ移動することができる。仮想樹木への仮想ユーザの近接、仮想樹木に対する仮想ユーザの被追跡位置（tracked location）（または手などの仮想ユーザの身体部位の被追跡位置）および仮想樹木のための触覚プロファイルに基づいて、仮想樹木のための触覚プロファイルに対応する触覚特性を有する実世界対象を、仮想ユーザ（または仮想ユーザの手あるいは指）の追跡された位置に対する仮想樹木の位置に対応する実世界ユーザに対する実世界位置に提供することができる。この例では、ユーザは、一方の手でＶＲコントローラを使用して仮想環境と対話することができるが、もう一方の手を使用して、実世界対象の感触などの豊富な触覚対話を経験することができる。他の実施形態では、ユーザは、任意の適切な方法で触覚対話を経験することができる（例えばユーザの手／指の部分を露出するグローブを使用して、あるいは任意の他の適切なＶＲ構成を使用して）。
【００３３】
いくつかの実施形態では、ＶＲシステムは、ルーム・スケール機能性を装備することができ、仮想ユーザが仮想世界を探検する際に、所定の実世界環境内でユーザの方向を変えることができる。このような実施形態では、豊富な触覚対話を提示する実世界対象をユーザと共に移動させて対象の相対配置を維持することができる。
【００３４】
図２は、仮想世界におけるユーザに豊富な触覚対話を提示するためのシステム２００の例を示したものである。システム２００では、多数の入力点２０２がユーザ２０４の様々な身体位置に置かれている。個々の入力点２０２は、図１のセンサー３０などの１つまたは複数のセンサー、アクチュエータなどの触覚出力デバイス、ならびにＶＲシステム２０６と通信する（例えば無線または有線で）ための機能性を含むことができる。ＶＲシステム２０６は、ＶＲ、ＡＲまたはＭＲシステムのうちの任意のシステムであってもよい。
【００３５】
個々の入力点２０２は、ＷｉＦｉまたは他の無線ネットワークを介して直接的に、あるいはＢｌｕｅｔｏｏｔｈ（登録商標）または他のネットワーク化技術を使用したゲートウェイを介して間接的にＶＲシステム２０６に接続することができる。また、個々の入力点２０２は、Ｂｌｕｅｔｏｏｔｈまたは他の短距離無線技術を使用して直接ＶＲシステム２０６に接続することも同じく可能である。いくつかの実施形態では、通信は、最初に、近距離場通信（「ＮＦＣ」）、Ｗｉ−Ｆｉまたは他の無線技術を介して確立することができ、次に、Ｂｌｕｅｔｏｏｔｈなどのより有効な短距離技術に切り換えることができる。
【００３６】
一実施形態では、入力点２０２が有線または無線通信を介してＶＲシステム２０６に接続されると、入力点２０２は、システムと通信して仮想世界対話を提示することができる。また、入力点２０２は、ＶＲシステム２０６と同じく通信して、様々な情報、例えばそれの能力、それのセンサー読値、等々に関する情報を提供し、かつ、触覚フィードバックなどのフィードバックをトリガすることができる。
【００３７】
一実施形態では、ＶＲシステム２０６は位置知覚機能性を実現し、また、互いに対する入力点２０２の位置、ならびに３Ｄ仮想空間における入力点２０２の位置およびユーザ２０４上の入力点２０２の位置を追跡する。知られている位置知覚機能性は、すべて、磁気追跡（様々な方向における磁界の強度を測定する）、音響追跡（既知の音響信号が既知の受信機に到達するのに要する時間を測定する）、慣性追跡（加速度計およびジャイロスコープを使用する）、光学的追跡（様々なカメラを使用して位置情報を得る）、あるいは任意の他の近接知覚機能性（物理的接触を全く必要とすることなく、近傍における対象の存在を検出する）、等々などの入力点２０２の追跡のために、ＶＲシステム２０６内で実現することができる。一実施形態では、例えばＶＲシステム２０６は、位置および運動追跡機能性を実現し、かつ、ユーザ２０４の存在を検出し、および／またはユーザ２０４の様々な身体部位を検出するカメラまたは深度センサーなどの１つまたは複数の遠隔センサーを含む。
【００３８】
いくつかの実施形態では、ＶＲシステム２０６はルーム・スケール機能性を装備しており、ユーザ２０４に対応する仮想ユーザが仮想世界を探検する際に、所定の実世界環境内でユーザ２０４の方向を変えることができる。例えば所定の実世界空間は、所定の境界、および空間を追跡するための複数のセンサーを含むことができる。この空間内でユーザ２０４を追跡することができ、また、ユーザ２０４の仮想ユーザが仮想世界を探検する際に、この空間内でユーザ２０４の方向を変えることができる。
【００３９】
いくつかの実施形態では、ユーザ２０４の頭の入力点２０２は、Ｏｃｕｌｕｓ  Ｒｉｆｔヘッドセット、Ｇｏｏｇｌｅ  Ｄｒｅａｍヘッドセット、Ｓａｍｓｕｎｇ  Ｇｅａｒヘッドセット、等々などのＶＲヘッドセットであってもよい。ユーザ２０４の手の入力点２０２は、ＶＲコントローラ、ＶＲグローブ、ＶＲ着用可能製品、またはユーザの手で使用するように構成された任意の他の適切なＶＲ入力デバイスのうちの１つまたは複数であってもよい。例示的ＶＲコントローラまたはＶＲグローブは、「ＧｌｏｖｅＯｎｅ」、「Ｔｏｕｃｈ」、「Ｖｉｖｅ」、等々であってもよい。例示的ＶＲ着用可能製品は、「Ｂａｃｋｓｐｉｎ」または任意の他の適切な着用可能デバイスである。ユーザ２０４の他の位置における入力点２０２は、センサーまたは任意の他の適切なＶＲデバイスを含む着用可能デバイスであってもよい。一実施形態では、入力点２０２はストラップ（例えばＶｅｌｃｒｏ）に取り付けることができ、したがってユーザ２０４の身体部位にそれを固着することができる。一実施形態では、織物のポケットに複数の入力点２０２を埋め込むことができ、したがってそれらをユーザ２０４の身体に着せることができる。いくつかの実施形態では、ＬｅａｐＭｏｔｉｏｎ，  Ｉｎｃ．からの「ＬｅａｐＭｏｔｉｏｎ」デバイス（またはＬｅａｐＭｏｔｉｏｎシステム）を使用して、ユーザ２０４の手および／または指などの付属肢（appendage）を追跡することができる。
【００４０】
図２および以下の図のいずれかに示されている個々の入力点は、一実施形態では図１のシステム１０によって実現することができ、また、図１に示されている要素のすべてまたはサブセットを含むことができる。さらに、図２に示されているＶＲシステム２０６、および以下の図のいずれかに示されているＶＲ／ＡＲ／ＭＲシステムは、一実施形態では図１のシステム１０によって実現することができ、また、図１に示されている要素のすべてまたはサブセットを含むことができる。
【００４１】
図３はシステム３００の別の例であり、複数の入力点３０４がグローブ３０２の様々な位置で実現されており、ＶＲシステム３０６と通信している。したがってユーザが着用するグローブ３０２は、ユーザの手／指の様々な位置を追跡するように入力点３０４を構成することができ、いくつかの例ではこれらの位置に触覚フィードバックを提示する。入力点３０４は、例えばＶｅｌｃｒｏすなわち小さいストラップによってグローブ３０２に取り付けることができ、あるいはグローブ３０２のポケットの中に置くことができる。一実施形態では、グローブ３０２は、ばらばらの指サックとして実現することができる。一実施形態では、システム３００における入力点３０４は、ユーザによる構成が可能であってもよく、また、図２のシステム２００における入力点２０２を参照して本明細書において説明されている任意の他の機能性を提供することができ、あるいは図１のセンサー３０などのセンサーであってもよい。
【００４２】
いくつかの実施形態では、入力点３０４およびグローブ３０２は、ユーザの指の位置を追跡し、その一方で触覚対話のためにユーザの指を露出することができるように構成することができる。例えばグローブ３０２は、指のないグローブであっても、あるいはユーザの指の先が露出するグローブであってもよい。いくつかの実施形態では、入力点３０４は、ユーザの指の位置を追跡し、その一方で触覚対話を許容することができるよう、グローブ３０２の指の中程に配置することができ、あるいはグローブ３０２の指のつけ根の近くに配置することができる。入力点３０４（例えばセンサー）がグローブ３０２の指の部分にのみ沿って配置される場合（例えば指の先にではなく）、実現された入力点から受け取った利用可能なデータから位置データを外挿（extrapolate）することによって指の位置を追跡し、かつ、仮想世界の中で表示することができる。仮想世界対話に関して、仮想現実感「装備（rig）」および逆運動学などの外挿技法を使用して、手または指などのユーザの身体の部分を表示することができる。いくつかの実施形態では、入力点３０４は、ユーザの指の近くに配置することができるが、豊富な触覚対話を許容するために、ストラップ（例えばＶｅｌｃｒｏ）に取り付けて、指の背面に配置することができる。ＮｅｕｒｏＤｉｇｉｔａｌからの「ＧｌｏｖｅＯｎｅ」に類似したグローブを修正して、システム３００のための説明されている様々な構成を提供することができる。
【００４３】
図２に戻ると、入力点２０２はネットワーク接続デバイスであってもよく、個々のネットワーク接続デバイス２０２はＶＲシステム２０６と通信することができ、また、ＶＲゲームなどのＶＲ／ＡＲ／ＭＲ環境における個別の入力デバイスとして使用することができ、したがってマルチモーダル対話（multimodal interaction）を提供する。このような入力点２０２の例は、スマートフォン、ネットワーク接続着用可能製品（例えばスマートウォッチ、ヘルメット、衣服または靴）、等々である。いくつかの実施形態では、個々の入力点２０２はアクチュエータをさらに含むことができ、したがって触覚フィードバックを提示することができる。
【００４４】
入力点２０２と組み合わせてＶＲシステム２０６は、仮想世界におけるユーザ自身（例えば仮想ユーザ）の仮想表現を含むＶＲ表現をユーザが経験するよう、ユーザ２０４のための仮想世界を実現することができる。例えば入力点２０２のうちの１つは、ユーザ２０４のＰＯＶに基づいて仮想世界を認識する仮想ユーザを含む仮想世界をユーザ２０４に表示するヘッドセットであってもよい。また、入力点２０２は、コントローラ、グローブ、着用可能製品、センサー、またはユーザ２０４による、ユーザの仮想表現（すなわち仮想ユーザ）を使用した仮想世界との対話を許容する他のＶＲデバイスであってもよい。
【００４５】
図４Ａ〜４Ｃは、様々な実施形態による、仮想対象を有する仮想世界および実世界対象を有する対応する実世界を示す図である。図４Ａは、仮想対象４０４Ａを有する仮想世界４０２Ａを示したものである。例えば図２のユーザ２０４などのユーザは、ユーザのＰＯＶから仮想世界４０２Ａを認識することができる。さらに、ユーザ２０４は、いくつかの実施態様では、ユーザを表す仮想世界４０２Ａにおける仮想ユーザを認識することができる（例えば仮想世界４０２Ａにおけるユーザ自身の仮想身体または化身（avatar）を見る）。仮想世界４０２Ａは、仮想ユーザのビューの中に仮想対象４０４Ａを含む。
【００４６】
例えば仮想対象４０４Ａは、仮想環境の要素（例えば樹木、岩、建物、テーブル、椅子、等々）、移動仮想対象（例えば動物、ロボット、仮想人間、別の仮想ユーザ、化身、等々）および任意の他の適切な仮想対象などの仮想世界における任意の適切な対象であってもよい。ユーザ２０４が左または右を見ると、仮想世界４０２Ａのビューはそれに応じて回転し、また、仮想対象４０４Ａはもはやビューに存在し得ず、あるいはいくつかの実例では、仮想対象４０４Ａを移動させることができる場合、仮想対象は移動してビューの中に戻ることが可能である。
【００４７】
仮想対象４０４Ａは、触覚プロファイルを含む表面４０６Ａを有することができる。例えば仮想対象４０４Ａが仮想犬である場合、表面４０６Ａは、犬の触感感触（例えば犬の毛皮の触感感触）に対応する触覚プロファイルを有している。いくつかの実施形態では、仮想世界４０２Ａでレンダリングされる仮想対象のセットは、それぞれ触覚プロファイルと関連付けられることができる。いくつかの例では、仮想対象の異なる部分（例えば表面）は、異なる触覚プロファイル（例えば犬の毛皮、スカーフの布地または犬に着せる衣服の他の物品）と関連付けられることができる。
【００４８】
図４Ｂは、実世界対象４０４Ｂを有する実世界４０２Ｂを示したものである。例えば図２のユーザ２０４などのユーザは、実世界４０２Ｂに配置されている間、仮想世界４０２Ａを認識することができる。いくつかの実施形態では、実世界４０２Ｂは、所定の寸法を有する実世界における所定の空間を表現することができる。例えば実世界４０２は、ＶＲシステム２０６を使用して仮想世界４０２Ｂを認識する場合にユーザ２０４を配置することができる所定の空間であってもよい。いくつかの実施形態では、仮想ユーザが仮想世界４０２Ｂを探検している間、実世界４０２Ｂがユーザ２０４を所定の空間内に導くために使用される被追跡実世界空間であり得るよう、ＶＲシステム２０６はルーム・スケール機能性を実現することができる。
【００４９】
いくつかの実施形態では、仮想ユーザが仮想対象４０４Ａに向かって手を延ばしている間、ユーザが手を延ばして実世界対象を感じることができるよう、仮想世界４０２Ａにおける仮想ユーザの追跡および仮想対象４０４Ａの近接に基づいて、ユーザ２０４に対する位置に実世界対象４０４Ｂを提供することができる。仮想ユーザが仮想世界４０２Ａの周りを移動すると、仮想ユーザの位置を追跡することができる。同様に、仮想対象４０４Ａのための位置を知ることができ、あるいは対象が移動する事例では対象を追跡することができる。仮想ユーザの位置が仮想対象４０４Ａの位置に近接している場合、実世界対象４０４Ｂはユーザ２０４の近くに提供することができる。
【００５０】
いくつかの実施形態では、実世界対象４０４Ｂは表面４０６Ｂを含むことができ、表面４０６Ｂの触覚特性は、仮想対象４０４Ａの表面４０６Ａのための触覚プロファイルに対応し得る。例えば表面４０６Ａのための触覚プロファイルは仮想犬の触覚プロファイルであってもよく、また、表面４０６Ｂは、犬の触感感触をもたらす対応する触覚特性を有することができる。これらの触覚特性は、犬の毛皮に似た軟らかい微細な手触り、および動物に似た温かい温度を含むことができる。他の仮想対象４０４Ａは、他の触覚プロファイルを有する他の表面４０６Ａを含むことができ、また、表面４０６Ｂは、他の対応する触覚特性を有することができる。いくつかの実施形態では、実世界対象４０４Ｂは、異なる触覚特性を有する複数の表面をユーザ２０４に露出することができる触覚小片であってもよい。
【００５１】
いくつかの実施形態では、触覚プロファイル・データベースは、触覚プロファイルとその触覚プロファイルに対応する実世界触覚特性の間の関連性を記憶することができる。例えば仮想世界４０２Ａは、ＶＲゲームなどのアプリケーションすなわち環境と関連付けられることができる。ＶＲゲームは、複数の所定の触覚プロファイルを有する表面を備えた複数の所定の仮想対象を含むことができる。データベースは、実世界触覚特性を複数の所定の触覚プロファイルと関連付けることができる。例えば１０個の触覚プロファイルのセットは、滑らかで硬い金属表面を特徴とする第１の触覚プロファイル、および織られた軟らかいプラシ天（flush）表面を特徴とする第２の触覚プロファイルを含むことができる。
【００５２】
データベースは、第１の触覚プロファイルと実世界触覚特性「滑らかな」、「硬い」および「金属の」の間の関連性、および第２の触覚プロファイルと実世界触覚特性「織られた」、「軟らかい」および「プラシ天」の間の関連性を記憶することができる。第１の触覚プロファイルに対応する実世界対象４０４Ｂを提供する場合、滑らかな硬い金属の触覚特性を有する表面を含む触覚小片を使用することができる。ここでは、データベースは、実世界対象または表面ではなく、触覚プロファイルと実世界触覚特性の間の関連性を記憶しているため、滑らで硬い金属製である任意の対象または表面を使用することができる。いくつかの実施形態では、触覚小片は、織られた軟らかいプラシ天である表面を同じく含むことができる。したがって所与の触覚小片を使用して、所定の触覚プロファイルのセットの中から、複数の触覚プロファイルに対応する異なる触覚特性を有する表面を提供することができる。
【００５３】
いくつかの実施形態では、第１の実世界表面は、所与の触覚プロファイルのために、触覚特性を含む実世界表面（例えば触覚小片の）のセットの中から選択することができる。例えば第１の実世界表面は、触覚プロファイルのために、第１の実世界表面の複数の触覚特性と触覚プロファイルの間の対応性に基づいて選択することができる。いくつかの実施形態では、所定の実世界表面のセットの触覚特性は、類似性を決定するために、触覚プロファイル（例えば関連付けのデータベースからアクセスすることができる）と関連付けられた触覚特性と比較することができ、第１の実世界表面は、触覚プロファイルのために、第１の実世界表面の触覚特性と、触覚プロファイルの関連付けられた触覚特性との間の類似性に基づいて選択される。例えば第１の実世界表面と触覚プロファイルの間の類似性は、触覚プロファイルと関連付けられた触覚特性と第１の実世界表面の触覚特性の間の多くの一致であってもよい。
【００５４】
例えば触覚小片は、それぞれ異なる触覚特性を有する３つの表面を含むことができる。第１の表面は、軟らかい毛皮で覆われた海綿状であってもよく、第２の表面は、軟らかいビロード状のプラシ天であってもよく、また、第３の表面は、硬い金属製の滑らかな表面であってもよい。この例では、仮想プロファイルは、ラウンジ・チェアーである仮想対象のために識別され得る。識別された仮想プロファイルは、軟らかいポリエステル・プラシ天などの触覚特性関連性（例えばデータベースに記憶されている）を含むことができる。３つの触覚表面の触覚特性は、第１の表面が１つの一致する特性を有しており、第２の表面が２つの一致する特性を有しており、また、第３の表面が一致する特性を有していないことを決定するために、識別された仮想プロファイルの触覚特性関連性と比較することができる。実施形態では、個々の表面とプロファイルの間の類似性は、一致する特性の数に基づいている。したがって第２の表面が識別されたプロファイルに最も類似しており、したがって第２の表面を選択することができることを決定することができる。いくつかの実施形態では、提供された実世界対象４０４Ｂ（例えば触覚小片）は、選択された表面を含むことができる。
【００５５】
いくつかの実施形態では、触覚プロファイルのための関連付けられた触覚特性は、表面を触覚プロファイルに一致させるために重み付けすることができ、あるいは表面を触覚プロファイルに一致させるための必須なものであってもよい。例えば上記プロファイルにおける軟らかいは、一致のための重み付けされた、または宣言された必須なものであってもよく、したがって触覚プロファイルのために選択される表面には、軟らかいことが同じく要求され得る。いくつかの実施形態では、表面のための触覚特性およびプロファイルのための関連付けられた触覚特性は、類似の特性を識別することができるが、異なる言語を詳述することができる。例えば絹のような表面も同じく軟らかいと見なすことができる。触覚特性を比較する場合、同義語の辞書および／または記述子の階層構造（例えば、親の子のように軟らかい絹のようであることを表す）にアクセスして類似性を決定することができる。
【００５６】
いくつかの実施形態では、触覚小片または１つまたは複数の触覚小片のための表面は、仮想世界４０２Ａのための所定のセットの触覚プロファイルに基づいて選択することができる。例えば１０個の触覚プロファイルのセットが予め決定された場合、その１０個の触覚プロファイルに対応する触覚特性を有する表面を含む触覚小片を選択することができ、あるいは所与の触覚小片の場合、その１０個の触覚プロファイルに対応する触覚特性を有する表面を選択することができる。
【００５７】
いくつかの実施形態では、所定のセットにおける異なる触覚プロファイルの数は、異なる対応する実世界表面の数より多くすることができる。例えば実世界表面は、２つの異なる触覚プロファイルに対応することができ、したがって異なる触覚プロファイルに対応する仮想対象との触覚対話のために単一の実世界表面を提供することができる。この例では、所与の仮想世界のためのセット内の所定の触覚プロファイルの数は、触覚プロファイルのセットに対応する触覚特性を有する表面の数より多くすることができる。豊富な触覚対話を提示するＶＲシステムに対する潜在的な制限は、所与の触覚小片が限られた数の実世界表面を含み得ることである。したがって所与の小片のための所与の表面が複数の触覚プロファイルに対応し得る場合、小片は、仮想世界対象のより大きい多様性のために豊富な触覚対話を提示することができる。
【００５８】
いくつかの実施形態では、仮想現実感環境における複数の仮想対象の中から、所定の実世界表面のセットのうちの少なくとも１つと一致する触覚プロファイルおよび関連付けられた触覚特性を有する仮想対象のセットを識別することができる。例えば説明されている類似性一致に基づいて、仮想現実感環境内の対象のセットのための触覚プロファイルの各々を触覚小片の表面のための触覚特性と比較することができる。いくつかの実施形態では、仮想対象のサブセットは、表面のうちの１つと一致する触覚プロファイルを有することになり、また、これらの仮想対象は、仮想ユーザとの触覚対話が利用可能である対象として識別することができる。例えば仮想対象は、触覚対話の可用性を示すインジケータと共に表示することができる（例えば輝かせることができ、色付きサインに近づけることができる、等々）。
【００５９】
いくつかの実施形態では、触覚プロファイルは、媒体特性（例えば音響および／またはビデオ）をさらに含むことができる。例えば１つまたは複数の仮想対象は、音響および／またはビデオと関連付けることができる。別の例では、スピーカーおよび／または１つ以上のディスプレイ（例えばＨＭＤ）を使用して、１つまたは複数の媒体対象のレンダリングと併せて物理的小片自体を提供することができる。ここでは、スピーカーは、小片と統合するか、さもなければ小片を備えることができ、あるいは代替としてどこかにスピーカーを提供することができる（例えばＨＭＤに取り付けることができる）。様々な構成では、媒体特性を使用して、認識された触覚対話を強化することができる。
【００６０】
いくつかの実施形態では、実世界対象４０４Ｂを提供する場合、仮想ユーザと仮想対象４０４Ａの間の相対仮想位置は、ユーザ２０４と実世界対象４０４Ｂの間の相対実世界位置に対応し得る。言い換えると、仮想ユーザに対する仮想対象４０４Ａのための相対位置は、ユーザ２０４に対する実世界対象４０４Ｂのための相対位置に対応し得る。例えば仮想ユーザと仮想対象４０４Ａの間で追跡される距離は、例えば実世界対象４０４Ｂの提供された位置に基づいて、ユーザ２０４と実世界対象４０４Ｂの間の距離に比例し得る。ＶＲシステム２０６は、入力点２０２、追加センサーまたはセンサーのセット、等々の使用などの当業者に知られている任意の適切な追跡技法を使用してユーザ２０４の動きを追跡することができる。ユーザ２０４の追跡に基づいて、仮想世界４０２Ａにおける対応する仮想ユーザの位置を追跡することができる。仮想対象４０４Ａは静止していてもよく、あるいは例えばゲームまたはアプリケーション内の所定の運動に基づいて、または別の仮想ユーザ（例えば仮想世界２０２Ａにおける、ユーザ２０４と類似して追跡される別のユーザ）に対する追跡に基づいて、ＶＲシステム２０６によって追跡することができる。追跡された位置を使用して、仮想ユーザに対する仮想対象４０４Ａのための相対仮想位置を決定することができ、また、実世界対象４０４Ｂは、相対仮想位置に基づくユーザ２０４に対する位置に提供することができる。
【００６１】
いくつかの実施形態では、仮想ユーザの付属肢（例えば手、指、等々）に対する仮想対象４０４Ａのための相対仮想位置は、ユーザ２０４の付属肢に対する実世界対象４０４Ｂのための相対実世界位置に対応し得る。図４Ｃは、様々な実施形態による、仮想対象を有する仮想世界、および実世界対象を有する対応する実世界の図を示したものである。仮想ユーザの仮想付属肢４１０は、仮想対象４０４Ａおよび仮想表面４０６Ａに対する相対仮想位置を有している。同様に、実世界対象４０４Ｂは、実世界付属肢４１２（例えばユーザ２０４の）に対する実世界対象４０４Ｂ（および実世界表面４０６Ｂ）の相対実世界位置が相対仮想位置に対応するような位置に提供することができる。いくつかの実施形態では、グローブまたは着用可能製品を使用して、ユーザ２０４の付属肢（例えば手または指）のための仮想世界位置および実世界位置を追跡することができ、また、実世界対象４０４Ｂのための位置は、図３を参照して説明されているように、追跡される付属肢に対して提供することができる。
【００６２】
いくつかの実施形態では、装置４０８は、ユーザ２０４に対する（またはユーザの付属肢に対する）位置に実世界対象４０４Ｂを提供することができる。例えば装置４０８は、触覚小片などの対象を実世界４０２Ｂ内の様々な位置へ移動させることができるロボット・アセンブリであってもよい。別の例では、装置４０８は、このような対象を実世界４０２Ｂ内の様々な位置へ移動させるためのドローンであってもよい。装置４０８の機能については、図５〜１０を参照して以下でさらに詳細に説明される。
【００６３】
いくつかの実施形態では、装置４０８は、ユーザ２０４の動きと共に実世界対象４０４Ｂを移動させることができる。例えばルーム・スケール機能性がＶＲシステム２０６によって実現されると、ユーザ２０４は実世界４０２Ｂの周りを移動することができる。いくつかの実施形態では、ユーザ２０４が移動すると、装置４０８は、実世界対象４０４Ｂを配置し直して相対配置（例えば仮想相対位置に対応する）を維持する。例えば装置４０８は、ユーザ２０４と同じペースで実世界対象４０４Ｂを移動させることができ、それによりユーザは漠然と（indefinitely）対象を感じることができる。
【００６４】
図５Ａ〜５Ｂは、様々な実施形態による、仮想世界に基づいて豊富な触覚対話を提示するための流れ図である。いくつかの実施形態では、以下の図５Ａ、５Ｂおよび図７〜１０の図の機能性は、メモリまたは他のコンピュータ可読媒体あるいは有形媒体に記憶されているソフトウェアによって実現され、また、プロセッサによって実行される。他の実施形態では、機能性は、ハードウェア（例えば特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブル・ゲート・アレイ（「ＰＧＡ」）、フィールド・プログラマブル・ゲート・アレイ（「ＦＰＧＡ」）、等々の使用を介して）またはハードウェアとソフトウェアの任意の組合せによって実施することができる。
【００６５】
５０２で、仮想空間における仮想ユーザの位置が決定される。例えば図２のユーザ２０４を表す仮想ユーザの位置は、仮想世界４０２Ａの中で決定することができる。仮想位置は、例えば入力点２０２または他のセンサーを使用したユーザ２０４の動きの追跡に基づいて決定することができる。５０４で、実世界４０２Ｂなどの実空間におけるユーザ２０４の位置が決定される。仮想位置と同様に、実世界位置は、例えば入力点２０２または他のセンサーを使用したユーザ２０４の動きの追跡に基づいて決定することができる。
【００６６】
５０６で、ユーザ２０４の入力すなわち四肢（extremity）の位置が決定される。例えば実世界付属肢４１２および仮想世界付属肢４１０の位置または場所を決定することができるよう、ユーザ２０４の付属肢（例えば手、指、等々）を追跡することができる。
【００６７】
５０８で、仮想対象および／または仮想表面の位置が決定される。例えば仮想世界４０２Ａは、１つまたは複数の仮想対象４０４Ａおよび１つまたは複数の仮想表面４０６Ａを含むＶＲゲームなどのＶＲアプリケーションの一部であってもよい。仮想対象および関連付けられた仮想表面の位置または場所は、例えばＶＲゲームの中で生じる事象に基づいて追跡することができる。
【００６８】
５１０で、仮想対象および／または表面を触覚小片などの実世界対象または表面の触覚プロファイルおよび対応する触覚特性と相互参照することができる。例えば仮想対象４０４Ａなどの１つまたは複数の仮想対象のための触覚プロファイルは、仮想世界４０２Ａ内で決定することができる。触覚プロファイルと、仮想対象４０４Ａの仮想表面４０６Ａなどの仮想対象の仮想表面との間の関連付けは、予め決定することができる。いくつかの実施形態では、仮想世界４０２Ａ内の仮想表面のための触覚プロファイルは、例えば仮想世界４０２Ａにおける仮想ユーザの位置または場所に基づいて決定することができ、また、実世界対象のための触覚特性と相互参照することができる。
【００６９】
例えば実世界４０２Ｂは、触覚小片などの１つまたは複数の実世界対象４０４Ｂ、および１つまたは複数の実世界表面４０６Ｂを含むことができる。いくつかの実施形態では、仮想世界対象または表面は触覚プロファイルと関連付けることができ、また、実世界対象または表面のための触覚プロファイルと触覚特性の間の関連付けは記憶することができる。
【００７０】
５１２で、仮想対象、触覚プロファイルおよび関連付けられた触覚特性に基づいて、仮想対象のための触覚プロファイルに対応する実世界対象または表面を選択することができる。例えば仮想対象４０４Ａまたは仮想表面４０６Ａの触覚プロファイルに対応する実世界対象４０４Ｂまたは実世界表面４０６Ｂを選択することができる。いくつかの実施形態では、実世界対象４０４Ｂ（および実世界表面４０６Ｂ）と仮想対象４０４Ａ（および仮想表面４０６Ａ）の間の対応性は、ＶＲセッションのラン・タイムなどに先立って予め決定することができる。
【００７１】
５１４で、仮想対象または表面の各々が接地されているかどうかが決定される。例えば仮想対象４０４Ａは動物などの移動対象に対応するか、あるいは建物などの接地される非移動対象に対応し得る。仮想対象４０４Ａが接地されていることが決定されると、フローは５１６へ移動する。仮想対象４０４Ａが接地されていないことが決定されると、フローは５２４へ移動する。
【００７２】
５１６で、所与の実世界対象に対して、仮想対象４０４Ａを模擬するために提供された実世界対象４０４Ｂは接地されることになることが決定される。いくつかの例では、実世界対象４０４Ｂは触覚小片であってもよい。５１８で、豊富な触覚対話が範囲内に存在するよう、仮想ユーザまたは仮想付属肢４１０は仮想対象４０４Ａの近くに存在しているかどうかが決定される。例えば仮想対象４０４Ａと仮想付属肢４１０の間の仮想距離が閾値距離以下であるなどの場合、仮想対象４０４Ａおよび／または仮想表面４０６Ａは仮想ユーザまたは仮想付属肢４１０の近くに存在していることを決定することができる（例えば個々の追跡された位置に基づいて）。仮想ユーザまたは仮想付属肢４１０は仮想対象４０４Ａの近くに存在していることが決定されると、フローは５２０へ移動する。仮想ユーザまたは仮想付属肢４１０は仮想対象４０４Ａの近くに存在していないことが決定されると、フローは５２２へ移動する。
【００７３】
５２０で、選択された実世界表面を有する静止対象がユーザ２０４に対して提供されるか、あるいは所定の位置に維持される。例えば実世界対象４０４Ｂは、仮想対象４０４Ａおよび／または仮想表面４０６Ａのための選択された表面に対応する実世界表面４０６Ｂを含む静止触覚小片、すなわち接地された触覚小片であってもよい。装置４０８は、実世界対象４０４Ｂおよび実世界表面４０６Ｂをユーザ２０４に対する位置に提供することができる。例えば装置４０８は、実世界表面４０６Ｂが豊富な触覚対話のためにユーザ２０４に露出されるよう、実世界対象４０４Ｂをユーザ２０４に対する位置へ移動させ、かつ、対象を配置するロボット・アセンブリであってもよい。
【００７４】
いくつかの実施形態では、ユーザ２０４（および／または実世界付属肢４１２）に対する実世界対象４０４Ｂのための角度は、仮想ユーザ（および／または仮想付属肢４１０）に対する仮想対象４０４Ａのための角度に基づいて決定することができ、例えば個々の追跡された位置に基づいて決定することができる。装置４０８は、そのように決定された角度で実世界対象４０４Ｂを配置することができ、仮想ユーザが手を延ばして仮想対象４０４Ａに接触すると、ユーザ２０４は、実世界付属肢４１２に手を延ばして、期待される角度で実世界対象４０４Ｂに接触する。
【００７５】
５２２で、実世界対象４０４Ｂがユーザ２０４の近傍の位置から除去され、すなわち実世界対象４０４Ｂはユーザ２０４の近傍の位置に提供されない。仮想対象４０４Ａが仮想ユーザの近くに存在しないため、豊富な触覚対話のためには実世界対象４０４Ｂは不要である。５２０および５２２で、実世界対象４０４Ｂを配置するべきか、移動させるべきか、あるいは除去するべきかどうかを決定するために、５１８における決定が所定の間隔で、あるいは事象（例えばＶＲゲームの中の）に基づいて再決定される。
【００７６】
５２４で、所与の実世界対象に対して、仮想対象４０４Ａを模擬するために提供された実世界対象４０４Ｂは動的になる（例えば接地されない）ことが決定される。いくつかの例では、実世界対象４０４Ｂは、可動および／または動的能力を有する触覚小片であってもよい。
【００７７】
５２６で、豊富な触覚対話が範囲内に存在するよう、仮想ユーザまたは仮想付属肢４１０は仮想対象４０４Ａの近くに存在しているかどうかが決定される。例えば仮想対象４０４Ａと仮想付属肢４１０の間の仮想距離が閾値距離以下であるなどの場合、仮想対象４０４Ａおよび／または仮想表面４０６Ａは仮想ユーザまたは仮想付属肢４１０の近くに存在していることを決定することができる（例えば個々の追跡された位置に基づいて）。仮想ユーザまたは仮想付属肢４１０は仮想対象４０４Ａの近くに存在していることが決定されると、フローは５２８へ移動する。仮想ユーザまたは仮想付属肢４１０は仮想対象４０４Ａの近くに存在していないことが決定されると、フローは５３０へ移動する。
【００７８】
５２８で、実世界表面４０６Ｂを有する実世界対象４０４Ｂがユーザ２０４の被追跡位置に対して提供され、実世界対象は、動的である仮想対象４０４Ａに対応する。動的仮想対象は仮想世界４０２Ａの周りを移動することができ、したがって仮想ユーザが動的仮想対象と対話すると、実世界対象４０４Ｂも同じく移動して豊富な触覚対話を提示する。
【００７９】
いくつかの実施形態では、装置４０８は、実世界対象４０４Ｂを移動させて、仮想ユーザに対する仮想対象４０４Ａの動きを模擬するように構成することができる。例えば仮想ユーザ（または仮想付属肢４１０）および仮想対象４０４Ａの動きを追跡して動的相対位置を決定することができる。装置４０８は、動的相対位置を模擬する実世界付属肢４１２に対する位置に実世界対象４０４Ｂを提供することができる。例えばこの提供は、実世界付属肢４１２に対する対象の位置および角度が動的相対位置を模擬するよう、実世界対象４０４Ｂを連続的に移動および／または回転させることを含むことができる。装置４０８は、実世界対象４０４Ｂを移動させ、および／または連続的に移動させるためのロボット・アセンブル、ドローンまたは任意の他の適切なデバイスであってもよい。
【００８０】
５３０で、例えば仮想ユーザまたは仮想対象４０４Ａの追跡された動きに基づいて実世界対象４０４Ｂが再配置される。仮想対象４０４Ａが仮想ユーザの近くに存在していない場合、対象は豊富な触覚対話のためには不要であるため、実世界対象４０４Ｂはユーザ２０４から離れて再配置することができる。別の例では、仮想対象４０４Ａは前後に移動することができ、例えば仮想ユーザに向かって、また、仮想ユーザから遠ざかる方向に移動することができ、したがって実世界対象４０４Ｂはユーザ２０４の近くに維持することができ、仮想対象４０４Ａの近接がこのような機能性をトリガすると、ユーザに豊富な触覚対話を提示することができる。
【００８１】
いくつかの実施形態では、仮想対象４０４Ａは、実世界４０２Ｂにおける実世界対象４０４Ｂの相対位置に基づいて仮想世界４０２Ａに配置することができる。例えば実世界対象４０４Ｂはユーザ２０４の左側に配置することができ、したがって仮想対象４０４Ａは、ユーザ２０４を表す仮想ユーザの左側に配置されることになる。
【００８２】
いくつかの実施形態では、実世界対象４０４Ｂおよび／または実世界表面４０６Ｂは、ユーザ２０４のための動的触覚対話を提示することができる。例えば実世界表面４０６Ｂは、静的触覚特性（例えば手触り）を含むことができ、また、動的触覚特性（例えば起動機能性、振動触感機能性、温度調節、変形性、等々）を同じく含むことができる被起動表面（actuated surface）であってもよい。いくつかの実施形態では、このような動的触覚特性は、実世界対象の触覚特性の一部であってもよく、また、これらの動的触覚特性は、１つまたは複数の仮想対象のための触覚プロファイルと関連付けることができる。変形、温度変化、起動、等々などの動的触覚効果は、ＶＲゲームにおける対応する効果（例えば仮想対象４０４Ａの対応するアクション／仮想対象４０４Ａに対する変化）と同期して実世界対象４０４Ｂによってレンダリングすることができる。いくつかの実施形態では、装置４０８は、仮想ユーザのための特定の状態／仮想ユーザの特定の経験を模擬するための、水滴、霧／湿気、熱いまたは冷たい空気、あるいは風などの他の触覚物質を放出することができる。
【００８３】
いくつかの実施形態では、実世界対象４０４Ｂの運動または実世界対象４０４Ｂによって加えられる力（例えばユーザ２０４またはユーザ２０４の付属肢に加えられる力）を使用して仮想対象４０４Ａの剛性を模擬することができる。例えば装置４０８は実世界対象４０４Ｂを移動させることができ、あるいはユーザ２０４によって実世界対象４０４Ｂに加えられる力に対する抵抗力を加えることができる。いくつかの実施形態では、装置４０８によってもたらされる動きまたは抵抗力は、仮想対象４０４Ａと、ユーザ２０４を表す仮想ユーザとの間の仮想距離が閾値距離以下であることを決定することによってトリガすることができる。例えば仮想対象４０４Ａと仮想ユーザの間の仮想距離が閾値以下である場合、それは、仮想ユーザが仮想対象４０４Ａと対話する（例えば接触する）ことを意図していることを示すことができ、したがって装置４０８は実世界対象４０４Ｂを移動させて、仮想ユーザと仮想対象４０４Ａの間の対話を模擬することができる。
【００８４】
いくつかの実施形態では、帆船の帆などの変形可能な対象を模擬するために、装置４０８は、変形可能ではない剛直な表面を有する実世界対象４０４Ｂを提供することができ、また、装置４０８は実世界対象４０４Ｂを後方へ移動させることができ、それにより実世界対象４０４Ｂが変形可能である幻影を創造することができる。言い換えると、実世界対象４０４Ｂの後方への動きは、対象を実際よりもより変形可能であり、すなわちより可撓性であるように感じさせる。別の例では、剛直な対象を模擬するために、装置４０８は、可撓性（flexibility）を有する実世界対象４０４Ｂを提供することができ、また、装置４０８は実世界対象４０４Ｂをユーザ２０４に向かって移動させることができ、それにより実世界対象４０４Ｂが実際よりもより剛直であり、あるいはより硬い幻影を創造することができる。この実施形態では、実世界対象４０４Ｂの動きは、仮想対象４０４Ａの静的触覚特性である剛性を模擬する。
【００８５】
いくつかの実施形態では、実世界対象４０４Ｂおよび／または装置４０８を使用して、ユーザ２０４または実世界付属肢４１２からの力を検出することができる。例えば実世界対象４０４Ｂおよび／または装置４０８内のセンサーを使用して力フィードバックを検出することができる。いくつかの実施形態では、力フィードバックは、仮想対象４０４Ａからの反応などのＶＲゲームにおける対応する応答をもたらし得る。いくつかの実施形態では、装置４０８を同じく使用して、例えばＶＲゲームにおける対応するアクションに基づいて、ユーザ２０４および／または実世界付属肢４１２に力を加えることができる。
【００８６】
いくつかの実施形態では、装置４０８は、取り付けられた運動追跡デバイス（例えばエミッターおよび／またはセンサー）を有することができ、ＶＲシステム２０６のためのルーム・スケール機能性を実現することができる。したがって装置４０８はユーザ２０４を連続的に追跡することができ（例えば建物または類似の開放空間を介して）、それによりユーザの動きおよび身振りを追跡することができる。
【００８７】
図６は、様々な実施形態による、豊富な触覚対話を提示するための例示的ドローン装備システムを示したものである。図６は、触覚対話を提示するための物理的形状、ならびに実世界対象４０４Ｂの形状を変更するために使用することができる起動／変形構成要素６０４を含む実世界対象４０４Ｂを示している。起動／変形構成要素６０４は、例えば実世界付属肢４１２を使用してユーザが実世界対象４０４Ｂと対話している場合、対象の動きなどの追加触覚対話を提示することができる。
【００８８】
図５を参照して説明したように、実世界対象４０４Ｂは、追跡された位置に基づいて、仮想ユーザに対する仮想対象４０４Ａのための仮想相対位置に対応するユーザ２０４に対する実世界位置に提供することができる。図６は、仮想世界対象４０４Ａに対する仮想世界位置に対応する相対実世界位置に実世界対象４０４Ｂを移動させるドローン６０４を示している。ドローン６０４は、当業者に知られている、触覚対話表面を有する対象を移動させるために使用することができる、トライコプター、クオードコプター、ヘクスコプター、オクトコプター、短距離ドローン、近距離ドローン、超近距離ドローン、小型ドローン、中型ドローン、任意の適切な配達ドローン、等々などの任意の適切なドローンであってもよい。
【００８９】
いくつかの実施形態では、複数のドローンを使用して豊富な触覚対話をユーザ２０４に提示することができる。例えば仮想ユーザは廊下に存在することができ、したがって実世界対象は、廊下の壁を表現するために、ユーザ２０４の両側に複数のドローンによって配置することができる。別の例では、ユーザ２０４は、時間の継続期間の間、触覚効果を経験することができ、また、継続期間中、複数のドローンを実現して効果を達成することができる。これらの触覚効果のうちの１つは、クモの巣様材料（web like mterial）を通って歩く感触を含むことができ、ユーザが移動する際に、複数のドローンがユーザ２０４の経路中でクモの巣様実世界材料を保持する。
【００９０】
いくつかの実施形態では、ユーザ２０４の１本または複数本の指に触覚効果を提示することができる。例えば動的触覚効果を模擬するために変形可能な実世界対象すなわち動的実世界対象を提供する代わりに、複数のドローンが整合の取れた触覚効果をユーザ２０４の１本または複数本の指に提示することができる。
【００９１】
いくつかの実施形態では、所与の触覚効果のための構成を決定することができる。例えば所与の触覚効果を達成するために使用されるドローンの数、および／または所与の触覚効果を達成するために使用される材料または対象を決定することができる。いくつかの実施形態では、図５Ａで説明した技法を使用して、ユーザ２０４を表す仮想ユーザのための仮想対話を模擬する、ユーザ２０４のための実世界触覚効果を選択することができ、また、選択された触覚効果のための構成を決定することができる。
【００９２】
図７は、様々な実施形態による、ドローンを使用した仮想世界に基づいて豊富な触覚対話を提示するための流れ図である。例えば図７の流れ図を使用して、選択された触覚効果のための構成を決定することができる。７０２で、触覚効果を単一のドローンによって達成すべきであるか、あるいは複数のドローンによって達成すべきであるかどうかが決定される。例えば壁の存在の模擬などの単純な触覚効果は、単一のドローンによって達成することができる。しかしながら仮想ユーザが接触することができる複数のアームを有する創造物の動きの模擬などの複雑な触覚効果は、複数のドローンを必要とすることがある。いくつかの実施形態では、単一のドローンによって仮想対象の動きを模擬することができる場合、単一のドローンで触覚効果を達成することができることを決定することができ、また、仮想対象の動きがその動きを模擬するために複数のドローンを必要とする場合、触覚効果を達成するために複数のドローンが必要であることを決定することができる。
【００９３】
いくつかの実施形態では、タイムラインに従って対象または材料をドロップし、かつ、検索するなどの、所与の時間に複数のステップを必要とする触覚効果を達成するために複数のドローンが必要であることを決定することができる。単一のドローンで触覚効果を達成することができることが決定されると、流れは７０４へ移動する。触覚効果を達成するために複数のドローンが必要であることが決定されると、流れは７０６へ移動する。
【００９４】
７０４で、単一のドローン（およびドローンによって運ばれる任意の対象／材料）をユーザ２０４に対する実世界位置に提供することができる。例えば図５Ａ〜５Ｂを参照して説明した相対仮想位置および相対実世界位置と同様に、単一のドローンは、実世界対象４０４Ｂをユーザ２０４に対して配置して仮想対象４０４Ａを模擬することができる。さらに、また、図５Ａ〜５Ｂを参照して説明した機能性と同様に、追跡に基づいて相対実世界位置を更新することができ、したがって実世界対象４０４Ｂをドローンによって配置し直すことができ、あるいはドローンによって除去することができる。
【００９５】
７０６で、触覚効果が対象または材料との物理的な接続を使用した複数のドローンによって達成されるかどうかが決定される。例えばいくつかの触覚効果は、ドローンを使用して、一切の追加対象または材料を必要とすることなく達成することができる。いくつかの実施形態では、ドローンには、仮想対話を模擬するために使用することができるアクチュエータまたは表面を貼り付けることができる。例えばドローンには、織られていない壁または対象への接触などの普通の仮想対話を模擬する滑らかな表面を貼り付けることができる。
【００９６】
いくつかの実施形態では、ドローンは、材料または対象を使用して所与の触覚効果を達成することができる。例えば複数のドローンは、クモの巣様材料をユーザ２０４の経路に置いて、仮想クモの巣を通って歩く仮想経験を模擬することができる。他の実施形態では、触覚小片などの対象を使用して触覚効果を達成することができる。実施される触覚効果に基づいて、対象または材料が必要であるかどうかを決定することができる。対象または材料を必要とすることなく触覚効果を達成することができることが決定されると、フローは７０８へ移動する。対象または材料との物理的な接続を使用して触覚効果が達成されることが決定されると、フローは７１０へ移動する。
【００９７】
７０８で、ユーザ２０４に対する実世界位置に複数のドローンを配置することができる。例えば図５Ａ〜５Ｂおよび７０４を参照して説明した相対仮想位置および相対実世界位置と同様に、ドローンは、１つまたは複数の仮想対象との対話を模擬し、あるいは仮想ユーザのための任意の他の対話を模擬するために、ユーザ２０４に対して配置することができる。さらに、また、図５Ａ〜５Ｂを参照して説明した機能性と同様に、追跡に基づいて相対実世界位置を更新することができ、したがってドローンを配置し直すことができ、あるいはユーザ２０４から遠ざかる方向に移動させることができる。
【００９８】
７１０で、対象または材料との適切な接続を形成するよう、複数のドローンに命令することができる。例えば、触覚小片、クモの巣様材料または任意の他の関連する対象または材料を運ぶ（carry）よう、１つまたは複数のドローンに命令することができる。いくつかの実施形態では、クモの巣様材料の糸の個々の端を運ぶドローンのセットなどの単一の対象または材料を運ぶよう、複数のドローンに命令することができる。
【００９９】
７１２で、接続された材料または対象が意図された触覚効果を提示することができるよう、複数のドローンをユーザ２０４に対して実世界位置に配置することができる。例えば図５Ａ〜５Ｂ、７０４および７０８を参照して説明した相対仮想位置および相対実世界位置と同様に、ドローンは、１つまたは複数の仮想対象との対話を模擬し、あるいは仮想ユーザのための任意の他の対話を模擬するために、接続された材料または対象をユーザ２０４に対して配置することができる。いくつかの実施形態では、２つのドローンのセットは、ユーザ２０４を表す仮想ユーザが仮想クモの巣に接触すると、ユーザ２０４がクモの巣様材料に接触するよう、クモの巣様材料を運び、かつ、クモの巣様材料自体をユーザ２０４の両側に配置することができる。様々な例では、複数のセットのドローンを実現して、ユーザ２０４の周りの複数のクモの巣を模擬することができる。
【０１００】
７１４で、触覚効果がレンダリングされたかどうかが決定される。例えば配置されたドローンおよび対象／材料のうちの１つまたは複数がユーザ２０４のための意図された触覚効果をレンダリングしたかどうかが決定される。上記の例では、仮想ユーザが仮想クモの巣に接触し、また、ユーザ２０４がドローンのセットによって保持された対応するクモの巣様材料に接触すると、触覚効果がレンダリングされたことを決定することができる。このような決定は、ユーザ２０４、ドローンおよび対象／材料、仮想ユーザ、仮想対象および任意の他の適切な要素の追跡に基づいて実施することができる。触覚効果がレンダリングされたことが決定されると、フローは７１６へ移動する。触覚効果がレンダリングされていないことが決定されると、フローは７２０へ移動する。
【０１０１】
７１６で、材料を解放して触覚対話を達成することができる。例えばクモの巣様材料を運んでいるドローンは、ユーザ２０４がクモの巣様材料に接触するとその材料を解放することができ、したがって仮想ユーザが仮想クモの巣に接触する経験を模擬する。７１８で、ドローンによって材料を再獲得することができる。例えば解放されたクモの巣様材料をドローンによって再獲得することができる。いくつかの実施形態では、再獲得された材料は、例えば追加仮想クモの巣を模擬するための追加触覚対話のために再配置することができる。別の例では、触覚効果がもはや必要ではない場合（例えば追跡に基づいて決定された仮想クモの巣の近くに仮想ユーザがもはや存在していない場合）、再獲得された材料を除去することができる。
【０１０２】
７２０で、追跡された動きに基づいて材料を再配置することができる。例えばユーザ２０４、ドローンおよび対象／材料、仮想ユーザ、仮想対象および任意の他の適切な要素は、ＶＲシステムによって追跡することができる。ドローンおよび材料／対象は、ユーザ２０４に対するそれらの相対位置が仮想ユーザの適切な仮想対話を模擬するよう、追跡に基づいて再配置することができる。したがって触覚効果のための構成を決定し、かつ、１つまたは複数のドローンを使用して実行することができる。
【０１０３】
いくつかの実施形態では、ロボット・アセンブリ（例えば装置４０８）を使用して、ドローンによって達成されるいくつかの触覚効果と類似の触覚効果を達成することができる。例えばロボット・アセンブリは、複数のプラットフォーム、アーム、把握部材または任意の他の適切な構成要素を含むことができる。いくつかの実施形態では、ユーザ２０４を表す仮想ユーザは、例えばユーザ２０４／仮想ユーザの方向を変えるＶＲシステム（例えばルーム・スケールを実現するＶＲシステム）に基づく仮想クモの巣を含む廊下に沿って歩くことができる。仮想クモの巣との仮想ユーザの対話を模擬するために、ロボット・アセンブリは、クモの巣様材料をユーザ２０４の近くに保持する複数のアームまたはプラットフォームを含むことができる。いくつかの実施形態では、複数のクモの巣様材料をユーザ２０４の近くに配置することができる。仮想ユーザが仮想クモの巣に接触すると、ロボット・アセンブリは、クモの巣様材料を解放して仮想経験を模擬することができる。いくつかの実施形態では、クモの巣様材料は、クモが材料の上をはうのを模擬するためのアクチュエータを含むことができる。解放された材料はロボット・アセンブリによって追跡することができ、また、例えば地面に落ちた後に再獲得することができる。クモの巣様材料は、次に、追加触覚効果のためにユーザ２０４の近くに再配置することができ、あるいは除去することができる。
【０１０４】
いくつかの実施形態では、複数の小型ドローンすなわち昆虫ドローンを使用してユーザ２０４に触覚対話を提示することができる。例えばユーザ２０４の指のための位置は、例えば着用可能センサーを使用して追跡することができ、また、昆虫ドローンを使用して、１本または複数本の指に触覚対話を提示することができる。いくつかの実施態様では、昆虫ドローンは、ユーザ２０４の近く、例えば図２の入力点２０２のうちの１つなどの着用可能製品またはコントローラの中の、あるいはこれらに取り付けられたホーム・ステーションを有することができる。いくつかの実施形態では、着用可能製品またはセンサーを使用して、ユーザ２０４の１本または複数本の指を追跡することができ、また、追跡に基づいて１つまたは複数のドローンを指に対して配置することができる。例えばＶＲシステム２０６は、仮想ユーザに対する仮想対象の相対位置に基づいて、ユーザ２０４の追跡された指に対する実世界配置情報を複数のドローンに提供することができ、また、仮想ユーザ、仮想対象の動き、およびユーザ２０４の指の動きに基づいて、更新された配置情報をさらに提供することができる。いくつかの実施形態では、３Ｄ運動検出カメラ、超音波運動検出器、受動赤外線センサー、等々の使用を含む、身振り検出技法および／またはソフトウェアを使用して、ユーザ２０４の手および指の運動を追跡することができる。検出された身振りに基づいて、関連する触覚対話を提示するように自身を再配置するよう、ドローンに命令することができる。
【０１０５】
図８は、様々な実施形態による、ドローンを使用した仮想世界に基づいて豊富な触覚対話を提示するための状態図である。豊富な触覚対話を提示する、ドローン６０４または類似のドローン（例えば昆虫ドローン）などのドローンは、睡眠モード８０２、活動モード８０４および行動モード８０６などの様々な状態を有することができる。
【０１０６】
例えばドローン６０４または類似のドローンは、ベース・ステーションではドローンが非活動であり得る睡眠モード８０２にあってもよく、また、８０８で活動化コマンドを待機することができる。いくつかの実施形態では、ベース・ステーションは、図２の入力点２０２のうちの１つなどのコントローラまたは着用可能デバイスであってもよい。例えばブレスレット、グローブまたはリングは、複数の小型すなわち昆虫ドローンのためのベース・ステーションであってもよい。いくつかの実施形態では、ドローンは、ベース・ステーションで睡眠モードにある間、充電することができる。活動化コマンドは、例えば豊富な触覚対話を利用することができる環境に仮想ユーザが入ると、仮想世界４０２Ａにおける仮想ユーザの動きに基づいて送信することができる。いくつかの実施形態では、活動化コマンドは、ユーザ２０４が対象との対話を期待していることを示す手の身振り（例えばユーザ２０４が腕を動かし、かつ、手を上げて対象に接触する）などのユーザ２０４の１つまたは複数の身振りに基づいてトリガすることができる。いくつかの実施形態では、活動化コマンドは、入力点２０２のうちの１つの入力点上のボタン、トリガ、ジョイスティックの起動に基づいてトリガすることができる。いくつかの実施形態では、活動化コマンドは、仮想ユーザと仮想対象（または仮想環境の要素）の間の対話が検出されると、ベース・ステーションで走るアルゴリズムすなわち検出ソフトウェアによってトリガすることができる。例えばゲーミング・コンソールまたは他のデバイス上でのＶＲ／ＡＲ／ＭＲアプリケーションの開始は、活動化コマンドをトリガすることができる。いくつかの実施形態では、仮想ユーザは、仮想対象４０４Ａを有する仮想世界４０２Ａを経験することができ、仮想対象は触覚ゾーンと関連付けることができる。例えば仮想対象４０４Ａは幾何構造（例えば三次元形状）によって画定することができ、また、触覚ゾーンは、類似の幾何構造を有する仮想対象（例えば三次元形状の仮想対象であるが、もっと大きいか、あるいは長方形、立方体、球、等々などの標準三次元形状の仮想対象）を取り囲み、かつ、それより大きい領域であってもよい。いくつかの実施形態では、活動化コマンドは、仮想ユーザ（または仮想ユーザの付属肢）が仮想対象４０４Ａと関連付けられた触覚ゾーンと対話している（または触覚ゾーンに入っている）ことが検出されるとトリガすることができる。
【０１０７】
８１０で、ドローン６０４は活動化コマンドを受け取ることができ、また、活動モード８０４に入ることができる。例えば豊富な触覚対話をユーザ２０４に提示するためにドローンを待機状態にする初期化シーケンスを実施することができる。８１２で、ドローン６０４または類似のドローンを活動状態にして、ベース・ステーションで、あるいは実世界対象の近傍で使用してユーザ２０４に豊富な触覚対話を提示する、などの行動コマンドを待機することができる。ＶＲシステム２０６は、活動化コマンドをドローン６０４または類似のドローンに送信することができる。
【０１０８】
８１４で、ドローン６０４または類似のドローンは、位置情報および触覚情報を受け取ることができ、次に行動モード８０６へ進行することができる。例えばドローン６０４または類似のドローンは、ＶＲシステム２０６によって追跡される相対仮想位置に対応するユーザ２０４に対して実世界位置に移動させるようにドローンが命令されるよう、位置情報を受け取ることができる。また、ドローン６０４または類似のドローンは、受け取った位置へ実世界対象（例えば触覚小片）を移動させる、あるいは起動または一連の起動などの行動をその位置で実施する、などの触覚情報を同じく受け取ることができる。８１６で、ドローン６０４または類似のドローンは、受け取った位置へ飛んで、触覚情報によって示された触覚効果を提示することができる。例えば触覚特性を備えた表面を有する触覚小片を提供することができ、それによりユーザ２０４は手を延ばして接触することができ、あるいはユーザがその行動を感じることができるよう、命令された行動（例えば起動効果）を実施することができる。いくつかの実施形態では、ドローン６０４または類似のドローンは、更新された位置情報および触覚情報を受け取ることができ、更新された位置に配置し直され、また、更新された情報に基づいて関連する触覚効果を提供し／生成する。
【０１０９】
８１８で、ドローン６０４または類似のドローンは、活動モードへ戻るコマンドを受け取ることができ、あるいは触覚対話タイマーが時間切れになったことを決定することができる。仮想ユーザまたは仮想対象４０４Ａの動きに基づいて、活動モードへ戻るよう、ドローン６０４または類似のドローンに命令することができる。活動モード８０４では、ドローン６０４または類似のドローンは、睡眠タイマーが時間切れになることを待機することができ、また、８２０で、睡眠タイマーが時間切れになったことを決定することができる。睡眠タイマーが時間切れになると、ドローン６０４または類似のドローンは、例えば所定のベース・ステーションで睡眠モード８０２に戻ることができる。
【０１１０】
例示的実施態様では、小型すなわち昆虫ドローンは、それらの口、足、翅、身体、外皮（casing）、背中または任意の他の適切な位置などに１つまたは複数の薄い小型アクチュエータを装備することができる。これらのドローンは、次に、関連する位置へ飛んで、ユーザ２０４のための触覚効果を生成することができる。例えばユーザ２０４を表す仮想ユーザは、仮想ユーザが仮想ボタンをダイヤルする（例えば通話するために、あるいは任意の他の適切な目的のために）仮想世界に配置することができる。昆虫ドローンすなわち小型ドローンには、仮想ユーザが１本または複数本の指で仮想ボタンを押すと、ユーザ２０４の指へ飛んで、対応する指毎に触覚効果を生成するように命令することができる。いくつかの実施形態では、小型すなわち昆虫ドローンによって生成される触覚効果は、仮想ユーザが所与の仮想ボタンを強く押せば押すほど、その強度を大きくすることができ、あるいは触覚知覚を経験する指の面積を広くすることができる。いくつかの実施形態では、昆虫または小型ドローンの小さいサイズにより、ドローンは、手触りを模擬する触覚を提示することができる。例えば参照によりその全体が本明細書に組み込まれている、「Ｓｙｓｔｅｍｓ  ａｎｄ  Ｍｅｔｈｏｄｓ  ｆｏｒ  Ｕｓｉｎｇ  Ｍｕｌｔｉｐｌｅ  Ａｃｔｕａｔｏｒｓ  ｔｏ  Ｒｅａｌｉｚｅ  Ｔｅｘｔｕｒｅｓ」という名称の米国特許出願第１２／６９７０４２号に記載されているように、小型アクチュエータおよび起動信号を使用して手触り触覚効果をレンダリングすることができる。いくつかの実施形態では、小型すなわち昆虫ドローンは、１つまたは複数の触覚表面および／または触覚小片を運ぶか、さもなければ装備することができる。例えば小型すなわち昆虫ドローンは、ユーザ２０４が表面または小片と対話することができるよう、表面または触覚小片を提供することができる。いくつかの実施形態では、複数の小型すなわち昆虫ドローンを組み合わせて使用して、ユーザ２０４が対話することができるより広い表領域を創造することができる。
【０１１１】
いくつかの実施形態では、これらの小型すなわち昆虫ドローンは、図８に示されている状態図に従って状態から状態へ流れることができる。さらに、小型すなわち昆虫ドローンは、このような情報を決定するコントローラから生成される、位置および触覚に関する命令を受け取ることができる。例えばコントローラは、ＶＲシステム、スマート・デバイス（例えばコントローラ、スマート着用可能デバイス、スマートフォン、等々）、マイクロコントローラ、パーソナル・コンピュータ、サーバまたはクラウド・サーバ、あるいは任意の他の適切なデバイスであってもよい。いくつかの実施形態では、コントローラは、例えば一定の期間にわたって、ユーザ２０４および／または１つまたは複数のドローンを追跡するために使用される１つまたは複数のセンサーからセンサー・データを連続的に受け取ることができ、また、コントローラは、複数のドローンのための位置情報および触覚を出力することができる。図９は、様々な実施形態による、複数のドローンを配置して豊富な触覚対話を提示するための例示的流れ図を示したものである。例えば小型すなわち昆虫ドローンは、図９の流れ図に従って位置情報を受け取ることができる。
【０１１２】
９０２で、仮想接触領域マップが決定される。いくつかの実施形態では、仮想接触領域マップは、仮想対象の三次元マップに基づくことができる。例えば仮想対象マップは、仮想世界における仮想対象のレンダリングされた形状（例えば仮想対象の幾何構造）に基づくことができる。さらに、仮想対象マップは、仮想世界における配置、色、手触り（例えば摩擦）、剛性、抵抗（例えば押されたときにボタンによって指に加えられる力などの抵抗力）、および仮想対象の他の属性などの仮想対象に関する追加情報を含むことができる。仮想対象のための情報はアレイに記憶することができる。
【０１１３】
いくつかの実施形態では、仮想接触領域マップは、仮想対象マップおよび仮想ユーザの配置に基づいて決定することができる。例えば仮想ユーザのための相対位置（例えば指、複数本の指、手または複数の手の相対位置）に基づいて、仮想接触領域は、仮想ユーザが対話している（例えば接触している）仮想対象の表面または部分に対応し得る。いくつかの実施形態では、仮想接触領域は、１本の指（例えばボタンを押している）、複数本の指（例えばキーボードをタイプしている）、手のひら全体（例えば対象を保持している）、複数の手、等々である対話などの対話タイプを含む。
【０１１４】
いくつかの実施形態では、仮想接触領域マップは、仮想世界における配置、色、手触り、剛性、抵抗、および仮想対象の他の属性などの仮想対象に関する追加情報を同じく含む。例えば、ボタンを押している、などの１本の指の対話のための仮想接触領域は、ボタンの幾何構造、および仮想ユーザまたは仮想ユーザの指の配置に対するボタンの配置に基づいて決定することができる。さらに、仮想接触領域マップは、色、手触り、剛性、抵抗、等々などの仮想ボタンのための他の属性を含むことができる。
【０１１５】
９０４で、仮想対象マップおよび／または仮想接触領域マップ、および仮想対象に関する追加情報に基づいて、豊富な触覚対話のための接触点を決定することができる。いくつかの実施形態では、仮想ボタンを押している、などの１本の指の対話のための接触点は、仮想ボタンの幾何構造（三次元形状）に基づいて決定することができる。例えば仮想境界と同様に、接触点は、様々な接触点に割り当てられた触覚によって仮想ボタンとの対話を模擬することができるよう、仮想ボタンの幾何構造の周りに分散させることができる。いくつかの実施形態では、仮想接触領域マップによって画定される仮想対象の幾何構造を使用して接触点を決定することができる。
【０１１６】
いくつかの実施形態では、接触点は、それの手触り、剛性または抵抗などの仮想対象に関する追加情報に基づいて決定することができる。例えば仮想ボタンは、中心よりも縁の方をより硬くすることができ、したがって接触点の密度は、中心の密度よりも仮想ボタンの縁の密度をより高くすることができる。別の例では、例えばざらざらした表面は、滑らかな表面よりも大きい触感知覚を提供するため、ざらざらした表面を有する仮想対象は、滑らかな表面を有する仮想対象よりも接触点の数が多い仮想対象に対応し得る。
【０１１７】
いくつかの実施形態では、決定される接触点は、実世界ユーザに提示される表示の解像度に基づくことができる。例えばユーザ２０４は、特定の解像度（例えばピクセル密度）を有するディスプレイ・スクリーンを含むＶＲヘッドセット（例えば入力点２０２のうちの１つ）を着用することができる。仮想対象の表示される幾何構造および／または外観（例えば手触り）は、実現される解像度に基づくことができ、したがって接触点の数は解像度に関連付けることができる。いくつかの実施形態では、接触点の数は、このような表示のためのピクセル密度に直接関連付けられる。
【０１１８】
９０６で、触覚アレイまたは触覚マップを生成することができる。例えば触覚アレイまたはマップは、決定された接触点およびこれらの接触点のための（これらの接触点に対応する）触覚を示すことができる。いくつかの実施形態では、触覚アレイまたはマップは、仮想対象との仮想ユーザの対話を模擬するために生成される触覚の品質および位置を示すことができる。例えば利用可能なドローン／アクチュエータ、決定された接触点、仮想対象マップ、仮想接触領域マップ、および仮想対象に関する追加情報のうちの１つまたは複数（あるいは組合せ）に基づいて、触覚のための位置および品質を決定することができる。いくつかの実施形態では、触覚アレイまたはマップは、接触点を対応する触覚に割り当てることができ、また、これらの対応する触覚のための品質を示すことができる。
【０１１９】
いくつかの実施形態では、接触点のうちの１つまたは複数に対応する触覚のための品質を決定して、触覚アレイまたは触覚マップを生成することができる。例えば数十個または数百個の接触点（仮想ボタンのプッシュの触覚を表現する接触点など）は、単純なフィードバックなどの低品質の触覚に対応し、一方、もっと多くの数の接触点（複数本の指または手全体の対話を表現する接触点など）は、より高い品質の触覚に対応し得る（例えば低い程度から高い程度までのスペクトル、または他の動的または静的触覚効果と組み合わせた脈動（pulsing）触覚効果などの触覚効果の組合せを含む触覚対話）。
【０１２０】
いくつかの実施形態では、触覚対話の品質は、利用可能なドローンの数および／または利用可能なアクチュエータの数（例えばドローン毎のアクチュエータ）に基づいて決定することができる。例えば接触点の数は第１の品質の触覚に対応し、また、第１の数のドローン／アクチュエータを利用することができ、その第１の数のドローン／アクチュエータでは、第１の品質の触覚を達成することはできない。このような場合、触覚対話の品質は、第１の数のドローン／アクチュエータによって達成することができる第２の品質まで落とすことができる。
【０１２１】
いくつかの実施形態では、触覚の品質は、アクチュエータのタイプおよび利用可能なアクチュエータの数に依存し得る。例えばいくつかの事例では、アクチュエータの能力に基づいて限られた数のアクチュエータを複数の接触事象に使用して、高い品質の触覚を生成することができる。いくつかの実施形態では、触覚幻影すなわち疑似触覚を使用して、限られた数のドローン／アクチュエータで高品質触覚を達成することができる。
【０１２２】
いくつかの実施形態では、単一のアクチュエータまたはドローンによって多数の接触点を達成することができる。例えば１本の指のボタン・プッシュ対話の場合、決定される接触点の数は数十個または百個であり得るが、マクロ・ファイバ・コンポジット（ＭＦＣ: macro fiber composite）アクチュエータを有する単一のドローンを使用して対話を模擬することができる。いくつかの実施形態では、生成される触覚のための位置は、触覚に対応する複数の接触点のための位置（例えば位置の中心または平均）に基づくことができる。触覚のための品質は、様々な接触点の特性、例えば圧力値の平均、接触領域のサイズまたは仮想対象の手触りに基づいて決定することができる。別の例では、対話が仮想対象を保持している手である場合、触覚アレイまたはマップは、触覚を個々の指および手のひらに割り当てることができ、また、触覚の品質は、接触領域全体の異なる接触点の特徴に基づいて異なる品質にすることができる。
【０１２３】
したがって触覚の品質および触覚に対応する接触点の数は、触覚を提示するために利用することができるドローン／アクチュエータの量に基づいて調整することができる。例えば仮想対象との対話を模擬するために使用される触覚の品質は、ビデオ・ストリームの忠実度と同様に、忠実度と関連付けることができる。利用可能なドローン／アクチュエータの数が少なくなると、より多くの接触点が個々のアクチュエータ／ドローンに割り当てられることになり、および／または触覚の品質が低下することになる。したがってより少ない数のアクチュエータ／ドローンは、より低い忠実度触覚対話に対応し、その逆も同様であり得る。いくつかの実例では、ドローンのタイプ（例えばサポートされるアクチュエータの数）およびアクチュエータのタイプも同様に触覚対話の忠実度に影響を及ぼす。
【０１２４】
いくつかの実施形態では、アクチュエータではなく、あるいはアクチュエータとの組合せではなく、本明細書において説明されているよう、利用可能なドローンは、触覚表面を有する表面および／または触覚小片を装備する、あるいは運ぶことができる。例えば利用可能なドローン／触覚表面、決定された接触点、仮想対象マップ、仮想接触領域マップ、および仮想対象に関する追加情報のうちの１つまたは複数（あるいは組合せ）に基づいて、触覚のための位置および品質を決定することができる。いくつかの実施形態では、触覚アレイまたはマップは、接触点を触覚プロファイルに割り当てることができ、また、ドローンは、これらの接触点の位置における触覚プロファイルに対応する触覚表面を提供することができる。
【０１２５】
９０８で、複数のドローンの各々のための位置および触覚が決定される。例えば触覚アレイまたはマップに基づいて、ドローンのための位置および触覚を決定し、決定された実世界位置で仮想対象を模擬することができる。既に説明したように、ユーザ２０４の動き（いくつかの例では指の動きを含む）が追跡され、また、追跡に基づいて、ユーザ２０４に対するドローン毎の位置を決定することができる。
【０１２６】
いくつかの実施形態では、アルゴリズム（例えばベース・ステーションで走行する）は、触覚アレイまたはマップに基づいて、ドローンのための位置情報、個々のドローンのための回転、および個々のアクチュエータおよび／またはドローンの触覚表面のための触覚の触覚パラメータ（例えば触覚の品質および／または触覚プロファイル）を決定することができる。位置、回転および触覚パラメータは、仮想接触領域マップに対応する仮想対象の特徴が模擬されるように決定することができる。いくつかの実施形態では、所与のドローンのための触覚パラメータは、触覚アレイまたはマップによって示されるドローンまたは触覚プロファイルのための触覚の品質に基づくことができる。例えば昆虫ドローンは、ドローンに貼り付けられた複数のアクチュエータ（例えば３個、４個、６個、等々）を有することができ、また、アクチュエータの各々のための触覚パラメータは、触覚アレイまたはマップに従って決定することができる。別の例では、小型ドローンは、異なる触覚プロファイルに対応する触覚小片などの１つまたは複数の触覚表面を装備することができる。いくつかの実施形態では、ドローン／アクチュエータのための配置情報は、触覚アレイまたはマップによって示される配置、およびユーザ２０４の追跡された位置に基づくことができる。
【０１２７】
いくつかの実施形態では、ユーザ２０４の動きは、１つまたは複数のセンサー（例えばカメラ、ＶＲコントローラ／着用可能製品、等々）によって追跡することができ、また、所与のドローンのための位置情報は、例えばベース・ステーションから送信される命令に基づいて、個々のフレーム（例えば時間の単位）で更新することができる。いくつかの例では、ドローンは、手またはユーザ２０４によって着用されるＶＲ着用可能デバイスに取り付けることができ、したがってドローンは、ユーザ２０４の動きと共に移動することができる。
【０１２８】
９１０で、複数のドローンの各々のための位置および触覚パラメータがドローンに送信される。例えば個々のドローンによって生成される触覚のための決定された位置情報および触覚パラメータは、個々のドローンに送信することができる。いくつかの実施形態では、複数のドローンは、図８の状態フローを実施することができ、したがって個々のドローンは、行動モード８０６で、位置および触覚効果情報を使用することができる。
【０１２９】
例示的実施態様では、１本の指の仮想ボタン・プッシュ対話の場合、ドローンは、受け取った位置情報によって示された位置（例えば触覚アレイまたはマップの中で示された仮想ボタンのための接触点のグループの中心）へ飛んで、ＭＦＣアクチュエータを使用して、受け取った触覚パラメータに従って触覚効果を生成することができる。この生成された触覚効果のパラメータ（例えば触覚アレイまたはマップによって示された触覚品質に基づいて決定される）はドローンに送信することができ、また、このパラメータを使用して仮想ボタンとの触覚対話を模擬することができる。別の例では、対話が仮想対象を保持している手である場合、配置情報は、ドローン／アクチュエータを個々の指および手のひらに配置することができ、また、触覚パラメータは、接触領域全体（例えば触覚アレイまたはマップの中で示される）にわたる異なる接触点の特徴に基づいて異なっていてもよい。さらに別の例では、１本の指の仮想ボタン・プッシュ対話の場合、ドローンは、受け取った位置情報によって示された位置（例えば触覚アレイまたはマップの中で示された仮想ボタンのための接触点のグループの中心）へ飛んで、ユーザ２０４との対話のための触覚表面を提供することができる。この生成された触覚効果のパラメータ（例えば効果のための触覚プロファイルと対応する触覚表面）はドローンに送信することができ、また、このパラメータを使用して仮想ボタンとの触覚対話を模擬することができる。
【０１３０】
いくつかの実施形態では、図９の流れ図のすべてまたは一部を実施して、仮想ユーザのための動きまたは新しい状況に基づいてドローン／触覚パラメータを更新することができる。例えば、接触点の数が少なくなると触覚の品質が低下し、あるいは利用可能なドローン／アクチュエータの数が少なくなるなどの場合、触覚を提示するために使用されるドローンの数を少なくすることができる。更新アルゴリズムを使用して、ドローンを配置し直して最少の電力消費およびコストを達成する、ドローンのための更新された位置および触覚パラメータを決定することができる。
【０１３１】
図１０は、様々な実施形態による、仮想世界に基づいて豊富な触覚対話を提示するための別の流れ図である。１００２で、仮想現実感環境における仮想ユーザが追跡され、仮想ユーザは、実世界環境における実世界ユーザの仮想表現である。例えばユーザ２０４は、ＶＲシステム２０６および入力点２０２によって仮想世界４０４Ａに没入される（immersed）ことができる。ユーザ２０４は、仮想ユーザは、仮想世界４０２Ａと対話している間、実世界４０４Ｂの中に物理的に配置することができる。仮想ユーザ／ユーザ２０４の動きは、例えばユーザ２０４上の入力点２０２を使用して追跡することができる。
【０１３２】
１００４で、例えば仮想ユーザの追跡および仮想対象４０４Ａの追跡に基づいて、仮想ユーザに対する仮想対象４０４Ａのための相対仮想位置を決定することができる。１００６で、仮想対象４０４Ａのための触覚プロファイルを識別することができる。例えば仮想対象４０４Ａの表面４０６Ａのための触覚プロファイルを識別することができる。
【０１３３】
１００８で、触覚プロファイルのために、触覚特性を含む実世界表面（例えば触覚小片の）のセットの中から第１の実世界表面を選択することができる。例えば第１の実世界表面は、触覚プロファイルのために、第１の実世界表面の複数の触覚特性と触覚プロファイルの間の対応性に基づいて選択することができる。いくつかの実施形態では、所定の実世界表面のセットの触覚特性は、類似性を決定するために、触覚プロファイル（例えば関連付けのデータベースからアクセスすることができる）と関連付けられた触覚特性と比較することができ、第１の実世界表面は、触覚プロファイルのために、第１の実世界表面の触覚特性と、触覚プロファイルの関連付けられた触覚特性との間の類似性に基づいて選択される。例えば第１の実世界表面と触覚プロファイルとの間の類似性は、触覚プロファイルと関連付けられた触覚特性と、第１の実世界表面の触覚特性との間の一致の数であってもよい。
【０１３４】
１０１０で、選択された実世界表面を含む実世界対象４０４Ｂが相対仮想位置に対応するユーザ２０４に対して実世界位置に提供され、実世界対象の触覚特性は、仮想対象４０４Ａのための触覚プロファイルに対応する。いくつかの実施形態では、実世界対象４０４Ｂの触覚特性は、手触り、こわさ（rigidity）、温度、形状、硬さ（hardness）および変形性のうちの１つまたは複数を含む。
【０１３５】
いくつかの実施形態では、実世界対象４０４Ｂは、実世界対象を実世界位置に提供するために、装置４０８などの機械装置を移動させることによって提供される。別の例では、実世界対象４０４Ｂは、実世界対象を実世界位置に提供するために、ドローン６０４などのドローンによって提供される。
【０１３６】
いくつかの実施形態では、実世界対象は、異なる触覚特性を備えた複数の表面を有する触覚小片である。仮想世界４０４Ｂは、触覚小片と関連付けられた所定のセットの実世界触覚特性に基づくことができる。例えば仮想世界４０４Ｂにおける仮想対象は、触覚小片と関連付けられた所定のセットの実世界触覚特性の能力に限定された触覚プロファイルを有することができる。別の例では、触覚小片は、仮想世界４０４Ｂにおける仮想対象のための触覚プロファイルに基づく所定のセットの実世界触覚特性を含むことができる。
【０１３７】
いくつかの実施形態では、ユーザ２０４の追跡は、ユーザ２０４の付属肢４１２（例えば手）の追跡を含むことができる。この例では、相対仮想位置の決定は、仮想ユーザの付属肢４１０に対する仮想対象４０４Ａのための相対仮想位置の決定を含むことができる。実世界対象４０４Ｂの提供も、相対仮想位置に対応する付属肢４１２に対する実世界位置への実世界対象の提供を同じく含むことができる。
【０１３８】
いくつかの実施形態では、仮想対象４０４Ａに対する仮想ユーザの位置は、仮想ユーザまたは仮想対象４０４Ａのうちの少なくとも１つが仮想世界４０２Ａの中を移動している間、動的に追跡することができる。次に、動的に追跡された相対仮想位置と対応するよう、実世界対象４０４Ｂをユーザ２０４に対して動的に配置し直す（または移動させる）ことができる。
【０１３９】
いくつかの実施形態では、仮想対象４０４Ａと仮想ユーザの間の仮想距離が閾値距離以下であることを決定することができる。実世界対象４０４Ｂは、仮想距離が閾値以下であることの決定に基づいて、ユーザ２０４に向かって、あるいはユーザ２０４から遠ざかる方向へ移動させることができる。例えばユーザ２０４に向かう、あるいはユーザ２０４から遠ざかる方向への実世界対象４０４Ｂの移動は、仮想対象４０４Ａのための触覚プロファイルに対応する触覚特性（例えば変形性、剛性、等々）を模擬することができる。
【０１４０】
いくつかの実施形態では、仮想現実感環境における複数の仮想対象の中から、所定の実世界表面のセットのうちの少なくとも１つと一致する触覚プロファイルおよび関連付けられた触覚特性を有する仮想対象のセットを識別することができる。例えば説明されている類似性一致に基づいて、仮想現実感環境内の対象のセットのための触覚プロファイルの各々を触覚小片の表面のための触覚特性と比較することができる。いくつかの実施形態では、仮想対象のサブセットは、表面のうちの１つと一致する触覚プロファイルを有することになり、また、これらの仮想対象は、仮想ユーザとの触覚対話が利用可能である対象として識別することができる。例えば仮想対象は、触覚対話の可用性を示すインジケータと共に表示することができる（例えば輝かせることができ、色付きサインに近づけることができる、等々）。
【０１４１】
実施形態は、仮想現実感システムのユーザのための豊富な触覚対話を提示する。一実施形態では、仮想ユーザは仮想環境で追跡され、また、ユーザが遭遇し得る仮想対象のための触覚プロファイルが識別される。例えば仮想ユーザが仮想建物の近くに存在している場合、例えばその仮想建物のための触覚プロファイルを識別することができる。実世界では、仮想建物の触覚プロファイルに対応する触覚特性を有する実世界対象は、その仮想建物の相対仮想位置に対応する位置に提供することができる。例えば仮想ユーザに対する仮想建物のための相対位置を追跡することができ、また、実世界対象は、相対仮想位置に対応する実世界ユーザに対する実世界位置に提供することができる。仮想ユーザが仮想建物に接触すると、実世界ユーザは、提供された実世界対象に基づいて実世界対象の触覚特性を感じることになり、したがって仮想世界における対話に対応する豊富な実世界触覚対話をユーザに提示する。
【０１４２】
提供は、様々な技法を使用して達成することができる。例えば異なる触覚特性を有する複数の表面を含む触覚小片を提供することができ、触覚小片は、仮想環境における触覚プロファイル（例えば仮想樹木、仮想建物、仮想犬、仮想ガム、仮想走行自動車両、等々の触覚プロファイル）と対応する触覚特性を提示するように構成される。触覚プロファイルを含む他の実世界対象を同様に提供することができる。いくつかの実施形態では、様々な技法を実現することにより、仮想ユーザおよび／または仮想対象の動きに基づいて実世界対象を異なる位置へ移動させることができる。例えばロボット・システムまたは機械部材を使用して、ユーザの仮想対話に対応する相対位置へ実世界対象（例えば触覚小片）を移動させることができる。別の例では、ドローンを使用して実世界対象を相対位置へ移動させることができる。
【０１４３】
本明細書全体を通して説明されている開示の特徴、構造または特性は、１つまたは複数の実施形態の中で、任意の適切な方法で組み合わせることができる。例えば「一実施形態」、「いくつかの実施形態」、「特定の実施形態」、「特定の複数の実施形態」または他の類似の言語の使用は、本明細書全体を通して、その実施形態に関連して説明されている特定の特徴、構造または特性を本開示の少なくとも１つの実施形態に含み得ることを意味している。したがって「一実施形態」、「いくつかの実施形態」、「特定の実施形態」、「特定の複数の実施形態」という語句または他の類似の言語の出現は、すべて、本明細書全体を通して必ずしも同じグループの実施形態を意味しているわけではなく、説明されている特徴、構造または特性は、１つまたは複数の実施形態の中で、任意の適切な方法で組み合わせることができる。
【０１４４】
上で考察した本発明は、異なる順序のステップを使用して、および／または開示されている構成とは異なる構成における要素を使用して実践することができることは当業者には容易に理解されよう。さらに、様々な実施形態の特徴は、様々な組合せで実践することができることは当業者には容易に理解されよう。したがって本発明はこれらの好ましい実施形態に基づいて説明されているが、特定の変更態様、変形形態および代替構造が明らかであり、依然として本発明の趣旨および範囲内であることは当業者には明らかであろう。したがって本発明の境界を決定するために、添付の特許請求の範囲を参照されたい。
【図１】
2020004395.tif 000003
【図２】
2020004395.tif 000004
【図３】
2020004395.tif 000005
【図４Ａ】
2020004395.tif 000006
【図４Ｂ】
2020004395.tif 000007
【図４Ｃ】
2020004395.tif 000008
【図５Ａ】
2020004395.tif 000009
【図５Ｂ】
2020004395.tif 000010
【図６】
2020004395.tif 000011
【図７】
2020004395.tif 000012
【図８】
2020004395.tif 000013
【図９】
2020004395.tif 000014
【図１０】
2020004395.tif 000015
【外国語明細書】
2020004395000001.pdf