(57)【要約】      （修正有）【課題】触覚によるコンプライアンス錯覚のためのシステム及び方法を提供する。【解決手段】システム１００は、ジェスチャを検出するように構成されるセンサ及び触覚効果を出力するように構成される触覚出力デバイスを含むユーザインターフェースデバイスと、センサと触覚出力デバイスに結合される、センサからセンサ信号を受信すること、複合現実におけるユーザの相互作用を決定すること、センサ信号及びユーザの相互作用に部分的に基づいて触覚効果を決定すること及び触覚効果に関連付けられる触覚信号を触覚出力デバイスに送信することを行うように構成されるプロセッサとを含む。【選択図】図１Ａ
2018113025.tif 000002
【特許請求の範囲】
【請求項１】
ジェスチャを検出するように構成されるセンサ、及び触覚効果を出力するように構成される触覚出力デバイスを含むユーザインターフェースデバイスと、
前記センサ及び前記触覚出力デバイスに結合されるプロセッサであって、
前記センサからセンサ信号を受信すること、
仮想オブジェクトとユーザの相互作用を決定すること、
前記センサ信号及び前記ユーザの相互作用に部分的に基づいて触覚効果を決定すること、及び
前記触覚効果に関連付けられる触覚信号を前記触覚出力デバイスに送信すること
を行うように構成されるプロセッサと
を備える、システム。
【請求項２】
前記触覚信号はエンベロープを含む正弦波搬送波を含み、前記プロセッサは前記ジェスチャの圧力に部分的に基づいて前記エンベロープの振幅を変化させるように構成される、請求項１に記載のシステム。
【請求項３】
前記触覚効果は、前記仮想オブジェクトのコンプライアンスをシミュレートするように構成される、請求項１に記載のシステム。
【請求項４】
前記ジェスチャは、第１の場所と第２の場所との間の移動を含み、触覚効果を決定することは、前記第１の場所と前記第２の場所との間の距離の関数に部分的に基づいて変化する触覚効果を決定することを含む、請求項１に記載のシステム。
【請求項５】
前記プロセッサは、前記距離に部分的に基づいて、前記触覚効果の周波数、振幅、粒径、粒子振幅、又は粒子密度の１つ以上を変化させるように構成される、請求項４に記載のシステム。
【請求項６】
前記第１の場所及び前記第２の場所は、複合現実における位置を含む、請求項４に記載のシステム。
【請求項７】
前記第１の場所及び前記第２の場所は、実空間における位置を含む、請求項４に記載のシステム。
【請求項８】
前記プロセッサは、前記ユーザインターフェースデバイスに通信可能に結合されるリモートデバイスの一部である、請求項１に記載のシステム。
【請求項９】
前記プロセッサは、前記ユーザインターフェースデバイスのコンポーネントであり、前記ユーザインターフェースデバイスは、ウェアラブルデバイス又はハンドヘルドデバイスを含む、請求項１に記載のシステム。
【請求項１０】
前記センサは、ユーザの把持から圧力を検出するように構成され、前記触覚出力デバイスは、前記ユーザの掌に触覚効果を出力するように構成される、請求項１に記載のシステム。
【請求項１１】
前記触覚出力デバイスは、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ、線形共振アクチュエータ、又は静電出力デバイスの１つ以上を含む、請求項１に記載のシステム。
【請求項１２】
ジェスチャを検出するように構成されるセンサからセンサ信号を受信するステップと、
仮想オブジェクトとユーザの相互作用を決定するステップと、
前記センサ信号及び前記ユーザの相互作用に部分的に基づいて触覚効果を決定するステップと、
触覚効果を出力するように構成される触覚出力デバイスに前記触覚効果に関連付けられる触覚信号を出力するステップと
を含む、方法。
【請求項１３】
前記触覚信号はエンベロープを含む正弦波搬送波を含み、前記ジェスチャの圧力に部分的に基づいて前記エンベロープの振幅を変化させるステップを更に含む、請求項１２に記載の方法。
【請求項１４】
複合現実に関連付けられる表示信号を出力するステップを更に含む、請求項１２に記載の方法。
【請求項１５】
前記触覚効果は、前記仮想オブジェクトのコンプライアンスをシミュレートするように構成される、請求項１２に記載の方法。
【請求項１６】
前記ジェスチャは、第１の場所と第２の場所との間の移動を含み、触覚効果を決定するステップは、前記第１の場所と前記第２の場所との間の距離の関数に部分的に基づいて変化する触覚効果を決定することを含む、請求項１２に記載の方法。
【請求項１７】
前記距離に部分的に基づいて、前記触覚効果の周波数、振幅、粒径、粒子振幅、又は粒子密度の１つ以上を変化させるステップを更に含む、請求項１６に記載の方法。
【請求項１８】
前記第１の場所及び前記第２の場所は、複合現実における位置を含む、請求項１６に記載の方法。
【請求項１９】
前記第１の場所及び前記第２の場所は、実空間における位置を含む、請求項１６に記載の方法。
【請求項２０】
前記センサは、ユーザの把持から圧力を検出するように構成され、前記触覚出力デバイスは、前記ユーザの掌に触覚効果を出力するように構成される、請求項１２に記載の方法。
【請求項２１】
プログラムコードを含む非一時的なコンピュータ可読媒体であって、プロセッサにより実行されると、前記プログラムコードは、前記プロセッサに、
ジェスチャを検出するように構成されるセンサからセンサ信号を受信すること、
仮想オブジェクトとユーザの相互作用を決定すること、
前記センサ信号及び前記ユーザの相互作用に部分的に基づいて触覚効果を決定すること、及び
触覚効果を出力するように構成される触覚出力デバイスに前記触覚効果に関連付けられる触覚信号を出力すること
を行わせるように構成される、非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、ユーザインターフェースデバイスの分野に関する。より詳細には、本願は、触覚によるコンプライアンス錯覚に関連する。
【背景技術】
【０００２】
タッチ可能デバイスを含むハンドヘルドデバイスがますます人気を博している。例えば、ユーザがタッチセンサ式ディスプレイのタッチ部分で入力を提供できるように、モバイル型及び他のデバイスがタッチセンサ式ディスプレイを用いて構成される場合が有る。多くのデバイスには、触覚機能が更に装備されている。また、複合現実及び仮想現実も共にますます人気を博している。従って、複合現実又は仮想現実環境における触覚効果が必要とされている。
【発明の概要】
【０００３】
一実施形態では、触覚によるコンプライアンス錯覚のためのシステムは、ジェスチャを検出するように構成されるセンサ、触覚効果を出力するように構成される触覚出力デバイスを含むユーザインターフェースデバイスと、センサ及び触覚出力デバイスに結合されるプロセッサとを備え、プロセッサは、センサからセンサ信号を受信すること、複合現実におけるユーザ相互作用を決定すること、センサ信号及びユーザ相互作用に部分的に基づいて触覚効果を決定すること、及び触覚効果に関連付けられる触覚信号を触覚出力デバイスに送信することを行うように構成される。
【０００４】
別の実施形態では、触覚によるコンプライアンス錯覚のための方法は、ジェスチャを検出するように構成されるセンサからセンサ信号を受信するステップと、複合現実におけるユーザ相互作用を決定するステップと、センサ信号及びユーザ相互作用に部分的に基づいて触覚効果を決定するステップと、触覚効果を出力するように構成される触覚出力デバイスに触覚効果に関連付けられる触覚信号を出力するステップとを含む。
【０００５】
更に別の実施形態では、コンピュータ可読媒体が、プロセッサによって実行されると、触覚によるコンプライアンス錯覚を可能にするように構成されるプログラムコードを含んでもよい。プログラムコードは、プロセッサによって実行されると、ジェスチャを検出するように構成されるセンサからセンサ信号を受信すること、複合現実におけるユーザ相互作用を決定すること、センサ信号及びユーザ相互作用に部分的に基づいて触覚効果を決定すること、触覚効果を出力するように構成される触覚出力デバイスに触覚効果に関連付けられる触覚信号を出力することを含む。
【０００６】
こうした例示の実施形態は、本主題を限定し又はその限界を定義するためではなく、その理解を支援するための例示を提供するために言及される。例示の実施形態は、詳細な説明において検討され、そこでは更なる説明が提供される。本明細書を吟味することによって、及び／又は請求項に記載の主題の１つ以上の実施形態を実施することによって、様々な実施形態によってもたらされる利点が更に理解され得る。
【図面の簡単な説明】
【０００７】
本明細書の以下の部分には完全な且つ実施可能な開示がより詳細に説明されている。本明細書は以下の添付の図面を参照する。
【図１Ａ】触覚によるコンプライアンス錯覚のための例示のシステムを示す。
【図１Ｂ】図１Ａで示されたシステムの一実施形態の外観図を示す。
【図１Ｃ】図１Ａで示されたシステムの別の実施形態の外観図を示す。
【図２Ａ】触覚によるコンプライアンス錯覚のための例示的な実施形態を示す。
【図２Ｂ】触覚によるコンプライアンス錯覚のための別の例示的な実施形態を示す。
【図３Ａ】触覚によるコンプライアンス錯覚のための別の例示的な実施形態を示す。
【図３Ｂ】触覚によるコンプライアンス錯覚のための別の例示的な実施形態を示す。
【図４】触覚によるコンプライアンス錯覚のための別の例示的な実施形態を示す。
【図５】触覚によるコンプライアンス錯覚のための例示的な実施形態のための方法のフローチャートである。
【発明を実施するための形態】
【０００８】
次に、多様な及び代替的な例示の実施形態及び添付の図面を詳細に参照する。各例示は、限定としてではなく、説明目的で提供されている。修正及び変更が行われ得ることは、当業者には明らかであろう。例えば、一実施形態の一部として例示され又は記載された特徴は、更なる実施形態をもたらすために別の実施形態において使用されてもよい。従って、本開示は、添付の請求項及び均等物の範囲に入る修正及び変形を含むことが意図されている。
【０００９】
（触覚によるコンプライアンス錯覚のための例示的なデバイス）
本開示の例示の実施形態は、タブレット、Ｅリーダ、携帯電話、又はラップトップ若しくはデスクトップコンピュータ又はウェアラブルデバイス等のコンピュータ等の電子デバイスを含む。電子装置は、ディスプレイ（例えば、タッチスクリーンディスプレイ）、メモリ、及びこうした要素の各々と通信するプロセッサを備える。例示の実施形態では、電子デバイスは、触覚効果を出力し、複合現実（例えば、仮想現実及び／又は拡張現実）用のアプリケーションを実行するように構成される。更なる例示的な電子デバイスは、従来のインターフェースデバイス、例えば、マウス、ジョイスティック、多機能コントローラ、タッチスクリーン等を使用しているユーザに触覚効果を出力するように構成されてもよい。
【００１０】
例示的な実施形態は、複合現実アプリケーションを実行するモバイルデバイスを含む。複合現実アプリケーションは、１つ以上の仮想オブジェクト、例えば、アプリケーション内のオブジェクト又はアプリケーション内のキャラクタを含んでもよい。一部の実施形態では、ユーザは、こうしたオブジェクトの１つと相互作用してもよい。例示の実施形態では、モバイルデバイスは、相互作用に関連付けられる１つ以上の触覚効果を決定し且つ出力するように構成される。例えば、ユーザは、（例えば、タッチセンサ式ディスプレイの表面で又は入力デバイスの側部から）仮想オブジェクトの１つを押してもよい。それに応じて、例示的なモバイルデバイスは、触覚効果を出力する。
【００１１】
例示の実施形態では、触覚効果は、オブジェクトのコンプライアンスをシミュレートするように構成される（例えば、相互作用の間のオブジェクトの剛性をシミュレートする）。このような触覚効果は、モバイルデバイスの１つ以上の表面上におけるコンプライアンスをシミュレートするように構成される特定のエンベロープ及び周波数変調を有する振動触覚効果を含んでもよい。コンプライアンス錯覚は、感知された力／圧力の関数として振動効果を変調することによって達成され得る。ここで振動は粒状合成法によって生成される。デバイスがこのような触覚効果を出力すると、ユーザは、電子デバイスの表面のコンプライアンス（例えば、剛性）の変化として触覚効果を感じてもよい。この触覚効果は、体験を更に向上させるために聴覚及び／又は視覚効果と調和させられてもよい。例えば、ディスプレイに示されたオブジェクトは、触覚効果が出力されるときに曲がってもよい。
【００１２】
別の例示的な実施形態では、ユーザは、コントローラ、例えば、ゲームインターフェース、パドル、ジョイスティック、多機能コントローラ、ウェアラブルデバイス（例えば、腕時計、バンド、ヘッドバンド、手袋、靴等）、又はモバイルデバイス（例えば、スマートフォン又はタブレット）を使用して複合現実又は仮想現実インターフェースにおけるオブジェクトと相互作用してもよい。このような実施形態では、ユーザが複合現実又は仮想現実インターフェースにおける１つ以上のオブジェクトと相互作用すると、プロセッサは、オブジェクトのコンプライアンスに関連付けられる触覚効果を決定して、コントローラを介してユーザにこうした触覚効果を出力する。一部の実施形態では、触覚効果は、体験を更に向上させるために聴覚及び／又は視覚効果と調和させられてもよい。例えば、このような実施形態では、コントローラは、複合現実又は仮想現実用のヘッドセットに通信可能に結合されてもよい。このような実施形態では、ディスプレイ（例えば、ヘッドセット又はディスプレイスクリーン）に示されたオブジェクトは、触覚効果が出力されるときに曲がってもよい。
【００１３】
（触覚によるコンプライアンス錯覚のための例示的なシステム）
図１Ａは、触覚によるコンプライアンス錯覚のための例示のシステム１００を示す。特に、この例示では、システム１００は、バス１０６を介して他のハードウェアとインターフェース接続されるプロセッサ１０２を有するコンピュータ装置１０１を含む。ＲＡＭ、ＲＯＭ又はＥＥＰＲＯＭ等の任意の適切な有形の（及び非一時的な）コンピュータ可読媒体を含み得るメモリ１０４が、コンピュータデバイスの動作を構成するプログラムコンポーネントを具現化する。この例示では、コンピュータデバイス１０１は、１つ以上のネットワークインターフェースデバイス１１０、入力／出力（Ｉ／Ｏ）インターフェースコンポーネント１１２、及び追加の記憶装置１１４を更に含む。
【００１４】
ネットワークデバイス１１０は、ネットワーク接続を容易にする１つ以上の任意のコンポーネントを表し得る。限定されないが、例示には、イーサネット（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４等の有線インターフェース、及び／又はＩＥＥＥ８０２．１１、ブルートゥース（登録商標）等の無線インターフェース、又は携帯電話ネットワークにアクセスするための無線インターフェース（例えば、ＣＤＭＡ、ＧＳＭ（登録商標）、ＵＭＴＳ又は他の移動通信ネットワーク）が含まれる。
【００１５】
Ｉ／Ｏコンポーネント１１２は、１つ以上のディスプレイ、ディスプレイを含むヘッドセット、湾曲ディスプレイ（例えば、ディスプレイが画像が表示され得るコンピュータ装置１０１の１つ以上の側部に拡張される傾斜面を含む）、キーボード、マウス、スピーカ、マイクロホン、カメラ（例えば、モバイルデバイスの前部又は後部向きのカメラ）、及び／又はデータの入力若しくは出力に使用される他のハードウェア等のデバイスへの接続を容易にするために使用されてもよい。記憶装置１１４は、デバイス１０１に含まれる磁気、光学、又は他の記憶媒体等の不揮発性記憶装置を表す。
【００１６】
（複数の）音声／映像出力デバイス１１５は、（複数の）プロセッサ１０２から信号を受信して、ユーザに音声又は映像出力を提供するように構成される１つ以上のデバイスを含む。例えば、一部の実施形態では、（複数の）音声／映像出力デバイス１１５は、タッチスクリーンディスプレイ、ＬＣＤディスプレイ、プラズマディスプレイ、ＣＲＴディスプレイ、プロジェクションディスプレイ、（例えば、複合現実又は仮想現実に使用される）それぞれの目に対するディスプレイを含むヘッドセット、又は当技術分野で周知の何らかの他のディスプレイを含んでもよい。更に、音声／映像出力デバイスは、音声をユーザに出力するように構成される１つ以上のスピーカを含んでもよい。
【００１７】
システム１００は、この例示では、デバイス１０１に統合されるタッチ面１１６を更に含む。タッチ面１１６は、ユーザのタッチ入力を感知するように構成される任意の表面を表す。一部の実施形態では、タッチ面１１６は、タッチ入力に関連付けられる追加情報、例えば、圧力、移動の速さ、移動の加速度、ユーザの皮膚の温度、又はタッチ入力に関連付けられる何らかの他の情報を検出するように構成されてもよい。１つ以上のセンサ１０８は、物体がタッチ面に接触する場合にタッチ領域におけるタッチを検出して、プロセッサ１０２によってユーザに適切なデータを提供するように構成されてもよい。任意の適切な数、タイプ、又は配置のセンサが使用され得る。例えば、抵抗性及び／又は容量性のセンサが、タッチ面１１６に組み込まれて、タッチの場所及び圧力等の他の情報を検出するために使用されてもよい。別の例示として、タッチ位置を決定するためにタッチ面のビューを備える光学センサが使用されてもよい。
【００１８】
更に、一部の実施形態では、タッチ面１１６及び／又は（複数の）センサ１０８は、タッチセンサを利用せずにユーザ相互作用を検出するセンサを含んでもよい。例えば、一実施形態では、センサは、ユーザによって表面に加えられる圧力を検出するために筋電図（ＥＭＧ）信号を使用するように構成されるセンサを含んでもよい。更に、一部の実施形態では、センサは、ＲＧＢ又は温度カメラを含んでもよく、ユーザが表面に加えている圧力の量を推定するためにこうしたカメラによってキャプチャされる画像を使用してもよい。
【００１９】
一部の実施形態では、センサ１０８及びタッチ面１１６は、タッチスクリーン又はタッチパッドを含んでもよい。例えば、一部の実施形態では、タッチ面１１６及びセンサ１０８は、表示信号を受信して、ユーザに画像を出力するように構成されるディスプレイの上に取り付けられるタッチスクリーンを含んでもよい。他の実施形態では、センサ１０８は、ＬＥＤ検出器を含んでもよい。例えば、一実施形態では、タッチ面１１６は、ディスプレイの側部に取り付けられるＬＥＤ指検出器を含んでもよい。一部の実施形態では、プロセッサは単一のセンサ１０８と通信し、他の実施形態では、プロセッサは複数のセンサ１０８、例えば、第１のタッチスクリーン及び第２のタッチスクリーンと通信する。一部の実施形態では、１つ以上のセンサ１０８は、モバイルデバイスの運動を検出するように構成される１つ以上のセンサ（例えば、加速度計、ジャイロスコープ、カメラ、ＧＰＳ、又は他のセンサ）を更に含む。こうしたセンサは、Ｘ，Ｙ又はＺ平面にデバイスを移動させるユーザ相互作用を検出するように構成されてもよい。センサ１０８は、ユーザ相互作用を検出し、ユーザ相互作用に基づいて、プロセッサ１０２に信号を送信するように構成される。一部の実施形態では、センサ１０８は、ユーザ相互作用の複数の態様を検出するように構成されてもよい。例えば、センサ１０８は、ユーザ相互作用の速さ及び圧力を検出して、この情報をインターフェース信号に組み込んでもよい。更に、一部の実施形態では、ユーザ相互作用は、デバイスから離れた多次元ユーザ相互作用を含む。例えば、一部の実施形態では、デバイスに関連付けられるカメラが、ユーザの動き、例えば、手、指、体、頭、目若しくは足の動作又は別の人物若しくはオブジェクトとの相互作用を検出するように構成されてもよい。
【００２０】
一部の実施形態では、入力は、ジェスチャを含んでもよい。ジェスチャは、意味又はユーザの意図を伝達する何らかの体の動きである。単純なジェスチャがより複雑なジェスチャを形成するように組み合わされ得ることが理解されるであろう。例えば、指をタッチセンサ面と接触させることは「フィンガーオン」ジェスチャと呼ばれてもよく、指をタッチセンサ面から取り除くことは離れた「フィンガーオフ」ジェスチャと呼ばれてもよい。「フィンガーオン」と「フィンガーオフ」ジェスチャとの間の時間が比較的短い場合、組み合わされたジェスチャは「タップ」と呼ばれてもよく、「フィンガーオン」と「フィンガーオフ」ジェスチャとの間の時間が比較的長い場合、組み合わされたジェスチャは「ロングタップ」と呼ばれてもよく、「フィンガーオン」及び「フィンガーオフ」ジェスチャの２次元（ｘ、ｙ）位置の間の距離が比較的大きい場合、組み合わされたジェスチャは「スワイプ」と呼ばれてもよく、「フィンガーオン」及び「フィンガーオフ」ジェスチャの２次元（ｘ、ｙ）位置の間の距離が比較的小さい場合、組み合わされたジェスチャは「スミア（ｓｍｅａｒｉｎｇ）」、「スマッジ（ｓｍｕｄｇｉｎｇ）」又は「フリック」と呼ばれてもよい。任意の数の２次元又は３次元の単純な又は複雑なジェスチャが様々な態様で組み合わされて、限定されないが、デバイスへの多数の指の接触、掌又は拳の接触、又は近接を含む任意の数の他のジェスチャを形成してもよい。また、ジェスチャは、加速度計、ジャイロスコープ又は他の運動センサを有するデバイスによって認識され、電気信号に変換される任意の形態の手の動きであり得る。このような電気信号は、仮想サイコロを振る等の動的効果をアクティブ化することができ、センサは動的効果を生成するユーザの意図をキャプチャする。
【００２１】
この例示では、触覚出力デバイス１１８がプロセッサ１０２と通信し、タッチ面１１６に結合される。一部の実施形態では、触覚出力デバイス１１８は、触覚信号に応答して、タッチ面のコンプライアンスをシミュレートする触覚効果を出力するように構成される。追加的又は代替的に、触覚出力デバイス１１８は、タッチ面を制御して動かす振動触覚効果を提供してもよい。一部の触覚効果は、デバイスの筐体に結合されるアクチュエータを利用してもよい。また、一部の触覚効果は、順番に及び／又は同時に複数のアクチュエータを使用してもよい。例えば、一部の実施形態では、表面テクスチャは、異なる周波数で表面を振動させることによりシミュレートされてもよい。このような実施形態では、触覚出力デバイス１１８は、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ  （ＥＲＭ）又は線形共振アクチュエータ（ＬＲＡ）の１つ以上を含んでもよい。一部の実施形態では、触覚出力デバイス１１８は、複数のアクチュエータ、例えば、ＥＲＭ及びＬＲＡを含んでもよい。更に他の実施形態では、触覚出力デバイス１１８は、より粗い表面を伝達するための手段として抵抗を提供する非作動型の触覚（例えば、空気、流体、又は超音波出力）を使用してもよい。
【００２２】
一部の実施形態では、１つ以上の触覚出力デバイスが、装置に対してＸ、Ｙ又はＺ平面に力を出力するように構成されてもよい。一部の実施形態では、こうした効果は、オブジェクトのコンプライアンスをシミュレートするように構成されてもよい。例えば、振動触覚効果は、コンプライアンスをシミュレートするために使用されてもよい。一部の実施形態では、コンプライアンスをシミュレートするように構成される触覚効果は、粒状合成を含む触覚信号を使用して生成されてもよい。このような触覚信号において、異なるコンプライアンスを生成するために複数のパラメータが使用されてもよい。例えば、パラメータは以下を含んでもよい。
・粒径：粒子における正弦波の周期；
・粒子密度：粒子周波数を制御するために使用されてもよく、より高い粒子密度はより高い粒子周波数を意味する；
・１周期の最大粒子：更新ごとの最大粒子数、これは粒子周波数を制御するために使用される別のパラメータであり、更新ごとの粒子数が多いほど、粒子周波数が高くなる；及び／又は
・粒子振幅：粒子の最大振幅。
【００２３】
一部の実施形態では、こうしたパラメータの各々は、コンプライアンスをシミュレートする触覚効果を生成するために調整又は変調されてもよい。以下のテーブルは、コンプライアンスをシミュレートする２つの例示的な触覚効果に関するパラメータを含む。
【００２４】
【表１】
2018113025.tif 000003
【００２５】
上記の例示では、コンプライアンス効果２は、コンプライアンス効果１と比較してより柔軟で弾性的な錯覚を生成してもよい。一部の実施形態では、パラメータは、入力値に基づいて動的に変更されてもよい。このような実施形態では、入力値は、ＶＲ／ＡＲオブジェクトの圧力値、移動距離、又は他のパラメータであり得る。例えば、一部の実施形態では、入力値の増加又は減少によって１つ以上のパラメータが増加又は減少し得る。一部の実施形態では、これはより動的なコンプライアンス錯覚を生成してもよい。他の実施形態では、触覚信号は、例えば、ユーザによってタッチ面に加えられた圧力の関数として可変のエンベロープの振幅、及び正弦搬送波を有する下がり鋸波（ｓａｗｔｏｏｔｈ−ｄｏｗｎ）粒子を含んでもよい。一部の実施形態では、正弦波搬送波は８０Ｈｚから３００Ｈｚの周波数を有してもよいが、残りの粒子は同じでままある。このような触覚信号において、周波数変動は、円滑なものから粗いものへの変形錯覚をシミュレートしてもよい。
【００２６】
一部の実施形態では、触覚効果は、ユーザ相互作用に関して感知された他の情報、例えば、仮想環境における手の相対位置、ＶＲ／ＡＲ環境におけるオブジェクト位置、オブジェクト変形、ＧＵＩ、ＵＩ、ＡＲ、ＶＲ等における相対オブジェクト相互作用に基づいて変調されてもよい。更に他の実施形態では、触覚効果を生成する方法は、短時間の効果の変化を含み、効果の振幅は感知された信号値（例えば、ユーザ相互作用に関連付けられる信号値）の関数として変化する。一部の実施形態では、効果の周波数が変化し得る場合、知覚される固定振幅が選択されてもよく、効果の周波数は感知された信号値の関数として変化し得る。
【００２７】
例えば、一実施形態では、ユーザは、実空間におけるジェスチャ、例えば、手の動きを行ってもよい。移動の間、ユーザの手は、第１の場所から第２の場所に移動するときに追跡されてもよい。触覚効果は、このジェスチャに基づいて決定されてもよい。更に、触覚効果は、ユーザの位置の関数として（例えば、２点間の距離又は２点間のユーザの位置の関数として）変化し得る。例えば、一実施形態では、プロセッサ１０１は、ジェスチャに部分的に基づいて（例えば、２点間の距離及び／又はユーザの手と一方の点との間の距離に基づいて）触覚効果の周波数、振幅、粒径、粒子振幅、又は粒子密度を修正してもよい。更に、一部の実施形態では、ジェスチャは、複合現実におけるジェスチャを含んでもよい。従って、一部の実施形態では、ジェスチャは、仮想現実におけるジェスチャを含んでもよく、仮想現実における２点間の移動を含んでもよい。
【００２８】
本明細書には単一の触覚出力デバイス１１８が示されているが、実施形態では、触覚効果を出力するために同じ又は異なるタイプの複数の触覚出力デバイスが使用されてもよい。一実施形態では、超音波周波数で、例えば、一部の実施形態では２０−２５ｋＨｚよりも高い周波数で動作するアクチュエータ等を使用することにより、垂直に及び／又は水平にタッチ面１１６の一部又は全部を移動するために圧電アクチュエータが使用されてもよい。一部の実施形態では、偏心回転質量モータ及び線形共振アクチュエータ等の複数のアクチュエータが、異なるテクスチャ及び他の触覚効果を与えるために単独で又は同時に使用され得る。
【００２９】
更に他の実施形態では、触覚出力デバイス１１８は、タッチ面１１６の表面でテクスチャをシミュレートするために、例えば、静電表面アクチュエータを使用することによって、静電力を使用してもよい。同様に、一部の実施形態では、触覚出力デバイス１１８は、タッチ面１１６の表面でユーザが感じる摩擦を変化させるために静電力を使用してもよい。例えば、一実施形態では、触覚出力デバイス１１８は、触覚効果を生成するための機械的な動きの代わりに電圧及び電流を加える静電ディスプレイ又は任意の他のデバイスを含んでもよい。このような実施形態では、静電アクチュエータは、導電層及び絶縁層を含んでもよい。このような実施形態では、導電層は、任意の半導体又は銅、アルミニウム、金又は銀等の他の導電性材料であってもよい。また、絶縁層は、ガラス、プラスチック、ポリマ、又は任意の他の絶縁性材料であってもよい。
【００３０】
プロセッサ１０２は、導電層に電気信号を加えることによって静電アクチュエータを動作させてもよい。一部の実施形態では、電気信号は、導電層をタッチ面１１６に近い又は接触しているオブジェクトと容量結合するＡＣ信号であってもよい。一部の実施形態では、ＡＣ信号は、高圧増幅器によって生成されてもよい。他の実施形態では、容量結合は、タッチ面１１６の表面における摩擦係数又はテクスチャをシミュレートしてもよい。例えば、一実施形態では、タッチ面１１６の表面は円滑であるが、容量結合はタッチ面１１６の表面の付近のオブジェクト間に引力を生み出してもよい。一部の実施形態では、オブジェクトと導電層との間の引力のレベルを変化させることは、タッチセンサ面１１６の表面で動くオブジェクトにおける擬似テクスチャを変化させること、又はオブジェクトがタッチ面１１６の表面で動くときに感じられる摩擦係数を変化させることができる。更に、一部の実施形態では、静電アクチュエータが、タッチ面１１６の表面において擬似テクスチャを変化させるために従来のアクチュエータと共に使用されてもよい。例えば、アクチュエータはタッチ面１１６の表面のテクスチャの変化をシミュレートするように振動してもよい。一方では同時に、静電アクチュエータがタッチ面１１６の表面において、又はコンピュータデバイス１０１の別の部分（例えば、その筐体又は別の入力デバイス）において異なるテクスチャ又は他の効果をシミュレートしてもよい。
【００３１】
一部の実施形態では、タッチ面１１６に近接した又は接触している体の部分をシミュレートすることによって触覚効果を生成するために静電アクチュエータが使用されてもよい。例えば、一部の実施形態では、ユーザの指の皮膚の神経終端又は静電アクチュエータに応答することができるスタイラスのコンポーネントをシミュレートしてもよい。例えば、皮膚の神経終端は、刺激されて、振動又は何らかのより具体的な感覚として静電アクチュエータ（例えば、容量結合）を感知してもよい。例えば、一実施形態では、静電アクチュエータの導電層が、ユーザの指の導電部分と結合するＡＣ電圧信号を受信してもよい。ユーザがタッチ面１１６にタッチしてタッチ面上で自身の指を動かすと、ユーザは、チクチク、ザラザラ、ガタガタ、でこぼこ、粘々、又は何らかの他のテクスチャを感知してもよい。
【００３２】
メモリ１０４に関しては、例示的なプログラムコンポーネント１２４、１２６及び１２８は、触覚によりコンプライアンス錯覚を与えるために一部の実施形態では、デバイスがどのように構成され得るかを示すように描かれている。この例示では、検出モジュール１２４が、タッチ、例えば、タッチの位置及び／又は圧力を決定するためにセンサ１０８を介してタッチ面１１６を監視するようにプロセッサ１０２を構成する。例えば、モジュール１２４は、タッチの存在又は不存在を追跡して、タッチが存在する場合、場所、経路、速度、加速度、圧力及び／又は経時的なタッチの他の特性を追跡するためにセンサ１０８をサンプリングしてもよい。
【００３３】
触覚効果決定モジュール１２６は、生成すべき触覚効果を選択するためのタッチ特性に関するデータを分析するプログラムコンポーネントを表す。例えば、一実施形態では、モジュール１２６は、タッチに基づいて、生成すべき触覚効果を決定するコードを含む。例えば、モジュール１２６は、タッチ（例えば、タッチの圧力）に部分的に基づいて、触覚信号に関する粒径、粒子密度、一周期の最大粒子、及び／又は粒子振幅を決定するように構成されるプログラムコードを含んでもよい。代替的に、一部の実施形態では、触覚効果決定モジュール１２６は、１つ以上の事前ロードされる触覚効果、例えば、複合現実又は仮想現実環境における特定のオブジェクトに関連付けられる触覚効果を含んでもよい。こうした触覚効果は、（複数の）触覚出力デバイス１１８が生成することができる任意の種類の触覚効果を含んでもよい。更に、一部の実施形態では、モジュール１２６は、触覚効果の特性、例えば、効果の強度、周波数、持続時間、ディーティサイクル、又は触覚効果に関連付けられる任意の他の特性を操作するように構成されるプログラムコードを含んでもよい。一部の実施形態では、モジュール１２６は、例えば、グラフィカルユーザインターフェースを介して、こうした特性をユーザが操作できるようにするプログラムコードを含んでもよい。
【００３４】
更に、一部の実施形態では、モジュール１２６は、ユーザ相互作用に基づいて触覚効果を決定するように構成されるプログラムコードを含んでもよい。例えば、モジュール１２６は、タッチ面１１６におけるユーザ入力又はモバイルデバイスの動作を検出するように構成される慣性センサ等の他のセンサを監視するように構成されてもよい。モジュール１２６は、この入力を検出して、入力に基づいて触覚効果を生成してもよい。例えば、一部の実施形態では、モジュール１２６は、ユーザ相互作用をシミュレートするように構成される触覚効果を決定するように構成されてもよい。
【００３５】
触覚効果生成モジュール１２８は、プロセッサ１０２に触覚信号を生成させ且つ触覚出力デバイス１１８に送信させ、それにより、選択された触覚効果を触覚出力デバイス１１８に生成させるプログラミングを表す。例えば、生成モジュール１２８は、記憶された波形又はコマンドにアクセスして、触覚出力デバイス１１８に送信してもよい。別の例示として、触覚効果生成モジュール１２８は、所望の種類の効果を受信して、適切な信号を生成して触覚出力デバイス１１８に送信するために、信号処理アルゴリズムを利用してもよい。更なる例示として、触覚効果に関する目標座標と共に所望の効果が示されて、表面（及び／又は他のデバイスコンポーネント）の適切な変位を生成して触覚効果を与えるために１つ以上のアクチュエータに適切な波形が送信されてもよい。一部の実施形態は、触覚効果を出力するために同時に複数の触覚出力デバイスを利用してもよい。
【００３６】
コンピュータシステムの特定の実施形態によっては、タッチ面がディスプレイを覆ってもよい（又は他のやり方で対応してもよい）。図１Ｂには、コンピュータシステム１００Ｂの外観図が示されている。コンピュータデバイス１０１は、デバイスのタッチ面及びディスプレイを組み合わせたタッチ可能ディスプレイ１１６を含む。タッチ面は、ディスプレイ外部又は実際のディスプレイコンポーネント上の１つ以上の材料層に対応してもよい。
【００３７】
図１Ｃは、タッチ面がディスプレイをオーバレイしないタッチ可能コンピュータシステムの別の例を示す。この例示では、コンピュータデバイス１０１は、デバイス１０１とインターフェース接続されたコンピュータシステム１２０に含まれるディスプレイ１２２に設けられるグラフィカルユーザインターフェースにマッピングされ得るタッチ面１１６を特徴とする。例えば、コンピュータデバイス１０１は、マウス、トラックパッド、又は他のデバイスを含んでもよいが、コンピュータシステム１２０は、デスクトップ若しくはラップトップコンピュータ、セットトップボックス（例えば、ＤＶＤプレーヤ、ＤＶＲ、ケーブルテレビボックス）、又は別のコンピュータシステムを含んでもよい。別の例示として、タッチ面１１６及びディスプレイ１２２は、ディスプレイ１２２を特徴付けるラップトップコンピュータにおけるタッチ可能トラックパッド等の同じデバイスに配置されてもよい。ディスプレイと統合されるか否かに関わらず、本明細書の例示における平面的なタッチ面の描写は、限定することを意図していない。他の実施形態は、触覚効果、例えば、コンプライアンス錯覚をシミュレートするように構成される触覚効果を与えるように更に構成される湾曲した又は不規則なタッチ可能面を含む。
【００３８】
図２Ａ−２Ｂは、触覚によるコンプライアンス錯覚のためのデバイスの例示的な実施形態を示す。図２Ａは、ディスプレイ２０２を特徴とするコンピュータ装置２０１を含むシステム２００の外観図を示す図面である。図２Ｂは、デバイス２０１の断面図を示す。デバイス２０１は図１Ａのデバイス１０１と同様に構成され得るが、プロセッサ、メモリ及びセンサ等のコンポーネントは明確のためこの図面には示されていない。
【００３９】
図２Ｂに見られるように、デバイス２０１は、複数の触覚出力デバイス２１８及び追加の触覚出力デバイス２２２を特徴とする。触覚出力デバイス２１８−１は、ディスプレイ２０２に垂直の力を与えるように構成されるアクチュエータを含んでもよいが、一方で２１８−２は横方向にディスプレイ２０２を動かしてもよい。この例では、触覚出力デバイス２１８、２２２はディスプレイに直接結合されているが、触覚出力デバイス２１８、２２２は別のタッチ面、例えば、ディスプレイ２０２上の材料の層に結合され得ることが理解されるべきである。更に、１つ以上の触覚出力デバイス２１８又は２２２が上記の静電アクチュエータを含んでもよいことが理解されるべきである。更に、触覚出力デバイス２２２は、デバイス２０１のコンポーネントを保持する筐体に結合されてもよい。図２Ａ−２Ｂの例では、ディスプレイ２０２の領域はタッチ領域に対応するが、原理はディスプレイとは完全に分離したタッチ面に適用され得る。
【００４０】
一実施形態では、触覚出力デバイス２１８の各々は圧電アクチュエータを含むが、追加の触覚出力デバイス２２２は、偏心回転質量モータ、線形共振アクチュエータ又は別の圧電アクチュエータを含む。触覚出力デバイス２２２は、プロセッサからの触覚信号に応答して振動触覚効果を提供するように構成され得る。振動触覚効果は、表面ベースの触覚効果と併せて及び／又は他の目的で利用され得る。
【００４１】
一部の実施形態では、触覚出力デバイス２１８−１及び２１８−２の何れか又は両方は、圧電アクチュエータ以外のアクチュエータを含み得る。何れのアクチュエータも、例えば、圧電アクチュエータ、電磁アクチュエータ、電気活性ポリマ、形状記憶合金、可撓性複合圧電アクチュエータ（例えば、可撓性材料を含むアクチュエータ）、静電、及び／又は磁歪アクチュエータを含み得る。更に、触覚出力デバイス２２２が示されているが、複数の他の触覚出力デバイスがデバイス２０１の筐体に結合可能であり、及び／又は触覚出力デバイス２２２は別の場所に結合されてもよい。デバイス２０１は、同様に、異なる場所でタッチ面に結合される複数の触覚出力デバイス２１８−１／２１８−２を特徴としてもよい。
【００４２】
次に図３Ａを参照すると、システム３００が示されている。システム３００は、モバイルデバイス３０２、ディスプレイ３０４、及びディスプレイ３０４に示されているオブジェクト３０６を含む。モバイルデバイス３０２は、当技術分野で周知の任意のタイプのモバイルデバイス、例えば、スマートフォン、タブレット、ラップトップ、又は他のタイプのデバイスを含む。ディスプレイ３０４は、タッチセンサ式入力装置、例えば、タッチスクリーンを更に含んでもよい。
【００４３】
ディスプレイ３０２にはオブジェクト３０６が示されている。図３Ａに示されるように、オブジェクト３０６は剣を含む。この剣３０６は、複合現実又は仮想現実インターフェースにおいて使用されるオブジェクトであってもよい。例えば、剣３０６は、複合現実又は仮想現実インターフェースにおいて使用可能な武器であってもよい。
【００４４】
図３Ａに示される実施形態では、モバイルデバイス３０２におけるセンサは、剣３０６とのユーザ相互作用を検出する。こうしたセンサは、タッチスクリーンにおけるセンサ又はデバイス３０２の表面全体にわたる他のセンサを含んでもよい。こうしたセンサは、ユーザ相互作用の圧力（例えば、ユーザの把持の強度、又はタッチスクリーンに対するユーザのタッチの圧力）を検出してもよい。ユーザが剣３０６と相互作用すると、モバイルデバイス３０２は、剣のコンプライアンスをシミュレートするように構成される触覚効果を決定し且つ出力する。一部の実施形態では、こうした触覚効果は剣３０６の剛性をシミュレートしてもよい。他の実施形態では、触覚効果は、例えば、ユーザが複合現実又は仮想現実インターフェースにおける戦いに参戦しているときに、剣３０６との衝突又は移動をシミュレートしてもよい。
【００４５】
一部の実施形態では、デバイス３０２は、検出されたユーザ相互作用の圧力に部分的に基づいて触覚効果を決定してもよい。更に、デバイス３０２は、ユーザ相互作用の圧力に部分的に基づいて、触覚信号のパラメータ、例えば、触覚信号に関する粒径、粒子密度、１周期の最大粒子、及び／又は粒子振幅を決定し且つ調節することにより触覚効果を決定してもよい。
【００４６】
更に、一部の実施形態では、モバイルデバイスにおけるタッチスクリーンに剣３０６を表示する代わりに、剣３０６は仮想現実又は複合現実環境で使用するためにリモートディスプレイ又はウェアラブルディスプレイ（例えば、ヘッドセット）上に表示されてもよい。このような実施形態では、デバイス３０２は、ディスプレイを備えなくてもよく、代わりにゲームコントローラ（例えば、パドル又は多機能コントローラ）であってもよく、ユーザは複合現実又は仮想現実環境と相互作用するためにこれを操作してもよい。
【００４７】
次に図３Ｂを参照すると、システム３５０が示されている。システム３５０は、モバイルデバイス３５２、ディスプレイ３５４、及びディスプレイに示されているオブジェクト３５６を含む。モバイルデバイス３５２は、当技術分野で周知の任意のタイプのモバイルデバイス、例えば、スマートフォン、タブレット、ラップトップ、又は他のタイプのデバイスを含む。ディスプレイ３５４は、タッチセンサ式入力デバイス、例えば、タッチスクリーンを更に含んでもよい。
【００４８】
オブジェクト３５６がディスプレイ３５２に示されている。図３Ｂに示されるように、オブジェクト３５６はキャラクタを含む。このキャラクタ３５６は、複合現実又は仮想現実インターフェースにおけるキャラクタであってもよい。例えば、キャラクタ３５６は、複合現実又は仮想現実インターフェース内でユーザがキャプチャするキャラクタであってもよい。
【００４９】
図３Ａに示される実施形態では、モバイルデバイス３５２におけるセンサは、キャラクタ３５６とのユーザ相互作用を検出する。こうしたセンサは、タッチスクリーンにおけるセンサ又はデバイス３５２の表面全体にわたる他のセンサを含んでもよい。こうしたセンサは、ユーザ相互作用の圧力（例えば、ユーザの把持の強度、又はタッチスクリーンに対するユーザのタッチの圧力）を検出してもよい。ユーザがキャラクタ３５６と相互作用すると、モバイルデバイス３５２は、キャラクタのコンプライアンスをシミュレートするように構成される触覚効果を決定し且つ出力する。一部の実施形態では、こうした触覚効果はキャラクタ３５６の剛性又は柔軟性をシミュレートしてもよい。例えば、一部の実施形態ではキャラクタ３５６は大理石のような硬さに感じられてもよい。他の実施形態では、キャラクタ３５６は、例えば、膨張した風船又は水風船のように比較的柔軟に感じられてもよい。他の実施形態では、触覚効果は、例えば、キャラクタがユーザの把持から逃れようとするときのキャラクタ３５６の動きをシミュレートしてもよい。
【００５０】
更に、一部の実施形態では、ユーザのジェスチャの強度（例えば、ユーザが仮想オブジェクトに加える圧力の量）は、（例えば、複合又は仮想現実におけるオブジェクトが現実世界に存在しないかもしれないので）ユーザによって加えられた実際の圧力として決定される必要はない。一部の実施形態では、ユーザのジェスチャの強度は、ジェスチャの角度（例えば、ジェスチャ（例えば、絞りジェスチャ）の間のユーザの指の角度）等の他の入力に従って決定され又はシミュレートされてもよい。一部の実施形態では、このデータは、トラッキングセンサ（例えば、リープモーション）から決定されてもよい。一部の実施形態では、ユーザのジェスチャの強度は、ジョイスティック、ボタン、キーボード等の他の入力にもマッピングされ得る。例えば、プロセッサは、非常に強いジェスチャはボタンを押すことが意図されているが、弱いジェスチャは新しいユーザインターフェースを呼び出すことが意図されていることを決定してもよい。
【００５１】
一部の実施形態では、デバイス３５２は、検出されたユーザ相互作用の圧力に部分的に基づいて触覚効果を決定してもよい。更に、デバイス３５２は、ユーザ相互作用の圧力に部分的に基づいて、触覚信号のパラメータ、例えば、触覚信号に関する粒径、粒子密度、１周期の最大粒子、及び／又は粒子振幅を決定し且つ調節することにより触覚効果を決定してもよい。
【００５２】
次に図４を参照すると、図４はシステム４００を示している。システム４００は、入力インターフェース４０４を有するハンドヘルドデバイス４０２を備える。ハンドヘルドデバイス４０２は、ユーザ４０６によって制御される。
【００５３】
ハンドヘルドデバイス４０２は、当技術分野で周知の任意のタイプのハンドヘルドデバイス、例えば、ゲームコントローラ（例えば、パドル、ジョイスティック、又は多機能コントローラ）、スマートフォン、タブレット、ラップトップ、又は他のタイプのデバイスを含む。実施形態では、図示のハンドヘルドデバイスは、方向ボタン４０４を更に含む。一部の実施形態では、こうした方向入力ボタン４０４は、固定ボタンであってもよいが、他の実施形態では、タッチスクリーンディスプレイに表示されてもよい。
【００５４】
ハンドヘルドデバイス４０２は、１つ以上のセンサ、例えば、慣性センサ、圧力センサ、ボタン、及び／又はタッチセンサ式入力デバイスを備える。ユーザ４０６は、複合現実又は仮想現実インターフェースと相互作用するためにハンドヘルドデバイス４０２と相互作用してもよい。例えば、ユーザ４０６は、ディスプレイ（例えば、ウェアラブルディスプレイ）において仮想又は複合現実インターフェースを見ていてもよい。ユーザは、ハンドヘルドデバイス４０２を移動させる、絞る、押す、スワイプする又は他のやり方で相互作用することによって仮想又は複合現実と相互作用してもよい。
【００５５】
ユーザがハンドヘルドデバイス４０２と相互作用すると、プロセッサは、デバイスのセンサから信号を受信して、複合現実又は仮想現実における１つ以上のキャラクタ又はオブジェクトを制御してもよい。この相互作用の間中、ハンドヘルドデバイス、又はハンドヘルドデバイスに通信可能に結合されるプロセッサは、複合現実又は仮想現実におけるオブジェクトのコンプライアンスをシミュレートするように構成される触覚効果を決定し且つ出力する。一部の実施形態では、こうしたオブジェクトの剛性又は柔軟性をシミュレートしてもよい。例えば、一部の実施形態ではオブジェクトは大理石のような硬さに感じられてもよい。他の実施形態では、オブジェクトは、例えば、膨張した風船又は水風船のように比較的柔軟に感じられてもよい。他の実施形態では、触覚効果は、キャラクタ又はオブジェクトの移動をシミュレートしてもよい。更に他の実施形態では、触覚効果は、ユーザが複合現実又は仮想現実における１つ以上のオブジェクトを移動させるときの摩擦又は抵抗をシミュレートしてもよい。
【００５６】
（触覚によるコンプライアンス錯覚のための例示的な方法）
図５は、一実施形態による触覚によるコンプライアンス錯覚のための方法を実行するためのステップのフローチャートである。一部の実施形態では、図５のステップは、例えば、汎用コンピュータ、モバイルデバイス又はサーバにおけるプロセッサによって実行されるプログラムコードで実装されてもよい。一部の実施形態では、こうしたステップは一群のプロセッサによって実装されてもよい。一部の実施形態では、図５に示される１つ以上のステップは省略され又は異なる順番で行われてもよい。同様に、一部の実施形態では、図５に示されない追加のステップが実行されてもよい。以下のステップは図１に示されたコンピュータ装置１００に関して記載されたコンポーネントを参照して記載される。
【００５７】
方法５００はステップ５０２で開始して、プロセッサ１０２がセンサ１０８からセンサ信号を受信する。センサ１０８は当技術分野で周知の複数のセンサの１つ以上を含む。例えば、抵抗性及び／又は容量性のセンサが、タッチ面１１６に組み込まれて、タッチの場所及び圧力等の他の情報を検出するために使用されてもよい。別の例示として、タッチ位置を決定するためにタッチ面のビューを備える光学センサが使用されてもよい。更に他の実施形態では、センサ１０８及びタッチ面１１６は、タッチスクリーンディスプレイを含んでもよい。更に他の実施形態では、センサ１０８は、ユーザ相互作用の間にユーザによって加えられた圧力、例えば、デバイス１００の表面又は側部に加えられた圧力の量を検出するように構成されてもよい。更に他の実施形態では、センサ１０８は、デバイス１００の方向及び／又は動きを検出するように構成されるセンサ（例えば、慣性センサ、速度センサ、ＧＰＳセンサ等）を含んでもよい。
【００５８】
更に、一部の実施形態では、タッチ面１１６及び／又は（複数の）センサ１０８は、タッチセンサを利用せずにユーザ相互作用を検出するセンサを含んでもよい。例えば、一実施形態では、センサは、ユーザによって表面に加えられる圧力を検出するために筋電図（ＥＭＧ）信号を使用するように構成されるセンサを含んでもよい。更に、一部の実施形態では、センサは、ＲＧＢ又は温度カメラを含んでもよく、ユーザが表面に加えている圧力の量を推定するためにこうしたカメラによってキャプチャされる画像を使用してもよい。例えば、一実施形態では、複合又は仮想現実環境において、ユーザは、複合又は仮想現実に存在するが現実世界には存在しないオブジェクト又は表面にタッチしてもよい。このような実施形態では、ユーザが仮想表面又はオブジェクトに加える圧力は、仮想表面又はオブジェクトの方へのユーザの手の移動距離としてシミュレートされてもよい。一部の実施形態では、ユーザのジェスチャは、例えば、１つ以上のカメラセンサ（リープモーション等）、コンピュータデバイス１０１に取り付けられる任意のジェスチャトラッキングセンサ、又はデバイス（例えば、ウェアラブルデバイス）に通信可能に結合されるデバイスによって追跡されてもよい。更に、一部の実施形態では、ユーザのジェスチャは、ジョイスティック、ボタン、キーボード等の他の入力に関連付けられてもよい。
【００５９】
ステップ５０４において、プロセッサ１０２はユーザ相互作用を決定する。このユーザ相互作用は、複合現実又は仮想現実環境における相互作用、例えば、ディスプレイに示された複合現実又は仮想現実環境における１つ以上のキャラクタとの相互作用を含んでもよい。一部の実施形態では、この相互作用は、上記のセンサ１０８又は入出力デバイス１１２を介してであってもよい。
【００６０】
ステップ５０６において、プロセッサ１０２は触覚効果を決定する。一部の実施形態では、触覚効果は、例えば、インターフェースにおけるオブジェクト又はキャラクタのコンプライアンスをシミュレートするために、複合現実又は仮想現実インターフェースに関連付けられる特徴をシミュレートするように構成されてもよい。一部の実施形態では、プロセッサ１０２は、タッチ（例えば、タッチの圧力）に部分的に基づいて、触覚信号に関する粒径、粒子密度、一周期の最大粒子、及び／又は粒子振幅を決定及び／又は修正することにより触覚効果を決定してもよい。代替的に、一部の実施形態では、触覚効果決定モジュール１２６は、１つ以上の事前ロードされる触覚効果、例えば、複合現実又は仮想現実環境における特定のオブジェクトに関連付けられる触覚効果を含んでもよい。
【００６１】
他の実施形態では、プロセッサ１０２は、ユーザの選択に基づいて触覚効果を決定してもよい。例えば、ユーザは利用可能な触覚効果を選択してもよい。例えば、コンピュータデバイス１０１のデータストアは、触覚設計者又はユーザが選択し得る多数の触覚効果に関連付けられるデータを含んでもよい。更に、触覚設計者又はユーザは、触覚効果に関連付けられる特性を調節してもよい。例えば、触覚設計者は、触覚効果に関連付けられる持続時間、周波数、強度、又は何らかの他の特性を修正してもよい。一部の実施形態では、プロセッサ１０２は、触覚効果を自動的に選択してもよい。例えば、一部の実施形態では、プロセッサ１０２はコンピュータデバイス１０１のディスプレイの面に表示される映像内で起こるイベントに関連付けられる触覚効果を選択してもよい。更に、一部の実施形態では、プロセッサ１０２は、触覚効果のパラメータを修正するために事前設計されたアルゴリズムを実行してもよい。
【００６２】
ステップ５０８において、プロセッサ１０２は触覚出力デバイス１１８に触覚信号を出力する。触覚効果を出力するために、プロセッサ１０２は、触覚効果を出力する触覚出力デバイス１１８に触覚効果に関連付けられる触覚信号を送信してもよい。
【００６３】
ステップ５１０において、プロセッサ１０２は触覚効果のエンベロープを変化させる。例えば、プロセッサは、タッチ（例えば、タッチの圧力）に部分的に基づいて、触覚信号に関する粒径、粒子密度、一周期の最大粒子、及び／又は粒子振幅の１つ以上を修正してもよい。こうした修正は、触覚効果のユーザの知覚を変更してもよい。例えば、ユーザは、プロセッサ１０２が触覚効果のパラメータを変化させると異なる及び／又は変化するコンプライアンスを感じてもよい。例えば、一実施形態では、触覚効果を生成するために使用される「粒子」は、装置１００において異なるタイプのコンプライアンスを生成するように修正されてもよい。このような実施形態では、プロセッサ１０２は、８０Ｈｚから３００Ｈｚの周波数を有するように触覚信号の正弦波搬送波を修正してもよいが、残りの粒子は同じままであってもよい。このような実施形態では、周波数変動は、デバイス１００のユーザによって感じられる円滑なものから粗いものへの変形錯覚をシミュレートしてもよい。
【００６４】
ステップ５１２において、プロセッサは、ディスプレイを備え得る（複数の）音声／映像出力デバイス１１５に表示信号を出力する。一部の実施形態では、表示信号は、複合現実又は仮想現実インターフェースにおけるキャラクタ及び／又はオブジェクトを含んでもよい。オブジェクト又はキャラクタは、触覚効果が出力されると同時にユーザ相互作用に反応してもよく、従って複合現実又は仮想現実体験の現実感を更に向上させる。例えば、一部の実施形態では、効果は、視覚効果によって高められてもよい。このような例では、ユーザは３０ｃｍ移動してもよいが、仮想オブジェクトは１０ｃｍだけ移動して、複合現実インターフェース内で重いオブジェクトであり高摩擦の印象を与える。更に、一部の実施形態では、錯覚はユーザインターフェースの文脈で使用され得る。このような実施形態では、力感応タッチスクリーンは、ＵＩにおける異なる機能に関連付けられる異なるコンプライアンス（柔軟、硬質）を有するアイコン／ボタンを有し得る。
【００６５】
触覚によるコンプライアンス錯覚には多くの利点が有る。本明細書で検討された実施形態は、より現実的な複合現実又は仮想現実体験をもたらす。従って、ユーザは、本明細書に記載の特徴を備えるデバイス及びソフトウェアと相互作用するときにより良好な満足感及び体験を有し得る。従って、上記の例の各々は、ユーザ満足度を向上させるので、本明細書に記載の技術をより多く採用することに繋がる。
【００６６】
（概論）
上記の方法、システム及びデバイスは例示である。様々な構成によって、適宜、様々なプロシージャ又はコンポーネントが省略、置換、又は追加されてもよい。例えば、代替的な構成では、方法は記載されたものとは異なる順序で実行されてもよく、及び／又はステージが追加、省略及び／又は結合されてもよい。また、所定の構成に関して記載された機能は、様々な他の構成に結合されてもよい。構成の異なる態様及び要素が、同様に結合されてもよい。また、技術は進歩するものであり、そのため要素の多くは例示であり、本開示又は特許請求の範囲を限定しない。
【００６７】
例示的な構成（実装を含む）の十分な理解を与えるために説明の中で特定の詳細が与えられている。しかしながら、こうした構成は特定の詳細無しで実施されてもよい。例えば、周知の回路、工程、アルゴリズム、構造及び技術が、構成を不明確にするのを避けるために不要な詳細無しで示されている。この説明は、例示的な構成のみを提供するものであり、請求項の範囲、応用性又は構成を限定しない。むしろ、構成の上記説明は、記載された技術を実装するための実施可能な説明を当業者に提供するであろう。本開示の精神又は範囲から逸れることなく、要素の機能及び配置の様々な変更が行われてもよい。
【００６８】
また、構成は、フロー図又はブロック図として描かれる処理として記載されてもよい。各々が連続した工程として操作を説明している場合が有るが、こうした操作の多くは並列的又は同時に行われ得る。更に、操作の順序は並び替えられてもよい。工程は、図面に含まれない追加のステップを有してもよい。更に、方法の例示は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はこれらの任意の組み合わせによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実装される場合、必要なタスクを実行するためのプログラムコード又はコードセグメントは、記憶媒体等の非一時的なコンピュータ可読媒体に記憶されてもよい。プロセッサは、記載されたタスクを実行してもよい。
【００６９】
複数の例示的な構成が記載されているが、本開示の精神から逸脱することなく、様々な修正、代替構造及び均等物が使用されてもよい。例えば、上記の要素は、より大きなシステムのコンポーネントであってもよく、他の規則が本発明のアプリケーションに優先し又はそれを修正してもよい。また、上記の要素が検討される前、間又は後で多くのステップが行われてもよい。従って、先の記載によって請求項の範囲は縛られない。
【００７０】
本明細書における「適合」又は「構成」の使用は、追加のタスク又はステップを実行するように適合又は構成されるデバイスを排除しない開放的且つ包括的な言語を意図している。更に、「基づいて」の使用は開放的且つ包括的であることが意図されており、即ち、１つ以上の記載された条件又は値に「基づいて」行われる処理、ステップ、計算、又は他の動作が、実際には、記載されたものを超える追加の条件又は値に基づいてもよい。本明細書に含まれる表題、リスト及び番号は、単に説明を容易にするためのものであって、限定することを意図していない。
【００７１】
本主題の態様に従う実施形態は、デジタル電子回路、コンピュータハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせで実装され得る。一実施形態では、コンピュータは、１つ又は複数のプロセッサを備えてもよい。プロセッサは、プロセッサに結合されるＲＡＭ（ランダム・アクセス・メモリ；ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）等のコンピュータ可読媒体を備え、又はそれへのアクセスを有する。プロセッサは、センササンプリングルーチン、選択ルーチン、及び上述の方法を実行する他のルーチン等、メモリに記憶されたコンピュータ実行可能プログラム命令を実行する。
【００７２】
このようなプロセッサは、マイクロプロセッサ、デジタル・シグナル・プロセッサ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒ；ＤＳＰ）、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ；ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ；ＦＰＧＡ）、及び状態機械を含む。このようなプロセッサは、ＰＬＣ、割り込みコントローラ（ｐｒｏｇｒａｍｍａｂｌｅ  ｉｎｔｅｒｒｕｐｔ  ｃｏｎｔｒｏｌｌｅｒ；ＰＩＣ）、プログラマブル論理回路（ｐｒｏｇｒａｍｍａｂｌｅ  ｌｏｇｉｃ  ｄｅｖｉｃｅ；ＰＬＤ）、プログラマブルＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ；ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ｅｌｅｃｔｒｏｎｉｃａｌｌｙ  ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ；ＥＰＲＯＭ又はＥＥＰＲＯＭ）、又は他の類似のデバイス等のプログラマブル電子デバイスを更に備えてもよい。
【００７３】
このようなプロセッサは、媒体、例えば、プロセッサによって実行されると、プロセッサによって遂行又は支援される本明細書に記載のステップをプロセッサに実行させることができる命令を記憶し得る有形のコンピュータ可読媒体を備え、又はこれと通信してもよい。コンピュータ可読媒体の実施形態は、限定されないが、プロセッサ、例えばウェブサーバのプロセッサにコンピュータ可読命令を提供することができる全ての電子、光学、磁気、又は他の記憶デバイスを備えてもよい。媒体の他の例は、限定されないが、フロッピーディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取り可能な任意の他の媒体を含む。また、様々な他のデバイスは、ルータ、プライベート若しくはパブリックネットワーク、又は他の伝送デバイス等のコンピュータ可読媒体を含んでもよい。記載されたプロセッサ及び処理は、１つ以上の構造内に有ってもよく、１つ以上の構造を通じて分散されてもよい。プロセッサは、本明細書に記載の１つ以上の方法（又は方法の一部）を実行するためのコードを備えてもよい。
【００７４】
本主題はその特定の実施形態に関して詳細に記載されているが、上記のことを理解すると、このような実施形態の変形、変化、及び均等物を当業者であれば容易に生み出し得ることが理解されるであろう。従って、本開示は、限定ではなく例示を目的として提示されており、当業者には容易に明らかとなる本主題への修正、変更及び／又は追加を含むことを排除しないことが理解されるべきである。
【図１Ａ】
2018113025.tif 000004
【図１Ｂ】
2018113025.tif 000005
【図１Ｃ】
2018113025.tif 000006
【図２Ａ】
2018113025.tif 000007
【図２Ｂ】
2018113025.tif 000008
【図３Ａ】
2018113025.tif 000009
【図３Ｂ】
2018113025.tif 000010
【図４】
2018113025.tif 000011
【図５】
2018113025.tif 000012
【外国語明細書】
2018113025000001.pdf