(57)【要約】実施形態は、ユーザ入力（例えば、圧力ベースまたは他のジェスチャ）に応答してハプティック効果を生成する。実施形態は、ユーザ入力に対応する第１の入力範囲を受信し、第１の入力範囲に対応するハプティックプロファイルを受信する。ハプティックプロファイルの第１の動的部分の間、実施形態は、第１の動的部分の間の第１の入力範囲の値に基づいて変化する動的ハプティック効果を生成する。さらに、ハプティックプロファイルの第１のトリガ位置において、実施形態は、トリガされたハプティック効果を生成する。【選択図】図１
2019519856.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ入力に応じてハプティック効果を生成する方法であって、
前記ユーザ入力に対応する第１の入力範囲を受信するステップと、
前記第１の入力範囲に対応するハプティックプロファイルを受信するステップと、
前記ハプティックプロファイルの第１の動的部分中に、前記第１の動的部分中の第１の入力範囲の値に基づいて変化する動的ハプティック効果を生成するステップと、
前記ハプティックプロファイルの第１のトリガ位置において、トリガされたハプティック効果を生成するステップと、
を備える方法。
【請求項２】
前記ハプティックプロファイルの第２の動的部分中に、前記第２の動的部分中の前記第１の入力範囲の値に基づいて変化する動的ハプティック効果を生成するステップをさらに備える、請求項１記載の方法。
【請求項３】
前記動的ハプティック効果の少なくとも一部は、グラニュラーシンセシスを用いて生成される、請求項１に記載の方法。
【請求項４】
前記動的ハプティック効果の少なくとも一部は、補間を用いて生成される、請求項１に記載の方法。
【請求項５】
前記ユーザ入力は、タッチスクリーンに加えられ、前記第１の入力範囲は、前記ユーザ入力によって前記タッチスクリーンに加えられる圧力の範囲に対応する、請求項１に記載の方法。
【請求項６】
前記ユーザ入力は、タッチスクリーンに加えられ、前記第１の入力範囲は、前記タッチスクリーン上のタッチ位置に対応する、請求項１に記載の方法。
【請求項７】
前記ハプティックプロファイルは、シミュレートされる要素の物理的特性に基づく、請求項１に記載の方法。
【請求項８】
前記要素は、ボタンまたは材料のうちの１つである、請求項７に記載の方法。
【請求項９】
第２の入力範囲を受信するステップをさらに備え、前記動的ハプティック効果を生成するステップは、前記第１の入力範囲が前記第２の入力範囲を変調することを含む、請求項１に記載の方法。
【請求項１０】
前記動的ハプティック効果または前記トリガされたハプティック効果と共に、オーディオおよび／またはビジュアルフィードバックをさらに備える、請求項１に記載の方法。
【請求項１１】
前記ユーザ入力は、圧力ベースであり、前記動的ハプティック効果は、前記ユーザ入力が圧力の増加に対応するかまたは圧力の減少に対応するかに基づいてさらに変化する、請求項１に記載の方法。
【請求項１２】
前記ユーザ入力は、スライドジェスチャであり、前記動的ハプティック効果は、前記スライドジェスチャの方向および速度に基づいてさらに変化する、請求項１に記載の方法。
【請求項１３】
前記ユーザ入力は、圧力ベース入力とスライドジェスチャとの両方を含む、請求項１に記載の方法。
【請求項１４】
プロセッサによって実行されると、前記プロセッサにユーザ入力に応じてハプティック効果を生成させる命令が格納された非一時的コンピュータ可読媒体であって、前記ハプティック効果の生成は、
前記ユーザ入力に対応する第１の入力範囲を受信するステップと、
前記第１の入力範囲に対応するハプティックプロファイルを受信するステップと、
前記ハプティックプロファイルの第１の動的部分中に、前記第１の動的部分中の第１の入力範囲の値に基づいて変化する動的ハプティック効果を生成するステップと、
前記ハプティックプロファイルの第１のトリガ位置において、トリガされたハプティック効果を生成するステップと、
を備える非一時的コンピュータ可読媒体。
【請求項１５】
前記ハプティックプロファイルの第２の動的部分中に、前記第２の動的部分中の第１の入力範囲の値に基づいて変化する動的ハプティック効果を生成するステップをさらに備える、請求項１４に記載の非一時的コンピュータ可読媒体。
【請求項１６】
前記動的ハプティック効果の少なくとも一部は、グラニュラーシンセシスを用いて生成される、請求項１４に記載の非一時的コンピュータ可読媒体。
【請求項１７】
前記動的ハプティック効果の少なくとも一部は、補間を用いて生成される、請求項１４に記載の非一時的コンピュータ可読媒体。
【請求項１８】
前記ユーザ入力は、タッチスクリーンに加えられ、前記第１の入力範囲は、前記ユーザ入力によって前記タッチスクリーンに加えられる圧力の範囲に対応する、請求項１４に記載の非一時的コンピュータ可読媒体。
【請求項１９】
前記ユーザ入力は、タッチスクリーンに加えられ、前記第１の入力範囲は、前記タッチスクリーン上のタッチ位置に対応する、請求項１４に記載の非一時的コンピュータ可読媒体。
【請求項２０】
ハプティック可能システムであって、
プロセッサと、
前記プロセッサに結合されたハプティック出力装置と、
前記プロセッサに結合されたユーザインターフェースと、
を備え、
前記プロセッサは、命令を実行するときに、
前記ユーザインターフェース上のユーザ入力に対応する第１の入力範囲を受信し、前記第１の入力範囲に対応するハプティックプロファイルを受信し、
前記ハプティックプロファイルの第１の動的部分中に、前記第１の動的部分中の前記第１の入力範囲の値に基づいて変化する前記ハプティック出力装置を用いて動的ハプティック効果を生成し、
前記ハプティックプロファイルの第１のトリガ位置において、前記ハプティック出力装置を用いて、トリガされたハプティック効果を生成する、
ハプティック可能システム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、２０１６年７月８日に出願された米国仮特許出願第６２／３６０，０３６号の優先権を主張し、その開示は、参照により本明細書に組み込まれる。
【背景技術】
【０００２】
技術分野
一実施形態は、一般にハプティック効果に関し、特にマルチモーダルハプティック効果の生成に関する。
【０００３】
背景情報
携帯電話、スマートフォン、カメラ付き電話、カメラ、携帯情報端末（「ＰＤＡ」）などのポータブル／モバイル電子デバイスは、通常、デバイスに関して発生する特定のイベントをユーザに警告する出力機構を含む。例えば、携帯電話は、通常、着信電話呼イベントをユーザに可聴的に通知するスピーカを含む。可聴信号は、特定の着信音、楽曲、効果音などを含むことができる。さらに、携帯電話およびスマートフォンは、ユーザに電話の着信を視覚的に通知するために使用することができる表示画面を含むことができる。
【０００４】
いくつかのモバイルデバイスでは、運動感覚フィードバック（能動力フィードバックおよび抵抗力フィードバックなど）および／または触覚フィードバック（振動、テクスチャ、および熱など）もユーザに提供され、より一般的には「ハプティックフィードバック」または「ハプティック効果」として集合的に知られている。ハプティックフィードバックは、ユーザインターフェースを強化し、単純化するキューを提供することができる。具体的には、振動効果または振動触覚ハプティック効果は、電子デバイスのユーザにキューを提供して、ユーザに特定のイベントを警告するか、または現実的なフィードバックを提供して、シミュレートされた環境または仮想環境内により大きな感覚的没入を生成するのに有用であり得る。
【発明の概要】
【０００５】
実施形態は、ユーザ入力（例えば、圧力ベースまたは他のジェスチャ）に応答してハプティック効果を生成する。実施形態は、ユーザ入力に対応する第１の入力範囲を受信し、第１の入力範囲に対応するハプティックプロファイルを受信する。ハプティックプロファイルの第１の動的部分の間、実施形態は、第１の動的部分の間の第１の入力範囲の値に基づいて変化する動的ハプティック効果を生成する。さらに、ハプティックプロファイルの第１のトリガ位置において、実施形態は、トリガされたハプティック効果を生成する。
【図面の簡単な説明】
【０００６】
【図１】図１は、本発明の実施形態を実装することができるハプティック可能なマルチモーダルモバイルデバイス／システムのブロック図である。
【図２】図２は、圧力ベースの入力に応答してハプティック効果を提供するための実施形態のグラフ表現を示す。
【図３】図３は、圧力ベースの入力に応答してハプティック効果を提供するための実施形態のグラフ表現を示す。
【図４】図４は、一実施形態による、マルチモーダルハプティック効果でボタン押下をシミュレートする例を示す。
【図５】図５は、一実施形態による、マルチモーダルハプティック効果を有する異なる材料をシミュレートする例を示す。
【図６】図６は、ユーザがタッチスクリーンのｘ−ｙ軸平面において材料を横切って指をスライドさせるときの、図５の材料のテクスチャをシミュレートする例を示す。
【図７】図７は、本発明の実施形態によるグラニュラーシンセシスツールを示す。
【図８】図８は、一実施形態による、マルチモーダルハプティック効果を生成するときの図１のシステムの機能のフローチャートである。
【図９】図９は、一実施形態による、マルチモーダルハプティック効果を生成するときの図１のシステムの機能のフローチャートである。
【図１０】図１０は、本発明の実施形態による、４つの異なる機械的スイッチの力プロファイルおよび対応するハプティックプロファイルを示す。
【発明を実施するための形態】
【０００７】
詳細な説明
本発明の実施形態は、ユーザ入力の範囲中に特定の閾値でトリガされ得る予め設計された静的ハプティック効果と組み合わされたユーザ入力の範囲に基づいて、動的に生成されたハプティック効果を組み合わせるマルチモーダルハプティック効果を生成する。マルチモーダルハプティック効果は、圧力ベースの入力およびｘ−ｙ軸位置入力の両方に応答して生成することができる。マルチモーダルハプティック効果は、ユーザがこれらの現実世界の要素のシミュレーションに圧力を加えるか、またはこれらの要素の表面を横断するとき、材料の特性または物理的ボタンなどの要素の現実世界の物理的特性を模倣するために使用することができる。
【０００８】
図１は、本発明の実施形態を実装することができるハプティック可能にされたモバイルデバイス／システム１０のブロック図である。システム１０は、ハウジング１５内に取り付けられたタッチ感応表面またはタッチスクリーン１１または他のタイプのタッチ感応ユーザインターフェースを含み、機械的キー／ボタン１３を含み得る。システム１０は、スマートフォン、タブレット、タッチスクリーンを備えたデスクトップまたはラップトップコンピュータシステム、ゲームコントローラ、任意のタイプのウェアラブルデバイスなどを含む、タッチ感応ユーザインターフェース／タッチスクリーン１１を含む任意のタイプのデバイスとすることができる。
【０００９】
システム１０の内部には、システム１０にハプティック効果を生成するハプティックフィードバックシステムがある。ハプティックフィードバックシステムは、プロセッサまたはコントローラ１２を含む。プロセッサ１２には、メモリ２０と、ハプティック出力装置１８に結合された駆動回路１６とが結合されている。プロセッサ１２は、任意のタイプの汎用プロセッサであってもよく、または特定用途向け集積回路（「ＡＳＩＣ」）などのハプティック効果を提供するように特に設計されたプロセッサであってもよい。プロセッサ１２は、システム１０全体を動作させる同じプロセッサであってもよいし、別個のプロセッサであってもよい。プロセッサ１２は、高レベルのパラメータに基づいて、どのハプティック効果が再生されるべきか、および効果が再生される順序を決定することができる。一般に、特定のハプティック効果を定義する高レベルパラメータは、大きさ、周波数、および持続時間を含む。ストリーミングモータコマンドなどの低レベルパラメータを使用して、特定のハプティック効果を決定することもできる。ハプティック効果は、ハプティック効果が生成されるときのこれらのパラメータのいくつかの変化量、またはユーザとの相互作用に基づくこれらのパラメータの変化量を含む場合、「動的」とみなすことができる。
【００１０】
プロセッサ１２は、制御信号を駆動回路１６に出力し、駆動回路１６は、所望のハプティック効果を発生させるのに必要な電流および電圧（すなわち、「モータ信号」）をハプティック出力装置１８に供給するために使用される電子部品および回路を含む。システム１０は、２つ以上のハプティック出力システム１８を含むことができ、各ハプティック出力システムは、全てが共通のプロセッサ１２に結合された別個の駆動回路１６を含むことができる。メモリデバイス２０は、ランダムアクセスメモリ（「ＲＡＭ」）または読み出し専用メモリ（「ＲＯＭ」）など、任意のタイプの記憶装置またはコンピュータ可読媒体とすることができる。メモリ２０は、オペレーティングシステム命令のような、プロセッサ１２によって実行される命令を記憶する。命令の中で、メモリ２０は、マルチモーダルハプティック効果生成モジュール２２を含み、このモジュール２２は、プロセッサ１２によって実行されると、以下により詳細に開示されるマルチモーダルハプティック効果を生成する命令である。メモリ２０はまた、プロセッサ１２の内部、または内部および外部メモリの任意の組合せに配置されてもよい。
【００１１】
タッチ表面またはタッチスクリーン１１は、タッチを認識し、表面上のタッチの位置および大きさも認識することができる。タッチに対応するデータは、プロセッサ１２またはシステム１０内の別のプロセッサに送られ、プロセッサ１２は、タッチを解釈し、それに応答してハプティック効果信号を生成する。タッチ表面１１は、静電容量感知、抵抗感知、表面弾性波感知、圧力感知、光学感知などを含む任意の感知技術を使用してタッチを感知することができる。タッチ表面１１は、マルチタッチ接触を感知し、同時に起こる複数のタッチを区別することができる。タッチ表面１１は、キー、ボタン、ダイヤルなどのような、ユーザが相互作用するための画像を生成し、表示するタッチスクリーンであってもよく、または最小限の画像を有するか、または画像を有さないタッチパッドであってもよい。
【００１２】
ハプティック出力装置１８は、ハプティック効果を生成する任意のタイプのデバイスとすることができ、システム１０の任意の領域に物理的に配置して、ユーザの身体の所望の領域に所望のハプティック効果を生成することができる。
【００１３】
一実施形態では、ハプティック出力装置１８は、振動触覚ハプティック効果を生成するアクチュエータである。この目的のために使用されるアクチュエータは、偏心質量がモータによって動かされる偏心回転質量（「ＥＲＭ」）などの電磁アクチュエータ、ばねに取り付けられた質量が前後に駆動されるリニア共振アクチュエータ（「ＬＲＡ」）、または圧電、電気活性ポリマー、または形状記憶合金などの「スマート材料」を含むことができる。ハプティック出力装置１８は、また、静電摩擦（「ＥＳＦ」）デバイスまたは超音波表面摩擦（「ＵＳＦ」）デバイスなどのデバイス、または超音波ハプティックトランスデューサで音響放射圧力を誘導するデバイスであってもよい。他のデバイスは、ハプティック基板および可撓性または変形可能な表面を使用することができ、デバイスは、エアジェットなどを使用して空気のパフなどの投射ハプティック出力を提供することができる。ハプティック出力装置１８は、さらに、熱ハプティック効果（例えば、加熱または冷却）を提供する装置であり得る。
【００１４】
単一のハプティック出力装置１８が図１に示されているが、いくつかの実施形態は、ハプティックフィードバックを提供するために、同じまたは異なるタイプの複数のハプティック出力装置を使用してもよい。いくつかのハプティック効果は、装置のハウジングに結合されたアクチュエータを利用してもよく、いくつかのハプティック効果は、複数のアクチュエータを順次および／または協調して使用してもよい。例えば、いくつかの実施形態では、複数の振動アクチュエータおよび静電アクチュエータを単独でまたは一斉に使用して、異なるハプティック効果を提供することができる。いくつかの実施形態において、ハプティック出力装置１８は、ソレノイドまたは他の力または変位アクチュエータを含み得、これはタッチ感応表面１１に連結され得る。さらに、ハプティック出力デバイス１８は、剛性または可撓性のいずれかであり得る。
【００１５】
システム１０は、プロセッサ１２に結合されたセンサ２８をさらに含む。センサ２８は、システム１０のユーザ（例えば、体温、心拍数などのようなバイオマーカー）、またはユーザのコンテキストもしくは現在のコンテキスト（例えば、ユーザの位置、周囲の温度など）の任意のタイプの特性を検出するために使用することができる。
【００１６】
センサ２８は、エネルギーの形態、または音、動き、加速度、生理学的信号、距離、流れ、力／圧力／歪み／曲がり、湿度、直線位置、配向／傾斜、無線周波数、回転位置、回転速度、スイッチの操作、温度、振動、または可視光強度などの他の物理的特性を検出するように構成することができるが、これらに限定されない。センサ２８は、さらに、検出されたエネルギーまたは他の物理的特性を、電気信号、または仮想センサ情報を表す任意の信号に変換するように構成することができる。センサ２８は、加速度計、心電図、脳波図、筋電計、眼電図、エレクトロパラトグラフ、ガルバニック皮膚応答センサ、静電容量センサ、ホール効果センサ、赤外線センサ、超音波センサ、圧力センサ、光ファイバセンサ、屈曲センサ（または曲げセンサ）、力感知センサ、ロードセル、ＬｕＳｅｎｓｅ  ＣＰＳ２１５５、小型圧力トランスデューサ、圧電センサ、ひずみゲージ、湿度計、線形位置タッチセンサ、線形ポテンショメータ（またはスライダ）、線形可変差動トランスフォーマ、コンパス、傾斜計、磁気タグ（または無線周波数識別タグ）、ロータリーエンコーダ、ロータリーポテンショメータ、ジャイロスコープ、オンオフスイッチ、温度センサ（温度計、熱電対、抵抗温度検出器、サーミスタ、または温度変換集積回路などの）マイクロフォン、光度計、高度計、生物モニタ、カメラ、または光依存性抵抗器などの任意のデバイスとすることができるが、これらに限定されない。
【００１７】
圧力センサとして使用される場合、センサ２８（タッチスクリーン１１内に組み込まれてもよい）は、タッチスクリーン１１に対してユーザによって加えられる圧力の量を検出するように構成される。圧力センサ２８は、さらに、センサ信号をプロセッサ１２に送信するように構成される。圧力センサ２８は、例えば、容量センサ、歪みゲージ、または力感知抵抗器（「ＦＳＲ」）を含むことができる。いくつかの実施形態では、圧力センサ２８は、ユーザとタッチスクリーン１１との間の接触の表面積を決定するように構成されてもよい。
【００１８】
システム１０は、システム１０がインターネット／クラウド５０を介して通信することを可能にする通信インターフェース２５をさらに含む。インターネット／クラウド５０は、システム１０のためのリモートストレージおよび処理を提供し、システム１０が同様のタイプまたは異なるタイプのデバイスと通信することを可能にすることができる。さらに、本明細書で説明される処理機能のいずれも、システム１０から遠隔のプロセッサ／コントローラによって実行され、インターフェース２５を介して通信されることができる。
【００１９】
実施形態は、システム１０への少なくとも２つのタイプの入力に応答してハプティック効果を提供する。入力の１つのタイプは、タッチスクリーン１１のほぼＺ軸に沿った圧力ベースの入力である。圧力ベースの入力は、圧力の量が増加または減少するときの圧力値の範囲を含む。図２は、圧力ベースの入力に応答してハプティック効果を提供するための実施形態のグラフ表現を示す。アクティブである間、システム１０は、所定の圧力値または「キーフレーム」Ｐ１、Ｐ２、Ｐ３、．．．ＰＮを監視する。圧力値Ｐ１が表面に加えられる何らかの圧力ジェスチャによって検出される場合、システムは、何らかの措置をとってもとらなくてもよく、圧力値Ｐ２、Ｐ３、．．．ＰＮの監視を続けてもよい。図において、Ｐ１＋εおよびＰ２−εと呼ばれる無音のキーフレームは、ハプティック反応が、これらの圧力値に到達または交差したときに、停止することを確実にする。圧力値がＰ１とＰ２との間にある場合、２つの無音キーフレーム間の値は、無音期間２０１を構成するので、ハプティック効果は、生成されず、補間は必要とされない。キーフレームＰ２とＰ３との間で、システムは、キーフレームＰ２およびＰ３に関連付けられたハプティック出力値間の補間２０２を提供し、Ｐ２に付随するハプティック応答とＰ３に付随するハプティック応答との間の遷移ハプティック効果を提供する。補間および補間された効果は、複数の指定されたハプティックフィードバック効果に関連付けられた効果を変調または混合するために使用される特徴である。別の実施形態では、以下に詳細に開示されるように、補間の代わりに、グラニュラーシンセシスが使用される。
【００２０】
図２の機能は、圧力が増加しているときにプレイされるハプティック効果と、圧力が減少しているときにプレイされるハプティック効果とを区別する能力を提供する。図２の機能性は、圧力の増加が速すぎるとき、ハプティック効果がスキップされることをさらに防止する。例えば、圧力が０から最大になると、暫定圧力レベルに関連する全ての効果がプレイされる。さらに、効果が連続的に再生される必要がある場合、効果間に無音ギャップが実施される。
【００２１】
図３は、圧力ベースの入力に応答してハプティック効果を提供するための実施形態のグラフ表現を示す。一実施形態では、システムは、Ｐ２がＰ１よりも大きいか小さいかを識別し、加えられる圧力が増加しているか減少しているかに基づいて、異なるハプティック応答を提供することができる。いくつかの実施形態では、圧力を増加および減少させる状況は、２つの異なるセットのハプティック応答をもたらし、ハプティック応答３０１、３０２は、減少させる圧力アプリケーションに対応し、ハプティック応答３０３、３０４は、増加させる圧力アプリケーションに対応する。いくつかの実施形態では、圧力状況の増加は、ハプティック応答を生成し、一方、圧力状況の減少は、ハプティック効果３０５をもたらさない。図２におけるように、異なるハプティック効果３０１−３０４は、適用される複数のレベルの圧力に応答して生成され得る。効果補間が意図された結果ではない実施形態では、無音キーフレームが利用される。複数の圧力レベル、すなわちＰ１、Ｐ２、Ｐ３、．．．ＰＮが加えられると、一実施形態は、各圧力レベルに関連する各効果が生成されることを保証する。一実施形態では、ユーザは、ハプティックフィードバックを区別し、理解することができることを確実にするために、後続の効果の間に無音ギャップを生成することができる。
【００２２】
圧力ベースに加えて、別のタイプの入力は、タッチスクリーン１１のｘ−ｙ軸に沿ったジェスチャタイプ入力である。ジェスチャは、意味またはユーザの意図を伝える、オブジェクト（例えば、ユーザの指またはスタイラス）の任意の動きである。単純なジェスチャを組み合わせて、より複雑なジェスチャを形成することができることが認識されるのであろう。例えば、指をタッチ感知表面と接触させることは、「指を乗せる」ジェスチャと称され得、一方、タッチ感知表面から指を除去することは、別個の「指を外す」ジェスチャと称され得る。「指をオンにする」ジェスチャと「指をオフにする」ジェスチャとの間の時間が比較的短い場合、組み合わされたジェスチャは、「タッピング」と称され得、「指をオンにする」ジェスチャと「指をオフにする」ジェスチャとの間の時間が比較的長い場合、組み合わされたジェスチャは「ロングタッピング」と称され得、「指をオンにする」ジェスチャと「指をオフにする」ジェスチャの２次元（ｘ，ｙ）位置間の距離が比較的大きい場合、組み合わされたジェスチャは「スライド」と称され得、「スワイピング」、「スマッジング」または「フリッキング」と称され得る。任意の数の２次元または３次元の単純または複雑なジェスチャを任意の方法で組み合わせて、複数の指の接触、掌または第１の接触、またはデバイスへの近接を含むがこれらに限定されない、任意の数の他のジェスチャを形成することができる。ジェスチャは、また、加速度計、ジャイロスコープ、または他の動きセンサを有する制御装置によって認識され、電子信号に変換される任意の形態の手の動きであり得る。このような電子信号は、仮想ダイスを振るなどの動的効果を起動することができ、センサは、動的効果を生成するユーザの意図を捕捉する。圧力ベースの入力と同様に、ジェスチャベースの入力は、点Ａから点Ｂまでのタッチスクリーン１１を横切るスライドジェスチャなどの入力の範囲に関連付けることができる。
【００２３】
開示されるように、ハプティック効果は、入力の範囲に沿って生成され得る。これらのハプティック効果は、動的なハプティック効果とみなすことができ、補間またはグラニュラーシンセシスを用いて生成することができる。グラニュラーシンセシスを使用して、入力は、信号または波形のいくつかの短いスライスを生成または生成することができ、各波形をエンベロープと組み合わせて「グレイン」を作成することができる。いくつかの粒子を、同時に、連続的に、またはその両方で生成することができ、粒子を組み合わせて「クラウド」を形成することができる。次いで、クラウドを使用してハプティック信号を合成することができ、その後、ハプティック信号を用いてハプティック効果を生成することができる。入力は、任意選択で、グラニュラーシンセシスが入力に適用される前に、周波数シフト、または周波数シフトとフィルタリングの組み合わせのいずれかによって修正することができる。一実施形態では、入力値（例えば、圧力、位置、移動距離）に従って、更新毎に異なるパラメータを有する個々のグレインが生成される。グラニュラーシンセシスのさらなる詳細は、例えば、米国特許第９，２５７，０２２号公報に開示されており、その開示が参照により本明細書に組み込まれる。
【００２４】
ユーザ入力が圧力ベースである場合、動的ハプティック効果は、ユーザ入力が圧力の増加に対応するか、または圧力の減少に対応するかに応じて変更され得る。ユーザ入力がスライドジェスチャである場合、動的ハプティック効果は、スライドジェスチャの方向および速度に応じて変更され得る。ユーザ入力が圧力ベースの入力およびスライドジェスチャの両方を含む場合、動的ハプティック効果は、速度および方向の異なる組み合わせに基づいて変更されてもよい。
【００２５】
範囲ベースの入力（例えば、圧力ベースの入力またはジェスチャベースの入力）に応答して動的ハプティック効果を生成することに加えて、実施形態は、範囲に沿って入る特定の事前定義された「トリガ」点において、追加の事前設計された「静的」ハプティック効果を追加する。トリガ点は、圧力ベースの入力に対してはある閾値で、ジェスチャベースの入力に対してはあるｘ−ｙ軸座標で、またはこれら２つの組み合わせで定義される。ある範囲に沿って動的ハプティック効果と静的ハプティック効果の両方を組み合わせることによって、全体的なハプティック効果が強化される。例えば、木材または機械的ボタンなどの材料をシミュレートするハプティック効果は、「木材」または「ボタン」への圧力に応答してハプティック効果を生成する。範囲中のある時点で、木材中の繊維が歪んだり、破断したりすると、シミュレーションのコンプライアンスが変化する。トリガされた静的ハプティック効果は、コンプライアンスをシミュレートするのに役立つ。
【００２６】
図４は、一実施形態による、マルチモーダルハプティック効果でボタン押下をシミュレートする例を示す。複数の「ボタン」４０１−４０５は、図１の感圧タッチスクリーン１１上に表示される。ボタン４０１−４０５は、実際の物理的ボタンを表すためにグラフィカルに表示される。各ボタンは、ユーザがボタンの配置に対応するｘ−ｙ軸座標上のｚ軸圧力を加えることによって、タッチスクリーン１１上で「押す」または「押し下げる」ことができる。ボタンの状態、およびボタンが「押し込まれる」距離に関するフィードバックはボタンが押し下げられているという多感覚錯覚を生成するために、マルチモーダルハプティックフィードバック、オーディオフィードバック、および視覚フィードバックの組み合わせによって提供することができる。
【００２７】
各ボタンは、低から高への加えられた圧力値の対応する入力圧力範囲４１０を有することができる。圧力値は、実際の圧力またはタッチスクリーンのユーザとの接触量（すなわち、接触が多いほど、圧力が多い）の測定値など、何らかのタイプの「疑似圧力」計算に基づくことができる。
【００２８】
圧力範囲４１０に対応するのは、グラニュラーシンセシスによって生成される動的ハプティック効果の第１の範囲４１１（または「動的部分」）と、それに続く、静的な所定のハプティック効果をトリガするトリガ点４１２（または「トリガ位置」）と、それに続く、グラニュラーシンセシスによって生成される動的ハプティック効果の第２の範囲４１３とを含む、ハプティックプロファイル／範囲４２０である。ハプティック範囲４２０は、オブジェクト（すなわち、ボタン４０１−４０５のうちの１つまたは複数）のハプティックプロファイルとして機能する。範囲に基づいて、ユーザは、ハプティック効果を感じ、オーディオ効果を聞き、ボタンがその移動範囲に沿って押されるときに視覚効果を見て（４１１）、ボタン移動範囲の下部／端部が満たされるときにトリガされたハプティック効果および／または音響効果および／または視覚効果を経験し（４１２）、次いで、ボタンが完全に押された後にユーザがボタンをさらに押すときに追加の動的および／または多感覚効果を経験する（４１３）。物理的ボタンが完全に押し下げられた後、ボタンが作られる材料（例えば、プラスチック）のいくらかの遵守があり、その結果、ボタンの移動範囲に達した後でさえ、圧力が増加することにつれて、さらなる多感覚フィードバック（４１３で示される）が生じる。動的ハプティック効果と静的ハプティック効果との組み合わせの結果として、「ボタン」の動きは、実際のボタンを模倣する。
【００２９】
図５は、一実施形態による、マルチモーダルハプティック効果を有する異なる材料をシミュレートする例を示す。複数の「材料」５０１が、バスケットボール、ドッジボール、スポンジ、発泡スチロールおよび皮革を含む感圧タッチスクリーン１１上に表示される。材料５０１は、実際の対応する物理的材料を表すためにグラフィカルに表示される。圧力範囲５０２および対応するハプティックプロファイル／範囲５０３も示されている。ハプティック範囲５０３内で、異なる材料に対応する異なるハプティック効果が示される。各ハプティック効果は、グラニュラーシンセシスによって実施される動的ハプティック効果と、１つ以上のトリガされたハプティック効果との組み合わせを含む。５０３の範囲の結果として、各材料のコンプライアンスは、圧力が増加することにつれてシミュレートすることができる。例えば、スポンジは、比較的容易に押圧され、一貫した弾力性を提供する。対照的に、発泡スチロールはいかなる圧力でも比較的硬い抵抗を提供し、より多くの圧力部分が亀裂／破壊を開始し、これは、静的誘発効果によってシミュレートされる。コンプライアンス効果は、以下に開示されるように、材料の１つが木材である場合、より顕著であり得る。トリガされた静的ハプティック効果がコンプライアンスをシミュレートするために使用される場合、トリガされた点は、スポンジおよび発泡スチロールについて示されるように、範囲５０３上の対応する材料についての範囲内に示される。
【００３０】
図６は、ユーザがタッチスクリーン１１のｘ−ｙ軸平面において材料を横切って指または他の物体をスライドさせるときに、図５の材料５０１のテクスチャをシミュレートする一例を示す。図６に示す例では、ユーザが６０１のドッジボールから６０３のスポンジまで横断しており、材料間の遷移は、６０２で示されている。特定の材料と接触する間、グラニュラーシンセシスは、材料のテクスチャをシミュレートするために使用される。材料のテクスチャをシミュレートする開示は、米国特許第９，３３０，５４４号公報に開示されており、その開示が参照により本明細書に組み込まれる。６０３で示されるように、材料間のギャップが存在する可能性がある遷移にユーザが近づくにつれて、トリガ静的ハプティック効果がギャップをシミュレートする。次に、異なるグラニュラーシンセシスを用いて、次の材料をシミュレートする。別の実施形態では、材料が床の木製厚板である場合、各厚板間のギャップは、木製厚板のテクスチャをシミュレートする動的ハプティック効果間の静的ハプティック効果を使用してシミュレートされる。
【００３１】
図７は、本発明の実施形態によるグラニュラーシンセシスツール７００を示す。図７には、ツール７００のユーザインターフェースが示されている。ツール７００は、ユーザが粒子サイズ、粒子密度、粒子の大きさ、サイクル当たりの最大粒子、および圧力範囲を指定することを可能にする。ツール７００は、開始キーフレームおよび終了キーフレームによるパラメータレンダリング、逆レンダリング、．ｘｍｌファイルからプリセットされたロード、新しいハプティック効果を．ｘｍｌファイルに保存すること、および異なる圧力レベルに効果を設計することを可能にする。ツール７００はまた、効果パラメータ設定のライブプレビューを可能にし、その結果、効果設計者は、コントロールの位置（複数可）を変更した結果を直ちに感じることができる。さらに、ツール７００は、同期されたオーディオフィードバックを可能にし、それによって、オーディオ信号がハプティック信号と並んで合成され、それによくマッチするように生成されることができる。さらに、ツール７００は、視覚的オーバーレイを提供し、それにより、ハプティックおよび聴覚効果が、シミュレートされる材料の画像のコンテキストにおいて経験され得る。
【００３２】
図８は、一実施形態による、マルチモーダルハプティック効果を生成するときの図１のシステム１０の機能のフローチャートである。一実施形態では、マルチモーダルハプティック効果生成モジュール２２は、プロセッサ１２によって実行されると、機能を実行する。一実施形態では、図８のフロー図（および以下の図９）の機能は、メモリまたは他のコンピュータ可読媒体または有形媒体に格納されたソフトウェアによって実装され、プロセッサによって実行される。他の実施形態では、機能は、ハードウェア（例えば、特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブルゲートアレイ（「ＰＧＡ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）などの使用を通して）、またはハードウェアとソフトウェアの任意の組合せによって実行することができる。
【００３３】
８０１において、力検出（すなわち、圧力形成の入力）の形態のユーザ入力が受信される。他の実施形態では、ユーザ入力は、圧力形成ではなく、ｘ−ｙ軸位置データの形態とすることができる。
【００３４】
８０２において、実施形態は、入力を、その入力に関連付けられたオブジェクトのハプティックプロファイルと比較する。ハプティックプロファイルは、図４のハプティック範囲４２０、または図５のハプティック範囲５０３によって示されるようなハプティック範囲の形成であり、ユーザ入力に対応し、入力範囲（例えば、図４の入力範囲４１０または図５の入力範囲５０２）に対応するハプティック効果を提供する。一実施形態におけるハプティック効果は、（ハプティックプロファイルの動的部分における）少なくとも１つの動的ハプティック効果と、（ハプティックプロファイルのトリガ位置における）少なくとも１つのトリガされた静的ハプティック効果との組み合わせである。
【００３５】
８０３において、実施形態は、入力を設計効果しきい値またはハプティックプロファイル上のトリガと比較し、入力が設計効果トリガ（例えば、図４のトリガ４１２）で発生したかどうかを判定する。例えば、圧力の量は、センサ入力範囲に沿ったトリガ位置に対応することができる。
【００３６】
８０３においてｙｅｓの場合、８０４において、設計されたハプティック効果は、ハプティック出力装置によってプレイされる。一実施形態における設計ハプティック効果は、事前に定義することができる静的ハプティック効果である。
【００３７】
８０３においてｎｏの場合、８０５において、実施形態は、動的触覚効果のパラメータ値を取り出し、８０６において、パラメータ値に基づいてハプティック効果を再生する。一実施形態では、動的効果が入力としてパラメータ値を使用して、グラニュラーシンセシスを使用して生成される。別の実施形態では、動的効果が入力としてパラメータ値を使用して、補間を使用して生成される。パラメータ値は、ツール７００、ソースコード、または他の手段で定義することができる。
【００３８】
８０１における力／圧力入力に加えて、入力は、方向性、速度、加速度、揚力、ロール、ヨー等の形態、またはデバイスが遭遇する任意のタイプの入力であってもよい。装置は、ハンドヘルド装置および／またはウェアラブル装置を含み得る。着用可能なデバイスとしては、例えば、手袋、ベスト、帽子、ヘルメット、ブーツ、ズボン、シャツ、眼鏡、ゴーグル、時計、宝飾品、他のアクセサリなどが挙げられる。装置は、物理的構造であってもよく、または装置は、拡張または仮想現実の一部として生成されてもよい。入力を検出するセンサは、物理的センサであってもよいし、仮想センサであってもよい。入力は、入力が検出されたデバイスに、または影響を受けたデバイスと物理的または無線でリンクされた別のデバイスに、影響を及ぼすことができる。
【００３９】
図９は、一実施形態による、マルチモーダルハプティック効果を生成するときの図１のシステム１０の機能のフローチャートである。一実施形態では、マルチモーダルハプティック効果生成モジュール２２は、プロセッサ１２によって実行されると、機能を実行する。
【００４０】
９０１において、実施形態は、入力範囲の数を決定する。いくつかの実施形態では、複数の異なるハプティック範囲は、同じユーザ入力範囲に対応する。例えば、図４を参照すると、圧力が増加している（すなわち、ユーザがボタンを押している）ときのハプティック範囲４２０に加えて、圧力を増加および減少させるための異なるハプティック効果を生成するように、ユーザがボタンに対する圧力を解放／減少させているときの異なるハプティック範囲があってもよい。
【００４１】
したがって、複数の範囲は、ボタンの事前起動のための１つの効果範囲、増加する力によるボタンの事後起動のための１つの効果範囲、および減少する力によるボタンの事後起動のための１つの効果範囲など、異なる状態に結び付けられ得る。効果範囲設定は、ゲームエンジン内などの他の要素に結び付けられても、結び付けられなくてもよいグラニュラーまたは別の手段によって定義されたパラメータに基づくことができる。パラメトリック値を含む１つまたは複数の点（またはキーフレーム）があり、それらの間にパラメトリック値が補間される。
【００４２】
９０２において、実施形態は、入力範囲の数が１以上であるかどうかを決定する。
【００４３】
９０２において、１つの入力範囲がある場合、９０３において、実施形態は、入力範囲の開始および終了の値（例えば、図４のハプティック範囲４２０の値）を検索する。９０４において、実施形態は、その範囲内の設計された効果の位置を検索する。例えば、設計された／予め定義されたハプティック効果は、ハプティックプリミティブの形式でメモリに記憶されてもよい。メモリ２０は、クラウドストレージをリモート使用することを含む、記憶、または任意の他の利用可能な記憶ロケーションに使用することができる。
【００４４】
９０２において、２つ以上の入力範囲（例えば、２つ以上の入力範囲）がある場合、９０５において、実施形態は、入力範囲の各々について開始および終了の値を検索する。９０６において、実施形態は、各範囲について設計された効果の位置を検索する。
【００４５】
９０７において、実施形態は、互いに変調するように設定された複数の同時範囲があるかどうかを判定する。例えば、場合によっては、それ自体のモーダルプロファイルを有し、同時にマルチモーダル出力に影響を及ぼす複数のセンサ入力があってもよい。マルチモーダル効果は、異なる範囲に分けられる。各範囲は、入力値に従って動的ハプティック効果パラメータを計算する異なる変調方法を使用することができる。これらの各範囲の変調方法は、効果設定に保存される。効果を再生している間、アプリケーションは、現在の入力値がどの範囲に属するかを見るために効果設定をチェックし、この範囲の変調方法に基づいて正しいハプティック効果パラメータを計算する。
【００４６】
ステップ９０７においてｙｅｓの場合、ステップ９１１において変調方法が決定される。９１２において、この方法は、コア範囲と比較される。９１３において、設計された効果は、設定に基づいて変調される。例えば、スクリーン上のスライドジェスチャは、ある範囲内のハプティックの大きさをもたらすモードプロファイルを有することができ、一方、デバイスを動かしながら実行されたときに同じスライドジェスチャからもたらされるハプティック信号は、スライドジェスチャと組み合わせて加速度計の入力によって変調される。
【００４７】
９０７においてｎｏの場合、または９０４または９０３の後に、実施形態は、ユーザ入力（例えば、圧力ベースまたは位置入力）をチェックする。システムがユーザ入力を検出した場合、実施形態は、図８で説明したようにハプティック効果を再生する。入力がない場合、９０９において、ハプティック効果は再生されない。
【００４８】
９０４および９０５で検索された格納された設計効果に関連して、１つ以上の設計基本効果が存在してもよく、それらは、周波数、大きさ、および持続時間などの所定のハプティックパラメータを有するハプティックプリミティブの形式であってもよい。これらのハプティックプリミティブ、または「基本効果」は、動的効果（例えば、変調を介して）のために修正され得る。設計された効果の値は、パラメトリック値に使用されてもよい。
【００４９】
動的効果は、強度、周波数（すなわち、信号幅および／または信号幅間のギャップ）、および信号形状（例えば、正弦波、三角波、方形波、鋸歯アップ波、または鋸歯ダウン波）の基本効果の修正を必要とする場合がある。ハプティック設定の範囲は、少なくとも物体、表面、材料、または物理ベースの値（例えば、重量、摩擦など）の特性として記憶されてもよい。
【００５０】
実施形態は、物理ベースのハプティックプロファイル（すなわち、ユーザ入力に対応するハプティック範囲）を、現実世界のオブジェクトのプロファイルに基づいて生成することができる。図１０は、一実施形態による、機械的スイッチ／ボタンのプロファイル、およびシミュレートされたボタンについてハプティック効果が生成されることを可能にするハプティックプロファイルの生成を示す。図１０は、本発明の実施形態による、４つの異なる機械的スイッチの力プロファイル１００１−１００４および対応するハプティックプロファイルを示す。
【００５１】
１００１において、スイッチは、動作点およびリセット点を有する線形作動を有する。１００２において、スイッチは、動作点、リセット点および圧力点を有する人間工学的な圧力点を有する。１００３において、スイッチは、動作点および圧力点を有する代替動作を有する。１００４において、スイッチは、動作点、リセット点および圧力点を有する圧力点クリックを有する。
【００５２】
実施形態は、キー移動のモデルに対するハプティック設計パラメータの新しいマッピングを作成する。実施形態は、トリガされたハプティック効果、聴覚効果、および視覚効果によって表される任意の数の臨界点と、圧力を増加させるためのものから圧力を減少させるための別個のハプティックマッピングによるモデルヒステリシスとを可能にする。このようにして、実施形態は、機械的キーからの力プロファイルおよびオーディオプロファイルが同等の体験が生成されるようにデジタルハプティックおよびオーディオフィードバックでモデル化されることを可能にする。マッピング例１０１０−１０１２を図１０に示す。
【００５３】
別の例として、物理ベースのハプティックプロファイルは、微細なハプティック特徴と全体的なハプティック特徴との組み合わせを有し、オブジェクトの物理的特性に基づく実世界オブジェクトのシミュレーションに使用することができる。例えば、木製の床のタイプのような薄い木製の梁をシミュレートすることができる。木製梁のシミュレーションは、微細なハプティック特徴を含むので、梁が適合性相互作用によって曲げられると、木材の内部の繊維が歪みまたは破断し、ハプティック感覚を生じることがある。しかし、遷移を歪ませたり破断したりし、各遷移歪みイベントに対してハプティック効果を出力したりする毎に、遷移をモデル化することは困難な場合がある。この相互作用を設計することは面倒であるばかりでなく、計算集約的である。その代わりに、実施形態は、微細なハプティック特徴を表現するために、圧力ジェスチャから動的効果パラメータへのより高いレベルのマッピングを使用することができる。
【００５４】
木製の梁のシミュレーションは、また、梁が或る量曲がると、より大きな繊維が亀裂を起こしようとするように、全体的な触覚的特徴を含む。これらの亀裂の触覚感覚は、あるエンベロープ品質（例えば、攻撃、崩壊等）を伴う高度で短期間の事象の触覚である。これらの事象にはいくつかのテクスチャ要素があるかもしれないが、それらは非常に短い時間枠で起こる。これらは、トリガされたハプティックイベント、オーディオイベント、およびビジュアルイベントでよくシミュレートすることができる。微細な触覚特徴に使用される動的効果マッピングを使用することは、キーフレームを非常に短い期間で定義する必要があるため、実用性が低い。したがって、動的効果を静的トリガ効果と組み合わせて、材料のコンプライアンス特性および材料の他のオーディオ、ビジュアル、およびハプティック特性をシミュレートするために使用することができる。
【００５５】
開示されるように、実施形態は、動的ハプティック効果（例えば、グラニュラーシンセシスを使用する）およびトリガされた静的ハプティック効果の両方を含む対応するハプティックプロファイルを生成および入力することによって、現実世界の要素または構成要素をシミュレートおよび模倣する。ハプティック効果のマルチモーダル組み合わせは、例えば、圧力ベースの入力に応答して材料の適合性をシミュレートする感覚を向上させる。さらに、オーディオおよび／またはビジュアルフィードバックは、動的ハプティック効果または静的ハプティック効果に関連して生成され得る。
【００５６】
いくつかの実施形態が、本明細書で具体的に例示および／または説明される。しかし、本発明の精神および意図する範囲から逸脱することなく、開示された実施形態の修正および変形は、上記の教示によっておよび添付の特許請求の範囲の範囲内でカバーされることが理解されるのであろう。
【図１】
2019519856.tif 000003
【図２】
2019519856.tif 000004
【図３】
2019519856.tif 000005
【図４】
2019519856.tif 000006
【図５】
2019519856.tif 000007
【図６】
2019519856.tif 000008
【図７】
2019519856.tif 000009
【図８】
2019519856.tif 000010
【図９】
2019519856.tif 000011
【図１０】
2019519856.tif 000012
【国際調査報告】
2019519856.tif 000013
2019519856.tif 000014