(57)【要約】【課題】リスト内の特定のアイテムに関する十分な情報を伝える方法を提供すること。【解決手段】触覚効果を生成する方法は、ジェスチャを用いてデバイスに加えられる圧力の入力を検出するステップ、およびジェスチャに関連付けられたレベルを圧力入力に基づいて決定するステップ、ならびにレベルにおけるアイテムの選択をジェスチャとレベルにおけるアイテムに関連付けられたコンテキストとに基づいて決定するステップ、さらにレベルにおけるアイテムのコンテキストに基づく触覚パラメータを含むコンテキスト型触覚効果を生成するステップを含む。【選択図】図1
2018063700.tif 000002
【特許請求の範囲】
【請求項１】
コンテキスト型触覚効果を生成する方法であって、
ジェスチャを用いて加えられる圧力入力を検出するステップと、
前記ジェスチャに関連付けられたレベルを前記圧力入力に基づいて決定するステップと、
前記レベルにおけるアイテムの選択を前記ジェスチャに基づいて決定するステップと、
前記レベルにおける前記アイテムに関連付けられたコンテキストを決定するステップと、
前記レベルにおける前記アイテムの前記コンテキストに基づく触覚効果パラメータに応じて前記アイテムの前記選択に応答してコンテキスト型触覚効果を生成するステップと
を備える、方法。
【請求項２】
前記ジェスチャが2次元表面に適用される、請求項1に記載の方法。
【請求項３】
前記圧力入力が前記ジェスチャによって加えられる力に基づく、請求項2に記載の方法。
【請求項４】
前記圧力入力が前記ジェスチャのタッチ表面積に基づく、請求項2に記載の方法。
【請求項５】
前記ジェスチャが前記2次元表面に実質的に垂直な軸に沿って適用される、請求項2に記載の方法。
【請求項６】
3次元空間内の前記ジェスチャが仮想圧力を仮想表面に加え、前記圧力入力が前記ジェスチャにより進行した距離に基づく、請求項1に記載の方法。
【請求項７】
複数のアイテムのそれぞれが選択されたときの選択触覚効果をさらに含む、請求項1に記載の方法。
【請求項８】
前記レベルが奥行き方向である、請求項1に記載の方法。
【請求項９】
前記コンテキスト型触覚効果が前記ジェスチャに基づいて決定される、請求項1に記載の方法。
【請求項１０】
プロセッサによって実行されたとき前記プロセッサにコンテキスト型触覚効果を生成させる命令が記憶されたコンピュータ可読記憶媒体であって、前記生成することが、
ジェスチャを用いて加えられる圧力入力を決定することと、
前記ジェスチャに関連付けられたレベルを前記圧力入力に基づいて決定することと、
前記レベルにおけるアイテムの選択を前記ジェスチャに基づいて決定することと、
前記レベルにおける前記アイテムに関連付けられたコンテキストを決定することと、
前記レベルにおける前記アイテムの前記コンテキストに基づく触覚効果パラメータに応じて前記アイテムの前記選択に応答してコンテキスト型触覚効果を生成することと
を備える、コンピュータ可読記憶媒体。
【請求項１１】
前記命令は、2次元表面に適用される前記ジェスチャを決定することを前記プロセッサに行なわせる命令をさらに含む、請求項10に記載のコンピュータ可読記憶媒体。
【請求項１２】
前記命令は、前記ジェスチャによって加えられる力に基づいて前記圧力入力を決定することを前記プロセッサに行なわせる命令をさらに含む、請求項11に記載のコンピュータ可読記憶媒体。
【請求項１３】
前記命令は、前記ジェスチャのタッチ表面積に基づいて前記圧力入力を決定することを前記プロセッサに行なわせる命令をさらに含む、請求項11に記載のコンピュータ可読記憶媒体。
【請求項１４】
前記命令は、前記2次元表面に実質的に垂直に配置された軸に沿った適用に基づいて前記ジェスチャを決定することを前記プロセッサに行なわせる命令をさらに含む、請求項11に記載のコンピュータ可読記憶媒体。
【請求項１５】
コンテキスト型触覚効果を生成するように構成されるシステムであって、
タッチ感応表面と、
触覚出力デバイスと、
前記触覚出力デバイスに結合されるコントローラと
を備え、前記コントローラが、
ジェスチャを用いて前記タッチ感応表面に加えられる圧力入力を検出し、
前記ジェスチャに関連付けられたレベルを前記圧力入力に基づいて決定し、
前記レベルにおけるアイテムの選択を前記ジェスチャに基づいて決定し、
前記レベルにおける前記アイテムに関連付けられたコンテキストを決定し、
前記レベルにおける前記アイテムの前記コンテキストに基づく触覚効果パラメータに応じて前記アイテムの前記選択に応答してコンテキスト型触覚効果を生成する
ように構成される、システム。
【請求項１６】
前記タッチ感応表面が2次元表面を備える、請求項15に記載のシステム。
【請求項１７】
前記コントローラが、前記ジェスチャによって加えられる力に基づいて前記圧力入力を検出するようにさらに構成される、請求項15に記載のシステム。
【請求項１８】
前記コントローラが、前記ジェスチャに関連付けられた測定されたタッチ表面積に基づいて前記圧力入力を検出するようにさらに構成される、請求項15に記載のシステム。
【請求項１９】
前記コントローラが、前記2次元表面に実質的に垂直な軸に沿って適用される前記ジェスチャの要素に基づいて前記圧力入力を検出するようにさらに構成される、請求項16に記載のシステム。
【請求項２０】
仮想または拡張現実生成エンジンをさらに備え、前記ジェスチャが3次元空間内で行われて、仮想現実または拡張現実内の仮想オブジェクトまたは拡張オブジェクトに仮想圧力が加えられる、請求項15に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
一実施形態は、一般に触覚効果を対象とし、より詳細には圧力検知に応答して触覚効果を生成するデバイスを対象とする。
【背景技術】
【０００２】
触覚科学(Haptics)とは、触覚フィードバック効果(すなわち「触覚効果」)、たとえば力、振動、および運動をユーザに加えることによって、ユーザの触知を利用する触感および力覚フィードバック技術である。デバイス、たとえばモバイルデバイス、タッチスクリーンデバイス、およびパーソナルコンピュータは、触覚効果を生成するように構成することができる。一般に、触覚効果を生成可能な組み込みハードウェア(たとえばアクチュエータ)の呼び出しは、デバイスのオペレーティングシステム(「OS」)内でプログラミングすることができる。これらの呼び出しは、再生する触覚効果を指定する。たとえば、ユーザがたとえばボタン、タッチスクリーン、レバー、ジョイスティック、ホイール、または他の何らかのコントロールを用いてデバイスとインタラクションを行う場合、デバイスのOSは、再生コマンドを制御回路を介して組み込みハードウェアに送ることができる。次いで、組み込みハードウェアは適切な触覚効果を生成する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
デバイスは触覚効果の出力を、特定のデバイスで閲覧中のコンテンツ、または他のコンテンツ、たとえば音楽、映画、ゲーム、または他のメディアの出力と協調させて、触覚効果が他のコンテンツに組み込まれるように構成することができる。たとえば、触覚効果を用いて関連するアイテムのリスト内のスクロールを支援することができ、デバイスはユーザに音楽アルバムまたは本のリストを提供することができ、ユーザはスクリーン上で指スワイプなどのジェスチャを利用してそのようなリストをスクロールすることができ、クリックまたはポップなどの応答を、スクリーン上をスクロールしたときに各アイテムと同時発生するようにプログラムすることができる。しかしながら、デバイスおよびメディアは進化し続けるため、単純なクリックでは、リスト内の特定のアイテムに関する十分な情報を伝えるのに不十分な場合がある。
【課題を解決するための手段】
【０００４】
一実施形態は、触覚効果を生成する方法であって、ジェスチャを用いてデバイスに加えられる圧力入力を検出するステップ、およびジェスチャに関連付けられたレベルを圧力入力に基づいて決定するステップ、ならびにレベルにおけるアイテムの選択をジェスチャとレベルにおけるアイテムに関連付けられたコンテキストとに基づいて決定するステップ、さらにレベルにおけるアイテムのコンテキストに基づく触覚効果パラメータに応じてアイテムの選択に応答してコンテキスト型触覚効果(Contextual Haptic Effect)を生成するステップを備える、方法である。
【図面の簡単な説明】
【０００５】
【図１】本発明の一実施形態によるシステムのブロック図である。
【図２】圧力ベースの触覚効果のためのシステムの一実施形態の図である。
【図３】圧力ベースの触覚効果のためのシステムの一実施形態の図である。
【図４】圧力ベースの触覚効果のシステムの一実施形態の斜視図である。
【図５】圧力ベースの触覚効果のためのシステムの一実施形態の斜視図である。
【図６】本発明の一実施形態によるシステムの流れ図である。
【図７】本発明の一実施形態によるシステムの流れ図である。
【発明を実施するための形態】
【０００６】
一実施形態は、圧力検知を用いてデバイスとインタラクションを行うユーザにコンテキストに応じた触覚応答を提供するシステムである。デバイスは、たとえばメディアなどの選択肢を表示する少なくとも1つのスクリーンを提供することができる。デバイスは、ユーザにメディアのリスト内をスクロールさせることができ、リスト内に含まれるアイテムに関し、圧力関連のインタラクションに応じた触覚効果を提供する。一実施形態は、リスト内の各アイテムにコンテキストを関連付けるデータベースを含む。一実施形態は、アイテムに関連付けられたコンテキストに基づいてデバイス上で触覚効果を生成する。
【０００７】
図1は、本発明の一実装形態を実施可能な触覚対応モバイルデバイスシステムすなわちシステム10のブロック図である。システム10は、筐体15内に搭載されたタッチ感応表面11または他のタイプのユーザインターフェースを含み、メカニカルキー/ボタン13を含むことができる。システム10の内部にあるのは、システム10において触覚効果を生成する触覚フィードバックシステムである。一実施形態では、触覚効果はタッチ表面11またはシステム10の他の任意の部分において生成される。
【０００８】
触覚フィードバックシステムは、プロセッサまたはコントローラ12を含む。プロセッサ12に結合されているのはメモリ20および駆動回路16であり、駆動回路16は触覚出力デバイス18に結合されている。プロセッサ12は、任意のタイプの汎用プロセッサであってよく、または触覚効果を提供するように専用に設計されたプロセッサ、たとえば特定用途向け集積回路(「ASIC」)とすることができる。プロセッサ12は、システム10全体を動作させる同一のプロセッサとすることができ、または別個のプロセッサとすることができる。プロセッサ12は、再生される触覚効果と、効果が再生される順序とを、ハイレベルのパラメータに基づいて決定することができる。一般に、特定の触覚効果を定義するハイレベルのパラメータは、大きさ、周波数および持続時間を含む。また、ローレベルのパラメータ、たとえばストリーミングモータコマンドを用いて、特定の触覚効果を決定することができる。触覚効果は、触覚効果が生成されるときのこれらのパラメータの何らかの変動、またはユーザのインタラクションに基づくこれらのパラメータの変動を含む場合に、「動的である」とみなすことができる。
【０００９】
プロセッサ12は制御信号を駆動回路16に出力し、駆動回路16は、所望の触覚効果を生成させるために必要な電流および電圧(すなわち「モータ信号」)を触覚出力デバイス18に供給するために使用される電子部品および回路を含む。システム10は2つ以上の触覚出力デバイス18を含むことができ、各触覚出力デバイスは別個の駆動回路16を含むことができ、全てが共通のプロセッサ12に結合されている。メモリデバイス20は任意のタイプの記憶デバイスまたはコンピュータ可読媒体、たとえばランダムアクセスメモリ(「RAM」)または読み出し専用メモリ(「ROM」)とすることができる。メモリ20はプロセッサ12により実行される命令、たとえばオペレーティングシステム命令を記憶する。命令の中でも、プロセッサ12により実行されたとき、以下でより詳細に開示されるように、検知された圧力に基づいてコンテキスト型触覚効果を提供する命令を含むコンテキスト型圧力検知触覚効果生成モジュール22をメモリ20は含む。また、メモリ20は、プロセッサ12の内部に配置するか、または内部および外部メモリの任意の組み合わせとすることができる。また、メモリ20は外部に、クラウドベースのシステムに配置することができる。
【００１０】
触覚出力デバイス18は、触覚効果を生成する任意のタイプのデバイスとすることができる。一実施形態では、触覚出力デバイス18は、振動タイプの触覚効果を生成するアクチュエータである。この目的で使用されるアクチュエータは、偏心質量がモータにより動かされる偏心回転質量(「ERM: Eccentric Rotating Mass」)などの電磁アクチュエータ、ばねに取り付けられた質量が前後に駆動されるリニア振動アクチュエータ(「LRA: Linear Resonant Actuator」)、または圧電性ポリマー、電気活性ポリマーまたは形状記憶合金などの「スマート材料」を含むことができる。また、触覚出力デバイス18は、たとえば静電摩擦(「ESF: Electrostatic Friction」)デバイス、もしくは超音波表面摩擦(「USF: Ultrasonic Surface Friction」)デバイス、または超音波触覚変換器によって音響放射圧を誘導するデバイス、などのデバイスとすることができる。他のデバイスは触覚基質および可撓性または可変形表面を使用することができ、デバイスは射出触覚出力、たとえばエアジェットなどを用いた空気の吹出を提供することができる。
【００１１】
タッチ表面11を有する実施形態では、タッチスクリーンはタッチを認識し、表面上でのタッチの位置および大きさを認識することもできる。タッチに対応するデータは、プロセッサ12、またはシステム10内の他のプロセッサに送られ、プロセッサ12はタッチを解釈し、それに応答して触覚効果信号を生成する。タッチ表面11は、任意の検知技術を用いてタッチを検知することができ、これは静電容量検知、抵抗検知、表面弾性波検知、圧力検知、光検知などを含む。タッチ表面11はマルチタッチ接点を検知することができ、同時に発生する複数のタッチを区別することが可能であり得る。タッチ表面11は、ユーザがインタラクションを行うための画像、たとえばキー、ボタン、ダイヤルなどを生成し表示するタッチスクリーンとすることができ、または画像が最小限または皆無のタッチパッドとすることができる。
【００１２】
さらに、一実施形態では、圧力センサ14は、表面(たとえばタッチ感応表面11)に対してユーザによりかけられた圧力量を検出するように構成される。圧力センサ14は、センサ信号をプロセッサ12に送信するようにさらに構成される。圧力センサ14は、たとえば、容量センサ、ひずみゲージ、漏れ全反射センサ(Frustrated Total Internal Reflection Sensor)、またはFSRを含むことができる。いくつかの実施形態では、圧力センサ14は、ユーザと表面11との接点の表面積を決定するように構成することができる。
【００１３】
システム10は、ハンドヘルドデバイス、またはモバイルデバイス、たとえばセルラー電話、パーソナルデジタルアシスタント(「PDA」)、スマートフォン、コンピュータタブレット、ゲームコンソールなどとすることができ、またはユーザインターフェースを提供し、1つまたは複数のアクチュエータを含む触覚効果システムを含む、他の任意のタイプのデバイスとすることができる。ユーザインターフェースは、タッチ感応表面であってよく、または他の任意のタイプのユーザインターフェース、たとえば物理ボタン、マウス、タッチパッド、ミニジョイスティック、スクロールホイール、トラックボール、ドアノブ、ゲームパッドまたはゲームコントローラなどとすることができる。システム10は、物理的に操作された場合に触覚効果を生成する可撓性/曲げ可能デバイスとすることができ、その場合、「ユーザインターフェース」は、デバイス自体の可撓性/曲げ可能部分である。
【００１４】
図2は、圧力ベースの触覚効果のためのシステムの一実施形態を示す。システム200は、コンピューティングデバイス202を含む。いくつかの実施形態では、コンピューティングデバイス202は、タブレット、電子リーダ、車載コンピュータ(たとえば、1つまたは複数の自動車システムまたはデバイス、たとえばステレオ、HVAC、照明、ナビゲーション、または他の車両機能を制御するためのコンピュータ)、医療デバイス、ラップトップコンピュータ、デスクトップコンピュータ、ゲームシステム、ポータブルゲームデバイス、ゲームパッド、または他の電子デバイスを含むことができる。他の実施形態では、コンピューティングデバイス202は、多機能コントローラ、たとえば、キオスク、自動車、警報システム、サーモスタット、または他のタイプのコンピューティングデバイスにおいて使用するためのコントローラを含むことができる。図2に示された実施形態では、コンピューティングデバイス202は、モバイルフォン、たとえばスマートフォンを含む。
【００１５】
この例では、コンピューティングデバイス202は、タッチ感応表面およびディスプレイ204を組み合わせたタッチスクリーンディスプレイ204も含む。タッチスクリーンディスプレイ204は、ユーザインターフェース(たとえば、ゲームまたは音楽カタログ)を出力する。いくつかの実施形態では、ユーザインターフェースは、1つまたは複数のアイコン/アイテムまたは仮想オブジェクト206を含むことができる。図2に示された実施形態では、仮想オブジェクト206は、仮想メディアアイテム、たとえばアルバムまたは映画を含む。図示されたように、仮想オブジェクト206は、(アイテム211から217として図示される)複数の仮想オブジェクトの中の(左から右へ動く)4番目である。
【００１６】
ユーザ208は、たとえば、タッチスクリーンディスプレイ204上でタップ、タッチ、またはジェスチャ(たとえば、2本指のピンチまたはスワイプ)を行うことによって、ユーザインターフェースとインタラクションを行うことができる。いくつかの実施形態では、ユーザ208は、ユーザインターフェースとインタラクションを行って、アルバムまたは映画、たとえば仮想オブジェクト206を選択または再生することができる。タッチスクリーンディスプレイ204は、長さおよび幅を有する平面を形成するフラットスクリーンであり、長さおよび幅はx軸およびy軸における2次元を表す。ユーザ208は、点、ジェスチャ、複数の点、または混合によりディスプレイ204をタッチすることによって、ディスプレイ204とインタラクションを行うことができる。また、ユーザ208は、ディスプレイ204のz軸に沿って(すなわち、ディスプレイ204の平面に垂直または実質的に垂直)、第3の次元すなわち奥行きを構成するディスプレイ204に入り込むことができる。したがって、ユーザ208は、デバイス202と3次元でインタラクションを行うことができる。
【００１７】
図3は、ユーザ308がインタラクションを行うことが可能な複数のレベル(アイテム311から317として図示)を含むユーザインターフェース304を特徴とする一実施形態300を示す。ユーザ308は、異なるインターフェースレベルとのインタラクションを、そのユーザインターフェースレベルに関連付けられたレベルの圧力を加えることによって行うことができる。代替的には、ユーザ308は、アイテム311〜317に関連付けられた質感、またはユーザインターフェースにおけるアイテム311〜317内のスクロールまたは閲覧に関連付けられた触覚応答を、軽い圧力を加えることによって感じることができる。そのような実施形態では、ユーザ308は、より強い圧力量を加えることによって、アイテムを選択することができる。このようにして、コンピューティングデバイス302は、アイテムとの複数のレイヤのインタラクションを提供することができ、これによりユーザ体験を向上させることができる。
【００１８】
図3は、タッチ表面に加えられる圧力量を変化させることによってアクセス可能な複数のレベル(たとえば、ユーザインターフェース304により形成される平面に垂直または実質的に垂直なz軸のもの)を備える一実施形態を示す。一実施形態では、加えられる圧力が増加すると、z方向のスクロールまたは移動の速度が増加し、加えられる圧力が減少すると、z方向のスクロールまたは移動の速度が減少する。
【００１９】
図4は、触覚対応デバイス402の一実施形態400の斜視図を示す。図4において、ユーザ408はタッチスクリーン404を押下し、そのインタラクションは、矢印410として図示された、デバイスの表面に圧力を加えること(すなわち、タッチスクリーン404に垂直または実質的に垂直なz軸のもの)を含む。図4において、ユーザ408は、ジェスチャを用いて複数の利用可能なアイコンから選択された特定のアイコン406を押下する。アイテム406を選択することによって、アイテム406の見た目を強調する、たとえば大きさまたは明るさを増加させることができる。選択されると、アイテム406の選択に使用された圧力に対して同じ、高い、または低い圧力を継続することによって、アイテム406についてのコンテキスト型触覚応答をユーザ408に提供することができる。
【００２０】
図5は、一実施形態による仮想現実環境に参加しているユーザの斜視図を示す。ユーザ508はウェアラブル触覚対応デバイス500を用いて図示されており、これはヘッドギア501および周辺機器502、たとえばグローブを含むことができる。図示された仮想環境において、ユーザ508は、ディスプレイまたは仮想スクリーン504、505(および潜在的にはさらなるスクリーン/レベル)を知覚することができる。一実施形態は、ユーザ508が、仮想環境においてジェスチャを用いて仮想圧力を加えて、仮想スクリーン504に実質的に垂直な知覚された方向へ仮想スクリーン504に入り込み、さらなる圧力を加えて、次のレベルにおける次のスクリーン505に入り込むことを含む。仮想システムは、仮想環境内でのユーザの動き、ならびに仮想環境内に含まれる現実および/または仮想オブジェクト/アイテム(たとえばアイテム506)とのインタラクションを監視する現実または仮想センサを含むことができる。一実施形態における測定される「圧力」とは、どれほどユーザの手が仮想スクリーン504に対して実質的に垂直な方向に進行したかの尺度である。
【００２１】
ユーザインターフェースがより複雑になりユーザコンテンツが急速に成長するにつれて、より効率的に、アクセスされるコンテンツのコンテキスト理解を持って、そのコンテンツにアクセスする方法への需要が増している。コンテキスト理解によって、ユーザインターフェース(「UI」)のインタラクションの信頼性が向上する。
【００２２】
システムの一実施形態は、動的な触覚応答を用いて、デバイスのユーザにコンテキスト型触感応答を提供する。一実施形態では、デバイスとのユーザインタラクションは、ユーザインタラクションの第3の次元またはプレーン(すなわちz軸)のものである。一実施形態では、システムは、圧力検知および/またはタッチ表面被覆方法(「擬似圧力」)を用いる。
【００２３】
ユーザがトップレベルにおいて、z方向のあるレベル内で、またはアイコンをクリックした後に、デバイス上のディスプレイスクリーンとインタラクションを行う場合、ユーザは左/右または上/下にスクロールして、いくつかのアイテムにアクセスすることができ、これらは、ディスプレイスクリーン上にリスト化もしくは表示された、またはアイコンの下に入れ子にされた、アプリケーション選択肢のリストまたはメディアアイテムのリストとすることができる。ユーザは、アイテム内を1つずつスクロールして、目的のアイテムに到達することができる。各アイテムがスクリーンに出現するときに、デバイスはユーザが検出可能な触覚効果を生成することができる。2値(すなわち「オンまたはオフ」)の単純な触覚インタラクションの形式の一次触覚効果を、各アイテムがスクリーンに出現するときに生成することができる。デバイスは、ユーザによりタッチまたは操作されるように構成されるディスプレイスクリーンを有することが好ましい、少なくともいずれかのハンドヘルドまたはウェアラブルデバイスとすることができる。ウェアラブルデバイスは、触覚対応の、ユーザにより装着される任意のデバイスとすることができる。触覚フィードバックがユーザにより検出されるように、使用中にユーザに近接および接触するように構成および設計されるデバイスも適切であり得る。
【００２４】
一実施形態は、左/右のプレーン(x軸)および上/下のプレーン(y軸)に加えて、第3のプレーン(z軸)における奥行きインタラクションをユーザが行えるようにする選択肢を含む。奥行き方向における第3の次元のインタラクションを用いることによって、以前に利用可能であったよりも早くおよび/または完全なインターフェースの選択肢を提供することができる。奥行き方向(すなわちz軸)における移動へのユーザの関心を検知するために、一実施形態は、圧力検知または表面被覆検知方法を使用し、これは擬似圧力としても知られている。ユーザがx軸、y軸、またはz軸に沿った方向にスクロールすると、第1の触感応答を、ポップもしくはクリック、または確認として役割を果たし、2値(すなわちオンまたはオフ)の応答であり得る他の単純なインタラクションの形式で提供することができる。第1の触感応答は、デバイスのディスプレイに出現する複数のアイテムのリスト内からのものであり得るアイテムと同時発生するように生成することができる。
【００２５】
上述の第1の触感応答に加えて、一実施形態は、ディスプレイスクリーンに出現するアイテムのコンテキストに基づく動的な触覚応答の形式で提供される追加の二次触感応答を含む。コンテキスト情報は、ユーザがアイテムをより良く理解し、デバイスおよびそれに記憶されたアイテムとのインタラクションをより良く制御することを可能にするために提供される。換言すれば、コンテキスト情報は、どのアイコンが表示されているかを超えて、ディスプレイスクリーン上のアイテムに関する追加情報をユーザに提供する。コンテキスト情報は、ディスプレイスクリーン上の画像を補完することができ、または画像自体とは無関係の、アイコンに関する情報を提供することができる。また、コンテキスト情報を用いて、デバイスに表示されたアイコンまたは画像に関連する、含まれる、またはその下位の1つまたは複数のアイテムに関する情報を伝達することができる。
【００２６】
たとえば一実施形態では、ユーザは圧力を用いて、たとえば図3のアイテム311〜317などのメニュー、スクリーン、または他のコンテンツのスタック内をz軸において移動することができる。ユーザがスタック内を移動すると、ユーザにより加えられる圧力によって、デバイスにメニューのスタックをスクロールさせることができる。ユーザにより加えられる圧力量によって、スクロールの速度を変化させ、触覚応答を付随させることができ、これはスタック内の移動の速度に基づいて動的に変化する。たとえば、より大きい圧力がユーザにより加えられると、スクロールの速度を増加させることができる。増加した圧力に比例して速度が増加すると、提供される触覚応答も動的に変化し、スクロールの速度、またはスクロールの速度に変化があったことをユーザに伝達することができる。換言すれば、動的に変化する触覚応答を用いて、情報をユーザに伝達しつつ、ユーザが加えた圧力によってデバイスとインタラクションを行うことができる。
【００２７】
また、触覚応答は、特定のアイテムがスクロール中に通過されたことに基づいて、動的に変化することができる。たとえば、ユーザがアイテムのリスト、たとえば図3のアイテム311〜317内をスクロールすると、一次触覚応答は、各新たなまたは次のアイテムがスクロールされたことを示すことができる。使用される圧力もしくはタッチまたはジェスチャに基づいて、デバイスはまた、第2のまたは二次触覚応答を生成して、スクロールされたまたはスクロール中の特定のアイテムに関するコンテキスト情報を伝達することができる。たとえば、ユーザがデバイス上の仮想音楽アルバムのスタック内をスクロールしようとした場合、ユーザが各アルバムまたはアルバムレイヤ内を移動するときに、ユーザは触覚確認(すなわち一次触覚応答)をトリガすることができる。デバイスは、そのアルバムに関する追加のコンテキスト情報をユーザに提供する第2の触覚応答を追加的にまたは代わりに提供することができる。コンテキスト情報は、システム設定するかまたはユーザ定義することができる。一例として、システムは、クラウドベースのアルバムに対してあるタイプの触覚効果を定義し、ユーザデバイスにローカルに記憶されたアルバムに対して異なるタイプの触覚効果を定義することができる。他の例として、ユーザはいくつかのアルバムをお気に入りとして指定するよう選択している場合があり、デバイスは、お気に入りとして識別されていないアルバムに関連付けられた触覚効果とは異なる、お気に入りのアルバムに関連付けられた感触を提供することができる。
【００２８】
追加的に、一実施形態は、スクロールしなくても、ディスプレイスクリーン上に配置されたアイコンに対してコンテキスト型触覚効果を提供することができる。たとえば、複数の定期的にアクセスされるアイコンまたはプログラムを特徴とするメインディスプレイスクリーンを有するデバイス上で、システムまたはユーザ設定された触覚効果を用いて、アイコンが、ゲームもしくはメディアプレーヤーまたはメディアファイルではなく、電話またはメッセージングサービスなどのコミュニケーションツールであるかを伝達することができる。
【００２９】
《タッチ圧力制御方法》
一実施形態は、タッチ圧力制御方法を利用する。奥行きインタラクションの第3のプレーンを移動する一方法は、物理タッチ表面上の1つまたは複数のタッチ点の閾値圧力検知を用いて、レベル、メニュー、コンテンツスクリーン、メッセージ、写真、リンク、地図、アプリケーション、または他のコンテンツインタラクションの中へ、中を、外へユーザが移動するのを支援する制御応答をトリガするものである。圧力は、単純なタッチもしくはタッチ圧力として検出することができ、または特定の点もしくは位置においてタッチ表面にかけられた力として検出することができ、あるいはタッチ表面の検出された領域にわたって分散された力とすることができる。この実施形態では:
・P(i)初期タッチ圧力+追加圧力P(a)=C(+)増加または正の制御動作。
・P(i)からのP(a)の除去=C(-)減少、負または戻りの制御動作。
・P(i)初期タッチ圧力+追加圧力P(a)が一定のままである場合=C(+)増加または正の制御動作を継続する。
たとえば、ユーザは、第1の初期圧力P(i)をディスプレイスクリーンに加え、次いで続いて、P(i)より大きいまたは小さい圧力であり得る異なる圧力を加えることができる。圧力の変化をシステムによって用いて、正または負の制御動作の形式のコマンドを伝達することができる。
【００３０】
一実施形態は、レベル、メニュー、コンテンツスクリーン、メッセージ、写真、リンク、地図、アプリ、または他のコンテンツインタラクションの中および/または外への単一のz軸の移動を含む。この実施形態では、圧力検知は、メッセージを選択し、および/またはメッセージのコンテンツを見るために使用され、単純な確認触覚効果(たとえばクリック)を含むが、たとえばアクセスすべき写真またはファイルなどの添付があることを、二次触覚効果、押下または圧力の変化を提供することによって伝えることもできる。二次触覚効果は、添付を有するというコンテキストを提供し、これをシステムが第1のものとは異なる触覚感覚を用いて伝達する。ユーザは、添付の存在を知ることから利益を得、これにアクセスする能力を提供され得る。
【００３１】
別の実施形態では、圧力検知は、写真を選択するおよび/または見るために、ならびに押下動作に応答して単純な確認触覚効果(たとえばクリック)を提供するために使用されるが、二次触覚効果を提供することによって写真に関するさらなる詳細が存在することも伝え、二次触覚効果は、写真の選択に起因して、または二次押下または圧力の変化に応答して追加的に提供される。二次触覚効果は追加の写真の詳細のコンテキストを提供し、これをシステムが第1のものとは異なる触覚感覚を用いて伝達する。ユーザは、写真の詳細の存在を知ることから利益を得、詳細にアクセスする能力が提供され得る。
【００３２】
別の実施形態では、上記の圧力インタラクションを用いて仮想音楽アルバムのスタック内を掻き分けることによって、ユーザが各アルバムレイヤ内を移動すると、確認としての触覚効果をトリガすることができる。しかしながらその確認において、提供される触覚応答のタイプは、システム設定されるかまたはユーザ定義され得るアルバムに関する追加のコンテキスト情報をユーザに与える。たとえば、システムは、クラウドベースのアルバムに対してある感触を定義し、ユーザデバイスにローカルに記憶されたアルバムに対して異なる感触を定義することができる。またはユーザはお気に入りでないアルバムとは異なって感じるお気に入りとして特定アルバムを定義している場合があり、あるいはユーザは特定の音楽ジャンルまたはアーティストを識別するための特定の効果を設定している場合がある。したがって、あるアルバムの中へまたは中を移動することによって、ユーザにそのアルバムに関するコンテキスト情報が与えられる。圧力の変化、たとえばP(a)を除去することによって、アルバム曲リストを開くことができ、またはアルバムの再生を開始することができる。この二次インタラクション、圧力の変化は、ユーザインタラクションの確認/ユーザ入力へのシステム応答と同一のまたは異なる触覚応答を有することができる。また、ジェスチャは、単独でまたは圧力と併用して、二次インタラクションを構成することができる。
【００３３】
先の音楽アルバムの例に関して、ユーザはアルバムのスタック内をスクロールするかまたは掻き分けるが、次いでその特定のアルバムの曲内を移動するか、または特定のアーティストの全てのアルバム内を移動すること(たとえば、図2のアルバム211〜217内の移動)を望む場合がある。一実施形態は、2D(x軸またはy軸)の指の動きまたはモーションジェスチャ、たとえばチルトを使用することを含む。各制御インタラクションについて、確認触覚応答をトリガして、ユーザの誘導を補助することができる。しかしながら追加的に、ユーザがアルバム内の曲(または任意の類似のサブレベル)の中を移動する場合に、コンテキスト型触覚応答を提供することができる。
【００３４】
別の実施形態では、異なる圧力レベルを、異なる事前設定された応答に関連付けることができる。たとえば、特定のスクリーンもしくはアプリケーション、たとえばホームスクリーン、ダイヤラ/テキストアプリケーションへのアクセス、または別のユーザ定義の事前設定された応答を、特定の圧力または圧力の範囲を加えることによってトリガすることができる。多くのモバイルデバイスが、ユーザがボタンを押下し続けた長さに応じて、または非ホームスクリーン上にいる間もしくはアプリケーション内にいる間に異なって反応するUIボタンを有するように、ユーザはホームスクリーンボタンを押してデバイスホームスクリーンに戻ることができる。さらに、ホームスクリーンボタンをより長く押下し続けることによって、他のインタラクション、たとえばホームスクリーン設定メニューまたは他のデバイスアプリケーションへのアクセスをトリガすることができ、またはホームスクリーンボタンを押し続けることによって、音声認識アプリケーションを起動させることができ、ユーザインタラクションを確認する触感応答をトリガすることができる。
【００３５】
追加的に、一実施形態は、ユーザにより行われるジェスチャを利用しつつ、P(i)または圧力の変化をデバイスに加えてコマンドを伝達することができる。
【００３６】
《タッチ表面積制御方法》
別の実施形態は、1つまたは複数のタッチ点により被覆される物理タッチ表面の量を検知して、レベル、メニュー、コンテンツスクリーン、メッセージ、写真、リンク、地図、アプリまたは他のコンテンツインタラクションの中へ、中を、外へユーザが移動するのを支援する制御応答をトリガすることによって、奥行きインタラクション(z軸)の第3のプレーン内を移動する方法を含む。この実施形態では:
・S(i)初期表面積+追加表面積S(a)=C(+)増加または正の制御動作。
・S(i)からのS(a)の除去によって、反対のC(-)減少または負の制御動作がもたらされる。
・S1(i)+S2(i)+Sx(i)/x=平均タッチ表面積+追加表面積S(a)=(+)増加または正の制御動作、あるいは、
・S1(i)+S2(i)+Sx(i)=合わせたタッチ表面積+追加表面積S(a)=C(+)増加または正の制御動作。
・S(i)からのS(a)の除去=C(-)減少または負の制御動作。
たとえば、ユーザは、デバイスとの接触を生成することができ、その接触はディスプレイスクリーンへの第1の初期表面積S(i)を含み、次いで続いて異なる表面積量を用いて接触を生成することができ、これはS(i)よりも大きいまたは小さい表面積とすることができる。表面積の変化をシステムにより用いて、正または負の制御動作の形式のコマンドを伝達することができる。一実施形態では、表面積は、S1(i)+S2(i)+Sx(i)の総和をとり、ここでxは測定される離散した表面積の数であり、Sx(i)は一連の表面積の最後であり、総和をxで割ることによって、平均表面積として計算することができる。
【００３７】
閾値圧力の音楽アルバムの例のように、表面被覆方法を、同一のコンテキスト型触覚応答の検討を伴う同一のジェスチャ検知の検討(Considerations)と置き換えることによって、z軸においてユーザがインタラクションを行っているコンテンツに関するより多くの情報をユーザに与えることができる。
【００３８】
《仮想表面制御方法》
別の実施形態は、たとえば仮想または拡張現実システム内の仮想表面を有する投影インターフェースに関する方法を含む。たとえば、投影インターフェース(たとえば、図5のインターフェース504、505)は、物理タッチ表面のない空間に浮いているように見える。仮想表面制御方法の方法は、1つまたは複数のタッチ点によって進行した距離の検知を必要とする、奥行きの第3のプレーン内の移動の追跡を含み、レベル、メニュー、コンテンツスクリーン、メッセージ、写真、リンク、地図、アプリまたは他のコンテンツインタラクションの中へ、中を、外へユーザが移動するのを支援する追加の制御応答をトリガすることができる。仮想表面は、実質的に平面、曲面、球、または別の形状とすることができる。仮想表面制御方法の方法は、かけられた力もしくは仮想空間において進行した距離によって測定される仮想圧力、または仮想タッチ表面被覆によって測定される仮想擬似圧力を追跡することができる。この実施形態では:
・D(i)初期タッチ点位置+追加距離D(a)=C(+)増加または正の制御動作。
・D(i)からのD(a)の除去によって、反対のC(-)減少または負の制御動作がもたらされる。
【００３９】
この制御方法では、ユーザは、仮想または拡張現実システム内の仮想表面とインタラクションを行うことによって、初期タッチ点D(i)を生成する。初期タッチ点位置D(i)は、仮想または拡張現実内の仮想表面上の点に対応する空間内の座標のセットとすることができる。次いで、ユーザは、初期タッチ点位置D(i)に対する追加距離D(a)に対応する仮想表面に対する動きを利用する。追加距離D(a)は、仮想表面に沿った、仮想表面内への、または仮想表面から離れる、仮想空間内の動きによって生成することができる。一般に、追加距離D(a)が仮想表面内への動きに対応する場合、システムはC(+)、すなわち増加または正の制御動作を認識することができる。代わりに、追加距離D(a)が仮想表面外へのまたは離れる動きである場合(たとえば初期タッチ点位置が仮想表面内または深部である場合)、システムは代わりにC(-)、すなわち減少または負の制御動作を認識することができる。特定の仮想または拡張システムに応じて、仮想表面に沿った動きもまた、仮想または拡張現実オブジェクトおよび/または表面に対する方向性に応じて、C(+)またはC(-)を生成するように解釈することができる。
【００４０】
仮想表面に関する1つのジェスチャ検知シナリオでは、位置およびモータセンサは、仮想空間におけるユーザの入力ジェスチャおよび座標を追跡することができる。ユーザの入力ジェスチャ座標が仮想表面の座標と接触した場合、触覚フィードバックの形式であり得るシステムからの入力応答が生成されることになる1つまたは複数の仮想入力圧力または擬似圧力閾値を入力ジェスチャが通過したかの判定が行われる。
【００４１】
初期タッチ点位置を設定するために、仮想表面とのインタラクションは、たとえばユーザの指もしくは手などの実世界オブジェクトに基づく仮想オブジェクト、またはたとえば仮想的な剣、仮想的な魔法の杖、もしくはシステムにより生成される仮想世界に没入している間に仮想的に保持されるかまたは仮想的にユーザに接続され得る他の仮想オブジェクトなどの、仮想または拡張現実のみに存在する仮想オブジェクトによって実現することができる。
【００４２】
タッチ圧力制御方法およびタッチ表面制御方法から論じられた音楽アルバムの例のように、仮想表面制御の実施形態を、上述の同一のジェスチャ検知の検討を用いて実施することによって、同一のまたは異なるコンテキスト型触覚応答の検討を提供し、特に、ユーザがz軸または仮想表面に実質的に垂直な他の軸に沿って移動したときに、アイテムおよびインタラクションに関する情報をユーザに提供することができる。
【００４３】
《複数タッチ点制御方法》
別の実施形態は、現実または仮想タッチ表面上のいくつかのタッチ点を検知して、レベル、メニュー、コンテンツスクリーン、メッセージ、写真、リンク、地図、アプリまたは他のコンテンツインタラクションの中へ、中を、外へユーザが移動するのを支援する制御応答をトリガすることによって、奥行きインタラクションの第3のプレーン内を移動することを含む。たとえば、一実施形態では、1つの検知された点を用いることによって、ユーザがスクリーン、メニュー、またはリストの深部へと移動し、2つの検知された点を用いることによって、ユーザがそのスクリーン、メニュー、またはリストの奥行きの外へ後退する。この複数タッチ点制御の方法は、任意の圧力または表面積被覆検知とは無関係にまたはこれに加えて、インタラクションを制御することができる。この実施形態では、検知されたタッチ点の数は、制御インタラクションを指示する。閾値圧力の音楽アルバムの例のように、複数のタッチ点方法を、上述の同一のジェスチャ検知の検討を用いて実施することによって、同一のまたは異なる触覚応答の検討を提供し、具特にユーザがz軸に沿って移動すると、アイテムおよびインタラクションに関する情報をユーザに提供することができる。
【００４４】
本明細書に記載のシステムおよび方法は、任意の触覚対応ユーザインターフェースデバイス、現実または仮想のタッチスクリーンまたはタッチ表面に適用することができる。
【００４５】
たとえば図5の仮想オブジェクトおよび仮想スクリーンを特徴とする実施形態では、触覚応答は、ウェアラブルコンポーネントによって、または「射出触覚応答」として生成することができる。射出触覚応答の例は、空気の射出パルスおよび低周波数の音波である。
【００４６】
検知制御の実施形態は、単一のユーザまたは単一の位置に限定されない。各方法は、一緒にいるまたは互いに離れて位置する1人または複数人の同時ユーザに対して利用することができる。たとえば、あるユーザは実施形態のいずれかを用いて奥行き移動を制御することができ、さらなるユーザは、彼ら自身の同時入力によってその制御を停止または変更することができ得る。一例として、第1のユーザはz軸を介してスクリーンコンテンツ、メニュー、リストなどに下りることができ、第2のユーザは彼らの検知された入力を用いて、第1のユーザと共に選択、議論、またはより完全にレビューしたいコンテンツを見る、聞く、または感じる場合に、第1のユーザの奥行き制御を停止または変更することができる。ジェスチャを制御方法と組み合わせて、さらなるインタラクション制御を可能にすることができる。ジェスチャは、2Dハンドジェスチャ、たとえばピンチ、ツイスト、ストレッチ、またはドラッグジェスチャを含むことができ、または追加のハードウェアコンポーネント、たとえば加速度計、ジャイロスコープ、アイトラッキングなどによる検知などを含むことができる。移動および触覚フィードバックは、動きの速度、動きの距離、動きの角度、表面積、圧力(現実または仮想)などを介して伝達するジェスチャを用いて制御することができる。
【００４７】
図6は、一実施形態による、システム10において利用可能な特定のアイテムに関連付けられたコンテキストに基づいて圧力ベースの触覚効果を生成する場合の、図1のシステム10の機能の一例の流れ図である。一実施形態では、図6(および後述の図7)の流れ図の機能は、メモリまたは他のコンピュータ可読もしくは有形媒体に記憶され、プロセッサにより実行されるソフトウェアによって実装される。他の実施形態では、機能は、ハードウェアによって(たとえば、特定用途向け集積回路(「ASIC」)、プログラマブルゲートアレイ(「PGA」)、フィールドプログラマブルゲートアレイ(「FPGA」)などを用いて)、またはハードウェアおよびソフトウェアの任意の組み合わせによって、実行することができる。
【００４８】
602において、システム10は、ジェスチャ(すなわち、システム10との接触が生じるまたは生じるはずであることを示すユーザによる動作)を用いて加えられる圧力の入力を検出する。ジェスチャは、タッチスクリーンへのタッチ、ならびに物理コントロール、たとえばボタン、引き金、およびスライダに対する動作を含むことができる。また、ジェスチャは進行中のジェスチャの変化、たとえば、いつユーザがスライドジェスチャを中断し、スクリーンを持ち上げたかを予測することを含むことができる。また、ジェスチャは、他の入力メカニズムに関連し得るグリップの変化、たとえば、可撓性デバイスを曲げる、捻るまたは絞ることを含むことができる。接触または入力は、少なくとも、力、圧力、ジェスチャ、または表面積量、または組み合わせの形式とすることができる。タッチスクリーンは現実の2次元表面とすることができ、または拡張現実もしくは仮想現実システム内で提供される仮想スクリーンとすることができる。
【００４９】
604において、システムは、ジェスチャに関連付けられたレベルを圧力入力に基づいて決定する。レベルは、階層内のレベル、またはリストもしくはスタック内の場所(たとえば、図3のレベル311〜317または図5のレベル504〜505)とすることができる。たとえば、ユーザは、デバイスのディスプレイに対して水平、垂直、または奥行き(タッチ表面に実質的に垂直なz軸に沿った)のプレーン内で動くリスト内をスクロールしたい場合がある。圧力入力は、現実圧力、タッチ表面積の尺度(「擬似圧力」)、または仮想空間内を進行した距離(「仮想圧力」)とすることができる。換言すれば、圧力の入力は、ジェスチャによって加えられた力、ジェスチャに関連する測定されたタッチ表面積、またはジェスチャによって仮想空間内を移動した距離に基づくことができる。
【００５０】
606において、システムは、選択されたレベルにおけるアイテム/アイコン/オブジェクトの選択をジェスチャに基づいて決定する。ユーザは、圧力レベル、加えられる圧力の変化、特定の1つまたは複数のジェスチャ、またはこれらの組み合わせを用いて、アイテムを選択することができる。圧力およびジェスチャは、単一の入力、たとえば1本の指、または複数の入力、たとえば複数の指を用いて加えることができる。
【００５１】
608において、システムは、レベルにおけるアイテムに関連付けられたコンテキストを決定する。コンテキストは、コンテキストデータベースに記憶することができ、コンテキストデータベースは、特定のデバイスに配置することができ、または離れて記憶し、デバイスによってアクセス可能にすることができる。
【００５２】
610において、システムは、レベルにおけるアイテムのコンテキストに基づいて触覚効果を生成する。適切な触覚効果は、入力およびユーザにより選択されたアイテムのコンテキストに基づいて生成される。触覚データベースは触覚効果信号を触覚出力デバイスに送ることができ、触覚出力デバイスは触覚効果を生成する。
【００５３】
図7は、図1のシステム10の機能の一実施形態を示す流れ図である。701において、システム10は、システム10のユーザによるタッチ入力を認識する。システム10は、タッチが行われたときに、デバイス上のアイテムを位置またはタッチに関連付けるか、またはデバイス上のスクリーンに現在表示されているアイテムを関連付けることができる。システム10は、初期タッチ圧力P(i)702または初期タッチ表面積S(i)703を考慮して応答することができる。システム10は、追加タッチ圧力(+)P(a)704もしくは低減タッチ圧力(-)P(a)705の形式で来るタッチ圧力、または追加タッチ表面積(+)S(a)706もしくは低減タッチ表面積(-)S(a)707の形式で来る表面積の変化を認識することができる。次いで、システム10は、708において、事前設定閾値を超えたかを判定する。事前設定閾値を超えていない場合、システム10は動作を行わない。しかしながら、事前設定閾値を超えた場合、システム10は、タッチ圧力または表面積の変化を、709、711において増加または正の制御動作C(+)として、または710、712において減少、負、もしくは戻りの制御動作C(-)としてカテゴライズすることができる。システム10が検出されたタッチ入力を特徴付けた後、システム700は次いで713においてコンテキストデータベースにアクセスすることができ、コンテキストデータベースは701においてタッチまたは表示されたアイテムについてのコンテキストを提供する。コンテキストデータベースは、特定のデバイスに配置することができ、または離れて記憶し、デバイスによってアクセス可能にすることができる。次いで、システム10は714において、タッチ入力およびアイテムのコンテキストに基づいて、タッチ応答を提供することができる。システム10は、そのレベルにおけるアイテムのコンテキストに基づいて、触覚効果の形式であることが好ましいタッチ応答を生成する。コンテキストデータベースは触覚効果信号を触覚出力デバイスに送り、触覚出力デバイスはタッチ応答として触覚効果を生成する。触覚科学に加えて、タッチ応答は、必要に応じて、視覚、聴覚、触感、嗅覚、または味覚のフィードバックを含むことができる。
【００５４】
開示されたように、一実施形態は、デバイスに加えられた圧力に応答してコンテキスト型触覚効果を提供する。圧力はタッチ、力、または仮想圧力をもたらす仮想タッチもしくは仮想力として加えることができる。力は、たとえばスタイラスまたは他の周辺機器を用いて、力が特定の点に加えられるか、または力が領域にわたって与えられるという意味で、インパルス関数であり得る。圧力は、タッチ感応表面、デバイスの筐体、またはデバイスに関連付けられた周辺機器に直接加えることができる。圧力は、デバイスまたはデバイスの一部、たとえばディスプレイスクリーン、タッチパッド、可変形筐体、またはデバイスに関連付けられた周辺機器デバイス(たとえばスタイラス)とのインタラクションによって検出することができる。デバイスに加えられる力は、通常の力、摩擦力、張力、ばね力、または加えられる力、たとえば捻り力、せん断力、応力、歪み、投射力(projected force)、仮想力などとすることができる。コンテキスト型触覚効果は、ユーザによる特定のインタラクションに応答した振動、力または圧力、空気の吹出、および他の触覚応答、たとえば大きさ、周波数、および他の触覚パラメータに基づく振動を含むことができる。
【００５５】
開示されたように、一実施形態は、ユーザ供給された圧力に応答して、コンテキストベースの触覚応答をユーザに提供することによって、選択されたアイテムに関する追加情報をユーザに提供するシステムを提供する。ユーザにより加えられる圧力は、少なくとも、システムとインタラクションを行うためにユーザにより使用される力の変化(現実圧力)、システムとのインタラクション中にユーザがインタラクションを行う表面積量の変化(擬似圧力)、または仮想空間内で進行した距離などのジェスチャ(仮想圧力)の形式とすることができる。特に、一実施形態は、デバイスのユーザが、アイテムのリストまたはスタック内をスクロールし、各アイテムが選択されるかまたはスクロール中に選択領域を通過したときに、各アイテムに関するコンテキスト型触覚フィードバックが提供されることを可能にする。コンテキスト型触覚フィードバックは、ユーザにより加えられた圧力に応じて選択することができる。また、一実施形態は、仮想または拡張現実システムのユーザが、仮想オブジェクト間を移動するか、または複数の仮想オブジェクトの1つを選択しながら、コンテキストベースの触覚応答を受けることを可能にする。一実施形態は、特に、ユーザが現実または仮想のディスプレイスクリーンまたは平面に対してz軸に沿ってスクロールまたは移動している間に、コンテキストベースの触覚効果を提供する。
【００５６】
いくつかの実施形態が本明細書において具体的に示され、および/または説明された。しかしながら、開示された実施形態の修正および変形が、上記の教示によって、添付の特許請求の範囲内で、本発明の趣旨および意図された範囲から逸脱することなく含まれていることは理解されよう。
【符号の説明】
【００５７】
10  触覚対応モバイルデバイスシステム
11  タッチ感応表面、タッチ表面
12  プロセッサ
13  メカニカルキー/ボタン
15  筐体
16  駆動回路
18  触覚出力デバイス
20  メモリ
22  コンテキスト型圧力検知触覚効果生成モジュール
28  センサ
200  システム
202  コンピューティングデバイス
204  タッチスクリーンディスプレイ
206  仮想オブジェクト
208  ユーザ
211  アルバム
212  アルバム
213  アルバム
216  アルバム
217  アルバム
300  一実施形態
302  コンピューティングデバイス
304  ユーザインターフェース
308  ユーザ
311  アイテム
312  アイテム
313  アイテム
314  アイテム
315  アイテム
316  アイテム
317  アイテム
400  一実施形態
402  触覚対応デバイス
404  タッチスクリーン
406  アイテム
408  ユーザ
410  矢印
500  ウェアラブル触覚対応デバイス
501  ヘッドギア
502  周辺機器
504  仮想スクリーン
505  仮想スクリーン
506  アイテム
508  ユーザ
700  システム
【図１】
2018063700.tif 000003
【図２】
2018063700.tif 000004
【図３】
2018063700.tif 000005
【図４】
2018063700.tif 000006
【図５】
2018063700.tif 000007
【図６】
2018063700.tif 000008
【図７】
2018063700.tif 000009
【外国語明細書】
2018063700000001.pdf