(57)【要約】【課題】ネットワーク接続されたシステム上で触覚機能を提供する。【解決手段】システムは、ネットワーク接続されたシステムに登録されている第1のデバイスから情報を受信し、その情報に基づきユーザに提供される通知を決定する。次いで、システムは、ネットワーク接続されたシステムに登録されている第2のデバイスを選択し、第2のデバイス上に触覚効果を発生させることによってユーザに通知を提供する。【選択図】図９
2018014708.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサによって実行されたときに、ネットワーク接続されたシステム上で触覚機能を提供することを前記プロセッサに行わせる命令が記憶されている非一時的コンピュータ可読媒体であって、前記提供することは、
前記ネットワーク接続されたシステムに登録されている第1のデバイスから情報を受信することと、
前記情報に基づきユーザに提供される通知を決定することと、
前記ネットワーク接続されたシステムに登録されている第2のデバイスを選択することと、
触覚効果を前記第2のデバイス上に発生させることによって前記ユーザに前記通知を提供することとを含む非一時的コンピュータ可読媒体。
【請求項２】
前記第2のデバイスは、前記ネットワーク接続されたシステムに登録されている複数のデバイスから選択され、前記複数のデバイスのうちの各1つは、触覚アクチュエータを含む請求項1に記載のコンピュータ可読媒体。
【請求項３】
前記第2のデバイスは、前記ユーザに関する前記第2のデバイスの相対的位置に基づき選択される請求項2に記載のコンピュータ可読媒体。
【請求項４】
前記ユーザに関する前記第2のデバイスの前記相対的位置は、前記第1のデバイスから受信された前記情報および前記第2のデバイスに関する前記ネットワーク接続されたシステムにおける情報に基づき決定される請求項3に記載のコンピュータ可読媒体。
【請求項５】
前記第2のデバイスは、前記第2のデバイスの触覚能力、前記通知の重大度、および前記第2のデバイスの忠実度にさらに基づき前記複数のデバイスから選択される請求項3に記載のコンピュータ可読媒体。
【請求項６】
前記触覚効果は、前記通知の特性および前記第2のデバイスの特性に基づき決定される請求項1に記載のコンピュータ可読媒体。
【請求項７】
前記通知の前記特性は、前記通知の状況または前記通知の重大度を含む請求項6に記載のコンピュータ可読媒体。
【請求項８】
前記第2のデバイスの前記特性は、前記第2のデバイスの忠実度または前記第2のデバイスの触覚能力を含む請求項6に記載のコンピュータ可読媒体。
【請求項９】
前記第2のデバイスは、前記第2のデバイスとのユーザインタラクションを検出するように構成されているセンサーを含み、前記第2のデバイスは、前記ユーザインタラクションに基づき選択される請求項1に記載のコンピュータ可読媒体。
【請求項１０】
前記第1のデバイスから受信された前記情報は、前記ユーザにアイテムが不足していることを示す請求項1に記載のコンピュータ可読媒体。
【請求項１１】
前記ネットワーク接続されたシステムは、前記ネットワーク接続されたシステムに登録されている複数のデバイスから受信された情報に基づき前記ユーザにアイテムが不足していると決定する請求項10に記載のコンピュータ可読媒体。
【請求項１２】
前記ネットワーク接続されたシステムは、前記複数のデバイスから受信された情報を前記ユーザが持っている必要のあるアイテムのリストと比較することによって前記ユーザにアイテムが不足していると決定し、前記リストは前記ユーザの位置に基づく請求項11に記載のコンピュータ可読媒体。
【請求項１３】
ネットワーク接続されたシステム上で触覚機能を提供する方法であって、
前記ネットワーク接続されたシステムに登録されている第1のデバイスから情報を受信するステップと、
前記情報に基づきユーザに提供される通知を決定するステップと、
前記ネットワーク接続されたシステムに登録されている第2のデバイスを選択するステップと、
触覚効果を前記第2のデバイス上に発生させることによって前記ユーザに前記通知を提供するステップとを含む方法。
【請求項１４】
前記第2のデバイスは、前記ネットワーク接続されたシステムに登録されている複数のデバイスから選択され、前記複数のデバイスのうちの各1つは、触覚アクチュエータを含む請求項13に記載の方法。
【請求項１５】
前記第2のデバイスは、前記ユーザに関する前記第2のデバイスの相対的位置に基づき選択される請求項14に記載の方法。
【請求項１６】
前記ユーザに関する前記第2のデバイスの前記相対的位置は、前記第1のデバイスから受信された前記情報および前記第2のデバイスに関する前記ネットワーク接続されたシステムにおける情報に基づき決定される請求項15に記載の方法。
【請求項１７】
前記第2のデバイスは、前記第2のデバイスの触覚能力、前記通知の重大度、および前記第2のデバイスの忠実度にさらに基づき前記複数のデバイスから選択される請求項15に記載の方法。
【請求項１８】
前記触覚効果は、前記通知の特性および前記第2のデバイスの特性に基づき決定される請求項13に記載の方法。
【請求項１９】
前記通知の前記特性は、前記通知の状況または前記通知の重大度を含む請求項18に記載の方法。
【請求項２０】
ネットワーク接続されたシステム上で触覚機能を提供するためのシステムであって、
前記ネットワーク接続されたシステムに登録されている第1のデバイスから情報を受信する受信モジュールと、
前記情報に基づきユーザに提供される通知を決定する決定モジュールと、
前記ネットワーク接続されたシステムに登録されている第2のデバイスを選択する選択モジュールと、
触覚効果を前記第2のデバイス上に発生させることによって前記ユーザに前記通知を提供する提供モジュールとを備えるシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
一実施形態は、概して触覚システムを対象とし、特に触覚機能を提供するためのネットワークを実現するシステムを対象とする。
【背景技術】
【０００２】
「触覚」は、力、振動、および動きなどの、触覚フィードバック効果(すなわち、「触覚効果」)をユーザに適用することによってユーザの触感を利用する触知および力フィードバック技術に関するものである。モバイルデバイス、タッチスクリーンデバイス、およびパーソナルコンピュータなどのデバイスは、触覚効果を発生するように構成され得る。一般に、触覚効果を発生することができる組み込みハードウェア(アクチュエータなど)への呼び出しは、デバイスのオペレーティングシステム(「OS」)内にプログラムすることができる。これらの呼び出しで、どの触覚効果を再生するかを指定する。たとえば、ユーザが、たとえば、ボタン、タッチスクリーン、レバー、ジョイスティック、ホイール、または他の何らかのコントロールを使用してデバイスとインタラクションするときに、デバイスのOSは、制御回路を通じて再生コマンドを組み込みハードウェアに送信することができる。次いで、組み込みハードウェアは、適切な触覚効果を生み出す。
【発明の概要】
【課題を解決するための手段】
【０００３】
一実施形態は、ネットワーク接続されたシステム上で触覚機能を実現するシステムである。システムは、ネットワーク接続されたシステムに登録されている第1のデバイスから情報を受信し、その情報に基づきユーザに提供される通知を決定する。次いで、システムは、ネットワーク接続されたシステムに登録されている第2のデバイスを選択し、第2のデバイス上に触覚効果を生み出すことによって通知をユーザに提供する。
【図面の簡単な説明】
【０００４】
【図１】本発明の一実施形態によるコンピュータサーバ/システムのブロック図である。
【図２】本発明の一実施形態による触覚機能を提供するための例示的なシステムを示す図である。
【図３】本発明の実施形態による触覚機能の流れ図である。
【図４】本発明の一実施形態による触覚機能を提供するための別の例示的なシステムを示す図である。
【図５】本発明の実施形態による触覚機能を実現する例示的なクラウドシステムのブロック図である。
【図６】本発明の実施形態による触覚機能を実現する別の例示的なシステムのブロック図である。
【図７】本発明の実施形態による図6の触覚デバイス決定モジュールの動作の流れ図である。
【図８】本発明の実施形態による図6の触覚効果決定モジュールの動作の流れ図である。
【図９】本発明の実施形態による触覚機能を実行するときの図1の触覚モジュールの動作の流れ図である。
【発明を実施するための形態】
【０００５】
一実施形態は、モノのインターネット(「IoT」)における対象物(object)などのネットワーク接続されたデバイスの触覚機能を実現する。一実施形態において、1つまたは複数の触覚が使用可能なデバイスは、機会をねらって選択され、触覚効果をユーザにもたらすために使用される。代替的なまたは追加の実施形態において、1つまたは複数のネットワーク接続されたデバイスから収集された情報は、触覚効果をユーザにもたらすために使用される。触覚効果は、ユーザに提供される必要のあるメッセージ、サービス、またはアラートに関連付けられ得る。したがって、様々なネットワーク接続されたデバイスを選択し、使用することによって、実施形態は触覚機能をユーザに提供する際にそのようなデバイスの利用を改善することを可能にする。
【０００６】
図1は、本発明の一実施形態によるシステム10のブロック図を例示している。一実施形態において、システム10は、モバイルデバイス(たとえば、スマートフォン)または非モバイルデバイスの一部であり、システム10は、デバイスのための触覚機能を提供する。別の実施形態において、システム10は、何らかの方法でユーザと接触する物体(たとえば、家具)に組み込まれるデバイスの一部であり、システム10は、そのようなデバイスのための触覚機能を提供する。たとえば、一実施形態において、システム10は、ウェアラブルデバイスの一部であり、システム10は、ウェアラブルデバイスのための触覚機能を提供する。ウェアラブルデバイスの例は、リストバンド、ヘッドバンド、眼鏡、指輪、レッグバンド、衣類に一体化される装い、またはユーザが身に着けることができる、またはユーザの手に持たれ得る他のタイプのデバイスを含む。いくつかのウェアラブルデバイスは、「触覚が使用可能」とすることができ、これは触覚効果を発生するメカニズムを備えることを意味する。別の実施形態において、システム10は、デバイス(たとえば、モバイルデバイスまたはウェアラブルデバイス)から分離しており、デバイスに対する触覚機能を遠隔で提供する。
【０００７】
単一のシステムとして図示されているけれども、システム10の機能は、分散システムとして実装され得る。システム10は、情報を伝達するためのバス12または他の通信メカニズムと、情報を処理するためにバス12に結合されているプロセッサ22とを備える。プロセッサ22は、任意のタイプの汎用または専用プロセッサであってよい。システム10は、情報とプロセッサ22によって実行される命令とを記憶するためのメモリ14をさらに備える。メモリ14は、ランダムアクセスメモリ(「RAM」)、リードオンリーメモリ(「ROM」)、磁気もしくは光ディスクなどのスタティックストレージ、または他のタイプの一時的もしくは非一時的コンピュータ可読媒体からなるものとしてよい。
【０００８】
コンピュータ可読媒体は、プロセッサ22によってアクセスされ得る任意の利用可能な媒体であってよく、揮発性および不揮発性媒体の両方、取り外し可能なおよび取り外し不可能な媒体、通信媒体、ならびに記憶媒体を含み得る。通信媒体は、コンピュータ可読命令、データ構造体、プログラムモジュール、または搬送波もしくは他のトランスポートメカニズムなどの変調データ信号内の他のデータを含むものとしてよく、また当技術分野で知られている他の形態の情報配信媒体を含み得る。記憶媒体は、RAM、フラッシュメモリ、ROM、消去可能プログラム可能リードオンリーメモリ(「EPROM」)、電気的消去可能プログラム可能リードオンリーメモリ(「EEPROM」)、レジスタ、ハードディスク、取り外し可能なディスク、コンパクトディスクリードオンリーメモリ(「CD-ROM」)、または当技術分野で知られている他の形態の記憶媒体を含み得る。
【０００９】
一実施形態において、メモリ14は、プロセッサ22によって実行されたときに機能を提供するソフトウェアモジュールを記憶する。モジュールは、システム10、さらには一実施形態におけるモバイルデバイスの他の部分に対するオペレーティングシステム機能を提供するオペレーティングシステム15を含む。モジュールは、本明細書においてさらに詳しく開示されているように、触覚機能を提供する触覚モジュール16をさらに含む。いくつかの実施形態において、触覚モジュール16は、複数のモジュールを備え、各モジュールは、触覚効果をもたらすための特定の個別機能を提供する。システム10は、典型的には、イマージョン  コーポレーションによるTouchSense(商標)ソフトウェアなどの、追加の機能を備えるための1つまたは複数の追加のアプリケーションモジュール18を備える。
【００１０】
システム10は、遠隔ソースからのデータを送信および/または受信する実施形態において、赤外線、無線、Wi-Fi、セルラーネットワーク通信などの、モバイル無線ネットワーク通信を提供するための、ネットワークインターフェースカードなどの通信デバイス20をさらに備える。他の実施形態において、通信デバイス20は、Ethernet接続、モデムなどの、有線ネットワーク接続を提供する。
【００１１】
プロセッサ22は、グラフィック表現またはユーザインターフェース(「UI」)をユーザに対して表示するための、液晶ディスプレイ(「LCD」)などの、ディスプレイ24に、バス12を介してさらに結合される。ディスプレイ24は、プロセッサ22から信号を送受信するように構成されている、タッチスクリーンなどのタッチセンサー入力デバイスであってよく、またマルチタッチ・タッチスクリーンであってよい。
【００１２】
システム10は、一実施形態において、アクチュエータ26をさらに備える。プロセッサ22は、触覚効果に関連付けられている触覚信号をアクチュエータ26に送信するものとしてよく、これは次いで振動触知触覚効果、静電気摩擦触覚効果、変形触覚効果などの触覚効果を出力する。アクチュエータ26は、アクチュエータ駆動回路を備える。アクチュエータ26は、たとえば、電気モーター、電磁アクチュエータ、ボイスコイル、形状記憶合金、電気活性ポリマー、ソレノイド、偏心回転質量モーター(「ERM」)、線形共振アクチュエータ(「LRA」)、圧電アクチュエータ、高帯域幅アクチュエータ、電気活性ポリマー(「EAP」)アクチュエータなどであってよい。代替的実施形態において、システム10は、アクチュエータ26に加えて、1つまたは複数の追加のアクチュエータを備え得る(図1に図示せず)。代替的に、またはそれに加えて、アクチュエータ26は、温度感覚ディスプレイ(たとえば、高温/低温)、電気的触覚刺激(すなわち、電流による触覚受容器の刺激)、運動感覚フィードバックなどの他の触覚技術に従って動作し得る。さらに別の代替的な、または追加の実施形態は、システムがどのような動きをユーザにさせようとしているか、および/またはシステムがどのような動きをユーザがしたい気にさせようとしているかをユーザが決定することを要求するタスクなどの電気による筋肉刺激を実現し得る。
【００１３】
アクチュエータ26は、触覚出力デバイスの一例であり、触覚出力デバイスは、駆動信号に応答して、振動触知触覚効果、静電気摩擦触覚効果、変形触覚効果などの、任意の形態の触覚効果を出力するように構成されているデバイスである。したがって、代替的実施形態において、アクチュエータ26は、静電気摩擦(「ESF」)または超音波表面摩擦(「USF」)を使用するデバイス、超音波触覚トランスデューサにより音響放射圧力を誘導するデバイス、触覚基板および可撓もしくは変形可能表面または形状変化デバイスを使用し、かつユーザの身体に取り付けられ得るデバイス、空気ジェットを使用する空気の吹き出し、レーザーベースの発射体、サウンドベースの発射体などの投射される触覚出力を供給するデバイスなどの非機械的または非振動性デバイスであってもよい他の何らかのタイプの触覚出力デバイス(図示せず)によって置き換えられ得る。
【００１４】
たとえば、一実施形態では、レーザーエネルギーが空中の濃縮領域内の空気分子を電離してプラズマ(正粒子と負粒子との濃縮混合物)をもたらすレーザーベースの発射体を実現する。一実施形態において、レーザーは、非常に高速な非常に強いペースでパルスを放射するフェムト秒レーザーであってよく、レーザーが高速であればあるほど、人間が触れても安全である。発射体は、触覚的およびインタラクティブであるホログラムとして見えるものとしてよい。プラズマがユーザの皮膚と接触したときに、ユーザは、集中領域内の励起された空気分子の振動を感知することができる。ユーザの皮膚上の感覚は、ユーザが空中のプラズマとインタラクションしたときに生成される波によって引き起こされる。したがって、触覚効果は、そのような濃縮領域の影響下にユーザを置くことによってユーザにもたらされる。代替的に、またはそれに加えて、触覚効果は、指向音響エネルギーによって発生する振動の影響下にユーザを置くことによってユーザにもたらされる。
【００１５】
さらに、他の代替的実施形態において、システム10は、アクチュエータ26または他の触覚出力デバイスを備えなくてもよく、システム10からの別のデバイスが、触覚効果を発生するアクチュエータまたは別の触覚出力デバイスを備え、システム10は、発生した触覚信号を通信デバイス20を通じてそのデバイスに送信する。
【００１６】
一実施形態において、アクチュエータ26は、単一の周波数で振動触覚効果を発生する「標準精細度」(「SD」)アクチュエータであってよい。SDアクチュエータの例は、ERMおよびLRAを含む。SDアクチュエータとは対照的に、圧電アクチュエータまたはEAPアクチュエータなどの高精細度(「HD」)アクチュエータまたは高忠実度アクチュエータは、複数の周波数で高帯域幅/精細度触覚効果を発生することができる。HDアクチュエータは、変動振幅を有し、過渡駆動信号に対する高速応答性を有する広帯域幅触知効果を発生する能力によって特徴付けられる。しかしながら、HDアクチュエータは、SDアクチュエータに比べて大きな物理的寸法を有し、SDアクチュエータよりも高価である。その結果、大半のデバイスは、任意のHDアクチュエータの代わりに、1つまたは複数のSDアクチュエータのみを備える。したがって、いくつかの実施形態では、SDアクチュエータと組み合わせてデバイス内でまたは複数のスピーカー28を利用して、HD触覚効果をシミュレートし、HDアクチュエータを必要とすることなくHDに似た触覚体験をもたらす。
【００１７】
システム10は、一実施形態において、スピーカー28をさらに備える。プロセッサ22は、聴覚信号をスピーカー28に送信し、次いで、これは聴覚効果を出力する。スピーカー28は、たとえば、ダイナミック・スピーカー(dynamic loudspeaker)、動電型スピーカー(electrodynamic loudspeaker)、圧電スピーカー、磁歪スピーカー、静電型スピーカー(electrostatic loudspeaker)、リボンおよび平面型磁気スピーカー(ribbon and planar magnetic loudspeaker)、屈曲波スピーカー(bending wave loudspeaker)、フラットパネル・スピーカー、ハイル・エア・モーション・トランスデューサ(heil air motion transducer)、プラズマ・アーク・スピーカー(plasma arc speaker)、デジタルスピーカー(digital loudspeaker)などであってよい。代替的実施形態において、システム10は、スピーカー28に加えて、1つまたは複数の追加のスピーカーを備え得る(図1に図示せず)。さらに、他の代替的実施形態において、システム10は、スピーカー28を備えなくてもよく、システム10からの別のデバイスが、聴覚効果を出力するスピーカーを備え、システム10は、聴覚信号を通信デバイス20を通じてそのデバイスに送信する。
【００１８】
システム10は、一実施形態において、センサー30をさらに備える。センサー30は、限定はしないが、音、動き、加速、生体信号、距離、流れ、力/圧力/歪み/曲げ、湿度、線形位置、配向/傾斜、無線周波数、回転位置、回転速度、スイッチの操作、温度、振動、可視光強度などの、エネルギーの一形態、または他の物理的特性を検出するように構成され得る。センサー30は、検出されたエネルギー、または他の物理的特性、を電気的信号、または仮想的センサー情報を表す任意の信号に変換するようにさらに構成され得る。センサー30は、限定はしないが、加速度計、電気皮膚反応センサー、容量センサー、ホール効果センサー、赤外線センサー、超音波センサー、圧力センサー、光ファイバーセンサー、屈曲センサー(または曲げセンサー)、力感応抵抗器、ロードセル、LuSense CPS2 155、小型圧力トランスデューサ、圧電センサー、歪みゲージ、ハイグロメーター、線形位置タッチセンサー、リニアポテンショメーター(またはスライダー)、線形可変差動変圧器、コンパス、傾斜計、磁気タグ(または無線識別(「RFID」)タグ)、ロータリーエンコーダ、回転式ポテンショメーター、ジャイロスコープ、オンオフスイッチ、温度センサー(温度計、熱電対、抵抗温度検出器、サーミスタ、温度変換集積回路など)、マイクロフォン、光度計、高度計、生物学的モニター、カメラ、光依存性抵抗器、などの任意のデバイス、または心電図、脳電図、筋電図、眼電図、電気口蓋図、または他の電気生理学的出力を出力する任意のデバイスであってよい。
【００１９】
代替的実施形態において、システム10は、センサー30に加えて、1つまたは複数の追加のセンサーを備え得る(図1に図示せず)。これらの実施形態のうちのいくつかにおいて、センサー30および1つまたは複数の追加のセンサーは、センサーアレイの一部であり得るか、または他の何らかのタイプのセンサー集合体/配置構成であり得る。さらに、他の代替的実施形態において、システム10は、センサー30を備えなくてもよく、システム10からの別のデバイスは、ある形態のエネルギー、または他の物理的特性を検出し、検出されたエネルギー、または他の物理的特性を電気信号、または仮想的センサー情報を表す他のタイプの信号に変換するセンサーを備える。次いで、デバイスは、変換された信号を、通信デバイス20を通してシステム10に送信し得る。
【００２０】
＜触覚デバイス共有サービス＞
一般的に、知られているシステムでは、ユーザの触覚デバイスは、そのユーザに触覚効果をもたらすために利用される。たとえば、ユーザの身に着けることができる触覚デバイス(たとえば、リストバンド、ヘッドバンド、眼鏡、指輪、レッグバンド、衣類に一体化される装いなど)は、電話着信、ナビゲーションキュー、メッセージングなどの、そのユーザを対象とする状態情報に対応する触覚効果をもたらすことができる。
【００２１】
モノのインターネット(「IoT」)は、データを収集し、交換するための電子的機能を備える対象物(たとえば、建物、デバイス、車両など)のネットワークである。公共の場所にあるイスおよびテーブルなどの、頻繁に触れられる何らかの対象物を含む、IoTに接続される対象物が増えてきている。それと同時に、触覚アクチュエータは、また、家具(たとえば、イス、テーブルなど)、建築要素(たとえば、壁、床など)、および定規、ホッチキスなどの様々な消費者対象物などの、多くの対象物に入り込んできている。しかしながら、知られているシステムでは、触覚フィードバックをユーザに供給することは、一般的に、そのユーザの個人的なデバイスまたは特定の用途向けの専用デバイスに制限されている。たとえば、いくつかの知られているシステムでは、ユーザが手に持っているか、もしくは身に着けている、スマートフォンもしくはスマートウォッチなどのデバイス上に、または映画館のD-Box席などの特定の用途向けに構成されている専用デバイス上に触覚通知が発生させられる。
【００２２】
知られているシステムとは対照的に、本発明の実施形態では、ユーザの近辺にある利用可能なネットワーク接続されている触覚が使用可能なデバイス(たとえば、触覚が使用可能なIoTデバイス)を識別し、それらをそのユーザを対象とする触覚効果をもたらす。一実施形態では、触覚が使用可能なデバイスが、ユーザに対してその環境内で触覚フィードバックを、機会をねらって生成することを可能にするサービスインフラストラクチャを提供する。一実施形態は、そのような触覚が使用可能なデバイスを使用するために独立した当事者間でマイクロトランザクションを行うことを可能にし、それにより触覚フィードバックに対するシェアリング・エコノミーを使用可能にするブローカーシステムをさらに実現する。
【００２３】
一実施形態において、ユーザが、終日にわって、接続されている1つまたは複数のIoTおよび触覚が使用可能な対象物にごく接近するか、または接触するときに、これらの対象物の各々は、触覚フィードバックをユーザに提供するために使用され得る。たとえば、空港または喫茶店などの公共の場所で、頻繁に触れられ(たとえば、イス、テーブルなど)、触覚アクチュエータを備える対象物は、スマートフォンまたはウェアラブルなどのユーザの触覚が使用可能なパーソナルデバイスの代わりに、またはそれに加えて、付近にいるユーザと触覚機能で通信するために使用され得る。
【００２４】
図2は、本発明の一実施形態による触覚機能を提供するための例示的なシステム200を示している。システム200では、ユーザは、公共の場所で触覚が使用可能なイス202に座っているものとしてよい。イス202は、触覚アクチュエータ204(たとえば、ERMアクチュエータ)を備える。イス202は、IoTまたは他のネットワークに接続するための機能も備える。たとえば、イス202は、WiFiネットワークに接続するためのWiFi接続モジュールを備え得る。同様に、イス202は、様々な実施形態を参照しつつ本明細書で説明されている他のネットワークに接続するための他のモジュールを備え得る。したがって、アクチュエータ204は、IoTを通じて共有されるものとしてよく、イス202は、アクチュエータ204を通じてユーザへの触覚通知を発生し得る。そのような触覚通知は、ユーザのポケットにあるスマートフォンなどのユーザのパーソナルデバイスによって提供される触覚通知の代わりに、またはそれに加えてユーザに提供され得る。
【００２５】
代替的に、またはそれに加えて、ユーザは、自分の手またはパーソナルデバイス(たとえば、ラップトップコンピュータ、タブレットなど)のうちの1つを公共の場所にある触覚が使用可能なテーブル206上に置いているものとしてよい。テーブル206は、触覚アクチュエータ208(たとえば、ERMアクチュエータ)を備える。テーブル206は、また、IoTに接続する機能も備え得る。したがって、アクチュエータ208は、IoTを通じて共有され、テーブル206は、アクチュエータ208を通じてユーザへの触覚通知を発生し得る。
【００２６】
一実施形態では、ユーザのコンピューティングデバイス/サービスとユーザ環境内の機会をねらった、場合によっては公に利用可能な、アクチュエータとの間の通信を使用可能にするインフラストラクチャを実現する。そのようなインフラストラクチャは、そのような機会をねらったアクチュエータをセットアップし、共有することを促す経済インセンティブを提供することができ、したがって、結果として、これらのアクチュエータは環境内ではよりありふれたものとなり得る。
【００２７】
機会をねらって使用され得る触覚が使用可能なデバイスの一例は、ホッチキスが空であるときに振動するように構成されている触覚アクチュエータを備えるホッチキスである。触覚アクチュエータは、接触(たとえば、振動、変形、温度など)を必要とする触覚技術に基づくアクチュエータまたは非接触触覚技術(たとえば、投射される超音波、空気ジェット、静電気ESFなど)に基づくものなどの、触覚が使用可能なデバイスにおいて機会をねらって使用され得る。
【００２８】
一実施形態では、ユーザの環境内の触覚アクチュエータが機会をねらって使用されることを可能にするネットワークインフラストラクチャを実現する。たとえば、ユーザがイスに座っているときに、スマートフォンが、イスの中の触覚アクチュエータが利用可能であることを検出し、それとの通信を確立し、それを使用してスマートフォン上で再生される映画の触覚トラックを生成する。一実施形態において、触覚機能付きイスは、ユーザに属しており、ユーザによって独占的に使用される。別の実施形態において、触覚機能付きイスは、第三者に属しており、イスの所有者は、触覚アクチュエータが、他者が使用するために利用できるようにそれをサービスに登録することができる。次いで、サービスは、触覚プロバイダ(すなわち、イスの所有者)と触覚フィードバックを望むユーザとの間のマイクロトランザクションを管理することができる。一実施形態において、プロバイダは、触覚イス上に生成されるすべての通知について料金(たとえば、$0.001)を請求することができる。そこで、サービスは、触覚アクチュエータに対するシェアリング・エコノミーを使用可能にし、したがって、環境内にそれを拡散することを奨励することができる。
【００２９】
一実施形態において、たとえば、ユーザは、喫茶店に座って、タブレットデバイスで映画を観ているものとしてよい。ユーザが「play」を押すと、ポップアップ通知が現れて、1時間$1で公共利用可能なイスの触覚アクチュエータを使用したいかをユーザに尋ねるものとしてよい。ユーザが「yes」を押した場合、イスから対応する触覚効果を受けながら映画を観ることができる。
【００３０】
一実施形態において、たとえば、ユーザのスマートフォンは、ユーザが会合に遅れていると決定し得る。次いで、スマートフォンは、ユーザによってタッチされる可能性の高い触覚が使用可能な対象物を識別し、それらを使用して触覚効果をもたらしユーザに通知することができる。たとえば、ユーザは、触覚が使用可能なホッチキスをタッチして、ユーザが会合に遅れていることを示すユーザのスマートフォンとの通信に基づき提供される異なる振動パターンを感じるものとしてよい。スマートフォンは、ユーザがタッチする可能性の高い任意の触覚が使用可能な対象物上でそのような通知を生成するものとしてよい。
【００３１】
一実施形態において、ユーザは、スーパーマーケット内で品目を探しており、床の触覚フィードバックによって正しい通路へ案内されるように対応する要求をスマートフォンに入力する。ユーザが、正しい通路の前まで歩いていてきたときに、床のタイルが振動してその通路へ曲がることをユーザに示す。代替的または追加の実施形態において、空気の吹き出しが送られ、それによりユーザは正しい通路に案内され得る。
【００３２】
一実施形態において、人、対象物、またはタスクに対して専用である触覚が使用可能なデバイスは、近くにいる無作為に選んだ人に触覚効果をもたらすために機会をねらって使用される。一実施形態において、専用の触覚が使用可能なデバイスは、投影触覚、フロア触覚などのそのような機会をねらった機能を円滑にする触覚技術を実装する。たとえば、人の首に着用している超音波放射体は、通り過ぎる別の人に触覚通知をもたらすために使用され得る。同様に、キヨスクを対象とする触覚フロアパッドは、人がその上を歩くときに触覚フィードバックをもたらすために使用され得る。一実施形態において、分散システムは、機会をねらったデバイスが人の環境内で利用可能なときにその利用可能なことを検出し、通信プラットフォームは、その人との機会をねらったデバイスの共有を円滑にする。
【００３３】
一実施形態において、第1の人に専用の触覚が使用可能なデバイスが、付近にいる第2の人に触覚効果をもたらすために機会をねらって使用されるときに、それらのデバイスが触覚効果を別の人にもたらすために機会をねらって使用されていることを示すフィードバック(たとえば、触覚または他のタイプの情報)が第1の人に提供される。たとえば、第1の人のスマートフォンは、テキスト、聴覚、視覚、および/または触覚通知を行い、触覚が使用可能なデバイス(たとえば、第1の人の首に着用されている超音波放射体)のうちの1つが第2の人に触覚効果をもたらすために使用されていることを第1の人に示し得る。次いで、第1の人は、通知を無視し、またはそのような機会をねらった使用を不許可にする/終了するオプションを有するものとしてよい。
【００３４】
一実施形態において、機会をねらった触覚が使用可能なデバイスが人に触覚効果をもたらすのに利用可能であるときに、その人のウェアラブルデバイスまたはモバイルデバイスが、機会をねらったデバイスを介して触覚効果がもたらされることを示すフィードバックをその人に提供する。一実施形態において、フィードバックは、異なる触覚効果とともに提供される。フィードバックは、また、機会をねらったデバイスが配置されている場所を示す指向性キューも提供することができる。フィードバックは、また、機会をねらったデバイスによって提供されるものに関連付けられている他の触覚内容も提供し得る。たとえば、フィードバックは、機会をねらったデバイスによって提供される触覚内容とマッチするバックグラウンド触覚トラックに対応し得る。
【００３５】
一実施形態では、ユーザの環境内で触覚デバイスを実装することによる機会をねらった触覚機能、触覚デバイスに触覚フィードバックを要求するためのユーザエージェント、およびユーザエージェントと触覚デバイスとの間の接続を確立するためのブローカーサービスを提供する。ユーザエージェントは、システム内のどこにでも実装され得る。たとえば、ユーザエージェントは、触覚デバイスから分離されてよく、様々なデバイスから入力を受け取ることができる。いくつかの実施形態において、ユーザエージェントは、クラウド、ローカルネットワークなどに実装され得る。いくつかの代替的または追加の実施形態において、ユーザのモバイルデバイスは、アクチュエータさらにはモバイルデバイスおよび/またはユーザのデバイスネットワーク内のデバイス(たとえば、ウェアラブル、触覚が使用可能なパーソナルアイテムなど)などの他のデバイスに対するユーザエージェントを含み得る。触覚デバイス、ユーザエージェント、およびブローカーサービスのさらなる詳細は、以下に提示される。
【００３６】
＜触覚デバイス＞
一実施形態において、1つまたは複数のネットワーク接続された触覚デバイスは、ユーザの環境内、たとえば、家具、壁および床などの建築要素、共通の対象物、計算デバイスなどに組み込まれる。各触覚デバイスは、触覚アクチュエータ、さらにはユーザデバイスおよび/またはウェブサービスと(たとえば、無線方式で、または有線で)通信する機能を備える。触覚デバイスは、触覚アクチュエータを駆動するための電子機器およびソフトウェアも含む。
【００３７】
触覚アクチュエータは、本明細書で説明されている実施形態による触覚機能を備え得る。たとえば、触覚アクチュエータは、振動、変形、熱、ESF、または他のタイプの触覚による作動を含む触覚フィードバックを提供し得る。たとえば、ユーザの環境内の触覚デバイスは、手または指を表面上で滑らせたときに様々な手触りを感じ取れるように摩擦ディスプレイで覆われたテーブルであってよい。別の例として、振動をユーザの足に伝えることができるように振動アクチュエータが床のタイルに埋め込まれ得る。別の例として、付近のユーザに触覚効果を投射できるように壁の中に超音波放射体が埋め込まれ得る。別の例として、ユーザが触ったときに温度を変化させることができるようにドアの取っ手にペルチェセルが埋め込まれ得る。代替的に、またはそれに加えて、触覚アクチュエータを備えるスマートフォン、ウェアラブル、または他のパーソナルコンピューティングデバイスは、ユーザに触覚効果をもたらすために使用され得る。
【００３８】
触覚デバイスは、また、機会をねらった触覚機能をもたらすことに関してユーザデバイスまたはサービスと直接的にまたは間接的に通信する機能も備える。たとえば、触覚デバイスは、WiFiもしくは他の無線ネットワークを通じて直接的に、またはBluetooth(登録商標)もしくは他のIoTネットワーキング技術を使用するゲートウェイを通じて間接的にインターネットに接続し得る。触覚デバイスは、また、Bluetooth(登録商標)または他の短距離無線技術を使用してユーザのデバイスに直接的に接続することもできる。いくつかの実施形態において、通信は、最初に、近距離通信(「NFC」)、WiFi、または他の無線技術を通じて確立され、次いで、Bluetooth(登録商標)などのより効率的な短距離技術に切り替えられ得る。
【００３９】
一実施形態において、有線または無線通信を通じて触覚デバイスが他のデバイスおよびサービスに接続された後、触覚効果をもたらすためのコマンドを受信することができる。これは、また、様々な情報、たとえば、能力、センサー読み取り値などに関する情報を提供するために通信することもできる。
【００４０】
一実施形態において、触覚デバイスは、ユーザのデバイスおよび/またはサービスによって発見可能であり、それにより、この実施形態は、触覚デバイスがいつユーザの範囲内に入ったかを決定することができる。接触ベースの触覚アクチュエータ(たとえば、振動アクチュエータ)では、触覚デバイスは、アクチュエータが触覚効果をもたらし得る表面にユーザがタッチしている場合にユーザの範囲内にある。非接触ベースの触覚アクチュエータ(たとえば、超音波触覚)では、触覚デバイスは、ユーザがデバイスの放射体のある距離の範囲内にあり、放射体とユーザとの間に障害物がないときにユーザの範囲内にある。
【００４１】
一実施形態において、どの触覚デバイスがユーザの範囲内にあるかを決定する代わりに、またはそれに加えて、どの触覚デバイスがユーザの近辺にあるかが決定される。この実施形態は、たとえば、触覚デバイスが範囲内にあるかどうか十分な正確さで決定することが困難なときに、適用可能である。たとえば、一実施形態において、どの触覚デバイスがユーザが感じ取れる触覚効果を発生することができるかを知ることなく、どの触覚デバイスがユーザの位置の近くにあるかが決定される。一実施形態では、付近にある触覚デバイスのリストをユーザに提供し、グラフィカルUIを通じてどのデバイスを使用するかをユーザに決定させることができる。
【００４２】
一実施形態において、ユーザは、触覚デバイスとの、または触覚デバイスが埋め込まれている対象物(すなわち、触覚機能付き対象物)とのインタラクションを通じて特定の触覚デバイスを使用することを明示的に要求し得る。一実施形態において、ユーザは、対象物を選択し、および/または対象物を発見モードにするために対象物内のセンサーによってインタラクションがキャプチャされ得るように触覚機能付き対象物とインタラクションすることができる。たとえば、ユーザは、テーブルまたは別の触覚機能付き対象物上のNFCタグに対して電話またはウェアラブルデバイスをタップし、テーブル/対象物の触覚アクチュエータを使用することを望んでいることを示すものとしてよい。たとえば、ユーザが対象物に対して電話をタップしたときに、その結果生じる振動および/または音声は、電話と対象物の両方のセンサーによってキャプチャされ、比較されて、触覚機能付き対象物と電話との間の接続を確立することができる(たとえば、Bump Technologiesからの接触およびファイル共有「Bump」アプリケーションのように)。一実施形態において、ユーザは、触覚機能付き対象物上のボタンおよび電話の対応するボタンを押して、触覚機能付き対象物と電話との間のBluetooth(登録商標)通信を確立し、対象物の触覚アクチュエータが触覚効果をユーザにもたらすために使用されるようにし得る。
【００４３】
一実施形態において、投射触覚デバイスは、触覚デバイスの範囲内のユーザの存在を検出できるカメラまたは深度センサーなどの1つまたは複数の遠隔センサーとペアリングされ得る。一実施形態において、検出されたユーザの識別情報は、コンピュータビジョンおよびマッチを確立するためにデータベース内に記憶されているデータとの比較などの知られている機能によって決定され得る。たとえば、一実施形態は、カメラを使用してユーザの画像をキャプチャし、その画像を使用して、顔認識を実行し、ユーザに関連付けられている名前タグを読み取り、かつ/または他の何らかの方法でユーザを識別するものとしてよい。次いで、この実施形態は、サーバ(たとえば、ソーシャルネットワーク、出会い系サイト、検索エンジン、個人ウェブサイトなどのためのサーバ)と通信して、ユーザに関する追加の特徴を決定するものとしてよい。これらの特徴は、たとえば、名前、社会保障番号、純資産、身長、年齢、相続財産、髪の色、国籍、目の色、病状、信用度の点、性別、クレジットカード番号、ユーザ名(たとえば、ウェブサイトまたはアカウントのための)、パスワード、気性、気分、雇用主、職、趣味、好きなもの、嫌いなもの、などを含み得る。
【００４４】
一実施形態において、触覚効果をもたらすためにユーザとの接触を必要とする触覚デバイスは、デバイスが触覚効果を適用する表面にユーザがタッチしているかどうかを決定するためにセンサーを使用し得る。一実施形態において、表面は、静電容量式タッチセンサー、圧力センサー、またはタッチを検出することができる他のセンサーを装備し得る。代替的または追加の実施形態において、ユーザの身体との接触および/または表面に対するブラッシングを加速度計が検出することができる。一実施形態において、たとえば、イスの中の圧力センサーは、ユーザがイスに座っているかどうかを検出するために使用されるものとしてよく、この情報は、他のセンサーデータとペアリングされて、そのようなタッチが検出されたときに表面にタッチしてユーザの識別情報を決定し得る。
【００４５】
一実施形態において、触覚機能付きデバイスは、ユーザによるデバイス、および/またはデバイスを含む対象物、とのインタラクションを(たとえば、指、足、手、腕、頭、脚、または他の身体部分を使用して)検出するように構成されているインタラクションセンサーを備える。一実施形態において、ユーザインタラクションは、対象物にタッチすること、実空間内でジェスチャーすること、対象物を使用してジェスチャーすること(たとえば、実空間内で対象物を拾って移動する)、および/または対象物上でジェスチャーすること(たとえば、対象物の表面に沿って指をスワイプする)を含み得る。インタラクションセンサーは、インタラクションに関連付けられているセンサー信号を生成するようにさらに構成される。インタラクションセンサーは、加速度計、ジャイロスコープ、カメラ、RFIDタグもしくは読み取り装置、屋内近接システム、NFC通信デバイス、全地球測位システム(「GPS」)デバイス、磁力計、超音波トランスデューサ、無線インターフェース(たとえば、IEEE 802.11またはBluetooth(登録商標)インターフェース)、赤外線センサー、深度センサー、および/または距離センサーを含み得る。
【００４６】
たとえば、一実施形態において、インタラクションセンサーは、対象物によって放射された無線信号の強度を検出するように構成されている無線インターフェースを備える。インタラクションセンサーは、無線信号強度に関連付けられているセンサー信号を生成し得る。無線信号強度に基づき、実施形態は、たとえば、センサーが対象物の事前定義された距離の範囲内にあるかどうかを決定し得る。もしそうであれば、実施形態は、発生したインタラクション(たとえば、対象物の事前定義された距離の範囲内に入る)を決定し得る。一実施形態において、対象物は、人によって運ばれてよく、したがって、対象物とセンサーとの近さは、人とセンサーとの近さを示す。
【００４７】
別の実施形態では、インタラクションセンサーは、触覚機能付きデバイスに向かって方向付けされている3Dイメージングシステムであってよい。したがって、インタラクションセンサーは、デバイスとのユーザインタラクション(たとえば、タップ、タッチ、物の上でのジェスチャー、シェイク、リフト、物の方へのジェスチャーなど)を検出することができる。たとえば、インタラクションセンサーは、デバイスに向かって方向付けされているカメラを含む。ユーザは、デバイスの近くの空中で(たとえば、指、手、腕、足、頭、または脚などの身体部分を使って)ジェスチャー(たとえば、チェックマーク記号)を行うものとしてよい。インタラクションセンサーは、ジェスチャーに関連付けられている画像をキャプチャし、センサー信号を生成し得る。この実施形態は、センサー信号に基づき、ユーザインタラクションの発生を決定し得る。実施形態は、発生した特定のタイプのジェスチャーを決定するためにセンサー信号をさらに分析し得る。たとえば、実施形態は、センサー信号を分析して、ユーザが空中で指によりチェックマークを書いたと決定し得る。
【００４８】
いくつかの実施形態において、インタラクションセンサーは、触覚デバイスの外部にあり、デバイスと有線または無線方式で通信する。たとえば、インタラクションセンサーは、デバイスに関連付けられ、デバイスと通信するカメラを備え得る。別の例として、インタラクションセンサーは、3Dイメージングシステム(たとえば、Microsoft Kinect(登録商標)という商標の下で一般に販売されている3Dイメージングシステム)またはデバイスの外部(たとえば、店舗の棚)に位置決めされ、デバイスと通信するLEDベースの追跡システムを含み得る。
【００４９】
いくつかの実施形態において、ユーザは、触覚機能付きデバイスとのインタラクションのために媒介対象物(たとえば、スタイラス、ペン、ステッキ、または杖)を使用することができ、実施形態は、そのようなインタラクションを検出し得る。
【００５０】
一実施形態は、触覚機能付きデバイスを備える対象物上の任意の場所の接触、または対象物上の特定の位置(たとえば、ラベル)との接触を検出し得る。実施形態は、接触の位置を検出するものとしてよい。たとえば、実施形態は、ユーザによって対象物のどの部分(たとえば、頂部、底部、左側、右側、前、後、ラベル、画像、ロゴ、テキスト断片など)を検出し得る。一実施形態において、ユーザは、対象物の表面上でジェスチャーすることによってそれとインタラクションし得る。たとえば、ユーザは、対象物の表面上のチェックマークを、2本指でつまむ、それに沿って複数の指を移動させる、またはチェックマークを作ることができる。
【００５１】
いくつかの実施形態において、ユーザは、対象物または対象物の一部を使用してジェスチャーを行うことによって対象物とインタラクションし得る。たとえば、ユーザは、実3D空間内で対象物または対象物の一部を移動することができる(たとえば、対象物または対象物の一部を使用して空中で文字または数字を描く、回転させる、傾ける、シェイクするなど)。一実施形態では、対象物との複数のユーザインタラクションを検出し得る(たとえば、対象物の前でジェスチャーをする、対象物に接触する、対象物の表面に沿ってジェスチャーをする、対象物を使用してジェスチャーをする)。いくつかの実施形態において、ユーザインタラクションは、複数の対象物間のインタラクションを引き起こすことも含み得る。たとえば、ユーザは、別の対象物に対して対象物をタップすることができる。
【００５２】
一実施形態では、ユーザが第1の身体部分を使って第1の対象物とインタラクションすること(たとえば、第1の対象物のタップ、ホールド、その上でのジェスチャー、またはそれに向かうジェスチャー)、および第2の身体部分を使って第2の対象物とインタラクションすることを検出し得る。たとえば、実施形態は、ユーザがユーザの右手で第1の対象物とインタラクションすること、およびユーザの左手を使って第2の対象物とインタラクションすることを検出し得る。
【００５３】
一実施形態は、インタラクションセンサーからGPSデータの第1のセットを受信し得る。ユーザは、GPS機能も備え、GPSデータの第2のセットを送信するデバイスを携帯することもできる。実施形態では、GPSデータの第1のセットをGPSデータの第2のセットと比較し、ユーザと触覚機能付きデバイスとの間の相対的距離を決定し得る。ユーザがデバイスから所定の距離の範囲内にある場合に、実施形態は、ユーザインタラクションが発生していると決定するものとしてよい。
【００５４】
触覚機能付きデバイスは、センサー信号を生成するように構成されている1つまたは複数の追加のセンサーをさらに備え得る。いくつかの実施形態において、センサーは、たとえば、湿度センサー、周囲光センサー、ジャイロスコープ、GPSユニット、加速度計、距離センサー、深度センサー、バイオセンサー、カメラ、または温度センサーを含み得る。いくつかの実施形態において、これらのセンサーは、デバイスの外部にあり、デバイスと有線または無線方式で通信するものとしてよい。たとえば、センサーは、ウェアラブルデバイス(たとえば、指輪またはリストバンド)に結合されているバイオセンサーを含み得る。バイオセンサーは、たとえば、ユーザのポケットの中に位置していてよい、デバイスにセンサー信号を無線方式で送信するように構成され得る。
【００５５】
一実施形態において、インタラクションセンサーは、触覚機能付き対象物の操作に関連付けられている音を検出するように位置決めされたマイクロフォンを含む。たとえば、ユーザは、触覚機能付きテーブル上にあるコーヒーの缶またはシリアルの箱をシェイクするものとしてよい。インタラクションセンサーは、このシェイクに関連付けられている音声を検出し得る。インタラクションセンサーは、音に関連付けられているセンサー信号を生成し得る。この実施形態は、センサー信号に基づき、ユーザインタラクションの発生を決定し得る。
【００５６】
一実施形態において、インタラクションセンサーは、光センサーを含む。対象物は、光がインタラクションセンサーに到達するのを遮るように位置決めされ得る。たとえば、対象物は、触覚機能付きテーブル内に埋め込まれているインタラクションセンサーの上に置かれるものとしてよい。ユーザが対象物を移動するか、または対象物を操作した後、インタラクションセンサーは、光の量の変化を検出するものとしてよい。インタラクションセンサーは、光の量の変化に関連付けられているセンサー信号を生成し得る。実施形態は、センサー信号に基づき、ユーザインタラクションが発生したと決定するか、またはユーザインタラクションの特性を決定し得る(たとえば、ユーザが、閾値を超える距離だけ対象物を移動した場合)。
【００５７】
一実施形態は、インタラクションに関連付けられている特性(たとえば、圧力の量、速度、方向、配置、またはジェスチャーのタイプ)を決定する。実施形態では、インタラクションセンサーまたは他のセンサーからのセンサー信号を分析して特性を決定する。たとえば、実施形態は、3Dイメージングシステムからの画像を分析して、ユーザにより行われたジェスチャーのタイプ(たとえば、スワイプ、2本指でつまむ、シェイクなど)を決定し得る。
【００５８】
一実施形態では、掃引周波数静電容量感知を使用してインタラクションに関連付けられている特性を決定する。掃引周波数静電容量感知は、ユーザが触覚機能付き対象物とインタラクションするときに複数の周波数で対象物の静電容量(たとえば、電圧)の変化を測定することを含み得る。実施形態は、複数の周波数で変化した静電容量に基づきユーザインタラクションのプロファイルを生成し得る。一実施形態では、このプロファイルを所定のインタラクションプロファイルと比較するものとしてよい。一実施形態において、各所定のインタラクションプロファイルは、複数の周波数での静電容量の変化の固有の分布を含み、異なるユーザインタラクション(たとえば、2本指でつまむ、手全体で掴む、または1本指のタップ)に関連付けられ得る。たとえば、2本指でつまむことに関連付けられている所定のインタラクションプロファイルは、手全体で掴むことに関連付けられている所定のインタラクションプロファイルと異なり得る。したがって、実施形態では、ユーザが対象物とどのようにインタラクションしているかを特に決定し得る。
【００５９】
一実施形態では、インタラクションセンサーからの音声信号に基づきインタラクションに関連付けられている特性を決定する。たとえば、インタラクションセンサーはマイクロフォンを含み得る。実施形態は、インタラクションセンサーからセンサー信号を受信し、センサー信号からのデータを1つまたは複数の音声プロファイルと比較する。一実施形態において、各音声プロファイルは、異なるユーザインタラクション、たとえば、ユーザが指、拳、爪、または掌で対象物にタッチすることに関連付けられている音声データを含み得る。たとえば、対象物と接触する指に関連付けられている音声プロファイルは、対象物に接触している拳に関連付けられている音声プロファイルと異なる周波数応答を含み得る。したがって、実施形態では、ユーザのどの身体部分が対象物とインタラクションしているかを決定する。
【００６０】
一実施形態では、触覚機能付き対象物がユーザの範囲内にあるかどうかを確認するための試験機能を実装する。たとえば、ユーザが触覚機能付き対象物の範囲内にあると決定された後に、対象物は、触覚効果を発生するか試験され、ユーザのデバイスは、加速度計などのセンサーによって触覚効果を検出するために使用され得る。したがって、実施形態は、対象物によって引き起こされる触覚効果がユーザに到達できることを確認し得る。
【００６１】
＜ユーザエージェント＞
一実施形態では、ユーザの環境内で触覚アクチュエータに触覚フィードバックを要求する際にユーザを表すデバイスまたはサービスであるユーザエージェントを実装する。一実施形態において、エージェントは、最初に、触覚フィードバックがいつユーザによって要求されているか、どのような触覚フィードバックが生成されるべきかを決定する。一実施形態において、たとえば、ユーザエージェントは、ユーザの電話機上で動作しているアプリケーションと連携して、触覚フィードバックがいつユーザによって要求されたか、どのような触覚フィードバックが生成されるべきかを決定する。たとえば、ユーザがデバイス上でビデオを観ているときに、メディアプレーヤーアプリケーションは、ビデオの触覚トラックをユーザエージェントに送信し得る。同様に、ユーザのスマートフォンのオペレーティングシステムは、再生の触覚通知をユーザエージェントに送信し得る。
【００６２】
次いで、ユーザエージェントは、触覚アクチュエータとの接続を確立し、触覚効果または一連の触覚効果のストリーミングの再生を要求する。接続は、本明細書で説明されている実施形態のどれかに従って確立され得る。たとえば、ユーザエージェントは、付近の触覚アクチュエータのBluetooth(登録商標)ビーコンを検出し、どれがユーザに対する許容可能な触覚フィードバックを生成する可能性が最も高いかを決定し得る。
【００６３】
一実施形態において、ユーザエージェントと触覚アクチュエータとの間の通信は、直接行われ得る(たとえば、Bluetooth(登録商標)を使用して)。しかしながら、いくつかの実施形態において、通信は、その代わりに、ユーザエージェントを触覚アクチュエータに接続するサードパーティサービスを経由するものとしてよい。これらの実施形態において、ユーザエージェントは、このサービス(たとえば、サーバ)と通信して、特定のデバイスへの接続または付近のデバイスのリストを要求し得る。次いで、通信は、このサーバを通して間接的に継続し得るか、またはエージェントは、Bluetooth(登録商標)通信を通じてデバイスへの直接接続を後で確立することができる。
【００６４】
＜ブローカーサービス＞
一実施形態は、触覚アクチュエータがユーザエージェントを通じて表されるユーザによって共有され得るようにユーザエージェントと触覚アクチュエータとの間の接続を確立するためにブローカーサービスを使用する。一実施形態において、サービスは、触覚アクチュエータおよびユーザエージェントから独立して提供されるサードパーティサービスである。一実施形態において、サービスは、触覚アクチュエータに関する、タイプ、配置、範囲、触覚能力など様々な情報を収集するウェブサービスである。この情報は、サービスを通じて利用可能にするために触覚アクチュエータの所有者によって提供され得る。一実施形態において、サービスは、モバイル触覚アクチュエータの位置を追跡する。たとえば、サービスは、GPS、屋内測位データ、カメラなどを使用して触覚アクチュエータの位置を追跡し得る。一実施形態において、サービスは、AppleのHomeKit、SmartThingsハブなどの、接続されているアクセサリ/デバイスを管理することを可能にするフレームワークを使用して触覚アクチュエータと間接的にインタラクションする。
【００６５】
一実施形態において、ユーザが共有デバイスを見つけて、触覚フィードバックを受け取ることを望んでいるときに、対応するユーザエージェントは、ブローカーサービスと通信して、ユーザの近くで触覚アクチュエータが利用可能か、および/またはユーザが任意の触覚アクチュエータの範囲内にいるかを決定する。ブローカーサービスは、ユーザの位置だけでなく他の利用可能なセンサーデータ(たとえば、本明細書で説明されている実施形態によるインタラクションセンサーまたは他のセンサー)を使用して、どのアクチュエータがユーザの近くにあるかを決定し得る。次いで、ブローカーサービスは、ユーザエージェントと識別されたアクチュエータとの間で接続が確立されユーザに触覚アクチュエータから触覚フィードバックを受信させるように利用可能なアクチュエータの利用可能性および他の情報(たとえば、能力、タイプなど)をユーザエージェントに提供し得る。
【００６６】
一実施形態において、ブローカーサービスは、決済システムを含み得る。たとえば、一実施形態において、利用可能な触覚アクチュエータのプロバイダは、その触覚アクチュエータを使用するための付随するコスト(たとえば、単位時間当たり、触覚効果1件当たり、など)を示し得る。コストは、固定され得るか、または時間、競合相手の価格設定、供給と需要、および市場の他の外部要因などの様々なパラメータに応じて動的に変化し得る。動的価格設定を実装するサービスの一例はUberである。一実施形態において、ブローカーサービスは、触覚アクチュエータのプロバイダからコスト情報(たとえば、触覚効果1件当たりの価格、単位時間当たりの価格など)を収集し、それにより、この情報は、共有されている触覚アクチュエータに関して問い合わせを行うユーザエージェントに提供され得る。ユーザが、共有されているアクチュエータから触覚効果を受ける費用を支払うことに合意した場合に、ブローカーサービスは、共有される触覚アクチュエータを使用するためにユーザから支払いを受けるための決済システムを実行する。
【００６７】
一実施形態において、触覚アクチュエータの所有者は、時刻に応じて触覚アクチュエータの使用に対する価格を決定することができる。この実施形態では、ユーザエージェントは、触覚アクチュエータを使用する要求を行うときにそのような価格を通知される。一実施形態において、ユーザエージェントは、ユーザエージェントによって表されるユーザによって設定された最高価格などの、ルールに基づきサービスオファーを受け入れるか、または拒絶する。一実施形態において、たとえば、ユーザエージェントは、費用最小の利用可能な触覚アクチュエータを選択するか、またはサービスオファーを受け入れるかどうかをユーザに尋ねることができる。
【００６８】
一実施形態において、ブローカーサービスおよび/またはユーザエージェントは、使用の状況に基づき最良の共有されている触覚アクチュエータを決定する。たとえば、一実施形態において、映画の触覚トラックは、HDアクチュエータによって提供される方がよい場合があるが、いくつかの触覚通知にはSDアクチュエータで十分である場合がある。一実施形態において、利用可能な共有されている触覚アクチュエータに関する情報を識別し、収集した後に、ブローカーサービスおよび/またはユーザエージェントは、使用する最良のアクチュエータがユーザのユーザデバイスのうちの1つの触覚アクチュエータであると決定し得る。
【００６９】
一実施形態では、触覚アクチュエータを識別し、それらをIoTなどのグローバルネットワークを通じて利用可能にする。一実施形態において、ブローカーサービスは、触覚アクチュエータがクラウドに登録し、次いで、そのクラウドに到達し、利用可能な触覚アクチュエータを使用することを望んでいる他のユーザに利用可能であるウェブサービスとして実装される。
【００７０】
図3は、本発明の実施形態による触覚機能の流れ図である。一実施形態において、図3(および以下の図7〜図9)の流れ図の機能は、メモリまたは他のコンピュータ可読のまたは有形の媒体に記憶され、プロセッサによって実行されるソフトウェアによって実装される。他の実施形態において、この機能は、ハードウェア(たとえば、特定用途向け集積回路(「ASIC」)、プログラマブルゲートアレイ(「GPA」)、フィールドプログラマブルゲートアレイ(「FPGA」)などの使用を通じた)、またはハードウェアとソフトウェアとの任意の組合せによって実行され得る。
【００７１】
302で、ユーザのユーザデバイスは、触覚通知がユーザに提供される必要があることを示す。たとえば、ユーザのスマートフォンは、情報を受信するか、またはユーザが触覚で通知を警告される必要のあることを他の何らかの方法で決定し得る。
【００７２】
304で、ユーザデバイスは、触覚通知をユーザに提供する要求を用いてブローカーサービスと接触する。
【００７３】
306で、ブローカーサービスは、ユーザの近くにある触覚アクチュエータを識別する。たとえば、ブローカーサービスは、ユーザデバイスのGPSまたは屋内測位機能および1つまたは複数の共有されている触覚アクチュエータを使用して、ユーザが近くにいるか、または触覚アクチュエータの範囲内にあるかを決定することができる。
【００７４】
308で、ブローカーサービスは、所定の価格(たとえば、触覚通知一件当たり、単位時間当たりなど)で触覚アクチュエータをユーザにオファーする。価格は、触覚アクチュエータのプロバイダによって固定または動的価格として設定されている場合がある。
【００７５】
310で、ユーザデバイスは、所定の価格で触覚アクチュエータを使用するオファーを受け入れる。
【００７６】
312で、ブローカーサービスは、ユーザデバイスと触覚プロバイダとの間の通信を確立する。いくつかの実施形態において、触覚プロバイダは、触覚アクチュエータを埋め込んでいる対象物内に実装される。いくつかの他の実施形態において、触覚プロバイダは、触覚アクチュエータから分離しており、触覚アクチュエータは、触覚アクチュエータを埋め込んでいるデバイス/対象物にどのような触覚効果を送るべきかを触覚プロバイダが決定できるように、触覚プロバイダに対して自己を識別/登録する。
【００７７】
314で、触覚プロバイダは、触覚アクチュエータに関する触覚フィードバックを生成する。したがって、ユーザは、触覚プロバイダの共有されている触覚アクチュエータを介して触覚通知を受信する。
【００７８】
＜IoTアイテムまたはモバイルデバイスからの情報に基づく触覚アラート＞
一実施形態において、ユーザに関連する情報を収集し、対応する触覚効果をユーザにもたらすために様々なIoTアイテムおよび/またはモバイルデバイスが利用される。そのようなアイテム/デバイスの例は、スマートフォン、スマートウォッチ、スマートウォレット、スマートクロス、スマート冷蔵庫、またはクラウドシステムまたは別のネットワークシステムに接続し、クラウドシステムまたはネットワークシステムに情報を提供するための機能を備える任意の他のアイテムである。
【００７９】
一実施形態において、触覚効果は、IoTアイテムおよび/またはモバイルデバイスから収集された情報によって必要とされるアラートに対応し得る。たとえば、ユーザのIoTアイテムおよび/またはモバイルデバイスからの情報は処理されて、それにより、ユーザにアイテムが不足しているか、またはユーザがアイテムを必要としているかを決定し、必要とされるならば対応するアラートをユーザに提供するものとしてよい。アラートは、ユーザの触覚が使用可能なデバイス/対象物によって、または様々な実施形態を参照しつつ本明細書で説明されているような共有される触覚アクチュエータによってユーザに提供される触覚アラートであってよい。
【００８０】
図4は、本発明の一実施形態による触覚機能を提供するための例示的なシステム400を示している。システム400は、ユーザのIoTアイテムおよび/またはモバイルデバイスから収集された情報に基づき触覚アラートをユーザに提供することができるユーザのスーツケース402を含む。たとえば、触覚アラートは、スーツケース402の伸縮自在ハンドル406上の触覚アクチュエータ404によって、および/またはスーツケース402の側面ハンドル410上の触覚アクチュエータ408によってユーザに提供され得る。アクチュエータ404および408は、様々な実施形態を参照しつつ本明細書で説明されている任意の触覚機能を実装し得る。たとえば、アクチュエータ404および408は、イマージョン  コーポレーションによるTouchSense(商標)に従って機能を実装し得る。
【００８１】
一実施形態において、触覚アクチュエータ408に加えて、スーツケース402の側面ハンドル410は、スーツケース402が重量超過した場合にそのことを示すために触覚通知が触覚アクチュエータ408を介してまたはユーザの範囲内にある別の触覚が使用可能なデバイスを介してユーザに提供され得るように側面ハンドル410によって持ち上げられたときにスーツケース402の重量を決定するために使用され得る重量センサーを備えるものとしてよい。
【００８２】
一実施形態において、スーツケース402は、スマート衣類またはスマート電子機器デバイスなどの、IoTに接続されているユーザの様々なパーソナルアイテムを備え得る。ユーザのIoTアイテムは、情報を収集し、それをユーザがスーツケース402内に詰めておく必要があると示したアイテムのリストと比較するクラウドサービスに情報を送信することができる。そのようなリストは、ユーザによってすでに編集され、クラウドサービスに提供されていてもよい。この比較が、スーツケース402に含まれているべきアイテムが不足していることを示している場合、異なる触覚アラートがスーツケース402の引き込み式ハンドル406上の触覚アクチュエータ404によって、またはユーザの範囲内にある別の触覚が使用可能なデバイスによってユーザに提供される。
【００８３】
一実施形態において、スーツケース402は、また、情報を収集し、触覚通知をユーザに提供するために使用される様々なセンサーを備え得る。たとえば、スーツケース402の車輪412は、ユーザが動いているかどうかを決定するために使用できる加速度センサーを備え得る。スーツケース402の車輪412または他の部分も、ユーザの位置を決定するために使用できるGPSまたは他の測位機能を備え得る。加速度センサー、測位機能および/またはIoTアイテムもしくはモバイルデバイスによって提供される情報に基づき、システム400は、触覚アクチュエータ404および/または408を介してまたはユーザの範囲内にある別の触覚が使用可能なデバイスを介して任意の必要とされる触覚通知をユーザに提供し得る。一実施形態では、ユーザの周りに配置されているまたはシステム400と手動で同期するIoTアイテムからさらなる情報を収集することができる。
【００８４】
一実施形態は、ユーザの位置に基づき動的触覚アラートを提供する。たとえば、ユーザが空港のショッピングエリアでスーツケース402を引いており、搭乗時刻が迫っている場合、ゲートに戻るようユーザに示すためにアクチュエータ404を介して触覚通知がユーザに提供され得る。別の例では、ユーザが空港のショッピングエリアでスーツケース402を引いており、スーツケース402内にアイテムが1つ不足している場合、ショッピングエリアで不足しているそのアイテムを購入するようユーザに示すためにアクチュエータ404を介して触覚通知がユーザに提供され得る。
【００８５】
一実施形態において、システム400が、スーツケース402内にどのようなアイテムが詰め込まれているかを決定した後、ユーザが移動している(たとえば、ホテルから出る)かどうかをさらに決定し得る。たとえば、システム400は、加速度センサーおよび/またはGPS機能を使用して、スーツケース402の重さだけに帰することができない度合を有する移動を決定し得る。したがって、スーツケース402が移動していると決定されたときに、システム400は、スーツケース402にアイテムが不足している場合にそのことをユーザに警告し得る。一実施形態において、アラートの強さは、移動量が増えるにつれ増大する。一実施形態において、システム400は、触覚アクチュエータ404またはユーザの範囲内にある他の触覚が使用可能なデバイスを介してユーザにアラートを送ることができる。
【００８６】
一実施形態では、ユーザとともにすでにあるアイテム上で「チェックサム」機能を実行することによってユーザにアイテムが不足しているか、または必要としているかを決定する。たとえば、チェックサム機能は、スーツケース402内のIoTアイテムに適用され、それにより、ユーザにアイテムが不足しているかどうかを決定し得る。そのようなチェックサム機能は、スーツケース402の伸縮自在ハンドル406の触覚アクチュエータ404またはユーザの範囲内にある別の触覚が使用可能なデバイスなどの、ユーザに一番近い、および/またはユーザが着用/手に持っている触覚が使用可能なデバイス上で再生される対応する触覚効果を動的に発生させるために使用され得る。
【００８７】
実施形態は、ユーザの位置に基づき動的アラートを提供するための任意の機能にも適用可能である。たとえば、ユーザが、スーパーマーケットにいて、そのスマート冷蔵庫が、中にアイテム(たとえば、牛乳)が不足していることを示した場合、ユーザデバイスまたはユーザの範囲内にある他の触覚が使用可能なデバイスが、対応する触覚アラートをユーザに提供するために使用され得る。一実施形態は、そのようなアラートの重大度および/または優先度をさらに指定する機能をさらに実装する。
【００８８】
一実施形態は、鍵となる特徴をアイテムにラベル付けすることによって不足アイテムを決定する。たとえば、一実施形態では、各アイテムに「バケット」または「単純アイテム」とラベル付けし、「バケット」は他のアイテムを保持するアイテム(たとえば、スーツケース、財布、ハンドバッグ、バックパックなど)であり、「単純アイテム」は、「バケット」の中に入るアイテム(たとえば、衣類、電話、コンピュータ、タブレット、食料雑貨など)である。一実施形態は、相対優先度をアイテムにさらに関連付ける。たとえば、スマートウォレットは、最高優先度を与えられ得るが、いくつかのカジュアルなスマート衣類は、最低優先度を与えられ得る。次いで、実施形態は、様々な入力(たとえば、ユーザのスケジュール、位置など)に基づき、それらの「アイテム」のうちのどれを持っているべきかを決定し、不足しているアイテムおよび不足しているアイテムの優先度に基づきアラートを提供する。
【００８９】
一実施形態では、クラウド内でデバイスの認証および登録を実行するクラウドベースの触覚制御システム、または他の遠隔ネットワーク、ならびにクラウド内のデバイスのユーザデータストレージおよびその触覚能力を実装する。クラウドベースの触覚制御システムは、また、どのデバイスに効果を再生するか、およびどの効果を再生するかを決定するためのデバイスおよび効果決定機能も実行する。決定アルゴリズムは、ユーザ入力および使用状況に基づくものとしてよい。そのようなユーザ入力は、同じデバイスによって、またはそれらのデバイスと異なる他のコンポーネント/デバイスによって提供され得る。
【００９０】
一実施形態において、たとえば、クラウドシステムは、空港のセキュリティラインにデバイスを置き忘れている場合に、スマートデバイスとの接続を確立し、デバイスのユーザにそのことを警告するために使用され得る。別の例として、クラウドシステムは、測位ベースのアラートを実装するために使用され得る(たとえば、ガソリンスタンドを通り過ぎる、スマート冷蔵庫からのデータに基づきスーパーマーケットでアイテムを購入するアラートを受信する、など)。別の例として、クラウドシステムは、高優先度アイテムがユーザのバッグから盗み取られた(たとえば、財布/電話/腕時計がバッグから取り出された)ときに高優先度アラートを再生するために使用され得る。
【００９１】
一実施形態において、クラウドバックエンドが、どのデバイスで触覚効果を再生するか、およびどのような触覚効果を再生するかを制御するためのデバイスおよび効果決定機能を実行する。一実施形態では、クラウドへの接続性のためのデバイスサイド機能、およびデバイス上の触覚再生をクラウドで制御することを可能にするソフトウェア開発キット(「SDK」)を提供する。
【００９２】
一実施形態では、デバイスのピアツーピアネットワークを実装し、そこでは、各ノード(たとえば、各デバイス)は、クラウドバックエンドの代わりにデバイスおよび効果決定機能の実行の一部を取り扱う。
【００９３】
一実施形態は、アラートにタグ付けする。実施形態は、異なる種類のアラートにタグ付けすることによって、タグ付けされた通知を受信すると、タグに対応するアラート触覚信号を決定し、次いでアラート触覚信号を適切な触覚アクチュエータに中継するためにルックアップテーブルを使用できるようにタグおよび関連するアラートのルックアップテーブルを実装し得る。
【００９４】
図5は、本発明の実施形態による触覚機能を提供するための例示的なクラウドシステム500を示している。いくつかの実施形態において、クラウドシステム500によって提供されるサービスは、オンラインデータストレージおよびバックアップソリューション、Webベースの電子メールサービス、ホストされたオフィススイートおよびドキュメントコラボレーションサービス、データベース処理、管理されたテクニカルサポートサービス、ならびに触覚サービスなどの、クラウドシステム500のユーザにオンデマンドで利用可能にされるサービスのホストを含み得る。クラウドコンピューティングは、構成定義可能なコンピューティングリソース(たとえば、ネットワーク、サーバ、ストレージ、アプリケーション、およびサービス)の共有プールへの便利な、オンデマンドネットワークアクセスを使用可能にするためのモデルである。クラウド(またはネットワーク)を通じて提供またはアクセスされるサービスは、クラウドサービスと称される。クラウドサービスプロバイダは、クラウドシステム500に登録されているデバイス502または対象物504を使用してクラウドサービスを顧客から利用できるようにするものとしてよい。
【００９５】
クラウドシステム500によって提供されるサービスは、そのユーザのニーズに応えられるように動的に拡張できる。クラウドシステム500によって提供されるサービスの特定のインスタンス化は、「サービスインスタンス」と称される。一般に、クラウドサービスプロバイダのシステムから、インターネットなどの通信ネットワークを介してユーザから利用可能にする任意のサービスは、「クラウドサービス」と称される。典型的には、公開クラウド環境において、クラウドサービスプロバイダのシステムを構成するサーバおよびシステムは、顧客が所有する個人および/または業務用サーバおよびシステムと異なる。たとえば、クラウドサービスプロバイダのシステムは、アプリケーションをホストすることができ、ユーザは、インターネットなどの通信ネットワークを介して、オンデマンドで、そのアプリケーションをオーダーし、使用することができる。
【００９６】
クラウドシステム500は、ネットワーク506に接続するための機能を実装するデバイス502および対象物504を備える。デバイス502は、スマートフォン、スマートウォッチ、スマート冷蔵庫などを含み得る。対象物502は、様々な実施形態を参照しつつ本明細書で説明されているIoT対象物を含み得る。ネットワーク506は、1つまたは複数のローカルエリアネットワーク、ワイドエリアネットワーク、インターネットなどを含み得る。さらに、ネットワーク506は、たとえば、銅線もしくは同軸ケーブルネットワーク、光ファイバーネットワーク、Bluetooth(登録商標)無線ネットワーク、WiFi無線ネットワーク、CDMA、FDMA、およびTDMAセルラー無線ネットワーク、などの有線および/または無線ネットワークの様々な組合せを含むものとしてよく、これらはたとえば、有線および無線Ethernet、Bluetooth(登録商標)などの様々なネットワークプロトコルを実行する。
【００９７】
デバイス502は、触覚が使用可能なパーソナルデバイスまたは触覚アクチュエータを備える任意の他の任意のデバイスを含み得る。対象物504も、触覚が使用可能な機能を有するものとしてよく、1つまたは複数の触覚アクチュエータを備え得る。
【００９８】
クラウドシステム500は、ネットワーク506に接続されているサーバ508をさらに備える。サーバ508は、クラウドシステム500内でバックエンドとして動作し、クラウドシステム508上で触覚機能を実現し得る。クラウドシステム500は、クラウドシステム500上でバックエンド機能を提供するためにサーバ508によって使用されるデータストア510も含み得る。サーバ508は、デバイス502および/または対象物504上で実行されるクライアントサイドアプリケーションと通信してデバイス502および/または対象物504内の触覚アクチュエータを介して触覚効果をもたらすサーバサイドアプリケーションを実行するものとしてよい。一実施形態において、サーバサイドアプリケーションは、触覚デバイス502上で実行されるウェブブラウザアプリケーションと通信するウェブサーバアプリケーションである。他のクライアントサーバおよび分散ソフトウェアアーキテクチャも、本発明の実施形態では企図されている。
【００９９】
図6は、本発明の実施形態による触覚機能を提供するための例示的なシステム600を示している。システム600は、図5のクラウドシステム500などのクラウドシステム上でデバイスおよび効果決定機能を実装する。システム600において、1つまたは複数のユーザデバイス602は、様々な情報(たとえば、位置情報、アラートなど)をクラウドバックエンドサービス604に提供する。クラウドバックエンドサービス604は、たとえば図5のクラウドシステム500のサーバ508およびデータストア510によって提供され得る。
【０１００】
クラウドバックエンドサービス604は、1つまたは複数の触覚デバイス606がシステム600に接続し、システム600に登録し、認証されることを可能にするデバイス登録および認証モジュール608を備える。触覚デバイス606は、触覚が使用可能なパーソナルデバイス(たとえば、スマートフォン、スマートウォッチなど)または触覚が使用可能なIoT対象物(たとえば、イス、テーブルなど)を含み得る。一実施形態において、触覚デバイス606は、他のユーザによって使用され得るようにシステム600上でプロバイダ/ユーザによって共有される触覚が使用可能なデバイス/対象物を備え得る。
【０１０１】
クラウドバックエンドサービス604は、デバイス登録および認証モジュール608から触覚デバイス情報を受信し、共有される/利用可能な触覚が使用可能なデバイス/対象物が付近にあるか、または触覚効果を受けることを望んでいるユーザの範囲内にあるかどうかを決定するユーザデータモジュール610も備える。ユーザデータモジュール610は、クラウドバックエンドサービス604で利用可能な任意のユーザおよび/またはデバイスデータを使用してそのような決定を下すことができる。たとえば、ユーザデータモジュール610は、触覚デバイス606の位置および触覚効果を受けることを望んでいるか、または触覚アラートで通知される必要のあるユーザの位置に基づきそのような決定を行い得る。
【０１０２】
クラウドバックエンドサービス604は、ユーザデータモジュール610から利用可能な触覚デバイス606に関する情報を受信し、触覚効果をユーザにもたらすためにどの触覚デバイス606を使用するかを決定する触覚デバイス決定モジュール612も備える。クラウドバックエンドサービス604は、触覚デバイス決定モジュール612から選択された触覚デバイス606に関する情報を受信し、選択された触覚デバイス606上でどの触覚効果をもたらす必要があるかを決定し、対応するコマンドを選択された触覚デバイス606に送信する触覚効果決定モジュール614も備える。
【０１０３】
図7は、一実施形態による図6の触覚デバイス決定モジュール612の動作の流れ図である。702で、触覚デバイス決定モジュール612は、ユーザデータモジュール610から利用可能な触覚デバイス606に関する情報を受信する。704で、触覚デバイス決定モジュール612は、データモジュール606とユーザとの近さを決定する。706で、触覚デバイス決定モジュール612は、触覚デバイス606の触覚能力を決定する。触覚デバイス決定モジュール612は、触覚デバイス606の近接および触覚機能に基づき、708で、触覚効果をユーザにもたらすために使用する触覚デバイス606の1つまたは複数のサブセットを決定する。
【０１０４】
たとえば、一実施形態において、触覚デバイス606は、その特性(たとえば、触覚能力、触覚技術(たとえば、振動、投射、変形など)、触覚効果強度/知覚など)に基づきサブセットに分割され得る。たとえば、触覚デバイス606の一方のサブセットは、ユーザの身体と物理的に接触することが推定される接触ベースの触覚デバイスを備えるものとしてよく、触覚デバイス606の別のサブセットは、ユーザの範囲内にある非接触ベースの触覚デバイスを備え得る。代替的に、またはそれに加えて、触覚デバイス606は、これらが中に埋め込まれるデバイス/対象物(たとえば、モバイル/非モバイルデバイス、アプライアンス、ウェアラブル/非ウェアラブルデバイス、個人/公共対象物、セキュア/非セキュアデバイス(たとえば、デバイスがパスワードで保護されているかどうかなど)、電池を電源とする/コンセントから電源をとるデバイスなど)の地理的位置および/またはタイプ/特性に基づきサブセットに分割され得る。
【０１０５】
図8は、一実施形態による図6の触覚効果決定モジュール614の動作の流れ図である。802で、触覚効果決定モジュール614は、触覚効果をユーザにもたらすために使用する触覚デバイス決定モジュール612によって決定された触覚デバイス606の1つまたは複数のサブセットに関する情報を受信する。804で、触覚効果決定モジュール614は、ユーザに提供される必要のある通知の重大度を決定する。806で、触覚効果決定モジュール614は、触覚デバイス決定モジュール612によって提供されるサブセット内の触覚デバイスの忠実度を決定する。デバイスの忠実度および通知の重大度に基づき、808で、触覚効果決定モジュール614は、通知をユーザに提供するための触覚デバイスを選択する。そのような選択に基づき、810で、触覚効果決定モジュール614は、選択された触覚デバイスを介して通知をユーザに提供するための触覚効果を選択する。
【０１０６】
一実施形態において、たとえば、触覚効果は、1つまたは複数の入力タグに基づきクラウドライブラリから選択され得る。たとえば、一実施形態では、デバイスタイプに対応する入力タグおよびアラートタイプに対応する別の入力タグを実装するものとしてよく、これらの入力タグは組み合わせることで、そのようなデバイスタイプ(たとえば、低忠実度振動アクチュエータを備える触覚デバイス)上でそのようなアラートタイプ(たとえば、高優先度アラートには強い振動)を提供するように構成されているライブラリ内の触覚効果を識別する。触覚デバイスおよび触覚効果が選択された後、対応する情報が触覚デバイスに提供され、それにより、触覚効果をユーザにもたらす。
【０１０７】
図9は、本発明の実施形態による触覚効果を発生するときの図1の触覚モジュール16の流れ図である。
【０１０８】
902で、情報が、ネットワーク接続されたシステムに登録されている第1のデバイスから受信され、904で、その情報に基づきユーザに提供される通知が決定される。
【０１０９】
906で、ネットワーク接続されたシステムに登録されている第2のデバイスが選択される。一実施形態において、第2のデバイスは、ネットワーク接続されたシステムに登録されている複数のデバイスのうちから選択され、複数のデバイスのうちの各1つは、触覚アクチュエータを備える。一実施形態において、第2のデバイスは、ユーザに関する第2のデバイスの相対的位置に基づき選択される。一実施形態において、ユーザに関する第2のデバイスの相対的位置は、第1のデバイスから受信された情報および第2のデバイスに関するネットワーク接続されたシステムにおける情報に基づき決定される。一実施形態において、第2のデバイスは、第2のデバイスの触覚能力、通知の重大度、および第2のデバイスの忠実度にさらに基づき複数のデバイスから選択される。一実施形態において、第2のデバイスは、第2のデバイスとのユーザインタラクションを検出するように構成されているセンサーを備え、第2のデバイスは、ユーザインタラクションに基づき選択される。
【０１１０】
908で、通知は、触覚効果を第2のデバイス上に発生させることによってユーザに提供される。一実施形態において、触覚効果は、通知の特性および第2のデバイスの特性に基づき決定される。一実施形態において、通知の特性は、通知の状況または通知の重大度を含む。一実施形態において、第2のデバイスの特性は、第2のデバイスの忠実度または第2のデバイスの触覚能力を含む。
【０１１１】
一実施形態において、第1のデバイスから受信された情報は、ユーザにアイテムが不足していることを示す。一実施形態において、ネットワーク接続されたシステムは、ネットワーク接続されたシステムに登録されている複数のデバイスから受信された情報に基づきユーザにアイテムが不足していると決定する。一実施形態において、ネットワーク接続されたシステムは、ユーザにアイテムが不足していることを、複数のデバイスから受信された情報をユーザが持っている必要のあるアイテムのリストと比較することによって決定し、このリストはユーザの位置に基づく。
【０１１２】
開示されているように、実施形態は、IoT対象物/デバイスなどの様々なネットワーク接続されたデバイスを使用して触覚効果をユーザにもたらすことを可能にする。一実施形態において、IoTデバイスは、ユーザに関連する情報を収集して、必要ならばユーザに警告を発するために使用される。一実施形態において、ネットワーク接続された触覚が使用可能なデバイスは、ユーザがそのようなデバイスの範囲内にいるか、または近くにいるときに通知をユーザに警告するために機会をねらって使用される。したがって、実施形態は、より良好な触覚通知範囲を用意できる。
【０１１３】
いくつかの実施形態は、特に図示され、かつ/または本明細書において説明されている。しかしながら、開示されている実施形態の修正および変更は、上記の教示の対象であり、本発明の思想および意図した範囲から逸脱することなく付属の請求項の範囲内にあることは理解されるであろう。
【符号の説明】
【０１１４】
10  システム
12  バス
14  メモリ
15  オペレーティングシステム
16  触覚モジュール
18  アプリケーションモジュール
20  通信デバイス
22  プロセッサ
24  ディスプレイ
26  アクチュエータ
28  スピーカー
30  センサー
200  システム
202  触覚が使用可能なイス
204  アクチュエータ
206  テーブル
400  システム
402  スーツケース
404  触覚アクチュエータ
406  伸縮自在ハンドル
408  触覚アクチュエータ
410  側面ハンドル
412  車輪
500  クラウドシステム
502  デバイス
504  対象物
506  ネットワーク
508  サーバ
510  データストア
600  システム
602  ユーザデバイス
604  クラウドバックエンドサービス
606  触覚デバイス
608  デバイス登録および認証モジュール
610  ユーザデータモジュール
612  触覚デバイス決定モジュール
614  触覚効果決定モジュール
【図１】
2018014708.tif 000003
【図２】
2018014708.tif 000004
【図３】
2018014708.tif 000005
【図４】
2018014708.tif 000006
【図５】
2018014708.tif 000007
【図６】
2018014708.tif 000008
【図７】
2018014708.tif 000009
【図８】
2018014708.tif 000010
【図９】
2018014708.tif 000011
【外国語明細書】
2018014708000001.pdf