(57)【要約】      （修正有）【課題】ＡＲ環境用のハプティックインターフェースまたは基準ステッカー、およびハプティック対応のＡＲシステムでハプティックコンテンツをレンダリングする方法を提供する。【解決手段】ハプティック基準ステッカー２００は、タッチセンサ、無線通信インターフェースおよびハプティック出力デバイスを含む。タッチセンサは、タッチまたはユーザの接触を検出する。無線通信インターフェースは、一意の識別子（ＵＩＤ）を送信し、ＵＩＤに関連付けられた、ハプティック効果を含むハプティックコンテンツを受信する。ハプティック出力デバイスは、タッチセンサがタッチまたはユーザの接触を検出したときにハプティック効果をレンダリングする。【選択図】図３
2020102196.tif 000002
【特許請求の範囲】
【請求項１】
拡張現実（ＡＲ）環境用のハプティックシステムであって、
タッチまたはユーザの接触を検出するように構成されたタッチセンサと、
一意の識別子（ＵＩＤ）を送信し、前記ＵＩＤに関連付けられた、ハプティック効果を含むハプティックコンテンツを受信するように構成された無線通信インターフェースと、
前記タッチセンサがタッチまたはユーザの接触を検出したときにハプティック効果をレンダリングするように構成されたハプティック出力デバイスと、
を含むハプティック基準ステッカーと、
前記ハプティック基準ステッカーから前記ＵＩＤを受信し、該ＵＩＤに関連付けられた前記ハプティックコンテンツを前記ハプティック基準ステッカーに送信するように構成された無線通信インターフェースと
前記ハプティック基準ステッカーを検出し、前記ＵＩＤに関連付けられた前記ハプティックコンテンツを決定するように構成されたプロセッサと、
を含むコンピュータと、
を備えるハプティックシステム。
【請求項２】
ビデオ信号を出力するように構成された、コンピュータに接続されたカメラと、
前記ＵＩＤに関連付けられたビジュアルコンテンツを表示するように構成された、コンピュータに接続されたディスプレイと、をさらに含み、
前記プロセッサは、前記ＵＩＤに関連付けられたビジュアルコンテンツを決定するようにさらに構成される、請求項１に記載のハプティックシステム。
【請求項３】
前記コンピュータは、前記ハプティックコンテンツおよび前記ビジュアルコンテンツをメモリに保存する、請求項２に記載のハプティックシステム。
【請求項４】
前記プロセッサは、前記ビデオ信号に基づいて前記ハプティック基準ステッカーを検出する、請求項２に記載のハプティックシステム。
【請求項５】
前記プロセッサは、前記ハプティック基準ステッカーと前記コンピュータとの間の無線通信信号に基づいて前記ハプティック基準ステッカーを検出する、請求項１に記載のハプティックシステム。
【請求項６】
前記ハプティック基準ステッカーは、前記タッチセンサ、前記無線通信インターフェース、および前記ハプティック出力デバイスに接続されたプロセッサを含む、請求項１に記載のハプティックシステム。
【請求項７】
前記ハプティック効果は振動ハプティック効果である、請求項１に記載のハプティックシステム。
【請求項８】
前記ハプティック効果は、力覚フィードバックハプティック効果、温度ハプティック効果、または嗅覚ハプティック効果である、請求項１に記載のハプティックシステム。
【請求項９】
前記ハプティック効果の第１の部分が前記ハプティック基準ステッカーによってレンダリングされ、前記ハプティック効果の第２の部分が前記コンピュータに接続されたハプティック出力デバイスによってレンダリングされる、請求項１に記載のハプティックシステム。
【請求項１０】
拡張現実（ＡＲ）環境用のハプティック基準ステッカーであって、
タッチまたはユーザの接触を検出するように構成されたタッチセンサと、
一意の識別子（ＵＩＤ）を送信し、前記ＵＩＤに関連付けられた、ハプティック効果を含むハプティックコンテンツを受信するように構成された無線通信インターフェースと、
前記タッチセンサがタッチまたはユーザの接触を検出したときにハプティック効果をレンダリングするように構成されたハプティック出力デバイスと、
を含むハプティック基準ステッカー。
【請求項１１】
前記ハプティック基準ステッカーは、前記タッチセンサ、前記無線通信インターフェース、および前記ハプティック出力デバイスに接続されたプロセッサを含む、請求項１０に記載のハプティック基準ステッカー。
【請求項１２】
前記ハプティック効果は、力覚フィードバックハプティック効果、温度ハプティック効果、または嗅覚ハプティック効果である、請求項１０に記載のハプティック基準ステッカー。
【請求項１３】
ハプティック対応の拡張現実（ＡＲ）システムにおいてハプティックコンテンツをレンダリングする方法であって、
コンピュータのプロセッサにより、ハプティック基準ステッカーを検出するステップと、
ワイヤレス接続を介して、前記ハプティック基準ステッカーから一意の識別子（ＵＩＤ）を受信するステップと、
前記ＵＩＤに関連付けられた、ハプティック効果を含むハプティックコンテンツを決定するステップと、
前記ＵＩＤに関連付けられた前記ハプティックコンテンツを前記ハプティック基準ステッカーに無線接続を介して送信するステップと、
ユーザが前記ハプティック基準ステッカーにタッチしているか接触しているかどうか、または前記ハプティック基準ステッカーに近接しているかどうかを判定するステップと、
ユーザにハプティック効果をレンダリングするステップと、
を含む方法。
【請求項１４】
前記ＵＩＤに関連付けられたビジュアルコンテンツを決定するステップと、
前記ＵＩＤに関連付けられたビジュアルコンテンツをユーザに表示するステップと、
をさらに含む請求項１３に記載の方法。
【請求項１５】
前記ハプティック効果は、前記ハプティック基準ステッカーによってレンダリングされる、請求項１３に記載の方法。
【請求項１６】
前記コンピュータは、ハプティック出力デバイスを含むウェアラブルデバイスであり、
前記ハプティック効果の第１の部分は、前記ハプティック基準ステッカーによってレンダリングされ、
前記ハプティック効果の第２の部分は、前記ハプティック出力デバイスによってレンダリングされる、請求項１３に記載の方法。
【請求項１７】
前記ハプティック基準ステッカーは、前記コンピュータに接続されたカメラによって生成されたビデオ信号に基づいて検出される、請求項１３に記載の方法。
【請求項１８】
前記ハプティック基準ステッカーは、前記ハプティック基準ステッカーと前記コンピュータとの間の無線通信信号に基づいて検出される、請求項１３に記載の方法。
【請求項１９】
前記ハプティック効果は振動ハプティック効果である、請求項１３に記載の方法。
【請求項２０】
前記ハプティック効果は、力覚フィードバックハプティック効果、温度ハプティック効果、または嗅覚ハプティック効果である、請求項１３に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ハプティックデバイスに関する。より詳細には、本発明はハプティック基準ステッカーに関する。
【背景技術】
【０００２】
例えば、拡張現実（ＡＲ）環境、仮想現実（ＶＲ）環境、コンピューターゲームなどのコンピュータ生成環境では、視覚的および聴覚的キューを使用してユーザにフィードバックを提供する。特定のＡＲ環境では、ホスト電子デバイスはユーザに触覚フィードバックおよび／または運動感覚フィードバックを提供する。触覚フィードバックは、「触覚ハプティックフィードバック」または「触覚ハプティック効果」として知られており、例えば、振動、質感、温度変化などを含む場合がある。運動感覚フィードバックは、「運動感覚ハプティックフィードバック」または「運動感覚ハプティック効果」として知られており、例えば、アクティブかつ抵抗力のフィードバックを含み得る。一般に、触覚と運動感覚のフィードバックは、総称して「ハプティックフィードバック」または「ハプティック効果」として知られている。ハプティック効果は、単純なアラートの特定のイベントへの増強から、ＡＲ環境内でのユーザの感覚的没入感の向上まで、ユーザとホスト電子デバイスとの相互作用を強化するキューを提供する。
【０００３】
特定のＡＲ環境では、基準マーカーは、ユーザのヘッドマウントディスプレイ（ＨＭＤ）またはＡＲ、ＶＲ、複合現実感の相互作用を可能にするその他のデバイス形式の位置の追跡を容易にするための基準点として機能させるため、ユーザの物理的環境に配置され得る。デバイスに取り付けられたカメラがユーザの物理的環境を表示し、ＡＲアプリケーションがカメラの視野内に存在する可能性のある基準マーカーを検出する。基準マーカーは、形状、色、またはその他の視覚特性によって検出される物理的なオブジェクトである。例えば、一部の基準マーカーには、クイックレスポンス（ＱＲ）コード（登録商標）などの可視面に印されたマトリックスバーコードが含まれる場合がある。ＡＲアプリケーションは、ＡＲ環境内でコンピュータ生成画像を表示することにより、基準マーカーの検出に応答し得るが、既知の基準マーカーは、ユーザと対話しない受動オブジェクトである。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、ＡＲ環境用のハプティックシステム、ＡＲ環境用のハプティックインターフェースまたは基準ステッカー、およびハプティック対応のＡＲシステムでハプティックコンテンツをレンダリングする方法を有利に提供することを目的とする。
【課題を解決するための手段】
【０００５】
ハプティックインターフェースまたは基準ステッカーには、タッチセンサ、無線通信インターフェース、およびハプティック出力デバイスが含まれる。タッチセンサは、タッチまたはユーザの接触を検出するように構成される。無線通信インターフェースは、一意の識別子（ＵＩＤ）を送信し、ＵＩＤに関連付けられたハプティックコンテンツを受信するように構成され、ハプティックコンテンツはハプティック効果を含む。ハプティック出力デバイスは、タッチセンサがタッチまたはユーザの接触を検出したときにハプティック効果をレンダリングするように構成される。
【図面の簡単な説明】
【０００６】
【図１】図１は、本発明の実施形態による、ハプティック対応のＡＲシステムのブロック図を例として示す。
【図２】図２は、本発明の実施形態による、ＡＲ環境用のハプティックシステムのブロック図を例として示す。
【図３】図３は、本発明の実施形態による、ＡＲ環境用のハプティック基準ステッカーのブロック図を例として示す。
【図４Ａ】図４Ａは、本発明の実施形態による、ハプティック基準ステッカーを示す図である。
【図４Ｂ】図４Ｂは、本発明の実施形態による、ハプティック基準ステッカーに関連付けられたビジュアルコンテンツを示す。
【図４Ｃ】図４Ｃは、本発明の実施形態による、ハプティック基準ステッカーに関連付けられたハプティックコンテンツを示す。
【図５Ａ】図５Ａは、本発明の実施形態による、ハプティック基準ステッカーを示す。
【図５Ｂ】図５Ｂは、本発明の実施形態による、ハプティック基準ステッカーに関連するビジュアルコンテンツを示す。
【図５Ｃ】図５Ｃは、本発明の別の実施形態による、ハプティック基準ステッカーに関連するハプティックコンテンツを示す。
【図５Ｄ】図５Ｄは、本発明の別の実施形態による、ハプティック基準ステッカーに関連するハプティックコンテンツを示す。
【図６】図６は、本発明の実施形態による、ハプティック対応のＡＲシステムにおいてビジュアルおよびハプティックコンテンツを作成するための機能を例示するフローチャートを示す。
【図７】図７は、本発明の実施形態による、ハプティック対応のＡＲシステムにおいてハプティックコンテンツをレンダリングするための機能を例示するフローチャートを示す。
【図８】図８は、本発明の実施形態による、ハプティック対応のＡＲシステムにおいてハプティックコンテンツをレンダリングするためのオプション機能を示す。
【図９】図９は、本発明の実施形態による、ハプティック対応のＡＲシステムにおいてハプティックコンテンツをレンダリングするためのオプション機能を示す。
【図１０】図１０は、本発明の実施形態による、ハプティック対応のＡＲシステムのためのハプティックコンテンツをレンダリングする機能を例示するフローチャートを示す。
【発明を実施するための形態】
【０００７】
本発明の実施形態を、図面を参照して説明するが、図面全体を通して、同様の参照番号は同様の部分を指す。本発明の実施形態は、ＡＲ環境用のハプティックシステム、ＡＲ環境用のハプティック基準ステッカー、およびハプティック対応ＡＲシステムにおいてハプティックコンテンツをレンダリングする方法を有利に提供する。
【０００８】
図１は、本発明の実施形態による、ハプティック対応のＡＲシステムのブロック図を例示している。ハプティック対応ＡＲシステム１０は、ＡＲサーバ２０、ネットワーク３０、およびハプティックシステム４０を含む。
【０００９】
ＡＲサーバ２０は、コンテンツ開発者がＡＲアプリケーション用のビジュアルおよびハプティックコンテンツを作成するコンピュータである。特定の実施形態では、ＡＲサーバ２０はまた、ハプティックシステム４０用のＡＲアプリケーションを公開、ホスト、提供などする。
【００１０】
ネットワーク３０は、例えば銅線または同軸ケーブルネットワーク、光ファイバーネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）ワイヤレスネットワーク、ＷｉＦｉ（登録商標）ワイヤレスネットワーク、ＣＤＭＡ、ＦＤＭＡおよびＴＤＭＡセルラーワイヤレスネットワークなどの有線および／またはワイヤレスネットワークの様々な組み合わせを含むことができ、例えば、有線および無線イーサネット（登録商標）、Ｂｌｕｅｔｏｏｔｈなどのさまざまなネットワークプロトコルを実行する。
【００１１】
この実施形態では、ハプティックシステム４０は、スマートフォン５０および１つ以上のハプティック基準ステッカー２００を含む。スマートフォン５０は、コンピュータ１００、ディスプレイ１７０、および１つ以上の入力／出力（Ｉ／Ｏ）デバイス１８０（例えばカメラ）を含み、以下、詳述する。
【００１２】
ＡＲサーバ２０およびスマートフォン５０は、ネットワーク３０に接続される。ハプティック基準ステッカー２００は通常、ネットワーク３０に接続されないが、特定の例では、ハプティック基準ステッカー２００はネットワーク３０に接続されてもよい。
【００１３】
図２は、本発明の実施形態による、ＡＲ環境用のハプティックシステムのブロック図を例示している。ハプティックシステム４０は、コンピュータ１００、ディスプレイ１７０、１つ以上のＩ／Ｏデバイス１８０、およびハプティック基準ステッカー２００を含む。
【００１４】
コンピュータ１００は、例えば、スマートフォン、スマートウォッチ、携帯ゲーム装置、仮想現実ヘッドセットなどの携帯電子装置に組み込まれてもよい。コンピュータ１００は、バス１１０、プロセッサ１２０、メモリ１３０、ディスプレイインターフェース１４０、Ｉ／Ｏインターフェース１５０、および無線通信インターフェース１６０を含む。ディスプレイインターフェース１４０はディスプレイ１７０に結合される。Ｉ／Ｏインターフェース１５０は、Ｉ／Ｏデバイス１８０に接続される。一般に、コンピュータ１００が特定の無線通信プロトコルに応じて変化し得る無線通信範囲内にある場合、無線通信インターフェース１６０はハプティック基準ステッカー２００に無線で接続され得る。
【００１５】
バス１１０は、プロセッサ１２０、メモリ１３０、ディスプレイインターフェース１４０、Ｉ／Ｏインターフェース１５０、および無線通信インターフェース１６０、ならびに図１に示されていない他のコンポーネント間でデータを転送する通信システムである。電力コネクタ１１２は、バス１１０およびバッテリなどの電源（図示せず）に接続される。
【００１６】
プロセッサ１２０は、コンピュータ１００の計算および制御機能を実行するための１つ以上の汎用または特定用途向けマイクロプロセッサを含む。プロセッサ１２０は、マイクロプロセッシングデバイスなどの単一の集積回路、またはプロセッサ１２０の機能を達成するために協働する複数の集積回路デバイスおよび／または回路基板を含むことができる。さらに、プロセッサ１２０は、メモリ１３０内に格納されたオペレーティングシステム１３２、ＡＲアプリケーション１３４、他のアプリケーション１３６などのコンピュータプログラムを実行することができる。
【００１７】
メモリ１３０は、プロセッサ１２０による実行のための情報および命令を格納する。メモリ１３０は、データを取得、提示、修正、および格納するための様々なコンポーネントを含むことができる。例えば、メモリ１３０は、プロセッサ１２０によって実行されるときに機能を提供するソフトウェアモジュールを格納することができる。そのモジュールは、コンピュータ１００にオペレーティングシステム機能を提供するオペレーティングシステム１３２を含むことができる。そのモジュールはまた、ビジュアルコンテンツおよびハプティックコンテンツをユーザに提供するＡＲアプリケーション１３４を含むことができる。特定の実施形態では、ＡＲアプリケーション１３４は、複数のモジュールを含むことができ、各モジュールは、ビジュアルコンテンツおよびハプティックコンテンツをユーザに提供するための特定の個々の機能を提供する。アプリケーション１３６は、ＡＲアプリケーション１３４と協働してビジュアルおよびハプティックコンテンツをユーザに提供する他のアプリケーションを含み得る。
【００１８】
一般に、メモリ１３０は、プロセッサ１２０によってアクセスされ得る様々な非一時的なコンピュータ可読媒体を含み得る。様々な実施形態において、メモリ１３０は、揮発性および不揮発性媒体、取り外し不可能な媒体および／または取り外し可能な媒体を含むことができる。例えば、メモリ１３０は、ランダムアクセスメモリ（「ＲＡＭ」）、ダイナミックＲＡＭ（ＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、リードオンリーメモリ（「ＲＯＭ」）、フラッシュメモリ、キャッシュメモリ、および／または他のタイプの非一時的なコンピュータ可読媒体の任意の組み合わせを含むことができる。
【００１９】
ディスプレイインターフェース１４０はディスプレイ１７０に接続される。
【００２０】
Ｉ／Ｏインターフェース１５０は、Ｉ／Ｏデバイス１８０からデータを送信および／または受信するように構成される。Ｉ／Ｏインターフェース１５０は、プロセッサ１２０からＩ／Ｏに送信されるデータを符号化することにより、プロセッサ１２０とＩ／Ｏデバイス１８０との間の接続を可能にする。データは、ユニバーサルシリアルバス（ＵＳＢ）接続、イーサネットなどの有線接続、またはＷｉ-Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線接続を介して送信され得る。
【００２１】
無線通信インターフェース１６０は、アンテナ１６２に結合される。無線通信インターフェース１６０は、１つ以上の無線プロトコルを使用してハプティック基準ステッカー２００との無線接続を提供する。Ｂｌｕｅｔｏｏｔｈ、Bluetooth Low Energy（登録商標）（ＢＬＥ）、ｉＢｅａｃｏｎ（登録商標）、無線周波数識別（ＲＦＩＤ）、近距離無線通信（ＮＦＣ）など、さまざまな低電力無線通信技術が使用可能である。
【００２２】
ディスプレイ１７０は、スマートフォンの液晶ディスプレイ（ＬＣＤ）、ＡＲヘッドセットのＬＣＤ、画像プロジェクタ、およびＡＲ眼鏡のレンズなどであってもよい。
【００２３】
一般に、Ｉ／Ｏデバイス１８０は、コンピュータ１００に入力を提供するように構成された周辺デバイスであり、ユーザにハプティックフィードバックを提供することができる。Ｉ／Ｏデバイス１８０は、無線接続または有線接続のいずれかを使用してコンピュータ１００に動作可能に接続される。Ｉ／Ｏデバイス１８０は、有線または無線接続を使用してコンピュータ１００と通信するように構成された通信インターフェースに接続されたローカルプロセッサを含み得る。
【００２４】
Ｉ／Ｏデバイス１８０は、ユーザによって見られる物理的環境の革新的なビデオ画像を提供するカメラであり得る。
【００２５】
一例では、コンピュータ１００、ディスプレイ１７０、およびＩ／Ｏデバイス１８０（すなわち、カメラ）は、図１に示されるように、スマートフォン５０に組み込まれる。スマートフォン５０は、ハンドヘルド（手持ち式）でも、ＡＲヘッドセットに取り付けてもよい。別の例では、コンピュータ１００、ディスプレイ１７０、およびカメラはＡＲヘッドセットに組み込まれている。さらなる例では、ディスプレイ１７０およびカメラは、ＡＲヘッドセットまたはＡＲ眼鏡に組み込まれるが、コンピュータ１００は、ＡＲヘッドセットまたはＡＲ眼鏡に通信可能に接続された別個の電子デバイスである。ＡＲヘッドセットおよびスマートフォンベースのヘッドマウントデバイス（ＨＤＭ）の場合、コンピュータで生成されたＡＲ環境は、カメラによって提供されるビデオ画像に重ね合わされてディスプレイ１７０に表示される。ＡＲメガネの場合、物理環境はレンズを通して直接表示され、コンピュータで生成されたＡＲ環境がレンズに投影される。
【００２６】
Ｉ／Ｏデバイス１８０はウェアラブルデバイスであり得る。例えば、Ｉ／Ｏデバイス１８０は、ハプティックグローブ、スマートウォッチ、スマートブレスレット、指先ハプティックデバイス（ＦＨＤ）などであり得る。
【００２７】
Ｉ／Ｏデバイス１８０は、１つ以上のセンサを含み得る。センサは、エネルギーまたはその他の物理的特性の形態を検出し、検出されたエネルギーまたはその他の物理的特性を電気信号に変換するように構成されている。Ｉ／Ｏデバイス１８０はその後、変換された信号をＩ／Ｏインターフェース１５０に送信する。
【００２８】
一般に、センサは、音響または音センサ、電気センサ、磁気センサ、圧力センサ、加速度計などの運動センサ、全地球測位システム（ＧＰＳ）受信機などのナビゲーションセンサ、位置センサ、近接センサ、運動関連センサ、カメラなどの画像または光学センサ、フォースセンサ（力覚センサ）、温度または熱センサなどがある。センサには、圧電ポリマーなどのスマート材料が含まれる場合があり、いくつかの実施形態では、センサとアクチュエータの両方として機能する。
【００２９】
Ｉ／Ｏデバイス１８０は、ハプティックアクチュエータなどの１つ以上のハプティック出力デバイスを含み得る。ハプティック出力デバイスは、ハプティック信号の受信に応答して、振動ハプティック効果、運動感覚ハプティック効果、変形ハプティック効果などのハプティック効果を出力する。
【００３０】
一般に、ハプティック出力デバイスは、電気モータ、電磁アクチュエータ、ボイスコイル、形状記憶合金、電気活性ポリマー、ソレノイド、偏心回転質量モータ（「ＥＲＭ」）、高調波ＥＲＭモータ（「ＨＥＲＭ」）、線形アクチュエータ、線形共振アクチュエータ（「ＬＲＡ」）、圧電アクチュエータ、高帯域幅アクチュエータ、電気活性ポリマー（「ＥＡＰ」）アクチュエータ、静電摩擦ディスプレイ、超音波振動発生器などであり得る。場合によっては、ハプティックアクチュエータはアクチュエータ駆動回路を含んでもよい。
【００３１】
ハプティック基準ステッカー２００は、ユーザがタッチしたり接触したりしたときにユーザにハプティックフィードバックを直接提供する、またはビジュアルスキャンの結果として他のフォームファクター上のハプティクス（触力覚技術）の活性化を促進できる電子デバイスである。特定の実施形態では、ユーザがハプティック基準ステッカー２００に近接している場合、Ｉ／Ｏデバイス１８０は、ハプティック基準ステッカー２００によってユーザに直接提供されるあらゆるハプティックフィードバックと組み合わせて、または独立して、ハプティックフィードバックをユーザに提供し得る。
【００３２】
図３は、本発明の実施形態による、ＡＲ環境用のハプティック基準ステッカーのブロック図を例示している。
【００３３】
ハプティック基準ステッカー２００は、無線通信インターフェース２０２、プロセッサ２０４、ハプティック出力デバイス２０６、メモリ２０８、および電源２１０を含む。
【００３４】
ハプティック基準ステッカー２００は、プロセッサ２０４の不揮発性メモリ内またはメモリ２０８内にエンコードされた一意の識別子（ＵＩＤ）を有する。タッチセンサ２０５はプロセッサ２０４に接続される。特定の実施形態では、プロセッサ２０４は存在せず、無線通信インターフェース２０２は、タッチセンサ２０５およびハプティック出力デバイス２０６に接続されている。これらの実施形態では、ＵＩＤは、無線通信インターフェース２０２の不揮発性メモリ内またはメモリ２０８内でエンコードされてもよい。
【００３５】
ユーザのタッチ、接触、または近接を検知するために、静電容量センサ、光学センサ、近接センサ、電圧変化回路、タッチフォースセンサなど、多くの異なる技術が使用可能である。
【００３６】
静電容量センサは、指や物体が静電容量センサにタッチしたり、接触したり、近接したりしたときに静電容量の変化を検出する。静電容量センサは通常、銅箔などの導電性材料の小さな薄いシートを含むが、適切な導電性材料を使用し得る。静電容量センサには、プリント回路基板（ＰＣＢ）またはフレックス回路上の金属トレースが含まれる場合があり、非常に安価である。静電容量センサの検出回路は、例えば、発振器を使用して静電容量の変化を検出する単一の集積回路（ＩＣ）である場合がある。別の例では、プロセッサ２０４は、ポートピンを介してアクセス可能な内蔵コンデンサ検知（CAP SENSE）回路を含み得る。他の検出回路設計も考えられる。
【００３７】
特定の光学センサは、電磁スペクトルの赤外線、可視光、または紫外線部分の反射光または遮断光を検出する。これらの光学センサには、光を送信する「送信機」と、送信機から受信した光の量を検出する「受信機」が含まれる。光が反射または遮断され、検出された光の量が特定のしきい値を下回ると、光学センサはタッチまたは接触イベントが発生した通知を提供する。他の光学センサには「受信機」が含まれる場合があるが、「送信機」は含まれない。これらの光学センサは周囲光で動作し、近接イベントを検出する場合もある。
【００３８】
近接センサは、必ずしもユーザがセンサにタッチしたり接触したりする必要はない。代わりに、近接センサは、ユーザがセンサに「近接」したことを検出する。例えば、特定の近接センサは、「電荷移動」原理を使用して動作し、特定の距離で、誘電体を通してでも指、手、物体などの存在を検出する。多くの近接センサは、タッチだけでなく近接も検出できる。例えば、Quantum QT240-ISSGは、タッチまたは近接に近い状態を検出できる内蔵型のデジタルセンサＩＣである。他の近接センサには、様々なセンシング技術が含まれる場合がある。例えば、Azoteq IQS621は、多機能、周囲光検知（ＡＬＳ）、静電容量、ホール効果、および誘導センサである。
【００３９】
電圧変更回路は、トリガーピンに取り付けられた金属に指が触れたときに存在する小さな電圧を「トリガー」することにより、タッチまたは接触を検出するシンプルなワンショットデジタルデバイスである。例えば、Signetics NE555タイマーＩＣは、このタイプのタッチまたは接触検出回路のフリップフロップ要素として使用でき、ユーザの指によって引き起こされる電圧の変化を検出する。タッチフォースセンサには、歪みゲージとフォースセンシングレジスタ（ＦＳＲ）が含まれ、これらはタッチまたは接触の検出にも使用できる。Interlink FSR 400は、電子デバイスの人間のタッチ制御での使用に最適化されたＦＳＲセンサである。
【００４０】
無線通信インターフェース２０２はアンテナ２０３に接続され、コンピュータ１００との無線接続を提供する。無線通信インターフェース２０２は、Ｂｌｕｅｔｏｏｔｈ、Bluetooth Low Energy（ＢＬＥ）、ｉＢｅａｃｏｎ、無線周波数識別（ＲＦＩＤ）、近距離無線通信（ＮＦＣ）などを含む１つ以上の無線通信プロトコルを提供し得る。
【００４１】
ハプティック出力デバイス２０６は、振動ハプティック効果、運動感覚ハプティック効果、変形ハプティック効果、温度ハプティック効果、嗅覚ハプティック効果などを提供し得る。ハプティック出力デバイス２０６は、電気モータ、電磁アクチュエータ、ボイスコイル、形状記憶合金、電気活性ポリマー、ソレノイド、偏心回転質量モータ（「ＥＲＭ」）、高調波ＥＲＭモータ（「ＨＥＲＭ」）、線形アクチュエータ、線形共振アクチュエータ（「ＬＲＡ」）、圧電アクチュエータ、高帯域幅アクチュエータ、電気活性ポリマー（「ＥＡＰ」）アクチュエータ、静電摩擦ディスプレイ、超音波振動発生器、嗅覚効果または香り発生器などであり得る。場合によっては、ハプティックアクチュエータはアクチュエータ駆動回路を含んでもよい。単一のハプティック出力デバイス２０６が図３に示されているが、ハプティック基準ステッカー２００の他の例は、例えば振動ハプティック効果および嗅覚ハプティック効果などの異なるハプティック効果を与える複数のハプティック出力デバイス２０６を含み得る。
【００４２】
特定の実施形態では、ＵＩＤに関連付けられたハプティックコンテンツはメモリ２０８に格納される。ハプティックコンテンツは、１つ以上のハプティック効果を含む。これらの実施形態では、ハプティック基準ステッカー２００は、ユーザがタッチまたは接触すると、メモリ２０８に格納されたハプティック効果をユーザに提示する。
【００４３】
電源２１０は、無線通信インターフェース２０２、プロセッサ２０４、ハプティック出力デバイス２０６、およびメモリ２０８に接続される。電源２１０は、電池、太陽電池、周囲無線周波数（ＲＦ）、微生物燃料電池、圧電などを含み得る。これらの組み合わせ電源も考えられる。
【００４４】
図４Ａは、本発明の実施形態によるハプティック基準ステッカーを示す。
【００４５】
ハプティック基準ステッカー４００は、家、レストランなどの部屋のテーブルなど、物理的環境内のオブジェクトに配置され得るゲームピース（すなわち、ドミノ）の物理的表現である。ハプティック基準ステッカー４００は長方形の形状をしており、前面は中心線によって２つの領域に分割されている。各領域には、多くのスポット、通常はゼロスポットから６スポットがマークされる。これらの物理的特性は、コンピュータ１００によるハプティック基準ステッカー４００の視覚的検出を容易にする。ハプティック基準ステッカー４００は、非永続的な接着剤、滑り止め材料、ゴムパッドなどを含み得る背面を有しており、ハプティック基準ステッカー４００を物理的環境における物体に一時的（または恒久的）に貼り付ける。これにより、様々な目的のためにフィクスチャの再配置が容易になる。
【００４６】
図５Ａは、本発明の別の実施形態によるハプティック基準ステッカーを示す。
【００４７】
ハプティック基準ステッカー５００は、レストラン、家などのテーブルなどの物理的環境内の物体に置かれ得るソルトシェーカーの物理的表現である。ハプティック基準ステッカー５００は、ドーム型端部付きの楕円形状を有する。これらの物理的特性は、コンピュータ１００によるハプティック基準ステッカー５００の視覚的検出を容易にする。ハプティック基準ステッカー５００はまた、非永続的な接着剤、滑り止め材料、ゴムパッドなどを含み得る背面を有しており、物理的環境の物体に取り外し可能に（または永続的に）ハプティック基準ステッカー５００を貼り付ける。
【００４８】
図６は、本発明の実施形態による、ハプティック対応のＡＲシステム用のビジュアルおよびハプティックコンテンツを作成するための機能を例示するフローチャートを示す。
【００４９】
一般に、ＡＲアプリケーションは、物理環境の視覚的描写を、例えばビジュアル情報などのコンピュータ生成情報と組み合わせたＡＲ環境を作成する。任意のＡＲアプリケーションには、本明細書に記載のハプティック基準ステッカーの利点を組み込むことができます。したがって、ＡＲサーバ２０は、コンテンツ開発者がビジュアルコンテンツおよびハプティックコンテンツを作成してＡＲアプリケーションに統合できるようにするコンテンツ開発ソフトウェアツールを含むことができる。
【００５０】
ＡＲアプリケーションは、カメラ（Ｉ／Ｏデバイス１８０）からビデオ信号を受信し、ビデオ信号を処理し、次いでディスプレイ１７０にビデオ信号を表示することにより、物理的環境の視覚的描写を作成し得る。ＡＲ環境をホストするため、例えば、前方監視カメラを備えたＡＲヘッドセット（ＨＭＤ）、ヘッドマウントスマートフォン（ＨＭＤ）、ハンドヘルドスマートフォン、可視、近赤外線、赤外線および/または熱画像を伴う、ヘルメット付きナイトビジョンデバイス（ＮＶＤ）やハンドヘルドＮＶＤなどを含む様々なポータブル電子デバイスが使用され得る。
【００５１】
あるいは、ユーザは、ＡＲ眼鏡のレンズを通して物理的環境を直接見ることができ、ＡＲアプリケーションは、ＡＲ眼鏡のレンズ（ディスプレイ１７０）にコンピュータ生成情報を投影することができる。最近のＨＭＤモデルには内蔵カメラが含まれていてユーザは物理的環境を直接見るが、ハプティック基準ステッカー２００を検出するために、カメラ（Ｉ／Ｏデバイス１８０）がＡＲメガネに取り付けられている場合がある。
【００５２】
実施形態６００に関し、６１０において、ハプティック基準ステッカーのビジュアルコンテンツがＡＲサーバ２０で作成される。ビジュアルコンテンツは、グラフィックス、３Ｄモデル、アニメーションなどを含むことができる。図４Ｂは、ドミノが倒れるラインのアニメーション４１０（またはアニメーションシーケンス）であるハプティック基準ステッカー４００のビジュアルコンテンツを示す。別の例では、図５Ｂは、塩を振り分けるソルトシェーカーのアニメーション５１０（またはアニメーションシーケンス）であるハプティック基準ステッカー５００のビジュアルコンテンツを示す。ハプティック基準ステッカー５００のビジュアルコンテンツはまた、レストランの新しいメニューアイテムを示すグラフィック（図示せず）を含んでもよい。一般に、特定のハプティック基準ステッカー２００のビジュアルコンテンツの作成は任意である。
【００５３】
６２０において、ハプティック基準ステッカーのハプティックコンテンツがＡＲサーバ２０で作成される。ハプティックコンテンツは、振動、力、温度、匂いなどを含んでもよい。図４Ｃは、倒れるドミノのラインに関連する振動ハプティック効果４２０であるハプティック基準ステッカー４００のハプティックコンテンツを示す。別の例では、図５Ｃおよび５Ｄは、ハプティック基準ステッカー５００のハプティックコンテンツを示す。図５Ｃは、塩を振り分けるソルトシェーカーに関連する振動ハプティック効果５２０を示している。図５Ｄは、塩を振り分けるソルトシェーカーに関連する嗅覚ハプティック効果５３０を示す。例えば、嗅覚ハプティック効果５３０は、ハプティック基準ステッカー５００内に組み込まれた香り発生器によって再現可能な事前定義された香りのリストからの特定の香り識別子（ＩＤ）の選択を含んでもよい。
【００５４】
６３０において、ビジュアルコンテンツおよびハプティックコンテンツは、ＡＲサーバ２０でハプティック基準ステッカー２００にリンクされる。ハプティック基準ステッカー２００に対してビジュアルコンテンツが作成される場合、ビジュアルコンテンツは、ハプティック基準ステッカー２００のＵＩＤにリンクされる。例えば、アニメーション４１０はハプティック基準ステッカー４００のＵＩＤにリンクされ、アニメーション５１０はハプティック基準ステッカー５００のＵＩＤにリンクされる。各ハプティック基準ステッカー２００に対してハプティックコンテンツが作成されるため、それぞれのハプティックコンテンツが各ハプティック基準ステッカー２００のＵＩＤにリンクされる。例えば、振動ハプティック効果４２０は、ハプティック基準ステッカー４００のＵＩＤにリンクされ、振動ハプティック効果５２０および嗅覚ハプティック効果５３０は、ハプティック基準ステッカー５００のＵＩＤにリンクされる。
【００５５】
一般に、ビジュアルコンテンツには、１つ以上のアニメーション、３Ｄモデル、グラフィックスなどの複数の要素が含まれる場合がある。同様に、ハプティックコンテンツには、１つ以上の振動ハプティック効果、力覚ハプティック効果、温度ハプティック効果、嗅覚ハプティック効果などの複数の要素が含まれる場合がある。
【００５６】
さらに、ハプティックコンテンツはユーザごとにカスタマイズ可能である。例えば、特定のハプティック基準ステッカー２００が、２つの異なる香り、例えば女性の香水または男性のコロンを生成するハプティック出力デバイス２０６を含む場合、コンピュータ１００から特定のハプティック基準ステッカー２００に送信されるハプティックコンテンツは、単一の香りの効果、つまり、女性ユーザの場合は女性の香水、男性ユーザの場合は男性の香水を含む。一般に、ハプティック基準ステッカー２００のハプティックコンテンツは、性別、年齢などの特定のユーザ特性または設定、または特定のポリシーに従って、ユーザに対してフィルタリングされてもよい。
【００５７】
ハプティック基準ステッカー２００の配置され得る他の例示的な物理的環境には、博物館、食料品店などが含まれる。博物館の展示は、食料品店の製品ディスプレイと同様に、ハプティック基準ステッカー２００を有するＡＲ環境による強化に特に役立つ。ハプティック基準ステッカー２００の他の例示的な用途には、家具、衣類、ゲームなどの広告、および政治的なキャンペーンが含まれる。
【００５８】
６４０において、ビジュアルおよびハプティックコンテンツを含むＡＲアプリケーションがＡＲサーバ２０上で公開される。コンピュータ１００は、いくつかの異なる方法でＡＲサーバ２０上のＡＲアプリケーションにアクセスすることができる。
【００５９】
例えば、コンピュータ１００は、ネットワーク３０を介してＡＲサーバ２０からスタンドアロンＡＲアプリケーションをダウンロードし、メモリ１３０にスタンドアロンＡＲアプリケーションを格納し、次いでプロセッサ１２０を使用してスタンドアロンＡＲアプリケーションを実行し、ユーザにＡＲ環境を提供する。
【００６０】
別の例では、コンピュータ１００は、ネットワーク３０を介してＡＲサーバ２０からクライアントＡＲアプリケーションをダウンロードし、メモリ１３０にクライアントＡＲアプリケーションを格納し、次いでプロセッサ１２０を使用してクライアントＡＲアプリケーションを実行し、ＡＲサーバ２０がホストするサーバＡＲアプリケーションと協働してＡＲ環境を提供することができる。
【００６１】
さらなる例では、コンピュータ１００は、ネットワーク３０を介してＡＲサーバ２０からシンクライアントＡＲアプリケーションをダウンロードし、メモリ１３０またはプロセッサ１２０にローカルなメモリにシンクライアントＡＲアプリケーションを格納し、次いでプロセッサ１２０を使用してシンクライアントＡＲアプリケーションを実行し得る。シンクライアントＡＲアプリケーションは、大容量のメモリなどを欠いているコンピュータ１００の特定の実装に適している場合があり、通常はサーバＡＲアプリケーション内のＡＲ環境のほとんどの機能を割り当てる。
【００６２】
６５０において、ハプティック基準ステッカーがユーザの物理的環境に配置される。例えば、ハプティック基準ステッカー４００は、家の部屋のテーブルに置かれてもよく、ハプティック基準ステッカー５００は、レストランのテーブルなどに置かれてもよい。
【００６３】
図７は、本発明の実施形態による、ハプティック対応のＡＲシステムにおいてハプティックコンテンツをレンダリングするための機能を例示するフローチャートを示す。
【００６４】
実施形態７００に関し、７１０において、コンピュータ１００は、ハプティック基準ステッカー２００を検出する。一実施形態では、ハプティック基準ステッカー２００は、カメラ（Ｉ／Ｏデバイス１８０）を使用して検出され得る。例えば、ハプティック基準ステッカー２００の特定のビジュアル特性は、カメラの視野内で、固有の形状、固有のマーキング、ＱＲコード（登録商標）などのように認識され得る。
【００６５】
別の実施形態では、ハプティック基準ステッカー２００は、コンピュータ１００とハプティック基準ステッカー２００との間の無線信号を使用して検出され得る。例えば、無線（Ｂｌｕｅｔｏｏｔｈ、ＢＬＥ、ＲＦＩＤなど）信号強度インジケータがコンピュータ１００とハプティック基準ステッカー２００との間の距離を決定するために使用され得る。ハプティック基準ステッカー２００は、それらのＵＩＤを連続的にブロードキャストするアクティブなデバイスまたはビーコンとして構成されてもよい。あるいは、ハプティック基準ステッカー２００は、コンピュータ１００からの無線信号をリッスンし、一度受信すると、無線接続を介してＵＩＤをコンピュータ１００に送信する受動デバイスとして構成されてもよい。
【００６６】
さらなる実施形態では、コンピュータ１００はＧＰＳ受信機（Ｉ／Ｏデバイス１８０）を含む。例えば、ハプティック基準ステッカー２００の位置が事前に知られている場合、コンピュータ１００は、ハプティック基準ステッカー２００の位置、および１０進度（ＤＤ）や度、分、秒（ＤＭＳ）等での緯度／経度座標などのＧＰＳ位置情報に基づいて、ハプティック基準ステッカー２００がユーザに近接しているかどうかを検出してもよい。
【００６７】
７２０において、コンピュータ１００は、コンピュータ１００とハプティック基準ステッカー２００との間の無線接続を介してハプティック基準ステッカー２００からＵＩＤを受信する。多くの例では、無線接続は、Ｂｌｕｅｔｏｏｔｈ、ＢＬＥ、ＲＦＩＤなどを使用してローカルに確立される。他の例では、無線接続はＷｉＦｉなどを使用してネットワーク３０上で確立される。ＵＩＤは、標準またはカスタムの無線通信プロトコルに従ってフォーマットされたメッセージを介して受信できる。
【００６８】
７３０において、コンピュータ１００は、ＵＩＤに関連付けられたハプティックコンテンツを決定する。スタンドアロンＡＲアプリケーション１３４の場合、プロセッサ１２０はメモリ１３０内のＵＩＤに関連するハプティックコンテンツをルックアップする。クライアントＡＲアプリケーション１３４の場合、プロセッサ１２０はネットワーク３０を介してＡＲサーバ２０と通信してＵＩＤに関連するハプティックコンテンツを決定する。
【００６９】
７４０において、コンピュータ１００は、ＵＩＤに関連付けられたハプティックコンテンツを、コンピュータ１００とハプティック基準ステッカー２００との間の無線接続を介してハプティック基準ステッカー２００に送信する。上記のように、無線接続は、Ｂｌｕｅｔｏｏｔｈ、ＢＬＥ、ＲＦＩＤなどを使用してローカルに確立される。他の例では、無線接続はＷｉＦｉなどを使用してネットワーク３０上で確立される。
【００７０】
７５０において、ハプティック基準ステッカー２００は、例えば、１本以上の指、手などを使用して、ユーザがハプティック基準ステッカー２００にタッチまたは接触しているかどうかを判定する。ユーザがハプティック基準ステッカー２００にタッチまたは接触している場合、フローチャートの流れが続く。
【００７１】
７６０において、ハプティックコンテンツがユーザにレンダリングされる。一例では、ハプティック基準ステッカー２００は、ハプティック効果全体をユーザにレンダリングする。ハプティック効果は、振動ハプティック効果４２０、振動ハプティック効果５２０などの振動ハプティック効果であってもよい。ハプティック効果は、力覚フィードバックハプティック効果、温度ハプティック効果、嗅覚ハプティック効果５３０などの香りであってもよい。
【００７２】
別の例では、ハプティック基準ステッカー２００は、ハプティック効果の第１の部分をユーザに与え、コンピュータ１００は、１つ以上のハプティック出力デバイス（Ｉ／Ｏデバイス１８０）を介してハプティック効果の第２の部分をユーザに与える。ハプティック効果の第１の部分は、ハプティック基準ステッカー２００によってユーザの指に直接与えられる振動ハプティック効果であり得、一方、ハプティック効果の第２の部分は、ハプティック出力デバイスによって与えられる異なる振動ハプティック効果であり得る。あるいは、これらの振動ハプティック効果は同じであってもよい。タイミングに関して、ハプティック効果の第１の部分は、ハプティック効果の第２の部分と同時にレンダリングされてもよく、ハプティック効果の第１の部分は、ハプティック効果の第２の部分とは異なる時間にレンダリングされてもよく、ハプティック効果の第１の部分とハプティック効果の第２の部分のレンダリングは、時間などで部分的に重複してもよい。コンピュータ１００およびハプティック出力デバイスは、ユーザが所有するウェアラブル装置に設けられてもよい。様々なハプティック効果の組み合わせが考えられる。
【００７３】
さらなる例では、コンピュータ１００は、１つ以上のハプティック出力デバイス（Ｉ／Ｏデバイス１８０）を介して、ハプティック効果をユーザにレンダリングする。例えば、ＡＲ ＨＭＤ（Ｉ／Ｏデバイス１８０）は、ハプティック基準ステッカー２００上のＱＲコードをスキャンし、関連するハプティック効果は、ハプティック出力デバイスによってレンダリングされる。コンピュータ１００およびハプティック出力デバイスは、スマートウォッチ、ＡＲ ＨＭＤなど、ユーザが所有するウェアラブル装置に提供されてもよい。この例では、直接的なユーザのタッチまたは接触は不要である。
【００７４】
図８は、本発明の実施形態による、ハプティック対応のＡＲシステムにおいてハプティックコンテンツをレンダリングするためのオプション機能を示す。
【００７５】
７２０（図７）の後、７２２において、コンピュータ１００は、ＵＩＤに関連付けられたビジュアルコンテンツを決定する。スタンドアロンＡＲアプリケーション１３４に対して、プロセッサ１２０はメモリ１３０内のＵＩＤに関連するビジュアルコンテンツをルックアップする。クライアントＡＲアプリケーション１３４に対して、プロセッサ１２０はネットワーク３０を介してＡＲサーバ２０と通信してＵＩＤに関連するビジュアルコンテンツを決定する。
【００７６】
７２４において、コンピュータ１００は、ディスプレイ１７０を介してユーザにＵＩＤに関連するビジュアルコンテンツをレンダリングする。例えば、アニメーション４１０はディスプレイ１７０を介してユーザにレンダリングされ、アニメーション５１０はディスプレイ１７０を介してユーザにレンダリングされる。フローは７３０（図７）に続く。
【００７７】
図９は、本発明の実施形態による、ハプティック対応のＡＲシステムにおいてハプティックコンテンツをレンダリングするためのオプション機能を示す。
【００７８】
７４０（図７）の後、７４２において、コンピュータ１００は、ユーザがハプティック基準ステッカー２００に近接しているかどうかを判定する。
【００７９】
一実施形態では、ハプティック基準ステッカー２００への近接度は、カメラ（Ｉ／Ｏデバイス１８０）を使用して決定され得る。例えば、ハプティック基準ステッカー２００の特定の視覚的特徴のサイズは、固有の形状、固有のマーキング、ＱＲコードなど、触覚基準ステッカー２００への近接度を決定できるカメラの視野で認識されてもよい。
【００８０】
別の実施形態において、ハプティック基準ステッカー２００への近接度は、コンピュータ１００とハプティック基準ステッカー２００との間の無線（Ｂｌｕｅｔｏｏｔｈ、ＢＬＥ、ＲＦＩＤなど）信号を使用して決定され得る。例えば、無線信号強度インジケータは、コンピュータ１００とハプティック基準ステッカー２００との間の距離を決定するために使用され得る。
【００８１】
さらなる実施形態では、ハプティック基準ステッカー２００への近接度は、ＧＰＳ受信機（Ｉ／Ｏデバイス１８０）を使用して決定され得る。例えば、ハプティック基準ステッカー２００の位置が事前に知られている場合、ハプティック基準ステッカー２００への近接度は、ハプティック基準ステッカー２００の既知の位置および１０進度（ＤＤ）や度、分、秒（ＤＭＳ）等での緯度／経度座標などのＧＰＳ位置情報に基づいて決定され得る。
【００８２】
ハプティック基準ステッカー２００がユーザに近接していると判断される距離または近接閾値は、例えば１フィート、２フィート、５フィート、１０フィートなど、すべてのハプティック基準ステッカー２００について同じであり得る。あるいは、異なるハプティック基準ステッカー２００は、異なる近接閾値を有し得る。
【００８３】
ユーザがハプティック基準ステッカー２００に近い場合、フローは７６０（図７）に続き、ハプティックコンテンツがユーザにレンダリングされる。一例では、コンピュータ１００は、スマートウォッチ、ＡＲ ＨＭＤなどの１つ以上のウェアラブルハプティック出力デバイス（Ｉ／Ｏデバイス１８０）を介して、ハプティック効果全体をユーザにレンダリングする。この例では、ユーザがハプティック基準ステッカー２００に直接タッチしたり接触したりする必要はなく、ハプティック効果は、振動ハプティック効果４２０、振動ハプティック効果５２０などの振動ハプティック効果、嗅覚ハプティック効果５３０などの嗅覚ハプティック効果、力覚フィードバックハプティック効果、温度ハプティック効果などであってもよい。別の例では、ハプティック基準ステッカー２００はハプティック効果の第１の部分をユーザに与え、コンピュータ１００は上述のような１つ以上のウェアラブルハプティック出力デバイス（Ｉ／Ｏデバイス１８０）を介してハプティック効果の第２の部分をユーザに与える。さらなる例では、ハプティック基準ステッカー２００は、ハプティック効果全体をユーザにレンダリングする。ハプティック効果は、嗅覚ハプティック効果５３０などの嗅覚ハプティック効果であってもよい。振動ハプティック効果、力覚フィードバックハプティック効果、温度ハプティック効果など、ハプティック基準ステッカー２００との接触時にユーザが経験する他のハプティック効果も、ハプティック基準ステッカー２００によってレンダリングされてもよい。
【００８４】
図１０は、本発明の実施形態による、ハプティック対応のＡＲシステムのためのハプティックコンテンツをレンダリングする機能を例示するフローチャートを示す。
【００８５】
実施形態８００に関して、８１０において、コンピュータ１００はハプティック基準ステッカー２００を検出する。一実施形態では、ハプティック基準ステッカー２００はカメラ（Ｉ／Ｏデバイス１８０）を使用して検出され得る。例えば、ハプティック基準ステッカー２００の特定のビジュアル特性は、固有の形状、固有のマーキング、ＱＲコードなどのようにカメラの視野内で認識され得る。
【００８６】
別の実施形態では、ハプティック基準ステッカー２００は、コンピュータ１００とハプティック基準ステッカー２００との間の無線信号を使用して検出され得る。例えば、無線（Ｂｌｕｅｔｏｏｔｈ、ＢＬＥ、ＲＦＩＤなど）信号強度インジケータがコンピュータ１００とハプティック基準ステッカー２００との間の距離を決定するために使用され得る。ハプティック基準ステッカー２００は、それらのＵＩＤを連続的にブロードキャストするアクティブなデバイスまたはビーコンとして構成されてもよい。あるいは、ハプティック基準ステッカー２００は、コンピュータ１００からの無線信号をリッスンし、一度受信すると、標準またはカスタム無線通信プロトコルに従ってフォーマットされたメッセージを介してＵＩＤをコンピュータ１００に送信する受動デバイスとして構成されてもよい。
【００８７】
さらなる実施形態では、コンピュータ１００はＧＰＳ受信機（Ｉ／Ｏデバイス１８０）を含む。例えば、ハプティック基準ステッカー２００の位置が事前に知られている場合、コンピュータ１００は、ハプティック基準ステッカー２００の位置、および１０進度（ＤＤ）や度、分、秒（ＤＭＳ）等での緯度／経度座標などのＧＰＳ位置情報に基づいて、ハプティック基準ステッカー２００がユーザに近接しているかどうかを検出してもよい。
【００８８】
８２０において、コンピュータ１００は、コンピュータ１００とハプティック基準ステッカー２００との間の無線接続を介してハプティック基準ステッカー２００からＵＩＤを受信する。多くの例では、無線接続は、Ｂｌｕｅｔｏｏｔｈ、ＢＬＥ、ＲＦＩＤなどを使用してローカルに確立される。他の例では、無線接続はＷｉＦｉなどを使用してネットワーク３０上で確立される。ＵＩＤは、標準またはカスタムの無線通信プロトコルに従ってフォーマットされたメッセージを介して受信できる。
【００８９】
８３０において、コンピュータ１００は、ＵＩＤに関連付けられたハプティックコンテンツを決定する。スタンドアロンＡＲアプリケーション１３４の場合、プロセッサ１２０はメモリ１３０内のＵＩＤに関連するハプティックコンテンツをルックアップする。クライアントＡＲアプリケーション１３４の場合、プロセッサ１２０はネットワーク３０を介してＡＲサーバ２０と通信してＵＩＤに関連するハプティックコンテンツを決定する。
【００９０】
８４０において、コンピュータ１００とハプティック基準ステッカー２００との間の無線接続を介してハプティック基準ステッカー２００から、ユーザが、例えば、１つ以上の指、手を使用して、ハプティック基準ステッカー２００にタッチまたは接触しているという通知を受け取る。その通知は、ユーザがタッチまたは接触しているというハプティック基準ステッカー２００のＵＩＤを含んでもよい。その通知は、標準またはカスタムの無線通信プロトコルに従ってフォーマットされたメッセージを介して受信できる。
【００９１】
８５０において、ユーザがタッチまたは接触しているＵＩＤに関連付けられたハプティックコンテンツがユーザにレンダリングされる。この実施形態では、コンピュータ１００は、１つ以上のハプティック出力デバイス（Ｉ／Ｏデバイス１８０）を介して、ハプティック効果をユーザにレンダリングする。コンピュータ１００およびハプティック出力デバイスは、スマートウォッチ、ＡＲ ＨＭＤなどの、ユーザが所有するウェアラブルデバイスに提供され得る。ハプティック効果は、振動ハプティック効果、力覚フィードバックハプティック効果、温度ハプティック効果、嗅覚ハプティック効果などであってよい。
【００９２】
本発明の一実施形態は、ＡＲ環境用のハプティックシステムを提供する。ハプティックシステムは、ハプティック基準ステッカーとコンピュータを含む。ハプティック基準ステッカーは、タッチセンサ、無線通信インターフェース、およびハプティック出力デバイスを含む。タッチセンサは、タッチまたはユーザの接触を検出するように構成される。無線通信インターフェースは、一意の識別子（ＵＩＤ）を送信し、ＵＩＤに関連付けられた、ハプティック効果を含むハプティックコンテンツを受信するように構成される。ハプティック出力デバイスは、タッチセンサがタッチまたはユーザの接触を検出したときにハプティック効果をレンダリングするように構成される。上記コンピュータは、無線通信インターフェースとプロセッサを含む。無線通信インターフェースは、ハプティック基準ステッカーからＵＩＤを受信し、ＵＩＤに関連付けられたハプティックコンテンツをハプティック基準ステッカーに送信するように構成される。上記プロセッサは、ハプティック基準ステッカーを検出し、ＵＩＤに関連付けられたハプティックコンテンツを決定するように構成される。
【００９３】
本発明の一実施形態は、ＡＲ環境用のハプティック基準ステッカーを提供する。ハプティック基準ステッカーには、タッチセンサ、無線通信インターフェース、およびハプティック出力デバイスが含まれる。タッチセンサは、タッチまたはユーザの接触を検出するように構成される。無線通信インターフェースは、一意の識別子（ＵＩＤ）を送信し、ＵＩＤに関連付けられたハプティックコンテンツを受信するように構成され、ハプティックコンテンツはハプティック効果を含む。ハプティック出力デバイスは、タッチセンサがタッチまたはユーザの接触を検出したときにハプティック効果をレンダリングするように構成される。
【００９４】
本発明の一実施形態は、ハプティック対応のＡＲシステムにおいてハプティックコンテンツをレンダリングする方法を提供する。この方法は、コンピュータのプロセッサによってハプティック基準ステッカーを検出するステップと、ハプティック基準ステッカーから一意の識別子（ＵＩＤ）を、ワイヤレス接続を介して受信するステップと、ＵＩＤに関連付けられた、ハプティック効果を含むハプティックコンテンツを決定するステップと、ＵＩＤに関連付けられたハプティックコンテンツを、無線接続を介して前記ハプティック基準ステッカーに送信するステップと、ユーザが前記ハプティック基準ステッカーにタッチしているか接触しているかどうか、または前記ハプティック基準ステッカーに近接しているかどうかを前記ハプティック基準ステッカーにより判定するステップと、ユーザにハプティック効果をレンダリングするステップと、を含む。
【００９５】
本発明の別の実施形態は、ハプティック対応のＡＲシステムにおいてハプティックコンテンツをレンダリングする方法を提供する。この方法は、コンピュータのプロセッサによってハプティック基準ステッカーを検出するステップと、ハプティック基準ステッカーから一意の識別子（ＵＩＤ）を、ワイヤレス接続を介して受信するステップと、ＵＩＤに関連付けられた、ハプティック効果を含むハプティックコンテンツを決定するステップと、ユーザがハプティック基準ステッカーにタッチしている、または接触しているというハプティック基準ステッカーからの通知を、ワイヤレス接続を介して受信するステップと、ユーザにハプティック効果をレンダリングするステップと、を含む。
【００９６】
本書に記載される様々な実施形態および例は、特に明記しない限り組み合わせ可能である。
【００９７】
本発明の多くの特徴および利点は詳細な明細書から明らかであり、したがって、添付の特許請求の範囲は、本発明の真の精神および範囲内にある本発明のそのような特徴および利点をすべて包含するものとする。さらに、当業者には多数の変更および変形が容易に思い浮かぶので、本発明を図示および説明された正確な構造および動作に限定することは望ましくなく、したがって、すべての適切な変更および等価物は本発明の範囲内にあるものに頼ることができる。
【符号の説明】
【００９８】
１０  ハプティック対応ＡＲシステム
２０  ＡＲサーバ
３０  ネットワーク
４０  ハプティックシステム
５０  スマートフォン
１００  コンピュータ
１１０  バス
１１２  電力コネクタ
１２０  プロセッサ
１３０，２０８  メモリ
１４０  ディスプレイインターフェース
１５０  Ｉ／Ｏインターフェース
１６０  無線通信インターフェース
１６２，２０３  アンテナ
１７０  ディスプレイ
１８０  Ｉ／Ｏデバイス
２００，４００，５００  ハプティック基準ステッカー
２０２  無線通信インターフェース、
２０４  プロセッサ、
２０５  タッチセンサ
２０６  ハプティック出力デバイス
２１０  電源
【図１】
2020102196.tif 000003
【図２】
2020102196.tif 000004
【図３】
2020102196.tif 000005
【図４Ａ】
2020102196.tif 000006
【図４Ｂ】
2020102196.tif 000007
【図４Ｃ】
2020102196.tif 000008
【図５Ａ】
2020102196.tif 000009
【図５Ｂ】
2020102196.tif 000010
【図５Ｃ】
2020102196.tif 000011
【図５Ｄ】
2020102196.tif 000012
【図６】
2020102196.tif 000013
【図７】
2020102196.tif 000014
【図８】
2020102196.tif 000015
【図９】
2020102196.tif 000016
【図１０】
2020102196.tif 000017
【外国語明細書】
2020102196000001.pdf