(57)【要約】      （修正有）【課題】システム、電子装置、および方法により、視線に応じた触覚感覚を提供する。【解決手段】システム１００は、システムのユーザの視線の方向を判定するように構成された検出器と、視線の方向に基づく触覚効果を表す信号を生成するように構成されたプロセッサと、プロセッサから信号を受信し、ユーザに対して触覚効果を出力するように構成された触覚出力装置とを備える。システムのユーザに対して触覚効果を提供する方法は、システムのユーザの視線の方向を判定する工程と、視線の方向に基づいて触覚効果を生成する工程と、ユーザに対して触覚効果を出力する工程を備える。【選択図】図１
2018173983.tif 000002
【特許請求の範囲】
【請求項１】
システムであって、
当該システムのユーザの視線の方向を判定するように構成された検出器と、
前記視線の前記方向に基づいて触覚効果を表す信号を生成するように構成されたプロセッサと、
前記プロセッサから前記信号を受信し、前記ユーザに対して前記触覚効果を出力するように構成された触覚出力装置と、
を備えるシステム。
【請求項２】
前記触覚出力装置が、前記触覚効果を出力するように構成されたアクチュエータを備える、請求項１に記載のシステム。
【請求項３】
前記触覚出力装置が、前記触覚効果を出力するように構成された非機械的装置を備える、請求項１に記載のシステム。
【請求項４】
前記検出器が、前記ユーザの目の画像を取り込むように構成されたカメラと、前記画像に基づいて前記視線の前記方向を判定するように構成された画像処理装置とを備える、請求項１に記載のシステム。
【請求項５】
前記画像処理装置が前記プロセッサの一部である、請求項４に記載のシステム。
【請求項６】
前記検出器が、前記ユーザの目の付近の筋肉の動きを監視するように構成されたセンサと、当該監視された動きに基づいて前記視線の前記方向を判定するように構成された第２のプロセッサとを備える、請求項１に記載のシステム。
【請求項７】
前記第２のプロセッサが前記プロセッサの一部である、請求項６に記載のシステム。
【請求項８】
前記検出器およびプロセッサが第１の装置の一部であり、前記触覚出力装置が前記第１の装置とは別体の第２の装置の一部である、請求項１に記載のシステム。
【請求項９】
前記第１の装置と前記第２の装置の間に、有線または無線の通信チャネルを確立するように構成された通信ポートをさらに備える、請求項８に記載のシステム。
【請求項１０】
前記検出器が第１の装置の一部であり、前記プロセッサおよび前記触覚出力装置が前記第１の装置とは別体の第２の装置の一部である、請求項１に記載のシステム。
【請求項１１】
前記第１の装置と前記第２の装置の間に、有線または無線の通信チャネルを確立するように構成された通信ポートをさらに備える、請求項１０に記載のシステム。
【請求項１２】
前記ユーザの前記視線がオブジェクトに向けられていると判定された場合に、前記プロセッサが前記触覚効果を表す第１の信号を生成するように構成され、前記ユーザの前記視線が前記オブジェクトに向けられていないと判定された場合に、前記プロセッサが前記触覚効果と異なる第２の触覚効果を表す第２の信号を生成するように構成される、請求項１に記載のシステム。
【請求項１３】
前記ユーザの前記視線が第１のオブジェクトに向けられていると判定された場合に、前記プロセッサが前記触覚効果を表す第１の信号を生成するように構成され、前記ユーザの前記視線が前記第１のオブジェクトと異なる第２のオブジェクトに向けられていると判定された場合に、前記プロセッサが前記触覚効果と異なる第２の触覚効果を表す第２の信号
を生成するように構成される、請求項１に記載のシステム。
【請求項１４】
前記プロセッサが、拡張現実空間を生成し、前記視線の前記方向を用いて前記ユーザがいつ前記拡張現実空間内のオブジェクトを見ているかを判定するようにさらに構成され、前記触覚効果がさらに前記オブジェクトに基づく、請求項１記載のシステム。
【請求項１５】
システムのユーザに触覚効果を提供する方法であって、
前記システムの前記ユーザの視線の方向を判定する工程と、
前記視線の前記方向に基づいて触覚効果を生成する工程と、
前記ユーザに対して前記触覚効果を出力する工程と、
を備える方法。
【請求項１６】
前記判定する工程が、前記ユーザの目の画像を取り込む工程と、前記画像に基づいて前記視線の前記方向を判定する工程とを含む、請求項１５に記載の方法。
【請求項１７】
前記判定する工程が、前記ユーザの目の付近の筋肉の動きを監視する工程と、当該監視された動きに基づいて前記視線の前記方向を判定する工程とを含む、請求項１５に記載の方法。
【請求項１８】
前記触覚効果を生成する工程は、前記ユーザの前記視線が第１のオブジェクトに向けられていると判定された場合に、第１の触覚効果を生成する工程を含み、前記ユーザの前記視線が前記第１のオブジェクトに向けられていないと判定された場合に、前記第１の触覚効果と異なる第２の触覚効果を生成する工程を含む、請求項１５に記載の方法。
【請求項１９】
前記触覚効果を生成する工程は、前記ユーザの前記視線が第１のオブジェクトに向けられていると判定された場合に、第１の触覚効果を生成する工程を含み、前記ユーザの前記視線が前記第１のオブジェクトと異なる第２のオブジェクトに向けられていると判定された場合に、前記第１の触覚効果と異なる第２の触覚効果を生成する工程を含む、請求項１５に記載のシステム。
【請求項２０】
ハウジングと、
前記ハウジングに支持され、前記電子装置のユーザの視線の方向を判定するように構成された検出器と、
前記ハウジングに支持され、前記ユーザに対して触覚効果を生成するように構成された触覚出力装置と、
前記ハウジングに支持されるプロセッサであって、
ｉ）前記電子装置を見ている前記ユーザの前記視線に基づく第１の触覚効果を表す第１の触覚駆動信号と、
ｉｉ）前記電子装置から目を逸らしている前記ユーザの前記視線に基づく第２の触覚効果を表す第２の触覚駆動信号と、
を生成するように構成され、前記触覚出力装置に対して前記第１の触覚駆動信号または前記第２の触覚駆動信号を出力し、前記検出器によって判定された前記視線の前記方向に基づいて前記触覚効果を生成するように構成されたプロセッサと、
を備える電子装置。
【請求項２１】
前記検出器が、前記ユーザの目の画像を取り込むように構成されたカメラと、前記画像に基づいて前記視線の前記方向を判定するように構成された画像処理装置とを備える、請求項２０に記載の電子装置。
【請求項２２】
前記ハウジングに支持されたディスプレイであって、画像を表示するように構成された
ディスプレイをさらに備える、請求項２０に記載の電子装置。
【請求項２３】
前記ディスプレイが前記ユーザからの入力を受けるタッチ・スクリーンを備える、請求項２２に記載の電子装置。
【請求項２４】
前記第２の触覚効果の強さが前記第１の触覚効果の強さよりも大きい、請求項２０に記載の電子装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は視線の関数としての触覚感覚を提供するためのシステム、電子装置、および方法に関する。
【背景技術】
【０００２】
電子装置のユーザの視線の方向を判定するための検出方法が、ヒューマン・コンピュータ・インタラクションにおいて普及しつつある。例えば、視線方向検出（ｅｙｅ  ｇａｚｅ  ｄｅｔｅｃｔｉｏｎ）を用いて、コンピュータ・ゲーム・コンソール向けのマイクロソフトのＫＩＮＥＣＴ（登録商標）ゲーム・システムやソニーのＰＬＡＹＳＴＡＴＩＯＮ−ＥＹＥ（登録商標）カメラを使用する際に、ユーザがディスプレイのどこに視線を向けているかをよりよく判定することができる。一般に、ユーザの視線はコンピュータ・デバイスへの入力として用いることができる。例えば、ユーザ・インターフェースの現在のフォーカスはユーザが見ている箇所に当てられる。これはコンピュータ・スクリーン上のポインタとしてマウスを使うことに類似している。ＫＩＮＥＣＴ（登録商標）のようなシステムがより高度になるに従い、視線方向検出はソフトウェア・アプリケーションへの入力を提供する標準的な方法となる可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
電子装置において触覚効果を生成するための入力として視線方向情報を用いることにより、ユーザが現に見ているものに応じて当該触覚効果がユーザの全体験によりよく適合するものとなることが望ましい。これによりユーザはより没入感のある体験を得ることができる。
【課題を解決するための手段】
【０００４】
本発明の一態様によれば、提供されるシステムは、システムのユーザの視線の方向を判定するように構成された検出器と、視線の方向に基づく触覚効果を表す信号を生成するように構成されたプロセッサと、プロセッサから信号を受信し、ユーザに対して触覚効果を出力するように構成された触覚出力装置とを備える。
【０００５】
本発明の一態様によれば、システムのユーザに触覚効果を提供する方法が提供される。当該方法は、システムのユーザの視線の方向を判定する工程と、視線の方向に基づいて触覚効果を生成する工程と、ユーザに対して触覚効果を出力する工程を備える。
【０００６】
本発明の一態様によれば、提供される電子装置は、ハウジングと、ハウジングに支持され、電子装置のユーザの視線の方向を判定するように構成された検出器と、ハウジングに支持され、ユーザに対して触覚効果を生成するように構成された触覚出力装置と、ハウジングに支持されたプロセッサとを備える。このプロセッサは、電子装置を見ているユーザに対応するユーザの視線に基づいて、第１の触覚効果を表す第１の触覚駆動信号を生成し、電子装置から目を逸らしているユーザに対応するユーザの視線に基づいて、第２の触覚効果を表す第２の触覚駆動信号を生成するように構成されている。このプロセッサは、触覚出力装置に対して第１の触覚駆動信号または第２の触覚駆動信号を出力し、検出器によって判定された視線の方向に基づいて触覚効果を生成するように構成されている。
【図面の簡単な説明】
【０００７】
以下の図面の構成要素は、本開示の一般的な原理を強調するように描写されており、必ずしも寸法通りには記載されていない。一貫性及び明瞭性を確保するために、対応する構
成要素を指し示す参照番号は、必要に応じ、複数の図面にわたって繰り返し用いられる。
【０００８】
【図１】本発明の一実施形態にかかる、システムのユーザに対してユーザの視線の関数として触覚感覚を提供するためのシステムの模式図である。
【０００９】
【図１Ａ】図１のシステムの検出器の一実施形態の模式図である。
【００１０】
【図１Ｂ】図１のシステムの検出器の一実施形態の模式図である。
【００１１】
【図２】図１のシステムのプロセッサの一実施形態の模式図である。
【００１２】
【図３】図１のシステムの一実施形態の模式図である。
【００１３】
【図４】本発明の一実施形態にかかる、電子装置のユーザに対してユーザの視線の関数として触覚感覚を提供するための電子装置の模式図である。
【００１４】
【図５】本発明の一実施形態にかかる図５の電子装置の模式図である。
【００１５】
【図６】本発明の一実施形態にかかる図５の電子装置の模式図である。
【００１６】
【図７Ａ】本発明の一実施形態にかかる図５の電子装置の模式図である。
【図７Ｂ】本発明の一実施形態にかかる図５の電子装置の模式図である。
【００１７】
【図８】本発明の一実施形態にかかる図１のシステムの模式図である。
【００１８】
【図９】本発明の一実施形態にかかる、図１のシステムまたは図４の電子装置のユーザに対してユーザの視線の関数として触覚感覚を提供するための方法のフロー図である。
【発明を実施するための形態】
【００１９】
図１は本発明の一実施形態に従ったシステム１００を示す。図示するように、システム１００は、検出器１１０と、プロセッサ１２０と、触覚出力装置１３０と、ディスプレイ１４０とを備える。検出器１１０はシステム１００のユーザの視線の方向を判定するように構成され、プロセッサ１２０は視線の方向に基づいて触覚効果を表す信号を生成するように構成され、触覚出力装置１３０はプロセッサから前記信号を受信し、かつ触覚効果をユーザに対して出力するように構成され、ディスプレイ１４０はユーザに対してコンテンツを表示するように構成される。
【００２０】
検出器１１０は視線を検出するために用いられる任意の検出手段を含んでもよい。例えば、図１Ａは検出器１１０’の一実施形態を示す。検出器１１０’は、システム１００のユーザの目の画像を取り込むように構成されたカメラ１１２と、この画像に基づいて視線の方向を判定するように構成されたプロセッサ１１４とを備えてもよい。一実施形態において、プロセッサ１１４は図１のプロセッサ１２０の一部であってもよい。視線の方向を判定する画像処理技術は文献により公知であり、本明細書においては詳述しない。図１Ｂは検出器１１０”の一実施形態を示す。検出器１１０”は、ユーザの目の付近の筋肉の動きを監視するように構成されたセンサ１１６と、この監視された動きに基づいて視線の方向を判定するように構成されたプロセッサ１１８とを備えてもよい。一実施形態において、センサ１１６は、目を動かす筋肉の電気的な活動を計測するように構成されてもよい。一実施形態において、プロセッサ１１８は図１のプロセッサ１２０の一部であってもよい。
【００２１】
図示された検出器の実施形態は、いかなる点においても限定的なものではなく、ユーザの視線の方向を判定するためのその他の検出手段を本発明の実施形態に従って用いてもよい。例えば、一実施形態において、ユーザの視線の方向はユーザの体や頭部の姿勢を分析することによって推定される。
【００２２】
一実施形態において、検出器１１０は、ユーザの現在の視線の方向が集中している箇所を判定するようにも構成されてよい。これを実現するために、ユーザの目の虹彩の位置と形状を判定するための画像処理技術を、標準的なあるいは記憶された虹彩の基準画像と組み合わせて用いてもよい。一実施形態において、ユーザの視線の方向は、各々の目についてピッチ角および偏揺角として記憶されてもよい。この情報を用いて、ユーザの現在の注視範囲の奥行きを判定してもよい。一実施形態において、検出器１１０に加えて、典型的には機能的磁気共鳴画像法（ｆＭＲＩ）または脳波図（ＥＥＧ）に関連するセンサなどの他のセンサを用いて、ユーザの意図や意思をよりよく判定してもよい。触覚効果はこれらのセンサの組合せと検出器の出力の関数として実現されてもよい。
【００２３】
図２はプロセッサ１２０の一実施形態をより詳細に示す。プロセッサ１２０は、一又は複数のコンピュータ・プログラム・モジュールを実行するように構成されてもよい。一又は複数のコンピュータ・プログラム・モジュールは、コンテンツ提供モジュール１２２、視線判定モジュール１２４、触覚効果決定モジュール１２６、触覚出力装置制御モジュール１２８、及び／又はこれら以外のモジュールの一又は複数を備えてもよい。プロセッサ１２０は、モジュール１２２、１２４、１２６、及び／または１２８を実行する際に、ソフトウェア、ハードウェア、ファームウェア、何らかの方法で組み合わされたソフトウェア、ハードウェア、及び／またはファームウェア、及び／またはプロセッサ１２０の処理能力を構成する他の機構を用いてもよい。
【００２４】
図３においてモジュール１２２、１２４、１２６、及び１２８は単一の処理装置内の同じ位置に配置されるものとして示されるが、プロセッサ１２０が複数の処理装置を含む実施形態においては、モジュール１２２、１２４、１２６、及び／または１２８のうちの一または複数が他のモジュールから離れて配置されてもよい。例えば、視線判定モジュール１２４は上述のプロセッサ１１４および１１８内に配置されてもよい。以下の異なるモジュール１２２、１２４、１２６、及び／または１２８によって提供される機能の記述は説明のためのものであり、限定を意図したものではない。モジュール１２２、１２４、１２６、及び／または１２８はいずれも記述されるよりも多くの、または少ない機能を提供してもよい。例えば、モジュール１２２、１２４、１２６、及び／または１２８のうちの一または複数を取り除き、その機能の一部またはすべてを、モジュール１２２、１２４、１２６、及び／または１２８のうちの他のモジュールで提供してもよい。他の例として、以下でモジュール１２２、１２４、１２６、及び／または１２８のうちの１つに帰せられる機能の一部またはすべてを実行する１つまたは複数の追加的なモジュールを実行するように、プロセッサ１２０が構成されてもよい。
【００２５】
コンテンツ提供モジュール１２２は、ディスプレイ１４０を介するシステム１００のユーザへのコンテンツの提供を制御するように構成される。コンテンツにコンピュータによって生成された画像（例えば、ビデオゲーム、仮想世界、拡張現実仮想世界、シミュレーションなどにおける画像）が含まれる場合、コンテンツ提供モジュール１２２は、ディスプレイ１４０を介してユーザに表示される画像および／またはビューを生成するように構成される。コンテンツに動画及び／または静止画が含まれる場合、コンテンツ提供モジュール１２２はこの動画及び／または静止画にアクセスしてこの動画及び／または静止画のビューを生成し、ディスプレイ１４０に表示するように構成される。コンテンツに音声コンテンツが含まれる場合、コンテンツ提供モジュール１２２はスピーカを駆動する電子信号を生成して、対応する音を出力するように構成される。このスピーカはディスプレイ１
４０の一部であってもよい。コンテンツあるいはそのコンテンツの発生元である情報は、コンテンツ提供モジュール１２２によって、電子記憶装置１２９から取得されてもよい。この電子記憶装置１２９は、図２に示すようにプロセッサ１２０の一部であってもよく、またはプロセッサ１２０とは別体であってもよい。
【００２６】
視線判定モジュール１２４は、検出器１１０によって生成される出力信号からの情報に基づいて、ユーザの視線の方向を判定するように構成される。視線方向判定モジュール１２４によって判定されるユーザの視線の方向に関する情報は、絶対座標系における他のオブジェクトに対するベクトルとして、および／または他の文脈で、その方向を記述してもよい。そのような情報には、座標および／または例えば上述のピッチ角および偏揺角などの角度関係が含まれてもよいが、これらには限定されない。
【００２７】
触覚効果決定モジュール１２６は、検出器１１０および上述のようにユーザの意図または意思を判定するように構成された他の任意のセンサから受信した情報に基づいて、触覚出力装置１３０によってユーザに対して生成される触覚効果または感覚を決定するように構成される。視線判定モジュール１２４によって判定される注視パラメータは、単独でまたは例えばコンテンツ・イベントやシステム１００の任意の部分の動きなどの他の入力と共に用いられる。触覚効果を決定する際には、触覚感覚の振幅、周波数、持続時間などを含む１つまたは複数のパラメータを決定してもよい。触覚効果は触覚効果決定モジュール１２６によって決定され、コンテンツによってユーザに提供される体験の１つまたは複数の態様を向上させる。例えば、コンテンツの現実性、コンテンツの楽しさ、ユーザによるコンテンツの認識、および／またはディスプレイ１４０を介してユーザに伝達されるコンテンツによって提供される体験の他の態様のうちの１つまたは複数を向上させるように、触覚効果が決定されてもよい。
【００２８】
触覚出力装置制御モジュール１２８は、触覚出力装置１３０を制御して触覚効果決定モジュール１２６が決定した触覚効果を生成するように構成される。この中で、プロセッサ１２０によって生成され触覚出力装置１３０に伝達される触覚出力信号が伝達される。生成される触覚効果は、プロセッサ１２０および触覚出力装置１３０の間の有線の通信リンク、無線の通信リンク、および／またはその他の通信リンクを通して伝達される。一実施形態において、触覚出力装置制御モジュール１２８に帰せられる機能の少なくとも一部は、触覚出力装置１３０によって担持されるプロセッサ内に配置されてもよい。
【００２９】
振動触覚効果または触覚感覚は、触覚感覚を生成するための任意の方法で生成することができる。その方法とは例えば、振動、変形、運動感覚、静電摩擦または超音波摩擦などである。一実施形態において、触覚出力装置１３０が含み得るアクチュエータは、例えば、偏心質量体がモータにより動かされる偏心回転質量体（「ＥＲＭ」）などの電磁アクチュエータ、ばねに取り付けられた質量体が前後に駆動されるリニア共振アクチュエータ（「ＬＲＡ」）、または圧電材料、電気活性ポリマー、もしくは形状記憶合金などの「スマートマテリアル」、マクロ複合繊維アクチュエータ、静電気アクチュエータ、電気触感アクチュエータ、および／または触覚（例えば、振動触知）フィードバックなどの物理的フィードバックを提供する他の種類のアクチュエータ、である。触覚出力装置１３０は、非機械的または非振動装置、例えば、静電摩擦（「ＥＳＦ」）や超音波表面摩擦（「ＵＳＦ」）を用いる装置、超音波触覚トランスデューサを用いて音響放射圧力を生じさせる装置、触覚基板および可撓性もしくは変形可能な表面を用いる装置、またはエアジェットを用いた空気の吹きかけなどの発射型の触覚出力を提供する装置などを含んでもよい。一実施形態において、異なる触覚効果を生成するために、複数の触覚出力装置を用いてもよい。触覚出力装置１３０は、ゲーム・パッド、携帯電話機、ウェアラブル装置、またはユーザに対して触覚効果をまたは触覚感覚を生成するために使用できる他の任意の装置の内部に配置される。
【００３０】
図３は本発明の実施形態にかかるシステム３００を示す。図示するように、システム３００は、マイクロソフトのＫＩＮＥＣＴ（登録商標）ゲーム・システムやＰＬＡＹＳＴＡＴＩＯＮ−ＥＹＥ（登録商標）カメラを装備したソニーのＰＬＡＹＳＴＡＴＩＯＮ（登録商標）ゲーム・システムなどの、カメラ型ゲーム・システム３０２を含む。図の実施形態において、ゲーム・システム３０２は検出器１１０を含み、この検出器１１０は上述の検出器１１０’および／または検出器１１０”、および上述のプロセッサ１２０を含む。システム３００はまた、ユーザからの入力を受けてゲーム・システム３０２に命令を与えるように構成された、ゲーム・パッドなどのユーザ入力装置３０４を含む。ユーザ入力装置３０４はまた、上述の触覚出力装置１３０を含んでもよい。システム３００はまた、ゲーム・システム３０２のコンテンツ提供モジュール１２２によって出力された画像を表示するように構成された、テレビまたはモニタなどのディスプレイ１４０を含む。
【００３１】
図３に示すように、ユーザ入力装置３０４は、ゲーム・システム３０２の通信ポート３０６とユーザ入力装置３０４の通信ポート３０８との間で確立された有線または無線の通信チャネル３５０を通して、ゲーム・システム３０２と通信することができる。触覚出力装置１３０は、プロセッサ１２０からの信号、例えば触覚出力装置制御モジュール１２８からの信号を受信し、ユーザ入力装置３０４を通してユーザに対して触覚効果を出力するように構成されている。ユーザが感じる触覚感覚は、ユーザが現在見ているディスプレイ１４０の位置に依存する。例えば、ユーザがディスプレイ１４０上の現在のシーンを見ている場合があるが、これは必ずしも現在のゲーム・パッドの焦点が当たっている場所とは限らない。
【００３２】
例えば、ユーザがファーストパーソン・シューティングゲームをプレイ中に新しい部屋に入る場合、ユーザは視線を動かしてディスプレイ１４０上のシーンを素早く見渡そうとする。ＥＧ１で示されるユーザの視線が、ディスプレイ１４０の左側の「Ａ」領域で示される部屋の第１の部分に落とされるとき、第１の触覚効果または触覚感覚がユーザ入力装置３０４内で感じられ、それはインタラクトが可能なオブジェクトが存在することを示す。ＥＧ２で示されるユーザの視線が、ディスプレイ１４０の左側の「Ｂ」領域で示される部屋の第２の部分に落とされるとき、そこにはインタラクトが可能なオブジェクトが存在しないため、ユーザは第１の触覚効果または触覚感覚とは異なる第２の触覚効果または触覚感覚を感じる。部屋の第２の部分にはインタラクトが可能なオブジェクトが存在しないことをユーザに伝えるように第２の触覚効果を構成することにより、ユーザが部屋の第２の部分を見続ける必要がないようにしてもよい。
【００３３】
一実施形態において、ユーザ入力装置３０４は、タッチ・スクリーンまたはタッチ・パッド入力を備えたゲーム・パッドを含んでもよい。ユーザは、主画面としてのディスプレイ１４０およびユーザ入力装置３０４のタッチ・スクリーンを用いてゲームをプレイしてもよい。検出器１１０はユーザの視線を検出し、ユーザがディスプレイ１４０を見ているか否か、またはユーザがユーザ入力装置１０４のタッチ・スクリーンを見ているか否かを判定してもよい。プロセッサ１２０は、ユーザの視線の検出された方向に基づいて触覚出力装置１３０に信号を出力して、触覚出力装置１３０によって生成された触覚効果がユーザの見るべき画面をユーザに伝達するようししてもよい。一実施形態において、触覚効果はユーザが現在見ていないディスプレイまたは画面において何かが発生したことをユーザに伝達することによって、ユーザに別のディスプレイまたは画面を見るように指示してもよい。
【００３４】
一実施形態において、ユーザ入力装置３０４はグーグル社のＧＬＡＳＳ（登録商標）拡張現実ディスプレイのようなウェアラブル装置を含んでもよい。一実施形態において、拡張現実視覚ディスプレイにおいてユーザが何を選択しようとしているかを示すために、検
出された視線を用いてもよい。例えば、ユーザがメニュー項目またはアイコンを見た後に口頭で「選択」と言うか、またはまばたきをすることでそのメニュー項目またはアイコンを選択してもよい。触覚出力装置１３０は、ユーザの視線がメニュー要素またはアイコンを横切るときに触覚効果を出力してもよい。
【００３５】
一実施形態において、コンテンツ提供モジュール１２２によって提供される拡張現実仮想世界を、視線方向判定モジュール１２４によって判定された視線方向情報と組み合わせて、ユーザが拡張現実仮想世界内の特定のオブジェクトを視野内の特定の奥行きで見ていると判定してもよい。触覚効果決定モジュール１２６はオブジェクトの種類を識別し、触覚出力装置１３０によって出力される触覚効果の種類を決定してもよい。例えば、一実施形態において、ユーザが拡張現実型のディスプレイにおいて現実のまたは仮想のオブジェクトを発見しなければならないゲームをプレイしてもよい。ユーザの視線の方向が判定され、ユーザがオブジェクトＸを見ている場合には、オブジェクトＸに関連付けられた触覚効果、すなわち、オブジェクトＸの触覚サインが触覚出力装置１３０によってユーザ入力装置３０４に生成されてもよい。
【００３６】
一実施形態において、ディスプレイ１４０は、パーソナル・コンピュータの一部分であってもよい。ユーザが自分の視線をディスプレイ１４０上で移動させるとき、検出器１１０はユーザの視線を追跡し、ユーザがマウスを使ってディスプレイ上を移動するときと同様に、ディスプレイ１４０上でのポインタの位置を制御する。ユーザがディスプレイ１４０上の各項目を見ていること、またはユーザがディスプレイ１４０上の強調された項目を見ていることを検出器１１０が検出したとき、触覚出力装置１３０は触覚効果を出力してもよい。
【００３７】
一実施形態において、図１のシステム１００は単一の電子装置の一部分であってもよい。図４は本発明の一実施形態にかかる電子装置４００の模式図である。図示されるように、電子装置４００はプロセッサ４１０、記憶装置４２０、入力／出力装置４３０を備えており、これらはバス４４０を介して相互に接続されている。一実施形態において、入力／出力装置４３０はタッチ・スクリーン装置４５０または他のヒューマン・コンピュータ・インターフェース装置を含む。
【００３８】
タッチ・スクリーン装置４５０は、いかなる適切なヒューマン・コンピュータ・インターフェースまたはタッチ／コンタクト表面組立体として構成されてもよい。タッチ・スクリーン装置４５０は、いかなるタッチ・スクリーン、タッチ・パッド、タッチ感知構造体（ｔｏｕｃｈ  ｓｅｎｓｉｔｉｖｅ  ｓｔｒｕｃｔｕｒｅ）、コンピュータ・モニタ、ラップトップ表示装置、ワークブック表示装置、キオスク・スクリーン、携帯用電子装置スクリーン、またはその他の適切なタッチ感知装置であってもよい。タッチ・スクリーン装置４５０は、スタイラスや指などのユーザによって制御された装置を用いる物理的な相互作用のために構成されている。実施形態によっては、タッチ・スクリーン４５０は少なくとも１つの出力装置および少なくとも１つの入力装置を備えている。例えば、タッチ・スクリーン装置４５０は、視覚ディスプレイおよびそれに重ねられたタッチ感知スクリーンを含み、ユーザの指からの入力を受ける。視覚ディスプレイは高解像度ディスプレイ・スクリーンを含む。
【００３９】
様々な実施形態において、タッチ・スクリーン装置４５０は、電子装置４００の少なくとも一部に対して触覚フィードバックを提供し、その触覚フィードバックは、電子装置４００に接触しているユーザに対して伝達される。特に、タッチ・スクリーン装置４５０は、ユーザがスクリーンに接触しているときにタッチ・スクリーン自体に触覚フィードバックを提供し、触覚効果を与える。触覚効果を用いると、ユーザの経験を向上させることができ、具体的には、ユーザがスクリーンに対してタッチ・スクリーン装置４５０に検出さ
れるのに十分な接触を行ったことを、ユーザに確認させることができる。
【００４０】
電子装置４００は、デスクトップ・コンピュータ、ラップトップ・コンピュータ、電子ワークブック、電子ハンドヘルド装置（例えば、携帯電話、ゲーム装置、携帯情報端末（ｐｅｒｓｏｎａｌ  ｄｉｇｉｔａｌ  ａｓｓｉｓｔａｎｔ：「ＰＤＡ」）、携帯用電子メール装置、携帯用インターネット・アクセス装置、電卓など）、キオスク（例えば、現金自動預け払い機、ティッキング購入機（ｔｉｃｋｉｎｇ  ｐｕｒｃｈａｓｉｎｇ  ｍａｃｈｉｎｅ）など）、プリンタ、ＰＯＳ（ｐｏｉｎｔ−ｏｆ−ｓａｌｅ）装置、ゲーム・コントローラ、または他の電子装置である。
【００４１】
プロセッサ４１０は、汎用または特殊用途プロセッサ、あるいは電子装置４００の動作および機能を管理または制御するマイクロ・コントローラである。例えば、プロセッサ４１０は、触覚効果を提供するために、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ：「ＡＳＩＣ」）として、入力／出力装置４３０のドライバへの出力信号を制御するように特別に設計されてもよい。一実施形態において、プロセッサ４１０は上述のプロセッサ１２０を含む。プロセッサ４１０は、どのような触覚効果が生成され、当該触覚効果がどのような順序で生成され、および／またはどの程度の大きさ、頻度、持続時間、および／またはその他のパラメータを触覚効果が有するかを、所定の係数に基づいて決定する。また、プロセッサ４１０は、特定の触覚効果を提供するための触覚出力装置を駆動するために用いることができるストリーミング・コマンドを提供するように構成してもよい。実施形態によっては、プロセッサ４１０は実際には複数のプロセッサを含み、当該プロセッサの各々が電子装置４００の内部で特定の機能を果たすように構成されている。
【００４２】
記憶装置４２０は内部に固定された１つまたは複数の記憶ユニット、リムーバブル記憶ユニット、および／またはリモート・アクセスが可能な記憶ユニットを含む。これら様々な記憶ユニットは、揮発性メモリと不揮発性メモリのいかなる組合せをも含み得る。記憶ユニットは、情報、データ、命令、ソフトウェア・コードなどのいかなる組合せをも記憶し得るように構成されている。より具体的には、記憶装置は、触覚効果のプロフィール、入力／出力装置４３０の触覚出力装置がいかにして駆動されるかを指示する命令、または触覚効果を生成するためのその他の情報を含む。
【００４３】
タッチ・スクリーン装置４５０に加えて、入力／出力措置４３０も特定の入力機構および出力機構を含む。例えば、入力機構は、キーボード、キーパッド、カーソル・コントロール装置（例えば、コンピュータのマウス）、またはその他のデータ入力装置を含む。入力／出力装置４５０は、上述のカメラ１１２とプロセッサ１１４を含む検出器１１０’などの検出器１１０を含んでもよい。一実施形態において、検出器１１０によって検出されるユーザの視線は、上述のように、タッチ・スクリーン装置４５０上でのポインタの位置を制御するために使用されてもよい。
【００４４】
出力機構は、コンピュータのモニタ、仮想現実ディスプレイ装置、音声出力装置、プリンタ、または例えば図３のユーザー・インターフェース装置３０４について上述したゲーム・パッドなどのその他の周辺装置を含んでもよい。入力／出力装置４３０は、ユーザからの入力を受けるだけでなくユーザにフィードバックを提供するように設計された機構を含み、それは例えば、タッチ・スクリーン装置の多くの例が該当する。
【００４５】
タッチ・スクリーン装置４５０およびその他の入力／出力装置４３０は、ボタン、キーボード、カーソル制御装置、タッチ・スクリーン・コンポーネント、スタイラス受容コンポーネント、またはその他のデータ入力コンポーネントのいかなる適切な組合せおよび構成をも含む。また、タッチ・スクリーン装置４５０は、コンピュータのモニタ、ディスプ
レイ・スクリーン、タッチ・スクリーン・ディスプレイ、上述の触覚出力装置１３０などの触覚出力装置、またはユーザに出力を提供するその他の通知装置の任意の適切な組合せをも含む。
【００４６】
一実施形態において、タッチ・スクリーン装置４５０は、剛性を有し、静電摩擦および超音波表面振動（これらに限定されない）によって摩擦特性を調整するように構成されたディスプレイ表面４６０を備え、これにより、ユーザがディスプレイ上の画像に対応する部分で指またはスタイラスを動かすと、表面レリーフ（例えば、凸と凹）の感覚を得ることができる。
【００４７】
図５は例えば上述の電子装置４００などの電子装置５００の一実施形態を示す。図示するように、携帯電話であってもよい電子装置５００は、第１の側面５０４および第２の側面５０６を有するハウジング５０２と、ハウジング５０２の第１の側面５０４に接して配置され、通常の動作時にはユーザと向かい合うように構成された第１のカメラ５１０と、ハウジング５０２の第２の側面５０６に接して配置され、通常の動作時にはユーザと向かい合わないように構成された第２のカメラ５１２とを備える。第１のカメラ５１０は上述の検出器１１０’の一部であってもよく、ユーザの視線ＥＧの方向を追跡するように構成されている。第２のカメラ５１２は、現実の物理的なオブジェクトＲＯを含む画像５１４を取り込むのに用いられる。装置５００はまた、ハウジング５０２に支持されてハウジング５０２の第１の側面５０４から画像５１６を投影するように構成されたディスプレイ５４０を備える。このディスプレイによって表示される画像５１６は、第２のカメラ５１２により取り込まれる画像５１４であってもよい。
【００４８】
図５に示すように、プロセッサ５２０はハウジング５０２内に配置され、かつハウジング５０２に支持されている。またプロセッサ５２０は、上述のプロセッサ１２０の一実施形態であってもよい。プロセッサ５２０は、第２のカメラ５１２によって取り込まれた画像５１４を仮想オブジェクトＶＯとともに拡大するように構成され、それによって、ディスプレイ５４０によって表示される画像５１６は、現実のオブジェクトＲＯおよび仮想オブジェクトＶＯを表現するものを含む。上述の触覚出力装置１３０などの触覚出力装置５３０は、ハウジング５０２内に配置され、および／またはハウジング５０２によって支持されてもよい。一実施形態において、プロセッサ５２０がユーザの視線ＥＧは現実のオブジェクトＲＯの方向にあると判定した場合、第１の触覚効果が触覚出力装置５３０によって生成され、プロセッサ５２０がユーザの視線ＥＧは仮想オブジェクトＶＯの方向にあると判定した場合、第１の触覚効果とは異なる第２の触覚効果が触覚出力装置５３０によって生成される。一実施形態において、装置５００のカメラ５１０および５１２を類似の態様で用いて、移動を目的としてユーザの視線を判定してもよい。
【００４９】
一実施形態において、触覚出力装置５３０によって生成される触覚効果は、ユーザの視線が装置５００のディスプレイ５４０に向けられているか、または逸らされているかに依存するが、これはカメラ５１０によって検出されてプロセッサ５２０によって判定される。例えば、一実施形態において、プロセッサ５２０がユーザの視線は図６のＥＧＡで示すように画面５４０から逸らされていると判定する場合、装置５００上のウィジェット（ｗｉｄｇｅｔ）またはボタン５６０との接触に関連付けられた触覚効果の強さは、触覚出力装置５３０によって高められてもよい。これは、電子装置５００のユーザが装置５００を見ずにウィジェットまたはボタン５６０を操作しようとする場合の補助となる。プロセッサ５２０がユーザの視線は図６のＥＧＴで示すように画面５４０に向けられていると判定する場合、触覚効果の強さは低減される。それはユーザがウィジェットまたはボタン５６０を見ることができると推定されるからである。図６の周期的な信号の振幅は、２つの異なる視線ＥＧＡおよびＥＧＴに関連付けられた触覚効果の異なる強さを表している。
【００５０】
一実施形態において、触覚効果を用いて、新しい電子メールが届いたことの通知やその他の画面上のイベントに注意を向けさせることもできる。装置５００のディスプレイ５４０に対するユーザの視覚的な注意は、カメラ５１０を用いて監視してもよく、またプロセッサ５２０は、触覚出力装置５３０によって生成される触覚感覚の形での触覚通知が必要であるか、または画面上の他のイベントの通知を見直すためにユーザがディスプレイ５４０を見たかを判定してもよい。例えば、図７Ａに示すように、ユーザが視線ＥＧＡをディスプレイ５４０から逸らしていると判定された場合、触覚出力装置５３０により触覚効果を生成して、新しい電子メールを受信したことをユーザに知らせてもよい。図７Ａに示すように、触覚効果は初めは非常に強力であってもよい。しかし、カメラ５１０およびプロセッサ５２０が、図７Ｂに示すように通知アイコン５７０またはディスプレイ５４０に向けられた視線ＥＧＴを検出することによって、ユーザが通知アイコン５７０またはディスプレイ５４０を見たと判定すると、触覚効果は徐々に弱まり、消滅する。それは、視覚的なフィードバックが十分な通知になっているからである。
【００５１】
図８は電子装置８００が車載コンピュータの形態で提供される実施形態を示す。装置８００は、上述の検出器１１０’などのカメラ８１０を備える検出器と、上述のプロセッサ１２０などのプロセッサ８２０とを含む。この実施形態において、カメラ８１０およびプロセッサ８２０はまた、一定の期間にユーザが装置８００のディスプレイ８４０に視線を向ける回数を監視するように構成されている。上述の触覚出力装置１３０などの触覚出力装置８３０によって提供される触覚効果は、ユーザがディスプレイ８４０に視線を向ける回数を減らすように調整されてもよい。触覚出力装置８３０の配置位置は、ディスプレイ８４０（ディスプレイ８４０がタッチ・スクリーンを備える場合）、および／または運転手が接触する車内の他の位置、例えばハンドル（ＳＷ）、ダッシュボード（ＤＢ）の表面、または運転手の座席などでもよい。一実施形態において、例えばユーザが１分間に１０回を超えてディスプレイ８４０を見ていると判定された場合、装置８００によって提供されている触覚フィードバックが十分に確認できるほど強くないためにユーザは視覚的な確認に頼る必要が生じている、という推定に基づき、触覚出力装置８３０によって提供される触覚効果の強さが高められてもよい。同様に、例えばユーザが１分間にディスプレイ８４０を見る回数が２回未満であると判定された場合、触覚効果の強さが低減されてもよい。
【００５２】
図９は本明細書で説明した本発明の実施形態にかかる方法９００を示す。図示するように、この方法は工程９０２から開始する。工程９０４において、装置またはシステムのユーザの視線の方向が判定される。工程９０６において、視線の方向に基づいて触覚効果が生成される。工程９０８において、触覚効果がユーザに対して出力される。この方法は工程９１２において終了する。
【００５３】
図面および上述の説明における実施形態は、いかなる点においても限定的なものではなく、また本発明の実施形態は、タッチ・スクリーン・ハンドヘルド装置（モバイル装置、ＰＤＡ、およびナビゲーション・システム）、自動車アプリケーション、ゲーム・コンソールなどの様々な電子装置における触覚フィードバックを実現するために用いることができる。
【００５４】
本明細書で説明される多くの例はタッチ・スクリーン装置に関するものであるが、本発明には、タッチ感知構造体を含む他の種類のヒューマン・コンピュータ・インターフェースが含まれることを理解されたい。さらに、本発明の全般的な原理を読んで理解すれば、他の特徴および利点は、当該分野の通常の技能を有する者には明らかとなるであろう。これら他の特徴および利点も、本発明に含まれるものとする。
【００５５】
本明細書に記載された実施形態は、実施可能な実装例および実施例であるが、本発明を
特定の実施形態に制限することを必ずしも意図するものではない。むしろ、これらの実施形態には、当該技術分野における当業者に理解できるような変更を加えることができる。このような変更が加えられた態様も本発明の要旨及び範囲に含まれ、そして以下の請求項によって保護されるべきものである。
【図１】
2018173983.tif 000003
【図１Ａ】
2018173983.tif 000004
【図１Ｂ】
2018173983.tif 000005
【図２】
2018173983.tif 000006
【図３】
2018173983.tif 000007
【図４】
2018173983.tif 000008
【図５】
2018173983.tif 000009
【図６】
2018173983.tif 000010
【図７Ａ】
2018173983.tif 000011
【図７Ｂ】
2018173983.tif 000012
【図８】
2018173983.tif 000013
【図９】
2018173983.tif 000014
【手続補正書】
【提出日】平成30年7月18日(2018.7.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
システムであって、
該システムと関係する表示装置におけるオブジェクトに対する該システムのユーザの視線の方向を判定するように構成された検出器と、
前記ユーザのため前記表示装置の前記オブジェクトに対する前記視線の前記方向に基づいて第１の触覚効果と該第１の触覚効果と異なる第２の触覚効果の１又はそれ以上のパラメータを判定し、前記視線の前記方向が前記表示装置の前記オブジェクトに向けられていると判定された場合に前記第１の触覚効果を示す第１の触覚出力信号を生成し、前記視線の前記方向が前記表示装置の前記オブジェクトに向けられておらず前記オブジェクトと異なる前記表示装置の別のオブジェクトに向けられていると判定された場合に前記第２の触覚効果を示す第２の触覚出力信号を生成するよう構成されたプロセッサであって、前記オブジェクトは現実のオブジェクトであり前記別のオブジェクトは前記表示装置に表示された仮想オブジェクトであり、前記１又はそれ以上のパラメータは振幅、周波数、前記触覚効果の長さから構成されるグループの中から選択されるプロセッサと、
前記プロセッサから前記第１の触覚出力信号又は前記第２の触覚出力信号を受信し、前記表示装置の前記オブジェクトに対する前記ユーザの前記視線の方向に基づいて前記第１の触覚効果又は前記第２の触覚効果を前記ユーザに対して出力するように構成された触覚出力装置と、
を備えるシステム。
【請求項２】
前記触覚出力装置は、前記触覚効果を出力するよう構成されたアクチュエータを含む、請求項１に記載のシステム。
【請求項３】
前記触覚出力装置は、前記触覚効果を出力するよう構成された非機械的装置を含む、請求項１に記載のシステム。
【請求項４】
前記検出器は、前記ユーザの目のイメージを捉えるよう構成されるカメラと、前記イメージに基づく前記視線の方向を判定するよう構成されるイメージプロセッサとを含む、請求項１に記載のシステム。
【請求項５】
前記検出器は、前記ユーザの目の近くの筋肉の動きを監視するよう構成され、第２のプロセッサは、前記監視された動きに基づく前記視線の方向を判定するよう構成されることを含む、請求項１に記載のシステム。
【請求項６】
前記検出器と前記プロセッサは第１の装置の一部であり、前記触覚出力装置は前記第１の装置とは別の第２の装置の一部である、請求項１に記載のシステム。
【請求項７】
前記第１の装置と前記第２の装置との間の有線又は無線通信チャネルを確立するよう構成された通信ポートをさらに含む、請求項６に記載のシステム。
【請求項８】
前記検出器は第１の装置の一部であり、前記プロセッサと前記触覚出力装置は前記第１の装置とは別の第２の装置の一部である、請求項１に記載のシステム。
【請求項９】
前記第１の装置と前記第２の装置との間の有線又は無線通信チャネルを確立するよう構成された通信ポートをさらに含む、請求項１に記載のシステム。
【請求項１０】
前記プロセッサは、前記電子装置における拡張現実空間を生成し、前記視線の前記方向を使用し、前記オブジェクトが、前記ユーザが前記拡張現実空間で見ているオブジェクトであると判定するようさらに構成される、請求項１に記載のシステム。
【請求項１１】
システムのユーザに対する触覚効果を提供する方法であって、
該システムと関係する表示装置におけるオブジェクトに対する該システムのユーザの視線の方向を検出器で判定し、
前記ユーザのため前記表示装置の前記オブジェクトに対する前記視線の前記方向に基づいて第１の触覚効果と該第１の触覚効果と異なる第２の触覚効果の１又はそれ以上のパラメータをプロセッサで判定するものであり、前記１又はそれ以上のパラメータは振幅、周波数、前記触覚効果の長さから構成されるグループの中から選択され、
前記視線の前記方向が前記表示装置の前記オブジェクトに向けられていると判定された場合に前記第１の触覚効果を示す第１の触覚出力信号を生成し、
前記視線の前記方向が前記表示装置の前記オブジェクトに向けられておらず前記オブジェクトと異なる前記表示装置の別のオブジェクトに向けられていると判定された場合に前記第２の触覚効果を示す第２の触覚出力信号を生成するものであり、前記オブジェクトは現実のオブジェクトであり前記別のオブジェクトは前記表示装置に表示された仮想オブジェクトであり、
前記表示装置の前記オブジェクトに対する前記ユーザの前記視線の方向に基づいて、前記第１の触覚出力信号に基づく前記第１の触覚効果又は前記第２の触覚出力信号に基づく前記第２の触覚効果を前記ユーザに対して出力する、
方法。
【請求項１２】
前記判定は、前記検出器で前記ユーザの目のイメージを捉え、前記プロセッサで前記イメージに基づく前記視線の方向を判定することを含む、請求項１１に記載の方法。
【請求項１３】
前記判定は、前記検出器で前記ユーザの目の近くの筋肉の動きを監視し、前記プロセッサで前記監視された動きに基づく前記視線の方向を判定することを含む、請求項１１に記載の方法。
【請求項１４】
前記第２の触覚効果は前記オブジェクトとは異なる前記電子装置上の他のオブジェクトに前記ユーザの前記視線が向けられていると判定された場合に生成される、請求項１１に記載の方法。
【請求項１５】
電子装置であって、
ハウジングと、
該ハウジングにより支持され、該システムと関係する表示装置におけるオブジェクトに対する該システムのユーザの視線の方向を判定するように構成された検出器と、
前記ハウジングにより支持され、前記ユーザに触覚効果を生成するように構成された触覚出力装置と、
ｉ）前記電子装置と関係する表示装置における前記オブジェクトを見ている前記ユーザに対応する前記ユーザの前記視線に基づいて第１の触覚効果を示す第１の触覚駆動信号を生成し、
ｉｉ）前記電子装置と関係する表示装置における前記オブジェクトを見ておらず前記オブジェクトと異なる前記表示装置の別のオブジェクトを見ている前記ユーザに対応する前記ユーザの前記視線に基づいて第２の触覚効果を示す第２の触覚駆動信号を生成し、前記オブジェクトは現実のオブジェクトであり前記別のオブジェクトは前記表示装置に表示された仮想オブジェクトであり、前記第２の触覚効果は前記第１の触覚効果と異なる１又はそれ以上のパラメータを有し、前記１又はそれ以上のパラメータは振幅、周波数、前記触覚効果の長さから構成されるグループの中から選択され、
前記検出器により判定された電子装置と関係する表示装置のオブジェクトに対する前記ユーザの前記視線の方向に基づいて触覚効果を生成するため前記第１の触覚駆動信号又は前記第２の触覚駆動信号を前記触覚出力装置に対して出力するように構成された前記ハウジングにより支持されたプロセッサと、
を備える電子装置。
【請求項１６】
前記検出器は前記ユーザの視線のイメージを捉えるよう構成されるカメラを含み、イメージプロセッサは前記イメージに基づき前記視線の前記方向を決定するよう構成される、請求項１５に記載の電子装置。
【請求項１７】
前記表示装置は前記ハウジングにより支持され、該表示装置はイメージを表示するように構成される、請求項１５に記載の電子装置。
【請求項１８】
前記電子装置は前記ユーザからの入力を受付けるよう構成されたタッチスクリーンを含む、請求項１７に記載の電子装置。
【請求項１９】
前記第２の触覚効果の強度は前記第１の触覚効果の強度よりも大きい、請求項１５に記載の電子装置。
【請求項２０】
前記電子装置は携帯電話である、請求項１５に記載の電子装置。
【請求項２１】
前記システムはゲームシステムである、請求項１に記載の電子装置。
【請求項２２】
前記システムは自動車の一部である、請求項１に記載の電子装置。
【請求項２３】
前記オブジェクトを含む拡張現実空間を生成し、
前記表示装置で前記拡張現実空間を表示し、
前記ユーザの前記視線が前記拡張現実空間における前記オブジェクトに向けられていると判定された場合に、前記第１の触覚出力信号を生成する、ことをさらに含む請求項１１に記載の方法。
【請求項２４】
前記ユーザの前記視線の方向は前記プロセッサへの命令を提供するために使用可能であり、前記プロセッサは、
前記命令に基づき第３の触覚効果の１又はそれ以上のパラメータを決定し、
前記第３の触覚効果を示す第３の触覚出力信号を生成するようにさらに構成され、前記触覚出力装置は前記第３の触覚出力信号を受信し前記ユーザへ前記第３の触覚効果を出力するようさらに構成される、請求項１に記載のシステム。
【請求項２５】
前記ユーザの前記視線の方向に基づきユーザ命令を決定し、
前記ユーザ命令に基づき第３の触覚効果の１又はそれ以上のパラメータを決定し、
前記第３の触覚効果を示す第３の触覚出力信号を生成し、
前記第３の触覚出力信号と前記ユーザ命令とに少なくとも部分的に基づき前記触覚出力装置で前記第３の触覚効果を出力する、
請求項１１に記載の方法。
【外国語明細書】
2018173983000001.pdf