(57)【特許請求の範囲】
【請求項１】
コマンドの受信を確認するための触覚効果を生成するシステムであって、
センサと、
ユーザによって接触されるように構成される筐体と、
前記筐体に触覚効果を出力するように構成されるアクチュエータと、
前記コマンドを遠隔装置に送信するように構成されるネットワークインターフェースと、
前記センサ、前記アクチュエータ及び前記ネットワークインターフェースと通信するプロセッサであって、
前記センサからユーザ入力と関係づけられるセンサ信号を受信し、
前記ユーザ入力を認識して、前記ユーザ入力に関係付けられるコマンドを決定し、
決定されたコマンドを前記遠隔装置に送信し、
前記ユーザ入力が認識され且つ前記コマンドが前記遠隔装置により受信される場合、
前記アクチュエータに前記コマンドが前記遠隔装置に受信されたことを示す第１の触覚効果を出力させるように構成される第１のアクチュエータ信号及び前記遠隔装置が前記コマンドに基づく要求を処理していることを示す周期的な第２の触覚効果を出力させるように構成される第２のアクチュエータ信号を生成し、且つ
前記第１のアクチュエータ信号及び前記第２のアクチュエータ信号を前記アクチュエータに送信し、
そうでない場合、
前記アクチュエータに第３の触覚効果を出力させるように構成される第３のアクチュエータ信号を生成し、且つ
前記第３のアクチュエータ信号を前記アクチュエータに送信するように構成されるプロセッサと
を備えるシステム。
【請求項２】
前記センサは、光学センサを含む、請求項１に記載のシステム。
【請求項３】
前記ユーザ入力は、ユーザの眼の焦点を含む、請求項２に記載のシステム。
【請求項４】
前記筐体は、ウェアラブル装置を含む、請求項１に記載のシステム。
【請求項５】
前記ウェアラブル装置は、ユーザの眼の全て又は一部を覆うように構成される装置を含む、請求項４に記載のシステム。
【請求項６】
前記ユーザ入力が認識され且つ前記コマンドが決定される場合、
前記プロセッサは、
前記ユーザ入力に関係付けられる機能を実行し、
前記アクチュエータに第４の触覚効果を出力させるように構成される第４のアクチュエータ信号を生成し、且つ
前記機能の実行が完了すると前記アクチュエータに前記第４のアクチュエータ信号を送信するように更に構成される、請求項１に記載のシステム。
【請求項７】
前記第４の触覚効果は、前記機能をエミュレートするように構成される、請求項６に記載のシステム。
【請求項８】
前記プロセッサと通信するスピーカを更に備え、
前記プロセッサは、
前記スピーカに音声を出力させるように構成されるオーディオ信号を生成し、且つ
前記オーディオ信号を前記スピーカに送信するように更に構成される、請求項１に記載のシステム。
【請求項９】
前記プロセッサと通信するディスプレイを更に備え、
前記プロセッサは、
前記ディスプレイに画像を表示させるように構成される表示信号を生成し、且つ
前記表示信号を前記ディスプレイに送信するように更に構成される、請求項１に記載のシステム。
【請求項１０】
前記第１の触覚効果は、前記コマンドをエミュレートするように構成される、請求項１に記載のシステム。
【請求項１１】
前記センサ、アクチュエータ、及びプロセッサは、前記筐体の中に配置される、請求項１に記載のシステム。
【請求項１２】
前記筐体は、携帯電話、パーソナルデジタルアシスタント、タッチセンサ式表面、医療警報装置、マウス、又はキーボードの１つを備える、請求項１に記載のシステム。
【請求項１３】
前記ユーザ入力は、医療緊急事態の指示を含む、請求項１に記載のシステム。
【請求項１４】
前記コマンドは、操作と関係付けられる要求であり、前記第１の触覚効果は、前記操作の状態と関係づけられる情報を提供するように構成される、請求項１に記載のシステム。
【請求項１５】
センサからユーザ入力と関係づけられるセンサ信号を受信するステップ、
前記ユーザ入力を認識して、前記ユーザ入力に関係付けられるコマンドを決定するステップ、
決定されたコマンドを遠隔装置に送信するステップ、
前記ユーザ入力が認識され且つ前記コマンドが前記遠隔装置により受信される場合、
アクチュエータに前記コマンドが前記遠隔装置に受信されたことを示す第１の触覚効果を出力させるように構成される第１のアクチュエータ信号及び前記遠隔装置が前記コマンドに基づく要求を処理していることを示す周期的な第２の触覚効果を出力させるように構成される第２のアクチュエータ信号を生成するステップ、及び
前記第１のアクチュエータ信号及び前記第２のアクチュエータ信号を前記アクチュエータに送信するステップ、
そうでない場合、
前記アクチュエータに第３の触覚効果を出力させるように構成される第３のアクチュエータ信号を生成するステップ、及び
前記第３のアクチュエータ信号を前記アクチュエータに送信するステップ
を含む、コンピュータ実行方法。
【請求項１６】
前記センサは、光学センサを含む、請求項１５に記載のコンピュータ実行方法。
【請求項１７】
前記ユーザ入力は、ユーザの眼の焦点を含む、請求項１５に記載のコンピュータ実行方法。
【請求項１８】
前記センサは、ウェアラブル装置に関係付けられる、請求項１５に記載のコンピュータ実行方法。
【請求項１９】
前記ウェアラブル装置は、ユーザの眼の全て又は一部を覆うように構成される装置を含む、請求項１８に記載のコンピュータ実行方法。
【請求項２０】
前記ユーザ入力が認識され且つ前記コマンドが決定される場合、
前記コマンドに関係付けられる機能を実行し、
前記アクチュエータに第４の触覚効果を出力させるように構成される第４のアクチュエータ信号を生成し、且つ
前記機能の実行が完了すると前記アクチュエータに前記第４のアクチュエータ信号を送信する、請求項１５に記載のコンピュータ実行方法。
【請求項２１】
前記第４の触覚効果は、前記機能をエミュレートするように構成される、請求項２０に記載のコンピュータ実行方法。
【請求項２２】
スピーカに音声を出力させるように構成されるオーディオ信号を生成するステップ、及び
前記オーディオ信号を前記スピーカに送信するステップ
を更に備える、請求項１５に記載のコンピュータ実行方法。
【請求項２３】
ディスプレイに画像を表示させるように構成される表示信号を生成するステップ、及び
前記表示信号を前記ディスプレイに送信するステップ
を更に備える、請求項１５に記載のコンピュータ実行方法。
【請求項２４】
前記第１の触覚効果は、前記コマンドをエミュレートするように構成される、請求項１５に記載のコンピュータ実行方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、触覚フィードバックに関連し、より詳細には、コマンドの触覚的確認に関連する。
【０００２】
（関連出願の相互参照）
本特許出願は、２００９年１１月４日に提出され、「Ｓｙｓｔｅｍｓ  ａｎｄ  Ｍｅｔｈｏｄｓ  ｆｏｒ  Ｈａｐｔｉｃ  Ｃｏｎｆｉｒｍａｔｉｏｎ  ｏｆ  Ｃｏｍｍａｎｄｓ」と題された米国特許出願第１２／６１２２３０号への優先権を主張し、その全体は、参照により本明細書に組み込まれる。
【背景技術】
【０００３】
電子装置に対するコマンドは、一般的には、ボタンを押し又はスイッチを切り替えることによって発行されている。しかしながら、音声及び他の種類のコマンドは、携帯電話の音声コマンド式ダイヤル等のユーザインターフェースにおいてより普及してきている。このようなシステムにおいて、ユーザは、友人の電話番号にダイヤルするためにマイクロホンにコマンドを吹き込んでもよい。また、ユーザは、電話が番号にダイヤルしていることを示すためにビープ音を聞き取り又は光フラッシュを見て取ってもよい。しかし、例えば、電話が歌曲を再生しているため携帯電話のスピーカが既に使用中である場合、携帯電話は、ビープ音を再生するために音楽を中断する可能性がある。又は、音声がミュートされている場合、それは、ユーザに認識を全く与えない可能性がある。従って、ユーザに応答を与えるための他の機構を提供することが望ましい。
【発明の概要】
【０００４】
本発明の一部の実施形態は、音声コマンドの触覚的確認のためのシステム及び方法を提供する。例えば、一実施形態では、コマンドの触覚的確認のための方法は、マイクロホンから発話情報を受信し、発話情報を認識し、発話情報に関係付けられるコマンドを決定し、発話情報が認識され且つコマンドが決定される場合、アクチュエータに第１の触覚効果を出力させるように構成される第１のアクチュエータ信号を生成し、第１のアクチュエータ信号をアクチュエータに送信することを含む。さもなければ、アクチュエータに第２の触覚効果を出力させるように構成される第２のアクチュエータ信号を生成し、第２のアクチュエータ信号をアクチュエータに送信する。別の実施形態は、このような方法を実行するためのプログラムコードを備えるコンピュータ可読媒体を含む。
【０００５】
こうした例示の実施形態は、本発明を限定又は定義するために言及されるのではなく、その理解を支援するための例示を提供するものである。例示の実施形態は、詳細な説明において検討されており、そこには本発明の更なる説明が提供されている。本発明の様々な実施形態によってもたらされる利点は、本明細書を吟味することにより更に理解され得る。
【０００６】
本発明のこうした及び他の特徴、態様、及び利点は、添付の図面を参照して以下の詳細な説明を読むと更によく理解される。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態によるコマンドの触覚的確認のためのシステムのブロック図を示す。
【図２】本発明の実施形態によるコマンドの触覚的確認のためのシステムのブロック図を示す。
【図３】本発明の実施形態によるコマンドの触覚的確認のためのシステムのブロック図を示す。
【図４】本発明の実施形態によるコマンドの触覚的確認のためのシステムのブロック図を示す。
【図５】本発明の実施形態によるコマンドの触覚的確認のためのコンピュータ実行方法の流れ図を示す。
【図６】本発明の実施形態によるコマンドの触覚的確認のためのシステムのブロック図を示す。
【図７】本発明の実施形態によるコマンドの触覚的確認のためのコンピュータ実行方法の流れ図を示す。
【発明を実施するための形態】
【０００８】
本発明の一部の実施形態は、コマンドの触覚的確認のためのシステム及び方法を提供する。例えば、一実施形態では、ユーザは、携帯電話のマイクロホンに、「家に電話する」等のコマンドを吹き込んでもよい。電話は、吹き込まれたコマンドを認識する試みを行い、それが成功すれば、それは、吹き込まれたコマンドが認識されて電話が要求された機能を遂行するであろうという触覚的な指示をユーザに提供するための触角効果を生成する。次に、電話は、「家」に対応する電話番号に電話をかける試みを行ってもよい。しかしながら、電話がコマンドを認識出来なければ、それは、吹き込まれたコマンドが認識されずに機能が実行されないであろうという指示をユーザに提供するための第２の触覚効果を生成する。
【０００９】
別の実施形態では、第１のユーザ及び第２のユーザは、無線機等の無線通信装置を使用して互いに通信してもよい。各ユーザは、マイクロホンを備えるヘッドセット及びマイクロホンと通信する無線機を有する。また、ヘッドセットは、触覚効果を出力するためのアクチュエータを有する。第１のユーザは、無線機を介して第２のユーザに口頭コマンドを発行してもよい。第２のユーザは、第１のユーザに口頭応答を提供出来なくてもよい。例えば、第２のユーザは、敵戦闘員の近くの戦闘地域に位置してもよい。第２のユーザは、触覚メッセージを第１のユーザに送信させるためにヘッドセット又は無線機のボタン又は一連のボタンを押すことによって口頭コマンドに応答してもよい。第１のユーザの無線機は、触覚メッセージを受信して、アクチュエータに第１のユーザへの触覚効果を出力させるために第１のユーザのヘッドセットにおけるアクチュエータに信号を送信してもよい。
【００１０】
（コマンドの触覚的確認のための例示のシステム）
次に、複数の図面を通じて同様の番号が同様の要素を示す図面を参照すると、図１は、本発明の一実施形態によるコマンドの触覚的確認のためのシステムのブロック図を示す。図１に示される実施形態において、システムは、筐体１０５を有する装置１００を備える。装置は、プロセッサ１１０、メモリ１１５、アクチュエータ１３０、及びマイクロホン１３５を更に備え、これらの各々は、筐体１０５に配置又は結合される。図１に示される実施形態において、装置１００は携帯電話であり、筐体１０５は、ユーザによって把持されて、ユーザがマイクロホン１３５に吹き込むことが出来るように構成される。一部の実施形態では、装置１００は、筐体１０５、プロセッサ１１０、メモリ１１５、アクチュエータ１３０、及びマイクロホン１３５を備えるヘッドセットであってもよい。一部の実施形態では、装置１００は、複数の装置を有するシステムを備えてもよい。例えば、以下により詳細に検討される図２は、互いと通信する２つの装置１１０、１５０を含む。
【００１１】
図１に示される実施形態を再度参照すると、プロセッサ１１０は、メモリ１１５、アクチュエータ１３０、及びマイクロホン１３５と通信する。マイクロホン１３５は、ユーザから受信される発話情報をプロセッサ１１０に送信される１つ以上のマイクロホン信号に符号化する。プロセッサ１１０は、マイクロホン信号を受信して、受信されたマイクロホン信号内で符号化された発話情報を認識する試みを行うためにメモリ１１５に記憶された音声認識ソフトウェアを実行する。プロセッサ１１０は、発話情報を認識出来る場合、認識された発話情報に関係付けられるコマンドを識別するための試みを行うメモリ１１５に記憶されたソフトウェアを実行する。プロセッサ１１０は、認識された発話情報に関係付けられるコマンドを識別する場合、アクチュエータに第１の触覚効果を出力させるように構成される第１のアクチュエータ信号を生成する。第１の触覚効果は、音声コマンドが認識されたことをユーザに示すように構成される。次に、プロセッサ１１０は、アクチュエータ１３０に第１のアクチュエータ信号を送信し、アクチュエータ１３０は、第１のアクチュエータ信号に基づいて第１の触覚効果を出力する。
【００１２】
しかしながら、発話情報が認識されない場合、又は発話情報に対応するコマンドが見つからない場合、プロセッサ１１０は、アクチュエータ１３０に第２の触覚効果を出力させるように構成される第２のアクチュエータ信号を生成する。次に、プロセッサ１１０は、アクチュエータ１３０に第２のアクチュエータ信号を送信し、アクチュエータ１３０は第２のアクチュエータ信号に基づいて第２の触覚効果を出力する。第２の触覚効果は、発話情報が認識されなかったこと、又は対応するコマンドが見つからなかったことを示すように構成される。しかしながら、一実施形態では、異なる触覚効果が、発話情報の認識の失敗又は認識された発話情報に対応するコマンドの検出の失敗のために出力されてもよい。「第１」及び「第２」という識別子は、本明細書において、一連の特定の信号又は効果ではなく、異なる信号及び効果を区別するために使用される。例えば、音声コマンドが認識されない場合、第２のアクチュエータ信号が生成されてアクチュエータに送信される。即ち、音声コマンドが認識されたことを示す第１の信号は生成されず又はアクチュエータに送信されない。
【００１３】
図１における実施形態は、任意の数の装置、例えば、ハンドヘルド装置、ウェアラブル装置、車両（例えば、自動車、車椅子等）、非携帯装置（例えば、デスクトップコンピュータ）、又は音声コマンドを受信して処理し、触覚効果を生成することが可能な他の装置を備えることが出来る。
【００１４】
例えば、一実施形態では、装置１００は、パーソナルデジタルアシスタント（ＰＤＡ）を備える。このような実施形態では、ユーザは、ＰＤＡに機能を実行させるためにマイクロホン１３５に音声コマンドを吹き込んでもよい。例えば、ユーザは、火曜日の午後３時に関してカレンダに約束を追加するようにＰＤＡに指示してもよい。プロセッサ１１０は、音声コマンドを認識する試みを行い、プロセッサ１１０が音声コマンドを認識すれば、プロセッサ１１０は、アクチュエータ信号を生成して、音声コマンドが認識されたことを示すための触覚効果をアクチュエータに出力させるためにアクチュエータにアクチュエータ信号を送信する。代替的に、音声コマンドが認識されなかった場合、プロセッサ１１０は、第２のアクチュエータ信号を生成して、音声コマンドが認識されなったことを示す触覚効果をアクチュエータに出力させるためにアクチュエータに第２のアクチュエータ信号を送信してもよい。
【００１５】
同様の実施形態において、プロセッサ１１０は、コマンドを部分的に認識してもよい。例えば、プロセッサ１１０は、発話コマンドがカレンダに約束を追加することになっていたことを認識してもよいが、約束の時間を認識出来ていなかった可能性がある。このような実施形態において、プロセッサ１０は、第３のアクチュエータ信号を生成して、音声コマンドが部分的に認識されたことを示す触覚効果をアクチュエータに出力させるためにアクチュエータに第３のアクチュエータ信号を送信してもよい。このような実施形態では、触覚効果は、コマンドが部分的に認識されたことだけでなく、コマンドのどの部分が認識されなかったかを示してもよい。例えば、日付が認識されなかった場合、装置は第４の触覚効果を出力してもよい。一方で、時間が認識されなかった場合、装置は、第５の触覚効果を出力してもよい。触覚信号を使用して、ユーザは、問題の原因を判断するためにディスプレイを用いることを必要とせずに、吹き込まれたコマンドを理解することが困難であることを知らされてもよい。
【００１６】
同様の実施形態において、プロセッサ１１０は、発話コマンドの一部が受信されて認識され又は認識されないときにアクチュエータ信号を生成してもよい。例えば、一実施形態では、ユーザは、「９月２日火曜日の午後３時に関して約束をカレンダに追加する」と言ってもよい。プロセッサは、「カレンダに約束を追加する」を認識して、コマンドの一部が認識されたことを示す第１の触覚効果をアクチュエータに出力させるために第１のアクチュエータ信号を生成してもよい。次に、発話コマンドのこの部分が認識されたことをユーザに示すために、ユーザが「カレンダに約束を追加する」と言った後で、第１の触覚効果は、非常に短く出力される。次に、日付が認識され又は認識されなかった後で、別の触覚効果が出力されてもよい。そして次に、時間が認識され又は認識されなかった後で、第３の触覚効果が出力されてもよい。次に、ユーザは、コマンドの未認識部分を言い直してもよい。発話コマンドの一部に対応して出力される触覚効果は、ユーザにコマンド全体を言い直すことを要求するのではなく、コマンドのどの部分を繰り返して言う必要があるかをユーザに示してもよい。
【００１７】
音声コマンドに応答して、更なる触覚効果がユーザに出力されてもよい。例えば、ユーザがＰＤＡのカレンダに約束を追加する試みを行う上述の実施形態において、追加の触覚効果が使用されてもよい。例えば、プロセッサ１１０がコマンドを認識するが、命令された日付及び時間がカレンダに既に記憶されている約束との衝突を示す場合、プロセッサ１１０は、コマンドは認識されたが、潜在的な衝突が存在することを示す触覚効果をアクチュエータに出力させるためにアクチュエータ信号を生成してもよい。同様の実施形態において、プロセッサ１１０がコマンドを認識するが、命令された日付及び時間が既存の約束と隣接している場合、プロセッサ１１０は、コマンドは認識されたが、希望の日付及び時間は既存の約束と隣接していることを示す触覚効果をアクチュエータに出力させるためにアクチュエータ信号を生成してもよい。このような実施形態では、潜在的な衝突を示す触覚効果は、約束の時間が別の約束と隣接していることを示す触覚効果とは異なる。
【００１８】
上記のように、本発明の一部の実施形態は、発話情報を、それが受信されるときに、例えば、リアルタイムで認識する試みを行ってもよい。しかしながら、受信されるときに発話情報を認識する試みを行わない一部の実施形態においても、発話情報が受信されると他の機能を実行することは有利であり得る。例えば、一実施形態では、装置１００は、マイクロホンから発話情報を受信して、それが受信されると発話情報を認識する試みを行う。装置１００が発話情報の認識を開始すると、それは、コマンドに対応する単語又は句を認識してもよい。例えば、ユーザが「家に電話する」と言う場合、装置１００は、「電話する」という単語を認識して、それが電話呼び出しを開始するためのコマンドに対応することを決定してもよい。これは、ユーザが音声コマンドを発行していることを装置に示してもよい。また、装置は、コマンド全体を受信する前に触覚効果を出力するための準備を行ってもよい。例えば、装置１００は、触覚効果の生成を予測してアクチュエータ１３０に電流を供給する増幅器（図示せず）をウォーミングアップしてもよい。装置１００は、どのような追加の発話情報が受信され得るかによって、出力され得る１つ以上の潜在的な触覚効果を選択してもよい。受信されると発話情報を認識する試みを装置１００が行わない実施形態において、装置１００は、発話情報を受信していることを検出すると、増幅器のウォーミングアップを開始してもよい。このような実施形態は、発話情報が受信されていること、及び発話情報が音声コマンドを含み得ることを決定してもよい。従って、音声コマンドが認識され又は認識されなかった後で直ぐに触覚効果が出力され得ることを確実にするために、装置１００が、発話情報を受信している間に増幅器をウォーミングアップさせることが有利であり得る。
【００１９】
ハンドヘルドの実施形態に加えて、他の装置が、音声コマンドの触覚的確認を提供してもよい。例えば、一実施形態では、装置１００は、デスクトップコンピュータを備える。ユーザは、ソフトウェアビルドの実行等、完了するのに長期間がかかる機能をコンピュータ１００に実行させるためのコマンドを発行してもよい。プロセッサ１１０は、コマンドを認識する場合、例えば、コンピュータ１００に結合されるキーボード又はマウス（図示せず）の中に組み込まれたアクチュエータ１３０を介して、アクチュエータ１３０にユーザへの触覚効果を出力させるように構成される第１のアクチュエータ信号を生成してもよい。次に、プロセッサ１１０が機能を実行すると、それは、機能がまだ実行中であることを示すためにキーボード又はマウス内のアクチュエータ１３０に第２のアクチュエータ信号を周期的に送信してもよい。このような触覚効果は、控えめな状態情報をユーザに提供するように設計される低振幅振動であってもよい。別の実施形態では、振動は最初に控えめであってもよいが、機能が完了に近づくにつれて強くなってもよい。例えば、振動の振幅が増加してもよく、又は周波数が増加又は減少してもよい。プロセッサ１１０が機能を完了すると、それは、機能が完了したことを示すためにキーボード又はマウス内のアクチュエータ１３０に第３のアクチュエータ信号を生成して送信してもよい。代替的に、ビルドエラー等、機能の実行中にエラーが生じた場合、機能が不成功に終了したことを示すために触覚効果が出力されてもよい。このような実施形態は、ユーザが装置１００において機能を開始してバックグラウンドで機能を実行させるが、装置１００が機能の状態をユーザに知らせ続けることが出来るという文脈において便利であり得る。例えば、ユーザは、セルラネットワークを介して遠隔サーバからアプリケーションのダウンロードを開始するように自身の携帯電話に音声コマンドを発行してもよい。次に、ユーザは、自身のポケットに携帯電話を戻し、電話呼び出しを開始し、又は何らかの他の仕事を実行してもよい。しかしながら、携帯電話は、完了したダウンロードの割合、ダウンロードに関する問題、又はダウンロードが完了したときの触覚指示等、ダウンロードの触覚状態をユーザに提供することが更に可能であってもよい。
【００２０】
次に、図２を参照すると、図２は、本発明の実施形態によるコマンドの触覚的確認のためのシステム２００のブロック図を示す。図２に示されるシステム２００は、第１の装置１００及び第２の装置１５０を備えており、各装置１００、１５０が接続１７０を使用して他の装置と通信する。第１の装置１００は、図１に関して記載された構成要素を備える。第２の装置は、メモリ１６５と通信するプロセッサ１６０を備える。第１の装置１４０におけるプロセッサ１１０は、第２の装置１５０におけるプロセッサ１６０と通信する。例えば、一実施形態では、２つのプロセッサ１１０、１６０は、無線接続を介して、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）を介して通信する。一部の実施形態では、無線接続は、赤外線リンク、ＲＦリンク、Ｗｉｆｉリンク、又は他の無線接続を備えてもよい。別の実施形態では、２つのプロセッサ１１０、１６０は、例えば、シリアル若しくはパラレル接続又はＥｔｈｅｒｎｅｔ（登録商標）接続等、有線接続を介して通信する。接続１７０を使用して、プロセッサ１１０は、プロセッサ１６０へ信号を送信し及びプロセッサ１６０から信号を受信することが可能である。しかしながら、一部の実施形態では、接続１７０は、一方向接続であってもよい。
【００２１】
例えば、一実施形態では、装置１００はＢｌｕｅｔｏｏｔｈヘッドセットを備え、装置１５０は携帯電話を備える。このような実施形態では、マイクロホン１３５は、ユーザから受信される発話情報をプロセッサ１１０に送信される１つ以上のマイクロホン信号に符号化する。次に、ヘッドセットにおけるプロセッサ１１０は、携帯電話におけるプロセッサ１６０にマイクロホン信号を送信させる。次に、プロセッサ１６０は、受信されたマイクロホン信号内で符号化された発話情報を認識する試みを行うためにメモリ１６５に記憶された音声認識ソフトウェアを実行する。プロセッサ１６０は、発話情報を認識出来る場合、認識された発話情報に関係付けられるコマンドを識別するための試みを行うメモリ１６５に記憶されたソフトウェアを実行する。プロセッサ１６０は、認識された発話情報に関係付けられるコマンドを識別する場合、それは、アクチュエータに第１の触覚効果を出力させるように構成される第１のアクチュエータ信号を生成する。プロセッサ１６０は、プロセッサ１１０に第１のアクチュエータ信号を送信して、プロセッサ１１０は、次に、アクチュエータ１３０に第１のアクチュエータ信号を送信する。一部の実施形態では、プロセッサ１１０は、触覚効果の出力に備えてアクチュエータに電源を入れさせる信号をアクチュエータに送信する。別の実施形態では、プロセッサ１６０は、第１のアクチュエータ信号をアクチュエータ１３０に送信する。
【００２２】
しかしながら、発話情報又は対応するコマンドが認識されない場合、プロセッサ１６０は、アクチュエータ１３０に第２の触覚効果を出力させるように構成される第２のアクチュエータ信号を生成する。プロセッサ１６０は、プロセッサ１１０に第２のアクチュエータ信号を送信して、プロセッサ１１０は、次に、アクチュエータ１３０に第２のアクチュエータ信号を送信する。別の実施形態では、プロセッサ１６０は、第２のアクチュエータ信号をアクチュエータ１３０に送信する。アクチュエータ１３０は、第２のアクチュエータ信号を受信した後で、第２のアクチュエータ信号に基づいて第２の触覚効果を出力する。
【００２３】
一部の実施形態では、プロセッサ１６０は、プロセッサ１１０に高レベルアクチュエータ信号を送信してもよい。次に、プロセッサ１１０は、高レベルアクチュエータ信号に基づいて低レベルアクチュエータ信号を生成してもよい。次に、プロセッサ１１０は、アクチュエータ１３０に触覚効果を出力させるためにアクチュエータ１３０に低レベルアクチュエータ信号を送信してもよい。高レベル及び低レベルアクチュエータ信号のより詳細な記載は、１９９５年１２月１日に出願されて、１９９８年３月３１日に発行された「Ｍｅｔｈｏｄ  ａｎｄ  Ａｐｐａｒａｔｕｓ  ｆｏｒ  Ｃｏｎｔｒｏｌｌｉｎｇ  Ｆｏｒｃｅ  Ｆｅｅｄｂａｃｋ  Ｉｎｔｅｒｆａｃｅ  Ｓｙｓｔｅｍｓ  Ｕｔｉｌｉｚｉｎｇ  ａ  Ｈｏｓｔ  Ｃｏｍｐｕｔｅｒ」と題される米国特許第５，７３４，３７３号に見つけられてもよく、その全体は参照により本明細書に組み込まれる。
【００２４】
図２を再度参照すると、本発明の一実施形態は、プロセッサ１１０、１６０によって決定されるコマンド又はプロセッサ１１０、１６０によって実行される機能をエミュレートする触覚効果を提供してもよい。例えば、一実施形態では、第１の装置１００はイヤホンを備え、第２の装置１５０は携帯電話を備える。このような実施形態では、ユーザは、例えば、「家に電話する」等の音声コマンドを発行してもよい。プロセッサ１１０は、第２の装置１５０におけるプロセッサ１６０にマイクロホン１３５から受信される発話情報を送信する。プロセッサ１６０は、音声コマンドを認識して、ダイヤルされる各番号及び呼び出される電話の各呼び出し音に対応する一連の触覚効果を生成する。触覚効果に対応するアクチュエータ信号は、第１の装置１００におけるプロセッサ１１０に送信され、それは、例えば、各ボタンの押下げ及び各呼び出し音に対応する時間に、触覚効果を出力する。
【００２５】
他の実施形態では、遠隔装置に関係付けられるプロセッサから触覚コマンドが受信されてもよい。例えば、図３は、本発明の一実施形態によるコマンドの触覚的確認のためのシステム３００のブロック図を示す。図３に示される実施形態において、コマンドの触覚的確認のためのシステム３００は、通信装置１５０と通信する触覚使用可能医療警報装置１００を備える。通信装置は、遠隔システム１７０と通信する。この実施形態では、医療警報装置１００は、ＲＦリンク、例えば、標準的なコードレス電話の周波数を使用するＲＦリンクを使用して、通信装置１５０と通信する。医療警報装置１００は、例えば、ユーザの首又は手首の周り等、ユーザによって身に付けられるように構成される。医療警報装置１００は、例えば、転倒又は心臓発作等、医療緊急事態を示すためにユーザによって使用され得る。例えば、ユーザは、「ヘルプ」と言うことにより又はボタンを押して「ヘルプ」又は「緊急事態」等のコマンドを話すことにより、装置上のマイクロホンに吹き込んでもよい。次に、図３に示される実施形態において、医療警報装置１００におけるプロセッサ１１０は、通信装置１５０におけるプロセッサ１６０に１つ以上の信号を送信する。次に、通信装置１５０は、遠隔システム１７０への接続を開始して、ユーザが医療緊急事態の信号を出したことを示す１つ以上の信号を遠隔システム１７０に送信する。このような実施形態では、遠隔システム１７０は、ユーザを支援するために救急車又は他のサービスを派遣することが出来る発車係によって監視されてもよい。
【００２６】
医療警報装置１００、通信装置１５０、及び遠隔システム１７０の間のメッセージの送信中に、追加の触覚効果が生成されて出力されてもよい。例えば、図示の実施形態において、通信装置１５０は、緊急時呼び出しが開始されたことを示すための触覚効果を医療警報装置１００に出力させるメッセージを医療警報装置１００に送信してもよい。呼び出しが応答された後で、通信装置１５０は、呼び出しが応答されたことを示すために第２の触覚効果を出力させてもよい。代替的に、又は追加して、発車係は、通信装置１５０におけるプロセッサ１６０にネットワーク３８０を介して信号を送信させてもよい。例えば、発車係は、要求が受信されて救助が向かっていることを示すために触覚信号をユーザに提供することが出来る。次に、プロセッサ１６０は、触覚効果を出力させるために医療警報装置１００におけるプロセッサ１１０に高レベルアクチュエータ信号を送信してもよい。次に、医療警報装置におけるプロセッサ１１０は、プロセッサ１６０から受信される信号に基づいて低レベルアクチュエータ信号を生成して、触覚効果を出力させるためにアクチュエータにアクチュエータ信号を送信してもよい。例えば、発車係は、要求が受信されたことを示すための長い振動、その後で、救急車が派遣されたことを示すための追加の振動を送信してもよい。発車係は、ユーザにまだ注意が払われており、要求が応答されていることを示すためにこのような触覚信号を周期的に送信してもよい。このような実施形態は、聴覚又は視覚に問題がある人物にとって有利であり得る。また、救助の要求が受信されて、発車係がまだ要求を処理しているという保証をユーザに提供してもよい。
【００２７】
次に、図４を参照すると、図４は、本発明の一実施形態によるコマンドの触覚的確認のためのシステム４００のブロック図を示す。図４に示されるシステム４００は、ネットワーク４８０を介して互いと通信する２つの装置４１０、４１２を備える。装置４１０は、図１に示される装置１００を含む。また、装置４２５は、図１に関連して記載されたプロセッサ４３０、メモリ１１５、マイクロホン４３５、及びアクチュエータ４４０を備える。しかしながら、各装置４１０、４１２は、ネットワークインターフェース３１５も備える。各ネットワークインターフェース３１５は各々のプロセッサ１１０、４３０と通信し、ネットワーク４８０と通信することにより、装置４１０、４１２がネットワーク４８０を介して互いと通信することが出来るように構成される。このような実施形態では、装置４１０は、マイクロホン４３５から音声コマンドを受信して、音声コマンドを装置４１２に送信することが可能である。例えば、一実施形態では、マイクロホン１３５から受信される発話情報は、例えば、スピーカ（図示せず）を介して、装置４１２のユーザが音声コマンドを聞くことが出来るように、ネットワーク４８０上で送信されてもよい。ユーザは、音声コマンドが受信されたことの確認を示す信号を送信するために、ボタンを押すことによってコマンドが認識されたことを確認してもよい。装置４１０は、信号を受信してもよく、プロセッサ１１０は、アクチュエータ信号を生成して、ユーザへの触覚効果をアクチュエータに出力させるためにアクチュエータにアクチュエータ信号を送信してもよい。一部の実施形態では、ユーザは、コマンドが受信されなかったこと、又はコマンドが誤って伝えられ若しくは不明瞭であったことの触覚指示を提供することによって応答してもよい。また、このような実施形態では、ユーザは、メッセージの再送を要求する触覚指示を提供してもよい。
【００２８】
別の実施形態では、ユーザは、例えば、ボタンを押すこと又はタッチセンサ式装置上でタッピングすることによって、触覚入力を提供することにより受信された音声コマンドに応答してもよい。触覚入力の各々は、応答に相互に関連付けられてもよく、応答は、吹き込まれたコマンドに変換されて受信者に送信されてもよい。例えば、兵士は、コマンドが受信されて兵士が従うであろうことを示すために連続して、装置４１２等の通信装置に結合されるタッチセンサ式入力装置の中にコマンドへの応答をタッピングしてもよい。次に、装置４１２は、例えば、装置４１０等の別の装置に触覚応答を送信してもよく、それは、次に、触覚応答を、例えば、音声メッセージ等の可聴信号に変換する。このような実施形態において、触覚応答は、装置４１２によって音声に変換され得る事前に記録されたメッセージ又は事前に決定されたテキストに対応してもよい。このような実施形態は、受信者への音声の応答をもたらすユーザによる無言の確認を可能にするであろう。
【００２９】
また、図４に示されるシステムは、協調的な仕事又は手続きを実行するために複数のユーザによって有利に利用されてもよい。例えば、一実施形態では、装置４１０及び４１２は、銀行内の異なる場所におけるコンピュータを含んでもよい。各コンピュータ４１０、４１２は、銀行の金庫室へのアクセスを制御するセキュリティシステムと通信する。２つのコンピュータにおけるユーザは、機能を実行し、又は銀行の金庫室を開けるために承認を提供する必要があってもよい。例えば、第１のコンピュータ４１０におけるユーザは、金庫室を開けるための承認を確認するために、例えば、単語又は句等のコマンドを話すことを要求されてもよい。コマンドが認識された後で、金庫室を開けるための承認を完了するために、例えば、別の単語又は句等のコマンドを話す必要があることを示すための触覚的確認が第２のコンピュータ４１２における第２のユーザに送信されてもよい。第２のユーザのコマンドが認識されると、コマンドが成功したことをユーザに示すために触覚的確認が２つの装置４１０、４１２の各々に出力されてもよい。このようなときに、銀行の錠前は開錠されてもよい。
【００３０】
しかしながら、コマンドの一方が認識されなかったら、一方又は双方のユーザは、承認が失敗したことの触覚指示を受信してもよい。一実施形態では、コマンドが失敗したユーザは、承認を提供するために第２の機会が与えられてもよい。このような実施形態において、承認が失敗したがコマンドが再試行されてもよいことを示す触覚効果が一方又は双方のユーザに出力されてもよい。しかしながら、承認が最終的に失敗して再試行が利用できなくなると、承認が失敗したことを示すために一方又は双方のユーザに異なる触覚効果が出力されてもよい。
【００３１】
異なる又はより多くの複雑な順番のイベントを含む更なる実施形態が使用されてもよい。このような実施形態では、触覚効果は、順番を完了するためにユーザの側において動作が必要であることを示すために１人以上のユーザに出力されてもよい。例えば、一実施形態では、複数の機械工が大きな機械を修理していてもよい。このような状況において、各ユーザは、例えば、装置４１０又は４１２等の装置を身に付けていてもよい。ユーザは、修理の一部を完了し又は支援を必要とすると、他のユーザの装置４１０、４１２に触覚効果を引き起こすためにコマンドを送信してもよい。そうすることによって、仕事が完了したこと又は修理工程を続けるために何らかの動作を行う必要があることを、次のユーザは、通知されてもよい。触覚効果の受信者は、受信者が必要な動作又は何らかの他の指示を行うことを示すために触覚的確認をコマンドの送信者に戻してもよい。
【００３２】
次に、図５を参照すると、図５は、本発明の一実施形態による音声コマンドの触覚的確認のためのコンピュータ実行方法５００の流れ図を示す。図５に示される方法５００は、図１に示される装置１００を参照して検討される。方法５００は、プロセッサ１００が発話情報を受信するとブロック５１０において開始する。例えば、プロセッサ１１０は、マイクロホン１３５からマイクロホン信号に符号化された発話情報を受信してもよく、又は例えば、Ｂｌｕｅｔｏｏｔｈ接続を介して、別のプロセッサから発話情報を受信してもよい。発話情報を受信した後で、方法は、ブロック５２０に進む。
【００３３】
ブロック５２０において、発話情報を受信した後で、プロセッサ１００は、発話情報を認識するために音声認識ソフトウェアを実行する。プロセッサが発話情報を認識すれば、それは、発話情報に関係付けられるコマンドを決定する試みを行う。プロセッサ１１０は、発話情報に関係付けられるコマンドを決定すると、方法は、ステップ５３０に進む。しかしながら、プロセッサが発話情報を認識することが出来なければ、又は発話情報に関係付けられるコマンドを決定することが出来なければ、方法は、ブロック５２２に進む。
【００３４】
ブロック５２２において、プロセッサ１１０は、第２の触覚効果をアクチュエータに出力させるように構成される第２のアクチュエータ信号を生成する。第２の触覚効果は、発話情報が認識されなかったこと、又は対応するコマンドが見つからなかったことをユーザに対して示すように構成される。次に、プロセッサ１１０は、ブロック５２４に示されるように、アクチュエータ１３０にアクチュエータ信号を送信する。
【００３５】
ブロック５３０において、プロセッサ１１０は、第１の触覚効果をアクチュエータに出力させるように構成される第１のアクチュエータ信号を生成する。第１の触覚効果は、発話情報が認識されなかったこと、及び対応するコマンドが見つからなかったことをユーザに対して示すように構成される。次に、プロセッサ１１０は、ブロック５３２に示されるように、アクチュエータ１３０にアクチュエータ信号を送信する。アクチュエータ１３０に第１のアクチュエータ信号を送信した後で、方法は、ブロック５３４に進む。
【００３６】
ブロック５３４において、プロセッサ１１０は、追加の発話情報が利用可能かどうかを決定する。例えば、上述のように、プロセッサ１１０は、発話情報が受信されるとその一部を認識する試みを行ってから、触覚効果のその部分が認識されたことを示す触覚効果を提供してもよい。例えば、ユーザはカレンダにイベントを追加する試みを行ってもよく、プロセッサは、例えば、イベントの日付、時間、及び場所等のイベントの構成要素ごとにステップ５１０−５３２又はステップ５１０−５２４を行ってもよい。追加の発話情報が受信されるために利用可能である場合、方法は、追加の発話情報を受信するためにステップ５１０に戻る。しかしながら、追加の発話情報が受信されない場合、方法５００は、ステップ５３６に進む。
【００３７】
ブロック５３６において、プロセッサ１１０は、認識された発話情報及びコマンドに関係付けられる機能を実行する。例えば、発話情報が「家」と呼ばれる連絡先に関係付けられる電話番号にダイヤルするために「家に電話する」及び決定されたコマンドを含んでいれば、プロセッサは、「家」に関係付けられる番号にダイヤルするダイヤル機能を実行するであろう。機能が開始した後で、方法は、機能が完了したかどうかに基づくループのためのテスト条件であるブロック５４０に進む。
【００３８】
ブロック５４０において、プロセッサ１１０は、機能が完了したかどうかを決定する。機能が完了していなければ、方法は、ステップ５４２に進み、機能がまだ実行中であることを示す触覚効果を出力する。しかしながら、機能が完了していれば、方法は、ステップ５５０に進み、機能が完了したことを示すために別の触覚効果が出力される。
【００３９】
ブロック５４２から５４６は、機能がまだ実行中であることを示す触覚効果を出力するためのステップである。ブロック５４２において、プロセッサ１１０は、機能がまだ実行中であることを示す触覚効果に対応するアクチュエータ信号を生成する。一実施形態では、プロセッサ１１０は、触覚効果が何回出力されているかに関わらず、同じアクチュエータ信号を生成してもよい。例えば、機能が完了するために１０分を必要として、触覚効果が３０秒ごとに出力される場合、プロセッサは、触覚効果が出力される度に同じアクチュエータ信号を生成してもよい。従って、ユーザは、３０秒ごとに同じ触覚効果を感じるであろう。しかしながら、一部の実施形態では、機能の状態によって異なる触覚効果が出力されてもよい。例えば、一実施形態では、プロセッサ１１０は、方法がブロック５４２に戻る度に異なるアクチュエータ信号を生成してもよい。このような実施形態では、プロセッサ１１０は、ブロック５４２−５４６における繰り返しの度に徐々に強くなる触覚効果を生成するためのアクチュエータ信号を生成してもよい。一実施形態では、プロセッサ１１０は、機能がまだ実行中であるが、エラーに遭遇した場合、異なるアクチュエータ信号を生成してもよい。このような実施形態において、プロセッサ１１０は、機能がエラーに遭遇したことを示す触覚効果に関係付けられるアクチュエータ信号を生成してもよい。
【００４０】
ブロック５４２においてアクチュエータ信号を生成した後で、ブロック５４４において、プロセッサ１１０は、触覚効果をアクチュエータに出力させるためにアクチュエータ１３０にアクチュエータ信号を送信する。一部の実施形態では、プロセッサは、アクチュエータを備える別の装置にアクチュエータ信号を送信してもよい。例えば、図２に示されるシステムにおいて、プロセッサ１６０が、プロセッサ１１０にアクチュエータ信号を送信してもよい。次に、プロセッサ１１０は、アクチュエータ１３０にアクチュエータ信号を送信してもよい。上述のように、プロセッサ１６０は、プロセッサ１１０に高レベルアクチュエータ信号を送信してもよく、次に、プロセッサ１１０は、アクチュエータ１３０に送信する低レベルアクチュエータ信号を生成してもよい。アクチュエータ信号が送信された後で、方法は、ブロック５４６に進む。
【００４１】
ブロック５４６において、方法は、ブロック５４０に戻る前に所定の期間だけ遅延させる。遅延は、複数の触覚効果間の時間を経過させるのに有利であり得る。例えば、ユーザが非常に短い期間で繰り返し触覚効果を感じて、それがユーザの気を逸らすことがないように、遅延は、３０秒ごとに触覚効果を出力させてもよい。しかしながら、一部の実施形態では、遅延時間は、０に設定されてもよく、それにより、必要に応じて触覚効果を出力することが可能であってもよい。遅延が経過した後で、方法は、ブロック５４０に戻る。
【００４２】
機能が完了した後で、方法は、ブロック５５０に進み、そのときに、プロセッサ１１０は、機能が完了したことを示す触覚効果に対応するアクチュエータ信号を生成する。例えば、一実施形態では、プロセッサ１１０は、機能の完了が成功したことを示す触覚効果に対応するアクチュエータ信号を生成してもよい。代替的に、プロセッサ１１０は、機能がエラーに遭遇して最後まで実行される前に終了されたことを示す触覚効果に対応するアクチュエータ信号を生成してもよい。アクチュエータ信号が生成された後で、方法は、ブロック５５２に進み、プロセッサ１１０は、触覚効果をアクチュエータ１３０に出力させるためにアクチュエータ１３０にアクチュエータ信号を送信する。その後、方法は、ブロック５１０に戻り、プロセッサ１１０は、更なる発話情報を受信する試みを行う。
【００４３】
次に、図６を参照すると、図６は、本発明の一実施形態によるコマンドの触覚的確認のためのシステム６００のブロック図を示す。システム６００は、筐体６０５を有する装置６１０を備える。装置６１０は、プロセッサ６２０、メモリ６２５、アクチュエータ６３０、及びセンサ６４０を更に備える。プロセッサ６２０、メモリ６２５、アクチュエータ６３０、及びセンサは、各々が筐体６０５の中に配置され又は筐体６０５に結合される。プロセッサ６２０は、メモリ６２５、アクチュエータ６３０、及びセンサ６４０の各々と通信する。プロセッサは、筐体に結合され、筐体の中に配置され、又は別個の装置であり得るディスプレイ６５０と更に通信する。装置６１０は、センサから受信されるセンサ信号に基づいてコマンドを受信して、受信されたセンサ信号に基づいて触覚効果を出力するように構成される。
【００４４】
一実施形態では、装置６１０は、ユーザによって持ち運ばれ又は身に付けられてもよく、センサ６４０は、ユーザの眼が見ている場所を検出するように構成される光学センサを備えてもよい。例えば、ディスプレイ６５０は、例えば、一体化されたディスプレイを有するゴーグル等、ユーザによって身に付けられるディスプレイを含んでもよい。プロセッサ６２０は、例えば、車両（例えば、車椅子）を制御するコマンド又は別の人物に送信するコマンド、例えば、兵士への命令等のコマンドに対応する画像又はテキストをディスプレイ６５０に表示させてもよい。コマンドを発行するために、ユーザは、所望のコマンドを見てもよい。センサ６４０は、ユーザの目が見ている方向を検出して、プロセッサ６２０にセンサ信号を送信する。プロセッサ６２０は、方向に関係付けられるコマンドを決定して、アクチュエータに触覚効果を出力させるためのアクチュエータ信号を生成する。次に、プロセッサ６２０は、アクチュエータ６３０にアクチュエータ信号を送信する。別の実施形態では、装置６１０は、例えば、図４に示されるネットワークインターフェース３１５等のネットワークインターフェースを更に備える。このような実施形態では、プロセッサ６２０は、例えば、図４に示される装置４１２等の第２の装置から、ネットワーク４８０を介して、コマンドを受信してもよい。装置６１０は、コマンドが受信されたことを示すためにユーザに触覚効果を出力してもよく、ディスプレイ６５０上にコマンドに対する可能な応答を表示してもよい。装置６１０のユーザは、ネットワークを介して、第２の装置４１２に送信するために利用可能な複数の応答から１つの応答を選択してもよい。このような実施形態は、音声のコマンド又は応答が望ましくない可能性がある秘密の軍事作戦において便利であってもよい。
【００４５】
関連する実施形態において、選択される応答は、複数の受信者に送信されてもよい。例えば、兵士の分隊等の軍隊は、コマンドセンターと通信して、受信された音声コマンドへの触覚応答を提供してもよい。このような実施形態では、コマンドセンターは、分隊の各兵士に音声又は触覚コマンドを送信してもよく、各兵士から応答又は確認を受信してもよい。更なる実施形態は、各兵士からの応答を受信するために複数のコマンドセンターを含んでもよい。例えば、分隊の司令官は、分隊の作戦の近くの前進基地にいてもよく、又は分隊と一緒にいるが作戦の性質のため離れていてもよい。加えて、他の場所が、例えば、船舶又は別の軍事施設等における、別の場所から分隊の行動を監視してもよい。このような実施形態では、他の場所の各々は、分隊からの触覚コマンド及び確認を含む、分隊への通信及び分隊からの通信を受信してもよい。
【００４６】
図６を再度参照すると、本発明の一実施形態は、発行されるコマンド又は実行される機能をエミュレートする触覚効果を出力してもよい。例えば、一実施形態では、装置６１０は、車椅子等の車両を制御するように構成されてもよい。このような実施形態では、車両に発行されるコマンドをエミュレートする触覚効果を提供することが有利であってもよい。例えば、ユーザが車両を右折させるためのコマンドを選択すると、プロセッサ６２０は、右折をエミュレートする触覚効果をアクチュエータに出力させるためのアクチュエータ信号を生成してもよい。例えば、車椅子の実施形態では、アクチュエータは、複数のアクチュエータを備えてもよい。次に、アクチュエータは、車椅子の背後の中央で開始して右に移動する振動を出力してもよい。例えば、アクチュエータは、アクチュエータが連続して起動されるように、車椅子の背後の水平線に沿って配置されてもよい。従って、ユーザは、背中を横切って右に移動する振動を感知して、それによって、コマンドが認識されたことを示すフィードバックを受信してもよい。
【００４７】
次に、図７を参照すると、図７は、本発明の一実施形態によるコマンドの触覚的確認のためのコンピュータ実行方法の流れ図を示す。図７は、図６に示されるシステム６００に関して記載される。
【００４８】
図７に示される実施形態では、方法７００は、プロセッサ６２０がセンサ６４０からセンサ信号を受信すると、ブロック７１０で開始する。例えば、一実施形態では、センサ信号は、ディスプレイ６５０等のタッチセンサ式ディスプレイ上のある場所にユーザが触れることに対応してもよい。別の実施形態では、センサ信号は、ユーザの眼の方向に対応してもよい。センサ信号を受信した後で、方法７００は、ブロック７２０に進む。
【００４９】
ブロック７２０では、プロセッサ６２０は、受信されたセンサ信号に対応するコマンドを識別する試みを行う。例えば、プロセッサ６２０は、タッチセンサ式ディスプレイスクリーン上で感知された位置に対応する場所においてボタン又はユーザインターフェース要素を識別してもよい。プロセッサ６２０がセンサ信号において受信される情報に対応するコマンドを決定すると、方法７００はブロック７３０に進む。そうでなければ、方法７００はブロック７２２に進む。
【００５０】
方法がブロック７２２に進む場合、プロセッサ６２０は、コマンドがセンサから受信された入力に基づいて認識されなかったことを示すように構成される触覚効果に対応するアクチュエータ信号を生成する。アクチュエータ信号を生成した後で、プロセッサが触覚効果をアクチュエータに出力させるためにアクチュエータ６３０にアクチュエータ信号を送信する場合に、方法は、ステップ７２４に進む。
【００５１】
方法がブロック７３０に進む場合、プロセッサ６２０は、コマンドがセンサから受信された入力に基づいて認識されたことを示すように構成される触覚効果に対応するアクチュエータ信号を生成する。アクチュエータ信号を生成した後で、プロセッサが触覚効果をアクチュエータに出力させるためにアクチュエータ６３０にアクチュエータ信号を送信する場合に、方法は、ステップ７５０に進む。触覚効果を出力した後で、方法は、ブロック７５０に進み、プロセッサ６１０は、コマンドに関係付けられる機能を実行する。しかしながら、一部の実施形態では、プロセッサ６１０は、アクチュエータ信号を生成し又はアクチュエータにアクチュエータ信号を送信する前に機能の実行を開始してもよい。
【００５２】
本明細書に記載の方法及びシステムが様々な機械で実行するソフトウェアに関して記載されているが、方法及びシステムは、例えば、様々な方法を特別に実行するためのＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ）等の特別に構成されたハードウェアとして実装されてもよい。例えば、図１−４及び６を再度参照すると、実施形態は、デジタル電子回路で、又は、コンピュータハードウェア、ファームウェア、ソフトウェア若しくはこれらの組み合わせで実装され得る。一実施形態では、コンピュータは、１つ又は複数のプロセッサを備えてもよい。プロセッサは、プロセッサに結合されるＲＡＭ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）等のコンピュータ可読媒体を備える。プロセッサは、メモリに記憶されたコンピュータ実行可能プログラム命令を実行する。例えば、画像を編集するために１つ以上のコンピュータプログラムを実行する。このようなプロセッサは、マイクロプロセッサ、ＤＳＰ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ）、及び状態機械を備えてもよい。このようなプロセッサは、ＰＬＣ、ＰＩＣ（ｐｒｏｇｒａｍｍａｂｌｅ  ｉｎｔｅｒｒｕｐｔ  ｃｏｎｔｒｏｌｌｅｒ）、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ  ｌｏｇｉｃ  ｄｅｖｉｃｅ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｉｅ）、ＥＰＲＯＭ又はＥＥＰＲＯＭ（ｅｌｅｃｔｒｏｎｉｃａｌｌｙ  ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｉｅ）、又は他の類似の装置等のプログラム可能電子装置を更に備えてもよい。
【００５３】
このようなプロセッサは、媒体、例えば、プロセッサによって実行されると、プロセッサによって遂行又は支援される本明細書に記載のステップをプロセッサに実行させることが出来る命令を記憶し得るコンピュータ可読媒体を備え、又はこれと通信してもよい。コンピュータ可読媒体の実施形態は、限定されないが、プロセッサ、例えばウェブサーバのプロセッサにコンピュータ可読命令を提供することが出来る電子、光学、磁気、又は他の記憶装置を備えてもよい。媒体の他の例は、限定されないが、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取り可能な任意の他の媒体を含む。記載されたプロセッサ及び処理は、１つ以上の構造内にあってもよく、１つ以上の構造にわたって分散されてもよい。プロセッサは、本明細書に記載の１つ以上の方法（又は方法の一部）を実行するためのコードを備えてもよい。
【００５４】
（一般事項）
本発明の一部の実施形態の上記の説明は、例示及び説明のためにのみ示されているのであって、網羅的であること又は開示された厳密な形態に本発明を限定することは意図されていない。その多くの修正及び適合が、本発明の精神及び範囲から逸脱することなく当業者には明らかであろう。
【００５５】
本明細書における「一実施形態」又は「ある実施形態」への言及は、特定の機能、構造、操作、又は実施形態と関連して記載される他の特徴が本発明の少なくとも１つの実装に含まれ得ることを意味する。本発明は、このように記載された特定の実施形態に制限されない。明細書の様々な場所における「一実施形態において」又は「ある実施形態において」という句の出現は、必ずしも同じ実施形態への言及ではない。任意の特定の機能、構造、操作、又は「一実施形態」に関連する本明細書に記載の他の特徴は、他の機能、構造、操作、又は任意の他の実施形態に関して記載された他の特徴と結合されてもよい。
【図１】
0005977325.tif 000002
【図２】
0005977325.tif 000003
【図３】
0005977325.tif 000004
【図４】
0005977325.tif 000005
【図５】
0005977325.tif 000006
【図６】
0005977325.tif 000007
【図７】
0005977325.tif 000008