(57)【要約】      （修正有）【課題】ユーザインターフェースにおける音声−テキスト触覚増強を提供するためのシステム及び方法を提供する。【解決手段】オーディオのスピーチ情報を触覚効果に変換するためのシステムは、マイクロフォン１０５、そのマイクロフォンと通信するプロセッサ１１０とを備える。プロセッサは、マイクロフォンからの音声に関連したオーディ信号を受信し、オーディオ信号の特徴を判断し、特徴の少なくとも一部に基づいたアクチュエータ信号を生成するように構成される。ここで、アクチュエータ信号は、アクチュエータ１１５に触覚効果を出力させるように構成される。【選択図】図１
2014211900.tif 000002
【特許請求の範囲】
【請求項１】
音声、環境音、或いはバイオリズムのうちの一つに関連する入力信号を受信することと、
前記入力信号の特徴を判断することと、
触覚効果をアクチュエータに出力させるように構成される、前記特徴の少なくとも一部に基づいたアクチュエータ信号を生成することと
を備えるコンピュータによって実行される方法。
【請求項２】
前記特徴は、周波数、振幅、或いは持続期間の内の一つを含む請求項１記載のコンピュータによって実行される方法。
【請求項３】
前記特徴は高振幅を含み、さらに前記アクチュエータ信号は対応的に高振幅アクチュエータ信号を含む請求項２記載のコンピュータによって実行される方法。
【請求項４】
前記入力信号を受信することは、マイクロフォンからオーディオ信号を受信することを含む請求項１記載のコンピュータによって実行される方法。
【請求項５】
前記オーディオ信号及びアクチュエータ信号を出力するために構成されるデバイスに前記オーディオ信号及びアクチュエータ信号を送信することをさらに備える請求項４記載のコンピュータによって実行される方法。
【請求項６】
前記オーディオ信号に関連する単語を判断することと、
前記単語及び前記アクチュエータ信号を遠隔端末装置に送信すること
をさらに備える請求項４記載のコンピュータによって実行される方法。
【請求項７】
前記アクチュエータ信号をアクチュエータに送信すること
をさらに備える請求項１記載のコンピュータによって実行される方法。
【請求項８】
前記特徴の少なくとも一部に基づいて複数の触覚効果を生成することをさらに備える請求項１記載のコンピュータによって実行される方法。
【請求項９】
前記アクチュエータ信号を生成することは、前記特徴に関連した触覚効果ライブラリから触覚効果を選択することを備える請求項１記載のコンピュータによって実行される方法。
【請求項１０】
前記入力信号を受信することは、バイオセンサからバイオリズム信号を受信することを備える請求項１に記載のコンピュータによって実行される方法。
【請求項１１】
プロセッサによって実行されるプログラムコードにエンコードされるコンピュータ読取可能媒体であり、
前記コンピュータ読取可能媒体は、
ボイス、環境音、或いはバイオリズムのうちの一つに関連する入力信号を受信するためのプログラムコードと、
前記入力信号の特徴を判断するためのプログラムコードと、
触覚効果をアクチュエータに出力させるように構成される、前記特徴の少なくとも一部に基づいたアクチュエータ信号を生成するためのプログラムコードと
を備えるコンピュータ読取可能媒体。
【請求項１２】
前記特徴は、周波数、振幅、或いは持続期間の内の一つを含む請求項１０記載のコンピュータ読取可能媒体。
【請求項１３】
前記アクチュエータ信号をアクチュエータに送信するためのプログラムコードをさらに備える請求項１０記載のコンピュータ読取可能媒体。
【請求項１４】
前記入力信号及びアクチュエータ信号を出力するように構成される端末装置に前記入力信号及びアクチュエータ信号を送信するためのプログラムコードをさらに備える請求項１０記載のコンピュータ読取可能媒体。
【請求項１５】
前記入力信号に関連する単語を判断するためのプログラムコードと、
前記単語及び前記アクチュエータ信号を遠隔端末装置に送信するためのプログラムコードと
をさらに備える請求項１０記載のコンピュータ読取可能媒体。
【請求項１６】
前記特徴の少なくとも一部に基づいて複数の触覚効果を生成するためのプログラムコードと
をさらに備える請求項１０記載のコンピュータ読取可能媒体。
【請求項１７】
メモリと、
前記メモリと通信するプロセッサであり、さらに、
音声、環境音、或いはバイオリズムのうちの一つに関連する入力信号を受信するため、
前記入力信号の特徴を判断するため、
触覚効果をアクチュエータに出力させるように構成される、前記特徴の少なくとも一部に基づいたアクチュエータ信号を生成するため
に形成されるプロセッサと
を備えるシステム。
【請求項１８】
前記プロセッサは、さらに
前記入力信号に関連する単語を判断するため、
前記単語及び前記アクチュエータ信号を遠隔端末装置に送信するため
に構成される請求項１７記載のシステム。
【請求項１９】
前記プロセッサは、さらに前記特徴の少なくとも一部に基づいて複数の触覚効果を生成するために構成される請求項１７記載のシステム。
【請求項２０】
前記プロセッサは、さらに前記特徴に関連する触覚効果ライブラリから触覚効果を識別することによって前記アクチュエータ信号を生成するように構成される請求項１７記載のシステム。
【請求項２１】
前記プロセッサと通信するマイクロフォンであり、話されたテキスト入力を受信し、前記話されたテキスト入力に対応するオーディオ信号を生成し、前記入力信号として前記オーディオ信号を前記プロセッサに送信するマイクロフォンをさらに備える請求項１７記載のシステム。
【請求項２２】
前記プロセッサと通信する、前記アクチュエータ信号を受信し、触覚効果を出力するように構成されるアクチュエータをさらに備える請求項１７記載のシステム。
【請求項２３】
バイオリズム信号を判断し、前記バイオリズム信号の少なくとも一部に基づいて前記入力信号を生成するように構成されるバイオセンサをさらに備える請求項１７記載のシステム。
【請求項２４】
前記メモリ、プロセッサ、及びアクチュエータを収容するためのハウジングをさらに備える請求項１７記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本出願は、２００９年８月２９日に出願された「音声−テキスト変換の触覚増強のためのシステム及び方法」という名称の、米国実用新案出願第12/608,707の優先権を主張するものであり、その全てを参照によって本出願に組み込む。
【０００２】
本発明は、全般的にはユーザインターフェースのためのシステム及び方法に関し、詳細には音声−テキスト変換の触覚増強のためのシステム及び方法に関する。
【背景技術】
【０００３】
電子端末装置は、使用者に、視覚及び聴覚のフィードバックを含む、様々なフィードバックを提供する。使用者に触覚フィードバックを提供する端末装置もある。いくつかの例にあって、触覚フィードバックは、メッセージを受信する使用者に、メッセージ自体に明白ではない情報を提供する。例えば、テキストメッセージに変換される音声メッセージは、送信側使用者がメッセージのなかで表現されるトピックについて感じている感情のレベルを伝えること、あるいはそのメッセージに関する他の文脈上の情報を伝えることを失敗しているかもしれない。使用者は、メッセージの中に周知のシンボル（例えば、エモチコンemoticons）を添付することによってこの言外の意味を表現して、この空虚感を満たそうとしばしば試みる。しかし、そのようなシンボルは、彼らが伝えることができるメッセージの複雑さにとって、限界がある。これに対して、触覚フィードバックは、そのような言外の意味をより説得力のあるやり方で、他の使用者に表現する方法をより複合的及び直接的に提供する。
【発明の概要】
【０００４】
本発明は、音声−テキスト変換の触覚増強のためのシステム及び方法を含む。例えば、本発明の一具現化例は、マイクロフォンからの音声に関するオーディオ信号を受信するステップ、前記オーディオ信号の特徴を判断するステップ、及び前記特徴の少なくとも一部に基づいてアクチュエータ信号を生成するステップを備えるコンピュータにて実行される方法を含む。前記アクチュエータ信号は、アクチュエータに触覚効果を出力させるように構成される。他の具現化例は、そのような方法を実行するためのプロセッサによって実行されるプログラムコードにエンコードされるコンピュータ読取可能媒体を備える。
【０００５】
これら実例の具現化例は、発明を制限或いは定義するために言及されるものではなく、発明の理解を補助するための具体例を与えるものである。例示の具現化例は、発明の詳細な説明のなかで考察され、さらなる発明の説明がそこで提供される。本発明の様々な具現化例によって提案される利点は、この明細書を吟味することによってさらに理解される。
【０００６】
本発明のこれらのさらには他の特長、アスペクト、及び利点は、以下の発明の詳細な説明を添付の図面を参照しながら読むことでより理解される。
【図面の簡単な説明】
【０００７】
【図１】本発明の一具現化例に係る音声−テキスト変換の触覚増強のためのシステムのブロック図である。
【図２】本発明の一具現化例に係る音声−テキスト変換の触覚増強のためのシステムの模式図である。
【図３】本発明の一具現化例に係る音声−テキスト変換の触覚増強のためのシステムのブロック図である。
【図４】本発明の一具現化例に係る音声−テキスト変換の触覚増強のためのコンピュータにより実行される方法のフローチャートである。
【図５】本発明の一具現化例に係る音声−テキスト変換の触覚増強のためのコンピュータにより実行される方法のフローチャートである。
【図６】本発明の一具現化例に係る音声−テキスト変換の触覚増強のためのコンピュータにより実行される方法のフローチャートである。
【発明を実施するための形態】
【０００８】
本発明の具現化例は、音声−テキスト変換の触覚増強のためのシステム及び方法を提供する。
【０００９】
音声−テキストの触覚増強のための実例のシステム
本発明の一実例の具現化例にあって、モバイル電話は、プロセッサと、このプロセッサと通信するマイクロフォン及びスピーカを備える。モバイル電話は、プロセッサと通信するアクチュエータも備える。アクチュエータは、モバイル電話の使用者によって知覚される触覚効果を出力する能力がある。使用者は、プロセッサがテキストメッセージに変換するボイスメッセージを記録するための電話を用いることができる。さらに、プロセッサは、メッセージの特長を判断するためにボイスメッセージを分析するように構成される。
【００１０】
例えば、一つのそのような具現化例にあって、使用者のボイスメッセージの周波数、振幅、及び持続期間が分析され、プロセッサはそれぞれのパラメータに対応する触覚効果を判断する。その後、プロセッサは、触覚効果或いは複数効果をメッセージのテキストバージョンと関連づけ、前記メッセージを意図される受取人に送信する。第２の具現化例にあって、ユーザのバイオリズムが分析され、プロセッサはそれらユーザのバイオリズム反応に対応する触覚効果を判断する。その後、上述のように、プロセッサは触覚効果或いは複数効果を前記メッセージのテキストバージョンと関連づけて、意図された受取人にそのメッセージを送信する。音声及びバイオリズム分析は、プロセッサによって同様に行われ、意図された受取人に送信される触覚効果の判定で達成される。
【００１１】
実例の具現化例にあって、受取人も触覚効果を出力する、偏芯回転質量（ＥＲＭ）モータのようなアクチュエータを備えるモバイル端末装置を有している。受取人がメッセージを開封すると、そのメッセージに関連する触覚効果又は複数効果がモバイル端末装置を介して受取人に出力される。
【００１２】
例えば、第１の使用者が大声を上げることによってメッセージを作り出す。プロセッサが前記ボイスメッセージを分析すると、プロセッサは、受取人がメッセージの中に埋め込まれている感情を「感じる」ことができるような高い振幅触覚効果付きの結果としてのテキストメッセージを関連付ける。他の例にあって、使用者がハイピッチの音声でボイスメッセージを作り出すと、プロセッサは結果として得られるテキストメッセージに高周波数触覚効果を関連付ける。
【００１３】
これらの実例の具現化例は、本明細書にあって考察される全体的な発明の手段を読者に紹介するために提供される。本発明は、これらの具現化例で制限されるものではない。以下のセクションは、音声−テキスト変換の触覚増強のためのシステム及び方法の様々な付加的な具現化例及び具体例を記述している。
【００１４】
音声−テキスト変換触覚増強のための実例システム
いくつかの図面にわたって同様の要素には同じ番号が付されている図を参照すると、図１は本発明の一つの具現化例に係る音声−テキスト変換の触覚増加用のシステムのブロック図を示す。図１に示すように、前記システムは、モバイル端末装置１００を備える。一具現化例にあって、モバイル端末装置１００は、モバイル電話を含む。他の具現化例にあって、モバイル端末装置１００は、携帯デジタル情報端末（ＰＤＡ）、携帯型メディアプレーヤ、携帯型ゲーム端末装置、或いはラップトップコンピュータのような、他の携帯或いはハンドヘルド電子端末装置を含む。いくつかの具現化例にあって、モバイル端末装置１００は、それよりむしろ、デスクトップコンピュータのような非携帯型電子端末装置を含んでもよい。
【００１５】
図１に示す具現化例にあって、モバイル端末装置１００は、マイクロフォン１０５を含む。マイクロフォン１０５は、使用者の声或いは環境音のようなオーディオを受信し、そのオーディオを対応する入力信号に変換する。前記入力信号は、マイクロフォンからのオーディオ信号の少なくとも一部に基づいている。図１に示される具現化例にあって、モバイル端末装置１００は、さらにバイオセンサ１０６をも備える。バイオセンサ１０６は、使用者のバイオリズムのような生物学的な情報を受け取り、前記生物学的な情報をバイオセンサデータの少なくとも一部に基づいた対応の入力信号に変換する。
【００１６】
モバイル端末装置１００は、前記マイクロフォン１０５と通信をするプロセッサ１１０をも含む。この図示される具現化例にあって、プロセッサ１１０はマイクロフォン１０５からのオーディオ信号を受け取り、さらに前記オーディオ信号を処理するように構成される。例えば、プロセッサ１１０は、オーディオ信号の一つ以上の特徴を判定するためにオーディオ信号を分析してもよい。他の具現化例にあって、モバイル端末装置１００は、協力して動作する複数のプロセッサを含んでもよい。そのようなプロセッサは、マイクロプロセッサ、デジタル信号処理（ＤＳＰ）、専用集積回路（ＡＳＩＣ）、フィールドプログラマブル（ＦＰＧＡｓ）、及びステートマシンを含む。そのようなプロセッサは、ＰＬＣｓ、プログラマブルインタラプトコントローラ（ＰＩＣｓ）、プログラマブルロジックデバイス（ＰＬＤｓ）、プログラマブルリードオンリィメモリ（ＰＲＯＭｓ）、電気的プログラマブルリードオンリィメモリ（ＥＰＲＯＭｓ或いはＥＥＰＲＯＭｓ）などのようなプログラマブル電気デバイスをさらに含む。
【００１７】
モバイル端末装置１００は、プロセッサ１１５と通信するアクチュエータ１１５をさらに備える。アクチュエータ１１５は、一つ以上の様々なタイプのアクチュエータを備えてもよい。例えば、アクチュエータ１１５は、ピエゾエレクトリックアクチュエータ、電気モータ、電気−磁気アクチュエータ、ボイスコイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏芯回転質量モータ（ＥＲＭ）、或いは線形共鳴アクチュエータ（ＬＲＡ）などでもよい。一具現化例にあって、モバイル端末装置１００は、複数のアクチュエータを備える。一具現化例にあっては、プロセッサ１１０は、複数のアクチュエータのうちの少なくとも一つに触覚信号を送信するように構成される。
【００１８】
図１をさらに参照すると、モバイル端末装置１００は、コンピュータ読取可能媒体１２０をも備える。コンピュータ読取可能媒体１２０は、プロセッサ１１０によって実行されるときには、プロセッサに本明細書にて開示される方法の様々なステップを実行させるプログラムコードを格納するためにも用いられる。本発明の具現化例は、デジタル電子回路にて実現されることもできるし、コンピュータハードウェア、ファームウェア、ソフトウェア、或いはそれらの組み合わせによっても実現される。ランダムアクセスメモリ（ＲＡＭ）のようなコンピュータ読取媒体１２０は、プロセッサ１１０と通信するか、或いは結合する。プロセッサ１１０は、オーディオ信号を分析するために一つ以上のコンピュータプログラムを実行するように、コンピュータ読取可能媒体１２０に格納されているコンピュータ実行可能プログラム命令を実行する。
【００１９】
コンピュータ読取可能媒体の具現化例は、限定されるものではないが、電気的、光学的、磁気的、或いはモバイル端末装置１００におけるプロセッサ１１０のようなプロセッサに、コンピュータ読取可能な命令を提供することができる他の記憶媒体を含む。媒体の他の具体例は、限定されるものではないが、フレキシブルディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ，ＲＡＭ、ＡＳＩＣ，コンフィギャードプロセッサ（configured processor)、全ての光学的媒体、全ての磁気テープ或いは磁気媒体、或いはコンピュータのプロセッサが読み出すことのできる他のいかなる媒体をも含む。本明細書にあって、説明されるところの、プロセッサ及び処理は、一つ以上の構造であるか、或いは一つ以上の構造を介して分散されている。
【００２０】
図１に示される具現化例にあって、モバイル端末装置１００は、プロセッサ１１０と通信するスピーカ１２５をさらに備える。スピーカ１２５は、音声メッセージのようなオーディオ信号を出力するように構成される。一つの具現化例にあって、スピーカ１２５は、アクチュエータ１１５と組み合わされて、オーディオ信号及び触覚効果を共に出力してもよい。
【００２１】
図示されるようにモバイル端末装置１００は、ディスプレイ１４０をも備える。例えば、モバイル端末装置１００がＰＤＡであるような一具現化例にあって、ディスプレイ１４０は、メッセージを使用者に表示するためのタッチスクリーンインターフェースを含む。
【００２２】
モバイル端末装置１００は、プロセッサ１１０と通信するネットワークインターフェース１３５をも備える。ネットワークインターフェース１３５は、モバイル端末装置１００に遠隔端末装置１３０とネットワーク１５０を介して通信させる。例えば、一つの具現化例にあって、モバイル端末装置１００は、インターネットを介して他のモバイル端末装置又はコンピュータ又は他のテレコミュニケーションデバイスと通信してもよい。
【００２３】
図１に示される具現化例にあって、ネットワークインターフェース１３５は、ベースバンドプロセッサ及びモバイル端末装置１００に一つ以上のセルラーテレホンネットワークと通信をさせるように構成されるセルラーラディオを含む。いつくかの具現化例にあって、ネットワークインターフェース１３５は、他の通信端末装置を備えてもよい。例えば、一具現化例にあって、ネットワークインターフェース１３５は、８０２．１１無線イーサネット（登録商標）インターフェース、或いはブルートゥース(登録商標)インターフェースを含んでもよい。いくつかの具現化例にあって、ネットワークインターフェース２２０は、イーサネット（登録商標）アダプタのような有線ネットワークインターフェースを含んでもよい。モバイル端末装置１００は、メッセージ或いは信号を他のデバイスに送信するように構成される。
【００２４】
次に図２を参照する、図２は本発明の一具現化例に係る音声テキスト変換の触覚増強のためのシステムの模式図である。図２に示された具現化例にあって、モバイル電話２００は、マイクロフォン２０５及びディスプレイ２４０を備えている。モバイル電話はプロセッサ、アクチュエータ、コンピュータ読取可能媒体、及びネットワークインターフェースをモバイル電話２００内部にさらに備えるが、図２には示されていない。
【００２５】
図３を参照する、図３は本発明の一具現化例に係る音声テキスト変換器の触覚増強用システムのブロック図である。図３に示される具現化例にあって、システムは二つの端末装置であり、ネットワーク３８０を通して通信をする端末装置Ａ３００及び端末装置Ｂ３５０を備える。いくつかの具現化例にあって、第１の端末装置Ａ３００或いは第２の端末装置Ｂ３５０は、例えば携帯可能デジタルアシスタント（ＰＤＡ），携帯型媒体プレーヤ、携帯型ゲーム機、ラップトップコンピュータ、或いはモバイル電話のような携帯型或いは手で扱える電子端末装置を備える。他の具現化例にあって、第１の端末装置３００或いは第２の端末装置３５０は、デスクトップコンピュータのような非携帯型電子端末装置を含む。
【００２６】
図３に示される具現化例にあって、第１の端末装置３００は、プロセッサ３１０、コンピュータ読取可能媒体３１５、ネットワークインターフェース３２０、及びマイクロフォン／バイオセンサ３３５のような入力端末装置を含む。いくつかの具現化例にあって、第１の端末装置である、端末装置Ａ３００は、本具現化例よりも多くの或いは少ない部品数を有してもよい。例えば、端末装置Ａ３００は、ブルートゥース（登録商標）部品、タッチ−センシティブサーフェース、マウス、及び／又はキーボードのうちの一つ以上を含んでもよい。第１の端末装置Ａ３００の部品は、図１のモバイル端末装置１００に示され、説明された部品に対応するのと同様の仕様にて機能する。
【００２７】
図３に示された具現化例にあって、第２の端末装置である端末装置Ｂ３５０は、プロセッサ３６０、コンピュータ読取可能媒体３６５、ネットワークインターフェース３７０及びアクチュエータ３７５を含む。いくつかの具現化例にあって、第１の端末装置３００と第２の端末装置３５０は、類似の或いは同一の端末装置であるが、他の具現化例にあっては類似でも同一でもない。
【００２８】
図３に示された具現化例にあって、第１及び第２のデバイスプロセッサ３１０及び３６０は、それぞれのネットワークインターフェース３２０及び３７０と通信する。図示された具現化例にあって、ネットワークインターフェース３２０及び３７０は、それぞれが、端末装置３００及び３５０にネットワーク３８０を用いて相互に或いは他の端末装置と通信させるために構成されるベースバンドプロセッサとセルラーラディオを備える。例えば、そのような具現化例は、一つ以上のセルラーテレホンネットワークを含むネットワーク３８０を介して通信を行ってもよい。他の具現化例にあって、ネットワークインターフェース３２０は、例えば、８０２．１１無線イーサネット（登録商標）インターフェース、有線インターフェース、ブルートゥース（登録商標）或いはＵＳＢのような他のタイプのネットワークインターフェースを備えてもよい。例えば、一具現化例にあって、ネットワークインターフェース３２０は、８０２．１１無線イーサネット（登録商標）インターフェースを備えてもよい。
【００２９】
スピーチ−テキスト変換触覚増強の実例的な方法
図４乃至６は、本発明の具現化例に係る様々な方法を実例するフローチャートである。このフローチャートは、本発明の具現化例の実行のために様々な他の環境が用いられ、さらにいくつかの環境が本明細書にて説明されるが、図１に示されるモバイル端末装置に関して考察する。
【００３０】
図４は本発明の一具現化例に係る音声−テキスト変換の触覚増強用のコンピュータ実行可能な方法のフローチャートである。図４に示す触覚オーグメンテーション方法４００は、プロセッサ４０５によって入力信号が受信されたときに始まる。一具現化例にあって、入力信号は、ユーザの音声によって生成されるような、音波のマイクロフォンの検知に応じたマイクロフォン１０５から受信される。他の具現化例にあって、入力信号はバイオセンサから受信される。さらに別の具現化例にあって、オーディオ信号は、ストレージ媒体から受信されてもよい。例えば、そのような具現化例にあって、オーディオ信号は、ユーザのボイスメールボックスにて／から受信される。
【００３１】
一旦、入力信号が受信されると、プロセッサ１１０は、入力信号の一つ以上の特徴を判断するためにその入力信号を分析する（４１０）。例えば、プロセッサ１１０は、オーディオ信号が特定の周波数及び／又は振幅を有するのを判断する。或いは、プロセッサ１１０は、バイオセンサ信号が特定のバイオリズムを持っていることを判断してもよい。
【００３２】
判断された少なくとも一部の特徴に基づいて、プロセッサ１１０は、次に、アクチュエータ信号を生成する（４１５）。一具現化例にあって、判断は、様々な特徴に関連する触覚効果のライブラリを探索することによって成し遂げられる。他の具現化例にあって、判断は計算に基づいてなされてもよい。いくつかの具現化例にあって、信号触覚効果が出力される。他の具現化例にあって、複数の信号触覚効果が出力されてもよい。
【００３３】
プロセッサ１１０は、次に前記アクチュエータ信号をアクチュエータ１１５に送信する（４１５）。アクチュエータ信号は、判断された特徴に関連した特定の触覚効果をアクチュエータに出力させるように構成される。一旦、アクチュエータ１１５が前記アクチュエータ信号を受信すると、アクチュエータ１１５は触覚効果を出力する。
【００３４】
次に図５を参照する。図５は、本発明の一具現化例に係る音声−テキスト変換の触覚増強用のコンピュータにより実行される方法のフローチャートである。プロセッサ１１０がマイクロフォン或いはバイオセンサのような入力端末装置から入力信号を受信すると、図５に示された触覚増強方法５００が始まる（５０５）。図示の具現化例にあっては、入力信号は、マイクロフォン１０５から受信される。
【００３５】
プロセッサ１１０は、入力信号の特徴を判断するために入力信号を分析する（５１０）。例えば、特徴は、周波数、振幅、継続期間、或いは他のオーディオ信号のパラメータであるかもしれない。或いは特徴は、人間の心拍、呼吸、体温或いはバイオリズムのような人間の生物学的な測定値であってもよい。
【００３６】
プロセッサ１１０は、入力信号の一つ以上の特徴の少なくとも一部に基づいた一つ以上のアクチュエータ信号を生成する（５１５）。各アクチュエータ信号は、アクチュエータに触覚効果を出力させるように構成される。
【００３７】
図示された具現化例にあって、一旦、アクチュエータ信号が生成されると、プロセッサ１１０は、そのアクチュエータ信号を一つ以上のアクチュエータに送信する（５２０）。例えば、単一のアクチュエータを備える一つの具現化例にあって、プロセッサ１１０は前記アクチュエータ信号をそのアクチュエータ（例えば、アクチュエータ１１５）のみに送信する。複数のアクチュエータを備える他の具現化例にあって、プロセッサ１１０は、単一のアクチュエータ信号を全てのアクチュエータに送信する。さらに他の具現化例にあって、プロセッサ１１０は、別個の、もしかすると異なった、アクチュエータ信号を複数のアクチュエータのそれぞれに送信する。
【００３８】
次に図６を参照する。図６は本発明の一具現化例に係る音声−テキスト変換の触覚効果増強用のコンピュータにより実行される方法のフローチャートである。図示の触覚増強方法６００にあって、プロセッサ１１０はオーディオ信号を受信する（６０５）。
【００３９】
次に、プロセッサ１１０は、オーディオ信号の特徴を判断し（６１０）、さらに前記オーディオ信号の少なくとも一部に基づいてアクチェエータ信号を生成する（６１５）。アクチュエータ信号は、アクチュエータ１１５に触覚効果を出力させるように構成される。
【００４０】
次に、プロセッサ１１０は、オーディオ信号に関連した単語を判断するために、スピーチ認識手段を利用する（６２０）。例えば、プロセッサ１１０は、単語リストを含み、オーディオ信号を単語にマッチするために、特徴に関連するデータストアにアクセスする。
【００４１】
図６に示された具現化例にあって、一旦、プロセッサ１１０がオーディオ信号に関連した単語を判断すると、プロセッサはその単語に関連したアクチュエータ信号を判断する（６２５）。例えば、アクチュエータ信号は、オーディオ信号に関連する単語を決定するために用いられるように、同じデータストアに格納されてもよい。他の具現化例にあって、データストアは、別個で異なる。さらに他の具現化例にあって、触覚回避単語が実装される。そのような具現化例にあって、使用者が特定の単語のシーケンスを言うと、触覚効果がそのシーケンスに関連付けられる。例えば、使用者が特定の触覚効果をトリガするために「ウィンク  ウィンク」というと、触覚として参照されるかもしれない。
【００４２】
一旦、プロセッサ１１０が単語とアクチュエータ信号を判断すると、プロセッサ１１０は、それらをアクチュエータ１１５に送信する（６２０）。その単語及びアクチュエータ信号を受け取った端末装置は、続いてその触覚効果を出力することができる。
【００４３】
音声−テキスト変換触覚増強の実例の実装
本発明の具現化例は、様々な使用者体験を提供するための様々な方法にて実行される。以下の具現化例は、図１に関連して説明される。これらの具現化例のいくつかにあって、第１の使用者がメッセージを送信し、第２の使用者がメッセージを受け取ると想定し、両者が図１に例示されたモバイル端末装置１００を使用している。例えば、図１に示された具現化例にあって、送信側の使用者は、受信側使用者にモバイル端末装置１００を通してテキストメッセージを送信することを望んでいる。テキストメッセージをタイプするキーボードを用いる代わりに、送信側の使用者は、使用者側に送信されるテキストに変換される音声メッセージを有することを望む。この場合、送信側使用者は、マイクロフォン１０５に話をし、マイクロフォン１０５は対応するオーディオ信号を生成し、そのオーディオ信号をプロセッサ１１０に送信する。プロセッサ１１０は、同時に或いは実質的に同時に音声をテキストに変換する。そのような音声をテキストに変換する処理は、当業者には周知である。そのようなアプリケーションの一つは、Spin Voxという会社によって製造されている。
【００４４】
プロセッサ１１０は、送信側使用者のオーディオ信号を受信し、そのオーディオ信号の特徴を判断する。その特徴は、周波数、振幅、継続期間或いはオーディオ信号の他のパラメータである。プロセッサ１１０は、送信側使用者によって作られたオーディオ信号の特徴の少なくとも一つに基づいてアクチュエータ信号を生成する。プロセッサ１１０は、その後、アクチュエータ１１５にアクチュエータ信号を送信する。アクチュエータ信号は、アクチュエータ１１５に触覚効果を出力させる。その触覚効果は、使用者に感じられる。
【００４５】
例えば、送信側ユーザがモバイル端末装置１００のマイクロフォン１０５に向って大声をあげていると、プロセッサ１１０はそのオーディオ信号は高い振幅特徴を有すると判断する。プロセッサ１１０は、その後、アクチュエータ１１５に高い振幅の触覚効果を出力させるように構成される高い振幅のアクチュエータ信号を生成する。このように、触覚効果は、オリジナルのオーディオ信号の振幅特徴に対応する。
【００４６】
いくつかの具現化例にあって、プロセッサ１１０は、前記アクチュエータ信号及びオーディオ信号をアクチュエータ１１５及びスピーカ１２５にそれぞれ送信するように構成される。例えば、モバイル端末装置１００に向って大声をあげている第１の使用者及び対応する高振幅アクチュエータ信号を生成するプロセッサの前述の例に再度言及すれば、プロセッサ１１０は送信側使用者の叫び声からのオーディ信号とその結果として得られる高振幅アクチュエータ信号をスピーカ１２５及びアクチュエータ１１５にそれぞれ送信するように構成される。いくつかの具現化例にあって、スピーカ１２５は、触覚効果とそれに対応する音を両方とも生成する、アクチュエータ及びオーディオ信号を共に出力するように構成される。
【００４７】
別の具現化例にあって、プロセッサ１１０は、前記オーディオ信号に関連する単語を判断するために構成され、さらにその単語及び対応するアクチュエータ信号を遠隔端末装置１３０に送信する。例えば、そのような具現化例にあって、送信側使用者が「ANGRY」という大声をマイクロフォン１０５に向ってあげると、プロセッサ１１０は送信側使用者の大声からオーディオ信号を受信し、オーディオ信号の高振幅特徴を判断し、アクチュエータ１１５に高振幅触覚効果を出力させるように構成される高振幅アクチュエータ信号を生成する。プロセッサ１１０は、さらに単語「ANGRY」がオーディオ信号に関連しているのを判断もし、単語「ANGRY」及び高振幅アクチュエータ信号をコンピュータ読取可能媒体１２０に格納し、その後、前記単語「ANGRY」及び高振幅アクチュエータ信号を遠隔端末装置１３０に送信する。他の具現化例にあって、送信側使用者が、単語「ANGRY」をささやくか、普通の声のトーンで話しても、プロセッサ１１０は、自然な単語、すなわち会話の中のコンテンツに基づいた単語を伴う高振幅アクチュエータ信号を関連づけるかもしれない。
【００４８】
さらに、図１に示される具現化例にあって、プロセッサ１１０は、オーディオ信号の少なくとも一部分に基づいた複数の触覚効果を生成するように構成される。例えば、送信側使用者がマイクロフォン１０５に大声で「ANGRY」と叫んだ結果、高振幅アクチュエータ信号を生成するプロセッサ１１０に加えて、プロセッサ１１０は、高周波数触覚効果、長持続期間触覚効果、或いはオーディオ信号の少なくとも一部に基づいた触覚効果の組み合わせをも生成する。
【００４９】
一具現化例にあって、プロセッサ１１０は、前記特徴に関連した触覚効果ライブラリから触覚効果を識別することによってアクチュエータ信号を生成する。例えば、もし送信側使用者が語気を強めて「I AM EXCITED」とマイクロフォン１０５に向って叫ぶと、プロセッサ１１０は送信側使用者の叫びからオーディオ信号を受信し、オーディオ信号の高振幅、高周波数特徴を判断して、高振幅、高周波数アクチュエータ信号を、高振幅、高周波数特徴に関連した触覚効果ライブラリから、高振幅、高周波数を識別することによって生成する。
【００５０】
他の具現化例にあって、プロセッサ１１０は、オーディオ信号に関連した単語を判断し、さらにその単語の少なくとも一部に基づいてアクチュエータ信号を生成する。例えば、プロセッサ１１０が単語「LOVE」がオーディオ信号に関連していることを判断すると、プロセッサ１１０は、特定の触覚効果を伴う単語「LOVE」に関連する触覚効果ライブラリにて単語「LOVE」を識別することによってシミュレートされる心臓の鼓動触覚効果を引き起こすパルスアクチュエータ信号を生成する。
【００５１】
さらに別の具現化例にあって、プロセッサ１１０は、オーディオ信号の少なくとも一部及び単語の少なくとも一部に基づいたアクチュエータ信号を生成してもよい。例えば、送信側使用者が柔らかく、さらにはゆっくりと「LOVE」とマイクロフォン１０５に話しかけると、プロセッサ１１０は送信側使用者のステートメントからオーディオ信号を受信し、オーディオ信号の低振幅、低周波数特徴を判断し、低振幅、低周波数アクチュエータ信号を生成する。プロセッサ１１０は、さらに単語「LOVE」がオーディオ信号に関連していることを判断し、単語「LOVE」が特定の触覚効果に関連している触覚効果ライブラリにあって単語「LOVE」を識別することによってシミュレートされたハートビート触覚効果を引き起こすパルス化アクチュエータ信号を生成してもよい。プロセッサ１１０は、「LOVE」オーディオ信号の特徴によって、さらには単語「LOVE」の特徴によって判断される触覚効果を組み合わせるように構成されてもよく、低振幅、低周波数のシミュレートされたハートビート触覚効果という結果になる。
【００５２】
他の具現化例にあって、送信側使用者は、モバイル端末装置１００を通してメッセージを受信側使用者に送信することを望むかもしれない。送信側使用者は、モバイル端末装置１００のマイクロフォン１０５に「HAPPY BIRTHDAY」と話しかける。それに対して、プロセッサ１１０は、単語「HAPPY」及び「BIRTHDAY」がオーディオ信号に関連していることを判断し、さらに別々の触覚効果がそれぞれの単語に関連していることも判断する。プロセッサ１１０がそれぞれの単語と、触覚効果をアクチュエータ１１５に送信する。一具現化例にあって、プロセッサは、受信側使用者の端末装置に送信される「HAPPY BIRTHDAY」ソングに対応する触覚効果を引き起こすパルス化アクチュエータ信号を生成する。
【００５３】
他の具現化例にあって、モバイル端末装置１００のプロセッサ１１０は、オーディオ信号の少なくとも一部、及びオーディオ信号に含まれる単語の少なくとも一部に基づいてアクチュエータ信号を生成する。例えば、送信側使用者が「CAT」と柔らかくさらにはゆっくりとモバイル端末装置１００のマイクロフォン１０５に話しかけると、プロセッサ１１０は送信側使用者のステートメントからオーディオ信号を受け取り、オーディオ信号の低振幅、低周波数特徴を判断し、低振幅、低周波数のアクチュエータ信号を生成する。代替的に、プロセッサ１１０は、単語「CAT」がオーディオ信号に関連していると判断し、さらに、ゴロゴロというのどを鳴らす触覚効果を引き起こす速いパルス化アクチュエータ信号を生成する。
【００５４】
さらに他の具現化例にあって、図３を参照すると、送信側使用者は、例えばモバイル電話を含む第１の端末装置３００のマイクロフォンのような入力端末装置３３５に「HELP」と叫ぶ。第１の端末装置３００のプロセッサ３１０は、マイクロフォン３３５からオーディオ信号を受信し、オーディオ信号の高振幅、長い持続期間特徴を判断し、高振幅、短持続期間のアクチュエータ信号を生成する。同様に、第１の端末装置３００のプロセッサ３１０は、オーディオ信号に関連している単語「HELP」を判断し、さらにコンピュータ読取可能媒体３１５に単語「HELP」及びアクチュエータ信号を格納するように構成される。さらに、第１の端末装置３００のプロセッサ３１０は、高振幅、短持続期間特徴に関連された触覚効果ライブラリから高振幅、短持続期間触覚効果を識別することによって、高振幅、短持続期間アクチュエータ信号を生成するように構成される。同様に、第１の端末装置３００のプロセッサ３１０は、単語「HELP」が特定の触覚効果に関連している触覚効果ライブラリにあって単語「HELP」を識別することによってパルス化されたモールスコードＳ．Ｏ．Ｓ．触覚効果（ドット−ドット−ドット  ロング−ロング−ロング  ドット−ドット−ドット）を引き起こす、高振幅、短持続期間アクチュエータ信号を生成するように構成される。
【００５５】
図３を参照した、さらに他の具現化例にあって、第１の端末装置３００は、送信側端末装置であり、さらにその端末装置が、その端末装置が自動的に、触覚、聴覚及び／又は視覚メッセージを第２の受信側端末装置３５０に、予め定義された環境的な音に基づいて送信するところの、自動的な「リスニング」反応モードにあるように、構成される。例えば、警察官が、自動的な「リスニング」反応モードにある彼のモバイル端末装置を用いた送信側使用者であると、そのモバイル端末装置は、発砲音が警察官の端末装置によって識別されると、支援或いは警官のバックアップのリクエストが自動的に送信されるように構成される。このリスニングモードの他の具現化例にあって、警察官の端末装置は、警察間のバイオリズムを聞きだして、警察間が医療手当てを必要としているのを判断し、救急車のリクエストを自動的に送信する。これらのリクエストの送信は、特別で、局所的な任務であるかもしれない。例えば、前記送信は、その警察間のチームメンバのような、近くの一人以上の受け取り者に向けられるかもしれない。例えば、警察官のグループが逃亡者の共同捜索をしているときに、警察官の一人が、逃亡者を突き止めると、警察官の「リスニング」モードの端末装置は、逃亡者の位置に近い警察官を助けることのできる周辺の警察官に自動的なメッセージを送信する。そのような特徴は、警察官が逃亡者と闘っているときや、逃亡者を追いかけているときのような肉体的にこの情報を同僚の警察官に通信するのが困難なときに、非常に助けになる。
【００５６】
そのような具現化例にあって、結果として生じるオーディオ信号、単語、アクチュエータ信号、及び／又は触覚効果は、第１の端末装置３００から第２の端末装置３５０に、それらの各ネットワークインターフェース３２０及び３７０、さらにはネットワーク３８０を介して送信される。例えば、単語「HELP」及び単語「HELP」に関連した高振幅、短持続時間モールスコードＳ．Ｏ．Ｓ．触覚効果は、モバイル電話を含む第１の端末装置３００から、モバイル電話を含む第２の端末装置３５０に、テレコミュニケーションネットワークを含むネットワーク３８０を介して送信される。このように、第１の端末装置３００の送信側使用者は、触覚効果を伴った音声−テキストメッセージを第２の端末装置３５０の受信側使用者に送信することができる。他の具現化例にあって、オーディオ信号のみが第１の端末装置３００から第２の端末装置３５０に送信され、第２の端末装置３５０がその送信されてきた信号を分析して関連する触覚効果を生成してもよい。
【００５７】
実装の実例的な環境
本発明の具現化例は、障害者用のテレコミュニケーションのコンテキストで、好都合に利用される。例えば、具現化例は、聴覚或いは発話の困難を有する人々を、電話線を通したテキスト通信用電子端末装置によって支援するＴＴＹ（テレホンタイプライタ）アプリケーションにあって役に立つ。障害のある人が、伝統的なＴＴＹ端末装置を用いると、メッセージの感情とフィーリングがそのままのテキストであるために一般的に失われる。本発明の具現化例を用いることにより、障害のある人は、マイクロフォンに話しかけ、メッセージに関連した感情的なフィーリングが失われてしまう伝統的なＴＴＹ端末装置にテキストメッセージを直接的にタイピングする代わりに触覚効果を介して音声−テキスト変換の背後に感情を保つ。
【００５８】
本発明の具現化例は、ＳＭＳテキストメッセージのコンテキストでも好都合に利用される。例えば、多くの州は、自動車運転中にモバイル電話のテキストメッセージングと通話を禁止しているが、その同じ州は通常、ワイアレスブルートゥースイアピース端末或いは有線マイクロフォン及びイアーピース端末のようなハンドフリーデバイスの使用を、運転中の通話のために、運転者に許容している。これらのハンドフリーデバイスは、しかし、自動車運転の間、テキストメッセージの送信を支援しない。本発明の具現化例を用いることにより、運転者はマイクロフォンに話しかけ、音声メッセージを触覚効果に関連したテキストメッセージに変換する。本発明の具現化例は、運転者に法的にも安全面でも、運転中にテキストメッセージを送信させることを許容するが、テキストメッセージは触覚効果を介して音声メッセージから感情を保有し、送信側使用者に受信側使用者への感情の通信を許容する。
【００５９】
本発明の具現化例は、オンラインチャットコンテキスト或いは電子メールコンテキストにあって好都合に利用される。送信側使用者は、マイクロフォンに話しかけることができ、インターネットを介して受信側使用者に送信されるチャット或いは電子メール用にテキストメッセージに変換された音声メッセージを有する。ボイスメッセージ、或いは結果的に得られるチャットメッセージ或いは電子メールの単語に関連した触覚効果は、皮肉、誠実、或いは怒りのような広く様々な感情、及び他のコンテンツ及び伝達される言外の意味を許容しながら、チャットメッセージ或いは電子メールと共に送信される。この具現化例は、送信側使用者により自由に所望のメッセージをコンピュータネットワークを介して表現させる。
【００６０】
本発明の具現化例は、医療のコンテキストにあっても好都合に利用される。例えば、四肢麻痺の人或いは障害のある人である患者は、ボイスメッセージの使用及び触覚反応の受信により、コンピュータ或いは電話を利用することができる。ベッドがコンピュータと無線的に接続される一つ以上のアクチュエータが装備される。送信側或いは受信側使用者からのテキストメッセージに変換されたボイスメッセージに依存して、様々な触覚効果が入力及び出力される。同様の利点が、使用者が視覚及び／又は聴覚障害のある人でも、利用される通信チャンネルの数を低減するか或いは制限することによって、達成される。本発明の具現化例は、音響的或いは視覚的反応が邪魔されるような騒音或いは明るい環境にあっても好都合に利用される。例えば、本発明の一具現化例にあって、転倒した老人が、本発明の具現化例から、触覚フィードバックを、支援が必要な、或いは必要となりつつある、緊急の事態を示すために、送信或いは受信する。
【００６１】
本発明のいくつかの具現化例にあっては、軍事コンテキストにあっても有用である。例えば、転用動作にあって、オーディオチャンネルは、通信の特定のタイプを制限するか、或いは利用されない。本発明の一具現化例にあって、使用者は、ボイスメッセージを送ることができない軍事行動から触覚確認のテキストメッセージを得ることができるかもしれない。例えば、兵士は、テキストに変換され、テキストと触覚効果にて他の兵士に送信される命令への反応を声に出すことができる。そのような具現化例にあって、兵士は、一人以上の兵士の間の効果的な通信を許容する触覚効果の既定のセットを利用してもよい。例えば、司令官が口頭通信が安全だと考えられる領域におり、敵の陣地を通る兵士の隊の前進を監視している。司令官は、兵士が左に曲がるべきであることを示す口頭命令を出す。音声命令は、認識され、兵士にテキストメッセージ及び触覚効果として送信される。
【００６２】
一般原則
この発明は、いくつかの好ましい具現化例にて説明されてきたが、それらの具現化例の修正、置換及び等価は、明細書の読解と図面の研究により当業者にとって明らかである。例えば、ゲームプログラム、仮想現実プログラム及び環境、ビジネス会議のための電話会議アプリケーション、コンピュータネットワーク或いは他の通信チャンネルを用いた電話タイプの音声通信などの多くの異なるアプリケーションプログラムが本発明の音声−テキストメッセージ機能を用いることができる。さらに、ある種の専門用語は、記述的明確さの目的のために用いられるものであり、本発明を制限するためではない。以下に添付される特許請求の範囲が、そのような修正、置換、等価のすべてを本発明の真の精神及び範囲内における概念として含む。
【００６３】
このように、本発明の好ましい具現化例を含む具現化例の前述の説明は、実例及び説明の目的だけのためになされ、正確な開示された形式に発明を排他的にすること、制限することを意図したものではない。本発明の多くの変形及び適合が、当業者により、本発明の精神及び範囲からそれることなく理解されることが明らかである。
【図１】
2014211900.tif 000003
【図２】
2014211900.tif 000004
【図３】
2014211900.tif 000005
【図４】
2014211900.tif 000006
【図５】
2014211900.tif 000007
【図６】
2014211900.tif 000008
【手続補正書】
【提出日】平成26年7月22日(2014.7.22)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
図１に示される具現化例にあって、ネットワークインターフェース１３５は、ベースバンドプロセッサ及びモバイル端末装置１００に一つ以上のセルラーテレホンネットワークと通信をさせるように構成されるセルラーラディオを含む。いつくかの具現化例にあって、ネットワークインターフェース１３５は、他の通信端末装置を備えてもよい。例えば、一具現化例にあって、ネットワークインターフェース１３５は、８０２．１１無線イーサネット（登録商標）インターフェース、或いはブルートゥース(登録商標)インターフェースを含んでもよい。いくつかの具現化例にあって、ネットワークインターフェース１３５は、イーサネット（登録商標）アダプタのような有線ネットワークインターフェースを含んでもよい。モバイル端末装置１００は、メッセージ或いは信号を他のデバイスに送信するように構成される。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
図４は本発明の一具現化例に係る音声−テキスト変換の触覚増強用のコンピュータ実行可能な方法のフローチャートである。図４に示す触覚オーグメンテーション方法４００は、プロセッサによって入力信号が受信されたときに始まる（４０５）。一具現化例にあって、入力信号は、ユーザの音声によって生成されるような、音波のマイクロフォンの検知に応じたマイクロフォン１０５から受信される。他の具現化例にあって、入力信号はバイオセンサから受信される。さらに別の具現化例にあって、オーディオ信号は、ストレージ媒体から受信されてもよい。例えば、そのような具現化例にあって、オーディオ信号は、ユーザのボイスメールボックスにて／から受信される。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
プロセッサ１１０は、次に前記アクチュエータ信号をアクチュエータ１１５に送信する（４２０）。アクチュエータ信号は、判断された特徴に関連した特定の触覚効果をアクチュエータに出力させるように構成される。一旦、アクチュエータ１１５が前記アクチュエータ信号を受信すると、アクチュエータ１１５は触覚効果を出力する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
図６に示された具現化例にあって、一旦、プロセッサ１１０がオーディオ信号に関連した単語を判断すると、プロセッサはその単語に関連したアクチュエータ信号を判断する（６２０）。例えば、アクチュエータ信号は、オーディオ信号に関連する単語を決定するために用いられるように、同じデータストアに格納されてもよい。他の具現化例にあって、データストアは、別個で異なる。さらに他の具現化例にあって、触覚回避単語が実装される。そのような具現化例にあって、使用者が特定の単語のシーケンスを言うと、触覚効果がそのシーケンスに関連付けられる。例えば、使用者が特定の触覚効果をトリガするために「ウィンク  ウィンク」というと、触覚として参照されるかもしれない。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
一旦、プロセッサ１１０が単語とアクチュエータ信号を判断すると、プロセッサ１１０は、それらをアクチュエータ１１５に送信する（６２５）。その単語及びアクチュエータ信号を受け取った端末装置は、続いてその触覚効果を出力することができる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
さらに他の具現化例にあって、図３を参照すると、送信側使用者は、例えばモバイル電話を含む第１の端末装置３００のマイクロフォンのような入力端末装置３３５に「HELP」と叫ぶ。第１の端末装置３００のプロセッサ３１０は、マイクロフォン３３５からオーディオ信号を受信し、オーディオ信号の高振幅、短い持続期間特徴を判断し、高振幅、短持続期間のアクチュエータ信号を生成する。同様に、第１の端末装置３００のプロセッサ３１０は、オーディオ信号に関連している単語「HELP」を判断し、さらにコンピュータ読取可能媒体３１５に単語「HELP」及びアクチュエータ信号を格納するように構成される。さらに、第１の端末装置３００のプロセッサ３１０は、高振幅、短持続期間特徴に関連された触覚効果ライブラリから高振幅、短持続期間触覚効果を識別することによって、高振幅、短持続期間アクチュエータ信号を生成するように構成される。同様に、第１の端末装置３００のプロセッサ３１０は、単語「HELP」が特定の触覚効果に関連している触覚効果ライブラリにあって単語「HELP」を識別することによってパルス化されたモールスコードＳ．Ｏ．Ｓ．触覚効果（ドット−ドット−ドット  ロング−ロング−ロング  ドット−ドット−ドット）を引き起こす、高振幅、短持続期間アクチュエータ信号を生成するように構成される。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】変更
【補正の内容】
【００５５】
図３を参照した、さらに他の具現化例にあって、第１の端末装置３００は、送信側端末装置であり、さらにその端末装置が、その端末装置が自動的に、触覚、聴覚及び／又は視覚メッセージを第２の受信側端末装置３５０に、予め定義された環境的な音に基づいて送信するところの、自動的な「リスニング」反応モードにあるように、構成される。例えば、警察官が、自動的な「リスニング」反応モードにある彼のモバイル端末装置を用いた送信側使用者であると、そのモバイル端末装置は、発砲音が警察官の端末装置によって識別されると、支援或いは警官のバックアップのリクエストが自動的に送信されるように構成される。このリスニングモードの他の具現化例にあって、警察官の端末装置は、警察官のバイオリズムを聞きだして、警察官が医療手当てを必要としているのを判断し、救急車のリクエストを自動的に送信する。これらのリクエストの送信は、特別で、局所的な任務であるかもしれない。例えば、前記送信は、その警察官のチームメンバのような、近くの一人以上の受け取り者に向けられるかもしれない。例えば、警察官のグループが逃亡者の共同捜索をしているときに、警察官の一人が、逃亡者を突き止めると、警察官の「リスニング」モードの端末装置は、逃亡者の位置に近い警察官を助けることのできる周辺の警察官に自動的なメッセージを送信する。そのような特徴は、警察官が逃亡者と闘っているときや、逃亡者を追いかけているときのような肉体的にこの情報を同僚の警察官に通信するのが困難なときに、非常に助けになる。
【手続補正８】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
メモリと、
マイクロフォンと、
前記メモリ及び前記マイクロフォンと通信するプロセッサであり、
前記マイクロフォンから入力される音声信号を受信するため、
前記音声信号の特徴を判断するため、
前記音声信号の特徴の少なくとも一部に基づいたアクチュエータ信号であり、アクチュエータに触覚効果を出力させるように構成されるアクチュエータ信号を生成するために形成されるプロセッサと
を備える移動端末装置。
【請求項２】
前記プロセッサは、さらに
前記音声信号に関連する単語を判断するため、
前記単語及び前記アクチュエータ信号を第２移動端末装置に送信するため
に構成される請求項１記載の移動端末装置。
【請求項３】
前記単語はテキストメッセージによって前記第２移動端末装置に送信される請求項２記載の移動端末装置。
【請求項４】
前記テキストメッセージに関連するデータは前記アクチュエータ信号を含む請求項３記載の移動端末装置。
【請求項５】
前記プロセッサは、前記音声信号の特徴の少なくとも一部に基づいて複数のアクチュエータ信号を生成するためにさらに構成される請求項１記載の移動端末装置。
【請求項６】
前記プロセッサは、前記音声信号の特徴に関連する触覚効果ライブラリから触覚効果を識別することによって前記アクチュエータ信号を生成するために構成される請求項１記載の移動端末装置。
【請求項７】
前記プロセッサと通信するアクチュエータをさらに備え、このアクチュエータは前記アクチュエータ信号を受信し、かつ前記触覚効果を出力するために構成される請求項１記載の移動端末装置。
【請求項８】
タッチスクリーンインタフェースをディスプレイとしてさらに備える請求項１記載の移動端末装置。
【請求項９】
テレホンタイプライタ装置を備える請求項１記載の移動端末装置。
【請求項１０】
移動端末装置に収容されるマイクロフォンから入力音声を受信することと、
前記音声信号の特徴を判断することと、
前記音声信号の特徴の少なくとも一部に基づいたアクチュエータ信号であり、アクチュエータに触覚効果を出力させるように構成されるアクチュエータ信号を生成すること
を備えるコンピュータによって実行される方法。
【請求項１１】
前記音声信号に関連する単語を判断すること、
前記単語及び前記アクチュエータ信号を第２移動端末装置に送信すること
をさらに備える請求項１０記載のコンピュータによって実行される方法。
【請求項１２】
前記音声信号の特徴の少なくとも一部に基づいて複数のアクチュエータ信号を生成すること
をさらに備える請求項１０記載のコンピュータによって実行される方法。
【請求項１３】
前記アクチュエータ信号を生成することは、前記音声信号の特徴に関連する触覚効果ライブラリから触覚効果を識別することを含む請求項１０記載のコンピュータによって実行される方法。
【請求項１４】
前記移動端末装置は、テレホンタイプライタ装置を備える請求項１０記載のコンピュータによって実行される方法。
【請求項１５】
ネットワークを介して接続される送信側端末装置と受信側端末装置との少なくとも二つの端末装置によって構成されるシステムであって、
前記送信側端末装置は、少なくとも
メモリと、
前記メモリと通信するプロセッサであり、さらに、
マイクロフォンから入力される音声信号を受信するため、
前記音声信号の特徴を判断するため、
前記音声信号の特徴の少なくとも一部に基づいたアクチュエータ信号であり、アクチュエータに触覚効果を出力させるように構成されるアクチュエータ信号を生成するため
に形成されるプロセッサと、
前記マイクロフォンと、
前記アクチュエータ信号を前記受信側端末装置に前記ネットワークを介して送信するためのネットワークインターフェースと
を備え、
前記受信側端末装置は、少なくとも
メモリと、
前記送信側端末装置から送信された前記アクチュエータ信号を前記ネットワークを介して受信するためのネットワークインターフェースと、
前記メモリと通信するプロセッサであり、さらに
前記ネットワークインターフェースを介して受信した前記アクチュエータ信号に対応する触覚効果を判断するため、
前記判断した触覚効果をアクチュエータに出力させるため
に形成されるプロセッサと
を備えてなる、システム。
【請求項１６】
前記送信側端末装置は、さらに
前記音声信号に関連する単語を判断するため、
前記単語及び前記アクチュエータ信号を前記受信側端末装置に送信するため
に構成される請求項１５記載のシステム。
【請求項１７】
前記単語はテキストメッセージによって前記受信側端末装置に送信される請求項１６記載のシステム。
【請求項１８】
前記送信側端末装置又は前記受信側端末装置は、テレホンタイプライタ装置を備える請求項１５記載のシステム。
【請求項１９】
前記アクチュエータ信号を生成することは、前記音声信号の特徴に関連する触覚効果ライブラリから触覚効果を識別することを含む請求項１５記載のシステム。
【請求項２０】
前記送信側端末装置又は前記受信側端末装置の少なくとも一つは、ディスプレイとしてタッチスクリーンインタフェースを備える請求項１５記載のシステム。
【手続補正９】
【補正対象書類名】図面
【補正対象項目名】図５
【補正方法】変更
【補正の内容】
【図５】
2014211900.tif 000009
【外国語明細書】
2014211900.tif 000010
2014211900.tif 000011
2014211900.tif 000012
2014211900.tif 000013
2014211900.tif 000014
2014211900.tif 000015
2014211900.tif 000016
2014211900.tif 000017
2014211900.tif 000018
2014211900.tif 000019
2014211900.tif 000020
2014211900.tif 000021
2014211900.tif 000022
2014211900.tif 000023
2014211900.tif 000024
2014211900.tif 000025
2014211900.tif 000026
2014211900.tif 000027
2014211900.tif 000028
2014211900.tif 000029
2014211900.tif 000030
2014211900.tif 000031
2014211900.tif 000032
2014211900.tif 000033
2014211900.tif 000034