(57)【特許請求の範囲】
【請求項１】
コンピュータに実装された方法であって、
環境音を含む音響入力信号を受信することと、
前記音響入力信号に関連づけられた特徴を決定することと、
音声認識装置を使用して、前記音響入力信号に関連づけられた単語を決定することと、
アクチュエータに第１触覚効果を出力させるように構成された第１アクチュエータ信号を、前記特徴及び前記単語に少なくとも部分的に基づいて生成することと、
前記単語及び前記第１アクチュエータ信号を遠隔デバイスに送信することと、
前記遠隔デバイスにおける前記アクチュエータに、前記第１アクチュエータ信号に基づいて前記第１触覚効果を出力させることと
を含むコンピュータに実装された方法。
【請求項２】
前記特徴は、周波数、振幅又は持続時間の一つを含む請求項１のコンピュータに実装された方法。
【請求項３】
前記音響入力信号の少なくとも一部分をテキストに変換することと、
前記テキスト及び前記第１アクチュエータ信号を、電子メール、ＳＭＳメッセージ又はチャットメッセージを介して前記遠隔デバイスに送信することと
をさらに含む請求項１のコンピュータに実装された方法。
【請求項４】
前記第１アクチュエータ信号を生成することは、前記第１アクチュエータ信号を、触覚効果ライブラリにおけるデータに少なくとも部分的に基づいて生成することを含む請求項１のコンピュータに実装された方法。
【請求項５】
前記第１アクチュエータ信号を生成することは、
前記特徴に少なくとも部分的に基づいて第２触覚効果を決定することと、
前記単語に少なくとも部分的に基づいて第３触覚効果を決定することと、
前記第１アクチュエータ信号を、前記第２触覚効果及び前記第３触覚効果に少なくとも部分的に基づいて生成することと
を含む請求項１のコンピュータに実装された方法。
【請求項６】
バイオセンサからセンサ信号を受信することと、
前記バイオセンサからの前記センサ信号に少なくとも部分的に基づいて第２アクチュエータ信号を生成することと
をさらに含む請求項１のコンピュータに実装された方法。
【請求項７】
前記単語は複数の単語を含み、
前記第１アクチュエータ信号は、前記複数の単語に少なくとも部分的に基づいて生成される請求項１のコンピュータに実装された方法。
【請求項８】
前記第１触覚効果は、歌の節に関連づけられた複数のパルスを含む請求項１のコンピュータに実装された方法。
【請求項９】
前記第１触覚効果はモールス信号を含む請求項１のコンピュータに実装された方法。
【請求項１０】
システムであって、
メモリと、
前記メモリと通信するプロセッサと
を含み、
前記プロセッサは、
環境音を含む音響入力信号を受信し、
前記音響入力信号に関連づけられた特徴を決定し、
音声認識装置を使用して、前記音響入力信号に関連づけられた単語を決定し、
アクチュエータに第１触覚効果を出力させるように構成された第１アクチュエータ信号を、前記特徴及び前記単語に少なくとも部分的に基づいて生成し、
前記単語及び前記第１アクチュエータ信号を遠隔デバイスに送信し、
前記遠隔デバイスにおける前記アクチュエータに前記第１触覚効果を出力させるように構成されるシステム。
【請求項１１】
前記特徴は、周波数、振幅又は持続時間の一つを含む請求項１０のシステム。
【請求項１２】
前記プロセッサはさらに、
前記音響入力信号をテキストに変換し、
前記テキスト及び前記第１アクチュエータ信号を、電子メール、ＳＭＳメッセージ又はチャットメッセージを介して前記遠隔デバイスに送信するべく構成される請求項１０のシステム。
【請求項１３】
前記プロセッサはさらに、触覚効果ライブラリにおけるデータに少なくとも部分的に基づいて前記第１アクチュエータ信号を生成するように構成される請求項１０のシステム。
【請求項１４】
前記プロセッサはさらに、
前記第１アクチュエータ信号を生成するべく、前記特徴に少なくとも部分的に基づいて第２触覚効果を決定することと、
前記単語に少なくとも部分的に基づいて第３触覚効果を決定することと、
前記第２触覚効果及び前記第３触覚効果に少なくとも部分的に基づいて前記第１アクチュエータ信号を生成することと
を行う請求項１０のシステム。
【請求項１５】
前記プロセッサと通信するバイオセンサをさらに含み、
前記プロセッサはさらに、
前記バイオセンサからセンサ信号を受信し、
前記バイオセンサの前記センサ信号に少なくとも部分的に基づいて第２アクチュエータ信号を生成するように構成される請求項１０のシステム。
【請求項１６】
前記単語は複数の単語を含み、
前記プロセッサはさらに、
前記複数の単語の少なくとも２つに少なくとも部分的に基づいて前記第１アクチュエータ信号を生成するように構成される請求項１０のシステム。
【請求項１７】
前記第１触覚効果は、歌の節に関連づけられた複数のパルスを含む請求項１０のシステム。
【請求項１８】
前記第１触覚効果はモールス信号を含む請求項１０のシステム。
【請求項１９】
コンピュータに実装された方法であって、
環境音を代表する音響入力信号を受信することと、
前記音響入力信号に関連づけられた第１特徴を決定することと、
バイオセンサからセンサ信号を受信することと、
前記バイオセンサからの前記センサ信号に関連づけられた第２特徴を決定することと、
それぞれがアクチュエータに触覚効果を出力させるように構成された第１アクチュエータ信号及び第２アクチュエータ信号を、前記第１特徴及び前記第２特徴それぞれに少なくとも部分的に基づいて生成することと、
前記第１アクチュエータ信号及び前記第２アクチュエータ信号を遠隔デバイスに送信することと、
前記遠隔デバイスにおける前記アクチュエータに、前記第１アクチュエータ信号及び前記第２アクチュエータ信号に基づいて前記触覚効果を出力させることと
を含み、
前記環境音はユーザが発話する音声以外の音であるコンピュータに実装された方法。
【請求項２０】
前記センサ信号は、心拍数、呼吸数、体温及びバイオリズムの少なくとも一つに関連づけられる請求項１９のコンピュータに実装された方法。
【請求項２１】
音声認識装置を使用して、前記第１特徴に関連づけられた単語を決定することをさらに含み、
前記第１アクチュエータ信号を前記遠隔デバイスに送信することは、前記第１アクチュエータ信号及び前記単語を前記遠隔デバイスに送信することを含み、
前記第１特徴は前記単語を含み、
前記第１アクチュエータ信号は、触覚効果ライブラリに少なくとも部分的に基づいて生成される請求項１９のコンピュータに実装された方法。
【請求項２２】
前記遠隔デバイスは、前記ユーザから所定範囲内に存在する請求項１９のコンピュータに実装された方法。
【請求項２３】
前記遠隔デバイスは、所定ユーザ又は所定グループのユーザに関連づけられる請求項２２のコンピュータに実装された方法。
【請求項２４】
前記触覚効果は、前記ユーザに関連づけられたタスクに少なくとも部分的に基づく請求項１９のコンピュータに実装された方法。
【請求項２５】
前記触覚効果は、前記ユーザに関連づけられた状態に少なくとも部分的に基づく請求項１９のコンピュータに実装された方法。
【請求項２６】
前記状態は、前記バイオセンサからの前記センサ信号に少なくとも部分的に基づく請求項２５のコンピュータに実装された方法。
【請求項２７】
システムであって、
メモリと、
前記メモリと通信するプロセッサと
を含み、
前記プロセッサは、
環境音を代表する音響入力信号を受信し、
前記音響入力信号に関連づけられた第１特徴を決定し、
バイオセンサからセンサ信号を受信し、
前記バイオセンサからの前記センサ信号に関連づけられた第２特徴を決定し、
それぞれがアクチュエータに触覚効果を出力させるように構成された第１アクチュエータ信号及び第２アクチュエータ信号を、前記第１特徴及び前記第２特徴それぞれに少なくとも部分的に基づいて生成し、
前記第１アクチュエータ信号及び前記第２アクチュエータ信号を遠隔デバイスに送信し、
前記遠隔デバイスにおける前記アクチュエータに前記触覚効果を出力させるように構成され、
前記環境音はユーザが発話する音声以外の音であるシステム。
【請求項２８】
前記センサ信号は、心拍数、呼吸数、体温及びバイオリズムの少なくとも一つに関連づけられる請求項２７のシステム。
【請求項２９】
前記プロセッサはさらに、音声認識装置を使用して、前記第１特徴に関連づけられた単語を決定するように構成され、
前記第１アクチュエータ信号を前記遠隔デバイスに送信することは、前記第１アクチュエータ信号及び前記単語を前記遠隔デバイスに送信することを含み、
前記第１特徴は前記単語を含み、
前記第１アクチュエータ信号は、触覚効果ライブラリに少なくとも部分的に基づいて生成される請求項２７のシステム。
【請求項３０】
前記遠隔デバイスは、前記ユーザから所定範囲に存在する請求項２７のシステム。
【請求項３１】
前記遠隔デバイスは、所定ユーザ又は所定グループのユーザに関連づけられる請求項３０のシステム。
【請求項３２】
前記触覚効果は、前記ユーザに関連づけられたタスクに少なくとも部分的に基づく請求項２７のシステム。
【請求項３３】
前記触覚効果は、前記ユーザに関連づけられた身体状態に少なくとも部分的に基づく請求項２７のシステム。
【請求項３４】
前記身体状態は、前記バイオセンサからの前記センサ信号に少なくとも部分的に基づく請求項３３のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般にユーザインタフェイスのシステム及び方法に関し、詳しくは、音声／テキスト変換の触覚による拡張を目的とするシステム及び方法に関する。
【０００２】
関連出願の相互参照
本特許出願は、２００９年１０月２９日出願の「音声／テキスト変換の触覚による拡張を目的とするシステムと方法」との名称の米国特許出願第１２／６０８，７０７号の優先権を主張する。その全体がここに参照として組み入れられる。
【背景技術】
【０００３】
電子デバイスがユーザに対し、視覚及び聴覚フィードバックを含む様々なフィードバックを与える。デバイスの中には、触覚フィードバックをユーザに与えるものもある。触覚フィードバックによって、いくつかの場合、ユーザが受け取るメッセージに、当該メッセージ自体においては明らかとはいえない情報が与えられる。例えば、テキストメッセージに変換された音声メッセージによっては、送り手ユーザが当該メッセージに表現された話題について感じる感情のレベルを伝えることができず、又は当該メッセージに関する他の文脈情報を伝えることができないことがある。ユーザは多くの場合、周知の記号（例えば顔文字）をメッセージに添付することによってこうした言外の意を表現し、この空白を埋めようとする。しかしながら、かかる記号では、伝えることができるメッセージの複雑性に限りがある。これとは対照的に、触覚フィードバックは、かかる言外の意を他のユーザに表現する複雑かつ直接的な方法を、思わず引き込まれる態様で与えることができる。
【発明の概要】
【０００４】
本発明は、音声／テキスト変換の触覚による拡張を目的とするシステム及び方法を含む。例えば、本発明の一実施形態は、コンピュータに実装された方法を含む。この方法は、マイクロホンからの音声に関連づけられた音響信号を受信するステップと、当該音響信号の特徴を決定するステップと、当該特徴に少なくとも部分的に基づいてアクチュエータ信号を生成するステップとを含む。アクチュエータ信号は、アクチュエータに触覚効果を出力させるべく構成される。他実施形態は、かかる方法の実行を目的とするプロセッサ実行可能プログラムコードがコード化されたコンピュータ可読媒体を含む。これらの具体的な実施形態は、本発明を限定又は画定するために言及されるわけではなく、その理解を補助する例を与える。具体的な実施形態が、詳細な説明に述べられ、本発明のさらなる説明が与えられる。本明細書を精査することによって、本発明の様々な実施形態をさらに理解することができる。
【図面の簡単な説明】
【０００５】
本発明のこれらの及び他の特徴、側面及び利点が、以下の詳細な説明を添付図面を参照しながら読むことで良好に理解される。
【０００６】
【図１】本発明の一実施形態に係る音声／テキスト変換の触覚による拡張を目的とするシステムのブロック図である。
【図２】本発明の一実施形態に係る音声／テキスト変換の触覚による拡張を目的とするシステムの例示である。
【図３】本発明の一実施形態に係る音声／テキスト変換の触覚による拡張を目的とするシステムのブロック図である。
【図４】本発明の一実施形態に係る音声／テキスト変換の触覚による拡張を目的とする、コンピュータに実装された方法のフロー図である。
【図５】本発明の一実施形態に係る音声／テキスト変換の触覚による拡張を目的とする、コンピュータに実装された方法のフロー図である。
【図６】本発明の一実施形態に係る音声／テキスト変換の触覚による拡張を目的とする、コンピュータに実装された方法のフロー図である。
【発明を実施するための形態】
【０００７】
本発明の実施形態は、音声／テキスト変換の触覚による拡張を目的とするシステム及び方法を与える。
【０００８】
音声／テキスト変換の触覚による拡張を目的とする具体的なシステム
【０００９】
本発明の一つの具体的な実施形態において、携帯電話機が、プロセッサと、当該プロセッサと通信するマイクロホン及びスピーカとを含む。携帯電話機はまた、プロセッサと通信するアクチュエータを含む。アクチュエータは、携帯電話機のユーザが感じ得る触覚効果を出力することができる。ユーザは、当該電話機を使用して音声メッセージを記録することができる。その後、当該音声メッセージが、プロセッサによってテキストメッセージへと変換される。加えて、プロセッサは、音声メッセージを分析して当該メッセージの特徴を決定するように構成される。
【００１０】
例えば、かかる実施形態の一つにおいて、ユーザの音声メッセージの周波数、振幅及び持続時間が分析され、プロセッサは、これらのパラメータに対応する触覚効果を決定する。その後、プロセッサは、当該単数又は複数の触覚効果を、当該メッセージのテキスト版に関連づけ、意図された受け手に当該メッセージを送信する。第２実施形態において、ユーザのバイオリズムが分析され、プロセッサは、ユーザのバイオリズム応答に対応する触覚効果を決定する。その後、上述のようにプロセッサは、当該単数又は複数の触覚効果を、当該メッセージのテキスト版に関連づけ、意図された受け手に当該メッセージを送信する。さらに想起されることだが、音声分析及びバイオリズムが、意図された受け手に送信される触覚効果の決定に至るように、プロセッサによって同時に行うことができる。
【００１１】
具体的な実施形態において、受け手はまた、偏心回転質量（「ＥＲＭ」）モータのような触覚効果出力アクチュエータを含む携帯デバイスを有する。受け手がメッセージを開くと、当該メッセージに関連づけられた単数又は複数の触覚効果が、携帯デバイスを介して当該受け手へと出力される。
【００１２】
例えば、第１ユーザは、叫ぶことによってメッセージを作ることができる。その音声メッセージをプロセッサが分析すると、プロセッサは、得られたテキストメッセージを高振幅触覚効果に関連づけるので、受け手ユーザは、当該メッセージの中に埋め込まれた感情を「感じる」ことができる。他例において、ユーザが甲高い声で話している間に音声メッセージを作り出すとき、プロセッサは、高周波数の触覚効果を、得られるテキストメッセージに関連づける。
【００１３】
これらの具体的な例は、ここに説明される一般的な主題を読み手に紹介するように与えられる。本発明は、これらの例に限られない。以下のセクションでは、音声／テキスト変換の触覚による拡張を目的とするシステム及び方法の様々な付加的実施形態及び例が説明される。
【００１４】
音声／テキスト拡張の具体的なシステム
【００１５】
ここで図面を参照するが、いくつかの図面にわたり同じ番号が同じ要素を示す。図１は、本発明の一実施形態に係る音声／テキスト変換の触覚による拡張を目的とするシステムのブロック図を示す。図１に示されるように、システムは携帯デバイス１００を含む。一実施形態において、携帯デバイス１００は携帯電話機を含む。他実施形態において、携帯デバイス１００は他の、携帯デジタルアシスタント（ＰＤＡ）、携帯メディアプレーヤー、携帯ゲーミングデバイス又はノート型パソコンのような携帯型又はハンドヘルド型の電子デバイスを含み得る。いくつかの実施形態において、携帯デバイス１００は、その代わりに、デスクトップパソコンのような非携帯型電子デバイスを含み得る。
【００１６】
図１に示される実施形態において、携帯デバイス１００はマイクロホン１０５を含む。マイクロホン１０５は、ユーザの声又は環境音のような音響を受け取り、その音響を対応入力信号に変換する。その対応入力信号は、当該マイクロホンからの音響信号に少なくとも部分的に基づく。図１に示される実施形態において、携帯デバイス１００はまた、バイオセンサ１０６を含む。バイオセンサ１０６は、ユーザのバイオリズムのような生体情報を受け取り、その生体情報を、当該バイオセンサデータに少なくとも部分的に基づいて対応入力信号に変換する。
【００１７】
携帯デバイス１００はまた、マイクロホン１０５と通信するプロセッサ１１０を含む。図示の実施形態において、プロセッサ１１０は、マイクロホン１０５から音響信号を受信して当該音響信号を処理するように構成される。例えば、プロセッサ１１０は、音響信号を分析して当該音響信号の一以上の特徴を決定することができる。他実施形態において、携帯デバイス１００は、同時に作動する複数のプロセッサを含み得る。かかるプロセッサは、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）及び状態機械を含み得る。かかるプロセッサはさらに、ＰＬＣ、プログラマブル割込みコントローラ（ＰＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、プログラマブルリードオンリーメモリ（ＰＲＯＭ）、電子プログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はＥＥＰＲＯＭ）、又は他の同様のデバイスのようなプログラマブル電子デバイスを含み得る。
【００１８】
携帯デバイス１００はまた、プロセッサ１１５と通信するアクチュエータ１１５を含む。アクチュエータ１１５はまた、様々なタイプのアクチュエータの一以上を含み得る。例えば、アクチュエータ１１５は、圧電アクチュエータ、電子モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性高分子、ソレノイド、偏心回転質量モータ（ＥＲＭ）、又は線形共振アクチュエータ（ＬＲＡ）であり得る。一実施形態において、携帯デバイス１００は複数のアクチュエータを含み得る。かかる実施形態において、プロセッサ１１０は、複数のアクチュエータの少なくとも一つに触覚信号を送信するように構成される。
【００１９】
依然として図１を参照すると、携帯デバイス１００はコンピュータ可読媒体１２０も含む。コンピュータ可読媒体１２０は、プロセッサ１１０により実行される場合に当該プロセッサに、ここに開示の方法の様々なステップを実行させるプログラムコードを記憶するように使用することができる。本発明の実施形態は、デジタル電子回路、コンピュータハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせに実装することができる。ランダムアクセスメモリ（ＲＡＭ）のようなコンピュータ可読媒体１２０が、プロセッサ１１０と通信し、又はプロセッサ１１０に結合される。プロセッサ１１０は、音響信号を分析するべく一以上のコンピュータプログラムを実行することのように、コンピュータ可読媒体１２０に記憶されたコンピュータ実行可能プログラム命令を実行する。
【００２０】
コンピュータ可読媒体の実施形態は、携帯デバイス１００におけるプロセッサ１１０のようなプロセッサに、コンピュータ可読命令を与えることができる電子的、光学的、磁気的又は他の記憶デバイスを含み得るがこれらに限られない。他例の媒体は、フロッピーディスク（登録商標）、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、すべての光学媒体、すべての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取り可能な任意の他の媒体を含むがこれらに限られない。ここに記載のプロセッサ及び処理は、一以上の構造体に存在させることができ、及び一以上の構造体にわたって分散させることもできる。
【００２１】
図１に示される実施形態において、携帯デバイス１００はまた、プロセッサ１１０と通信するスピーカ１２５を含む。スピーカ１２５は、音声メッセージのような音響信号を出力するように構成される。一実施形態において、スピーカ１２５はまた、音響信号及び触覚効果の双方を出力するべくアクチュエータ１１５と組み合わせることができる。
【００２２】
図示の携帯デバイス１００はディスプレイ１４０も含む。例えば、携帯デバイス１００がＰＤＡである実施形態において、ディスプレイ１４０は、メッセージをユーザに表示するタッチスクリーンインタフェイスを含み得る。
【００２３】
携帯デバイス１００はまた、プロセッサ１１０と通信するネットワークインタフェイス１３５を含む。ネットワークインタフェイス１３５により、携帯デバイス１００は、ネットワーク１５０を経由して遠隔デバイス１３０と通信することができる。例えば、一実施形態において、携帯デバイス１００は、インターネットを経由して他の携帯デバイスと、又はコンピュータ若しくは他の遠隔通信デバイスと通信することができる。
【００２４】
図１に示される実施形態において、ネットワークインタフェイス１３５は、携帯デバイス１００が一以上のセルラー電話ネットワークを経由して通信できるようにするベース帯域プロセッサ及びセルラーラジオを含む。いくつかの実施形態において、ネットワークインタフェイス１３５は、他の通信デバイスを含み得る。例えば、一実施形態において、ネットワークインタフェイス１３５は、８０２．１１無線イーサネット（登録商標）インタフェイス又はブルートゥース（登録商標）インタフェイスを含み得る。いくつかの実施形態において、ネットワークインタフェイス２２０は、イーサネットアダプタのような有線ネットワークインタフェイスを含み得る。携帯デバイス１００は、メッセージ又は信号を他のデバイスに送信するように構成することができる。
【００２５】
ここで図２を参照する。図２は、本発明の一実施形態に係る、音声／テキスト変換の触覚による拡張を目的とするシステムの例示である。図２に示される実施形態において、携帯電話機２００は、マイクロホン２０５及びディスプレイ２４０を含む。携帯電話機はまた、プロセッサ、アクチュエータ、コンピュータ可読媒体及びネットワークインタフェイスを含む。これらは、携帯電話機２００の中に配置されるが、いずれも図２には示されない。
【００２６】
ここで図３を参照する。図３は、本発明の一実施形態に係る、音声／テキスト変換の触覚による拡張を目的とするシステムのブロック図である。図３に示される実施形態において、システムは、ネットワーク３８０を経由して通信する２つのデバイス、すなわちデバイスＡ３００及びデバイスＢ３５０を含む。いくつかの実施形態において、第１デバイスすなわちデバイスＡ３００、又は第２デバイスすなわちデバイスＢ３５０は、携帯デジタルアシスタント（ＰＤＡ）、携帯メディアプレーヤー、携帯ゲーミングデバイス、ノート型パソコン又は携帯電話機のような携帯型又はハンドヘルド型の電子デバイスを含む。他実施形態において、第１デバイス３００又は第２デバイス３５０は、デスクトップパソコンのような非携帯型の電子デバイスを含む。
【００２７】
図３に示される実施形態において、第１デバイス３００は、プロセッサ３１０、コンピュータ可読媒体３１５、ネットワークインタフェイス３２０、及び、マイクロホン／バイオセンサ３３５のような入力デバイスを含む。いくつかの実施形態において、第１デバイスすなわちデバイスＡ３００はまた、これより多い又は少ない数のコンポーネントを含み得る。例えば、デバイスＡ３００は、ブルートゥースコンポーネント、タッチセンシティブ表面、マウス及び／又はキーボードの一以上を包含し得る。デバイスＡ３００のコンポーネントは、図１の携帯デバイス１００に関連して図示及び記載されたものの対応コンポーネントと同様に機能する。
【００２８】
図３に示される実施形態において、第２デバイスすなわちデバイスＢ３５０は、プロセッサ３６０、コンピュータ可読媒体３６５、ネットワークインタフェイス３７０及びアクチュエータ３７５を含む。いくつかの実施形態において、第１デバイス３００と第２デバイス３５０とは類似又は同一のデバイスであるが、他実施形態においてはそうではない。
【００２９】
図３に示される実施形態において、第１及び第２デバイスプロセッサ３１０及び３６０は、それぞれのネットワークインタフェイス３２０及び３７０と通信する。図示の実施形態において、ネットワークインタフェイス３２０及び３７０はそれぞれ、ネットワーク３８０を使用してデバイス３００及び３５０が互いに又は他のデバイスと通信できるように構成されたベース帯域プロセッサ及びセルラーラジオを含む。例えば、かかる実施形態は、一以上のセルラー電話ネットワークを含むネットワーク３８０を経由して通信することができる。他実施形態において、ネットワークインタフェイス３２０は、８０２．１１無線イーサネット、有線イーサネット、ブルートゥース又はＵＳＢのような他のタイプのネットワークインタフェイスも含み得る。例えば、一実施形態において、ネットワークインタフェイス３２０は、８０２．１１無線イーサネットインタフェイスを含み得る。
【００３０】
音声／テキストを拡張する具体的な方法
【００３１】
図４〜６は、本発明の実施形態に係る様々な方法を例示するフロー図である。フロー図は、図１に示される携帯デバイス１００に関連して説明される。ただし、様々な他の、本発明の実施形態の実装環境も利用することができ、かかる環境のいくつかがここに記載される。
【００３２】
図４は、本発明の一実施形態に係る音声／テキスト変換の触覚による拡張を目的とする、コンピュータに実装された方法のフロー図である。図４に示される触覚による拡張方法４００は、プロセッサ４０５が入力信号を受信するところから開始する。一実施形態において、入力信号はマイクロホン１０５から、ユーザの音声により生成されるもののような音波を当該マイクロホンが検知することに応答して受信される。他実施形態において、入力信号はバイオセンサから受信される。他実施形態において、音響信号は記憶媒体から受信してよい。
【００３３】
例えば、かかる一実施形態において、音響信号は、ユーザのボイスメールボックスにおいて又は当該ボイスメールボックスから受信される。
【００３４】
ひとたび入力信号が受信されると、プロセッサ１１０は、当該入力信号を分析して入力信号４１０の一以上の特徴を決定することができる。例えば、プロセッサ１１０は、音響信号が特定の周波数及び／又は振幅を有すると決定することができる。また、プロセッサ１１０は、バイオセンサ信号が特定のバイオリズムを含むと決定することができる。
【００３５】
プロセッサ１１０は次に、決定された特徴に少なくとも部分的に基づいて、アクチュエータ信号４１５を生成する。一実施形態において、当該決定は、様々な特徴に関連づけられた触覚効果のライブラリを検索することによって達成される。他実施形態において、当該決定は、計算に基づいてよい。いくつかの実施形態において、単数の触覚効果が出力される。他実施形態において、複数の触覚効果が出力されてよい。
【００３６】
プロセッサ１１０は次に、アクチュエータ信号をアクチュエータ（１１５）４１５に送信する。アクチュエータ信号は、決定された特徴に関連づけられた特定の触覚効果をアクチュエータ１１５に出力させるように構成される。ひとたびアクチュエータ１１５が当該信号を受信すると、アクチュエータ１１５は触覚効果を出力する。
【００３７】
ここで図５を参照する。図５は、本発明の一実施形態に係る、音声／テキスト変換の触覚による拡張を目的とするコンピュータに実装された方法のフロー図である。図５に示される触覚による拡張方法５００は、プロセッサ１１０が、マイクロホン又はバイオセンサ５０５のような入力デバイスから入力信号を受信するところから開始する。図示の実施形態において、入力信号は、マイクロホン１０５から受信される。
【００３８】
プロセッサ１１０は、入力信号５１０の特徴を決定するべく当該入力信号を分析する。特徴は、例えば、音響信号の周波数、振幅、持続時間又は他のパラメータであり得る。また、特徴は、人の心拍数、呼吸、体温又はバイオリズムのような、人の生物学的尺度であり得る。
【００３９】
プロセッサ１１０はその後、入力信号５１５の一以上の特徴に少なくとも部分的に基づいて一以上のアクチュエータ信号を生成する。各アクチュエータ信号は、アクチュエータに触覚効果を出力させるように構成される。
【００４０】
図示の実施形態において、ひとたびアクチュエータ信号が生成されると、プロセッサ１１０は、アクチュエータ信号を一以上のアクチュエータ５２０に送信する。例えば、単数のアクチュエータを含む一実施形態において、プロセッサ１１０はアクチュエータ信号を、当該アクチュエータ（例えばアクチュエータ１１５）のみに送信する。複数のアクチュエータを含む他実施形態において、プロセッサ１１０は、単数のアクチュエータ信号を当該アクチュエータのすべてに送信する。さらなる他実施形態において、プロセッサ１１０は、別個の、かつ潜在的に異なるアクチュエータ信号を、複数のアクチュエータのそれぞれに送信する。
【００４１】
ここで図６を参照する。図６は、本発明の一実施形態に係る、音声／テキスト変換の触覚による拡張を目的とするコンピュータに実装された方法のフロー図である。図示の触覚による拡張方法６００において、プロセッサ１１０は音響信号６０５を受信する。
【００４２】
プロセッサ１１０はその後、音響信号６１０の特徴を決定し、音響信号６１５に少なくとも部分的に基づいてアクチュエータ信号を生成する。アクチュエータ信号は、触覚効果をアクチュエータ１１５に出力させるように構成される。
【００４３】
プロセッサ１１０はその後、音声認識装置を使用して、音響信号６２０に関連づけられた単語を決定する。例えば、プロセッサ１１０は、音響信号を単語に一致させるべく、単語のリスト、及び関連づけられた特徴を含むデータ記憶部にアクセスする。
【００４４】
図６に示される実施形態において、ひとたびプロセッサ１１０が、音響信号に関連づけられた単語を決定すると、当該プロセッサは、単語６２５に関連づけられたアクチュエータ信号を決定する。例えば、アクチュエータ信号は、音響信号に関連づけられた単語を決定するのに使用されたものと同じデータ記憶部に記憶することができる。他実施形態において、データ記憶部は別個でありかつ異なる。さらなる他実施形態において、触覚エスケープワードが実装される。かかる実施形態において、ユーザが特定シーケンスの単語を発話すると、当該シーケンスに触覚効果が関連づけられる。例えば、ハプティコンと称され得る特定の触覚効果を発動させるべく、ユーザが「ウィンクウインク」と発話することができる。
【００４５】
ひとたびプロセッサ１１０が単語及びアクチュエータ信号を決定すると、プロセッサ１１０はこれらをアクチュエータ（１１５）６２０に送信する。その後、単語及びアクチュエータ信号を受信するデバイスが触覚効果を出力することができる。
【００４６】
音声／テキスト拡張の具体的な実装
【００４７】
本発明の実施形態は、様々なユーザ体験を与える様々な態様で実装することができる。以下の例は、図１に関連して記載される。これらの例のいくつかにとって仮定されるのは、メッセージを送信している第１ユーザと、メッセージを受信している第２ユーザとが双方とも、図１に例示される携帯デバイス１００を使用していることである。例えば、図１に示される実施形態において、送り手ユーザはテキストメッセージを、携帯デバイス１００を介して受け手ユーザに送信しようと望み得る。テキストメッセージをタイピングするべくキーボードを使用する代わりに、送り手ユーザは音声メッセージを、受け手ユーザに送信されるテキストメッセージに変換しようと望み得る。すなわち、送り手ユーザは、マイクロホン１０５に話しかけ、マイクロホン１０５は、対応する音響信号を生成して当該音響信号をプロセッサ１１０に送信する。プロセッサ１１０はまた、同時に又は実質的に同時に当該音声をテキストに変換する。かかる音声／テキスト変換プロセスは、当業者にとって周知である。かかる一つのアプリケーションが、ＳｐｉｎＶｏｘと称される企業によって作られている。
【００４８】
プロセッサ１１０は、送り手ユーザの音響信号を受信して当該音響信号の特徴を決定する。特徴は、音響信号の周波数、振幅、持続時間又は他のパラメータであり得る。プロセッサ１１０はその後、送り手ユーザによって作られた音響信号の特徴に少なくとも部分的に基づいてアクチュエータ信号を生成する。プロセッサ１１０はその後、アクチュエータ信号をアクチュエータ１１５に送信する。アクチュエータ信号は、触覚効果をアクチュエータ１１５に出力させる。この触覚効果をユーザは、感じることができる。
【００４９】
例えば、送り手ユーザが携帯デバイス１００のマイクロホン１０５に向かって叫ぶと、プロセッサ１１０は、音響信号が高振幅の特徴を有すると決定することができる。プロセッサ１１０はその後、高振幅の触覚効果をアクチュエータ１１５に出力させるべく構成された高振幅のアクチュエータ信号を生成することができる。すなわち、触覚効果は、当初の音響信号の振幅特徴に対応する。
【００５０】
いくつかの実施形態において、プロセッサ１１０は、アクチュエータ信号及び音響信号の双方を、アクチュエータ１１５及びスピーカ１２５それぞれに送信するように構成することができる。例えば、再びであるが、第１ユーザが携帯デバイス１００に叫んでプロセッサが対応高振幅アクチュエータ信号を生成する上述の例を参照すると、プロセッサ１１０は、送り手ユーザの叫び声からの音響信号と、得られた高振幅アクチュエータ信号とを、スピーカ１２５及びアクチュエータ１１５それぞれに送信するように構成することができる。いくつかの実施形態において、スピーカ１２５は、アクチュエータ信号及び音響信号の双方を出力して触覚効果及び対応音声の双方を生成するように構成することができる。
【００５１】
他実施形態において、プロセッサ１１０は、音響信号に関連づけられた単語を決定して対応アクチュエータ信号を遠隔デバイス１３０に送信するように構成することができる。例えば、かかる実施形態において、送り手ユーザがマイクロホン１０５に向かって「怒った」と叫ぶと、プロセッサ１１０は、当該送り手ユーザの叫びからの音響信号を受信し、当該音響信号の高振幅の特徴を決定し、高振幅の触覚効果をアクチュエータ１１５に出力させるように構成された高振幅のアクチュエータ信号を生成する。プロセッサ１１０はまた、単語「怒った」が当該音響信号に関連づけられていることを決定し、単語「怒った」及び高振幅のアクチュエータ信号をコンピュータ可読媒体１２０に記憶し、その後、単語「怒った」及び高振幅のアクチュエータ信号を遠隔デバイス１３０に送信することができる。他実施形態において、送り手ユーザは、単語「怒った」をささやくか又は通常の口調で言うことができるが、プロセッサ１１０は依然として、コミュニケーションにおける単語の性質すなわち内容に基づいて、高振幅のアクチュエータ信号を当該単語に関連づけ得る。
【００５２】
さらに、図１に示される実施形態において、プロセッサ１１０は、音響信号に少なくとも部分的に基づいて複数の触覚効果を生成するように構成することができる。例えば、送り手ユーザがマイクロホン１０５に向かって「怒った」と叫んだ結果、プロセッサ１１０が単数の高振幅アクチュエータ信号を生成することに加え、プロセッサ１１０はまた、音響信号に少なくとも部分的に基づいて、高周波数の触覚効果、長い持続時間の触覚効果、又は複数の触覚効果の任意の組み合わせを生成することもできる。
【００５３】
一実施形態において、プロセッサ１１０は、当該特徴に関連づけられた触覚効果ライブラリから触覚効果を識別することによって、アクチュエータ信号を生成する。例えば、送り手ユーザがマイクロホン１０５に向かって「興奮する」と感嘆すると、プロセッサ１１０は、当該送り手ユーザの感嘆からの音響信号を受信し、当該音響信号の高振幅かつ高周波数の特徴を決定し、高振幅かつ高周波数の特徴に関連づけられた触覚効果ライブラリから、高振幅かつ高周波数の触覚効果を識別することによって、高振幅かつ高周波数のアクチュエータ信号を生成する。
【００５４】
他実施形態において、プロセッサ１１０は、音響信号に関連づけられた単語を決定し、当該単語に少なくとも部分的に基づいてアクチュエータ信号を生成することができる。例えば、単語「愛してる」が音響信号に関連づけられていることをプロセッサ１１０が決定すると、プロセッサ１１０は、触覚効果ライブラリにおいて単語「愛してる」を識別することにより、心拍を模擬した触覚効果を引き起こすパルス状のアクチュエータ信号を生成することができる。当該ライブラリは、単語「愛してる」を当該特定の触覚効果に関連づけている。
【００５５】
さらなる他実施形態において、プロセッサ１１０は、音響信号に少なくとも部分的に基づいて及び単語に少なくとも部分的に基づいて、アクチュエータ信号を生成することができる。例えば、送り手ユーザがマイクロホン１０５に向かって優しくかつゆっくりと「愛してる」と言うと、プロセッサ１１０は、送り手ユーザの発言からの音響信号を受信し、当該音響信号の低振幅かつ低周波数の特徴を決定し、及び、低振幅かつ低周波数のアクチュエータ信号を生成することができる。プロセッサ１１０はまた、単語「愛してる」が音響信号に関連づけられていることを決定し、触覚効果ライブラリにおいて単語「愛してる」を識別することにより、心拍を模擬した触覚効果を引き起こすパルス状のアクチュエータ信号を生成することができる。当該ライブラリは、単語「愛してる」を当該特定の触覚効果に関連づけている。プロセッサ１１０は、「愛してる」との音響信号の特徴によって、及び低振幅かつ低周波数の心拍を模擬した触覚効果をもたらす単語「愛してる」の特徴によって決定された複数の触覚効果をその後に組み合わせるべく構成することができる。
【００５６】
他実施形態において、送り手ユーザは、携帯デバイス１００を介して受け手ユーザにメッセージを送りたいと望み得る。送り手ユーザは、携帯デバイス１００のマイクロホン１０５に向かって「ハッピーバースデー」と言うことができる。それに応答してプロセッサ１１０は、単語「ハッピー」及び「バースデー」が音響信号に関連づけられていることを決定し、各単語に関連づけられた別個の触覚効果を生成することができる。その触覚効果をプロセッサ１１０は、アクチュエータ１１５に送信する。一実施形態において、プロセッサは、「ハッピーバースデー」の歌に対応する触覚効果が、受け手ユーザのデバイスのアクチュエータまで送信されることを引き起こすパルス状のアクチュエータ信号を生成する。
【００５７】
他実施形態において、携帯デバイス１００のプロセッサ１１０は、音響信号に少なくとも部分的に基づいて、かつ、音響信号に包含される単語に少なくとも部分的に基づいてアクチュエータ信号を生成することができる。例えば、送り手ユーザが携帯デバイス１００のマイクロホン１０５に向かって「猫ちゃん」と優しくかつゆっくり言うと、プロセッサ１１０は、当該送り手ユーザの発言からの音響信号を受信し、当該音響信号の低振幅かつ低周波数の特徴を決定し、及び低振幅かつ低周波数のアクチュエータ信号を生成することができる。代替的に、プロセッサ１１０は、単語「猫ちゃん」が音響信号に関連づけられていると決定し、猫が喉をゴロゴロ鳴らしている触覚効果を引き起こす速いパルス状のアクチュエータ信号を生成することができる。
【００５８】
図３を参照すると、さらなる他実施形態において、送り手ユーザが、携帯電話機を含む第１デバイス３００の、例えばマイクロホンのような入力デバイス３３５に向かって「助けて」と叫ぶことができる。第１デバイス３００のプロセッサ３１０は、マイクロホン３３５からの音響信号を受信し、当該音響信号の高振幅かつ長い持続時間の特徴を決定し、及び高振幅かつ短い持続時間のアクチュエータ信号を生成する。同様に、第１デバイス３００のプロセッサ３１０は、音響信号に関連づけられた単語「助けて」を決定するように、かつ、単語「助けて」及び当該アクチュエータ信号をコンピュータ可読媒体３１５に記憶させるべく構成することができる。さらに、第１デバイス３００のプロセッサ３１０は、高振幅かつ短い持続時間の特徴に関連づけられた触覚効果ライブラリから、高振幅かつ短い持続時間の触覚効果を識別することにより、高振幅かつ短い持続時間のアクチュエータ信号を生成することができる。同様に、第１デバイス３００のプロセッサ３１０は、触覚効果ライブラリにおいて単語「助けて」を識別することにより、パルス状のモールス信号ＳＯＳ触覚効果（トトトツーツーツートトト）を引き起こす高振幅かつ短い持続時間のアクチュエータ信号を生成するように構成することができる。当該ライブラリは、単語「助けて」を当該特定の触覚効果に関連づけている。
【００５９】
図３を参照すると、さらなる他実施形態において、第１デバイス３００は送り手ユーザのデバイスであり、所定の環境音に基づいて触覚、聴覚及び／又は視覚的メッセージを自動的に第２受け手デバイス３５０に送信する自動「リスニング」応答モードにあるように構成される。例えば、警察官が、自身の携帯デバイスが自動「リスニング」応答モードにある送り手ユーザである場合、そのデバイスは、当該警察官のデバイスにより銃声が識別された場合に支援又は警察官による援護を求める要求を自動的に送信する。このリスニングモードの他例において、警察官のデバイスは、当該警察官のバイオリズムをリスニングしており、当該警察官が治療を必要としていることを検知して救急車の要求を自動的に送信する。これらの要求の送信は、タスク固有かつ局所的となり得る。例えば、当該送信は、警察官のチームメンバーのような、近くにいる一以上の受け手に向けられるかもしれない。例えば、警察官のグループが協力して逃亡者を探しており、当該警察官の一人が当該逃亡者を突き止めた場合、当該警察官の「リスニング」デバイスは、その逃亡者がいる場所を当該警察官が包囲するのを助けるように、まわりの警察官に自動メッセージを送信することができる。かかる特徴は、警察官が、この情報を同僚の警察官に伝えることが物理的にできない場合に、例えば、警察官が逃亡者と闘っていたり逃亡者を追いかけていたりする場合に、とても重要となる。
【００６０】
かかる実施形態において、得られる音響信号、単語、アクチュエータ信号及び／又は触覚効果は、第１デバイス３００から第２デバイス３５０へと、それぞれのネットワークインタフェイス３２０及び３７０を介しかつネットワーク３８０を介して送信することができる。例えば、単語「助けて」、及び当該単語「助けて」に関連づけられた高振幅かつ短い持続時間のモールス信号ＳＯＳ触覚効果は、携帯電話機を含む第１デバイス３００から、やはり携帯電話機を含む第２デバイス３５０へと、遠隔通信ネットワークを含むネットワーク３８０を介して送信することができる。すなわち、第１デバイス３００の送り手ユーザは、触覚効果を伴う音声／テキストメッセージを第２デバイス３５０の受け手ユーザに送信することができる。他実施形態において、音響信号のみを第１デバイス３００から第２デバイス３５０へと送信し、その後当該信号を分析して任意の関連触覚効果を生成することができる。
【００６１】
具体的な実装環境
【００６２】
本発明の実施形態は有利なことに、身体障がい者のための遠隔通信の状況において用いることができる。例えば、実施形態は、電話線を介したテキスト通信を目的とする電子デバイスによって聴覚又は言語障がい者を支援するＴＴＹ（電話タイプライター）アプリケーションにおいて使用することができる。障がい者が従来型ＴＴＹデバイスを使用する場合、テキストの性質上、メッセージの情緒及び感情が失われるのが典型的である。本発明の実施形態を使用すれば、障がい者は、メッセージに関連づけられた情緒的感情が失われる従来型ＴＴＹデバイスにテキストメッセージを直接タイピングする代わりに、マイクロホンに向かって発話し、音声／テキストメッセージの背後に触覚効果を介して感情を保存することができる。
【００６３】
本発明の実施形態は有利なことに、ＳＭＳテキストメッセージングの状況において用いることもできる。例えば、多くの州が、自動車運転中のテキストメッセージング及び携帯電話機での会話を違法としているが、これらの州は典型的に、運転者に、無線ブルートゥースイヤホン、又は有線マイクロホン及びイヤホンのような、運転中に会話ができるハンズフリーデバイスを許可している。しかしながら、これらのハンズフリーデバイスは、自動車の運転中にテキストメッセージを送ることの援助とはならない。本発明の実施形態を使用すれば、運転者がマイクロホンに向かって発話し、自分の音声メッセージを、関連触覚効果を伴うテキストメッセージへと変換することができる。本発明の実施形態は、運転者に対し、運転中にテキストメッセージを合法的かつ安全に送ることを許容するだけでなく、触覚効果を介して音声メッセージからの感情を保存し、送り手ユーザが自分の感情の受け手ユーザへの通信も許容する。
【００６４】
本発明の実施形態は有利なことに、オンラインチャットの状況又は電子メールの状況においても用いられる。送り手ユーザはマイクロホンに向かって発話し、インターネットを介して受け手ユーザに送信されるチャット又は電子メールのために、自分の音声メッセージをテキストメッセージに変換することができる。結果的にチャットメッセージ若しくは電子メールとなる音声メッセージに又は単語に関連づけられた触覚効果は、チャットメッセージ又は電子メールとともに送信され、嫌み、誠実又は怒りのような広範な感情、並びに他の内容及び言外の意を伝えることができる。この実施形態により、送り手ユーザは、コンピュータネットワークを経由して所望のメッセージを表現する自由を得ることができる。
【００６５】
本発明の実施形態は有利なことに、医学的な状況において用いることもできる。例えば、四肢麻痺又は他の態様で不自由な患者が、音声メッセージの使用を介して、及び触覚応答を受けることにより、コンピュータ又は電話機と対話をすることができる。ベッドには、コンピュータに無線接続された一以上のアクチュエータを装備することができる。送り手又は受け手ユーザからのテキストメッセージに変換される音声メッセージに基づいて、様々な触覚効果を入力及び出力することができる。ユーザが視覚及び／又は聴覚障がい者であるがゆえに、利用可能な通信チャネルの数が低減され又は制約される場合、同様の利点を実現することができる。本発明の実施形態は有利なことに、聴覚的又は視覚的応答を妨害し得る騒々しい又は明るい環境において用いることもできる。例えば、本発明の一実施形態において、転倒した高齢者は、支援が必要なこと又は支援が進行中であることを救急隊に示すべく、本発明の一実施形態による触覚フィードバックを送信又は受信することができる。
【００６６】
本発明のいくつかの実施形態はまた、軍事的状況においても有用である。例えば、隠密作戦においては、音響チャネルが通信の特定のタイプに制限され又は利用不可能となり得る。本発明の一実施形態において、ユーザは、音声メッセージを送ることができない軍事工作員から、触覚確認を伴うテキストメッセージを得ることができる。例えば、兵士は、テキストに変換されて他の兵士にテキスト及び触覚効果として送信される指令への応答を声にすることができる。かかる実施形態において、兵士は、触覚パターンの確立されたセットを用いて一以上の兵士間の有効なコミュニケーションを可能とすることができる。例えば、司令官は、言語コミュニケーションが安全とみなされるエリアにいて、兵士のグループが敵地の環境を通って進行していることをモニタリングすることができる。司令官は、兵士が左へ曲がるべきことを示す言語指令を送ることができる。音声の指令が認識されて、テキストメッセージ及び触覚効果として兵士に送信され得る。
【００６７】
一般的事項
【００６８】
本発明が、いくつかの好ましい実施形態に関して説明されたが、当業者が本明細書を読み図面を検討するときに、改変、置換及び等価物が明らかになることが企図される。例えば、ゲームプログラム、仮想現実プログラムとその環境、ビジネスミーティング用の遠隔会議アプリケーション、コンピュータネットワーク又は他の通信チャネルを経由した電話タイプの音声通信等のような多くの異なるアプリケーションプログラムが、本発明の音声／テキストメッセージング機能を使用することができる。さらに、説明上の明確性を目的として所定の用語が使用されているが、本発明を制限するものではない。したがって、以下の添付の特許請求の範囲は、本発明の真の要旨及び範囲の中に入るようなすべての変更、置換及び均等物を含むことが意図される。
【００６９】
すなわち、本発明の、好ましい実施形態を含む実施形態の上記説明は、例示及び記載の目的でのみ提示され、網羅的であること、又は開示された正確な形態に本発明を限定することを意図するものではない。本発明の要旨及び範囲から逸脱することのない多数の修正及びその適合は、当業者にとって明らかである。
【図１】
0006510484.tif 000002
【図２】
0006510484.tif 000003
【図３】
0006510484.tif 000004
【図４】
0006510484.tif 000005
【図５】
0006510484.tif 000006
【図６】
0006510484.tif 000007