(57)【要約】      （修正有）【課題】スペクトログラムの視覚処理をして触覚効果を生成するためのシステム及び方法を提供する。【解決手段】方法は、少なくとも音声信号を含む信号を受信する。受信した信号に少なくとも部分的に基づいて、１つ以上のスペクトログラムを生成する。１つ以上の触覚効果を、スペクトログラムに少なくとも部分的に基づいて決定する。生成されたスペクトログラムは２次元画像であってもよく、この画像は１つ以上の触覚効果を決定するために分析される。触覚効果が決定されると、１つ以上の触覚出力信号を生成する。生成された触覚出力信号を、１つ以上の触覚出力装置に出力する。【選択図】図４
2018206427.tif 000002
【特許請求の範囲】
【請求項１】
信号を受信するステップと、
前記信号に少なくとも部分的に基づいてスペクトログラムを生成するステップと、
前記スペクトログラムに少なくとも部分的に基づいて触覚効果を決定するステップと、
前記触覚効果に少なくとも部分的に基づいて触覚出力信号を生成するステップであって、前記触覚出力信号は触覚出力装置に前記触覚効果を出力させるように構成されるステップと、
前記触覚出力信号を出力するステップと
を含む、方法。
【請求項２】
前記信号は、音声信号を含む、請求項１に記載の方法。
【請求項３】
前記信号は、映像信号を更に含む、請求項２に記載の方法。
【請求項４】
前記信号は、加速度信号、速度信号、又は温度信号の少なくとも１つを含む、請求項１に記載の方法。
【請求項５】
前記スペクトログラムを生成するステップは、
前記音声信号の少なくとも１つのセグメントに対してフーリエ変換を計算するステップであって、各セグメントが各時間ウインドウにおける前記音声信号の値に対応するステップを含む、請求項２に記載の方法。
【請求項６】
前記少なくとも１つのセグメントは第１のセグメント及び第２のセグメントを含み、前記第２のセグメントは少なくとも部分的に前記第１のセグメントと重複する、請求項５に記載の方法。
【請求項７】
前記少なくとも１つのセグメントは第１のセグメント及び第２のセグメントを含み、前記第２のセグメントは前記第１のセグメントと重複しない、請求項５に記載の方法。
【請求項８】
前記少なくとも１つのセグメントは第１のセグメント含み、前記第１のセグメントの前記各時間ウインドウは７５ミリ秒よりも小さい、請求項５に記載の方法。
【請求項９】
前記スペクトログラムを生成するステップは、
前記信号に関係付けられる第１の周波数帯域に対応する２次元画像を生成するステップを含む、請求項１に記載の方法。
【請求項１０】
前記スペクトログラムを生成するステップは、
前記２次元画像を複数の２次元画像にセグメント化するステップであって、前記複数の２次元画像における各画像が前記第１の周波数帯域内の各周波数帯域を含むステップを更に含む、請求項９に記載の方法。
【請求項１１】
前記複数の２次元画像における第１の２次元画像の第１の各周波数帯域が、前記複数の２次元画像における他の２次元画像の各周波数帯域とは異なる、請求項１０に記載の方法。
【請求項１２】
前記第１の各周波数は、前記複数の２次元画像における第２の２次元画像の第２の各周波数帯域と部分的に重複する、請求項１１に記載の方法。
【請求項１３】
前記スペクトログラムを生成するステップは、
複数のスペクトログラムを生成するステップであって、各スペクトログラムが前記信号に関係付けられる各々の異なる周波数帯域に対応するステップを含む、請求項１に記載の方法。
【請求項１４】
前記触覚効果を決定するステップは、
既定の触覚効果に対応する特徴のために前記複数のスペクトログラムのサブセットを分析するステップと、
前記既定の触覚効果に対応する前記特徴を見つけることに応じて、前記既定の触覚効果を選択するステップと
を含む、請求項１３に記載の方法。
【請求項１５】
前記触覚効果を決定するステップは、
複数の異なる周波数帯域の各々に対して、
特徴のためにその異なる周波数帯域上で前記スペクトログラムを分析するステップと、
前記特徴に対応する触覚効果を決定するステップと、
前記スペクトログラムに前記特徴を見つけることに応じて、前記触覚効果を選択するステップと
を含む、請求項１に記載の方法。
【請求項１６】
前記触覚効果を決定するステップは、
前記スペクトログラムの特徴を決定するステップと、
前記特徴に対応する触覚効果を決定するステップと
を含む、請求項１に記載の方法。
【請求項１７】
前記スペクトログラムの特徴を決定するステップは、
各既定の特徴が少なくとも１つの既定の触覚効果に対応する複数の既定の特徴の各々に対して、
前記スペクトログラムがその既定の特徴を含むかどうかを決定するステップと、
前記スペクトログラムがその既定の特徴を含むという決定に応じて、その既定の特徴に対応する前記少なくとも１つの既定の触覚効果を決定された触覚効果として選択するステップと
を含む、請求項１６に記載の方法。
【請求項１８】
前記スペクトログラムは時間領域を含み、
前記スペクトログラムの特徴を決定するステップは、前記スペクトログラムの前記時間領域内のパターンを決定するステップを含む、請求項１６に記載の方法。
【請求項１９】
前記スペクトログラムは周波数領域を含み、
前記スペクトログラムの特徴を決定するステップは、前記スペクトログラムの前記周波数領域内のパターンを決定するステップを含む、請求項１５に記載の方法。
【請求項２０】
前記スペクトログラムの特徴を決定するステップは、
前記スペクトログラムにおける第１の特徴と第２の特徴との間の遷移を決定するステップを含む、請求項１６に記載の方法。
【請求項２１】
前記スペクトログラムの特徴を決定するステップは、
複数の領域を生成するために前記スペクトログラムに少なくとも１つの技術を適用するステップであって、前記少なくとも１つの技術はエッジ検出、閾値検出、クラスタリング検出、又は色ヒストグラムクラスタ検出を含むステップと、
前記複数の領域のサブセットを少なくとも１つの触覚効果と一致させるステップと
を含む、請求項１６に記載の方法。
【請求項２２】
信号を受信し、
前記信号に少なくとも部分的に基づいてスペクトログラムを生成し、
前記スペクトログラムに少なくとも部分的に基づいて触覚効果を決定し、
前記触覚効果に少なくとも部分的に基づいて触覚出力信号を生成し、前記触覚出力信号は触覚出力装置に前記触覚効果を出力させるように構成され、且つ
前記触覚出力信号を出力するためのプログラムコードを含む、コンピュータ可読媒体。
【請求項２３】
入力装置と、
触覚出力装置と、
前記入力装置及び前記触覚出力装置と通信するプロセッサであって、
前記入力装置から信号を受信し、
前記信号に少なくとも部分的に基づいてスペクトログラムを生成し、
前記スペクトログラムに少なくとも部分的に基づいて触覚効果を決定し、
前記触覚効果に少なくとも部分的に基づいて触覚出力信号を生成し、前記触覚出力信号は触覚出力装置に前記触覚効果を出力させるように構成され、且つ
前記触覚出力装置に前記触覚出力信号を出力するように構成されるプロセッサと
を備える、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、概して、スペクトログラムの視覚処理をして触覚効果を生成するためのシステム及び方法に関する。
【背景技術】
【０００２】
（関連出願への相互参照）
本出願は、２０１３年９月６日に提出され、“Ａｕｄｉｏ  ｔｏ  Ｈａｐｔｉｃｓ”と題された米国仮特許出願第６１／８７４，９３３号への優先権を主張し、その全体は参照により本明細書に組み込まれる。
【０００３】
従来、機械式ボタンがハンドヘルド移動装置のユーザに物理的な触感を提供してきた。しかしながら、こうした装置における、特に携帯電話におけるタッチセンサ面（例えば、タッチスクリーン）の人気が増してきたおり、機械式ボタンはもはや存在していない。その代わり、このような装置には、ユーザに様々なイベントを知らせる触覚効果を出力するために触覚出力装置が含まれる場合がある。
【発明の概要】
【０００４】
実施形態は、スペクトログラムの視覚処理をして触覚効果を生成するためのシステム及び方法を提供する。例えば、１つの開示された方法は、信号を受信することを含む。一部の実施形態では、この信号は、音声信号、映像信号、加速度信号、速度信号、温度信号、別の適切な信号、又はこれらの組み合わせを含む。
【０００５】
一部の実施形態では、この方法は、信号を受信すること、信号に少なくとも部分的に基づいてスペクトログラムを生成すること、スペクトログラムに少なくとも部分的に基づいて触覚効果を決定すること、触覚効果に少なくとも部分的に基づいて触覚出力装置に触覚効果を出力させるように構成される触覚出力信号を生成すること、及び触覚出力信号を出力することを含む。
【０００６】
別の実施形態では、コンピュータ可読媒体が、信号を受信するためのプログラムコード、信号に少なくとも部分的に基づいてスペクトログラムを生成するためのプログラムコード、スペクトログラムに少なくとも部分的に基づいて触覚効果を決定するためのプログラムコード、触覚効果に少なくとも部分的に基づいて触覚出力装置に触覚効果を出力させるように構成される触覚出力信号を生成するためのプログラムコード、及び触覚出力信号を出力するためのプログラムコードを含む。
【０００７】
別の実施形態では、システムが、入力装置と、触覚出力装置と、入力装置及び触覚出力装置と通信するプロセッサとを含む。この実施形態では、プロセッサは、入力装置から信号を受信し、信号に少なくとも部分的に基づいてスペクトログラムを生成し、スペクトログラムに少なくとも部分的に基づいて触覚効果を決定し、触覚効果に少なくとも部分的に基づいて触覚出力装置に触覚効果を出力させるように構成される触覚出力信号を生成し、及び触覚出力装置に触覚出力信号を出力するように構成される。
【０００８】
こうした例示の実施形態は、本発明を限定又は定義するために言及されるのではなく、その理解を支援するための例示を提供するものである。例示の実施形態が、詳細な説明において検討されており、そこには本発明の更なる説明が提供されている。本発明の様々な実施形態によってもたらされる利点は、本明細書を吟味することにより更に理解され得る。
【０００９】
本特許又は出願ファイルは、カラーで作成された少なくとも１つの図面を含む。カラー図面を有する本特許又は特許出願のコピーは、要求及び必要な手数料の支払いに応じて庁により提供されるであろう。
【００１０】
本明細書に組み込まれてその一部を構成する添付の図面は、１つ以上の例示的な実施形態を示しており、例示的な実施形態の説明と共に、実施形態の原理及び実装を説明する役割を果たす。
【図面の簡単な説明】
【００１１】
【図１】一実施形態によってスペクトログラムの視覚処理をして触覚効果を生成する    ための電子装置を示す。
【図２】一実施形態によってスペクトログラムの視覚処理をして触覚効果を生成する    ための電子装置を示す。
【図３】一実施形態によってスペクトログラムの視覚処理をして触覚効果を生成する    ためのコンピュータ装置を描くシステム図を示す。
【図４】一実施形態によって触覚効果を生成するためのスペクトログラムの視覚処理    の方法に関するフローチャートを示す。
【図５】一実施形態によって触覚効果を生成するためのスペクトログラムの視覚処理    の態様を示す。
【図６】一実施形態によって触覚効果を生成するためのスペクトログラムの視覚処理    の態様を示す。
【発明を実施するための形態】
【００１２】
本明細書には、スペクトログラムの視覚処理をして触覚効果を生成するためのシステム及び方法との関連で、例示的な実施形態が記載される。当業者であれば、以下の記載は例示目的であり、如何なる限定も意図していないことを理解するであろう。他の実施形態も、本開示の利益を有する当業者に容易に示唆されるであろう。次に、添付の図面に示された例示的な実施形態の実装の詳細な参照が行われる。同じ参照記号が同じ又は同様の項目を参照するために図面及び以下の記載を通じて使用されるであろう。
【００１３】
明確のため、本明細書に記載の実装の定型的な特徴の全てが示されて記載されてはいない。勿論、このような実際の実装の開発において、アプリケーション及びビジネス関連の制約の遵守等の多くの実装固有の決定が開発者固有の目的を達成するために行われなければならず、こうした固有の目的は実装ごとに又は開発者ごとに変化することが理解されるであろう。
【００１４】
（例示的な装置及び実施形態）
図１は、実施形態によってスペクトログラムの視覚処理をして触覚効果を生成するための電子装置１００を示す。一部の実施形態では、電子装置１００は音声信号を受信する。
例えば、電子装置１００は、歌曲を電子装置１００で再生するための音声信号を受信してもよい。電子装置１００は、メモリから又は別の装置から、例えばインターネットを介してサーバから歌曲を受信することができる。電子装置１００が音声信号を受信すると、電子装置１００は受信した音声信号に基づいて１つ以上のスペクトログラムを生成する。電子装置１００は、音声信号全体に対して受信した音声信号の時間領域の１０ｍｓ等の時間ウインドウのフーリエ変換を決定することによりスペクトログラムを生成してもよい。別の例示として、電子装置は、時間を表す水平軸、振幅が特定の周波数において色彩強度により表される第１の周波数帯域（例えば、０Ｈｚから１００Ｈｚ）を表す垂直軸を有する１つのスペクトログラムと、時間を表す水平軸、振幅が特定の周波数において色彩強度により表される第２の周波数帯域（例えば、１００Ｈｚから１ＫＨｚ）を表す垂直軸を有する別のスペクトログラムとを生成してもよい。
【００１５】
（複数の）スペクトログラムが生成されると、生成された（複数の）スペクトログラムを分析することによって電子装置１００は１つ以上の触覚効果を決定してもよい。例えば、領域が一定の間隔で離れていることをスペクトログラムが示す場合、電子装置１００は、各領域がビートであることを決定して、ビートに対応する触覚効果を決定してもよい。
例えば、ビートを模倣するように構成される限定された持続時間及び比較的高振幅の振動を有する触覚効果が決定されてもよい。別の例示として、スペクトログラム内の領域間の変化がある種類の音から別の種類への遷移を示してもよい。これにより、電子装置１００は、遷移の前の触覚効果及び遷移の間及び／又は後の異なる触覚効果を決定してもよい。
（複数の）触覚効果が決定されると、電子装置１００が（複数の）触覚出力信号を生成することができる。触覚出力信号は、電子装置１００によって、決定された（複数の）触覚効果を出力する１つ以上の触覚出力装置に出力され得る。他の多くの例示が本明細書に開示され、他の様々な変形が本開示の範囲内にある。
【００１６】
図示の例示は、本明細書で検討される一般的な主題を読者に紹介するために与えられる。本発明は、この例示に限定されない。以下の部分では様々な追加の非限定的な実施形態、並びに触覚効果のパラメータ変更のための装置、システム及び方法の例が記載される。
【００１７】
（例示的な装置）
図２は、一実施形態によってスペクトログラムの視覚処理をして触覚効果を生成するための電子装置２００を示す。図２に示される実施形態では、電子装置２００は、筐体２０５、プロセッサ２１０、メモリ２２０、タッチセンサ式ディスプレイ２３０、触覚出力装置２４０、通信インターフェース２５０及びセンサ２７０を備える。更に、電子装置２００は、一部の実施形態に選択的に結合され又は組み込まれ得る触覚出力装置２６０と通信する。プロセッサ２１０はメモリ２２０と通信しており、この実施形態では、プロセッサ２１０及びメモリ２２０は共に筐体２０５の中に配置される。タッチセンサ式表面を備え又はこれと通信するタッチセンサ式ディスプレイ２３０は、タッチセンサ式ディスプレイ２３０の少なくとも一部が電子装置２００のユーザに露出されるように筐体２０５の中に部分的に配置される。一部の実施形態では、タッチセンサ式ディスプレイ２３０は、筐体２０５の中に配置されなくてもよい。例えば、電子装置２００は、別の筐体の中に配置されるタッチセンサ式ディスプレイ２３０と接続され又は通信してもよい。一部の実施形態では、筐体２０５は、互いにスライド可能に結合され、互いに枢動可能に結合され又は互いに解放可能に結合される２つの筐体を備えてもよい。他の実施形態では、筐体２０５は任意の数の筐体を含んでもよい。
【００１８】
図２に示される実施形態では、タッチセンサ式ディスプレイ２３０は、プロセッサ２１０と通信し、プロセッサ２１０及び／又はメモリ２２０に信号を提供し、且つプロセッサ２１０及び／又はメモリ２２０から信号を受信するように構成される。メモリ２２０は、プロセッサ２１０によって使用されるプログラムコード若しくはデータ、又はその両方を記憶するように構成される。プロセッサ２１０は、メモリ２２０に記憶されたプログラムコードを実行して、タッチセンサ式ディスプレイ２３０に信号を送信し且つタッチセンサ式ディスプレイ２３０から信号を受信するように構成される。図２に示される実施形態では、プロセッサ２１０は通信インターフェース２５０と通信し、通信インターフェース２５０から信号を受信して、１つ以上の電子装置等の他の構成要素又は装置と通信するために通信インターフェース２５０に信号を出力するように構成される。更に、プロセッサ２１０は、触覚出力装置２４０及び触覚出力装置２６０と通信し、触覚出力装置２４０若しくは触覚出力装置２６０又はその両方に１つ以上の触覚効果を出力させるための信号を出力するように更に構成される。
【００１９】
更に、プロセッサ２１０は、センサ２７０と通信し、センサ２７０から信号を受信するように構成される。例えば、プロセッサ２１０は、電子装置２００との１つ以上の相互作用に対応してセンサ２７０から１つ以上の信号を受信してもよい。例えば、電子装置２００のユーザが装置２００を振ると、プロセッサ２１０はセンサ２７０から１つ以上のセンサ信号を受信してもよい。別の例示として、ユーザがタッチセンサ式ディスプレイ２３０上の場所を押すと、及び／又はユーザがタッチセンサ式ディスプレイ２３０上でジェスチャを行うと、プロセッサ２１０はセンサ２７０から１つ以上のセンサ信号を受信することができる。一部の実施形態では、プロセッサ２１０は、１つ以上の相互作用を導出し又は決定するために、センサ２７０等の１つ以上のセンサからセンサ情報を受信することができる。限定されないが、相互作用は、１つの接触、一連の接触、ジェスチャ、所定の閾値を超える接触圧力、所定の閾値より低い接触圧力、可撓性タッチスクリーンディスプレイ等の可撓性タッチセンサ面への接触、振動、揺動、任意の他の適切な相互作用、又はこれらの組み合わせを含み得る。
【００２０】
一部の実施形態では、プロセッサ２１０は、電子装置２００に統合され、電子装置２００に接続され、及び／又は電子装置２００と通信する１つ以上の入力装置から１つ以上のセンサ信号を受信する。例えば、プロセッサ２１０は、タッチセンサ式ディスプレイ２３０のタッチセンサ面から１つ以上のセンサ信号を受信してもよい。別の例示として、プロセッサ２１０は、キーボード、マウス、タッチパッド、トラックボール、マイクロホン、タッチセンサ面、並びに／又は電子装置２００に統合され、電子装置２００に接続され、及び／若しくは電子装置２００と通信する別の適切な入力装置から１つ以上のセンサ信号を受信してもよい。センサ信号は、１つ以上の接触、場所、圧力、ジェスチャ、キー押下、及び／又はユーザがどのように１つ以上の入力装置と相互作用しているかを示す他の情報等の情報を含んでもよい。一部の実施形態では、センサ信号及び／又は受信した信号は、音声信号、映像信号、加速度信号、速度信号、温度信号、別の適切な信号、又はこれらの組み合わせを含む。他の多くの例示が本明細書に開示され、他の様々な変形が本開示の範囲内にある。
【００２１】
次に、プロセッサ２１０は、１つ以上のスペクトログラムを生成するために、１つ以上のセンサ（センサ２７０等）、１つ以上の通信インターフェース（通信インターフェース２５０等）、メモリ（メモリ２２０等）、及び／又は音声入力装置及び／又は音声／映像入力装置等の別の適切な入力装置から受信する情報を利用してもよい。例えば、マイクロホンから受信した音声が、１つ以上のスペクトログラムを生成するために使用されてもよい。別の例示として、メモリから受信した音声ファイルが、１つ以上のスペクトログラムを生成するために使用されてもよい。一部の実施形態では、通信インターフェースを介して別の装置から受信した音声が、１つ以上のスペクトログラムを生成するために使用される。生成されたスペクトログラムは、周波数を表す第１の軸、時間を表す第２の軸、及び様々な時間における周波数に対する強度（例えば、色彩強度又はグレースケール強度）を含んでもよい。一部の実施形態では、プロセッサ２１０は、少なくとも１つの生成されたスペクトログラムの少なくとも一部を分析して、１つ以上の触覚効果を決定する。例えば、プロセッサ２１０は、スペクトログラムを分析して、スペクトログラムにパターンが検出され得るかどうかを決定してもよい。パターンが検出される一部の実施形態では、プロセッサ２１０は、触覚効果がパターンと対応し且つ出力されるべきであると決定してもよい。一部の実施形態では、パターン（又はその欠如）は、特定の触覚効果が出力されるべきであること、特定の触覚効果の出力が停止されるべきであること、又は触覚効果が１つの触覚効果から別の触覚効果に変更されるべきであることを示してもよい。他の多くの例示が本明細書に開示され、他の様々な変形が本開示の範囲内にある。
【００２２】
プロセッサ２１０が出力されるべき１つ以上の効果を決定すると、プロセッサ２１０は１つ以上の出力信号を生成することができる。例えば、一実施形態では、１つ以上の出力信号は、スペクトログラムにおけるパターンを決定することに応じてプロセッサ２１０によって生成される。別の例示として、パターンが終了していることを生成されたスペクトログラムの一部が示す場合に、１つ以上の出力信号がプロセッサ２１０によって生成され得る。他の多くの例示が本明細書に開示され、他の様々な変形が本開示の範囲内にある。
【００２３】
図２に示されている装置は単なる例示であり、様々な他の実施形態では、電子装置２００は、図２に示されているよりも少ない又は追加の構成要素及び／又は装置を含み又はこれらと通信してもよい。例えば、マウス、キーボード、カメラ及び／又は他の（複数の）入力装置等の他のユーザ入力装置が、電子装置２００の中に含まれ又は電子装置２００と通信してもよい。別の例示として、電子装置２００は、１つ以上のセンサ及び／又は１つ以上の触覚出力装置を備え又はこれらと通信してもよい。別の例として、電子装置２００は、一実施形態では通信インターフェース２５０を含まなくてもよい。更に別の例示として、電子装置２００は、一実施形態では触覚出力装置２６０と通信しなくてもよい。他の多くの例示が本明細書に開示され、他の様々な変形が本開示の範囲内にある。
【００２４】
また、様々な他の構成要素が修正されてもよい。例えば、一部の実施形態では、センサ２７０が、筐体２０５内に部分的に又は完全に配置される。別の例示として、センサ２７０は、電子装置２００の筐体２０５内に配置されてもよい。一実施形態では、電子装置２００は、触覚出力装置２６０と通信せず、通信インターフェース２５０を備えない。別の実施形態では、電子装置２００は、タッチセンサ式ディスプレイ２３０又は通信インターフェース２５０を備えないが、タッチセンサ式表面を備え、外部ディスプレイと通信する。他の実施形態では、電子装置２００は、触覚出力装置を全く備えず又はこれと通信しなくてもよい。従って、本明細書に開示の様々な実施形態及び当業者には明白である変形等、様々な実施形態において、電子装置２００は、任意の数の構成要素を備え又はこれらと通信してもよい。
【００２５】
電子装置２００は、ユーザ入力を受信することが可能な任意の装置であり得る。例えば、図２における電子装置２００は、タッチセンサ式表面を備えるタッチセンサ式ディスプレイ２３０を含む。一部の実施形態では、タッチセンサ式表面は、タッチセンサ式ディスプレイ２３０上にオーバレイされてもよい。他の実施形態では、電子装置２００は、ディスプレイ及び別のタッチセンサ式表面を備え又はこれらと通信してもよい。更に他の実施形態では、電子装置２００は、ディスプレイを備え又はこれと通信してもよく、マウス、キーボード、ボタン、ノブ、スライダ制御、スイッチ、ホイール、ローラ、他の操作子、又はこれらの組み合わせ等の他のユーザ入力装置を備え又はこれらと通信してもよい。
【００２６】
一部の実施形態では、１つ以上のタッチセンサ式表面は、電子装置２００の１つ以上の側部に含まれ又は中に配置されてもよい。例えば、一実施形態では、タッチセンサ式表面は、電子装置２００の後面の中に配置され又はこれを備える。別の実施形態では、第１のタッチセンサ式表面は、電子装置２００の後面の中に配置され又はこれを備え、第２のタッチセンサ式表面は、電子装置２００の側面の中に配置され又はこれを備える。一部の実施形態では、電子装置２００は、二つ折り（ｃｌａｍｓｈｅｌｌ）配置又はスライド式配置等で２つ以上の筐体要素を備えてもよい。例えば、一実施形態は、タッチセンサ式ディスプレイが二つ折りの各部分に配置される二つ折り構成を有する電子装置２００を備える。更に、電子装置２００が電子装置２００の１つ以上の側部に少なくとも１つのタッチセンサ式表面を備える一部の実施形態において、又は電子装置２００が外部のタッチセンサ式表面と通信する実施形態において、ディスプレイ２３０は、タッチセンサ式表面を備えてもよく又は備えなくてもよい。一部の実施形態では、１つ以上のタッチセンサ式表面は、可撓性のタッチセンサ式表面を有してもよい。このような実施形態では、ユーザは、入力方法として可撓性のタッチセンサ式表面を折り曲げ又は変形することができてもよい。
例えば、一実施形態では、電子装置は可撓性タッチスクリーンディスプレイを有し、ユーザは情報を電子装置に入力するために可撓性タッチスクリーンディスプレイ上の場所を押すことによって可撓性タッチスクリーンディスプレイを変形することができる。他の実施形態では、１つ以上のタッチセンサ式表面は、剛性であってもよい。様々な実施形態では、電子装置２００は、柔軟性及び剛性の双方のタッチセンサ式表面を備えてもよい。
【００２７】
図２に示された電子装置２００の筐体２０５は、構成要素の少なくとも一部に対する保護を電子装置２００に提供する。例えば、筐体２０５は、雨等の外来物からプロセッサ２１０及びメモリ２２０を保護するプラスチックケースであってもよい。一部の実施形態では、筐体２０５は、電子装置２００がユーザによって落とされた場合の損傷から筐体２０５内の構成要素を保護する。筐体２０５は、限定されないが、プラスチック、ゴム又は金属等を含む任意の適切な材料から作られ得る。様々な実施形態は、異なる種類の筐体又は複数の筐体を含んでもよい。例えば、一部の実施形態では、電子装置２００は、携帯装置、ハンドヘルド装置、玩具、ゲームコンソール、ハンドヘルドビデオゲームシステム、ゲームパッド、ゲームコントローラ、デスクトップコンピュータ、携帯電話等の携帯型多機能装置、スマートフォン、ＰＤＡ（ｐｅｒｓｏｎａｌ  ｄｉｇｉｔａｌ  ａｓｓｉｓｔａｎｔ）、ｅリーダー（ｅＲｅａｄｅｒ）、携帯型読書装置、ラップトップ、タブレットコンピュータ、デジタル音楽プレーヤ、リモートコントロール、医療機器等であってもよい。一部の実施形態では、電子装置２００は、車両、腕時計、他の宝飾品類、アームバンド、手袋、メガネ等の別の装置に組み込まれてもよい。従って、一部の実施形態では、電子装置２００は装着式である。一実施形態では、電子装置２００は、例えば、車のコンソール又はハンドル等の別の装置に組み込まれてもよい。他の多くの例示が本明細書に開示され、他の様々な変形が本開示の範囲内にある。
【００２８】
図２に示される実施形態では、タッチセンサ式ディスプレイ２３０は、ユーザが電子装置２００と相互作用するための機構を提供する。例えば、タッチセンサ式ディスプレイ２３０は、ユーザがタッチセンサ式ディスプレイ２３０上を覆うこと、接触すること、又は押すこと（これらは全て、本明細書では接触と呼ばれる）に応じてユーザの指の場所若しくは圧力、又はその両方を検出する。一実施形態では、接触はカメラの使用を通じて生じ得る。例えば、電子装置２００のディスプレイ２３０に表示されるコンテンツをユーザが観察するときに観察者の目の動きを追跡するためにカメラが使用されてもよい。この実施形態では、観察者の目の動きに少なくとも部分的に基づいて触覚効果が引き起こされてもよい。例えば、観察者がディスプレイ２３０の特定の場所にあるコンテンツを観察しているという決定が行われると触覚効果が出力されてもよい。一部の実施形態では、タッチセンサ式ディスプレイ２３０は、タッチセンサ式ディスプレイ２３０上の１つ以上の接触の場所、圧力、接触面の大きさ、又はこれらの全てを決定する１つ以上のセンサを備え、これらと接続され又は通信してもよい。
【００２９】
例えば、一実施形態では、タッチセンサ式ディスプレイ２３０は、相互キャパシタンス（ｍｕｔｕａｌ  ｃａｐａｃｉｔａｎｃｅ）システムを備え又はこれと通信する。別の実施形態では、タッチセンサ式ディスプレイ２３０は、絶対キャパシタンス（ａｂｓｏｌｕｔｅ  ｃａｐａｃｉｔａｎｃｅ）システムを備え又はこれと通信する。一部の実施形態では、タッチセンサ式ディスプレイ２３０は、抵抗性パネル、容量性パネル、赤外線ＬＥＤ、光検出器、画像センサ、光学カメラ、又はこれらの組み合わせを備え又はこれらと通信してもよい。従って、タッチセンサ式ディスプレイ２３０は、例えば、抵抗性、容量性、赤外線、光学、熱、分散信号、又は音響パルス技術、又はこれらの組み合わせ等のタッチセンサ式表面上の接触を決定するための任意の適切な技術を組み込んでもよい。一部の実施形態では、決定された触覚効果は、相互作用及び／又は１つ以上の相互作用を決定するために使用され得る１つ以上のセンサから受信した他の情報に少なくとも部分的に基づいて修正又は構成される。例えば、１つ以上の相互作用に基づいて、触覚効果の強度パラメータが増加又は減少してもよい。一部の実施形態では、ディスプレイはタッチセンサ式ではない。他の実施形態では、電子装置２００は、ディスプレイを有していない。
【００３０】
図２に示された実施形態では、触覚出力装置２４０及び２６０は、プロセッサ２１０と通信して、１つ以上の触覚効果を提供するように構成される。例えば、一実施形態では、プロセッサ２１０によって、作動信号が触覚出力装置２４０、触覚出力装置２６０、又はその両方に提供されると、各触覚出力装置２４０、２６０は、作動信号に基づいて触覚効果を出力する。例えば、図示の実施形態では、プロセッサ２１０は、アナログ駆動信号を含む触覚出力装置２４０に触覚出力信号を送信するように構成される。一部の実施形態では、プロセッサ２１０は、触覚出力装置２６０にコマンドを送信するように構成される。
コマンドは、触覚出力装置２６０に触覚効果を出力させる適切な駆動信号を生成するために使用されるパラメータを含む。他の実施形態では、異なる信号及び異なる信号タイプが１つ以上の触覚出力装置の各々に送信されてもよい。例えば、一部の実施形態では、プロセッサは、触覚出力装置を駆動して触覚効果を出力するために低レベル駆動信号を送信してもよい。このような駆動信号は、増幅器によって増幅されてもよく、又は駆動される特定の触覚出力装置に対応する適切なプロセッサ又は回路を使用してデジタルからアナログ信号に又はアナログからデジタル信号に変換されてもよい。
【００３１】
触覚出力装置２４０又は２６０等の触覚出力装置は、１つ以上の触覚効果を出力することが可能な任意の構成要素又は構成要素の集合であり得る。例えば、触覚出力装置は、限定されないが、偏心回転質量（ＥＲＭ）アクチュエータ、線形共振アクチュエータ（ＬＲＡ）、圧電性アクチュエータ、音声コイルアクチュエータ、電気活性ポリマ（ＥＡＰ）アクチュエータ、形状記憶合金、ページャ、ＤＣモータ、ＡＣモータ、可動磁石アクチュエータ、Ｅコアアクチュエータ、スマートゲル、静電アクチュエータ、電気触覚アクチュエータ、変形可能表面、静電摩擦（ＥＳＦ）装置、超音波摩擦（ＵＳＦ）装置、又は触覚出力装置の機能を実行する若しくは触覚効果を出力ことができる任意の他の触覚出力装置若しくは構成要素の集合を含む様々な種類の１つであり得る。複数の触覚出力装置又は異なる大きさの触覚出力装置が、所定範囲の振動周波数を提供するために使用されてもよく、個々に又は同時に作動されてもよい。様々な実施形態が、単一又は複数の触覚出力装置を含んでもよく、同じ種類の又は異なる種類の触覚出力装置の組み合わせを有してもよい。
一部の実施形態では、１つ以上の触覚出力装置は、有線又は無線通信等の電子装置と直接又は間接的に通信する。一実施形態では、電子装置は車内に配置され又は車両に統合され得る。また、１つ以上の触覚出力装置が車両に組み込まれる。例えば、１つ以上の触覚出力装置が、車両の座席、ハンドル、ペダル等に組み込まれてもよい。一部の実施形態では、触覚出力装置２４０及び／又は触覚出力装置２６０を有する代わりに、又は触覚出力装置２４０及び／又は触覚出力装置２６０を有することに加えて、電子装置２００は１つ以上の他の出力装置を有する。例えば、電子装置２００は、スピーカ及び／又はディスプレイを有してもよい。一実施形態では、電子装置２００は、１つ以上の触覚出力装置、１つ以上のスピーカ、及び１つ以上のディスプレイを有する。他の多くの例示が本明細書に開示され、他の様々な変形が本開示の範囲内にある。
【００３２】
様々な実施形態では、１つ以上の触覚効果が、様々な手法で又は手法の組み合わせで生成されてもよい。例えば、一実施形態では、偏心質量を回転させることにより又は質量を線形的に振動させること等により、１つ以上の振動が触覚効果を生成するために使用されてもよい。一部のこうした実施形態では、触覚効果は、電子装置全体に又は電子装置の表面のみ若しくは限定された部分に振動を与えるように構成されてもよい。別の実施形態では、２つ以上の構成要素間の摩擦又は少なくとも１つの構成要素と少なくとも１つの接触との間の摩擦が、構成要素の動きに抵抗を与え又はトルク等を与えるために、移動する構成要素にブレーキを加えること等によって、触覚効果を生成するために使用されてもよい。振動効果を生成するために、多くの装置が何らかの種類のアクチュエータ及び／又は他の触覚出力装置を利用する。このために使用される既知の触覚出力装置は、偏心質量がモータによって動かされるＥＲＭ（Ｅｃｃｅｎｔｒｉｃ  Ｒｏｔａｔｉｎｇ  Ｍａｓｓ）、バネに取り付けられた質量が前後に駆動されるＬＲＡ（Ｌｉｎｅａｒ  Ｒｅｓｏｎａｎｔ
Ａｃｔｕａｔｏｒ）、又は圧電性物質、電気活性ポリマ若しくは形状記憶合金等の「スマート材料」を含む。
【００３３】
他の実施形態では、触覚効果を生成するために、１つ以上の構成要素の変形が使用され得る。例えば、表面の形状又は表面の摩擦係数を変えるために、１つ以上の触覚効果が出力されてもよい。一実施形態では、表面の摩擦を変更するために使用される静電力及び／又は超音波力を生成することによって、１つ以上の触覚効果が生成される。他の実施形態では、触覚効果を生成するために、スマートゲルを含む１つ以上の領域等の透明変形要素の配列が使用されてもよい。また、触覚出力装置は、静電摩擦（ｅｌｅｃｔｒｏｓｔａｔｉｃ  ｆｒｉｃｔｉｏｎ；ＥＳＦ）、超音波表面摩擦（ｕｌｔｒａｓｏｎｉｃ  ｓｕｒｆａｃｅ、ＵＳＦ）、又は超音波触覚トランスデューサによる音響放射圧を含むもの、又は触覚基板及び可撓性若しくは変形可能表面を使用するもの、又は空気ジェットを使用する空気の吹き出し等の投射触覚出力を提供するものを広く含む。一部の実施形態では、触覚効果は運動感覚効果である。
【００３４】
図２では、通信インターフェース２５０は、プロセッサ２１０と通信し、電子装置２００から他の構成要素又は他の装置に有線又は無線通信を提供する。例えば、通信インターフェース２５０は、電子装置２００と無線センサ又は無線作動装置との間の無線通信を提供してもよい。一部の実施形態では、通信インターフェース２５０は、個々の装置においてユーザが互いと相互作用することを可能にするために、別の電子装置２００等の１つ以上の他の装置に通信を提供してもよい。通信インターフェース２５０は、複圧式タッチセンサ式入力電子装置２００が別の構成要素又は装置と通信することを可能にする任意の構成要素又は構成要素の集合であり得る。例えば、通信インターフェース２５０は、ＰＣＩネットワークアダプタ、ＵＳＢネットワークアダプタ、又はＥｔｈｅｒｎｅｔ（登録商標）アダプタを含んでもよい。通信インターフェース２５０は、８０２．１１ａ、ｇ、ｂ、又はｎ標準を含む無線Ｅｔｈｅｒｎｅｔ（登録商標）を使用して通信してもよい。一実施形態では、通信インターフェース２５０は、無線周波数（ＲＦ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＣＤＭＡ、ＴＤＭＡ、ＦＤＭＡ、ＧＳＭ（登録商標）、ＷｉＦｉ、衛星又は他のセルラ若しくは無線技術を使用して通信できる。他の実施形態では、通信インターフェース２５０は、有線接続を介して通信してもよく、Ｅｔｈｅｒｎｅｔ（登録商標）、トークンリング、ＵＳＢ、ＦｉｒｅＷｉｒｅ１３９４、光ファイバ等の１つ以上のネットワークと通信してもよい。一部の実施形態では、電子装置２００は、単一の通信インターフェース２５０を備える。他の実施形態では、電子装置２００は、２つ、３つ又は４つ以上の通信インターフェースを備える。従って、一部の実施形態では、電子装置２００は、１つ以上の通信インターフェースを介して１つ以上の構成要素及び／又は装置と通信することができる。他の実施形態では、電子装置２００は、通信インターフェース２５０を含まなくてもよい。
【００３５】
図２では、センサ２７０は、プロセッサ２１０と通信して、プロセッサ２１０にセンサ情報を提供する。例えば、センサ２７０は、１つ以上の相互作用をプロセッサ２１０に提供してもよい。センサ２７０は、１つ以上の相互作用を示す入力信号を提供してもよい。
別の例示として、センサ２７０は、電子装置２００との１つ以上の相互作用に対応する情報をプロセッサ２１０に提供することができる。一部の実施形態では、センサ２７０がプロセッサ２１０に提供する情報は、ユーザが電子装置２００を振る等の電子装置２００全体との相互作用に対応する。他の実施形態では、センサ２７０がプロセッサ２１０に提供する情報は、タッチセンサ式ディスプレイ２３０又は別の適切な入力装置等の電子装置２００の一部との相互作用に対応する。
【００３６】
図２に示された実施形態は、単一のセンサ２７０を描いている。一部の実施形態では、多数のセンサが使用され得る。更に、センサは、電子装置２００の他の構成要素と同じ構成要素の中に又は別の構成要素の中に収容されてもよい。例えば、一部の実施形態では、プロセッサ２１０、メモリ２２０、及びセンサ２７０は、携帯型ミュージックプレーヤ、携帯電話、及び／又は装着可能装置等の電子装置２００の中に全て含まれる。一部の実施形態では、センサは、メモリ及び／又はプロセッサを収容する他の構成要素とは別の構成要素に配置される。例えば、装着可能なセンサが、有線又は無線接続を介してプロセッサ及びメモリ又は電子装置と通信してもよい。
【００３７】
センサ２７０は、任意の数及び／又は種類の感知要素を含んでもよい。例えば、センサ２７０は、加速度計及び／又はジャイロスコープを含み得る。センサ及び相互作用の例示の非限定的なリストが以下に示される。
【００３８】
【表１】
2018206427.tif 000003
【００３９】
（例示的なシステム）
図３は、実施形態による例示的なコンピュータ環境においてスペクトログラムの視覚処理をして触覚効果を生成するための例示的なコンピュータ装置を描くシステム図を示す。
図３に示されるシステム３００は、３つの電子装置３２０−３４０、及びウェブサーバ３５０を含む。各電子装置３２０−３４０とウェブサーバ３５０は、ネットワーク３１０に接続される。この実施形態では、各電子装置３２０−３４０は、ネットワーク３１０を介してウェブサーバ３５０と通信する。従って、各電子装置３２０−３４０は、ウェブサーバ３５０に要求を送信して、ネットワーク３１０を介してウェブサーバ３５０から応答を受信することができる。
【００４０】
一実施形態では、図３に示されたネットワーク３１０は、電子装置３２０−３４０とウェブサーバ３５０との間の通信を容易にする。ネットワーク３１０は、限定されないが、ダイヤルインネットワーク、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、公衆交換電話網（ＰＳＴＮ）、セルラネットワーク、ＷｉＦｉネットワーク、インターネット、イントラネット又は有線及び／若しくは無線通信リンクを含む任意の適切な数又は種類のリンクであってもよい。一実施形態では、ネットワーク３１０は、単一のネットワークである。他の実施形態では、ネットワーク３１０は、２つ以上のネットワークを含んでもよい。例えば、電子装置３２０−３４０は、第１のネットワークに接続されてもよく、ウェブサーバ３５０は、第２のネットワークに接続されてもよく、第１及び第２のネットワークは、第３のネットワークによって接続されてもよい。多数の他のネットワーク構成が当業者には明らかであろう。
【００４１】
電子装置は、ネットワーク３１０等のネットワークと通信することが可能であり、ウェブサーバ３５０等の別の装置に情報を送信し及び別の装置から情報を受信することが可能であってもよい。例えば、図３では、１つの電子装置３２０はタブレットコンピュータである。タブレットコンピュータ３２０は、タッチセンサ式ディスプレイを含み、無線通信インターフェースカードを使用することによってネットワーク３１０と通信することができる。図３に示される電子装置３３０であり得る別の装置は、デスクトップコンピュータである。デスクトップコンピュータ３３０は、ディスプレイと通信し、有線ネットワーク接続を介してネットワーク３３０に接続可能である。デスクトップコンピュータ３３０は、キーボード又はマウス等の任意の数の入力装置と通信してもよい。図３では、携帯電話が電子装置３４０である。携帯電話３４０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＣＤＭＡ、ＴＤＭＡ、ＦＤＭＡ、ＧＳＭ（登録商標）、ＷｉＦｉ、又は他のセルラ若しくは無線技術を使用する無線通信手段を介してネットワーク３１０と通信することが可能であってもよい。
【００４２】
別の装置から要求を受信する装置は、ネットワーク３１０等のネットワークと通信可能であり、別の装置に情報を送信し及び別の装置から情報を受信することが可能な任意の装置であってもよい。例えば、図３に示された実施形態では、ウェブサーバ３５０は、別の装置（例えば、１つ以上の電子装置３２０−３４０）から要求を受信してもよく、ネットワーク３１０と通信してもよい。受信装置は、追加のサーバ等の１つ以上の追加の装置と通信してもよい。例えば、図３に示されたウェブサーバ３５０は、別のサーバと通信してもよい。一実施形態では、ウェブサーバは、電子装置から受信した要求を処理するために１つ以上の追加の装置と通信してもよい。例えば、図３のウェブサーバ３５０は、複数の追加のサーバと通信してもよく、その中の少なくとも１つが任意の電子装置３２０−３４０からの要求の少なくとも一部を処理するために使用されてもよい。一実施形態では、ウェブサーバ３５０は、コンテンツ分散ネットワーク（ＣＤＮ）の一部であり又はこれと通信してもよい。
【００４３】
１つ以上の装置がデータストアと通信してもよい。図３では、ウェブサーバ３５０がデータストア３６０と通信している。複数の実施形態において、データストア３６０は、データストア３６０と通信するウェブサーバ３５０及び／又は他の装置から命令を受信し、命令の受信に応答してデータを取得、更新又は処理するように動作可能である。一実施形態では、タブレットコンピュータ３２０等の電子装置は、データストアを含み及び／又はこれと通信する。データストア３６０等のデータストアは、電子ブック又はマガジン等の電子コンテンツ、データアイテム、ユーザアカウント、メタデータ、既定の触覚効果に関係付けられる情報、既定のイベントに関係付けられる情報、既定の触覚効果と既定のイベントとの間の関連性、スペクトログラム特性に関係付けられる情報、スペクトログラム特性と既定の触覚効果との間の関連性、ユーザ相互作用、ユーザ履歴、イベントの発生に関する情報、１つ以上の触覚効果に対するデフォルトパラメータ、１つ以上の動作環境に対する触覚プロフィール、１つ以上の触覚モデル、触覚効果に対する最小及び／又は最大パラメータ、生成された既定の触覚効果に関する情報、相互作用、パラメータ、パラメータ調整、相互作用とパラメータ調整との間の相関、パラメータ調整とプロフィール及び／又は動作モードとの間の相関、触覚モデルと相互作用との間の相関、触覚モデルと触覚効果との間の相関、触覚モデルとパラメータとの間の相関、プロフィール及び／又は動作モードと相互作用との間の相関、触覚効果のパラメータを修正するのに使用可能な他の情報、相互作用を決定するのに使用可能な情報、他の情報、又はこれらの組み合わせを含んでもよい。
【００４４】
図３に示されたデータストア３６０は、ウェブサーバ３５０から要求を受信して、ウェブサーバ３５０に応答を送信することができる。例えば、ウェブサーバ３５０は、既定の触覚効果及びデフォルト強度パラメータに対するタブレットコンピュータ３２０からの要求を受信してもよい。タブレットコンピュータ３２０からの要求の受信に応じて、ウェブサーバ３５０は、既定の触覚効果及び既定の触覚効果に関するデフォルト強度パラメータに対してデータストアに問い合わせを行ってもよい。ウェブサーバ３５０からの要求の受信に応じて、データストア３６０は、既定の触覚効果及びデフォルト強度パラメータをウェブサーバ３５０に送信してもよい。ウェブサーバ３５０は、既定の触覚効果及びデフォルト強度パラメータをタブレットコンピュータ３２０に送信することができる。タブレットコンピュータ３２０は、１つ以上の相互作用に少なくとも部分的に基づいて既定の触覚効果に対するデフォルト強度パラメータを修正してもよい。例えば、より大きな又はより強い触覚効果が出力されるべきであることを１つ以上の相互作用が示す場合、タブレットコンピュータ３２０は、デフォルト強度パラメータを超えて強度パラメータを増加してもよい。同様に、より小さな又はより弱い触覚効果が生成されるべきであることを１つ以上の相互作用が示す場合、タブレットコンピュータ３２０は、デフォルト強度パラメータより低く強度パラメータを減少してもよい。他の多くの例示が本明細書に開示され、他の様々な変形が本開示の範囲内にある。
【００４５】
（触覚効果を生成するためのスペクトログラムの視覚処理の例示的な方法）
図４は、一実施形態によって触覚効果を生成するためのスペクトログラムの視覚処理の方法４００に関するフローチャートを示す。図４に示される方法４００は、図２に示される電子装置２００に関して記載される。一部の実施形態では、方法４００は、図３においてシステム３００で示された１つ以上の装置によって実行され得る。また、図４に示される方法４００は、一実施形態によって触覚効果を生成するためのスペクトログラムの視覚処理のアスペクトを示す図５に関して、及び一実施形態によって触覚効果を生成するためのスペクトログラムの視覚処理のアスペクトを示す図６に関して記載される。
【００４６】
方法４００は、信号が受信されるとブロック４１０で開始する。例えば、図２を参照すると、メモリ２２０、通信インターフェース２５０を介してプロセッサ２１０と通信する別の装置から、及び／又はセンサ２７０を介して音声信号を受信する。別の例示として、図３を参照すると、一部の実施形態では、タブレットコンピュータ３２０が、ネットワーク３１０を介してウェブサーバ３５０及び／又はデータストア３６０から音声信号等の１つ以上の信号を受信する。
【００４７】
任意の数の構成要素から１つ以上の信号を受信してもよい。一実施形態では、プロセッサ２１０が、電子装置２００のメモリ２２０に記憶された音声又は音声／映像ファイル等のファイルを受信する。一部の実施形態では、プロセッサ２１０は、通信インターフェース２５０を介して別の装置から信号を受信する。例えば、プロセッサ２１０は、通信インターフェース２５０を介してウェブサーバから音声ファイル及び／又は音声／映像ファイルを受信してもよい。別の例示として、プロセッサ２１０は、通信インターフェース２５０を介してサーバからストリーミングラジオ等の連続した音声ストリームを受信し得る。
一部の実施形態では、プロセッサ２１０は、センサ２７０から信号を受信する。例えば、プロセッサ２１０は、電子装置２００と接続されたマイクロホンから音声信号を受信してもよい。別の例示として、電子装置の筐体２０５内にマイクロホンが配置されてもよく、プロセッサ２１０はマイクロホンから音声信号を受信する。他の実施形態では、電子装置の筐体内に全体的に又は少なくとも部分的に１つ以上のセンサ信号が配置される。一実施形態では、プロセッサ２１０は、通信インターフェース２５０を介して別の装置のセンサから音声情報を受信する。例えば、別の電子装置がマイクロホンを有してもよく、プロセッサ２１０は図３に示されたネットワーク３１０等のネットワークと接続された通信インターフェース２５０を介してマイクロホンから音声情報を受信する。１つ以上の受信した信号は、限定されないが、音声信号、映像信号、加速度信号、速度信号、温度信号、別の適切な信号、又はこれらの組み合わせを含む任意の数の信号であり得る。様々な実施形態において、１つ以上の受信した信号は、１つ以上のスペクトログラムが生成され得る任意の数の信号であり得る。他の多くの例示が本明細書に開示され、他の様々な変形が本開示の範囲内にある。
【００４８】
方法４００を再度参照すると、１つ以上の信号を受信すると（４１０）、方法４００はブロック４２０に進む。ブロック４２０では、１つ以上のスペクトログラムが生成される。例えば、図２を参照すると、１つ以上のスペクトログラムは、プロセッサ２１０によって生成されてもよい。別の例示として、図３を参照すると、１つ以上のスペクトログラムは、デスクトップコンピュータ３３０によって生成されて、分析するためにネットワーク３１０を介してサーバ３５０に送信されてもよい。一実施形態では、タブレットコンピュータ３２０は、サーバ３５０から音声ファイルを受信して、タブレットコンピュータ３２０によって分析するために１つ以上のスペクトログラムを生成してもよい。
【００４９】
１つ以上のスペクトログラムは様々なやり方で１つ生成され得る。一実施形態では、信号の時間ウインドウ及び時間領域のフーリエ変換が計算されて、１つ以上のスペクトログラムを生成するために用いられてもよい。このような実施形態は、時間区分を表す１つの次元、周波数を表す別の次元、及びフーリエ変換値を表す第３の次元を有する３次元行列を生成し得る。こうした値は、時間を表す水平軸、周波数を表す垂直軸、フーリエ変換値を表す特定の周波数及び時間における色彩等のスペクトログラムを生成するために使用されてもよい。例えば、図５の上のグラフは、図５の下のグラフに示された音声信号の時間領域表現に対応するビデオクリップのスペクトログラムの２次元表現を示す。図５に示されているように、上のグラフの色彩強度は、各時間ウインドウに対するＦＦＴ振幅を表す。更に、図５に示されているように、上のグラフは、二次元画像であり、本明細書で検討されるように１つ以上の触覚効果を決定するために処理され得る。
【００５０】
１つ以上のスペクトログラムを生成することが可能であり、及び／又は生成されたスペクトログラムは様々なやり方で複数のスペクトログラムに分割され得る。一実施形態では、スペクトログラムは、１つ以上の受信した信号の時間ウインドウに少なくとも部分的に基づいて生成される。例えば、信号の時間領域の時間ウインドウが計算されて、スペクトログラムを生成するために用いられ得る。一部の実施形態では、時間ウインドウは、１ミリ秒、１０ミリ秒、２５ミリ秒、５０ミリ秒、７５ミリ秒、１００ミリ秒、又は任意の他の適切な時間ウインドウ等の任意の適切な時間ウインドウであり得る。一部の実施形態では、スペクトログラムは、音声信号及び／又は別の適切な信号等の信号の少なくとも１つのセグメントに対して少なくともフーリエ変換を計算することによって生成される。１つ以上のセグメントは、各時間ウインドウにおける音声信号等の信号の値に対応し得る。一部の実施形態では、スペクトログラムを生成するために使用される信号の１つ以上のセグメントが少なくとも部分的に重複する。他の実施形態では、スペクトログラムを生成するために使用される信号の１つ以上のセグメントは、信号の別のセグメントと重複しない。
他の多くの例示が本明細書に開示され、他の様々な変形が本開示の範囲内にある。
【００５１】
一部の実施形態では、周波数及び／又は時間に少なくとも部分的に基づいて、スペクトログラムが複数のスペクトログラムに分割される。他の実施形態では、周波数、時間、及び／又は時間ウインドウに少なくとも部分的に基づいて、別個のスペクトログラムが生成されてもよい。例えば、図６は、一実施形態によって触覚効果を生成するためのスペクトログラムの視覚処理の態様を示す。図６に示されるように、一番上の画像は０〜１００Ｈｚの周波数を表示する音声信号のスペクトログラムであり、次の画像は同じ音声信号であるが１００〜１０００Ｈｚの周波数に対応するスペクトログラムであり、３つ目の画像は同じ音声信号であるが１０００〜５０００Ｈｚの周波数に対応するスペクトログラムであり、４つ目の画像は同じ音声信号であるが５００〜ナイキスト周波数に対応するスペクトログラムである。スペクトログラムは任意の数の周波数に対して生成可能であり、又は以前に生成されたスペクトログラムは任意の数の周波数に対して複数のスペクトログラムに分割され得る。
【００５２】
一部の実施形態では、スペクトログラムの生成は、１つ以上の２次元画像を生成することを含む。生成された２次元画像は、信号に関係付けられる第１の周波数帯域に対応してもよい。一部の実施形態では、２次元画像は、複数の２次元画像にセグメント化される。
複数の２次元画像における１つ以上の画像は、各周波数帯域を含んでもよい。各周波数帯域は、スペクトログラムに関係付けられる周波数帯域内の周波数帯域であってもよい。複数の２次元画像における各画像は、複数の２次元画像における他の画像とは異なる周波数帯域に対応してもよい。一部の実施形態では、複数の２次元画像における特定の画像の周波数帯域は、複数の２次元画像における別の画像の周波数帯域と部分的に重複する。一部の実施形態では、スペクトログラムの生成は、複数のスペクトログラムを生成することを含む。１つ以上のスペクトログラムが、受信した信号に関係付けられる周波数帯域に対応してもよい。他の実施形態では、スペクトログラムは、信号に関係付けられる別個の周波数帯域に対応する。他の多くの例示が本明細書に開示され、他の様々な変形が本開示の範囲内にある。
【００５３】
方法４００を再度参照すると、１つ以上のスペクトログラが生成されると（４２０）、方法４００はブロック４３０に進む。ブロック４３０では、１つ以上の触覚効果が決定される。例えば、図２を参照すると、１つ以上の触覚効果は、生成されたスペクトログラムの１つ以上に少なくとも部分的に基づいてプロセッサ２１０によって決定されてもよい。
別の例示として、図３を参照すると、１つ以上の触覚効果は、１つ以上の触覚効果に対応する特徴のデータベースに少なくとも部分的に基づいてプロセッサ３３０によって決定されてもよい。特徴のデータベースは、デスクトップコンピュータ３３０に、及び／又はサーバ３５０と通信し且つネットワーク３１０を介してデスクトップコンピュータ３３０と通信するデータベース３６０等の１つ以上のデータベースに記憶されてもよい。
【００５４】
１つ以上の触覚効果が様々なやり方で１つ決定され得る。例えば、一実施形態では、１つ以上のスペクトログラムに少なくとも部分的に基づいて触覚効果が決定される。例えば、時間及び／又は周波数に対する強度の変化が分析されて、１つ以上の触覚効果を決定し得る。別の例示として、画像処理技術が１つ以上のスペクトログラムに適用されて、１つ以上の触覚効果を決定することができる。このような処理技術は、限定されないが、エッジ検出、閾値化、クラスタリング、及び／又は色ヒストグラム推定を含む。一実施形態では、スペクトログラムの特徴間の遷移の領域を見つけるために、勾配推定等のエッジ検出技術が使用される。別の実施形態では、少数のグレー又はカラーレベルがスペクトログラムに存在する場合に、閾値化技術が使用される。従って、一部の実施形態では、スペクトログラムをグレースケール又は白黒画像に変換することが可能であり、１つ以上の触覚効果を決定するためにこの画像に閾値化技術を適用することができる。一部の実施形態では、１つ以上のスペクトログラムは、類似した特長に隣接するピクセルを有する所与の数のクラスタにパーティション化され得る。パーティションは、１つ以上の触覚効果を決定するために分析されてもよい。他の実施形態では、ＨＬＳ（色相（ｈｕｅ）、彩度（ｓａｔｕｒａｔｉｏｎ）、及び明度（ｌｉｇｈｔｎｅｓｓ））、ＨＳＶ（色相（ｈｕｅ）、彩度（ｓａｔｕｒａｔｉｏｎ）、及び値（ｖａｌｕｅ））、及び／又はＲＧＢ（ｒｅｄ、ｇｒｅｅｎ、ｂｌｕｅ）値が、類似したヒストグラムを有する領域を識別するために１つ以上のスペクトログラムにおいて分析される。他の多くの例示が本明細書に開示され、他の様々な変形が本開示の範囲内にある。
【００５５】
一部の実施形態では、触覚効果を１つ以上のスペクトログラムの領域と少なくとも部分的に一致させることによって、１つ以上の触覚効果が決定され得る。例えば、１つ以上のスペクトログラム内の領域が一定の間隔で（例えば時間で）離れている場合、ビートに対応する触覚効果が決定されてもよい。従って、一実施形態では、受信した信号におけるビートは、受信した信号に対して生成される１つ以上のスペクトログラムから識別することができ、識別されたビートに対応する触覚効果を出力するために使用することができる。
別の例示として、受信した信号における１つの音から別の音への遷移等、１つの特徴から別の特徴への遷移を決定するために、１つ以上のスペクトログラムにおける１つの領域と別の領域との間の変化が使用され得る。一実施形態では、受信した信号に対するスペクトログラム内の特徴間の遷移に少なくとも部分的に基づいて、受信した信号内の１つの特徴から別の特徴への遷移の決定の前に、触覚効果が出力されるべきであるという決定がなされる。別の実施形態では、受信した信号に対するスペクトログラム内の特徴間の遷移に少なくとも部分的に基づいて、受信した信号内の１つの特徴から別の特徴への遷移の決定の後で、触覚効果が出力されるべきであるという決定がなされる。
【００５６】
一部の実施形態では、スペクトログラムの特徴の決定は、複数の領域を生成するための少なくとも１つの技術をスペクトログラムに適用することを含む。一部の実施形態では、複数の領域のサブセットを少なくとも１つの触覚効果と一致させる。触覚効果の決定は、既定の触覚効果に対応する特徴に対して複数のスペクトログラムのサブセットを分析することを含んでもよい。特徴が複数のスペクトログラムのサブセット内に見つかる場合、既定の触覚効果が選択されてもよい。他の多くの例示が本明細書に開示され、他の様々な変形が本開示の範囲内にある。
【００５７】
一部の実施形態では、信号に対する１つ以上のスペクトログラム生成されたスペクトログラムは、全周波数帯域又は異なる周波数帯域を対象とする。例えば、図５の上のグラフに示されたスペクトログラムは、信号内の全ての可能な周波数に対する音声信号のスペクトログラム（例えば、この図では０Ｈｚ〜ナイキスト周波数）を示す。一部の実施形態では、図５に示されたスペクトログラムのようなスペクトログラムは、１つ以上の触覚効果を決定するために使用可能な情報を提供する。他の実施形態では、１つ以上の触覚効果を決定するために、２つ以上の周波数帯域でより詳細な情報が使用される。
【００５８】
例えば、図６に示されるように、一番上の画像は０〜１００Ｈｚの周波数を表示する音声信号のスペクトログラムであり、次の画像は同じ音声信号であるが１００〜１０００Ｈｚの周波数に対応するスペクトログラムであり、３つ目の画像は同じ音声信号であるが１０００〜５０００Ｈｚの周波数に対応するスペクトログラムであり、４つ目の画像は同じ音声信号であるが５００〜ナイキスト周波数に対応するスペクトログラムである。図６に見られるように、異なる周波数帯域に少なくとも部分的に基づくスペクトログラムは、１つ以上の触覚効果を決定するために使用可能な異なる情報を提供する。例えば、様々な時間において、図６に示された各周波数バンドは、４つの円によって明示された異なる強度情報を含む。各円は、同じ期間だが異なる周波数バンドをカバーしている。一部の実施形態では、１つ以上のこうした周波数バンド（例えば、周波数帯域）が、１つ以上の特徴のために分析される。１つ以上のスペクトログラムの任意の又は全ての周波数帯域を分析することによって、１つ以上の特徴に対応する１つ以上の触覚効果が決定されてもよい。
【００５９】
１つ以上のスペクトログラムの１つ以上の周波数帯域は、１つ以上の既定の触覚効果に対応する（複数の）特徴のために分析されてもよい。例えば、特定の特徴が１つ以上のスペクトログラムの特定の周波数帯域に見つかる場合に、触覚効果が選択されてもよい。従って、一部の実施形態では、受信した信号に対する１つ以上のスペクトログラムの複数の周波数帯域が分析される。一実施形態では、信号を受信する電子装置２００が、１つ以上の周波数帯域に対して１つ以上のスペクトログラムを生成して、触覚効果に対応する特徴のために少なくとも一部のスペクトログラムを分析する。例えば、電子装置２００は、特徴に対応する既定の触覚効果のライブラリを有してもよい。この実施形態では、１つ以上の生成されたスペクトログラムが分析されて、スペクトログラムに特徴が存在するかどうかを決定し得る。他の実施形態では、電子装置２００は、既定の触覚効果のデータベース及び／又は既定の特徴及び／又は既定の触覚効果と既定の特徴との間の関連性のデータベースを含み又はこれらと通信してもよい。他の多くの例示が本明細書に開示され、他の様々な変形が本開示の範囲内にある。
【００６０】
スペクトログラムが特徴を有するとの決定に応じて、特徴に対応する１つ以上の触覚効果が、既定の触覚効果のライブラリ及び／又は既定の触覚効果と特定の特徴との間の相関性に少なくとも部分的に基づいて決定されてもよい。一部の実施形態では、１つ以上の決定された触覚効果に対するタイミングは、１つ以上のスペクトログラムに特徴が見つかる時間に少なくとも部分的に基づく。例えば、特徴に対応する触覚効果が特徴が発生する前に（例えば、特徴の５ミリ秒前に、特徴の５０ミリ秒前に、又は特徴が発生する前の任意の他の適切な時間に）出力されるべきであるという決定がなされる。別の例示として、特徴が発生すると特徴に対応する触覚効果が出力されるべきであるという決定がなされ得る。他の実施形態では、特徴に対応する触覚効果は特徴が発生する前、そのとき、その間又はその後に出力されるべきであるという決定がなされる。一部の実施形態では、１つの特徴から別の特徴への遷移の間に特徴が出力されるべきであるという決定がなされる。他の多くの例示が本明細書に開示され、他の様々な変形が本開示の範囲内にある。
【００６１】
１つ以上の周波数帯域が他の分析された周波数帯域とは異なってもよく、１つ以上の特徴及び／又は１つ以上の触覚効果を決定するために分析され得る。例えば、再び図６を参照すると、一実施形態では、４つの周波数帯域の各々が１つ以上の特徴及び／又は１つ以上の触覚効果のために独立して分析される。従って、図６では、１００〜１０００Ｈｚの周波数バンドのスペクトログラムが１０００〜５０００Ｈｚの周波数バンドのスペクトログラムとは別個に分析される。一部の実施形態では、触覚効果を決定するために２つ以上の周波数バンドが独立して分析されると、単一の触覚トラックが、独立して分析された周波数バンドに対して決定された触覚効果に少なくとも部分的に基づいて決定される。
【００６２】
他の実施形態では、独立して分析された周波数バンドに少なくとも部分的に基づいて、２つ以上の触覚トラックが決定される。例えば、図６を再び参照すると、１００〜１０００Ｈｚの周波数バンドのスペクトログラムに少なくとも部分的に基づいて第１の触覚トラックが決定されてもよく、１０００〜５０００Ｈｚの周波数バンドのスペクトログラムに少なくとも部分的に基づいて第２の触覚トラックが決定されてもよい。他の実施形態では、２つ以上の周波数バンドに基づく一部の触覚効果トラックが単一の触覚効果トラックに結合され、別の周波数バンドに基づく他の触覚効果トラックが別個の触覚効果トラックとして維持される。従って、１つ以上の触覚効果トラックは、１つ以上の生成されたスペクトログラムに少なくとも部分的に基づいて生成され得る。一部の実施形態では、２つ以上のスペクトログラムが独立して分析されて、その後、触覚効果トラックに結合される。この実施形態では、各スペクトログラムに対して決定された触覚効果に少なくとも部分的に基づいて、追加の触覚効果が結合された触覚効果トラックに加えられ及び／又はそれから引かれ得る。例えば、特定の触覚効果が出力されるべきであるが触覚効果に対するタイミングが正確に一致しないことを両方のスペクトログラムが示す場合、２回に１回、２回の平均等で１度のみ触覚効果を出力するという決定がなされてもよい。別の例示として、触覚効果が同時に又は同様の時間に出力されるべきであることを両方のスペクトログラムが示す場合、別個に決定された触覚効果のいずれよりも大きな振幅を有する単一の触覚効果が結合されたトラックに対して決定されてもよい。他の多くの例示が本明細書に開示され、他の様々な変形が本開示の範囲内にある。
【００６３】
一実施形態では、ユーザは、１つ以上の触覚効果トラックを選択することができる。例えば、先に検討されたように、受信した信号に対して１つ以上のスペクトログラムの１つ以上の周波数バンドに少なくとも部分的に基づいて、２つ以上の触覚効果トラックが決定され得る。一実施形態では、２つ以上の決定された触覚効果トラックが、例えばユーザインターフェースにおいてユーザに提示されて、ユーザはどの触覚出力トラック又は複数のトラックを使用すべきかを選択することができる。従って、一実施形態では、第１の触覚効果トラックは第１の周波数帯域において決定された触覚効果に対応し、第２の触覚効果トラックは第２の周波数帯域において決定された触覚効果に対応する。他の実施形態では、２つ、３つ、４つ又は５つ以上の触覚効果トラックが、１つ以上の周波数帯域に少なくとも部分的に基づいてユーザに提示される。一部の実施形態では、ユーザは、２つ以上の触覚トラックを結合して単一の触覚出力トラックを生成することを選択することができる。他の多くの例示が本明細書に開示され、他の様々な変形が本開示の範囲内にある。
【００６４】
方法４００を再度参照すると、１つ以上の触覚出力信号が決定されると（４３０）、方法４００はブロック４４０に進む。ブロック４４０では、１つ以上の触覚出力信号が生成される。例えば、図２を参照すると、電子装置２００は、１つ以上の触覚出力信号を生成してもよい。別の例示として、図３を参照すると、タブレットコンピュータ３２０が、１つ以上の触覚出力信号を生成してもよい。一実施形態では、タブレットコンピュータ３２０は、図３に示されるデスクトップコンピュータ３３０等の別の装置に１つ以上の生成された触覚出力信号を送信してもよい。一実施形態では、１つ以上の触覚出力信号は、修正された触覚効果に少なくとも部分的に基づく。例えば、触覚出力信号は、１つ以上の触覚出力装置に修正された触覚効果を出力させるように構成されてもよい。従って、決定された触覚効果に対応する強度パラメータが修正された場合、触覚出力信号は、修正された強度パラメータに対応する強度を有する触覚効果を触覚出力装置に出力させるように構成されてもよい。他の多くの例示が本明細書に開示され、他の様々な変形が本開示の範囲内にある。
【００６５】
一部の実施形態では、プロセッサ２１０は、イベントが発生するときに単一の信号を生成する。例えば、一実施形態では、プロセッサ２１０は、触覚出力装置２４０又は触覚出力装置２６０等の触覚出力装置に触覚効果を出力させるように構成される信号を生成する。触覚効果は、オブジェクトがディスプレイ２３０上に現在表示されていること、オブジェクトがディスプレイ２３０上に表示されようとしていること、オブジェクトが近づいていること、イベントが発生したこと、イベントが発生しそうであること、又はこれらの組み合わせを示してもよい。
【００６６】
他の実施形態では、プロセッサ２１０は、２個、３個、又はそれ以上の信号を生成する。例えば、一実施形態では、プロセッサ２１０は、第１の触覚効果を引き起こすように構成される第１の信号及び第２の触覚効果を引き起こすように構成される第２の信号を生成する。一部の実施形態では、プロセッサ２１０は、発生するイベントごとに異なる信号を生成する。様々な実施形態において、プロセッサ２１０は、タッチセンサ式ディスプレイ２３０、通信インターフェース２５０、触覚出力装置２４０、触覚出力装置２６０、センサ２７０、装置２００の他の構成要素、装置２００と通信する装置の他の構成要素、又はこれらの組み合わせに映像信号、音声信号、触覚出力信号及び／又は通信信号等の生成された信号の１つ以上を出力させるように構成される１つ以上の信号を生成する。例えば、一実施形態では、プロセッサ２１０は、別の装置の触覚出力装置に触覚効果を引き起こさせるように信号が構成されるイベントが発生するときに信号を生成する。一実施形態では、プロセッサ２１０は、通信インターフェース２５０を介して他の装置に信号を送信する。
【００６７】
一実施形態では、生成された信号は、リモート装置に触覚効果を出力し又はメッセージを送信する等、装置又は構成要素が特定の機能を実行するためのコマンドを含む。別の実施形態では、生成された信号は、応答又は何らかの形態の応答を決定するためのコマンドを受信する装置又は構成要素によって使用されるパラメータを含む。パラメータは、例えば、振幅、周波数、持続時間、又は触覚出力装置が触覚効果を決定し、触覚効果を出力し、若しくはその両方をするのに使用することが出来る他のパラメータに関連する様々なデータを含んでもよい。例えば、一実施形態では、プロセッサ２１０は、触覚出力装置２４０に触覚効果を出力させるように構成される信号を生成する。このような実施形態では、信号は、触覚出力装置２４０が出力する触覚効果の強度を決定するために使用する圧力パラメータを含んでもよい。例えば、一実施形態によれば、触覚出力装置２４０が受信する圧力パラメータが大きいほど、出力される触覚効果の強度は大きくなる。
【００６８】
一実施形態では、触覚出力装置が触覚効果の強度を決定するために強度パラメータが使用される。この実施形態では、強度パラメータが大きいほど、出力される触覚効果の強度は大きくなる。一実施形態では、強度パラメータは、イベント発生時の遠隔制御可能装置の速さ、方向等のセンサ情報に少なくとも部分的に基づく。従って、一実施形態によれば、遅い速さで遠隔制御可能装置が移動している間にイベントが発生するときよりも速い速さで遠隔制御可能装置が移動している間にイベントが発生するときに、より大きな強度パラメータが触覚出力装置に送信される。信号は、触覚出力装置、ディスプレイ、通信インターフェース、センサ、又は特定の応答の態様を決定するための装置若しくは装置と通信する他の構成要素によって処理されるように構成されるデータを含んでもよい。
【００６９】
方法４００を再度参照すると、１つ以上の触覚出力信号が生成されると（４４０）、方法４００はブロック４５０に進む。ブロック４５０では、１つ以上の生成された触覚出力信号が、１つ以上の触覚出力装置に出力される。例えば、図２を参照すると、１つ以上の生成された触覚出力信号が、触覚出力装置２４０及び／又は触覚出力装置２６０に出力されてもよい。別の例示として、図３を参照すると、デスクトップコンピュータ３３０によって生成された１つ以上の触覚出力信号が、ネットワーク３１０を介してタブレットコンピュータ３２０における１つ以上の触覚出力装置に出力されてもよい。一実施形態では、生成された触覚出力信号は、１つの触覚出力装置に送信される。他の実施形態では、生成された触覚出力信号は、２つ、３つ又は４つ以上の触覚出力装置に送信される。一部の実施形態では、２つ、３つ又は４つ以上の生成された触覚出力信号が、触覚出力装置に送信される。他の実施形態では、２つ、３つ又は４つ以上の生成された触覚出力信号が、触覚出力装置に送信される。他の多くの例示が本明細書に開示され、他の様々な変形が本開示の範囲内にある。
【００７０】
様々な実施形態において、プロセッサ２１０は、１つ以上の生成された信号を任意の数の装置に出力してもよい。例えば、プロセッサ２１０は、通信インターフェース２５０に１つの信号を出力してもよい。一実施形態では、プロセッサ２１０は、１つの生成された信号をタッチセンサ式ディスプレイ２３０に、別の生成された信号を通信インターフェース２５０に、別の生成された信号を触覚出力装置２６０に出力してもよい。他の実施形態では、プロセッサ２１０は、単一の生成された信号を複数の構成要素又は装置に出力してもよい。例えば、一実施形態では、プロセッサ２１０は、１つの生成された信号を触覚出力装置２４０及び触覚出力装置２６０の双方に出力する。別の実施形態では、プロセッサ２１０は、１つの生成された信号を触覚出力装置２４０、触覚出力装置２６０及び通信インターフェース２５０に出力する。更に別の実施形態では、プロセッサ２１０は、１つの生成された信号を触覚出力装置２４０及び触覚出力装置２６０の両方に出力し、第２の生成された信号をタッチセンサ式ディスプレイ２３０に出力する。
【００７１】
上述のように、プロセッサ２１０は、通信インターフェース２５０に１つの信号を出力してもよい。例えば、プロセッサ２１０は、装置２００と通信する別の構成要素又は装置にデータを送信するように通信インターフェース２５０に命令する信号を通信インターフェース２５０に出力してもよい。このような実施形態では、通信インターフェース２５０は他の装置にデータを送信してもよく、他の装置は他の装置に関係付けられるディスプレイを更新する等の機能を実行してもよく、又は他の装置は触覚効果を出力してもよい。従って、一部の実施形態では、第２の装置は、第２の装置と通信する第１の装置との相互作用に少なくとも部分的に基づいて触覚効果を出力してもよい。他の実施形態では、第２の装置は、例えば、第２の装置に関係付けられるディスプレイを更新し、又は第１のリモートコントロール２００との相互作用に少なくとも部分的に基づいて第２の装置に関係付けられるセンサに音声を出力する等の任意の数の機能を実行してもよい。
【００７２】
様々な実施形態では、プロセッサ２１０が構成要素に信号を出力した後、構成要素は、信号を受信したことを示す確認をプロセッサ２１０に送信してもよい。例えば、一実施形態では、触覚出力装置２６０は、プロセッサ２１０からコマンドを受信して触覚効果を出力してもよい。触覚出力装置２６０は、コマンドを受信すると、コマンドが触覚出力装置２６０によって受信されたことの確認応答をプロセッサ２１０に送信してもよい。別の実施形態では、プロセッサ２１０は、構成要素が指示を受信しただけではなく応答を行ったことを示す完了データを受信してもよい。例えば、一実施形態では、触覚出力装置２４０は、プロセッサ２１０から様々なパラメータを受信してもよい。こうしたパラメータに基づいて、触覚出力装置２４０は触覚効果を出力し、触覚出力装置２４０がパラメータを受信して触覚効果を出力したことを示す完了データをプロセッサ２１０に送信してもよい。
他の多くの例示が本明細書に開示され、他の様々な変形が本開示の範囲内にある。
【００７３】
（一般事項）
本明細書に記載の方法及びシステムは様々な機械で実行するソフトウェアに関して記載されているが、方法及びシステムは、例えば、様々な方法を実行するように専用に構成されるＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ）等の専用に構成されたハードウェアとして実装されてもよい。例えば、実施形態は、デジタル電子回路で、又はコンピュータハードウェア、ファームウェア、ソフトウェア若しくはこれらの組み合わせで実装され得る。一実施形態では、装置は、１つ又は複数のプロセッサを備えてもよい。プロセッサは、プロセッサに結合されるＲＡＭ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）等のコンピュータ可読媒体を備える。プロセッサは、メモリに記憶されたコンピュータ実行可能プログラム命令を実行する。例えば、画像を編集するために１つ以上のコンピュータプログラムを実行する。このようなプロセッサは、マイクロプロセッサ、ＤＳＰ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ）、及び状態機械を含む。このようなプロセッサは、ＰＬＣ、ＰＩＣ（ｐｒｏｇｒａｍｍａｂｌｅ  ｉｎｔｅｒｒｕｐｔ  ｃｏｎｔｒｏｌｌｅｒ）、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ  ｌｏｇｉｃ  ｄｅｖｉｃｅ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ）、ＥＰＲＯＭ又はＥＥＰＲＯＭ（ｅｌｅｃｔｒｏｎｉｃａｌｌｙ  ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ）、又は他の類似の装置等のプログラム可能電子装置を更に備えてもよい。
【００７４】
このようなプロセッサは、媒体、例えば、プロセッサによって実行されると、プロセッサによって遂行又は支援される本明細書に記載のステップをプロセッサに実行させることが出来る命令を記憶し得るコンピュータ可読媒体を備え、又はこれと通信してもよい。コンピュータ可読媒体の実施形態は、限定されないが、プロセッサ、例えばウェブサーバのプロセッサにコンピュータ可読命令を提供することが出来る電子、光学、磁気又は他の記憶装置を備えてもよい。媒体の他の例は、限定されないが、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取り可能な任意の他の媒体を含む。記載されたプロセッサ及び処理は、１つ以上の構造内にあってもよく、１つ以上の構造を通じて分散されてもよい。プロセッサは、本明細書に記載の１つ以上の方法（又は方法の一部）を実行するためのコードを備えてもよい。
【００７５】
本発明の一部の実施形態の上記の説明は、例示及び説明のためにのみ示されているのであって、網羅的であること又は開示された厳密な形態に本発明を限定することは意図されていない。その多くの修正及び適合が、本発明の精神及び範囲から逸脱することなく当業者には明らかであろう。
【００７６】
本明細書における「一実施形態」又は「ある実施形態」への言及は、特定の機能、構造、操作、又は実施形態と関連して記載される他の特徴が本発明の少なくとも１つの実装に含まれ得ることを意味する。本発明は、このように記載された特定の実施形態に制限されない。明細書の様々な場所における「一実施形態において」又は「ある実施形態において」という句の出現は、必ずしも同じ実施形態への言及ではない。任意の特定の機能、構造、操作、又は「一実施形態」に関連する本明細書に記載の他の特徴は、他の機能、構造、操作、又は任意の他の実施形態に関して記載された他の特徴と組み合わされてもよい。
【図１】
2018206427.tif 000004
【図２】
2018206427.tif 000005
【図３】
2018206427.tif 000006
【図４】
2018206427.tif 000007
【図５】
2018206427.tif 000008
【図６】
2018206427.tif 000009
【手続補正書】
【提出日】平成30年9月5日(2018.9.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
信号に少なくとも部分的に基づいてスペクトログラムを生成するステップと、
前記スペクトログラムに少なくとも部分的に基づいて触覚効果を決定するステップであって、
前記スペクトログラムに少なくとも１つの技術を適用することにより前記スペクトログラムの１つ以上の特徴を決定することであって、前記少なくとも１つの技術はエッジ検出、閾値検出、クラスタリング検出、又は色ヒストグラムクラスタ検出を含むこと、及び
既定の触覚効果に対応する１つ以上の特徴に対して、決定された１つ以上の特徴を分析すること
を含むステップと、
触覚出力装置に前記既定の触覚効果を出力させるように構成される触覚出力信号を前記触覚出力装置に出力するステップと
を含む、方法。
【請求項２】
触覚効果を決定するステップは、
前記スペクトログラムを複数の領域を含む複数のスペクトログラムに分割すること、
前記複数の領域の各々の１つ以上の特徴を決定すること、
前記既定の触覚効果に対応する特徴に対して、前記１つ以上の特徴を分析すること
を更に含む、請求項１に記載の方法。
【請求項３】
前記信号は、音声信号、映像信号、加速度信号、速度信号、又は温度信号の１つを含む、請求項１に記載の方法。
【請求項４】
前記スペクトログラムを生成するステップは、
音声信号の少なくとも１つのセグメントに対してフーリエ変換を計算するステップであって、各セグメントが各時間ウインドウにおける前記音声信号の値に対応するステップを含む、請求項１に記載の方法。
【請求項５】
前記スペクトログラムを生成するステップは、
前記信号に関係付けられる周波数帯域に対応する２次元画像を生成するステップを含む、請求項１に記載の方法。
【請求項６】
前記スペクトログラムを生成するステップは、
複数のスペクトログラムを生成するステップであって、各スペクトログラムが前記信号に関係付けられる各々の異なる周波数帯域に対応するステップを含む、請求項１に記載の方法。
【請求項７】
前記触覚効果を決定するステップは、
複数の異なる周波数帯域の各々に対して、
特徴のためにその異なる周波数帯域上で前記スペクトログラムを分析するステップと、
前記特徴に対応する触覚効果を決定するステップと、
前記スペクトログラムに前記特徴を見つけることに応じて、前記触覚効果を選択するステップと
を含む、請求項６に記載の方法。
【請求項８】
前記スペクトログラムは時間領域を含み、
前記スペクトログラムの特徴を決定するステップは、前記スペクトログラムの前記時間領域内のパターンを決定するステップを含む、請求項１に記載の方法。
【請求項９】
前記スペクトログラムは周波数領域を含み、
前記スペクトログラムの特徴を決定するステップは、前記スペクトログラムの前記周波数領域内のパターンを決定するステップを含む、請求項１に記載の方法。
【請求項１０】
入力装置と、
触覚出力装置と、
前記入力装置及び前記触覚出力装置と通信するプロセッサとを備え、
前記プロセッサは、
信号に少なくとも部分的に基づいてスペクトログラムを生成すること、
前記スペクトログラムに少なくとも部分的に基づいて触覚効果を決定することであって、触覚効果を決定することは、
前記スペクトログラムに少なくとも１つの技術を適用することにより前記スペクトログラムの１つ以上の特徴を決定することであって、前記少なくとも１つの技術はエッジ検出、閾値検出、クラスタリング検出、又は色ヒストグラムクラスタ検出を含むこと、及び
既定の触覚効果に対応する１つ以上の特徴に対して、決定された１つ以上の特徴を分析すること
を含むこと、及び
触覚出力装置に前記既定の触覚効果を出力させるように構成される触覚出力信号を前記触覚出力装置に出力すること
を行うように構成される、システム。
【請求項１１】
触覚効果を決定することは、
前記スペクトログラムを複数の領域を含む複数のスペクトログラムに分割すること、
前記複数の領域の各々の１つ以上の特徴を決定すること、
前記既定の触覚効果に対応する特徴に対して、前記１つ以上の特徴を分析すること
を更に含む、請求項１０に記載のシステム。
【請求項１２】
前記信号は、音声信号、映像信号、加速度信号、速度信号、又は温度信号の１つを含む、請求項１０に記載のシステム。
【請求項１３】
前記スペクトログラムを生成することは、
音声信号の少なくとも１つのセグメントに対してフーリエ変換を計算することであって、各セグメントが各時間ウインドウにおける前記音声信号の値に対応することを含む、請求項１０に記載のシステム。
【請求項１４】
前記スペクトログラムを生成するステップは、
前記信号に関係付けられる周波数帯域に対応する２次元画像を生成することを含む、請求項１０に記載のシステム。
【請求項１５】
前記スペクトログラムを生成することは、複数のスペクトログラムを生成することを含み、各スペクトログラムが前記信号に関係付けられる各々の異なる周波数帯域に対応する、請求項１０に記載のシステム。
【請求項１６】
前記触覚効果を決定することは、
複数の異なる周波数帯域の各々に対して、
特徴のためにその異なる周波数帯域上で前記スペクトログラムを分析すること、
前記特徴に対応する触覚効果を決定すること、及び
前記スペクトログラムに前記特徴を見つけることに応じて、前記触覚効果を選択すること
を含む、請求項１５に記載のシステム。
【請求項１７】
前記スペクトログラムは時間領域を含み、前記スペクトログラムの特徴を決定することは、前記スペクトログラムの前記時間領域内のパターンを決定するステップを含む、請求項１０に記載のシステム。
【請求項１８】
前記スペクトログラムは周波数領域を含み、前記スペクトログラムの特徴を決定することは、前記スペクトログラムの前記周波数領域内のパターンを決定することを含む、請求項１０に記載のシステム。
【請求項１９】
プログラムコードを含むコンピュータ可読媒体であって、前記プログラムコードは、プロセッサによって実行されると、前記プロセッサに、
信号に少なくとも部分的に基づいてスペクトログラムを生成すること、
前記スペクトログラムに少なくとも部分的に基づいて触覚効果を決定することであって、触覚効果を決定することは、
前記スペクトログラムに少なくとも１つの技術を適用することにより前記スペクトログラムの１つ以上の特徴を決定することであって、前記少なくとも１つの技術はエッジ検出、閾値検出、クラスタリング検出、又は色ヒストグラムクラスタ検出を含むこと、及び
既定の触覚効果に対応する１つ以上の特徴に対して、決定された１つ以上の特徴を分析すること
を含むこと、及び
触覚出力装置に前記既定の触覚効果を出力させるように構成される触覚出力信号を前記触覚出力装置に出力すること
を行わせるように構成される、コンピュータ可読媒体。
【外国語明細書】
2018206427000001.pdf