(57)【要約】      （修正有）【課題】ハプティック効果を作成することに関する設計時間及び労力を削減するハプティックワーピングシステムを提供する。【解決手段】元のハプティック信号を新たなハプティック信号にさらに変換する。新たなハプティック信号は、第１のハプティック効果空間とは異なる第２のハプティック効果空間を含み、第２のハプティック効果空間は、第２のハプティック出力装置によって生成される１つまたは複数のハプティック効果を含む。新たなハプティック信号内に含まれるデータは、元のハプティック信号内に含まれるデータに基づく。このシステムは、１つまたは複数のハプティック効果を生成するために新たなハプティック信号をハプティック出力装置に送信する。【選択図】図６
2018136976.tif 000002
【特許請求の範囲】
【請求項１】
ハプティック信号を変換する方法であって、前記方法は、
元のハプティック信号を受信するステップであって、前記元のハプティック信号は第１のハプティック効果空間を含み、前記第１のハプティック効果空間は第１のハプティック出力装置によって生成され得る１つまたは複数のハプティック効果を含む、ステップと、
前記元のハプティック信号を新たなハプティック信号に変換するステップであって、前記新たなハプティック信号は、前記第１のハプティック効果空間とは異なる第２のハプティック効果空間を含み、前記第２のハプティック効果空間は第２の出力装置によって生成され得る１つまたは複数のハプティック効果を含み、前記新たなハプティック信号内に含まれるデータは前記元のハプティック信号内に含まれるデータに基づく、ステップと、
１つまたは複数のハプティック効果を生成するために前記新たなハプティック信号をハプティック出力装置に送信するステップと、
を含む、方法。
【請求項２】
前記元のハプティック信号を新たなハプティック信号に変換するステップは、
前記第２のハプティック効果空間を含む新たなハプティック信号を生成するステップであって、前記新たなハプティック信号は前記元のハプティック信号と同期化される、ステップと、
１つまたは複数の一次ハプティック効果を生成するために前記元のハプティック信号を一次ハプティック出力装置に送信するステップと、
１つまたは複数の二次ハプティック効果を生成するために前記新たなハプティック信号を二次ハプティック出力装置に送信するステップと、
をさらに含む、請求項１に記載の方法。
【請求項３】
前記元のハプティック信号内に含まれるデータの１つまたは複数の絶対値が閾値以上である前記元のハプティック信号の持続時間の間、前記新たなハプティック信号が、前記二次ハプティック出力装置に１つまたは複数の二次ハプティック効果を生成させ、
前記元のハプティック信号内に含まれるデータの１つまたは複数の絶対値が閾値未満である前記元のハプティック信号の持続時間の間、前記新たなハプティック信号が、前記二次ハプティック出力装置に二次ハプティック効果を生成させない、請求項２に記載の方法。
【請求項４】
前記元のハプティック信号を新たなハプティック信号に変換するステップが、
前記元のハプティック信号内に含まれるデータを複数の時間ウインドウに分けるステップであって、各時間ウインドウが前記元のハプティック信号内に含まれるデータの一部を含む、ステップと、
レベルを複数の時間ウインドウのうちの１つの時間ウインドウに割り当てるステップと、
前記時間ウインドウのレベルを、ハプティック効果パターンを表すデータに翻訳するステップと、
前記新たなハプティック信号を生成するステップであって、前記新たなハプティック信号は前記ハプティック効果パターンを表すデータを含む、ステップと、
をさらに含む、請求項１に記載の方法。
【請求項５】
前記時間ウインドウのレベルを、ハプティック効果パターンを表すデータに翻訳するステップが、
前記ハプティック効果パターンの持続時間を設定するステップであって、前記ハプティック効果パターンの持続時間対前記時間ウインドウの持続時間の比が、前記時間ウインドウのレベルと最大レベルの比に比例する、ステップをさらに含む、請求項４に記載の方法。
【請求項６】
前記レベルが、前記時間ウインドウ内に含まれるデータの最大絶対値に基づいて前記時間ウインドウに割り当てられる、請求項４に記載の方法。
【請求項７】
前記レベルが、前記時間ウインドウ内に含まれるデータの平均絶対値に基づいて前記時間ウインドウに割り当てられる、請求項４に記載の方法。
【請求項８】
前記元のハプティック信号を新たなハプティック信号に変換するステップが、
前記元のハプティック信号内に含まれるデータを複数の時間ウインドウに分けるステップであって、各時間ウインドウが前記元のハプティック信号内に含まれるデータの一部を含む、ステップと、
第１のレベルを第１の時間ウインドウに割り当て、第２のレベルを複数の時間ウインドウの第２の時間ウインドウに割り当てるステップと、
前記第１のレベルと前記第２のレベルとの間のレベル遷移を決定するステップと、
決定されたレベル遷移に基づいて１つまたは複数のハプティック効果パターンを含むテーブルからハプティック効果パターンを選択するステップと、
前記新たなハプティック信号を生成するステップであって、前記新たなハプティック信号は前記ハプティック効果パターンを表すデータを含む、ステップと、
をさらに含む、請求項１に記載の方法。
【請求項９】
前記元のハプティック信号を新たなハプティック信号に変換するステップは、
決定されたレベル遷移が前記テーブル内に存在しない場合、前記第１のレベルまたは前記第２のレベルの少なくとも１つを修正するステップと、
前記第１のレベルまたは前記第２のレベルの少なくとも１つに対する修正に基づいて新たなレベル遷移を決定するステップと、
決定された新たなレベル遷移に基づいて１つまたは複数のハプティック効果パターンを含むテーブルからハプティック効果パターンを選択するステップと、
をさらに含む、請求項８に記載の方法。
【請求項１０】
前記ハプティック出力装置がアクチュエータを含む、請求項１に記載の方法。
【請求項１１】
ハプティック信号を変換するシステムであって、前記システムは、
ハプティックワーピングモジュールを記憶するように構成されるメモリと、
前記メモリに記憶された前記ハプティックワーピングモジュールを実行するように構成されるプロセッサと、
を含み、
前記ハプティックワーピングモジュールは元のハプティック信号を受信するように構成され、前記元のハプティック信号は第１のハプティック効果空間を含み、前記第１のハプティック効果空間は第１のハプティック出力装置によって生成され得る１つまたは複数のハプティック効果を含み、
前記ハプティックワーピングモジュールは、前記元のハプティック信号を新たなハプティック信号に変換するようにさらに構成され、前記新たなハプティック信号は前記第１のハプティック効果空間とは異なる第２のハプティック効果空間を含み、前記第２のハプティック効果空間は第２の出力装置によって生成され得る１つまたは複数のハプティック効果を含み、前記新たなハプティック信号内に含まれるデータは、前記元のハプティック信号内に含まれるデータに基づき、
１つまたは複数のハプティック効果を生成するために前記ハプティックワーピングモジュールは、前記新たなハプティック信号をハプティック出力装置に送信するようにさらに構成される、システム。
【請求項１２】
前記ハプティックワーピングモジュールは、前記第２のハプティック効果空間を含む新たなハプティック信号を生成するようにさらに構成され、前記新たなハプティック信号は前記元のハプティック信号と同期化され、
１つまたは複数の一次ハプティック効果を生成するために前記ハプティックワーピングモジュールは、前記元のハプティック信号を一次ハプティック出力装置に送信するようにさらに構成され、
１つまたは複数の二次ハプティック効果を生成するために前記ハプティックワーピングモジュールは、前記新たなハプティック信号を二次ハプティック出力装置に送信するようにさらに構成される、請求項１１に記載のシステム。
【請求項１３】
前記ハプティックワーピングモジュールが、前記元のハプティック信号内に含まれるデータを複数の時間ウインドウに分けるようにさらに構成され、各時間ウインドウは前記元のハプティック信号内に含まれるデータの一部を含み、
前記ハプティックワーピングモジュールは、レベルを複数の時間ウインドウのうちの１つの時間ウインドウに割り当てるようにさらに構成され、
前記ハプティックワーピングモジュールは、前記時間ウインドウのレベルを、ハプティック効果パターンを表すデータに翻訳するようにさらに構成され、
前記ハプティックワーピングモジュールは、前記新たなハプティック信号を生成するようにさらに構成され、前記新たなハプティック信号は前記ハプティック効果パターンを表すデータを含む、請求項１１に記載のシステム。
【請求項１４】
前記ハプティックワーピングモジュールは、前記元のハプティック信号内に含まれるデータを複数の時間ウインドウに分けるようにさらに構成され、各時間ウインドウは前記元のハプティック信号内に含まれるデータの一部を含み、
前記ハプティックワーピングモジュールは、第１のレベルを第１の時間ウインドウに割り当て、第２のレベルを複数の時間ウインドウの第２の時間ウインドウに割り当てるようにさらに構成され、
前記ハプティックワーピングモジュールは、前記第１のレベルと前記第２のレベルとの間のレベル遷移を決定するようにさらに構成され、
前記ハプティックワーピングモジュールは、決定されたレベル遷移に基づいて１つまたは複数のハプティック効果パターンを含むテーブルからハプティック効果パターンを選択するようにさらに構成され、
前記ハプティックワーピングモジュールは、前記新たなハプティック信号を生成するようにさらに構成され、前記新たなハプティック信号は前記ハプティック効果パターンを表すデータを含む、
請求項１１に記載のシステム。
【請求項１５】
プロセッサによって実行される場合、前記プロセッサに請求項１〜１０のいずれか一項に記載の方法を実装させる、記憶された命令を有するコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、２０１３年９月６日に出願された米国仮特許出願第６１／８７４，９２０号（その開示は本明細書に参照により組み込まれている）の優先権を主張する。
【０００２】
分野
一実施形態は、概して、装置、より具体的にはハプティック効果を生成する装置に関する。
【背景技術】
【０００３】
ハプティックは、力、振動および動作などのハプティックフィードバック効果（すなわち「ハプティック効果」）をユーザに適用することによってユーザの触覚を利用する触覚および力フィードバック技術である。モバイル機器、タッチスクリーン装置およびパーソナルコンピュータなどの装置はハプティック効果を生成するように構成され得る。一般に、ハプティック効果を生成できる内蔵されたハードウェア（アクチュエータなど）へのコールは、装置のオペレーティングシステム（ＯＳ）内でプログラム化され得る。これらのコールはどのハプティック効果を再生するかを特定する。例えば、ユーザが、例えば、ボタン、タッチスクリーン、レバー、ジョイスティック、ホイールまたはいくつかの他のコントールを使用して装置とやり取りする場合、装置のＯＳは、制御回路を介して内蔵されたハードウェアにプレイコマンドを送信することができる。次いで内蔵されたハードウェアは適切なハプティック効果を生成する。
【０００４】
ハプティック効果ディベロッパーは装置のためのハプティック効果を作成することができ、その装置はハプティック効果を出力するように構成され得る。あるいは、装置は、音声入力、ビデオ入力または任意の他の種類のセンサ入力などの入力を受信でき、入力をハプティック効果に変換でき、ハプティック効果を出力できる（または入力をハプティックコンテンツに変換でき、ミキシングまたはストリーミングにより、他のオーディオおよび／またはビデオコンテンツと一緒にハプティックコンテンツを受信できる）。いずれかの状況において、異なる種類のハードウェアが異なるハードウェア特性に起因して異なる種類のハプティック効果を生成できる。例えば、異なる種類のアクチュエータ（偏心回転体モータアクチュエータ、線形共鳴アクチュエータおよび圧電アクチュエータなど）が、異なるアクチュエータの異なる電気機械特性に起因して異なる種類のハプティック効果を生成できる。一般に、特定の種類のハードウェアについてのハプティック効果を作成することを望むハプティック効果ディベロッパーは、特定のハードウェアについてのハプティック効果を調整することを必要とされる。ハプティック効果ディベロッパーが複数のハードウェア種類をサポートすることを望む場合、ハプティック効果ディベロッパーは一般に、各ハードウェアの種類について最適なハプティック経験を提供するために異なるハプティック効果を作成しなければならない。これは、さらなる設計時間およびハプティック効果を作成することに関する労力を生じ得る。
【発明の概要】
【課題を解決するための手段】
【０００５】
一実施形態はハプティック信号を変換するシステムである。このシステムは元のハプティック信号を受信し、その元のハプティック信号は第１のハプティック効果空間を含み、その第１のハプティック効果空間は第１のハプティック出力装置によって生成され得る１つまたは複数のハプティック効果を含む。システムはさらに、元のハプティック信号を新たなハプティック信号に変換し、新たなハプティック信号は、第１のハプティック効果空間とは異なる第２のハプティック効果空間を含み、第２のハプティック効果空間は、第２のハプティック出力装置によって生成され得る１つまたは複数のハプティック効果を含み、新たなハプティック信号内に含まれるデータは、元のハプティック信号内に含まれるデータに基づく。システムはさらに、１つまたは複数のハプティック効果を生成するために新たなハプティック信号をハプティック出力装置に送信する。
【０００６】
さらなる実施形態、詳細、利点および修飾は、添付の図面と併せて好ましい実施形態の以下の詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施形態に係るシステムのブロック図を示す。
【図２】本発明の一実施形態に係る、ハプティック信号を変換するまたは「ワープする」システムのフロー図を示す。
【図３】本発明の一実施形態に係る、ハプティック効果空間マッピングの例示的なチャートおよびグラフを示す。
【図４】本発明の一実施形態に係る、第１のハプティック効果空間に関連する第１のハプティック信号の、第２のハプティック効果空間に関連する第２のハプティック信号への例示的な変換または「ワーピング」を示す。
【図５】ハプティック信号にトランジェントを加えることによって第１のハプティック効果空間に関連するハプティック信号の例示的な変換または「ワーピング」を示し、トランジェントは、本発明の一実施形態に係る、第２のハプティック効果空間に関連する。
【図６】本発明の一実施形態に係る、ハプティックワーピングモジュールの機能性のフロー図を示す。
【図７】本発明の別の実施形態に係る、ハプティックワーピングモジュールの機能性のフロー図を示す。
【図８】本発明の別の実施形態に係る、ハプティックワーピングモジュールの機能性のフロー図を示す。
【発明を実施するための形態】
【０００８】
一実施形態は、特定の種類のハプティック出力装置のために設計された入力ハプティック信号を、別の特定の種類のハプティック出力装置のために設計された別のハプティック信号に変換するまたは「ワープする（ｗａｒｐ）」システムである。入力ハプティック信号は、（例えば、オーディオ入力、ビデオ入力、および／またはセンサ入力から）自動的に生成される、または（例えば、ハプティック効果開発プラットフォームを使用してハプティック効果設計者によって）手動で生成されるハプティック信号であってもよい。入力ハプティック信号は、任意の種類のアクチュエータ（例えば、偏心回転体モータアクチュエータ、線形共鳴アクチュエータおよび圧電アクチュエータ）または他の種類のハプティック出力装置のために作成されてもよい。異なる種類のアクチュエータまたは他の種類のハプティック出力装置で再生される場合、出力ハプティック信号が最適なハプティック経験を生み出すことができるように、入力ハプティック信号は出力ハプティック信号に変換されてもよい。入力ハプティック信号を変換する際に、対象のハプティック出力装置の特性（スペクトル特性および時間特性など）が考慮されてもよく、入力ハプティック信号は対象のハプティック出力装置の特性に基づいて出力ハプティック信号に変換されてもよい。例えば、高定義（ハイデフィニション（ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ））のアクチュエータのために生成されるハプティック信号は、標準定義（スタンダードデフィニション（ｓｔａｎｄａｒｄ−ｄｅｆｉｎｉｔｉｏｎ））のアクチュエータのために生成されるハプティック信号に変換されてもよい。標準定義のアクチュエータはベースライン範囲の振動強度を有するベースライン範囲の異なる振動効果を提供できるアクチュエータである。高定義のアクチュエータは、増加した範囲の振動強度を有する増加した範囲の異なる振動効果を提供できるアクチュエータである。さらに、高定義のアクチュエータは、動的（ダイナミック）ハプティック効果を強制的に急速に変化させ得るのに十分な速度でその強度レベルを増加および減少できる。したがって、標準定義のアクチュエータと比べて、高定義のアクチュエータは、速い応答時間、高ダイナミック範囲およびまた、高周波数応答を有する。高定義のアクチュエータは多くの周波数（例えば、１００ヘルツ（「Ｈｚ」）から４００Ｈｚ）でハプティック効果を作成できる。それに対し、標準定義のアクチュエータは、限定された範囲の大きさ、限定された範囲の周波数を生成できるアクチュエータである。
【０００９】
図１は、本発明の一実施形態に係るシステム１０のブロック図を示す。一実施形態において、システム１０はモバイル機器の一部であり、システム１０はモバイル機器のためのハプティックワーピング機能を提供する。別の実施形態において、システム１０はウェアラブルデバイスの一部であり、システム１０はウェアラブルデバイスのためのハプティックワーピング機能を提供する。ウェアラブルデバイスの例としては、リストバンド、ヘッドバンド、眼鏡、リング、レッグバンド、衣服に取り付けられるアレイ、またはユーザが身体に装着できるもしくはユーザにより保持され得る任意の他の種類のデバイスが挙げられる。一部のウェアラブルデバイスは「ハプティック動作可能」であり得、それらがハプティック効果を生成するための機構を備えることを意味する。別の実施形態において、システム１０は、デバイス（例えばモバイル機器またはウェアラブルデバイス）から分離され、デバイスのためのハプティックワーピング機能をリモートで提供する。単一のシステムとして示されるが、システム１０の機能は分散システムとして実装されてもよい。システム１０は、情報を通信するためのバス１２または他の通信機構、および情報を処理するためのバス１２に連結されるプロセッサ２２を含む。プロセッサ２２は汎用または特定目的のプロセッサのいずれの種類であってもよい。システム１０はさらに、情報を記憶するためのメモリ１４およびプロセッサ２２により実行される命令を含む。メモリ１４は、ランダムアクセスメモリ（「ＲＡＭ」）、リードオンリメモリ（「ＲＯＭ」）、磁気ディスクもしくは光ディスクなどの静的記憶デバイス、または任意の他の種類のコンピュータ可読媒体の任意の組み合わせから構成されてもよい。システム１０はまた、別のトラックもしくはファイルにおいてハプティック波形を受信してもよい、またはファイル内に記憶された他のオーディオおよび／もしくはビデオコンテンツと混合されるハプティック波形を受信してもよい。
【００１０】
コンピュータ可読媒体は、プロセッサ２２によりアクセスされ得る任意の利用可能な媒体であってもよく、揮発性媒体および非揮発性媒体の両方、リムーバルおよびノンリムーバル媒体、通信媒体、ならびに記憶媒体を含んでもよい。通信媒体は、搬送波または他の搬送機構などの変調データ信号内にコンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータを含んでもよく、当該技術分野において公知の任意の他の形態の情報送信媒体を含んでもよい。記憶媒体は、ＲＡＭ、フラッシュメモリ、ＲＯＭ、消去可能プログラマブルリードオンリメモリ（「ＥＰＲＯＭ」）、電気的消去可能プログラマブルリードオンリメモリ（「ＥＥＰＲＯＭ」）、レジスタ、ハードディスク、リムーバルディスク、コンパクトディスクリードオンリメモリ（「ＣＤ−ＲＯＭ」）、または当該技術分野において公知の任意の他の形態の記憶媒体を含んでもよい。
【００１１】
一実施形態において、メモリ１４は、プロセッサ２２により実行される場合、機能性を提供するソフトウェアモジュールを記憶する。モジュールは、システム１０のためのオペレーティングシステム機能性を提供するオペレーティングシステム１５、ならびに一実施形態におけるモバイル機器の残りを含む。モジュールはさらに、以下により詳細に開示されるようにハプティック信号を変換するまたは「ワープする」ハプティックワーピングモジュール１６を含む。特定の実施形態において、ハプティックワーピングモジュール１６は複数のモジュールを含んでもよく、各々のモジュールはハプティック信号を変換するまたは「ワープする（ワーピング）」ための特定の個々の機能性を提供する。システム１０は典型的に、Ｉｍｍｅｒｓｉｏｎ  ＣｏｒｐｏｒａｔｉｏｎによるＩｎｔｅｇｒａｔｏｒ（商標）ソフトウェアなどの追加の機能を含むように１つ以上の追加のアプリケーションモジュール１８を含む。
【００１２】
リモートソースからデータを送信および／または受信する実施形態において、システム１０はさらに、赤外線、無線、Ｗｉ−Ｆｉ、またはセルラーネットワーク通信などの移動無線ネットワーク通信を提供するために、ネットワークインターフェースカードなどの通信デバイス２０を含む。他の実施形態において、通信デバイス２０は、イーサネット（登録商標）接続またはモデムなどの有線ネットワーク接続を提供する。
【００１３】
プロセッサ２２はさらに、バス１２を介して、グラフィック表現を表示するための液晶ディスプレイ（「ＬＣＤ」）などのディスプレイ２４またはユーザに対するユーザインターフェースに接続される。ディスプレイ２４は、プロセッサ２２から信号を送信し、受信するように構成される、タッチスクリーンなどのタッチセンサ入力デバイスであってもよく、マルチタッチのタッチスクリーンであってもよい。
【００１４】
一実施形態において、システム１０はさらに、アクチュエータ２６を含む。プロセッサ２２は、生成されたハプティック効果に関連するハプティック信号をアクチュエータ２６に送信してもよく、次いで振動触覚ハプティック効果、静電摩擦ハプティック効果または変形ハプティック効果などのハプティック効果を出力する。アクチュエータ２６はアクチュエータ駆動回路を含む。アクチュエータ２６は、例えば、電気モータ、電磁気アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマー、ソレノイド、偏心回転体モータ（「ＥＲＭ」）、線形共鳴アクチュエータ（「ＬＲＡ」）、圧電アクチュエータ、高帯域アクチュエータ、電気活性ポリマー（「ＥＡＰ」）アクチュエータ、静電摩擦ディスプレイ、または超音波振動発生器であってもよい。代替の実施形態において、システム１０は、アクチュエータ２６に加えて１つ以上の追加のアクチュエータを含んでもよい（図１に示さず）。アクチュエータ２６はハプティック出力装置の一例であり、ハプティック出力装置は、駆動信号に応答して振動触覚ハプティック効果、静電摩擦ハプティック効果または変形ハプティック効果などのハプティック効果を出力するように構成されるデバイスである。代替の実施形態において、アクチュエータ２６は一部の他の種類のハプティック出力装置により置き換えられてもよい。さらに、他の代替の実施形態において、システム１０はアクチュエータ２６を含まなくてもよく、システム１０とは別個のデバイスが、ハプティック効果を生成するアクチュエータまたは他のハプティック出力装置を含み、システム１０は、生成されたハプティック信号を、通信デバイス２０を介して、そのデバイスに送信する。
【００１５】
一実施形態において、システム１０はさらに、スピーカ２８を含む。プロセッサ２２はオーディオ信号をスピーカ２８に送信でき、次にオーディオ効果を出力する。スピーカ２８は、例えば、ダイナミックラウドスピーカ、動電型スピーカ、圧電ラウドスピーカ、磁気歪みラウドスピーカ、静電ラウドスピーカ、リボンおよび平面磁気ラウドスピーカ、屈曲波ラウドスピーカ、平面パネルラウドスピーカ、ハイルエアモーショントランスデューサ（ｈｅｉｌ  ａｉｒ  ｍｏｔｉｏｎ  ｔｒａｎｓｄｕｃｅｒ）、プラズマアークスピーカおよびデジタルラウドスピーカであってもよい。代替の実施形態において、システム１０はスピーカ２８（図１に示さず）に加えて１つまたは複数のさらなるスピーカを含んでもよい。さらに、他の代替の実施形態において、システム１０はスピーカ２８を含まなくてもよく、システム１０とは別のデバイスが、オーディオ効果を出力するスピーカを含む。システム１０は通信デバイス２０を介してオーディオ信号をそのデバイスに送信する。
【００１６】
一実施形態において、システム１０はさらにセンサ３０を含む。センサ３０は、エネルギーの形態、または限定されないが、音、運動、加速度、生体信号、距離、流量、力／圧力／歪／屈曲、湿度、線形位置、配向／傾斜、無線周波数、回転位置、回転速度、スイッチの操作、温度、振動、または可視光強度などの他の物理特性を検出するように構成されてもよい。センサ３０はさらに、検出されたエネルギーまたは他の物理特性を、電気信号または仮想センサ情報を表す任意の信号に変換するように構成されてもよい。センサ３０は、限定されないが、加速度計、心電図、脳電図、筋電図、眼電図、電子口蓋図（ｅｌｅｃｔｒｏｐａｌａｔｏｇｒａｐｈ）、電気皮膚反応センサ、容量センサ、ホール効果センサ、赤外線センサ、超音波センサ、圧力センサ、光ファイバセンサ、屈曲センサ（ｆｌｅｘｉｏｎ  ｓｅｎｓｏｒ）（または屈曲センサ（ｂｅｎｄ  ｓｅｎｓｏｒ））、力感応抵抗器、ロードセル、ＬｕＳｅｎｓｅ  ＣＰＳ２１５５、小型圧力トランスデューサ、圧電センサ、歪みゲージ、湿度計、線形位置タッチセンサ、線形電位差計（またはスライダ）、線形可変差動変圧器、コンパス、傾斜計、磁性タグ（または無線周波数識別タグ）、回転エンコーダ、回転式ポテンショメータ、ジャイロスコープ、オン・オフスイッチ、温度センサ（例えば温度計、熱電対、抵抗温度検出器、サーミスタ、または温度変換集積回路）、マイクロフォン、光度計、高度計、温度計、生物学的モニター、カメラまたは光依存性抵抗器などの任意のデバイスであってもよい。代替の実施形態において、システム１０は、センサ３０に加えて、１つ以上のさらなるセンサ（図１に示さず）を含んでもよい。これらの実施形態の一部において、センサ３０および１つ以上の追加のセンサはセンサアレイの一部であってもよく、またはセンサの回収の一部の他の種類であってもよい。さらに、他の代替の実施形態において、システム１０はセンサ３０を含まなくてもよく、システム１０とは別個のデバイスがエネルギーの形態または他の物理特性を検出するセンサを含み、検出されたエネルギーまたは他の物理特性を仮想センサ情報を表す電気信号または他の種類の信号に変換する。デバイスは次いで、変換された信号を通信デバイス２０を介してシステム１０に送信する。あるいは、デバイスはセンサ３０のセンサ信号をハプティック効果トラックまたはファイルに変換してもよい。
【００１７】
図２は、本発明の一実施形態に係る、ハプティック信号を変換するまたは「ワープする」システムのフロー図を示す。一実施形態において、図２の機能性ならびに図６、７および８の機能性は、メモリまたは他のコンピュータ可読媒体もしくは有形的表現媒体に保存されたソフトウェアにより実装され、プロセッサにより実行される。他の実施形態において、各機能性は、ハードウェアにより（例えば、特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブルゲートアレイ（「ＰＧＡ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）などの使用により）またはハードウェアとソフトウェアの任意の組合せにより実施されてもよい。
【００１８】
一実施形態によれば、フローは２１０で開始する。２１０において、ハプティック信号が受信され、ハプティック信号は波形などのデータを含んでもよく、波形はパルス符号変調（「ＰＣＭ」）フォーマットにおける１つまたは複数の信号値のセットである。ハプティック信号はハプティック効果に関連してもよく、ハプティック信号はアクチュエータなどのハプティック出力装置に送信されてもよく、ハプティック出力装置はハプティック信号に基づいてハプティック効果を出力できる。ハプティック効果の例はハプティック出力装置のユーザが感じる振動を生成できる振動ハプティック効果である。ハプティック効果の他の例は静電摩擦ハプティック効果または変形ハプティック効果を含んでもよい。
【００１９】
２２０によれば、ハプティック信号は、入力信号から自動的に作成されるか、またはハプティック効果開発プラットフォームを使用して手動で作成されてもよい。より具体的には、入力信号が受信されてもよく、ハプティック信号は自動的に入力信号に基づいて生成されてもよい。入力信号の例は、オーディオ信号、ビデオ信号、加速度信号、配向信号、周辺光信号、動作信号、温度信号または他の同様の種類の信号を含む。代替の実施形態において、入力信号に基づいて自動的に生成される以外に、ハプティック信号は、Ｉｍｍｅｒｓｉｏｎ  ＣｏｒｐｏｒａｔｉｏｎによるＨａｐｔｉｃ  Ｓｔｕｄｉｏ（商標）などのハプティック効果開発プラットフォームを使用して手動で生成されてもよい。ハプティック効果開発プラットフォームを使用して、ハプティック効果ディベロッパーは所望のハプティック効果を生成するために使用され得るハプティック信号の１つまたは複数の特性を定義でき、ハプティック効果開発プラットフォームは１つまたは複数の定義された特性に基づいてハプティック信号を生成できる。さらに、ハプティック信号は特定の種類のハプティック出力装置のために設計されてもよい。より具体的には、ハプティック信号はハプティック効果空間に関連してもよく、ハプティック効果空間は、可能な場合、ハプティック出力装置によって生成され得るハプティック効果のセットを含む。ハプティック効果空間は図３と併せて以下により詳細に記載されている。次いでフローは２３０に進む。
【００２０】
２３０において、ハプティック信号は、新たなハプティック信号に変換され得るまたは「ワープされ得る」（「適合させる」として図２に特定した）。より具体的には、新たなハプティック信号が生成されてもよく、新たなハプティック信号は波形などのデータを含み、データは元の信号のデータに基づく。このような変換または「ワーピング」はさらに図４〜８と併せて以下により詳細に記載されている。さらに、新たなハプティック信号は新たなハプティック効果空間に関連してもよく、新たなハプティック効果空間は元の信号の元のハプティック効果空間とは異なる。２４０によれば、ハプティック信号の変換は対象のハプティック出力装置の１つまたは複数の特性に基づいてもよい。例えば、新たなハプティック信号が、高周波数を有するハプティック効果を生成するように構成されるハプティック出力装置に送信される場合、ハプティック信号は、高い値を有するハプティック周波数パラメータにより生成されてもよい。これらの実施形態において、新たなハプティック信号の新たなハプティック効果空間は対象のハプティック出力装置のハプティック効果空間であってもよい。次いで新たなハプティック信号は、対象のハプティック出力装置に送信されてもよく（図２において「再生装置」と特定される）、新たなハプティック信号はハプティック効果を生成するために再生される。特定の実施形態において、元のハプティック信号はまた、対象のハプティック出力装置によって生成されるハプティック効果を補完する補完的ハプティック効果を生成するために異なる対象の出力装置（図２に示さず）に送信されてもよい。次いでフローは終了する。
【００２１】
特定の実施形態において、生成される新たなハプティック信号は、ユーザのマルチメディア視聴体験を増強するために１つまたは複数のオーディオ信号および／またはビデオ信号と一緒に再生されてもよい。これらの実施形態のいくつかにおいて、ハプティック出力装置はオーディオ／ビデオ出力装置（例えば、モバイル機器）と同じであってもよい。これらの実施形態の他のいくつかにおいて、ハプティック出力装置はオーディオ／ビデオ出力装置と別個であってもよい（例えば、ハプティックチェア、ハプティックチェア、ウェアラブルハプティック装置など）。
【００２２】
さらに、特定の実施形態において、入力ハプティック信号の新たなハプティック信号への変換または「ワーピング」は、サーバなどの入力ハプティック信号を受信する装置と別個の装置により「オフライン」で行われてもよい。変換が「オフライン」である場合、全入力ハプティック信号のデータが入力ハプティック信号を新たなハプティック信号に変換するために使用されてもよい。次いで新たなハプティック信号は元の装置に戻すようにストリーミングされてもよく、元の装置は新たなハプティック信号をハプティック出力装置に送信してもよい。代替の実施形態において、入力ハプティック信号の新たなハプティック信号への変換または「ワーピング」は、入力ハプティック信号を受信する同じ装置によって「オンライン」で行われてもよく、変換はリアルタイムまたは準リアルタイムで実施されてもよい。これらの実施形態において、入力ハプティック信号の異なる部分が、入力ハプティック信号を新たなハプティック信号に変換するために連続して使用されてもよく、全入力ハプティック信号は任意の特定の時間において利用できない。なおさらに、特定の実施形態において、新たなハプティック信号は、ハプティック出力装置にすぐに送信されるというよりむしろ、コンピュータファイルまたは複数のコンピュータファイルに保存されてもよい。これらの実施形態において、新たなハプティック信号はコンピュータファイルまたは複数のコンピュータファイルから後で読み出されてもよく、新たなハプティック信号はハプティック出力装置に送信されてもよいか、または１つもしくは複数のオーディオ信号および／もしくはビデオ信号と混合されてもよい。
【００２３】
図３は、本発明の一実施形態に係る、例示的なチャートおよびハプティック効果空間マッピングのグラフを示す。以前に記載されているように、特定の種類のアクチュエータのために設計され、特定のハプティック効果空間に関連しているハプティック信号は、異なる種類のアクチュエータのために設計され、異なるハプティック効果空間に関連している新たなハプティック信号に変換され得るまたは「ワープされ得る」。また、以前に記載されているように、ハプティック効果空間は、可能な場合、アクチュエータなどのハプティック出力装置によって生成され得るハプティック効果のセットを含む。図３の例示した実施形態において、例示的な振動触覚ハプティック効果空間が示される。しかしながら、当業者は、振動触覚ハプティック空間がハプティック効果空間の一例であり、代替の実施形態において、静電摩擦ハプティック効果空間または変形ハプティック効果空間などの他の種類のハプティック効果空間が利用されてもよいことを容易に理解するであろう。
【００２４】
例示した実施形態によれば、仮想的な高定義振動触覚ハプティック効果空間３１０は、仮想環境（例えば、振動触覚アクチュエータの大きさまたは力の条件の制約がない）において実際の振動触覚アクチュエータにより生成され得る全ての振動触覚ハプティック効果を含む。仮想的な高定義振動触覚ハプティック効果空間３１０のサブセットは、実際の高定義振動触覚ハプティック効果空間３２０である。実際の高定義振動触覚ハプティック効果空間３２０は、実際の環境（例えば、振動触覚アクチュエータの大きさまたは力の条件が実際に制約される）において実際の振動触覚アクチュエータにより生成され得る全ての振動触覚ハプティック効果を含む。
【００２５】
実際の高定義振動触覚ハプティック効果空間３２０の４つのサブセットは、現在の高定義圧電アクチュエータ振動触覚ハプティック効果空間３３０；現在の高定義ＥＡＰアクチュエータ振動触覚ハプティック効果空間３４０；ＬＲＡ振動触覚ハプティック効果空間３５０；およびＥＲＭ振動触覚ハプティック効果空間３６０である。現在の高定義圧電アクチュエータ振動触覚ハプティック効果空間３３０は、このようなアクチュエータの電気機械特性に基づいて現在の高定義圧電アクチュエータにより生成され得る全ての振動触覚ハプティック効果を含む。現在の高定義ＥＡＰアクチュエータ振動触覚ハプティック効果空間３４０は、このようなアクチュエータの電気機械特性に基づいて現在の高定義ＥＡＰアクチュエータにより生成され得る全ての振動触覚ハプティック効果を含む。ＬＲＡ振動触覚ハプティック効果空間３５０は、このようなアクチュエータの電気機械特性に基づいて現在のＬＲＡにより生成され得る全ての振動触覚ハプティック効果を含む。ＥＲＭ振動触覚ハプティック効果空間３６０は、このようなアクチュエータの電気機械特性に基づいて現在のＥＲＭにより生成され得る全ての振動触覚ハプティック効果を含む。ＬＲＡおよびＥＲＭハプティック効果空間は、時々、高定義アクチュエータにより生成されてもよいが、いくつかの高定義アクチュエータはいくつかのＬＲＡおよびＥＲＭハプティック効果空間を完全に再現できない。
【００２６】
例示した実施形態によれば、変換または「ワーピング」アルゴリズムが、図３に例示した振動触覚ハプティック効果空間の１つに関連している元のハプティック信号に適用されてもよく、それにより元のハプティック信号は、図３に例示した異なる振動触覚ハプティック効果空間に関連している新たなハプティック信号に変換される。例えば、元のハプティック信号は仮想の高定義振動触覚ハプティック効果空間３１０に関連してもよい。元のハプティック信号は、ＥＲＭ振動触覚ハプティック効果空間３６０に関連している新たなハプティック信号に変換されてもよい。別の例として、元のハプティック信号は、ＬＲＡ振動触覚ハプティック効果空間３５０に関連している新たなハプティック信号に変換されてもよい。
【００２７】
したがって、ワーピングアルゴリズムの目標は、ハプティック効果によって提供されるハプティック経験を保存しながら、ハプティック効果が、異なる種類のハプティック出力装置で再生される特定のハプティック出力装置の種類のために設計されることを可能にすることである。特定の実施形態において、高定義圧電アクチュエータのために設計されたハプティック信号から、低質のアクチュエータ（例えば、ＬＲＡまたはＥＲＭ）のために設計されたハプティック信号への変換は、ワーピングアルゴリズムによって提供されてもよい。しかしながら、代替の実施形態において、ワーピングアルゴリズムは、低質アクチュエータから高質アクチュエータへの変換を含む、他の種類の変換を提供できる。
【００２８】
特定の実施形態において、ワーピングアルゴリズムは、第１のハプティック信号内に含まれるデータの１つまたは複数の周波数（または「ピッチ」）を変化させることによって第１のハプティック信号を第２のハプティック信号に変換できる。このような周波数シフト技術（または「ピッチシフト」技術）はさらに、図４および５と併せて以下により詳細に記載されている。代替の実施形態において、ワーピングアルゴリズムは、他の種類のデータ変換技術によって第１のハプティック信号を第２のハプティック信号に変換できる。このような他の種類のデータ変換技術はさらに、図６、７および８と併せて以下により詳細に記載されている。
【００２９】
特定の実施形態において、ハプティック信号はイベントに基づいたハプティック信号であってもよく、イベントは対応するオーディオ信号および／またはビデオ信号内でマークされ、ハプティック効果は、コードされたオーディオ信号および／またはビデオ信号に基づいて出力されてもよい。代替の実施形態において、ハプティック信号はパラメータハプティック信号であってもよく、１つまたは複数のパラメータ化されたハプティック効果は特定の時間点において再生される。これらの実施形態のいくつかにおいて、パラメータ化されたハプティック効果は別のハプティック信号内でコードされ、パラメータ化されたハプティック効果は特定の時間点で示される。代替の実施形態において、ハプティック信号はＰＣＭハプティック信号であってもよく、ＰＣＭオーディオ信号はＰＣＭハプティック信号に変換されてもよい。さらに、いくつかの実施形態において、一旦、ハプティック信号が生成されると、ハプティック信号は、異なる特定のウインドウでバンドパスフィルターにかけられてもよく、次いで特定のウインドウの大きさが決定され、送信または保存のいずれかをされてもよい。ハプティック信号がデコードされる時点で、エンベロープの大きさがハプティック信号を再構成するために使用され得る場合、逆プロセスが適用されてもよい。
【００３０】
図４は、本発明の一実施形態に係る、第１のハプティック効果に空間に関連している第１のハプティック信号４１０の、第２のハプティック効果空間に関連している第２のハプティック信号４２０への例示的な変換または「ワーピング」を示す。第１のハプティック効果空間は第１のハプティック出力装置の種類に対応し、第２のハプティック効果空間は第２のハプティック出力装置の種類に対応する。例示した実施形態によれば、変換は、第１のハプティック信号４１０の１つまたは複数の共鳴周波数（すなわち、周波数ｆｒｓ１）を、第２のハプティック信号４２０の１つまたは複数の共鳴周波数（すなわち、周波数ｆｒｓ２）に変化させることを含む。したがって、第１のハプティック信号４１０の第１の周波数帯域幅は第２のハプティック信号４２０の第２の周波数帯域幅に変換され得る。特定の実施形態において、これは、（ａ）周波数帯域幅の共鳴を識別するステップ、（ｂ）認知下限を表す周波数を識別するステップであって、認知限界は、ヒトがハプティック信号によって生成された振動触覚ハプティック効果を認識できる周波数限界である、ステップ、および（ｃ）認知上限を表す周波数を識別するステップを含む。
【００３１】
例示した実施形態によれば、第１のハプティック信号４１０は実際の高定義ハプティック効果空間に関連し、第２のハプティック信号４２０は高定義圧電アクチュエータハプティック効果空間に関連する。しかしながら、これは例示的な実施形態のみであり、他の実施形態において、（ａ）第１のハプティック信号４１０は高定義圧電アクチュエータハプティック効果空間と関連してもよく、第２のハプティック信号４２０はＬＲＡハプティック効果空間に関連してもよい；（ｂ）第１のハプティック信号４１０は高定義圧電アクチュエータハプティック効果空間に関連してもよく、第２のハプティック信号４２０はＥＲＭハプティック効果空間に関連してもよい；または（ｃ）第１のハプティック信号４１０はＬＲＡハプティック効果空間に関連してもよく、第２のハプティック信号４２０はＥＲＭハプティック効果空間に関連してもよい。
【００３２】
例示した実施形態によれば、ハプティック信号４１０の周波数はハプティック信号４２０の周波数に変化される。ハプティック信号４１０および４２０がイベントに基づいたハプティック信号である実施形態において、ハプティック信号４１０の周波数は、規定のマッピングに基づいてハプティック信号４２０の周波数にマッピングされてもよい（すなわち、ハプティック効果をトリガする各々の共鳴周波数値は別の共鳴周波数にマッピングされてもよい）。ハプティック信号４１０および４２０がパラメータ化されたハプティック信号である実施形態において、ハプティック信号４１０の各々の共鳴周波数はハプティック信号４２０の別の共鳴周波数にマッピングされ、ハプティック信号４１０の大きさ、持続時間、およびエンベロープ情報が、ハプティック信号４２０内で一定のままである。ハプティック信号４１０および４２０がＰＣＭハプティック信号である実施形態において、ハプティック信号４１０の各々の大きさが最初にハプティック信号４２０の大きさにマッピングされ、続いて、ハプティック信号４１０の各々の周波数が、ハプティック信号４２０の周波数にマッピングされ得る。
【００３３】
図４に見られ得るように、ハプティック信号４１０および４２０の共鳴は、２５０Ｈｚの周波数において識別される。さらに、ハプティック信号４１０および４２０の認知範囲は、１００Ｈｚから５００Ｈｚの範囲を有する周波数帯域において識別され、認知下限は１００Ｈｚの周波数においてであり、認知上限は５００Ｈｚの周波数においてである。また、図４に見られ得るように、ハプティック信号４１０の周波数帯域幅内の周波数は、ハプティック信号４２０の周波数帯域幅内の周波数に変化される。
【００３４】
図５は、トランジェント５２０をハプティック信号５１０に加えることによって第１のハプティック効果空間に関連しているハプティック信号５１０の例示的な変換または「ワーピング」を示し、トランジェント５２０は本発明の一実施形態に係る第２のハプティック効果空間に関連する。実施形態によれば、ハプティック信号５１０は、より低い周波数（例えば６０Ｈｚ以下の周波数）のみを含むハプティック信号である。トランジェント５２０などのトランジェントは、状態の変化によって引き起こされる短時間のハプティック信号である。実施形態によれば、ハプティック信号５１０がより低い周波数のみを含む場合、１つまたは複数のトランジェント（トランジェント５２０など）がハプティック信号５１０に加えられてもよい。ハプティック信号５１０およびトランジェント５２０は１つまたは複数のハプティック出力装置において再生されてもよい。したがって、ハプティック信号５１０とトランジェント５２０の組合せは新たなハプティック信号を構成する。
【００３５】
図６は、本発明の一実施形態に係る、ハプティックワーピングモジュール（図１のハプティックワーピングモジュール１６など）の機能性のフロー図を示す。特定の実施形態において、機能性の一部は省略されてもよい。フローが開始、６１０に進む。６１０において、元のハプティック信号が受信される。元のハプティック信号は第１のハプティック効果空間を含んでもよい。より具体的には、元のハプティック信号は、一次ハプティック出力装置で再生される場合、１つまたは複数の一次ハプティック効果を生成してもよく、一次ハプティック効果は第１のハプティック効果空間を構成するハプティック効果のセットの部分であってもよく、ハプティック効果のセットは、一次ハプティック出力装置によって生成され得る全ての可能なハプティック効果を含んでもよい。特定の実施形態において、一次ハプティック出力装置はアクチュエータであってもよい。これらの実施形態のいくつかにおいて、アクチュエータは圧電アクチュエータまたはＥＡＰアクチュエータなどの高定義アクチュエータであってもよい。さらに、これらの実施形態のいくつかにおいて、ハプティック効果は振動触覚ハプティック効果であってもよく、第１のハプティック効果は振動触覚ハプティック効果空間であってもよい。次いでフローは６２０に進む。
【００３６】
６２０において、新たなハプティック信号が生成される。新たなハプティック信号は第２のハプティック効果空間を含んでもよい。より具体的には、新たなハプティック信号は、二次ハプティック出力装置で再生される場合、１つまたは複数の二次ハプティック効果を生成してもよく、二次ハプティック効果は第２のハプティック効果空間を構成するハプティック効果のセットの部分であってもよく、ハプティック効果のセットは、二次ハプティック出力装置によって生成され得る全ての可能なハプティック効果を含んでもよい。さらに、第２のハプティック効果空間は第１のハプティック効果空間と異なってもよい。このことは、第１のハプティック効果空間を構成するハプティック効果のセットが、第２のハプティック効果を構成するハプティック効果のセットと異なってもよいことを意味する。
【００３７】
特定の実施形態において、新たなハプティック信号内に含まれるデータは元のハプティック信号内に含まれるデータに基づいてもよい。これらの実施形態のいくつかにおいて、新たなハプティック信号内に含まれるデータは以下のようなものであってもよい：（ａ）新たなハプティック信号により、二次ハプティック出力装置が、元のハプティック信号内に含まれるデータの絶対値が規定の閾値以上である元のハプティック信号の持続時間の間、１つまたは複数の二次ハプティック効果を生成し、（ｂ）新たなハプティック信号により、二次ハプティック出力装置が、元のハプティック信号内に含まれるデータの絶対値が規定の閾値より小さい元のハプティック信号の持続時間の間、二次ハプティック効果を生成しない。特定の実施形態において、二次ハプティック出力装置はアクチュエータであってもよい。これらの実施形態のいくつかにおいて、アクチュエータはＬＲＡまたはＥＲＭなどの標準定義アクチュエータであってもよい。次いでフローは６３０に進む。
【００３８】
６３０において、元のハプティック信号は１つまたは複数の一次ハプティック効果を生成するために一次ハプティック出力装置に送信される。特定の実施形態において、６３０は省略されてもよく、元のハプティック信号はいかなるハプティック装置にも送信されない。次いでフローは６４０に進む。
【００３９】
６４０において、新たなハプティック出力信号は、１つまたは複数の二次ハプティック効果を生成するために二次ハプティック出力装置に送信される。次いでフローは終了する。
【００４０】
図７は、本発明の別の実施形態に係る、ハプティックワーピングモジュール（図１のハプティックワーピングモジュール１６など）の機能性のフロー図を示す。特定の実施形態において、機能性の一部は省略されてもよい。フローが開始し、７１０に進む。７１０において、元のハプティック信号が受信される。元のハプティック信号は第１のハプティック効果空間を含んでもよい。以前に記載されているように、元のハプティック信号は、ハプティック出力装置で再生される場合、１つまたは複数のハプティック効果を生成でき、ハプティック効果は第１のハプティック効果空間を構成するハプティック効果のセットの部分であってもよく、ハプティック効果のセットはハプティック出力装置によって生成され得る全ての可能なハプティック効果を含んでもよい。特定の実施形態において、ハプティック出力装置はアクチュエータであってもよい。これらの実施形態のいくつかにおいて、アクチュエータは圧電アクチュエータまたはＥＡＰアクチュエータなどの高定義アクチュエータであってもよい。代替の実施形態において、アクチュエータはＬＲＡまたはＥＲＭなどの標準定義アクチュエータであってもよい。さらに、これらの実施形態のいくつかにおいて、ハプティック効果は振動触覚ハプティック効果であってもよく、第１のハプティック効果空間は振動触覚ハプティック効果空間であってもよい。次いでフローは７２０に進む。
【００４１】
７２０において、元のハプティック信号内に含まれるデータは複数の時間ウインドウに分けられる。各時間ウインドウは元のハプティック信号内に含まれるデータの一部を含む。次いでフローは７３０に進む。
【００４２】
７３０において、レベルは複数の時間ウインドウの時間ウインドウに割り当てられる。レベルは数値によって表され得る。例えば、１、２、３、４、５または６の数値は時間ウインドウに割り当てられ得る。したがって、言い換えれば、時間ウインドウは量子化される。さらに、一部の実施形態において、レベルは時間ウインドウ内に含まれるデータの最大絶対値に基づいて時間ウインドウに割り当てられてもよい。代替の実施形態において、レベルは時間ウインドウ内に含まれるデータの平均絶対値に基づいて時間ウインドウに割り当てられてもよい。特定の実施形態において、レベルは複数の時間ウインドウの各々の時間ウインドウに割り当てられてもよい。次いでフローは７４０に進む。
【００４３】
７４０において、時間ウインドウのレベルはハプティック効果パターンを表すデータに翻訳される。特定の実施形態において、翻訳することはハプティック効果パターンの持続時間を設定することを含み、ハプティック効果パターンの持続時間対時間ウインドウの持続時間の比は、時間ウインドウのレベル対最大レベルの比に比例する。例えば、時間ウインドウの持続時間が３０ミリ秒（「ｍｓ」）であり、時間ウインドウのレベルが４（６の最大レベルを有する）である場合、ハプティック効果パターンの対応する持続時間は２０ｍｓである。この例において、ハプティック効果パターンの後に続いて、ハプティック効果パターンが存在しない１０ｍｓの持続時間（時間ウインドウの残りの持続時間）がある。特定の実施形態において、ハプティック効果パターンは振動触覚ハプティック効果を表す振動触覚ハプティック効果パターンである。さらに、特定の実施形態において、各時間ウインドウの各レベルは別のハプティック効果パターンを表すデータの別の部分に翻訳されてもよい。次いでフローは７５０に進む。
【００４４】
７５０において、ハプティック効果パターンを表すデータを含む新たなハプティック信号が生成される。新たなハプティック信号は第２のハプティック効果空間を含んでもよい。より具体的には、新たなハプティック信号は、ハプティック出力装置で再生される場合、１つまたは複数のハプティック効果を生成でき、ハプティック効果は第２のハプティック効果空間を構成するハプティック効果のセットの部分であってもよく、ハプティック効果のセットはハプティック出力装置によって生成され得る全ての可能なハプティック効果を含んでもよい。さらに、第２のハプティック効果空間は第１のハプティック効果空間と異なってもよい。このことは、第１のハプティック効果空間を構成するハプティック効果のセットが第２のハプティック効果空間を構成するハプティック効果のセットと異なっていてもよいことを意味する。特定の実施形態において、新たなハプティック信号は別のハプティック効果パターンを表す別の部分のデータを含んでもよい。フローは７６０に進む。
【００４５】
７６０において、新たなハプティック信号が、１つまたは複数のハプティック効果を生成するためにハプティック出力装置に送信される。次いでフローは終了する。
【００４６】
図８は、本発明の別の実施形態に係る、ハプティックワーピングモジュール（図１のハプティックワーピングモジュール１６など）の機能性のフロー図を示す。特定の実施形態において、機能性の一部は省略されてもよい。フローが開始し、８１０に進む。８１０において、元のハプティック信号が受信される。元のハプティック信号は第１のハプティック効果空間を含んでもよい。以前に記載されているように、元のハプティック信号は、ハプティック出力装置で再生される場合、１つまたは複数のハプティック効果を生成でき、ハプティック効果は第１のハプティック効果空間を構成するハプティック効果のセットの部分であってもよく、ハプティック効果のセットはハプティック出力装置によって生成され得る全ての可能なハプティック効果を含んでもよい。特定の実施形態において、ハプティック出力装置はアクチュエータであってもよい。これらの実施形態のいくつかにおいて、アクチュエータは圧電アクチュエータまたはＥＡＰアクチュエータなどの高定義アクチュエータであってもよい。代替の実施形態において、アクチュエータはＬＲＡまたはＥＲＭなどの標準定義アクチュエータであってもよい。さらに、これらの実施形態のいくつかにおいて、ハプティック効果は振動触覚ハプティック効果であってもよく、第１のハプティック効果空間は振動触覚ハプティック効果空間であってもよい。次いでフローは８２０に進む。
【００４７】
８２０において、元のハプティック信号内に含まれるデータは複数の時間ウインドウに分けられる。各時間ウインドウは元のハプティック信号内に含まれるデータの一部を含む。次いでフローは８３０に進む。
【００４８】
８３０において、第１のレベルは複数の時間ウインドウの第１の時間ウインドウに割り当てられ、第２のレベルは複数の時間ウインドウの第２の時間ウインドウに割り当てられる。特定の実施形態において、第１および第２の時間ウインドウは、時間が隣接している（すなわち連続している）。以前に記載されているように、レベルは数値によって表される。例えば、１、２、３、４、５または６の数値は第１の時間ウインドウに割り当てられてもよく、１、２、３、４、５または６の別の数値は第２の時間ウインドウに割り当てられ得る。このように、言い換えれば、第１の時間ウインドウおよび第２の時間ウインドウは各々量子化される。さらに、一部の実施形態において、第１のレベルおよび第２のレベルの各々は、第１の時間ウインドウおよび第２の時間ウインドウのそれぞれ内に含まれるデータの最大絶対値に基づいて、第１の時間ウインドウおよび第２の時間ウインドウのそれぞれに割り当てられてもよい。代替の実施形態において、第１のレベルおよび第２のレベルの各々は、第１の時間ウインドウおよび第２の時間ウインドウのそれぞれ内に含まれるデータの平均絶対値に基づいて、第１の時間ウインドウおよび第２の時間ウインドウのそれぞれに割り当てられてもよい。特定の実施形態において、レベルは複数の時間ウインドウの各々の時間ウインドウに割り当てられてもよい。次いでフローは８４０に進む。
【００４９】
８４０において、第１のレベルと第２のレベルとの間のレベル遷移が決定される。レベル遷移は第１のレベルから第２のレベルへの遷移である。レベル遷移は複数の数値によって表されてもよい。例えば、４の数値が第１の時間ウインドウに割り当てられる場合、６の数値が第２の時間ウインドウに割り当てられ、レベル遷移は（４，６）により表され得る。別の例として、６の数値が第１の時間ウインドウに割り当てられ、４の数値が第２の時間ウインドウに割り当てられる場合、レベル遷移は（６，４）により表され得る。特定の実施形態において、各レベルとその続いて起こるレベルとの間のレベル遷移が決定され得る。次いでフローは８５０に進む。
【００５０】
８５０において、ハプティック効果パターンは、決定されたレベル遷移に基づいて１つまたは複数のハプティック効果パターンを含むテーブルから選択される。テーブルはレベル遷移に対応するハプティック効果パターンの規定されたテーブルであってもよく、規定されたテーブルは、前もってハプティック出力装置またはハプティック出力装置の種類に特有に定義されてもよい。さらに、１つまたは複数のハプティック効果パターンは、前もってハプティック出力装置またはハプティック出力装置の種類に特有に定義されてもよい。特定の実施形態において、第１のレベルと第２のレベルと間の遷移が技術的に実行可能でない場合（例えば、決定されたレベル遷移がテーブル内に存在しない場合、または第１の時間ウインドウの持続時間が選択されたハプティック効果パターンを適合するのに非常に短い場合）、以下が起こり得る：（ａ）第１のレベルまたは第２のレベルの少なくとも１つは変更（例えば、上下に調整）されてもよく；（ｂ）新たなレベル遷移が、第１のレベルまたは第２のレベルの少なくとも１つに対する変更に基づいて決定されてもよく；（ｃ）ハプティック効果パターンは新たなレベルの決定に基づいてテーブルから選択されてもよい。さらに、一部の実施形態において、別のハプティック効果パターンが各々の決定されたレベル遷移のためのテーブルから選択されてもよい。次いでフローは８６０に進む。
【００５１】
８６０において、選択されたハプティック効果パターンを表すデータを含む新たなハプティック信号が生成される。新たなハプティック信号は第２のハプティック効果空間を含んでもよい。より具体的には、新たなハプティック信号は、ハプティック出力装置で再生される場合、１つまたは複数のハプティック効果を生成でき、ハプティック効果は第２のハプティック効果空間を構成するハプティック効果のセットの部分であってもよく、ハプティック効果のセットはハプティック出力装置によって生成され得る全ての可能なハプティック効果を含んでもよい。さらに、第２のハプティック効果空間は第１のハプティック効果空間と異なってもよい。このことは、第１のハプティック効果空間を構成するハプティック効果のセットが、第２のハプティック効果空間を構成するハプティック効果のセットと異なっていてもよいことを意味する。特定の実施形態において、新たなハプティック信号は、別々に選択されたハプティック効果パターンを表すデータの別の部分を含んでもよい。フローは８７０に進む。
【００５２】
８７０において、新たなハプティック信号は１つまたは複数のハプティック効果を生成するためにハプティック出力装置に送信される。次いでフローは終了する。
【００５３】
このように、一実施形態において、システムは、第１の種類のハプティック出力装置のための入力ハプティック信号を、第２の種類のハプティック出力装置のための出力ハプティック信号に変換できる。したがって、システムは、自動的または手動で生成された任意のハプティックコンテンツを、関連する方式で、より低い質のハプティック出力装置（または一部の場合、より高い質のハプティック出力装置）に適合できる。一例として、ハプティック効果の設計は、（主に高定義のハプティック出力装置のための）以前のハプティック効果を設計してもよく、全ての種類のハプティック出力装置に対して適切に再生されるハプティック効果を有してもよい。また、標準定義のハプティック出力装置を使用して高定義のハプティック信号を直接再生する場合、ハプティック効果が意図するハプティック効果設計として標準定義のハプティック出力装置で体験されるように、システムは高定義のハプティック信号を適切に変換できる。これにより、システムが、市場で利用可能な任意の商業的なハプティック出力装置で任意の生成されたハプティックコンテンツを再生することが可能となる。
【００５４】
本明細書全体にわたって記載されている本発明の特徴、構造または特性は、１つまたは複数の実施形態において任意の適切な方式で組み合わされてもよい。例えば、本明細書全体にわたって、「一実施形態」、「いくつかの実施形態」、「特定の実施形態」、「複数の特定の実施形態」または同様の言語の使用は、実施形態と併せて記載されている特定の特徴、構造または特性が、本発明の少なくとも１つの実施形態に含まれ得るという事実を示す。したがって、本明細書全体にわたる、「一実施形態」、「いくつかの実施形態」、「特定の実施形態」、「複数の特定の実施形態」という用語または他の同様の言語の出現は、同じ群の実施形態および記載されている特徴、構造または特性を必ずしも示しているわけではなく、１つまたは複数の実施形態において任意の適切な方式で組み合わされてもよい。
【００５５】
当業者は、上記の本発明が異なる順序のステップで、および／または開示されているもの以外の異なる構造における要素で実施されてもよいことを容易に理解するであろう。したがって、本発明はこれらの好ましい実施形態に基づいて記載されているが、本発明の精神および範囲を維持しながら、特定の修飾、変更および代替構成が明白であることは当業者に明らかであろう。したがって、本発明の割り当ておよび境界を決定するために、添付の特許請求の範囲が参照されるべきである。
【図１】
2018136976.tif 000003
【図２】
2018136976.tif 000004
【図３】
2018136976.tif 000005
【図４】
2018136976.tif 000006
【図５】
2018136976.tif 000007
【図６】
2018136976.tif 000008
【図７】
2018136976.tif 000009
【図８】
2018136976.tif 000010
【手続補正書】
【提出日】平成30年4月25日(2018.4.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
プロセッサによって実行される場合、
第１のハプティック出力装置によって生成され得る第１のハプティック効果を含む第１のハプティック信号を受信し、
前記第１のハプティック信号を、第２のハプティック出力装置によって生成され得る第２のハプティック効果を含む第２のハプティック信号に変換し、
前記第２のハプティック効果を生成するために前記第２のハプティック信号を前記第２のハプティック出力装置に送信すること
によって前記プロセッサにハプティック信号を変換させる、記憶された命令を有する非一時的コンピュータ可読媒体。
【請求項２】
前記第１のハプティック信号を前記第２のハプティック信号に変換することが、前記第１のハプティック信号内に含まれるデータの１つまたは複数の周波数またはピッチを変化させることを含む、請求項１に記載のコンピュータ可読媒体。
【請求項３】
前記第１のハプティック信号を前記第２のハプティック信号に変換することが、前記第１のハプティック信号の共鳴周波数を前記第２のハプティック信号の共鳴周波数に変化させることを含む、請求項１に記載のコンピュータ可読媒体。
【請求項４】
前記第１のハプティック信号を前記第２のハプティック信号に変換することが、
前記第１のハプティック信号および前記第２のハプティック信号の共鳴を識別することと、
認知下限を表す周波数および認知上限を表す周波数によって規定された周波数帯域幅において前記第１のハプティック信号および前記第２のハプティック信号の認知範囲を識別することであって、認知限界は、ヒトがハプティック信号によって生成された振動触覚ハプティック効果を認識できる周波数限界である、識別することと、
前記第１のハプティック信号の前記周波数帯域幅内の周波数を前記第２のハプティック信号の前記周波数帯域幅内の周波数に変換することと
を含む、請求項１に記載のコンピュータ可読媒体。
【請求項５】
前記第１のハプティック信号および前記第２のハプティック信号がイベントに基づいたハプティック信号であり、イベントはオーディオ信号またはビデオ信号内でマークされ、ハプティック効果は、対応するコードされたオーディオ信号またはビデオ信号におけるデータ基づいて出力される、請求項１に記載のコンピュータ可読媒体。
【請求項６】
前記第１のハプティック信号を前記第２のハプティック信号に変換することが、ハプティック効果をトリガする各々の共鳴周波数が別の共鳴周波数にマッピングされるマッピングに基づいて前記第１のハプティック信号の周波数を前記第２のハプティック信号の周波数にマッピングすることを含む、請求項５に記載のコンピュータ可読媒体。
【請求項７】
前記第１のハプティック信号および前記第２のハプティック信号がパラメータ化されたハプティック信号であり、１つまたは複数のパラメータ化されたハプティック効果が特定の時間点において再生され、前記１つまたは複数のパラメータ化されたハプティック効果は別のハプティック信号内でコードされる、請求項１に記載のコンピュータ可読媒体。
【請求項８】
前記第１のハプティック信号を前記第２のハプティック信号に変換することが、前記第２のハプティック信号において前記第１のハプティック信号の大きさ、持続時間、およびエンベロープ情報を維持しながら、前記第１のハプティック信号の各々の共鳴周波数を前記第２のハプティック信号の共鳴周波数にマッピングすることを含む、請求項７に記載のコンピュータ可読媒体。
【請求項９】
前記第１のハプティック信号および前記第２のハプティック信号がパルス符号変調（ＰＣＭ）ハプティック信号であり、ＰＣＭオーディオ信号がＰＣＭハプティック信号に変換される、請求項１に記載のコンピュータ可読媒体。
【請求項１０】
前記第１のハプティック信号の各々の大きさが最初に前記第２のハプティック信号の大きさにマッピングされ、続いて、前記第１のハプティック信号の各々の周波数が第２のハプティック信号の周波数にマッピングされる、請求項９に記載のコンピュータ可読媒体。
【請求項１１】
前記第１のハプティック信号が閾値周波数以下の周波数のみを含む、請求項１に記載のコンピュータ可読媒体。
【請求項１２】
前記第１のハプティック信号を前記第２のハプティック信号に変換することが、１つまたは複数のトランジェントを前記第１のハプティック信号に加えることであって、前記１つまたは複数のトランジェントは状態の変化によって引き起こされる短時間のハプティック信号である、加えることを含む、請求項１に記載のコンピュータ可読媒体。
【請求項１３】
前記第１のハプティック信号および前記１つまたは複数のトランジェントが１つまたは複数のハプティック出力装置において再生される、請求項１２に記載のコンピュータ可読媒体。
【請求項１４】
ハプティック信号を変換するためのコンピュータ実装方法であって、
第１のハプティック出力装置によって生成され得る第１のハプティック効果を含む第１のハプティック信号を受信するステップと、
前記第１のハプティック信号を、第２のハプティック出力装置によって生成され得る第２のハプティック効果を含む第２のハプティック信号に変換するステップと、
前記第２のハプティック効果を生成するために前記第２のハプティック信号を前記第２のハプティック出力装置に送信するステップと
を含む、コンピュータ実装方法。
【請求項１５】
前記第１のハプティック信号を前記第２のハプティック信号に変換するステップが、前記第１のハプティック信号内に含まれるデータの１つまたは複数の周波数またはピッチを変化させるステップを含む、請求項１４に記載のコンピュータ実装方法。
【請求項１６】
前記第１のハプティック信号を前記第２のハプティック信号に変換するステップが、前記第１のハプティック信号の共鳴周波数を前記第２のハプティック信号の共鳴周波数に変化させるステップを含む、請求項１４に記載のコンピュータ実装方法。
【請求項１７】
前記第１のハプティック信号が閾値周波数以下の周波数のみを含む、請求項１４に記載のコンピュータ実装方法。
【請求項１８】
前記第１のハプティック信号を前記第２のハプティック信号に変換するステップが、１つまたは複数のトランジェントを前記第１のハプティック信号に加えるステップであって、前記１つまたは複数のトランジェントは状態の変化によって引き起こされる短時間のハプティック信号である、ステップを含む、請求項１７に記載のコンピュータ実装方法。
【請求項１９】
ハプティック信号を変換するシステムであって、前記システムは、
ハプティックワーピングモジュールを記憶するように構成されるメモリと、
第１のハプティック出力装置によって生成され得る第１のハプティック効果を含む第１のハプティック信号を受信し、
前記第１のハプティック信号を、第２のハプティック出力装置によって生成され得る第２のハプティック効果を含む第２のハプティック信号に変換し、
前記第２のハプティック効果を生成するために前記第２のハプティック信号を前記第２のハプティック出力装置に送信するように、
前記メモリに記憶された前記ハプティックワーピングモジュールを実行するように構成されるプロセッサと、
を含む、システム。
【請求項２０】
前記第１のハプティック信号を前記第２のハプティック信号に変換することが、前記第１のハプティック信号内に含まれるデータの１つまたは複数の周波数またはピッチを変化させることを含む、請求項１９に記載のシステム。
【外国語明細書】
2018136976000001.pdf