(57)【要約】      （修正有）【課題】触覚効果をビデオと同期させるコンテンツを簡単に生成するシステムを提供する。【解決手段】ビデオデータを記録するように構成されたビデオレコーダ１０４と、物体の運動を感知して該物体の該運動を表すセンサデータを出力するように構成されたセンサ１０２と、該センサデータを触覚出力信号に変換するように構成された変換器１１４と、該触覚出力信号に基づいてユーザに対して触覚効果を生成するように構成された触覚出力装置１１８と、ビデオを表示するように構成されたディスプレイ１２０と、該触覚効果が該ディスプレイで表示される該ビデオと同期させられるように、該ビデオデータと該触覚出力信号とを同期させ、該ビデオデータを該ディスプレイへ出力するとともに該触覚出力信号を該触覚出力装置１１８へ出力するように構成されたプロセッサ１１０とを含む。【選択図】図１
2014160529.tif 000002
【特許請求の範囲】
【請求項１】
ビデオデータを記録するように構成されたビデオレコーダと、
物体の運動を感知して前記物体の前記運動を表すセンサデータを出力するように構成されたセンサと、
前記センサデータを触覚出力信号に変換するように構成された変換器と、
前記触覚出力信号に基づいてユーザに対して触覚効果を生成するように構成された触覚出力装置と、
ビデオを表示するように構成されたディスプレイと、
前記触覚効果が前記ディスプレイで表示される前記ビデオと同期化されるように前記ビデオデータおよび前記触覚出力信号を同期化して前記ビデオデータを前記ディスプレイに出力するとともに前記触覚出力信号を前記触覚出力装置に出力するように構成されたプロセッサと、
を備えるシステム。
【請求項２】
オーディオデータを記録するように構成されたオーディオレコーダと、音声を射出するように構成されたスピーカとをさらに備え、前記プロセッサは、前記音声が前記ディスプレイで表示される前記ビデオおよび前記触覚出力装置により生成される前記触覚効果と同期化されるように、前記オーディオデータを受け取り、前記オーディオデータを前記ビデオデータおよび前記触覚出力信号と同期させ、前記オーディオデータを前記スピーカへ出力するようにさらに構成されている、請求項１に記載のシステム。
【請求項３】
前記ビデオレコーダ、前記オーディオレコーダ、および前記センサは同じ電子装置の部分である、請求項２に記載のシステム。
【請求項４】
前記触覚出力装置、前記ディスプレイ、および前記スピーカは同じ電子装置の部分である、請求項２に記載のシステム。
【請求項５】
前記ビデオレコーダ、前記オーディオレコーダ、前記センサ、前記触覚出力装置、前記ディスプレイ、前記スピーカ、および前記プロセッサは同じ電子装置の部分である、請求項２に記載のシステム。
【請求項６】
前記触覚出力装置および前記ディスプレイは同じ電子装置の部分である、請求項１に記載のシステム。
【請求項７】
前記プロセッサは前記変換器を含み、前記ビデオデータおよび前記触覚出力信号を同期させるように構成されたデコーダをさらに含む、請求項１に記載のシステム。
【請求項８】
前記センサは、加速度計、ジャイロスコープ、および接点圧力センサから成るグループから選択される、請求項１に記載のシステム。
【請求項９】
前記システムは複数のセンサを含み、前記複数のセンサは加速度計、ジャイロスコープ、および接点圧力センサから成るグループから選択される、請求項１に記載のシステム。
【請求項１０】
ビデオを表示するように構成されたディスプレイと、
ビデオデータを記録するように構成されたビデオレコーダと、
物体の運動を感知して前記物体の前記運動を表すセンサデータを出力するように構成されたセンサと、
前記センサデータを触覚出力信号に変換するように構成された変換器と、
電子ハンドヘルド装置と、を備えるシステムであって、
前記電子ハンドヘルド装置は、
前記触覚出力信号に基づいて前記ハンドヘルド装置のユーザに対して触覚効果を生成するように構成された触覚出力装置、及び
前記触覚効果が前記ディスプレイで表示される前記ビデオと同期化されるように前記ビデオデータおよび前記触覚出力信号を同期化して前記ビデオデータを前記ディスプレイに出力するとともに前記触覚出力信号を前記触覚出力装置に出力するように構成されたプロセッサを含む、
システム。
【請求項１１】
オーディオデータを記録するように構成されたオーディオレコーダ、および音声を射出するように構成されたスピーカをさらに含み、前記プロセッサは、前記音声が前記ディスプレイで表示される前記ビデオおよび前記触覚出力装置により生成される前記触覚効果と同期させられるように、前記オーディオデータを受け取り、前記オーディオデータを前記ビデオデータおよび前記触覚出力信号と同期させ、前記オーディオデータを前記スピーカへ出力するようにさらに構成されている、請求項１０に記載のシステム。
【請求項１２】
ビデオレコーダでビデオを記録するステップと、
前記ビデオで記録されている物体の運動をセンサで感知するステップと、
前記感知された運動を触覚出力信号に変換するステップと、
前記ビデオおよび前記触覚出力信号を同期させるステップと、
を備える方法。
【請求項１３】
前記触覚出力信号に基づいて少なくとも１つの触覚効果を生成するステップと、
前記ビデオを前記触覚効果と同期してディスプレイで表示するステップと、
をさらに備える、請求項１２に記載の方法。
【請求項１４】
オーディオをオーディオレコーダで記録するステップと、前記オーディオを前記ビデオおよび前記触覚出力信号と同期させるステップとをさらに備える、請求項１２に記載の方法。
【請求項１５】
前記触覚出力信号に基づいて触覚効果を生成するステップと、前記ビデオをディスプレイで表示するステップと、前記触覚効果が前記ディスプレイで表示される前記ビデオおよびスピーカにより射出される前記オーディオと同期させられるように前記オーディオを前記スピーカで射出するステップとをさらに備える、請求項１４に記載の方法。
【請求項１６】
前記センサは加速度計、ジャイロスコープ、および接点圧力センサから成るグループから選択される、請求項１２に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、触感記録（haptic sensation recording）および触感再生（haptic sensation playback）およびを提供するためのシステムおよび方法に関する。
【背景技術】
【０００２】
電子装置は、イベントの視覚的側面および音声的側面の両方を取り込み得るビデオをユーザが記録することを可能にする。電子装置は、該電子装置で再生されているビデオをユーザが見ている間に触感を提供するようにプログラムされることもできる。触感は、ビデオが再生されるときに該ビデオと関連してユーザが触覚効果を体験できるように前もってプログラムされ、ユーザのためにより没入的な体験を提供する。従来の装置は、ビデオが記録された後に触覚効果が決定されることを可能にするに過ぎない。現在、触覚効果および感覚を生成することは、リアルタイムでは行われない労働集約的プロセスである。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ビデオを見て触感再生を感じるユーザによりリアルで没入的な体験を提供するためにイベントのリアルタイム側面が触感としてビデオと共に再生され得るように、イベントのビデオを記録すると同時に該イベントのリアルタイム側面を記録できることが望ましい。シーン中の物体からのリアルタイムデータを記録し、その体験を触覚的に再生することは、プログラミングツールでオフラインで芸術的編集をし、触覚効果をビデオと同期させようとするために同期コードを書き込むことと比べると、体験を“取り込む”より直観的な方法である。そのようなコンテンツの生成を簡単にすることが望ましい。
【課題を解決するための手段】
【０００４】
本発明の一側面に従って、ビデオデータを記録するように構成されたビデオレコーダと、物体の運動を感知して該物体の該運動を表すセンサデータを出力するように構成されたセンサと、該センサデータを触覚出力信号に変換するように構成された変換器と、該触覚出力信号に基づいてユーザに対して触覚効果を生成するように構成された触覚出力装置と、ビデオを表示するように構成されたディスプレイと、該触覚効果が該ディスプレイで表示される該ビデオと同期させられるように、該ビデオデータと該触覚出力信号とを同期させ、該ビデオデータを該ディスプレイへ出力するとともに該触覚出力信号を該触覚出力装置へ出力するように構成されたプロセッサとを含むシステムが提供される。
【０００５】
一実施態様では、該システムは、オーディオデータを記録するように構成されたオーディオレコーダと、音声を射出するように構成されたスピーカとをも含む。該プロセッサは、該音声が該ディスプレイで表示される該ビデオおよび該触覚出力装置により生成される該触覚効果と同期させられるように、該オーディオデータを受け取り、該オーディオデータを該ビデオデータおよび該触覚出力信号と同期させ、該オーディオデータを該スピーカへ出力するようにさらに構成され得る。
【０００６】
一実施態様では、該ビデオレコーダ、該オーディオレコーダ、および該センサは同じ電子装置の部分である。一実施態様では、該触覚出力装置、該ディスプレイ、および該スピーカは同じ電子装置の部分である。一実施態様では、該ビデオレコーダ、オーディオレコーダ、該センサ、該触覚出力装置、該ディスプレイ、該スピーカ、および該プロセッサは同じ電子装置の部分である。一実施態様では、該触覚出力装置および該ディスプレイは同じ電子装置の部分である。
【０００７】
一実施態様では、該プロセッサは、該変換器を含み、該ビデオデータおよび該触覚出力信号を同期させるように構成されたデコーダをさらに含む。
【０００８】
一実施態様では、該センサは、加速度計、ジャイロスコープ、および接点圧力センサから成るグループから選択される。
【０００９】
一実施態様では、該システムは複数のセンサを含み、該複数のセンサは加速度計、ジャイロスコープ、および接点圧力センサから成るグループから選択される。
【００１０】
本発明の一側面に従って、ビデオを表示するように構成されたディスプレイと、ビデオデータを記録するように構成されたビデオレコーダと、物体の運動を感知して該物体の該運動を表すセンサデータを出力するように構成されたセンサと、該センサデータを触覚出力信号に変換するように構成された変換器と、電子ハンドヘルド装置とを含むシステムが提供される。該電子ハンドヘルド装置は、該触覚出力信号に基づいて該ハンドヘルド装置のユーザに対して触覚効果を生成するように構成された触覚出力装置と、該触覚効果が該ディスプレイで表示される該ビデオと同期させられるように、該ビデオデータおよび該触覚出力信号を同期させて該ビデオデータを該ディスプレイへ出力するとともに該触覚出力信号を該触覚出力装置へ出力するように構成されたプロセッサとを含む。
【００１１】
本発明の一側面に従って、ビデオレコーダでビデオを記録することと、該ビデオで記録されている物体の運動をセンサで感知することと、該感知された運動を触覚出力信号に変換することと、該ビデオおよび該触覚出力信号を同期させることとを含む方法が提供される。
【００１２】
一実施態様では、該方法は、該触覚出力信号に基づいて少なくとも１つの触覚効果を生成することと、該触覚効果と同期して該ビデオをディスプレイで表示することとを含む。
【００１３】
一実施態様では、該方法は、オーディオをオーディオレコーダで記録することと、該オーディオを該ビデオおよび該触覚出力信号と同期させることとを含む。
【００１４】
一実施態様では、該方法は、該触覚出力信号に基づいて触覚効果を生成することと、該ビデオをディスプレイで表示することと、該触覚効果が該ディスプレイで表示される該ビデオおよびスピーカにより射出されるオーディオと同期させられるように該オーディオを該スピーカで射出することとを含む。
【００１５】
以下の図の構成要素は、本開示の一般的原理を強調するために描かれていて、必ずしも等縮尺で描かれてはいない。対応する構成要素を示す参照記号は、一貫性および明瞭性を目的として図面全体にわたって必要に応じて繰り返されている。
【図面の簡単な説明】
【００１６】
【図１】触覚効果を記録し提供するためのシステムの実施態様を示す。
【００１７】
【図２】図１のシステムの部分として使用され得るウェアラブルセンサの実施態様を示す。
【００１８】
【図３】図２のセンサにより測定され得る時間の関数としての垂直加速度を表す信号を示す。
【００１９】
【図４】図２のセンサにより測定され得る時間の関数としての加速度を表す信号を示す。
【００２０】
【図５】本発明の一実施態様に従う方法の流れ図である。
【発明を実施するための形態】
【００２１】
図１は、本発明の一実施態様に従うシステム１００を示す。図示されているように、システム１００は、物体の運動を感知して該感知された運動をセンサデータに変換するように構成された１つ以上のセンサ１０２と、イメージを取り込んで記録するように構成されたビデオレコーダ１０４と、音声を取り込んで記録するように構成されたオーディオレコーダ１０６とを含む。一実施態様では、１つまたは複数のセンサ１０２と、ビデオレコーダ１０４と、オーディオレコーダ１０６とは同じ電子装置の部分であり得る。一実施態様では、ビデオレコーダ１０４とオーディオレコーダ１０６とは同じ電子装置の部分であり得、１つまたは複数のセンサ１０２はビデオレコーダ１０４とオーディオレコーダ１０６とを含む電子装置とは別個であり得る。一実施態様では、１つまたは複数のセンサ１０２と、ビデオレコーダ１０４と、オーディオレコーダ１０６とは別個のスタンドアロン装置であるかあるいは別個のスタンドアロン装置の部分であり得る。
【００２２】
プロセッサ１１０は、以下でさらに詳しく論じられるように、１つまたは複数のセンサ１０２、ビデオレコーダ１０４、およびオーディオレコーダ１０６により出力された信号およびデータを処理するように構成される。システム１００は、入力変換器１１２と、プロセッサ１１０の部分であり得る出力変換器１１４と、同じくプロセッサ１１０の部分であり得るデコーダ１１６とをも含む。入力変換器１１２、出力変換器１１４、およびデコーダ１１６の側面は、以下でさらに詳しく論じられる。
【００２３】
図１に示されているように、システム１００は、該システムのユーザに対して触覚効果を出力するように構成された触覚出力装置１１８と、ビデオレコーダ１０４により取り込まれたイメージなどのイメージを表示するように構成されたディスプレイ１２０と、オーディオレコーダ１０６により取り込まれた音声であり得る音声を出力するように構成されたスピーカ１２２とをも含む。以下でさらに詳しく論じられるように、触覚出力装置１１８、ディスプレイ１２０、およびスピーカ１２２は電子再生装置１３０の部分であり得る。一実施態様では、触覚出力装置１１８、ディスプレイ１２０、およびスピーカ１２２は、例えば無線接続を通して互いに通信するように構成された別々の装置であり得る。一実施態様では、触覚出力装置１１８はウェアラブル装置の部分であり得、ディスプレイ１２０はテレビジョンの部分であり得、スピーカ１２２はディスプレイ１２０とは別個の無線スピーカであり得る。
【００２４】
触覚出力装置１１８は、例えば、偏心質量がモータにより動かされる偏心回転質量（Ｅｃｃｅｎｔｒｉｃ  Ｒｏｔａｔｉｎｇ  Ｍａｓｓ（“ＥＲＭ”））、ばねに取り付けられた質量が前後に駆動される線形共振アクチュエータ（Ｌｉｎｅａｒ  Ｒｅｓｏｎａｎｔ  Ａｃｔｕａｔｏｒ（“ＬＲＡ”））などの電磁アクチュエータ、圧電、電気活性ポリマもしくは形状記憶合金などの“スマート材料”、マクロコンポジットファイバアクチュエータ、静電アクチュエータ、電気触覚アクチュエータ、および／または触覚（例えば、振動触覚）フィードバックなどの物理的フィードバックを提供する他のタイプのアクチュエータ、などのアクチュエータを含むことができる。触覚出力装置１１８は、静電摩擦（ｅｌｅｃｔｒｏｓｔａｔｉｃ  ｆｒｉｃｔｉｏｎ（ＥＳＦ））、超音波表面摩擦（ｕｌｔｒａｓｏｎｉｃ  ｓｕｒｆａｃｅ  ｆｒｉｃｔｉｏｎ（ＵＳＦ））を用いるもの、あるいは超音波触覚トランスデューサで音響放射圧力を誘導するもの、あるいは触覚基板および可撓性もしくは変形可能な表面を用いるもの、あるいはエアージェットを用いて空気のパフなどの射出される触覚出力を提供するものなど、非機械式もしくは非振動式装置を含むことができる。
【００２５】
電子メモリ１２４は、１つまたは複数のセンサ１０２により感知されたデータを記憶するために使用され得、電子メモリ１２６はビデオレコーダ１０４により記録されたデータを記憶するために使用され得、電子メモリ１２８はオーディオレコーダ１０６により記録されたデータを記憶するために使用され得る。メモリ１２４、１２６、１２８は１つ以上の内部に固定されたストレージユニット、取り外し可能なストレージユニット、および／または遠隔アクセス可能なストレージユニットを含み得る。それらの種々のストレージユニットは、揮発性メモリおよび不揮発性メモリの任意の組み合わせを含み得る。該ストレージユニットは、情報、データ、命令、ソフトウェアコードなどの任意の組み合わせを記憶するように構成され得る。１つまたは複数のセンサ１０２、ビデオレコーダ１０４、およびオーディオレコーダ１０６が同じ電子装置の部分である実施態様においては、メモリ１２４、１２６、１２８は同じ場所に配置され得る。ビデオレコーダ１０４およびオーディオレコーダ１０６が同じ電子装置の部分である実施態様においては、メモリ１２６、１２８は同じ場所に配置され得る。
【００２６】
一実施態様では、ユーザは、ビデオレコーダ１０４および／またはオーディオレコーダ１０６を用いてシーンまたはイベントのビデオおよび／またはオーディオを記録することができる。一実施態様では、ビデオレコーダ１０４およびオーディオレコーダ１０６は、ビデオキャムコーダ、スマートフォンなどの、同じ記録装置の部分であり得る。記録されるビデオおよびオーディオは、上で論じられたように電子メモリ１２６に格納され得る。一実施態様では、１つまたは複数のセンサ１０２は、ビデオで記録される物体などの、関心の対象である物体の上に置かれ得る。
【００２７】
上で論じられたように、１つまたは複数のセンサ１０２により生成されたデータは電子メモリ１２４に格納され得る。さらに、図１に示されているように、１つまたは複数のセンサ１０２により生成されたデータは、電子メモリ１２４に格納される前に入力変換器１１２によって変換され得る。センサデータの変換はオプションのステップと考えられ、該変換が必要か否かは、使用されるセンサの性質に依存し得る。センサ１０２の実施態様の詳細が以下でさらに詳しく論じられる。
【００２８】
ビデオ、すなわちメディアファイル、を再生するように構成されたメディアプレーヤの部分であり得るデコーダ１１６は、１つまたは複数のセンサ１０２により生成されたデータを電子メモリ１２４から読み出し、該一時データを、オーディオデータおよび記録されて電子メモリ１２６に格納されたビデオデータと関連付けるように構成される。メディア再生中、デコーダ１１６は、センサデータを、該センサデータを触覚出力信号または触感コマンドに変換するように構成された出力変換器１１４を通過させることができ、それらは振動、表面摩擦変調、皮膚つまみ（ｓｋｉｎ  ｐｉｎｃｈ）、皮膚圧搾（ｓｋｉｎ  ｓｑｕｅｅｚｅ）などを含むがこれらに限定はされない。デコーダ１１６は、再生中に触覚効果がビデオおよびオーディオと同期させられるように、センサデータから変換された触覚出力信号をビデオデータおよびオーディオデータと同期させるように構成され得る。一実施態様では、該同期は、再生中に時間がビデオデータ、オーディオデータ、および触覚効果において同じであることを保証することによって完成され得る。
【００２９】
プロセッサ１１０は、システム１００の動作および機能を管理あるいは制御するための汎用もしくは特定目的プロセッサであり得る。例えば、プロセッサ１１０は、触覚効果を提供するために触覚出力装置１１８への出力信号を制御する特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ（“ＡＳＩＣ”））として特に設計され得る。プロセッサ１１０は、所定ファクタに基づいて、どんな触覚効果が生成されるべきかを決定し、該触覚効果が生成される順序を決定し、該触覚効果の大きさ、頻度、持続時間、および／または他のパラメータを決定するように構成され得る。プロセッサ１１０は、特定の触覚効果を提供するために触覚出力装置１１８を駆動するために使用され得るストリーミングコマンドを提供するようにも構成され得る。或る実施態様では、プロセッサ１１０は、システム１００内で各々一定の機能を実行するように構成された複数のプロセッサを実際に含むことができる。プロセッサ１１０は、触覚効果プロファイル、触覚出力装置１１８がどのように駆動されるべきかの命令、および／または触覚効果を生成するための他の情報を含み得る１つ以上のストレージ装置を含むメモリを含むこともできる。図１に示されているシステム１００全体が単一の電子装置の部分である実施態様においては、メモリ１２４、１２６はプロセッサ１１０の部分であり得る。
【００３０】
次に、触覚出力装置１１８を含む電子再生装置１３０を通して該メディアを体験する一人または複数の人が、再生されているイベントをより十分に体験し得るように、触覚出力信号はプロセッサ１１０から、例えばプロセッサ１１０のデコーダ１１６から、触覚出力装置１１８へ送られることができる。電子再生装置１３０は、携帯電話、ゲーム装置、パーソナルデジタルアシスタント（ｐｅｒｓｏｎａｌ  ｄｉｇｉｔａｌ  ａｓｓｉｓｔａｎｔ（“ＰＤＡ”））、ポータブル電子メール装置、ポータブルインターネットアクセス装置、計算機、タブレットなどの電子ハンドヘルド装置などの、任意の装置であり得る。電子再生装置１３０は、該メディアを表示する高精細度ディスプレイであり得るディスプレイ１２０を伴うハンドヘルド装置、触感あるいは触覚効果を生じさせることのできるハンドヘルドの物体、あるいはユーザの体に取り付けられ、ユーザの体にもたれ、あるいは別の方法で触感および触覚効果をユーザに伝えることのできる物体を含むことができるけれども、これらに限定はされない。
【００３１】
一実施態様では、プロセッサ１１０と触覚出力装置１１８とは、電話機またはタブレットであり得る電子ハンドヘルド装置の部分であり得、該電子ハンドヘルド装置は、テレビジョンであり得る別のディスプレイ１２０へビデオデータを出力するように構成される。
【００３２】
一実施態様では、システム１００は、センサ１０２のためのジャイロスコープ、コンパス、および３軸加速度センサ、およびビデオレコーダ１０４のための内蔵カメラを有する携帯電話を含むことができる。この場合、データ記録センサ１０２と、ビデオレコーダ１０４と、オーディオレコーダ１０６と、デコーダ１１６および出力変換器１１４を含むプロセッサ１１０と、触覚出力装置１１８と、ディスプレイ１２０と、スピーカ１２２と、入力変換器１１２と、電子メモリ１２４、１２６とを含む、図１に示されているコンポーネントの全ては自己内蔵型であり得、システム１００全体が、人に、または関心の対象である動作を行う装置に付けられることができる。
【００３３】
一実施態様では、関心の対象である動作を行うヘルメットまたは装置に第１人透視ビデオカメラが取り付けられ得、該ビデオカメラは、加速度計、全地球測位システム（ｇｌｏｂａｌ  ｐｏｓｉｔｉｏｎｉｎｇ  ｓｙｓｔｅｍ（“ＧＰＳ”））、およびジャイロスコープなどの幾つかのデータセンサ１０２、必要に応じて入力変換器１１２、電子メモリ１２４、ビデオレコーダ１０４、オーディオレコーダ１０６、ならびに電子メモリ１２６を組み込むことができる。デコーダ１１６および出力変換器１１４を含むプロセッサ１１０、触覚出力装置１１８、ディスプレイ１２０、ならびにスピーカ１２２などの、システム１００の残りの部分は、上で論じられたように、電子再生装置１３０などの別の再生装置に置かれることができる。
【００３４】
一実施態様では、加速度計、ＧＰＳなどの１つ以上のデータセンサを含み得る１つまたは複数のセンサ１０２は、人に、あるいは関心の対象である動作を行う装置に、付けられることができる。１つまたは複数のセンサ１０２は、センサボックスに、あるいは該１つまたは複数のセンサ１０２を保護するように構成されている他のなんらかの容器に内蔵されることができる。該センサボックスは、内蔵された入力変換器１１２および電子メモリ１２４などのデータ記録手段を持つことができ、あるいは、該動作中にデータを記録するために二次的装置（モバイル装置など）へのデータ接続に依拠することができる。
【００３５】
一実施態様では、１つまたは複数のセンサ１０２はビデオの主題である人に取り付けられることができ、ビデオレコーダ１０４と、随意にオーディオレコーダ１０６とは他の人によって操作されることができる。例えば、ビデオの主題である人はスノーボーダーであり得、少なくとも１つのセンサ１０２は該スノーボーダーのブーツに、および／または該スノーボーダーのスノーボードなどの他の衣類または装置に、取り付けられることができる。１つまたは複数のセンサ１０２は、該スノーボードが経験するｇフォース（g-force）加速度を提供するように構成された加速度計、該スノーボードの向きを提供するように構成されたジャイロスコープセンサ、および該スノーボーダーのブーツにより該スノーボードに加えられる荷重を提供するように構成された接点圧力センサを含むことができる。一実施態様では、雪の上を進むスノーボードの音が取り込まれ得るように、オーディオレコーダ１０６は、スノーボーダーのヘルメットなどの、衣類または装置に取り付けられることができる。
【００３６】
一実施態様では、加速度データ、ジャイロスコープデータ、および接点圧力データのストリームがビデオおよびオーディオデータと一緒に記録される記録セッションが開始されることができる。ビデオレコーダ１０４および／またはオーディオレコーダ１０６はスノーボーダーのヘルメットに取り付けられることができる。一実施態様では、ビデオレコーダ１０４および／またはオーディオレコーダ１０６は、スノーボード動作が行われるスノーパークのハーフパイプのいろいろな位置に取り付けられたビデオカメラのアレイであり得る。一実施態様では、ビデオレコーダ１０４はスノーパークのハーフパイプのいろいろな位置に置かれたビデオカメラのアレイであることができ、オーディオレコーダ１０６は、上記のように、スノーボーダーの衣類または装置に取り付けられることができる。再生中に電子再生装置１３０のユーザによって最適の触覚／音声／視覚体験が実現され得るように、１つまたは複数のセンサ１０２、ビデオレコーダ１０４、およびオーディオレコーダ１０６の位置の他の組み合わせが使用されることができるとともに、記録される動作に依拠することができる。これらのデータストリームの全ての同期は記録ソフトウェアにより管理されることができ、該ソフトウェアは図１に示されているシステム１００のプロセッサ１１０に存在することができる。
【００３７】
一実施態様では、ビデオおよびオーディオ以外のデータを単一のファイルコンテナに蓄積することに備えたＭＰＥＧ−４などのフレキシブルなコンテナフォーマットが使用されることができる。そのような実施態様では、記録時にセンサデータをＭＰＥＧ−４ファイルに入れるために特別のエンコーダのセットが必要とされることがある。一実施態様では、非オーディオおよびビデオ（Ａ／Ｖ）センサデータを別のファイルに蓄積するために特別のソフトウェアが書かれることができるが、再生時に適切な同期化が行われるように該センサデータ内に特別のマーカを伴う。この実施態様では、設計された記録フォーマットの制限事項に従うようにセンサデータを整形する以外には非常にわずかな入力変換が加えられるだけでよいであろう。正確なフォーマットは作成者により決定され得る。スノーボーダーが自分の動作を終えると、記録は止められてよい。ＭＰＥＧ−４ファイルは閉じられることができ、センサデータの全ては該ＭＰＥＧ−４ファイル内に存在するであろう。
【００３８】
一実施態様では、再生装置は、図１の電子再生装置１３０であることができ、ディスプレイ１２０、スピーカ１２２、および触覚効果を提供するための触覚出力装置１１８としての振動装置を有する携帯電話またはタブレットの形であることができる。一実施態様では、再生装置は、ディスプレイ１２０およびスピーカ１２２を有するテレビジョンに接続されるとともに、触覚効果を提供する触覚出力装置１１８を含むゲームパッドなどのゲーム周辺装置にも接続されるゲームコンソールであり得る。
【００３９】
後に、あるいは該動作が行われると同時に、一人以上の視聴者がその動作を体験することに興味を持つことがある。該動作を再生するために、該視聴者は該演技者の動作を体験する目的で自分たちの再生装置で適切な再生ソフトウェアを起動することができる。一実施態様では、該再生ソフトウェアは、デコーダ１１６により実行されるセンサデコーディング方式を組み込んだプレーヤソフトウェアアプリケーションと、該センサデータを該再生装置の触覚出力装置１１８に適する触覚出力信号に変換するために出力変換器１１４により実行され得る出力変換ソフトウェアとを含むことができる。一実施態様では、プレーヤソフトウェアアプリケーションは該センサデコーディング方式を組み込むことができる。該プレーヤソフトウェアは該再生装置に常駐するかあるいは予めインストールされる該出力変換ソフトウェアに依拠することができ、そのような出力変換ソフトウェアは、該センサデータを再生装置の触覚出力装置１１８に適する触覚出力信号に変換することができる。換言すれば、出力変換器１１４および／またはデコーダ１１６は再生装置に置かれることができる。
【００４０】
一実施態様では、プレーヤソフトウェアアプリケーションは、メディア再生を実行するために再生装置のオペレーティングシステムソフトウェアに依拠することができ、それはセンサデコーディング方式を組み込んでいる。該オペレーティングシステムソフトウェアは再生装置に常駐しているかあるいは予めインストールされる出力変換ソフトウェアに依拠することができ、そのような出力変換ソフトウェアは、センサデータを再生装置の触覚出力装置１１８に適する触覚出力信号に変換する。そのとき、該視聴者は、該演技の視聴に関連付けられている触感を体験することができ、そのような触感は該出力変換ソフトウェアにより生成される。
【００４１】
一実施態様では、該出力変換ソフトウェアはセンサデータのうちのあるものを含むことができ、他のセンサデータは無視される。例えば、ジャイロスコープデータは含まれることができるけれども、接点圧力センサデータは無視され得る。加速度データの絶対値は，Ｘ−Ｙ−Ｚ加速度成分のベクトル絶対値を計算することによって計算され得る。この加速度絶対値信号は、その後、２０−２００Ｈｚの範囲内の加速度絶対値信号だけが出力されて、その他の周波数内容が取り除かれるようにバンドパスフィルタリングされることができる。次に、フィルタリング済み加速度信号は出力絶対値を＋６Ｇと−６Ｇとの間に穏やかにクリップするソフトニー圧縮アルゴリズムに通されることができ、次にすべての負信号がゼロにされ／無視され、その結果としての圧縮済みの片側出力信号は、触覚出力装置により提供される振動の大きさを０−１００％振動の間で制御するために使用されることができる。このようにして、視聴者は、演技者のスノーボードにより感じられる加速度の表現を感じることができる。
【００４２】
一実施態様では、加速度データ、ジャイロスコープデータ、および接点圧力センサデータは次のようして組み合わされて触覚出力信号とされることができる。接点圧力が低いときには、スノーボーダーはジャンプしていると想定されることができ、従ってすべての触覚出力はゼロにされる。接点圧力が有意であるときには、該接点圧力に加速度絶対値が掛けられることができる。次に、“動作強度”信号を得るためにこの出力に方向変化信号（ジャイロスコープ信号から得られた進行方向の一次導関数）が掛けられることができる。次に、この信号は、スノーボード動作中に演技者が体験する感覚の範囲の穏当な表現を得るように、フィルタリングされて圧縮されることができ、該信号は再生装置の触覚出力装置１１８に加えられることができる。
【００４３】
一実施態様では、接点圧力が低いときには、スノーボーダーはジャンプしていると想定されることができ、従ってすべての触覚出力はゼロにされる。接点圧力が有意であるときには、加速度絶対値は例えば１００−２００Ｈｚの範囲でバンドパスフィルタリングされることができ、その出力範囲はハードニー圧縮器を用いて高度に圧縮されることができる。この信号は再生装置の触覚出力装置１１８に加えられることができる。
【００４４】
触覚出力装置１１８をつかむかあるいは別の方法で該触覚出力装置と接触している視聴者は、そのとき、出力変換器１１４により生成されて触覚出力装置１１８により出力される感覚を感じることができる。
【００４５】
（実施例）
【００４６】
同時に取得されたビデオおよびセンサの記録を用いて十分な触覚効果／感覚が生成された。３軸加速度計がセンサ１０２のために使用され、図２に示されているようにストラップオンにより第１スノーボーダーのブーツに固定された。該３軸加速度計は、図２に示されているように、Ｘ軸がだいたい上から下を向くように整列され、Ｙ軸がだいたい後ろから前へ向くように整列され、Ｚ軸がだいたい右から左へ向くように整列されるように、向けられた。ビデオキャムコーダがビデオレコーダ１０４およびオーディオレコーダ１０６のために使用されて第２のスノーボーダーにより操作され、この第２のスノーボーダーは、第１のスノーボーダーがセンサデータを生成していたときにビデオおよびオーディオデータを生成するために第１のスノーボーダーを追っていた。
【００４７】
該データの全てが記録された後、センサ１０２（加速度計）からの登録されたデータは、ビデオレコーダ１０４およびオーディオレコーダ１０６により記録されたビデオイメージおよびオーディオデータと同期化された。第１スノーボーダーは、降下を開始する前に４回ジャンプするように求められた。その４回のジャンプのタイミングは、ビデオレコーダ１０４からのビデオフィードを１イメージずつ解析することによって検出された。さらに、該ジャンプのタイミングは、図３に示されているように、４つの連続するピークに変換されたジャンプとして、センサ１０２からの垂直加速度信号Ａxを解析することによって検出された。加速度計の読みにはタイムスタンプが付けられていたので、加速度が抽出されてビデオ全体と同期化されることができた。
【００４８】
データを同期化させたのち、空中でのジャンプの後の、あるいは何らかの物体（例えば、レール）上でのホッピングの間の着地の瞬間に関連する“バンプ”と称される特定のイベントが自動的に検出された。これらのバンプは、着地の方向に関連する加速度信号中の突然のピークを生じさせることを特徴とする。スノーボーディングにおいては、着地は垂直であったり‘傾いて’いたりすることがあるので、各加速度サンプルについてベクトルＡx＋Ａyの絶対値が計算された。該絶対値が一定スレショルドより大きくなるごとに、該サンプルはバンプを表すと見なされた。検出された各バンプについて、バンプ効果が、その発生の瞬間における触覚効果として触覚トラック中に導入された。該効果の強さは、バンプ絶対値に比例した。
【００４９】
該スノーボーダーが滑っている表面のテクスチャが取り込まれて、次のアプローチによって該触覚トラックにおいて表された。図４において４０１、４０２，４０３でそれぞれ表される３つの加速度信号Ａx、Ａy、およびＡzの各々は、高速フーリエ変換（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  ｔｒａｎｓｆｏｒｍ（“ＦＦＴ”））によって時間領域から周波数領域に変換された。その後、その３つの周波数領域信号は、単一の信号Ａtransfを形成するためにベクトルとして加え合わされた。この後者の信号は、最後に、図４において４０４で表されるように、逆に時間領域へＡtrans信号に変換された。３つの信号を１つの信号に変換するこの手法は当該技術分野で知られているので、該変換の具体的詳細は本書においては与えられない。
【００５０】
単一のＡtrans信号４０４は、次にその元のサンプリングレート（すなわち、４００Ｈｚ）から８０００Ｈｚまで線形補間によりアップサンプリングされた。この補間された信号において、バンプに対応する値の全ては０に固定された。次に、その結果としての信号は、１２０Ｈｚと２７０Ｈｚとの間のランダムな周波数を有する正弦波を掛けられ、次に、正規化されて、それゆえに該テクスチャおよびバンプ効果を包含することになる該触覚トラックに直接コピーされた。該触覚トラックは、次に、再生装置で触覚出力装置１１８によって再生されることができた。一実施態様では、該加速度信号がアンダーサンプリング（例えば１００Ｈｚ未満のサンプリングレートで）されるとき、変換後の信号の８０００Ｈｚへのアップサンプリングは、補間の代わりに、捕獲されたデータサンプル間にホワイトベイジアンノイズを加えることによって行われ得る。
【００５１】
一実施態様では、スノーボーダーの“スウィング”、すなわち、左から右への方向変化あるいは“ｓ−カーブ”、が検出されることができて、関連する触覚効果が生成されて該テクスチャおよびバンプに加えられることができる。一実施態様では、スノーボーダーではなくてスノーボード自体の加速度が使用され得る。一実施態様では、加速度信号は、Ａtransf信号に加えられる前に周波数領域で１５０Ｈｚシフトされ得る。
【００５２】
図５は、本書に記載された本発明の実施態様に従う方法５００を示す。方法５００は５０２から始まる。５０４で、上記のビデオレコーダ１０４などのビデオレコーダでビデオが記録され、該ビデオレコーダにより記録されている物体の運動が、上記のセンサ１０２などのセンサで感知される。５０６で、該センサにより感知された運動は触覚出力信号に変換され、５０８で、該ビデオおよび該触覚出力信号は同期化される。該方法は５１２で終わることができる。一実施態様では、該方法は、さらに、例えば上記の触覚出力装置１１８で該触覚出力信号に基づいて触覚効果を生成すること、ならびに、上記の電子再生装置１３０などの再生装置での再生中にディスプレイで表示される該ビデオと該触覚効果が同期させられるように、該ビデオを上記のディスプレイ１２０などのディスプレイで表示することを含むことができる。一実施態様では、オーディオも、記録され、同期化され、該再生装置での再生中に射出されることができる。
【００５３】
本書に記載された本発明の実施態様は、コンテンツクリエータがビデオおよび／またはオーディオなどのメディアおよび他のデータを記録し、もしかするとそれを変換し、該コンテンツクリエータにより体験され記録された該メディアと関連付けられた触感を伝えることを可能にする。触覚出力を生成するための実世界センサデータを記録し変換することは、触感コンテンツを生成するよりコスト効率の良い方法であり（触感信号の手作りによる合成と比べたとき）、適切な出力変換で文脈上適切な“現実的”感覚を生じさせることができる。
【００５４】
本書に記載された実施態様は、幾つかの可能な実施形態および例を代表するものであって、必ずしも本開示を特定の実施態様に限定するように意図されてはいない。例えば、上記の実施態様においては、共通の機能は、代表的なビデオおよびオーディオフィード以外のセンサデータの収集および記録のうちの１つである。当業者に理解されるであろうように、これらの実施態様に種々の改変を加えることができる。そのような改変は全て本開示の趣旨及び範囲の中に含まれ、添付されている請求項により保護されるべく意図されている。
【図１】
2014160529.tif 000003
【図３】
2014160529.tif 000004
【図５】
2014160529.tif 000005
【図２】
2014160529.tif 000006
【図４】
2014160529.tif 000007
【外国語明細書】
2014160529000001.pdf