(57)【要約】  触覚効果は、マルチメディアコンテンツまたはその関連付けられたメタデータに基づいてユーザの身体上で自動的に位置決めされる。触覚効果ジェネレータは、マルチメディアコンテンツで生じる触覚事象を決定するためにマルチメディアコンテンツを分析する。次いで、触覚効果ジェネレータは、触覚事象に基づいて触覚効果を生成する。ローカライザは、触覚効果ジェネレータから触覚効果を受信し、マルチメディアコンテンツ情報に基づいて、触覚効果を身体の部分と自動的に関係付ける。マルチメディアコンテンツ情報は、マルチメディアコンテンツ、メタデータおよび同様のものを含み得る。ローカライザは、触覚効果が位置決めされるべき時点および場所を決定するために、触覚事象と関連付けられた閾値を使用する。また、ローカライザは、触覚効果の位置決めを容易にするために身体モデルを利用することもできる。
2018501575.tif 000002
【特許請求の範囲】
【請求項１】
触覚位置を決定する方法であって、
マルチメディアコンテンツで生じる少なくとも１つの触覚事象と関連付けられる少なくとも１つの触覚効果を受信することであって、前記触覚事象が前記マルチメディアコンテンツからのオーディオ事象から得られる、受信することと、
マルチメディアコンテンツ情報に基づいて、前記少なくとも１つの触覚効果を人間の身体の少なくとも１つの部分と自動的に相関させることと、
前記少なくとも１つの相関させた触覚効果を人間の身体部分への刺激信号に変換することと
を含む、方法。
【請求項２】
前記人間の身体において前記触覚効果の場所を特定するのを補助するために、前記マルチメディアコンテンツのオーディオ部分の少なくとも１つのチャネルを使用することをさらに含む、請求項１に記載の方法。
【請求項３】
前記人間の身体において前記触覚効果の場所を特定するのを補助するために、前記マルチメディアコンテンツのオーディオ部分の音響マップを使用することをさらに含む、請求項１に記載の方法。
【請求項４】
身体のいずれの部分に前記触覚効果を適用するかを決定するために、オーディオ源の点から人間の身体モデル上の点に到達するまでの時間差を使用することをさらに含む、請求項３に記載の方法。
【請求項５】
どの程度の強度で前記触覚効果を適用するかを決定するために、オーディオ源の点から人間の身体モデル上の点に到達するまでの時間差を使用することをさらに含む、請求項４に記載の方法。
【請求項６】
前記人間の身体における前記触覚効果の位置決めを容易にするために、人間の身体モデルを使用することをさらに含む、請求項１に記載の方法。
【請求項７】
触覚位置を決定するシステムであって、
少なくとも１つの触覚事象を決定するためにマルチメディアコンテンツを分析し、前記触覚事象に基づいて少なくとも１つの触覚効果を生成する触覚効果ジェネレータであって、前記触覚事象が前記マルチメディアコンテンツからのオーディオ事象から得られる、触覚効果ジェネレータと、
マルチメディアコンテンツ情報に基づいて、前記少なくとも１つの触覚効果を身体の少なくとも１つの部分と自動的に相関させるローカライザであって、前記ローカライザの出力が人間の身体部分への刺激信号に変換される、ローカライザと
を含む、システム。
【請求項８】
前記ローカライザが、前記少なくとも１つの触覚効果の位置決めを容易にするために人間の身体モデルを用いる、請求項７に記載のシステム。
【請求項９】
前記ローカライザが、少なくとも１つの触覚効果の場所および少なくとも１つの触覚効果の強度を与える、請求項８に記載のシステム。
【請求項１０】
前記ローカライザが、前記人間の身体における前記触覚効果の位置決めを容易にするために、前記マルチメディアコンテンツのオーディオ部分の音響マップを使用する、請求項７に記載のシステム。
【請求項１１】
前記ローカライザが、人間の身体のいずれの部分に前記触覚効果を適用するかを決定するために、オーディオ源の点から人間の身体モデル上の点に到達するまでの時間差を使用する、請求項１０に記載のシステム。
【請求項１２】
触覚を位置決めするユーザインタフェースであって、
マルチメディアコンテンツ情報からの少なくとも１つの触覚事象に対して人間の身体の少なくとも１つの部分において少なくとも１つの触覚効果の場所を自動的に特定する三次元の身体モデルと、
前記三次元の人間の身体モデル上に示される前記少なくとも１つの触覚効果の持続時間を示す触覚効果持続時間インジケータと
を含む、ユーザインタフェース。
【請求項１３】
前記三次元の人間の身体モデルの所定の部分に対する異なる触覚効果の選択を可能にするセレクタをさらに含む、請求項１２に記載のユーザインタフェース。
【請求項１４】
前記マルチメディアコンテンツからの異なる触覚事象および前記三次元の人間の身体モデルへのその関連付けられた触覚効果の選択を可能にするセレクタを含む、請求項１２に記載のユーザインタフェース。
【請求項１５】
前記触覚効果持続時間インジケータが、触覚効果と関連付けられた開始および停止時間の変更を可能にする、請求項１２に記載のユーザインタフェース。
【発明の詳細な説明】
【技術分野】
【０００１】
（発明の分野）
本原理は、触覚効果を制御するシステムおよび方法に関し、より具体的には、身体において触覚効果を自動的に位置決め（定位）するシステムおよび方法に関する。
【背景技術】
【０００２】
（背景）
視聴経験へのユーザの没入感を高めるため、視界および音以外の感覚を刺激するマルチメディアコンテンツが一層人気を増している。物に触れる感覚（触覚）は、この目的に特に関連しているように思われ、ますます多くの研究が触覚技術を視聴覚システムに統合することに重点を置いている。この研究努力から新しい科学分野−ハプティックオーディオビジュアル（ＨＡＶ）  −  が登場してきた。触覚効果を生み出す３つの典型的な方法は、捕捉、抽出およびマニュアルオーサリングを含む。補足は、データを収集するために物体にセンサを取り付けることからなる。一般に、加速度計を使用して動きが記録される。次いで、データを使用して触覚デバイスを駆動することができる。同様に、力センサを使用して２つの物体間の衝撃力を捕捉することができる。抽出方法は、視聴覚コンテンツから触覚効果を演算することを含む。最も使用される技法は、オーディオ信号を振動に変換することである。また、触覚効果は、対象物体を検出するために、例えば、顕著性マップを使用して画像から抽出することもできる。次いで、マップは、振動モータのマトリクスにマッピングされる。また、触覚効果は、始点と終点とを有するタイムラインに触覚効果が表現されているグラフィカルインタフェースを使用して手動で編集することもできる。これらの二点間では、効果の特性（振動の強度、加速の方向など）が指定される。これらの技法は、触覚効果の自動生成を可能にするが、空間において効果の場所を指定するために面倒な手動の方法を必要とする。
【発明の概要】
【０００３】
（概要）
ユーザの身体において触覚効果を自動的に位置決めする技法は、触覚効果によって刺激を与えることができるユーザの身体部分を決定するために、マルチメディアコンテンツおよび／または関連付けられたメタデータに依存する。マルチメディアコンテンツは、効果ローカライザによって分析される。ユーザの身体の表現（例えば、身体モデル）も与えられる。技法は、触覚事象に対する強度閾値および効果が発生すべき時間を使用して、刺激を与えるべきユーザの身体部分を決定する。従って、方法は、マルチメディアコンテンツ視聴経験中に身体のいずれの部分に刺激を与えるかを自動的に決定する、迅速で効率的な方法を提供する。方法は、手動編集のための前処理を必要とすることよりもむしろ、効果位置決めのためのコンテンツのリアルタイムの処理を可能にする。
【０００４】
本原理は、触覚位置を決定する方法であって、マルチメディアコンテンツで生じる少なくとも１つの触覚事象と関連付けられる少なくとも１つの触覚効果を受信することであって、触覚事象が、マルチメディアコンテンツからのオーディオ事象から得られる、受信することと、マルチメディアコンテンツ情報に基づいて、少なくとも１つの触覚効果を身体の少なくとも１つの部分と自動的に相関させることと、少なくとも１つの相関させた触覚効果を人間の身体部分への刺激信号に変換することとを含む、方法に関する。
【０００５】
一態様によれば、方法は、身体における触覚効果の位置決めを容易にするために、マルチメディアコンテンツのオーディオ部分の少なくとも１つのチャネルを利用することをさらに含む。
【０００６】
一態様によれば、方法は、身体における触覚効果の位置決めを容易にするために、マルチメディアコンテンツのオーディオ部分の音響マップを利用することをさらに含む。
【０００７】
一態様によれば、方法は、身体のいずれの部分に触覚効果を適用するかを決定するために、オーディオ源の点から身体モデル上の点に到達するまでの時間差を利用することをさらに含む。
【０００８】
一態様によれば、方法は、どの程度で触覚効果を適用するかを決定するために、オーディオ源の点から身体モデル上の点に到達するまでの時間差を利用することをさらに含む。
【０００９】
一態様によれば、方法は、身体における触覚効果の位置決めを容易にするために、身体モデルを利用することをさらに含む。
【００１０】
また、本原理は、触覚位置を決定するように構成されたデバイスであって、マルチメディアコンテンツで生じる少なくとも１つの触覚事象と関連付けられる少なくとも１つの触覚効果を受信する手段と、マルチメディアコンテンツ情報に基づいて、少なくとも１つの触覚効果を身体の少なくとも１つの部分と自動的に相関させる手段と、少なくとも１つの相関させた触覚効果を身体部分への刺激効果に変換する手段とを含む、デバイスにも関する。
【００１１】
また、本原理は、触覚位置を決定するシステムであって、少なくとも１つの触覚事象を決定するためにマルチメディアコンテンツを分析し、触覚事象に基づいて少なくとも１つの触覚効果を生成する触覚効果ジェネレータと、マルチメディアコンテンツ情報に基づいて、少なくとも１つの触覚効果を身体の少なくとも１つの部分と自動的に相関させるローカライザであって、ローカライザの出力が身体部分への刺激効果に変換される、ローカライザとを含む、システムにも関する。
【００１２】
一態様によれば、ローカライザまたは自動的に相関させる手段は、少なくとも１つの触覚効果の位置決めを容易にするために身体モデルを用いる。
【００１３】
一態様によれば、ローカライザまたは自動的に相関させる手段は、少なくとも１つの触覚効果の場所および少なくとも１つの触覚効果の強度を与える。
【００１４】
一態様によれば、ローカライザまたは自動的に相関させる手段は、身体における触覚効果の位置決めを容易にするために、マルチメディアコンテンツのオーディオ部分の音響マップを使用する。
【００１５】
一態様によれば、ローカライザまたは自動的に相関させる手段は、身体のいずれの部分に触覚効果を適用するかを決定するために、オーディオ源の点から身体モデル上の点に到達するまでの時間差を使用する。
【００１６】
また、本原理は、前記プログラムがコンピュータ上で実行される際に触覚位置を決定する方法のステップを実行するプログラムコードの命令を含む、コンピュータプログラム製品にも関する。
【００１７】
また、本原理は、プロセッサ可読媒体であって、触覚位置を決定する方法のステップをプロセッサに少なくとも実行させる命令がその中に格納されたプロセッサ可読媒体にも関する。
【００１８】
また、本原理は、触覚を位置決めするユーザインタフェースであって、マルチメディアコンテンツ情報からの少なくとも１つの触覚事象に対して身体の少なくとも１つの部分において少なくとも１つの触覚効果の位置を自動的に示す三次元の身体モデルと、三次元の身体モデル上に示される少なくとも１つの触覚効果の持続時間を示す触覚効果持続時間インジケータとを含む、ユーザインタフェースにも関する。
【００１９】
一態様によれば、ユーザインタフェースは、三次元の身体モデルの所定の部分に対する異なる触覚効果の選択を可能にするセレクタをさらに含む。
【００２０】
一態様によれば、ユーザインタフェースは、マルチメディアコンテンツからの異なる触覚事象および三次元の身体モデルへのその関連付けられた触覚効果の選択を可能にするセレクタを含む。
【００２１】
一態様によれば、触覚効果持続時間インジケータは、触覚効果と関連付けられた開始および停止時間の変更を可能にする。
【００２２】
上記は、主題の実施形態のいくつかの態様の基本的な理解を提供するために、主題の簡単な概要を提示する。本概要は、主題の広範な要約ではない。本概要は、実施形態の重要な／本質的な要素を特定することを意図するものでも、主題の範囲を限定することを意図するものでもない。その唯一の目的は、後に提示されるより詳細な説明の前置きとして、簡略化された形式で主題のいくつかの概念を提示することである。
【００２３】
前述のおよび関連する目的を達成するため、実施形態の特定の例示的な態様は、本明細書において以下の説明および添付の図面に関連して説明される。しかし、これらの態様は、主題の原理を採用できる様々な方法のうちのいくつかを示すものであり、主題は、そのような態様およびその均等物のすべてを含むことが意図される。主題の他の利点および新規の特徴は、図面と併せて考慮した場合、以下の詳細な説明から明らかにすることができる。
【図面の簡単な説明】
【００２４】
【図１】本原理の実施形態による、ユーザの身体において触覚効果を自動的に位置決めする例を示す。
【図２】本原理の実施形態による、ユーザの身体において触覚効果を自動的に位置決めするためのビデオファイルのオーディオトラックの例を示す。
【図３】本原理の実施形態による、例示的な身体モデルを示す。
【図４】本原理の実施形態による、触覚効果の編集を可能にするために利用できる例示的なユーザインタフェースを示す。
【図５】本原理の実施形態による、別の例示的なユーザインタフェースを示す。
【図６】本原理の実施形態による、ユーザインタフェースのさらなる別の例を示す。
【図７】本原理の実施形態による、オーディオトラックチャネルに関連して分析できる例示的な仮想オーディオ源を示す。
【図８】本原理の実施形態による、自動的な触覚効果位置決めを用いる例示的なシステムを示す。
【図９】本原理の実施形態による、身体において触覚効果を自動的に位置決めする例示的な方法のステップをフローチャート形式で示す。
【発明を実施するための形態】
【００２５】
（詳細な説明）
ここでは、図面を参照して、主題について説明する。図面では、同様の参照番号は、全体を通じて同様の要素を指すために使用される。以下の説明では、説明の目的で、主題の完全な理解を提供するために、多くの具体的な詳細について記載する。しかし、これらの具体的な詳細なしで主題の実施形態を実践できることは明らかであり得る。他の例では、周知の構造およびデバイスは、実施形態の説明を容易にするためにブロック図形式で示されている。
【００２６】
図１の例１００に示されるように、ユーザの身体において触覚効果を自動的に位置決めする技法は、触覚効果によって刺激を与えることができるユーザの身体部分を決定するために、マルチメディアコンテンツおよび／またはその関連付けられたメタデータ１０２に依存する。マルチメディアコンテンツ／視聴覚コンテンツが受信され、そのコンテンツは効果ローカライザ１０４によって分析される。ユーザの身体の表現（例えば、身体モデル）１０６も与えられる。技法は、効果の場所１０８（例えば、通常、身体モデル１０６を使用して所定の効果によって刺激を与えるべきユーザの身体部分）を決定する。また、技法は、効果を発生させる時間も与え、それにより効果をコンテンツと同期させることができる。技法を示すため、複雑性が増した２つの例を使用する。当業者であれば、これらの実施形態は、技法が利用される方法を限定することを意図しないことが理解されるであろう。第１の例は、技法の各部分をどのように実装できるかを示すために簡略化される。第２の例は、より精密な結果を得るために、高度な信号処理方法を使用できることを示す。
【００２７】
（実施例１）
この簡素化された例では、ビデオファイルからのオーディオ情報が触覚効果の場所を決定するために利用される。図２の例２００は、ビデオファイルからのオーディオトラック２０２を示す。示されるフォーマットは、Dolby（登録商標）Digital AC-3である。６つのチャネルを使用して、５．１オーディオサウンドトラックを得ている。チャネルの順番は標準化されており、左２０４、右２０６、中央２０８、サブウーファー２１０、後方左２１２、後方右２１４に相当する。当業者であれば、単一のまたは複数のチャネルを有する他のいかなるオーディオフォーマットも同様の方法で使用できることが理解されるであろう。触覚効果の位置決めには、音の定位が使用される。例えば、音が左のチャネル２０４で検出される場合、それを使用してユーザの身体の左側に触覚効果を与えることができるなどである。
【００２８】
身体モデル  −  身体モデル３０２の例３００が図３に示されており、モデルは、関節と部位とを有するユーザの身体を表す。身体モデルの部位の長さは、表３０４で定義されている。身体モデル３０２では、例えば、腕は、２つの部位（上腕３０６および前腕３０８）ならびに２つの関節（肘３１０および肩３１２）と考えられる。首３１８は、１つの部位３１４および１つの関節３１６から構成される。部位のサイズは、解剖データによって定義される（表３０４を参照）。ここではユーザの身体の上部のみが定義されているが、身体の残りの部分も形式化することができる。
【００２９】
効果ローカライザ  −  効果ローカライザの擬似コードの例が以下の表１に与えられている。基本的には、各オーディオチャネルは、ユーザの身体の１つまたはいくつかの部分にマッピングされる。次いで、オーディオ信号は、選択されたユーザの身体部分に適用すべき効果があるかどうかを判断するために処理される。オーディオ信号の強度が分析される。オーディオ信号の強度が所定の閾値より高い場合、対象とする身体部分に触覚効果が追加される。
【００３０】
【表１】
2018501575.tif 000003
【００３１】
当然ながら、効果を適用すべきか否かを判断するために、より複雑な信号処理を適用することができる。爆発または銃声など、特定の音効果を識別することができる。次いで、触覚効果は、これらの事象と自動的に関連付けることができる。
【００３２】
図４に示されるように、効果の位置決めを容易にするため、エディタ４００を含むユーザインタフェースを利用して触覚効果（例えば、振動４０２）の編集を可能にし、触覚効果をユーザの身体に位置付けることができる。触覚効果を位置付けることができる場所を示すため、三次元（３Ｄ）の身体モデル４０４が表示されている。編集した効果はマルチメディアコンテンツ４０６と同期される。エディタ４００は、任意のタイプのオペレーティングシステム上で実行されるアプリケーションおよび／またはスタンドアロン方式で動作するアプリケーションであり得る。マルチメディアコンテンツ４０６は、例えば、アプリケーションプログラミングインタフェース（ＡＰＩ）および同様のものを介して、メディアプレーヤおよび同様のものを使用して再生することができる。ＡＰＩは、例えば、上記で論じられる効果ローカライザを実装するために使用できるマルチメディアコンテンツのオーディオトラックに関する情報を与える。図５および６のユーザインタフェースの図解では、エディタ例５００および６００は、効果ローカライザの結果をどのように使用できるかを示す。図５では、ユーザ５０４の右腕５０２が特定の持続時間５０６に対して選択されている。図６では、ユーザ６０４の左腕６０２がビデオの別の瞬間に対して選択されている。次いで、触覚効果は、その身体部分に適用される刺激効果に変換することができる。加えて、身体部分およびビデオフレームが選択された時点で、触覚効果は、刺激効果に変換する前に手動で編集することもできる。
【００３３】
（実施例２）
触覚効果位置決めのための入力として６つのDolby Digital AC-3オーディオトラックを依然として利用している第２の実施形態では、高度な信号処理技法を使用して音源をより正確に定位させるように試み、次いで、身体モデルのいずれの部分に刺激を与えるべきかを推論することができる。図７の例７００では、考えられる仮想オーディオ源７０２を、マルチメディアコンテンツからオーディオトラックチャネル７０４に関連して分析することができる。より正確には、オーディオトラックの各チャネル（サブウーファーのわきに置かれている）を、ユーザの特定の部分（それぞれ左、右、中央、後方左および後方右）における、ユーザ７０６の周りの球７０８上に均一にマッピングされた仮想オーディオ源７０２としてモデル化された、１つの支配的な周辺のオーディオ活動の観察結果と見なすことができる。次いで、例えば、オーディオ信号の到着の時間差を利用するなどの専用の信号処理技法を使用して、いずれの発生源（方向）がサウンドトラックの所定の時間におけるものである可能性が高いかを判断することにより、音響源定位のこの逆問題を解決することができる。発生源の場所が特定された時点で、この発生源に最も近いものとして刺激される身体部分を選択することができる。
【００３４】
上記の２つの実施例は、説明される技法を利用できる実施形態のすべてを包括するものではない。図８は、本原理の態様による、上記で説明される自動的な触覚効果位置決めの技法を用いる例示的なシステム８００を示す。典型的なシナリオでは、システム８００は、触覚効果ジェネレータ８０２を使用して、マルチメディアコンテンツ８０４を処理することができる。触覚効果ジェネレータ８０２は、「触覚事象」または何らかのタイプの感覚刺激で強化することができるマルチメディアコンテンツ８０４内で生じる事象を決定するために、マルチメディアコンテンツ８０４を分析する。触覚事象は、爆発、ロケット発射、または戦車の振動音などであり得る。触覚事象は、ユーザが視界および音以外の感覚を通じて刺激を受けるべきマルチメディアコンテンツ８０４におけるポイントを表す。このポイントは、マルチメディアコンテンツ８０４における事象持続時間および／または始点／終点（例えば、いずれのフレームを含めるか）も含み得る。この情報により、触覚効果を触覚事象と同期させることが可能になる。従って、ユーザは、戦車の振動音またはロケット発射の爆発および同様のものを見たり、聞いたり、感じたりするであろう。
【００３５】
触覚効果ローカライザ８０６は、触覚効果ジェネレータ８０２から触覚事象および関連付けられた触覚効果を受信する。触覚効果ローカライザ８０６は、触覚効果によってユーザの身体のいずれの部分に刺激を与えるかを自動的に決定する。刺激（触覚効果に相当する）は、触覚事象の強度がその特定の身体部分に対する既定の閾値を上回ることが見出された際に身体部分において位置決めされる。これは、マルチメディアコンテンツ情報８０８および任意選択によりオーディオ信号分析器８１０を利用することによって遂行される。マルチメディアコンテンツ情報８０８は、これらに限定されないが、マルチメディアコンテンツおよび／またはマルチメディアコンテンツと関連付けられたメタデータを含み得る。マルチメディアコンテンツ情報は、サウンドトラック、映画、ゲームプレイ／環境および／または音楽ならびに同様のものなど、異なるタイプのメディアから生じるものであり得る。この情報は、触覚効果をコンテキストに入れ込むことを容易にする。上記の実施例１および２に示されるように、これは、オーディオ信号分析器８１０によって与えられるオーディオ信号分析を含み得る。従って、オーディオチャネル情報および／または音響マップならびに同様のものを、位置決めされた触覚効果８１２を決定するうえで役立てるために、マルチメディアコンテンツ情報８０８から得ることができる。当業者は、マルチメディアコンテンツに関連して事象および同様のものの発生源を決定するうえで役立てるために、他の技法を採用できることを認識することができる。一実施形態では、触覚効果ローカライザ８０６は、身体モデル８１４を使用して、触覚効果をユーザの身体にマッピングするかまたは相関させる。身体モデル８１４は、これらに限定されないが、ユーザの身体の関節および部位表現であり得る。このタイプのモデルにより、触覚効果ローカライザ８０６は、ユーザの腕、脚、胴体および頭／首の寸法を使用して、触覚効果をユーザにどのように適用すべきかを計画することができる。
【００３６】
次いで、触覚効果は、ユーザの身体の様々な部分において、様々な程度の強度でユーザに自動的に適用される刺激効果に変換することができる。例えば、爆発（触覚事象）は、マルチメディアコンテンツにおいて右側に起こる場合がある。また、爆発は、地面から高い所のものである場合がある。従って、爆発中に立っている人物の身体モデルを使用することにより、爆発の衝撃が頭および身体の右上部分に対するものである可能性が高いことをマルチメディアコンテンツから自動的に判断することができる。従って、触覚効果に相当する刺激効果の強度は、頭および身体の右上部分に対して高レベルで適用することができ、身体の右下部分に対して低強度で適用することができる。従って、効果位置決めは、場所およびそれと関連付けられた強度の両方を有し得る。
【００３７】
また、システム８００は、自動プロセスの結果の制御を可能にするために、ユーザインタフェース８１６を用いることもできる。一実施形態の例は、図４〜６に見られる。ユーザインタフェース８１６は、マルチメディアコンテンツ情報８０８からの少なくとも１つの触覚事象に対する身体の少なくとも１つの部分への少なくとも１つの触覚効果の位置を自動的に示す三次元の身体モデルを含み得る。また、ユーザインタフェース８１６は、三次元の身体モデル上に示される少なくとも１つの触覚効果の持続時間を示す触覚効果持続時間インジケータも含み得る（図５の持続時間５０６および図６の持続時間６０６を参照）。また、三次元の身体モデルの所定の部分に対する異なる触覚効果の選択を可能にするセレクタも含めることができる（図５の５０８および図６の６０８を参照）。また、触覚効果持続時間インジケータは、触覚効果と関連付けられた開始および／または停止時間の変更を可能にすることもできる（また、持続時間インジケータは、開始フレームおよび停止フレームならびに／または次のＹフレームを含む開始フレームなどにも基づき得る）。これは、一実施形態では、終点および／または始点をドラッグすることによって遂行することができる。また、マルチメディアコンテンツ８０８からの異なる触覚事象および三次元の身体モデルへのその関連付けられた触覚効果の選択を可能にする別のセレクタも含めることができる（図５の５１０および図６の６１０を参照）。
【００３８】
ユーザインタフェースは、結果として得られた自動プロセスを閲覧することおよび／または必要に応じて変更することを可能にする。これは、プロセスに対する追加の品質管理チェックをもたらし、および／または今後処理される触覚事象に対するプロセスの変更を可能にすることができる。例えば、銃声を含む今後の触覚事象にとって感覚衝撃がいっそう重要であるように、銃声触覚強度レベルを全体的に増加することができる。この調整は、低質のオーディオトラックが使用されるなどの際に必要であり得る。また、所与の触覚効果に対して身体の影響を受けた部分への調整を行い、および／または追加の触覚効果を身体の部分に追加することもできる。三次元の身体モデルにより、エディタは、身体モデルを回転させ、身体のすべての影響を受けた部分（すなわち、効果位置決めを起こした場所）を見ることができる。
【００３９】
他の制御は、強度閾値（触覚効果位置決めを起こす際にそれを判断するために使用される）の調整を含み得、身体モデル全体および／または個々の身体部分に対して調整することができる。これにより、インタフェースのユーザは、身体部分がいずれの強度閾値で自動的に位置決めされる効果を有するか（換言すれば、特定の触覚事象に対して身体モデルの感度がどれほど高いか、および／または特定の触覚事象に対して各身体部分の感度がどれほど高いか）を決定することができる。現実生活で見られるように、身体の部分が異なれば、同じ刺激に対する感覚または反応も異なる。従って、この調整は、それらの違いを考慮に入れる。例として、マルチメディアコンテンツ内で起こる爆発は、触覚効果において熱成分を含み得る。ユーザが衣服を身に着けている場合、通常、熱は顔面の方が感じ易いため、熱成分を含む触覚効果は、身体モデルの身体の上部分に対してより低い強度閾値をトリガし得る。これにより、熱関連触覚効果の自動位置決めが身体の上部分に位置決めされ得るが、必ずしも身体の下部分において位置決めされるとは限らない。
【００４０】
上記で示されて説明される例示的なシステムを考慮すると、実施形態に従って実装することができる方法論は、図９のフローチャートを参照することでより良く認識されるであろう。説明を簡単にする目的で、方法論は一連のブロックとして示されて説明されているが、実施形態はブロックの順番によって限定されず、いくつかのブロックは、実施形態に従って、本明細書で示されて説明されるものと異なる順番で起こり得ること、および／または他のブロックと同時に起こり得ることを理解および認識されたい。また、実施形態に従って方法論を実装するために、示されるすべてのブロックが必要とされるわけではない。
【００４１】
図９は、身体において触覚効果を自動的に位置決めする方法９００のフロー図である。方法９００は、マルチメディアコンテンツで生じる少なくとも１つの触覚事象と関連付けられる少なくとも１つの触覚効果を受信すること（９０２）から始まる。次いで、少なくとも１つの触覚効果は、マルチメディアコンテンツ情報に基づいて、身体の少なくとも１つの部分と自動的に相関される（９０４）。マルチメディアコンテンツ情報は、これらに限定されないが、マルチメディアコンテンツおよび／またはマルチメディアコンテンツと関連付けられたメタデータを含み得る。触覚効果位置を自動的に決定するために使用することができる技法について、上記で詳細に説明してきた。これらの技法は、これに限定されないが、触覚事象がどのように身体に影響を与えるか、従って触覚効果を自動的に適用する場所における空間上の決定を可能にするために身体モデルを使用することを含む。例えば、身体における触覚効果の位置決めを容易にするために、マルチメディアコンテンツのオーディオ部分の少なくとも１つのチャネルを使用することができる。別の例では、身体における触覚効果の位置決めを容易にするために、マルチメディアコンテンツのオーディオ部分の音響マップを使用することができる。加えて、身体のいずれの部分に触覚効果を適用するかを決定するために、音響マップからのオーディオ源の点から身体モデル上の点に到達するまでの時間差を使用することができる。また、触覚効果に相当する刺激効果をどの程度の強度で適用するかを決定するために、オーディオ源の点から身体モデル上の点に到達するまでの時間差を使用することもできる。
【００４２】
上記で説明してきたものには実施形態の例が含まれる。当然ながら、実施形態を説明する目的で、コンポーネントまたは方法論の考えられるすべての組合せを説明することは可能ではないが、当業者は、実施形態の多くのさらなる組合せおよび並べ替えが可能であることを認識することができる。それに従って、主題は、添付の請求項の範囲内に収まるそのようなすべての改変形態、変更形態および変形形態を取り入れることが意図される。また、「含む（include）」という用語が詳細な説明または請求項において使用される限り、そのような用語は、「含む（comprising）」が採用される際には請求項において移行語と解釈されるため、「含む（comprising）」という用語と同様に包括的であることを意図する。
【００４３】
本明細書で説明される実装形態は、例えば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号で実装することができる。実装の単一の形態に関連してのみ論じられる（例えば、方法またはデバイスとしてのみ論じられる）場合であっても、論じられる特徴の実装形態は、他の形態（例えば、プログラム）でも実装することができる。装置は、例えば、適切なハードウェア、ソフトウェアおよびファームウェアで実装することができる。方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路またはプログラマブル論理デバイスを含む、例えば、一般に処理デバイスを指す装置（例えば、プロセッサなど）で実装することができる。また、プロセッサは、例えば、スマートフォン、タブレット、コンピュータ、携帯電話、ポータブル／携帯情報端末（「ＰＤＡ」）、およびエンドユーザ間の情報の通信を容易にする他のデバイスなどのいずれの通信デバイスも含む。
【００４４】
本明細書で説明される様々なプロセスおよび特徴の実装形態は、様々な異なる機器またはアプリケーション（特に、例えば、データ符号化、データ復号、ビュー生成、テクスチャ処理、ならびに画像および関連するテクスチャ情報および／または深度情報の他の処理と関連付けられた機器またはアプリケーション）で具体化することができる。そのような機器の例は、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダに入力を与えるプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡおよび他の通信デバイスを含む。明確であるべきであるように、機器は、モバイルであり得、移動車両にインストールすることさえも可能である。
【００４５】
加えて、方法は、プロセッサによって実行される命令によって実装することができ、そのような命令（および／または実装形態によって生成されたデータ値）は、例えば、集積回路、ソフトウェアキャリアまたは他の記憶装置（例えば、ハードディスク、コンパクトディスケット（「ＣＤ」）、光ディスク（例えば、デジタル多用途ディスクまたはデジタルビデオディスクと称される場合が多いＤＶＤ）、ランダムアクセスメモリ（「ＲＡＭ」）または読み取り専用メモリ（「ＲＯＭ」）など）などのプロセッサ可読媒体上に格納することができる。命令は、プロセッサ可読媒体上で有形に具体化されたアプリケーションプログラムを形成することができる。命令は、例えば、ハードウェア、ファームウェア、ソフトウェアまたは組合せにおけるものであり得る。命令は、例えば、オペレーティングシステム、別個のアプリケーションまたはその２つの組合せで見出すことができる。従って、プロセッサは、プロセスを実行するように構成されたデバイスと、プロセスを実行する命令を有するプロセッサ可読媒体（記憶装置など）を含むデバイスとの両方として特徴付けることができる。さらに、プロセッサ可読媒体は、命令に加えてまたは命令の代わりに、実装形態によって生成されたデータ値を格納することができる。
【００４６】
当業者には明らかであるように、実装形態は、例えば、格納または送信することができる、情報を伝えるようにフォーマットされた様々な信号を生成することができる。情報は、例えば、方法を実行する命令、または説明される実装形態のうちの１つによって生成されたデータを含み得る。例えば、信号は、説明される実施形態の構文を書き込むまたは読み取る規則をデータとして伝えるように、あるいは説明される実施形態によって書き込まれた実際の構文−値をデータとして伝えるようにフォーマットすることができる。そのような信号は、例えば、電磁波として（例えば、スペクトルの高周波部分を使用して）またはベースバンド信号としてフォーマットすることができる。フォーマットすることは、例えば、データストリームを符号化すること、および符号化されたデータストリームで搬送波を変調することを含み得る。信号が伝える情報は、例えば、アナログまたはデジタル情報であり得る。信号は、知られているように、様々な異なる有線または無線リンク上で送信することができる。信号は、プロセッサ可読媒体上に格納することができる。
【００４７】
多くの実装形態について説明してきた。それにもかかわらず、様々な変更形態がなされ得ることが理解されるであろう。例えば、他の実装形態を生成するために、異なる実装形態の要素を組み合わせることも、補足することも、変更することも、または除去することもできる。加えて、当業者は、開示されるものの代わりに、他の構造およびプロセスを代用することができ、結果として得られる実装形態は、開示される実装形態と少なくとも実質的に同じ結果を達成するために、少なくとも実質的に同じ方法で少なくとも実質的に同じ機能を実行することを理解するであろう。それに従って、これらのおよび他の実装形態が本出願によって企図される。
【図１】
2018501575.tif 000004
【図２】
2018501575.tif 000005
【図３】
2018501575.tif 000006
【図４】
2018501575.tif 000007
【図５】
2018501575.tif 000008
【図６】
2018501575.tif 000009
【図７】
2018501575.tif 000010
【図８】
2018501575.tif 000011
【図９】
2018501575.tif 000012
【国際調査報告】
2018501575.tif 000013
2018501575.tif 000014
2018501575.tif 000015