(57)【要約】【課題】ビデオからハプティクスを設計する方法を提供すること。【解決手段】ビデオからハプティクスを設計することは、ビデオの再生中にリアルタイムでオーディオ/ビジュアル(A/V)要素を追跡し、A/V要素の追跡に基づいて、タイムライン上のA/V要素の異なる位置に、A/V要素についてリアルタイムで触覚効果を割り当てて、割り当てられた触覚効果位置を生成することを含む。触覚再生トラックは、タイムライン上のA/V要素の割り当てられた触覚効果位置に基づいて生成される。【選択図】図1
2019121368.tif 000002
【特許請求の範囲】
【請求項１】
ハプティクスを設計する方法であって、
ビデオの再生中にリアルタイムでオーディオ/ビジュアル(A/V)要素を追跡するステップと、
前記A/V要素の追跡に基づいて、タイムライン上の前記A/V要素の異なる位置に、前記A/V要素についてリアルタイムで触覚効果を割り当てて、割り当てられた触覚効果位置を生成するステップと、
前記タイムライン上の前記A/V要素の前記割り当てられた触覚効果位置に基づいて触覚再生トラックを生成するステップと
を含む方法。
【請求項２】
前記A/V要素を追跡する前記ステップが、
触覚放出体を作成し、前記ビデオの空間環境内に配置するステップと、
前記ビデオの再生中にリアルタイムで前記A/V要素とともに前記空間環境内の触覚放出体を移動させるステップと、
前記触覚放出体の移動中に前記触覚放出体の空間データを取得するステップと
を含み、
前記A/V要素について前記触覚効果を割り当てる前記ステップが、前記触覚放出体の空間データを前記タイムライン上の前記A/V要素の異なる位置にリアルタイムで関連付けるステップを含む
請求項1に記載の方法。
【請求項３】
前記空間データを含むメタデータファイルを生成するステップ
をさらに含む請求項2に記載の方法。
【請求項４】
前記A/V要素について前記触覚効果を割り当てる前記ステップが、前記触覚効果についての減衰範囲をリアルタイムで設定することをさらに含む、請求項2に記載の方法。
【請求項５】
前記触覚放出体を作成し、配置する前記ステップが、2Dまたは3Dの前記空間環境において波形または形状を描くステップを含む、請求項2に記載の方法。
【請求項６】
前記A/V要素を追跡する前記ステップが、
パーティクルエフェクトを前記ビデオの空間環境内に配置するステップと、
前記ビデオの再生中に前記空間環境内の前記パーティクルエフェクトをリアルタイムで移動させることによって前記A/V要素がたどるパスを作成するステップと、
前記パーティクルエフェクトの移動中に前記A/V要素の空間データを取得するステップと
を含み、
前記A/V要素について前記触覚効果を割り当てる前記ステップが、前記A/V要素の空間データを前記タイムライン上の前記A/V要素の異なる位置にリアルタイムで関連付けるステップを含む
請求項1に記載の方法。
【請求項７】
前記触覚再生トラックを生成する前記ステップが、前記パーティクルエフェクトのパラメータを調整するステップを含む、請求項6に記載の方法。
【請求項８】
前記A/V要素を追跡する前記ステップが、前記ビデオの再生中にリアルタイムで前記A/V要素を視覚的に追跡することによって、前記A/V要素の空間データを取得するステップを含み、
前記A/V要素について前記触覚効果を割り当てる前記ステップが、前記A/V要素の空間データを前記タイムライン上の前記A/V要素の異なる位置にリアルタイムで関連付けるステップを含む、請求項1に記載の方法。
【請求項９】
命令を記憶した非一時的コンピュータ可読媒体であって、前記命令は、プロセッサによって実行されると、前記プロセッサに、
ビデオの再生中にリアルタイムでオーディオ/ビジュアル(A/V)要素を追跡することと、
前記A/V要素の追跡に基づいて、タイムライン上の前記A/V要素の異なる位置に、前記A/V要素についてリアルタイムで触覚効果を割り当てて、割り当てられた触覚効果位置を生成することと、
前記タイムライン上の前記A/V要素の前記割り当てられた触覚効果位置に基づいて触覚再生トラックを生成することと
を含む動作を実行させる、非一時的コンピュータ可読媒体。
【請求項１０】
前記A/V要素を追跡することが、
触覚放出体を作成し、前記ビデオの空間環境内に配置することと、
前記ビデオの再生中にリアルタイムで前記A/V要素とともに前記空間環境内の触覚放出体を移動させることと、
前記触覚放出体の移動中に前記触覚放出体の空間データを取得することと、
を含み、
前記A/V要素について前記触覚効果を割り当てることが、前記触覚放出体の空間データを前記タイムライン上の前記A/V要素の異なる位置にリアルタイムで関連付けることを含む、請求項9に記載の非一時的コンピュータ可読媒体。
【請求項１１】
前記空間データを含むメタデータファイルを生成すること
をさらに含む請求項10に記載の非一時的コンピュータ可読媒体。
【請求項１２】
前記A/V要素について前記触覚効果を割り当てることが、前記触覚効果についての減衰範囲をリアルタイムで設定することをさらに含む、請求項10に記載の非一時的コンピュータ可読媒体。
【請求項１３】
前記触覚放出体を作成し、配置することが、2Dまたは3Dの前記空間環境において波形または形状を描くことを含む、請求項10に記載の非一時的コンピュータ可読媒体。
【請求項１４】
前記A/V要素を追跡することが、
パーティクルエフェクトを前記ビデオの空間環境内に配置することと、
前記ビデオの再生中に前記空間環境内の前記パーティクルエフェクトをリアルタイムで移動させることによって前記A/V要素がたどるパスを作成することと、
前記パーティクルエフェクトの移動中に前記A/V要素の空間データを取得することと
を含み、
前記A/V要素について前記触覚効果を割り当てることが、前記A/V要素の空間データを前記タイムライン上の前記A/V要素の異なる位置にリアルタイムで関連付けることを含む、請求項9に記載の非一時的コンピュータ可読媒体。
【請求項１５】
前記触覚再生トラックを生成することが、前記パーティクルエフェクトのパラメータを調整することを含む、請求項14に記載の非一時的コンピュータ可読媒体。
【請求項１６】
前記A/V要素を追跡することが、前記ビデオの再生中にリアルタイムで前記A/V要素を視覚的に追跡することによって、前記A/V要素の空間データを取得することを含み、
前記A/V要素について前記触覚効果を割り当てることが、前記A/V要素の空間データを前記タイムライン上の前記A/V要素の異なる位置にリアルタイムで関連付けることを含む、請求項9に記載の非一時的コンピュータ可読媒体。
【請求項１７】
触覚設計システムであって、
ビデオの再生中にリアルタイムでオーディオ/ビジュアル(A/V)要素を追跡するように構成された追跡システムであって、前記A/V要素の追跡に基づいて、タイムライン上の前記A/V要素の異なる位置に、前記A/V要素についてリアルタイムで触覚効果が割り当てられて、割り当てられた触覚効果位置を生成することを可能にするように構成される、追跡システムと、
前記タイムライン上の前記A/V要素の前記割り当てられた触覚効果位置に基づいて触覚再生トラックを生成する触覚再生追跡生成器と
を含む触覚設計システム。
【請求項１８】
前記追跡システムが、
触覚放出体を前記ビデオの空間環境内に配置するように構成された触覚放出体配置システムであって、前記触覚放出体が、前記ビデオの再生中にリアルタイムで前記A/V要素とともに前記空間環境内で移動することできる、触覚放出体配置システムと、
前記触覚放出体の移動中に前記触覚放出体の空間データを取得し、前記触覚放出体の空間データを前記タイムライン上の前記A/V要素の異なる位置にリアルタイムで関連付けるように構成された触覚トラックエディタと
を含む、請求項17に記載の触覚設計システム。
【請求項１９】
前記追跡システムが、
前記ビデオの空間環境内にパーティクルエフェクトを配置するように構成された触覚放出体配置システムであって、前記ビデオの再生中に前記空間環境内のパーティクルエフェクトをリアルタイムで移動させることによって、前記A/V要素がたどるパスが作成される、触覚放出体配置システムと、
前記パーティクルエフェクトの移動中に前記A/V要素の空間データを取得し、前記A/V要素の空間データを前記タイムライン上の前記A/V要素の異なる位置にリアルタイムで関連付けるように構成された触覚トラックエディタと
を含む、請求項17に記載の触覚設計システム。
【請求項２０】
前記追跡システムが、
前記ビデオの再生中にリアルタイムで前記A/V要素を視覚的に追跡し、前記A/V要素の空間データを前記タイムライン上の前記A/V要素の異なる位置にリアルタイムで関連付けることによって、前記A/V要素の空間データを取得するように構成された触覚トラックエディタ
を含む、請求項17に記載の触覚設計システム。
【発明の詳細な説明】
【技術分野】
【０００１】
例示的な実施形態は、空間化ハプティクス(spatialized haptics)により触覚フィードバックを設計することを対象とし、より詳細には、オーディオ/ビデオ要素の複数の位置と相互参照することによって空間化されたハプティクスに基づいて触覚フィードバックを設計することを対象とする。
【背景技術】
【０００２】
デジタルオーディオワークステーション(「DAW」)または非線形編集システム(「NLE」)など従来の触覚設計ツールでは、通常、触覚化される移動するオーディオ/ビジュアル(「A/V」)要素の位置ごとに、単一の触覚再生トラックが生成される。
【発明の概要】
【課題を解決するための手段】
【０００３】
例示的な実施形態は、ビデオの再生中にリアルタイムでオーディオ/ビジュアル(A/V)要素を追跡し、割り当てられた触覚効果位置を生成するために、A/V要素の追跡に基づいて、タイムライン上のA/V要素の異なる位置に、A/V要素についてリアルタイムで触覚効果を割り当て、タイムライン上のA/V要素の割り当てられた触覚効果位置に基づいて触覚再生トラックを生成することによって、ハプティクスを設計することを提供する。
【０００４】
第1の実施形態は、仮想現実(「VR」)/拡張現実(「AR」)システムまたはリアルタイム編集システムを使用して、触覚放出体を作成し、ビデオの空間環境内に配置し、ビデオの再生中にリアルタイムでA/V要素とともに空間環境内の触覚放出体を移動させ、触覚放出体の移動中に触覚放出体の空間データを取得することによってA/V要素を追跡することを含む。触覚放出体の空間データをタイムライン上のA/V要素の異なる位置にリアルタイムで関連付けることによって、触覚効果がA/V要素に割り当てられる。
【０００５】
第2の実施形態は、VR/ARシステムまたはリアルタイム編集システムを使用して、パーティクルエフェクトをビデオの空間環境内に配置し、ビデオの再生中に空間環境内のパーティクルエフェクトをリアルタイムで移動させることによってA/V要素のパスを作成し、パーティクルエフェクトの移動中にA/V要素の空間データを取得することによってA/V要素を追跡することを含む。A/V要素の空間データをタイムライン上のA/V要素の異なる位置にリアルタイムで関連付けることによって、触覚効果がA/V要素に割り当てられる。
【０００６】
第3の実施形態は、編集システムを使用して、ビデオの再生中にリアルタイムでA/V要素を視覚的に追跡することによって、A/V要素の空間データを取得することよってA/V要素を追跡することを含む。A/V要素の空間データをタイムライン上のA/V要素の異なる位置にリアルタイムで関連付けることによって、触覚効果がA/V要素に割り当てられる。
【０００７】
上述の実施形態は、複数の視角を有する線形的な体験においてハプティクスを加えることの難しさを克服する。
【０００８】
例示的な実施形態は、以下の詳細な説明を添付の図面と併せ読めば、より明確に理解されるであろう。図1〜図16は、本明細書に記載の非限定的な例示的な実施形態を表す。
【図面の簡単な説明】
【０００９】
【図１】例示的な実施形態によるハプティクスを設計するフロー図である。
【図２】例示的な一実施形態による編集システムによるハプティクスの設計のフロー図である。
【図３】例示的な実施形態による触覚効果の図である。
【図４】例示的な実施形態による触覚効果の図である。
【図５】例示的な実施形態による空間化ハプティクスの図である。
【図６】例示的な実施形態による触覚効果の図である。
【図７】例示的な実施形態による触覚効果の図である。
【図８】例示的な実施形態による触覚効果の図である。
【図９】例示的な実施形態による触覚効果の図である。
【図１０】例示的な一実施形態によるVR/ARシステムまたはリアルタイム編集システムによるハプティクスの設計のフロー図である。
【図１１】例示的な一実施形態による触覚設計システムのブロック図である。
【図１２】例示的な一実施形態によるリアルタイムのホストシステムのブロック図である。
【図１３】例示的な一実施形態による電子デバイスにおける触覚設計システムのブロック図である。
【図１４】例示的な実施形態による触覚編集ウィンドウの画像である。
【図１５】例示的な実施形態による触覚編集ウィンドウの画像である。
【図１６】例示的な実施形態による触覚編集ウィンドウの画像である。
【発明を実施するための形態】
【００１０】
例示的な実施形態は、オーディオ/ビデオ要素の複数の位置と相互参照することによって空間化されたハプティクスに基づいて触覚フィードバックを設計し、それによってより没入できる経験をもたらすことを対象とする。
【００１１】
ハプティクスは、個人の触感を使用して、個人に対する力、振動、および動きなどの触覚フィードバック効果(「触覚フィードバック」または「触覚効果」としても知られる)を生成する、触知できるかつ/または運動感覚のフィードバック技術である。触覚対応デバイスは、触覚効果を適用するように構成された組込み型ハードウェア(たとえば、アクチュエータまたは他の出力機構)を含むことができる。組込み型ハードウェアは、一般に、特定の1組の触覚効果を適用(または再生)するようにプログラムされている。触覚対応デバイスによって、どの触覚効果を再生するかを指定する信号が受信されると、触覚対応デバイスは、指定された触覚効果を与える。たとえば、個人が触覚イベントを経験しようとするとき、触覚対応デバイスの組込み型ハードウェアは、制御回路を介して再生コマンドを受信する。次いで、組込み型ハードウェアは、適切な触覚効果を適用する。
【００１２】
どの触覚効果を再生するかを指定する信号は、ここでは触覚再生トラックと呼ばれる。例示的な実施形態による触覚再生トラックは、DAW(NLEなど、オーディオファイルの録音、編集、および生成に使用される電子デバイスまたはアプリケーションソフトウェア)、VR/ARシステム、および/またはパーティクルエフェクトライブラリを使用して設計され、または生成され得る。
【００１３】
例示的な実施形態によるNLEは、元のコンテンツが編集の過程で変更されないオーディオ、ビデオまたは画像編集の形態である。NLEにおける編集は、専門的なソフトウェアによって指定され、変更される。
【００１４】
NLEの1つのタイプは、アドビシステムズ社の「Adobe After Effects」アプリケーションソフトウェアであり、ビデオをタイムライン上に編成されたレイヤのシステムに変更して、静止画像および/またはモーション映像などのビデオファイルから合成物を作成するために使用される。
【００１５】
例示的な実施形態によれば、触知できる触覚パターンを生成することによってVR/ARシステムにおける仮想ドラムの鼓動についてのハプティクスを与えることができる。触知できる触覚パターンは、ビデオの再生中に仮想ドラムの位置(または仮想ドラムを打つ仮想オブジェクトの位置)を観察し、ビデオタイムライン上の仮想ドラムの観察された位置にハプティクスを割り当てることによって設計または生成することができる。代替的に、触知できる触覚パターンは、仮想ドラム上に触覚放出体を配置し、再生中に触覚放出体の動きを観察することによって設計することができる。触知できる触覚パターンは、触覚放出体の動きをビデオタイムライン上の仮想ドラムの画像と相互参照することによって設計される。次いで、触知できる触覚パターンは、VR/ARシステム上でユーザに与えられる。
【００１６】
図1は、例示的な実施形態によるハプティクスを設計するフロー図である。
【００１７】
図1を参照すると、ハプティクス100の設計は、120で、ビデオの再生中にリアルタイムでオーディオ/ビジュアル(「A/V」)要素を追跡することを含む。A/V要素は、たとえば、ビデオ内のオブジェクト、アバター、または現象とすることができる。例示的な実施形態によれば、リアルタイムとは、実質的に遅延なしで、または無視できる遅延でタスクを実行し、ユーザには、ほぼ即時に実行されているように見えることを意味する。
【００１８】
タイムラインにおいてA/V要素の合成物がひとたび編成されると、150でA/V要素の追跡に基づいてタイムラインにおけるA/V要素の異なる位置にA/V要素についての触覚効果が割り当てられて、割り当てられた触覚効果位置を生成する。
【００１９】
次いで、190で、タイムラインにおけるA/V要素の割り当てられた触覚効果位置に基づいて、触覚再生トラック、およびオプションでメタデータファイルが生成される。メタデータファイルは、空間データおよび触覚再生トラックを含み得る。
【００２０】
触覚再生トラック、およびオプションでメタデータファイルを、触覚対応デバイスに出力することができる。
【００２１】
例示的な実施形態による編集システム、VR/ARシステム、リアルタイム編集システム、およびパーティクルエフェクトライブラリを使用した触覚フィードバックの設計の詳細な説明を以下に示す。図2は、例示的な一実施形態による編集システムによる触覚フィードバックの設計のフロー図である。
【００２２】
図2を参照すると、210で、ビデオを、編集システムの編集環境にインポートすることができる。ビデオは、360度ビデオとすることができる。360度ビデオは、全方向のカメラまたはカメラの集合を使用して、すべての方向のビューが同時に記録されるビデオ記録である。220で、ハプティクスに関連付けられ、またはハプティクスで与えられるビデオ内のA/V要素(たとえば、打たれているドラム、ブンブンいう蜂など)が選択され、A/V要素上のポイントをピン止めするために追跡システムを使用してリアルタイムで追跡される。A/V要素は、ガンショット、爆発、エンジン、電気、気象、自然災害、走行、落下など、任意のオブジェクトまたはイベントとすることができる。A/V要素は、人を引き付ける音または動きを有し得る。
【００２３】
230で、オーディオ触覚ドライバを介してアクチュエータにハプティクスをルーティングするためにオーディオチャネル/トラックを使用する場合(たとえば、NLEにおいて)、A/V要素に使用される1つまたは複数のオーディオチャネルが選択または作成される。オーディオ触覚ドライバの使用は、オーディオに使用されるオーディオチャネルとハプティクスに使用されるオーディオチャネルとを区別することを必要とし得る。
【００２４】
次いで、ビデオが再生される。再生は、編集環境を介して、コンピュータ、モバイルデバイス、またはヘッドマウントディスプレイ(「HMD」)上で視聴することができる。360度ビデオの再生中、視聴者は、パノラマのような視聴方向を制御する。したがって、視聴者は、A/V要素を異なる角度または視点から視覚的に追跡するために、ビデオの周りをパンすることができる。
【００２５】
240で、空間データを取得するために、ビデオの再生中、A/V要素のピン止めされた位置/座標が視覚的に示される。A/V要素についての触覚効果の減衰範囲を設定することができる。したがって、A/V要素の追跡は、ビデオの再生中にA/V要素のピン止めされたポイント/座標、および/または減衰範囲を視覚的に追跡することによって、A/V要素の空間データを取得することを含む。
【００２６】
次いで、A/V要素の合成物が所望のタイムラインにおいて編成される。250で、A/V要素の空間データ(またはピン止めされたポイント/座標、および/または減衰範囲)を、タイムライン上のA/V要素の異なる位置に関連付けることによって、触覚効果は、タイムライン上のA/V要素の異なる位置に割り当てられる。
【００２７】
触覚効果は、たとえば、全周囲(full ambience)、視点(「POV」)、キャラクター選択、キャラクターの注視(gaze of a character)、タッチ、強調された3次元(「3D」)オブジェクト、および/またはアクチュエータ選択など、エディタおよび/または視聴者/ユーザが、ハプティクスがどのように与えられることを好むか、または望むかに基づいて、リアルタイムで割り当てることができる。視聴者の選好は、すべてのデータを維持し、メタデータ(視聴者の選好と相互参照される)を使用して再生する触覚トラックを決定することによって実現することができる。触覚トラックは、事前にまたはリアルタイムで生成することができる。
【００２８】
図3、図4、および図6〜図9は、例示的な実施形態による触覚効果の図である。
【００２９】
触覚効果は、POVに基づいて割り当てることができる。POVの1つのタイプは、触覚効果をすべてのアクションに、しかし、異なる強度で割り当てることができる全周囲である。図3に示すように、特定のPOVに強調を置くことができる。図3を参照すると、(a)では、中央ビューの視覚的アクションに強調が置かれている。(b)では、周辺ビューおよび/またはPOV外の非視覚的アクションに強調が置かれている。(c)では、360度ビュー内のすべてのアクションに強調が置かれている。
【００３０】
全周囲駆動触覚効果は、単一の触覚トラックを使用して達成することができ、任意の触覚対応デバイス(たとえば、モバイルデバイス、HMD、コンピュータなど)上に与えることができる。A/V要素が共通のオブジェクト(ジェット内部またはバイクなど)によって接地されている360度アクションカメラには、全周囲駆動触覚効果が理想的である。
【００３１】
POV駆動触覚効果では、360度ビデオのすべての可能な角度は、基準点として使用するいくつかのキーアングルを識別し、触覚効果をあたかも別々のビデオのように適用することによって、従来のコンテンツのように扱うことができる。図4を参照すると、ハプティクスは、(a)に示すように、POV内のアクションについて与えることができる。あるいは周囲認識のために、図4の(b)に示すように、POV外のアクションついての触覚効果を与えるために、ハプティクスを反転させることができる。ある視覚要素についてのPOV駆動触覚効果は、(ヘッドトラッキングにおいてなど)見られている方向の認識を必要とし得る。
【００３２】
ビデオのオーディオ要素にPOV駆動触覚効果を割り当てるには、両耳用オーディオが好ましい。両耳用オーディオは、3Dステレオサウンドの感覚を作り出すために、2つのマイクロフォンを使用して作成されたオーディオである。POV駆動触覚効果をHMD上に与えるために、HMDは、触覚周辺機器を必要とし得る。
【００３３】
POV駆動触覚効果は、任意の一般的なコンテンツの使用事例に理想的である。
【００３４】
図5は、例示的な実施形態による空間化ハプティクスの図である。
【００３５】
図5を参照すると、たとえば全周囲のPOV駆動触覚効果では、触覚効果を空間化することができ、またはすべてのアクションに割り当てることができるので、触覚ミキサーを使用して、触覚効果を混ぜ合わせて1つの触覚効果から別の触覚効果への滑らかな移行を作成することができる。ミキサーなしでは、1つの触覚効果から別の触覚効果への移行は、たとえば、パンするときなど、突然である可能性がある。
【００３６】
キャラクター駆動触覚効果では、図6に示すように、ハプティクスは、単一のキャラクターのアクションに基づいて割り当てられる。キャラクター駆動触覚効果は、単一の触覚トラックを使用して達成することができるが、より好ましくは、空間化触覚を使用して達成される。空間化は、ユーザがキャラクターの位置を追跡することを可能にする。キャラクターの動きを追跡するために、「ホットまたはコールド」スタイルの空間化を使用することができる。「ホットまたはコールド」スタイルの空間化は、キャラクターに関連付けられた触覚トラックまたは効果を変調することを指す。たとえば、視野(「FOV」)外のキャラクターがFOVに近づくにつれて、キャラクターに関連付けられた触覚効果が柔らかく与えられ得る。キャラクターがFOVに入ると、触覚効果の強度がピークに達することがある。別の例として、ユーザが触覚効果のソースを見つけることを彼/彼女に促すために、FOVの外に何があるかをユーザが感じるように、「ホットまたはコールド」スタイルの空間化を使用することができる。キャラクター駆動触覚効果は、(ヘッドトラッキングなど)見られている方向の認識を必要とし得る。
【００３７】
たとえば、図16を参照すると、例示的な一実施形態による触覚編集ウィンドウの画像であり、鳥瞰図から「家」の方向および向きが示されている。
【００３８】
(特に360度ビデオにおける)キャラクターの位置および動きを追跡する複雑さのために、キャラクター駆動触覚効果を生成するために、一般に、高度な設計ツールが必要とされる。たとえば、アルゴリズムのオプションには、可視のみ再生、すべて再生、オールフォーカス可視を再生(play all-focus visible)、オールフォーカス非表示を再生(play all-focus hidden)、非表示のみ再生などがある。
【００３９】
ビデオ内のオーディオ要素にキャラクター駆動触覚効果を割り当てるには、両耳用オーディオが好ましい。キャラクター駆動触覚効果をHMD上に与えるために、HMDは、触覚周辺機器を必要とし得る。
【００４０】
キャラクター駆動触覚効果は、オブジェクトまたはキャラクターに焦点を当てた広告、限定された数のキャラクターを有するビデオショート、および伏線のキャラクターハプティクスに理想的である。
【００４１】
注視駆動触覚効果では、図7に示すように、ユーザが視覚的にフォーカスしているまたは見ている一般的なゾーンに基づいて触覚が割り当てられる。モバイルデバイスまたはHMD上で行うことができるアイトラッキングは、注視駆動触覚効果に最適である。注視駆動触覚効果は、(眼の中心窩(fovea)によって注視される領域の外側の)周辺視野の画質を低下させることによって、レンダリングの作業負荷を低減するために、VRヘッドセットでアイトラッキングを使用するグラフィックスレンダリング技法である、中心窩適応(foveated)レンダリングで使用できる。
【００４２】
注視駆動触覚効果は、リアルタイムの触覚イベントおよびオーサリングにとってさらに複雑である。ビデオ内のオーディオ要素に注視駆動触覚効果を割り当てるには、両耳用オーディオが好ましい。
【００４３】
注視駆動触覚効果は、ライブイベント(たとえば、スポーツ、演劇など)、および製品に焦点を当てた広告に理想的である。
【００４４】
タッチ駆動触覚効果では、図8に示すように、ユーザのタッチポイントに基づいてハプティクスが割り当てられる。タッチ駆動触覚効果は、ユーザがタッチしている場所を追跡することによって達成することができ、これは、静電容量スクリーンまたは任意の手を基にした周辺機器を備えたモバイルデバイス上で行うことができる。あるいは、空手(empty hand)追跡を使用して、HMD内で見るときの視聴者の手を追跡することができる。
【００４５】
タッチ駆動触覚効果は、一般に、たとえばHMDを使用せずに、ユーザが360度ビデオを見ているときに使用される。HMDを使用するとき、手を基にした周辺機器または手の接触を維持するスプリットコントローラが使用される。ビデオ内のオーディオ要素にタッチ駆動触覚効果を割り当てるには、両耳用オーディオが好ましい。
【００４６】
タッチ駆動触覚効果は、環境探査およびビデオゲームに理想的である。
【００４７】
3Dフォーカス触覚効果では、図9に示すように、仮想空間で見た3Dオブジェクトがハプティクスに割り当てられる。3Dオブジェクトは、意図された設計美学として仮想設定から「ポップ」するように見えることがある。3Dフォーカス触覚効果は、たとえば、3D効果を適用するために作成者によって選択された可能性のある3Dオブジェクトの外観をさらに強調するために使用することができる。従来の2Dコンテンツが3Dシーケンスで強化されているとき(たとえば、視聴者が効果を見るために3Dゴーグルを着用するときなど)、3Dフォーカス触覚効果を使用することができる。
【００４８】
3Dフォーカス触覚効果は、仮想またはシミュレートされた劇場環境に適している。3Dフォーカス触覚効果は、立体映像にオーサリングすることができる。所望の効果を達成するには、3Dフォーカス触覚効果を与えながら(周辺機器を使用する可能性が高い)HMDで見ることが好ましい。3Dフォーカス触覚効果は、HMDタッチ駆動触覚効果とうまく動作する。
【００４９】
3Dフォーカス触覚効果は、立体映像3D効果を備えた非360度ビデオコンテンツに理想的である。
【００５０】
再び図2を参照すると、260で、触覚トラックは、タイムライン上の触覚効果に基づいて、またはタイムライン上の触覚効果を所望の触覚トラックに挿入することによって生成される。
【００５１】
270で、ハプティクスを有することになる追跡されていないA/V要素があるかどうかの判定が行われる。触覚を有することになる追跡されていないA/V要素がある場合、対応する触覚効果が触覚トラックに挿入される。
【００５２】
280で、追跡されることになる追加のA/V要素があるかどうかの判定が行われる。追跡されることになる追加のA/V要素がある場合、プロセスは、220から開始して繰り返される。
【００５３】
290で、触覚再生トラック、およびオプションでメタデータファイルが生成される。触覚再生トラックは、単一の混合触覚トラックまたはいくつかの触覚トラックから成り得る。たとえば、単一の混合触覚トラックは、1つもしくは複数の追跡されたA/V要素、および/または1つもしくは複数の追跡されないA/V要素から成り得る。メタデータファイルは、空間データおよび触覚再生トラックを含み得る。
【００５４】
触覚再生トラック、およびオプションでメタデータファイルを、触覚対応デバイスに出力することができる。
【００５５】
図10は、例示的な一実施形態によるVR/ARシステムまたはリアルタイム編集システムによるハプティクスの設計のフロー図である。
【００５６】
図10を参照すると、VR/ARシステムまたはリアルタイム編集システムによるハプティクスの設計は、1000で、空間コンテンツの触覚トラックをインポートまたは生成することを含む。
【００５７】
1010で、触覚放出体は、たとえば「Unity 3D」または「Unreal Engine」、VR/AR環境またはエディタツールのリアルタイム編集環境のようなゲームエンジン内などの3D空間環境内に置かれる。1020で、触覚放出体が作成され、それぞれの環境に配置される。触覚放出体は、2Dまたは3Dの空間環境において波形または形状を描くことによって、作成され、それぞれの環境に配置され得る。たとえば、3Dにおいて描くとき、Y軸は強度を制御し、X軸は時間を制御し、Z軸は周波数を制御し得る。代替的に、強度、時間、および周波数以外のパラメータを使用することができる。
【００５８】
1050で、触覚放出体を、オプションで、ビデオ内のA/V要素に割り当てることができる。触覚効果についての減衰範囲を設定することができる。たとえば、蜂がアバターの頭の周りでブンブンいっている場合、触覚放出体を蜂の上に置くことができる。代替的に、3D環境内に配置することによって、作成者は、触覚放出体がA/V要素に関連している場所を容易に見ることができ、触覚放出体をA/V要素に直接割り当てることなく触覚放出体をA/V要素のそばに配置し、A/V要素とともに触覚放出体を移動させることができる。
【００５９】
例示的な一実施形態では、1050で、ビデオ内のA/V要素にパーティクルエフェクトを割り当てることができる。パーティクルエフェクトは、非常に小さいスプリット、3Dモデルまたは他のグラフィックオブジェクト(本明細書では「パーティクル」と呼ぶ)を多数使用して、従来のレンダリング技法では再現するのが難しいいくつかの動的イベントまたは現象(たとえば、火災、爆発、煙、レーザービーム、動く水、雪、落石、星など化学反応によって引き起こされる、非常に混沌としたシステム、自然現象、エネルギーまたはプロセスなど)をシミュレートするゲームまたはコンピュータグラフィックス技法である。
【００６０】
1055で、ビデオ内の所望のタイムラインの位置が決定される。
【００６１】
次に、1060で、触覚放出体が現在のタイムコードで再生を開始すべきかどうかが判定される。触覚放出体/パーティクルエフェクトが現在のタイムコードで再生を開始すべきではないと判定された場合、1065で、触覚効果/パーティクルエフェクトが再生を開始すべきタイムコードまでビデオが中止される。触覚放出体/パーティクルエフェクトが現在のタイムコードで再生を開始すべき場合、ビデオの再生が開始され、触覚放出体/パーティクルエフェクトは、1070で、A/V要素の位置に対応するように、リアルタイムでエディタ(すなわち、人)によって移動され位置決めされるものとする。
【００６２】
ビデオの再生中に触覚放出体/パーティクルエフェクトを移動し、位置決めしている間に、触覚放出体/パーティクルエフェクトについての空間データが取得される。次いで、触覚放出体/パーティクルエフェクトの空間データは、タイムラインにおけるA/V要素の異なる位置に関連付けられる。たとえば、蜂の例では、蜂が見えるとき、触覚効果がタイムラインに挿入される。蜂が見えない場合、触覚効果はタイムラインに挿入されない。
【００６３】
1075で、追加の触覚トラックが必要かどうかの判定が行われる。追加の触覚トラックが必要である場合、プロセスは、1000から開始して繰り返される。
【００６４】
追加の触覚トラックが必要でない場合、1080で、触覚放出体/パーティクルエフェクトが微調整を必要とするかどうかの判定が行われる。触覚放出体/パーティクルエフェクトが微調整を必要とする場合、1085で、ビデオが中止され、調整される。
【００６５】
パーティクルエフェクトの微調整は、パーティクルエフェクトのパラメータを調整することを含むことができる。パーティクルエフェクトのパラメータは、たとえば、スポーンレート(spawning rate)(単位時間あたりに生成されるパーティクルの数)、パーティクルの初期速度ベクトル(作成時に放出される方向)、パーティクルの寿命(各個々のパーティクルが消滅するまでの時間の長さ)、およびパーティクルの色を含み得る。パラメータは、中央値と中央値の両側で許容されるランダム性の程度(すなわち、平均パーティクルの寿命は50フレーム±20%)をエディタが指定することによって(正確な数値とは対照的に)「ファジィ」にすることができる。
【００６６】
触覚放出体/パーティクルエフェクトの微調整が必要でない場合、1090で、触覚再生トラックが生成される。1090で、空間データを含むメタデータファイルを生成することもできる。
【００６７】
触覚再生トラックおよびメタデータファイルを、触覚対応デバイス(モバイルデバイス、コンソール、コンピュータなど)、ハンドヘルドゲームコントローラ、VR/ARコントローラ、または別の周辺デバイス(たとえば、ゲームパッド、コンピュータマウス、トラックボール、キーボード、タブレット、マイクロフォン、およびヘッドセット、またはウェアラブル)に出力することができる。
【００６８】
図11は、例示的な一実施形態による編集システムのブロック図である。
【００６９】
図11を参照すると、例示的な実施形態による編集システム1105は、ビデオ入力1110を介してビデオを受信する。編集システム1105は、NLEとすることができる。ビデオは、360度ビデオとすることができる。
【００７０】
編集システム1105は、ハプティクスに関連付けられ、またはハプティクスで与えられるように選択されたビデオ内のA/V要素を追跡する追跡システム1115を含む。追跡システム1115は、再生中にA/V要素上のポイントをピン止めする。
【００７１】
再生は、編集システム1105に接続された視覚ディスプレイ1120上のウィンドウを通して見ることができる。視覚ディスプレイ1120は、コンピュータスクリーン、モバイルデバイススクリーン、またはヘッドマウントディスプレイ(「HMD」)とすることができる。ビデオの再生中、エディタは、パノラマのような視聴方向を制御することができる。したがって、エディタは、異なる角度または視点からA/V要素を視覚的にたどるために、ビデオの周りをパンすることができる。
【００７２】
たとえば、図14を参照すると、本発明の一実施形態による触覚編集ウィンドウの画像であり、プレビューウィンドウ1410は、ビデオを表示することができる。ビデオの再生中、A/V要素のピン止めされた位置/座標は、空間データを取得するために、図11に示す視覚ディスプレイ1120上の追跡ウィンドウ1420に視覚的に示され得る。代替的に、触覚トラックをビデオ内のA/V要素にピン止めすることができ、A/V要素の座標を追跡することができる。
【００７３】
図11に示すように、編集システム1105は、ビデオ入力1110から受信されたビデオを使用して所望のタイムラインにおいてエディタによって編成されたA/V要素の合成物、および追跡システム1115から受信されたA/V要素の空間データ(または、ピン止めされたポイント/座標および/または減衰範囲)をタイムライン上のA/V要素の異なる位置に関連付けることによって、エディタによってタイムライン上のA/V要素の異なる位置に割り当てられた触覚効果に基づいて触覚トラックを生成する触覚トラック生成器1125を含む。
【００７４】
触覚効果は、編集システム1105内の触覚効果データベース1127から取得することができる。あるいは、外部ソースから触覚効果を取得することができる。
【００７５】
触覚効果は、上記で説明したように、たとえば、全周囲、視点(「POV」)、キャラクター選択、キャラクターの注視、タッチ、強調された3次元(「3D」)オブジェクト、および/またはアクチュエータ選択など、エディタが、ハプティクスがどのように与えられることを望むかに基づいて、割り当てることができる。
【００７６】
触覚を有する追跡されないA/V要素がある場合、触覚トラック生成器1125は、対応する触覚効果を触覚トラックに挿入する。
【００７７】
追跡される追加のA/V要素がある場合、ビデオは再度再生され、追跡システム1115は再生中にA/V要素のポイントをピン止めする。あるいは、追跡システム1115は、ビデオの再生中に複数のA/V要素を追跡するように構成することができる。
【００７８】
触覚再生トラック生成器1130は、触覚再生トラック、およびオプションでメタデータファイルを生成する。触覚再生トラックは、単一の混合触覚トラックまたは複数の触覚トラックから成り得る。たとえば、単一の混合触覚トラックは、1つもしくは複数の追跡されたA/V要素、および/または1つもしくはいくつかの追跡されないA/V要素から成り得る。メタデータファイルは、空間データおよび触覚再生トラックを含み得る。
【００７９】
触覚再生トラック生成器1130は、触覚再生トラック、複数の触覚再生トラックを含む触覚ファイル、およびオプションでメタデータファイルのうちの1つまたは複数を触覚対応デバイス1135に出力する。
【００８０】
編集システム1105は、触覚対応デバイス1135に電気的にかつ無線で接続することができる。触覚対応デバイス1135は、モバイルデバイス、コンソール、コンピュータ、ハンドヘルドゲームコントローラ、VR/ARコントローラ、または別の周辺デバイス(たとえば、ゲームパッド、コンピュータマウス、トラックボール、キーボード、タブレット、マイクロフォン、およびヘッドセット、またはウェアラブル)とすることができる。
【００８１】
触覚効果は、触覚対応デバイス1135によって適用される。触覚効果は、振動触知できる触覚効果、変形触覚効果、超音波触覚効果、および/または静電摩擦触覚効果として適用することができる。触覚効果の適用は、触知、変形、超音波および/または静電気ソースを使用した振動の適用を含むことができる。
【００８２】
例示的な実施形態による触覚対応デバイス1135は、触覚出力デバイス1145も含むことができる。触覚出力デバイス1145は、触覚駆動信号に応答して、たとえば振動触知できる触覚効果、静電摩擦触覚効果、変形触覚効果、超音波触覚効果など任意の形態の触覚効果を出力するように構成された機構を含むデバイスである。
【００８３】
触覚出力デバイス1145は、触覚効果を適用するために、圧電アクチュエータまたは電気活性ポリマー(「EAP」)アクチュエータなどの電気機械アクチュエータとすることができる。例示的な一実施形態では、圧電アクチュエータは、セラミックアクチュエータまたはマクロファイバ合成(「MFC」)アクチュエータとすることができる。しかしながら、例示的な実施形態はこれに限定されない。たとえば、触覚出力デバイス1145に加えて、電気モーター、電磁アクチュエータ、ボイスコイル、形状記憶合金、ソレノイド、偏心回転質量モーター(「ERM」)、線形共振アクチュエータ(「LRA」)、または高帯域幅アクチュエータを使用することができる。
【００８４】
代替の例示的な実施形態では、直流(「DC」)モーターを、触覚出力デバイス1145に代えて、またはそれに加えて、振動を適用するために使用することができる。
【００８５】
他の例示的な実施形態では、触覚対応デバイス1135は、触覚効果を適用するための非機械デバイスを含むことができる。非機械デバイスは、実際の(または自然の)動きを生成する感覚刺激と同じレートで電流を発射することを使用して筋紡錘を励起するために、ユーザの筋紡錘の近くに埋め込まれた電極、静電気摩擦(「ESF」)または超音波表面摩擦(「USF」)を使用するデバイス、超音波触覚トランスデューサにより音響放射圧を誘導するデバイス、触覚基板と、柔軟なまたは変形可能な表面または形状変化デバイスとを使用し、個人の身体に取り付けることができるデバイス、強制空気(たとえば、空気ジェットを使用した一吹きの空気)、レーザーベースの発射物、音ベースの発射物などの発射された触覚出力を提供するデバイスなどを含むことができる。
【００８６】
例示的な一実施形態によれば、レーザーベースの発射物は、レーザーエネルギーを使用して、プラズマ(正および負の粒子の濃縮混合物)を提供するように、空中の濃縮領域内の空気分子をイオン化する。レーザーは、非常に速く非常に強いペースでパルスを放出するフェムト秒レーザーとすることができる。レーザーが速くなればなるほど、人間が触れるのがより安全になる。レーザーベースの発射物は、触覚でインタラクティブなホログラムとして現れ得る。プラズマが個人の皮膚と接触すると、個人は濃縮領域内の励起された空気分子の振動を感知することができる。個人の皮膚に対する感覚は、個人が空中でプラズマと相互作用するときに生成される波によって引き起こされる。したがって、個人をプラズマ濃縮領域にさらすことによって、触覚効果を個人に提供することができる。代替または追加として、指向性のある音エネルギーによって生成された振動に個人をさらすことによって、触覚効果を個人に提供することができる。
【００８７】
図12は、例示的な一実施形態によるリアルタイムのホストシステムのブロック図である。
【００８８】
図12を参照すると、例示的な実施形態によるリアルタイムホストシステム1200は、仮想現実/拡張現実システムまたは任意のリアルタイム編集システムとすることができる。ホストシステム1200は、触覚トラック入力1210を介して触覚トラックを受信するリアルタイム触覚設計システム1205を含む。リアルタイム触覚設計システム1205は、NLEとすることができる。ビデオは、360度ビデオとすることができる。
【００８９】
触覚トラックの空間コンテンツは、抽出器1215によって3D空間環境、VR/AR環境、またはリアルタイム編集環境に抽出され、ディスプレイ1220上に与えられる。
【００９０】
触覚放出体配置システム1217は、触覚放出体を生成し、ディスプレイ1220上に表示された環境に触覚放出体を配置する。触覚放出体は、空間環境において波形または形状を描くことによって、作成され、それぞれの環境に配置され得る。
【００９１】
触覚放出体は、対応するビデオ内のA/V要素に割り当てられる。触覚効果についての減衰範囲を設定することができる。
【００９２】
たとえば、図15を参照すると、それは例示的な一実施形態による触覚編集ウィンドウの画像であり、2次ウィンドウ1510は、触覚放出体の変化領域/減衰を表す。羽付きエッジ1520は、触覚放出体の減衰を表す。
【００９３】
例示的な一実施形態では、パーティクルエフェクトライブラリ1230からのパーティクルエフェクトをビデオ内のA/V要素に割り当てることができる。
【００９４】
ビデオ内の所望のタイムラインの位置が決定される。
【００９５】
触覚トラックエディタ1225は、ビデオの再生中に触覚放出体/パーティクルエフェクトを移動し、位置決めする間、触覚放出体/パーティクルエフェクトの空間データを取得し、触覚放出体/パーティクルエフェクトの空間データをタイムライン上のA/V要素の異なる位置に関連付けることによって、触覚トラックを変調または編集する。触覚トラックの変調は、リアルタイムで行うことができる。
【００９６】
触覚放出体/パーティクルエフェクトが微調整を必要とする場合、ビデオは、微調整器1227によって中止され、調整される。
【００９７】
触覚放出体の微調整は、触覚効果の少なくとも1つのパラメータ(たとえば、位置、大きさ(または強度)、周波数、持続時間など)の変化を引き起こす可能性がある。
【００９８】
例示的な一実施形態によれば、特定の触覚効果を定義する高水準パラメータは、位置、大きさ、周波数、および持続時間を含む。ストリーミングモーターコマンドのような低レベルのパラメータも、触覚効果を与えるために使用することができる。これらのパラメータの何らかの変動は、触覚効果の感触を変える可能性があり、および/または、さらに触覚効果を「動的」とみなさせることができる。
【００９９】
パーティクルエフェクトの微調整は、パーティクルエフェクトのパラメータを調整することを含むことができる。パーティクルエフェクトのパラメータは、たとえば、スポーンレート(単位時間あたりに生成されるパーティクルの数)、パーティクルの初期速度ベクトル(作成時に放出される方向)、パーティクルの寿命(各個々のパーティクルが消滅するまでの時間の長さ)、パーティクルの色を含み得る。パラメータは、中央値と中央値の両側で許容されるランダム性の程度(つまり、平均パーティクルの寿命は50フレーム±20%である)をエディタが指定することによって(正確な数値とは対照的に)「ファジィ」にすることができる。
【０１００】
触覚放出体/パーティクルエフェクトの微調整後、触覚再生トラックは、触覚再生トラック生成器1230によって生成される。空間データを含むメタデータファイルを生成することもできる。
【０１０１】
触覚再生トラック生成器1230は、触覚再生トラックおよびメタデータファイルを、触覚対応デバイス1235に出力する。
【０１０２】
例示的な実施形態による触覚対応デバイス1235は、触覚出力デバイス1245も含むことができる。触覚出力デバイス1245は、任意の形態の触覚効果を出力するように構成された機構を含むデバイスである。
【０１０３】
図13は、例示的な一実施形態による電子デバイスにおける触覚設計システムのブロック図である。
【０１０４】
図13を参照すると、例示的な一実施形態による電子デバイス内のシステム1300は、デバイスの触覚編集機能を提供する。
【０１０５】
単一のシステムとして示されているが、システム1300の機能は、分散型システムとして実現することができる。システム1300は、バス1304または情報を伝達するための他の通信機構と、情報を処理するためにバス1304に結合されたプロセッサ1314とを含む。プロセッサ1314は、任意のタイプの汎用プロセッサまたは特定目的プロセッサとすることができる。システム1300は、プロセッサ1314によって実行される情報および命令を記憶するためのメモリ1302をさらに含む。メモリ1302は、ランダムアクセスメモリ(「RAM」)、リードオンリメモリ(「ROM」)、磁気ディスクまたは光ディスクのような静的ストレージ、または任意の他のタイプの非一時的コンピュータ可読媒体の任意の組み合わせから成り得る。
【０１０６】
非一時的コンピュータ可読媒体は、プロセッサ1314によってアクセス可能な任意の利用可能な媒体とすることができ、揮発性および不揮発性媒体の両方、取外し可能および取外し不能媒体、通信媒体、および記憶媒体を含むことができる。通信媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または搬送波もしくは他の搬送機構などの変調データ信号内の他のデータを含むことができ、当技術分野で知られている任意の他の形態の情報伝達媒体を含むことができる。記憶媒体は、RAM、フラッシュメモリ、ROM、消去可能プログラマブルリードオンリメモリ(「EPROM」)、電気消去可能プログラマブルリードオンリメモリ(「EEPROM」)、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスクリードオンリメモリ(「CD-ROM」)、または当技術分野で知られている記憶媒体の任意の他の形態を含むことができる。
【０１０７】
例示的な一実施形態によれば、メモリ1302は、プロセッサ1314によって実行されると機能を提供するソフトウェアモジュールを記憶する。ソフトウェアモジュールは、システム1300のためのオペレーティングシステム機能を提供するオペレーティングシステム1306、ならびに残りの電子デバイスを含む。ソフトウェアモジュールは、(上述のように)触覚混合および変調機能を提供する触覚設計システム1305も含むことができる。しかしながら、例示的な実施形態はこれに限定されない。たとえば、触覚設計システム1305は、たとえば、電子デバイスと通信する中央ゲームコンソールにおいて、電子デバイスの外部にあってもよい。ソフトウェアモジュールは、ビデオ触覚変換アルゴリズムなど他のアプリケーション1308をさらに含む。
【０１０８】
システム1300は、赤外線、無線、Wi-Fi、またはセルラーネットワーク通信のための無線ネットワーク通信を提供する通信デバイス1312(たとえば、ネットワークインターフェースカード)をさらに含むことができる。あるいは、通信デバイス1312は、有線ネットワーク接続(たとえば、ケーブル/Ethernet/光ファイバー接続、またはモデム)を提供することができる。
【０１０９】
プロセッサ1314はさらに、バス1304を介して、グラフィック表現を表示するための視覚ディスプレイ1320またはエンドユーザへのユーザインターフェースに結合される。視覚ディスプレイ1320は、プロセッサ1314との間で信号を送受信するように構成されたタッチセンシティブ入力デバイス(すなわち、タッチスクリーン)であってもよく、マルチタッチタッチスクリーンであってもよい。
【０１１０】
システム1300は、触覚対応デバイス1335をさらに含む。プロセッサ1314は、触覚効果に関連する触覚信号を、触覚対応デバイス1335に送信することができ、触覚対応デバイス1335は、ひいては触覚効果(たとえば、振動触知できる触覚効果または変形触覚効果)を出力する。
【０１１１】
いくつかの例示的な実施形態は、仮想現実(「VR」)/拡張現実(「AR」)システムまたはリアルタイム編集システムを使用して、他の例示的な実施形態では編集システムを使用して説明されているが、実施形態は、同じワークフローで一緒に使用することができる。
【０１１２】
例示的な実施形態によれば、触覚データは、ユーザ入力/出力の位置、設計された触覚トラック、選好およびハードウェアに基づいてリアルタイムで混合され、変調される。動的な360度のコンテンツの部分は、たとえば、ユーザのFOVを予測することができないので、リアルタイムで混合して変調することが望ましい。
【０１１３】
例示的な実施形態によれば、触覚フィードバックは、A/V要素の複数の位置を触覚放出体と相互参照することによって、またはA/V要素のピン止めされた位置にハプティクスを割り当てることによって空間化されたハプティクスから設計される。
【０１１４】
上記は、様々な例示的な実施形態を例示するものであり、それらの限定的なものと解釈すべきではない。したがって、そのような変更のすべては、特許請求の範囲において規定されている本開示の範囲内に含まれるものとする。
【符号の説明】
【０１１５】
100  ハプティクス
1105  編集システム
1110  ビデオ入力
1115  追跡システム
1120  視覚ディスプレイ
1125  触覚トラック生成器
1127  触覚効果データベース
1130  触覚再生トラック生成器
1135  触覚対応デバイス
1145  触覚出力デバイス
1200  リアルタイムホストシステム
1205  リアルタイム触覚設計システム
1210  触覚トラック入力
1215  抽出器
1217  触覚放出体配置システム
1220  ディスプレイ
1225  触覚トラックエディタ
1227  微調整器
1230  パーティクルエフェクトライブラリ
1230  触覚再生トラック生成器
1235  触覚対応デバイス
1245  触覚出力デバイス
1300  システム
1302  メモリ
1304  バス
1305  触覚設計システム
1306  オペレーティングシステム
1308  他のアプリケーション
1312  通信デバイス
1314  プロセッサ
1320  視覚ディスプレイ
1335  触覚対応デバイス
1410  プレビューウィンドウ
1420  追跡ウィンドウ
1510 2次ウィンドウ
1520  羽付きエッジ
【図１】
2019121368.tif 000003
【図２】
2019121368.tif 000004
【図３】
2019121368.tif 000005
【図４】
2019121368.tif 000006
【図５】
2019121368.tif 000007
【図６】
2019121368.tif 000008
【図７】
2019121368.tif 000009
【図８】
2019121368.tif 000010
【図９】
2019121368.tif 000011
【図１０】
2019121368.tif 000012
【図１１】
2019121368.tif 000013
【図１２】
2019121368.tif 000014
【図１３】
2019121368.tif 000015
【図１４】
2019121368.tif 000016
【図１５】
2019121368.tif 000017
【図１６】
2019121368.tif 000018
【外国語明細書】
2019121368000001.pdf