(57)【要約】【課題】自動局所触覚生成システムを提供すること。【解決手段】ビデオデータを受信することと、このビデオデータ内のビデオイベントを検出することとを含む、局所触覚効果を動的に生成する方法及びシステム。検出されたビデオイベントの少なくとも位置及びタイプを含む情報が収集される。情報の収集には、ビデオデータにおけるユーザーのアバターの少なくとも位置及び方位も含まれる。第１の触覚出力デバイス及び第２の触覚出力デバイスのロケーションが特定される。触覚効果は、第１の触覚出力デバイス及び第２の触覚出力デバイスに対して動的に生成され、触覚効果の動的生成は、第１の触覚出力デバイス及び第２の触覚出力デバイスのロケーション、並びにビデオイベントの位置及びタイプに関係するユーザーのアバターの位置及び方位に基づいている。【選択図】図２
2018136938.tif 000002
【特許請求の範囲】
【請求項１】
ビデオデータのユーザーに対応するアバター位置及びアバター方位を有するアバターを含む該ビデオデータを受信することと、
前記ビデオデータ内のビデオ位置及びイベントタイプを有するビデオイベントを検出することと、
前記ユーザーに関連付けられた、第１の触覚出力デバイスの第１のロケーション及び第２の触覚出力デバイスの第２のロケーションを特定することと、
前記イベントタイプ、前記第１のロケーション及び前記第２のロケーション、並びに前記ビデオ位置に関係する前記アバター位置及び前記アバター方位に基づいて、前記第１の触覚出力デバイスへの第１の触覚効果及び前記第２の触覚出力デバイスへの第２の触覚効果を生成することと、
を含む、触覚効果を生成する方法。
【請求項２】
前記ビデオイベントを前記検出することは、該ビデオイベントの開始時刻、終了時刻及び３次元位置を自動的に生成することを含む、請求項１に記載の方法。
【請求項３】
前記３次元位置は、前記アバターと前記ビデオイベントとの間の相対距離及び相対方向である、請求項２に記載の方法。
【請求項４】
前記ビデオイベントを前記検出することは、外部センサーを利用する、請求項１に記載の方法。
【請求項５】
前記ビデオイベントを前記検出することは、ソースコードを利用する、請求項１に記載の方法。
【請求項６】
前記ビデオイベントを前記検出することは、該ビデオイベントの開始時刻、終了時刻及び３次元位置を手動で生成することを含む、請求項１に記載の方法。
【請求項７】
情報を収集することは、対面方向及び頭部回転を含む、前記アバターの位置及び方位を含む、請求項１に記載の方法。
【請求項８】
前記アバターの前記位置及び前記方位は、前記ユーザーの実際の位置及び実際の方位から独立したものである、請求項７に記載の方法。
【請求項９】
前記アバターの前記位置及び前記方位は、前記ユーザーの実際の位置及び実際の方位に依存する、請求項７に記載の方法。
【請求項１０】
前記第１の触覚出力デバイスの前記第１のロケーション及び前記第２の触覚出力デバイスの前記第２のロケーションは、前記ユーザー上の配置の特定を含む、請求項１に記載の方法。
【請求項１１】
前記第１の触覚出力デバイスに対する前記第１の触覚効果を前記生成することは、前記第２の触覚出力デバイスに対する前記第２の触覚効果を前記生成することと異なる、請求項１に記載の方法。
【請求項１２】
前記第１の触覚出力デバイスは、タイミング及び強度の観点で、前記第２の触覚効果と異なる、請求項１に記載の方法。
【請求項１３】
前記第１の触覚効果及び前記第２の触覚効果を前記生成することは、前記アバターの前記位置及び前記方位の変化に起因して変更される、請求項１に記載の方法。
【請求項１４】
前記ビデオデータは、仮想現実を用いて生成される、請求項１に記載の方法。
【請求項１５】
プロセッサによって実行されると、該プロセッサに触覚効果を生成させる命令を記憶したコンピューター可読媒体であって、前記生成することは、
ビデオデータのユーザーに対応するアバター位置及びアバター方位を有するアバターを含む該ビデオデータを受信することと、
前記ビデオデータ内のビデオ位置及びイベントタイプを有するビデオイベントを検出することと、
前記ユーザーに関連付けられた、第１の触覚出力デバイスの第１のロケーション及び第２の触覚出力デバイスの第２のロケーションを特定することと、
前記イベントタイプ、前記第１のロケーション及び前記第２のロケーション、並びに前記ビデオ位置に関係する前記アバター位置及び前記アバターの方位に基づいて、前記第１の触覚出力デバイスへの第１の触覚効果及び前記第２の触覚出力デバイスへの第２の触覚効果を生成することと、
を含む、コンピューター可読媒体。
【請求項１６】
前記第１の触覚効果及び前記第２の触覚効果を前記生成することは、前記アバターの前記位置又は前記方位の変化に起因して変更される、請求項１５に記載のコンピューター可読媒体。
【請求項１７】
ビデオデータのユーザーに対応するアバター位置及びアバター方位を有するアバターを含む該ビデオデータを受信し、該ビデオデータ内のビデオ位置及びイベントタイプを有するビデオイベントを検出するように構成されたイベント検出器と、
前記ユーザーに関連付けられた、第１の触覚出力デバイスの第１のロケーション及び第２の触覚出力デバイスの第２のロケーションを特定するように構成されたアクチュエーター特定器と、
前記イベントタイプ、前記第１のロケーション及び前記第２のロケーション、並びに前記ビデオ位置に関係する前記アバター位置及び前記アバター方位に基づいて、前記第１の触覚出力デバイスへの第１の触覚効果及び前記第２の触覚出力デバイスへの第２の触覚効果を生成するように構成された動的触覚生成器と、
を備える、触覚効果生成システム。
【請求項１８】
前記イベント検出器は、前記ビデオイベントの３次元位置、並びに前記アバターと前記ビデオイベントとの間の相対距離及び相対方向を特定するように構成される、請求項１７に記載のシステム。
【請求項１９】
前記動的触覚生成器は、前記第２の触覚出力デバイスに対する前記第２の触覚効果を生成することと異なる前記第１の触覚出力デバイスに対する前記第１の触覚効果を生成するように構成される、請求項１７に記載のシステム。
【請求項２０】
前記動的触覚生成器は、前記アバターの前記位置及び前記方位の変化に起因して、前記第１の触覚効果及び前記第２の触覚効果を変更するように構成される、請求項１７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
１つの実施形態は、包括的には、触覚システムに関し、詳細には、自動局所触覚生成システムに関する。
【背景技術】
【０００２】
ハプティクス（haptics：触覚学）は、ユーザーに対して、力、振動及びモーション等の触覚フィードバック効果（例えば、「触覚効果」）を与えることによってユーザーの触覚の知覚を利用する、触知性及び力のフィードバック技術である。モバイルデバイス、タッチスクリーンデバイス、及びパーソナルコンピューター等のデバイスは、触覚効果を生成するように構成することができる。一般的に、触覚効果を生成することが可能な組み込みハードウェア（アクチュエーター等）に対する呼び出しは、デバイスのオペレーティングシステム（「ＯＳ」）内でプログラムすることができる。これらの呼び出しは、いずれの触覚効果を再生するかを指定する。例えば、ユーザーが、例として、ボタン、タッチスクリーン、レバー、ジョイスティック、ホイール又は他の何らかの制御装置を用いてデバイスとインタラクトする場合、デバイスのＯＳは、制御回路を通じて組み込みハードウェアに再生コマンドを送信することができる。そして、組み込みハードウェアは、適切な触覚効果を生成する。
【発明の概要】
【０００３】
本開示の一実施形態において、局所触覚効果を動的に生成する方法が提示される。本方法は、ビデオデータを受信することと、このビデオデータ内のビデオイベントを検出することとを含む。本方法は、検出されたビデオイベントの少なくとも位置及びタイプを含む情報を収集することによって続行する。また、本方法は、ビデオデータにおけるユーザーのアバターの少なくとも位置及び方位を保持する情報を収集することも含む。第１の触覚出力デバイス及び第２の触覚出力デバイスのロケーションが特定される。次に、本方法は、第１の触覚出力デバイスに対する第１の触覚効果及び第２の触覚出力デバイスに対する第２の触覚効果を動的に生成し、この第１の触覚効果及び第２の触覚効果の動的生成は、第１の触覚出力デバイス及び第２の触覚出力デバイスのロケーション、ビデオイベントの位置及びタイプに関係するユーザーのアバターの位置及び方位に基づいている。
【図面の簡単な説明】
【０００４】
【図１】本開示の一実施形態によるコンピューター／サーバーシステムのブロック図である。
【図２】本開示の一実施形態による、イベントを検出し、イベント及びユーザーデータを収集し、触覚出力デバイスのロケーションを特定し、そして局所触覚を動的に生成する、局所触覚効果生成システムのブロック図である。
【図３】本開示の一実施形態による、ユーザー上の触覚出力デバイスの配置を示す絵を用いた図である。
【図４】本開示の一実施形態による、３次元ゲーム空間内のビデオイベント、及びアバターの複数の座標がユーザー上の実世界での作動点にマッピングされた当該アバターの図である。
【図５】本開示の一実施形態による、ビデオイベントに関係するユーザー、又はユーザーのアバターの複数の方位の絵を用いた図である。
【図６】本開示の一実施形態による、３次元ゲーム空間内のビデオイベント、及びアバターの複数の座標がユーザー上の実世界での作動点にマッピングされた、図４と比較して回転された位置における、当該アバターの図である。
【図７】本開示の一実施形態による、局所触覚を自動的に生成するときの、図１のシステムの機能の流れ図である。
【発明を実施するための形態】
【０００５】
本明細書に組み込まれて本明細書の一部を形成する添付図面は、本発明を例示し、さらに、本記載とともに、本発明の原理を説明することと、関連技術（複数の場合もある）における当業者が本発明を製造及び使用することを可能にすることとに貢献する。
【０００６】
加えて、参照符号の最左桁によって、その参照符号が最初に登場する図面が特定される（例えば、参照符号「３１０」は、この付番された要素が、図３において最初にラベリングされるか又は最初に登場することを示す）。加えて、同一の参照符号を有し、その符号の後ろにアルファベット文字又は他の区別のためのマーキング（例えば、アポストロフィー）が続く要素は、構造、動作、又は形式の点では同一であるが、空間において異なる位置にある、又は異なる時点において再び現れるものとして特定される場合がある要素を示す。
【０００７】
１つの実施形態は、３次元仮想現実（「ＶＲ」）環境においてサラウンド触覚プレイバックを提供する。１つの実施形態において、複数の触覚出力デバイスは、ビデオ内のユーザーのアバターの位置及び方位に基づいて触覚エクスペリエンスをカスタマイズするように、３次元ＶＲビデオシステムと関連して実施される。１つの実施形態において、ビデオデータが受信され、このビデオデータ内のビデオイベントが検出される。アバターの位置、複数の触覚出力デバイスの位置、検出されたビデオイベントのタイプ、並びにビデオイベントの位置及び方位に基づいて、動的局所触覚が、各触覚出力デバイスに対して生成される。
【０００８】
本明細書に記載される実施形態が、特定の用途についての例示的な実施形態である一方、本発明は、それらの実施形態に限定されないことが理解されるべきである。本明細書で提供される教示が利用可能な当業者であれば、本発明の範囲内にある、更なる変更形態、用途、及び実施形態、並びに本発明が大きな有用性を有する更なる分野を認識するであろう。
【０００９】
図１は、一実施形態による、システム１００のブロック図を示している。１つの実施形態において、システム１００は、デバイスの一部であり、システム１００は、デバイスに対する、検出されたビデオイベントに基づく自動触覚効果を提供する。別の実施形態では、システム１００は、デバイスとは別個であり、デバイスに対する、検出されたビデオイベントに基づく自動触覚効果をリモートに提供する。単一のシステムとして示されているが、システム１００の機能は、分散システムとして実施することができる。システム１００は、バス１１５又は情報を通信する他の通信機構と、情報を処理する、バス１１５に連結されたプロセッサ１１１とを備える。プロセッサ１１１は、汎用プロセッサ又は特定用途向けプロセッサの任意のタイプとすることができる。システム１００は、情報と、プロセッサ１１１によって実行される命令とを記憶するメモリ１１６を更に備える。メモリ１１６は、ランダムアクセスメモリ（「ＲＡＭ」）、リードオンリーメモリ（「ＲＯＭ」）、磁気ディスク若しくは光学ディスク等の静的記憶装置、又は任意の他のタイプのコンピューター可読媒体の任意の組み合わせから構成することができる。
【００１０】
コンピューター可読媒体は、プロセッサ１１１がアクセスすることができる任意の利用可能な一時的媒体及び非一時的媒体とすることができ、揮発性媒体及び不揮発性媒体、リムーバブル媒体及び非リムーバブル媒体、通信媒体、並びに記憶媒体のいずれをも含むことができる。通信媒体は、コンピューター可読命令、データ構造、プログラムモジュール、又は搬送波若しくは他の伝送機構等の被変調データ信号における他のデータとすることができ、当該技術分野において既知の任意の他の形式の情報伝達媒体を含むことができる。記憶媒体は、ＲＡＭ、フラッシュメモリ、ＲＯＭ、消去可能プログラマブルリードオンリーメモリ（「ＥＰＲＯＭ」）、電気的消去可能プログラマブルリードオンリーメモリ（「ＥＥＰＲＯＭ」）、レジスター、ハードディスク、リムーバブルディスク、コンパクトディスクリードオンリーメモリ（「ＣＤ−ＲＯＭ」）、又は当該技術分野において既知の任意の他の形式の記憶媒体を含むことができる。
【００１１】
１つの実施形態において、メモリ１１６は、プロセッサ１１１によって実行されるときに機能を提供するソフトウェアモジュールを記憶する。モジュールは、一実施形態において、システム１００、及びデバイスの残りの部分にオペレーティングシステム機能を提供するオペレーティングシステム１１７を備える。モジュールは、以下でより詳細に開示されるように、ビデオイベントを自動的に検出するビデオイベント検出モジュール１１８を更に備える。或る特定の実施形態において、ビデオイベント検出モジュール１１８は、複数のモジュールを含むことができ、個々のモジュールのそれぞれは、ビデオイベントを検出する特定の個々の機能を提供する。例えば、ビデオイベント検出モジュール１１８は、色及びモーション解析に基づいて、ビジュアルオドメトリーに基づいて、又はスポーツセンサー（例えば、ウェアラブル心拍センサー、レーダー速度検出器等）若しくは任意の他の外部センサーに基づいて、イベントを検出する検出モジュールを含むことができる。データ収集器モジュール１１９は、ビデオデータ内のユーザーのアバターに関する情報を含む、検出されたビデオイベントに関連付けられたデータを収集するように構成される。ユーザーに関する収集されたデータは、アバターの位置、対面方向、頭部回転及び他の任意の動作を含む。また、収集されたデータは、外部センサーの使用を通じてユーザーに関連付けられたデータも含み、外部センサーは、アバターに関連付けられたデータから独立して又はこのデータに関連して用いることができる。ユーザー又はアバターの動作は、ビジュアルオドメトリー技術又は外部センサーを用いて解析することができる。検出されたビデオイベントに関する収集されたデータは、ターゲットイベント、イベントの開始時刻及び停止時刻、並びに３次元空間内のイベント位置／座標の捕捉を含むことができる。位置／座標は、ユーザー又はユーザーのアバターに対する相対関係において表現することもできる。
【００１２】
システム１００は、通常、１つ以上の追加のアプリケーションモジュール１２０も備え、触覚効果をオーディオ／ビジュアル入力に組み込む、Immersion Corp.社による「ＴｏｕｃｈＳｅｎｓｅ」アプリケーション等の、追加の機能を含む。
【００１３】
システム１００は、リモートソースからデータを送信／受信する実施形態において、ネットワークインターフェースカード等の通信デバイス１１３を更に備え、赤外線、無線、Ｗｉ−Ｆｉ、又はセルラーネットワーク通信等のモバイル無線ネットワーク通信を提供する。他の実施形態では、通信デバイス１１３は、Ｅｔｈｅｒｎｅｔ接続又はモデム等の有線ネットワーク接続を提供する。
【００１４】
プロセッサ１１１は、バス１１５を介して、ユーザーにグラフィック表現又はユーザーインターフェースを表示する、液晶ディスプレイ（「ＬＣＤ」）等のディスプレイ１２１に更に連結される。ディスプレイ１２１は、プロセッサ１１１から信号を送信及び受信するように構成された、タッチスクリーン等のタッチセンシティブ入力デバイスとすることができ、マルチタッチのタッチスクリーンとすることができる。プロセッサ１１１は、マウス又はスタイラス等の、ユーザーがシステム１００とインタラクトすることを可能にするキーボード又はカーソルコントロール１２４に更に連結することができる。
【００１５】
１つの実施形態において、システム１００は、アクチュエーター１２２を更に備える。プロセッサ１１１は、生成された触覚効果に関係付けられた触覚信号をアクチュエーター１２２に送信することができ、ひいては、アクチュエーター１２２は、振動触覚効果、静電摩擦触覚効果、又は変形触覚効果等の触覚効果を出力する。アクチュエーター１２２は、アクチュエーター駆動回路を備える。アクチュエーター１２２は、例えば、電気モーター、電磁アクチュエーター、ボイスコイル、形状記憶合金、電場応答性高分子、ソレノイド、偏心回転質量モーター（「ＥＲＭ」）、リニア共振アクチュエーター（「ＬＲＡ」）、圧電アクチュエーター、高周波数帯域アクチュエーター、電場応答性高分子（「ＥＡＰ」）アクチュエーター、静電摩擦ディスプレイ、又は超音波振動生成器とすることができる。代替的な実施形態では、システム１００は、アクチュエーター１２２に加えて、１つ以上の追加のアクチュエーターを備えることができる（図１には示されていない）。アクチュエーター１２２は、触覚出力デバイスの一例であり、ここで、触覚出力デバイスは、駆動信号に応答して、振動触覚効果、静電摩擦触覚効果、又は変形触覚効果等の触覚効果を出力するように構成されたデバイスである。代替的な実施形態では、アクチュエーター１２２は、何らかの他のタイプの触覚出力デバイスに取り替えることができる。さらに、他の代替的な実施形態では、システム１００は、アクチュエーター１２２を備えない場合があり、システム１００とは別個のデバイスが、アクチュエーター、又は触覚効果を生成する他の触覚出力デバイスを備え、システム１００は、生成された触覚効果信号を、通信デバイス１１３を通じてそのデバイスに送信する。
【００１６】
システム１００は、データベース１３０に動作可能に更に連結することができ、ここで、データベース１３０は、メモリ１１６によって用いられるデータを記憶するように構成することができる。データベース１３０は、オペレーショナルデータベース、解析データベース、データウェアハウス、分散データベース、エンドユーザーデータベース、外部データベース、ナビゲーショナルデータベース、インメモリデータベース、ドキュメント指向データベース、リアルタイムデータベース、リレーショナルデータベース、オブジェクト指向データベース、又は当該技術分野において既知の任意の他のデータベースとすることができる。
【００１７】
１つの実施形態において、システム１００は、１つ以上のスピーカー１２６を更に備える。プロセッサ１１１は、オーディオ信号をスピーカー１２６に送信することができ、ひいては、スピーカー１２６は、オーディオ効果を出力する。スピーカー１２６は、例えば、ダイナミックラウドスピーカー、動電ラウドスピーカー、圧電ラウドスピーカー、磁歪ラウドスピーカー、静電ラウドスピーカー、リボンプラナー（ribbon and planar）磁気ラウドスピーカー、屈曲波ラウドスピーカー、フラットパネルラウドスピーカー、ヘイルエアモーショントランスデューサー、プラズマアークスピーカー、及びデジタルラウドスピーカーとすることができる。
【００１８】
１つの実施形態において、システム１００は、センサー１２８を更に備える。センサー１２８は、或る形態のエネルギー、又は、限定はされないが、加速度、生体信号、距離、流れ、力／圧力／歪み／屈曲、湿度、線形位置、方位／傾斜、無線周波数、回転位置、回転速度、スイッチの操作、温度、振動、若しくは可視光強度等の他の物理的特性を検出するように構成することができる。センサー１２８は、検出されたエネルギー又は他の物理的特性を、電気信号、又は仮想センサー情報を表す任意の信号に変換するように更に構成することができる。センサー１２８は、限定はされないが、加速度計、心電図、脳電図、筋電図、眼電図、エレクトロパラトグラフ（electropalatograph：電子口蓋図）、ガルバニック皮膚反応センサー、静電容量センサー、ホール効果センサー、赤外線センサー、超音波センサー、圧力センサー、光ファイバーセンサー、曲げセンサー（又は屈曲センサー）、感圧センサー、ロードセル、ＬｕＳｅｎｓｅ  ＣＰＳ２  １５５、小型圧力トランスデューサー、圧電センサー、歪みゲージ、湿度計、線形位置タッチセンサー、線形ポテンショメーター（又はスライダー）、線形可変差動変圧器、コンパス、傾斜計、磁気タグ（又は無線周波数識別タグ）、ロータリーエンコーダー、ロータリーポテンショメーター、ジャイロスコープ、オンオフスイッチ、温度センサー（気温計、熱電対、抵抗温度検出器、サーミスタ、又は温度変換集積回路等）、マイクロフォン、光度計、高度計、生体モニター、又は光依存抵抗器等の任意のデバイスとすることができる。
【００１９】
一般的に、オーディオ及び／又はビデオデータを含む、知覚性のマルチメディアデータから触覚効果を生成する自動触覚変換アルゴリズムは、特定のイベントに対するカスタマイズ又は適合された効果を欠いている。本開示において提示される実施形態は、種々の検出技術及び関係するアルゴリズム技術を用いて、自動的に特定のビデオイベントに対する触覚効果を動的に適合する機能を導入する。
【００２０】
一般的に、幾つかの既知のシステムが、仮想現実環境又は拡張現実環境において触覚効果を提供することができる。仮想現実は、ソフトウェアを用いて、実環境を複製する（又は想像上の設定を生み出す）現実感のあるイメージ、サウンド、及び他の感覚を生成し、ユーザーが、専用ディスプレイスクリーン、プロジェクター、又は他のデバイスを用いてこの空間及びこの空間内で示される任意の物体とインタラクトすることを可能にすることによって、この環境におけるユーザーの物理的な「存在」をシミュレートすることを指す。仮想現実は、Facebook社のＯｃｕｌｕｓ  Ｒｉｆｔ（登録商標）、Sony社のＰｒｏｊｅｃｔ  Ｍｏｒｐｈｅｕｓ、及びSamsung社のＧｅａｒ  ＶＲ（登録商標）等のシステムによって提供することができる。拡張現実は、その要素がサウンド、ビデオ、グラフィックス、ＧＰＳデータ等のコンピューターによって生成された知覚性入力によって拡張（又は補足）された物理的な実世界環境の直接又は間接のライブビューを指す。拡張現実は、Google社のＧｏｏｇｌｅ  Ｇｌａｓｓ（登録商標）、Daqri社のＤａｑｒｉ  Ｓｍａｒｔ  Ｈｅｌｍｅｔ、又はEpson社のＭｏｖｅｒｉｏ（登録商標）等のスマートグラスによって提供することができる。加えて、複合現実（ハイブリッド現実とも称される）は、実世界及び仮想世界を統合して、物理的物体及びデジタル仮想物体が共存し、リアルタイムでインタラクトする新たな環境及び視覚化を生成することを指す。拡張現実とは異なり、複合現実における仮想物体は、実際の物体とインタラクトしており、単に実際の物体の頂面上の仮想オーバーレイとして追加されるわけではない。複合現実は、Microsoft社のＨｏｌｏＬｅｎｓ（登録商標）等のシステムによって提供することができる。
【００２１】
幾つかの既知のシステムは、予め構成されたコントローラーを介して仮想現実システム、拡張現実システム、又は複合現実システムのユーザーに触覚フィードバックを提供する。しかしながら、これらの既知のシステムの各々によって提供される触覚フィードバックは、各システムに付属する予め構成されたコントローラーに制限され、このコントローラーによって制約を受ける。さらに、「Ｖｉｖｅ」及び「Ｔｏｕｃｈ」等の、これらのコントローラーのうちの幾つかは、同一のタイプのアクチュエーターを用いているが、それらの各々は、モーターに命令し、このモーターに電圧を送るために、それぞれ異なる独自仕様のアプリケーションプログラミングインターフェース（「ＡＰＩ」）方法を実施する。結果として、一方のデバイス上で触覚フィードバックによって提供された感触は、他方のデバイス上で触覚フィードバックによって提供された感触と異なる場合がある。
【００２２】
既知のシステムとは対照的に、本開示における実施形態は、ユーザーが、触覚フィードバックをユーザーエクスペリエンスに加えて体験することを可能にし、それによって、ユーザーは、仮想環境内のユーザーのアバターの位置、ユーザー上の触覚出力デバイスの配置、イベントタイプ及びイベント位置に基づいてより現実感がある、サラウンドベースの触知性環境を体験することができるようになっている。さらに、一般的に、オーディオデータ及び／又はビデオデータを含む知覚性マルチメディアデータから触覚効果を生成する自動触覚変換アルゴリズムでは、ビデオイベントに関係するユーザーの位置及び方位に基づいた特定のイベントに対するカスタマイズされた又は適合された３次元効果が不十分である。本開示において提示される実施形態は、特定のビデオイベントに対する３次元現実内の触覚効果を自動的かつ動的に適合する能力を導入する。
【００２３】
図２は、一実施形態による触覚効果生成システム２００のブロック図である。触覚効果生成システム２００は、イベント検出器２１０、イベントデータ収集器２２０、ユーザーデータ収集器２３０、アクチュエーター特定器２４０、動的触覚生成器２５０、アクチュエーターシステム２６０、及びアクチュエーター２６５を備える。図２の一部又は全ては、図１のシステム１００によって実施することができる。
【００２４】
イベント検出器２１０は、ビデオデータを受信する。ビデオデータは、メディアファイル、ビデオコンテンツを含むデータストリーム、又は他の任意のタイプのメディアコンテンツファイルとすることができる。しかしながら、最低でも、ビデオデータは、何らかのビデオコンテンツを含む。ビデオデータが受信されると、次に、イベント検出器２１０は、受信されたビデオデータ内に保持されたビデオイベントを検出する。そのような検出は、ビデオ及びオーディオの双方を含むビデオデータを処理するビデオ処理アルゴリズムの使用によって達成される。そのようなアルゴリズムは、色及びモーション解析に基づくか、又はビジュアルオドメトリーに基づくか、又はスポーツセンサー、若しくは受信されたビデオデータ内の、ターゲットイベントとも称されるビデオイベントの開始時刻及び終了時刻を特定する他の任意の外部センサーに基づくことができる。さらに、イベント検知は、例えば、データストリームの受信に先立つ、オペレーター又はキュレーター（curator：管理人）による人間の介在によって、手動で達成することもできる。自動検出は、ビデオデータ及び／又はオーディオデータのみを用いて達成することもできる。
【００２５】
イベントデータ収集器２２０は、検出されたイベントに関するデータを捕捉及び収集するビデオ処理アルゴリズムを含む。そのようなデータは、イベントの３次元位置を含む。代替的に、絶対位置ではなく、イベントデータ収集器２２０内のアルゴリズムは、ビューアーとイベントとの間の距離及び角度方位等の相対位置を特定することもできる。また、イベントデータは、任意のイベント属性、又はタイムスタンプ、時間経過（temporal propagation：時間伝播）、空間伝播（spatial propagation）、時間スパン、イベントの性質等の他の特徴を含むこともできる。一実施形態において、ビューアーは、実際には、仮想現実環境内のユーザーのアバターである。
【００２６】
別の実施形態において、例えば設計者が、イベントデータパラメーターを手動で完成させることができる。そのような性能により、地震、又はビューアーの視界の外で起こる大規模な爆発等の、ビューアーが見ることができないイベントについての触覚効果を設計する潜在能力を有することが可能になる。さらに、イベントデータパラメーターは、外部センサーを通じて捕捉することもできる。また、イベントデータは、ソースコード、及び３次元ビデオ又はゲーム内で見出されるその関連付けられたパラメーターの使用を通じて収集することもできる。
【００２７】
イベントデータが収集された後、ユーザーデータ収集器２３０を用いて、ユーザー、ビューアー又はプレイヤーに関する情報が収集される。ユーザーデータ収集器２３０は、ビューアー／プレイヤーの位置、又はビデオ内のビューアー／プレイヤーのアバターの位置を含むデータを収集する。これには、対面方向、頭部姿勢、及びプレイヤー／ビューアーの身体又はアバターの他の任意の部分の姿勢を含むことができる。幾つかの実施形態において、実際のビューアーのロケーション及び方位は、アバターのロケーション及び／又は方位から独立したものである。他の実施形態において、アバターのロケーション及び方位は、実世界におけるビューアーのロケーション及び方位に依存しており、３次元ビデオにおいて、ユーザーデータ収集器２３０は、ビジュアルオドメトリー技術又は外部センサーを用いてビューアーの動作を解析することができる。そして、イベントデータ収集器２２０と同様に、ユーザーデータ収集器２３０は、ソースコードからユーザーデータを集めることができる。
【００２８】
アクチュエーター特定器２４０は、触覚出力デバイス又はアクチュエーターの数、ロケーション及びタイプを特定するように構成される。デバイス又はアクチュエーターの配置、タイプ及び数により、局所触覚の質が決定される。デバイスの数が多い程、ユーザーの、局所触覚の感覚は良好になる。触覚出力デバイスは、例えば、ウェアラブル技術の使用を介するか、ハンドヘルドコントローラー内に埋め込まれるか、又は椅子若しくは他の家具等の物体に統合されて、ユーザー上に位置することができる。加えて、触覚イリュージョン（haptic illusion）技術の使用によって合理的な局所触覚を、少数のアクチュエーターが生成することが可能である。
【００２９】
動的触覚生成器２５０は、イベント検出器２１０、イベントデータ収集器２２０、ユーザーデータ収集器２３０及びアクチュエーター特定器２４０の出力に基づいて、触覚出力デバイスに対する触覚効果コマンドを動的に生成する。動的触覚生成器２５０は、ターゲットイベント及び／又はビューアー及び／又はビューアー／プレイヤーのアバターの動作に基づいて効果を生成する。動的触覚生成器２５０は、利用可能な触覚出力デバイス（例えば、アクチュエーター）の数及び位置を解析して、各触覚出力デバイスに提供される動的局所触覚効果の適切なタイプを決定する。さらに、動的触覚生成器２５０は、各触覚出力デバイスに対する局所触覚効果を、リアルタイムで動的に生成することができる。例えば、ユーザー／プレイヤー及び／又はユーザー／プレイヤーのアバターが検出されたビデオイベント中に運動を起こした場合、局所触覚効果は、変化している運動に基づいて変更される。例えば、アバターの正面で爆発が生じた場合、ユーザーは、自身の身体の正面で反応を感じ取り、その後アバターが左を向いた場合、触覚効果は、ユーザーの身体の右半身にシフトする。
【００３０】
別の例において、リサ（Lisa）が、３次元アクション映画を鑑賞している。彼女は、局所触覚の体験を通じて爆発の方向及び距離を知覚し、これにより、彼女は、あたかも現実の場面にいるように感じる。彼女が映画内で視点を変えた場合、局所触覚は、これに応じて変化する。別の例において、マイク（Mike）が３次元ゲームをプレイしている。彼は、局所触覚を通じて、自身の頭部を振り向けることなく、ゲーム内のモンスターが彼の背後又は彼の左側／右側のどの程度の距離にいるのかをおおよそ把握することができる。局所触覚は、彼がモンスターから走って離れる若しくは近づく、又はゲーム内での自身の方向を変える場合、自動的に変化する。
【００３１】
アクチュエーターシステム２６０は、動的触覚生成器２５０から触覚コマンド又は命令を受信し、所望の触覚効果を生成するアクチュエーター２６５を動作させる。また、アクチュエーターシステム２６０は、１つ以上のドライバーも備える。
【００３２】
図３は、一実施形態による、局所触覚システム３００におけるユーザー上の触覚出力デバイスの有り得る配置の図示である。局所触覚システム３００は、ユーザー３１０上の触覚出力デバイス及び／又はセンサーを含む。触覚出力デバイス又はセンサーの配置は、作動点で参照される。一実施形態において、ユーザー３１０は、ユーザー３１０の頭部、胸部、左右の手、及び左右の足の上の、３１２−１〜３１２−７を含む、作動点３１２のロケーションを示している。配置は、ユーザー３１０のいかなる特定のロケーションにも制限されず、単に例示の目的で示されている。同様に、作動点は、ユーザー３１０の身体の任意の部分上とすることができる。
【００３３】
各作動点３１２は、触覚アクチュエーター、及びアクチュエーター特定器２４０と通信する（例えば、無線で又は有線を通じて）機能部を備えることができる。また、各作動点３１２は、その触覚アクチュエーターを駆動するために、電子機器及びソフトウェアも備える。触覚アクチュエーターは、本明細書において記載の任意の実施形態による触覚機能を提供することができる。例えば、触覚アクチュエーターは、振動、変形、熱、ＥＳＦ、又は当該技術分野において既知の他の任意のタイプの触覚作動を含む、触覚フィードバックを提供することができる。さらに、１つ以上の他の触覚出力デバイスを実装して、ユーザー３１０に付加的な触覚フィードバックを提供することができる。例えば、振動アクチュエーターを床タイルに埋め込むことができ、それにより、振動をユーザー３１０の足に伝達することができる。別の例として、超音波エミッターを壁に埋め込むことができ、それにより、触覚効果をユーザー３１０に放出する（project）ことができる。別の例として、拡張現実環境において、ペルチェセルを物理物体（例えば、ドアハンドル）内に組み込むことができ、それにより、ユーザー３１０が触れたときにその物理物体の温度を変化させることができる。代替的に又は付加的に、ゲームパッドコントローラー３４０、スマートフォン３３０、タッチパッドデバイス３２０、又は触覚アクチュエーターを含む他の任意のデバイスを用いて、付加的な触覚効果をユーザー３１０に提供することができる。
【００３４】
一実施形態において、作動点３１２は、有線又は無線通信を通じてアクチュエーターシステム２６０に接続されると、触覚効果を提供するコマンドを受信することができる。また、この作動点は、アクチュエーター特定器２４０と通信して、種々の情報、例えば、その性能、そのセンサー読み値等に関する情報を提供することもできる。
【００３５】
一実施形態において、作動点３１２は、振動アクチュエーター、運動感覚アクチュエーター、混合アクチュエーター（２つ以上のアクチュエータータイプを含む１つのデバイス）、ウェアラブルズ、投影触覚装置（projected haptics）等の異なる触覚アクチュエータータイプを含むことができる。
【００３６】
一実施形態において、局所触覚システム３００は、位置検知機能を実装し、作動点３１２の互いに対するロケーション、及び作動点３１２の３次元仮想空間内のロケーションを追跡する。磁気追跡（種々の方向における磁界の強度の測定）、音響追跡（既知の音響信号が既知の受信機に到達するのに要する時間の測定）、慣性追跡（加速度計及びジャイロスコープを用いるもの）、光学追跡（種々のカメラを用いて位置情報を取得するもの）等、又は他の任意の近接検知機能（物理接触を伴わない近位の物体の存在の検出）等の任意の既知の位置検知機能を局所触覚システム３００に実装して、作動点３１２を追跡することができる。１つの実施形態において、例えば、局所触覚システム３００は、位置及びモーション追跡機能を実装し、ユーザー３１０の存在を検出する及び／又はユーザー３１０の種々の身体部分を検出するカメラ又は深度センサー等の１つ以上のリモートセンサーを備える。
【００３７】
図４は、一実施形態による、局所触覚生成システム４００である。局所触覚生成システム４００は、仮想爆発点４１５として示されるビデオイベントを含む３次元ゲーム空間４１０、この３次元ゲーム空間内のアバター４２０、及び実世界における対応するユーザー４２２を示している。アバター４２０は、サンプル作動点４３０−１Ａ〜４３０−８Ａとともに示されている。アバターの作動点は、ユーザー４２２上の、４３０−１Ｂ〜４３０−８Ｂとして示されている実世界での作動点に対応する。さらに、ベクトル４４０は、仮想爆発点４１５からアバター作動点４３０−１Ａ〜４３０−８Ａの各々までの方向及び距離を示している。
【００３８】
局所触覚生成システム４００は、まず、仮想爆発点４１５において生じる仮想爆発として図４に示されるイベントを検出及び識別する。システムは、イベントを識別し、衝突又は爆発等のイベントのタイプを指定する。また、システムは、爆発が小規模であったか又は大規模であったか等の、イベントの大きさ又は範囲も識別する。また、システムは、３次元ゲーム空間４１０内の仮想爆発点４１５の絶対座標を指定すること、又は、ベクトル４４０−１〜４４０−７を計算して仮想爆発点４１５からアバター４２０上の各作動点４３０−１Ａ〜４３０−８Ａまでの相対距離を求めることも行う。また、ベクトル４４０−１〜４４０−７は、仮想爆発点４１５からアバター４２０上の作動点の各々までの強度も表すことができる。また、システム４００は、イベントからの距離に基づく仮想爆発点４１５の強度を規定する空間伝播スパンも含むことができ、例えば、爆発の強度がこの爆発の中心から指数関数的に減少する１００メートル半径内の任意のユーザーがこの爆発を感じ取ることができる。また、システム４００は、仮想爆発点４１５の開始時刻及び停止時刻を検出することもできる。また、システム４００は、時間経過スパンを求めることもでき、例えば、イベントは、３０秒の持続時間にわたって感じ取られるが、最初の５秒が最も強度が大きい。
【００３９】
システム４００によって検出された属性は、別個のトラック又はファイルとしてビデオとともに保存することもできるし、３次元ビデオ自体内に埋め込むこともできる。
【００４０】
一実施形態において、システム４００は、コンピュータービジョン方法を用いて、３６０度ビデオフレームを解析することによって、イベント４１５を検出する。この検出は、３６０度ビューを構成する、全て同一のタイムスタンプを有する１つ又は複数のフレームを用いて達成することができる。また、そのような解析は、３６０度ビデオを含む単一又は複数いずれかのビューから、同一のタイムスタンプを有するフレーム又は複数の連続フレームを用いて実行することもできる。このタスクについて、深層学習、パターンマッチング、オプティカルフロー解析、色及びモーション特徴解析等の、文献内で用いられる一般的なコンピュータービジョン技術を用いることができる。イベントが検出されると、その３次元ロケーションは、ステレオビジョン技術又はマルチアングルシーン再構成等で、同一のタイムスタンプを有する異なるビューに関するフレームを用いて推定することができる。また、イベントのサイズ等の、イベントの幾つかの特徴を同一の手法によって求めることもできる。システム４００によるそのような検出は、イベントがユーザーに可視である場合にユーザーに表示されるフレームを解析することによって、及び／又は、３次元ビデオエンジンにおいて利用可能な他の任意のフレームの使用を通じて、ユーザーがビデオを視認している間リアルタイムで行うことができる。また、検出は、オフラインで実行することもできる。
【００４１】
３次元ＶＲゲーミングに関する別の実施形態において、例えば、プレイヤーが爆弾を投げ込み、この爆弾が、この投げ込みの速度及び強さに関連するロケーションにおいて爆発するゲームプレイシナリオを与えられると、イベントの３次元ロケーションをリアルタイムで推定することができる。したがって、このイベントの特徴は、ゲームプレイエンジンによって提供される。また、システム４００は、前述したものと同一のコンピュータービジョン手法を用いてゲーム内のイベントの自動リアルタイム検出を提供することもできる。さらに、ゲーム設計者は、イベントの特徴の一部分を事前に指定することができ、その一方で他の部分はシステム４００によって推定される。加えて、イベントは、爆発又は衝突に限定されず、むしろ、何かが物体に単に触れることを含む、ユーザーが有する仮想環境との任意の具体的なインタラクションである。
【００４２】
システム４００は、ビューアーの３次元ステータスを示している。アバター４２０によって示される３次元ゲーム空間４１０内のユーザー４２２の位置及び方位は、３次元ビデオエンジンによって直接提供することができる。別の実施形態において、実世界におけるユーザー４２２の３次元ロケーション及び方位は、加速度計、ジャイロスコープ、ＲＦＩＤ、光学追跡等の複数のセンサーを用いて確定することができ、このロケーション及び方位は、システム４００に、又は前述した動的触覚生成器２５０に提供される。ユーザー４２２のステータスは、絶対座標又は相対参照座標における３次元位置を含むことができ、これは、単にユーザー４２２の位置を指すこともできるし、複数の身体部分のロケーション及び方位、又は各作動点（例えば、４３０−１Ｂ〜４３０−８Ｂ）のロケーションを参照することによってより局所化することもできる。
【００４３】
システム４００は、動的触覚生成器２５０等の動的触覚生成器を用いて、検出されたイベントの特徴、ユーザーのステータス、利用可能な触覚プレイバックデバイスを解析し、これに応じて、適切な触覚効果を生成する。触覚効果は、振動触知、ＥＳＦ、運動感覚、熱、超音波、エアパフ（air puffs）、変形等の、ユーザーに伝達される１つ以上の触覚キューの組み合わせを含む。実際には、システム４００は、触覚キューのタイプ、周波数、持続時間及び強度等の特定の特徴を有する効果を生成することができる。
【００４４】
そのような効果及び特徴は、以下の特徴に基づくものとすることができる。すなわち、
■イベントの３次元ロケーション及びユーザーの３次元ロケーションを用いて推定される、ユーザー４２２又はアバター４２０とイベントとの相対近接度、
・例えば、より近い場合のより高強度の（より強い）効果、対、より離れている場合のより低強度の（より弱い）効果、
■ユーザー４２２又はアバター４２０の視野、
・例えば、例としてユーザー４２２又はアバター４２０が、高強度の効果に変換されたイベントを目視している場合、ユーザーの頭部の３次元方位を用いて推定される、イベントに対面しているか否かについて、
■イベントの性質、
・例えば、爆発対衝突は、異なる振動の周波数、異なる熱フィードバックを通じて変換される異なる燃焼イベントを暗に意味する、
■イベントの大きさ、
・例えば、小規模の爆発が低強度の効果をもたらすこと、対、高強度爆発、
■利用可能な触覚プレイバックデバイスの性質、
・例えば、可能な場合には熱フィードバックの呈示、又は熱パッドが利用可能でない場合には熱フィードバックの振動触知効果への代替を判断する、
・ユーザーの身体部分の位置、
◆例えば、ユーザーの手が３次元燃焼イベントに十分接近している場合、ユーザーは、効果を感じ取ること、対、手が身体に接近している場合、ユーザーは何も感じ取らないこと、
■触覚プレイバックデバイスの分布、
・例えば、イベントがユーザーの足に近接していると、このイベントは、足に取り付けられたデバイス上でのみ感じ取られる、又はこのデバイス上で高強度でありかつ他の身体部分に関連するデバイス上で低強度であること。
【００４５】
要約すると、局所触覚生成に関して、システム４００は、可能な限り最も没入感の強い体験をユーザーに提供するように、全ての利用可能な情報をスマートな方法で組み合わせる。その上、触覚効果は、ユーザー４２２又はアバター４２０が仮想爆発点４１５に接近移動している場合のこの移動により効果の強度が増大する等の、任意の条件の変化を反映するように、動的に生成及び更新することができる。
【００４６】
別の実施形態において、システム４００は、触覚効果を生成するとき、触覚設計者の意図を考慮して組み込む。例えば、設計者は、「爆発が生じユーザーの手が自身の顔を覆い隠す場合、ユーザーは、自身の手に触覚効果を感じ取る」又は「ユーザーは、非常に遠くの距離での爆発を、たとえその中心から１００ｋｍも離れていても、高強度で感じ取るものとする」等の意図を表現することができる。したがって、設計者の意図は、上述の自動生成に優る優先度を有することができる。
【００４７】
システムは、イベントの何らかの既知の特徴（例えば、効果のタイプ）を与えられると事前に部分的な効果を生成することができ、その後、イベントに対するユーザーの相対ロケーションを与えられると呈示される最終的な効果を生成することができるので、触覚効果は、リアルタイムで生成することができるとともに、３次元ビデオに沿って、又はゲームプレイ中に及び／又は部分的にオフラインで（すなわち、ビデオに埋め込まれたタイムライン／トラックに又は別個に保存して）プレイバックすることができる。例えば、システムは、爆発が６０Ｈｚの周波数を有する５０ｍｓの振動触知効果を用いて拡張表現されることを宣言し、この爆発の強度は、後に、３Ｄゲーム空間４１０内でこの爆発に対するユーザーの近接性を与えられると、リアルタイムで求められる。
【００４８】
システム４００は、ユーザー４２２及びアバター４２０を、同一の相対位置において示している。論述したように、ユーザー４２２及びアバター４２０の位置は、互いに依存したものとすることができる。しかしながら、いかなるそのような依存も、存在する必要性はない。図５は、一実施形態による、アバター４２０を示すことができる、複数の異なる対面位置を示している。例えば、位置５１０は、図４におけるアバター４２０の位置と同一である。しかしながら、位置５１２〜５２４は、正面対面位置から動き、４５度の増分で時計回りに回転している、８分の１転回を示している。アバターの運動は、図に限定されず、むしろ、ユーザーの物理位置及びアバター４２０の物理位置は、独立したものとすることができる。
【００４９】
ユーザーの位置対アバター４２０の位置は、３つの異なるシナリオにおいて見ることができる。第１のものは、ユーザーの運動の結果、アバター４２０の運動がもたらされる場合であり、ここで、アバター４２０は、仮想現実空間内のユーザーを表す。第２のシナリオは、アバター４２０が転回しているがユーザーは運動していない等の、アバター４２０及びユーザーの運動が独立したものである場合である。第３のシナリオは、仮想現実環境内の１人称視点における等の、アバター４２０が存在しない場合である。このシナリオにおいて、ユーザーの運動、ジェスチャー、及び／又は知覚性情報は、仮想現実空間内のユーザーの位置を規定する。さらに、仮想現実環境は、（例えば、ゲームプレイ又はアニメーションのシーケンス等を与えられると）ユーザー及び／又はアバターを、ユーザーのいかなる運動も伴わずに仮想現実空間内の任意の３次元ロケーションに「仮想的にトランスポートする」ことができ、ここで、ロケーションは、仮想現実レンダラーによって提供される。加えて、ブレインコンピューターインターフェース（「ＢＣＩ」）を用いて、ユーザーがアバター４２０を制御することもできる。
【００５０】
図６は、一実施形態による、局所触覚生成システム６００である。局所触覚生成システム６００は、仮想爆発点６１５として示されているビデオイベントを含む３次元ゲーム空間６１０、この３次元ゲーム空間内のアバター６２０、及び実世界における対応するユーザー４２２（図４から）を示している。アバター６２０は、サンプル作動点６３０−１Ａ〜６３０−８Ａとともに示されている。アバターの作動点は、ユーザー４２２上の、６３０−１Ｂ〜６３０−８Ｂとして示されている実世界での作動点に対応する。さらに、ベクトル６４０は、仮想イベント点６１５からアバター作動点６３０−１Ａ〜６３０−８Ａの各々までの方向及び距離を示している。
【００５１】
システム６００は、図４に記載されるシステム４００と仮想的に同一である。しかしながら、ユーザー４２２が図４と同一の位置及び方位において示されている一方、アバター６２０は、時計回りに４５度回転している。運動に際して、ベクトル６４０によって示される距離は変化している。例えば、アバター６２０の右半身上の作動点、例えば、６３０−３Ａ、６３０−５Ａ及び６３０−７Ａは、図４における対応する点よりもイベント点６１５から離れている可能性がある。同様に、アバター６２０の左半身上の作動点、例えば、６３０−４Ａ、６３０−６Ａ及び６３０−８Ａは、図４における対応する点よりもイベント点６１５に接近している。したがって、接近移動した作動点は、離れたところにある作動点の触覚よりも高強度の触覚を受け取る。加えて、タイミングの観点から、イベント点６１５に接近している作動点は、イベント点６１５から離れたところにある作動点よりも、早期に触覚効果を感知する。
【００５２】
図７は、一実施形態による、局所触覚の自動生成のための、図１のシステム１００の機能での流れ図７００である。１つの実施形態において、図７の流れ図の機能は、メモリに記憶されたソフトウェア又は他のコンピューター可読若しくは有形媒体によって実施され、プロセッサによって実行される。他の実施形態では、機能は、ハードウェア（例えば、特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブルゲートアレイ（「ＰＧＡ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）等の使用を通じて）、又はハードウェア及びソフトウェアの任意の組み合わせによって実行することができる。
【００５３】
流れ図７００は、７１０において開始し、ここでビデオデータが受信される。図２において論述したように、ビデオデータは、任意のタイプのプロトコルとすることができるが、少なくともビデオデータを含む。一実施形態において、ビデオデータは、通信デバイス１１３を通じて受信されて、データベース１３０において記憶され、このデータベース１３０において、プロセッサ１１１は、受信されたビデオデータの解析を開始することができる。
【００５４】
７２０において、１つ以上のビデオイベントが検出される。そのような検出は、イベント検出を含む種々のイベント検出アルゴリズムを利用することができる、ビデオイベント検出モジュール１１８を用いて達成することができる。イベント検出は、色及びモーション解析に基づくか、又はビジュアルオドメトリーに基づくか、又はスポーツセンサー、若しくは受信されたビデオデータ内の、ターゲットイベントとも称されるビデオイベントの開始時刻及び終了時刻を特定する他の任意の外部センサーに基づくことができる。
【００５５】
７３０において、イベントデータが収集される。イベントデータは、検出されたイベントに関するデータを捕捉及び収集するビデオ処理アルゴリズムを含む。そのようなデータは、イベントの３次元位置を含む。または、絶対位置ではなく、イベントデータ収集器２２０内のアルゴリズムは、ビューアーとイベントとの間の距離及び角度方位等の相対位置を求める。別の実施形態において、イベントデータパラメーターを、手動で、例えば設計者によって、完成することができる。さらにまた、イベントデータは、任意のイベント属性、又は、タイムスタンプ、時間経過、空間伝播、時間スパン、イベントの性質等の他の特徴を含むこともできる。
【００５６】
７４０において、ユーザーデータが収集される。ユーザーデータの収集は、ビューアー／プレイヤーの位置、又はビデオ内のビューアー／プレイヤーのアバターの位置を含むデータを収集するユーザーデータ収集器２３０の使用を通じて達成することができる。これには、対面方向、頭部姿勢、及び、プレイヤー／ビューアーの身体又はアバターの他の任意の部分の姿勢を含むことができる。
【００５７】
７５０において、アクチュエーター情報が収集及び特定される。情報は、触覚出力デバイス又はアクチュエーターの数、ロケーション及びタイプを特定することを含むアクチュエーター特定器２４０を用いて収集及び特定することができる。論述したように、触覚出力デバイスは、例えば、ウェアラブル技術のユーザーを介するか、ハンドヘルドコントローラー内に埋め込まれるか、又は椅子若しくは他の家具等の物体に統合されて、ユーザー上に位置することができる。加えて、触覚イリュージョン技術の使用によって合理的な局所触覚を、少数のアクチュエーターが生成することが可能である。
【００５８】
７６０において、触覚コマンドの組が、収集されたビデオイベントデータ、ビューアー／プレイヤー情報、及びアクチュエーターデータに基づいて動的に生成される。この動的生成は、ターゲットイベント及び／又はビューアー及び／又はビューアー／プレイヤーのアバターの動作に基づいて触覚コマンドを生成する動的触覚生成器２５０の使用を通じて達成することができる。動的触覚生成器２５０は、利用可能な触覚出力デバイス（例えば、アクチュエーター）の数及び位置を解析して、各触覚出力デバイスに提供される動的局所触覚効果の適切なタイプを決定する。さらに、動的触覚生成器２５０は、各触覚出力デバイスに対する局所触覚効果コマンドを、リアルタイムで動的に生成することができる。
【００５９】
７７０において、動的に生成される触覚コマンドが生成される。そのような触覚効果生成は、触覚コマンド又は命令を、動的触覚生成器２５０から受け取り、所望の触覚効果を生成するアクチュエーター２６５を作動させるアクチュエーターシステム２６０を用いて達成することができる。
【００６０】
７８０において、ビューアー／プレイヤー情報における任意の変化が解析される。変化が検出される場合、７８５において、ビューアー／プレイヤー情報が、更新された触覚コマンドを生成するために更新される。例えば、感じ取られる触覚効果は、ユーザー４２２又はアバター４２０が仮想爆発点４１５に接近移動している場合のこの移動により効果の強度が増大する等の、任意の条件の変化を反映するように、動的に生成及び更新することができる。
【００６１】
７８０において変化したビューアー／プレイヤー情報がなかった場合、実施形態は、７９０に注目し、ビデオデータ内に任意の付加的な触覚フレーム又はコマンドがあるか否かを検査する。本方法は、続行して、残りのビデオイベントの全てをループして処理する。完了すると、プロセスは終了する。
【００６２】
論述したように、ビデオデータのユーザーに対応するアバターを含むビデオデータを受信することによる、局所触覚効果の動的生成を含む実施形態が開示された。ビデオデータ内のビデオイベントが検出され、イベント及びアバターに関する情報が収集される。この情報は、検出されたビデオイベントの位置及びタイプ、並びにアバターの位置及び方位を含むことができる。そして、ユーザー上の触覚出力デバイスのロケーション、ビデオイベントの位置及びタイプに関係するアバターの位置及び方位に基づいて、触覚効果が動的に生成される。
【００６３】
本願は、２０１７年２月１６日に出願された米国特許出願第１５／４３４，７５２号の利益を主張し、この開示は、引用することによりその全体が本明細書の一部をなす。
【００６４】
本明細書において、いくつかの実施形態が具体的に例示及び／又は記載されている。しかしながら、開示した実施形態の変更及び変形は、上記教示によって包含されており、本発明の趣旨及び意図された範囲から逸脱することなく添付の特許請求の範囲の適用範囲内にあることが理解されるであろう。
【図１】
2018136938.tif 000003
【図２】
2018136938.tif 000004
【図３】
2018136938.tif 000005
【図４】
2018136938.tif 000006
【図５】
2018136938.tif 000007
【図６】
2018136938.tif 000008
【図７】
2018136938.tif 000009
【外国語明細書】
2018136938.tif 000010
2018136938.tif 000011
2018136938.tif 000012
2018136938.tif 000013
2018136938.tif 000014
2018136938.tif 000015
2018136938.tif 000016
2018136938.tif 000017
2018136938.tif 000018
2018136938.tif 000019
2018136938.tif 000020
2018136938.tif 000021
2018136938.tif 000022
2018136938.tif 000023
2018136938.tif 000024
2018136938.tif 000025
2018136938.tif 000026
2018136938.tif 000027
2018136938.tif 000028
2018136938.tif 000029
2018136938.tif 000030
2018136938.tif 000031
2018136938.tif 000032
2018136938.tif 000033
2018136938.tif 000034
2018136938.tif 000035
2018136938.tif 000036
2018136938.tif 000037
2018136938.tif 000038
2018136938.tif 000039
2018136938.tif 000040
2018136938.tif 000041
2018136938.tif 000042
2018136938.tif 000043
2018136938.tif 000044
2018136938.tif 000045
2018136938.tif 000046
2018136938.tif 000047
2018136938.tif 000048