(57)【要約】【課題】ハプティック効果を生成するシステムを提供する。【解決手段】ハプティック効果を生成するシステムは、音声データ、ビデオデータ、または感覚データを含む入力メディアを受信する。システムは、入力メディアからハプティック効果トラックを自動的に生成する。その後システムは、チューニングされたハプティック効果トラックを生成するために、自動的に生成されたハプティック効果トラックに少なくとも一つのフィルタを適用する。【選択図】図１
2015185168.tif 000002
【特許請求の範囲】
【請求項１】
ハプティック効果を生成する方法であって、
音声データ、ビデオデータ、または感覚データの少なくとも一つを含む入力メディアを受信するステップと、
前記入力メディアからハプティック効果トラックを自動的に生成するステップと、
チューニングされたハプティック効果トラックを生成するために、自動的に生成された前記ハプティック効果トラックに少なくとも一つのフィルタを適用するステップと、
を含む、方法。
【請求項２】
前記フィルタは、自動的に生成された前記ハプティック効果トラックにおけるバンプを強調するステップを含む、請求項１に記載の方法。
【請求項３】
前記フィルタは、自動的に生成された前記ハプティック効果トラックの一つ以上のクリップにおける最後の効果を強調するステップを含む、請求項１に記載の方法。
【請求項４】
前記フィルタは、自動的に生成された前記ハプティック効果トラックのシーン間のハプティック効果を修正するステップを含む、請求項１に記載の方法。
【請求項５】
前記フィルタは、自動的に生成された前記ハプティック効果トラックのシーン間の遷移をハイライトするために、ハプティック効果を修正するステップを含む、請求項１に記載の方法。
【請求項６】
前記フィルタは、自動的に生成された前記ハプティック効果トラックの弱いハプティック効果をより弱く、または自動的に生成された前記ハプティック効果トラックの強いハプティック効果をより強くするために、ハプティック効果を修正するステップを含む、請求項１に記載の方法。
【請求項７】
前記フィルタは、ハプティック効果再生デバイスのハプティック出力性能に応じて、自動的に生成された前記ハプティック効果トラックのハプティック効果を修正するステップを含む、請求項１に記載の方法。
【請求項８】
前記入力メディアは、ビデオデータを含み、前記フィルタは、選択されたオブジェクトまたはイベントを強調するために、自動的に生成された前記ハプティック効果トラックのハプティック効果を修正するステップを含む、請求項１に記載の方法。
【請求項９】
前記入力メディアは、ビデオデータを含み、前記フィルタは、バックグラウンドもしくはフォアグラウンドオブジェクトまたはバックグラウンドもしくはフォアグラウンドイベントを強調するために、前記自動的に生成されたハプティック効果トラックのハプティック効果を修正するステップを含む、請求項１に記載の方法。
【請求項１０】
前記入力メディアは、ビデオデータを含み、前記フィルタは、前記入力メディアにおける動作に対する近接度を強調するために、自動的に生成された前記ハプティック効果トラックのハプティック効果を修正するステップを含む、請求項１に記載の方法。
【請求項１１】
自動的に生成された前記ハプティック効果トラックに適用される選択可能なフィルタの選択肢を提供するステップであって、選択された前記フィルタは、選択可能な順序において適用されうるステップ
をさらに含む、請求項１に記載の方法。
【請求項１２】
命令が記憶されたコンピュータ可読媒体であって、プロセッサにより実行されると、前記プロセッサにハプティック効果を生成させ、前記ハプティック効果を生成するステップは、
音声データ、ビデオデータ、または感覚データの少なくとも一つを含む入力メディアを受信するステップと、
前記入力メディアからハプティック効果トラックを自動的に生成するステップと、
チューニングされたハプティック効果トラックを生成するために、自動的に生成された前記ハプティック効果トラックに少なくとも一つのフィルタを適用するステップと、
を含む、コンピュータ可読媒体。
【請求項１３】
前記フィルタは、自動的に生成された前記ハプティック効果トラックにおけるバンプを強調するステップを含む、請求項１２に記載のコンピュータ可読媒体。
【請求項１４】
前記フィルタは、自動的に生成された前記ハプティック効果トラックの一つ以上のクリップにおける最後の効果を強調するステップを含む、請求項１２に記載のコンピュータ可読媒体。
【請求項１５】
前記フィルタは、自動的に生成された前記ハプティック効果トラックのシーン間のハプティック効果を修正するステップを含む、請求項１２に記載のコンピュータ可読媒体。
【請求項１６】
前記フィルタは、自動的に生成された前記ハプティック効果トラックのシーン間の遷移をハイライトするために、ハプティック効果を修正するステップを含む、請求項１２に記載のコンピュータ可読媒体。
【請求項１７】
前記フィルタは、自動的に生成された前記ハプティック効果トラックの弱いハプティック効果をより弱く、または前記自動的に生成されたハプティック効果トラックの強いハプティック効果をより強くするために、ハプティック効果を修正するステップを含む、請求項１２に記載のコンピュータ可読媒体。
【請求項１８】
前記フィルタは、ハプティック効果再生デバイスのハプティック出力性能に応じて、自動的に生成された前記ハプティック効果トラックのハプティック効果を修正するステップを含む、請求項１２に記載のコンピュータ可読媒体。
【請求項１９】
前記入力メディアは、ビデオデータを含み、前記フィルタは、選択されたオブジェクトまたはイベントを強調するために、前記自動的に生成されたハプティック効果トラックのハプティック効果を修正するステップを含む、請求項１２に記載のコンピュータ可読媒体。
【請求項２０】
前記入力メディアは、ビデオデータを含み、前記フィルタは、バックグラウンドもしくはフォアグラウンドオブジェクトまたはバックグラウンドもしくはフォアグラウンドイベントを強調するために、自動的に生成された前記ハプティック効果トラックのハプティック効果を修正するステップを含む、請求項１２に記載のコンピュータ可読媒体。
【請求項２１】
前記入力メディアは、ビデオデータを含み、前記フィルタは、前記入力メディアにおける動作に対する近接度を強調するために、自動的に生成された前記ハプティック効果トラックのハプティック効果を修正するステップを含む、請求項１２に記載のコンピュータ可読媒体。
【請求項２２】
自動的に生成された前記ハプティック効果トラックに適用される選択可能なフィルタの選択肢を提供するステップであって、選択されたフィルタは、選択可能な順序において適用されうるステップ
をさらに含む、請求項１２に記載のコンピュータ可読媒体。
【請求項２３】
音声データ、ビデオデータ、または感覚データの少なくとも一つを含む入力メディアを受信し、前記入力メディアからハプティック効果トラックを自動的に生成する、変換モジュールと、
チューニングされたハプティック効果トラックを生成するために、自動的に生成された前記ハプティック効果トラックに少なくとも一つの選択可能なフィルタを適用する、フィルタリングモジュールと、
を含む、ハプティック効果生成システム。
【請求項２４】
自動的に生成された前記ハプティック効果トラックに複数のフィルタを適用するステップをさらに含む、請求項１に記載の方法。
【請求項２５】
前記複数のフィルタを適用する順序は、所定のシーケンスまたは所定の優先度に基づく、請求項２４に記載の方法。
【請求項２６】
前記複数のフィルタは、順番にまたは並列に適用される、請求項２４に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、内容が参照により本明細書に組み込まれる２０１４年３月２１日に出願の米国特許仮出願第６１／９６８，４１９号の優先権を主張する。
【０００２】
一実施形態は、一般にハプティック効果を対象とし、より具体的には、ハプティック効果を自動的に生成およびチューニングするデバイスを対象とする。
【背景技術】
【０００３】
ハプティックスは、力、振動、および運動等のハプティックフィードバック効果（すなわち「ハプティック効果」）をユーザに与えることでユーザの触感を利用する、触覚および力フィードバック技術である。モバイルデバイス、タッチスクリーンデバイス、およびパーソナルコンピュータ等のデバイスは、ハプティック効果を生成するように構成できる。一般に、ハプティック効果を生成できるエンベデッドハードウェア（アクチュエータなど）に対する呼び出しが、デバイスのオペレーティングシステム（「ＯＳ：ｏｐｅｒａｔｉｎｇ  ｓｙｓｔｅｍ」）にプログラミングされうる。これらの呼び出しは、どのハプティック効果を再生するかを特定する。例えば、ユーザが、例えばボタン、タッチスクリーン、レバー、ジョイスティック、ホイール、または他の何らかの制御部を用いてデバイスと対話する際に、デバイスのＯＳが、制御回路を通じてエンベデッドハードウェアに再生コマンドを送信しうる。そして、エンベデッドハードウェアが適切なハプティック効果を生み出す。
【０００４】
ハプティック効果が他のコンテンツに組み込まれるように、ハプティック効果の出力をゲームまたは他のメディアなどの他のコンテンツの出力と連携させるようデバイスを構成することができる。例えばゲームの場合には、ゲームを開発する際に、機関銃砲火、爆発、または車の衝突音など、ゲームに関連する、ゲーム内で起きている動作を表す音声効果を音声効果開発者が開発しうる。通常、ゲーム開発者がゲームアプリケーションの開発を仕上げる際や、ゲーム開発者が仕上がったゲームアプリケーションを新しいプラットフォームに移植する際など、ゲーム開発プロセスの終盤でハプティック効果がゲームに加えられる。その結果、全ての音声効果が開発された後にハプティック効果が加えられるという現象が一般に生じる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ハプティック効果が通常はプロセスのこれほど後の段階で加えられることから、ハプティック効果を音声効果と関連させることに関する決定は、ハプティック効果開発者または他のいずれかの開発者に委ねられるのが一般的である。さらに、音声効果開発者は通常、音声効果に対する適切なハプティック効果の選択に関し提案を行わない。これは、最終的にコンテンツに組み込まれるハプティック効果の質の低下の一因となりうる。この質の低下によって、そのようなコンテンツに質の高いハプティック効果を組み込むことが妨げられうる。
【課題を解決するための手段】
【０００６】
一実施形態は、ハプティック効果を生成するシステムである。システムは、音声データ、ビデオデータ、または感覚データを含む入力メディアを受信する。システムは、入力メディアからハプティック効果トラックを自動的に生成する。その後、システムは、自動的に生成されたハプティック効果トラックに少なくとも一つのフィルタを適用して、チューニングされたハプティック効果トラックを生成する。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施形態に係るシステムのブロック図である。
【図２】本発明の実施形態に係る、音声、ビデオおよび任意の感覚に関係するデータ（例えば加速度、回転、速度など）を含むマルチメディアシーンを受信し、シーンに関係するデータをハプティック効果に自動的に変換した後、ハプティック効果をチューニング／フィルタリングするシステムのブロック図である。
【図３】一実施形態に係る、二つのシーン（「シーン１」および「シーン２」）のブレンディングのグラフ図である。
【図４】一実施形態に係る「関心対象オブジェクト」フィルタにより実装されるコンピュータビジョン（「ＣＶ：ｃｏｍｐｕｔｅｒ  ｖｉｓｉｏｎ」）チューニングの図である。
【図５】本発明の別の実施形態に係る「バックグラウンド／フォアグラウンド」フィルタにより実装されるＣＶチューニングの図である。
【図６】本発明の別の実施形態に係る「動作に対する近接度」フィルタにより実装されるＣＶチューニングの図である。
【図７】一実施形態に係るハプティック効果トラックを自動的にチューニング／フィルタリングする際の図１のシステムの機能のフローダイアグラムである。
【発明を実施するための形態】
【０００８】
一実施形態は、音声もしくはビデオソースデータ等のソースデータまたはマルチメディアクリップのコンテンツに関係する任意の感覚データ（例えばオブジェクトの加速度、回転、速度など）から得られる一つ以上のハプティック効果を自動的に生成およびチューニング／フィルタリングするシステムである。実施形態は、受信したソースデータをハプティック情報に自動的に変換した後、自動的に生成された出力をユーザの好み、ローカライゼーション（すなわち地域の好みに基づいて）、出力デバイスパラメータなどに対応して調節するために、チューニングまたはフィルタリングを行うことができる。フィルタリングは、編集されているハプティック効果にも適用することができる。したがって、ハプティック効果の質が改良される。
【０００９】
図１は、本発明の一実施形態に係るシステム１０のブロック図である。一実施形態では、システム１０はデバイスの一部であり、システム１０はデバイスに自動ハプティック効果チューニング機能を提供する。別の実施形態では、システム１０はデバイスと分かれており、デバイスに自動ハプティック効果チューニング機能を遠隔提供する。単一のシステムとして図示されているが、システム１０の機能は、分散型システムとして実装されてもよい。システム１０は、バス１２または情報通信のための他の通信機構と、バス１２に結合された情報処理のためのプロセッサ２２とを含む。プロセッサ２２は、任意のタイプの汎用または特定用途向けプロセッサであってよい。システム１０は、プロセッサ２２により実行される情報および命令を記憶するメモリ１４をさらに含む。メモリ１４は、ランダムアクセスメモリ（「ＲＡＭ：ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ」）、リードオンリメモリ（「ＲＯＭ：ｒｅａｄ  ｏｎｌｙ  ｍｅｍｏｒｙ」）、磁気もしくは光ディスクなどのスタティックストレージ、または他の任意のタイプのコンピュータ可読媒体の任意の組み合わせで構成することができる。
【００１０】
コンピュータ可読媒体は、プロセッサ２２によりアクセス可能な任意の利用可能な媒体であればよく、揮発性および不揮発性媒体の両方、取外し可能および取外し不能媒体、通信媒体、および記憶媒体を含むことができる。通信媒体は、コンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータを搬送波または他のトランスポート機構などの変調データ信号に含むことができ、公知技術のその他の任意の形の情報配信媒体を含みうる。記憶媒体には、ＲＡＭ、フラッシュメモリ、ＲＯＭ、消去可能プログラム可能リードオンリメモリ（「ＥＰＲＯＭ：ｅｒａｓａｂｌｅ  ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ」）、電気的消去可能プログラム可能リードオンリメモリ（「ＥＥＰＲＯＭ：ｅｌｅｃｔｒｉｃａｌｌｙ  ｅｒａｓａｂｌｅ  ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ」）、レジスタ、ハードディスク、取外し可能ディスク、コンパクトディスクリードオンリメモリ（「ＣＤ−ＲＯＭ：ｃｏｍｐａｃｔ  ｄｉｓｋ  ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ」）、または公知技術の他の任意の形の記憶媒体を含みうる。
【００１１】
一実施形態では、メモリ１４は、プロセッサ２２により実行されたときに機能を提供するソフトウェアモジュールを記憶する。モジュールは、一実施形態ではシステム１０とデバイスの残りの部分にオペレーティングシステム機能を提供する、オペレーティングシステム１５を含む。モジュールは、以下でより詳細に開示するように、ハプティック効果を自動的にチューニングする自動ハプティック効果チューニングモジュール１６をさらに含む。ある実施形態では、自動ハプティック効果チューニングモジュール１６は、ハプティック効果を自動的にチューニングするための特定の個別の機能を個々のモジュールが提供する、複数のモジュールを含みうる。例えば、自動ハプティック効果チューニングモジュール１６は、音声データまたは感覚データの少なくとも一つを含むメディアを受信し、メディアからハプティック効果トラックを自動的に生成する、変換モジュールを含みうる。自動ハプティック効果チューニングモジュール１６は、自動的に生成されたハプティック効果トラックに少なくとも一つの選択可能フィルタを適用して、チューニングされたハプティック効果トラックを生成する、フィルタリングモジュールも含みうる。システム１０は、音声／視覚インプットから対応するハプティック効果を自動的に生成するイマージョン社（Ｉｍｍｅｒｓｉｏｎ  Ｃｏｒｐ．）の「Ｉｎｔｅｇｒａｔｏｒ」アプリケーション等、追加の機能を含むための一つ以上の追加のアプリケーションモジュール１８を典型的に含む。
【００１２】
システム１０は、リモートソースからデータを送信および／または受信する実施形態では、赤外線、無線、Ｗｉ−Ｆｉ（登録商標）またはセルラネットワーク通信等の移動無線ネットワーク通信を提供するために、ネットワークインタフェースカード等の通信デバイス２０をさらに含む。他の実施形態では、通信デバイス２０は、イーサネット（登録商標）接続またはモデム等の有線ネットワーク接続を提供する。
【００１３】
プロセッサ２２は、グラフィック表現またはユーザインタフェースをユーザに表示するための液晶ディスプレイ（「ＬＣＤ：Ｌｉｇｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ」）等のディスプレイ２４に、バス１２を介してさらに結合される。ディスプレイ２４は、プロセッサ２２から信号を送受信するように構成されたタッチスクリーン等の接触感知式入力デバイスでもよく、マルチタッチ式タッチスクリーンでもよい。プロセッサ２２は、マウスまたはスタイラス等、ユーザがシステム１０と相互作用することを可能にするキーボードまたはカーソル制御部２８にさらに結合されてもよい。
【００１４】
システム１０は、一実施形態では、アクチュエータ２６をさらに含む。プロセッサ２２は、生成されたハプティック効果に関連するハプティック信号をアクチュエータ２６に送信し、さらにアクチュエータ２６が、振動触覚ハプティック効果、静電摩擦ハプティック効果、または変形ハプティック効果等のハプティック効果を出力する。アクチュエータ２６は、アクチュエータ駆動回路を含む。アクチュエータ２６は、例えば、電動モータ、電磁アクチュエータ、ボイスコイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ（「ＥＲＭ：ｅｃｃｅｎｔｒｉｃ  ｒｏｔａｔｉｎｇ  ｍａｓｓ  ｍｏｔｏｒ」）、リニア共振アクチュエータ（「ＬＲＡ：ｌｉｎｅａｒ  ｒｅｓｏｎａｎｔ  ａｃｔｕａｔｏｒ」）、圧電アクチュエータ、高帯域幅アクチュエータ、電気活性ポリマ（「ＥＡＰ：ｅｌｅｃｔｒｏａｃｔｉｖｅ  ｐｏｌｙｍｅｒ」）アクチュエータ、静電摩擦ディスプレイ、または超音波振動発生器でもよい。代替的実施形態では、システム１０は、アクチュエータ２６に加えて、一つ以上の追加のアクチュエータを含みうる（図１には示されない）。アクチュエータ２６は、ハプティック出力デバイスの一例であり、ここでハプティック出力デバイスとは、駆動信号に応答して振動触覚ハプティック効果、静電摩擦ハプティック効果、または変形ハプティック効果等のハプティック効果を出力するように構成されたデバイスである。代替的実施形態では、アクチュエータ２６は、他の何らかのタイプのハプティック出力デバイスに置換できる。さらに、他の代替的実施形態では、システム１０はアクチュエータ２６を含まなくてもよく、システム１０とは別個のデバイスが、アクチュエータまたはハプティック効果を生成する他のハプティック出力デバイスを含み、システム１０は、生成されたハプティック効果信号を、通信デバイス２０を通じてそのデバイスに送る。
【００１５】
システム１０は、データベース３０にさらに操作可能に結合することもでき、モジュール１６および１８により使用されるデータを記憶するようにデータベース３０を構成することができる。データベース３０は、オペレーショナルデータベース、分析データベース、データウェアハウス、分散型データベース、エンドユーザデータベース、外部データベース、ナビゲーショナルデータベース、インメモリデータベース、ドキュメント指向データベース、リアルタイムデータベース、リレーショナルデータベース、オブジェクト指向データベース、または当技術分野で周知の他の任意のデータベースであればよい。
【００１６】
システム１０は、一実施形態では、一つ以上のスピーカ３２をさらに含む。プロセッサ２２は、スピーカ３２に音声信号を送信してもよく、さらにスピーカ３２が音声効果を出力する。スピーカ３２は、例えば、ダイナミックラウドスピーカ、動電ラウドスピーカ、圧電ラウドスピーカ、磁気歪みラウドスピーカ、静電ラウドスピーカ、リボン型平面磁気ラウドスピーカ、屈曲波ラウドスピーカ、フラットパネルラウドスピーカ、ハイルエアモーショントランスデューサ、プラズマアークスピーカ、およびデジタルラウドスピーカでありうる。
【００１７】
システム１０は、一実施形態では、センサ３４をさらに含む。センサ３４は、加速度、生体信号、距離、流量、力／圧力／歪み／屈曲、湿度、線形位置、方位／傾斜、無線周波数、回転位置、回転速度、スイッチの操作、温度、振動、または可視光強度等であるがこれに限定されない、エネルギーの一形態または他の物理的性質を検出するように構成されうる。センサ３４は、検出エネルギーまたは他の物理的性質を、電気信号または仮想センサ情報を表す任意の信号に変換するようにさらに構成されうる。センサ３４は、加速度計、心電計、脳波計、筋電計、電気眼振計、電気的パラトグラフ、電気皮膚反応センサ、容量センサ、ホール効果センサ、赤外センサ、超音波センサ、圧力センサ、光ファイバセンサ、曲りセンサ（または屈曲センサ）、力感知レジスタ、ロードセル、ＬｕＳｅｎｓｅ  ＣＰＳ２  １５５、ミニチュア圧力トランスデューサ、圧電センサ、ストレインゲージ、湿度計、線形位置タッチセンサ、線形ポテンショメータ（またはスライダ）、線形可変差動変圧器、コンパス、傾斜計、磁性タグ（または無線周波数識別タグ）、回転エンコーダ、回転ポテンショメータ、ジャイロスコープ、オンオフスイッチ、温度センサ（温度計、熱電対、抵抗温度検知器、サーミスタ、または温度変換集積回路等）、マイクロホン、光度計、高度計、生体モニタ、または光依存レジスタ等であるがこれに限定されない任意のデバイスであってよい。
【００１８】
一般に、音声および／またはビデオデータを含む感覚マルチメディアデータからハプティック効果を生成する自動ハプティック変換アルゴリズムには、作成されたハプティック効果の質をチューニングや微調整によって改良できる人間の芸術的手際が欠けている。実施形態は、様々なフィルタリング／チューニング技術を用いて、そのような専門知識の一部を自動変換ワークフローに可能な時に導入する。
【００１９】
実施形態は、チューニングを自動変換プロセスの一部として行うことができ、または、ハプティック効果が自動的に生成された後にユーザが選択できる選択可能フィルタとして利用することができる。一実施形態では、−１〜＋１の値のサンプルのパルス符号変調（「ＰＣＭ：ｐｕｌｓｅ−ｃｏｄｅ  ｍｏｄｕｌａｔｉｏｎ」）信号などのハプティック効果トラックにフィルタが適用される。一実施形態では、以下でさらに詳細に開示する利用可能なフィルタには、「バンプ強調」、「最後強調」、「シーンブレンド」、「ダイナミックレンジ圧縮／拡張」、「アクチュエータ性能」、「関心対象オブジェクト」、「バックグラウンド／フォアグラウンド」および「動作に対する近接度」フィルタが含まれる。一実施形態では、フィルタの出力が選択でき、その後「即座に」利用できるように、ハプティック効果が自動的に生成される際に利用可能なフィルタの一部または全部を同時に実装することができる。
【００２０】
図２は、本発明の実施形態に係る音声、ビデオおよび任意の感覚に関係するデータ（例えば加速度、回転、速度など）を含むマルチメディアシーンを受信し、シーンに関係するデータをハプティック効果に自動的に変換し、その後ハプティック効果をチューニング／フィルタリングするシステムのブロック図である。図２では、マルチメディアデータの様々なシーン１〜ｎからの音声、ビデオおよび／またはセンサ信号が、２０１〜２０３で、既知のシステムおよび方法を用いてハプティック効果に自動的に変換される。自動変換のための一つの既知のシステムおよび方法は、米国特許出願第１３／７８５，１６６号に開示され、その開示は参照により本明細書に組み込まれる。一般に、自動変換アルゴリズムは、感覚データまたは音声データ信号を分析し、エンベロープ、周波数成分、ピーク、ノイズ等のいくつかの特徴を特定した後、これらの特徴に基づいてハプティックトラックを作成する。
【００２１】
２１０では、自動的に変換されたハプティック効果に一つ以上のフィルタが適用される。フィルタは、予め選択し、自動的に適用することもできるし、生成されたハプティックトラックに自動変換後の任意の時点で適用することもできる。例えば、ユーザインタフェースのプルダウンメニューで利用可能なフィルタのリストがユーザに提示され、適用する一つ以上のフィルタをユーザが選択することができる。複数のフィルタが選択されたときには、フィルタがパイプライン化され、任意の選択された順序または所定の順序で適用されてもよい。単数または複数のフィルタが適用された後、最終的ハプティック効果トラック２１２が生み出される。
【００２２】
一実施形態では、複数のフィルタで、フィルタをフィルタ１、次にフィルタ２、などのように順番に適用することができ、フィルタ１は、元のハプティックトラックを入力とし、新たなハプティックトラックを出力し、これがフィルタ２に入力として供給される、等のように続いていき、２１２で最終的ハプティック効果トラックが出力される。フィルタが適用される順序／シーケンスにより、結果として生じる入力が変更されうる。例えば、一実施形態における順序がフィルタ１、フィルタ２、フィルタ３であり、別の実施形態における順序がフィルタ２、フィルタ１、フィルタ３である場合には、両方の例で同じ三つのフィルタが順番に適用されるものの、最終的ハプティック効果トラックは異なりうる。
【００２３】
一実施形態では、複数のフィルタで、フィルタを並列に適用することができ、フィルタ１、フィルタ２、等々は全て同じ元のハプティックトラックを入力とし、その後各フィルタの出力が入力として和フィルタに供給され、和フィルタが２１２で最終的ハプティック効果トラックを出力する。和フィルタは、各入力の重みがユーザにより割り当てられ、または自動的に割り当てられうる（すなわち所定の値）、加重和スキームを含みうる。別の実施形態では、全ての重みが等しい（すなわちユーザの介入なしで自動的に割り当てられる）。例えば、並列に適用される五つのフィルタがある場合、各出力トラックが、和フィルタにおいて０．２（＝１／５）の重みで乗算される。
【００２４】
さらに、一実施形態では、複数のフィルタで、いくつかのフィルタが順番に適用され、複数のシーケンスの出力に並列にフィルタが適用される、「ハイブリッド」モードを実装できる。例えば、フィルタ１、フィルタ３およびフィルタ４が順番に適用されてシーケンス１を形成しうる。フィルタ２、フィルタ３およびフィルタ５が別の順番で適用されてシーケンス２を形成しうる。その後、シーケンス１およびシーケンス２の出力が和フィルタに供給されて、２１２で最終的ハプティック効果トラックが出力されうる。
【００２５】
実施形態においては、任意のフィルタ、任意の順番のフィルタ、または任意の並列に適用されるフィルタの入力は、元の変換されたハプティックトラック、任意のフィルタの出力、任意の順番のフィルタの出力、または任意の並列に適用されるフィルタの出力のうちの一つとすることができる。
【００２６】
複数のフィルタの場合、フィルタの選択および適用モード（すなわち並列または順番）はユーザの設計スタイル／好みに基づき、メディアクリップの部分ごとに変更することができる。例えば、最初の五分にはフィルタ１〜５を順番に適用し、次の二分でフィルタ２および３を並列に適用するなどが可能である。フィルタの各々を、ユーザのスタイル／好みに応じて異なるパラメータで（例えばアドバンスドユーザモードで）、またはデフォルトパラメータで（すなわちユーザの介入なしで）適用することができる。
【００２７】
一実施形態では、一つの利用可能なフィルタは、先行する効果および直後の効果のマグニチュードを、場合によっては連続する効果への短いフェードを伴って低下させることにより、重要なイベントまたは関連性のあるイベントに関係する短く鋭いが強い効果（すなわち「バンプ」）により大きな重要性を与える、「バンプ強調」フィルタである。バンプにより大きな重要性を与えるためには、バンプが直前に先行する効果とは異なって感じられる必要がある。実施形態は、「バンプ」の直前に先行する効果の強度／マグニチュードを低下させる。実施形態は、例えば、絶対値がある閾値または「バンプ閾値」（例えば０．９）より大きいハプティックトラックのサンプルを見つけることにより、ハプティックトラック内のバンプを見つける。「バンプ」が見つかると、実施形態は、バンプより前の時間（例えば５００ｍｓ）の「ルックアップウィンドウ」を表すハプティックトラックのサンプルを見る。これらのサンプルにおいて、絶対値がある閾値または「排除閾値」（例えば０．３）より小さく、ある閾値または「排除持続時間閾値」（例えば５０ｍｓ）より大きい時間をカバーする、連続したサンプルのブロックを見つける。その後、これらのサンプルを無効化する（すなわちマグニチュード値を０に下げる）。
【００２８】
一実施形態では、一つの利用可能なフィルタは、「最後強調」フィルタである。一般に、クリップ／トラックにおける最後のハプティック効果は通常、クリップの終わりを際立たせるために強くなければならず、したがって自動的に強調されなければならない（例えばマグニチュードを高くする）。したがって、「最後強調」フィルタは、ハプティックトラックにおける最後の効果を見つけ、そのマグニチュードを増幅する。これは、最後の効果のサンプル値に１より大きいゲイン係数（例えば１．５）を乗算することにより達成できる。実施形態はまず、ハプティックトラックにおいて最後の効果の終わりを表すサンプル（すなわち最後の効果の最後のサンプル）を見つける。そのためには、絶対値がある閾値または「サイレンス閾値」（例えば０．１）より大きい、トラックの最後のサンプルを見つける。実施形態はその後、最後の効果の終わりに先行する全てのサンプルを検討し、これらのサンプルにおける最後の「ハプティックサイレンス」のブロックを見つけることにより、最後の効果の始まり（すなわち最後の効果の最初のサンプル）を見つける。最後の効果の始まりは、この最後の「ハプティックサイレンス」に続く最初のサンプルである。「ハプティックサイレンス」とは、絶対値がある閾値または「サイレンス閾値」（例えば０．１）より小さく、ある閾値または「サイレンス持続時間閾値」（例えば１００ｍｓ）より大きい時間をカバーする、連続したハプティックトラックサンプルのブロックである。
【００２９】
一実施形態では、一つの利用可能なフィルタは、「シーンブレンド」フィルタであり、このフィルタは、ユーザにメディアクリップにおける一つのシーンと次のシーンとの間の遷移を感じさせるように構成されるものである。実施形態は、前のシーンのハプティックトラックに対する「フェードアウト」ストラテジーおよび／または現在のシーンのハプティックトラックに対する「フェードイン」ストラテジーを適用する。図３は、一実施形態に係る、二つのシーン（「シーン１」および「シーン２」）のブレンディングのグラフ図である。実施形態は、（各シーンに）関係するハプティック効果を区別可能にすることにより、クリップにおける異なるシーン間の遷移を強調またはハイライトする。実施形態は、フィルタリングに「フェードアウト」アプローチ、次いで「フェードイン」アプローチを実装する。
【００３０】
一実施形態では、
・最初のシーン／トラックの最後の時間ウィンドウまたは「ブレンドルックアップウィンドウ」（例えば５００ｍｓ）、および次のシーン／トラックの最初の時間ウィンドウまたは「ブレンドルックアップウィンドウ」の両方のハプティック効果がいずれも強い場合（すなわち、例えばそれぞれのハプティックサンプルの最大絶対値が０．５より大きい）場合；または、
・両方とも効果が弱い（すなわち、例えばそれぞれのハプティックサンプルの最大絶対値が０．５より小さい）が、強度が近い（すなわち、例えば二つのルックアップウィンドウのそれぞれの最大絶対値が０．１だけ異なる）場合
にのみ、機能が適用される。
【００３１】
さらに、以下のように、最初のシーンのハプティック効果の最後の「ルックアップウィンドウ」（「ウィンドウ１」）にフェードアウトフィルタが適用され、次のシーンのハプティック効果の最初の「ルックアップウィンドウ」（「ウィンドウ２」）にフェードインフィルタが適用される：
・実施形態は、ウィンドウ１の前半における最大値を見つけ、ウィンドウ１と同一の信号「信号１」を構築し、さらにこの信号が次のように変形される：始まりから最大値の位置までの全てのサンプルの値＝１とする；続くサンプル（この最大サンプルから信号１の終わりまで）は、これらのサンプル値が特定した最大値から０（信号１の終わり）まで線形に減少するように計算される。その後、ウィンドウ１のサンプルが、信号１のサンプルで（要素ごとに）乗算され、その結果がウィンドウ１の代わりに元のハプティックトラックに導入される。
・その後、実施形態は、ウィンドウ２における最大値を見つけ、ウィンドウ２と同一の信号「信号２」を構築し、さらにこの信号が次のように変形される：最大値の位置から信号２の終わりまでの全てのサンプルの値＝１とする；先行するサンプル（信号２の始まりからこの最大サンプルまで）は、これらのサンプル値が（信号２の始まりの）０から特定した最大値まで線形に増加するように計算される。その後、ウィンドウ２のサンプルが、信号２のサンプルで（要素ごとに）乗算され、その結果がウィンドウ２の代わりに元のハプティックトラックに導入される。
【００３２】
一実施形態では、一つの利用可能なフィルタは、弱い効果をより弱く、および／または強い効果をより強くするように構成された「ダイナミックレンジ圧縮／拡張」フィルタである。実施形態は、強力な効果のマグニチュードを高め、振幅の小さい効果のマグニチュードを低下させる。このフィルタはまず、ハプティックサンプル値を対数尺度（デシベルｄＢ）に変換する。ある閾値「ｔｈｒ１」（例えば−３０ｄＢ）より大きい値を持つ全てのハプティックサンプルが、以下のように計算される、ゲイン値「ｇａｉｎ」（例えば１．５）を用いて計算される新たな値を持つこととなる。
ｎｅｗ＿ｖａｌｕｅ＝（（ｏｌｄ＿ｖａｌｕｅ−ｔｈｒ１）×ｇａｉｎ）＋ｔｈｒ１
【００３３】
ある閾値「ｔｈｒ２」（例えば−５０ｄＢ）より小さい値を持つ全てのハプティックサンプルが、以下のように計算される、減衰値「ａｔｔ」（例えば２）を用いて計算される新たな値を持つこととなる。
ｎｅｗ＿ｖａｌｕｅ＝ｔｈｒ２−（（ｔｈｒ２−ｏｌｄ＿ｖａｌｕｅ）×ａｔｔ）
【００３４】
一実施形態では、一つの利用可能なフィルタは、自動的に生成されたハプティックトラックをフィルタして、企図される再生デバイスのアクチュエータ（単数または複数）の性能に適応させる、「アクチュエータ性能」フィルタである。一般に、デバイスおよび再生デバイスのアクチュエータ（単数または複数）の品質に応じて、基本的ハプティック効果の一部または全部をある所定値（例えば１０ｍｓ）により延長または短縮することにより、ハプティックトラックが変更される。例えば、テクスチャベースのハプティック効果では、チューニングには、サイクル値（すなわち効果が再生する時間および効果が存在しない時間の長さ）を定義するパラメータの変更が含まれうる。例えばテクスチャハプティック効果は、１０ｍｓの効果と効果の持続時間にわたる１０ｍｓのサイレンスとを含みうる。一例では、いずれもハプティック出力デバイスとしてＬＲＡを有するものの、サムスン社（Ｓａｍｓｕｎｇ  Ｃｏｒｐ．）の「Ｇａｌａｘｙ  Ｓ４」スマートフォンのテクスチャベースのハプティック効果のサイクル値は１０ｍｓであったが、ＬＧ社（ＬＧ  Ｃｏｒｐ．）の「Ｇ２」スマートフォンでは、２５ｍｓのサイクル値で効果がより良好に提供された。このフィルタでは、必要な一つの入力は、再生デバイスのアクチュエータ（単数または複数）、またはハプティック出力デバイスのタイプ、ハプティック出力デバイスの場所などを含むその他のハプティック出力デバイスの性能である。これは手動で提供することもできるし、またはルックアップテーブルの予め記憶された値から自動的に読み出すこともできる。
【００３５】
他の実施態様では、いくつかのフィルタは、メディアクリップにおける特定のオブジェクトに関係するイベント（すなわち「関心対象オブジェクト」）をハプティック的に強調するため、あるいはそれらのイベントの重要性を低下させるために、生成されたハプティック効果をチューニングするために適用できる。このオブジェクトは、一実施形態ではユーザ／設計者が選択することができ、または、別の実施形態ではシステムが自動的に検出することができる。別の実施形態は、カメラに対する動作の近接度を考慮して、効果をチューニングすることもできる。一般に、これらの実施形態は、感覚データを用いて自動的に生成されたハプティック効果に関して生じる場合がある「コンテキスト外」の問題を改善することを目的とする。より具体的には、この問題は、効果のマグニチュード／強度を通じて明らかに観察できる。例えば、ＢＭＸアクティビティでの二輪車の動きから捉えたデータを用いてハプティック効果を導出する際には、自動的に生成されるハプティック効果は通常、二輪車がカメラから近い時と遠い時とでマグニチュードが同じである。その結果、この近接度の概念を反映しないためにハプティック効果の現実感が低下する。
【００３６】
さらに、オブジェクト／動作に関係するハプティック効果は、ビデオ内でカメラにより近い距離で動いている別の人間／オブジェクトが存在する場合に、視聴者に混乱を生じうる。この混乱は、視聴者がフォアグラウンドで起こっている（カメラに最も近い）「動作」に関係するものとして効果を知覚するが、その効果が実際にはバックグラウンドの（カメラから最も遠い）「動作」から導出されるために起きる。この特定のケースでの解決法は、発揮されるハプティック効果を、可能な場合（すなわち感覚データが利用可能な場合）には「フォアグラウンド動作」から導出し、それが不可能ならば、「バックグラウンド動作」から導出される効果のマグニチュードを低下させることであろう。
【００３７】
「関心対象オブジェクト」、「バックグラウンド／フォアグラウンド」および「動作に対する近接度」フィルタがビデオ入力に基づくため、実施形態においてはコンピュータビジョンのアプローチが用いられる。
【００３８】
図４は、一実施形態に係る「関心対象オブジェクト」フィルタにより実装されるコンピュータビジョン「ＣＶ」チューニングを示す。図４では、４０１でユーザが、クリップの始めの二次元表示をクリックすることによりハプティックスが関係すべきオブジェクト／人（すなわちユーザ／設計者が関心対象と考えるオブジェクトまたは人）を選択する（４０５でこのオブジェクトについての感覚データが取得されたものとする）。４０２で、ＣＶアルゴリズムがビデオの中のこのオブジェクトをトラッキングし、４０３で、各Ｎ個のフレームにおけるこのオブジェクトのカメラまでの距離を推定する。その後、４０６でこのオブジェクトにつき作成されたハプティック効果が、４０７で（対応するＮ個のフレームにおいて）この推定距離に変調される。例えば、オブジェクトがカメラに近い時には効果が強められ（すなわち１より大きいゲイン係数をサンプル値に乗算する）、オブジェクトがカメラから遠い時には効果が弱められうる（すなわち１未満の減少係数をサンプル値に乗算する）。ゲイン／減少係数の値は、カメラまでの推定距離に伴って線形に変化しうる。
【００３９】
オブジェクトのトラッキングは、各フレームにおけるこのオブジェクトに関係する視覚的特徴をトラッキングし、その運動を推定することにより行われる。使用できる視覚的特徴には、色、形、Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ（「ＳＩＦＴ」）、Ｓｐｅｅｄｅｄ  Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ（「ＳＵＲＦ」）、Ｈｉｓｔｏｇｒａｍ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ（「ＨＯＧ」）記述子、Ｈａａｒ  ｌｉｋｅ特徴、Ｓｈｉ−Ｔｏｍａｓｉ特徴およびウェーブレット変換が含まれる（ただしこれに限定されない）。トラッキングは、オプティカルフロー計算技術、カルマンフィルタリングまたは粒子フィルタリングのアプローチを用いて行うことができる。
【００４０】
図５は、本発明の別の実施形態に係る「バックグラウンド／フォアグラウンド」フィルタにより実装されるＣＶチューニングを示す。図５では、５０２で、ＣＶアルゴリズムが、各シーン（Ｎ個のフレーム）のオブジェクトを、フォアグラウンドおよびバックグラウンド動作オブジェクト／イベントに自律的に分割する（すなわち、オブジェクトがフォアグラウンドにあるが動いていない場合には考慮されない）。５０３で別のアルゴリズムが、パターンマッチングアプローチを用いてこれらのオブジェクトを識別し、フォアグラウンドにあるものとして識別されたオブジェクトに関係する感覚データ５０５が利用可能である（オブジェクトタイプで分類されている）場合にはそれを用いて、ハプティックトラックを生成する。このデータが利用可能でない場合には、バックグラウンドオブジェクトの感覚データを用いてハプティックスが作成される。バックグラウンド／フォアグラウンドフィルタリングは、動的に適用することもできる。メディアクリップ全体を通じてオブジェクト／人の位置が変わることもあるため、フォアグラウンドのオブジェクト／人はその時々で異なりうる。実施形態はこの制約に適応し、ハプティック効果を適切に変更することができる。識別されたオブジェクト／人に関して作成されるハプティック効果は、上述のようにカメラまでの距離に基づいてチューニングすることもできる。この距離は、トラッキング／識別ステップから推定できる。
【００４１】
オブジェクトのマッチングアプローチ／特徴識別は、画像におけるオブジェクトの特徴を検出した後、それらの特徴を周知のオブジェクトの特徴に対して分類することにより行われる。使用できる特徴には、色、形、Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ（「ＳＩＦＴ」）、Ｓｐｅｅｄｅｄ  Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ（「ＳＵＲＦ」）、Ｈｉｓｔｏｇｒａｍ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ（「ＨＯＧ」）記述子、Ｈａａｒ  ｌｉｋｅ特徴、Ｓｈｉ−Ｔｏｍａｓｉ特徴、ウェーブレット変換が含まれる（ただしこれに限定されない）。分類は、ニューラルネットワーク、サポートベクターマシン（「ＳＶＭ」）、Ａｄａｂｏｏｓｔ分類器、カスケード分類器、Ｋ近傍（Ｋ  ｎｅａｒｅｓｔ  ｎｅｉｇｈｂｏｒ「ＫＮＮ」）およびベイジアンネットワークを用いて行うことができる。
【００４２】
図６は、本発明の別の実施形態に係る、「動作に対する近接度（ｐｒｏｘｉｍｉｔｙ  ｔｏ  ａｃｔｉｏｎ）」フィルタにより実装されるＣＶチューニングを示す。図６では、６０１でＣＶアルゴリズムが、各シーン（Ｎ個のフレーム）において高速の動画素の比率を推定する。この値が高い場合には、カメラがシーンの「動作」（例えばｐｏｉｎｔ−ｏｆ−ｖｉｅｗ（「ＰＯＶ」）カメラ）に近く、したがって生成されるハプティック効果は、より大きいマグニチュードを有していなければならない。値が高くない場合には、ハプティック効果は、より弱く感じられなければならない。一実施形態は、この近接度を推定するために、オプティカルフロー計算を用いる。
【００４３】
図７は、一実施形態に係る、ハプティック効果トラックの自動チューニング／フィルタリング時の図１のシステム１０の機能のフローダイアグラムである。一実施形態では、図７のフローダイアグラムの機能は、メモリまたは他のコンピュータ可読もしくは有形の媒体に記憶されたソフトウェアにより実装され、プロセッサにより実行される。他の実施形態では、機能は、ハードウェア（例えば、特定用途向け集積回路（「ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ  ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ」）、プログラマブルゲートアレイ（「ＰＧＡ：ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ：ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ」）などを用いて）またはハードウェアおよびソフトウェアの任意の組み合わせにより行われてもよい。
【００４４】
７０２では、音声データまたはビデオデータを含むことができ、シーンの中の一つ以上のオブジェクトに関する感覚データを含んでもよい、受信した入力メディアに応答して、ハプティック効果が自動的に生成される。その結果、複数のクリップまたはシーンを含むことができる自動ハプティック効果トラックが生じる。
【００４５】
７０４では、自動的に生成されたハプティック効果トラックについての一つ以上のタイプのチューニングまたはフィルタリングの選択が受信される。一実施形態では、利用可能なフィルタには、「バンプ強調」、「最後強調」、「シーンブレンド」、「ダイナミックレンジ圧縮／拡張」、「アクチュエータ性能」、「関心対象オブジェクト」、「バックグラウンド／フォアグラウンド」および「動作に対する近接度」フィルタが含まれる。
【００４６】
７０６では、生成された自動ハプティック効果トラックが、７０４での選択肢（単数または複数）に基づいてフィルタリングされ、フィルタされた最終的ハプティック効果トラックが生成される。
【００４７】
開示の通り、ハプティック効果トラックが自動的に生成される。その後、このベースラインハプティック効果トラックが、一つ以上のチューニングの好みの選択肢に基づいてチューニングまたはフィルタリングされる。その結果、ユーザの好みに合ったハプティック効果トラックが得られる。
【００４８】
本明細書には、いくつかの実施形態を特に例示および／または記載している。しかし、開示の実施形態の修正および変更が以上の教示に含まれ、本発明の精神および意図された範囲から逸脱することなく添付の特許請求の範囲内であることが理解されよう。
【図１】
2015185168.tif 000003
【図７】
2015185168.tif 000004
【図２】
2015185168.tif 000005
【図３】
2015185168.tif 000006
【図４】
2015185168.tif 000007
【図５】
2015185168.tif 000008
【図６】
2015185168.tif 000009
【外国語明細書】
2015185168000001.pdf
2015185168000002.pdf
2015185168000003.pdf
2015185168000004.pdf