(57)【要約】      （修正有）【課題】より大きなスクリーン及びより複雑な音響システムでは、タッチの感覚を含む全ての感覚にフィードバックを提供する能力を欠いている。【解決手段】映像コンテンツに関する自動触覚生成のためのシステムは、音声信号を受信すること、音声信号に関連付けられる音声特性を識別すること、映像信号を受信すること、映像信号に関連付けられる、音声特性に対応する映像特性を識別することと、音声特性及び映像特性に少なくとも部分的に基づいて触覚効果を決定すること及び触覚効果に関連付けられる触覚信号を出力することと、を行うように構成されるプロセッサ実行可能な非一時的なプログラムコードを含む。【選択図】図２
2020010322.tif 000002
【特許請求の範囲】
【請求項１】
プログラムコードを含む非一時的なコンピュータ可読媒体であって、前記プログラムコードは、プロセッサによって実行されると、前記プロセッサに、
音声信号を受信すること、
前記音声信号に関連付けられる音声特性を識別すること、
映像信号を受信すること、
前記映像信号に関連付けられる映像特性を識別することであって、前記映像特性は、前記音声特性に対応すること、
前記音声特性及び前記映像特性に少なくとも部分的に基づいて触覚効果を決定すること、及び
前記触覚効果に関連付けられる触覚信号を出力すること
を行わせるように構成される、非一時的なコンピュータ可読媒体。
【請求項２】
実行されると、
前記音声信号に少なくとも部分的に基づいて第１の予備触覚効果を決定すること、
前記音声信号に少なくとも部分的に基づいて第２の予備触覚効果を決定すること、及び
前記第１の予備触覚効果及び前記第２の予備触覚効果に少なくとも部分的に基づいて前記触覚効果を決定すること
を行うように構成されるプログラムコードをさらに含む、請求項１に記載のコンピュータ可読媒体。
【請求項３】
実行されると、前記音声特性を識別する前に前記音声データをフィルタリングするように構成されるプログラムコードをさらに含む、請求項１に記載のコンピュータ可読媒体。
【請求項４】
実行されると、
前記音声特性に基づいてイベントが発生した第１の可能性を決定すること、及び
前記映像特性に基づいて前記イベントが発生した第２の可能性を決定すること
を行うように構成されるプログラムコードをさらに含む、請求項１に記載のコンピュータ可読媒体。
【請求項５】
実行されると、前記第１の可能性及び前記第２の可能性の両方が５０パーセントを超える場合に前記イベントが発生したことを確認するように構成されるプログラムコードをさらに含む、請求項４に記載のコンピュータ可読媒体。
【請求項６】
実行されると、前記第１の可能性又は前記第２の可能性のいずれかが５０パーセント未満である場合に前記音声特性及び前記映像特性をさらに分析するように構成されるプログラムコードをさらに含む、請求項４に記載のコンピュータ可読媒体。
【請求項７】
前記音声特性は、振幅、周波数、エンベロープ、間隔、及びピークの１つ以上を含む、請求項１に記載のコンピュータ可読媒体。
【請求項８】
前記映像特性は、色、運動ベクトル、エッジ、特徴点、及び輝度の１つ以上を含む、請求項１に記載のコンピュータ可読媒体。
【請求項９】
実行されると、前記音声特性をピクセルデータから抽出するように構成されるプログラムコードをさらに含む、請求項１に記載のコンピュータ可読媒体。
【請求項１０】
実行されると、前記映像データ又は前記音声データに対する事前処理を行うように構成されるプログラムコードをさらに含む、請求項１に記載のコンピュータ可読媒体。
【請求項１１】
事前処理は、フィルタリングを含む、請求項１０に記載のコンピュータ可読媒体。
【請求項１２】
実行されると、前記音声信号及び前記映像信号をマルチメディアファイルから抽出するように構成されるプログラムコードをさらに含む、請求項１に記載のコンピュータ可読媒体。
【請求項１３】
前記音声信号及び映像信号は、非同期的に受信される、請求項１２に記載のコンピュータ可読媒体。
【請求項１４】
実行されると、触覚効果を決定するときに前記音声特性及び前記映像特性に相対的重みを割り当てるように構成されるプログラムコードをさらに含む、請求項１に記載のコンピュータ可読媒体。
【請求項１５】
前記相対的重みは、静的に又は動的に割り当てられる、請求項１４に記載のコンピュータ可読媒体。
【請求項１６】
前記相対的重みは、０から１００の間の数である、請求項１４に記載のコンピュータ可読媒体。
【請求項１７】
音声信号を受信するステップと、
前記音声信号に関連付けられる音声特性を識別するステップと、
映像信号を受信するステップと、
前記映像信号に関連付けられる映像特性を識別するステップであって、前記映像特性は、前記音声特性に対応するステップと、
前記音声特性及び前記映像特性に少なくとも部分的に基づいて触覚効果を決定するステップと、
前記触覚効果に関連付けられる触覚信号を出力するステップと
を含む、方法。
【請求項１８】
実行されると、
前記音声信号に少なくとも部分的に基づいて第１の予備触覚効果を決定すること、
前記音声信号に少なくとも部分的に基づいて第２の予備触覚効果を決定すること、及び
前記第１の予備触覚効果及び前記第２の予備触覚効果に少なくとも部分的に基づいて前記触覚効果を決定すること
を行うように構成されるプログラムコードをさらに含む、請求項１７に記載の方法。
【請求項１９】
前記音声特性を識別する前に前記音声データをフィルタリングするステップをさらに含む、請求項１７に記載の方法。
【請求項２０】
前記音声特性に基づいてイベントが発生した第１の可能性を決定するステップと、
前記映像特性に基づいて前記イベントが発生した第２の可能性を決定するステップと
をさらに含む、請求項１７に記載の方法。
【請求項２１】
前記第１の可能性及び前記第２の可能性の両方が５０パーセントを超える場合に前記イベントが発生したことを確認するステップをさらに含む、請求項２０に記載の方法。
【請求項２２】
前記第１の可能性又は前記第２の可能性のいずれかが５０パーセント未満である場合に前記音声特性及び前記映像特性をさらに分析するステップをさらに含む、請求項２に記載の方法。
【請求項２３】
前記音声特性は、振幅、周波数、エンベロープ、間隔、及びピークの１つ以上を含む、請求項１７に記載の方法。
【請求項２４】
前記映像特性は、色、運動ベクトル、エッジ、特徴点、及び輝度の１つ以上を含む、請求項１７に記載の方法。
【請求項２５】
前記音声特性をピクセルデータから抽出するステップをさらに含む、請求項１７に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、ユーザインターフェースデバイスの分野に関する。より詳細には、本願は、映像コンテンツに対する自動触覚生成に関する。
【背景技術】
【０００２】
映像観察体験は、時がたつにつれてより没入感のあるものになっている。より大きなスクリーン及びより複雑な音響システムは、向上したユーザ体験をもたらしている。しかしながら、従来のシステムは、多くの場合、タッチの感覚を含む全ての感覚にフィードバックを提供する能力を欠いている。触覚フィードバックを提供するシステムに関しては、映像を伴うように触覚効果のセットを作成する工程は、時間及び労働集約的であり得る。映像コンテンツに対する自動触覚生成を提供するためのシステム及び方法が必要とされている。
【発明の概要】
【０００３】
本開示の実施形態は、映像コンテンツに対する自動触覚生成を提供するためのシステム及び方法を含む。一実施形態では、システムは、音声信号を受信すること、音声信号に関連付けられる音声特性を識別すること、映像信号を受信すること、映像信号に関連付けられる映像特性を識別することであって、映像特性は音声特性に対応すること、音声特性及び映像特性に少なくとも部分的に基づいて触覚効果を決定すること、及び触覚効果に関連付けられる触覚信号を出力することを行うように構成されるプロセッサ実行可能な非一時的なプログラムコードを含む。
【０００４】
別の実施形態では、本開示態による方法は、音声信号を受信するステップと、音声信号に関連付けられる音声特性を識別するステップと、映像信号を受信するステップと、映像信号に関連付けられる映像特性を識別するステップであって、映像特性は音声特性に対応するステップと、音声特性及び映像特性に少なくとも部分的に基づいて触覚効果を決定するステップと、及び触覚効果に関連付けられる触覚信号を出力するステップとを含む。
【０００５】
こうした例示の実施形態は、本主題を限定し又はその限界を定義するためではなく、その理解を支援するための例示を提供するために言及されている。例示の実施形態は、詳細な説明において検討され、そこではさらなる説明が提供される。本明細書を吟味することによって、及び／又は請求項に記載の主題の１つ以上の実施形態を実施することによって、様々な実施形態によってもたらされる利点がさらに理解され得る。
【０００６】
本明細書の以下の部分には完全なかつ実施可能な開示がより詳細に説明されている。本明細書は以下の添付の図面を参照する。
【図面の簡単な説明】
【０００７】
【図１】音声及び映像データに基づいて触覚フィードバックを生成するための例示的なシステムを示す。
【０００８】
【図２】音声及び映像に基づいて触覚効果を生成するための例示の実施形態の方法ステップのフローチャートである。
【０００９】
【図３】音声及び映像に基づいて触覚効果を生成するための別の例示の実施形態の方法ステップのフローチャートである。
【発明を実施するための形態】
【００１０】
次に、多様な及び代替的な例示の実施形態及び添付の図面を詳細に参照する。各例示は、限定としてではなく、説明目的で提供されている。修正及び変更が行われ得ることは、当業者には明らかであろう。例えば、一実施形態の一部として例示され又は記載された特徴は、さらなる実施形態をもたらすために別の実施形態において使用されてもよい。したがって、本開示は、添付の請求項及び均等物の範囲に入る修正及び変形を含むことが意図されている。
【００１１】
（音声及び映像から触覚効果を生成するためのシステムの例示）
１つの例示的な実施形態では、触覚設計者が、アクション映画のシーンに関して触覚を設計している。触覚設計者は、触覚設計ツールを含むコンピュータにおいて映画を観る。使用している設計ツールは、設計者が映画を観て、特定の時点において、例えば、フレーム単位で効果を追加することを可能にする。効果を追加する処理は、映画の特性に基づいて手動で（ツールを使用して）又は自動的に行われ得る。
【００１２】
自動モードでは、ツールは、音声及び映像の組み合わせを使用して、追加するべき適切な触覚効果を決定する。設計者が音声のみ又は映像のみのオプションを使用するとすれば、生成された触覚は圧倒的になり、例えば、効果が多く、「ノイズのあるもの」になり得る。設計者が映像のみのオプションを使用するとすれば、生成された触覚はクリーンであるが、触覚効果の強度は、映画で検出される様々なイベントと一致しないかもしれない。したがって、音声及び映像の組み合わせがより意味のある効果を提供し得る。
【００１３】
本発明の実施形態は、設計者が音声／映像組み合わせ方法を使用することを可能にし、これはより正確なイベント検出をもたらし、触覚の強度、周波数及び形状は、検出されたイベントの特徴により一致する。このようなオプションは、振幅、メル周波数ケプストラム係数（ＭＦＣＣ）、メルログスペクトログラム、及び周波数スペクトログラム等の音声トラックの様々な特性、並びに色及び運動ベクトル等の映像トラックの様々な特性にも依存し、これらは組み合わされると、映画内の活動をより正確に反映する触覚効果を生成する。示唆された効果が生成されると、触覚設計者は、それらをさらに改善するために効果を手動で修正し得る。先の例示は、単に例示目的であって、請求項に記載の発明を限定することは全く意図していない。
【００１４】
（音声及び映像を使用する触覚効果生成のための例示的なシステム）
図１Ａは、音声及び映像を使用して触覚効果を生成するための例示的なシステム１００を示す。特に、この例示では、システム１００は、バス１０６を介して他のハードウェアとインターフェース接続されるプロセッサ１０２を有するコンピュータデバイス１０１を含む。ＲＡＭ、ＲＯＭ又はＥＥＰＲＯＭ等の任意の適切な有形の（及び非一時的な）コンピュータ可読媒体を含み得るメモリ１０４が、コンピュータデバイスの動作を構成するプログラムコンポーネントを具現化する。この例示では、コンピュータデバイス１０１は、１つ以上のネットワークインターフェースデバイス１１０、入力／出力（Ｉ／Ｏ）インターフェースコンポーネント１１２、及び追加の記憶装置１１４をさらに含む。
【００１５】
ネットワークデバイス１１０は、ネットワーク接続を容易にする１つ以上の任意のコンポーネントを表し得る。限定されないが、例示には、イーサネット（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４等の有線インターフェース、及び／又はＩＥＥＥ８０２．１１、ブルートゥース（登録商標）等の無線インターフェース、又は携帯電話ネットワークにアクセスするための無線インターフェース（例えば、ＣＤＭＡ、ＧＳＭ（登録商標）、ＵＭＴＳ又は（複数の）他の移動通信ネットワーク）が含まれる。
【００１６】
Ｉ／Ｏコンポーネント１１２は、１つ以上のディスプレイ、タッチスクリーンディスプレイ、キーボード、マウス、スピーカ、マイクロホン、カメラ、及び／又はデータの入力又は出力に使用される他のハードウェア等の装置への接続を容易にするために使用されてもよい。記憶装置１１４は、デバイス１０１に含まれる磁気、光学、又は他の記憶媒体等の不揮発性記憶装置を表す。
【００１７】
システム１００は、この例示では、デバイス１０１に統合されるタッチ面１１６をさらに含む。タッチ面１１６は、ユーザのタッチ入力を感知するように構成される任意の表面を表す。１つ以上のセンサ１０８は、物体がタッチ面に接触する場合にタッチ領域におけるタッチを検出して、プロセッサ１０２によってユーザに適切なデータを提供するように構成される。任意の適切な数、タイプ、又は配置のセンサが使用され得る。例えば、抵抗性及び／又は容量性のセンサが、タッチ面１１６に組み込まれて、タッチの場所及び圧力等の他の情報を検出するために使用されてもよい。別の例示として、タッチ位置を決定するためにタッチ面のビューを備える光学センサが使用されてもよい。
【００１８】
いくつかの実施形態では、センサ１０８、タッチ面１１６及びＩ／Ｏコンポーネント１１２は、タッチスクリーンディスプレイ等の単一のコンポーネントに統合されてもよい。例えば、いくつかの実施形態では、タッチ面１１６及びセンサ１０８は、表示信号を受信して、ユーザに画像を出力するように構成されるディスプレイの上に取り付けられるタッチスクリーンを含んでもよい。次に、ユーザは、ディスプレイを使用して、映画又は他の映像を観ると共に触覚生成設計アプリケーションと相互作用してもよい。
【００１９】
他の実施形態では、センサ１０８は、ＬＥＤ検出器を含んでもよい。例えば、一実施形態では、タッチ面１１６は、ディスプレイの側部に取り付けられるＬＥＤ指検出器を含んでもよい。いくつかの実施形態では、プロセッサ１０２は単一のセンサ１０８と通信し、他の実施形態では、プロセッサ１０２は複数のセンサ１０８、例えば、第１のタッチスクリーン及び第２のタッチスクリーンと通信する。センサ１０８は、ユーザ相互作用を検出し、ユーザ相互作用に基づいて、プロセッサ１０２に信号を送信するように構成される。いくつかの実施形態では、センサ１０８は、ユーザ相互作用の複数の態様を検出するように構成されてもよい。例えば、センサ１０８は、ユーザ相互作用の速度及び圧力を検出して、この情報をインターフェース信号に組み込んでもよい。
【００２０】
さらに、デバイス１０１は、触覚出力デバイス１１８を備える。図１Ａに示される例示では、触覚出力デバイス１１８はプロセッサ１０２と通信し、タッチ面１１６に結合される。図１Ａに示された実施形態は、単一の触覚出力デバイス１１８を含む。他の実施形態では、コンピュータデバイス１０１は、複数の触覚出力デバイスを備えてもよい。触覚出力デバイスは、映像に関する触覚効果の最終セットを作成する前に何らかの修正がされるべきであるかどうかを決定するためにそれらが生成されるときに触覚設計者が効果を体験することを可能にしてもよい。
【００２１】
本明細書には単一の触覚出力デバイス１１８が示されているが、実施形態では、触覚効果を出力するために同じ又は異なるタイプの複数の触覚出力デバイスが使用されてもよい。例えば、触覚出力デバイス１１８は、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ  （ＥＲＭ）又は線形共振アクチュエータ（ＬＲＡ）、薄型触覚アクチュエータ、触覚テープ、又は静電摩擦（ＥＳＦ）アクチュエータ等の静電効果を出力するように構成される触覚出力デバイスの１つ以上を含んでもよい。いくつかの実施形態では、触覚出力デバイス１１８は、複数のアクチュエータ、例えば、薄型触覚アクチュエータ、圧電アクチュエータ、及びＬＲＡを含んでもよい。
【００２２】
メモリ１０４に関しては、例示のプログラムコンポーネント１２４、１２６及び１２８は、触覚効果を決定して出力するためにデバイスがどのように構成され得るかを示すように描かれている。この例示では、検出モジュール１２４が、タッチの位置を決定するためにセンサ１０８を介してタッチ面１１６を監視するようにプロセッサ１０２を構成する。例えば、モジュール１２４は、タッチの存在又は不存在を追跡して、タッチが存在する場合、場所、経路、速度、加速度、圧力及び／又は経時的なタッチの他の特性を追跡するためにセンサ１０８をサンプリングしてもよい。
【００２３】
触覚効果決定モジュール１２６は、生成するべき触覚効果を選択するための音声及び映像特性に関するデータを分析するプログラムコンポーネントを表す。特に、モジュール１２６は、音声又は映像特性に基づいて、触覚出力デバイスによって生成及び出力するべき効果を決定するコードを含む。モジュール１２６は、音声及び映像特性の特定の組み合わせに割り当てるために、提供するべき１つ以上の既存の触覚効果を選択するコードをさらに含んでもよい。例えば、高ピーク音声振幅と組み合わされた高強度色は、爆発を示し、そのため強い振動の生成を引き起こしてもよい。こうした特徴の様々な組み合わせに基づいて、異なる触覚効果が選択されてもよい。さらに設計者が効果をプレビューして、映像内のシーン又はフレームの良好なモデル化のために必要に応じてそれを修正することができるように、触覚効果はタッチ面１１６を介して提供されてもよい。
【００２４】
触覚効果生成モジュール１２８は、プロセッサ１０２に触覚信号を生成させかつ触覚出力デバイス１１８に送信させ、それにより、選択された触覚効果を触覚出力デバイス１１８に生成させるプログラミングを表す。例えば、生成モジュール１２８は、記憶された波形又はコマンドにアクセスして、触覚出力デバイス１１８に送信してもよい。別の例示として、触覚効果生成モジュール１２８は、所望の種類の触覚効果を受信して、適切な信号を生成して触覚出力デバイス１１８に送信するために、信号処理アルゴリズムを利用してもよい。更なる例示として、テクスチャに関する目標座標と共に所望の触覚効果が示されて、表面（及び／又は他のデバイスコンポーネント）の適切な変位を生成して触覚効果を与えるために１つ以上のアクチュエータに適切な波形が送信されてもよい。いくつかの実施形態は、１つの特徴をシミュレートするために複数の触覚出力デバイスを同時に利用してもよい。例えば、インターフェース上でボタン間の境界を横断することをシミュレートするためにテクスチャの変化が使用されてもよい。一方で、触覚振動効果が、ボタンを押したときの応答をシミュレートする。
【００２５】
（音声及び映像を使用する触覚効果生成のための例示的な方法）
図２及び３は、音声及び映像に基づいて触覚効果を生成するための例示の実施形態の方法ステップのフローチャートである。図２は、音声及び映像信号が互いに連続して処理される処理２００を示す。処理の第１のステップでは、触覚効果決定モジュール１２６が、音声信号を受信する（２０２）。例えば、触覚効果決定モジュール１２６は、バッファに記憶されている特定のタイムスタンプで映画から音声トラックを受信してもよい。音声信号は、音声及び映像を保持するマルチメディアファイルの形態等で映像と同時に受信されてもよく、又は音声は映像を非同期的に受信されてもよい。
【００２６】
次に、触覚効果決定モジュール１２６は、音声信号の１つ以上の特性を識別する（２０４）。識別され得る音声特性の例は、限定されないが、振幅、周波数、エンベロープ、間隔及びピークを含む。一部の実施形態では、音声信号は、音声特性が識別される前に事前処理されてもよい。例えば、実施形態は、バックグラウンドノイズを除去するためにフィルタリング又は音声処理アルゴリズムを利用してもよい。別の実施形態では、オーディオの所定のフレームは、振幅が低過ぎるか又は音声フレームの周波数がプリセット範囲から出ている場合に無視されてもよい。一実施形態では、触覚効果を作成するときに発話が無視される。したがって、映像と関連付ける触覚効果を決定しようとする前に人間の発話に関連付けられる周波数を除去するフィルタが適用される。
【００２７】
図２に示された処理は特定のタイムスタンプで行われ得るが、処理は、経時的に特性を比較することも含んでもよい。例えば、一実施形態では、複数の連続フレームが分析されて、経時的に特定の音声特性の変化を決定してもよい。
【００２８】
触覚効果決定モジュール１２６は、次に、音声信号に対応する映像信号を受信し、例えば、２つの信号が同じタイムスタンプでサンプリングされる（２０６）。次に、触覚効果決定モジュール１２６は、映像の１つ以上の特性を識別する（２０８）。識別ステップの前に又はその一部として、本発明の実施形態は、映像を事前処理してもよい。このような事前処理は、触覚効果を生成するべき映像特性の識別の前に映像信号から無関係な情報を除去してもよい。一実施形態では、各フレームに対してピクセルを処理して、例えば、無関係なピクセルを黒色と置換するためにフィルタ又は画像処理アルゴリズムが利用される。色は、例えば、特定のイベントを示している色の範囲の中にその色がない場合に無関係であってもよい。
【００２９】
識別され得る映像特性の例は、運動ベクトル、エッジ、特徴点、色及び輝度を含む。上記の音声特性の場合と同様に、図２に示された処理は特定のタイムスタンプで行われてもよく、又は経時的に特性を比較することも含んでもよい。例えば、一実施形態では、複数の連続フレームが分析されて、力ベクトルを決定してもよい。
【００３０】
次に、触覚効果決定モジュール１２６は、１つ以上の音声特性及び１つ以上の映像特性を使用して、触覚効果を決定する（２１０）。次に、実施形態は、触覚効果に関連付けられる触覚信号を出力する（２１２）。触覚効果の決定は、事前設計されたアルゴリズムに基づいてもよい。また、触覚効果決定モジュール１２６は、次に触覚設計者によって修正され得る触覚効果を示唆してもよい。いくつかの実施形態では、音声及び映像特性に与えられる相対的重みが変化してもよい。例えば、一実施形態では、映像特性が４０％に重み付けされる一方で、音声特性が６０％に重み付けされてもよい。したがって、生成された触覚効果は、特定の時間において映像よりも音に依存するであろう。音声及び映像に与えられる相対的重みは、静的に設定されるか、又は音声若しくは映像の他の特性、ユーザのプリファレンスに基づいて、又は他の変数に基づいて動的に決定されてもよい。いくつかの実施形態では、音声又は映像のそれぞれの重みは、０から１００パーセントの間で変化してもよい。このような実施形態では、総重みは、１００に等しくてもよく又はそうでなくてもよい。例えば、音声が５０％に設定される一方で、映像は５５％に設定されてもよく、これはわずかに大きい重みを映像に与えている。
【００３１】
図２に示された処理２００は、リアルタイムで又は映像の記録に基づいて実行されてもよい。しかしながら、特定のタイムスタンプに関連付けるために、触覚効果の決定の一部として様々なフレームが互いに比較され得るように記録に基づいて映像を処理することは有利であり得る。
【００３２】
図３は、音声及び映像に基づいて触覚効果を生成するための別の例示の実施形態の方法ステップのフローチャートである。図３に示される実施形態では、提案される効果が、別々に音声及び映像に基づいて決定される。次に、提案される効果及び信号は一緒に分析されて、どのような触覚効果が出力されるべきかを決定する。
【００３３】
図２に示された処理と同様に、処理３００は、音声信号を受信すること（３０２）、及び１つ以上の音声特性を識別すること（３０４）により開始する。処理３００のこの時点で、触覚効果決定モジュール１２６は、音声特性にのみ基づいて触覚効果を決定する（３０６）。
【００３４】
また、触覚効果決定モジュール１２６は、映像信号を受信すること（３０８）、及び１つ以上の映像特性を識別すること（３１０）も行う。処理３００のこの時点で、触覚効果決定モジュール１２６は、映像特性にのみ基づいて触覚効果を決定する（３１２）。
【００３５】
次に、触覚効果決定モジュール１２６は、２つの別個の触覚効果を分析して、出力される触覚効果を決定する（３１４）。例えば、２つの異なる特性（音声及び映像）の各々に基づいて同じ又は類似の効果が提案される場合、触覚効果決定モジュール１２６は、同じ又は類似の触覚が出力されるべきであることを決定する。しかしながら、効果が著しく異なる場合、触覚効果決定モジュール１２６は、音声又は映像の一方をより重く重み付けし、それに従って最終触覚効果を決定してもよい。
【００３６】
例えば、一実施形態では、触覚効果決定モジュール１２６は、音声に基づいて１００％の確実性で、爆発が発生したことを決定するが、いずれの映像特性も爆発が発生したことを示唆していない。触覚効果決定モジュールは、触覚信号を生成して、爆発を反映した触覚トラックに出力するであろう。同様に、映像は爆発を示しているが爆発が可聴的ではなかった場合（例えば、視点が聴覚障害者であるキャラクタのものである場合）であっても、触覚効果は触覚トラックに追加されてもよい。しかしながら、触覚イベントが、あるトラックでは５０％よりも大きい確実性であるが、他のトラックでは５０％よりも小さい確実性であると検出される場合、それが誤検出であるかどうかを決定するために更なる分析が必要になる。映像及び音声が一致しないかもしれない例の１つは、潜在的爆発の場合である。映像内で動いているいくつかのオブジェクトが、爆発と類似している色及び色強度を有する場合がある。しかしながら、音声は、そのフレームを介してオブジェクトが単に高速で移動しているのであって、爆発ではないことを示してもよい。両方のトラックを分析することにより、処理２００はそれを区別することができる。
【００３７】
音声及び映像を別々に処理することが適切な効果をもたらさないかもしれないイベントの別の例は、衝突である。衝突の場合、スクリーン上の２つのオブジェクトが融合してもよい。しかしながら、オブジェクトが融合するとき、それらは衝突しているのではなく通過しているのかもしれない。しかしながら、２つのオブジェクトの融合が大きな音又は特定のタイプの音と一致する場合、触覚効果決定モジュールは、映像内のオブジェクトの融合を衝突として識別することができる。
【００３８】
別の実施形態では、音声及び映像トラックの両方で５０％未満の確実性で触覚信号が検出される場合、触覚効果は、最終触覚トラックに出力されないであろう。分析される音声及び映像のタイプに依存して、様々な代替が利用されてもよい。
【００３９】
触覚効果決定モジュール１２６が音声及び映像特性に基づいて適切な触覚効果を決定すると、触覚効果に関連付けられる触覚信号が出力される（３１６）。
【００４０】
いくつかの実施形態では、図２及び３に示される処理は様々なタイプの効果に対して反復されてもよい。例えば、一実施形態では、処理は、潜在的爆発を識別するために実行される。次に、処理は、潜在的砲撃を識別するために反復される。最後に、処理は、自動車等の複数の様々なオブジェクト間の衝突を探すために反復される。こうした潜在的イベントの各々に対して処理が完了すると、様々な効果が最終触覚トラックに融合され、次にこれは触覚設計者によって評価及び修正され得る。
【００４１】
本発明の実施形態は、音声又は映像に基づく既存の触覚効果の生成に対して様々な利点をもたらす。例えば、実施形態は、誤った肯定検出を減らすのに役立ち得る。例えば、視覚処理アルゴリズムを使用して爆発が検出される場合、音声において対応する高ピークは、同じ時間フレームで発生するはずであり、これが爆発を確認する。高ピークがない場合、爆発の検出は誤りであってもよい。
【００４２】
また、本発明の実施形態は、誤った否定検出を減らすのにも役立ち得る。例えば、爆発イベントは、バックグラウンドで発生するが、映像内では可視的ではなくてもよい。しかしながら、音声トラックにおいて対応する時間に発生する音声特性に基づいて、爆発が実際に発生したことが明らかであってもよい。
【００４３】
本発明の実施形態は、より正確かつ没入感のある触覚効果を生成するために役立つことができる。視覚及び聴覚処理を組み合わせることで、触覚効果が関連付けられるイベントの特徴により良好に一致するように、生成された触覚を調整するためにより多くの特性を使用することができる。そして、触覚が自動的に生成され得るので、本発明の実施形態は、モバイルデバイス等のアプリケーション又はゲーム用の広告に関して経済的なやり方で触覚を生成するのに有利であり得る。
【００４４】
（概論）
様々な構成によって、適宜、様々なプロシージャ又はコンポーネントが省略、置換、又は追加されてもよい。例えば、代替的な構成では、方法は記載されたものとは異なる順序で実行されてもよく、及び／又は様々なステージが追加、省略及び／又は結合されてもよい。また、所定の構成に関して記載された特徴は、様々な他の構成に結合されてもよい。構成の異なる態様及び要素が、同様に結合されてもよい。また、技術は進歩するものであり、そのため要素の多くは例示であり、本開示又は特許請求の範囲を限定しない。
【００４５】
例示的な構成（実装を含む）の十分な理解を与えるために説明の中で特定の詳細が与えられている。しかしながら、構成はこうした特定の詳細なしで実施されてもよい。例えば、周知の回路、処理、アルゴリズム、構造及び技術が、構成を不明確にするのを避けるために不要な詳細なしで示されている。この説明は、例示的な構成のみを提供するものであり、請求項の範囲、応用性又は構成を限定しない。むしろ、構成の上記説明は、記載された技術を実装するための実施可能な説明を当業者に提供するであろう。本開示の精神又は範囲から逸れることなく、要素の機能及び配置の様々な変更が行われてもよい。
【００４６】
また、構成は、フロー図又はブロック図として描かれる処理として記載されてもよい。各々が連続した処理として操作を説明している場合があるが、こうした操作の多くは並列的又は同時に行われ得る。さらに、操作の順序は並び替えられてもよい。処理は、図面に含まれない追加のステップを有してもよい。さらに、方法の例示は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はこれらの任意の組み合わせによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実装される場合、必要なタスクを実行するためのプログラムコード又はコードセグメントは、記憶媒体等の非一時的なコンピュータ可読媒体に記憶されてもよい。プロセッサは、記載されたタスクを実行してもよい。
【００４７】
複数の例示的な構成が記載されているが、本開示の精神から逸脱することなく、様々な修正、代替構造及び均等物が使用されてもよい。例えば、上記の要素は、より大きなシステムのコンポーネントであってもよく、他の規則が本発明の応用に優先し又はそれを修正してもよい。また、上記の要素が検討される前、間又は後で多くのステップが行われてもよい。したがって、先の記載によって請求項の範囲は縛られない。
【００４８】
本明細書における「適合」又は「構成」の使用は、追加のタスク又はステップを実行するように適合又は構成されるデバイスを排除しない開放的かつ包括的な言語を意図している。さらに、「基づいて」の使用は開放的かつ包括的であることが意図されており、すなわち、１つ以上の記載された条件又は値に「基づいて」行われる処理、ステップ、計算、又は他の動作が、実際には、記載されたものを超える追加の条件又は値に基づいてもよい。本明細書に含まれる表題、リスト及び番号は、単に説明を容易にするためのものであって、限定することを意図していない。
【００４９】
本主題の態様に従う実施形態は、デジタル電子回路、コンピュータハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせで実装され得る。一実施形態では、コンピュータは、１つ又は複数のプロセッサを備えてもよい。プロセッサは、プロセッサに結合されるランダム・アクセス・メモリ（ＲＡＭ；ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）等のコンピュータ可読媒体を備え、又はそれへのアクセスを有する。プロセッサは、センササンプリングルーチン、選択ルーチン、及び上述の方法を実行する他のルーチン等、メモリに記憶されたコンピュータ実行可能プログラム命令を実行する。
【００５０】
このようなプロセッサは、マイクロプロセッサ、デジタル・シグナル・プロセッサ（ＤＳＰ；ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒ）、特定用途向け集積回路（ＡＳＩＣ；ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ；ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ）、及び状態機械を含んでもよい。このようなプロセッサは、ＰＬＣ、プログラマブル割り込みコントローラ（ＰＩＣ；ｐｒｏｇｒａｍｍａｂｌｅ  ｉｎｔｅｒｒｕｐｔ  ｃｏｎｔｒｏｌｌｅｒ）、プログラマブル論理デバイス（ＰＬＤ；ｐｒｏｇｒａｍｍａｂｌｅ  ｌｏｇｉｃ  ｄｅｖｉｃｅ）、プログラマブルＲＯＭ（ＰＲＯＭ；ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ又はＥＥＰＲＯＭ；ｅｌｅｃｔｒｏｎｉｃａｌｌｙ  ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ）、又は他の類似のデバイス等のプログラマブル電子デバイスをさらに備えてもよい。
【００５１】
このようなプロセッサは、媒体、例えば、プロセッサによって実行されると、プロセッサによって遂行又は支援される本明細書に記載のステップをプロセッサに実行させることができる命令を記憶し得る有形のコンピュータ可読媒体を備え、又はこれと通信してもよい。コンピュータ可読媒体の実施形態は、限定されないが、プロセッサ、例えばウェブサーバのプロセッサにコンピュータ可読命令を提供することができる全ての電子、光学、磁気、又は他の記憶デバイスを備えてもよい。媒体の他の例は、限定されないが、フロッピーディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取り可能な任意の他の媒体を含む。また、様々な他のデバイスは、ルータ、プライベート若しくはパブリックネットワーク、又は他の伝送デバイス等のコンピュータ可読媒体を含んでもよい。記載されたプロセッサ及び処理は、１つ以上の構造内に有ってもよく、１つ以上の構造を通じて分散されてもよい。プロセッサは、本明細書に記載の１つ以上の方法（又は方法の一部）を実行するためのコードを備えてもよい。
【００５２】
本主題はその特定の実施形態に関して詳細に記載されているが、上記のことを理解すると、このような実施形態の変形、変化、及び均等物を当業者であれば容易に生み出し得ることが理解されるであろう。したがって、本開示は、限定ではなく例示を目的として提示されており、当業者には容易に明らかとなる本主題への修正、変更及び／又は追加を含むことを排除しないことが理解されるべきである。
【図１】
2020010322.tif 000003
【図２】
2020010322.tif 000004
【図３】
2020010322.tif 000005
【手続補正書】
【提出日】令和1年10月2日(2019.10.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
プログラムコードを含む非一時的なコンピュータ可読媒体であって、前記プログラムコードは、プロセッサによって実行されると、前記プロセッサに、
音声信号を受信すること、
前記音声信号に関連付けられる音声特性を識別すること、
映像信号を受信すること、
前記映像信号に関連付けられる映像特性を識別することであって、前記映像特性は、前記音声特性に対応すること、
前記音声特性及び前記映像特性に少なくとも部分的に基づいて触覚効果を決定すること、及び
前記触覚効果に関連付けられる触覚信号を出力すること
を行わせるように構成される、非一時的なコンピュータ可読媒体。
【請求項２】
実行されると、
前記音声信号に少なくとも部分的に基づいて第１の予備触覚効果を決定すること、
前記映像信号に少なくとも部分的に基づいて第２の予備触覚効果を決定すること、及び
前記第１の予備触覚効果及び前記第２の予備触覚効果に少なくとも部分的に基づいて前記触覚効果を決定すること
を行うように構成されるプログラムコードをさらに含む、請求項１に記載のコンピュータ可読媒体。
【請求項３】
実行されると、前記音声特性を識別する前に前記音声信号をフィルタリングするように構成されるプログラムコードをさらに含む、請求項１に記載のコンピュータ可読媒体。
【請求項４】
実行されると、
前記音声特性に基づいてイベントが発生した第１の可能性を決定すること、及び
前記映像特性に基づいて前記イベントが発生した第２の可能性を決定すること
を行うように構成されるプログラムコードをさらに含む、請求項１に記載のコンピュータ可読媒体。
【請求項５】
実行されると、前記第１の可能性及び前記第２の可能性の両方が５０パーセントを超える場合に前記イベントが発生したことを確認するように構成されるプログラムコードをさらに含む、請求項４に記載のコンピュータ可読媒体。
【請求項６】
実行されると、前記第１の可能性又は前記第２の可能性のいずれかが５０パーセント未満である場合に前記音声特性及び前記映像特性をさらに分析するように構成されるプログラムコードをさらに含む、請求項４に記載のコンピュータ可読媒体。
【請求項７】
前記音声特性は、振幅、周波数、エンベロープ、間隔、及びピークの１つ以上を含む、請求項１に記載のコンピュータ可読媒体。
【請求項８】
前記映像特性は、色、運動ベクトル、エッジ、特徴点、及び輝度の１つ以上を含む、請求項１に記載のコンピュータ可読媒体。
【請求項９】
実行されると、前記映像特性をピクセルデータから抽出するように構成されるプログラムコードをさらに含む、請求項１に記載のコンピュータ可読媒体。
【請求項１０】
実行されると、前記映像信号又は前記音声信号に対する事前処理を行うように構成されるプログラムコードをさらに含む、請求項１に記載のコンピュータ可読媒体。
【請求項１１】
事前処理は、フィルタリングを含む、請求項１０に記載のコンピュータ可読媒体。
【請求項１２】
実行されると、前記音声信号及び前記映像信号をマルチメディアファイルから抽出するように構成されるプログラムコードをさらに含む、請求項１に記載のコンピュータ可読媒体。
【請求項１３】
前記音声信号及び映像信号は、非同期的に受信される、請求項１２に記載のコンピュータ可読媒体。
【請求項１４】
実行されると、触覚効果を決定するときに前記音声特性及び前記映像特性に相対的重みを割り当てるように構成されるプログラムコードをさらに含む、請求項１に記載のコンピュータ可読媒体。
【請求項１５】
前記相対的重みは、静的に又は動的に割り当てられる、請求項１４に記載のコンピュータ可読媒体。
【請求項１６】
前記相対的重みは、０から１００の間の数である、請求項１４に記載のコンピュータ可読媒体。
【請求項１７】
音声信号を受信するステップと、
前記音声信号に関連付けられる音声特性を識別するステップと、
映像信号を受信するステップと、
前記映像信号に関連付けられる映像特性を識別するステップであって、前記映像特性は、前記音声特性に対応するステップと、
前記音声特性及び前記映像特性に少なくとも部分的に基づいて触覚効果を決定するステップと、
前記触覚効果に関連付けられる触覚信号を出力するステップと
を含む、方法。
【請求項１８】
前記音声信号に少なくとも部分的に基づいて第１の予備触覚効果を決定するステップと、
前記映像信号に少なくとも部分的に基づいて第２の予備触覚効果を決定するステップと、
前記第１の予備触覚効果及び前記第２の予備触覚効果に少なくとも部分的に基づいて前記触覚効果を決定するステップと
をさらに含む、請求項１７に記載の方法。
【請求項１９】
前記音声特性を識別する前に前記音声信号をフィルタリングするステップをさらに含む、請求項１７に記載の方法。
【請求項２０】
前記音声特性に基づいてイベントが発生した第１の可能性を決定するステップと、
前記映像特性に基づいて前記イベントが発生した第２の可能性を決定するステップと
をさらに含む、請求項１７に記載の方法。
【請求項２１】
前記第１の可能性及び前記第２の可能性の両方が５０パーセントを超える場合に前記イベントが発生したことを確認するステップをさらに含む、請求項２０に記載の方法。
【請求項２２】
前記第１の可能性又は前記第２の可能性のいずれかが５０パーセント未満である場合に前記音声特性及び前記映像特性をさらに分析するステップをさらに含む、請求項２０に記載の方法。
【請求項２３】
前記音声特性は、振幅、周波数、エンベロープ、間隔、及びピークの１つ以上を含む、請求項１７に記載の方法。
【請求項２４】
前記映像特性は、色、運動ベクトル、エッジ、特徴点、及び輝度の１つ以上を含む、請求項１７に記載の方法。
【請求項２５】
前記映像特性をピクセルデータから抽出するステップをさらに含む、請求項１７に記載の方法。
【外国語明細書】
2020010322000001.pdf