(57)【要約】  システムは、オーバレイされたハプティック効果を提供する。このシステムは、一次コンテンツと一次コンテンツに関連する一次ハプティック効果とを決定する。このシステムはまた、二次コンテンツと二次コンテンツに関連する二次ハプティック効果とを決定する。その後、このシステムは、一次コンテンツと並行して二次コンテンツを出力し、少なくとも一つのハプティック出力デバイス上で一次ハプティック効果と並行して二次ハプティック効果も出力する。【選択図】図３
2018506765.tif 000002
【特許請求の範囲】
【請求項１】
命令が格納された非一時的コンピュータ可読媒体であって、前記命令は、プロセッサにより実行されると、前記プロセッサに、オーバレイされたハプティック効果を提供させ、前記オーバレイは、
一次コンテンツと前記一次コンテンツに関連する一次ハプティック効果とを決定するステップと、
二次コンテンツと前記二次コンテンツに関連する二次ハプティック効果とを決定するステップと、
前記二次コンテンツを前記一次コンテンツと並行して出力するステップと、
少なくとも一つのハプティック出力デバイス上で前記二次ハプティック効果を前記一次ハプティック効果と並行して出力するステップと
を含む、非一時的コンピュータ可読媒体。
【請求項２】
前記一次コンテンツと前記一次コンテンツに関連する前記一次ハプティック効果とは、前記二次コンテンツと前記二次コンテンツに関連する前記二次ハプティック効果とを前記決定するステップの前に出力される、請求項１記載の非一時的コンピュータ可読媒体。
【請求項３】
前記一次ハプティック効果は、前記一次コンテンツと同期されたハプティックトラックに含まれる、請求項１記載の非一時的コンピュータ可読媒体。
【請求項４】
前記二次コンテンツが前記一次コンテンツと並行して出力されるときに、前記二次コンテンツは、ユーザインタフェース上で前記一次コンテンツの少なくとも一部を遮るかまたは前記一次コンテンツの隣もしくは付近にある、請求項１記載の非一時的コンピュータ可読媒体。
【請求項５】
前記二次ハプティック効果は、前記一次ハプティック効果をフェードアウトし、前記二次ハプティック効果をフェードインすることにより、前記一次ハプティック効果と並行して出力される、請求項１記載の非一時的コンピュータ可読媒体。
【請求項６】
前記一次ハプティック効果の前記フェードアウトは、前記一次ハプティック効果のハプティックパラメータを調節することにより行われる、請求項５記載の非一時的コンピュータ可読媒体。
【請求項７】
前記ハプティックパラメータは、前記一次ハプティック効果のゲインである、請求項６記載の非一時的コンピュータ可読媒体。
【請求項８】
前記二次ハプティック効果の前記フェードインは、前記二次ハプティック効果のハプティックパラメータを調節することにより行われる、請求項５記載の非一時的コンピュータ可読媒体。
【請求項９】
前記ハプティックパラメータは、前記二次ハプティック効果のゲインである、請求項８記載の非一時的コンピュータ可読媒体。
【請求項１０】
前記二次ハプティック効果が再生され終わったあと、前記一次ハプティック効果が再びフェードインされる、請求項５記載の非一時的コンピュータ可読媒体。
【請求項１１】
前記二次ハプティック効果は、前記一次ハプティック効果をミュートし、前記二次ハプティック効果を再生することにより、前記一次ハプティック効果と並行して出力される、請求項１記載の非一時的コンピュータ可読媒体。
【請求項１２】
前記一次コンテンツは、メディアコンテンツまたは対話型コンテンツである、請求項１記載の非一時的コンピュータ可読媒体。
【請求項１３】
前記二次コンテンツは、バナー広告である、請求項１記載の非一時的コンピュータ可読媒体。
【請求項１４】
オーバレイされたハプティック効果を提供する方法であって、
一次コンテンツと前記一次コンテンツに関連する一次ハプティック効果とを決定するステップと、
二次コンテンツと前記二次コンテンツに関連する二次ハプティック効果とを決定するステップと、
前記二次コンテンツを前記一次コンテンツと並行して出力するステップと、
少なくとも一つのハプティック出力デバイス上で前記二次ハプティック効果を前記一次ハプティック効果と並行して出力するステップと
を含む、方法。
【請求項１５】
前記一次コンテンツと前記一次コンテンツに関連する前記一次ハプティック効果とは、前記二次コンテンツと前記二次コンテンツに関連する前記二次ハプティック効果とを前記決定するステップの前に出力される、請求項１４記載の方法。
【請求項１６】
前記一次ハプティック効果は、前記一次コンテンツと同期されたハプティックトラックに含まれる、請求項１４記載の方法。
【請求項１７】
前記二次コンテンツが前記一次コンテンツと並行して出力されるときに、前記二次コンテンツは、ユーザインタフェース上で前記一次コンテンツの少なくとも一部を遮るかまたは前記一次コンテンツの隣もしくは付近にある、請求項１４記載の方法。
【請求項１８】
前記二次ハプティック効果は、前記一次ハプティック効果をフェードアウトし、前記二次ハプティック効果をフェードインすることにより、前記一次ハプティック効果と並行して出力される、請求項１４記載の方法。
【請求項１９】
前記一次ハプティック効果の前記フェードアウトは、前記一次ハプティック効果のハプティックパラメータを調節することにより行われる、請求項１８記載の方法。
【請求項２０】
オーバレイされたハプティック効果を提供するためのシステムであって、
一次コンテンツと前記一次コンテンツに関連する一次ハプティック効果とを決定する、決定モジュールであって、
二次コンテンツと前記二次コンテンツに関連する二次ハプティック効果とをさらに決定する、前記決定モジュールと、
前記二次コンテンツを前記一次コンテンツと並行して出力する、出力モジュールであって、
少なくとも一つのハプティック出力デバイス上で前記二次ハプティック効果を前記一次ハプティック効果と並行してさらに出力する、前記出力モジュールと
を含む、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、２０１５年２月２５日に出願の米国特許仮出願第６２／１２０，７１８号の優先権を主張し、その開示は参照により本明細書に組み込まれる。
【０００２】
一実施形態は一般にハプティックシステムを目的とし、特に、オーバレイされたハプティック効果を提供するハプティックシステムを目的とする。
【背景技術】
【０００３】
「ハプティクス」は、力、振動、および運動等のハプティックフィードバック効果（すなわち「ハプティック効果」）をユーザに与えることでユーザの触感を利用する、触覚および力フィードバック技術である。モバイルデバイス、タッチスクリーンデバイス、およびパーソナルコンピュータ等のデバイスは、ハプティック効果を生成するように構成できる。一般に、ハプティック効果を生成できるエンベデッドハードウェア（アクチュエータ等）に対する呼び出しが、デバイスのオペレーティングシステム（「ＯＳ；ｏｐｅｒａｔｉｎｇ  ｓｙｓｔｅｍ」）内にプログラミングされうる。これらの呼び出しは、どのハプティック効果を再生するかを特定する。例えば、ユーザが、例えばボタン、タッチスクリーン、レバー、ジョイスティック、ホイール、または他の何らかの制御部を用いてデバイスと対話する際に、デバイスのＯＳが、制御回路を通じてエンベデッドハードウェアに再生コマンドを送信しうる。そして、エンベデッドハードウェアが適切なハプティック効果を生み出す。
【発明の概要】
【課題を解決するための手段】
【０００４】
一実施形態は、オーバレイされたハプティック効果を提供するシステムである。システムは、一次コンテンツと一次コンテンツに関連する一次ハプティック効果とを決定する。システムはまた、二次コンテンツと二次コンテンツに関連する二次ハプティック効果とを決定する。その後、システムは、二次コンテンツを一次コンテンツと並行して出力し、少なくとも一つのハプティック出力デバイス上で二次ハプティック効果を一次ハプティック効果と並行して出力する。
【図面の簡単な説明】
【０００５】
【図１】本発明の一実施形態に係るコンピュータサーバ／システムのブロック図である。
【図２】本発明の一実施形態に係るハプティックオーバレイ機能を提供するためのユーザインタフェースの例である。
【図３】本発明の実施形態に係るハプティックオーバレイ機能を行う際の図１のハプティックオーバレイモジュールの動作のフローダイヤグラムである。
【発明を実施するための形態】
【０００６】
一実施形態は、一次ハプティックコンテンツストリームの上に二次ハプティック効果をオーバレイで表現することにより、ハプティック効果オーバレイ機能を提供する。一次ハプティックコンテンツストリームは、ビデオストリーム、対話型ソフトウェアインタフェース等の一次コンテンツに関連し、および／または同期されうる。二次ハプティック効果は、バナー広告等の二次コンテンツに関連し、および／または同期されうる。二次コンテンツが一次コンテンツを部分的に遮るか、または一次コンテンツの隣もしくは付近に提供されるように、一次コンテンツが二次コンテンツとオーバレイされうる。一部の実施形態は、一次ハプティックコンテンツストリームおよび二次ハプティック効果が一次コンテンツおよび二次コンテンツの状況に関して望ましく直観的なやり方でユーザに提供されるように、ハプティックオーバレイ機能を提供する。このように、実施形態は、オーバレイされたハプティック効果を提供するハプティック機能を可能にする。
【０００７】
図１は、本発明の一実施形態に係るシステム１０のブロック図である。一実施形態では、システム１０はモバイルデバイス（例えばスマートフォン）または非モバイルデバイスの一部であり、システム１０は、モバイルデバイスにハプティクス機能を提供する。別の実施形態では、システム１０は任意のやり方でユーザと接触する物体（例えば家具）に組み込まれたデバイスの一部であり、システム１０は、そのようなデバイスにハプティクス機能を提供する。例えば、一実施形態では、システム１０はウェアラブルデバイスの一部であり、システム１０は、ウェアラブルデバイスにハプティクス機能を提供する。ウェアラブルデバイスの例には、リストバンド、ヘッドバンド、眼鏡、リング、レッグバンド、衣類と一体化されたアレイ、またはユーザが身に付けまたはユーザによって保持されうる他の任意のタイプのデバイスが含まれる。一部のウェアラブルデバイスは、「ハプティック式」でありうる、すなわちハプティック効果を生成する機構を含みうる。別の実施形態では、システム１０は、デバイス（例えばモバイルデバイスまたはウェアラブルデバイス）と分かれており、デバイスにハプティクス機能を遠隔で提供する。
【０００８】
単一のシステムとして図示されているが、システム１０の機能は、分散型システムとして実装されてもよい。システム１０は、バス１２または情報通信のための他の通信機構と、バス１２に結合された情報処理のためのプロセッサ２２とを含む。プロセッサ２２は、任意のタイプの汎用または特定用途向けプロセッサであってよい。システム１０は、プロセッサ２２により実行される情報および命令を格納するメモリ１４をさらに含む。メモリ１４は、ランダムアクセスメモリ（「ＲＡＭ；ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ」）、リードオンリメモリ（「ＲＯＭ；ｒｅａｄ  ｏｎｌｙ  ｍｅｍｏｒｙ」）、磁気もしくは光ディスク等のスタティックストレージ、または他の任意のタイプのコンピュータ可読媒体の任意の組み合わせで構成することができる。
【０００９】
コンピュータ可読媒体は、プロセッサ２２によりアクセス可能な任意の利用可能な媒体であればよく、揮発性および不揮発性媒体の両方、取外し可能および取外し不能媒体、通信媒体、および記憶媒体を含むことができる。通信媒体は、コンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータを搬送波または他のトランスポート機構等の変調データ信号に含むことができ、公知技術のその他の任意の形の情報配信媒体を含みうる。記憶媒体には、ＲＡＭ、フラッシュメモリ、ＲＯＭ、消去可能プログラム可能リードオンリメモリ（「ＥＰＲＯＭ；ｅｒａｓａｂｌｅ  ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ‐ｏｎｌｙ  ｍｅｍｏｒｙ」）、電気的消去可能プログラム可能リードオンリメモリ（「ＥＥＰＲＯＭ；ｅｌｅｃｔｒｉｃａｌｌｙ  ｅｒａｓａｂｌｅ  ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ‐ｏｎｌｙ  ｍｅｍｏｒｙ」）、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスクリードオンリメモリ（「ＣＤ‐ＲＯＭ；ｃｏｍｐａｃｔ  ｄｉｓｋ  ｒｅａｄ‐ｏｎｌｙ  ｍｅｍｏｒｙ」）、または公知技術の他の任意の形の記憶媒体を含みうる。
【００１０】
一実施形態では、メモリ１４は、プロセッサ２２により実行されたときに機能を提供するソフトウェアモジュールを格納する。モジュールは、一実施形態ではシステム１０とモバイルデバイスの残りの部分とにオペレーティングシステム機能を提供する、オペレーティングシステム１５を含む。モジュールは、本明細書により詳細に開示するように、ハプティクス機能を提供するハプティックオーバレイモジュール１６をさらに含む。ある実施形態では、ハプティックオーバレイモジュール１６は複数のモジュールを含むことができ、各モジュールが、ハプティック効果を提供するための特定の個別の機能を提供する。システム１０は通常、Ｉｍｍｅｒｓｉｏｎ  Ｃｏｒｐ．によるＴｏｕｃｈＳｅｎｓｅ（商標）ソフトウェアなど、追加の機能を含むための一つ以上の追加のアプリケーションモジュール１８を含む。
【００１１】
システム１０は、リモートソースからデータを伝送および／または受信する実施形態では、赤外線、無線、Ｗｉ‐Ｆｉ(登録商標)、セルラネットワーク通信等の移動ワイヤレスネットワーク通信を提供するために、ネットワークインタフェースカード等の通信デバイス２０をさらに含む。他の実施形態では、通信デバイス２０は、イーサネット（登録商標）接続またはモデム等のワイヤードネットワーク接続を提供する。
【００１２】
プロセッサ２２は、グラフィック表現またはユーザインタフェースをユーザに表示するための液晶ディスプレイ（「ＬＣＤ；Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ」）等のディスプレイ２４に、バス１２を介してさらに結合される。ディスプレイ２４は、プロセッサ２２から信号を送受信するように構成されたタッチスクリーン等の接触感知式入力デバイスでもよく、マルチタッチ式タッチスクリーンでもよい。
【００１３】
システム１０は、一実施形態では、アクチュエータ２６をさらに含む。プロセッサ２２は、ハプティック効果に関連するハプティック信号をアクチュエータ２６に伝送することができ、さらにそれが、振動触覚ハプティック効果、静電摩擦ハプティック効果、変形ハプティック効果等のハプティック効果を出力する。アクチュエータ２６は、アクチュエータ駆動回路を含む。アクチュエータ２６は、例えば、電動モータ、電磁アクチュエータ、ボイスコイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ（「ＥＲＭ；ｅｃｃｅｎｔｒｉｃ  ｒｏｔａｔｉｎｇ  ｍａｓｓ  ｍｏｔｏｒ」）、リニア共振アクチュエータ（「ＬＲＡ；ｌｉｎｅａｒ  ｒｅｓｏｎａｎｔ  ａｃｔｕａｔｏｒ」）、圧電アクチュエータ、高帯域幅アクチュエータ、電気活性ポリマ（「ＥＡＰ；ｅｌｅｃｔｒｏａｃｔｉｖｅ  ｐｏｌｙｍｅｒ」）アクチュエータ等でもよい。代替的実施形態では、システム１０は、アクチュエータ２６に加えて、一つ以上の追加のアクチュエータを含みうる（図１には示されない）。代わりにまたは加えて、アクチュエータ２６は、感熱ディスプレイ（例えば温／冷）、電気触覚刺激（すなわち電流による触覚受容器の刺激）、運動感覚フィードバック等、任意の他のハプティック技術にしたがって動作してもよい。さらにもう一つの代替的または追加的実施形態は、システムがユーザに行わせているおよび／または行っているように感じさせている一つまたは複数の動作をユーザが決定する必要があるタスク等の電気筋肉刺激を実施しうる。
【００１４】
アクチュエータ２６は、ハプティック出力デバイスの一例であり、ここでハプティック出力デバイスとは、駆動信号に応答して振動触覚ハプティック効果、静電摩擦ハプティック効果、変形ハプティック効果等の任意の形のハプティック効果を出力するように構成されたデバイスである。したがって、代替的実施形態では、アクチュエータ２６は、静電摩擦（「ＥＳＦ；ｅｌｅｃｔｒｏｓｔａｔｉｃ  ｆｒｉｃｔｉｏｎ」）または超音波表面摩擦（「ＵＳＦ；ｕｌｔｒａｓｏｎｉｃ  ｓｕｒｆａｃｅ  ｆｒｉｃｔｉｏｎ」）を用いたデバイス、超音波ハプティックトランスデューサを有する音響放射圧を誘導するデバイス、ハプティック基板と可撓性もしくは変形可能表面または形状変更デバイスとを用い、ユーザの身体に取り付けられうるデバイス、空気ジェットを用いた空気の吹き出し、レーザベースの発射物、音ベースの発射物等の発射型ハプティック出力を提供するデバイス等の、非機械式または非振動デバイスであってもよい他の何らかのタイプのハプティック出力デバイス（図示せず）に置換されてもよい。
【００１５】
例えば、一実施形態は、プラズマ（正および負粒子の濃縮混合物）を提供するためにレーザエネルギーが空中の濃縮領域の空気分子をイオン化するレーザベースの発射物を提供する。一実施形態において、レーザは、非常に高速かつ非常に強いペースでパルスを出射するフェムト秒レーザでもよく、レーザが高速であるほど人が触れるのにより安全である。発射物は、ハプティックおよび対話型ホログラムとして現れうる。プラズマがユーザの皮膚と接触すると、ユーザは、濃縮領域における励起された空気分子の振動を感知しうる。ユーザが空中のプラズマと相互作用したときに生成される波動によってユーザの皮膚上の感覚が引き起こされる。したがって、ユーザをこのような濃縮領域にさらすことによって、ハプティック効果がユーザに提供されうる。代わりにまたは加えて、ユーザを指向性音響エネルギーにより生成される振動にさらすことによって、ハプティック効果がユーザに提供されてもよい。
【００１６】
さらに、他の代替的実施形態では、システム１０はアクチュエータ２６または他の一切のハプティック出力デバイスを含まなくてもよく、システム１０とは別個のデバイスが、アクチュエータまたはハプティック効果を生成する他のハプティック出力デバイスを含み、システム１０は、生成されたハプティック信号を、通信デバイス２０を通じてそのデバイスに送信する。
【００１７】
システム１０は、一実施形態では、スピーカ２８をさらに含む。プロセッサ２２は、スピーカ２８に音声信号を伝送してもよく、さらにスピーカ２８が音声効果を出力する。スピーカ２８は、例えば、動的ラウドスピーカ、動電ラウドスピーカ、圧電ラウドスピーカ、磁気歪みラウドスピーカ、静電ラウドスピーカ、リボン型平面磁気ラウドスピーカ、屈曲波ラウドスピーカ、フラットパネルラウドスピーカ、ハイルエアモーショントランスデューサ、プラズマアークスピーカ、デジタルラウドスピーカ等でありうる。代替的実施形態では、システム１０は、スピーカ２８に加えて、一つ以上の追加のスピーカを含みうる（図１には示されない）。さらに、他の代替的実施形態では、システム１０は、スピーカ２８を含まなくてもよく、システム１０とは別個のデバイスが、音声効果を出力するスピーカを含み、システム１０は、音声信号を、通信デバイス２０を通じてそのデバイスに送信する。
【００１８】
システム１０は、一実施形態では、センサ３０をさらに含む。センサ３０は、音、動作、加速度、生体信号、距離、流量、力／圧力／歪み／屈曲、湿度、線形位置、方位／傾斜、無線周波数、回転位置、回転速度、スイッチの操作、温度、振動、可視光強度等であるがこれらに限定されない、エネルギーの一形態または他の物理的性質を検出するように構成されうる。センサ３０は、検出エネルギーまたは他の物理的性質を、電気信号または仮想センサ情報を表す任意の信号に変換するようにさらに構成されうる。センサ３０は、加速度計、電気皮膚反応センサ、容量センサ、ホール効果センサ、赤外センサ、超音波センサ、圧力センサ、光ファイバセンサ、曲りセンサ（または屈曲センサ）、力感知レジスタ、ロードセル、ＬｕＳｅｎｓｅＣＰＳ２  １５５、ミニチュア圧力トランスデューサ、圧電センサ、ストレインゲージ、湿度計、線形位置タッチセンサ、線形ポテンショメータ（またはスライダ）、線形可変差動変圧器、コンパス、傾斜計、磁性タグ（または無線周波数識別タグ）、回転エンコーダ、回転ポテンショメータ、ジャイロスコープ、オンオフスイッチ、温度センサ（温度計、熱電対、抵抗温度検知器、サーミスタ、または温度変換集積回路等）、マイクロホン、光度計、高度計、生体モニタ、カメラ、光依存レジスタ等であるがこれらに限定されない任意のデバイス、または心電図、脳波図、筋電計、眼電図、電気的パラトグラフもしくは任意の他の電気生理的出力を出力する任意のデバイスであってもよい。
【００１９】
代替的実施形態では、システム１０は、センサ３０に加えて、一つ以上の追加のセンサを含みうる（図１には示されない）。これらの実施形態の一部では、センサ３０および一つ以上の追加のセンサは、センサアレイまたは他の何らかのタイプのセンサの集まり／配列の一部であってもよい。さらに、他の代替的実施形態では、システム１０は、センサ３０を含まなくてもよく、システム１０とは別個のデバイスが、エネルギーの一形態または他の物理的性質を検出するセンサを含み、検出されたエネルギーまたは他の物理的性質を、電気信号または仮想センサ情報を表す他のタイプの信号に変換する。それからデバイスが、変換された信号を、通信デバイス２０を通じてシステム１０に送信しうる。
【００２０】
一般に、既知のシステムでは、視聴者の注意をひくために、一次メディアコンテンツに二次メディアコンテンツが時折オーバレイされうる。このオーバレイは、例えば、「スーパースティシャル（ｓｕｐｅｒｓｔｉｔｉａｌ）」コンテンツが一次コンテンツの前に置かれる広告のシナリオにおいて一般的である。このようなスーパースティシャルコンテンツの例は、テキスト、アニメーションおよび／またはビデオ／音声コンテンツを含むバナー広告（「ａｄ；ａｄｖｅｒｔｉｓｅｍｅｎｔ」）である。バナー広告は、サービスおよび製品を広告するために使用されることが多い。ユーザがバナー広告に反応すると、広告されたコンテンツに関するさらなる情報がそのユーザに提供される。ユーザは、例えば広告をクリックすること、あるボタンを押すこと、「ジェスチャ」などを提供することによりバナー広告に反応しうる。ジェスチャは、例えば参照によりその開示が本明細書に組み込まれる米国特許第８，６５９，５７１号の様々な実施形態に提供されるように、意味またはユーザの意図を伝達するための身体の動作である。単純なジェスチャが組み合わせられてより複雑なジェスチャが形成されうる。例えば指を接触感知式表面と接触させることを、「フィンガーオン」ジェスチャと呼称し、指を接触感知式表面から外すことを、別個の「フィンガーオフ」ジェスチャと呼称しうる。「フィンガーオン」ジェスチャと「フィンガーオフ」ジェスチャとの間の時間が比較的短い場合には、組み合わせたジェスチャを「タップ」と呼称することができ、「フィンガーオン」ジェスチャと「フィンガーオフ」ジェスチャとの間の時間が比較的長い場合には、組み合わせたジェスチャを「ロングタップ」と呼称することができ、「フィンガーオン」ジェスチャと「フィンガーオフ」ジェスチャとの間の二次元（ｘ，ｙ）位置の距離が比較的大きい場合には、組み合わせたジェスチャを「スワイプ」と呼称することができ、「フィンガーオン」ジェスチャと「フィンガーオフ」ジェスチャとの間の二次元（ｘ，ｙ）位置の距離が比較的小さい場合には、組み合わせたジェスチャを「スミア」、「スマッジ」、または「フリック」と呼称することができる。複数の指の接触、掌または拳の接触またはデバイスに対する接近性を含むがこれらに限定されない任意の数の二次元または三次元の単純または複雑なジェスチャが、任意の様式で組み合わせられて任意の数の他のジェスチャが形成されうる。ジェスチャは、加速度計、ジャイロスコープまたは他の運動センサを有するデバイスにより認識され、電子信号に変換される任意の形の手の動作であってもよい。このような電子信号は、仮想さいころを振る等の動的効果を起動することができ、センサが動的効果を生成するユーザの意図を捉える。
【００２１】
例えば、タッチスクリーン上で一次コンテンツを受信するユーザは、タッチスクリーン上で一次コンテンツにオーバレイするバナー広告を受信しうる。ユーザがタッチスクリーン上のある位置をタップすることで広告に反応すると、広告されたコンテンツに関するさらなる情報が提供される。しかし、既知のシステムは、ハプティックコンテンツについてはオーバレイ機能を提供しない。
【００２２】
既知のシステムに対して、本発明の実施形態は、ハプティック効果オーバレイ機能を提供する。一実施形態では、一次ハプティックコンテンツストリームがプレイバックされている間に、それに二次ハプティックコンテンツがオーバレイされる。一実施形態は、一次ハプティックコンテンツストリームと二次ハプティックコンテンツとがエンドユーザにとって直観的／望ましいと感じるやり方で並行して表現されるのを可能にするように、一次ハプティックコンテンツストリームを処理する。代替的または追加的実施形態は、一次ハプティックコンテンツストリームまたは二次ハプティックコンテンツのいずれが表現されるべきかにつき選択がなされるのを可能にする。この選択は、例えば、所望のハプティック体験についてのユーザの選好に基づいてなされてもよい。
【００２３】
一実施形態では、一次ハプティックコンテンツストリームは、テクスチャコンテンツ、音声ストリーム、ビデオストリーム、対話型ソフトウェア（例えばビデオゲームまたはモバイルアプリケーション）等の一次コンテンツに関連する。一実施形態では、一次ハプティックコンテンツストリームは、一次コンテンツと同期されたハプティック効果を含む。一実施形態では、二次ハプティックコンテンツは、バナー広告または他のスーパースティシャルビデオ、アニメーションまたはグラフィック要素等の二次コンテンツに関連する。一実施形態では、二次ハプティックコンテンツは、一次コンテンツに対して非同期のハプティック効果を含む。一実施形態では、二次ハプティックコンテンツは、二次コンテンツと同期のハプティック効果を含む。
【００２４】
一実施形態では、二次コンテンツは、一次コンテンツの一部または全部を遮るか、または一次コンテンツの隣もしくは付近に現れる。代替的または追加的実施形態では、一次コンテンツおよび二次コンテンツは、別々のデバイス上または同じデバイスの別々のディスプレイ上に提供されうる。
【００２５】
一般に、一次ハプティックコンテンツストリームと二次ハプティックコンテンツストリームとが同じ時に再生される場合、それぞれのハプティック効果のマグニチュード（大きさ）が合計され、その結果ユーザにとって望ましくないおよび／または不快な感覚が生じうる。さらに、二つのハプティックストリームを同じ時に再生することで、ハプティック効果の意味（例えばハプティック効果の音声／視覚コンテンツとの同期、それぞれのハプティック効果の持続時間および／またはパターンなど）が不明瞭になりうる。したがって、二つのハプティックストリームを同じ時に再生することによって、それぞれもしくは両方のハプティックコンテンツストリームにより伝えられるべき（例えばコンテンツの製作者が意図した）メッセージが失われ、または不明瞭になりうる。しかし、一実施形態は、一次ハプティックコンテンツストリームと二次ハプティックコンテンツストリームとを、ユーザに望ましい／快適な感覚が提供されるようなやり方で表現する。
【００２６】
一実施形態では、二次コンテンツに関連するハプティック効果は、ユーザが二次コンテンツに反応することによってそのように選択するまでユーザに提供されない。例えば二次コンテンツがユーザにバナー広告をタップするなどの入力を求めるバナー広告であるとき、ユーザがバナー広告に対して肯定応答を提供（例えばバナー広告をタップ）すると、二次ハプティック効果がユーザに提供される。
【００２７】
一実施形態では、ユーザに二次ハプティック効果を提供することが決定されたとき（例えばユーザがバナー広告をタップしたとき）には、一次ハプティック効果が「フェードアウト」され、二次ハプティック効果が「フェードイン」される。一実施形態では、一次ハプティック効果は、一次ハプティック効果のゲイン、周波数、振幅、パルス形状、連続するパルス間の間隔等の一つ以上のハプティックパラメータを調節することによってフェードアウトされる。例えば、一次ハプティック効果は、それらのゲインの漸次および／または階段的減少によってフェードアウトされうる。あるいは、一次ハプティック効果は、急にミュートまたは停止されてもよい（すなわち０ゲインへの即時減少）。
【００２８】
一実施形態では、二次ハプティック効果は、二次ハプティック効果のゲイン、周波数、振幅、パルス形状、連続するパルス間の間隔等の一つ以上のハプティックパラメータを調節することによってフェードインされる。例えば、二次ハプティック効果は、それらのゲインの漸次および／または階段的減少によってフェードインされうる。あるいは、二次ハプティック効果は、急に開始されてもよい（すなわち最大ゲインへの即時増加）。
【００２９】
一実施形態では、一次ハプティック効果のフェードアウトが閾値に達すると、二次ハプティック効果がフェードインまたは急に開始される。例えば、一実施形態では、一次ハプティック効果のゲインが最大ゲインの２０％等の閾値ゲイン値まで減少したときに、二次ハプティック効果がフェードインまたは急に開始される。一実施形態では、このような閾値は、ユーザの選好に基づいて決定／調節される。一実施形態では、ユーザの選好は、過去のユーザの体験からのフィードバックに基づいてもよい。
【００３０】
一実施形態では、一次ハプティック効果をフェードアウトさせる閾値は、ヒトの知覚に基づいて構成される。例えば、一次ハプティック効果がヒトの知覚の限界近くまたは限界未満のレベルにフェードアウトされたときに、二次ハプティック効果がフェードインまたは急に開始されうる。このようなヒトの知覚の限界は、精神物理学に基づくヒト知覚モデルにしたがって決定されうる。精神物理学は、例えば「Ｍｅａｓｕｒｉｎｇ，ｅｓｔｉｍａｔｉｎｇ，ａｎｄ  ｕｎｄｅｒｓｔａｎｄｉｎｇ  ｔｈｅ  ｐｓｙｃｈｏｍｅｔｒｉｃ  ｆｕｎｃｔｉｏｎ：Ａ  ｃｏｍｍｅｎｔａｒｙ」、Ｓｔａｎｌｅｙ  Ａ．Ｋｌｅｉｎ，Ｐｅｒｃｅｐｔｉｏｎ  ＆  Ｐｓｙｃｈｏｐｈｙｓｉｃｓ，２００１，６３（８），１４２１‐１４５５に提供されるような、物理的刺激と主観的反応との間の関連を研究する科学分野である。精神物理学は、知覚タスクにおけるユーザの主観的反応を物理的刺激のパラメータの関数として予測することを可能にする。主観的反応は、例えば、振動の一つまたは二つの連続したパルスがヒトに知覚されるか否かでありうる。対応する物理的刺激のパラメータは、例えば二つのパルス間の間隔でありうる。精神物理学は、検出閾値（例えば刺激が知覚可能になるポイント）ならびに弁別閾値（例えば二つの刺激が区別されうるポイント）等の知覚の閾値を一般に研究する。精神物理的結果は、横座標を刺激強さとして、縦座標がオブザーバの反応を測定する、精神測定関数に関して表現されることが多い。精神測定関数は、典型的にＳ字形状を有する。
【００３１】
一実施形態では、一次ハプティック効果がある期間（例えば数秒）にわたりフェードアウトされているときに、二次ハプティック効果がフェードインまたは急に開始される。一実施形態では、一次ハプティック効果がフェードアウトされている際に、二次コンテンツの編集コンテンツに基づいて二次ハプティック効果がフェードインし始め、または急に開始する。例えば、ハプティック効果の設計者は、二次ハプティック効果がフェードインまたは急に開始されるのをトリガするためのマーカを二次コンテンツまたは二次ハプティック効果に含みうる。
【００３２】
一実施形態では、一次ハプティック効果がフェードアウトされているに際に、二次コンテンツの前後関係要素に基づいて二次ハプティック効果がフェードインし始め、または急に開始する。例えば、二次コンテンツがバナー広告であるとき、広告は、強調／展示されるように構成された明示的ハプティック効果を含みうる。したがって、二次ハプティック効果は、このような明示的ハプティック効果により再生を始める。
【００３３】
一実施形態では、一次コンテンツは、ユーザのモバイルデバイス上に提供されるビデオストリームであってもよく、そして、一次ハプティックコンテンツストリームは、ビデオストリームのために設計され、ビデオストリームのプレイバックと同期してプレイバックされるハプティックトラックであってもよい。プレイバック中のあるポイントで、一次コンテンツの一部または全部を遮るか、または一次コンテンツの隣もしくは付近に現れるバナーまたはスーパースティシャルビデオ、アニメーション、もしくはグラフィック要素等の二次コンテンツがユーザに提供される。一実施形態では、二次コンテンツが現れると、グラフィックアニメーションおよび関連するハプティック効果が再生されて、ユーザの注意を一次コンテンツからそらし、二次コンテンツに向ける。
【００３４】
一実施形態では、二次コンテンツは、一次コンテンツから独立した別々のパッケージに含まれる。この実施形態では、二次ハプティック効果は、二次コンテンツを形成する他のコンテンツと共にパッケージされる。例えば、二次コンテンツがバナー広告であるとき、二次コンテンツに関連するハプティック効果は、ビデオ／音声コンテンツ、アニメーション、グラフィック要素等のバナー広告を形成する他のコンテンツと共にパッケージされる。したがって、一次コンテンツおよび二次コンテンツは、異なる独立したソースによって提供され、それらの関連するハプティック効果も同様である。
【００３５】
例えば、一実施形態では、一次コンテンツと一次コンテンツに関連するハプティック効果とは、第一マルチメディアソースによって提供される一方で、二次コンテンツと二次コンテンツに関連するハプティック効果とは、第一マルチメディアソースから独立した異なる第二マルチメディアのソースによって提供されるパッケージに含まれる。一実施形態では、一次コンテンツと一次コンテンツに関連するハプティック効果とは、第一マルチメディアトラックに符合化される一方で、二次コンテンツと二次コンテンツに関連するハプティック効果とは、第一マルチメディアトラックから独立した異なる第二マルチメディアトラックに符合化される。一実施形態では、一次コンテンツと一次コンテンツに関連するハプティック効果とは、マルチメディアトラックに符合化される一方で、二次コンテンツと二次コンテンツに関連するハプティック効果とは、マルチメディアトラックから独立したパッケージに含まれ、そのようなパッケージは、マルチメディアトラックのマーカ／タグに基づいて読み出される。
【００３６】
一実施形態では、ユーザは、対話型ソフトウェア（例えばゲーム、アプリまたは他の対話型機構）と対話するためにデバイスを使用していてもよく、このような対話が、ハプティック効果のストリーム（例えばＢＧＭに関連するハプティックトラック）および／または一連の個々のハプティック効果（例えば得点等のゲームまたはアプリとのユーザの対話によって引き起こされるイベントに関連するハプティック効果）を生成していてもよい。この対話中のあるポイントで、対話型コンテンツの一部もしくは全部を遮るかまたは対話型コンテンツの隣もしくは付近に現れる、バナーまたはスーパースティシャルグラフィック要素等の二次コンテンツがユーザに提供される。二次コンテンツが現れると、グラフィックアニメーションおよび関連するハプティック効果が再生されて、ユーザの注意を一次コンテンツからそらし、二次コンテンツに向ける。一実施形態では、バナーは、バウンドするボールを示してもよく、ボールがバナーでバウンドする際に、実施形態がバウンドするボールのように感じるように構成されたハプティック効果を再生する。
【００３７】
一実施形態では、二次コンテンツは、スーパースティシャルビデオと同期されたハプティック効果ストリームと一緒に再生されるスーパースティシャルビデオである。一実施形態では、スーパースティシャルビデオは、爆発要素／イベントを含む映画の予告編でもよく、爆発が発生する際に、実施形態が爆発のように感じるように構成されたハプティック効果を再生する。
【００３８】
図２は、本発明の一実施形態に係るハプティックオーバレイ機能を提供するためのユーザインタフェース（「ＵＩ；ｕｓｅｒ  ｉｎｔｅｒｆａｃｅ」）２００の例である。ＵＩ２００は、ユーザが持つモバイルデバイス等のデバイスのディスプレイ上に一次コンテンツ２０２を提供する。一実施形態では、一次コンテンツ２０２は、モバイルデバイス上で一次ハプティックトラックと一緒にプレイバックされるサッカーゲームのビデオでもよい。一次コンテンツ２０２のプレイバック中のあるポイントで、ＵＩ２００において二次コンテンツ２０４が提供される。図２の実施形態では、二次コンテンツ２０４は、一次コンテンツ２０２の下部に提供され、一次コンテンツ２０２を部分的に遮る。しかし、代替的実施形態では、二次コンテンツ２０４は、一次コンテンツ２０２の他の部分または全体を遮ってもよいし、または一次コンテンツ２０２の隣または付近に現れてもよい。さらに別の代替的実施形態では、一次コンテンツ２０２と二次コンテンツ２０４とは、異なるデバイス上または同じユーザデバイスの異なるディスプレイ／ＵＩ上に提供されてもよい。
【００３９】
二次コンテンツ２０４は、スーパースティシャルコンテンツを含みうる。図２では、スーパースティシャルコンテンツは、ＵＩ２００上に「運転して入ってくる」車２０６を示すバナー広告である。一実施形態では、車２０６が移動するときに、轟くエンジンのように感じるように構成されたハプティック効果がモバイルデバイス上で再生される。一実施形態では、一次コンテンツ２０２のプレイバックにおけるマーカ／タグ、または一次コンテンツ２０２に関連するハプティック効果におけるマーカ／タグが、二次コンテンツ２０４の再生を始動またはトリガしうる。
【００４０】
一実施形態は、一次コンテンツ２０２に伴う一次ハプティックコンテンツストリームと二次コンテンツ２０４に伴う二次ハプティックコンテンツとが、モバイルデバイスのユーザに望ましい体験を生み出すやり方で組み合わせられることを確保する。例えば、一次コンテンツ２０２は、撃ち合いシーンを含むアクション映画でもよく、二次コンテンツ２０４が、撃ち合いシーンの間に提供されてもよい。一次コンテンツ２０２および二次コンテンツ２０４の両方のハプティック効果を表現するために、車２０６が「スクリーン上に」運転し、轟くエンジンのように感じるハプティック効果を生み出す間に、撃ち合いシーンに関連するハプティック効果が減衰されうる（が、なお再生される）。したがって、ユーザは撃ち合いシーンに関連するハプティック効果をなお感じることができ、このようにして、一次コンテンツ２０２の良好な体験が確保され、一次コンテンツ２０２の創造的意図が可能な限り維持されることが確保されるとともに、二次ハプティックコンテンツストリームが一次ハプティックコンテンツストリームとは別でありながらシームレスに混合されて体験されることが可能になる。
【００４１】
代替的実施形態は、一次コンテンツ２０２のハプティックトラックをミュートし、二次コンテンツ２０４のハプティックコンテンツが二次コンテンツ２０４の開始時に再生されることを可能にする。
【００４２】
一実施形態では、二次コンテンツ２０４に関連するハプティック効果は、モバイルデバイスのユーザが有効化／許可しない限り再生されない。例えば、図２の実施形態では、ＵＩ２００において二次コンテンツ２０４が提供されるときに、ＵＩ２００にユーザ対話ボックス２０８も提供されて、ユーザに二次コンテンツ２０４のハプティック効果を有効化したいか否かを尋ねる。例えば、二次コンテンツ２０４がバナー広告であるときには、ユーザ対話ボックス２０８は、ユーザに広告を「感じる」ためにバナーをタップするよう求めうる。このように、ユーザがバナーをタップした場合／ときに、二次コンテンツ２０４に関連するハプティック効果が再生され始める。
【００４３】
一実施形態では、二次コンテンツ２０４がＵＩ２００内へと動くのに「Ｔｂａｎｎｅｒ‐ａｎｉｍ」の時間がかかる。例えば、図２の実施形態では、二次コンテンツ２０４がＵＩ２００の下部分内へとスライドするのに数秒かかりうる。この実施形態において、一次コンテンツ２０２に関連するハプティック効果は、時間Ｔｂａｎｎｅｒ‐ａｎｉｍの間に減衰（例えば部分的にフェードアウト）されうる。一実施形態では、一次コンテンツ２０２に関連するハプティック効果は、ゲイン、周波数、振幅、パルス形状、連続するパルス間の間隔等のハプティックパラメータの一つ以上を調節することによって強調が抑えられうる。例えば、一次コンテンツ２０２に関連するハプティック効果は、時間Ｔｂａｎｎｅｒ‐ａｎｉｍ終了時のゲインが最大ゲインのある割合（例えば２０％）であるような、時間Ｔｂａｎｎｅｒ‐ａｎｉｍの間のゲインの漸次および／または階段的減少によって強調が抑えられうる。このような割合は、ユーザによって選択されるか、またはハプティック効果の設計者によって構成されてもよい。あるいは、一次コンテンツ２０２に関連するハプティック効果は、時間Ｔｂａｎｎｅｒ‐ａｎｉｍの間または終了時に急にミュートまたは停止されてもよい（すなわち０ゲインへの即時減少）。
【００４４】
一実施形態では、二次コンテンツ２０４に関連するハプティック効果は、時間ｂａｎｎｅｒ‐ａｎｉｍに続く時間「Ｔｂａｎｎｅｒ‐ｈａｐｔｉｃ‐ｓｔａｒｔ」の間にフェードインされる。一実施形態では、二次コンテンツ２０４に関連するハプティック効果は、ゲイン、周波数、振幅、パルス形状、連続するパルス間の間隔等のハプティックパラメータの一つ以上を調節することによってフェードインされる。例えば、二次コンテンツ２０４に関連するハプティック効果は、時間Ｔｂａｎｎｅｒ‐ｈａｐｔｉｃ‐ｓｔａｒｔ終了時のゲインが最大ゲインのある割合（例えば８０％）であるような、時間Ｔｂａｎｎｅｒ‐ｈａｐｔｉｃ‐ｓｔａｒｔの間のゲインの漸次および／または段階的増加によってフェードインされうる。このような割合は、ユーザによって選択されるか、またはハプティック効果の設計者によって構成されてもよい。あるいは、二次コンテンツ２０４に関連するハプティック効果は、時間Ｔｂａｎｎｅｒ‐ｈａｐｔｉｃ‐ｓｔａｒｔの間のあるポイントでまたは終了時に、急に開始されてもよい（すなわち最大ゲインへの即時増加）。
【００４５】
一実施形態では、二次コンテンツ２０４に関連するハプティック効果の再生が完了すると、一次コンテンツ２０２に関連するハプティック効果が再びフェードインされる。例えば、二次コンテンツ２０４に関連するハプティック効果の再生が完了すると、一次コンテンツ２０２に関連するハプティック効果が、ゲインを時間Ｔｂａｎｎｅｒ‐ａｎｉｍの前の初期値まで増加させることによって再びフェードインされうる。あるいは、一次コンテンツ２０２に関連するハプティック効果が急に再開されてもよい（すなわち最大ゲインへの即時増加）。
【００４６】
一実施形態は、一次コンテンツ２０２に関連するハプティック効果と二次コンテンツ２０４に関連するハプティック効果とに相対的優先度を割り当てる。このような優先度づけは、例えば一次コンテンツ２０２に関連する収入および二次コンテンツ２０４に関連する収入に基づいてもよい。あるいはまたは加えて、優先度づけは、ユーザの選好に基づいてもよい。一実施形態では、一次コンテンツ２０２に関連するハプティック効果と二次コンテンツ２０４に関連するハプティック効果との相対的優先度を決定すると、より優先度の高いハプティック効果が再生される一方で、より優先度の低いハプティック効果はミュート／無視される。例えば、一次コンテンツとして再生される公衆安全メッセージは、いかなる二次コンテンツに関連するハプティック効果も、公衆安全メッセージに関連するハプティック効果の再生を妨害することを許されないよう、高い優先度が割り当てられうる。別の例として、二次コンテンツとして再生される公衆安全メッセージは、いかなる一次コンテンツに関連するハプティック効果も、公衆安全メッセージに関連するハプティック効果の再生を停止することを許されないよう、高い優先度が割り当てられうる。さらに別の例では、特定のバナー広告は、その収入に基づいて高い優先度が割り当てられてもよく、ゆえにいかなる一次コンテンツに関連するハプティック効果にも、そのようなバナー広告に関連するハプティック効果がデフォルトでオーバレイされる。
【００４７】
一実施形態では、一次コンテンツ２０２に関連するハプティック効果は、第一ハプティック出力デバイス／アクチュエータに提供され、二次コンテンツ２０４に関連するハプティック効果は、第一ハプティック出力デバイス／アクチュエータとは異なる第二ハプティック出力デバイス／アクチュエータに提供される。この実施形態において、一次コンテンツ２０２に関連するハプティック効果をフェードアウトし、二次コンテンツ２０４に関連するハプティック効果をフェードインすることを、ユーザは、第一ハプティック出力デバイス／アクチュエータから第二ハプティック出力デバイス／アクチュエータへのハプティックフィードバックの転移として感じうる。
【００４８】
一実施形態では、一次コンテンツ２０２に関連するハプティック効果の強調が抑えられ、二次コンテンツ２０４に関連するハプティック効果がフェードインまたは強調される際には、一次コンテンツ２０２に関連するハプティック効果が「バックグラウンド」ハプティック効果として再生され、二次コンテンツ２０４に関連するハプティック効果が「フォアグラウンド」ハプティック効果として再生される。例えば、フォアグラウンドハプティック効果が第一ハプティック出力デバイス／アクチュエータで再生され、バックグラウンドハプティック効果が第二ハプティック出力デバイス／アクチュエータで再生される実施形態においては、一次コンテンツ２０２に関連するハプティック効果の強調を抑えることにより、これらのハプティック効果が第一ハプティック出力デバイス／アクチュエータから第二ハプティック出力デバイス／アクチュエータに移動し、二次コンテンツ２０４に関連するハプティック効果を強調またはフェードインすることにより、これらのハプティック効果が第二ハプティック出力デバイス／アクチュエータから第一ハプティック出力デバイス／アクチュエータに移動する。
【００４９】
代替的または追加的実施形態では、このようなフォアグラウンドおよびバックグラウンドハプティック効果は、実質的に同じ時に（例えば並行して）提供されてもよい。すなわち、二次コンテンツ２０４に関連するハプティック効果が第一ハプティック出力デバイス／アクチュエータで再生される間に、一次コンテンツ２０２に関連するハプティック効果が第二ハプティック出力デバイス／アクチュエータで再生されうる。一部の実施形態では、フォアグラウンドおよびバックグラウンドハプティック効果を異なるハプティック出力デバイス／アクチュエータに提供することは、参照によりその開示が本明細書に組み込まれる米国特許第８，９８２，０６８号に記載の実施形態にしたがって行われうる。
【００５０】
図３は、本発明の実施形態に係るハプティック効果を生み出す際の図１のハプティクスオーバレイモジュール１６のフローダイヤグラムである。一実施形態では、図３のフローダイヤグラムの機能は、メモリまたは他のコンピュータ可読もしくは有形の媒体に格納されたソフトウェアにより実施され、プロセッサにより実行される。他の実施形態では、機能は、ハードウェア（例えば、特定用途向け集積回路（「ＡＳＩＣ；ａｐｐｌｉｃａｔｉｏｎ  ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ」）、プログラム可能ゲートアレイ（「ＰＧＡ；ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ」）、フィールドプログラム可能ゲートアレイ（「ＦＰＧＡ；ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ」）などを使用して）、またはハードウェアとソフトウェアの任意の組み合わせにより行われうる。
【００５１】
３０２では、一次コンテンツと一次コンテンツに関連する一次ハプティック効果とが決定される。一実施形態では、一次コンテンツは、メディアコンテンツまたは対話型コンテンツである。一実施形態では、一次ハプティック効果は、一次コンテンツと同期されるハプティックトラックに含まれる。
【００５２】
３０４では、二次コンテンツと二次コンテンツに関連する二次ハプティック効果とが決定される。一実施形態では、一次コンテンツと一次コンテンツに関連する一次ハプティック効果とは、二次コンテンツと二次コンテンツに関連する二次ハプティック効果とを決定するより前に出力される。一実施形態では、二次コンテンツはバナー広告である。
【００５３】
３０６では、二次コンテンツが、一次コンテンツと並行して出力される。一実施形態では、二次コンテンツが一次コンテンツと並行して出力されるとき、二次コンテンツはＵＩ上で一次コンテンツの少なくとも一部を遮るかまたは一次コンテンツの隣または付近にある。一実施形態では、一次コンテンツと二次コンテンツとを並行して出力することは、一次コンテンツと二次コンテンツとを同時に（例えば、実質的に同じ時にならびに／または同じ開始および／もしくは終了時間で）再生することによって行われる。
【００５４】
３０８では、少なくとも一つのハプティック出力デバイス上で二次ハプティック効果が一次ハプティック効果と並行して出力される。一実施形態では、一次ハプティック効果と二次ハプティック効果とを並行して出力することは、一次ハプティック効果と二次ハプティック効果とを同時に（例えば、実質的に同じ時にならびに／または同じ開始および／もしくは終了時間で）再生することによって行われる。一実施形態では、一次ハプティック効果は、二次ハプティック効果に対して非同期である。一実施形態では、一次ハプティック効果は、一次コンテンツに対して同期または非同期でもよい。一実施形態では、二次ハプティック効果は、二次コンテンツに対して同期または非同期でもよい。
【００５５】
一実施形態では、一次ハプティック効果をフェードアウトし、二次ハプティック効果をフェードインすることによって、二次ハプティック効果が一次ハプティック効果と並行して出力される。一実施形態では、一次ハプティック効果のフェードアウトは、一次ハプティック効果のハプティックパラメータを調節することにより行われる。一実施形態では、ハプティックパラメータは、一次ハプティック効果のゲインである。一実施形態では、二次ハプティック効果のフェードインは、二次ハプティック効果のハプティックパラメータを調節することにより行われる。一実施形態では、ハプティックパラメータは、二次ハプティック効果のゲインである。一実施形態では、二次ハプティック効果が再生され終わったあと、一次ハプティック効果が再びフェードインされる。一実施形態では、二次ハプティック効果は、一次ハプティック効果をミュートし、二次ハプティック効果を再生することにより、一次ハプティック効果と並行して出力される。
【００５６】
開示されるように、実施形態は、一つのハプティック効果セットが別のハプティック効果セットとオーバレイされるのを可能にする。一実施形態は、進行中のハプティック体験が中断されるかまたは追加のハプティック体験の下に重ねられるように、同期のハプティックコンテンツストリームの上に非同期のハプティック効果を表現する。一実施形態は、一次ハプティックトラックがフェードアウトされ、二次ハプティックトラックがフェードインされるのを可能にする。したがって、実施形態は、二つのハプティックトラックが互いに区別可能であり、互いを打ち消しあわないように別のハプティックトラックと適切にオーバレイされるハプティックトラックを提供する。
【００５７】
本明細書には、いくつかの実施形態が特に例示および／または記載されている。しかし、当然のことながら、開示された実施形態の修正および変更は、本発明の趣旨および意図された範囲から逸脱することなく上記の教示に包含され、添付の特許請求の範囲に含まれる。
【図１】
2018506765.tif 000003
【図２】
2018506765.tif 000004
【図３】
2018506765.tif 000005
【国際調査報告】
2018506765.tif 000006
2018506765.tif 000007
2018506765.tif 000008