(57)【要約】モバイル・コンテンツ・デバイスで再生されるコンテンツについての慣性出力とオーディオビジュアル・コンテンツを同期させる方法、装置及びシステムは、モバイル・コンテンツ・デバイスの振動に応答して、振動によって生成される記録されたオーディオ信号及び対応する記録された慣性信号を受信することを含む。記録された信号は、記録された信号の夫々において対応するピークのタイムスタンプを決定するよう、夫々処理される。記録されたオーディオ信号のタイムスタンプと記録された慣性信号のタイムスタンプとの間の時間距離が決定され、モバイル・コンテンツ・デバイスで再生されるコンテンツについての慣性信号は、記録されたオーディオ信号のタイムスタンプと記録された慣性信号のタイムスタンプとの間の決定された時間距離に等しい時間の量だけシフトされる。
2018505478.tif 000002
【特許請求の範囲】
【請求項１】
モバイル・コンテンツ・デバイスにおいて慣性計測とオーディオビジュアル・コンテンツを同期させる方法であって、
前記モバイル・コンテンツ・デバイスの振動に応答して、前記振動によって生成される記録されたオーディオ信号及び対応する記録された慣性信号を受信することと、
前記オーディオ信号において対応するピークのタイムスタンプを決定するよう前記記録されたオーディオ信号を処理することと、
前記慣性信号において対応するピークのタイムスタンプを決定するよう前記記録された慣性信号を処理することと、
前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の時間距離を決定することと、
前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の前記決定された時間距離に等しい時間の量だけ、前記モバイル・コンテンツ・デバイスで再生されるコンテンツについて慣性信号をシフトすることと
を有する方法。
【請求項２】
前記モバイル・コンテンツ・デバイスを振動させること
を有する請求項１に記載の方法。
【請求項３】
前記慣性信号は、加速度信号を有する、
請求項１に記載の方法。
【請求項４】
前記慣性信号は、ジャイロスコープからの信号を有する、
請求項１に記載の方法。
【請求項５】
前記慣性信号は、磁気計からの信号を有する、
請求項１に記載の方法。
【請求項６】
前記慣性信号は、ファイルにおいて記録され、該ファイルは、新しい慣性信号が受信される前に空にされる、
請求項１に記載の方法。
【請求項７】
前記振動は、記録プロセスを開始するためにユーザが前記モバイル・コンテンツ・デバイスにタッチすることによって引き起こされる、
請求項１に記載の方法。
【請求項８】
モバイル・コンテンツ・デバイスにおいて慣性計測とオーディオビジュアル・コンテンツを同期させる装置であって、
プログラム・ルーチン、オーディオ信号データ及び慣性信号データのうちの少なくとも１つを記憶するメモリと、
前記プログラム・ルーチンを実行するプロセッサと
を有し、
前記プロセッサは、
前記モバイル・コンテンツ・デバイスの振動に応答して、前記振動によって生成される記録されたオーディオ信号及び対応する記録された慣性信号を受信し、
前記オーディオ信号において対応するピークのタイムスタンプを決定するよう前記記録されたオーディオ信号を処理し、
前記慣性信号において対応するピークのタイムスタンプを決定するよう前記記録された慣性信号を処理し、
前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の時間距離を決定し、
前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の前記決定された時間距離に等しい時間の量だけ、前記モバイル・コンテンツ・デバイスで再生されるコンテンツについて慣性信号をシフトする
よう構成される、
装置。
【請求項９】
当該装置は、前記モバイル・コンテンツ・デバイスの内蔵コンポーネントを有する、
請求項８に記載の装置。
【請求項１０】
前記プロセッサは、前記モバイル・コンテンツ・デバイスを振動させるよう更に構成される、
請求項８に記載の装置。
【請求項１１】
前記慣性信号は、加速度信号を有する、
請求項８に記載の装置。
【請求項１２】
前記慣性信号は、ジャイロスコープからの信号を有する、
請求項８に記載の装置。
【請求項１３】
前記慣性信号は、磁気計からの信号を有する、
請求項８に記載の装置。
【請求項１４】
前記慣性信号は、ファイルにおいて記録され、該ファイルは、新しい慣性信号が受信される前に空にされる、
請求項８に記載の装置。
【請求項１５】
前記振動は、記録プロセスを開始するためにユーザが前記モバイル・コンテンツ・デバイスにタッチすることによって引き起こされる、
請求項８に記載の装置。
【請求項１６】
前記記録されたオーディオ信号は、前記モバイル・コンテンツ・デバイスの振動に応答してオーディオ信号を記録するよう構成されるオーディオ・レコーダから当該装置へ送られ、
前記記録された慣性信号は、前記モバイル・コンテンツ・デバイスの前記振動に応答して対応する慣性信号を記録するよう構成される慣性信号レコーダから当該装置へ送られる、
請求項８に記載の装置。
【請求項１７】
モバイル・コンテンツ・デバイスにおいて慣性計測とオーディオビジュアル・コンテンツを同期させるシステムであって、
前記モバイル・コンテンツ・デバイスを振動させるよう構成される振動器と、
前記モバイル・コンテンツ・デバイスの振動に応答してオーディオ信号を記録するよう構成されるオーディオ・レコーダと、
前記モバイル・コンテンツ・デバイスの前記振動に応答して対応する慣性信号を記録するよう構成される慣性信号レコーダと、
プログラム・ルーチン、オーディオ信号データ及び慣性信号データのうちの少なくとも１つを記憶するメモリ、並びに前記プログラム・ルーチンを実行するプロセッサを有する装置と
を有し、
前記装置は、
前記モバイル・コンテンツ・デバイスの振動に応答して、前記オーディオ・レコーダからの記録されたオーディオ信号、及び前記慣性信号レコーダからの対応する記録された慣性信号を受信し、
前記オーディオ信号において対応するピークのタイムスタンプを決定するよう前記記録されたオーディオ信号を処理し、
前記慣性信号において対応するピークのタイムスタンプを決定するよう前記記録された慣性信号を処理し、
前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の時間距離を決定し、
前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の前記決定された時間距離に等しい時間の量だけ、前記モバイル・コンテンツ・デバイスで再生されるコンテンツについて慣性信号をシフトする
よう構成される、
システム。
【請求項１８】
当該システムは、タブレット、携帯電話機、コンピュータ及び表示デバイスを含むグループの中の少なくとも１つを有する、
請求項１７に記載のシステム。
【請求項１９】
前記振動器は、前記モバイル・コンテンツ・デバイスに組み込まれた内蔵振動器を有し、前記オーディオ信号の記録及び前記対応する慣性信号の記録の直前に自動的にアクティブにされる、
請求項１７に記載のシステム。
【請求項２０】
前記プロセッサを、前記振動器を用いて前記モバイル・コンテンツ・デバイスを振動させるよう更に構成される、
請求項１７に記載のシステム。
【請求項２１】
前記慣性信号は、加速度信号を有する、
請求項１７に記載のシステム。
【請求項２２】
前記慣性信号は、ジャイロスコープからの信号を有する、
請求項１７に記載のシステム。
【請求項２３】
前記慣性信号は、磁気計からの信号を有する、
請求項１７に記載のシステム。
【請求項２４】
前記振動は、記録プロセスを開始するためにユーザが前記モバイル・コンテンツ・デバイスにタッチすることによって引き起こされる、
請求項１７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本原理は、メディア消費及びインタラクションに関係がある。より具体的には、本原理は、オーディオビジュアル・コンテンツを慣性計測と同期させる方法、装置及びシステムに関係がある。
【背景技術】
【０００２】
近年、市場ではモバイル・デバイス・テクノロジが激増してきた。毎日指数関数的且つ野心的に成長するユーザのニーズにより、研究者及び製造業者は、ユーザと彼らのモバイル・デバイスとの間のインタラクションを強化する努力を尽くしてきた。多くの研究は、イメージング技術及び３Ｄテクノロジを通じてユーザの視覚認知を改善すべく行われてきた。研究者はまた、より良い経験をユーザに提供するよう聴覚発達をモバイル・アプリケーションに組み込んできた。しかし、それらの改善は、依然として２つの感覚、すなわち、視覚及び聴覚、に制限されており、一方、仮想現実における研究者は、触知覚がデバイスとユーザの没入感覚との間の強いつながりをもたらすように見えることを示している。あいにく、モバイル・デバイスで触覚データを生成するプロセスは、よく理解されていない。モバイル・デバイスでは、オーディオビジュアル及び知覚メディアは、同時に、しかし独立したプロセスで、生成されるので、解決される必要がある同期化の問題が現れる。
【０００３】
より具体的には、問題は、モバイル・デバイスにおいて媒体を記録することにおける開始遅延に関して現れる。具体的に、夫々の記録コンポーネントは、それが起動されるときに即時に動作し始めず、ランダムな遅延の後にのみ動作し始める。また、目下の記録されたフレームの絶対タイムスタンプ（両方の記録プロセスに共通する。）にアクセスすることは、現在のところ不可能であり、起動時点から、触覚及びオーディオビジュアル・コンテンツが記録され始める時点の間の実際のレイテンシーは、通常、デバイスに応じて、１００から６００ミリ秒まで変化する。この予測不可能な挙動のために、センサ及びメディア記録デバイスの起動をスケジューリングすることは、現在のところ実現不可能であるから、記録されたデータは同じ開始点を有している。そのようなランダムなレイテンシーは、同時に両方のストリームを使用する場合において、最終のレンダリングについて非現実的且つ不快なユーザ経験を生じさせるほど十分に大きくなる。
【発明の概要】
【０００４】
本原理は、オーディオビジュアル・コンテンツを慣性計測と同期させる方法、装置及びシステムを提案する。
【０００５】
本原理の一実施形態において、方法は、モバイル・コンテンツ・デバイスの振動に応答して、前記振動によって生成される記録されたオーディオ信号及び対応する記録された慣性信号を受信することと、前記記録されたオーディオ信号を処理して、その信号において対応するピークのタイムスタンプを決定することと、前記記録された慣性信号を処理して、その信号において対応するピークのタイムスタンプを決定することと、前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の時間距離を決定することと、前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の前記決定された時間距離に等しい時間の量だけ、前記モバイル・コンテンツ・デバイスで再生されるコンテンツについて慣性信号をシフトすることとを含む
【０００６】
本原理の代替の実施形態において、モバイル・コンテンツ・デバイスにおいて慣性計測とオーディオビジュアル・コンテンツを同期させる装置は、プログラム・ルーチン、オーディオ信号データ及び慣性信号データのうちの少なくとも１つを記憶するメモリと、前記プログラム・ルーチンを実行するプロセッサとを含む。そのような実施形態において、前記プロセッサは、前記モバイル・コンテンツ・デバイスの振動に応答して、前記振動によって生成される記録されたオーディオ信号及び対応する記録された慣性信号を受信し、前記記録されたオーディオ信号を処理して、その信号において対応するピークのタイムスタンプを決定し、前記記録された慣性信号を処理して、その信号において対応するピークのタイムスタンプを決定し、前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の時間距離を決定し、前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の前記決定された時間距離に等しい時間の量だけ、前記モバイル・コンテンツ・デバイスで再生されるコンテンツについて慣性信号をシフトするよう構成される。
【０００７】
本原理の代替の実施形態において、モバイル・コンテンツ・デバイスにおいて慣性計測とオーディオビジュアル・コンテンツを同期させるシステムは、前記モバイル・コンテンツ・デバイスを振動させるよう構成される振動器と、前記モバイル・コンテンツ・デバイスの振動に応答してオーディオ信号を記録するよう構成されるオーディオ・レコーダと、前記モバイル・コンテンツ・デバイスの前記振動に応答して対応する慣性信号を記録するよう構成される慣性信号レコーダと、プログラム・ルーチン、オーディオ信号データ及び慣性信号データのうちの少なくとも１つを記憶するメモリ、並びに前記プログラム・ルーチンを実行するプロセッサを有する装置とを含む。そのような実施形態において、前記装置は、前記モバイル・コンテンツ・デバイスの振動に応答して、前記振動によって生成される記録されたオーディオ信号及び対応する記録された慣性信号を受信し、前記記録されたオーディオ信号を処理して、その信号において対応するピークのタイムスタンプを決定し、前記記録された慣性信号を処理して、その信号において対応するピークのタイムスタンプを決定し、前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の時間距離を決定し、前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の前記決定された時間距離に等しい時間の量だけ、前記モバイル・コンテンツ・デバイスで再生されるコンテンツについて慣性信号をシフトするよう構成される。
【図面の簡単な説明】
【０００８】
本原理の教示は、添付の図面に関連して以下の詳細な説明を検討することによって、容易に理解され得る。  
【図１】本原理の実施形態に従って、オーディオビジュアル・コンテンツを慣性計測と同期させるシステムのハイレベルのブロック図を表す。
【図２】本原理の実施形態に従って、オーディオビジュアル・コンテンツを慣性計測と同期させる図１のシステムで実装されることが可能な触覚オーディオビジュアル・コンテンツ同期装置のハイレベルのブロック図を表す。
【図３】本原理の実施形態に従って、オーディオビジュアル・コンテンツを慣性計測と同期させることにおける使用のためにオーディオ信号及び加速度信号を用いてモバイル・コンテンツ・デバイスとのユーザ・インタラクションにマークを付すシーケンスの図解ワークフロー及び結果として現れる信号を表す。
【図４】本原理の代替の実施形態に従って、オーディオビジュアル・コンテンツを慣性計測と同期させることにおける使用のためにオーディオ信号及び加速度信号を用いてモバイル・コンテンツ・デバイスとのユーザ・インタラクションにマークを付す代替のシーケンスの図解ワークフロー及び結果として現れる信号を表す。
【図５】本原理の実施形態に従って、オーディオビジュアル・コンテンツを慣性計測と同期させる方法５００についてのフロー図を表す。    図面は、記載される様々な原理の概念を説明することを目的とし、必ずしも本原理を説明するための唯一の可能な構成ではないことが理解されるべきである。    理解を助けるよう、同じ参照符号は、可能であれば、複数の図に共通する同じ要素を示すために使用されている。
【発明を実施するための形態】
【０００９】
本原理の実施形態は、有利なことに、オーディオビジュアル・コンテンツを慣性計測と同期させる方法、装置及びシステムを提供する。本原理は、例えば携帯電話機のような特定のモバイル・デバイスの文脈内で主として記載されるが、本原理の具体的な実施形態は、本発明の適用範囲を制限するものとして扱われるべきではない。本原理の概念は、有利なことに、例えば携帯電話機、タブレット、コンピュータ、ディスプレイ及び同様のもののような、多くの他のコンテンツ消費デバイスのために、オーディオビジュアル・コンテンツを慣性計測との同期化に適用され得ることが当業者によって認識され、本原理の教示によって知らされるだろう。
【００１０】
本願の特許請求の範囲において、特定の機能を実施する手段として表される如何なる要素も、例えば、ａ）その機能を実施する回路素子の組み合わせ、又はｂ）如何なる形態もとるソフトウェアであって、従って、機能を実施するよう当該ソフトウェアを実行する適切な回路構成と組み合わされるファームウェア、マイクロコード又は同様のものを含む前記ソフトウェアを含め、その機能を実施する如何なる方法も包含するよう意図される。そのような特許請求の範囲によって定義される本原理は、挙げられている様々な手段によって提供される機能が組み合わされて、特許請求の範囲が要求する様態においてまとめられるという事実に存する。よって、それらの機能を提供することができる如何なる手段も、本願で示されているものと同等であると認識される。
【００１１】
更には、本原理の原理、態様、及び実施形態、並びにそれらの具体例を挙げている本願の全ての記述は、それらの構造上の及び機能上の同等物の両方を包含するよう意図される。その上、そのような同等物は、現在知られている同等物及び将来開発される同等物の両方、すなわち、構造にかかわらず、同じ機能を実施するよう開発されたあらゆる要素、を含むことが意図される。
【００１２】
図に示される様々な要素の機能は、専用のハードウェア、及び適切なソフトウェアに関連してソフトウェアを実行することが可能なハードウェア、の使用を通じて提供され得る。プロセッサによって提供される場合に、機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、一部が共有され得る複数の個別プロセッサによって、提供され得る。更には、語“プロセッサ”又は“コントローラ”の明示的な使用は、ソフトウェアを実行することが可能なハードウェアをもっぱら指すと解されるべきではなく、暗黙的に、制限なしに、デジタル信号プロセッサ（“ＤＳＰ”）ハードウェア、ソフトウェアを記憶するリードオンリー・メモリ（“ＲＯＭ”）、ランダム・アクセス・メモリ（“ＲＡＭ”）、及び不揮発性ストレージを含むことができる。更には、本原理の原理、態様、及び実施形態、並びにそれらの具体例を挙げている本願の全ての記述は、それらの構造上の及び機能上の同等物の両方を包含するよう意図される。その上、そのような同等物は、現在知られている同等物及び将来開発される同等物の両方（すなわち、構造にかかわらず、同じ機能を実施するよう開発されたあらゆる要素）を含むことが意図される。
【００１３】
よって、例えば、本願で提示されるブロック図は、本発明の原理を具現化する、実例となるシステム・コンポーネント及び／又は回路構成の概念図を表すことが、当業者によって認識されるだろう。同様に、如何なるフローチャート、フロー図、状態遷移図、擬似コード、及び同様のものも、コンピュータ可読媒体において実質的に表現され、故に、コンピュータ又はプロセッサによって、そのようなコンピュータ又はプロセッサが明示的に示されていようとなかろうと、実行され得る様々なプロセスを表すことが、認識されるだろう。
【００１４】
更には、添付の図面において表されている、構成するシステム・コンポーネント及び方法の一部は、ソフトウェアにおいて実装され得るので、システム・コンポーネント又はプロセス機能ブロックの間の実際の接続は、本原理がプログラムされる様態に応じて異なりうる。本願の教示を考慮して、当業者は、本原理のそれら及び同様の実装又は構成に想到可能である。
【００１５】
本原理の実施形態は、オーディオビジュアル・コンテンツを慣性計測と同期させる方法、装置及びシステムを提供する。本原理に従って、一実施形態において同じモバイル・デバイスに組み込まれている異なったセンサから取得されたオーディオビジュアル・コンテンツ及び慣性データの自動（又は半自動）の同期化が、提供される。
【００１６】
図１は、本原理の実施形態に従って、オーディオビジュアル・コンテンツを慣性計測と同期させるシステムのハイレベルのブロック図を表す。図１のシステムは、実例として、本原理の実施形態に従うモバイル・コンテンツ・デバイス１００（例えば、タブレット）を有する。モバイル・コンテンツ・デバイス１００は、加速度計１１１、ジャイロスコープ１１２及び磁気計１１３（集合的に、慣性センサ１１０）を有する。モバイル・コンテンツ・デバイス１００は、カメラ付きマイクロホン１２０、レコーダ１３０及び触覚オーディオビジュアル・コンテンツ同期装置１５０を更に含む。図１のモバイル・コンテンツ・デバイス１００のレコーダ１３０は、実例として、知覚レコーダ１４２及びメディア・レコーダ１４４を有する。図１の本原理の実施形態では、モバイル・コンテンツ・デバイス１００は加速度計１１１、ジャイロスコープ１１２及び磁気計１１３を有するが、本原理の代替の実施形態では、モバイル・コンテンツ・デバイス１００は、動きを検出するための他のセンサを含むことができる。
【００１７】
図２は、本原理の実施形態に従って、触覚オーディオビジュアル・コンテンツ同期装置１５０のハイレベルのブロック図を表す。図２の実施形態において、触覚オーディオビジュアル・コンテンツ同期装置１５０は、実例として、プロセッサ２１０と、制御プログラム／ソフトウェア・ルーチン、触覚情報及び同様のものを記憶するメモリ２２０とを有する。プロセッサ２１０は、メモリ２２０に記憶されているソフトウェア・ルーチンを実行するのを助ける回路に加えて、例えば電源、クロック回路、キャッシュメモリ及び同様のもののような従来の支援回路２３０と協働する。そのようなものとして、ソフトウェア・プロセスとして本願で説明されるプロセス・ステップの一部は、例えば、様々なステップを実施するようプロセッサ２１０と協働する回路構成として、ハードウェア内で実装され得ると考えられる。触覚オーディオビジュアル・コンテンツ同期装置１５０は、処理装置と通信する様々な機能要素間のインターフェイスを形成する入出力回路２４０を更に含む。
【００１８】
図２の触覚オーディオビジュアル・コンテンツ同期装置１５０は、本原理に従って様々な制御機能を実施するようプログラムされる汎用コンピュータとして表されているが、本発明は、ハードウェアにおいて、例えば、特定用途向け集積回路（application  specified  integrated  circuit）（ＡＳＩＣ）として、実装され得る。そのようなものとして、本願で記載されるプロセス・ステップは、プロセッサ、ハードウェア、又はそれらの組み合わせによって実行されるソフトウェアによって同じく実施されるものとして広く解釈されるよう意図される。加えて、図２の触覚オーディオビジュアル・コンテンツ同期装置１５０は、モバイル・コンテンツ・デバイス１００の内蔵コンポーネントとして表されているが、本願で記載される本原理の概念及び実施形態に従う触覚オーディオビジュアル・コンテンツ同期装置１５０の機能は、外部コンポーネントの形をとることができる。
【００１９】
図１のシステム１００に戻ると、メディア・レコーダ１４４は、カメラ及びマイクロホンからのビデオ及びオーディオデータを捕捉する。本原理の一実施形態において、メディア・レコーダ１４４は、カメラ及びマイクロホンから夫々来るビデオ及びオーディオを捕捉するためにMediaRecorderオブジェクト（例えば、Google（登録商標）API）を使用する。知覚レコーダ１４２は、センサ１１０からのデータを受信する。本原理の一実施形態において、各センサは、センサのデータの変化をリッスンし、そして、データを取り出すようコールバック機能を始動させるセンサ・リスナーを有している。すなわち、本原理の一実施形態において、センサ・リスナーは、イベントを通知するようシステムによって自動的に呼び出される機能を含む。例えば、一実施形態において、センサ・リスナーは、加速度計に関連し、データを取り出すために使用される。そのようなデータは、動きデータ及び対応するタイムスタンプを含むことができる。データは、次いで、知覚レコーダ１４２によって記録される。
【００２０】
本原理の実施形態に従って、例えば、一実施形態において、触覚オーディオビジュアル・コンテンツ同期装置１５０における、モバイル・コンテンツ・デバイスのロギング・サービスは、バックグラウンドで実行中であり、センサによって送られたデータのパッケージをリッスンする。本原理の一実施形態において、触覚オーディオビジュアル・コンテンツ同期装置１５０が、慣性センサによって送られてくるデータを検知するとき、触覚オーディオビジュアル・コンテンツ同期装置１５０は、そのようなデータの記録が知覚レコーダ１４２によって記録されるようにする。パッケージが受信され記録されるときはいつでも、そのパッケージを送ったセンサからの信号の記録は、通常は、ピークの位置及びそれが起きた時間を決定することによって、その信号において対応するピークのタイムスタンプを決定するようチェックされる。本原理の一実施形態において、ロギング・サービスは、受信されたデータを夫々のインターバルの後にファイルにおいて書き込み、次いで、新しいデータを受信する前にコンテナを空にするようスケジューリングされる。このスケジューリングされた書き込みは、システム１００が高いメモリ消費を回避することを可能にする。
【００２１】
本原理の一実施形態において、知覚レコーダ１４２の出力はファイルであり、それは、次いで、触覚オーディオビジュアル・コンテンツ同期装置１５０によって処理される。本原理に従って、メディア・レコーダ１４４からのオーディオビジュアル・コンテンツ及び知覚レコーダ１４２からの動きデータをアライメントするよう、容易に検出可能な（easy-to-detect）パターンが信号において生成される。本原理の一実施形態において、モバイル・コンテンツ・デバイス１００とのユーザの自然な触覚インタラクションが利用される。より具体的には、ユーザが、記録プロセスを開始するためにモバイル・コンテンツ・デバイス１００にタッチするとき（すなわち、ユーザがモバイル・コンテンツ・デバイス上の記録開始ボタンを押すとき）、マーカは生成される。すなわち、本原理の一実施形態において、アプリケーションが起動させるときに、カメラは記録を開始し、慣性センサは始動され、そして、ユーザが“記録開始”ボタンをタップするときに、具体的な記録は開始される。モバイル・コンテンツ・デバイス１００とユーザのこのシームレス且つ自然な触覚インタラクションは、オーディオ・トラックにおいて、更には、一実施形態では、加速度信号においても、感知でき、そして、容易に検出可能なパターンの生成が同期化のために使用されることを可能にする。本原理の以下の説明は加速度信号に関して記載されるが、本原理の代替の実施形態では、例えば、ジャイロスコープ１１２、磁気計１１３又は何らかの他の動きセンサからの信号のような、他の動き信号が、加速度信号に関して以下で記載されるものとして実装され得ることが留意されるべきである。
【００２２】
図３は、本原理の実施形態に従って、オーディオビジュアル・コンテンツを慣性計測と同期させることにおける使用のためにオーディオ信号及び加速度信号を用いてモバイル・コンテンツ・デバイスとのユーザ・インタラクションにマークを付すための前述のシーケンスの図解ワークフロー及び結果として現れる信号を表す。図３で表されるように、本原理に従うアプリケーションは、アプリケーションを開始するためにモバイル・コンテンツ・デバイス１００の画面をタップするようユーザに指示する。図３で表されるように、ユーザは、アプリケーションを開始するためにモバイル・コンテンツ・デバイス１００の画面をタップし、そして、結果として現れるオーディオ信号及び夫々の加速度信号は、記録される。
【００２３】
図４は、本原理の代替の実施形態に従って、オーディオビジュアル・コンテンツを慣性計測と同期させることにおける使用のためにオーディオ信号及び加速度信号を用いてモバイル・コンテンツ・デバイスとのユーザ・インタラクションにマークを付すための代替のシーケンスの図解ワークフロー及び結果として現れる信号を表す。図４の実施形態において、モバイル・コンテンツ・デバイス１００に組み込まれた内蔵振動器は、有効な記録の直前に（すなわち、カメラ及び慣性センサが起動される直前に）アクティブにされる。図４の実施形態において、本原理のアプリケーションは、振動を開始するようモバイル・コンテンツ・デバイス１００に指示し、そして、結果として現れるオーディオ信号及び夫々の加速度信号は、図４で表されるように、記録される。
【００２４】
本原理の前述の実施形態の両方において、マーカは、本原理の同期化プロシージャにおいて使用されるよう取得される。オーディオ信号及び加速度信号の記録の後、本原理の同期化プロシージャは開始され得る。本原理の一実施形態において、メディア・コンテンツの記録されたオーディオ・ストリームは抽出され、そして、ピーク及び前述のマーキング・プロシージャによって生成された対応するタイムスタンプを見つけるよう処理される。同様に、加速度における対応するピーク及びその対応するタイムスタンプも、簡単な信号処理技術（すなわち、ロバスト閾値化によるピーク検出）によって取得される。
【００２５】
２つのピークに関する情報を取得すると、例えば、図１の触覚オーディオビジュアル・コンテンツ同期装置１５０のような、本原理の触覚オーディオビジュアル・コンテンツ同期装置は、２つのタイムスタンプの間のギャップを計算し、オーディオビジュアル・コンテンツとアライメントするよう加速度をシフトして、オーディオビジュアル・コンテンツを慣性計測と同期させる。例えば、ピークが、オーディオ信号では１秒で、加速度信号では２秒で検出される場合に、加速度信号のタイムスタンプは、加速度信号をオーディオ信号と同期させるよう１秒だけシフトされる。そのようなものとして、再生されるコンテンツについての全てのそのような慣性出力は、モバイル・コンテンツ・デバイスで再生されるコンテンツについての慣性出力とオーディオビジュアル・コンテンツを同期させるよう同様の時間量だけシフトされ得る。本原理の代替の実施形態において、オーディオ信号は、慣性信号と同期されるよう代わりにシフトされ得る。
【００２６】
図５は、本原理の実施形態に従って、オーディオビジュアル・コンテンツを慣性計測と同期させる方法５００についてのフロー図を表す。方法ステップ５０２から開始する。ステップ５０２で、モバイル・コンテンツ・デバイスの振動に応答して記録されたオーディオ信号及び対応する慣性信号は、例えば、触覚オーディオビジュアル・コンテンツ同期装置１５０で、受信される。方法５００は、次いで、ステップ５０４へ進むことができる。
【００２７】
ステップ５０４で、記録されたオーディオ信号は、通常は、ピークの位置及びそれが起こった時間を決定することによって、その信号において対応するピークのタイムスタンプを決定するよう処理される。方法５００は、次いで、ステップ５６０へ進むことができる。
【００２８】
ステップ５０６で、記録された慣性計測は、その信号において対応するピークのタイムスタンプを決定するよう処理される。方法５００は、次いで、ステップ５０８へ進むことができる。
【００２９】
ステップ５０８で、記録されたオーディオ信号のタイムスタンプと記録された慣性計測のタイムスタンプとの間の時間距離が決定される。方法５００は、次いで、ステップ５１０へ進むことができる。
【００３０】
ステップ５１０で、モバイル・コンテンツ・デバイスの慣性出力は、モバイル・コンテンツ・デバイスで再生されるコンテンツについての慣性出力とオーディオビジュアル・コンテンツを同期させるよう、記録されたオーディオ信号のタイムスタンプと記録された慣性計測のタイムスタンプとの間の決定された時間距離に等しい時間の量だけシフトされる。方法５００は、次いで、終了され得る。
【００３１】
本明細書は、本原理の実施形態を説明する。よって、当業者は、たとえ本願で明示的に記載又は図示されていなくても、本原理を具現化し且つその適用範囲内に含まれる様々な配置に想到可能であることが認識されるだろう。すなわち、モバイル・コンテンツ・デバイスで再生されるコンテンツについての慣性出力とオーディオビジュアル・コンテンツを同期させる方法及び装置についての様々な実施形態（実例であって、制限でないよう意図される。）を記載してきたが、前述の教示に照らして、変更及び変形が当業者によって行われ得ることが知られる。従って、開示される本原理の特定の実施形態において変更が行われ得ることが理解されるべきであり、そのような変更は本発明の適用範囲内にある。前述の説明は、本原理の様々な実施形態を対象とするが、本原理の他の及び更なる実施形態は、その基本的な適用範囲から逸脱することなしに想到され得る。
【図１】
2018505478.tif 000003
【図２】
2018505478.tif 000004
【図３】
2018505478.tif 000005
【図４】
2018505478.tif 000006
【図５】
2018505478.tif 000007
【手続補正書】
【提出日】平成29年8月7日(2017.8.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
同期されたオーディオ・トラックを含むオーディオビジュアル・コンテンツを記録するモバイル・デバイスにおいてタイムスタンプと関連付けられた慣性計測と前記オーディオビジュアル・コンテンツを同期させる方法であって、
前記モバイル・デバイスの振動に応答して、前記振動によっていずれも生成される、前記オーディオ・トラック内のオーディオ信号及び前記慣性計測内の慣性信号を記録することと、
前記オーディオ信号におけるピークについての第１タイムスタンプを決定するよう前記記録されたオーディオ信号を処理することと、
前記慣性信号におけるピークについての第２タイムスタンプを決定するよう前記記録された慣性信号を処理することと、
前記第１タイムスタンプと前記第２タイムスタンプとの間の時間距離を決定することと、
前記時間距離だけ慣性計測タイムスタンプをシフトして、慣性計測とのオーディオビジュアル・コンテンツの同期化をもたらすことと
を有する方法。
【請求項２】
前記モバイル・デバイスの前記振動は、前記モバイル・デバイスの内蔵振動器によって引き起こされる、
請求項１に記載の方法。
【請求項３】
前記慣性信号は、加速度信号を有する、
請求項１に記載の方法。
【請求項４】
前記慣性信号は、ジャイロスコープからの信号を有する、
請求項１に記載の方法。
【請求項５】
前記慣性信号は、磁気計からの信号を有する、
請求項１に記載の方法。
【請求項６】
前記慣性信号は、ファイルにおいて記録され、該ファイルは、新しい慣性信号が受信される前に空にされる、
請求項１に記載の方法。
【請求項７】
前記振動は、記録プロセスを開始するためにユーザが前記モバイル・デバイスにタッチすることによって引き起こされる、
請求項１に記載の方法。
【請求項８】
同期されたオーディオ・トラックを含むオーディオビジュアル・コンテンツを記録するモバイル・デバイスにおいてタイムスタンプと関連付けられた慣性計測と前記オーディオビジュアル・コンテンツを同期させる装置であって、
前記モバイル・デバイスの振動に応答して、前記振動によって生成されるオーディオ信号及び対応する慣性信号を記録し、
前記オーディオ信号におけるピークについての第１タイムスタンプを決定するよう前記記録されたオーディオ信号を処理し、
前記慣性信号におけるピークについての第２タイムスタンプを決定するよう前記記録された慣性信号を処理し、
前記第１タイムスタンプと前記第２タイムスタンプとの間の時間距離を決定し、
前記時間距離だけ慣性計測タイムスタンプをシフトして、慣性計測とオーディオビジュアル・コンテンツの同期化をもたらす
よう構成されるプロセッサに付随するメモリ
を有する装置。
【請求項９】
前記プロセッサは、前記モバイル・デバイスを振動させるよう更に構成される、
請求項８に記載の装置。
【請求項１０】
前記慣性信号は、加速度信号を有する、
請求項８に記載の装置。
【請求項１１】
前記慣性信号は、ジャイロスコープからの信号を有する、
請求項８に記載の装置。
【請求項１２】
前記慣性信号は、磁気計からの信号を有する、
請求項８に記載の装置。
【請求項１３】
前記慣性信号は、ファイルにおいて記録され、該ファイルは、新しい慣性信号が受信される前に空にされる、
請求項８に記載の装置。
【請求項１４】
前記振動は、記録プロセスを開始するためにユーザが前記モバイル・デバイスにタッチすることによって引き起こされる、
請求項８に記載の装置。
【請求項１５】
同期されたオーディオ・トラックを含むオーディオビジュアル・コンテンツを記録するモバイル・デバイスにおいてタイムスタンプと関連付けられた慣性計測と前記オーディオビジュアル・コンテンツを同期させるシステムであって、
前記モバイル・デバイスを振動させるよう構成される振動器と、
前記モバイル・デバイスの振動に応答してオーディオ信号を記録するよう構成されるオーディオ・レコーダと、
前記モバイル・デバイスの前記振動に応答して対応する慣性信号を記録するよう構成される慣性信号レコーダと、
プログラム・ルーチン、オーディオ信号データ及び慣性信号データのうちの少なくとも１つを記憶するメモリ、並びに前記プログラム・ルーチンを実行するプロセッサを有する装置と
を有し、
前記装置は、
前記モバイル・デバイスの振動に応答して、前記オーディオ・レコーダからの前記オーディオ・トラック内のオーディオ信号、及び前記慣性信号レコーダからの対応する慣性信号を記録し、
前記オーディオ信号におけるピークについての第１タイムスタンプを決定するよう前記記録されたオーディオ信号を処理し、
前記慣性信号におけるピークについての第２タイムスタンプを決定するよう前記記録された慣性信号を処理し、
前記第１タイムスタンプと前記第２タイムスタンプとの間の時間距離を決定し、
前記時間距離だけ慣性計測タイムスタンプをシフトして、慣性計測とオーディオビジュアル・コンテンツの同期化をもたらす
よう構成される、
システム。
【請求項１６】
当該システムは、タブレット、携帯電話機、コンピュータ及び表示デバイスを含むグループの中の少なくとも１つを有する、
請求項１５に記載のシステム。
【請求項１７】
前記振動器は、前記モバイル・デバイスに組み込まれた内蔵振動器を有し、前記オーディオ信号の記録及び前記対応する慣性信号の記録の直前に自動的にアクティブにされる、
請求項１５に記載のシステム。
【請求項１８】
前記プロセッサを、前記振動器を用いて前記モバイル・デバイスを振動させるよう更に構成される、
請求項１５に記載のシステム。
【請求項１９】
前記慣性信号は、加速度信号を有する、
請求項１５に記載のシステム。
【請求項２０】
前記慣性信号は、ジャイロスコープからの信号を有する、
請求項１５に記載のシステム。
【請求項２１】
前記慣性信号は、磁気計からの信号を有する、
請求項１５に記載のシステム。
【請求項２２】
前記振動は、記録プロセスを開始するためにユーザが前記モバイル・デバイスにタッチすることによって引き起こされる、
請求項１５に記載のシステム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
本明細書は、本原理の実施形態を説明する。よって、当業者は、たとえ本願で明示的に記載又は図示されていなくても、本原理を具現化し且つその適用範囲内に含まれる様々な配置に想到可能であることが認識されるだろう。すなわち、モバイル・コンテンツ・デバイスで再生されるコンテンツについての慣性出力とオーディオビジュアル・コンテンツを同期させる方法及び装置についての様々な実施形態（実例であって、制限でないよう意図される。）を記載してきたが、前述の教示に照らして、変更及び変形が当業者によって行われ得ることが知られる。従って、開示される本原理の特定の実施形態において変更が行われ得ることが理解されるべきであり、そのような変更は本発明の適用範囲内にある。前述の説明は、本原理の様々な実施形態を対象とするが、本原理の他の及び更なる実施形態は、その基本的な適用範囲から逸脱することなしに想到され得る。  
上記の実施形態に加えて、以下の付記を開示する。
（付記１）
モバイル・コンテンツ・デバイスにおいて慣性計測とオーディオビジュアル・コンテンツを同期させる方法であって、
前記モバイル・コンテンツ・デバイスの振動に応答して、前記振動によって生成される記録されたオーディオ信号及び対応する記録された慣性信号を受信することと、
前記オーディオ信号において対応するピークのタイムスタンプを決定するよう前記記録されたオーディオ信号を処理することと、
前記慣性信号において対応するピークのタイムスタンプを決定するよう前記記録された慣性信号を処理することと、
前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の時間距離を決定することと、
前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の前記決定された時間距離に等しい時間の量だけ、前記モバイル・コンテンツ・デバイスで再生されるコンテンツについて慣性信号をシフトすることと
を有する方法。
（付記２）
前記モバイル・コンテンツ・デバイスを振動させること
を有する付記１に記載の方法。
（付記３）
前記慣性信号は、加速度信号を有する、
付記１に記載の方法。
（付記４）
前記慣性信号は、ジャイロスコープからの信号を有する、
付記１に記載の方法。
（付記５）
前記慣性信号は、磁気計からの信号を有する、
付記１に記載の方法。
（付記６）
前記慣性信号は、ファイルにおいて記録され、該ファイルは、新しい慣性信号が受信される前に空にされる、
付記１に記載の方法。
（付記７）
前記振動は、記録プロセスを開始するためにユーザが前記モバイル・コンテンツ・デバイスにタッチすることによって引き起こされる、
付記１に記載の方法。
（付記８）
モバイル・コンテンツ・デバイスにおいて慣性計測とオーディオビジュアル・コンテンツを同期させる装置であって、
プログラム・ルーチン、オーディオ信号データ及び慣性信号データのうちの少なくとも１つを記憶するメモリと、
前記プログラム・ルーチンを実行するプロセッサと
を有し、
前記プロセッサは、
前記モバイル・コンテンツ・デバイスの振動に応答して、前記振動によって生成される記録されたオーディオ信号及び対応する記録された慣性信号を受信し、
前記オーディオ信号において対応するピークのタイムスタンプを決定するよう前記記録されたオーディオ信号を処理し、
前記慣性信号において対応するピークのタイムスタンプを決定するよう前記記録された慣性信号を処理し、
前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の時間距離を決定し、
前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の前記決定された時間距離に等しい時間の量だけ、前記モバイル・コンテンツ・デバイスで再生されるコンテンツについて慣性信号をシフトする
よう構成される、
装置。
（付記９）
当該装置は、前記モバイル・コンテンツ・デバイスの内蔵コンポーネントを有する、
付記８に記載の装置。
（付記１０）
前記プロセッサは、前記モバイル・コンテンツ・デバイスを振動させるよう更に構成される、
付記８に記載の装置。
（付記１１）
前記慣性信号は、加速度信号を有する、
付記８に記載の装置。
（付記１２）
前記慣性信号は、ジャイロスコープからの信号を有する、
付記８に記載の装置。
（付記１３）
前記慣性信号は、磁気計からの信号を有する、
付記８に記載の装置。
（付記１４）
前記慣性信号は、ファイルにおいて記録され、該ファイルは、新しい慣性信号が受信される前に空にされる、
付記８に記載の装置。
（付記１５）
前記振動は、記録プロセスを開始するためにユーザが前記モバイル・コンテンツ・デバイスにタッチすることによって引き起こされる、
付記８に記載の装置。
（付記１６）
前記記録されたオーディオ信号は、前記モバイル・コンテンツ・デバイスの振動に応答してオーディオ信号を記録するよう構成されるオーディオ・レコーダから当該装置へ送られ、
前記記録された慣性信号は、前記モバイル・コンテンツ・デバイスの前記振動に応答して対応する慣性信号を記録するよう構成される慣性信号レコーダから当該装置へ送られる、
付記８に記載の装置。
（付記１７）
モバイル・コンテンツ・デバイスにおいて慣性計測とオーディオビジュアル・コンテンツを同期させるシステムであって、
前記モバイル・コンテンツ・デバイスを振動させるよう構成される振動器と、
前記モバイル・コンテンツ・デバイスの振動に応答してオーディオ信号を記録するよう構成されるオーディオ・レコーダと、
前記モバイル・コンテンツ・デバイスの前記振動に応答して対応する慣性信号を記録するよう構成される慣性信号レコーダと、
プログラム・ルーチン、オーディオ信号データ及び慣性信号データのうちの少なくとも１つを記憶するメモリ、並びに前記プログラム・ルーチンを実行するプロセッサを有する装置と
を有し、
前記装置は、
前記モバイル・コンテンツ・デバイスの振動に応答して、前記オーディオ・レコーダからの記録されたオーディオ信号、及び前記慣性信号レコーダからの対応する記録された慣性信号を受信し、
前記オーディオ信号において対応するピークのタイムスタンプを決定するよう前記記録されたオーディオ信号を処理し、
前記慣性信号において対応するピークのタイムスタンプを決定するよう前記記録された慣性信号を処理し、
前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の時間距離を決定し、
前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の前記決定された時間距離に等しい時間の量だけ、前記モバイル・コンテンツ・デバイスで再生されるコンテンツについて慣性信号をシフトする
よう構成される、
システム。
（付記１８）
当該システムは、タブレット、携帯電話機、コンピュータ及び表示デバイスを含むグループの中の少なくとも１つを有する、
付記１７に記載のシステム。
（付記１９）
前記振動器は、前記モバイル・コンテンツ・デバイスに組み込まれた内蔵振動器を有し、前記オーディオ信号の記録及び前記対応する慣性信号の記録の直前に自動的にアクティブにされる、
付記１７に記載のシステム。
（付記２０）
前記プロセッサを、前記振動器を用いて前記モバイル・コンテンツ・デバイスを振動させるよう更に構成される、
付記１７に記載のシステム。
（付記２１）
前記慣性信号は、加速度信号を有する、
付記１７に記載のシステム。
（付記２２）
前記慣性信号は、ジャイロスコープからの信号を有する、
付記１７に記載のシステム。
（付記２３）
前記慣性信号は、磁気計からの信号を有する、
付記１７に記載のシステム。
（付記２４）
前記振動は、記録プロセスを開始するためにユーザが前記モバイル・コンテンツ・デバイスにタッチすることによって引き起こされる、
付記１７に記載のシステム。
【国際調査報告】
2018505478.tif 000008
2018505478.tif 000009
2018505478.tif 000010