(57)【要約】本明細書は、メディアコンテンツに対応し、モーションフィードバックシステムを制御するためのモーション信号を、当該メディアコンテンツのメディア信号と同期させるための装置及び方法を開示する。本方法は、メディア信号の一部を受信するステップと、メディア信号の受信した部分に対応するフィンガープリントを取得するステップと、少なくとも１つの参照メディアコンテンツの時間位置と関連する参照フィンガープリントから、取得されたフィンガープリントに対応する、メディアコンテンツの参照時間位置を特定するステップと、メディアコンテンツの特定された参照時間位置に関連するモーション信号を取得するステップと、前記モーションフィードバックシステムを制御するために、メディアコンテンツの特定された前記参照時間位置を用いて、メディア信号と同期したモーション信号を出力するステップとを有する。【選択図】図１
2013535887.tif 000002
【特許請求の範囲】
【請求項１】
メディアコンテンツに対応し、モーションフィードバックシステムを制御するためのモーション信号を、当該メディアコンテンツのメディア信号と同期させる方法であって、
前記メディア信号の一部を受信するステップと、
前記メディア信号の受信した部分に対応するフィンガープリントを取得するステップと、
少なくとも１つの参照メディアコンテンツの時間位置と関連する参照フィンガープリントから、取得された前記フィンガープリントに対応する、前記メディアコンテンツの参照時間位置を特定するステップと、
前記メディアコンテンツの特定された前記参照時間位置に関連する前記モーション信号を取得するステップと、
前記モーションフィードバックシステムを制御するために、前記メディアコンテンツの特定された前記参照時間位置を用いて、前記メディア信号と同期した前記モーション信号を出力するステップと、を有することを特徴とするモーション信号の同期方法。
【請求項２】
請求項１に記載の同期方法において、
前記メディアコンテンツの参照時間位置を特定する前に、前記少なくとも１つの参照メディアコンテンツのうち前記メディア信号と対応する１つのメディアコンテンツの識別子を受信するステップを更に有し、
前記メディアコンテンツの参照時間位置を特定する前記ステップが、特定された前記参照メディアコンテンツの時間位置と関連する参照フィンガープリントを用いて実行されることを特徴とする同期方法。
【請求項３】
請求項２に記載の同期方法において、
出力された前記モーション信号と関連する少なくとも１つの参照フィンガープリントを受信するステップと、
取得された前記フィンガープリントが前記少なくとも１つの参照フィンガープリントのいずれにもマッチングしない場合には、前記モーション信号の前記出力を停止するステップと、を更に有することを特徴とする同期方法。
【請求項４】
請求項１に記載の同期方法において、
出力された前記モーション信号と関連する少なくとも１つの参照フィンガープリントを受信するステップと、
取得された前記フィンガープリントが前記少なくとも１つの参照フィンガープリントのいずれにもマッチングしない場合には、前記モーション信号の前記出力を停止するステップと、を更に有することを特徴とする同期方法。
【請求項５】
請求項１に記載の同期方法において、
前記メディア信号は、少なくとも音声信号及び映像信号のいずれか１つを含むことを特徴とする同期方法。
【請求項６】
請求項５に記載の同期方法において、
前記メディアコンテンツは、長編映画を含み、前記音声信号及び前記映像信号は、長編映画の音声信号及び映像信号を含むことを特徴とする同期方法。
【請求項７】
請求項１に記載の同期方法において、前記メディア信号の受信した部分に対応するフィンガープリントを取得する前記ステップは、前記メディア信号の受信した部分のフィンガープリントを算出するステップを有することを特徴とする同期方法。
【請求項８】
請求項７に記載の同期方法において、前記フィンガープリントを算出する前記ステップは、メディアフィンガープリンティング技術を適用して、前記フィンガープリントを前記参照時間位置における前記メディアコンテンツを一意的に表すコード化された識別子として生成するステップを備えることを特徴とする同期方法。
【請求項９】
請求項８に記載の同期方法において、
前記メディアコンテンツの参照時間位置を特定する前記ステップは、参照時間位置と関連する前記参照フィンガープリント用の、コード化された識別子を含むデータベースを参照するステップと、前記参照時間位置における前記メディアコンテンツを一意的に表す前記コード化された識別子に対応する、当該参照時間位置を取得するステップと、を有することを特徴とする同期方法。
【請求項１０】
請求項１に記載の同期方法において、
前記参照時間位置を特定する前記ステップは、フィンガープリントを取得する前記ステップと、参照時間位置を特定する前記ステップと、前記モーション信号を取得する前記ステップとを継続的に実行して、前記メディア信号と同期する前記モーション信号のストリームを出力し続け、前記モーション信号の継続的な同期を確保するステップを有することを特徴とする同期方法。
【請求項１１】
請求項１に記載の同期方法において、
前記参照時間位置を特定する前記ステップは、フィンガープリントを取得する前記ステップと、参照時間位置を特定する前記ステップと、所定の周期で、前記モーション信号を取得する前記ステップと、を実行して、前記モーション信号の出力を前記メディア信号と再同期させるステップを有することを特徴とする同期方法。
【請求項１２】
請求項１に記載の同期方法において、前記メディアコンテンツの参照時間位置を特定する前記ステップの前に、前記メディアコンテンツに対応するモーション信号を受信するステップを更に備え、
前記参照フィンガープリントは、受信された前記モーション信号から直接取り出されることを特徴とする同期方法。
【請求項１３】
請求項１に記載の同期方法において、前記メディアコンテンツの参照時間位置を特定する前記ステップは、遠隔ネットワークサーバーにて行われることを特徴とする同期方法。
【請求項１４】
請求項１に記載の同期方法において、前記メディアコンテンツの特定された前記参照時間位置と関連する前記モーション信号は、遠隔ネットワークサーバーから取得されることを特徴とする同期方法。
【請求項１５】
メディアコンテンツに対応し、モーションフィードバックシステムを制御するためのモーション信号が、前記メディアコンテンツのメディア信号と同期するかどうかを判定する方法であって、
前記メディア信号の一部を受信するステップと、
前記メディア信号の受信した部分のフィンガープリントを取得するステップと、
前記メディアコンテンツの参照時間位置における、前記メディア信号の前記部分のフィンガープリント、すなわち参照フィンガープリントを取り出すステップと、
取得された前記フィンガープリントと前記参照フィンガープリントとを比較するステップと、
当該比較に基づいて、前記モーション信号が前記メディア信号に同期するかどうかを判定するステップと、
当該判定に従って、前記モーションフィードバックシステムを制御するために、前記メディア信号に同期した前記モーション信号を出力するステップと、を有することを特徴とするモーション信号の同期判定方法。
【請求項１６】
請求項１５に記載の同期判定方法であって、
前記参照フィンガープリントは、前記メディアコンテンツの時間位置と関連する参照フィンガープリントを含むデータベースから取り出されることを特徴とする同期判定方法。
【請求項１７】
請求項１６に記載の同期判定方法であって、
前記参照フィンガープリントは、前記モーション信号から直接取り出されることを特徴とする同期判定方法。
【請求項１８】
メディアコンテンツに対応し、モーションフィードバックシステムを制御するためのモーション信号を、前記メディアコンテンツのメディア信号と同期させる装置であって、
当該装置は、少なくとも１つの参照メディアコンテンツの時間位置と関連する参照フィンガープリントを有する記憶媒体にアクセス可能であり、
前記メディア信号の一部を受信する入力ユニットと、
前記入力ユニット及び前記記憶媒体と通信する処理装置と、
前記処理装置によりアクセス可能なメモリと、を備え、
前記メモリは、
前記メディア信号の受信した部分に対応するフィンガープリントを取得し、
少なくとも１つの参照メディアコンテンツの時間位置と関連する参照フィンガープリントから、取得された前記フィンガープリントに対応する、前記メディアコンテンツの参照時間位置を特定し、
前記メディアコンテンツの特定された前記参照時間位置と関連する前記モーション信号を取得し、かつ、
前記モーションフィードバックシステムを制御するために、前記メディアコンテンツの特定された前記参照時間位置を用いて、前記メディア信号と同期したモーション信号を出力するように、前記処理装置に実行させる命令を格納していることを特徴とするモーション信号の同期装置。
【請求項１９】
コンピュータにより、メディアコンテンツに対応しモーションフィードバックシステムを制御するためのモーション信号を、前記メディアコンテンツのメディア信号と同期させる方法を実行するためのステートメント及び命令が記録されている、非一時的なコンピュータ可読メモリであって、
前記方法は、
前記メディア信号の一部を受信するステップと、
前記メディア信号の受信した部分に対応するフィンガープリントを取得するステップと、
少なくとも１つの参照メディアコンテンツの時間位置と関連する参照フィンガープリントから、取得された前記フィンガープリントに対応する、前記メディアコンテンツの参照時間位置を特定するステップと、
前記メディアコンテンツの特定された前記参照時間位置と関連する前記モーション信号を取得するステップと、
前記モーションフィードバックシステムを制御するために、前記メディアコンテンツの特定された前記参照時間位置を用いて、前記メディア信号と同期した前記モーション信号を出力するステップと、を有することを特徴とするメモリ。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願に対する相互参照］
本願は、２０１０年７月２１日に米国に出願された、「ＭＥＤＩＡ  ＲＥＣＯＧＮＩＴＩＯＮ  ＡＮＤ  ＳＹＮＣＨＲＯＮＩＳＡＴＩＯＮ  ＴＯ  Ａ  ＭＯＴＩＯＮ  ＳＩＧＮＡＬ」と題された米国特許仮出願ＵＳ６１／３６６，３０１号の優先権を主張するものである。
【０００２】
本明細書の記載は、メディア認識及び同期の分野に関する。特に、本明細書の記載は、モーション信号と同期して映像及び音声のストリームメディアを再生する方法及び装置に関する。
【背景技術】
【０００３】
公共的、商業的、又は家庭的環境で用いるモーションフィードバックシステムの制御においては、ゲーム、長編映画、遊園地の乗り物、バーチャルリアリティなどのためのモーション信号を、再生中に音声又は映像信号と同期させ、このモーション信号が、再生されるオーディオビジュアル信号と整合し、プラットフォームの動きに間に合うようにモーションフィードバックシステムへと配信されることが課題となっている。これに必要とされる許容値は、通常、数ミリ秒程度である。
【０００４】
用途によっては、モーション信号は音声又は映像信号に同期して送信されないこともあり、再生装置は、再生するためにモーション信号を個別に取り出して、それらを音声又は映像信号と同期させなければならない。音声又は映像信号と、音声又は映像信号の時間位置との同一性が、音声又は映像信号におけるメタデータを通して、容易に且つ正確に特定できるのであれば、再生装置は、この情報を用いて適切なモーション信号を取り出して同期させることができる。このようなメタデータが利用できない場合には、別の解決策が必要となる。
【０００５】
従って、上述した課題に対処する、改善された同期方法又は装置に対する需要がある。
【発明の概要】
【課題を解決するための手段】
【０００６】
従って、本件の開示内容は、従来技術に関連して知られている１つ以上の欠点を克服又は軽減する、モーション信号の同期方法及び装置、又は少なくとも１つの有用な代替手段を提供するものである。
【０００７】
提案するアプローチは、メディアフィンガープリンティングとして一般的に呼ばれている技術に基づくものである。この技術は、一意的な識別子を特定のメディアコンテンツから引き出すことによりメディア認識を可能にするものであり、この識別子は一般的にはメディアフィンガープリントと呼ばれている。特定のメディアフィンガープリントと特定のメディアコンテンツとの一致は、その後、識別目的のために使用される。例えば、音声及び映像コンテンツの認識は、音響及び視覚特性を利用して、特定の対応する音響及び映像メディアをそれぞれ特定する。既知のメディアフィンガープリンティング技術は、以下の参照特許に記載されている。
［参照特許］
国際公開公報  第２００２０６５７８２号
米国特許出願公開公報  第２００６００４１７５３号
米国特許出願公開公報  第２００６００７５２３７号
【０００８】
上記メディアフィンガープリンティング技術の観点から、ここで提案されるモーション信号の同期は、メディアフィンガープリントを用いて、音声又は映像信号の所定部分を認識し、その所定部分に、その後、再生中に使用する所定のモーション信号が関連付けられる。
【０００９】
メディアフィンガープリンティング技術を、メディアコンテンツの参照時間位置（例えば、現在読み取られている又は再生されている映画の時間位置）を特定し、次にこの参照時間位置に対応するモーション信号を取得することに適用することは、メディアコンテンツとモーション信号とを同期させて出力することが可能になるため、満足な結果を提供するものである。この組み合わせは、モーション信号をメディア信号と同期させる従来技術において開示されている解決策よりも、簡単で、より正確で、より堅調で、より安定的で、それでいて高価でなく、より故障に強い解決策を提供する。従来技術の方法とは対照的に、この方法は、音声信号を符号化する、圧縮する、又はパッケージにするために使用される方法から完全に独立している。この方法は音声信号の音響特性に依存しているため、音の高さ、速さ又は振幅の変化に対して許容力があるように製作可能である。
【００１０】
モーションフィードバックシステムとは、モーションプラットフォーム、モーションアクチュエータ、モーションシミュレータ、振動触覚刺激変換器、及び慣性シェーカーを含むことが意図されている。
【００１１】
モーションプラットフォームは、アクチュエータによって動きが誘発され、人がその上に乗る、何らかのプラットフォーム又は座席を含むように作られる。モーションプラットフォームは、これに限定されるものではないが、ゲーム、長編映画、遊園地の乗り物、バーチャルリアリティなどへの適用を含むものである。モーションプラットフォームの１つの例は、１人以上の人用の、地面と相互作用する１つ以上のアクチュエータが取り付けられた座席や椅子を含むものである。他の例は、ユーザーを収容可能な座席、椅子又はその他の装置を受け入れるプラットフォームであって、地面と相互作用する１つ以上のアクチュエータがその上に取り付けられるものが挙げられる。
【００１２】
モーションコード、モーションコード信号又はモーションコードストリームは、視聴者に再生させるように作られたコンテンツに基づいた運動効果を含むものである。多くの場合には、モーション信号は、モーション設計者により設計される。他の場合では、モーション信号又はその一部は、自動的に生成される。
【００１３】
メディア信号は、音声信号及び／又は映像信号を有するものとして理解される。
【００１４】
音声信号又は音声ストリームは、ゲーム、長編映画、遊園地の乗り物、バーチャルリアリティ環境などでのサウンドトラックのような、プレゼンテーション中に再生されるように作られた音声情報を含むものとして理解されるべきものである。音声信号又は音声ストリームの１つの例は、符号化されたパルス符号変調（ＰＣＭ）サンプルである。
【００１５】
映像信号又は映像ストリームは、ユーザーに再生させるように作られた、ゲーム、長編映画、遊園地の乗り物、バーチャルリアリティ環境などで主となる画像のような、映像情報を含むものとして理解されるべきものである。映像信号又は映像ストリームの１つの例は、ＭＰＥＧ−４のパート１０の映像の基本ストリームである。
【００１６】
メディアコンテンツは、ゲーム、長編映画、遊園地の乗り物、バーチャルリアリティ環境、広告などを含むものである。
【００１７】
長編映画とは、映画館又はホームシアターにおいて上映されるようなものである。それらは、一般的に３０分以上続くものであり、モーション信号、モーションコードのストリーム又はモーションコードトラックと関連付け可能な、個別の映像及び音声トラックを有するものである。
【００１８】
１つの実施形態によると、メディアコンテンツに対応し、モーションフィードバックシステムを制御するためのモーション信号を、当該メディアコンテンツのメディア信号と同期させる方法であって、前記メディア信号の一部を受信するステップと、前記メディア信号の受信した部分に対応するフィンガープリントを取得するステップと、少なくとも１つの参照メディアコンテンツの時間位置と関連する参照フィンガープリントから、取得された前記フィンガープリントに対応する、前記メディアコンテンツの参照時間位置を特定するステップと、前記メディアコンテンツの特定された前記参照時間位置に関連する前記モーション信号を取得するステップと、前記モーションフィードバックシステムを制御するために、前記メディアコンテンツの特定された前記参照時間位置を用いて、前記メディア信号と同期した前記モーション信号を出力するステップと、を有する同期方法が提供される。
【００１９】
他の実施形態によると、メディアコンテンツに対応し、モーションフィードバックシステムを制御するためのモーション信号が、前記メディアコンテンツのメディア信号と同期するかどうかを判定する方法であって、前記メディア信号の一部を受信するステップと、前記メディア信号の受信した部分のフィンガープリントを取得するステップと、前記メディアコンテンツの参照時間位置における、前記メディア信号の前記部分のフィンガープリント、すなわち参照フィンガープリントを取り出すステップと、取得された前記フィンガープリントと前記参照フィンガープリントとを比較するステップと、当該比較に基づいて、前記モーション信号が前記メディア信号に同期するかどうかを判定するステップと、当該判定に従って、前記モーションフィードバックシステムを制御するために、前記メディア信号に同期した前記モーション信号を出力するステップと、を有するモーション信号の同期判定方法が提供される。
【００２０】
他の実施形態によると、メディアコンテンツに対応し、モーションフィードバックシステムを制御するためのモーション信号を、前記メディアコンテンツのメディア信号と同期させる装置であって、当該装置は、少なくとも１つの参照メディアコンテンツの時間位置と関連する参照フィンガープリントを有する記憶媒体にアクセス可能であり、前記メディア信号の一部を受信する入力ユニットと、前記入力ユニット及び前記記憶媒体と通信する処理装置と、前記処理装置によりアクセス可能なメモリと、を備え、前記メモリは、前記メディア信号の受信した部分に対応するフィンガープリントを取得し、少なくとも１つの参照メディアコンテンツの時間位置と関連する参照フィンガープリントから、取得された前記フィンガープリントに対応する、前記メディアコンテンツの参照時間位置を特定し、前記メディアコンテンツの特定された前記参照時間位置と関連する前記モーション信号を取得し、かつ、前記モーションフィードバックシステムを制御するために、前記メディアコンテンツの特定された前記参照時間位置を用いて、前記メディア信号と同期したモーション信号を出力するように、前記処理装置に実行させる命令を格納している、モーション信号の同期装置が提供される。
【００２１】
他の実施形態によると、コンピュータにより、メディアコンテンツに対応しモーションフィードバックシステムを制御するためのモーション信号を、前記メディアコンテンツのメディア信号と同期させる方法を実行するためのステートメント及び命令が記録されている、非一時的なコンピュータ可読メモリであって、前記方法は、前記メディア信号の一部を受信するステップと、前記メディア信号の受信した部分に対応するフィンガープリントを取得するステップと、少なくとも１つの参照メディアコンテンツの時間位置と関連する参照フィンガープリントから、取得された前記フィンガープリントに対応する、前記メディアコンテンツの参照時間位置を特定するステップと、前記メディアコンテンツの特定された前記参照時間位置と関連する前記モーション信号を取得するステップと、前記モーションフィードバックシステムを制御するために、前記メディアコンテンツの特定された前記参照時間位置を用いて、前記メディア信号と同期した前記モーション信号を出力するステップと、を有するメモリが提供される。
【００２２】
本件で開示される、更なる特徴及び利点は、以下の詳細な説明において、添付の図面を共に考慮することにより明らかになるであろう。
【図面の簡単な説明】
【００２３】
【図１】１つの実施形態に従う、モーション信号を音声信号に同期させる方法のフローチャートである。
【図２】メディアコンテンツに対応するモーション信号がメディアコンテンツのメディア信号に同期するかどうかを判定する方法についての１つの実施形態を示したフローチャートである。
【図３】１つの実施形態に従う、モーション信号を音声信号に同期させるための装置の概略図である。
【発明を実施するための形態】
【００２４】
なお、添付された全図面を通じて、同様の特徴部は同様の参照番号により特定される。
【００２５】
次に図面、特に図１を参照すると、例えば長編映画や遊園地の乗り物などのメディアコンテンツに対応するモーション信号を、メディアコンテンツ用のメディア信号と同期させる方法２０の実施形態が記載されている。モーション信号は、モーションフィードバックシステムの制御に用いられる。１つの実施形態によれば、メディア信号は音声信号及び／又は映像信号である。
【００２６】
ステップ２２では、メディア信号の一部が受信される。ステップ２４では、メディア信号の受信した部分に対応するフィンガープリントが取得される。
【００２７】
１つの実施形態によると、メディア信号の受信した部分に対応するフィンガープリントを取得するステップ（ステップ２４）は、メディア信号の受信した部分のフィンガープリントを算出するステップを含む。フィンガープリントを算出するステップでは、メディア信号の受信した部分のフィンガープリントは、メディア信号の波形に一意的に対応するコードとして生成される。このような一意的なコード（すなわち、コード化された識別子）を生成すると、フィンガープリントが生成されたメディア信号の対応波形は、その後、本明細書に記述するように、フィンガープリントを参照することにより、識別することが可能である。
【００２８】
ステップ２６では、少なくとも１つの参照メディアコンテンツの時間位置に関連する参照フィンガープリントから、取得されたフィンガープリントに対応するメディアコンテンツの参照時間位置が特定される。
【００２９】
より具体的に、ステップ２６の１つの実施形態では、多数ある再生時間位置でのメディア信号に対応するフィンガープリントのためのコード化された識別子のデータベース（別名、記憶媒体）が参照される。メディア信号の受信した部分のフィンガープリントは、メディアコンテンツ内の参照時間位置に関連する参照フィンガープリントとマッチングする。
【００３０】
１つの実施形態によると、メディアコンテンツの参照時間位置の特定は（ステップ２６）、遠隔ネットワークサーバー（図示せず）にて行われる。
【００３１】
１つの実施形態によると、方法２０は、メディアコンテンツの参照時間位置を特定する（ステップ２６）前に、少なくとも１つの参照メディアコンテンツのうち、メディア信号と対応する１つの参照メディアコンテンツの識別子を、受信するステップを更に備える。メディアコンテンツの参照時間位置を特定するステップは、特定された参照メディアコンテンツの時間位置と関連する参照フィンガープリントを用いて実行される。
【００３２】
方法２０は、出力されたモーション信号と関連する少なくとも１つの参照フィンガープリントを受信するステップと、取得されたフィンガープリントがいずれの参照フィンガープリントにもマッチングしない場合に、モーション信号の出力を停止するステップとを、更に備えることが可能である。
【００３３】
ステップ２４の他の実施形態では、フィンガープリントの取得は、参照時間位置におけるメディア信号の受信した部分に対応するフィンガープリントのためのコード化された識別子を、モーション信号から直接取り出すステップを含む。
【００３４】
ステップ２８では、メディアコンテンツにおける特定された参照時間位置と関連するモーション信号が取得される。１つの実施形態によると、メディアコンテンツにおける特定された参照時間位置と関連するモーション信号は、遠隔ネットワークサーバー（図示せず）から取得される。
【００３５】
ステップ２８の１つの実施形態によると、現行の再生時間位置の特定は、フィンガープリントを取得するステップ、参照時間位置を特定するステップ、及びモーション信号を取得するステップを継続的に実行して、メディア信号と同期したモーション信号を出力し続け、その結果、モーション信号の継続的な同期を確保することで行われる。
【００３６】
ステップ２８の他の実施形態によると、現行の再生時間位置の特定は、フィンガープリントを取得するステップ、参照時間位置を特定するステップ、及びモーション信号を取得するステップを所定周期で実行して、モーション信号の出力をメディア信号と再同期させることで行われる。
【００３７】
参照時間位置とは、（音声用）スピーカー、（映像用）スクリーン、又はディスプレイのいずれか１つと、（モーション用）モーションフィードバックシステムとにより現在プレイされているメディアコンテンツに対応するもの（取得されたフィンガープリントに対応するもの）として特定される少なくとも１つのメディアコンテンツ中の、メディア信号の位置のことを言う。
【００３８】
ステップ３０は、メディア信号と同期したモーション信号を、メディアコンテンツの特定された参照時間位置を用いて出力することを含む。モーション信号は、最終的に、モーション信号に従ってモーションフィードバックシステムを動かすアクチュエータを有するモーションフードバックシステムに送信される。
【００３９】
１つの実施形態によると、方法２０は、メディアコンテンツの参照時間位置を特定する（ステップ２６）前に、メディアコンテンツに対応するモーション信号を受信するステップを更に含み、参照フィンガープリントは受信されたモーション信号から直接取り出される。
【００４０】
１つの実施形態によると、同期したモーション信号は、最終的にはモーションフィードバックシステムに送信するために、記憶装置に格納される。
【００４１】
１つの例では、方法２０は、メディア信号がプレイされているときに、リアルタイムで実行される。
【００４２】
更に他の実施形態によると、方法２０は、出力されたモーション信号と関連する少なくとも１つの参照フィンガープリントを受信するステップと、取得されたフィンガープリントが受信された少なくとも１つの参照フィンガープリントのいずれにもマッチングしない場合に、モーション信号の出力を停止するステップと、を更に含む。
【００４３】
図２は、メディアコンテンツに対応するモーション信号がメディアコンテンツのメディア信号と同期するかどうかを判定する方法１００の１つの実施形態を示す。
【００４４】
ステップ１０２では、メディア信号の一部が受信される。ステップ１０４では、現在の再生時間位置のメディア信号のフィンガープリントが取得される（言い換えれば、取得されたフィンガープリントである）。
【００４５】
ステップ１０６では、メディアコンテンツの参照時間位置におけるメディア信号の部分のフィンガープリントが、モーション信号内の現在位置に基づいて、取り出される。すなわち、参照フィンガープリントである。
【００４６】
ステップ１０８では、ステップ１０６の参照フィンガープリントは、ステップ１０４で取得されたフィンガープリントと比較される。ステップ１１０では、この比較に基づいて、モーション信号がメディア信号に同期するかどうかが判定される。この２つのフィンガープリントが異なる場合には、モーション信号とメディア信号は同期していない。これは、例えば、早送りやチャプタースキップの操作中のように、モーション信号内の位置が突然変化する場合に、起こり得る。この方式は、同期を回復するために、結果的に方法２０を利用することを自動的に選択することが可能である。
【００４７】
ステップ１０４の他の実施形態では、フィンガープリントの取得は、参照時間位置でのメディア信号の部分のフィンガープリントのためのコード化された識別子を、モーション信号から直接取り出すステップを含む。
【００４８】
ステップ１１２では、モーションフィードバックシステムを制御するためにメディアコンテンツの特定された参照時間位置を用いる、メディア信号に同期したモーション信号は、モーション信号がメディア信号と同期しているかどうかの判定（ステップ１１０）の結果に応じて、出力される。
【００４９】
次に図３を参照すると、長編映画用のモーション信号をメディア信号と同期させる装置５０の実施形態が示されている。
【００５０】
装置５０は、入力ユニット５２と、処理ユニット５４と、メモリ５６と、１つ以上のデータベース（ここではデータベース５８及び６０）と、アクチュエータ１〜Ｎ（６６〜６８）を有するモーションフィードバックシステム６４と通信する出力ユニット６２と、を備えている。
【００５１】
入力ユニット５２は、メディア信号の一部を受信する。
【００５２】
データベース５８及び６０はそれぞれ、特に既知のメディアコンテンツ（例えば、既知の長編映画）に関連する、モーション信号及び参照メディア信号のフィンガープリントを格納するのに用いられる。このような参照フィンガープリントは、この既知のメディアコンテンツ用の既得の識別子であって、この既知のメディアコンテンツと一意的に関係付けられていることが分かっているものである。
【００５３】
処理ユニット５４は、入力ユニット５２及びデータベース５８、６０のみならず、メモリ５６とも通信可能である。従って、メモリ５６は、処理ユニット５４によりアクセス可能である。
【００５４】
１つの実施形態において、メモリ５６は、処理ユニット５４に対して、データベース５８、６０からのデータへのアクセスや検索を含む、メディア信号に関わる一連のステップのみならず、モーション信号とメディア信号との同期を可能とする処理ステップについても実行させる命令を、格納するのに用いられる。また処理ユニット５４は出力ユニット６２と通信可能であり、すでに検索され同期されたモーション信号は、データベース（図示せず）に格納されるように送信されるか、又はメディア信号の再生中に直接フィードバックシステムに送信されるかのいずれかとなる。
【００５５】
入力ユニット５２からの転送を介して、メディア信号の一部が処理ユニット５４で一度受信されると、処理ユニット５４はメディア信号の受信した部分に対応するフィンガープリントを取得する。
【００５６】
その後、処理ユニット５４は、少なくとも１つの参照メディアコンテンツの時間位置と関連する参照フィンガープリントから、取得されたフィンガープリントに対応する、メディアコンテンツの参照時間位置を特定する。例えば、このような比較を実行するために、処理ユニット５４は、参照フィンガープリントのデータベース６０にアクセスし、参照メディア信号のフィンガープリントと、メディア信号のフィンガープリントとの間でマッチングが検出されるまで、任意内部メモリ（図示せず）への任意データ検索を介して、それらを構文解析する。マッチングが検出されなかった場合には、エラー信号がユーザーインターフェイス（図示せず）に送信される。
【００５７】
次に、処理装置は、メディアコンテンツの特定された参照時間位置と関連するモーション信号を取得する。
【００５８】
その後、メディアコンテンツの特定された参照時間位置に基づいて、処理装置は、モーション信号をメディア信号と同期させて出力することができる。これを実行するために、例えば、処理ユニット５４は、入力ユニット５２で受信されたメディア信号の参照時間に対応する参照時間位置でスタートするモーション信号を、データベース５８から取り出して、送信する。従って、出力ユニット６２に送信されるモーション信号は、メディア信号の再生時間位置と同期する。
【００５９】
他の実施形態によると、コンピュータが読み取り可能な非一時的メモリ（図示せず）が提供され、当該メモリは、コンピュータにより、メディアコンテンツに対応するモーション信号をメディアコンテンツのメディア信号と同期させる方法を実行させるための、ステートメント及び命令が記録されている。モーション信号は、モーションフィードバックシステムを制御するものである。また、この方法は、図１に示された方法２０を含む。
【００６０】
最後に、他の実施形態によると、コンピュータにより、メディアコンテンツに対応するモーション信号が、メディアコンテンツのメディア信号に同期するかどうかを決める方法を実行させるための、ステートメント及び命令が記録されている非一時的コンピュータ可読メモリ（図示せず）が提供される。モーション信号は、モーションフィードバックシステムを制御するものである。この方法は、図２に示された方法１００を含む。
【００６１】
ここまで実施形態及びそれに伴う図面について説明してきたが、開示内容を超えない範囲で、これらの中で行い得る変更は、当業者にとって明らかなことである。このような変更は、本件の開示内容に含まれる範囲での変形例であるとみなされよう。
【図１】
2013535887.tif 000003
【図２】
2013535887.tif 000004
【図３】
2013535887.tif 000005
【手続補正書】
【提出日】平成24年1月10日(2012.1.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
メディアコンテンツに対応し、モーションフィードバックシステムを制御するためのモーション信号を、当該メディアコンテンツのメディア信号と同期させる方法であって、
前記メディア信号の一部を受信するステップと、
前記メディア信号の受信した部分に対応するフィンガープリントを取得するステップと、
少なくとも１つの参照メディアコンテンツの時間位置と関連する参照フィンガープリントから、取得された前記フィンガープリントに対応する、前記メディアコンテンツの参照時間位置を特定するステップと、
前記メディアコンテンツの特定された前記参照時間位置に関連する前記モーション信号を取得するステップと、
前記モーションフィードバックシステムを制御するために、前記メディアコンテンツの特定された前記参照時間位置を用いて、前記メディア信号と同期した前記モーション信号を出力するステップと、を有し、
フィンガープリントを取得する前記ステップと、参照時間位置を特定する前記ステップと、前記モーション信号を取得する前記ステップと、を所定の周期で実行し、前記モーション信号の出力を前記メディア信号と再同期させることを特徴とするモーション信号の同期方法。
【請求項２】
請求項１に記載の同期方法において、
前記メディアコンテンツの参照時間位置を特定する前に、前記少なくとも１つの参照メディアコンテンツのうち前記メディア信号と対応する１つのメディアコンテンツの識別子を受信するステップを更に有し、
前記メディアコンテンツの参照時間位置を特定する前記ステップが、特定された前記参照メディアコンテンツの時間位置と関連する参照フィンガープリントを用いて実行されることを特徴とする同期方法。
【請求項３】
請求項２に記載の同期方法において、
出力された前記モーション信号と関連する少なくとも１つの参照フィンガープリントを受信するステップと、
取得された前記フィンガープリントが前記少なくとも１つの参照フィンガープリントのいずれにもマッチングしない場合には、前記モーション信号の前記出力を停止するステップと、を更に有することを特徴とする同期方法。
【請求項４】
請求項１に記載の同期方法において、
出力された前記モーション信号と関連する少なくとも１つの参照フィンガープリントを受信するステップと、
取得された前記フィンガープリントが前記少なくとも１つの参照フィンガープリントのいずれにもマッチングしない場合には、前記モーション信号の前記出力を停止するステップと、を更に有することを特徴とする同期方法。
【請求項５】
請求項１に記載の同期方法において、
前記メディア信号は、少なくとも音声信号及び映像信号のいずれか１つを含むことを特徴とする同期方法。
【請求項６】
請求項５に記載の同期方法において、
前記メディアコンテンツは、長編映画を含み、前記音声信号及び前記映像信号は、長編映画の音声信号及び映像信号を含むことを特徴とする同期方法。
【請求項７】
請求項１に記載の同期方法において、
前記メディア信号の受信した部分に対応するフィンガープリントを取得する前記ステップは、前記メディア信号の受信した部分のフィンガープリントを算出するステップを有することを特徴とする同期方法。
【請求項８】
請求項７に記載の同期方法において、
前記フィンガープリントを算出する前記ステップは、メディアフィンガープリンティング技術を適用して、前記フィンガープリントを前記参照時間位置における前記メディアコンテンツを一意的に表すコード化された識別子として生成するステップを備えることを特徴とする同期方法。
【請求項９】
請求項８に記載の同期方法において、
前記メディアコンテンツの参照時間位置を特定する前記ステップは、参照時間位置と関連する前記参照フィンガープリント用の、コード化された識別子を含むデータベースを参照するステップと、前記参照時間位置における前記メディアコンテンツを一意的に表す前記コード化された識別子に対応する、当該参照時間位置を取得するステップと、を有することを特徴とする同期方法。
【請求項１０】
メディアコンテンツに対応し、モーションフィードバックシステムを制御するためのモーション信号を、当該メディアコンテンツのメディア信号と同期させる方法であって、
前記メディア信号の一部を受信するステップと、
前記メディア信号の受信した部分に対応するフィンガープリントを取得するステップと、
少なくとも１つの参照メディアコンテンツの時間位置と関連する参照フィンガープリントから、取得された前記フィンガープリントに対応する、前記メディアコンテンツの参照時間位置を特定するステップと、
前記メディアコンテンツの特定された前記参照時間位置に関連する前記モーション信号を取得するステップと、
前記モーションフィードバックシステムを制御するために、前記メディアコンテンツの特定された前記参照時間位置を用いて、前記メディア信号と同期した前記モーション信号を出力するステップと、
前記メディアコンテンツの参照時間位置を特定する前記ステップの前に、前記メディアコンテンツに対応するモーション信号を受信するステップと、を有し、
前記参照フィンガープリントは、受信された前記モーション信号から直接取り出されることを特徴とするモーション信号の同期方法。
【請求項１１】
請求項１又は１０に記載の同期方法において、前記メディアコンテンツの参照時間位置を特定する前記ステップは、遠隔ネットワークサーバーにて行われることを特徴とする同期方法。
【請求項１２】
請求項１又は１０に記載の同期方法において、前記メディアコンテンツの特定された前記参照時間位置と関連する前記モーション信号は、遠隔ネットワークサーバーから取得されることを特徴とする同期方法。
【請求項１３】
メディアコンテンツに対応し、モーションフィードバックシステムを制御するためのモーション信号が、前記メディアコンテンツのメディア信号と同期するかどうかを判定する方法であって、
前記メディア信号の一部を受信するステップと、
前記メディア信号の受信した部分のフィンガープリントを取得するステップと、
前記メディアコンテンツの参照時間位置における、前記メディア信号の前記部分のフィンガープリント、すなわち参照フィンガープリントを取り出すステップと、
取得された前記フィンガープリントと前記参照フィンガープリントとを比較するステップと、
当該比較に基づいて、前記モーション信号が前記メディア信号に同期するかどうかを判定するステップと、
当該判定に従って、前記モーションフィードバックシステムを制御するために、前記メディア信号に同期した前記モーション信号を出力するステップと、を有することを特徴とするモーション信号の同期判定方法。
【請求項１４】
請求項１３に記載の同期判定方法であって、
前記参照フィンガープリントは、前記メディアコンテンツの時間位置と関連する参照フィンガープリントを含むデータベースから取り出されることを特徴とする同期判定方法。
【請求項１５】
請求項１４に記載の同期判定方法であって、
前記参照フィンガープリントは、前記モーション信号から直接取り出されることを特徴とする同期判定方法。
【請求項１６】
メディアコンテンツに対応し、モーションフィードバックシステムを制御するためのモーション信号を、前記メディアコンテンツのメディア信号と同期させる装置であって、
当該装置は、少なくとも１つの参照メディアコンテンツの時間位置と関連する参照フィンガープリントを有する記憶媒体にアクセス可能であり、
前記メディア信号の一部を受信する入力ユニットと、
前記入力ユニット及び前記記憶媒体と通信する処理装置と、
前記処理装置によりアクセス可能なメモリと、を備え、
前記メモリは、
前記メディア信号の受信した部分に対応するフィンガープリントを取得し、
少なくとも１つの参照メディアコンテンツの時間位置と関連する参照フィンガープリントから、取得された前記フィンガープリントに対応する、前記メディアコンテンツの参照時間位置を特定し、
前記メディアコンテンツの特定された前記参照時間位置と関連する前記モーション信号を取得し、かつ、
前記モーションフィードバックシステムを制御するために、前記メディアコンテンツの特定された前記参照時間位置を用いて、前記メディア信号と同期したモーション信号を出力するように、前記処理装置に実行させる命令を格納し、
前記処理装置は、所定の周期で、フィンガープリントの取得、参照時間位置の特定、及び前記モーション信号の取得を実行し、前記モーション信号の出力を前記メディア信号と再同期させることを特徴とするモーション信号の同期装置。
【請求項１７】
コンピュータにより、メディアコンテンツに対応しモーションフィードバックシステムを制御するためのモーション信号を、前記メディアコンテンツのメディア信号と同期させる方法を実行するためのステートメント及び命令が記録されている、非一時的なコンピュータ可読メモリであって、
前記方法は、
前記メディア信号の一部を受信するステップと、
前記メディア信号の受信した部分に対応するフィンガープリントを取得するステップと、
少なくとも１つの参照メディアコンテンツの時間位置と関連する参照フィンガープリントから、取得された前記フィンガープリントに対応する、前記メディアコンテンツの参照時間位置を特定するステップと、
前記メディアコンテンツの特定された前記参照時間位置と関連する前記モーション信号を取得するステップと、
前記モーションフィードバックシステムを制御するために、前記メディアコンテンツの特定された前記参照時間位置を用いて、前記メディア信号と同期した前記モーション信号を出力するステップと、を有し、
フィンガープリントを取得する前記ステップと、参照時間位置を特定する前記ステップと、前記モーション信号を取得する前記ステップと、を所定の周期で実行し、前記モーション信号の出力を前記メディア信号と再同期させることを特徴とするメモリ。
【国際調査報告】
2013535887.tif 000006
2013535887.tif 000007
2013535887.tif 000008
2013535887.tif 000009