(57)【要約】  ２つの記録モードを同期させる方法、装置、およびシステムは、２つの記録モードの共通イベントを識別することを含む。当該イベントは、上記２つのモードのうち高精度のモードについて時間によって認識される。上記２つのモードのうち低精度のモードにおける上記イベントは、当該低精度のモードのフレーム間で上記イベントが発生した時間を判断することによって予測される。高精度のモードにおける上記イベントが低精度のモードに同期化され、上記２つのモードの間でサブフレーム精度の調整が行われる。本発明の一実施形態において、上記共通イベントには、クラップスレートが閉じることが含まれ、上記２つのモードには、オーディオ記録モードとビデオ記録モードが含まれる。
2010512711.tif 000002
【特許請求の範囲】
【請求項１】
オーディオ記録とビデオ記録を同期化するための方法であって、
前記オーディオ記録および前記ビデオ記録における共通イベントを識別するステップと、
前記オーディオ記録における前記共通イベントの位置を判断するステップと、
前記オーディオ記録における前記イベントの前記位置を、前記ビデオ記録における前記イベントの発生に最も近いフレームと関連付けるステップと、
前記イベントが前記ビデオ記録内の１つのフレーム中に生じない場合、フレーム間の前記イベントが発生する位置を推定するステップと、
前記最も近いフレームの発生と前記イベントの発生について前記推定された位置との間の差に等しい分だけ前記オーディオ記録の前記関連付けられた位置を調整するステップと、
を含むことを特徴とする方法。
【請求項２】
前記共通イベントは、クラップスレートが閉じることを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記オーディオ記録における前記共通イベントの前記位置は、オーディオ認識を使用して判断されることを特徴とする請求項１に記載の方法。
【請求項４】
フレーム間の前記イベントが発生する位置を推定するステップは、
クラップスレートが閉じる角速度を計算するステップと、
前記クラップスレートが閉じた時間を予測するステップと
を含むことを特徴とする請求項１に記載の方法。
【請求項５】
前記ビデオ記録における前記共通イベントの発生に最も近いフレームは、イメージ認識を使用して判断されることを特徴とする請求項１に記載の方法。
【請求項６】
前記オーディオ記録における前記イベントの位置は、時間によって判断されることを特徴とする請求項１に記載の方法。
【請求項７】
ビデオ制作においてビジュアル情報とオーディオ情報を同期化するための方法であって、
前記ビデオ制作のオーディオモードとビジュアルモードのイメージフレームとにおける共通イベントを識別するステップと、
前記オーディオモードの前記共通イベントを時間で認識するステップと、
前記共通イベントが前記ビジュアルモードのフレーム間で発生した時間を判断することによって、前記ビジュアルモードの前記共通イベントの発生を予測するステップと、
前記共通イベントの発生と、前記ビジュアルモードの前記共通イベントの発生の後の第１のフレームとの間の時間オフセットを判断するステップと、
前記判断された時間オフセットの分だけオーディオ開始時間をオフセットして、前記オーディオモードと前記ビジュアルモードとの間にサブフレーム精度の調整をもたらすことによって、前記オーディオモードを前記ビジュアルモードに同期化するステップと
を含むことを特徴とする方法。
【請求項８】
前記共通イベントは、クラップスレートが閉じることを含むことを特徴とする請求項７に記載の方法。
【請求項９】
前記共通イベントの発生と、前記共通イベントの発生の後の第１のフレームとの間の時間オフセットを判断するステップは、
前記クラップスレートが閉じる角速度を計算するステップと、
前記クラップスレートが閉じた時間を予測するステップと
を含むことを特徴とする請求項８に記載の方法。
【請求項１０】
ビデオ制作におけるビデオ情報とオーディオ情報を同期化するためのシステムであって、前記ビデオ情報および前記オーディオ情報は共通イベントを有し、前記システムは、
前記ビデオ制作のビデオモードにおける前記共通イベントの発生に最も近いフレームを判断するための手段と、
前記ビデオ制作のオーディオモードにおける前記共通イベントの位置を判断し、前記オーディオモードにおける前記共通イベントの前記位置を前記ビデオモードにおける前記共通イベントの発生に最も近いフレームと関連付けるための手段と、
前記共通イベントが前記ビデオモードで発生したときのフレーム間における位置を判断することによって、前記ビデオモードにおける前記共通イベントの発生を推定するための手段と、
前記オーディオモードを前記ビデオモードに同期化するための手段と
を含むことを特徴とするシステム。
【請求項１１】
前記共通イベントは、クラップスレートが閉じることを含むことを特徴とする請求項１０に記載のシステム。
【請求項１２】
前記推定するための手段は、前のフレームに基づいて前記クラップスレートが閉じる角速度を計算し、前記クラップスレートを閉じる時間を予測することを特徴とする請求項１１に記載のシステム。
【請求項１３】
前記ビデオモードのフレームについて前記クラップスレートの角度位置を記憶するための手段をさらに含むことを特徴とする請求項１２に記載のシステム。
【請求項１４】
前記ビデオモードにおける前記共通イベントの発生に最も近いフレームを判断するための手段は、イメージ認識手段を含むことを特徴とする請求項１０に記載のシステム。
【請求項１５】
前記ビデオモードにおける前記共通イベントの発生に最も近いフレームを判断するための手段は、前記ビデオモードの前記フレームにおいてクラップスレートの角度を判断するためのスレート角度計算手段を含むことを特徴とする請求項１０に記載のシステム。
【請求項１６】
前記推定するための手段は、
前記クラップスレートの角速度を判断するように構成された角速度計算手段と、
前記クラップスレートが閉じるときを予測するように構成された閉状態予測手段と
を含むことを特徴とする請求項１０に記載のシステム。
【請求項１７】
前記同期化するための手段は、前記オーディオモードと前記ビデオモードとの間にサブフレーム同期化をもたらすために、前記最も近いフレームの発生と前記ビデオモードにおける前記イベントの発生について前記予測された位置との間の差に等しい分だけ、前記オーディオモードの前記関連付けられた位置に加算するように構成された加算手段を含むことを特徴とする請求項１０に記載のシステム。
【請求項１８】
前記オーディオモードにおける前記共通イベントの位置を判断するための手段は、オーディオ認識手段を含むことを特徴とする請求項１０に記載のシステム。
【請求項１９】
前記同期化するための手段は、前記最も近いフレームの発生と前記ビデオモードにおける前記イベントの発生について推定された位置との間の差に等しい分だけ、前記オーディオモードの関連付けられた位置を調整することによって、前記オーディオモードを前記ビデオモードに同期化することを特徴する請求項１０に記載のシステム。
【請求項２０】
前記同期化するための手段は、修正時間を前記オーディオモードにおける前記共通イベントの発生時間に加算して開始時間を指定し、前記開始時間を前記ビデオモードにおける前記共通イベントの発生の後に最も近いフレームに調整することによって、前記オーディオモードを前記ビデオモードに同期化することを特徴とする請求項１０に記載のシステム。
【請求項２１】
少なくとも２つの記録モードを同期化するための方法であって、
前記少なくとも２つの記録モードにおける共通イベントを識別するステップと、
前記少なくとも２つの記録モードのうち少なくともより高精度の記録モードの前記共通イベントの発生を時間で判断するステップと、
前記共通イベントが、前記少なくとも２つの記録モードのうちより低精度の記録モードのフレーム間で発生した時間を判断することによって、前記より低精度の記録モードにおける前記共通イベントの発生を予測するステップと、
前記少なくとも２つの記録モードがサブフレーム精度で調整されるように、前記より高精度の記録モードにおける前記共通イベントの発生を、前記より低精度の記録モードに同期化するステップと
を含むことを特徴とする方法。
【請求項２２】
前記少なくとも２つの記録モードは、オーディオモードとビジュアルモードを含むことを特徴とする請求項２１に記載の方法。
【請求項２３】
前記共通イベントは、クラップスレートが閉じることを含むことを特徴とする請求項２１に記載の方法。
【請求項２４】
前記少なくとも２つの記録モードのうち少なくともより高精度の記録モードの前記共通イベントの発生を時間で判断するステップは、前記クラップスレートが閉じるときを、オーディオ認識を使用して判断するステップを含むことを特徴とする請求項２３に記載の方法。
【請求項２５】
前記より低精度の記録モードにおける前記共通イベントの発生を予測するステップは、
前記クラップスレートの角速度を計算するステップと、
前記クラップスレートが閉じた時間を予測するステップと
を含むことを特徴とする請求項２３に記載の方法。
【請求項２６】
前記共通イベントの発生を、前記より低精度の記録モードに同期化するステップは、
修正時間を、前記より高精度の記録モードにおける前記共通イベントの発生時間に加算して、開始ポイントを指定するステップと、
前記開始ポイントを、前記より低精度の記録モードにおける前記共通イベントの発生後の最も近いフレームに合うように調整するステップと
を含むことを特徴とする請求項２１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオおよびイメージ記録コンポーネントなどの複数の記録モードの同期化に関し、より具体的には、例えば、映画産業およびテレビ産業において、クラップステート（ｃｌａｐ  ｓｌａｔｅｓ）をサブフレーム精度と同期させることに関する。
【背景技術】
【０００２】
映画制作において、イメージ（ピクチャ）とオーディオは、異なるデバイスによって記録される。イメージとオーディオを後の処理で組み合わせるときに、２つのタイプの情報を同期化する必要がある。通常、これは、オペレータが、スレートが閉じるのを見て、タイムコードを可聴「クラップ（ｃｌａｐ）」に割り当てることによって、手動で行なわれる。しかしながら、映画撮影の性質上、これは、イメージまたはフィルムが通常、１秒当たり２４フレームおよび６０フレームの間のフレームレートで記録されるため、制限された正確性でしか行うことができない。したがって、視覚的なクラップと音の間には、１／２４秒または１／６０秒の不正確さの問題が生じることがある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
スレートを使用して手動または自動でオーディオストリームとイメージストリームを同期化することができる多数の従来のシステムが存在するが、これらの技術では、通常、オーディオストリームのサンプリングレート（フレームレート）のために、サブフレームの不整合（ｍｉｓａｌｉｇｎｍｅｎｔ）という問題にぶつかる。オーディオストリームのサンプリングレートは、イメージストリームのサンプリングレートよりもしばしば非常に大きく、正しい調整ポイントはほとんど場合、２つの連続したイメージフレームの間にある。
【課題を解決するための手段】
【０００４】
本発明の様々な実施形態による方法、装置、およびシステムは、少なくとも２つの記録モード間にサブフレーム精度（ｓｕｂ−ｆｒａｍｅ  ａｃｃｕｒａｃｙ）の同期を提供することによって、従来の技術の上記および他の欠点を解決する。
【０００５】
本発明の一実施形態において、２つの記録モードを同期化するための方法は、２つの記録モードの共通イベントを識別することと、２つの記録モードのうち少なくともより高精度の記録モードについて、上記共通イベントの発生を、時間で（ｉｎ  ｔｉｍｅ）判断することと、共通イベントが２つの記録モードのうちより低い精度の記録モードのフレーム間で発生した時間を判断することによって、より低い精度の記録モードにおける共通イベントの発生を予測することと、２つの記録モード間をサブフレーム精度で調整するために、高精度の記録モードにおける共通イベントの発生を、低精度のモードに同期させることを含む。
【０００６】
本発明の代替的実施形態において、オーディオ記録とビデオ記録を同期化するための方法は、オーディオ記録とビデオ記録の共通イベントを識別することと、オーディオ記録における共通イベントの位置を判断することと、オーディオ記録におけるイベントの位置を、ビデオ記録におけるイベントの発生に最も近いフレームと関連付けることと、イベントがビデオ記録内のあるフレーム内で発生しない場合、複数のフレーム間でイベントが発生する位置を推定することと、上記最も近いフレームの位置と、イベントの発生について上記推定された位置との間の差に等しい分だけ、オーディオ記録について上記関連付けられた位置を調整することを含む。
【０００７】
本発明の上述の実施形態において、共通イベントには、クラップスレートを閉じることを含めることができ、複数のフレーム間で共通イベントが発生する位置を推定することは、クラップスレートが閉じる角速度（ａｎｇｌｅ  ｓｐｅｅｄ）を計算することと、クラップスレートが閉じた時間を推定することを含む。
【０００８】
本発明の代替的実施形態では、ビデオ制作において、共通のイベントを有するビデオ情報とオーディオ情報とを同期化するためのシステムは、ビデオ制作のビデオモードにおける共通イベントの発生に最も近いフレームを判断するための手段と、ビデオ制作のオーディオモードにおける共通イベントの位置を判断し、該オーディオモードにおける該共通イベントの位置を、ビデオモードにおける共通イベントの発生に最も近いフレームに関連付けるための手段と、ビデオモードにおいて共通イベントが発生したときのフレームの間の位置を判断することによって、ビデオモードにおける共通イベントの発生を推定するための手段と、オーディオモードをビデオモードに同期化するための手段とを含む。本発明の一実施形態において、上記同期化するための手段は、上記発生に最も近いフレームとビデオモードにおけるイベントの発生について推定された位置との間の差に等しい分だけ、オーディオモードの上記関連付けられた位置を調整することによって、オーディオモードをビデオモードに同期化する。本発明の代替的実施形態において、上記同期化するための手段は、修正時間をオーディオモードにおいて共通イベントが発生した時間に加算して、開始ポイントを指定し、該開始ポイントを、ビデオモードにおける共通イベントの発生後に最も近いフレームに調整することによって、オーディオモードをビデオモードに同期化する。
【０００９】
本発明の教示は、添付図面とともに以下の詳細な説明を考慮することによって容易に理解することができる。
【図面の簡単な説明】
【００１０】
【図１】複数の状態のクラップスレートを示す２つのフィルムシーケンスを示す図である。
【図２】従来の技術におけるオーディオクラップとビジュアルクラップの間の不一致またはエラーを示すタイムラインの図である。
【図３】本発明の一実施形態にかかるオーディオクラップからオフセットされた新たな開始ポイントとビジュアルクラップとの間の同期化を示すタイムラインの図である。
【図４】本発明の一実施形態にかかる２つの記録モードを同期化するためのシステムを示す高レベルのブロック図である。
【図５】本発明の一実施形態にかかる２つの記録モードを同期化するための方法を示すフロー図である。
【発明を実施するための形態】
【００１１】
図面は、本発明の概念を説明するためのものであり、必ずしも本発明を説明するための可能な構成のみを必要とするものではないことを理解されたい。理解を容易にするために、同一の参照番号を、複数の図面において共通する同一の構成要素を示すために使用している。
【００１２】
本発明は、有利には、例えば、映画制作アプリケーションにおけるオーディオとイメージの同期化のための方法、装置、およびシステムを提供する。本発明を主に映画制作のコンテキストで説明するが、本発明の特定の実施形態は、本発明の範囲を限定するものとして扱われるべきではない。有利には本発明の概念を他の同期化技術に適用することができることが、当業者によって認識され、本発明の教示によって伝わるであろう。例えば、本発明の概念を、フィルムの接合、フィルムの記録、オーディオのミキシング、およびイメージのミキシングなどにおいて実施することができる。このような概念は、少なくとも２つのモード（例えば、オーディオモードとビジュアルモード）でイベントを提供するインジケータ（ｉｎｄｉｃａｔｏｒ）を含むことがある。インジケータは、少なくとも、より高精度のモードについて、時間で認識される。次いで、より低精度のモードは、該より低い精度のモードのフレーム間でイベントが発生した時間を予測するために、推定された対応する時間を有する。その後、２つのモードのイベントが同期化され、該２つのモード間にサブフレーム精度が提供される。
【００１３】
図面に示された様々な要素の機能を、専用ハードウェアの使用、ならびに適切なソフトウェアとともにソフトウェアを実行することができるハードウェアの使用を通じて提供することができる。プロセッサによって提供されるとき、上記機能は、１つの専用プロセッサ、１つの共有プロセッサ、または、その一部は共有可能な複数の別個のプロセッサによって提供される可能性がある。さらに、用語「プロセッサ」、「モジュール」、または「コントローラ」の明示的な使用は、ソフトウェアを実行できるハードウェアのみを指していると解釈されるべきではなく、これらには限られないがデジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを記録するためのリードオンリメモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、および不揮発性のストレージも暗示的に含むことができる。本明細書において、本発明および本発明の特定の例に関する原理、態様、および実施形態を列挙している全ての記載は、これらの構造的な均等物、および機能的な均等物を含むことが意図されている。さらに、このような均等物には、現在公知の均等物、および将来開発される均等物（すなわち、構造に関わらず同一の機能を実行するように開発される全ての要素）を含むことが意図されている。
【００１４】
したがって、例えば、本明細書で提示されるブロック図は、本発明の原理を具体化している例示的なシステムのコンポーネントおよび／または回路の概念的な視点を表していることが、当業者には認識されよう。同様に、全てのフローチャート、フロー図、状態遷移図、および疑似コードなどは、実質的にコンピュータ読取可能媒体として表すことができ、したがってコンピュータまたはプロセッサが明示されているかどうかに関わらずコンピュータまたはプロセッサによって実行することができる、様々なプロセスを示している。
【００１５】
本発明の様々な実施形態にかかる、フィルム制作においてオーディオコンポーネントとイメージコンポーネントとを同期化するための方法、装置、およびシステムを開示する。一実施形態において、本発明は、オーディオとイメージのより正確な同期化を達成するための解決手段を説明する。オーディオと映像とを同期化するとき、スレートタイムコードに高精度の方（現在では、オーディオ）を与え、その後これを他方（現在では、ビデオ）のタイムコードと一致させる。
【００１６】
図１を参照すると、２つの例示的なスレートが閉じるシーケンス１０および２０が図示されている。シーケンス１０では、第１のピクチャ１２は、３０度開いた位置のスレート１５を示し、第２のピクチャ１４は、１５度開いた位置のスレート３０を示し、第３のピクチャ１６は、閉状態のスレート３０を示している。この事例では、クラップスレート（本明細書においては、クラッパ（ｃｌａｐｐｅｒ）とも呼ばれる）の一定の角速度（ａｎｇｕｌａｒ  ｓｐｅｅｄ）を想定すると、第３のピクチャ１６がキャプチャされる時間とちょうど同じ時間に、オーディオクラップが生じる。ここで、スレート３０は任意の位置または方向とすることができるが、カメラによって投影された２Ｄイメージにおけるスレートの角速度は、線遠近法の投影関係のため、一定に保たれることに留意されたい。
【００１７】
シーケンス２０では、第１のピクチャ２２は、５０度開いた位置のスレート３０を示し、第２のピクチャ２４は、１５度開いた位置のスレート３０を示し、第３のピクチャは、閉状態のスレート３０を示している。この事例では、第３のピクチャのキャプチャのとき、オーディオクラップは生じない。クラッパの一定の角速度を想定すると、クラップは、第２のピクチャ２４のショットと、第３のピクチャ２６のショットとの間のある時間に、生じていなければならなかったことが明らかである。
【００１８】
図２を参照すると、イベントのタイムラインは、オーディオクラップの発生４２の時間を示すために、シーケンス２０をオーディオトラック４０とともに示している。現在、オーディオをイメージと手動または自動で同期化する方法は、閉状態のスレートを示す第１のビジュアルフレームのタイムコードを、可聴クラップのオーディオタイムコードと合わせるが、この技術によって生じる不正確性は無視されることになる。より具体的には、上述の技術を使用して、閉状態のスレート２６を、オーディオクラップスレートイベント４２に合わせる。これにより、この従来の技術を使用するシーンまたはシーケンスには、オーディオとイメージの間にエラー４４が発生することになる。
【００１９】
本発明にかかる、オーディオとビデオのより正確な同期化を達成するための解決手段を明示する。オーディオとビデオの同期化において、オーディオのスレートタイムコードを、ビデオのスレートタイムコードに合うように修正する。すなわち、本発明の様々な実施形態において、ビデオのスレートタイムコードは、ビデオシーケンスに提供される視覚的な手掛かり（ｖｉｓｕａｌ  ｃｌｕｅｓ）に基づいて判断される。本明細書においてビデオと呼ばれるものは、イメージ、動画、および／またはビジュアルデータに対応する。
【００２０】
図３を参照すると、オーディオのスレートタイムコードが、閉状態スレートのビデオタイムコードと適切に合うように修正される。クラッパが、２つの動画（ｍｏｔｉｏｎ  ｐｉｃｔｕｒｅ）フレームの間に閉じた場合、オーディオタイムコードは、スレートが閉じている第１のビジュアルフレームと合うようには調整されず、クラップが生じた実際の時間と合うように調整される。図３において、２つのピクチャフレームの間にこのことが起ったため、その瞬間は、これに関連付けられたピクチャタイムコードはない。したがって本発明によれば、オーディオスレートのタイムコードは、閉状態のスレートを示す第１のピクチャフレーム４９のタイムコード（イベント時間）と合うように調整される、新たな開始ポイント４７を判断することによって修正される。
【００２１】
図４は、本発明の一実施形態にかかる、２つの記録モードを同期化するためのシステムの高レベルのブロック図を示す。図４のシステム１００は、例示的に、記録時に使用される２つのモードを同期化するスタンドアローンのデバイスを備えている。しかしながら、代替的な実施形態において、システム１００は、２つの記録モードを同期化する必要がある、ミキシングデバイス（ｍｉｘｉｎｇ  ｄｅｖｉｃｅ）、記録デバイス、製造デバイス、または任意の他のデバイスの一部を備えることができる。本発明の一実施形態において、モードには、オーディオデータとビジュアルデータが含まれる。
【００２２】
図４のシステム１００において、システム１００は、例示的に、スレート角度解析（ｓｌａｔｅ  ａｎｇｌｅ  ａｎａｌｙｓｉｓ）ブロック１１０、スレート閉状態予測（ｓｌａｔｅ  ｃｌｏｓｉｎｇ  ｐｒｅｄｉｃｔｉｏｎ）ブロック１２６、ビジュアルスレート閉状態タイムコード（ｖｉｓｕａｌ  ｓｌａｔｅ  ｃｌｏｓｉｎｇ  ｔｉｍｅｃｏｄｅ）ブロック１２０、スレートオーディオ認識ブロック１３４、およびスレート角度記憶ブロック１２２を備えている。図４のシステム１００において、スレート角度解析ブロックは、例示的に、スレートイメージ認識ブロック１１２、およびスレート角度計算ブロック１１４を備えている。さらに、図４のシステム１００において、スレートの閉状態予測ブロックは、例示的に、角速度計算ブロック１２８、および閉時予測（ｃｌｏｓｉｎｇ  ｍｏｍｅｎｔ  ｐｒｅｄｉｃｔｉｏｎ）ブロック１３０を備えている。図１のシステム１００において、動画データ１０２は、スレート角度解析ブロック１１０に送信される。さらに、動画タイムコード（ビジュアルタイムコード）１０４は、ビジュアルスレート閉状態タイムコードブロック１２０に送信される。同時に、オーディオデータ１０６はオーディオタイムコード１０８とともに、スレートオーディオ認識ブロック１３４に送信される。動画データ１０２は、スレート角度解析ブロック１１０のスレートイメージ認識メカニズム１１２によって受信される。スレートイメージ認識メカニズム１１２は、ピクチャコンテンツ１０２を解析し、スレートイメージに類似する幾何学的形態（ｇｅｏｍｅｔｒｉｃ  ｓｈａｐｅ）を判断する。イメージ認識メカニズム１１２を、ソフトウェアもしくはハードウェアで実装すること、あるいは代替的に、専門技術者が手動で実行することができる。認識プロセスには、クラップスレートの一部分を、（イメージ認識ソフトウェアを使用して）自動または手動で識別することを含むことができる。
【００２３】
スレート角度解析ブロック１１０において、認識メカニズム１１２によって判断されたスレートに類似する幾何学的形態は、さらに、スレート角度計算ブロック１１４によって解析され、クラッパの角度を検出する。スレート角度解析ブロック１１０は、クラッパを識別し、かつ異なるフレームの中のスレート角度を判断するように構成された、ビデオ認識ソフトウェア（図示せず）を含むことができる。本発明の一実施形態において、角度の判断を、例えば分度器をクラッパのイメージに適用することによって、視覚的に行うことができる。したがって、クラッパを閉じた時間について、より正確な瞬間（時間）の判断を行うことができる。多くの場合、クラッパは、特有のマークを有し、通常ビデオシーケンスにおいて明確に表示されるため、イメージまたはビデオシーケンスにおけるクラッパの識別は容易に達成される。
【００２４】
図４のスレート解析ブロック１１０は、例示的に２つの出力信号を含む。第１の出力信号１１６は、「閉スレート信号（ｓｌａｔｅ  ｃｌｏｓｅｄ  ｓｉｇｎａｌ）」を含むことができる。閉スレート信号１１６を使用して、完全に閉じた状態のクラッパを有する第１のビデオフレームを識別する。例えば、本発明の一実施形態において、閉スレート信号１１６を、ブール信号として実装することができ、当該ブール信号は、全てのビデオフレームが閉状態のスレートを有する時間の間は「真（ｔｒｕｅ）」となり、その他の全てのフレームの間は「偽（ｆａｌｓｅ）」となる。スレート解析ブロック１１０の第２の出力信号１１８は、「現在のスレート角度（ｃｕｒｒｅｎｔ  ｓｌａｔｅ  ａｎｇｌｅ）」信号を含むことができる。現在のスレート角度信号１１８は、現在のピクチャのクラッパの角度を、例えば度（ｄｅｇｒｅｅ）またはラジアンで識別する。第２の出力信号１１８は、２つの後続ブロック、すなわちスレート閉状態予測ブロック１２６とスレート角度記憶ブロック１２２にパラレルに送信される。
【００２５】
出力信号１１６（閉スレート信号）は、ビジュアルスレートの閉状態タイムコードブロック１２０によって受信される。ビジュアルスレート閉状態タイムコードブロック１２０において、閉スレート信号１１６が「真」となっている間、第１のタイムコードがビジュアルスレートタイムコード１３６として選択され、当該ビジュアルスレートタイムコード１３６は、その後オーディオとの同期化に使用される。以前のフレームのスレート角度記憶ブロック１２２は、１つまたは複数の以前のクラップスレートの角度を記憶しており、これにより、スレート閉状態予測部１２６が、スレートの速度および位置を予測することが可能になる。この方法では、角速度を、スレート閉状態予測ブロック１２６の角速度計算ブロック１２８で計算することができ、閉じる時間の予測を、スレート閉状態予測ブロック１２６の閉時予測ブロック１３０で行なうことができる。所望の精度に応じて、クラッパの閉じる時間を予測する際に、角速度（ａｎｇｌａｒ  ｖｅｌｏｃｉｔｙ）および角加速度（ａｎｇｌａｒ  ａｃｃｅｌｅｒａｔｉｏｎ）を考慮することができる。一実施形態において一定の角速度が推測される。本発明の一実施形態において、以前のフレームのスレート角度について記憶された情報を、閉じているスレートを判断した後にスレート角度記憶ブロック１２２から消去することができる。本発明の一実施形態において、スレート角度解析ブロックからの閉スレート信号１１６が、スレート角度記憶ブロック１２２によって受信される前に少なくとも１つのピクチャフレームの時間の間だけ遅れる場合、この閉スレート信号１１６を、記憶情報が消去され得るときを示すことに使用することができる。
【００２６】
本発明の一実施形態において、角速度計算ブロック１２８は、前のフレーム（Ｎ−１）のクラップスレート角度と、当該前のフレームのその前のフレーム（Ｎ−２）のクラップスレート角度とを使用して、クラップスレートの角速度を判断する。したがって一定の角速度が推測される。本発明の一実施形態において、角速度計算ブロック１２８は、以下の式（１）に従って角速度を決定することができる。  
AngularSpeed = [Angle(N-2)-Angle(N-1)]/FramePeriod    （１）
である。
【００２７】
ＡｎｇｕｌａｒＳｐｅｅｄ（角速度）は、クラップスレート、すなわちクラッパの角速度を、単位秒当たりの度で示し、Ａｎｇｌｅ（角度）(N-1)は、クラッパが閉じる直前のフレームのクラッパの角度を度で示し、Ａｎｇｌｅ（角度）(N-2)は、例えば、クラッパが閉じる２つ前のフレームのクラッパの角度を度で示し、ＦｒａｍｅＰｅｒｉｏｄ（フレーム時間）は、２つの連続するビデオフレーム間の時間期間を秒で示している（例えば、単位秒当たり２４フレームの動画の場合、フレーム時間は１／２４秒である）。
【００２８】
その後、閉スレート信号１１６が「真」となるので、角速度計算ブロック１２８は、最後の角度（Ａｎｇｌｅ(N-1)）と、計算されたＡｎｇｕｌａｒＳｐｅｅｄ（角速度）の絶対値を使用して、以下の式（２）を用いてクラッパが実際に閉じる予想時間を計算することができる。  
CloseTime = Angle(N-1)/AngularSpeed    （２）
である。
【００２９】
ＣｌｏｓｅＴｉｍｅ（閉じる時間）は、最後の開状態のクラッパのピクチャフレームと、クラッパが実際に閉じた時間との間の時間である。「ＣｏｒｒｅｃｔｉｏｎＴｉｍｅ（修正時間）」（時間差情報）１３８を得るために、ＣｌｏｓｅＴｉｍｅを、ＦｒａｍｅＰｅｒｉｏｄ（例えば、１／２４秒）から引く必要がある。この値は定義上、正の値であるが、これは、クラッパが閉状態のクラッパを有する第１のビデオフレームの前またはその時間に閉じられるからであり、この値は、以下の式（３）によって特徴付けることができる。  
Correction Time = FramePeriod - CloseTime    （３）
である。
【００３０】
修正されたオーディオスレートタイムコード１４０は、例えば、加算器（Ａｄｄｅｒ）１３２または同様のオフセットデバイスを使用して、式（３）を用いて決定された「修正時間」１３８を、スレートオーディオ認識ブロック１３４からのオーディオスレートタイムコード１４２に加算することによって計算される。修正されたオーディオスレートタイムコード１４０は、オーディオトラックをビデオトラックに同期化し、所望の同期化にサブフレーム精度を与える。修正されたオーディオスレートタイムコードは、以下の式（４）によって特徴付けることができる。  
CorrectedAudioSlateTimeCode = AudioSlateTimeCode + CorectionTime    （４）
である。
【００３１】
式（４）を使用して、オーディオとビデオは実際に、クラップスレートに最も近いフレームタイムコードに同期化される。クラップスレートは、オーディオ認識デバイス１３４によってオーディオデータ内で認識される。すなわち、オーディオ認識デバイス１３４は、クラップスレートが生じたオーディオスレートタイムコード１４２、またはその瞬間を示すことができる。これを、例えば一実施形態において、音響波形の解析を利用し、最も大きな（最も大きな音の）ピークを選択することによって実行することができる。この場合、オーディオ信号は、より正確である（ピクチャイメージのフレームレートに制限されない）ので、オーディオイベントが基準として使用される。この基準はビデオ信号内の実際の閉じたクラップスレートと比較される。
【００３２】
図５は、本発明の一実施形態にかかる２つの記録モードを同期化するための方法を示すフロー図を図示する。図５の方法はステップ２０２で始まり、ステップ２０２では、少なくとも２つの記録モードにおける共通イベントが識別される。本発明の一実施形態において、２つの記録モードには、オーディオ記録モードと、ビデオ記録モードが含まれる。識別される共通イベントには、ビジュアルおよびオーディオイベントをもたらす、クラッパが閉じることを含むことができる。方法は次いでステップ２０４に進む。
【００３３】
ステップ２０４において、２つの記録モードのうち、少なくともより高精度の記録モードにおける上記識別されたイベント（例えば、クラッパのビジュアルイベントおよびオーディオイベント）は、時間によって認識される。例えば、本発明の一実施形態において、より高精度の記録モードにはオーディオ記録モードが含まれ、より低精度の記録モードにはビデオ記録モードが含まれる。すなわち、フィルムの記録に課されるフレームレートの制限（例えば、１／２４秒または１／６０秒のフレームレート）のために、ビデオ記録モードは、ビデオ内のイベントを時間で識別することについて、正確性が劣る。説明した実施形態において、２つの記録モードのうち少なくとも高精度の記録モードのイベントを時間で認識することは、クラップスレートが閉じられるときを、オーディオ認識（例えば、音響波形解析）を使用して決定することを含む。方法は次いでステップ２０６に進む。
【００３４】
ステップ２０６において、上述の実施形態では、上記イベントがビデオ記録モードのフレーム間で発生した時間を判断することによって、より低精度の記録モードにおける上記イベントが識別される。このことは、スレートが閉じる角速度を計算することと、クラップスレートが閉じた時間を予測することとを含むことができる。イベントを識別することは、イメージの認識またはオーディオの認識を実行することを含むことができる。方法は次いでステップ２０８に進む。
【００３５】
ステップ２０８において、高精度の記録モードと低精度の記録モードにおけるイベントが同期化される。例えば、上述の実施形態において、２つのモードの間にサブフレーム精度の調整を提供するために、オーディオイベントを、ビデオ記録内で最も近いフレームに同期させる。次いで、修正時間が上述したように決定される。その後、決定された修正時間を、選択された最も近いフレームの発生時間に加算、または該発生時間から減算して、ビデオ記録モードにおいて上記イベントが発生する時間を識別する。本発明の代替的な実施形態において、修正時間を高精度のモード（例えば、オーディオ記録）における共通イベントの発生時間に加算して開始ポイントを指定し、低精度のモード（例えば、ビデオ記録）における共通イベントの発生後に上記開始ポイントを最も近いフレームに合わせることによって、モードが同期化される。方法はその後終了する。
【００３６】
サブフレーム精度でクラップスレートを同期化するための方法、装置、およびシステムの好ましい実施形態（例示を目的としており、限定することを目的としていない）を説明してきたが、上述した教示に照らして当業者による修正および変形が可能であることに留意されたい。したがって、添付の特許請求の範囲によって示される本発明の範囲および精神内において、開示された本発明の特定の実施形態を変更することが可能であることを理解されたい。上述の内容は本発明の様々な実施形態に関するものであるが、本発明の基本的な範囲から逸脱することなく、本発明の他の実施形態、およびさらなる実施形態を考える出すことができる。
【図１】
2010512711.tif 000003
【図２】
2010512711.tif 000004
【図３】
2010512711.tif 000005
【図４】
2010512711.tif 000006
【図５】
2010512711.tif 000007
【手続補正書】
【提出日】平成21年12月10日(2009.12.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
オーディオ記録とビデオ記録を同期化するための方法であって、
前記オーディオ記録および前記ビデオ記録におけるクラップスレートの閉鎖を識別するステップと、
前記オーディオ記録における前記クラップスレートの前記閉鎖の位置を判断するステップと、
前記オーディオ記録における前記クラップスレートの前記閉鎖の前記位置を、前記ビデオ記録における前記クラップスレートの前記閉鎖の発生に最も近いフレームと関連付けるステップと、
前記クラップスレートの前記閉鎖が前記ビデオ記録内の或るフレーム中に生じない場合、前記クラップスレートの前記閉鎖の角速度を計算して前記クラップスレートの前記閉鎖が発生するフレーム間の位置を推定するために、前記クラップスレートの様々な位置を示す複数のフレームを使用するステップと、
前記最も近いフレームの発生と前記クラップスレートの前記閉鎖の発生について前記推定された位置との間の差に等しい分だけ前記オーディオ記録の前記関連付けられた位置を調整するステップと
を含む方法。
【請求項２】
前記オーディオ記録における前記クラップスレートの前記閉鎖の前記位置は、オーディオ認識を使用して判断される請求項１に記載の方法。
【請求項３】
前記ビデオ記録における前記クラップスレートの前記閉鎖の発生に最も近いフレームは、イメージ認識を使用して判断される請求項１に記載の方法。
【請求項４】
前記オーディオ記録における前記クラップスレートの前記閉鎖の前記位置は、時間によって判断される請求項１に記載の方法。
【請求項５】
ビデオ制作におけるビデオ情報とオーディオ情報を同期化するためのシステムであって、前記ビデオ情報および前記オーディオ情報は共通イベントを有し、前記システムは、
前記ビデオ制作のビデオモードにおけるクラップスレートの閉鎖の発生に最も近いフレームを判断するための手段と、
前記ビデオ制作のオーディオモードにおける前記クラップスレートの前記閉鎖の位置を判断し、前記オーディオモードにおける前記クラップスレートの前記閉鎖の前記位置を前記ビデオモードにおける前記クラップスレートの前記閉鎖の発生に最も近いフレームと関連付けるための手段と、
前記クラップスレートの様々な位置を示すフレームを使用し、前記クラップスレートの前記閉鎖の角速度を計算して、前記クラップスレートの前記閉鎖が前記ビデオモードで発生したときのフレーム間における位置を判断することによって前記ビデオモードにおける前記クラップスレートの前記閉鎖の発生を推定するための手段と、
前記オーディオモードを前記ビデオモードに同期化するための手段と
を備えたシステム。
【請求項６】
前記ビデオモードのフレームについて前記クラップスレートの角度位置を記憶するための記憶手段をさらに備えた請求項５に記載のシステム。
【請求項７】
前記ビデオモードにおける前記クラップスレートの前記閉鎖の発生に最も近いフレームを判断するための手段は、イメージ認識手段を含む請求項５に記載のシステム。
【請求項８】
前記ビデオモードにおける前記クラップスレートの前記閉鎖の発生に最も近いフレームを判断するための手段は、前記ビデオモードの前記フレームにおいて前記クラップスレートの角度を判断するためのスレート角度計算手段を含む請求項５に記載のシステム。
【請求項９】
前記推定するための手段は、
前記クラップスレートの角速度を判断するように構成された角速度計算手段と、
前記クラップスレートが閉じるときを予測するように構成された閉鎖予測手段と
を含む請求項５に記載のシステム。
【請求項１０】
前記同期化するための手段は、前記オーディオモードと前記ビデオモードとの間にサブフレーム同期化をもたらすために、前記最も近いフレームの発生と前記ビデオモードにおける前記クラップスレートの前記閉鎖の発生について前記推定された位置との間の差に等しい分だけ前記オーディオモードの前記関連付けられた位置を拡大するように構成された加算手段を含む請求項５に記載のシステム。
【請求項１１】
前記オーディオモードにおける前記クラップスレートの前記閉鎖の位置を判断するための手段は、オーディオ認識手段を含む請求項５に記載のシステム。
【請求項１２】
前記同期化するための手段は、前記最も近いフレームの発生と前記ビデオモードにおける前記クラップスレートの前記閉鎖の発生について前記推定された位置との間の差に等しい分だけ、前記オーディオモードの前記関連付けられた位置を調整することによって、前記オーディオモードを前記ビデオモードに同期させる請求項５に記載のシステム。
【請求項１３】
前記同期化するための手段は、修正時間を前記オーディオモードにおける前記クラップスレートの前記閉鎖の発生時間に加算して開始時間を指定し、前記開始時間を前記ビデオモードにおける前記クラップスレートの前記閉鎖の発生の後に最も近いフレームに調整することによって、前記オーディオモードを前記ビデオモードに同期させる請求項５に記載のシステム。
【国際調査報告】
2010512711.tif 000008
2010512711.tif 000009
2010512711.tif 000010