(57)【要約】  オーディオビジュアルシステム（１００，２００，３００）からの視覚的及び聴覚的出力をフィードバックプロセスにより同期化する。視覚的イベントと聴覚的イベントは、オーディオ信号パス及びビデオ信号パスにおいてそれぞれ識別される。そして相関処理によって、これら信号間の時間差が計算され、ビデオ信号又はオーディオ信号は、視聴者／リスナによるオーディオ及びビデオの同期した受け取りがなされるように遅延される。
2007533189.tif 000002
【特許請求の範囲】
【請求項１】
オーディオビジュアルシステムにおいてオーディオ出力とビデオ出力とを同期化する方法であって、
・オーディオ信号及びビデオ信号を受信するステップと、
・前記オーディオ信号をラウドスピーカに供給するステップと、
・前記オーディオ信号から少なくとも１つの聴覚的イベントを識別することを含めて前記オーディオ信号を解析するステップと、
・前記ビデオ信号を表示ユニットへ供給するステップと、
・前記ビデオ信号から少なくとも１つの視覚的イベントを識別することを含めて前記ビデオ信号を解析するステップと、
・前記聴覚的イベントと視覚的イベントとの時間差を計算することを含めて前記聴覚的イベントを前記視覚的イベントに関連づけるステップと、
・前記オーディオ信号及び前記ビデオ信号のうちの少なくとも一方に遅延をかけ、その際当該遅延の値を前記聴覚的イベントと前記視覚的イベントとの間の当該計算された時間差に応じたものとし、これにより前記オーディオ出力と前記ビデオ出力とを同期化するステップと、
を有する、方法。
【請求項２】
請求項１に記載の方法であって、前記ビデオ信号を解析するステップは、当該信号のビデオ処理の後に行われる、方法。
【請求項３】
請求項１又は２に記載の方法であって、前記オーディオ信号を解析するステップは、前記オーディオ信号が前記ラウドスピーカにより発せられマイクロフォンにより受信された後に行われる、方法。
【請求項４】
請求項１ないし３のうちいずれか１つに記載の方法であって、前記オーディオ信号及び前記ビデオ信号は、略同時の視覚的及び聴覚的イベントを有するテスト信号を有する、方法。
【請求項５】
請求項１ないし４のうちいずれか１つに記載の方法であって、前記遅延の値を記憶するステップをさらに有する、方法。
【請求項６】
請求項５に記載の方法であって、記憶された遅延の値は、前記オーディオ及びビデオ信号のそれぞれのソースに関する情報に関連づけられる、方法。
【請求項７】
請求項６に記載の方法であって、
・前記オーディオ信号及び前記ビデオ信号のソースに関する識別情報を受け取るステップと、
・前記遅延の値を前記オーディオ及びビデオ信号のソースに関する情報に関連づけるステップと、
をさらに有する方法。
【請求項８】
請求項１ないし７のうちいずれか１つに記載の方法であって、
・オーディオ信号及びビデオ信号を受信するステップと、
・前記オーディオ信号をラウドスピーカに供給するステップと、
・前記オーディオ信号から少なくとも１つの聴覚的イベントを識別することを含めて前記オーディオ信号を解析するステップと、
・前記ビデオ信号を表示ユニットへ供給するステップと、
・前記ビデオ信号から少なくとも１つの視覚的イベントを識別することを含めて前記ビデオ信号を解析するステップと、
・前記聴覚的イベントと視覚的イベントとの時間差を計算することを含めて前記聴覚的イベントを前記視覚的イベントに関連づけるステップと、
・前記オーディオ信号及び前記ビデオ信号のうちの少なくとも一方に遅延をかけ、その際当該遅延の値を、前記聴覚的イベントと前記視覚的イベントとの間の当該計算された時間差に応じたものとし、これを連続的に繰り返し、これにより前記オーディオ出力と前記ビデオ出力とをダイナミックに同期化するステップと、
を有する、方法。
【請求項９】
オーディオ出力とビデオ出力とをオーディオビジュアルシステムにおいて同期化するシステムであって、
・信号源からの信号を、当該信号源からの当該信号のオーディオ部分から少なくとも１つの聴覚的イベントを識別し当該信号源からの当該信号のビデオ部分から少なくとも１つの視覚的イベントを識別することを含めて解析する手段と、
・前記聴覚的イベントと前記視覚的イベントとの時間差を計算することを含めて前記聴覚的イベントを前記視覚的イベントに関連づける手段と、
・前記オーディオ信号及び前記ビデオ信号の一方に遅延をかけ、その際当該遅延の値を、前記聴覚的イベントと前記視覚的イベントとの間の当該計算された時間差に応じたものとし、これにより前記オーディオ出力と前記ビデオ出力とを同期化する手段と、
・前記オーディオ信号及び前記ビデオ信号をラウドスピーカ及びディスプレイにそれぞれ供給する手段と、
を有するシステム。
【請求項１０】
請求項９に記載のシステムであって、前記ビデオ信号を解析する手段は、前記ビデオ信号を処理するいずれかの手段の後に位置づけられる、システム。
【請求項１１】
請求項９又は１０に記載のシステムであって、前記オーディオ信号を解析する手段は、マイクロフォンを介して前記オーディオ信号を受信するように構成されている、システム。
【請求項１２】
請求項９ないし１１のうちいずれか１つに記載のシステムであって、前記遅延の値を記憶する手段をさらに有するシステム。
【請求項１３】
請求項１２に記載のシステムであって、
・前記オーディオ信号及び前記ビデオ信号のソースに関する識別情報を受け取る手段と、
・前記オーディオ及びビデオ信号のソースに関する情報に前記遅延の値を関連づける手段と、
を有するシステム。
【請求項１４】
請求項１に記載の方法をプロセッサが実行することを可能にするコードを有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオビジュアルシステムにおけるオーディオ出力とビデオ出力とを同期化するための方法及びシステムに関する。
【背景技術】
【０００２】
今日のオーディオビジュアルシステムでは、異なる装置の間における情報の流れが、ビジュアルデータすなわちビデオデータと音声すなわちオーディオデータのシーケンスを表すデータストリームの形態を採る勢いが増してきている。大抵は、ディジタルデータストリームは、符号化された形式で、例えばＭＰＥＧなどで装置間で伝送され、これにより、強力なディジタルデータエンコーダ及びデコーダが必要となっている。こうしたエンコーダ及びデコーダは、厳格な意味で良好な性能を提供するのに十分に強力ではあるが、装置間の性能の差、特にビデオデータ対オーディオデータを考慮したときの性能の差に関する問題がある。すなわち、テレビジョンユニットに接続されたＤＶＤプレーヤを用いて例えば映画を観ている人の視点からは音と映像との同期に関する問題がある。かかるビデオ信号は、オーディオ信号に対して遅れることが極めて多いので、オーディオ信号について作用する遅延機能を必要とする。また、表示装置のための又は表示装置における通常のビデオ処理は、当該ビデオ信号の付加的な遅延を生じさせるためのフレームメモリを用いている。この遅延は、入力源及び内容（アナログ、ディジタル、解像度、フォーマット、入力信号アーチファクト等）や、この特定の入力信号のための選択されたビデオ処理、拡張可能な又は適応型のシステムにおけるビデオ処理のために利用可能なリソースに応じて変わりうる。特に、大抵は、恐らくは異なる製造業者による異なる多数の装置を有するシステムが用いられる場合に同期の問題の範囲を予測することがない。
【０００３】
英国特許出願公開に係る文献のＧＢ２３６６１１０Ａには、同期装置の従来技術の例が開示されている。ＧＢ２３６６１１０Ａでは、ビジュアル及びオーディオ音声認識を用いて同期エラーが排除される。しかしながら、ＧＢ２３６６１１０Ａは、機能の完全なチェーン、すなわちＤＶＤプレーヤなどのソースからＴＶセットなどの出力装置までが考慮される状況に関する問題を論じていない。例えば、ＧＢ２３６６１１０Ａは、高級ＴＶセット又はＰＣにおけるグラフィクスカードにおける場合のような、実際のディスプレイに近いビデオデータ処理により導入される遅延がある場合を開示していない。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
したがって本発明の目的は、上述したような従来技術のシステムに関係する短所を克服することである。
【課題を解決するための手段】
【０００５】
発明によるシステムでは、オーディオ出力及びビデオ出力の同期が多数のステップにより行われる。オーディオ信号及びビデオ信号は、受信され、ラウドスピーカ及びディスプレイにそれぞれ供給される。オーディオ信号は、聴覚に関する少なくとも１つのイベントを識別することを含めて解析され、ビデオ信号も、視覚に関する少なくとも１つのイベントを識別することを含めて解析される。当該聴覚的イベントは、当該視覚的イベントに関連しており、その関連の間、当該聴覚的イベントと当該視覚的イベントとの時間差が計算される。そして、オーディオ信号及びビデオ信号のうちの少なくとも一方に遅延が施され、その遅延の値を当該聴覚イベントと当該視覚イベントとの計算された時間差に応じたものとしている。これにより、オーディオ出力とビデオ出力が同期化される。
【０００６】
好ましくは、ビデオ信号の解析は、信号のビデオ処理（少なくともそうした相当な遅延をかけるディジタルビデオ処理）の後に行われ、オーディオ信号の解析は、オーディオ信号がラウドスピーカにより発せられ好ましくは当該システム及び視聴者の近くに位置づけられるマイクロフォンを介して受信された後に行われる。
【０００７】
部屋のマイクロフォンにより表示システムのラウドスピーカにより発せられた音声を測定することは非常に容易であり、マイクロフォンによる音声のピックアップ時間は、少なくとも通常のオーディオ／ビデオ遅延（大抵は１０分の１秒以下のオーダの遅延）のタイムスケールにおいて、視聴者の耳に入り（したがって遅延補償は視聴者が知覚したものに調整される）、ラウドスピーカによって発声される時間に相当する。
【０００８】
マイクロフォンと等価なものとしてカメラを置くことは面倒であり、付加的なカメラ関連の遅延の可能性がある。
【０００９】
本発明者の見識は、ビデオ信号は、システムの必要な精密さで他の遅延も無視可能に与えられるようなポイントにおいて、ディスプレイにより表示される直前にタイミング制御可能である、というものである（リップシンクの必要な正確さは、心理音響学的実験からよく知られている）。
【００１０】
したがって、オーディオ信号及びビデオ信号の解析は、処理チェーンにおいて遅れて、すなわちオーディオ信号及びビデオ信号が機械的音響波及び表示スクリーンからの光学的出力に変換されるシステムのポイント近くで（例えば、ＬＣＤスクリーンのドライバやＣＲＴのカソードに入る前などで）行われるのが好ましい。これにより、当該出力を見る人により知覚されるような音と像の非常に良好な同期を得ることができる、という利点を奏する。特に有利なのは、ビデオ信号がディスプレイハードウェアにより発せられる前にビデオ信号処理の大部分が行われるようなシステムに本発明が用いられる場合であり、符号化されたメディアが表示前に復号されなければならないディジタル伝送システムの場合である。好ましくは、解析機能及び遅延補正を有するＴＶセットに本発明が実現される。
【００１１】
なお、この処理を他の装置（例えばディスクリーダであって、チェーン（ハイエンドＴＶセットにおけるビデオ処理など）における他の遅延に関する情報が当該ディスクリーダに通信（例えば測定された信号又はマスタクロックに対するタイミング情報の有線／無線通信）される場合のもの）において行うようにしてもよい。当該チェーンにおける（特に視聴者の体験に近いところの）適切なポイントでの通信遅延及び／又は測定は、内部アクセスが可能でない対象のテレビジョンシステムにおける装置の遅延を補償することができる。
【００１２】
遅延補正は、信号処理チェーンにおいて当該チェーンにおいて遅れてオーディオ測定の前に行われるので、遅延補正は、調整フィードバックループを介して行われる。
【００１３】
本発明の実施例において、前記オーディオ信号及び前記ビデオ信号は、略同時の視覚的及び聴覚的イベントを有するテスト信号を有する。このテスト信号は、当該遅延の簡単な識別及び正確な測定について非常に簡単な構成となり好ましい。
【００１４】
当該遅延の値は、好適実施例では記憶され、他の実施例では識別情報がオーディオ信号及びビデオ信号に関して受信される。この記憶された遅延の値は、オーディオ及びビデオ信号のソース（信号源）に関する情報に関連している。したがってこのようなシステムの利点は、ＤＶＤプレーヤやケーブルテレビジョンソース又は衛星レシーバなどのオーディオビジュアルシステムにおいて多数の様々な入力装置を扱うことができることである。
【００１５】
上述したように同期ステップを行うことにより、継続的な態様で、遅延の値の差を変えることにより弱められるソースからのビデオ及びオーディオ信号の同期化を得ることができる。これには、装置及び処理パスの切り換えが含まれる。
【００１６】
例えば圧縮規格は、可変遅延をもたらすシーン内容に応じて複雑さを変えることにより受信可能であり、或いは処理は、内容に依存性のあるものとすることができる（例えば、バックグラウンドにおいて走る動画に係る動きを基礎としたアップコンバージョンがイーメールメッセージがポップアップしたときに計算上簡単な異形体に変えられる）。
【００１７】
以下、本発明を図面に基づいて説明する。
【発明を実施するための最良の形態】
【００１８】
図１は、オーディオビジュアルシステム１００を示しており、このシステムは、ビデオ信号１５０及びオーディオ信号１５２を受信するように構成されたＴＶセット１３２と、ビデオ及びオーディオ信号１５０，１５２を供給するソース（信号源）部１３１とを有する。ソース部１３１は、ＤＶＤソース又はケーブルＴＶ信号源などのメディアソース（ＳＲＣ）１０２を有し、ビデオ信号１５０及びオーディオ信号１５２を有するデータストリームを供給することが可能となっている。
【００１９】
ＴＶセット１３２は、ビデオ信号及びオーディオ信号を解析することができ、当業者が分かるような入出力インターフェース、処理ユニット及びメモリ回路のようなサブパートを含みうる解析回路１０６を有する。この解析回路は、ビデオ信号１５０及びオーディオ信号１５２を解析し、これら信号をＴＶセット１３２のビデオ処理回路１２４及びオーディオ処理回路１２６に供給する。マイクロフォン１２２は、アナログ音声をディジタル形態に変換する必要な回路を含んでおり、また解析回路１０６に接続される。
【００２０】
ＴＶセット１３２のビデオ処理回路１２４及びオーディオ処理回路１２６は、それぞれディスプレイ１１４及びラウドスピーカ１１２において視覚データ及び音声を生成し呈示する。普通は処理遅延が生じるものである。何となれば、復号（画像の順序直し）やフレームレートアップコンバージョンのための画像補間などのためである。
【００２１】
フィードバックライン１５３は、図２ないし図４に関連してさらに説明されるように、ビデオ処理回路１２４において処理された後にビデオ信号を解析回路１０６に供給する。ダイレクトパスにおけるものとは異なり、当該解析を並列ブランチなどで行うこともできる。
【００２２】
ソース部１３１は、代替実施例では、解析回路１０６のようなＴＶセット１３２に存在する１つ又はこれを超える数のユニットを有するようにしてもよい。例えば、ＤＶＤプレーヤは、解析回路を擁するものとしてもよく、これにより、現にあるＴＶセットを用いることができ、本発明の恩恵に浴することになる。
【００２３】
当業者には理解されることとなるように、図１におけるシステムは、通常は、電源、増幅器及びその他多数のディジタル及びアナログユニットを有する。しかし、簡明に示すため、本発明に関連するユニットだけを図１に示している。さらに、当業者ならば分かるように、システム１００の種々のユニットは、集積のレベルに応じて１つ以上の物理的構成要素において実現可能である。
【００２４】
例えば図１におけるシステム１００の種々のユニットを用いた本発明の動作は、図２及び図３における機能ブロック図を参照して以下にさらに詳しく説明する。
【００２５】
図２において、本発明による同期システム２００は、機能ブロックについて概略的に示される。ＤＶＤプレーヤ又はケーブルＴＶのセットトップボックス（ＳＴＢ）などのソースユニット２０２は、ビデオ信号２５０及びオーディオ信号２５２をシステム２００に供給する。ビデオ及びオーディオ信号２５０及び２５２は、当業者ならば理解されるように、ディジタルデータストリーム又はアナログデータストリームにより供給可能である。
【００２６】
ビデオ信号２５０は、ビデオ処理手段２０４において処理されディスプレイ２０６に画像の形態で視聴者に呈示される。オーディオ信号２５２は、オーディオ処理手段２１０において処理され、ラウドスピーカ２１２により音声の形態で視聴者に出力される。ビデオ処理及びオーディオ処理の双方は、アナログ／ディジタル及びディジタル／アナログ変換並びに復号動作を含みうる。オーディオ信号は、調整可能な遅延処理２０８が施され、その動作は、以下に説明されるように、時間的な差の解析に基づいたものである。
【００２７】
ビデオ信号は、ビデオ処理２０４の後、ディスプレイ２０６に供給される直前（又は同時）に、ビデオ解析２１４が施される。ビデオ解析の間、ビデオ信号において構成される画像の列は、場面変更、示されている人による唇の動きの開始、突然の内容変更（例えば爆発）などのような特定の視覚的イベントについて解析されサーチされる。これについては、図４ａに関連して以下に詳しく説明する。
【００２８】
ビデオ解析と共に、オーディオ解析は、ラウドスピーカ２１２からマイクロフォン２２２を介して受信されたオーディオ信号に対して行われる。このマイクロフォンは、視聴者の近い位置に置かれるのが好ましい。オーディオ解析の間、オーディオ信号は、音声ギャップや音声開始、主要な振幅変化、特定のオーディオ内容イベント（例えば爆発）などの特定の聴覚的イベントについて解析されサーチされる。これについては図４ｂに関連して以下に詳しく説明する。
【００２９】
代替えの実施例では、視覚的イベント及び聴覚的イベントは、ソースユニットにより供給されるテスト信号の一部となりうる。このようなテスト信号は、非常に簡単な視覚的イベント（黒い情報だけを含む多数のフレームの中にある白い情報だけを含む１つのフレームなど）と、簡単な聴覚的イベント（非常に短いオーディオ断片（例えば短い音声、バースト、クリックなど）とを有することができる。
【００３０】
ビデオ解析２１４及びオーディオ解析２１６それぞれの、検出された視覚的及び聴覚的イベントの形の結果は、どちらも時間差解析機能２１８に供給される。例えば相関アルゴリズムを用いて、視覚的イベントと聴覚的イベントとの間に関連付けがなされ、これらの時間差が計算され、評価され、記憶機能２２０によって記憶される。かかる評価は、乏しい解析結果を無視しビデオ及びオーディオ相関の高い可能性を持つイベントを信頼するのに重要である。或る調整時間の後、時間差はゼロに近くなる。これはまた、弱いオーディオ及びビデオイベントを識別する役に立つ。異なる入力ソースへの切り換えの後、遅延の値を変えてもよい。新しい入力ソースへの切り換え及び状況に応じてその特性は、ビデオ・オーディオ相関ユニット２１４，２１６，２１８及び２２０の１つ以上に対して信号伝達されるようにしてもよい。この場合、新しい入力ソースのための記憶された遅延の値は、迅速な遅延補償のために選択されることができる。
【００３１】
そして記憶された時間差は、調整可能な遅延処理２０８により用いられ、差解析機能２１８における時間差の反復的収束に至り、これにより、視聴者により知覚されるようなオーディオ及びビデオの同期を得ることになる。
【００３２】
代替例として、オーディオ信号の調整可能な遅延処理２０８は、ソースユニット２０２に、或いは後のオーディオ処理チェーンにおいて（例えば増幅器の異なる段の間に）存在可能である。
【００３３】
ここで図３に移ると、本発明による同期システム３００の他の実施例は、機能ブロックに関して概略的に示されている。ＤＶＤプレーヤ又はケーブルＴＶネットワークのセットトップボックスなどのソースユニット３０２は、ビデオ信号３５０及びオーディオ信号３５２をシステム３００に供給する。前の実施例におけるが如く、ビデオ及びオーディオ信号３５０，３５２は、ディジタルデータストリーム又はアナログデータストリームにより供給可能である。
【００３４】
ビデオ信号３５０は、ビデオ処理手段３０４において処理され、ディスプレイ３０６における画像の形態で視聴者に呈示される。オーディオ信号３５２は、オーディオ処理手段３１０において処理され、ラウドスピーカ３１２を介して音声の形態で視聴者に出力される。ビデオ処理及びオーディオ処理の双方は、アナログ／ディジタル及びディジタル／アナログ変換並びに復号動作を含みうる。ビデオ信号は、調整可能な遅延処理３０８が施され、その動作は、時間差の解析に基づいている。この点については以下に説明する。
【００３５】
ビデオ信号は、処理３０４の後、ディスプレイ３０６への供給の直前（又は同時）に、ビデオ解析３１４にかけられる。ビデオ解析中、当該ビデオ信号において構成される画像の列は、場面変更、示される人による唇の動きの開始、突然の内容変化（例えば爆発）などのような特定の視覚的イベントについて解析されサーチされる。これについては図４ａに関連して以下に詳しく説明する。
【００３６】
ビデオ解析と同時に、オーディオ解析３１６は、オーディオ信号に対して行われる。オーディオ信号がラウドスピーカ２１２からマイクロフォン２２２を介して受信される上述の実施例とは対照的に、ここではオーディオ信号が直接、すなわちラウドスピーカ３１２を介して出力されるのと同時に、オーディオ解析３１６の機能に供給される。オーディオ解析３１６の間、オーディオ信号は、音声ギャップ及び音声開始、主要な振幅変化、特定のオーディオ内容イベント（例えば爆発）などの特定の聴覚的イベントについて解析されサーチされる。これについては図４ｂに関連して以下に詳しく説明する。
【００３７】
上述のように、代替実施例では、視覚的イベント及び聴覚的イベントは、ソースユニット３０２により供給されるテスト信号の一部となりうる。
【００３８】
検出された視覚的及び聴覚的イベントの形態の、それぞれビデオ解析３１４及びオーディオ解析３１６の結果は、どちらも時間差解析機能３１８に供給される。例えば相関アルゴリズムを用いて、視覚的イベントと聴覚的イベントとの関連づけがなされ、これらの時間差が計算され、評価され記憶機能３２０において記憶される。かかる評価は、乏しい解析結果を無視しビデオ及びオーディオ相関性の高い可能性を持つイベントを信頼するのに重要である。或る調整時間の後、時間差はゼロに近くなる。これはまた、弱いオーディオ及びビデオイベントを識別する役に立つ。異なる入力ソースへの切り換えの後、遅延の値を変えることができる。新しい入力ソースへの切り換え及び状況に応じてその特性は、ビデオ・オーディオ相関ユニット３１４，３１６，３１８及び３２０の１つ以上に対して信号伝達されるようにしてもよい。この場合、新しい入力ソースのための記憶された遅延の値は、迅速な遅延補償のために選択されることができる。
【００３９】
そして記憶された時間差は、調整可能な遅延処理３０８により用いられ、差解析機能３１８における時間差の反復的収束となり、これにより、視聴者により知覚されるようなオーディオ及びビデオの同期を得ることになる。
【００４０】
前の実施例におけるが如く、ビデオ信号の調整可能な遅延処理３０８は、代替的に、ソースユニット３０２において、或いは後のオーディオ処理チェーンにおいて（例えばプリアンプとメインアンプとの間に）存在可能である。
【００４１】
ここで図４ａ及び図４ｂに移り、視覚的イベント及び聴覚的イベントの解析並びに遅延の値を得る目的でのこれらの関連づけについての実施例を、もう少し詳しく説明する。
【００４２】
図４ａにおいて、時間の関数として、ＣＲＴ又はＬＣＤなどにおける表示出力ハードウェアに供給される直前に検出されるようなビデオ信号輝度４０１は、本例では２つの異なるビデオエキスパートモジュール（爆発検出エキスパートモジュール４０３及び人の話者解析モジュール４０５）において解析される。これらモジュールの出力は、視覚的イベントシーケンス４０７であり、例えば、大抵が一連の時刻として符号化される（Ｔｅｘｐｌ１；第１の検出された爆発などの推定時刻）。
【００４３】
同様に、図４ｂにおいては、時間の関数としての音声ボリューム信号４０２は、時刻（ｔ０）で開始する同じマスタークロックに関連したタイミングを得るために１つ以上のオーディオ検出エキスパートモジュール４０４において解析され、ここでのイベントは、オーディオ−ビデオ遅延のために後の時点にシフトされる。本例のオーディオ検出エキスパートモジュール４０４は、離散フーリエ変換モジュール（ＤＦＴ）及びフォーマット解析モジュール（スピーチ部分を検出しモデル化するためのもの）のような構成要素を有し、その出力は、イベント時間位置マッピングモジュール４０６に供給され、本例では時間的位置を解析されたサブパートの聴覚的波形に関連づけるために用いられる。すなわち、時間位置マッピングモジュール４０６の出力は、聴覚的イベントシーケンス４０８である（或いは当該マッピングは、ビデオの例におけるが如くエキスパートモジュール自体において生じるようにしてもよい）。
【００４４】
これらモジュールすなわちビデオ及びオーディオエキスパートモジュール４０５，４０４（マッピングモジュール４０６）は、大抵は次のようなことを行う。すなわち、特定のタイプの断片があるかどうかの識別、その時間的範囲の識別及びその後の時刻の関連付け（例えば発見的方法がスピーチの到来のポイントを規定するようにしてもよい）である。
【００４５】
例えば、爆発を認識することのできるビデオエキスパートモジュールも、多数の付加的なデータ要素を計算する。ここで、色アナライザは、爆発において画像フレームの大部分が略白色、略赤色又は略黄色で、連続した画像の色ヒストグラムに現われることを認識する。動きアナライザは、爆発前の比較的に静止した景色と爆発の素早い変化との間の多くの変化を認識する。テクスチャアナライザは、画像フレームにわたるテクスチャに関して爆発は非常に滑らかなものと認識する。これら全ての測定情報の特定の出力に基づいて、シーンは爆発として分類される。
【００４６】
顔表情モジュールも、当業者による文献で知ることができ、当該従来技術によれば、例えば唇を、いわゆるスネーク（数学的な境界曲線）により追跡することができる。異なるアルゴリズムを組み合わせて種々の必要な正確さ及び頑強さのエキスパートモジュールを作るようにしてもよい。
【００４７】
発見的アルゴリズムにより、これらの測定値は、信頼レベル［０，１］で通常は変換される。これは、閾値ｋ＝＋／−１を越える例えば全て画像が爆発と識別される。
【００４８】
爆発を認識するオーディオエキスパートモジュールは、ボリューム（増大）、重低音及びサラウンドチャネル分散（爆発はＬＦＥ（低周波効果）チャネルで行われることが多い）のようなことをチェックする。
【００４９】
そして視覚的イベントとオーディオイベントとの関連付けは、原理的に簡単明瞭である。すなわちオーディオのピークがビデオのピークに対応するのである。
【００５０】
但し、この状況は、もっと複雑となる可能性もある。すなわち、特定の時刻（例えば音声シーケンスの始まり）へのマッピングの発見的方法は、エラーを招く可能性があり（異なる発見的方法は、時刻を他のどこかに置くことになる）、証拠の計算がエラーを招く可能性があり、オーディオとビデオとの間にビデオ内（in-video）リードタイムがある可能性があり（例えばソース信号の編集に起因して、オーディオイベントが対応のビデオイベントから短い時間の後に位置づけられる）、誤りの正（すなわちイベントが多すぎる）及び誤りの負（すなわちイベントが足りない）がある。したがって、１つの視覚的イベントの１つの聴覚的イベントへの単一のマッピングはあまり巧く機能しない可能性がある。
【００５１】
視覚的イベント及び聴覚的イベントを関連づける他の方法は、多数のイベントをマッピングすること、すなわちシーンシグネチャである。例えば、代表的な式を用いて、オーディオイベントとビデオイベントは、時系列上ＴＡ＝ＴＶ＋Ｄ＋／−Ｅの範囲で生じた場合には合致とする。ここで、ＴＡは及びＴＶは、エキスパートモジュールにより提供される厳密なイベント時刻であり、Ｄは現に予測された遅延であり、Ｅは許容誤差である。
【００５２】
合致の数は、その遅延がいかに正確に推定されるかの程度である。すなわち、可能な全ての遅延にわたり得られる最大のマッチング（数）は、実際の遅延の良好な推定をもたらす。勿論、イベントは同じタイプでなければならない。例えば、爆発は、時刻が殆ど正確な遅延だけ異なる場合でも、これは明らかにエラーと分かるので音声と合致することはない。
【００５３】
これは、合致に関しては十分に良好であるが、Ｅは大きすぎない方がよく、そうでなければ、Ｅの残りの最大エラーは平均Ｅ／２となる。
【００５４】
加算によりガウスエラーはある程度平均化されうるので、合致の推定をより正確に行うことができる。ランキング解析に基づいて、例えば２つの連続した爆発がある場合、第１のオーディオ爆発イベントは第１のビデオイベント及び第２のものなどと一致する可能性が高い。そこでこれらランキングベースの合致は、差別化されて１組の遅延、Ｄ１＝ＴＡ１−ＴＶ１（爆発１）、Ｄ２＝ＴＡ２−ＴＶ２（爆発２）などをもたらす。そしてこれらは、連続したイベントにつき合計され、より安定した平均遅延推定値をもたらす。
【００５５】
実際には、オーディオ及びビデオの部分をエキスパートモジュールにロードするのではなく、ビデオ及びオーディオ信号を「急いで」処理することができ、その後十分長く、注釈（すなわち、爆発、スピーチなどのどれかのタイプ）をつけられたイベント時間シーケンスの部分は、合致しうる。遅延がかなり長い期間において同じままである場合及び／又は短い遅延ミスマッチが許容可能である場合には解析を遅延してもよい。
【００５６】
したがって要約すると、オーディオビジュアルシステムからの視覚的及び聴覚的出力は、フィードバックプロセスにより同期化される。視覚的イベント及び聴覚的イベントは、オーディオ信号パス及びビデオ信号パスのそれぞれにおいて識別される。そして、相関処理により、当該信号間の時間差が計算され、ビデオ信号又はオーディオ信号が、視聴者によりオーディオ及びビデオの同期受信をなすために遅延される。
【００５７】
開示したアルゴリズムの構成要素は、実際には、ハードウェア（例えば特定用途向けＩＣの部分）として又は特定のディジタル信号処理器や一般のプロセッサなどにおいて走るソフトウェアとして実現可能である。
【００５８】
コンピュータプログラム製品の下では、一般の又は特定の目的で、プロセッサにコマンドを与える一連のローディングステップの後に、発明の特徴的ないずれかの機能を、当該プロセッサに実行させることを可能にするコマンド群の物理的実現を理解すべきである。実際、コンピュータプログラム製品は、例えばディスク又はテープなどの担体上のデータとして、メモリ内にあるデータとして、有線又は無線によるネットワーク接続手段において伝達するデータとして、又は紙上のプログラムコードとして実現可能である。プログラムコードとは別に、プログラムに必要な特徴的データも、コンピュータプログラム製品として具現化されうる。
【００５９】
なお、上述した実施例は、本発明を限定するというよりも例示するものである。請求項において組み合わされているような本発明の要素の組み合わせとは別に、要素の他の組み合わせも可能である。要素のいずれの組み合わせも単一の専用の要素において実現可能である。
【００６０】
請求項における括弧内の参照符号には、当該請求項を限定する意図はない。「有する」なる文言は、請求項に挙げられていない要素又は態様の存在を排除するものではない。要素の単数表現は、当該要素の複数の存在を排除するものではない。
【図面の簡単な説明】
【００６１】
【図１】本発明が実現されるオーディオビジュアルシステムのブロック図を概略的に示す図。
【図２】本発明による同期システムの第１の好適な実施例の概略的機能ブロック図。
【図３】本発明による同期システムの第２の好適な実施例の概略的機能ブロック図。
【図４ａ】ビデオ信号解析を概略的に示す図。
【図４ｂ】オーディオ信号解析を概略的に示す図。
【図１】
2007533189.tif 000003
【図２】
2007533189.tif 000004
【図３】
2007533189.tif 000005
【図４ａ】
2007533189.tif 000006
【図４ｂ】
2007533189.tif 000007
【国際調査報告】
2007533189.tif 000008
2007533189.tif 000009
2007533189.tif 000010