(57)【要約】  ビデオ処理遅延が、ビデオとオーディオの同期を維持するために補償される。前記遅延は、表示される光画像から得られる信号を、前記画像が生成される前処理されたビデオテスト信号と関連付けることにより決定される。
2008524904.tif 000002
【特許請求の範囲】
【請求項１】
視聴者に提示されるビデオとオーディオとの間の同期の前記ビデオの処理遅延による損失を補償する装置において、
表示デバイスにより提示されるテスト画像のシーケンスを表すテスト信号を、前記テスト信号が前記処理遅延を受けた後に送信するビデオ送信手段と、
前記テスト画像のシーケンスに基づいて前記表示デバイスから光を受信し、前記テスト画像のシーケンスを表す受信されたテスト信号を生成する光検出器と、
前記受信されたテスト信号を前記送信されたテスト信号と関連付け、前記信号間の遅延を決定し、前記信号間の前記遅延に基づいてオーディオ遅延信号を出力するコントローラと、
を有する装置。
【請求項２】
前記ビデオ送信手段が、受信された一連の画像内の前記テスト画像のシーケンスを検出する検出手段を有する、請求項１に記載の装置。
【請求項３】
前記検出手段が、前記テスト画像のシーケンスの第１の画像の第１の測定値と前記テスト画像のシーケンスの第２の画像の第２の測定値との間の差が所定の閾値を超えることを決定することにより前記テスト画像のシーケンスを検出するように構成される、請求項２に記載の装置。
【請求項４】
前記検出手段が、前記シーケンスの前記第１の画像の画素の第１の平均輝度値を第１の測定値として計算し、前記シーケンスの前記第２の画像の画素の第２の平均輝度値を第２の測定値として計算するように構成される、請求項３に記載の装置。
【請求項５】
前記ビデオ送信手段が、前記テスト信号を生成する信号生成器を有する、請求項１に記載の装置。
【請求項６】
前記テスト画像のシーケンスが単一の画像に対応する、請求項５に記載の装置。
【請求項７】
前記信号生成器が、テストパターンを生成するように構成される、請求項５に記載の装置。
【請求項８】
前記テストパターンが、交互の暗い画像及び明るい画像を有する、請求項７に記載の装置。
【請求項９】
前記暗い画像及び前記明るい画像が、前記処理遅延の少なくとも２倍長い間隔で繰り返す、請求項８に記載の装置。
【請求項１０】
ビデオ出力及び関連するオーディオ出力を提供するビデオソースにおいて、
前記ビデオ出力を提供するビデオ出力手段と、
前記オーディオ出力を提供するオーディオ出力手段と、
請求項１ないし９のいずれか一項に記載の視聴者に提示されるビデオとオーディオとの間の同期の損失を補償する装置であって、前記ビデオが前記ビデオ出力に基づき、前記オーディオが前記オーディオ出力に基づく、当該装置と、
を有するビデオソース。
【請求項１１】
前記補償する装置の前記オーディオ遅延信号に基づいて前記オーディオ出力において制御可能な遅延を生じるオーディオ遅延デバイスを有する、請求項１０に記載のビデオソース。
【請求項１２】
視聴者に提示されるビデオとオーディオとの間の同期の前記ビデオの処理遅延による損失を補償する方法において、
表示デバイスにより提示されるテスト画像のシーケンスを表すテスト信号を、前記テスト信号が前記処理遅延を受けた後に送信するステップと、
前記テスト画像のシーケンスに基づいて前記表示デバイスからの光を検出し、前記テスト画像のシーケンスを表す受信されたテスト信号を生成するステップと、
前記受信されたテスト信号を前記送信されたテスト信号と関連付けるステップと、
前記信号間の遅延を決定し、前記信号間の前記遅延に基づいてオーディオ遅延信号を出力するステップと、
を有する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視聴者に提示されるビデオとオーディオとの間の同期の前記ビデオの処理遅延による損失を補償する装置に関する。
【０００２】
本発明は、更に、このような補償する装置を有する、ビデオ出力及び関連するオーディオ出力を提供するビデオソースに関する。
【０００３】
本発明は、更に、視聴者に提示されるビデオとオーディオとの間の同期の前記ビデオの処理遅延による損失を補償する方法に関する。
【背景技術】
【０００４】
テレビ及びモニタ機器のようなビデオ表示装置は、ビデオ信号のビデオ成分を処理する複雑なビデオ処理回路及びソフトウェアを含む。この処理は、一般に、前記ビデオ信号のオーディオ成分に課せられた遅延より実質的に長い前記ビデオ送信の送信における遅延を課し、視聴者に提示されるオーディオとビデオとの間の同期に不利に作用する可能性がある。
【０００５】
前記オーディオ及びビデオ成分の両方が共通の装置を通過する場合、前記オーディオ成分に補償送信遅延を加えることにより同期を維持することが可能である。しかしながら、これらの成分の両方が共通の装置を通過しない場合、このような補償は容易には達成されない。例えば、ＤＶＤプレーヤが前記ビデオ信号のソースである場合、前記ビデオ及びオーディオ成分は異なるオーディオ機器及びビデオ機器を通過する可能性があり、この場合、前記オーディオ機器の製造者は、前記ビデオ成分の処理遅延の継続時間（duration）を知らない。
【発明の開示】
【課題を解決するための手段】
【０００６】
本発明によると、ビデオ信号処理遅延によるビデオとオーディオとの間の同期の損失に対する補償は、表示デバイスにより提示されるべきテスト画像のシーケンスを表すビデオテスト信号を送信することにより達成される。前記ビデオテスト信号は、前記テスト画像のシーケンスが提示される前に前記処理遅延を受ける。光検出器は、前記テスト画像のシーケンスから光を受信し、前記テスト画像のシーケンスを表す受信されたテスト信号を生成する。ビデオ処理遅延を補償するオーディオの遅延は、コントローラにより達成される。前記コントローラは、前記受信されたテスト信号を前記送信されたテスト信号と関連付ける（correlating）ことにより必要とされる遅延を決定する。
【０００７】
同期の損失を補償する装置の修正例及び変更例は、記載される方法及びビデオソースの修正例及び変更例に対応することができる。
【０００８】
本発明による同期の損失を補償する装置、ビデオソース及び方法のこれら及び他の態様は、添付図面を参照して、以下に記載される実施例に関連して説明され、明らかになるだろう。
【発明を実施するための最良の形態】
【０００９】
図１のビデオシステムは、オーディオデバイスＡＵＤ及び表示デバイスＶＩＤに結合されたビデオソース１０１を含む。ビデオソース１０１は、ビデオ信号を提供する如何なるデバイス、例えばＤＶＤプレーヤ、セットトップボックス又は衛星受信器であってもよい。前記ビデオ信号は、ＤＶＤ又はテープのような記憶媒体から読み出されてもよい。代替的には、前記ビデオ信号は、入力コネクタ１０８に提供される。オーディオデバイスＡＵＤは、ビデオソース１０１の一部であることができ、又は別個の機器、例えばスピーカシステムＳＳを駆動するオーディオ受信器であることができる。表示デバイスＶＩＤは、テレビ、モニタ又はビデオ画像を表示する他の機器であることができる。
【００１０】
ビデオソース１０１は、ビデオ出力コネクタ１０２に提供されるビデオ成分とオーディオ出力コネクタ１０４に提供されるオーディオ成分とを持つビデオ信号を供給するビデオ生成器１１２、例えばＭＰＥＧデコーダを含む。これらの成分は、当技術分野において周知であるデジタル又はアナログ信号のいずれかの形式で提供されうる。
【００１１】
ビデオ出力コネクタ１０２に提供されるビデオ成分は、ライン１１１を介して表示デバイスＶＩＤに送信され、表示デバイスＶＩＤにおいて前記ビデオ成分により表される画像が視聴者に表示される前にビデオ処理遅延が生じる。この遅延は、典型的には、例えば、ノイズ低減に対する処理、多次元スケーリング、ナチュラルモーション（natural-motion）の使用、即ち時間的アップコンバージョンアルゴリズム（temporal upconversion algorithm）を含む複数の小さな累積遅延を含み、表示デバイスのタイプ（例えば、プラズマ、ＬＣＤ、ＤＭＤ、ＣＲＴ）によって変化する。前記表示デバイス内の前記ビデオの処理遅延の継続時間は、特にこれらの機器が異なる製造者のものである場合、ビデオソース１０１の製造者に対して未知でありうる。
【００１２】
ビデオ生成器１１２により提供される前記オーディオ成分は、制御可能な可変遅延を持つオーディオ遅延デバイス１１８を通り、次いでライン１１３を介してオーディオデバイスＡＵＤに送信される。オーディオ遅延デバイス１１８が別個のデバイスである必要はないことに注意する。例えば、ビデオ生成器１１２がＭＰＥＧデコーダを組み込む場合、所望の遅延は、例えば、ＭＰＥＧプログラムストリーム内のタイムスタンプを操作することにより達成されることができる。これに加えて、オーディオ遅延デバイス１１８は、ビデオソース１０１に対してオプションである。代替的には、別個の装置で又はオーディオデバイスＡＵＤ内に実装されうる。
【００１３】
図１に描かれるビデオソース１０１は、視聴者に提示されるビデオとオーディオとの間の同期の前記ビデオ成分の処理遅延による損失を補償する装置１０２を有する。装置１０２は、
表示デバイスＶＩＤにより提示されるテスト画像のシーケンスを表すテスト信号を、前記テスト信号が前記処理遅延を受けた後に送信するビデオ送信手段１１０と、
前記テスト画像のシーケンスに基づいて表示デバイスＶＩＤから光を受信し、前記テスト画像のシーケンスを表す受信されたテスト信号を生成する光検出器１１６と、
ライン１１７を介して提供される前記受信されたテスト信号をライン１１５を介して提供される前記送信されたテスト信号と関連付け、前記信号間の遅延を決定し、前記信号間の前記遅延に基づいてライン１１９を介してオーディオ遅延信号を出力するコントローラ１１４と、
を有する。
【００１４】
本開示において、同期の損失を補償する装置１０２の２つの主要な実施例が開示される。
【００１５】
同期の損失を補償する装置１０２の第１の実施例において、ビデオ送信手段１１０は、所定のテスト信号を生成するように構成されたテスト信号生成器（図示されない）を有する。
【００１６】
同期の損失を補償する装置１０２の第２の実施例において、ビデオ送信手段１１０は、受信された一連の画像内の前記テスト画像のシーケンスを検出する検出手段（図示されない）を有する。これは、本実施例においてビデオ送信手段１１０がライン１２１を介してビデオ生成器１１２から受信されるビデオコンテンツに基づいて前記テスト信号を送信するように構成されることを意味する。このビデオコンテンツは、例えば映画、連続ドラマの一話又はアニメを表す通常のビデオコンテンツに対応する。これは、視聴者がエンターテインメント又は教育目的で見る通常のビデオコンテンツであって、前記視聴者がビデオシステムを調整するテスト信号と直接的に関連付けない通常のビデオコンテンツを意味する。
【００１７】
第一に、同期の損失を補償する装置１０２の前記第１の実施例の動作が説明される。同期の損失を補償する装置１０２の前記第２の実施例の動作は、図３に関連して説明される。
【００１８】
作動される場合、前記テスト信号生成器は、ビデオテスト信号をそれぞれライン１１１及び１１５を介して表示デバイスＶＩＤ及びコントローラ１１４に同時に送信する。前記テスト信号生成器は、表示デバイスＶＩＤにより表示する１以上の所望のテストパターンを表すビデオテスト信号を生成するように設定されることができる。模範的実施例において、前記テスト生成器は、表示デバイスＶＩＤにより生成されるべき、黒一色及び白一色の画面のような、交互の暗い及び明るい画像のシーケンスを表すビデオテスト信号を生成する。
【００１９】
光検出器１１６は、表示デバイスＶＩＤにより生成されるテストパターンからの光を含む周辺の室内の光を受信するように配置される。光検出器１１６は、前記受信された光を検出信号に変換し、これは前記表示されるテストパターンからの光により影響を受ける。特に、前記検出信号は、前記テストパターンを表すテスト信号成分（"受信されたテスト信号"）を含み、これをライン１１７を介してコントローラ１１４に送信する。
【００２０】
コントローラ１１４は、オーディオデバイスＡＵＤからのオーディオを表示デバイスＶＩＤにより表示される画像と同期させるためにオーディオ遅延デバイス１１８により提供されなければならない遅延を決定するように動作する。これを行うために、コントローラ１１４は、表示デバイスＶＩＤにより生成される前記テストパターンを表す、前記ビデオテスト信号の送信と前記テスト信号の受信との間の遅延を測定する。コントローラ１１４は、この場合、前記測定された遅延を表すオーディオ遅延信号をライン１１９を介してオーディオ遅延デバイス１１８に送信し、オーディオ遅延デバイス１１８はオーディオデバイスＡＵＤに送信された前記オーディオ信号の対応する遅延を生じる。
【００２１】
図２は、視聴者に提示される前記オーディオに対する前記ビデオの不所望な遅延を補償する図１のビデオシステムを動作する模範的プロセスを図示する。このような遅延の負の結果の典型例は、表示される画像内の話している人物のリップシンク（lip synch）の損失である。この損失は、例えば１０分の１秒以下ぐらい小さなビデオ遅延でも容易に目立つ。
図２を参照する。
【００２２】
ＡＤＭにおいて、オーディオ遅延測定モードに入り、前記視聴者に提示される前記オーディオに対する前記ビデオの遅延を補償する処理を開始する。好都合なことに、これは、ビデオシステム１００がインストールされるとき、又は他の所望の時間においてコントローラ１１４により実行されることができるセットアッププログラムの一部として行われる。
【００２３】
ＴＰにおいて、コントローラ１１４は、ライン１１１及び１１５を介して前記ビデオテスト信号の送信を開始するように、ビデオ送信手段１１０内の前記テスト信号生成器に命令する信号をライン１１５を介して送信する。（代替的には、ライン１１５は、前記ビデオテスト信号により表される前記テストパターンのタイミングをコントローラ１１４に伝えることのみを必要とする。）随意に、前記テスト信号生成器は、前記システム内の他の場所であってもよく、コントローラ１１４自体の中に組み込まれることさえありうる。前記テストパターン（例えば交互の黒及び白の全画面画像）の繰り返しレートは、好ましくは、予測される最長の遅延と比較して長い。あいまいさを避けるため、完全なテストパターンシーケンスのサイクルは、前記予測される最長の遅延の少なくとも２倍である。
【００２４】
ＭＳＲにおいて、コントローラ１１４は、検出器１１６により生成された前記検出信号のサンプリングを開始する。サンプリングは、前記ビデオ処理により生じる予測される最小の遅延時間より短い時間期間において開始すべきである。前記サンプリング間隔は、前記ビデオ処理遅延の測定の所望の精度と少なくとも同程度に小さくなくてはならない。例えば、典型的な視聴者により見られる、良い見掛けのリップシンクのために、約１０ミリ秒の精度が望ましい。模範的なシステムにおいて、このような精度は、約１．０秒の継続時間をそれぞれ持つ交互の黒及び白の全画面画像のパターンを使用し、約１ないし５ミリ秒の間隔でサンプリングすることにより容易に得られる。サンプリングは、前記受信された検出信号により運ばれる前記受信されたテスト信号を前記送信されたビデオテスト信号と関連付けるのに十分に長い期間だけ続行する。前記模範的なシステムは、数秒のサンプリング期間を持ち、この間にコントローラ１１４は、前記検出信号において検出された黒から白及び白から黒の遷移を前記送信されたビデオテスト信号内の対応する遷移と関連付けようと試みる。コントローラ１１４により使用されるアルゴリズムは、ノイズの多い受信されたテスト信号からの前記検出されたパターンの抽出の望ましい能力に依存して、非常に単純なものから非常に複雑なものまであることができる。
【００２５】
ＣＯＲにおいて、コントローラ１１４は、補正が成功したかどうかを決定する。前記テストパターンからの光が周辺の光自体から明確に区別可能でない場合に、補正は可能ではない。これは、不利な光条件下、例えば、日光が光検出器１１６の光センサを直接的に照らす場合、又は前記周辺の光の強度が前記テストパターンの強度と同じように変化する場合に起こりうる。補正が成功する場合、この処理の次のステップはＡＤＪであり、そうでない場合にはＯＰＴである。
【００２６】
成功した補正の後に続く、ＡＤＪにおいて、コントローラ１１４は、前記送信されたテスト信号と前記受信されたテスト信号との間の時間遅延を決定する。コントローラ１１４は、次いで、これに対応して、オーディオデバイスＡＵＤにより生成されるオーディオを表示デバイスＶＩＤにより提示されるビデオ画像と同期させるようにオーディオ遅延デバイス１１８により提供される遅延を調整する。
【００２７】
ＯＰＴにおいて、コントローラ１１４は、同期処理が成功しなかったことを前記視聴者に報告するメッセージをビデオ送信手段１１０を介して表示デバイスＶＩＤに送信する。前記メッセージは、部屋を暗くする又は前記表示デバイスに対して周辺光センサを再配置する又は前記表示デバイスから光検出器１１６に向けられた光を増大する反射面を設けるような、前記周辺光条件を改良する矯正アクションを提案することもありうる。リモートコントロールと理にかなった通信をするビデオソース１０１の能力に依存して、更なるオプションが、コントローラ１１４からのメッセージにより説明されることができる。例えば、前記視聴者は、例えば既知の表示デバイスに対する起こりうる遅延の範囲をカバーする複数の所定のデフォルト設定から遅延を選択することにより、前記画面画像を見ながら前記オーディオ及びビデオを同期する手動調節をガイドされることができる。
【００２８】
ＡＤＪ及びＯＰＴの両方の後に続く、ＮＯＲＭにおいて、コントローラ１１４は、前記ビデオソースを通常動作モードに戻す。
【００２９】
図３は、一連の画像のそれぞれの画像の平均輝度を表すサンプル３０１ないし３０８を有する時間サンプリングされた信号３００の概略図である。実例３００のｘ軸は時間に対応する。ｙ軸は、一連の画像のそれぞれの画像の平均輝度値に対応する。同期の損失を舗装する装置１０２の第２の実施例の動作を説明するために図３を参照する。
【００３０】
同期の損失を補償する装置１０２の前記第２の実施例において、ビデオ送信手段１１０は、ライン１２１を介してビデオ生成器１１２から受信されたビデオコンテンツに基づいて前記テスト信号を生成するように構成される。これは、例えば映画又は連続ドラマの一話を表す標準／通常のビデオコンテンツが、同期を実現するために同期の損失を補償する装置１０２により使用されることを意味する。これは、ビデオ生成器１１２により提供され、ライン１２１を介してビデオ送信手段１１０により受信されるビデオコンテンツを解析することにより達成される。典型的には、通常視聴目的で表示デバイスＶＩＤにより表示されるべきビデオコンテンツは、前記ビデオの処理遅延を決定する、したがって前記オーディオ遅延信号を算出するのに適切な特徴を持つ。このような特徴は、例えば平均輝度の突然の変化である。
【００３１】
例えば、比較的高い平均輝度を持つ第１の明るい／光画像は、比較的低い平均輝度を持つ第２の暗い画像により後に続かれる。図３において、参照番号３０１及び３０２を持つサンプルから参照番号３０３及び３０４を持つサンプルへの遷移である。
【００３２】
例えば、第３の暗い画像は、第４の明るい／光画像により後に続かれる。図３において、参照番号３０５及び３０６を持つサンプルから参照番号３０７及び３０８を持つサンプルへの遷移である。
【００３３】
このような平均輝度の突然の変化は、典型的には、場面変化において生じる。典型的には、複数の黒いビデオフレーム、即ちビデオ画像が、連続した場面の間に挿入される。場面変化又は前記ビデオコンテンツ内の平均輝度の他の比較的鋭い遷移の検出は、好ましくは、ビデオ生成器１１２から受信された前記一連の画像の第１の画像の画素の第１の平均輝度値と、前記第１の画像に後続し、ビデオ生成器１１２から受信される前記一連の画像の第２の画像の画素の第２の平均輝度値との間の差を計算し、前記計算された差を所定の閾値と比較することにより達成される。前記所定の閾値が超過される場合、対応する第１及び第２の画像は、前記テスト信号に対応する前記テスト画像のシーケンス又はその一部を形成するのに使用される。
【００３４】
同期の損失を補償する装置１０２の前記第２の実施例の動作の残りは、図１及び図２に関連して説明された同期の損失を補償する装置１０２の前記第１の実施例の動作と実質的に等しい。したがって、基本的には、主な違いは、テスト画像のシーケンスを表すテスト信号の作成である。この違いに関連して、以下のことに注意する。前記ビデオの処理遅延を決定し、随意に同期の損失を補償する装置１０２の前記第２の実施例を用いて前記オーディオ遅延を適合する動作は、連続的な処理であることができる。これは、例えば、オーディオデバイスＡＵＤ及び表示デバイスＶＩＤに結合されたビデオソース１０１を有するビデオシステム１００のオーディオ遅延信号が、前記視聴者がお気に入りの映画を見ている間に更新されることができることを意味する。図２に関連して説明されたような専用の測定／調整手順の必要性がない。
【００３５】
好ましくは、前記受信されたビデオコンテンツ内の複数の明／暗の及び／又は暗／明の遷移が実際のオーディオ遅延信号を決定するのに使用される。
【００３６】
図４は、光検出器１１６の模範的実施例を図示する。様々なこのような光検出器の設計が当技術分野の技術の範囲内であるが、この実施例は、このような検出器が少数の単純なコンポーネントを持つ比較的低コストのコンポーネントで作成されることができる。光検出器１１６は、フォトダイオードＰ、オペアンプＡ１及びレジスタＲ１ａ、Ｒ１ｂを含む第１の増幅器回路と、オペアンプＡ２、レジスタＲ２及びキャパシタＣを含む第２の増幅器回路と、Ａ／ＤコンバータＡＤとを含む。
【００３７】
フォトダイオードＰは、表示デバイスＶＩＤが作動する領域において前記周辺光を感知する場所に配置される。好都合なことに、これは、光検出器１１６を収容するビデオソース１０１のハウジング又は他のコンポーネントに組み込まれるが、離れて配置されることもできる。前記フォトダイオードを通過する電流は、入射光の関数として変化する。前記第１の増幅器回路は、主に、前記フォトダイオードの電流を前記入射光強度を表す増幅された電圧に変換するように機能する。前記第２の増幅器回路は、比較器及び積分器の両方として機能する。前記第２の増幅器回路は、前記第１の増幅器回路と協働して前記第１の増幅器を線形動作範囲内に留める。解像度及び変換速度の両方が低くてもよいので、安価な低変換速度Ａ／Ｄコンバータが使用されることができる。この模範的な光検出器１１６内の前記Ａ／Ｄコンバータは、１ｋＨｚの変換クロックレートで動作する。
【００３８】
上述の実施例が本発明を制限するのではなく説明し、当業者が添付の請求項の範囲から逸脱することなく代替的な実施例を設計することができることに注意すべきである。請求項において、括弧間の参照符号は、前記請求項を制限するように解釈されるべきでない。単語'有する'は請求項に記載されていない要素又はステップの存在を除外しない。要素に先行する単語"１つの"（"a" or "an"）は、複数のこのような要素の存在を除外しない。本発明は、複数の別個の要素を有するハードウェアを用いて、及び適切にプログラムされたコンピュータを用いて実施されることができる。複数の手段を列挙する請求項において、複数のこれらの手段が、ハードウェア又はソフトウェアの同一のアイテムにより実施されることができる。単語第１、第２及び第３等の使用は順番を示さない。これらの単語は名称として解釈されるべきである。特に示されない限り動作の特定のシーケンスが必要とされることは意図されない。
【図面の簡単な説明】
【００３９】
【図１】処理遅延補償を含むビデオシステムの模範的実施例を図示するブロック図である。
【図２】遅延補償方法の模範的実施例を図示するフロー図である。
【図３】一連の画像のそれぞれの画像の平均輝度の概略図である。
【図４】同期の損失を補償する装置において使用する光検出器の模範的実施例の概略図である。
【図１】
2008524904.tif 000003
【図２】
2008524904.tif 000004
【図３】
2008524904.tif 000005
【図４】
2008524904.tif 000006
【国際調査報告】
2008524904.tif 000007
2008524904.tif 000008
2008524904.tif 000009