(57)【特許請求の範囲】
【請求項１】
ビデオストリームに関連するフィンガープリントを生成する装置であって、
（ａ）前記ビデオストリームを受け取るためのデータ入力装置、
（ｂ）前記データ入力装置を介して伝達される前記ビデオストリームをその中の複数のシーン変化の発生を検出するために分析し、検出された複数のシーン変化の発生から前記ビデオストリーム中に含まれる複数のシーンの継続期間を計算し、これらの継続期間から前記フィンガープリントを生成するデータプロセッサ、
を有する装置。
【請求項２】
前記プロセッサが、
（ａ）前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間の急なビデオ素材照度変化、
（ｂ）前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間の空間的画像特徴情報中の急な変化、及び
（ｃ）前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間のオーディオ情報中の急な変化、
のうちの一つ以上に基づく分析によって、前記ビデオストリーム内のシーン変化を検出する、請求項１に記載の装置。
【請求項３】
ビデオストリームに関連するフィンガープリントを生成する方法であって、
（ａ）前記ビデオストリームを受け取るステップ、
（ｂ）前記ビデオストリーム中の複数のシーン変化の発生を検出するステップ、
（ｃ）前記検出された複数のシーン変化の発生から前記ビデオストリーム中に含まれる複数のシーンの継続期間を計算するステップ、及び
（ｄ）前記複数のシーンの継続期間から前記フィンガープリントを生成するステップ、
を有する方法。
【請求項４】
ステップ（ｂ）が、
（ａ）前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間の急なビデオ素材照度変化、
（ｂ）前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間の空間的画像特徴情報中の急な変化、及び
（ｃ）前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間のオーディオ情報中の急な変化、
のうちの１つ以上に基づく分析によって前記ビデオストリーム内のシーン変化を検出することを含む、請求項３に記載の方法。
【請求項５】
ビデオストリームにシーン変化検出を適用することによって装置中で前記ビデオストリームに副メディアを同期させる方法であって、
（ａ）前記装置のデータ入力装置において前記副メディア及び前記ビデオストリームを受け取るステップ、
（ｂ）前記装置のデータプロセッサにおいて、前記入力装置を介して伝達される前記ビデオストリームをその中のシーン変化の発生を検出するために分析し、検出されたシーン変化の発生から前記ビデオストリームに含まれるシーンの継続期間を計算し、前記継続期間から識別子を生成するステップ、並びに
（ｃ）前記装置において、前記ビデオストリーム中の前記シーン変化に対応する識別子を含む前記副メディアに基づいて、ユーザへの並行した前記ビデオストリーム及び前記副メディアの表示を同期させるステップ、
を含む方法。
【請求項６】
前記識別子と前記副メディアとの間の関連付けに関する情報が前記副メディアに含まれる請求項５に記載の方法。
【請求項７】
前記識別子が前記副メディアに含まれる請求項６に記載の方法。
【請求項８】
前記副メディアが、ambilightスクリプトを含み、前記装置において適応される場合に、前記ビデオストリームに前記ambilightスクリプトを同期させる請求項５又は請求項６に記載の方法。
【請求項９】
請求項４又は請求項５に記載の方法を実現するように請求項１に記載の装置の演算ハードウェア上で動作するソフトウェア。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、シーンのシーケンスを有するビデオストリームのためのフィンガープリントに関し、さらに一般的な及び副メディアをビデオストリームに同期させるように動作可能な装置におけるその使用に関し、例えば本発明は、ビデオストリームにambilightスクリプトを同期させる装置における課題に関係する。さらに、本発明はまた、ビデオストリームを識別するため、及び例えば上述のambilightに関連してビデオストリームに副メディアを同期させるためのフィンガープリントを用いる方法に関する。さらに、本発明はそのような方法を実現するように動作可能なコンピュータ計算ハードウェア上で実行可能なソフトウェアに関する。
【背景技術】
【０００２】
"ambilight"は、テレビ及び同様の画像表示装置に対するエンハンスメントである。図1を参照すると、ambilightは、テレビ表示画面30又は同様の表示装置の周辺領域の少なくとも一部を囲むようにユーザ20に対して動作中に現れる光10の周辺ハローに関係し、表示画面30は、多少の例のみを挙げると、CRT技術、プラズマピクセル技術、液晶ディスプレイ（LCD）技術、発光ダイオード（LED）及び/又は有機発光ダイオード（OLED）技術に基づくことができる。ambilightは、ユーザ20の眼は、進化か又は別の方法によって、それらの視野の中央の領域において最も大きな空間分解能を備え、それらの視野の周辺領域において更なる広範性空間分解能（diffuse spatial resolution）を備えるという特性を利用する。したがって、改良された視聴経験をユーザ20に提供するために、その中央の領域において最高の空間情報及び色情報を含めることが必要とされる広大な表示画像をユーザ20に示すことが望ましい。データの倹約及びディスプレイ製造上の倹約のために、ambilightは、ユーザ20の眼が最も感受性がある広大な表示画像の中央領域に示される最大の空間情報及び色情報によって、ユーザ20に広大な表示画像を供給することができる。上述の周辺ハロー10は、様々な周辺光源から、例えば関連したテレビ表示画面30又は同様の装置に表示される画像に応答してその色及び光出力が変化する光源40から、生成されることができる。
【０００３】
ambilightのより基本的な実施態様において、周辺光源を駆動する情報は、テレビ表示画面30に示される画像から得られる。そのようなアプローチは、既存のビデオ素材から、例えば既存のビデオテープ、DVD、及び通信ネットワークを介して、例えばインターネットを介して又は衛星リンクを介してダウンロードされるビデオ素材から、可能なambilight動作を表現する。既存のビデオ素材から得られるambilightに関する運営上の懸念は、周辺ハローが、ユーザ20に対してテレビ30に表示されるビデオ素材を色に関して正しく補完しなければならないだけでなく、同様にテレビ30に示される画像の一般的な色の変化に、実質的に正確に、時間的に追従しなければならないことである。同時に、テレビジョンスクリーン30上の画像は、空間的色コンテント及びその空間的色コンテントの分析結果から得られる周辺光源40に対する対応する駆動のために分析される。そのような分析は、ディジタルハードウエア、又はそのような分析をコンピュータ計算ハードウェアに実行させるソフトウェアを実行するように動作可能なコンピュータ計算ハードウェアによって実現可能である。
【０００４】
上記で説明された既知のambilightに関する進歩として、ambilightスクリプトを提供するデータストリーム又はデータファイルをユーザ20に与えることが望ましい。すなわち、周辺光源40のリアルタイム駆動においてテレビジョンスクリーン30に示されるビデオ画像から得る代わりに、例えばユーザ20に対する更なるサービスとして、既存のビデオ素材、更には将来のビデオ素材に付随するように、ambilightスクリプトを提供することが望ましい。そのようなambilightスクリプトは、可能ないくつかの代替経路を介して、例えば、インターネットを介してファイルとしてダウンロードされ、独立したCD若しくはDVD又は同様の種類のデータキャリアとして、無線又は衛星リンクによって伝達されるデータストリームとして、ユーザ20に提供されることができることがさらに認識される。これらの代替経路は同時に「マルチメディア」として知られる。
【０００５】
図2を参照すると、本発明によって少なくとも部分的に対処され、既知のambilightにおけるそのような進歩の結果として生じる技術的な課題は、すでにユーザ20が所有しており、ユーザ20の装置によって受け取ることができ、又はデータベース120に記憶されて潜在的にユーザ20がアクセス可能な対応するビデオ素材110に、受け取られたambilightスクリプト100を同期させる方法である。スクリプト100及びビデオ素材が動作中に同期してテレビ30及びambilight光源40に出力されることができるように、ビデオ素材110へのambilightスクリプト100の時間的同期を可能にする任意の同期マーカー130又は類似のものをビデオ素材110が実質的に欠いている場合、この技術的な課題はさらに悪化する。
【０００６】
２つ以上の信号を一緒に同期させる方法が知られている。例えば、公開された国際PCT特許出願PCT/IB2004/051259（WO 2005/011281）において、少なくとも２つの信号の同期に利用可能な第１のフィンガープリント及び第２のフィンガープリントを生成する装置及び方法が記載されている。この方法において、フィンガープリント対は、第１の信号のセグメント及び第２の信号のセグメントに基づいて生成され、言い換えると、フィンガープリントは、第１の信号及び第２の信号の全体に対して生成されず、その一部に対してのみ生成される。例えば、第１の信号はオーディオ信号、第２の信号はビデオ信号であり、消費のためにユーザに示されるときに、オーディオ信号及びビデオ信号は正確に時間的に同期される。上述の特許出願に記載されている方法において、オーディオ及びビデオ信号に関連する生成されたフィンガープリント対は、データベース中に記憶されて、同期装置に伝達又は分配される。同期装置を用いたオーディオ及びビデオ信号の同期の間、オーディオ信号及びビデオ信号の両方のフィンガープリントは、同期装置によって生成されて、これらのフィンガープリントはデータベース中のフィンガープリントに対して照合される。一致する場合、フィンガープリントは同期時点を決定するために用いられることができ、これらの時点は、オーディオ及びビデオ信号を一緒に同期するために用いられることができる。さらに、そのような同期は、オーディオ信号又はビデオ信号のいずれも変更する必要なく、達成されることができる。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
前記の公開PCT特許出願に記載されている方法は、フィンガープリント対が、オーディオ及びビデオの両方について準備されてデータベース中に記憶されなければならないという課題を被る。さらに、同期の間、フィンガープリント対を照合する目的でデータベースへアクセスすることは都合の悪い場合があり、又はリアルタイムで提供するには費用がかかる場合がある。したがって、コンシューマ機器に関しては、そこに記憶された前処理されたフィンガープリント対を持つそのようなデータベースへの接続を提供することは、必ずしも実用的でなく又は実行可能でない。この方法の更なる欠点は、要求される計算のために相当な量のリソースが必要とされる点で、計算的に魅力的ではないことである。この方法のなお更なる欠点は、それがビデオフォーマットの変更に弱いことである。例えば、標準密度のビデオに対して生成されたフィンガープリントは、そのフィンガープリントを含むビデオフォーマットが高密度のビデオフォーマットに変換されると、一般的に役に立たなくなる。同様に、21:9のフレーム比に対して生成されたフィンガープリントは、ビデオが16:9のフレーム比に切り取られた後では一般的に機能しない。
【０００８】
したがって、本発明によって少なくとも部分的に対処される技術的な課題は、特に上述のambilight技術に関連して、２つのデータ信号を同期させる代替方法を提供することである。
【０００９】
本発明の目的は、第１のデータ信号からフィンガープリントを生成するための代替方法、及びその代替方法を実現するように動作可能な装置を提供することであって、前記フィンガープリントはオプションとして、第１のデータ信号を第２のデータ信号に同期させることに、例えばambilightスクリプトとambilightに関連するビデオコンテントとを時間的に同期させるために、使用されることができる。
【課題を解決するための手段】
【００１０】
本発明の第１の態様によれば、シーンのシーケンスを有するビデオストリームのためのフィンガープリントが提供され、前記フィンガープリントは、前記シーンの継続期間を示す情報を含む。
【００１１】
ビデオストリームのためのフィンガープリントは、それが情報の圧縮された部分に基づいてビデオストリームを識別することを提供するという点で、ビデオストリームの符号化とみなされることができる。しかしながら、フィンガープリントは一般的に、それからビデオストリームを再構成するのに十分なそれ自身に関する情報を提供しない。ビデオストリームのフィンガープリントの概念は、そのようなものとして知られる。同様に、シーンの概念は、ビデオの分野において、以下で詳述されるようなものとして知られる。
【００１２】
フィンガープリントの基本的なアイデアは、それが入力列のコンパクトな表記としての役割を果たし、それがあたかもその列によって一意的に定義可能であるかのように用いられることができることである。本発明のフィンガープリントは、とりわけ、ビデオストリームを識別し、又はそれを同期することを目的とする。これは、ビデオストリームを比較することよりむしろ、それぞれのビデオストリームのフィンガープリントを比較することによって達成されることができる。あるいは、これは完全なビデオストリームのフィンガープリントの一部に対して、ビデオストリームの一部から取得される部分的なフィンガープリントを比較することによって達成されることができる。フィンガープリントは、完全なビデオストリーム中のビデオストリームの断片の時間的位置を決定することをさらに可能にし、前記断片は完全なビデオストリームの一部である。
【００１３】
このフィンガープリントは、既存のフィンガープリントと比較して少ない計算量を持つ。MPEGのようないくつかのビデオ配信フォーマットでは、復号器は既に、復号器リソースの割り当てを最適化するためのシーン変化検出を実行する。したがって、このフィンガープリントは、そのような復号器において非常にわずかな追加コストで実現されることができる。特に、フィンガープリントは、シーンの継続期間を示す情報を含むのではなく、シーンの継続期間を示す情報から成ることができる。驚くべきことに、フィンガープリントがその情報のみから成る場合であっても、それがいくつかのシーン変化のみに関連する場合、これは依然として固有のフィンガープリントになる。これは、特に単一フレームに及ぶ分解能で測定される場合、典型的なビデオストリームのシーン継続期間の大きな変動によって引き起こされる。
【００１４】
このフィンガープリントは、ビデオフォーマットの変更又はトランスコーディングに対して、シーン継続期間が一般的にそのような操作に影響を受けないので、堅牢である。
【００１５】
このフィンガープリントは、シーンのシーケンスを有する任意のビデオストリームの認識のための比較的効果的な方法を可能にする。それはまた、例えば放送される動画の途中にスキップすることによってビデオストリームの始まりを見のがした後で、特定の時点からのみ受け取られるビデオストリームを識別することを可能にする。そのような方法は、次のように動作する。最初に、フレームカウンタがリセットされる。シーン変化を検出すると、カウンタは読み出されて、その後リセットされる。読出し値は、オプションとしての搬送の後、一セットのレコードのサブセットを決定するマッチング装置に供給される。サブセット中の各々のレコードは、読出し値にマッチする関連するフィンガープリントを持つ。この値がフィンガープリントに存在する場合、フィンガープリントは読出し値にマッチする。あるいは、軽微なエラーに対応するために、更なる値がフィンガープリント中に存在し、前記値と更なる値との間の差分量が閾値を上回らない場合、フィンガープリントがその値にマッチするとしてもよい。閾値は予め定められていることができ、又はそれは、例えば比較的長いシーン中の失われたフレームに対するロバストネスを提供するために、前記値に依存することができる。
【００１６】
先のステップが繰り返され、マッチング装置は、取得されたサブセットがビデオストリームを識別する一つのレコードを含むまで、又は、ビデオストリームが初期のセット中に関連するレコードを持たない場合にはサブセットが空になるまで、以前に確立されたサブセットを継続する。遠隔マッチング装置の場合には、最終結果はフレームがカウントされる場所に戻されることができる。あるいは、マッチング装置は、テュープル（tuple）中に複数のフレームカウントが蓄積された場合にのみ、マッチングを始めることができる。これは、例えば、中間のサブセットが保持される必要がないので、レコードの検索がずっと効率的に行われることができるという利点を持つ。
【００１７】
ビデオストリームを識別することはそれ自体で、ビデオストリームに関連するメタデータ（ビデオストリームが映画である場合には、例えばタイトル、俳優、音楽、ビデオストリームが曲のビデオクリップである場合には、アーティスト、アルバム、販売場所）にリンクすることのような、いくつかのアプリケーションを持つ。
【００１８】
シーンの継続期間は、シーンのフレームをカウントすることによって決定されることができる。しかしながら、周知のように、異なるフレームレートが世界中で使用されている。したがって、ビデオのフレームレートの変換に対するフィンガープリントのロバストネスをさらに増加させるために、フィンガープリントはフレームレートを考慮することができる。これは様々な方法で達成されることができる。
【００１９】
第１の方法において、継続期間は、シーンのフレームをカウントし、取得されたフレームカウントにフレーム周期を乗じること（後者は２つの連続するフレーム間の一定量の時間である）によって決定される。このようにして、シーン継続期間は取得される。この第１の方法によって、フィンガープリントは、継続期間を示す情報を含むことのみを必要とする。この方法は、現在使用されていない将来のフレームレートに拡張可能であるという利点を持つ。取得された継続期間は、秒のようなあらかじめ決められた単位で表現されることができ、浮動小数点数としてフィンガープリント中に符号化されることができる。有利には、継続期間は、ミリ秒又はマイクロ秒のような非常に小さなあらかじめ決められた単位の整数倍数として表現され、２進整数としてフィンガープリント中に符号化される。
【００２０】
第２の方法において、１つの特定のフレームレートが、デフォルトとしてあらかじめ決められる。各々のフィンガープリントは、その１つの特定のフレームレートの継続期間を有する。シーン継続期間がその１つの特定のフレームレートと異なるフレームレートでフレームをカウントすることによって決定される場合、取得されたフレームカウントは、その１つの特定のフレームレートに変換される。一つの例において、この１つの特定のフレームレートは、300Hzとなるようにあらかじめ決められる。この例では、50Hzのフレームレートに関するフレームカウントは6によって乗じられ、60Hzのフレームレートに関するフレームカウントは5によって乗じられる。この方法は、この１つの特定のフレームレートがフィンガープリントに内在するので、フィンガープリント自体は追加の情報を含む必要はないという利点を有する。
【００２１】
第３の方法において、フィンガープリントはさらに、フレームカウントの次に、フレームがカウントされたフレームレートを示す情報を含む。一つの実施例において、フィンガープリントの１つの追加されたシングルビットが、そのフィンガープリントのフレームカウントが関連するフレームレートを示す。この例において、フィンガープリント中でその１つの追加されたシングルビットが１に設定される場合、そのフィンガープリント中のフレームカウントは60Hzのフレームレートに関連し、その１つの追加されたシングルビットが０に設定される場合、そのフィンガープリント中のフレームカウントは50Hzのフレームレートに関連する。この例は、フレームレートを符号化するために一つのビットのみを必要とするという利点を有する。複数のあらかじめ決められたフレームレートのうちの１つを示すためにいくつかのビットが用いられる他の実施例が可能である。この第３の方法は、一つのフィンガープリントフォーマットがいくつかのフレームレートをサポートするという利点を持つ。
【００２２】
第４の方法において、フィンガープリントはフレームカウントのみを有し、ふさわしいフレームレートを決定するために発見的手法が適用される。一つの実施例において、ビデオ信号がNTSC規格に従う場合、フレームレートは60Hzであると推測されることができ、ビデオ信号がPAL規格に従う場合、フレームレートは50Hzであると推測されることができる。
【００２３】
他のいくつかの方法が、例えば上記の方法の測定を組み合わせることによって、フレームカウントに基づいてシーン継続期間を決定するために適用されることができる。
【００２４】
請求項１に記載のフィンガープリントの１つのアプリケーションにおいて、フィンガープリントはambilightスクリプトに関連する。ambilight「光スピーカ」を備えるテレビジョン受信機、マルチメディアセンター又はPCのようなエンターテイメント装置は、そのスクリーンにビデオストリームを表示する。周知のように、例えば、光スピーカがスクリーン上の色を模倣及び拡張するように、ビデオコンテントはテレビジョン受信機によって分析されることができる。
【００２５】
エンターテイメント装置は、ビデオストリーム中のシーン変化を判定し、ビデオストリームの部分的なフィンガープリントを計算し、そしてambilightスクリプトに伴うフィンガープリントとその部分的なフィンガープリントとを照合する。一致が見いだされるとすぐに、今では同期されているambilightスクリプトが、分析されているビデオコンテントから光スピーカの色の決定を引き継ぐ。
【００２６】
ambilightスクリプトが光スピーカを制御する間、エンターテイメント装置は、同期の消失を検出するために、ビデオストリーム中のシーン変化を判定することを継続する。同期の消失が検出される場合、ambilightスクリプトは光スピーカを制御することを止めて、エンターテイメント装置は、光スピーカを制御するためのビデオコンテントの分析に復帰する。同期の消失の後、エンターテイメント装置は、ambilightスクリプトとの同期の回復を試みるために、依然としてビデオストリーム中のシーン変化を判定することを継続する。
【００２７】
同期の消失を検出して同期を回復するために、いくつかの発見的手法が適用されることができる。
【００２８】
第１の発見的手法において、同期されたフィンガープリントがシーン変化を定めていない瞬間に、ビデオストリーム中でシーン変化が検出されるとすぐに、同期の消失が検出されることができる。これは、高速な応答時間で消失を検出することができるという利点を有する。
【００２９】
第２の発見的手法において、同期されたフィンガープリントが何のシーン変化も定めていない２つの瞬間の両方において、２つの連続したシーン変化がビデオストリーム中に検出されるとすぐに、同期の消失が検出されることができる。これは、同期の消失を誤って検出することを防ぐことができるという利点を持つ。
【００３０】
第３の発見的手法において、同期の消失は、ビデオストリームから又はエンターテイメント装置を操作しているユーザから導き出される他の信号に基づいて、検出されることができる。１つの実施例として、いくつかの瞬間で、コマーシャルのブロックがビデオストリームの一部として放送されることが予想される。他の実施例では、他のチャネルへ切り替えるためにリモコンを操作しているユーザは、同期の消失の検出を直ちにもたらすことができる。これは、同期の消失の検出がシーン変化を検出することのみに依存するだけではないという利点を持つ。
【００３１】
同様に、同期を回復するために、様々な発見的手法が適用されることができる。
【００３２】
回復のための第１の発見的手法において、回復は、先行する同期の消失の前後関係に基づく。１つの実施例では、ユーザが異なるチャネルを選択することよって同期が失われた場合、エンターテイメント装置が消失の前後関係を記憶するならば、ユーザが以前のチャネルに戻った後すぐに、同期は回復されることができる。前後関係は、照合されたフィンガープリントに関連するチャネル、並びに消失が発生した際の時点又はフレームカウントを含むことができる。他の実施例で、消失がコマーシャルブレークによって生じた場合、回復は、例えばこの例ではコマーシャルブレークの典型的な長さである30秒後に試みられることができる。また、回復は、ブレーク直前のビデオストリームの一部分がブレークの後に繰り返されることを考慮することができる。そのような部分は一般的に、数秒から３０秒程の間、持続する。これは、コマーシャルブレークために部分的なフィンガープリントを修正することによって、例えば部分的なフィンガープリントからのコマーシャルブレークの一部であるシーン変化を取り除くことによって、達成されることができる。そして、修正された部分的なフィンガープリントは、ambilightスクリプトに関連する完全なフィンガープリントに対して照合される。部分的なフィンガープリントの修正は、繰り返される部分を取り除くことを必要とする場合もある。
【００３３】
フィンガープリントはまた、ビデオストリームに他のメディアタイプ（特に字幕）を同期させることに適している。
【００３４】
本発明は、より簡単に及びより効率的に第１及び第２のデータ信号を一緒に同期させることができるフィンガープリントを生成する方法を可能する際にさらに利点がある。
【００３５】
オプションとして、シーンの継続期間を示す情報は、シーンが前記ビデオストリーム中に含まれる順番で、フィンガープリント中に含まれる。そのようなフィンガープリントは、フィンガープリントがレコードの初期のセットにわたって十分な独自の継続期間を含むと、現在のフレームカウント数とビデオストリームの開始との間のオフセットも決定されることができるので、ビデオストリームの識別及びビデオストリームとの同期を同時に提供する。
【００３６】
オプションとして、フィンガープリント中で、各々の継続期間は、その中のビデオフレームの数のカウントとして定義される。
【００３７】
いくつかのMPEG復号器は、すでに復号器リソースの割り当てを最適化するためにシーン変化検出を実行しており、事実上、フレームカウンタのみが追加されることを必要とする。したがって、このフィンガープリントは、そのような復号器において、ごく僅かな追加コストで実現されることができる。
【００３８】
オプションとして、フィンガープリントにおいて、継続期間は以下の一つ以上に対応するシーン変化によって定められる。
(a) ビデオストリーム中の前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間の急なビデオ素材照度変化。
(b) ビデオストリーム中の前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間の空間的画像特徴情報中の急な変化。
(c) ビデオストリーム中の前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間のオーディオ情報中の急な変化。
【００３９】
本発明の第２の態様によれば、本発明の第１の態様によるフィンガープリントを生成するように動作可能な装置が提供され、当該装置は、
(a) ビデオストリームを受け取るためのデータ入力装置、
(b) 前記入力装置を介して伝達されるビデオストリームをその中のシーン変化の発生を検出するために分析し、検出されたシーン変化の発生からビデオストリーム中に含まれるシーンの継続期間を計算し、前記継続期間からフィンガープリントを生成するデータプロセッサ、
を含む。
【００４０】
オプションとして、この装置において、前記プロセッサは、以下の一つ以上に基づく分析によって前記ビデオストリーム内のシーン変化を検出するように動作可能である。
(a) 前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間の急なビデオ素材照度変化。
(b) 前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間の空間的画像特徴情報中の急な変化。
(c) 前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間のオーディオ情報中の急な変化。
【００４１】
本発明の第３の態様によれば、ビデオストリームから本発明の第１の態様によるフィンガープリントを生成する方法が提供され、当該方法は、
(a) 前記ビデオストリームを受け取るステップ、
(b) 前記ビデオストリーム中のシーン変化の発生を検出するステップ、
(c) 検出されたシーン変化の発生から前記ビデオストリーム中に含まれるシーンの継続期間を計算するステップ、及び
(d) 前記継続期間からフィンガープリントを生成するステップ、
を有する。
【００４２】
オプションとして、この方法において、ステップ（b）は、以下の一つ以上に基づく分析によって前記ビデオストリーム内のシーン変化を検出することを含む。
(a) 前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間の急なビデオ素材照度変化。
(b) 前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間の空間的画像特徴情報中の急な変化。
(c) 前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間のオーディオ情報中の急な変化。
【００４３】
シーン変化検出のための他のステップ及び技術が適用されることもできる。実のところ、部分的なフィンガープリントを取得するために、フィンガープリントの生成及びビデオストリームの分析の両方に同じ検出器が用いられる限り、何が厳密に検出されるかはある程度まで無関係である。
【００４４】
本発明の第４の態様によれば、シーン変化検出をビデオストリームに適用することによって装置中でビデオストリームに副メディアを同期させる方法が提供され、当該方法は、
(a) 前記装置のデータ入力装置において副メディア及びビデオストリームを受け取るステップ、
(b) 前記装置のデータプロセッサにおいて、前記入力装置を介して伝達されるビデオストリームをその中のシーン変化の発生を検出するために分析するステップ、並びに
(c) 前記装置において、ビデオストリーム中のシーン変化に対応する識別子を含む副メディアに基づいて、ユーザへの並行したビデオストリーム及び副メディアの表示を同期させるステップを有し、副メディアはambilightスクリプトを含み、当該方法は、前記装置において適応される際に、前記ビデオストリームに前記ambilightスクリプトを同期させるように動作可能である。
【００４５】
本発明の第５の態様によれば、本発明の第４の態様による方法を実現するために、本発明の第２の態様による装置の演算ハードウェア上で動作可能なソフトウェアが提供される。
【００４６】
本発明の第６の態様によれば、本発明の第２の態様による装置のための副メディアとして用いられるambilightスクリプト用のデータ構造が提供され、当該データ構造はシーン変化インジケータ及び各々のシーンに付随するambilight変化を含む。
【００４７】
オプションとして、前記データ構造において、ambilightスクリプトは、当該ambilightスクリプトが補完するビデオストリームのシーン変化分析を動的に制御するための一つ以上のパラメータを含む。
【００４８】
フレーズ「データ構造」は、以前から特許権保護を受けることができる主題であるデータ信号フォーマットと同様に解釈されるべきである。
【００４９】
いうまでもなく、本発明の特徴は、添付の請求の範囲によって規定される本発明の範囲内において、任意の組み合わせで組み合わせられることができる。本発明の実施の形態は、以下に添付の図面を参照して一例として説明される。
【発明を実施するための最良の形態】
【００５０】
添付の図面において、下線を引かれた番号は、下線を引かれた数が配置されるアイテム又は下線を引かれた数が隣接するアイテムを表すために使用される。下線を引かれていない番号は、下線を引かれていない番号とアイテムとを結ぶラインによって識別されるアイテムに関する。番号に下線を引かれておらず、付随する矢印を伴う場合、下線が引かれていない番号は、矢印が指す一般的なアイテムを特定するために用いられる。
【００５１】
上記で説明された図1及び2を参照して、本発明は、２つのデータ信号を同期させるための、例えば上述のambilightスクリプト100をその対応するビデオ素材110に同期させるための自動的な方法に関する。フィンガープリントをウォーターマークして、フィンガープリントを信号から抽出することで同期することが知られている。そのようなフィンガープリントは、従来はデータ信号の一部に対して決定され、例えばフィンガープリントは、国際PCT特許出願PCT/IP2004/051259（WO 2005/011281）にて説明されるように、ビデオ素材110の２秒間の再生部分毎に導出されることができる。しかしながら、すでに既知のそのようなアプローチは計算が複雑であり、またambilight技術の場合には準最適にすぎない。さらに、フィンガープリント照合目的のために外部データベースにアクセスしなければならないことは、そのようなアクセスはコンシューマ電子ビデオ製品にとって望ましいスタンドアロン動作を妨げるので、しばしば都合が悪い。
【００５２】
本発明は、例えば、ユーザ20がDVDを購入し、そのDVDがその上に記録されたビデオ素材110（都合よくビデオコンテントとも呼ばれる）を備えている状況に対処することができることを目的とする。ユーザ20は、オプションとしてビデオ素材110に適用される分析から導き出されるambilightと共に、ユーザのambilightシステム30, 40上でDVDを再生し、好ましいビデオ素材110を見いだす。ユーザ20は、その後ネットサーフィンする際に、対応するambilightスクリプト100の最新バージョンが画像及び音声情報の両方を含むビデオ素材110に伴って利用可能であることを発見する場合があり、そして次にインターネットからそのスクリプト100をダウンロードする。あるいは、装置400は、いかなるユーザインタラクションをも伴わずに、スクリプトの入手可能性又はその最新版を確認することができ、ユーザが最新版を探すことを気にする必要がない点で更なる利便性を提供する。ユーザのambilightシステム30，40が本発明に従って動作可能な場合、ambilightシステム30，40は、ビデオ素材110にambilightスクリプト100の最新バージョンを同期させることが可能であり、ユーザ20に対して示されるビデオ素材110に同期するダウンロードされたスクリプト100の改良された視聴体験をユーザ20に提供することが可能である。本発明に従うビデオ素材110に対するスクリプト100の同期が以下にさらに説明される。
【００５３】
図3を参照して、ビデオ素材110は一般に、それが200a, 200b, 200c等によって示されるシーンのシーケンスを有する点で区別される。ビデオ素材110は、ユーザ20によって消費されるときに、矢印230によって示されるような時系列で示されることができるビデオ画像のシーケンスを有する。例えばシーケンスは、第１のシーン200a中に含まれる220によって示されるビデオ画像を含む。都合の良いことに、画像はオプションとして、Iフレームデータ、Pフレームデータ及びBフレームデータを有する最新のMPEG-4データとしてビデオ素材110中で符号化される。最新のMPEG-4データとして符号化される場合、各々のシーン200a, 200b, 200cはいくつかのIフレームを含むことができ、Iフレームは、対応する画像の全ての詳細を定義するために使用でき、B及びPフレームは、それらの最も近い先行するIフレームに対して発生する累進的な変化を定義する。MPEG-4符号化は、それによって達成可能であるデータ圧縮度のために、最新のデータ配信システムにおいてしばしば使用される。
【００５４】
第１のシーン200aにおいて、パニング動作が左から右に示され、そこにおいて、第１のシーン200aの画像を記録するために用いられるカメラは、人物240から、人物240の頭上に浮かぶ航空機250に徐々にパンされる。漸進的な遷移が最初の画像260から最後の画像270まで生じるが、シーン200a中の最初の画像260は、シーケンス200a中の最後の画像270とは全く異なる。さらに、第２のシーン200bにおいて、木300は、シーケンス200bの画像の右側からその左側までパンされる。シーケンス200bの最初及び最後の画像310, 320はそれぞれ、少なくとも部分的に同様の画像特徴詳細を含む。さらに、第３のシーン200cにおいて、シーン200cの各々の画像は、相互に実質的に同一である。
【００５５】
本発明の方法において、ビデオ素材110は、好ましくはユーザ20に示される消費の時点において、ビデオ素材110内に存在するシーンを決定するために分析される。上記において言及されたように、ビデオ素材110中のシーンの変化は、以下の一つ以上から、本発明の方法で潜在的に識別可能である。
(a)シーケンス中の所与の画像Inからシーケンス中の後の画像In+1への、画像In及びIn+1のそれぞれのピクセルの一般的な照度強度又はカラー指定に関する急な変化。例えば、画像270が開放された日が照っている環境に対応し、次の画像310が暗い森林に対応する場合、急な変化が画像270とその次の画像310との間で発生する。
(b) 所与の画像In中に存在する実質的に全ての空間的画像特徴の、その次の画像In+1に対する急な変化。
(c) 所与の画像Inに関する、その次の画像In+1に対するオーディオスペクトルコンテントの急な変化。
【００５６】
逆に、所与のシーン中の連続する画像は、以下の一つ以上からの方法によって識別される。
(d) 所与の画像In及びその次の画像In+1は、相互に関連し又はさもなければ画像In, In+1に共通する空間的画像特徴を持つ。例えば、シーン200b中の画像310及びその次の画像330は、両方とも実質的に同様の木の特徴を含む。
(e) 所与の画像In及びその次の画像In+1は、実質的に同様の一般的な照度強度を持つ。
(f) 所与の画像In及びその次の画像In+1は、実質的に同様の関連するオーディオスペクトルコンテントを持つ。
【００５７】
画像のシーケンス中の２つの連続した画像がビデオ素材110を構成するか否かを決定する際に、本発明の方法は、オプションとして、閾値比較を適用するように実施できる。したがって、類似度を記述する特徴パラメータKi、つまりシーケンス中の連続した画像間の差分の測度は、オプションとして、式1によって一般に記述される処理関数Fを適用することによる本発明の方法によって、計算又はさもなければ導き出される。
Ki=F(ΔAi, ΔSi, ΔIi)  （式１）
ΔAi =画像In及びIn+1に関するオーディオスペクトル特性における差分の測度。
ΔSi =画像In及びIn+1に関する空間的特徴情報における差分の測度。
Δi =画像In及びIn+1に関する空間的特徴情報における差分の測度。
【００５８】
ビデオ素材110の画像のシーケンス中でシーン変化が発生したか否かを決定するための方法を適用する場合、閾値がオプションとして適用されることができ、特徴パラメータKiが閾値Tを下回る値を持つ（すなわちKi <T）場合に画像In及びIn+1がシーン内で連続するとし、パラメータKiが閾値Tを上回る場合（すなわちKi > T）、シーン変化が画像InとIn+1との間で発生したとする。オプションとして、式1の演算処理において、測度ΔAi、ΔSi、Δiの一つ以上が一つ以上の閾値と比較されることができる。多くの閾値のうちの１つを適用することと対照的に、他の識別形式が、本方法においてオプションとして用いられることができる。
【００５９】
したがって、ビデオ素材110及びambilightスクリプト100を受け取り、ビデオ素材110に本発明の上述の方法を適用するように動作可能なユーザ20の装置は、ビデオ素材110を構成する画像のシーケンス中に発生するシーン変化を識別することが可能であり、シーン変化から、シーンの継続期間が導き出されて、それによってビデオ素材110に関連するフィンガープリント340が導き出される。さらに、消費のためにユーザ20にそれを示すためにビデオ素材110を処理するときに、装置はリアルタイムでそのようなシーン変化を検出するように有益に動作可能である。あるいは装置は、受け取られたビデオ素材110を事前分析して、シーン変化の発生を示すマーカー130又はフィンガープリント340を含むように素材を修正するように指示されることができる。したがって、ビデオ素材110から生成される上述のフィンガープリント340は、予め生成されるか又はリアルタイムで徐々に生成されることができる。
【００６０】
いうまでもなく、ビデオ素材110の画像のシーケンス中に含まれる突然の効果（例えば関連する突然の光フラッシュ及び雷音によるライトニングストライク）によって、装置が場合によっては誤ってシーン変化を検出するかもしれない。しかしながら、ライトニングストライクがスクリプト100の中でシーン変化としてそこに表されるようにambilightスクリプト100が同様に符号化される場合、これは問題でない。そのようなライトニングストライクは、装置中でスクリプト100を翻訳する場合、テレビジョンスクリーン30に示されるライトニングストライクの画像と同期して、ambilightソース140にライトニング効果をシミュレートさせる。
【００６１】
ambilightスクリプト100は一連のシーンに関して有益に符号化され、光源40がシーンの間に駆動される態様を制御するパラメータと共に、各々のシーンを構成する画像の数がスクリプト100中に記述される。言い換えると、ambilightスクリプト100は、ビデオ素材110から導き出せる上述のフィンガープリント340にマッチするように好ましくは生成される。したがって、スクリプト100はオプションとして、シリーズ中のどのシーンが考慮されているのかを示すインデックスa、及びインデックスaを有する特定のシーン中の画像の数を示すパラメータNaを提供する。所与のシーン（例えば最初のシーン200a）中で、ambilight光源40は、所与のシーン中に含まれる画像が消費のためにユーザ20に示されるとき、変化する駆動（例えば強度及び/又は色の変化）を受け取る。オプションとして、スクリプト100は、本発明の方法を適用するときに、装置がスクリプト100中に記述されるようなシーン変化をより確実に検出することを可能にするために、式1によって記述される関数Fの計算に用いられる一つ以上の閾値パラメータ（例えば上述の閾値T）を含むことができる。
【００６２】
したがって一例として、ambilightスクリプト100はオプションとして、表1に示されるように構築されることができる。
【表１】
0005461176.tif 000002
【００６３】
表1において、ambilightスクリプト100は、a=1のシーンで始まってa = zのシーンで終わる一連のシーンに対応するambilight命令に細別される。所与のシーンを構成する画像の数はNaによって示され、例えば第１のシーン（a = 1）はその中に200個の画像を持つ。各々のシーンのためのambilight照度の大きさは、スクリプト100中のパラメータLによって制御され、例えば最初のシーン（a = 1）は、最初のシーンの最初の150個の画像に対して10のambilight照度等級を持ち、最初のシーンの次の50個の画像に対して20のambilight照度等級を持ち、最初のシーンは全部で200個の画像を含む。同様に、最初のシーンのためのambilight照明の色は、パラメータGによって示されるように、最初のシーンの最初の150個の画像に対して特性「グレー」を持ち、最初のシーン（即ちa=1）の次の50個の画像に対して特性「ブルー」を持つ。オプションとして、各々の照明光源40によって生成される色は、存在する他の照明光源に対して、スクリプト100において個別に指定されることができる。最初のシーン(a = 1)が主としてここで説明されるが、スクリプト中の次のシーンが同類の態様に従うことはいうまでもない。オプションとしてスクリプト100は、ビデオ素材110の分析を動的に制御するために用いられることができるパラメータPaを含み、例えば、ビデオ素材110をambilightスクリプト100により確実に同期させるために、シーン変化がビデオ素材110中で発生したことを検出するために適用される閾値パラメータTを動的に変化させる。
【００６４】
表1はambilightスクリプト100を構築する一態様を示すが、いうまでもなく、他の配列のambilight制御スクリプトデータが、添付の請求の範囲によって規定される本発明の範囲内で実現可能である。
【００６５】
そのような例において、数量Qは1にされる。すなわち、ambilightスクリプトは、各々の独立したビデオフレームに対して明示の設定を有する。これは、ambilightスクリプトが高い時間分解能で完全な制御を行うことができるという利点を有する。
【００６６】
別の例において、ambilightスクリプトは、光スピーカを制御する内容分析アルゴリズムに影響を及ぼすパラメータを制御する。そのようなパラメータの例は、色がしかるべく適応される前に、いくつのフレームが分析されるかを決定する緩和時間である。このパラメータは、通常は非常に長く設定されて、あまりに神経質な光効果は回避されるが、稲妻の閃光に正確に追従するためには、それは非常に短くなければならず、例えば単一フレームでなければならない。本発明に従ってそのようなパラメータを制御することは、パラメータが一時的に非常に小さな値に設定されて稲妻の閃光を正確に追従することができる一方で、例えば動画の他のパッセージの間のあまりに神経質な光効果を回避するという利点を持つ。既知のコンテント分析技術と本発明によるパラメータ制御とのこの組み合わせは、パラメータを制御するためには数ビットのみで十分であるので、ambilightスクリプトが比較的小さくてよいという更なる利点を持つ。
【００６７】
図1において、ユーザ20の視点からのambilightシステムの典型的なパーツが図示される。図4において、システムハードウェアの構成が模式的に図示される。図4を参照すると、ambilightスクリプト100にビデオ素材110を同期させるためのシステムが400によって示される。同期システム400は、それぞれビデオ素材110及びambilightスクリプト100を受け取るためのデータバッファ410,420を有する。上記で説明されるように、素材110及びスクリプト100は、マルチメディア環境中で同時に体験されるように、相互に異なるデータソースから提供されることができる。同期システム400は、ディジタルハードウエアで実現される同期プロセッサ430を更に含み、オプションとして、プロセッサ430は演算ハードウェアを使用して実現されることができ、この演算ハードウェアは、当該演算ハードウェアに以前に説明されたような同期機能を実行させるソフトウェアを実行することが可能である。さらにシステム400は、テレビ30及びambilight照明10を提供する一つ以上のambilight光源40それぞれにビデオデータを出力するためのドライバ440，450を更に含む。スクリプト100中に含まれるデータに基づいて各々独立して駆動されることができる多数のambilight光源40が存在する場合、ドライバ450は対応する複数のドライバチャネルを含み、言い換えると、ambilight照明10は、動作中の任意の所与の瞬間において空間的に色を変えることができる。
【００６８】
動作中に、プロセッサ430は、例えば図3を参照して以前に説明されたように、シーン変化がそこにおいてどこで発生するかについて決定することによって、ビデオ素材110を同期させるように動作可能であり、プロセッサ430は、それによってビデオ素材110の対応するフィンガープリント340を決定するように動作可能である。プロセッサ430は、それからバッファ410の中に受け取られたスクリプト100中の対応するシーン変化のためのデータを決定し、色及び照明強度の両方に関して、一つ以上の照明光源40を駆動するためにバッファ450に出力するための適切なデータをそこから決定するように動作可能である。以前に説明されたように、シーン変化は、以下の一つ以上に基づく分析によって発見されることができる。
(a) 前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間の急なビデオ素材照度変化。
(b) 前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間の空間的画像特徴情報中の急な変化。
(c) 前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間のオーディオ情報中の急な変化。
【００６９】
オプションとして、ビデオ素材110内のシーン変化の検出、よって上述のフィンガープリント340の生成は、検出信頼性を向上させるために、直接隣接する画像のみに基づくのではなく、先行するいくつかの画像及び後続のいくつかの画像から集められた情報に基づいて検出されることができる。
【００７０】
オプションとして、ビデオ素材110をambilightスクリプト100と共にユーザ20に並列表示する間に、プロセッサ430がambilightスクリプト100をビデオ素材110に適切に同期させることができない場合、プロセッサ430は、ビデオ素材110のみに基づく、ambilight照明10のambilight制御の通常のコンテンポラリーモードへ切り替わるように動作可能である。そのような自動的な切り替えによって、ユーザ20に提供される改良された視聴体験の破綻は少なくとも部分的に回避されることができ、すなわち、プロセッサ430がビデオ素材110をビデオスクリプト100に適切に同期させることができないことが分かった場合に、ambilight照明10の突然の消失を回避する。
【００７１】
同期システム400は、テレビジョン受信機の一体化された部分として含まれることができる。あるいは、システム400はアドオンユニット（例えばアドオン「デジタルブラックボックス」）として、又はセットトップボックス若しくはマルチメディアPCとして公知技術であるものとして、ユーザ20に提供されることができる。さらにあるいは、同期システム400は、例えばマルチメディア又は他の通信チャネルを介して演算ハードウェアを備えるテレビにダウンロード可能であるソフトウェアとして実現されることができ、そのような実施態様は、プロセッサ430がより高度なambilightスクリプト100として効果的に更新されることができる点で有益であるならば、将来ユーザ20が利用することができる。
【００７２】
オプションとして、ビデオ素材110は、例えばデジタル放送プロバイダから、ビデオストリームとして提供される。さらに、ambilightスクリプト100は、副メディアとして提供される。ビデオ素材110へのambilightスクリプト100の同期が、ビデオ素材110におけるシーン認識により説明されたが、いうまでもなく、他の種類のスクリプトが同様にビデオ素材110に同期されることができる。例えば、他の種類のスクリプトは「香りスクリプト」であることができ、同期システム400は、ビデオ素材110中で発生するシーン変化の検出によって同期される香りスクリプトに基づいて選択的に活性化されることができる電子的に制御可能な香り発生器を備える。他の種類の副マルチメディアスクリプトは、ユーザの周りの気流を制御する気流スクリプトを含むが、さらに他の種類もまた実現可能である。
【００７３】
ambilightシステムは、より熱中できる視聴体験を生成するために、例えばTVスクリーン周囲の光効果を生成するためのシステムである。どのようにビデオコンテントから効果を導き出すかは、従来技術において周知であるが、主観的により良好な効果は、Ambilightシステムを指示又は制御する特殊効果アーティストによって生成されることができる。アーティストは、ビデオを表示して、アーティストが特殊光効果を定義することを可能にするツールを用いることができる。成果は、元のビデオコンテントに関連づけられることを必要とするスクリプトであることができる。
【００７４】
スクリプトを配布する比較的容易な方法は、１つの媒体（例えばDVDのような光ディスク）中で、又は放送ストリーム中で、それをビデオ素材と組み合わせることである。ambilightは現在標準の機能でないので、この同期方法は現在広く利用することができない。
【００７５】
インターネットのような別のソースを用いることによって、ビデオをダウンロードすることを要せずに、Ambilightシステムを制御するためのスクリプトをダウンロードすることができることは有利である。これは、スクリプトをビデオに同期させることを可能にしつつ、スクリプト及びビデオの両方が別々に取得されることを可能にする同期方法を必要とする。
【００７６】
本発明の実施の形態によれば、固有のフィンガープリント340は、２つのシーン変化間の時間（「シーン変化スタンプ」と呼ばれる）をカウントすることによって、ビデオストリームから導き出されることができる。N個のシーン変化スタンプのシーケンスは、「シーケンスフィンガープリント」340として定義される。スクリプト中の同じシーケンスフィンガープリントを用いることにより、ビデオにスクリプトを同期させることが可能である。本発明は、また、ビデオコンテントとの同期を必要とする他の副メディアに適している。本発明は、スクリプト及びビデオを、単に両方が同期することを保証するために、１つの媒体中に具備するという問題を解決する。本発明はまた、スクリーン上で視聴されるビデオから時間的に又は位置的に独立して生成されることができる複数のスクリプトを可能にする。
【００７７】
本発明の１つの特徴は、シーン変化間の時間が、コンテンツ、コンテント劣化又はビデオ/放送規格（NTSC（60Hz）、PAL（50Hz）など）に比較的鈍感で、（完全に新たなビデオをもたらす）大規模なビデオ編集に対する感度が比較的高い、低コストで信頼性が高いフィンガープリント法として用いられることができることである。
【００７８】
副メディアが全く異なるソースに由来する可能性があるビデオと同期することを保証するために、一意的にビデオを識別する一種のフィンガープリント法が用いられることができる。
【００７９】
本発明は、ビデオ素材がどこから来たとしても、それが編集（フレーム除去又は再配列）されていない場合には、シーン変化間の時間は、特にマッチングが複数のシーン変化にわたって実行される場合、ビデオシーンを識別する際の助けになるという洞察に部分的に基づく。2つのシーン変化間の時間は、ビデオフレームレート及びフレームの数から導き出されることができる。
【００８０】
シーン変化を検出して、ビデオフレームレートを決定する能力のみが必要であるので、本発明によるフィンガープリント340のこの実施の形態は、比較的低コストである。これらの能力は、このように単独で、従来技術において知られており、おそらく、TV中にすでに存在してほとんどハードウェアリソースを必要としない標準の機能であると考えられる。
【００８１】
主入力としてビデオを受けとって、ビデオ関連出力（例えば各々のシーン変化に対するシーン変化スタンプを有するAmbilightスクリプト）を生成するスクリプトオーサリングツールにおいて、本発明は実施されることができる。
【００８２】
結果として生じる出力、例えばスクリプトは、装置（例えばTV）にダウンロードされることができる。装置は、固有の開始鍵として最初のN個のシーン変化スタンプを取得することができる。スクリーンに表示されるビデオが分析され、シーン毎のフレームがカウントされて、フレームレートの逆数によって乗じられ、「シーン変化スタンプ」をもたらす。N個のシーン変化スタンプの最初がスクリプトに合致すると、N個のシーン変化スタンプの２番目がチェックされて、N番目のシーン変化スタンプまでチェックされる。Nはあらかじめ決められることができ、例えば、0.01%のような低い偽陽性検出及び高い検出確率（例えば99.99%スコア）を持つように十分大きく、あまりに長い同期時間を防ぐために十分小さくなるように選択される。
【００８３】
一旦スクリプトがロックされると、すなわちビデオに同期すると、その内容が分析又は解釈され、Ambilightシステムを制御するために用いられ、結果はTVスクリーンの周囲の視覚効果として描写される。
【００８４】
コマーシャルブレークが発生するとき、又はビデオが別途中断されるとき、シーン変化スタンプが整合しなくなり始めて、スクリプトは一時中断される。スクリプトの中断の前後の検索領域が、シーン変化スタンプを整合させるためにチェックされることができる。再同期のためのこの方策は、視聴者が反復して視聴することを可能にするために、実際の中断よりも若干早めに動画が開始又は継続されることに基づく。
【００８５】
動作しているスクリプトがない場合、又は同期が失われた場合、Ambilightシステムはそのデフォルトモードに設定されることができ、システムはビデオコンテントに従う。
【００８６】
Ambilightの他に、ビデオに同期することを必要とする任意の他のアプリケーションが、本発明を利用することができる。例は、例えば映画のためのダウンロード可能な字幕、リミックスのような追加のサウンドトラック、ビデオ関連アニメーション及びコメントを含む。
【００８７】
上記の説明された本発明の実施の形態に対する修正は、添付の請求の範囲に記載の本発明の範囲内において可能である。
【００８８】
本発明を説明及び請求するために用いられる「含む」、「有する」、「組み込む」、「成る」、「持つ」、「ある・存在する」のような表現は、非排他的に解釈されることが意図され、すなわち、明示的に記述されていないアイテム、構成要素又は素子もまた存在することを許容する。単数形への参照は、複数にも関連するように解釈される。
【００８９】
請求の範囲中の括弧内の番号は、請求の範囲の理解を助けることを意図しており、決してこの請求の範囲によって請求される主題を制限するように解釈されてはならない。
【図面の簡単な説明】
【００９０】
【図１】ambilightシステムの単純な描写。
【図２】図1のシステムに関連するデータ同期の図。
【図３】フィンガープリント、及び図1に図示するようなambilightシステムに示されることができるビデオ素材中のシーンを形成する画像のシーケンス。
【図４】図1のシステムを実現するように構成される装置の図。
【図１】
0005461176.tif 000003
【図２】
0005461176.tif 000004
【図３】
0005461176.tif 000005
【図４】
0005461176.tif 000006