(57)【要約】  ビデオ信号中のコマーシャル又は他の特定の種類のビデオ内容を検出する技術が開示される。例示的な実施例では、ビデオ信号のフレームからカラーヒストグラムが抽出される。抽出されたカラーヒストグラムの少なくともサブセットの夫々について、抽出されたカラーヒストグラムはファミリーヒストグラムと比較される。抽出されたカラーヒストグラムがファミリーヒストグラムの指定された範囲内にある場合、ファミリーヒストグラムは抽出されたカラーヒストグラムを新しいメンバーとして含むよう更新される。抽出されたカラーヒストグラムがファミリーヒストグラムの指定された範囲内にないとき、ファミリーヒストグラムは完成したと考えられ、抽出されたカラーヒストグラムは続く抽出されたカラーヒストグラムを処理するために新しいファミリーヒストグラムを発生するのに使用される。結果として得られるファミリーヒストグラムは、ビデオ信号中のコマーシャル又は他の特定の種類のビデオ内容を検出するために用いられる。
2005513663.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ信号の処理に用いる方法であって、
前記ビデオ信号の複数のフレームからヒストグラムを抽出する段階と、
前記抽出されたヒストグラムの少なくとも１つのサブセットの夫々について、前記抽出されたヒストグラムをファミリーヒストグラムと比較し、前記抽出されたヒストグラムが前記ファミリーヒストグラムの特定の領域内にある場合は、前記抽出されたヒストグラムが新しいメンバーとして含まれるよう前記ファミリーヒストグラムを更新し、前記抽出されたヒストグラムが前記ファミリーヒストグラムの特定の領域内にない場合は、前記ファミリーヒストグラムは完成したと示し、前記抽出されたヒストグラムを続く抽出されたヒストグラムの処理に使用される新しいファミリーヒストグラムを生成するのに用いる段階と、
前記ビデオ信号中の特定の種類のビデオ内容を検出するために１つ又はそれ以上の前記ファミリーヒストグラムを用いる段階とを有する、方法。
【請求項２】
前記特定の種類のビデオ内容は、生の又は録画された放送番組中のコマーシャルを含む、請求項１記載の方法。
【請求項３】
前記抽出されたヒストグラムのうちの最初のものを処理するのに用いられる前記ファミリーヒストグラムは、（ｉ）所定の設定に初期化された初期ファミリーヒストグラムを含み、又は、（ｉｉ）それ自体が前記初期ファミリーヒストグラムとして指定される、請求項１記載の方法。
【請求項４】
前記ファミリーヒストグラムは、前記ファミリーヒストグラムの特定の範囲内にある前記抽出されたヒストグラムのうちの所与の１つについて、前記ファミリーヒストグラムを前記所与の抽出されたヒストグラムと組み合わせることにより更新される、請求項１記載の方法。
【請求項５】
前記ビデオ信号中の特定の種類のビデオ内容を検出するために前記ファミリーヒストグラムのうちの１つ又はそれ以上を用いる段階は、前記ファミリーヒストグラムの持続時間を決定することを更に含む、請求項１記載の方法。
【請求項６】
前記ファミリーヒストグラムは、前記ファミリーヒストグラムが特定の範囲内にある持続時間を有する場合、前記特定の種類のビデオ内容に関連付けられる可能性があるとして示される、請求項５記載の方法。
【請求項７】
前記特定の範囲は、生の又は記録された放送番組中にコマーシャルを有するビデオ内容については、約１５乃至６０秒である、請求項６記載の方法。
【請求項８】
前記ビデオ信号中の特定の種類のビデオ内容を検出するために前記ファミリーヒストグラムのうちの１つ又はそれ以上を用いる段階は、前記ファミリーヒストグラムの反復性を決定する段階を含む、請求項１記載の方法。
【請求項９】
前記ファミリーヒストグラムの反復性を決定する段階は、前記ファミリーヒストグラムが、夫々が特定の短い持続時間を有する一連の連続的なファミリーヒストグラムのうちの１つであるかどうかを判定する段階を更に含む、請求項８記載の方法。
【請求項１０】
前記ファミリーヒストグラムの反復性を判定する段階は、前記ファミリーヒストグラムが先行するファミリーヒストグラムの後の指定された期間内に生ずる先行するファミリーヒストグラムの実質的な繰り返しであるかどうかを判定することを含み、前記反復性は、（ｉ）約３乃至５分間の第１の以前に指定された期間中に生じないか、又は（ｉｉ）約１５分間の第２の以前に指定された期間中に生ずる、請求項８記載の方法。
【請求項１１】
前記ビデオ信号中の特定の種類のビデオ内容を検出するために１つ又はそれ以上の前記ファミリーヒストグラムを用いる段階は、長さが約３乃至５分間の各期間内に約１０秒間よりも短い持続時間の多数の短いファミリーヒストグラムを検出することを含む、請求項１記載の方法。
【請求項１２】
前記ビデオ信号中の特定の種類のビデオ内容を検出するために１つ又はそれ以上の前記ファミリーヒストグラムを用いる段階は、特定の期間内に生ずる多数の固有のファミリーヒストグラムを検出することを含む、請求項１記載の方法。
【請求項１３】
前記ビデオ信号中の特定の種類のビデオ内容を検出するために１つ又はそれ以上の前記ファミリーヒストグラムを用いる段階は、特定の時間の長さよりも長い持続時間を有するファミリーヒストグラムがないことを検出することを含む、請求項１記載の方法。
【請求項１４】
前記特定の時間の長さは、約３０秒間である、請求項１３記載の方法。
【請求項１５】
前記ビデオ信号中の特定の種類のビデオ内容を検出するために１つ又はそれ以上の前記ファミリーヒストグラムを用いる段階は、特定の持続時間の１つ又はそれ以上のファミリーヒストグラムを特定の番組に対して生成されたスーパーヒストグラムと比較することを含む、請求項１記載の方法。
【請求項１６】
前記特定の番組に対する前記スーパーヒストグラムは予め計算され記憶される、請求項１５記載の方法。
【請求項１７】
前記特定の番組及びその関連するスーパーヒストグラムは、電子番組ガイド（ＥＰＧ）から得られる情報を用いて識別される、請求項１５記載の方法。
【請求項１８】
前記ビデオ信号中の特定の種類のビデオ内容を検出するために１つ又はそれ以上のファミリーヒストグラムを用いる段階は、指定された期間内の少なくとも所与の持続時間の多数の以前に識別されたファミリーヒストグラムがないことを検出することを含む、請求項１記載の方法。
【請求項１９】
所与のファミリーヒストグラムは、前記ビデオ信号のイントラ符号化されたフレームのスライドするウィンドウ内の色エントロピー変化における１つ又はそれ以上のピークの決定に基づく色エントロピー技術に従って発生される、請求項１記載の方法。
【請求項２０】
ビデオ信号の処理に用いる装置であって、
前記ビデオ信号の複数のフレームから抽出されたヒストグラムを処理するよう動作可能であり、前記抽出されたヒストグラムの少なくとも１つのサブセットの夫々について、前記抽出されたヒストグラムをファミリーヒストグラムと比較し、前記抽出されたヒストグラムが前記ファミリーヒストグラムの特定の領域内にある場合は、前記抽出されたヒストグラムが新しいメンバーとして含まれるよう前記ファミリーヒストグラムを更新し、前記抽出されたヒストグラムが前記ファミリーヒストグラムの特定の領域内にない場合は、前記ファミリーヒストグラムは完成したと示し、前記抽出されたヒストグラムを続く抽出されたヒストグラムの処理に使用される新しいファミリーヒストグラムを生成するのに用いるよう適応されるプロセッサと、
前記抽出されたヒストグラム及び前記ファミリーヒストグラムのうちの１つ又はそれ以上の少なくとも一部を記憶するよう前記プロセッサに結合されたメモリとを有する、装置。
【請求項２１】
ビデオ信号の処理に用いる１つ又はそれ以上のソフトウエアプログラムを含む機械読み取り可能な媒体を有する製品であって、
前記１つ又はそれ以上のソフトウエアプログラムは、実行されたときに、
前記ビデオ信号の複数のフレームからヒストグラムを抽出する段階と、
前記抽出されたヒストグラムの少なくとも１つのサブセットの夫々について、前記抽出されたヒストグラムをファミリーヒストグラムと比較し、前記抽出されたヒストグラムが前記ファミリーヒストグラムの特定の領域内にある場合は、前記抽出されたヒストグラムが新しいメンバーとして含まれるよう前記ファミリーヒストグラムを更新し、前記抽出されたヒストグラムが前記ファミリーヒストグラムの特定の領域内にない場合は、前記ファミリーヒストグラムは完成したと示し、前記抽出されたヒストグラムを続く抽出されたヒストグラムの処理に使用される新しいファミリーヒストグラムを生成するのに用いる段階と、
前記ビデオ信号中の特定の種類のビデオ内容を検出するために１つ又はそれ以上の前記ファミリーヒストグラムを用いる段階とを行う、製品。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
本発明は、ここに参照として組み入れられる、N.  Dimitrova、L.  Agnihotri及びT.McGeeによる「Automatic  Signature-Based  Spotting,  Learning  and  Extracting  of  Commercials  and  Other  Video  Content」なる名称の１９９９年１０月１３日出願の米国特許出願第０９／４１７，２８８号明細書に記載された発明に関連する。
【０００２】
本発明は、概してビデオ信号処理に係り、特に、コマーシャル又は特定の特徴を有する他の種類のビデオ内容を識別するためにビデオ信号を処理する技術に関する。
【０００３】
放送された又は記録されたビデオ信号からコマーシャルを検出及び抽出するために多くの異なるシステムが開発されてきた。例えば、「Editing  Method  and  Apparatus  for  Commercials  During  Video  Recording」なる名称の米国特許第４，７８２，４０１号明細書は、コマーシャルを線引きするために用いられる暗い又はブランクのフレームの存在に基づいて、アナログ領域でコマーシャルを削除するためのハードウエア指向の解決策について記載している。
【０００４】
同様のシステムは、「Reciprocating  Recording  Method  and  Apparatus  for  Editing  Commercial  Messages  from  Television  Signals」なる名称の国際公開第８３／００９７１号パンフレットに記載されている。このシステムは、コマーシャルの時間の始まりと終わりの夫々のフェード・イン及びフェード・アウトに基づきコマーシャルを削除する。
【０００５】
「Apparatus  and  Method  for  Deleting  Selected  Program  Intervals  from  Recorded  Television  Broadcasts」なる名称の米国特許第４，７５０，０５２号明細書に記載の他のアプローチは、記録された放送番組からコマーシャルを削除するためにフェード検出器を用いる。
【０００６】
「Method  and  Apparatus  for  Classifying  Patterns  of  Television  Programs  and  Commercials」なる名称の国際公開第９４／２７４０４号パンフレットは、ビデオ信号を分類するために特徴抽出及びニューラル・ネットワークを用いる。システムは、周波数スペクトルに亘る電力振幅、色及び輝度、垂直間隔時間コード、字幕信号、並びに、色搬送波ジッタ信号といった特徴の変化を検出する。
【０００７】
「Process  and  Device  for  Detecting  Undesirable  Video  Scenes」なる名称の国際公開第９５／０６９８５号パンフレットに記載のシステムは、コマーシャルの時間に先行する放送番組からの画像を記憶し、それにより現在の画像を記憶された画像と比較することによりコマーシャルの時間の終わりが検出されうる。このアプローチは、放送者がコマーシャルの時間の終わりの後に番組のわずかな部分を繰り返す場合が多いという事実を用いる。
【０００８】
「Method  and  Apparatus  for  the  Classification  of  Television  Signals」なる名称の欧州特許出願第７３５７５４号明細書は、現在のコマーシャルが同じ度合いの「ファジーさ」の規準を満たすかどうかを判定するために、一組の特徴及び関連する規則を用いる。一組の特徴は、コマーシャルを特徴付けるのに用いられる、例えば、ステレオ対モノ、２チャンネルオーディオ、音響レベル、画像の明るさ及び色、並びに、ロゴを含む。拡張された一組の規則は、これらの特徴に対する閾値及びパラメータの変化を調整することが必要とされる。
【０００９】
「Video  Signal  Identifier  for  Controlling  a  VCR  and  Television  Based  on  the  Occurrence  of  Commercials」なる名称の米国特許第５，７０８，４７７号明細書は、以前に識別されたコマーシャル素材を認識するため、及び、テレビジョンの音を消音すること及び／又は記録モードにあるときはＶＣＲを一時停止することにより、これを排除するために、ビデオ信号識別器を用いる。このアプローチの重大な問題は、自動検出を提供することができないことであり、即ち、素材がその検出の前に何らかの形で識別されることを必要とすることである。
【００１０】
「Apparatus  and  Method  for  Detection  of  Unwanted  Broadcast  Information」なる名称の米国特許第５，６６８，９１７号明細書は、コマーシャル素材を識別するためにコマーシャルの反復性を用いる。このシステムは、ビデオフレームを圧縮形式で記録し、フレームを元の「生の」形式で画素毎に比較する。ある閾値内で画素が一致する場合、フレームは類似すると考えられる。このアプローチの重大な不利点は、それが必要とする過剰なメモリ及び計算資源である。より特定的には、ビデオを圧縮形式で記憶するときでさえも、実現的でないほど大量のメモリ空間が必要であり、例えば、高精細度テレビジョン（ＨＤＴＶ）の内容の１つのチャネルに対して一日当たり約２００ＧＢである。更に、生のビデオを比較するのは非常に時間がかかる。ビデオの圧縮と伸張が追加的な計算費用なしに行われうると想定したとしても、フレームの比較は非常に遅い処理となろう。所与の入来フレームは、上述の大量の記憶されたビデオ素材と比較されねばならず、比較は次のフレームが到着する前に完了する。
【００１１】
上述の米国特許出願第０９／４１７，２８８号明細書に記載された技術は、署名によるスポッティング、学習、及び抽出を用いることにより、上述の従来のアプローチに対してかなりの改善を与える。しかしながら、これらの技術によって与えられるかなりの改善にもかかわらず、コマーシャル及び他の種類のビデオ内容の識別及び抽出に関して更なる改善に対する必要性が残っている。
【００１２】
本発明は、ファミリーヒストグラムのグループに基づくアプローチを用いて、ビデオ信号中のコマーシャル又は他の特定の種類のビデオ内容を検出する改善された技術を提供する。特定の種類のビデオ内容は、例えば、生の又は録画された放送番組中のコマーシャルでありうる。
【００１３】
本発明の１つの面によれば、ビデオ信号のフレームからカラーヒストグラムが抽出され、抽出されたカラーヒストグラムの少なくともサブセットの夫々について、抽出されたカラーヒストグラムはファミリーヒストグラムと比較される。カラーヒストグラムが抽出される一組のフレームは、例えば、ビデオ信号のショット境界で抽出されるキーフレーム、ビデオ信号のイントラ符号化されたフレーム（Ｉフレーム）、又はビデオ信号の全てのフレームでありうる。抽出されたカラーヒストグラムのうちの最初のものを処理するのに用いられたファミリーヒストグラムは、所定の設定に初期化された初期ファミリーヒストグラムを含みうる。他の例としては、抽出されたカラーヒストグラムのうちの最初のものは、それ自体が初期ファミリーヒストグラムとして指定されうる。抽出されたカラーヒストグラムがファミリーヒストグラムの特定の領域内にある場合は、抽出されたカラーヒストグラムが新しいメンバーとして含まれるようファミリーヒストグラムを更新する。抽出されたカラーヒストグラムがファミリーヒストグラムの特定の領域内にない場合は、ファミリーヒストグラムは完成したと考えられ、続く抽出されたヒストグラムの処理に使用される新しいファミリーヒストグラムを生成するよう、抽出されたカラーヒストグラムを用いる。結果として得られる多数のフレームに亘って発生されたファミリーヒストグラムは、ビデオ信号中のコマーシャル又は他の特定の種類のビデオ内容を検出するのに用いられる。
【００１４】
本発明の他の面によれば、ファミリーヒストグラムは、ファミリーヒストグラムの特定の範囲内にある抽出されたカラーヒストグラムのうちの所与の１つについて、ファミリーヒストグラムを所与の抽出されたヒストグラムと組み合わせることにより更新される。
【００１５】
本発明の更なる面によれば、ファミリーヒストグラムの持続時間及び／又は反復性は、コマーシャル部分又は他の特定の種類のビデオ内容の境界をマークするために用いられる。例えば、ファミリーヒストグラムは、ファミリーヒストグラムが生の又は記録された放送番組中にコマーシャルを有するビデオ内容について約１５乃至６０秒といった特定の範囲内にある持続時間を有する場合、特定の種類のビデオ内容に関連付けられる可能性があるとして示してもよい。反復性の判定は、ファミリーヒストグラムが、夫々が特定の短い持続時間を有する一連の連続的なファミリーヒストグラムのうちの１つであるかどうかを判定すること、又は、ファミリーヒストグラムが先行するファミリーヒストグラムの後の指定された期間内に生ずる先行するファミリーヒストグラムの実質的な繰り返しであるかどうかを判定することを含みうる。
【００１６】
有利に、本発明は、コマーシャル及び他の種類のビデオ内容が、特に正確且つ効率的な方法で識別されることを可能とする。本発明の上述の及び他の特徴は、添付の図面及び以下の詳細な説明より明らかとなろう。
【００１７】
図１は、本発明によるビデオ検出技術が実施されうるビデオ処理システム１００を示す図である。システム１００は、テレビジョン、セットトップボックス、デスクトップ又はラップトップ又はパームトップコンピュータ、携帯型情報端末（ＰＤＡ）、ビデオカセットレコーダ（ＶＣＲ）、ディジタルビデオレコーダ（ＤＶＲ）、ＴｉＶｏ装置等ビデオ記憶装置、並びに、これらの及び他のビデオ処理装置の部分又は組合せを表わしうる。
【００１８】
システム１００は、１つ又はそれ以上のビデオ源１０２、１つ又はそれ以上の入力／出力装置１０４、プロセッサ１０５及びメモリ１０６を含む。ビデオ源１０２は、例えば、テレビジョン受像機、ＶＣＲ又は他のビデオ記憶装置を表わしてもよく、又は、他の種類のビデオ源、並びに、多数のかかる源の様々な組合せを表わしてもよい。源１０２は、或いは、例えばインターネット、広域ネットワーク、メトロポリタン・エリア・ネットワーク、ローカル・エリア・ネットワーク、地上放送システム、ケーブルシステム、衛星システム、ワイヤレス網、又は電話回線網、並びに、これらの又は他の種類のネットワークの部分又は組合せといったグローバル・コンピュータ通信ネットワークを通じた１つ又は複数のサーバからビデオを受信する１つ又はそれ以上のネットワーク接続を表わしうる。
【００１９】
入力／出力装置１０４、プロセッサ１０５、及びメモリ１０６は、通信媒体１０７を通じて通信する。通信媒体１０７は、例えば、バス、有線又は無線通信網、回路又は回路カード又は他の装置の１つ又はそれ以上の内部接続、並びに、これらの及び他の通信媒体の部分及び組合せを表わしてよい。
【００２０】
源１０２からの入力ビデオは、メモリ１０６に記憶された１つ又はそれ以上のソフトウエアプログラムによって処理され、例えばテレビジョンディスプレイ、コンピュータモニタ等の表示装置１０８へ供給される出力ビデオを発生するためにプロセッサ１０５によって実行される。例えば、１つ又はそれ以上のソフトウエアプログラムは、以下に図２を参照して説明するコマーシャル検出処理の少なくとも一部を行うために使用されえ、結果として得られる出力ビデオは信号中のコマーシャル境界についての適当なマークを含む。次に、表示装置１０８は、表示されたビデオからコマーシャルを除去するために、それを除いては従来通りの方法で、マークを処理することができる。
【００２１】
図１に示すシステム１００の特定の形態は、例としてのみ示すものであることが理解されるべきである。当業者は、本発明が多様な他のシステムを用いて実施されうることを認識するであろう。
【００２２】
例えば、ディスプレイ装置１０８は、出力ビデオが続く使用のために記憶されるよう、ビデオ記憶装置と置き換えられるか、ビデオ記憶装置と共に使用されうる。ビデオ記憶装置は、表示装置１０８へ組み込まれてもよく、又は、表示装置１０８に結合されたスタンドアロン装置として実施されてもよい。かかる記憶装置は、従来技術で周知であり、従って、本願では詳細には説明しない。
【００２３】
本発明は、ビデオ信号中のコマーシャル又は他の種類のビデオ内容の検出のための改善された技術を提供する。本発明は、ここで説明する例示的な実施例では、いわゆる「ファミリーヒストグラム」を形成するためにビデオフレームから抽出されたカラーヒストグラムを使用し、次に、ビデオ信号中のコマーシャルを識別するためにファミリーヒストグラムを使用する。例えば、ファミリーヒストグラムの長さが約１５乃至６０秒であれば、コマーシャル領域は、多数のコマーシャル時間の総持続時間、例えば約２乃至３分間、約３乃至５分間等の指定された期間内に、いくつかのかかるファミリーヒストグラムが存在することによって示されうる。これは、ビデオ信号内のコマーシャル領域又はセグメント中に幾つかのコマーシャルが存在することを示す。上述のように、システム１００の装置１０８といったビデオ表示装置内でコマーシャルが除去され、早送りされ、消音され、又は他の方法で扱われるよう、検出されたコマーシャルの境界は次に決定されマークされうる。
【００２４】
図２は、本発明による、放送ビデオ信号中のコマーシャルを検出する方法２００の例を示すフローチャートである。この例については、入力ビデオが、少なくとも１つの番組及び多数のコマーシャルを含む放送ビデオ信号を有すると想定される。しかしながら、これは、単に例として示すものであって、決して本発明の範囲を制限することを意図するものではないことが強調されるべきである。より特定的には、当業者は、本発明が、他の種類のビデオ信号中のコマーシャル以外の特定の種類のビデオ内容を識別するために使用されえ、図２の例において用いられる処理段階とは異なる処理段階を用いて実施されうることを認識するであろう。
【００２５】
方法２００の段階２０２では、入力ビデオ信号の１つ又はそれ以上のフレームを捕捉するために、従来のフレームグラバーが用いられる。例えば、フレームグラバーは、アナログビデオ源によって供給されるアナログビデオ信号から１つ又はそれ以上の「生の」ビデオフレームを捕捉することができ、又はかかるフレームを従来のMoving  Pictures  Experts  Group（ＭＰＥＧ）ディジタルビデオビットストリームといったディジタル源から抽出することができる。
【００２６】
フレームグラバーによって捕捉され、続いて以下説明するようにそこからカラーヒストグラムが抽出される一組のフレームは、例えば、ビデオ信号のショット境界において抽出された１つ又はそれ以上のキーフレーム、ビデオ信号のイントラ符号化されたフレーム（Ｉフレーム）、又はビデオ信号の全てのフレームでありうる。図３を参照して以下説明するように、代表的なキーフレームもまた使用されうる。本願で用いる「フレーム」の用語は、かかる代表的なキーフレームを含むことが意図される。
【００２７】
１つ又は複数のフレームが得られると、段階２０４で示すように、そこからカラーヒストグラム情報が抽出される。本願で用いるカラーヒストグラムは、公知の技術を用いて発生されうる。例えば、カラーヒストグラムの発生及び処理に関する詳細は、N.  Dimitrova,  J.  Martino,  L.  Agnihotri及びH.  Elenbaasによる"Color  Superhistograms  for  Video  Representation,  "  IEEE国際画像処理会議（International  Conference  on  Image  Processing）、日本国、神戸、１９９９年、L.  Agnihotri及びN.  Dimitrovaによる"Video  Clustering  Using  Superhistograms  in  Large  Archives,"  Visual  2000、フランス国リヨン、２０００年１１月、並びに、発明者J.  Martino,  N.  Dimitrova,  H.  Elenbaas及びJ.  Rutgersによる１９９９年７月７日出願の「A  Histogram  Method  for  Characterizing  Video  Content」なる名称の欧州特許出願第１０３８２６９号明細書に記載されている。
【００２８】
上述のように、本発明は、本願では一般的に、例えば同様のカラーパレットを有するか他の方法で関連すると判定される多数のフレームといった多数の関連するフレームに対して発生されるヒストグラムを指す「ファミリーヒストグラム」という概念に基づく。段階２０６は、段階２０４において抽出された所与のカラーヒストグラムを以前のファミリーヒストグラムと比較することによりこの種類のファミリーヒストグラムを作る。段階２０２、２０４、２０６及び２０８を最初に通るとき、以前のファミリーヒストグラムは、最初に抽出されたカラーヒストグラムへ初期化されるか、特別な形態で他の方法で初期化されうる。その後、段階２０４からの、やはり現在の抽出されたヒストグラムと称される与えられた抽出されたカラーヒストグラムは、段階２０６において、これが以前のファミリーヒストグラムに「属するか」否かを判定するために処理される。例えば、現在の抽出されたヒストグラムは、以前のファミリーヒストグラム、平均ヒストグラム、ファミリーからの代表フレーム、又は比較に適した他の要素と比較されうる。
【００２９】
現在の抽出されたヒストグラムが以前のファミリーヒストグラムの一部であるとみなされる場合、そのファミリーヒストグラムは、段階２０６において新しいメンバーを含むよう更新され、結果として得られるファミリーヒストグラムは現在のファミリーヒストグラムと称される。現在のファミリーヒストグラムは、次のフレームを処理するために方法が段階２０８を介して段階２０２へ戻り、それにより現在のファミリーヒストグラムが以前のファミリーヒストグラムとなるため、不完全であると考えられる。しかしながら、現在の抽出されたヒストグラムが以前のファミリーヒストグラムと一致しない場合、次のファミリーヒストグラムは完全であると考えられ、方法は、段階２０８を介して段階２１０へ移る。
【００３０】
上述のように、図２の方法は多数の指定されたフレームの夫々に対して、カラーヒストグラムを計算し、次に最も近いファミリーヒストグラムの一致を見つけるよう１つ又はそれ以上の以前に計算されたファミリーヒストグラムを探す。所与の現在のヒストグラムＨCと以前のファミリーヒストグラムＨPの間の比較は、ヒストグラムの差Ｄを計算する以下の方法のうちの１つ又は他の関連する比較エンティティを用いて計算されうる。当業者によって明らかであるように、本願に明示的に記載されていない他の方法もまた使用されうる。
【００３１】
（１）ヒストグラムの差Ｄは、以下の式を用いて計算されうる。
【００３２】
【数１】
2005513663.tif 000003
式中、Ｎは使用されるべき色のビン（bin）の総数である。例として、ビンの数（Ｎ）は例えば９個として選ばれるが、他の個数のビンもまた使用されうる。この式を用いて得られる値は、各フレーム中で０と最大画素数の２倍との間の範囲をとる。類似率（percentage  of  similarity）を得ることが望まれるため、得られた値を画素の総数で割り算することにより正規化してもよい。正規化された値は、０と１の間であり、値が０に近いことはフレームが類似していることを示し、値が１に近いことはフレームが類似していないことを示す。
【００３３】
（２）ヒストグラムの差Ｄは、或いは以下の式を用いて計算されてもよい。
【００３４】
【数２】
2005513663.tif 000004
この場合のＤの値は、上述の（１）の場合と同様に正規化されうる。
【００３５】
（３）ヒストグラムの交差Ｉは、以下の式を用いて計算されうる。
【００３６】
【数３】
2005513663.tif 000005
この式を用いて得られる値は０と１の間の範囲をとる。値が０に近いことはフレームが類似しないことを意味し、値が１に近いことはフレームが類似することを意味する。同じ類似性と解釈されるヒストグラムを比較するために、距離の尺度としてＤ＝１−Ｉを使用することができる。
【００３７】
（４）２つのフレームヒストグラムを比較するためにカイ２乗検定が以下の式を用いて計算されうる。
【００３８】
【数４】
2005513663.tif 000006
この場合、値は０と色のビンの数Ｎとの間の範囲をとるため、Ｎで正規化することができ、即ち、Ｄ＝χ2／Ｎとなる。
【００３９】
（４）ビンに関するヒストグラムの交差は、以下の式を用いて計算されうる。
【００４０】
【数５】
2005513663.tif 000007
上述のヒストグラム交差と同様に、Ｂの値が低いことはフレームが類似しないことを意味し、高い値であることはフレームが類似することを意味する。以前の尺度と一貫性をもたせるよう、Ｄ＝１−Ｂ／Ｎを用いて距離を計算することができる。
【００４１】
この点に関して上述の図２の方法から明らかであるよう、ファミリーヒストグラムは、連続するフレーム、Ｉフレーム、シーンの合間からのフレームを表わすヒストグラムから導出される累積的に平均がとられたヒストグラムでありうる。このようなフレームは、上述のように、本願ではキーフレームと称される。最初に出会うフレームのヒストグラムは、最初のファミリーについてのファミリーヒストグラムであると理解される。第２のフレームから始めて、各新しく出会うフレームについて、新しいフレームが既存のファミリーヒストグラムとマージされるべきか否か、又は、現在のフレームが実質的に異なる場合は新しいファミリーが開始されるべきか否かが決定されるべきである。例として、２つのヒストグラムが２つのフレーム又は２つのキーフレームから抽出される場合、これらの２つのヒストグラム間の差が計算されうる。差が、一定の閾値よりも小さい場合、現在のヒストグラムはファミリーヒストグラムへマージされる。
【００４２】
ファミリーヒストグラムは、構成する各ヒストグラムへのポインタ及び対応するフレーム番号、マージされたファミリーヒストグラム、並びに全持続時間を表わす変数を有するデータ構造として実施されうる。後者の変数は、現在のヒストグラムによって表わされるシーンの持続時間へ初期化されうる。ファミリーヒストグラムのマージは、以下の式によって行われうる。
【００４３】
【数６】
2005513663.tif 000008
式中、ｌはビン番号を表わす変数、famはこの特定のファミリーに対する添え字、Ｈfamはファミリーヒストグラムを表わすベクトル、ｉはファミリーヒストグラム中のショット番号を表わす添え字、duriはシーンｉの持続時間を表わす変数、Ｈi（ｌ）はキーフレーム番号iに対するビンｌ中の画素の数を示す数値、並びに、total_durfamはファミリー中に既にある全てのシーンの全持続時間を表わす変数である。
【００４４】
現在のヒストグラムを以前のファミリーヒストグラムと比較する技術の２つの例は、ここでは、非連続的及び連続的な比較と称される。
【００４５】
非連続的な場合、各フレーム又はキーフレームに対してヒストグラムを計算し、次に、指定された時間に亘る最も近いファミリーヒストグラムの一致を見いだすために多数の以前に計算されたファミリーヒストグラムを探す。指定された期間内のフレーム又はキーフレームと、最も近いファミリーヒストグラムとの間の差が一定の閾値よりも低い場合、現在のフレーム又はキーフレームはそのファミリーに加えられ、新しいヒストグラムを含む新しいファミリーヒストグラムが計算される。これにより、互いに隣同士ではないが、同様の色パレットを有するフレームのクラスタリングが行われる。
【００４６】
連続的な場合、各フレーム又はキーフレームに対してヒストグラムを計算し、次に、１つの以前のファミリーヒストグラムのみを探す。フレーム又はキーフレームと以前のファミリーヒストグラムの間の差が一定の閾値よりも低い場合にのみ、現在のフレーム又はキーフレームが以前のファミリーに加えられる。さもなければ、新しいファミリーは、新しいヒストグラムを新しいファミリーのファミリーヒストグラムとして始められる。
【００４７】
図３は、本発明の技術によりファミリーヒストグラムを発生する１つの可能な方法の例を示す図である。この例では、キーフレームＫ1は１９２個のフレームのシーケンスを表わし、キーフレームＫ2は７９個のフレームのシーケンスを表わす。カラーヒストグラムＨ1及びＨ2は、図２の段階２０４に示すように、夫々、キーフレームＫ1及びＫ2から抽出される。この例については更に、図２を参照して上述した他の処理操作に基づいて、カラーヒストグラムＨ1及びＨ2を組み合わせるために決定がなされたと想定する。これらのヒストグラムは、従って、図示するようにファミリーヒストグラムＦＨ1へと組み合わされる。
【００４８】
図３の例は、例示のためだけに示すものであって、決して本発明の範囲を制限するものと考えられるべきではないことが理解されるべきである。当業者は、本発明に従ってファミリーヒストグラムを形成するために多数の他の技術が使用されうることを認識するであろう。
【００４９】
再び図２を参照するに、段階２１０において、現在のファミリーヒストグラムはコマーシャルを表わす特徴について解析される。段階２１０において現在のファミリーヒストグラムに適用される解析は、望ましくは、例示的な実施例では、持続時間と反復性の解析を含む。持続時間に関しては、所与のファミリーヒストグラムの長さが約１５乃至６０秒間であれば、所与のファミリーヒストグラムはコマーシャルに関連付けられている可能性がある。所与のファミリーヒストグラムがコマーシャルに関連する持続時間を有する場合、１つ又はそれ以上の追加的なファミリーヒストグラムに関連して、上述の反復性について更に解析される。例として、所与のファミリーヒストグラムが、夫々が約１５乃至６０秒間の長さを有するファミリーヒストグラムの一連の又は他の群のうちの１つである場合、入力ビデオ中のコマーシャルセグメントが示される。特定のコマーシャル及び／又はコマーシャルセグメントは、段階２１２に示すようにマーク付けされうる。
【００５０】
他の例として、段階２１０におけるコマーシャル検出は、夫々が長さが約３乃至５分間の典型的なコマーシャル時間の時間期間内に約１０秒間以下の持続時間を有する多数の短いファミリーヒストグラムを検出するよう設定されるべきである。
【００５１】
段階２１０におけるコマーシャル検出は、一分間当たりの、又は、コマーシャル時間の典型的な持続時間、例えば３乃至５分間の他の時間当たりの、多数の固有のファミリーヒストグラムを検出するよう設定されることが可能である。より特定的には、コマーシャル時間は、１分間当たりに少なくとも４つのファミリーヒストグラムが存在すること、又は１分間又は他の時間期間当たりに他の所定の数の固有のファミリーヒストグラムが存在することによって示されうる。本願では「固有の（unique）」という用語は、特定の態様で互いに異なるファミリーヒストグラムを指す。
【００５２】
更なる例として、段階２１０のコマーシャル検出は、特定の時間よりも長い持続時間、例えば３０秒間よりも長い持続時間を有するファミリーヒストグラムが存在しないことを検出するよう設定されうる。
【００５３】
段階２１０におけるコマーシャル検出は、更なる種類の解析を使用しうる。このような解析は、例えば、ファミリーの間の黒いフレーム又は音声の無音を探すこと、又は、ファミリー内のカット率を測定することを含みうる。更に、特定の字幕又は何らかの他の公知の特徴の存在は、コマーシャル領域の中に実際にあることを照明するために使用されうる。本発明に関して使用されるのに適した更なる解析の他の例は、上述の米国特許出願第０９／４１７，２８８号明細書に見いだされうる。
【００５４】
また、上述の長さ約１５乃至６０秒間の短い持続時間を有するファミリーヒストグラムは、例えば約１５分間よりも短い指定された長さの以前の期間中に見いだされる、より長いファミリーヒストグラムと比較されうる。より長いファミリーヒストグラムは、一般的には、コマーシャルではなく、放送番組に関連付けられる。一般的には、放送番組は、視覚内容が多くのフレームに亘って同様であるため、より長いファミリーヒストグラムを有する傾向がある。しかしながら、コマーシャルの場合、より短いファミリーヒストグラムは、番組に関連付けられるより長いファミリーヒストグラムとは大きく異なることとなり、なぜならばコマーシャルの視覚内容は、意図的に「覚えやすい」ように設計され、短い持続時間中の番組内容とは異なるためである。
【００５５】
他の例として、上述の方法で決定される短いファミリーヒストグラムは、対応する番組の包括的なスーパーヒストグラムと比較されうる。
【００５６】
更に、従来の電子番組ガイド（ＥＰＧ）からの情報は、上述の解析において用いられ得る。例えば、番組名、ジャンル、又は他の詳細は、ＥＰＧから取得することができ、予め計算され特定の番組のために記憶された特定の包括的なスーパーヒストグラムを識別するために使用されうる。対応する時間及びチャンネルで放送されている特定の番組の予め計算されたスーパーヒストグラムに一致しない持続時間のファミリーヒストグラムの群は、次に、番組中のコマーシャルセグメントに関連付けられる可能性が高いものとして識別されうる。
【００５７】
また、反復性に関して、例えば１時間といった指定された期間内に同じ又は同様の短いファミリーヒストグラムが繰り返されるかどうかを確認することが可能である。これは、あるコマーシャルは繰り返す傾向があるからである。例えば、ビールのコマーシャルは、放送スポーツ番組中で頻繁に繰り返される。ビールのコマーシャルのファミリーヒストグラムは一般的には対応するスポーツ番組のものと一致しないが、スポーツ番組中の以前の時点において同じコマーシャルを放送するのに発生されたファミリーヒストグラムと一致しうる。
【００５８】
更なる他の例として、段階２１０におけるコマーシャル検出は、指定された期間内の多数の以前に識別された短いファミリーヒストグラムがないことを検出するよう構成されうる。より特定的には、約１５分間程度の持続時間の期間が多数の以前に識別された短いファミリーヒストグラムのうちのいずれも含まない場合、その１５分間の期間は、コマーシャル時間の間の番組セグメントでありうる。
【００５９】
また、本発明の技術を、他の種類の望ましくない内容、例えば、暴力、爆発、セックス又は他の明示的な内容を検出するために使用することが望まれることがある。本発明の技術を用いて検出されるべき上述の及び他の種類の内容は、ユーザによってマーク付けされえ、例えば、ユーザは、排除されるべき又は含まれるべき特定の種類の内容を指定しうる。
【００６０】
特定のファミリーヒストグラムがコマーシャル又は他の種類の指定されたビデオ内容と関連付けられるとして識別されると、これらのファミリーヒストグラムはかかる内容の境界をマークするために使用されうる。
【００６１】
所与のファミリーヒストグラムは、ファミリーヒストグラムの中の最初の、最後の、又は任意の指定又はランダムに選択されたフレームでありうるキーフレーム、ファミリーヒストグラムに最もよく関連すると判定されたキーフレーム、又は、所与のファミリーヒストグラムをマークする個々のフレームヒストグラムの平均によって表わされてもよい。上述の及び他の表現は、本願で用いられる「ファミリーヒストグラム」の用語に含まれることが意図される。
【００６２】
有利には、図２に関連して説明した例示的な方法は、実質的に単一の色パレットを有するコマーシャル又は他の種類のビデオ内容を識別するために使用されうる。例えば、コマーシャルの場合、コマーシャルは典型的には約１５乃至６０秒間の長さであり、これは対応するファミリーヒストグラムの持続時間、又は、同様の持続時間の一連の又は多数の他のファミリーヒストグラム内の存在に反映される。
【００６３】
本発明の他の例示的な実施例は、色エントロピー法を用いて実施されうる。方法は、以下、ＭＰＥＧ符号化されたビデオシーケンスのＩフレームに適用されるものとして示され、以下の段階を含む。
【００６４】
１．ＭＰＥＧ符号化されたビデオシーケンスの各Ｉフレームに対して、Ｎ個のビンのカラーヒストグラムを計算する。
【００６５】
２．どのビンが最も多くの票（vote）を有するかを判定する。ビン毎の総票数をこの最多の票で除算することにより、ヒストグラムを正規化する。これにより、ｊ番目のＩフレームＩjに対する確率ベクトル
【００６６】
【数７】
2005513663.tif 000009
が得られる。
【００６７】
３．ｊ番目のＩフレームＩjに対する色エントロピー
【００６８】
【数８】
2005513663.tif 000010
を計算する。
【００６９】
４．ｊ番目のＩフレームＩjを中心とし、全部でＦ個のＩフレームを含む、例えば１０秒の時間的なスライディングウィンドウＷが与えられているとき、平均エントロピー、
【００７０】
【数９】
2005513663.tif 000011
を計算する。
【００７１】
５．ウィンドウＷ内で、＜Ｓ＞の平均及び分散、即ち、それぞれ、
【００７２】
【数１０】
2005513663.tif 000012
を計算する。
【００７３】
６．ウィンドウＷがＩフレームからＩフレームへスライドするにつれて、段階５において計算された分散がピークを示す場合、２又は３の連続するＩフレームの後、これが新しいビデオセグメントに対する候補として生じた最初のＩフレームを決定する。この変化の後、分散が高いままであれば、この最初のＩフレームをコマーシャルの候補としてタグ付けする。他方で、この分散が急速に低くなる場合、この最初のＩフレームをシーン変化の候補と考える。
【００７４】
この色エントロピー方法は、簡単に上述の他の技術、即ち図１のシステム及び図２の方法において実施されうる。上述の特定の色エントロピー方法は、例としてのみ示されるものであって、当業者は本発明の技術によって他の色エントロピー方法が実施されうることを認識するであろう。
【００７５】
上述のように、上述の技術を用いてシステム１００によってコマーシャル又は他の種類のビデオ内容が検出されると、マーク付けされたコマーシャル又は他の内容を除去又は他の方法で取り扱うための従来のアプローチ、例えば記録された放送を早送りすること、テレビジョンを消音すること、ディジタルビデオ信号中の指定された点へ飛ぶこと等は、そのまま適用されうる。
【００７６】
本発明の他の利点は、上述の技術がメモリ又は計算についてのあまりにも高い要求なしに実施されうることである。
【００７７】
本発明は、コマーシャルの検出によく適しているが、任意の指定された種類のビデオ内容、例えば表示及び記録のための任意の所望の種類の内容、及び、続く再生、又は、削除されるべき任意の望ましくない種類の内容の検出と共に用いられ得る。
【００７８】
本発明の上述の実施例は、例示のためだけであることが意図される。例えば、本発明は、任意の所望の種類のビデオ処理システム又は装置において、並びに、本願に特に記載するモノ以外の多くの適用において、他の種類の画像信号の検出を実施するのに使用されうる。更に、カラーヒストグラムを用いて例示したが、本発明の技術は他の種類のヒストグラム、例えば強度ヒストグラム等を用いて実施されうる。本発明は、少なくとも部分的には、それ以外は従来通りの電子的、磁気的、光学的記録媒体、又は他の種類のメモリ上に記憶される１つ又はそれ以上のソフトウエアプログラムの形で実施されえ、処理装置、例えば図１のシステム１００のプロセッサ１０５によって、実行される。特許請求の範囲に記載の上述の及び多数の他の実施例は当業者によれば明らかとなろう。
【図面の簡単な説明】
【００７９】
【図１】本発明が実施されうるビデオ処理システムを示すブロック図である。
【図２】図１のビデオ処理システムにおいて実施されうる本発明の例示的な実施例によるコマーシャル検出処理のフローチャートである。
【図３】本発明の技術によるファミリーヒストグラムの生成を示す図である。
【図１】
2005513663.tif 000013
【図２】
2005513663.tif 000014
【図３】
2005513663.tif 000015
【国際調査報告】
2005513663.tif 000016
2005513663.tif 000017