(57)【要約】  オーディオビジュアル信号の意味的なまとまりに対応するセグメント１１の開始点１２を決定する方法は、低オーディオ出力についての基準を満たすセクション１４を検出するため該信号のオーディオ成分を処理するステップと、ショットに対応するセクションの境界を識別するため該オーディオビジュアル信号を処理するステップと、を含む。該オーディオビジュアル信号のビデオ成分は、司会者が表示されている見込みが高い画像を有する特定のタイプのショットを識別するための基準に合致する少なくとも１つのショットにより形成されるビデオセクションであって、該特定のタイプのショットのみを含むビデオセクションを識別するための基準を評価するために処理される。該低オーディオ出力についての基準を満たすセクション１４の少なくとも終了点が、識別されたビデオセクション１３の境界間の特定の間隔にある場合に、該低オーディオ出力についての基準を満たすセクション１４に一致し且つ該識別されたビデオセクションの境界間に位置する点が、セグメント１１の開始点１２として選択される。識別されたビデオセクション１３に一致する低オーディオ出力についての基準を満たすセクションがないことが決定されると、該ビデオセクションの境界が、セグメント１１の開始点１２として選択される。
2011504034.tif 000002
【特許請求の範囲】
【請求項１】
オーディオビジュアル信号の意味的なまとまりに対応するセグメントの開始点を決定する方法であって、前記方法は、
低オーディオ出力についての基準を満たすセクションを検出するため前記信号のオーディオ成分を処理するステップと、
ショットに対応するセクションの境界を識別するため前記オーディオビジュアル信号を処理するステップと、
を含み、前記オーディオビジュアル信号のビデオ成分は、司会者が表示されている見込みが高い画像を有する特定のタイプのショットを識別するための基準に合致する少なくとも１つのショットにより形成されるビデオセクションであって、前記特定のタイプのショットのみを含むビデオセクションを識別するための基準を評価するために処理され、
前記低オーディオ出力についての基準を満たすセクションの少なくとも終了点が、識別されたビデオセクションの境界間の特定の間隔にある場合に、前記低オーディオ出力についての基準を満たすセクションに一致し且つ前記識別されたビデオセクションの境界間に位置する点が、セグメントの開始点として選択され、
識別されたビデオセクションに一致する低オーディオ出力についての基準を満たすセクションがないことが決定されると、前記ビデオセクションの境界が、セグメントの開始点として選択される方法。
【請求項２】
前記オーディオビジュアル信号のビデオ成分の処理は、前記特定のタイプのショットを識別するための基準の評価を含み、前記評価は、ショットの少なくとも１つの画像が少なくとも１つの更なる画像に対する類似度を満たすか否かの決定を含む、請求項１に記載の方法。
【請求項３】
前記特定のタイプのショットを識別するための基準の評価は、ショットの少なくとも１つの画像が、前記ショットに含まれる少なくとも１つの更なる画像に対する類似度を満たすか否かの決定を含む、請求項２に記載の方法。
【請求項４】
前記特定のタイプのショットを識別するための基準の評価は、ショットの少なくとも１つの画像が、少なくとも１つの更なるショットの少なくとも１つの更なる画像に対する類似度を満たすか否かの決定を含む、請求項２又は３に記載の方法。
【請求項５】
前記オーディオビジュアル信号に亘って類似する画像を含むショットの分布の一様性を解析するステップを含む、請求項４に記載の方法。
【請求項６】
前記オーディオビジュアル信号のビデオ成分の処理は、前記特定のタイプのショットを識別するための基準の評価を含み、前記評価は、前記ショットに含まれる少なくとも１つの画像の内容を解析し、前記ショットに含まれる少なくとも１つの画像に表示されるいずれかの人物の顔を検出することを含む、請求項１乃至５のいずれか一項に記載の方法。
【請求項７】
前記ビデオセクションを識別するための基準を評価するための前記オーディオビジュアル信号のビデオ成分の処理は、
ａ）ショットが、司会者が表示されている見込みが高い画像を有する前記特定のタイプのショットを識別するための基準に合致するとそれぞれが決定された、連続するショットのシーケンスのうちの最初のものか否かを決定するステップであって、前記シーケンスは特定の最短の長さよりも長い長さを持つステップと、
ｂ）ショットが、司会者が表示されている見込みが高い画像を有する前記特定のタイプのショットを識別するための基準に合致し、更に特定の最短の長さよりも長い長さを持つという基準に合致するか否かを決定するステップと、
のうち少なくとも一方を含む、請求項１乃至６のいずれか一項に記載の方法。
【請求項８】
前記低オーディオ出力についての基準を満たす複数のセクションのそれぞれの少なくとも終了点が、識別されたビデオセクションの境界間の特定の間隔にあることを決定すると、前記複数のセクションのうち最初に出現するセクションに一致する点を、セグメントの開始点として選択するステップを含む、請求項１乃至７のいずれか一項に記載の方法。
【請求項９】
前記低オーディオ出力についての基準を満たす複数のセクションのうち第２のものであり且つ前記最初のセクションに後続するセクションに一致する点を、少なくとも前記最初のセクションと前記第２のセクションとの間の間隔の長さが特定の閾値を超えると決定したときに、更なるセグメントの開始点として選択するステップを更に含む、請求項８に記載の方法。
【請求項１０】
前記識別されたビデオセクションのそれぞれについて、前記低オーディオ出力についての基準を満たすセクションの少なくとも終了点が、前記識別されたビデオセクションの境界間の特定の間隔にあるか否かを連続的に決定するステップを含む、請求項１乃至１０のいずれか一項に記載の方法。
【請求項１１】
前記低オーディオ出力についての基準を満たすセクションは、第１のウィンドウよりも長い第２のウィンドウに亘る平均オーディオ出力に対する、第１のウィンドウに亘る平均オーディオ出力を評価することにより検出される、請求項１乃至１０のいずれか一項に記載の方法。
【請求項１２】
オーディオビジュアル信号を意味的なまとまりに対応するセグメントにセグメント化するためのシステムであって、前記システムは、
低オーディオ出力についての基準を満たすセクションを検出するため前記信号のオーディオ成分を処理し、
ショットに対応するセクションの境界を識別するため前記オーディオビジュアル信号を処理する
ように構成され、前記オーディオビジュアル信号のビデオ成分は、司会者が表示されている見込みが高い画像を有する特定のタイプのショットを識別するための基準に合致する少なくとも１つのショットにより形成されるビデオセクションであって、前記特定のタイプのショットのみを含むビデオセクションを識別するための基準を評価するために処理され、前記システムは更に、
前記低オーディオ出力についての基準を満たすセクションの少なくとも終了点が、識別されたビデオセクションの境界間の特定の間隔にあることが決定されると、前記低オーディオ出力についての基準を満たすセクションに一致し且つ前記ビデオセクションの境界間に位置する点を、セグメントの開始点として選択するように構成され、前記システムは、
識別されたビデオセクションに一致する低オーディオ出力についての基準を満たすセクションがないことが決定されると、前記ビデオセクションの境界を、セグメントの開始点として選択するように構成される、システム。
【請求項１３】
請求項１乃至１１のいずれか一項に記載の方法を実行するように構成された、請求項１２に記載のシステム。
【請求項１４】
オーディオビジュアル信号であって、意味的なまとまりに対応し且つ前記信号の構成により示される開始点を持つセグメントに分割されたオーディオビジュアル信号において、前記オーディオビジュアル信号は、
低オーディオ出力についての基準を満たすセクションを含むオーディオ成分と、
ビデオセクションであって、前記ビデオセクションの少なくとも１つが、司会者が表示されている見込みが高い画像を有する特定のタイプの少なくとも１つのショットにより形成されるビデオセクションであって、前記特定のタイプのショットのみを含むビデオセクションを識別するための基準を満たすビデオセクションを有する、ビデオ成分と、
を含み、
前記低オーディオ出力についての基準を満たし、且つ少なくとも終了点を前記基準を満たすビデオセクションの境界間の特定の間隔に持つ少なくとも１つのセクションが、セグメントの開始点と一致し、
セグメントの少なくとも１つの開始点が、前記基準に合致し且つ前記低オーディオ出力についての基準を満たすセクションのいずれとも合致しないビデオセクションの境界と一致する、オーディオビジュアル信号。
【請求項１５】
請求項１乃至１１のいずれか一項に記載の方法により取得可能な、請求項１４に記載のオーディオビジュアル信号。
【請求項１６】
機械読み取り可能な媒体に組み込まれたときに、請求項１乃至１１のいずれか一項に記載の方法を、情報処理能力を持つシステムに実行させることが可能な命令のセットを含む、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオビジュアル信号の意味的なまとまりに対応するセグメントの開始点を決定するための方法に関する。
【０００２】
本発明はまた、オーディオビジュアル信号を意味的なまとまりに対応するセグメントにセグメント化するためのシステムに関する。
【０００３】
本発明はまた、意味的なまとまりに対応し且つ識別可能な開始点を持つセグメントに分割されたオーディオビジュアル信号に関する。
【０００４】
本発明はまた、コンピュータプログラムに関する。
【背景技術】
【０００５】
Wang, C.らによる「Automatic story segmentation of news video based on audio-visual features and text information」（Proc. 2nd Intl. Conf. on Machine Learning and Cybernetics、Xi'an、2003年11月2-5日、Vol. 5、3008-3011頁）は、オーディオビジュアル特徴及びテキスト情報に基づくニュース記事自動セグメント化方式に関する。基本的な着想は、最初にニュースビデオについてのショット境界を検出し、次いでトピックキャプションフレームが識別されて、テキスト検出アルゴリズムを用いることによりセグメント化手掛かりを得るというものである。次のステップにおいて、ショット時間エネルギー及びショット時間平均ゼロ交差率パラメータを用いることにより、無音クリップが検出される。連続するトピックキャプションの先頭の間に無音時間が含まれ、且つ無音時間とショット境界のセットとの結合が空でない場合には、無音時間の中間位置におけるフレームが、記事境界として選択される。連続する無音時間がトピックキャプション先頭と交番し、且つ無音時間とショット境界のセットとの結合が空である場合には、ニュース記事が或る司会者のショットの中にあり、当該記事の前後にショット境界がないことを示す。連続するトピックキャプションの先頭の対の間の最も長い無音時間が、記事境界として選択される。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
この既知の方法の問題は、記事境界を決定するために、無音時間の存在に依存するという点である。更に、本方法が動作するためには、キャプションを検出することが必要である。ニュース記事を表す多くのオーディオビジュアル信号は、無音時間又はキャプションのないニュース記事を含む。
【０００７】
本発明の目的は、比較的正確に、且つ比較的広範なタイプのニュース記事に対して、オーディオビジュアル信号におけるニュース記事の特性に類似する特性を持つ意味的なまとまりの開始点を検出するための、方法、システム、オーディオビジュアル信号及びコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
本目的は、本発明による、オーディオビジュアル信号の意味的なまとまりに対応するセグメントの開始点を決定する方法であって、前記方法は、
低オーディオ出力についての基準を満たすセクションを検出するため前記信号のオーディオ成分を処理するステップと、
ショットに対応するセクションの境界を識別するため前記オーディオビジュアル信号を処理するステップと、
を含み、前記オーディオビジュアル信号のビデオ成分は、司会者が表示されている見込みが高い画像を有する特定のタイプのショットを識別するための基準に合致する少なくとも１つのショットにより形成されるビデオセクションであって、前記特定のタイプのショットのみを含むビデオセクションを識別するための基準を評価するために処理され、
前記低オーディオ出力についての基準を満たすセクションの少なくとも終了点が、識別されたビデオセクションの境界間の特定の間隔にある場合に、前記低オーディオ出力についての基準を満たすセクションに一致し且つ前記識別されたビデオセクションの境界間に位置する点が、セグメントの開始点として選択され、
識別されたビデオセクションに一致する低オーディオ出力についての基準を満たすセクションがないことが決定されると、前記ビデオセクションの境界が、セグメントの開始点として選択される方法
により達成される。
【０００９】
ショットとは、１つの連続的な動きの間、現実の又は仮想的なカメラが記録する、連続した画像シーケンスのことであり、場面中の時間的にも空間的にも連続したアクションを表す。低オーディオ出力についての基準は、信号のオーディオ成分の他の部分に対する低オーディオ出力についての基準であっても良いし、絶対的な基準であっても良いし、又はこれら２つの組み合わせであっても良い。ここでは本方法は主にニュース放送に関連して説明されるが、司会者として働く人物により紹介されるアイテムから成る他のタイプのオーディオビジュアル信号も同様にセグメント化されることができる。
【００１０】
特定のタイプのショットを識別するための基準を満たすショットと一致する、低オーディオ出力についての基準を満たすセクションがないことを決定した際に、セグメントの開始点として少なくとも１つの特定のタイプの司会者ショットと見込まれるショットの境界を選択することにより、適切な司会者ショット又は司会者ショットの中断されないシーケンスを識別するための基準に合致するセクションに開始点が関連することが確実とされる。斯くして、ニュースアイテムが無音と共に始まらない場合、又は無音を含む場合には、適切な司会者ショットの点が、依然としてニュースアイテムの開始点として識別されることとなる。低オーディオ出力についての基準を満たすセクションの少なくとも終了点が識別されたビデオセクションの境界間の間隔にある場合、低オーディオ出力についての基準を満たし且つ識別されたビデオセクションの境界間に位置する点が、セグメントの開始点として選択されるため、開始点は比較的正確に決定される。とりわけ、ニュースの読み手が２つの連続するニュースアイテムを橋渡しするアナウンスをする場合、開始点が正確に決定され得る。このことは、ニュースの読み手が次のニュースアイテムに進む直前に低オーディオ出力のセクションに対応する一時停止がある見込みが高いからである。以上の効果は、オーディオビジュアル信号に存在する司会者のショットのタイプに独立して達成される。適切な司会者のショット及び低オーディオ出力についての基準を満たすセクションを位置特定すれば十分である。斯くして、本方法は、多くの異なるタイプのニュース放送に適している。
【００１１】
一実施例においては、前記オーディオビジュアル信号のビデオ成分の処理は、前記特定のタイプのショットを識別するための基準の評価を含み、前記評価は、ショットの少なくとも１つの画像が少なくとも１つの更なる画像に対する類似度を満たすか否かの決定を含む。
【００１２】
効果は、ニュース放送を通して比較的静的な司会者ショットの特性が利用される点である。いずれの特定のタイプのコンテンツの検出に依存することが必要とならない。斯くして、本方法は、背景のタイプ、字幕若しくはロゴの存在、又は司会者がどのように示されるか（全身像、デスク若しくは高座の背後）を含む司会者ショットのその他の特性にかかわらず、広範なニュース放送における使用に適している。
【００１３】
変形例においては、前記特定のタイプのショットを識別するための基準の評価は、ショットの少なくとも１つの画像が、前記ショットに含まれる少なくとも１つの更なる画像に対する類似度を満たすか否かの決定を含む。
【００１４】
該変形例は、司会者のショットは比較的静的であるという事実を活用する。司会者は一般に動かず、背景は大きく変化しない。
【００１５】
変形例においては、前記特定のタイプのショットを識別するための基準の評価は、ショットの少なくとも１つの画像が、少なくとも１つの更なるショットの少なくとも１つの更なる画像に対する類似度を満たすか否かの決定を含む。
【００１６】
該変形例は、特定のソースからの番組における種々の司会者ショットは、互いに大きく類似するという事実を活用する。とりわけ、司会者は一般に同じ人物であり、一般に同じ背景を伴って同じ位置に示される。
【００１７】
本方法の一実施例は、前記オーディオビジュアル信号に亘って類似する画像を含むショットの分布の一様性を解析するステップを含む。
【００１８】
放送におけるアイテムは同じ長さになる傾向があり、そのため司会者のショットは番組に亘って比較的一様に分布する。互いに類似するが再現しない連続したショットは、司会者のショットではなく、同じ単一の意味的なまとまりの一部である傾向がある。
【００１９】
一実施例においては、前記オーディオビジュアル信号のビデオ成分の処理は、前記特定のタイプのショットを識別するための基準の評価を含み、前記評価は、前記ショットに含まれる少なくとも１つの画像の内容を解析し、前記ショットに含まれる少なくとも１つの画像に表示されるいずれかの人物の顔を検出することを含む。
【００２０】
本実施例は、広範な放送に亘って司会者のショットを検出する際に、比較的有効である。このことは、文化の違いに比較的影響されない。なぜなら、略全ての放送文化において、司会者のショットにおいて司会者の顔は目立つからである。
【００２１】
一実施例においては、前記ビデオセクションを識別するための基準を評価するための前記オーディオビジュアル信号のビデオ成分の処理は、
ａ）ショットが、司会者が表示されている見込みが高い画像を有する前記特定のタイプのショットを識別するための基準に合致するとそれぞれが決定された、連続するショットのシーケンスのうちの最初のものか否かを決定するステップであって、前記シーケンスは特定の最短の長さよりも長い長さを持つステップと、
ｂ）ショットが、司会者が表示されている見込みが高い画像を有する前記特定のタイプのショットを識別するための基準に合致し、更に特定の最短の長さよりも長い長さを持つという基準に合致するか否かを決定するステップと、
のうち少なくとも一方を含む。
【００２２】
本実施例は、司会者による或る導入に対応するオーディオビジュアル信号のセクションの全体を識別する機会を増大させる際に有効である。とりわけ、司会者に急に戻ること、又は２人の司会者間で急速に変化することが生じる場合には、これら変化は例えば新しいニュースアイテムのような新しいアイテムへの導入として誤って識別されず、或る特定のニュースアイテムへの導入の連続として識別される。
【００２３】
本方法の一実施例は、前記低オーディオ出力についての基準を満たす複数のセクションのそれぞれの少なくとも終了点が、識別されたビデオセクションの境界間の特定の間隔にあることを決定すると、前記複数のセクションのうち最初に出現するセクションに一致する点を、セグメントの開始点として選択するステップを含む。
【００２４】
効果は、司会者のショット内又は司会者のショットの連続するシーケンス内にアイテムがある場合にも、該アイテムの開始点が比較的信頼性高く決定される点である。
【００２５】
一変形例は、前記低オーディオ出力についての基準を満たす複数のセクションのうち第２のものであり且つ前記最初のセクションに後続するセクションに一致する点を、少なくとも前記最初のセクションと前記第２のセクションとの間の間隔の長さが特定の閾値を超えると決定したときに、更なるセグメントの開始点として選択するステップを更に含む。
【００２６】
斯くして、司会者のショット内又は司会者のショットの中断されないシーケンス内にアイテムがあり且つ次のアイテムが同じ司会者のショット内又は司会者のショットの中断されないシーケンス内に開始する場合、アイテムのセグメント化はいずれの開始点をも見逃すことなく達成される。
【００２７】
本方法の一実施例は、前記識別されたビデオセクションのそれぞれについて、前記低オーディオ出力についての基準を満たすセクションの少なくとも終了点が、前記識別されたビデオセクションの境界間の特定の間隔にあるか否かを連続的に決定するステップを含む。
【００２８】
効果は、次のアイテムの開始点は一般に前のアイテムの終了点であるため、オーディオビジュアル信号が比較的効率的にセグメント化される点である。斯くして、連続した司会者のショットの処理（本方法においては少なくとも１つのセグメントの開始点が各司会者ショットと一致するものとして決定される）は、オーディオビジュアル信号の意味的なまとまりへの完全なセグメント化を達成する効率的な方法である。
【００２９】
本方法の一実施例においては、前記低オーディオ出力についての基準を満たすセクションは、第１のウィンドウよりも長い第２のウィンドウに亘る平均オーディオ出力に対する、第１のウィンドウに亘る平均オーディオ出力を評価することにより検出される。
【００３０】
効果は、「無音時間」が背景のオーディオレベルに対して決定される点である。斯くして、例えば、背景のテーマが再生されている間に司会者が一時停止した場合、又は司会者のショットが野外撮影のものである場合、アナウンスの一時停止が信頼性高く識別される。
【００３１】
他の態様によれば、本発明による、オーディオビジュアル信号を意味的なまとまりに対応するセグメントにセグメント化するためのシステムは、
低オーディオ出力についての基準を満たすセクションを検出するため前記信号のオーディオ成分を処理し、
ショットに対応するセクションの境界を識別するため前記オーディオビジュアル信号を処理する
ように構成され、前記オーディオビジュアル信号のビデオ成分は、司会者が表示されている見込みが高い画像を有する特定のタイプのショットを識別するための基準に合致する少なくとも１つのショットにより形成されるビデオセクションであって、前記特定のタイプのショットのみを含むビデオセクションを識別するための基準を評価するために処理され、前記システムは更に、
前記低オーディオ出力についての基準を満たすセクションの少なくとも終了点が、識別されたビデオセクションの境界間の特定の間隔にあることが決定されると、前記低オーディオ出力についての基準を満たすセクションに一致し且つ前記ビデオセクションの境界間に位置する点を、セグメントの開始点として選択するように構成され、前記システムは、
識別されたビデオセクションに一致する低オーディオ出力についての基準を満たすセクションがないことが決定されると、前記ビデオセクションの境界を、セグメントの開始点として選択するように構成される。
【００３２】
一実施例においては、該システムは、本発明による方法を実行するように構成される。
【００３３】
他の態様によれば、本発明によるオーディオビジュアル信号は、意味的なまとまりに対応し且つ前記信号の構成により示される開始点を持つセグメントに分割され、前記オーディオビジュアル信号は、
低オーディオ出力についての基準を満たすセクションを含むオーディオ成分と、
ビデオセクションであって、前記ビデオセクションの少なくとも１つが、司会者が表示されている見込みが高い画像を有する特定のタイプの少なくとも１つのショットにより形成されるビデオセクションであって、前記特定のタイプのショットのみを含むビデオセクションを識別するための基準を満たすビデオセクションを有する、ビデオ成分と、
を含み、
前記低オーディオ出力についての基準を満たし、且つ少なくとも終了点を前記基準を満たすビデオセクションの境界間の特定の間隔に持つ少なくとも１つのセクションが、セグメントの開始点と一致し、
セグメントの少なくとも１つの開始点が、前記基準に合致し且つ前記低オーディオ出力についての基準を満たすセクションのいずれとも合致しないビデオセクションの境界と一致する。
【００３４】
一実施例においては、該オーディオビジュアル信号は、本発明による方法により取得可能である。
【００３５】
本発明の他の態様によれば、機械読み取り可能な媒体に組み込まれたときに、本発明による方法を情報処理能力を持つシステムに実行させることが可能な命令のセットを含む、コンピュータプログラムが提供される。
【００３６】
本発明は、添付図面を参照しながら、更に詳細に説明される。
【図面の簡単な説明】
【００３７】
【図１】ハードディスク記憶機器を備えた一体型受信器デコーダの簡略化されたブロック図である。
【図２】オーディオビジュアル信号のセクションを示す模式的な図である。
【図３】オーディオビジュアル信号におけるニュースアイテムの開始点を決定する方法のフロー図である。
【図４】図３に示された方法の詳細を示すフロー図である。
【発明を実施するための形態】
【００３８】
一体型受信器デコーダ（ＩＲＤ）１は、ディジタルテレビジョン放送、ビデオ・オン・デマンドサービス等を受信するための、ネットワークインタフェース２、復調器３、及びデコーダ４を含む。ネットワークインタフェース２は、ディジタル、衛星、地上、又はＩＰベースの放送又はナローキャストネットワークへのインタフェースであっても良い。該デコーダの出力は、例えばＭＰＥＧ−２若しくはＨ．２６４又は同様のフォーマットでの、（圧縮された）ディジタルオーディオビジュアル信号を有する１つ以上の番組ストリームを有する。番組又はイベントに対応する信号は、例えばハードディスク、光ディスク又は固体メモリ装置のような、大容量記憶装置５に保存されることができる。
【００３９】
大容量記憶装置５に保存されたオーディオビジュアルデータは、テレビジョンシステム（図示されていない）における再生のため、ユーザによりアクセスされることができる。この目的のため、ＩＲＤ１は、例えばリモートコントローラ及びテレビジョンシステムの画面に表示されるグラフィカルなメニューのような、ユーザインタフェース６を備える。ＩＲＤ１は、主メモリ８を用いてコンピュータプログラムコードを実行する中央演算処理ユニット（ＣＰＵ）７により制御される。メニューの再生及び表示のため、ＩＲＤ１は更に、テレビジョンシステムに適したビデオ及びオーディオ信号を生成するためのビデオ符号化器９及びオーディオ出力段１０を備える。ＣＰＵ７におけるグラフィックモジュール（図示されていない）は、ＩＲＤ１及びテレビジョンシステムにより提供されるグラフィカルユーザインタフェース（ＧＵＩ）のグラフィカルコンポーネントを生成する。
【００４０】
放送プロバイダは番組ストリームをイベントにセグメント化し、斯かるイベントを識別するための補助データを含めているであろうが、これらイベントは一般に、例えば完全なニュース番組のような完全な番組に対応し、ここでは一例として利用される。
【００４１】
ますます多くのニュース番組が、テレビジョン及びインターネットで放送されている。略全てのチャネルが、毎日のニュース番組を持ち、多くの専用ニュースチャネルも利用可能となっている。大量の利用可能なコンテンツは、ユーザにとってその全てを視聴することを略不可能にしている。更に、殆どのニュースアイテム、即ち個々の記事に関連するニュース番組内の個々の意味的なまとまりは、前のニュース番組から通常繰り返される。ユーザが最近新しい番組を既に視聴している場合には、該ユーザは同じニュースアイテムを再び視聴することに関心を持たないことは当然である。ユーザはまた一般に、全ての利用可能なニュースアイテムを視聴することに関心はない。
【００４２】
ＩＲＤ１は、完全なニュース番組を取得し（例えば番組ストリーム中で識別される）、番組中のどの時点で新たなニュースアイテムが開始するかを検出することを可能とするルーチンを実行するようにプログラムされ、それにより、番組を表すオーディオビジュアルデータを備えた補助データにおいて識別されるものよりも小さな個々の意味的なまとまりへのニュース番組の分割を可能とする。
【００４３】
図２は、ニュース放送のセクションを示す模式的なタイムラインである。オーディオビジュアル信号のセグメント１１ａ乃至ｅは個々のニュースアイテムに対応し、グランドトゥルース（ground truth）を表す上部のタイムラインに示されている。境界１２ａ乃至ｆは、各次のニュースアイテムの開始点を表し、先行するニュースアイテムの終了点に対応する。
【００４４】
オーディオビジュアル信号のビデオ成分は、例えばＭＰＥＧ−２又はＨ．２６４ビデオフレームのような、画像又は半画像に対応するビデオシーケンスのシーケンスを有する。本明細においては、ショットとは、１つの連続的な動きの間に、現実の又は仮想的なカメラが記録する、連続した画像シーケンスのことであり、それぞれが場面中の時間的にも空間的にも連続したアクションを表す。ショットのなかで、幾つかは１人以上のニュースの読み手を表し、図２においては司会者ショット１３ａ乃至ｅとして表される。司会者のショットは、以下に説明されるように、セグメント１１の開始点１２を決定するために検出され利用される。
【００４５】
オーディオビジュアル信号のオーディオ成分は、オーディオ信号が比較的低い強度を持つセクション（ここでは無音時間１４ａ乃至ｈと呼ばれる）を含む。これらセクションもまた、ニュースアイテムに対応するオーディオビジュアル信号のセグメント１１の開始点１２を決定するために、ＩＲＤ１により利用される。
【００４６】
図３及び４を参照すると、ニュース番組に対応するオーディオビジュアル信号をセグメント化するように促されると、ＩＲＤ１は、オーディオビジュアル信号に対応するデータを取得する（ステップ１５）。次いで、無音時間１４の位置特定（ステップ１６）及びショット境界の識別（ステップ１７）の両方に進む。勿論、ニュースアイテムの数よりも多くのショットが存在する。なぜなら、ニュースアイテムは一般に幾つかのショットから成るからである。これらショットは、司会者ショットとその他のショットとに分類される（ステップ１８）。
【００４７】
一実施例においては、無音時間を位置特定するステップ１６は、短い時間ウィンドウに亘ってオーディオ信号強度を例えば所定の値のような或る絶対値に対応する閾値と比較することを含む。別の実施例においては、第１の移動ウィンドウに亘る平均オーディオ出力と、第１のウィンドウと同じ速度で処理する第２のウィンドウに亘る平均オーディオ出力との比が決定される。第２のウィンドウは第１のウィンドウよりも大きく、即ちオーディオビジュアル信号のオーディオ成分のより大きなセクションに対応する。実際には、例えば通常の描画速度における１２秒に対応する長時間の歩行平均が、例えば１秒のような短時間の歩行平均と比較される。第２の閾値よりも長い間隔の間、短時間の平均に対する長時間の平均の比率が閾値（例えば１０）よりも大きい場合には、無音時間１４が検出されたとみなされる。第２の閾値は、有意な一時停止のみが無音時間として分類されることを確実にするため十分に高く、低オーディオ出力についての基準の一部である。一実施例においては、例えば１乃至５ｋＨｚのような特定の周波数範囲内のオーディオ出力のみが決定される。
【００４８】
ショットを識別するステップ１７は例えば、ビデオ信号のビデオ成分における急激な遷移を識別すること、又はビデオ符号化規格により定義される特定のタイプのビデオフレームの出現の順序の解析を含んでも良い。該ステップ１７は次のステップ１８と結合されても良く、これにより司会者のショットのみが検出されても良い。斯くして結合実施例においては、隣接する司会者ショットが、１つに併合されることができる。
【００４９】
ショットを分類するステップ１８は、１人以上の司会者が存在する見込みが高いビデオフレームを有するショットを識別するための基準の評価を含む。該基準は、幾つかのサブ基準を有する基準であっても良い。以下の評価のうち１つ以上が、該ステップ１８において実行される。
【００５０】
第１に、ＩＲＤ１は、対象のショットの少なくとも１つの画像が、同一のショット、より具体的にはショットに亘って一様に分布した画像のセット中に含まれる、少なくとも１つの更なるショットに対する或る類似度を満たすか否かを決定しても良い。このことは、比較的静的なショットを識別するように働く。比較的静的なショットは一般に、司会者のショットに対応する。なぜなら、司会者又は人物は、アナウンス中には大きく移動することはなく、彼らの画像が捕捉される背景も大きくは変化しないからである。
【００５１】
第２に、ＩＲＤ１は、対象のショットの少なくとも１つの画像が、例えば全ての後続するショットのようなニュース番組中の幾つかの更なるショットのそれぞれの少なくとも１つの画像に対する或る類似度を満たすか否かを決定しても良い。該ショットが複数の更なるショットのそれぞれに類似しており且つこれら類似する更なるショットが分布の一様度の尺度の閾値を越えるように分布している場合、該ショット（及びこれら更なるショット）は司会者ショット１３に対応すると決定される。
【００５２】
ショットの類似度は例えば、ショットに含まれる選択された画像の色ヒストグラムの平均を解析することにより決定され得る。代替として、類似度は、各ショットの選択された１つ以上の画像の特定の空間周波数成分の時間的発展を解析し、次いでこれら発展を比較して類似するショットを決定することにより決定されても良い。ショットに含まれる画像が互いにどれだけ類似しているかを決定するため、ショットの間の画素変化の量又はショットに存在する動きの量のようなショット特徴を利用することもできる。類似度の他の尺度も利用可能であり、対象のショットが他のショットにどれだけ類似しているかを決定するため、又はショットに含まれる画像が互いにどれだけ類似しているかを決定するために、これら尺度は単独で又は組み合わせて利用され得る。
【００５３】
分布の一様性の尺度は、類似するショット間の時間間隔における標準偏差であっても良いし、当該時間間隔の平均長に対する標準偏差であっても良い。他の尺度も可能である。
【００５４】
第３に、類似度の評価に代えて又は類似度の評価に加えて、対象のショットに含まれる個々の画像の内容が解析され、該ショットが司会者のショットであるか否かを決定しても良い。とりわけ、司会者のショットに典型的な特定のタイプの要素の存在について画像を解析するため、前景／背景セグメント化が実行されても良い。例えば、顔検出及び認識アルゴリズムが実行されても良い。検出された顔は、大容量記憶装置５に保存された既知の司会者のデータベースと比較される。別の実施例においては、ニュース番組における複数のショットから顔が抽出される。ニュース番組を通して再出現する顔を特定するため、クラスタリングアルゴリズムが利用される。再出現する顔が存在する１つ以上の画像を所定の数よりも多く含むショットが、司会者のショット１３に対応するものとして決定される。
【００５５】
該ステップ１８の以上の変形例は全て、画像の代わりにフレーム又は半画像に対して実行されても良い。
【００５６】
司会者ショットを識別するための基準は、特定のタイプの司会者ショットに限定され得ることが分かっている。特に、該基準は、例えば９０秒より短い非常に短いショットを拒絶することを含み得る。他のタイプのフィルタが適用されても良い。
【００５７】
司会者のショット１３が識別され無音時間１４が位置特定された後、新たなアイテムに対応するセグメント１１の開始点１２を決定するため、発見的なロジックが利用される。ショット及びとりわけ人物ショット１３は連続的に処理される。なぜなら、或るセグメント１１の開始点１２は先行するセグメント１１の終了点であり、少なくとも司会者ショット１３の連続的な処理が最も効率的であるからである。
【００５８】
司会者ショット１３の間に無音時間１４が生じるか否かにかかわらず、少なくとも１つの開始点１２は各司会者ショット１３に関連する。実際に、司会者ショット１３の境界内の間隔に位置する少なくとも１つの終了点を持つ無音時間１４に対応するオーディオ成分のセクションはないと決定された場合、当該司会者ショット１３の開始点は、セグメント１１の開始点１２として識別される（ステップ１９）。斯くして、例えば司会者のショット１３の直前に無音時間が生じた等の理由により、司会者ショット１３の間に無音が検出されない場合には、ニュースアイテムが司会者ショット１３の先頭においてセグメント化される。例えば、図２における第３の司会者ショット１３ｃは、無音時間１４のいずれともオーバラップしておらず、それ故該ショットの開始点は第４のセグメント１１ｄの開始点１２ｄとして識別される。
【００５９】
１つの無音時間１４のみが司会者ショット１３の境界内の間隔に位置する少なくとも１つの終了点を持つ場合には、無音時間１４に一致する点が、セグメント１１の開始点１２として選択される（ステップ２０）。該点は、無音時間１４の開始点か、又は無音時間１４に対応する間隔における例えば中間点のような何処かの点であり得る。次のショットまで延びる無音時間１４は、説明される実施例においては考慮されない。実際に、無音時間１４の少なくとも終了点が位置する司会者ショット１３の境界間の間隔は一般に、例えば５乃至９秒又はショット長の７５％のような、司会者ショット１３の末尾境界に到達する前のどこかで終了する。しかしながら、示される実施例においては、該間隔は全体の司会者ショット１３に対応する。説明される発見的方法を用いて、図２における第２の司会者ショット１３ｂに一致する第５の無音時間１４ｅは、第３のセグメント１１ｃの開始点１２ｃとして識別される。
【００６０】
複数の無音時間１４が、対象となる司会者ショット１３の境界間の間隔に位置する少なくとも１つの終了点を持つ場合には（図４）、無音時間のうち最初に出現するものに一致する点が、セグメントの開始点として選択される（ステップ２１）。斯くして、図２において、第１の無音時間１４ａ及び第２の無音時間１４ｂの両方が、第１の司会者ショット１３ａに一致する。第１の無音時間１４ａは、第１のセグメント１１ａの開始点１２ａとして選択される。同様に、第６の無音時間１４ｆ及び第７の無音時間１４ｇは、第４の司会者ショット１３ｄの境界内の間隔において少なくとも１つの終了点を持つ。第６の無音時間１４ｆに一致する点は、第５のセグメント１１ｅの開始点１２ｅとして選択される。
【００６１】
ニュースアイテムが、１つの司会者ショット１３の境界内に完全に含まれることも起こり得る。司会者は一般に、ニュースアイテム間で一息つき、又は当該時点において登場し得る２人の司会者間で引継ぎをし得る。いずれの場合においても、短い無音がある。ＩＲＤ１は、対象となる司会者ショット１３の全体の長さΔｔｓｈｏｔを決定する（ステップ２２）。ＩＲＤ１はまた、司会者ショット１３の間に生じる無音時間の第１のものと次のものとの間の間隔Δｔ１ｊの長さを決定する。これらの間隔Δｔ１ｊのいずれかの長さが特定の閾値を超える場合、該閾値を超える第１の間隔の末尾における無音時間が、更なるセグメント１１の先頭１２である。該閾値は、司会者ショット１３の全体の長さΔｔｓｈｏｔの一部であっても良い。説明される実施例においては、無音時間間の間隔Δｔ１ｊのいずれかの長さが第１の閾値Ｔｈ１を超え、且つ司会者ショット１３の全体の長さΔｔｓｈｏｔが第２の閾値Ｔｈ２を超えた場合にのみ、更なる開始点が選択される（ステップ２４）。これらステップ２３、２４は、対象となる司会者ショット１３内の第３の開始点を見出すために、第２の開始点と一致する無音時間１４から間隔長を算出すること等により、繰り返されても良い。図２を参照すると、第１の無音時間１４ａ及び第２の無音時間１４ｂの両方が、第１の司会者ショット１３ａに一致する。第２の無音時間１４ｂが、第２のセグメント１１ｂの開始点１２ｂとして選択される。なぜなら、第１の司会者ショット１３ａは十分に長く、第１の無音時間１４ａと第２の無音時間１４ｂとの間の間隔もまた十分に長いからである。対照的に、第６の無音時間１４ｆと第７の無音時間１４ｇとの間の間隔は短過ぎ、及び／又は第４の司会者ショット１３ｄもまた短過ぎる。
【００６２】
図２から、司会者ショット１３の境界間の間隔における点に一致する少なくとも１つの終了点を持たない第３及び第４の無音時間１４ｃ、ｄは、ニュースアイテムに対応するセグメント１１の開始点１２として選択されないことは明らかであろう。
【００６３】
ニュースアイテムに対応するセグメント１１の開始点１２の位置の決定の間に、例えばオーディオビジュアルデータを有するファイルと関連させて開始点１２の代表となるデータを保存することにより、特定のニュースアイテムへの高速なアクセスを可能とするためにオーディオビジュアル信号がインデクシングされる。代替として、当該ファイルは、別個の処理のための個々のファイルにセグメント化されても良い。いずれの場合においても、ＩＲＤ１は、よりパーソナライズされたニュースコンテンツをユーザに提供することが可能であり、又は少なくとも、このようにしてセグメント化されたニュース番組をユーザがナビゲートすることを可能とする。例えば、ＩＲＤ１は、ユーザが関心を持たないニュースアイテムをスキップするための容易な方法をユーザに提示することが可能である。代替として、本装置は、ニュース番組中に存在する全てのアイテムの即座の概観をユーザに提示し、該ユーザが関心のあるものをユーザが選択することを可能としても良い。
【００６４】
以上に記載された実施例は本発明を限定するものではなく説明するものであって、当業者は添付する請求項の範囲から逸脱することなく多くの代替実施例を設計することが可能であろうことは留意されるべきである。請求項において、括弧に挟まれたいずれの参照記号も、請求の範囲を限定するものとして解釈されるべきではない。動詞「有する（comprise）」及びその語形変化の使用は、請求項に記載されたもの以外の要素又はステップの存在を除外するものではない。要素に先行する冠詞「１つの（a又はan）」は、複数の斯かる要素の存在を除外するものではない。本発明は、幾つかの別個の要素を有するハードウェアによって、及び適切にプログラムされたコンピュータによって実装されても良い。幾つかの手段を列記した装置請求項において、これら手段の幾つかは同一のハードウェアのアイテムによって実施化されても良い。特定の手段が相互に異なる従属請求項に列挙されているという単なる事実は、これら手段の組み合わせが有利に利用されることができないことを示すものではない。
【００６５】
ＩＲＤ１を用いた実装が説明されたが、ここで概説された方法は、パーソナルコンピュータ若しくはハンドヘルド型コンピュータ、ディジタルテレビジョンセット、又は同様の装置において容易に実装され得る。
【００６６】
当業者には明らかであるように、「手段（means）」は、単独の又は他の要素と協働する、いずれのハードウェア（別個の又は集積された回路又は電子素子のような）又は、特定の機能を動作時に実行する若しくは実行するように構成されたソフトウェア（プログラム又はプログラムの一部のような）をも含むことを意図している。
「コンピュータプログラム」は、光ディスクのようなコンピュータ読み取り可能な媒体に保存されたもの、インターネットのようなネットワークを介してダウンロード可能なもの、又は他のいずれかの態様で入手可能な、いずれのソフトウェアをも意味するものと理解されるべきである。
【図１】
2011504034.tif 000003
【図２】
2011504034.tif 000004
【図３】
2011504034.tif 000005
【図４】
2011504034.tif 000006
【国際調査報告】
2011504034.tif 000007
2011504034.tif 000008
2011504034.tif 000009