(57)【要約】【課題】ビデオから抽出した聴覚的特徴および視覚的特徴の両方を用いてニュースビデオを分割および要約する方法を提供する。要約を用いて、ビデオを素早くブラウジングして関心のあるトピックを見つけることができる。【解決手段】これらの記述子を用いて、連続した男性および女性の音声セグメントをクラスタリングし、ビデオ中の異なるニュース司会者を検出する。動きアクティビティと色を用いて第２レベルのクラスタリングを行い、オーディオ解析から得た別個の話者クラスタ間の対応関係を確立する。次に司会者を、長時間を占めるクラスタまたはニュースビデオを通して何度も出現するクラスタとして識別する。司会者の識別により、意味的境界の始めと終わりがマークされる。この意味的境界を用いて、高速ブラウジングのためのニュースビデオの階層的要約を作成する。【選択図】図１
2004229283.tif 000002
【特許請求の範囲】
【請求項１】
ニュースビデオを複数のクリップに区分化するステップと、
各クリップから聴覚的特徴を抽出するステップと、
各クリップを男性の音声、女性の音声、または音声と音楽の混合のいずれかとして分類するステップと、
男性の音声および女性の音声としてラベル付けされたクリップを第１レベルのクラスタにクラスタリングする第１のクラスタリングを行うステップと、
前記ニュースビデオから視覚的特徴を抽出するステップと、
前記視覚的特徴を用いて前記第１レベルのクラスタを第２レベルのクラスタにクラスタリングし、前記第２レベルのクラスタが前記ニュースビデオ中の異なるニュース司会者を表す、第２のクラスタリングを行うステップと
を含むニュースビデオにおいてニュース司会者の遷移を識別する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的にはビデオの分割およびブラウジングに関し、特にニュースビデオのオーディオ支援型（Audio-Assisted）分割、要約およびブラウジングに関する。
【背景技術】
【０００２】
従来技術によるニュースビデオのブラウジングシステムは通常、異なるトピックまたはニュースストーリーを見つける際、ニュース司会者の遷移の検出に頼る。ビデオに遷移がマークされている場合、ユーザは、トピックからトピックへ素早く飛び、所望のトピックを見つけることができる。
【０００３】
遷移の検出は通常、ニュースビデオから抽出したテキストに高レベルのヒューリスティックを適用することによって行われる。テキストは、クローズドキャプション情報、埋め込みキャプション、音声認識システム、またはこれらの組み合わせから抽出することができる（Hanjalicら著「ダンサー：デルフト高度ニュース検索システム（Dancers: Delft advanced news retrieval system）」（IS&T/SPIE Electronic Imaging 2001: Storage and retrieval for Media Databases, 2001）およびJasinschiら著「トピックの分割および分類のための統合マルチメディア処理（Integrated multimedia processing for topic segmentation and classification）」（ICIP-2001, pp.366-369, 2001）を参照）。
【０００４】
司会者の検出は、低レベルの聴覚的（audio）特徴および視覚的特徴（画像の色、動き、およびテクスチャなど）からも行うことができる。例えば、オーディオ信号の部分をまずクラスタリングして音声または非音声に分類する。音声部分は各話者のガウス混合モデル（ＧＭＭ）の訓練に用いる。次に、音声部分を異なるＧＭＭにより分割して様々な司会者を検出する（Wangら著「マルチメディアコンテント解析（Multimedia Content Analysis）」（IEEE Signal Processing Magazine, November 2000）を参照）。このような技法はしばしば計算集約的となり領域知識（domain knowledge）を活用しない。
【０００５】
もう１つの動きベースのビデオブラウジングシステムは、種々のトピックの開始および終了フレーム番号が相まったニュースビデオのトピックリストを利用することに頼るものである（Divakaranら著「パーソナルビデオレコーダ用のコンテントベースのブラウジングシステム（Content Based Browsing System for Personal Video Recorders）」（IEEE International Conference on Consumer Electronics (ICCE), June 2002）を参照）。このシステムの主な利点は、圧縮領域において動作するために計算量が多くない（computationally inexpensive）ことである。ビデオセグメントがトピックリストから取得される場合、視覚的要約を作成することができる。取得されない場合、ビデオを要約する前に均一サイズのセグメントに区分化することができる。しかしながら、後者の手法はコンテントの意味的分割（semantic segmentation）との一貫性がないため、ユーザには不便である。
【０００６】
したがって、ニュースビデオにおいてニュース司会者間の遷移を確実に検出して関心のあるトピックを見つけるシステムが必要とされている。その後、ビデオを分割および要約してブラウジングを容易にする。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、ビデオから抽出した聴覚的特徴および視覚的特徴の両方を用いてニュースビデオを分割および要約する方法を提供する。要約を用いて、ビデオを素早くブラウジングして関心のあるトピックを見つけることができる。
【課題を解決するための手段】
【０００８】
本発明は、ニュースビデオのオーディオ信号の分割および分類を同時に行う一般化された音響認識用隠れマルコフモデル（ＨＭＭ）フレームワークを用いる。ＨＭＭは、オーディオセグメントの分類ラベルだけでなく、コンパクトな状態継続長（state duration）ヒストグラムの記述子も与える。
【０００９】
これらの記述子を用いて、連続した男性および女性の音声セグメントをクラスタリングし、ビデオ中の異なるニュース司会者を検出する。動きアクティビティ（motion activity）と色を用いて第２レベルのクラスタリングを行い、オーディオ解析から得た別個の話者クラスタ間の対応関係を確立する。
【００１０】
次に司会者を、長時間を占めるクラスタまたはニュースビデオを通して何度も出現するクラスタとして識別する。
【００１１】
司会者の識別により、意味的境界の始めと終わりがマークされる。この意味的境界を用いて、高速ブラウジングのためのニュースビデオの階層的要約（hierarchical summary）を作成する。
【発明を実施するための最良の形態】
【００１２】
図１は、本発明によるニュースビデオのブラウジング方法１００を示す。
【００１３】
ステップ２００において、入力ニュースビデオ１０１から聴覚的特徴を抽出する。聴覚的特徴は、訓練された隠れマルコフモデル（ＨＭＭ）１０９を用いて男性の音声、女性の音声、または音楽の混ざった音声のいずれかとして分類する。
【００１４】
分類が同じであるオーディオ信号の部分をクラスタリングする。このクラスタリングは、ビデオから抽出された視覚的特徴１２２によって補助する。次に、ビデオ１０１をクラスタリングに応じてセグメント１１１に区分化することができる。
【００１５】
ステップ１２０において、ビデオ１０１から視覚的特徴１２２（例えば動きアクテビティおよび色）を抽出する。視覚的特徴は、ビデオ１０１中のショット１２１またはシーンの変化を検出するためにも用いられる。
【００１６】
ステップ１３０において、各オーディオセグメント１１１について聴覚的要約１３１を作成する。各要約は、通常司会者が新しいトピックを紹介する、オーディオ信号のセグメントの始めの小部分であり得る。各オーディオセグメント１１１中の各ショット１２１について視覚的要約１４１を作成する。
【００１７】
こうなればブラウザ１５０を用いて、聴覚的要約１３１を用いて関心のあるトピックを素早く選択し、視覚的要約１４１を用いて選択されたトピックを走査することができる。
【００１８】
オーディオ分割
訓練
ニュースは主に３つのオーディオクラス、すなわち男性の音声、女性の音声および音楽の混ざった音声を含む。したがって、訓練用ニュースビデオから、各クラスのオーディオ信号の例に手作業でラベルを付けて分類する。オーディオ信号はすべてモノチャンネル、１６ビット／サンプルで、サンプリングレートは１６ＫＨｚである。訓練用ビデオの大部分（例えば９０％）はＨＭＭ１０９を訓練するために用いられ、残りの部分はこのモデルの訓練の妥当性を検証するために用いられる。各ＨＭＭ１０９の状態数は１０であり、各状態は単一の多変量ガウス分布によってモデル化される。ＨＭＭ状態が単一のガウス分布で表される場合、状態継続長ヒストグラムの記述子をガウス混合モデル（ＧＭＭ）と関連付けることができる。
【００１９】
聴覚的特徴の抽出
図２は、聴覚的特徴の抽出、分類およびクラスタリングの詳細を示す。ニュースビデオ１０１からの入力オーディオ信号２０１は短いクリップ２１１（例えば３秒）に、クリップ同士が比較的均一となるように区分化する（２１０）。無音のクリップを除去する（２２０）。無音のクリップとは、オーディオエネルギーがある所定の閾値未満であるクリップである。
【００２０】
無音でない各クリップについて、ＭＰＥＧ−７の聴覚的特徴２３１を次のように抽出する（２３０）。各クリップを３０ｍｓのフレームに分け、隣接フレーム間に１０ｍｓの重なりを設ける。次に、各フレームに次のハミング窓関数を掛ける。
１≦ｉ≦Ｎについてｗｉ＝（０．５−０．４６ｃｏｓ（２πｉ／Ｎ））
ここでＮは窓のサンプル数である。
【００２１】
窓掛けされた各フレームに対してＦＦＴを行った後、各サブバンドのエネルギーを求め、その結果得られたベクトルを各オーディオクラスの最初の１０個の主成分に投影する。
【００２２】
さらなる詳細については、Casey著「ＭＰＥＧ−７音響認識ツール（MPEG-7 Sound-Recognition Tools）」（IEEE Transactions on Circuits and Systems for Video Technology, Vol.11, No.6, June 2001）および米国特許第６，３２１，２００号（本明細書中に参照により援用する）を参照のこと。
【００２３】
分類
ビタビ復号化を行い、ラベルを付けたモデル１０９を用いて聴覚的特徴を分類する（２４０）。最尤値を有するモデルのラベル２４１を分類のために選択する。
【００２４】
３秒間のクリップの各々について取得したラベル２４１にメディアンフィルタリング２５０を適用し、時間連続性（time continuity）の制約を課す。この制約により、スプリアスによる話者の変化がなくなる。
【００２５】
男性および女性のオーディオクラス内で個々の話者を識別するために、ラベル付けされたクリップの音響クラスの教師なしクラスタリングをＭＰＥＧ−７の状態継続長ヒストグラムの記述子に基づいて行う。分類された各サブクリップは、状態継続長ヒストグラムの記述子と関連付けられる。状態継続長ヒストグラムは、ガウス混合モデル（ＧＭＭ）を改良した表現として解釈することができる。
【００２６】
訓練されたＨＭＭ１０９の各状態は特徴空間のクラスタとして考えることができ、単一のガウス分布または確率密度関数としてモデル化することができる。状態継続長ヒストグラムは特定の状態が発生する確率を表す。この確率は、ＧＭＭ中の混合成分の確率として解釈される。
【００２７】
したがって、状態継続長ヒストグラムの記述子は、非簡略化形態において優れた音声モデルであることが分かっているＧＭＭの縮小表現として考えることができる（Reynoldsら著「ガウス混合話者モデルを用いた頑強でテキスト非依存の話者識別（Robust Text Independent Speaker Identification Using Gaussian Mixture Speaker Models）」（IEEE Transactions on Speech and Audio Processing, Vol.3, No.1, January 1995）を参照）。
【００２８】
ヒストグラムはＨＭＭから導き出されるため、ＧＭＭでは不可能なある種の時間的ダイナミクスも捉えている。その点でこの記述子を用いて、各オーディオクラス内の異なる話者に属するクラスタを識別する。
【００２９】
クラスタリング
隣接する同一ラベルの組の各々について、フィルタリング後に、状態継続長ヒストグラムの記述子を用いて第１レベルのクラスタリング２６０を行う。図３に示すように、クラスタリングは、以下のようにボトムアップ方式で構成した凝集型（agglomerative）樹状図３００を用いる。この樹状図は、インデックスを付けたクリップをｘ軸に、距離をｙ軸に示す。
【００３０】
まず最初に、クラスタリングする全てのクリップの間で対間距離を測定することによって距離行列を得る。この距離行列は、よく知られたカルバック・ライブラ（Kullback-Leibler）距離を改良したものである。これらの距離により２つの確率密度関数（ｐｄｆ）を比較する。
【００３１】
２つのｐｄｆ  ＨおよびＫ間の改良型カルバック・ライブラ距離は次のように定義される。
Ｄ（Ｈ，Ｋ）＝Σｈｉｌｏｇ（ｈｉ／ｍｉ）＋ｍｉｌｏｇ（ｋｉ／ｍｉ）
ここで、ｍｉ＝（ｈｉ＋ｋｉ）／２であり、１≦ｉ≦Ｎはヒストグラムのビン数である。
【００３２】
次に、距離行列により２つの「最も近い」クラスタ同士を結合して最終的に１つのクラスタにすることによって樹状図３００を作成する。
【００３３】
樹状図をその最高高さに対して特定レベル３０１で切り、個々の話者のクラスタを得る。クラスタリングは、連続した男性および女性の音声クリップに対してのみ行われる。音声と音楽の混合としてラベル付けされたクリップは捨てる。
【００３４】
対応するクラスタ同士を結合してしまえば、個々のニュース司会者の識別、よって意味的境界の推測を簡単に行うことができる。
【００３５】
視覚的特徴の抽出
視覚的特徴１２２を圧縮領域においてビデオ１０１から抽出する。特徴には、各ＰフレームのＭＰＥＧ−７の動きアクティビティの強度、および各Ｉフレームの６４ビンのカラーヒストグラムが含まれる。動き特徴は、標準的なシーン変化検出方法を用いてショット１２１を識別するために用いられる（例えばCabassonらが２００２年１月１５日付けで出願した米国特許出願第１０／０４６，７９０号（本明細書中に参照により援用する）を参照）。
【００３６】
第２レベルのクラスタリング２７０により、２つの別個の部分から取り出したクラスタ間の対応関係を確立する。この第２レベルのクラスタリングは色特徴を用いることができる。
【００３７】
ニュース番組の別個の部分から取り出した話者クラスタ間の対応関係を得るために、各話者クラスタを、動きアクティビティが所定の閾値未満であるフレームから得たカラーヒストグラムと関連付ける。動きの少ないシーケンスからフレームを取得することによって、そのシーケンスが「話者の顔（talking-head）」のものである可能性が増える。
【００３８】
カラーヒストグラムに基づく第２のクラスタリングを用いて、聴覚的特徴から得たクラスタをさらに結合させる。図４は、第２レベルのクラスタリングの結果を示す。
【００３９】
このステップが終わると、ニュース司会者は、長時間を占めるクラスタまたはニュース番組を通して何度も出現するクラスタと関連付けることができる。
【００４０】
本発明を好ましい実施形態例として説明したが、本発明の精神および範囲内で様々な他の適応および変更を行うことができることが理解されるべきである。したがって、添付の特許請求の範囲の目的は、本発明の真の精神および範囲に入る変形および変更をすべて網羅することである。
【図面の簡単な説明】
【００４１】
【図１】本発明によるニュースビデオを分割、要約およびブラウジングする方法のフロー図である。
【図２】聴覚的特徴を抽出、分類およびクラスタリングする手順のフロー図である。
【図３】第１レベルの樹状図である。
【図４】第２レベルの樹状図である。
【図１】
2004229283.tif 000003
【図２】
2004229283.tif 000004
【図３】
2004229283.tif 000005
【図４】
2004229283.tif 000006
【外国語明細書】
2004229283.tif 000007
2004229283.tif 000008
2004229283.tif 000009
2004229283.tif 000010
2004229283.tif 000011
2004229283.tif 000012
2004229283.tif 000013
2004229283.tif 000014
2004229283.tif 000015
2004229283.tif 000016
2004229283.tif 000017
2004229283.tif 000018
2004229283.tif 000019
2004229283.tif 000020
2004229283.tif 000021
2004229283.tif 000022