(57)【要約】【課題】圧縮ビデオからオーディオおよびビジュアル特徴を抽出することによって圧縮ビデオをセグメント化する方法を提供する。【解決手段】オーディオ特徴を、クラス集合におけるＫ−ｍｅａｎｓクラスタリングによりクラスタリングしてから、圧縮ビデオを、当該クラス集合に従って第１セグメントに分割する。次に、ビジュアル特徴を使用し、動き分析を用いて各第１セグメントを第２セグメントに分割する。圧縮ビデオのブラウジングを支援するために、第２セグメントのサマリを提供することができる。
2005532763.tif 000002
【特許請求の範囲】
【請求項１】
圧縮ビデオをセグメント化する方法であって、
前記圧縮ビデオからオーディオ特徴を抽出することと、
前記オーディオ特徴をクラス集合にクラスタリングすることと、
前記クラス集合に従って第１セグメントに圧縮ビデオを分割することと、
前記圧縮ビデオからビジュアル特徴を抽出することと、
前記ビジュアル特徴に従って第２セグメントに各第１セグメントを分割することと
を含む圧縮ビデオをセグメント化する方法。
【請求項２】
各第１および第２セグメントのサマリを生成することと、
第１および第２サマリに従って前記圧縮ビデオをブラウジングすることと
をさらに含む請求項１に記載の方法。
【請求項３】
前記クラスタリングすることは、Ｋ−ｍｅａｎｓクラスタリングすることである請求項１に記載の方法。
【請求項４】
前記クラスは、前記圧縮ビデオ内の主役メンバに関連づけられる請求項１に記載の方法。
【請求項５】
前記オーディオ特徴は、ＭＰＥＧ−７記述子である請求項１に記載の方法。
【請求項６】
前記オーディオ特徴を用いて音声セグメントおよび非音声セグメントを識別することと、
前記音声セグメントのみをクラスタリングすることと
をさらに含む請求項１に記載の方法。
【請求項７】
前記オーディオ特徴を用いて音声セグメントおよび非音声セグメントを識別することと、
前記音声セグメント内の男声セグメントおよび女声セグメントを識別することと、
前記主役メンバを識別するために、前記男声セグメントおよび前記女声セグメントを別々にクラスタリングすることと
をさらに含む請求項４に記載の方法。
【請求項８】
前記クラスの数は、１０より小さい請求項１に記載の方法。
【請求項９】
前記第１セグメントから前記第２セグメントへの前記分割を実行するために、前記ビジュアル特徴に対して動き分析を実行することをさらに含む請求項１に記載の方法。
【請求項１０】
前記クラスをサブクラス分けし、前記第１セグメントをさらに分割するために、前記オーディオ特徴を保持することをさらに含む請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的にはビデオをブラウジングすることに関し、特に、ビジュアルおよびオーディオ特徴を用いてビデオをブラウジングすることに関する。
【背景技術】
【０００２】
ビデオで利用可能な娯楽、情報、およびニュースの量が急速に増大している。したがって、効率的なビデオブラウジング技法が必要とされている。一般的に、ビデオは、ブラウジングのために使用可能な、ビジュアル、オーディオ、およびテキスト（字幕）という３つの「トラック」を含むことができる。
【０００３】
ほとんどのビデオは、ストーリまたはトピック構造を有し、これらは、ビジュアルトラックに反映される。ビジュアルトラックの基本ユニットは、ショットあるいはシーンであり、これが連続的なアクションを捕捉する。したがって、多くのビデオブラウザは、ビデオがまずストーリまたはトピックのセグメントに分割されていると期待する。シーン変化検出（時間的セグメンテーションともいう）は、ショットがいつ開始し終了するかを示す。シーン検出は、圧縮ドメインにおいてＤＣＴ係数を用いて行うことができる。次に、フレームをセグメントから選択することにより、ビデオのサマリを形成することができる。そのサマリは、すばやくブラウジングすることができ、ビデオ全体へのインデックスとして使用可能である。しかし、ビデオサマリは、要約されている内容に関する情報を提供しない。
【０００４】
もう１つの技法として、代表フレームを用いてビデオのビジュアル内容を整理するものがある。しかし、これまでのところ、意味のあるフレーム選択プロセスには人手の介入を必要とする。
【０００５】
もう１つの技法として、入力ビデオのオーディオトラックをニュース放送の期待される文法要素と照合する言語ベースのモデルを使用するとともに、ビデオクリップの期待される内容の事前モデルを使用することにより、ビデオを解析するものがある。しかし、言語ベースのモデルは、音声認識を必要とするが、これは、低速で誤りを起こしやすいことが知られている。
【０００６】
従来技術では、トピック検出は、字幕情報、埋込み字幕、および音声認識により得られるテキストを、単独で、または相互に組み合わせて使用して、実施されている。Hanjalic等著「Dancers: Delft advanced news retrieval system」, IS&T/SPIE Electronic Imaging 2001: Storage and retrieval for Media Databases, 2001、およびJasinschi等著「Integrated multimedia processing for topic segmentation and classification」, ICIP-2001, pp.366-369, 2001、を参照されたい。それらの手法では、テキストを前述のソースの一部または全部を用いてビデオから抽出し、その後、種々のヒューリスティックスを用いてそのテキストを処理することによりトピックを抽出する。
【０００７】
ニュースキャスター検出が、色、動き、テクスチャおよびオーディオ特徴を用いて実施されている。例えば、一技法として、オーディオトラックを用いて話者分離を行い、ビジュアルトラックを用いて顔の位置判定を行うものがある。話者分離は、まず、オーディオセグメントを音声および非音声のカテゴリに分類する。次に、音声セグメントを用いて、各話者に対するガウシアン混合モデルをトレーニングする。Wang等著「Multimedia Content Analysis」, IEEE Signal Processing Magazine, November 2000、を参照されたい。
【０００８】
動きベースのビデオブラウジングもまた従来技術で既知である。２００１年４月２７日にDivakaran他により出願された「Video Summarization Using Descriptors of Motion Activity」と題する米国特許出願第０９／８４５，００９号（参照により本明細書に援用される）を参照されたい。このシステムは、圧縮ドメインにおける単純な計算に依拠しているため、効率的である。したがって、このシステムを用いて、ビデオのビジュアルサマリを迅速に生成することができる。しかし、ニュースビデオブラウジングに使用するためには、この方法は、トピックリストを必要とする。トピックリストが利用可能でない場合、ビデオは、内容の意味と整合しない形でセグメント化されることがある。
【０００９】
本発明にとって特に重要なこととして、ビデオブラウジングのためにサウンド認識を使用することがある。例えば、ビデオにおいては、最も頻出する話者、主役、またはニュース「キャスター」を識別したい場合がある。例えば、ニュース放送のビデオに対して識別ができれば、ニュースビデオによって扱われている各トピックまたは「ストーリ」の最初を位置判定することが可能となるであろう。したがって、ニュースキャスターの一人が話し始めるところから短い部分を再生するだけで、ビデオにすばやく目を通すことができる。
【００１０】
ニュースビデオは、通常、トピックごとにセグメントとして配列され、ニュースキャスターは、各セグメントの最初に各トピックを紹介するので、従来技術のニュースビデオブラウジング作業は、ニュースキャスター検出およびトピック検出に重点を置いている。したがって、トピック境界を知ることによって、ユーザは、所望のトピックが見つかるまでトピックからトピックへとニュースビデオをざっと見てから、所望のトピックを完全に見ることができる。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
したがって、ビデオブラウジング中にオーディオトラックを使用することが依然として所望されている。しかし、上記のように、音声認識は、時間がかかり誤りを起こしやすい。音声認識が、発話された語を認識するという特定の問題を主として扱うのとは異なり、サウンド認識は、オーディオ信号を特徴づけ識別するという、より一般的な問題を扱う。オーディオ信号としては、例えば、動物の音、異なるジャンルの音楽、楽器、また、木の葉のさらさらいう音、ガラスの割れる音、火のパチパチいう音等の自然の音、犬の吠え声等の動物の音、そして、大人、子供、男女の人の音声がある。サウンド認識は、内容の解読に関与するのではなく、内容の特徴づけに関与する。
【００１２】
サウンド認識システムの１つとして、Casey著「MPEG-7 Sound-Recognition Tools」, IEEE Transactions on Circuits and Systems for Video Technology, Vol.11, No.6, June 2001、および、２００１年１１月２０日にCaseyに発行された米国特許第６，３２１，２００号「Method for extracting features from a mixture of signals」に記載されているものがある。Caseyは、オーディオ信号の縮小ランクスペクトルおよび最小エントロピー事前確率を使用している。１つの利点として、Caseyの方法によれば、分析および検出が容易なオーディオ記述子でＭＰＥＧ−７ビデオに注釈付けすることができる。「Multimedia Content Description Interface」（「MPEG-7 Context, Objectives and Technical Roadmap」, ISO/IEC N2861, July 1999、所収）を参照されたい。なお、Caseyの方法は、カテゴリへのサウンドの分類とともに、対応する特徴ベクトルの生成を伴うことに留意されたい。
【課題を解決するための手段】
【００１３】
本方法は、圧縮ビデオからオーディオおよびビジュアル特徴を抽出することによって圧縮ビデオをセグメント化する。オーディオ特徴を、クラス集合におけるＫ−ｍｅａｎｓクラスタリングによりクラスタリングしてから、圧縮ビデオを、当該クラス集合に従って第１セグメントに分割する。
【００１４】
次に、ビジュアル特徴を使用し、動き分析を用いて各第１セグメントを第２セグメントに分割する。圧縮ビデオのブラウジングを支援するために、第２セグメントのサマリを提供することができる。
【発明を実施するための最良の形態】
【００１５】
システムの概要
図１に示すように、本発明は、圧縮ビデオ１０１を入力とする。ビデオに対して、オーディオ特徴抽出、分類、およびセグメント化１１０を実行して、オーディオ特徴によるセグメント化ビデオ１０２を生成する。次に、セグメント１０３に対して、ショット検出、動き特徴抽出、およびビジュアルセグメンテーション１２０を実行して、ビデオ１０１の第２レベルセグメンテーション１０４を行う。これらのセグメント１０４を要約（１３０）して、ビデオ１０１のサマリ１０５を生成することができる。そして、サマリ１０５は、ビデオ１０１を効率的にブラウジングする（１４０）ために使用することができる。
【００１６】
オーディオ特徴セグメンテーション
ステップ１１０において、圧縮ビデオ１０１を処理してオーディオ特徴を抽出する。オーディオ特徴をクラス分けし、オーディオ特徴の相異なるクラスに従ってビデオをセグメント化する。処理１１０は、ＭＰＥＧ−７オーディオ記述子を用いて、例えば、非音声、および音声セグメントを識別する。その後、音声セグメントは、男声および女声セグメントへとさらに処理することができる。また、音声セグメントは、状態遷移のヒストグラムから得られる音声特徴ベクトルＦＳにも関連づけられる。
【００１７】
特定のニュース番組における男性および女性の主役メンバの数は、きわめて少なく、例えば３〜６人程度であり、通常１０人より少ないので、Ｋ−ｍｅａｎｓクラスタリングを、男声および女声セグメントのそれぞれに独立に適用することができる。クラスタリングは、Ｋ最大クラスタのみを主役メンバに割り当てる。
【００１８】
これにより、トピックに従って第１レベルで圧縮ビデオ１０１をセグメント化することができるので、興味のないセグメントを飛ばすことによってビデオをブラウジング（１４０）することができる。
【００１９】
なお、本発明では、クラスタリングステップをオーディオ特徴ベクトルとともに使用することによって、ＭＰＥＧ−７オーディオ記述子生成により生成されるクラス内のサブクラスをうまく生成していることに留意されたい。すなわち、本発明の手法は、オーディオ特徴ベクトルおよびクラスの両方を保持するので、ＭＰＥＧ−７抽出により生成される別々のクラスの同時分析により、さらなるサブクラス分けと、新たなクラスの生成の両方が可能となり、より細かい粒度でビデオをさらにセグメント化することができる。なお、このことは、従来技術のように所定のクラス集合にセグメントを分類する固定した分類器では不可能であることに留意されたい。
【００２０】
ビジュアル特徴セグメンテーション
次に、動きベースのセグメンテーション１２０を各トピック、すなわちセグメント１０３に適用して、ビジュアル特徴に基づく第２レベルのセグメンテーションを行う。その後、主役識別およびトピックセグメンテーションに基づいてサマリ１０５を生成することができる。これにより、それぞれの意味的セグメントの動きベースのサマリと相まって、ビデオの迅速かつ効果的なブラウジング１４０が可能となる。ビデオの内容は、ニュース、監視、娯楽等でもよいことは理解すべきである。ただし、有効性はもちろん場合によって異なり得る。
【００２１】
以上、好ましい実施の形態を例として本発明を説明したが、種々の他の適応および変更を本発明の精神および範囲内においてなし得ることは理解すべきである。したがって、添付の特許請求の範囲の目的は、本発明の真の精神および範囲内に含まれるすべてのそのような変形および変更を包含することである。
【図面の簡単な説明】
【００２２】
【図１】本発明によるビデオセグメンテーション、要約、およびブラウジングシステムのブロック図である。
【図１】
2005532763.tif 000003
【国際調査報告】
2005532763.tif 000004
2005532763.tif 000005
2005532763.tif 000006