(57)【特許請求の範囲】
【請求項１】
フレーム系列を含むビデオから高レベルの特徴を抽出する方法であって、
前記ビデオのフレームのそれぞれから複数の低レベルの特徴を抽出するステップと、
抽出された前記低レベルの特徴に従って前記ビデオのフレームのそれぞれをラベル付けし、それぞれが複数の抽出された前記低レベルの特徴の１つに関連付けされている複数のラベル系列を生成するステップと、
前記ビデオの高レベルの特徴を抽出するために、前記複数のラベル系列を分析するステップと、
前記ビデオから抽出されるべき前記複数の低レベルの特徴のそれぞれに対して１つの特徴抽出方法が存在しており、当該特徴抽出方法を記憶手段に格納するステップと、
前記特徴抽出方法にそれぞれが関連付けられている低レベルの特徴のそれぞれに対応する記述子を格納するステップと
を備え、
前記フレームは前記記述子に従ってラベル付けされることを特徴とする方法。
【請求項２】
前記ビデオは圧縮されていることを特徴とする請求項１に記載の方法。
【請求項３】
前記低レベルの特徴は、色特徴、動き特徴および音声特徴を含むことを特徴とする請求項１に記載の方法。
【請求項４】
低レベルの特徴のそれぞれの内部フレーム距離を調べるステップと、
前記内部フレーム距離と現在の平均内部フレーム距離とを比較するステップと、
前記内部フレーム距離が所定の閾値よりも大きい場合に、ラベルの新たなクラスタを開始するステップと
をさらに備えたことを特徴とする請求項１に記載の方法。
【請求項５】
フレームのそれぞれの前記内部フレーム距離を調べている間に、前記平均内部フレーム距離を更新するステップをさらに備えたことを特徴とする請求項４に記載の方法。
【請求項６】
識別値を有するラベルをクラスタにグループ分けするステップをさらに備えたことを特徴とする請求項１に記載の方法。
【請求項７】
前記ラベル系列から状態遷移グラフを作成するステップと、
トレーニングビデオのトレーニングラベル系列を用いて前記状態遷移グラフを学習するステップと、
前記学習された状態遷移グラフを用いて前記ビデオの高レベルの特徴を検出するステップと
をさらに備えたことを特徴とする請求項１に記載の方法。
【請求項８】
前記ラベル系列を分類するステップをさらに備えたことを特徴とする請求項１に記載の方法。
【請求項９】
前記分析は、低レベルの特徴間の境界値に依存することを特徴とする請求項１に記載の方法。
【請求項１０】
フレーム系列を含むビデオから高レベルの特徴を抽出するシステムであって、
特徴のそれぞれに対して１つの特徴抽出手段が存在する、前記ビデオから複数の低レベルの特徴を抽出するために設けられた複数の特徴抽出手段と、
対応する前記抽出された低レベルの特徴に従って、前記ビデオのフレームをラベル付けするために設けられた複数のフレームのラベル付け手段と、
前記ビデオの高レベルの特徴を抽出するために前記ラベル系列を分析するために設けられた分析手段と、
前記ビデオから抽出されるべき前記複数の低レベルの特徴のそれぞれに対して１つの特徴抽出方法が存在しており、当該特徴抽出方法を格納する特徴抽出方法格納手段と、
前記特徴抽出方法にそれぞれが関連付けられている低レベルの特徴のそれぞれに対応する記述子を格納する記述子格納手段と
を備え、
前記フレームは前記記述子に従ってラベル付けされることを特徴とするシステム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はマルチメディアコンテンツに関し、特に、マルチメディアコンテンツの低レベルの特徴から高レベルの特徴を抽出する方法に関する。
【０００２】
【従来の技術】
ビデオ（video）分析は、その内容（コンテンツ）を理解する意図でビデオを処理することとして定義することができる。この理解は、ビデオにおけるショット（shot）の境界を検出するような「低レベル」の理解から、ビデオにおけるジャンルを検出するような「高レベル」の理解に及ぶ。低レベル理解は、色、動き、テクスチャ、形状等のような低レベルの特徴を分析することにより達成でき、コンテンツ記述子が生成される。次いで、コンテンツ記述子は、ビデオに索引付けするために使うことができる。
【０００３】
提案されているＭＰＥＧ−７標準規格は、そのようなコンテンツを記述するための骨組みを提供するものである。ＭＰＥＧ−７は、ＭＰＥＧ委員会により最近行われた標準化活動であり、正式には“Ｍｕｌｔｉｍｅｄｉａ  ＣｏｎｔｅｎｔＤｅｓｃｒｉｐｔｉｏｎ  Ｉｎｔｅｒｆａｃｅ（マルチメディアコンテンツ記述子インターフェース）”と呼ばれる。“ＭＰＥＧ−７  Ｃｏｎｔｅｘｔ，Ｏｂｊｅｃｔｉｖｅｓ  ａｎｄ  Ｔｅｃｎｉｃａｌ  Ｒｏａｄｍａｐ，”ＩＳＯ／ＩＥＣ  Ｎ２８６１，Ｊｕｌｙ  １９９９を参照されたい。
【０００４】
本質的に、この標準規格は、様々なタイプのマルチメディアコンテンツを記述するために用いることができる記述子および記述方法を包含することを計画している。この記述子および記述方法は、コンテンツそのものと関連しており、特定ユーザにとって興味ある資料の高速かつ効率的な検索を可能にする。この標準規格は、これまでの符号化標準に取って代わることを意味するものではなく、むしろ、他の標準化概念、特にＭＰＥＧ−４を足場にするものであることを述べることは重要である。なぜなら、マルチメディアコンテンツは、異なるオブジェクトに分解することができ、それぞれのオブジェクトには、固有な記述子のセットを割り当てることができるからである。また、この標準規格は、コンテンツが格納されるフォーマットに関して独立なものである。
【０００５】
ＭＰＥＧ−７の主な用途は、調査および情報検索の応用になると期待されており、“ＭＰＥＧ−７  Ａｐｐｌｉｃａｔｉｏｎｓ”ＩＳＯ／ＩＥＣ  Ｎ２８６１，Ｊｕｌｙ  １９９９を参照されたい。簡単な適用環境では、ユーザは、特定のビデオオブジェクトのある属性を指定してもよい。この低レベルの表現では、これら属性は、特定のビデオオブジェクトのテクスチャ、動き、形状を記述する記述子を含んでいてもよい。形状を表現かつ比較する方法は、Ｌｉｎらにより、１９９９年６月４日付けで出願された米国特許出願第０９／３２６，７５９号“Ｍｅｔｈｏｄ  ｆｏｒ  Ｏｄｅｒｉｎｇ  Ｉｍａｇｅ  Ｓｐａｃｅｓ  ｔｏ  Ｒｅｐｒｅｓｅｎｔ  Ｏｂｊｅｃｔ  Ｓｈａｐｅｓ”に記載されている。および、動きの活発さを記述するための方法は、Ｄｉｖａｋａｒａｎらにより、１９９９年９月２７日付けで出願された米国特許出願第０９／４０６，４４４号“Ａｃｔｉｖｉｔｙ  Ｄｅｓｃｒｉｐｔｏｒ  ｆｏｒ  Ｖｉｄｅｏ  Ｓｅｑｕｅｎｃｅｓ”に記載されている。
【０００６】
高レベルの表現を得るためには、様々な低レベル記述子を結合する、より複雑な記述方法を考慮してもよい。実際、これら記述方法は、他の記述方法を含んでいてもよく、“ＭＰＥＧ−７  Ｍｕｌｔｉｍｅｄｉａ  ＤｅｓｃｒｉｐｔｉｏｎＳｃｈｅｍｅｓ  ＷＤ（Ｖ１．０）”ＩＳＯ／ＩＥＣ  Ｎ３１１３，Ｄｅｃｅｍｂｅｒ  １９９９、およびＬｉｎらにより１９９９年８月３０日付けで出願された米国特許出願第０９／３８５，１６９号“Ｍｅｔｈｏｄ  ｆｏｒ  ｒｅｐｒｅｓｅｎｔｉｎｇ  ａｎｄ  ｃｏｍｐａｒｉｎｇ  ｍｕｌｔｉｍｅｄｉａ  ｃｏｎｔｅｎｔ”を参照されたい。
【０００７】
ＭＰＥＧ−７標準規格により提供されることになる記述子および記述方法は、低レベルの統語論的な（syntactic）、または高レベルの意味論的な（semantic）もののいずれかとみなすことができる。ここで、統語論的な情報は、コンテンツの物理的および論理的な信号の性質（aspect）を言及し、意味論的な情報は、コンテンツの概念的意味を言及する。
【０００８】
以下では、これら高レベルの意味論的な特徴を、「事象」とも時々言及する。
【０００９】
ビデオにとって、統語論的な事象は、特定のビデオオブジェクトの色、形状および動きに関連付けられていてもよい。一方、意味論的な事象は、低レベルの記述子から抽出することができない、事象の時間、名前または場所等の情報、たとえばビデオにおける人の名前、を一般的に言及する。
【００１０】
しかしながら、ビデオのジャンル、事象の意味論等、高レベルすなわち意味論的な特徴を自動および半自動で抽出することは、今なお研究上の論題（トピック）である。たとえば、事象がフットボールのビデオから、動き、色、形状およびテクスチャを抽出し、抽出された低レベルの特徴に基づいて、別なフットボールビデオとの低レベルの類似性を確立することは簡単である。これらの技術は、よく記述されている。しかしながら、その低レベルの特徴から、フットボール事象のビデオとしてそのビデオを自動的に識別することは簡単ではない。
【００１１】
従来技術では、多くの抽出技術が知られている。たとえば以下を参照されたい。Ｃｈｅｎ  ｅｔ  ａｌ．，“ＶｉＢＥ：Ａ  Ｎｅｗ  Ｐａｒａｄｉｇｍ  ｆｏｒ  Ｖｉｄｅｏ  Ｄａｔａｂａｓｅ  Ｂｒｏｗｓｉｎｇ  ａｎｄ  ＳｅａｒｃｈＰｒｏｃ，”ＩＥＥＥ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｃｏｎｔｅｎｔ−Ｂａｓｅｄ  Ａｃｃｅｓｓ  ｏｆ  Ｉｍａｇｅ  ａｎｄ  Ｖｉｄｅｏ  Ｄａｔａｂａｓｅｓ，１９９８，Ｚｈｏｎｇ  ｅｔ  ａｌ．，“Ｃｌｕｓｔｅｒｉｎｇ  Ｍｅｔｈｏｄｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｂｒｏｗｓｉｎｇ  ａｎｄ  Ａｎｎｏｔａｔｉｏｎ，”ＳＰＩＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｓｔｏｒａｇｅ  ａｎｄ  Ｒｅｔｒｉｅｖａｌ  ｆｏｒ  Ｉｍａｇｅ  ａｎｄ  Ｖｉｄｅｏ  Ｄａｔａｂａｓｅｓ，Ｖｏｌ．２６７０，Ｆｅｂｒｕａｒｙ，１９９６，Ｋｅｎｄｅｒ  ｅｔ  ａｌ．，“Ｖｉｄｅｏ  Ｓｃｅｎｅ  Ｓｅｇｍｅｎｔａｔｉｏｎ  ｖｉａ  Ｃｏｎｔｉｎｕｏｕｓ  Ｖｉｄｅｏ  Ｃｏｈｅｒｅｎｃｅ，”Ｉｎ  ＩＥＥＥ  ＣＶＰＲ，１９９８，Ｙｅｕｎｇ  ｅｔ，ａｌ．，“Ｔｉｍｅ−ｃｏｎｓｔｒａｉｎｅｄ  Ｃｌｕｓｔｅｒｉｎｇ  ｆｏｒ  Ｓｅｇｍｅｎｔａｔｉｏｎ  ｏｆ  Ｖｉｄｅｏ  ｉｎｔｏ  Ｓｔｏｒｙ  Ｕｎｉｔｓ，”ＩＣＰＲ，Ｖｏｌ．Ｃ．Ａｕｇ．１９９６，ａｎｄ  Ｙｅｏ  ｅｔ  ａｌ，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ，Ｖｏｌ．５，Ｎｏ．６，Ｄｅｃ．１９９５。
【００１２】
これらの技術の大部分は、最初に、個々のフレームから抽出される低レベルの特徴を用いて、ビデオをショット（shot）に分割する。次いで、抽出された特徴を用いて、ショット（shot）をシーン（scene）にグループ分けする。この抽出およびグループ分けに基づいて、これらの技術は、ビデオコンテンツの階層構造を一般に構築する。
【００１３】
【発明が解決しようとする課題】
これらアプローチを用いた場合の問題は、柔軟性に欠けることである。それゆえ、低レベルの特徴と、意味論的な事象のような高レベルの特徴との間のギャップを埋めるための詳細な分析を行うことが難しい。さらに、あまりに多くの情報が分割プロセスの間に失われる。
【００１４】
したがって、ビデオを最初にショットに分割することなく、ビデオから高レベルの特徴を抽出することができるシステムおよび装置を提供することが望まれる。
【００１５】
【課題を解決するための手段】
本発明の目的は、フレームに基づく、低レベルの特徴を用いた自動コンテンツ分析を提供することにある。本発明では、最初にフレームレベルで特徴を抽出し、次いで、抽出された特徴のそれぞれに基づいて、フレームのそれぞれにラベル付けを行う。たとえば、３つの特徴、すなわち、色、動き、音声が使われる場合、フレームのそれぞれは、少なくとも３つのラベル、すなわち、色、動き、音声ラベルを有する。
【００１６】
これにより、連続するフレーム間で共通する特徴に対して、１つのラベル系列が存在する複数のラベル系列にビデオを変えることができる。複数のラベル系列は、相当量の情報を保持すると同時に、ビデオを簡単な形式に変えている。ラベルを符号化するのに必要とされるデータ量は、ビデオそのものを符号化するデータよりも少ないオーダであることは、当業者には明らかであろう。この簡単な形式により、Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌｓ（ＨＭＭ）、Ｂａｙｅｓｉａｎ  Ｎｅｔｗｏｒｋｓ、Ｄｅｃｉｓｉｏｎ  Ｔｒｅｅｓ等のような機械学習技術は、高レベルの特徴の抽出を実行することができる。
【００１７】
本発明による手順は、上手く実行する低レベルの特徴を結合するための方法を提供する。本発明による高レベルの特徴の抽出システムは、新たな特徴との容易な統合を可能にする開放型の骨組を提供する。さらに、本発明は、ビデオ分析の伝統的な手法と統合することもできる。本発明は、異なる要件での応用に適用できる異なる粒状度での機能を提供する。また、本発明は、個々の低レベルの特徴、または該特徴の結合を用いた柔軟なブラウジングまたは視覚化のためのシステムを提供する。最後に、本発明による特徴抽出は、高速、および好ましくはリアルタイムのシステムパフォーマンス向けに、圧縮領域で実行することができる。
なお、たとえ圧縮領域での抽出が実行されるとしても、必ずしも圧縮領域で抽出する必要はない。
【００１８】
さらに、本発明は、フレーム系列を含むビデオから高レベルの特徴を抽出するシステム、方法を提供する。低レベルの特徴は、ビデオのフレームのそれぞれから抽出される。ビデオのフレームのそれぞれは、抽出された低レベルの特徴に従ってラベル付けされ、ラベル系列を生成する。ラベル系列のそれぞれは、抽出された低レベルの特徴の１つと関連付けられている。ラベル系列のそれぞれは、学習機械、学習技術を用いて分析され、ビデオの高レベルの特徴が抽出される。
【００１９】
【発明の実施の形態】
システム構成
図１は、本発明によるビデオから低レベルおよび高レベルの特徴を抽出するためのシステム１００を示す。本システム１００は、特徴抽出ステージ１１０、フレームラベル付けステージ１２０および分析ステージ１３０を含む。また、本システムは、特徴ライブラリ１４０を含む。
【００２０】
第１ステージ１１０は、１つまたは複数の特徴抽出ブロック１１１〜１１３を含む。第２ステージ１２０は、１つまたは複数のフレームラベル付けブロック１２１〜１２３を含む。第３ステージ１３０は、境界分析ブロック１３１、事象検出ブロック１３２およびカテゴリ分類ブロック１３３を含む。
【００２１】
本システムへの入力１０１は、ビデオ１０１、すなわちフレームの系列である。ビデオ１０１は、圧縮されていることが好ましいが、必要であれば非圧縮領域で抽出される特徴を統合することができる。出力１０９は、高レベルの特徴、すなわち事象１０９を含む。
【００２２】
システム動作
特徴抽出ブロック１１１〜１１３は、ビデオから低レベルの特徴を抽出する。
該特徴は、特徴ライブラリ１４０に格納されている特徴抽出手順１４１を用いて抽出される。抽出手順のそれぞれとともに、対応する記述子１４２が存在する。
第２ステージ１２０のブロック１２１〜１２３は、抽出された特徴に基づいて、ビデオのフレームにラベル付けする。ラベルを識別子１４２とすることもできる。以下に詳述するように、複数の異なる低レベルの特徴に従って、１つのフレームをラベル付けしてもよい。第２ステージからの出力は、ラベル系列１２９である。第３ステージは、ラベル系列を統合し、高レベルの特徴、すなわちビデオ１０１のコンテンツの意味論（イベント）１０９を抽出する。
【００２３】
特徴抽出
色特徴
ＩフレームのＤＣ係数は、正確かつ容易に抽出することができる。ＰおよびＢフレームのＤＣ係数もまた、十分な伸長を行なうことなく、動きベクトルを用いて近似することができる。たとえば、Ｙｅｏ  ｅｔ  ａｌ．“Ｏｎ  ｔｈｅ  Ｅｘｔｒａｃｔｉｏｎ  ｏｆ  ＤＣ  Ｓｅｑｕｅｎｃｅ  ｆｒｏｍ  ＭＰＥＧ  ｖｉｄｅｏ，”ＩＥＥＥ  ＩＣＩＰ  Ｖｏｌ．２，１９９５を参照されたい。ＤＣ画像のＹＵＶ値は、異なる色空間に変換することができ、色特徴を得るために用いることができる。
【００２４】
特徴を用いた最もポピュラーなものに、色ヒストグラムがある。色ヒストグラムは、画像およびビデオの索引および検索で広く使われている。Ｓｍｉｔｈ  ｅｔ  ａｌ．“Ａｕｔｏｍａｔｅｄ  Ｉｍａｇｅ  Ｒｅｔｒｉｅｖａｌ  Ｕｓｉｎｇ  Ｃｏｌｏｒ  ａｎｄ  Ｔｅｘｔｕｒｅ  ，”ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｎｏｖ．１９９６を参照されたい。本実施の形態では、ＲＧＢ色空間を用いる。本実施の形態では、チャネルのそれぞれに４個のビン（bins）を用いるので、色ヒストグラム全体では６４個（４×４×４）のビンを用いている。
【００２５】
動き特徴
動き情報は、一般に動きベクトルに含まれている。動きベクトルは、ＰおよびＢフレームから抽出することができる。動きベクトルは、実際の視覚の流れに対して、通常不十分かつ貧弱な近似であるため、本実施の形態では、動きベクトルを質的にのみ用いる。動きベクトルを用いた多くの異なる手法が提案されている。Ｔａｎ  ｅｔ  ａｌ．“Ａ  ｎｅｗ  Ｍｅｔｈｏｄ  ｆｏｒ  ｃａｍｅｒａ  ｍｏｔｉｏｎ  ｐａｒａｍｅｔｅｒ  ｅｓｔｉｍａｔｉｏｎ  ，”Ｐｒｏｃ．ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．２，ｐｐ．７２２−７２６，１９９５，Ｔａｎ  ｅｔ  ａｌ．“Ｒａｐｉｄ  ｅｓｔｉｍａｔｉｏｎ  ｏｆ  ｃａｍｅｒａｍｏｔｉｏｎ  ｆｒｏｍ  ｃｏｍｐｒｅｓｓｅｄ  ｖｉｄｅｏ  ｗｉｔｈ  ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  ｖｉｄｅｏ  ａｎｎｏｔａｔｉｏｎ  ，”ｔｏ  ａｐｐｅａｒ  ｉｎ  ＩＥＥＥ  Ｔｒａｎｓ．ｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄＳｙｓｔｅｍｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ，１９９９．Ｋｏｂｌａ  ｅｔ  ａｌ．“Ｄｅｔｅｃｔｉｏｎ  ｏｆ  ｓｌｏｗ−ｍｏｔｉｏｎｒｅｐｌａｙ  ｓｅｑｕｅｎｃｅｓ  ｆｏｒ  ｉｄｅｎｔｉｆｙｉｎｇ  ｓｐｏｒｔｓ  ｖｉｄｅｏｓ  ，”Ｐｒｏｃ．ＩＥＥＥ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｍｕｌｔｉｍａｄｉａ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ，１９９９．Ｋｏｂｌａ  ｅｔ  ａｌ．“Ｓｐｅｃｉａｌ  ｅｆｆｅｃｔ  ｅｄｉｔ  ｄｅｔｅｃｔｉｏｎ  ｕｓｉｎｇ  Ｖｉｄｅｏ  Ｔｒａｉｌｓ：ａ  ｃｏｍｐａｒｉｓｏｎｗｉｔｈ  ｅｘｉｓｔｉｎｇ  ｔｅｃｈｎｉｑｕｅｓ  ，”Ｐｒｏｃ．ＳＰＩＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｓｔｏｒａｇｅ  ａｎｄ  Ｒｅｔｒｉｅｖａｌ  ｆｏｒ  Ｉｍａｇｅ  ａｎｄ  Ｖｉｄｅｏ  Ｄａｔａｂａｓｅｓ  ＶＩＩ，１９９９，Ｋｏｂｌａ  ｅｔ  ａｌ．“Ｃｏｍｐｒｅｓｓｅｄ  ｄｏｍａｉｎ  ｖｉｄｅｏ  ｉｎｄｅｘｉｎｇ  ｔｅｃｈｎｉｑｕｅｓ  ｕｓｉｎｇ  ＤＣＴ  ａｎｄ  ｍｏｔｉｏｎ  ｖｅｃｔｏｒ  ｉｎｆｏｒｍａｔｉｏｎ  ｉｎ  ＭＰＥＧ  ｖｉｄｅｏ，”Ｐｒｏｃ．ＳＰＩＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｓｔｏｒａｇｅ  ａｎｄ  Ｒｅｔｒｉｅｖａｌ  ｆｏｒ  Ｉｍａｇｅ  ａｎｄ  Ｖｉｄｅｏ  Ｄａｔａｂａｓｅｓ  Ｖ，ＳＰＩＥ  Ｖｏｌ．３０２２，ｐｐ．２００−２１１，１９９７，ａｎｄ  Ｍｅｎｇ  ｅｔ  ａｌ．“ＣＶＥＰＳ−ａ  ｃｏｍｐｒｅｓｓｅｄ  ｖｉｄｅｏ  ｅｄｉｔｉｎｇ  ａｎｄ  ｐａｒｓｉｎｇ  ｓｙｓｔｅｍ，”Ｐｒｏｃ．ＡＣＭ  Ｍｕｌｔｉｍｅｄｉａ  ９６，１９９６を参照されたい。
【００２６】
本実施の形態では、動きベクトルを全体的な動きを予測するために用いる。カメラ動きの６パラメータアフィンモデル（A six parameter affine model）は、パン（pan）、ズーム（zoom）およびスチル（still）、すなわち、カメラの動きがない状態にフレームを分類する。また、本実施の形態では、動き方向ヒストグラムを用いてパンを予測することができ、動きベクトルの収縮および拡大（ＦＯＥおよびＦＯＣ）のフォーカスを用いてズームを予測することができる。
【００２７】
音声特徴
音声の特徴は、ビデオの特徴と強い相関を有しており、ビデオの特徴とともに分割を行なうために非常に有用に提供されている。Ｓｕｎｄａｒａｍ  ｅｔ  ａｌ．“Ｖｉｄｅｏ  Ｓｃｅｎｅ  Ｓｅｇｍｅｎｔａｔｉｏｎ  Ｕｓｉｎｇ  Ｖｉｄｅｏ  ａｎｄ  Ａｕｄｉｏ  Ｆｅａｔｕｒｅｓ，”ＩＣＭＥ  ２０００，ａｎｄ  Ｓｕｎｄａｒａｍ  ｅｔ  ａｌ．“Ａｕｄｉｏ  Ｓｃｅｎｅ  Ｓｅｇｍｅｎｔａｔｉｏｎ  Ｕｓｉｎｇ  Ｍｕｌｔｉｐｌｅ  Ｆｅａｔｕｒｅｓ，Ｍｏｄｅｌｓ  ａｎｄ  Ｔｉｍｅ  Ｓｃａｌｅｓ，”ＩＣＡＳＳＰ  ２０００を参照されたい。１０個の異なる音声の特徴、すなわちセプストラル束（cepstral flux）、多チャネルコヒーラ分解（multi-channel cochlear decomposition）、セプストラルベクトル（cepstral vector）、低エネルギ比（low energy fraction）、零交差速度（zero crossing rate）、スペクトル束（spectral flux）、エネルギ（energy）、スペクトルロールオフ点（spectral roll off point）、零交差速度分散（variance of zero crossing rate）、エネルギ分散（variance of the energy）を用いることができる。
【００２８】
フレームラベル付け
本実施の形態では、与えられた特徴、たとえば色にとって、フレームのそれぞれのラベルに従って、「絶え間のない」ダイナミックなクラスタリングを用いる。特徴の内部フレーム距離を調べ、最後のクラスタ変化からフレームセットの現在の平均内部フレーム距離と比較する。新たな内部フレーム距離が所定の閾値よりも大きい場合、フレームラベルの新たなセットを開始する。
【００２９】
フレームセットの中心は、登録されたクラスタと比較される。フレームセットが現在のクラスタに実質的に近い場合、フレームセットを該クラスタに割り当て、クラスタの中心を更新する。さもなければ、新たなクラスタを生成する。
【００３０】
新たな内部フレーム距離が小さい場合、該内部フレーム距離を連続するフレームの現在のセットに加え、平均内部フレーム距離を更新する。クラスタリングの間、該フレームの特徴のクラスタに従って、フレームのそれぞれをラベル付けする。個々の特徴についてこの手順を繰り返すことにより、ビデオの複数のラベル系列１２９を得る。
【００３１】
複数のラベル流の統合
本実施の形態では、ステージ１３０での高レベルの意味論的（事象）分析は、複数のラベル系列１２９の分析に基づいている。
【００３２】
事象境界分析
ラベル系列１２９のぞれぞれは、いかにフレームが特定のラベルに割り当てられるかを示している。特定のラベル系列でのラベルのクラスタ間の境界は、ある見地においてこの特徴により反映されるように、コンテンツでの変化を示す。たとえば、動きラベル系列は、動きが静止から迅速に遷移する境界を有することになる。
【００３３】
異なる特徴は、ビデオを異なるラベルのクラスタにラベル付けしてもよい。すなわち、従来技術とは異なり、様々なラベル系列のクラスタの境界は、必ずしも時間調節されない。異なる隣接するラベル系列の境界と比較することにより、ビデオのクラスタリングをラベル系列へと改良することができ、異なるラベルのクラスタの境界の調節および誤調節の意味論的な意味を決定することもできる。
【００３４】
図２は、フレーム系列（１〜Ｎ）１０１、および３つのラベル系列２０１、２０２および２０３を示す。系列２０１のラベル値（Ｒｅｄ、Ｇｒｅｅｎ、およびＢｌｕｅ）は、色の特徴に基づいている。系列２０２のラベル値（Ｍｅｄｉｕｍ、およびＦａｓｔ）は、動きの特徴に基づいている。系列２０３のラベル値（Ｎｏｉｓｙ、およびＬｏｕｄ）は、音声の特徴に基づいている。なお、たとえば、ラベルのクラスタの境界は、常時時間調整されていない。ラベル付けが同時におこるまたは遷移する方法により、異なる意味論的な意味を示すことができる。たとえば、長いパンがある場合、色は変化するが動きは変化しないように、該パンの間に明確なシーン変化があってもよい。また、シーン中の対象が動きを突然変える時、色の変化なしに動きの変化があってもよい。同様に、色ラベルが変化する間、音声ラベルを一定のままにすることができる。たとえば、フットボールビデオでは、緑のフィールド上の早い動き、その後に大きな雑音を伴う新鮮な色のシーンのパンが続くゆっくりした動きは、「得点」事象として分類することができる。
【００３５】
なお、本実施の形態では、ラベル系列に従うクラスタリングは、従来技術のビデオのショットへの分割とは全く異なる。本実施の形態によるクラスタは、異なるラベルに従うものであり、異なるラベルとのクラスタの境界は、時間調整されていなくてもよい。これは、従来のビデオ分割におけるケースではない。本実施の形態では、ラベルの境界それ自体だけでなく、様々なラベル間の時間調整された関係、およびラベルの遷移関係をも分析する。
【００３６】
事象分析
事象を検出するための１つの方法は、最初に状態遷移グラフ２００、すなわちＨｉｄｄｅｎ  Ｍａｋｃｏｖ  Ｍｏｄｅｌ（ＨＭＭ）を生成することである。このＨＭＭは、ラベル系列２０１〜２０３により生成される。状態遷移グラフ２００において、ノード２１０のそれぞれは、様々な事象（ｅ1，…，ｅ7）の可能性を表わしており、および端２２０は、事象間の統計的な依存性（遷移の可能性）を表わしている。次いで、このＨＭＭは、知られているトレーニング（training）ビデオのラベル系列と共に学習する（be trained）ことができる。次いで、学習されたＨＭＭは、新たなビデオでの事象を検出するために用いることができる。
【００３７】
複数のラベル系列での遷移は、ＨＭＭモデルで結合することができる。Ｎａｐｈａｄｅ  ｅｔ  ａｌ．“Ｐｒｏｂａｂｉｌｉｓｔｉｃ  ＭｕｌｔｉｍｅｄｉａＯｂｊｅｃｔ（Ｍｕｌｔｉｊｅｃｔｓ）：Ａ  Ｎｏｖｅｌ  ａｐｐｒｏａｃｈ  ｔｏ  Ｖｉｄｅｏ  Ｉｎｄｅｘｉｎｇ  ａｎｄ  Ｒｅｔｒｉｅｖａｌ  ｉｎＭｕｌｔｉｍｅｄｉａ  Ｓｙｓｔｅｍｓ，”ＩＣＩＰ  ９８，ａｎｄ  Ｋｒｉｓｔｊａｎｓｓｏｎ  ｅｔ  ａｌ．，“Ｅｖｅｎｔ−ｃｏｕｐｌｅｄ  Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌｓ，”ＩＣＭＥ  ２０００を参照されたい。ここでは、ＨＭＭが他のビデオに関連した応用で用いられている。本実施の形態では、管理されない学習方法を利用し、ラベル系列２０１〜２０３での繰り返しの多い、重要な、または異常なパタンを検出する。ドメインの知識と結合することにより、本実施の形態では、知られている事象のパタンと意味的な意味との関係を構築することができる。
【００３８】
カテゴリ分類
同時に、カテゴリ分類ブロックおよび境界分析ブロックの出力を用いて、事象の自動検出を「管理」することができる。ビデオ分類は、カテゴリにおけるビデオに対してより明示的な方法をさらに適用できるように、ビデオコンテンツの基本カテゴリを提供することが非常に有用である。フレームに基づいた複数の特徴により、ビデオ分類が可能となる。
【００３９】
分類子は、異なるラベルを統計的に分析することに基づいて構築される。たとえば、ニュースビデオでは、より高い発生を有する特定の色ラベルを配置する。
これらのラベルは、アンカーパーソンに典型的に対応し、他のビデオからニュースビデオを区別するために用いることができる。フットボールビデオでは、カメラが予測できないボールの動きを追うため、動きラベルの非常に頻繁な変化を配置する。野球のビデオでは、たとえば、ワインドアップ、投球、ヒット、および一塁への走塁といった、球場の共通の視野に対応する複数の異なる色ラベル間の遷移の繰り返しを配置する。この情報全てが組み合わされて、ビデオコンテンツを分類するのに役に立つ。
【００４０】
本発明を好適な実施の形態の例を通して説明してきたが、本発明の精神および範囲内で、様々な他の応用および変更がなされてもよいことが理解されるべきである。それゆえ、添付された特許請求項の範囲の目的は、本発明の真の精神および範囲内で生じる全てのそのような改造および変更をカバーすることにある。
【図面の簡単な説明】
【図１】  本発明による特徴抽出システムのブロック図である。
【図２】  複数のラベル系列のブロック図、および学習される事象のモデルである。
【符号の説明】
１０１  ビデオ、１０９  高レベルの特徴、１１０  特徴抽出ステージ（第１ステージ）、１１１，１１２，１１３  特徴抽出ブロック、１２０  フレームラベル付けステージ（第２ステージ）、１２１，１２２，１２３  フレームラベル付けブロック、１３０  分析ステージ（第３ステージ）、１３１  境界分析ブロック、１３２  事象検出ブロック、１３３  カテゴリ分類ブロック、１４０  特徴ライブラリ。
【図１】
0004566466.tif 000002
【図２】
0004566466.tif 000003