(57)【要約】　　　（修正有）【課題】ドメイン固有の画像の構造解析を効率よく行う【解決手段】連続する圧縮映像の高レベルシンタックスおよび構造を複数の状態に基づいて解析する方法である。まず、既知の状態に分割されたトレーニング映像を使用して、各状態の隠れマルコフモデルの集合をトレーニングする。次に、連続した圧縮映像の固定長スライディングウィンドウからドメイン固有の特徴の集合を抽出し、トレーニングした隠れマルコフモデルの集合を使用して各ドメイン固有の特徴の集合ごとに最大尤度の集合を決定する。最後に、ダイナミックプログラミングを最大尤度の各集合に適用して、圧縮映像フレームの各固定長スライディングウィンドウの特定の状態を決定する。【選択図】　　　　図３
2004040750.tif 000002
【特許請求の範囲】
【請求項１】
前記連続した圧縮映像のフレームの固定長スライディングウィンドウからドメイン固有の特徴の集合を抽出するステップと、
トレーニングした隠れマルコフモデルの複数の集合を使用して前記ドメイン固有の特徴の各集合ごとに最大尤度の集合を決定するステップと、
ダイナミックプログラミングを前記最大尤度の集合それぞれに適用して、前記連続した圧縮映像のフレームの前記固定長スライディングウィンドウそれぞれの特定の状態を決定するステップと、
を備えた複数の状態に基づいて連続した圧縮映像を解析する方法。
【請求項２】
前記抽出ステップは、
前記フレームそれぞれから支配色比を決定するステップと、
前記各フレームから平均運動強度を決定するステップと、
をさらに含む請求項１記載の方法。
【請求項３】
前記支配色比は、
【数１】
2004040750.tif 000013
であり、式中Ｐは、各フレーム中のすべてのピクセルの集合であり、Ｐｄは、前記各フレーム中の支配色を有するピクセルの集合である請求項２記載の方法。
【請求項４】
前記平均運動強度は、
【数２】
2004040750.tif 000014
であり、式中Φは、前記各フレーム中のマクロブロックの数を表し、ｖ（ベクトル）＝［ｖｘ，ｖｙ］は前記マクロブロックそれぞれの動きベクトルである請求項２記載の方法。
【請求項５】
前記ウィンドウの長さは１秒〜５秒の範囲である請求項１記載の方法。
【請求項６】
前記ウィンドウは１秒ステップで順方向にスライドする請求項１記載の方法。
【請求項７】
時間ローパスフィルタを使用して前記ドメイン固有の特徴の集合を平滑化するステップと、
前記ドメイン固有の特徴の集合全体の平均および分散に関して前記ドメイン固有の特徴の集合を正規化するステップと、
をさらに含む請求項１記載の方法。
【請求項８】
前記隠れマルコフモデルの複数の集合は既知の状態のフレームを有するトレーニング映像を使用してトレーニングされる請求項１記載の方法。
【請求項９】
前記集合のそれぞれは６つの隠れマルコフモデルを含む請求項１記載の方法。
【請求項１０】
前記状態はＰおよびＢであり、前記隠れマルコフモデルの集合は、
【数３】
2004040750.tif 000015
である請求項１記載の方法。
【請求項１１】
前記ドメイン固有の特徴の各集合の前記最大尤度の集合は、
【数４】
2004040750.tif 000016
である請求項１０記載の方法。
【請求項１２】
前記ドメイン固有の特徴はガウス分布の混合としてモデリングされる請求項１記載の方法。
【請求項１３】
前記最大尤度の各集合はトレリス格子を形成し、前記特定の状態はラティス格子を通しての最適経路に対応する請求項１記載の方法。
【請求項１４】
前記トレリス格子は前記隠れマルコフモデルの集合の状態および前記隠れマルコフモデルの状態遷移に対応する請求項１３記載の方法。
【請求項１５】
前記特定の状態に基づいて前記連続した圧縮映像を分割することをさらに含む請求項１記載の方法。
【請求項１６】
前記連続した圧縮映像はスポーツイベントのものであり、前記各フレームの支配色比は競技場の色から決定され、平均運動強度は前記各フレームのマクロブロックの動きベクトルから決定される請求項１記載の方法。
【請求項１７】
前記スポーツイベントはサッカーの試合であり前記色は緑である請求項１６記載の方法。
【請求項１８】
前記状態はプレーおよびブレイクである請求項１６記載の方法。
【請求項１９】
前記連続した圧縮映像はサッカーの試合のものであり、前記各フレームの支配色比は競技場の緑色から決定され、平均運動強度は前記各フレームのマクロブロックの動きベクトルから決定され、前記状態ＰおよびＢは前記サッカーの試合でのプレーおよびブレイクである請求項１０記載の方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、概して映像解析の分野に関し、特にドメイン固有の映像の構造の解析に関する。
【０００２】
【従来の技術】
デジタル映像が普及するにつれ、映像のコンテンツを解析する効率的な方法が必要かつ重要になってきた。映像は、解析を非常に困難にする膨大な量のデータおよび複雑性を包含している。まず最も重要な解析は、映像の高レベル構造を理解することであり、これはさらに詳細な解析のベースを提供することができる。
【０００３】
いくつかの解析方法が知られている。Ｙｅｕｎｇ他による「Ｖｉｄｅｏ　Ｂｒｏｗｓｉｎｇ　ｕｓｉｎｇ　Ｃｌｕｓｔｅｒｉｎｇ　ａｎｄ　Ｓｃｅｎｅ　Ｔｒａｎｓｉｔｉｏｎｓ　ｏｎ　Ｃｏｍｐｒｅｓｓｅｄ　Ｓｅｑｕｅｎｃｅｓ」（Ｍｕｌｔｉｍｅｄｉａ　Ｃｏｍｐｕｔｉｎｇ　ａｎｄ　Ｎｅｔｗｏｒｋｉｎｇ　１９９５、Ｖｏｌ．　ＳＰＩＥ２４１７、ｐｐ．　３９９−４１３、１９９５年２月）、Ｙｅｕｎｇ他による「Ｔｉｍｅ−ｃｏｎｓｔｒａｉｎｅｄ　Ｃｌｕｓｔｅｒｉｎｇ　ｆｏｒ　Ｓｅｇｍｅｎｔａｔｉｏｎ　ｏｆ　Ｖｉｄｅｏ　ｉｎｔｏ　Ｓｔｏｒｙ　Ｕｎｉｔｓ」（ＩＣＰＲ、ｖｏｌ．　Ｃ．　ｐｐ．　３７５−３８０、１９９６年８月）、Ｚｈｏｎｇ他による「Ｃｌｕｓｔｅｒｉｎｇ　Ｍｅｔｈｏｄｓ　ｆｏｒ　Ｖｉｄｅｏ　Ｂｒｏｗｓｉｎｇ　ａｎｄ　Ａｎｎｏｔａｔｉｏｎ」（ＳＰＩＥ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｓｔｏｒａｇｅ　ａｎｄ　Ｒｅｔｒｉｅｖａｌ　ｆｏｒ　Ｉｍａｇｅ　ａｎｄ　Ｖｉｄｅｏ　Ｄａｔａｂａｓｅｓ、Ｖｏｌ．　２６７０、１９９６年２月）、Ｃｈｅｎ他による「ＶｉＢＥ：Ａ　Ｎｅｗ　Ｐａｒａｄｉｇｍ　ｆｏｒ　Ｖｉｄｅｏ　Ｄａｔａｂａｓｅ　Ｂｒｏｗｓｉｎｇ　ａｎｄ　Ｓｅａｒｃｈ」（ＩＥＥＥ　Ｗｏｒｋｓｈｏｐ　ｏｎ　Ｃｏｎｔｅｎｔ−Ｂａｓｅｄ　Ａｃｃｅｓｓ　ｏｆ　Ｉｍａｇｅ　ａｎｄ　Ｖｉｄｅｏ　Ｄａｔａｂａｓｅｓ議事録、１９９８年）、およびＧｏｎｇ他による「Ａｕｔｏｍａｔｉｃ　Ｐａｒｓｉｎｇ　ｏｆ　ＴＶ　Ｓｏｃｃｅｒ　Ｐｒｏｇｒａｍｓ」（ｔｈｅ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｃｏｍｐｕｔｉｎｇ　ａｎｄ　ｓｙｓｔｅｍｓ（ＩＣＭＣＳ）議事録、１９９５年５月）を参照されたい。
【０００４】
Ｇｏｎｇ他は、サッカー映像の構造を解析する際にドメインの知識およびドメイン固有のモデルを使用するシステムを記載している。他の従来技術によるシステムのように、映像はまずショットに分割される。ショットは、シャッター開閉間のすべてのフレームとして定義される。各ショット内のフレームから抽出される空間的特徴（競技場のライン）を使用して、各ショットを種々のカテゴリ、たとえばペナルティエリア、ミッドフィールド、コーナーエリア、コーナーキック、およびゴールのショットに分類する。この作業は、特徴が抽出される前に映像が正確にショットに分割されることに大きく依存することに留意されたい。この方法ではまた、圧縮されていない映像が必要である。
【０００５】
Ｚｈｏｎｇ他もまた、スポーツ映像を解析するシステムを記載した。このシステムは、高レベル意味論的単位、たとえば野球での投球およびテニスでのサービスの境界を検出する。各意味論的単位をさらに解析して、関心のあるイベント、たとえばストローク数、プレーの種類（テニスでのネットへのリターンまたはベースラインリターン）を抽出する。カラーベース適応型フィルタリング方法を各ショットのキーフレームに適用して、特定のビューを検出する。エッジや移動するオブジェクトなど複雑な特徴を使用して、検出結果を検証し改良する。この作業もまた、特徴抽出に先立って映像をショットに正確に分割することに大きく依存することに留意されたい。要約すれば、ＧｏｎｇおよびＺｈｏｎｇは両者とも映像を基本単位の連続とみなし、各単位は１ショットである。特徴解析の分解能はショットレベルよりも細かくならない。
【０００６】
したがって、従来技術は概して以下のようなものである。すなわち、まず映像をショットに分割する。次に、各ショットからキーフレームを抽出し、シーンにグループ化する。シーン遷移グラフおよび階層ツリーを使用してこれらデータ構造を表現する。これら手法に伴う問題は、低レベルショット情報と高レベルシーン情報との間のミスマッチである。これらの方法は、関心のあるコンテンツがショットの変更に対応する場合しかうまくいかない。
【０００７】
サッカー映像など多くの用途では、「プレー」など関心のあるイベントはショット変更で定義することができない。各プレーは、類似した色分布を有する多数のショットを含みうる。プレー間の遷移は、ショット特徴のみに基づく単純なフレームクラスタ化によって見つけることが困難である。
【０００８】
かなりのカメラの動きがある多くの状況では、ショット検出プロセスは分割を誤る傾向がある。これは、この種の分割がドメイン固有の高レベルシンタックスおよび映像のコンテンツモデルを考慮することのない低レベルの特徴からのものであるためである。したがって、ショットレベルの分割に基づいて低レベル特徴と高レベル特徴の間のギャップを橋渡しすることは困難である。さらに、ショット分割プロセス中に失われる情報が多すぎる。
【０００９】
異なるドメインでの映像は、非常に異なる特徴および構造を有する。ドメインの知識は、解析プロセスを大幅に促進することができる。たとえば、スポーツ映像では、通常、固定数のカメラ、ビュー、カメラ制御規則、および試合規則によって課される、たとえば、サッカーではプレー単位、テニスではサーブ単位、および野球ではイニング単位での遷移シンタックスがある。
【００１０】
Ｔａｎ他は、「Ｒａｐｉｄ　ｅｓｔｉｍａｔｉｏｎ　ｏｆ　ｃａｍｅｒａ　ｍｏｔｉｏｎ　ｆｒｏｍ　ｃｏｍｐｒｅｓｓｅｄ　ｖｉｄｅｏ　ｗｉｔｈ　ａｐｐｌｉｃａｔｉｏｎ　ｔｏ　ｖｉｄｅｏ　ａｎｎｏｔａｔｉｏｎ」（ＩＥＥＥ　Ｔｒａｎｓ．　ｏｎ　Ｃｉｒｃｕｉｔｓ　ａｎｄ　Ｓｙｓｔｅｍｓｆｏｒ　Ｖｉｄｅｏ　Ｔｅｃｈｎｏｌｏｇｙ　１９９９年）に、またＺｈａｎｇ他は、「Ａｕｔｏｍａｔｉｃ　Ｐａｒｓｉｎｇ　ａｎｄ　Ｉｎｄｅｘｉｎｇ　ｏｆ　Ｎｅｗｓ　Ｖｉｄｅｏ」（Ｍｕｌｔｉｍｅｄｉａ　Ｓｙｓｔｅｍｓ、Ｖｏｌ．　２、ｐｐ．　２５６−２６６、１９９５年）に、ニュースおよび野球の映像解析について記載した。しかし、サッカー映像などより複雑な映像での高レベル構造を考慮するシステムはほんの少数にすぎない。
【００１１】
問題は、サッカーの試合がニュースや野球のような他の映像と比較して相対的にルーズな構造を有することである。プレー単位の構造を除き、コンテンツフローはまったく予測不可能であり、ランダムに発生しうる。サッカーの試合の映像には多くの動きおよびビュー変更がある。この問題の解決は、サッカーファンおよび専門家の自動コンテンツフィルタリングに有用である。
【００１２】
問題は、映像構造解析およびコンテンツ理解の背景が広いほど興味深い。構造に関して、主な考慮事項は高レベル映像状態、たとえばサッカーの試合では試合状態のプレーおよびブレイクの時間的なシーケンスである。連続した映像ストリームをこれら２つの試合状態の交互になったシーケンスに自動的にパーズすることが望ましい。
【００１３】
従来技術による構造解析方法はほとんど、ドメイン固有のイベントの検出に焦点を合わせている。イベントの検出から切り離しての構造のパーズは以下の利点を有する。通常プレーに対応するコンテンツは６０％にすぎない。したがって、ブレイクに対応する映像の部分を切り離すことによって相当な情報の削減を達成することができる。また、プレーおよびブレイクでのコンテンツ特徴は異なるため、このような前の状態の知識を利用してイベント検出器を最適化することができる。
【００１４】
関連分野の構造解析のほとんどは、サッカーおよび他の様々な試合を含むスポーツ映像の解析および一般の映像分割に関する。サッカー映像の場合、従来技術はショット分類（上記Ｇｏｎｇを参照のこと）、Ｙｏｗ他によるシーンの再構築、「Ａｎａｌｙｓｉｓ　ａｎｄ　Ｐｒｅｓｅｎｔａｔｉｏｎ　ｏｆ　Ｓｏｃｃｅｒ　Ｈｉｇｈｌｉｇｈｔｓ　ｆｒｏｍ　Ｄｉｇｉｔａｌ　Ｖｉｄｅｏ」（ＡＣＣＶ１９９５議事録、１９９５年１２月）、およびＴｏｖｉｎｋｅｒｅ他のルールベースの意味論的分類、「Ｄｅｔｅｃｔｉｎｇ　Ｓｅｍａｎｔｉｃ　Ｅｖｅｎｔｓ　ｉｎ　Ｓｏｃｃｅｒ　Ｇａｍｅｓ：　Ｔｏｗａｒｄｓ　Ａ　Ｃｏｍｐｌｅｔｅ　Ｓｏｌｕｔｉｏｎ」（ＩＣＭＥ２００１議事録、２００１年８月）についてであった。
【００１５】
他のスポーツ映像の場合、野球での投球およびテニスのサーブなど標準的なビューの認識には、教師付き学習が利用された。Ｚｈｏｎｇ他による「Ｓｔｒｕｃｔｕｒｅ　Ａｎａｌｙｓｉｓ　ｏｆ　Ｓｐｏｒｔｓ　Ｖｉｄｅｏ　Ｕｓｉｎｇ　Ｄｏｍａｉｎ　Ｍｏｄｅｌｓ」（ＩＣＭＥ２００１議事録、２００１年８月）を参照のこと。
【００１６】
一般的な映像分類、およびニュース、コマーシャルなどの異なる種類のプログラムの区別には、隠れマルコフモデル（ＨＭＭ）が使用されてきた。Ｈｕａｎｇ他による「Ｊｏｉｎｔ　ｖｉｄｅｏ　ｓｃｅｎｅ　ｓｅｇｍｅｎｔａｔｉｏｎ　ａｎｄ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｂａｓｅｄ　ｏｎ　ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　ｍｏｄｅｌ」（ＩＣＭＥ２０００議事録、ｐｐ．　１５５１−１５５４、Ｖｏｌ．　３、２０００年７月）を参照のこと。
【００１７】
ドメイン固有の特徴および支配色比に基づくヒューリスティックルールもまた、プレーとブレイクの分割に用いられてきた。Ｘｕ他による「Ａｌｇｏｒｉｔｈｍｓ　ａｎｄ　ｓｙｓｔｅｍ　ｆｏｒ　ｓｅｇｍｅｎｔａｔｉｏｎ　ａｎｄ　ｓｔｒｕｃｔｕｒｅ　ａｎａｌｙｓｉｓ　ｉｎ　ｓｏｃｃｅｒ　ｖｉｄｅｏ」（ＩＣＭＥ２００１議事録、２００１年８月）および２００１年４月２０日付けでＸｕ他によって出願された米国特許出願第０９／８３９，９２４号「Ｍｅｔｈｏｄ　ａｎｄ　Ｓｙｓｔｅｍ　ｆｏｒ　Ｈｉｇｈ−Ｌｅｖｅｌ　Ｓｔｒｕｃｔｕｒｅ　Ａｎａｌｙｓｉｓ　ａｎｄ　Ｅｖｅｎｔ　Ｄｅｔｅｃｔｉｏｎ　ｉｎ　Ｄｏｍａｉｎ　Ｓｐｅｃｉｆｉｃ　Ｖｉｄｅｏｓ」を参照のこと。しかし、これら特徴における変動は、明示的な低レベルの決定ルールを使用して定量化することが難しい。
【００１８】
【発明が解決しようとする課題】
したがって、映像の低レベル特徴のすべての情報が保持され、特徴シーケンスがより良好に表現される枠組みが必要である。そうすると、ドメイン固有のシンタックスとコンテンツモデルとを組み込んで、高レベルの構造を識別し、映像の分類および分割を可能にすることができるようになる。
【００１９】
【課題を解決するための手段】
本発明は、最初にショットにまだ分割されていない映像である連続した圧縮映像の構造の解析に用いることができる。具体的には、本発明による方法は、サッカーの試合映像など、ドメイン固有の映像の高レベルの構造の解析に用いることができる。
【００２０】
従来技術による方法は、ゴールまたはコーナーキックなど特定イベントの検出に焦点を合わせていたが、本発明は試合の全体的な構造要素に関わる。本発明は、サッカーの規則に基づいて、試合の相互に排他的な２つの状態であるプレーおよびブレイクを定義する。
【００２１】
本発明は、サッカーの試合の特殊なシンタックスおよびコンテンツ特徴に基づいて映像からドメイン固有の特徴、たとえば、支配色比および運動強度（ｍｏｔｉｏｎｉｎｔｅｎｓｉｔｙ）の集合を抽出する。試合の各状態は、隠れマルコフモデル（ＨＭＭ）の集合を使用してモデリングされる確率的構造を有する。最後に、標準的なダイナミックプログラミング技法を使用して、２つの状態への試合の最尤分類を得る。
【００２２】
本発明による方法は、従来技術のようにヒューリスティックルールを直接構築するのではなく、形式的な統計技法を用いてドメイン固有のシンタックス制約をモデリングする。加えて、単純であるが効果的な特徴が圧縮映像から抽出され、コンテンツシンタックスを捕捉する。
【００２３】
より具体的には、方法は、複数の状態に基づいて連続した圧縮映像の高レベルシンタックスおよび構造を解析する。まず、既知の状態に分割されたトレーニング映像を使用して、各状態について隠れマルコフモデルの集合をトレーニングする。
【００２４】
次に、連続した圧縮映像の固定長スライディングウィンドウからドメイン固有の特徴の集合を抽出し、トレーニングした隠れマルコフモデルの集合を使用して、ドメイン固有の特徴の各集合について最大尤度の集合を決定する。最後に、ダイナミックプログラミングを最大尤度の各集合に適用して、圧縮映像フレームの各固定長スライディングウィンドウごとに特定の状態を決定する。
【００２５】
【発明の実施の形態】
サッカー試合の意味論
本発明では、図１に示すように、ドメイン固有の映像に、相互に排他的であり完全な意味論的状態の集合を定義する。たとえば、映像がサッカーの試合である場合、状態はプレー１０１およびブレイク１０２である。試合は、「地面の上にあるかそれとも空中にあるかに関係なく、ボールが完全にゴールラインを越えたかもしくはラインに接したとき」または「試合が審判によって中断されたとき」は常にプレー状態にない、すなわちブレイク中であり、そうでない場合試合はプレー中である。「Ｌａｗｓ　ｏｆ　ｔｈｅ　Ｇａｍｅ」（Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｆｏｏｔｂａｌｌ　Ａｓｓｏｃｉａｔｉｏｎｓ　Ｂｏａｒｄ、Ｆｅｄｅｒａｔｉｏｎ　ｉｎｔｅｒｎａｔｉｏｎａｌｅ　ｄｅ　Ｆｏｏｔｂａｌｌ　Ａｓｓｏｃｉａｔｉｏｎ　（ＦＩＦＡ），　Ｚｕｒｉｃｈ，　Ｓｗｉｔｚｅｒｌａｎｄにより２００１年７月に発行）を参照のこと。
【００２６】
圧縮されたサッカー映像におけるフレームをプレーおよびブレイクの状態に分類することは、テニス映像でのサーブシーンまたは野球映像での投球シーンなどの標準的なシーンがないため難しい。ルーズな時間的構造、すなわちプレー状態とブレイク状態との遷移および試合のハイライト、たとえばゴール、コーナーキック、シュートなどは、常にサーブが先にくるテニスでのボレーとは対照的に、他の知覚可能なイベントと決定的な関係を持たない。しかし、プレー状態およびブレイク状態の識別は、関係のない情報を切り離して映像コンテンツを半分程度削減することを可能にするため興味深い。映像の高レベル構造の分類は、プレー単位でのブラウジング、編集、またはプレーとブレイクの試合の統計的解析にも用途を有する。
【００２７】
サッカー映像のシンタックス
サッカー映像のシンタックスとは、閲覧者による試合の理解および認識を助ける典型的なプロダクションスタイルおよび編集パターンを指す。シンタックスに影響を及ぼす２つの主要な要因は、制作者と試合自体である。シンタックスの目的は、イベントの強調、ならびにたとえば場面切り取り（ｃｕｔａｗａｙｓ）を用いることで閲覧者の注意を引き付けることである。具体的には、サッカー映像のシンタックスは、スポーツ映像制作者によって観察されるいくつかの経験則により特徴付けられることができる。すなわち、（１）試合の大域的な状態を伝えること、（２）アクションを注意深く追い、ハイライトを捕らえることである。Ｔｅｌｅｖｉｓｉｏｎ　ｆｉｅｌｄ　ｐｒｏｄｕｃｔｉｏｎ　ａｎｄ　ｒｅｐｏｒｔｉｎｇ（第２版、Ｌｏｎｇｍａｎ　Ｐｕｂｌｉｓｈｅｒ　ＵＳＡ、１９９６年）の第１２章である、Ｂｕｒｋｅ他による「Ｓｐｏｒｔｓ　Ｐｈｏｔｏｇｒａｐｈｙ　ａｎｄ　ｒｅｐｏｒｔｉｎｇ」を参照のこと。
【００２８】
２つの顕著な特徴を圧縮映像から抽出して、このシンタックス、すなわち支配色比および運動強度を暗黙的に捕捉する。好ましい実施の形態では、支配色比の特徴および運動強度の特徴は、圧縮映像のＩフレームおよびＰフレームから抽出される。Ｉフレームの場合、運動強度は補間される。ここでも、本発明の方法では、従来技術のようにショット境界に沿って映像を分割する必要がないことに留意されたい。
【００２９】
特徴抽出：支配色比
Ｘｕ他が、本明細書に参照により援用される米国特許出願第０９／８３９，９２４号「Ｍｅｔｈｏｄ　ａｎｄ　Ｓｙｓｔｅｍ　ｆｏｒ　Ｈｉｇｈ−Ｌｅｖｅｌ　Ｓｔｒｕｃｔｕｒｅ　Ａｎａｌｙｓｉｓ　ａｎｄ　Ｅｖｅｎｔ　Ｄｅｔｅｃｔｉｏｎ　ｉｎ　Ｄｏｍａｉｎ　Ｓｐｅｃｉｆｉｃ　Ｖｉｄｅｏｓ」に記載するように、ランダムに選択されるフレームの集合を通して支配色相値を抽出することにより、競技場の支配色である緑を適応学習することができる。これにより、各映像フレームにおいて緑のピクセルを緑以外のピクセルから区別することができる。
【００３０】
支配色比は、以下のように定義される。
【００３１】
【数５】
2004040750.tif 000003
【００３２】
式中、Ｐは各フレーム中のすべてのピクセルの集合であり、Ｐｄは、フレーム中の支配色を有するピクセルの集合である。
【００３３】
Ｘｕ他は、比ηｃが現ショットにおけるビューの種類を示すことも記載している。ビューは、フレームに大きな割合の競技場が示される場合、ワイドまたはグローバルと分類され、フレームに見える芝生があまりない場合には中間またはズームインと分類され、フレーム中に芝生の色のピクセルがほんの少ししかない場合にはクローズアップと分類される。さらに、前項に述べたプロダクション原理と合致して、プレーは通常、短い中間ビューショットまたはクローズアップが割り込むワイドビューショットで取り込まれ、ブレイクは通常、クローズアップおよび中間ビューショットの大部分を有する。
【００３４】
しかし、本発明は、ショットがプレー状態およびブレイク状態と合わせられておらず、またカメラビューと一致しておらず、かつビュー検出器が、予測不可能なカメラの動きおよびオブジェクトの激しい動きにより間違った警告を与える傾向があるため、各ビューのキーフレームではなく映像ストリームから均一にサンプリングされた特徴を解析する。Ｘｕは、３種類のビューに直接マッピングするために、支配色比をしきい値化（ｔｈｒｅｓｈｏｌｄｅｄ）した。
【００３５】
対照的に、本発明は、隠れマルコフモデル（ＨＭＭ）のガウス観察を用いて支配色比をモデリングする。
【００３６】
運動強度
運動強度ｍは、フレーム中の「有効な」動きベクトルの大きさの平均として決定される。
【００３７】
【数６】
2004040750.tif 000004
【００３８】
式中、Φは各フレーム中のマクロブロックの数を表し、ｖ（ベクトル）＝［ｖｘ，ｖｙ］は各マクロブロックの動きベクトルである。平均運動強度は、オブジェクトおよびカメラの動きを含む、フレーム全体における総運動（ｇｒｏｓｓ　ｍｏｔｉｏｎ）を大まかに推定する。これは、支配色特徴に対して相補的な情報を持ち、特定のショット内の意味論を示すことが多い。
【００３９】
たとえば、大きな運動強度を有するワイドビューショットは、プレー中の選手の動きおよびカメラのパンに起因することが多く、静的なワイドビューショットは通常、試合がブレイクになったときに生じる。
【００４０】
図２は、サッカーの試合のクリップ例２０１を示し、グラウンドトルースに対応するタイミング図２０２、支配色比２０３、運動強度２０４、ダイナミックプログラミングなしでの状態の最大尤度２０５、ダイナミックプログラミングありでの状態の最大尤度２０６、および時間２０７を含む。グラウンドトルースは、知覚可能なイベントによって示されない限り試合状態が変更せず、またプレーに隣接せず、５秒未満でない限りリプレイはプレー中として扱われるという原理の下でラベルされる。タイミング図は、本発明による解析方法に関して以下においてさらに参照する。
【００４１】
このクリップでは、明確な特徴パターンは、特定のショットにおけるカメラビューおよび試合の状態に関連する。しかし、これらの変動は、従来技術で使用される明示的な低レベルの決定ルールでは定量化することが難しいため、本発明では、以下にさらに詳述するＨＭＭモデリングに頼る。
【００４２】
プレー／ブレイク分類方法
上述したように、サッカーの試合には明確な固有の状態であるプレー（Ｐ）１０１およびブレイク（Ｂ）１０２があり、これら２つの大まかな状態はそれぞれ、ショットでの視点の切り換えや動きの変動など異なる下部構造を有する。これは、発話される各語についてモデルが構築され、データ尤度を使用して評価される音声認識に類似する。Ｒａｂｉｎｅｒによる「Ａ　ｔｕｔｏｒｉａｌ　ｏｎ　ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　ｍｏｄｅｌｓ　ａｎｄ　ｓｅｌｅｃｔｅｄ　ａｐｐｌｉｃａｔｉｏｎｓ　ｉｎ　ｓｐｅｅｃｈ　ｒｅｃｏｇｎｉｔｉｏｎ」（ＩＥＥＥ議事録ｖ７７Ｎｏ２、ｐｐ．　２５７−２８６、１９８９年２月）を参照のこと。音声認識では、音声信号の時間的な軌跡はかなり短く、たとえば、ほとんどの音声認識システムは約２０ミリ秒のスライディングウィンドウを使用する。
【００４３】
しかし、サッカーでのドメイン固有の状態は時間的に非常に多岐にわたり、たとえばペナルティーキックなどほんの一瞬から何分も、またはそれ以上の長さの範囲を有する。したがって、各状態についてモデルの集合を使用して、時間の経過に伴う構造的な変動を捕捉する。これは、Ｈｕａｎｇ他による「Ｊｏｉｎｔ　ｖｉｄｅｏ　ｓｃｅｎｅｓｅｇｍｅｎｔａｔｉｏｎ　ａｎｄ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｂａｓｅｄ　ｏｎ　ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　ｍｏｄｅｌ」（ＩＣＭＥ２０００議事録、ｐｐ．　１５５１−１５５４、Ｖｏｌ．　３、２０００年７月）に記載されるような、各クラスに単一の均質なモデルを単に使用することとは大幅に異なる。
【００４４】
図３に示すように、本発明では、連続した圧縮映像３０１をシングルパスで分類する。したがって、本発明では、フレームの固定長スライディングウィンドウ３０２、たとえば３秒のウィンドウ（３０フレーム／秒で９０フレームのクリップ）からドメイン固有の特徴ベクトルの集合を抽出する（３１０）。ウィンドウは、各ステップに１秒増分で順方向にスライドする。ウィンドウの長さは他の値、たとえば１〜５秒、またはこれよりも長い値に調整可能であることに留意されたい。
【００４５】
特徴ベクトルの集合３１１は、時間ローパスフィルタ３２０によって平滑化することができる。また、平滑な特徴３２１を特徴の集合全体の平均および分散に関して正規化する（３３０）ことができる。次に、２×Ｎ特徴の集合３３１（ただし、２は特徴ベクトルの次元であり、Ｎはウィンドウの長さである）が、Ｐクラス３０８あるいはＢクラス３０９のいずれか一方に分類するために、ＨＭＭダイナミックプログラミングモジュール４００に渡される。映像は分類後に分割することができる。たとえば、相当な割合でコンテンツを削減するために、ブレイクと分類されたすべてのフレームを破棄し、プレーフレームのみを保持する。
【００４６】
ＨＭＭおよびモデル最大尤度
図４は、ＨＭＭ４１０およびダイナミックプログラミング４２０のモジュール４００の詳細を示す。
【００４７】
使用前、ＨＭＭモデル４１１〜４１２のパラメータは、期待値最大化（ＥＭ）および既知の状態を有するトレーニング映像を使用してトレーニングされる。上記Ｒａｂｉｎｅｒを参照のこと。
【００４８】
トレーニング映像は、同質のプレー部分およびブレイク部分に分割される。これは手動で、または他の既知の手段で行うことができる。次に、プレーモデル４１１のＥＭがあらゆる完全なプレー部分上で行われ、ブレイク部分を有するブレイクモデル４１２についても同じことが行われる。ＨＭＭ構造はより長い時間相関を考慮に入れ、それによってプレー内の短いクローズアップなど、状態におけるいくつかのあまり頻繁ではないイベントを「許容」することが可能なため、ＨＭＭトレーニングは３秒ウィンドウ上で行われない。
【００４９】
経験により、モデルが短いセグメントでトレーニングされる場合、全体的な精度は一貫して２〜３％低いことがわかっている。この場合、映像は、短いクローズアップのいくつかとしてひどく過剰分割される傾向があり、プレー中の画面転換がブレイクとして誤って分類される。
【００５０】
トレーニングはプレーまたはブレイク全体について行われるが、分類は短いセグメントに対して行われるため、６つすべての代わりに完全に結びついた３つのモデルしか使用しない場合、結果は何の価値もない。
【００５１】
以下、状態プレーモデル４１１およびそれらの最大尤度４１３を下付文字Ｐで表し、状態ブレイクモデル４１２およびその最大尤度４１４を下付文字Ｂで表す。
【００５２】
トレーニングしたプレーＨＭＭおよびブレイクＨＭＭの集合は、以下である。
【００５３】
【数７】
2004040750.tif 000005
【００５４】
本発明では、各モデル４１１、４１２の下で特徴ベクトル最大尤度を評価して、図４の左部分４１０に示すように、以下のように表される、各タイムスライスごとの最大尤度４１３、４１４の集合を得る。
【００５５】
【数８】
2004040750.tif 000006
【００５６】
本発明では、プレーおよびブレイクそれぞれについて６つのＨＭＭモデルをトレーニングする。６つのＨＭＭモデルは、完全に結びついた１／２／３状態モデル、２／３状態左右モデル、および入退状態（ａｎ　ｅｎｔｅｒｉｎｇ　ａｎｄ　ａｎ　ｅｘｉｔｉｎｇ　ｓｔａｔｅ）を有する完全に結びついた２状態モデルを含む。
【００５７】
ドメイン固有の特徴は、ガウス分布の混合としてモデリングされ、状態ごとに特徴次元当たり２つの混合がある。
【００５８】
ダイナミックプログラミングを使用しての最適経路
ＨＭＭ最大尤度はあらゆるセグメントについての各モデルの「適合度」を表すが、長期相関は考慮されていない。このため、次のステップで、近傍の情報を使用してグローバルな最適状態経路
【００５９】
【数９】
2004040750.tif 000007
【００６０】
を見つける。
【００６１】
各時間間隔において、状態ＰおよびＢそれぞれに対応する２つのノードを定義する。各ノードのスコアは、６個すべてのモデルの中でその状態に「最も適合」するものの最大尤度である。
【００６２】
【数１０】
2004040750.tif 000008
【００６３】
また、前の時間間隔のある状態から現時間間隔のある状態への遷移最大尤度についても、以下のように定義する。
【００６４】
【数１１】
2004040750.tif 000009
【００６５】
これは、以下のようにトレーニングセットを計算することにより得られる。
【００６６】
【数１２】
2004040750.tif 000010
【００６７】
式中、ｓ（ｔ）＝Ｐの場合δＰ（ｔ）＝１であり、その他の場合ではゼロである。ＱＰＢ、ＱＢＰ、およびＱＢＢも同様に定義する。
【００６８】
したがって、スコアが各ノード状態および各状態遷移に関連するラティス格子４２１、たとえばビタビトレリスを有する。ダイナミックプログラミングは、このラティス格子を通して最適経路を見つけるために十分に確立されている技法である。
【００６９】
σＰ（ｔ）およびσＢ（ｔ）が、時間ｔにおいて状態４３１ＰおよびＢそれぞれに到る、シングルパスについて最高のスコアである場合、時間ｔ＋１における状態ＰまたはＢについての最良のスコアを以下によって識別することができる。
【００７０】
【数１３】
2004040750.tif 000011
【００７１】
ここで、状態遷移は、土台をなすＨＭＭモデルのすべての中ではなく、プレーとブレイクの間でのみモデリングされる。これは、この２×２遷移マトリックスが本発明のプレー／ブレイク分類タスクに対して十分なものであり、かつ１２×１２遷移マトリックスを必要とする、すべてのＨＭＭの中で可能なすべての遷移のモデリングは過学習の対象となるためである。
【００７２】
各ノードにおけるスコアＱＰ（ｔ）およびＱＢ（ｔ）が、時間ｔにおける特徴ベクトルがプレーモデルまたはブレイクモデルから生じる真の事後確率である場合、ダイナミックプログラミングステップ４２０は、本質的に第２レベルのＨＭＭである。ここで、定数λがモデル尤度に重みを付け、遷移尤度λ＝０は最大尤度分類に等しく、λ＝１は一次マルコフモデルをもたらす。分類の精度は、λが妥当な範囲内で評価される、たとえば
【００７３】
【数１４】
2004040750.tif 000012
【００７４】
である場合、λに対してあまり敏感ではない。
【００７５】
【発明の効果】
本発明は、基本的な意味論的要素に基づいて映像を分類および分割するために使用することができる。まず、ドメイン固有の特徴の集合が選択され、連続映像のウィンドウ部分から抽出される。分類および分割がＨＭＭを使用して行われ、その後にダイナミックプログラミングが続く。高レベルドメイン固有の映像構造は、圧縮ドメイン特徴および統計ツールを使用して高精度に解析される。
【００７６】
本発明はまた、カメラの動き、エッジ、オーディオなどの関連する相補的な低特徴と、ゴールおよびホイッスル検出など高レベルのオブジェクト検出器とを使用することによって拡張可能なことに留意されたい。加えて、ＨＭＭ内の構造を解析することにより、コンテンツのさらなる詳細、たとえばプレー中の種々のフェーズを示すことも可能である。また、ダイナミックベイズネットワークなど、より一般的なモデルを使用して、特徴、オブジェクト、概念、およびイベントの相互作用および時間的な進展を捕捉することも可能である。
【００７７】
本発明を好ましい実施の形態の例を通して説明したが、本発明の趣旨および範囲内で他の様々な適合および変更を行いうることを理解されたい。したがって、併記の特許請求の範囲の目的は、本発明の真の趣旨および範囲内にあるものとしてこのような変形および変更すべてを網羅することである。
【図面の簡単な説明】
【図１】サッカー映像の状態の図である。
【図２】サッカー映像から抽出される特徴のタイミング図である。
【図３】本発明による解析方法の流れ図である。
【図４】図３の方法で使用する隠れマルコフモデルおよびラティス格子のブロック図である。
【図１】
2004040750.tif 000017
【図２】
2004040750.tif 000018
【図３】
2004040750.tif 000019
【図４】
2004040750.tif 000020
【外国語明細書】
2004040750.tif 000021
2004040750.tif 000022
2004040750.tif 000023
2004040750.tif 000024
2004040750.tif 000025
2004040750.tif 000026
2004040750.tif 000027
2004040750.tif 000028
2004040750.tif 000029
2004040750.tif 000030
2004040750.tif 000031
2004040750.tif 000032
2004040750.tif 000033
2004040750.tif 000034
2004040750.tif 000035
2004040750.tif 000036
2004040750.tif 000037
2004040750.tif 000038
2004040750.tif 000039
2004040750.tif 000040
2004040750.tif 000041
2004040750.tif 000042
2004040750.tif 000043
2004040750.tif 000044
2004040750.tif 000045
2004040750.tif 000046
2004040750.tif 000047
2004040750.tif 000048
2004040750.tif 000049