(57)【要約】サッカーの試合のようなスポーツイベントのビデオクリップにおける重要な進展をハイライトするための方法は、ビデオクリップの低レベルな特徴より与えられる手がかりから進展を推測することによる。本方法は、予め選択された可視的若しくは音声の手がかりを有するビデオクリップにおけるフレームのシーケンスを検出する。手がかりを有する各シーケンスにおけるフレーム数は、所定の閾値と比較される。フレーム数が所定の閾値以上の場合には、重要な進展が、当該閾値を満足するフォーマットシーケンスの直前のフレームにおいて宣言される。
2004509529.tif 000002
【特許請求の範囲】
【請求項１】
スポーツイベントのビデオクリップにおいて重要な出来事若しくは活躍を自動的に特定する方法であって、
ａ）カメラにより生成されるスポーツイベントのビデオクリップを供給するステップと、
ｂ）直前に先行するビデオクリップのフレームが重要な進展を有しうることを示す、予め選択された手がかりを有するビデオクリップのフレームシーケンスを検出するステップと、
ｃ）所定の閾値と、上記手がかりを有するフレームシーケンスにおけるフレーム数とを比較するステップと、
ｄ）上記シーケンスにおけるフレーム数が上記閾値以上である場合に、該フレームシーケンスを直前に先行するフレームにおいて重要な進展があると判断するステップとを含む、方法。
【請求項２】
上記予め選択された手がかりは、可視的なものである、請求項１記載の方法。
【請求項３】
上記予め選択された手がかりは、カメラの照準の変化に基づく、請求項１記載の方法。
【請求項４】
シーケンスの各フレームは、画像を有しており、上記予め選択された手がかりは、上記画像から取得される、請求項１記載の方法。
【請求項５】
上記予め選択された手がかりは、芝の領域をほとんど若しくは一切有していない画像である、請求項４記載の方法。
【請求項６】
上記ビデオクリップに表示される上記スポーツイベントは、サッカーの試合である、請求項１記載の方法。
【請求項７】
上記予め選択された手がかりは、上記ビデオクリップの低レベルの特徴から付与される、請求項１記載の方法。
【請求項８】
上記予め選択された手がかりは、上記ビデオクリップの低レベルの可視的特徴から付与される、請求項１記載の方法。
【請求項９】
上記低レベルの可視的特徴は、色を含む、請求項８記載の方法。
【請求項１０】
上記予め選択された手がかりは、上記ビデオクリップの低レベルの音声特徴から付与される、請求項１記載の方法。
【請求項１１】
上記予め選択された手がかりは、上記ビデオクリップの文字情報から付与される、請求項１記載の方法。
【請求項１２】
上記ビデオクリップの文字情報を用いて、重要な出来事若しくは活躍の特定を確証するステップを更に含む、請求項１１記載の方法。
【請求項１３】
上記ビデオクリップの文字情報を用いて、上記重要な出来事若しくは活躍を意味のあるクラスにクラス化するステップを更に含む、請求項１１記載の方法。
【請求項１４】
上記予め選択された手がかりは、複数の予め選択された手がかりである、請求項１記載の方法。
【請求項１５】
上記予め選択された手がかりは、上記ビデオクリップの低レベルの可視的特徴及び音声特徴、及び上記ビデオクリップの文字情報を含む、請求項１記載の方法。
【請求項１６】
スポーツイベントのビデオクリップにおいて重要な出来事若しくは活躍を自動的に特定する装置であって、
実行可能なコードを記憶するメモリと、
上記メモリに記憶されたコードに基づいて、
ａ）カメラにより生成されるスポーツイベントのビデオクリップを供給するステップと、
ｂ）直前に先行するビデオクリップのフレームが重要な進展を有しうることを示す、予め選択された手がかりを有するビデオクリップのフレームシーケンスを検出するステップと、
ｃ）所定の閾値と、上記手がかりを有するフレームシーケンスにおけるフレーム数とを比較するステップと、
ｄ）上記シーケンスにおけるフレーム数が上記閾値以上である場合に、該フレームシーケンスを直前に先行するフレームにおいて重要な進展があると判断するステップを実行するプロセッサとを含む、装置。
【発明の詳細な説明】
【０００１】
本発明は、コンテンツベースのビデオ抽出及び検索に係り、より詳細には、スポーツイベントのビデオクリップにおける重要情報若しくは進展（デベロップメント）を自動的に特定する方法に関する。
【０００２】
多くのビデオアプリケーションは、ある重要なクリップを見出すために大量のビデオ題材を検索することを可能とする検索方法を必要とする。かかるアプリケーションは、例えばインターアクティブ（対話方式）ＴＶ及び従量料金制のシステムを含んでよい。インターアクティブＴＶ及び従量料金制のシステムを使用する顧客は、借りる前にプログラムの部分を見たいと思う。ビデオブラウザは、顧客が興味のあるプログラムを見出すことを可能とする。
【０００３】
コンテンツベースのビデオ抽出及び検索における大部分の作業は、色、テクスチャ、形状及びカメラ移動のような低レベルの特徴に基づく。低レベルの特徴は、あるアプリケーションに対しては有用であるが、他の多くの興味深いアプリケーションは、より高いレベルの意味のある情報を必要とする。低レベルの特徴と高レベルの意味のある情報との間のギャップを埋めることは容易でない。たいていの場合、高レベルの意味のある情報が必要とされるとき、キーワードを用いた人手による注釈が通常的に用いられる。
【０００４】
ビデオアーカイビング（記録保管）及び抽出のための重要なアプリケーションの１つは、サッカー、フットボール等のようなスポーツに対するものである。従って、低レベルの特徴を用いて高レベルの情報を自動的に抽出できる方法が必要とされている。
【０００５】
本発明は、特にサッカーの試合のようなスポーツイベントのビデオクリップにおける重要な進展を自動的に特定する方法に向けられる。本方法は、
直前に先行するビデオクリップのフレームが重要な進展を有しうることを示す、予め選択された手がかりを有するビデオクリップのフレームシーケンスを検出し；
所定の閾値と、上記手がかりを有するフレームシーケンスにおけるフレーム数とを比較し；
上記シーケンスにおけるフレーム数が上記閾値以上である場合に、該フレームシーケンスを直前に先行するフレームにおいて重要な進展があると判断することを含む。
【０００６】
本方法は、更に、シーケンスの各フレームの画像における低レベルの特徴から予め選択された手がかりを取得することを含む。かかる実施例では、予め選択された手がかりは、カメラの照準の変化に基づく。より詳細には、重要な進展がビデオクリップにおいて発生したとき、カメラは、典型的には、観衆若しくは選手に焦点を合わせられるので、重要な進展を備えたフレームの直後に後続するフレームのシーケンスの画像は、芝領域をほとんど若しくは一切有していない。
【０００７】
本発明の効果、特性、及び種々の付加的特徴は、添付図面との関連において以下で詳細に説明される模範的実施例を考慮することにより、より明らかになるだろう。
【０００８】
本発明の方法は、コンテンツに基づく（コンテンツベースの）抽出及び検索の促進を達成すべく、低レベルの特徴を用いてビデオ若しくは複数の画像から高レベルの情報を抽出する。これは、特定の対象ドメインを特定すると共に、当該ドメインに固有の知識を用いることによって、低レベルの特徴に基づいて高レベルの情報を自動的に抽出する本発明によって達成される。本発明に対する一の特に有用なアプリケーションは、サッカーの試合及びフットボールゲーム等を含むスポーツイベントのビデオクリップにおける重要な進展のセグメントを強調表示（ハイライト）する際である。かかるビデオクリップは、典型的には、ビデオ、音声、文字情報（クローズ−キャプション）を含む。
【０００９】
本発明の方法は、ビデオクリップの低レベルの特徴及び文字情報から与えられる一若しくはそれ以上の手がかりから進展を推測することによって、当該ビデオクリップにおける重要な進展を強調表示する。より詳細には、本方法は、予め選択されている可視、可聴、及び／又は文字（クローズ−キャプション）の手がかりを有したビデオクリップにおけるフレームのシーケンスを検出する。次いで、手がかりを有する各シーケンスにおけるフレーム数は、所定の閾値と比較される。シーケンスにおけるフレーム数が上記閾値以上の場合、重要な進展は、手がかりを備えた閾値を満足するフレームシーケンスを直前に先行するフレームにおいて宣言される。
【００１０】
スポーツイベントのビデオクリップにおける重要な進展は、典型的には、カメラの関心の的における変化に関連する可視的な手がかりにより特徴付けられることが、見出された。例えば、重要な進展がサッカーの試合のようなスポーツイベントで発生したあと、ビデオカメラは、通常的には、選手若しくはスタジアムの観衆に焦点を合わせられる。カメラが選手若しくはスタジアムの観衆に照準されたとき、競技場の芝は、ほとんど若しくは一切カメラの視野内で見ることができない。
【００１１】
カメラの関心の的の変化を用いて、本発明の方法は、競技場の芝領域をほとんど若しくは一切有しない画像を備えたビデオクリップにおけるフレームのシーケンスを検出する。各シーケンスにおけるフレーム数は、所定の閾値と比較される。シーケンスにおけるフレーム数が上記閾値以上の場合、重要な進展は、芝領域をほとんど若しくは一切有しない閾値を満足するフレームシーケンスを、直前に先行するフレームにおいて宣言される。閾値は、競技場の芝領域をほとんど若しくは一切有しないシーケンスにおけるフレーム数が十分でない場合、カメラが選手若しくはスタジアムに照準を合わせていなければならない、という想定に基づいている。結果的に、当該フレームのシーケンスに直前で先行するフレームは、サッカーの試合の場合の得点時のような重要な進展を含むと考えられる。
【００１２】
図１は、サッカーの試合のビデオクリップにおける重要イベントのセグメントを強調表示するのに適用する場合における、本発明の方法を実現するためのアルゴリズムの模範的実施例の概要を示すフローチャートである。本アルゴリズムは、ステップＳ１において芝領域がほとんど若しくは一切ないビデオクリップにおけるフレームのシーケンスを検出する。ステップＳ２において、上記シーケンスにおけるフレーム数が所定の閾値より大きい場合、ステップＳ３において、重要な進展が、ビデオクリップにおけるフレームの先のセットにおいて宣言される。
【００１３】
検出ステップＳ１において、本アルゴリズムは、芝に類似する色を有する緑の領域を検出する。本アルゴリズムは、フレーム内の芝領域が特定可能なように、各フレームの他の色から緑色を見分けるように訓練される。これは、一若しくはそれ以上のサッカーの試合から、若しくは、ビデオクリップにおけるサッカーの試合から抽出されている芝領域の画像訓練セットからのパッチを用いて実現される。本アルゴリズムは、上記パッチから、芝領域を如何にして緑色の値に変換するかを学習する。ビデオクリップのフレームにおける画像が与えられる場合、訓練は、フレーム中の所与のピクセルが芝であるか否かを判断するために用いられる。
【００１４】
本アルゴリズムは、訓練用パッチにおける各ピクセルに対して赤及び緑の正規化された色（ｒ、ｇ）を算出し、クラス芝に対する正規化ヒストグラムを得ることによって訓練される。ここで、ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ）、ｇ＝Ｇ／（Ｒ＋Ｇ＋Ｂ）である。画像のカラーヒストグラムは、赤、緑、青のような色空間を離散的な画像カラー（ビンと称する）に分割し、画像中のすべてのピクセルを横断走査することにより各離散的な色の出現回数をカウントすることによって得られる。
【００１５】
正規化ヒストグラムは、クラス芝、ｐ（ピクセル値｜緑）に対する確率分布関数として考慮できる。上記検出ステップＳ１は、所定の閾値を超えるｐの値（ピクセル値｜緑）を有する各フレーム中のピクセルを芝のピクセルとしてマーキングすることによって実現される。
【００１６】
上述のピクセルクラス化に基づいて、本アルゴリズムのステップＳ１は、各フレームの画像中の芝に類する色を有する連結成分（ｃｏｎｎｅｃｔｅｄ ｃｏｍｐｏｎｅｎｔｓ）を探し、それらが十分に大きい場合には、カメラは競技場にその照準を合わせていると想定する。しかし、フレームの画像中に見出される連結芝色成分が小さい場合、カメラは観衆若しくは選手にその照準を合わせていると想定する。ステップＳ２において、小さい芝色成分が、短時間例えば１乃至３若しくは４個のみのフレームにおいて検出されるだけの場合、ステップＳ３において重要な進展が宣言されない。しかし、小さい芝色成分が、比較的長時間例えば２００乃至３００個のフレームにおいて検出される場合、ステップＳ３において重要な進展が宣言される。
【００１７】
本アルゴリズムを用いて得られる結果は、音声若しくはクローズドキャプションのような他の異なる形式若しくは同一の形式からの他の手がかりを用いて更なる精度向上が可能である。同一の形式若しくは異なる形式からの手がかりは、検出された重要な出来事若しくは活躍の識別を確かめると共に、更に重要なこととして、ゴール、ゴールの試み、ペナルティ、けが、選手同士の乱闘等のような検出された重要な出来事若しくは活躍を、意味のあるクラスへとクラス化し、これらを重要度によってランク付けするために、用いることができる。
【００１８】
一実施例では、図１の方法は、データ処理装置によりコンピューター読取り可能なコードによって実行される。コードは、データ処理装置内のメモリに記憶されてよく、若しくはＣＤ−ＲＯＭやフロッピー（Ｒ）ディスクのような記録媒体から読み取り／ダウンロードされてよい。他の実施例では、ハードウェア回路は、本発明を実行するソフトウェアの指令と協働して若しくはそれに置換されて用いられても良い。本発明は、例えば図２に示すコンピューター３０で実行することもできる。
【００１９】
コンピューター３０は、可変バンド幅ネットワークやインターネットのようなデータネットワークに接続するためのネットワーク接続３１と、ビデオ若しくはデジタルカメラ（図示せず）のような他のリモートの情報源と接続するファックス／モデム接続３２とを含む。コンピューター３０は、ユーザに情報（ビデオデータを含む）を表示するためのディスプレイと、文字及びユーザコマンドを入力するためのキーボードと、ディスプレイ上でカーソルを位置付けると共にユーザコマンドを入力するためのマウスと、格納されたフロッピー（Ｒ）ディスクから読み出し及びそこへの書込みを行うためのディスクドライブと、ＣＤ−ＲＯＭに記憶された情報にアクセスするためのＣＤ−ＲＯＭドライブとを含んでよい。また、コンピューター３０は、画像等を入力する一若しくはそれ以上の後付型の周辺デバイス３８と、画像、文字等を出力するプリンタとを有してよい。
【００２０】
図３は、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリー・メモリ（ＲＯＭ）及びハードディスクのようなコンピューター読取り可能な媒体を含んでよいメモリ４０を含むコンピューター３０の内部構造を示す。メモリ４０に格納される製品は、動作システム４１、データ４２、及びアプリケーション４３を含んでよい。動作システム４１は、ＵＮＩＸ（Ｒ）のようなウインド処理型の動作システムであってよいが、本発明は、マイクロソフト社製ウインドウズ９５（Ｒ）のような他の動作システムも同様に用いることができる。
【００２１】
図１の方法に加えて、メモリ４０に記憶されるアプリケーションは、ビデオコーダ４４、ビデオデコーダ４５、及びフレームグラバー４６を含む。ビデオコーダ４４は、ビデオデータを従来的手法でエンコードし、ビデオデコーダ４５は、従来的手法で符号化されたビデオデータをデコードする。フレームグラバー４６は、ビデオ信号ストリームから単一のフレームを取り込み及び処理することを可能にする。
【００２２】
コンピューター３０に内蔵されるものは、中央処理ユニット（ＣＰＵ）５０、通信インターフェース５１、メモリインターフェース５２、ＣＤ−ＲＯＭドライブインターフェース５３、ビデオインターフェース５４、及びバス５５を含む。ＣＰＵ５０は、コンピューター読取り可能なコード、即ち上述のようなアプリケーションをメモリ５０から実行するためのマイクロプロセッサ等を構成する。かかるアプリケーションは、メモリ４０（上述したように）に記憶されてよく、或いは、ディスクドライブ３６内のフロッピー（Ｒ）ディスク、ＣＤ−ＲＯＭドライブ内のＣＤ−ＲＯＭに記憶されて良い。ＣＰＵ５０は、フロッピー（Ｒ）ディスクに記録されたアプリケーション（若しくは他のデータ）にメモリインターフェース５２を介してアクセスし、ＣＤ−ＲＯＭに記憶されたアプリケーション（若しくは他のデータ）にＣＤ−ＲＯＭドライブインターフェース５３介してアクセスする。
【００２３】
入力ビデオデータは、ビデオインターフェース５４若しくは通信インターフェース５１を通して受信されてよい。入力ビデオデータは、ビデオデコーダ４５二よってデコードされて良い。出力ビデオデータは、ビデオインターフェース５４若しくは通信インターフェース５１を通した送信のために、ビデオコーダ４４によって符号化される。
【００２４】
上述の本発明は、上記実施例を参照して説明されてきたが、種々の修正及び変更が本発明の精神を逸脱することなくなされうる。従って、すべてのかかる修正及び変更は、上記請求の範囲の観点の範囲内であると考えられる。
【図面の簡単な説明】
【図１】
本発明の方法の模範的実施例を実行するアルゴリズムを概説するフローチャートである。
【図２】
本発明の実現のためのコンピューターのブロック図である。
【図３】
本発明を実現するためのコンピューターの内部構造を示すブロック図である。
【図１】
2004509529.tif 000003
【図２】
2004509529.tif 000004
【図３】
2004509529.tif 000005
【国際公開パンフレット】
2004509529.tif 000006
2004509529.tif 000007
2004509529.tif 000008
2004509529.tif 000009
2004509529.tif 000010
2004509529.tif 000011
2004509529.tif 000012
2004509529.tif 000013
2004509529.tif 000014
2004509529.tif 000015
2004509529.tif 000016
2004509529.tif 000017
【国際公開パンフレット（コレクトバージョン）】
2004509529.tif 000018
【国際調査報告】
2004509529.tif 000019
2004509529.tif 000020
2004509529.tif 000021