(57)【要約】【課題】方法は、マルチメディアコンテンツのラベリングされた訓練データの聴覚分類を改良する。【解決手段】第１の組のオーディオ分類器が、１組の聴覚特徴に対応するラベルを有する訓練データセットのラベリングされたオーディオフレームを使用して訓練される。ラベリングされた訓練データセットの各オーディオフレームは、第１の組のオーディオ分類器を使用して分類され、改良された訓練データセットを生成する。第２の組のオーディオ分類器が、改良された訓練データセットのオーディオフレームを使用して得られ、ハイライトが、第２の組のオーディオ分類器を使用してラベリングされていないオーディオフレームから抽出される。
2008527397.tif 000002
【特許請求の範囲】
【請求項１】
マルチメディアコンテンツを分類するために使用されるオーディオ分類器の訓練データセットを改良する方法であって、
１組の聴覚特徴に対応する訓練データセットのラベルとしてラベリングされたオーディオフレームを使用して第１の組のオーディオ分類器を訓練することと、
改良された訓練データセットを生成するために、前記第１の組のオーディオ分類器を使用して前記ラベリングされた訓練データセットの各オーディオフレームを分類することと
を含むマルチメディアコンテンツを分類するために使用されるオーディオ分類器の訓練データセットを改良する方法。
【請求項２】
前記改良された訓練データセットのオーディオフレームを使用して第２の組のオーディオ分類器を訓練することをさらに含む請求項１に記載の方法。
【請求項３】
前記第２の組のオーディオ分類器を使用してラベリングされていないオーディオフレームからハイライトを抽出することをさらに含む請求項２に記載の方法。
【請求項４】
前記分類することは、
前記第１の組のオーディオ分類器に従って、前記ラベリングされた訓練データセットの各オーディオフレームに尤度を割り当てることと、
所定の閾値よりも大きな尤度を有する各オーディオフレームを、前記改良された訓練データセットに保持することと
をさらに含む請求項１に記載の方法。
【請求項５】
前記分類することは、
前記第１の組のオーディオ分類器に従って、前記ラベリングされた訓練データセットの各オーディオフレームに尤度を割り当てることと、
所定の閾値よりも小さな尤度を有する各オーディオフレームを、前記改良された訓練データセットに保持することと
をさらに含む請求項１に記載の方法。
【請求項６】
前記所定の閾値よりも小さな尤度を有する各オーディオフレームを破棄することをさらに含む請求項４に記載の方法。
【請求項７】
前記所定の閾値よりも大きな尤度を有する各オーディオフレームを破棄することをさらに含む請求項５に記載の方法。
【請求項８】
前記第１の組のオーディオ分類器は、複数のラベリングされたオーディオ訓練データセットのそれぞれで訓練され、ラベリングされた各オーディオ訓練データセットのフレームは、異なる聴覚特徴に対応するラベルを有し、
前記分類することは、
前記フレームを前記異なる聴覚特徴のうちの対応する聴覚特徴に従ってラベリングするために、前記第１の組のオーディオ分類器を使用して特定の聴覚特徴の特定のオーディオ訓練データセットの各フレームを分類することと、
前記特定の聴覚特徴に対応するラベルを有するオーディオフレームを、前記改良された訓練データセットに保持することと
をさらに含む請求項１に記載の方法。
【請求項９】
前記特定の聴覚特徴以外の聴覚特徴に対応するラベルを有するオーディオフレームを破棄することをさらに含む請求項８に記載の方法。
【請求項１０】
第２の組のオーディオ分類器を得るために、前記第１の組のオーディオ分類器を更新することをさらに含む請求項１に記載の方法。
【請求項１１】
前記更新することは、
前記第２の組のオーディオ分類器を得るために、新しい分類器を前記第１の組のオーディオ分類器に加えることと、
前記第２の組のオーディオ分類器を得るために、前記第１の組のオーディオ分類器から選択された分類器を除去することと
をさらに含む請求項１０に記載の方法。
【請求項１２】
データを分類する方法であって、
訓練データセットを使用して第１の組のオーディオ分類器を訓練することと、
改良された訓練データセットを生成するために、前記第１の組のオーディオ分類器を使用して前記訓練データセットを分類することと、
前記改良された訓練データセットを使用して第２の組のオーディオ分類器を訓練することと、
前記第２の組のオーディオ分類器を使用して前記ラベリングされていないデータを分類することと
を含むデータを分類する方法。
【請求項１３】
前記ラベリングされていないデータの前記分類が所望の性能レベルを実現するまで、前記訓練することおよび前記分類することを繰り返すことをさらに含む請求項１２に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的にはビデオの処理に関し、特にビデオ中のハイライトの検出に関する。
【背景技術】
【０００２】
ビデオ中のハイライトを検出する従来技術によるほとんどのシステムは、単一の信号方式、例えば、聴覚信号または視覚信号のいずれかを用いる。Rui他は、アナウンサーの興奮した話し声、ならびにボールおよびバットの衝撃音に基づいて野球試合のビデオ中のハイライトを検出する。Rui他は、聴覚信号に対してのみ指向性テンプレートマッチングを用いる。Rui他著「Automatically extracting highlights for TV baseball programs」（Eighth ACM International Conference on Multimedia, pp. 105-115, 2000）を参照願いたい。
【０００３】
Kawashima他は、ビデオフレーム中のバットスウィング特徴を抽出する。Kawashima他著「Indexing of baseball telecast for content-based video retrieval」（1998 International Conference on Image Processing, pp. 871-874, 1998）を参照願いたい。
【０００４】
Xie他およびXu他は、ビデオフレームのみから抽出した支配色および動きの情報を用いて、サッカービデオを試合セグメントと休憩セグメントに分割する。Xie他著「Structure analysis of soccer video with hidden Markov models」（Proc. International Conference on Acoustic, Speech and Signal Processing, ICASSP-2002, May 2002）、およびXu他著「Algorithms and system for segmentation and structure analysis in soccer video」（Proceedings of IEEE Conference on Multimedia and Expo, pp. 928-931, 2001）を参照願いたい。
【０００５】
Gong他は、サッカー試合のビデオの構文解析システムを提供する。この構文解析は、競技場のラインパターン、ならびにボールおよび選手の移動等の視覚特徴に基づく。Gong他著「Automatic parsing of TV soccer programs」（IEEE International Conference on Multimedia Computing and Systems, pp. 167-174, 1995）を参照願いたい。
【０００６】
１つの方法は、サッカーのビデオをショット検出およびショット分類に基づいて解析する。ここでも、関心ショットの選択は、視覚情報にのみ基づく。Ekin他著「Automatic soccer video analysis and summarization」（Symp. Electronic Imaging:  Science and Technology:  Storage and Retrieval for Image and Video Databases IV, January 2003）を参照願いたい。
【０００７】
ビデオ中のハイライトを検出する従来技術によるいくつかのシステムは、結合信号方式、例えば、聴覚信号および視覚信号の両方を使用する。Divakaran他により２００３年１２月５日に出願され、参照により本明細書に援用される「Audio-visual Highlights Detection Using Hidden Markov Models」という名称の米国特許出願番号第１０／７２９，１６４号を参照願いたい。Divakaran他は、ガウス混合モデル（ＧＭＭ）に基づいた聴覚の分類を用いて聴覚ラベルを生成すること、および平均的な動きベクトルの大きさを量子化することによって視覚ラベルを生成することを記載している。ハイライトは、ラベリングされたビデオで訓練された離散観測結合隠れマルコフモデル（ＣＨＭＭ）を使用してモデリングされる。
【０００８】
Xiong他は、「Audio Events Detection Based Highlights Extraction from Baseball, Golf and Soccer Games in a Unified Framework」（ICASSP 2003）において、サッカー、ゴルフ、および野球の試合を含む異なるスポーツビデオからスポーツハイライトを抽出する統一された聴覚分類フレームワークについて述べている。提案されるフレームワークでの聴覚クラス、例えば、拍手、応援、音楽、話し声、音楽付きの話し声が、すべてのスポーツに共通した異なる種類の音声を特徴付けるために選択された。例えば、最初の２つのクラスは、様々なスポーツでの関心イベントに対する観客の反応を捕捉するために選択された。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
一般に、従来技術でのスポーツハイライト検出に使用される聴覚クラスは、拍手ならびに興奮した話し声、拍手および応援の混じったものを含む。
【００１０】
クラスからの大量の訓練データが、正確な分類器を生成するための訓練に必要である。さらに、訓練データは、実際のスポーツ放送番組から取得されるため、周囲聴覚雑音によってひどく損なわれることが多い。そのため、訓練によっては、関心イベントを示す聴覚イベントのクラスではなく、むしろ周囲雑音をモデリングする結果になるものがある。
【００１１】
したがって、従来技術の問題を解消する、スポーツビデオオーディオからハイライトを検出する方法が必要である。
【００１２】
本発明は、損なわれている訓練データを除去して、ビデオからスポーツハイライトを抽出する正確なオーディオ分類器をもたらす方法を提供する。
【課題を解決するための手段】
【００１３】
特に、この方法は、１組のオーディオ分類器の訓練データセットを繰り返し改良する。さらに、この１組の分類器を訓練中に動的に更新することができる。
【００１４】
第１の組の分類器は、ラベリングされた訓練データセットのオーディオフレームを使用して訓練される。訓練データセットのラベルは、１組の聴覚特徴に対応する。次いで、訓練データセットの各オーディオフレームが第１の組の分類器を使用して分類され、改良された訓練データセットが生成される。
【００１５】
さらに、１組の分類器は、訓練中に動的に更新することができる。すなわち、上手く働かない分類器を破棄し、新しい分類器を１組の分類器に加えることができる。次いで、改良された訓練データセットを使用して、更新された第２の組のオーディオ分類器を訓練することができる。
【００１６】
訓練すること、繰り返し分類すること、および動的に更新することは、所望の最終組の分類器が得られるまで繰り返すことができる。次いで、最終組の分類器を使用して、ラベリングされていないコンテンツのビデオからハイライトを抽出することができる。
【発明を実施するための最良の形態】
【００１７】
本発明は、マルチメディアコンテンツからハイライトを抽出するための前処理ステップを提供する。マルチメディアコンテンツは、視覚データおよび聴覚データ、または聴覚データのみを含むビデオであってもよい。
【００１８】
図１に示すように、本発明の方法１００は、入力として、聴覚ハイライト検出に使用される１組のオーディオ分類器のオーディオ訓練データセット１０１のラベリングされたフレームを採用する。好ましい実施の形態では、本発明は、Divakaran他により２００３年１２月５日に出願され、本明細書に参照により援用される「Audio-visual highlights detection using coupled hidden Markov models」という名称の米国特許出願第１０／７２９，１６４号に記載の、スポーツビデオからハイライトを抽出する方法と併せて使用することができる。ここで、聴覚クラスのフレームは、興奮した話し声および応援、応援、拍手、話し声、音楽等の聴覚特徴を含む。オーディオ分類器は、Xiong他により「Audio Events Detection Based Highlights Extraction from Baseball, Golf and Soccer Games in a Unified Framework」（ICASSP 2003）（参照により本明細書に援用される）に記載される方法を使用して選択することができる。
【００１９】
ラベリングされた訓練データセット１０１を使用して、ラベリングされた聴覚特徴１０２、訓練データセット１０１に表されるラベリングされた聴覚特徴１０２、例えば、応援、拍手、話し声、または音楽に基づいて第１の組の分類器１１１を訓練する（１１０）。好ましい実施の形態では、第１の組の分類器１１１は、ガウス分布関数の組み合わせを含むモデルを使用する。他の分類器は、同様のモデルを使用することができる。
【００２０】
訓練データセット１０１の各オーディオフレームは、第１の組の分類器１１１を使用して分類され（１２０）、改良された訓練データセット１２１を生成する。分類１２０は、多くの方法で行うことができる。１つの方法は、尤度ベースの分類を適用し、この場合、訓練データセットの各フレームに、クラスに含まれている尤度または確率が割り当てられる。尤度は、範囲［０．０、１．０］に正規化することができる。
【００２１】
所定の閾値よりも大きな尤度を有するフレームのみが、改良された訓練データセット１２１に保持される。他のすべてのフレームは、破棄される。閾値処理が逆であってもよいことを理解されたい。この場合は、所定の閾値よりも小さな尤度を有するフレームが保持される。保持されたフレームのみが、改良された訓練データセット１２１を形成する。
【００２２】
第１の組の分類器１１１が、複数の聴覚特徴１０２、例えば、興奮した話し声、応援、拍手、および音楽について訓練される（１１０）。さらなる特徴を使用できることを理解されたい。拍手の訓練データセット１０１は、各聴覚特徴毎に第１の分類器１１１を使用して分類される（１２０）。各フレームは、特定の聴覚特徴に属するものとしてラベリングされる。分類された特徴に対応するラベルを有する分類済み（１２０）のフレームのみが、改良された訓練データセット１２１に保持される。聴覚特徴に合致しないフレームは、破棄される。
【００２３】
さらに、第１の組の分類器は、訓練中に動的に更新することができる。すなわち、うまく働かない分類器を組から除去し、他の新しい分類器を組に加えて、更新された第２の組の分類器１２２を生成することができる。例えば、音楽特徴のための分類器がうまく働く場合、楽団音楽、有律オルガン和音、または集合ラッパの音等、音楽分類器を変形したものを加えることができる。したがって、分類器は、動的に訓練データに適合される。
【００２４】
次いで、改良された訓練データセット１２１を使用して、更新された第２の組の分類器１３１を訓練する（１３０）。第２の組の分類器は、改良されていない訓練データセット１０１のみを使用して訓練される従来技術による静的分類器と比較して、改良されたハイライト１４１の抽出１４０を提供する。
【００２５】
図示しないオプションのステップにおいて、第２の分類器１３１を使用して、改良されたデータセット１２１を分類して（１４０）、さらに改良されたデータセットを生成することができる。同様に、第２の組の分類器を更新することができ、以下同様である。このプロセスは、所定の反復回数分、または分類器がハイライト１４１の抽出１４０のユーザが定義した性能レベルを実現するまで繰り返すことができる。
【図面の簡単な説明】
【００２６】
【図１】本発明による１組の動的に更新されたオーディオ分類器の訓練データセットを改良する方法のブロック図である。
【図１】
2008527397.tif 000003
【国際調査報告】
2008527397.tif 000004
2008527397.tif 000005
2008527397.tif 000006