(57)【要約】【課題】方法は、確率的統合を用い、聴覚情報と視覚情報の両方を用いてビデオ中のハイライトを検出する。具体的には、方法は、結合隠れマルコフモデル（ＣＨＭＭ）を用いる。【解決手段】ガウス混合モデル（ＧＭＭ）による聴覚の分類を用いて聴覚ラベルを生成し、平均的な動きベクトルの大きさを量子化することによって視覚ラベルを生成する。ラベリングしたビデオで訓練した離散観測ＣＨＭＭを用いてハイライトをモデル化する。ＣＨＭＭは、聴覚信号のみ、またはビデオフレームのみで訓練される従来の隠れマルコフモデル（ＨＭＭ）よりも性能が良い。【選択図】図１
2005189832.tif 000002
【特許請求の範囲】
【請求項１】
ビデオからハイライトを検出する方法であって、
前記ビデオから聴覚特徴を抽出すること、
前記聴覚特徴をラベルとして分類すること、
前記ビデオから視覚特徴を抽出すること、
前記視覚特徴をラベルとして分類すること、
及び
聴覚ラベルと視覚ラベルを確率的に統合して前記ビデオ中のハイライトを検出すること
を含むビデオからハイライトを検出する方法。
【請求項２】
前記ビデオは、圧縮される
請求項１記載の方法。
【請求項３】
無音特徴が聴覚エネルギー及びゼロクロスレートに応じて分類される
請求項１記載の方法。
【請求項４】
前記聴覚特徴は、メル尺度周波数ケプストラム係数である
請求項１記載の方法。
【請求項５】
前記聴覚特徴は、ＭＰＥＧ−７の記述子である
請求項１記載の方法。
【請求項６】
前記聴覚特徴は、ガウス混合モデルを用いて分類される
請求項１記載の方法。
【請求項７】
前記聴覚ラベルは、拍手、歓声、打球、音楽、男性の声、女性の声、及び声と音楽からなる群から選択される
請求項１記載の方法。
【請求項８】
前記視覚特徴は、動きアクティビティ記述子に基づく
請求項１記載の方法。
【請求項９】
前記視覚特徴は、支配色及び動きベクトルを含む
請求項１記載の方法。
【請求項１０】
動きアクティビティの分散を量子化して前記視覚ラベルを得る
請求項１記載の方法。
【請求項１１】
動きアクティビティを平均して前記視覚ラベルを得る
請求項１記載の方法。
【請求項１２】
前記視覚ラベルは、接写、リプレイ、及びズームからなる群から選択される
請求項１記載の方法。
【請求項１３】
前記確率的統合は、離散観測結合隠れマルコフモデルを用いる
請求項１記載の方法。
【請求項１４】
前記離散観測結合隠れマルコフモデルは、聴覚の隠れマルコフモデルと視覚の隠れマルコフモデルを含む
請求項１３記載の方法。
【請求項１５】
前記離散観測結合隠れマルコフモデルは、前記聴覚の隠れマルコフモデルと前記視覚の隠れマルコフモデルの状態のデカルト積、及び前記聴覚の隠れマルコフモデルと前記視覚の隠れマルコフモデルの観測値のデカルト積から生成される
請求項１４記載の方法。
【請求項１６】
手作業でラベリングしたビデオを用いて前記離散観測結合隠れマルコフモデルを訓練することをさらに含む
請求項１３記載の方法。
【請求項１７】
前記ビデオは、スポーツビデオである
請求項１記載の方法。
【請求項１８】
前記ハイライトの尤度を求めること、
及び
前記ハイライトを閾値処理することをさらに含む
請求項１記載の方法。
【請求項１９】
前記ビデオの聴覚部分が圧縮される
請求項１記載の方法。
【請求項２０】
前記ビデオの視覚部分が圧縮される
請求項１記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的にはビデオの処理に関し、特にビデオ中のハイライトの検出に関する。
【背景技術】
【０００２】
ビデオ中のハイライトを検出するほとんどの従来技術のシステムは、単一のシグナリング方式（modality）、例えば、聴覚信号または視覚信号のみのいずれかを用いる。Rui等は、アナウンサーの興奮した声およびボールとバットの衝撃音に基づいて野球試合のハイライトを検出する。Rui等は、聴覚信号に対してのみ指向性（directional）テンプレートマッチングを用いる。Rui等著「Automatically extracting highlights for TV baseball programs」（Eighth ACM International Conference on Multimedia, pp. 105-115, 2000）を参照のこと。
【０００３】
Kawashima等は、ビデオフレーム中のバットスウィング特徴を抽出する。Kawashima等著「Indexing of baseball telecast for content-based video retrieval」（1998 International Conference on Image Processing, pp. 871-874, 1998）を参照のこと。
【０００４】
Xie等およびXu等は、ビデオフレームのみから抽出した支配色および動きの情報を用いて、サッカービデオを試合セグメントと休憩セグメントに分割する。Xie等著「Structure analysis of soccer video with hidden Markov models」（Proc. International Conference on Acoustic, Speech and Signal Processing, ICASSP-2002, May 2002）、およびXu等著「Algorithms and system for segmentation and structure analysis in soccer video」（Proceedings of IEEE Conference on Multimedia and Expo, pp. 928-931, 2001）を参照のこと。
【０００５】
Gong等は、サッカー試合の構文解析システムを提供する。この構文解析は、競技場のラインパターン、およびボールと選手の移動等の視覚特徴に基づく。Gong等著「Automatic parsing of TV soccer programs」（IEEE International Conference on Multimedia Computing and Systems, pp. 167-174, 1995）を参照のこと。
【０００６】
Ekin等は、ショットの検出および分類に基づいてサッカービデオを解析する。ここでもまた、関心のあるショットの選択は視覚情報のみに基づく。Ekin等著「Automatic soccer video analysis and summarization」（Symp. Electronic Imaging: Science and Technology: Storage and Retrieval for Image and Video Databases IV, January 2003）を参照のこと。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
したがって、聴覚情報と視覚情報の両方に基づいてビデオからハイライトを検出することが望ましい。
【課題を解決するための手段】
【０００８】
本発明は、確率的統合を用い、聴覚情報と視覚情報の両方を用いてビデオ中のハイライトを検出する。具体的には、本発明は結合隠れマルコフモデル（ＣＨＭＭ）を用い、特に、処理されるビデオはスポーツビデオである。しかし、本発明は、聴覚コンテントと視覚コンテントが相関している他のタイプのビデオ（アクション映画や冒険映画等）においてハイライトを検出するために用いることもできることに留意すべきである。
【０００９】
まず、ガウス混合モデル（ＧＭＭ）による聴覚の分類を用いて聴覚ラベルを生成し、平均的な動きベクトルの大きさを量子化することによって視覚ラベルを生成する。ラベリングしたビデオで訓練した離散観測ＣＨＭＭを用いてハイライトをモデル化する。ＣＨＭＭは、聴覚信号のみ、またはビデオフレームのみで訓練される従来の隠れマルコフモデル（ＨＭＭ）よりも性能が良い。
【００１０】
２つの単一方式のＨＭＭを結合して、モデルの状態を精緻化することによって、モデル化を改良する。ＣＨＭＭは、情報統合技法および視聴覚ハイライトの検出に有用なツールを提供する。
【発明を実施するための最良の形態】
【００１１】
ビデオ中の聴覚特徴のみに基づくハイライト検出の性能は、背景雑音が増加すると大幅に低下するため、本発明では、観客やマイクロホンが生じる音響雑音によって損なわれない相補的な視覚特徴も用いる。
【００１２】
システムと方法の概要
図１に示すように、本発明はビデオ１０１を入力として取得する。ビデオは、従来のショットまたはシーン検出技法を用いてショットに分割することができる。ビデオをまず、聴覚部分１０２と視覚部分１０３に逆多重化する。聴覚特徴１１１はビデオ１０１の聴覚部分１０２から抽出され１１０、視覚特徴１２１は、ビデオの視覚部分を構成するフレーム１０３から抽出される１２０。特徴は、圧縮ビデオ（例えばＭＰＥＧ圧縮ビデオ）から抽出できることに留意すべきである。
【００１３】
分類した聴覚特徴に対して聴覚ラベル１１４を生成する１１２。分類した視覚特徴に応じて視覚ラベル１２４も生成する１２２。
【００１４】
次に、確率的統合１３０をラベルに適用して、ハイライト１９０を検出する１４０。
【００１５】
聴覚特徴の抽出と分類
図２は聴覚の分類をより詳細に示す。聴覚の分類を用いることにした動機は、聴覚ラベルがコンテントの意味に直接関連するためである。聴覚信号１０２を聴覚フレームに分割し２１０、フレームから聴覚特徴を抽出する１１０。
【００１６】
本発明では例えば、４Ｈｚの変調エネルギーおよびゼロクロスレート（ＺＣＲ）２２１を用いて、無音セグメントをラベリングする。分割した聴覚フレームからメル尺度周波数ケプストラム係数（ＭＦＣＣ）２２２を抽出する。次に、ガウス混合モデル（ＧＭＭ）１１２を用いて、７つの音声クラス２４０をそれぞれラベリングする。他の可能な分類器としては、最近傍分類器およびニューラルネットワーク分類器がある。これら７つのラベルは、拍手、打球、女性の声、男性の声、音楽、音楽と声、および雑音（観客の雑音、歓声等）である。ＭＰＥＧ−７の聴覚記述子を聴覚ラベル１１４として用いることもできる。これらのＭＰＥＧ−７の記述子は、より詳細で包括的であり、全てのタイプのビデオに適用される。
【００１７】
視覚特徴の抽出と分類
図３は視覚解析の詳細を示す。本発明では、ＭＰＥＧ−７の動きアクティビティ記述子を改良したものを用いてビデオラベル１２４を生成する。ＭＰＥＧ−７の動きアクティビティ記述子は、ビデオセグメント中の「動作強度」または「動作ペース」の直観を捕らえる。Cabasson等著「Rapid generation of sports highlights using the MPEG-7 motion activity descriptor」（SPIE Conference on Storage and Retrieval from Media Databases, 2002）を参照のこと。可能な特徴としては、支配色３０１および動きアクティビティ３０２がある。
【００１８】
動きアクティビティは、２つの隣接するＰフレーム間のビデオフレームの動きベクトルの大きさの分散を５つの可能なラベル（非常に低い、低い、中間、高い、非常に高い）のうちの１つに量子化することによって抽出される。平均的な動きベクトルの大きさはまた、上手く働き、計算の複雑度は低い。
【００１９】
２つの隣接するＰフレーム間の上記ビデオフレームの動きベクトルの大きさの平均を４つのラベル（非常に低い、低い、中間、高い）のうちの１つに量子化する。他の可能なラベル１２４としては、接写３１１、リプレイ３１２、およびズーム３１３がある。
【００２０】
離散観測結合隠れマルコフモデル（ＤＣＨＭＭ）
図４は、本発明が用いることのできる確率的統合の１実施形態を示す。
【００２１】
確率的統合は次のように定義することができる。一般性を失うことなく、特徴ｆＡおよびｆＢを用いる２つのシグナリング方式ＡおよびＢを考慮する。次に、統合関数Ｆ（ｆＡ，ｆＢ）により、特徴ｆＡおよびｆＢに関連する目的事象Ｅの確率、または特徴ｆＡおよびｆＢの対応するシグナリングモードの確率を推定する。この定義は、任意数の特徴に一般化することができる。
【００２２】
したがって、関数Ｆ（ｆＡ，ｆＢ）のそれぞれ別個の選択により、別個の確率的統合技法を生じる。簡単な選択は、監視付きクラスタリングを実行して、目的事象Ｅに対応するクラスタＣを見つけることである。次に、クラスタＣの重心からテスト特徴ベクトルまでの距離の適切なスケーリングおよび閾値処理により目的事象Ｅの確率が得られるため、上で定義した関数Ｆとしての役目を果たす。
【００２３】
ニューラルネットは、訓練プロセスが、特徴空間を目的事象に対応する領域と対応しない領域に分ける線形超平面をもたらす別の可能性を提供する。この場合、領域の境界から特徴ベクトルまでのスケーリングおよび閾値処理された距離は、関数Ｆとしての役目を果たす。
【００２４】
隠れマルコフモデル（ＨＭＭ）は、特徴ベクトルの時間的動態を関数Ｆに組み込むという利点を有する。したがって、時間的動態で区別される事象はいずれも、ＨＭＭを用いた場合により良好に分類される。例えばゴルフにおいて、良いショットによって生じる高い動きの後には拍手が続くことが多い。このような時間パターンはＨＭＭによって最も良く捕らえられる。したがって、この研究において、結合ＨＭＭを用いることにした動機は、目的事象Ｅの確率を求めるためである。この場合、ＨＭＭからの尤度出力は、上で定義した関数Ｆとしての役目を果たす。
【００２５】
図４において、確率的統合を、離散観測結合隠れマルコフモデル（ＤＣＨＭＭ）を用いて実現する。丸ノード４０１は聴覚ラベルを表し、四角ノード４０２は聴覚ＨＭＭの状態であり、四角ノード４０３は視覚ＨＭＭの状態であり、丸ノード４０４は視覚ラベルである。
【００２６】
四角ノードで終わる横および斜めの矢印４１０はＣＨＭＭの遷移行列を表す。
【００２７】
【数１】
2005189832.tif 000003
【００２８】
ここで、Ｓ１は聴覚の状態を、Ｓ２は視覚の状態を表す。これは、現在の２つの隠れ状態をそれぞれｉおよびｊと仮定した場合に、第１のマルコフ鎖において次の時刻に状態ｋに遷移する確率（Ｐｒ）である。２つのマルコフ鎖の状態の総数はそれぞれＭおよびＮである。同様に次式を定義する。
【００２９】
【数２】
2005189832.tif 000004
【００３０】
縦の矢印４２０に関連するパラメータは、現在の状態が与えられた場合の或る観測値の確率を求める。２つの状態変数を有する離散観測システムをモデル化するために、それらの状態のデカルト積、そして同様にそれらの観測値のデカルト積から単一のＨＭＭを生成する。Brand等著「Coupled hidden Markov models for complex action recognition」（Proceedings of IEEE CVPR97, 1996）、およびNefian等著「A coupled HMM for audio-visual speech recognition」（Proceedings of International Conference on Acoustic, Speech and Signal Processing, vol. II, pp. 2013-2016, 2002）を参照のこと。
【００３１】
Ｍ個およびＮ個の状態をそれぞれ有する２つのＨＭＭの結合を、以下の状態遷移行列の定義を用いて、Ｍ×Ｎ個の状態を有する単一のＨＭＭに変換する。
【００３２】
【数３】
2005189832.tif 000005
【００３３】
これは、２つの結合ＨＭＭのパラメータの、単一の積ＨＭＭへの「パッキング」および「アンパッキング」を伴う。従来の前向き・後ろ向きプロセスを用いて、最尤推定に基づいて積ＨＭＭのパラメータを学習することができる。ビタビアルゴリズムを用いて、観測値およびモデルパラメータが与えられた場合に最適な状態シーケンスを求めることができる。前向き・後ろ向きアルゴリズムおよびビタビアルゴリズムのさらなる詳細については、Rabiner著「A tutorial on hidden Markov models and selected applications in speech recognition」（Proceedings of the IEEE, vol. 77, no. 2, pp. 257-286, February 1989）を参照のこと。
【００３４】
ＣＨＭＭを用いた確率的統合
本発明では、手作業でラベリングしたビデオを用いて視聴覚ハイライトのＣＨＭＭ４０２〜４０３を訓練する。この訓練ビデオは、ゴルフクラブのスウィングとそれに続く観客の拍手、ゴール得点のチャンスと歓声等といったハイライトを含む。本発明において、離散時間ラベルを用いることにした動機は、離散観測ＣＨＭＭを学習するほうが、連続観測ＣＨＭＭを学習するよりも計算効率が高いためである。
【００３５】
離散時間ラベルを用いる場合、より複雑なガウス関数、またはガウス関数の混合を用いて観測値をモデル化する必要はない。ビデオラベルをアップサンプリングして、訓練ビデオ中のハイライト例の聴覚ラベルシーケンスの長さを合わせることによって、２つのラベルシーケンスを揃える。
【００３６】
次に、ビタビアルゴリズムによって復号化された各状態に対応するラベルの意味論的な意味を解析することによって、ＣＨＭＭの状態の数を選択する。
【００３７】
スポーツビデオ中の非ハイライト事象の本来の多様性のために、良い陰性の訓練例を収集することは困難である。したがって本発明では、非ハイライトのＣＨＭＭを学習することはしない。
【００３８】
スポーツビデオから順次取得したビデオセグメントの尤度を、ハイライトのＣＨＭＭのみを用いて適応的に閾値処理する。直観では、ハイライトのＣＨＭＭは、ハイライトセグメントに対してより高い尤度を、非ハイライトセグメントに対してより低い尤度を生じる。
【００３９】
ユーザインタフェース
図５に示すように、ビデオ中のハイライトの検出の重要な用途の１つは、記憶されたビデオコンテント５０２への正確な入口点をユーザ５０１に提供し、ユーザが、必ずしも訓練ビデオによってモデル化されるわけではないインタフェース５１０を用いて、他の関心のあるコンテントを適応的に選択できるようにすることである。ユーザインタフェース５１０はデータベース管理サブシステム５２０と対話する。これは、進行的なハイライト生成プロセスを必要とする。ユーザが視聴したいハイライトシーケンスの長さに応じて、システムは、ハイライトを含む最も尤度の高いシーケンスを提供することができる。
【００４０】
したがって、本発明はコンテントに適応した閾値を用いる。最も低い閾値は最も小さい尤度であり、最も高い閾値は全ビデオシーケンスにわたって最も大きな閾値である。次に、タイムバジェットが与えられた場合、閾値の値を求めることができる。ハイライトセグメントの全長は、可能な限りバジェットに近い。次に、閾値よりも高い尤度を有するセグメントを次々に、バジェットを使い果たすまで再生することができる。
【００４１】
本発明を好ましい実施形態の例として述べたが、本発明の精神および範囲内で様々な他の適応および修正を行うことができることを理解すべきである。したがって、併記の特許請求の範囲の目的は、本発明の真の精神および範囲に入る変形および修正をすべて網羅することである。
【図面の簡単な説明】
【００４２】
【図１】本発明による、ビデオ中のハイライトを検出するシステムおよび方法のブロック図である。
【図２】聴覚特徴の抽出と分類のブロック図である。
【図３】視覚特徴の抽出と分類のブロック図である。
【図４】本発明による離散観測結合隠れマルコフモデルのブロック図である。
【図５】本発明によるユーザインタフェースのブロック図である。
【図１】
2005189832.tif 000006
【図２】
2005189832.tif 000007
【図３】
2005189832.tif 000008
【図４】
2005189832.tif 000009
【図５】
2005189832.tif 000010
【外国語明細書】
2005189832.tif 000011
2005189832.tif 000012
2005189832.tif 000013
2005189832.tif 000014
2005189832.tif 000015
2005189832.tif 000016
2005189832.tif 000017
2005189832.tif 000018
2005189832.tif 000019
2005189832.tif 000020
2005189832.tif 000021
2005189832.tif 000022
2005189832.tif 000023
2005189832.tif 000024
2005189832.tif 000025
2005189832.tif 000026
2005189832.tif 000027
2005189832.tif 000028
2005189832.tif 000029
2005189832.tif 000030