(57)【要約】方法は、ビデオをセグメント化する。ビデオの音声フレームがラベルを用いて分類される。優位ラベルが連続する複数のラベルの継続的な時間間隔に割り当てられる。継続的な時間間隔のスライドする時間窓の意味記述が構築され、スライドする時間窓は時間的に重なり、各時間窓の意味記述は時間間隔の優位ラベルから求められる遷移行列である。遷移行列からマーカが求められ、マーカが出現する頻度は、低頻度閾値と高頻度閾値との間である。次いで、ビデオがマーカの位置においてセグメント化される。
2009544985.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータによって実施されるビデオをセグメント化する方法であって、該ビデオは映像内容と音声内容とを含み、該映像内容と該音声内容とは同期され、該方法は、
前記ビデオの前記音声内容の各フレームをラベルを用いて分類するステップであって、一連の連続するラベルを生成するものと、
優位ラベルを前記連続するラベルの各継続的な時間間隔に割り当てるステップであって、該時間間隔の長さは前記フレームの長さよりも実質的に長いものと、
前記継続的な時間間隔のスライドする時間窓の意味記述を構築するステップであって、該スライドする時間窓は時間的に重なり、各該時間窓の長さは前記時間間隔の長さよりも実質的に長く、各該時間窓の前記意味記述は、前記時間間隔の連続する前記優位ラベル間の遷移から求められる遷移行列であるものと、
前記遷移行列からマーカを求めるステップであって、該マーカが出現する頻度は低頻度閾値と高頻度閾値との間であるものと、
前記音声内容において前記マーカの位置にある前記ビデオをセグメント化するステップと、
を含む方法。
【請求項２】
ビデオ全体の音声内容の遷移行列を構築することをさらに含む請求項１に記載の方法。
【請求項３】
各遷移行列からヒストグラムを構築することをさらに含む請求項１に記載の方法。
【請求項４】
ビデオ全体の音声内容のヒストグラムを構築することをさらに含む請求項３に記載の方法。
【請求項５】
ビデオ全体の遷移ヒストグラム内の遷移の回数は前記ビデオ全体の音声内容の中のラベルの数に等しい請求項１に記載の方法。
【請求項６】
遷移は連続する優位ラベル間の自己遷移を含む請求項５に記載の方法。
【請求項７】
ビデオ内にマーカが出現する各時点における遷移差を求めることをさらに含む請求項１に記載の方法。
【請求項８】
遷移差を第１の閾値Ｔｈ１と比較し、ビデオ内のセグメント化境界を示すことをさらに含む請求項７に記載の方法。
【請求項９】
遷移行列を正規化することをさらに含む請求項１に記載の方法。
【請求項１０】
現在の時間窓の現在の時点ｔ０の前の時点ｔｂにおける各時間窓、及び前記現在の時点ｔ０の後の時点ｔａにおける各時間窓に関して意味差Diffsemanticを以下のように求めること、
【数１】
2009544985.tif 000007
式中、Ｔａ(ｉ，ｊ)は時点ｔａにおける時間窓の遷移行列、Ｔｂ(ｉ，ｊ)は時点ｔｂにおける時間窓の遷移行列、及び
Diffsemanticを第２の閾値Ｔｈ２と比較し、ビデオ内のセグメント化境界を示すこと、
をさらに含む請求項１に記載の方法。
【請求項１１】
低頻度閾値は約３分の１であり、高頻度閾値は約１００分の１である請求項１に記載の方法。
【請求項１２】
セグメント化するステップは、
マーカに関連付けられる期間ｔｍに関して現在の時点ｔ０の前の期間ｔｂ、及び前記時点ｔ０の後の期間ｔａの遷移差Difftransitionを以下の式に従って求めること、
【数２】
2009544985.tif 000008
式中、ｉｍは前記マーカ、Ｔａは時間期間ｔaの遷移行列、Ｔｂは時間期間ｔｂの遷移行列、Ｔｍは時間期間ｔｍの遷移行列、
前記遷移差を閾値と比較すること、及び
前記遷移差が前記閾値よりも大きく、且つ極大である場合に、現在の時点を境界として選択すること、
をさらに含む請求項１に記載の方法。
【請求項１３】
マーカはビデオ全体を通じて適度に分散される請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的にはビデオをセグメント化することに関し、より詳細には、音声信号に従ってビデオをセグメント化することに関する。
【背景技術】
【０００２】
ビデオをセグメント化することは、多くのビデオ要約アプリケーション、ビデオ検索アプリケーション、及びビデオブラウジングアプリケーションにおいて重要な課題である。本明細書において使用される場合、ビデオは、視覚情報(画素)を含む映像内容と、音声情報(音響信号)を含む音声内容とを含む。映像内容と音声内容とは同期される。内容は台本がないか、又は台本がある場合がある。
【０００３】
監視イベント及びスポーツイベントから取得される内容のような、台本がない内容は、ハイライトを特定することによってセグメント化することができる。ハイライトは、普通でないイベント又は興味深いイベントを含む、ビデオの任意の部分である。ハイライトはそのビデオの本質を捉えることができるため、ハイライトのみを含むビデオのセグメントはそのビデオの要約を提供することができる。たとえば、スポーツイベントのビデオでは、要約は得点のチャンスを含むことができる。
【０００４】
ニュース及びドラマのような、台本がある内容は通常、一連のシーンとして構造化されている。代表的なシーン又はその部分を見ることによって、その内容の本質を得ることができる。したがって、目次(ＴｏＣ)ベースのビデオブラウジングによって、台本がある内容の要約が提供される。たとえば、一連のニュース情報から成るニュースビデオは、情報内の各部分のキーフレーム表現を使用して要約又はブラウジングすることができる。ＴｏＣの抽出には、セグメント化が使用されることが多い。
【０００５】
視覚内容に基づくビデオセグメント化が既知である。通常、色強度及び動きのような、下位の特徴が使用される。しかしながら、このようなセグメント化は、基礎を成すデータセット(画素)が大きく複雑であるため、複雑であると共に多大な時間を必要とし得る。正確な視覚セグメント化は通常、特定のジャンルに限定され、いかなるタイプの内容にも適用可能というわけではない。視覚セグメント化を成功させるためには、正しい特徴を選択することが重要であり得る。
【０００６】
ビデオは音声内容を使用してセグメント化することもできる。下位の音響特徴が音声内容から抽出される。この下位の特徴は通常、音声内容の周期性、ランダム性、及びスペクトル特性を表す。次いで、既知のデータとの相関によって、シーンセグメント化の最適な閾値を求めることができる。
【０００７】
ほとんどの音声内容は、たとえば発話、音楽、沈黙、拍手、及び歓声のような少数の音声クラスに分類することができる。
【０００８】
図１は、１つの一般的な従来技術の音声分類方法１００を示す。音声内容１０１が方法１００に対する入力である。音声内容１０１はビデオ１０３の一部とすることができる。音声内容を映像内容１０４と同期させることができる。音声特徴１１１が、音声内容１０１の比較的短いフレーム１０２から抽出される(１１０)。このフレームはたとえば約１０ミリ秒である。音声特徴１１１は、たとえば変形離散コサイン変換(ＭＤＣＴ)又はメル周波数ケプストラム係数(ＭＦＣＣ)のような多数の異なる形態を有することができる。
【０００９】
また図２に示されているように、分類器２００によって、各フレームの音声特徴１１１がラベルを用いて分類され、一連の連続するラベル１２１が生成される。各ラベルは、たとえば拍手、歓声、音楽、発話、及び沈黙のような音声クラスのうちの１つを表す。分類器２００は、たとえば拍手、歓声、音楽、発話、及び沈黙のようなトレーニングされたクラスのセット２１０を有する。各クラスは、たとえばガウス混合モデル(ＧＭＭ)によってモデル化される。ＧＭＭのパラメータは、トレーニングデータ２１１から抽出される下位の特徴から求められる。音声特徴１１１は、内容の中の音声特徴１１１のＧＭＭがトレーニングされた各クラスのＧＭＭに対応する尤度を求めること(２２０)によって分類することができる。したがって、ラベル１２１は、音声内容の意味解釈の、下下位の時間的な展開を表す時系列データとみなすことができる。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
方法は、ビデオをセグメント化する。ビデオの音声フレームがラベルを用いて分類される。優位ラベルが連続する複数のラベルの継続的な時間間隔に割り当てられる。
【課題を解決するための手段】
【００１１】
継続的な時間間隔のスライドする時間窓の意味記述が構築され、スライドする時間窓は時間的に重なり、各時間窓の意味記述は、その時間間隔の優位ラベルから求められる遷移行列である。
【００１２】
遷移行列からマーカが求められ、マーカが出現する頻度は、低頻度閾値と高頻度閾値との間である。次いで、ビデオがマーカの位置においてセグメント化される。
【図面の簡単な説明】
【００１３】
【図１】従来技術の音声分類方法の流れ図である。
【図２】従来技術の音声分類器のブロック図である。
【図３Ａ】本発明の一実施の形態による音声セグメント化方法の流れ図である。
【図３Ｂ】音声内容の時間部分のブロック図である。
【図４Ａ】本発明の一実施の形態による音声意味記述の一例を示す図である。
【図４Ｂ】本発明の一実施の形態による音声意味記述の一例を示す図である。
【図５】本発明の一実施の形態による台本がない音声シーンの境界のタイミング図である。
【図６】本発明の一実施の形態による台本がある音声シーンの境界のタイミング図である。
【発明を実施するための形態】
【００１４】
図３Ａ及び図３Ｂに示されるように、本発明の実施の形態は、音声内容３０１に基づいてビデオをセグメント化する方法３００を提供する。音声内容の分類されるフレームの一連の連続するラベルｌ ３２１が、本方法に入力される。
【００１５】
最初に、フレームを上述のようにラベルｌ ３１１を用いて分類する。次いで、優位ラベルＬ３２１を時間間隔３０２内の連続する複数のラベルに割り当てる。この時間間隔はフレームよりも実質的に長い。優位ラベルは、１秒の時間間隔の間に連続するフレームにおいて最も頻繁に出現するラベルである。
【００１６】
優位ラベルＬ３２１が使用されてビデオの音声内容の意味記述４０１が構築される(４００)。意味記述４０１は遷移行列４４０とヒストグラム４３０とを含むことができる。図３Ｂに示すように、意味記述は音声内容３０１全体、及び時間的に重なる各窓３０３に関して求めることができる。すなわち、各窓は連続する間隔３０２の優位ラベルＬ３２１を含む。窓は、この間隔よりも実質的に、たとえば３０秒長く、互いに時間的に重なり、たとえば時間的に１秒前進する。ヒストグラム４３０を遷移行列から求めることができる。ラベルＬ３２１の総数は、音楽→音楽のような自己遷移が許容される場合に、遷移の回数に等しい。
【００１７】
意味記述４０１が使用されて、たとえばホームコメディビデオにおけるシーン遷移をマーキングする役割を果たす音楽のようなマーカ６２０が検出される(６１０)。典型的には、マーカ６２０は新たなシーン又は新たなセグメントの開始を示す。マーカは通常、台本があるビデオ内に存在する。台本がある内容の例は、ニュース、ドラマ、ホームコメディ、ハウツー番組、トーク番組等である。このような番組では、シーン遷移は、音楽の特徴的なフレーズを伴うゆるやかなディゾルブから成ることが多い。特別な遷移マーカ又はソースと呼ばれるものは、この非常に短い音楽の一部である。
【００１８】
マーカが発見されると、マーカ６２０を使用してそのマーカの遷移差６４０を求める(６３０)。後述するように、マーカが出現する各時点ｔ０において遷移差６４０を求める。
【００１９】
遷移差６４０を求めた(６３０)後、遷移差６４０を第１の閾値Ｔｈ１と比較する(６５０)。遷移差が閾値Ｔｈ１よりも大きく、且つ極大でもある場合、対応する時点ｔ０は、(セグメント化)境界３５０を示す。
【００２０】
マーカ６２０が発見されない場合(通常は台本がない内容の場合)、各時点ｔ０において意味差５３０を求め(５１０)、この意味差５３０を第２の閾値Ｔｈ２と比較する(５２０)。意味差５３０が閾値Ｔｈ２よりも大きく、且つ極大でもある場合、時点ｔ０は、境界３５０を示す。いずれの場合においても、境界３５０を使用してビデオをセグメント化することができる。
【００２１】
意味記述
本発明の実施の形態のための図４Ａ及び図Ｂに示すように、２つのタイプの意味記述子を使用する。第１の意味記述子は、クラスｉ＝１，．．．，ＭのヒストグラムＨ(ｉ)４３０を含む。第２の意味記述子はクラスｉからクラスｊまでの遷移行列Ｔ(ｉ，ｊ)４４０である。自己遷移(ｉ＝ｊ)が許容される。この行列及びヒストグラムを各時間窓３０３、及び音声内容３０１全体に関して求めることができる。
【００２２】
好ましい実施の形態では、ヒストグラム及び行列内の値は正規化される。上述のように、ヒストグラムＨを遷移行列Ｔから導出することができる。したがって、概して下記の式において、記号Ｈは記号Ｔに置換することができる。
【００２３】
シーンのセグメント化
ニュース、ドラマ、ホームコメディ、トーク番組、音楽テレビ番組等のような異なる内容を有する数時間のビデオの調査の結果、シーン変化は２つのタイプに一般化することができるものと判断する。
【００２４】
第１のタイプは、意味記述子が大きく変化するときに発生する。このタイプの内容に関しては、意味差５３０を使用してシーン境界を検出する。第２のタイプはマーカ６２０によって示される。
【００２５】
意味差の検出
図５に示されるように、時点ｔ０の前の窓ｔｂ、及び時点ｔ０の後の窓ｔａに関して意味差Diffsemantic５３０を以下のように求める(５１０)ことができる。
【００２６】
【数１】
2009544985.tif 000003
【００２７】
式中、Ｔａ(ｉ，ｊ)は窓ｔａの遷移行列であり、Ｔｂ(ｉ，ｊ)はｔｂの遷移行列である。Diffsemanticが閾値Ｔｈ２５５０よりも大きく、且つ極大５６０でもある場合、時点ｔ０は境界３５０を示す。
【００２８】
マーカの検出
マーカは、高すぎもせず低すぎもしない中間の頻度でビデオ全体を通じて出現する、そのクラスの単一のラベルｍである。マーカは、内容全体の遷移行列又はヒストグラムのいずれかから求めることができる。したがって、マーカは頻度制約Ｆｒｌｏｗ＜Ｔ(ｍ，ｊ)＜Ｆｒｈｉｇｈを満たす(式中、Ｆｒｌｏｗは低頻度閾値であり、Ｆｒｈｉｇｈは高頻度閾値である)。ラベルがかなり頻繁に出現する場合、対応するクラスはおそらく音声内容に欠くことのできない部分であり、マーカとして有効ではあり得ない。同様に、ラベルがかなり低頻度で出現する場合も、ラベルはマーカとして有効ではあり得ない。一実施の形態では、Ｆｒｈｉｇｈは約３分の１(one in three)であり、Ｆｒｌｏｗは約１００分の１(one in a hundred)である。
【００２９】
追加の要件として、マーカに関連付けられるラベルｍは、ビデオ全体を通じて適度に分散しているべきである。換言すれば、マーカは、すべてが非常に少数の時点の付近に集中しているべきではない。同様に、マーカは、多数の分離した時点において出現するほど分散しているべきでもない。この制約は、
【００３０】
【数２】
2009544985.tif 000004
【００３１】
として表すことができ、式中、
【００３２】
【数３】
2009544985.tif 000005
【００３３】
はすべての非自己遷移(すなわちｉ≠ｊ)をカウントし、Ｔ(ｍ，ｍ)はマーカラベルの自己遷移をカウントし、α１は最大分散係数であり、α２は最小分散係数である。一実施の形態では、α１＝５．０及びα２＝１．５を選択する。
【００３４】
マーカｍを求めた後、マーカに関連付けられる時間期間ｔｍの遷移行列Ｔｍを求めることができる。図６を参照されたい。一実施の形態では、ｔｍは０．５秒である。
【００３５】
一実施の形態では、マーカは近似境界として使用することができる。期間ｔｍに関して現在の時点ｔ０の前の期間ｔｂ、及び時点ｔ０の後の期間ｔａの遷移差を測定することによって、境界のより正確な推定値を得ることができる。
【００３６】
【数４】
2009544985.tif 000006
【００３７】
式中、Ｔａは時間期間ｔaの遷移行列であり、Ｔｂは時間期間ｔｂの遷移行列であり、Ｔｍは時間期間ｔｍの遷移行列である。Difftransitionが閾値Ｔｈ１よりも大きく、且つ極大でもある場合、対応する時点ｔ０が境界である。本質的に、これは、実質的に時間的に隣接するマーカの集合の中心を位置特定しようと試みる。
【００３８】
本発明を好ましい実施の形態の例として説明してきたが、本発明の精神及び範囲内でさまざまな他の適応及び変更を行うことができることは理解されたい。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲内に入るこのようなすべての変形及び変更を包含することである。
【産業上の利用可能性】
【００３９】
本発明のビデオをセグメント化する方法は、多くの種類のビデオに適用可能である。
【図１】
2009544985.tif 000009
【図２】
2009544985.tif 000010
【図３Ａ】
2009544985.tif 000011
【図３Ｂ】
2009544985.tif 000012
【図４Ａ】
2009544985.tif 000013
【図４Ｂ】
2009544985.tif 000014
【図５】
2009544985.tif 000015
【図６】
2009544985.tif 000016
【国際調査報告】
2009544985.tif 000017
2009544985.tif 000018
2009544985.tif 000019