(57)【特許請求の範囲】
【請求項１】
動き特徴およびカラー特徴を含む圧縮ビデオを要約化する方法であって、
前記圧縮ビデオを複数のショットに区分化するステップと、
各ショットの各フレームを前記動き特徴に従って、比較的低い動きアクティビティを有する第１のクラスのフレームと、比較的高い動きアクティビティを有する第２のクラスのフレームとに分類するステップと、
前記同じ分類を有する連続フレームをセグメントにグループ化するステップと、
前記第１のクラスの各セグメントから任意の１つまたは複数のフレームを選択するステップと、
前記カラー特徴を用いて、前記第２のクラスの各セグメントからフレームのシーケンスを生成するステップと、
各ショットの各セグメントの前記選択されたフレームおよび前記生成されたフレームのシーケンスを、時間的順序、空間的順序、または、映像の意味的な情報に基づく順序で組み合わせて、前記圧縮ビデオの要約を形成するステップと、
を含む、方法。
【請求項２】
前記選択されたフレームおよび前記生成されたフレームのサイズを縮小して縮小フレームを形成するステップをさらに含む、請求項１記載の方法。
【請求項３】
前記第２のクラスの各セグメントのフレームを、前記カラー特徴に従ってクラスタにグループ化するステップと、
各クラスタにクラスタの要約を生成するステップと、
前記クラスタの要約を組み合わせて、前記生成されたフレームのシーケンスを形成するステップと、
をさらに含む、請求項１記載の方法。
【請求項４】
前記要約は、前記ビデオの再生中に作成される、請求項１記載の方法。
【請求項５】
前記要約は、前記ビデオの再要約化に使用される、請求項１記載の方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はビデオに関し、特に、圧縮ビデオの要約化に関する。
【０００２】
【従来の技術】
ビデオの要約を自動的に生成すること、特に圧縮デジタルビデオから要約を生成することが望ましい。
【０００３】
圧縮ビデオフォーマット
ビデオをデジタル信号として圧縮する基本的な方法が、ＭＰＥＧ（Motion Picture Expert Group）に採用されている。ＭＰＥＧ規格は、画像のフルフレームについての情報を時折作成することで、高いデータ圧縮率を達成する。フル画像フレーム、すなわちフレーム内符号化フレームは「Ｉフレーム」または「アンカーフレーム」と呼ばれることが多く、あらゆる他のフレームとは独立したフルフレーム情報を含む。画像差フレーム、すなわちフレーム間符号化フレームは、「Ｂフレーム」および「Ｐフレーム」、または「予測フレーム」と呼ばれることが多く、これは、Ｉフレーム間で符号化され、基準フレームからの画像差、すなわち残余のみを反映する。
【０００４】
通常、ビデオシーケンスの各フレームは、より小さな画素、すなわちピクセルのデータブロックに分割される。各ブロックは離散コサイン変換（ＤＣＴ）関数を施され、統計上依存した空間領域ピクセルを独立周波数領域ＤＣＴ係数に変換する。「マクロブロック」と呼ばれる、それぞれの８ラ８、または１６ラ１６ブロックのピクセルは、ＤＣＴ関数を施されて、符号化信号を提供する。
【０００５】
ＤＣＴ係数は通常エネルギー集中的であるため、１つのマクロブロックにおいて少数の係数のみが、ピクチャ情報の主要部分を含む。たとえば、マクロブロックがオブジェクトのエッジ境界を含む場合、変換後のそのブロックのエネルギー、すなわちＤＣＴ係数で表されるものは比較的大きなＤＣ係数を含み、係数のマトリクスにわたってＡＣ係数がランダムに分散される。
【０００６】
一方、非エッジマクロブロックは通常、同様の大きなＤＣ係数と、そのブロックに関連する他の係数よりも実質的に大きな隣接ＡＣ係数とを特徴とする。ＤＣＴ係数は通常、適応量子化を施されてから、送信媒体に関してランレングス符号化および可変長符号化される。このため、送信データのマクロブロックは通常、８ラ８のマトリクスに満たない符号語を含む。
【０００７】
フレーム内符号化データ、すなわち符号化ＰまたはＢフレームデータのマクロブロックは、予測ピクセルとマクロブロックにおける実際のピクセルの間の差分のみを表す。フレーム内符号化データおよびフレーム間符号化データのマクロブロックはまた、用いられた量子化のレベル、マクロブロックのアドレスインジケータまたはロケーションインジケータ、ならびにマクロブロックのタイプ等の情報も含む。後者の情報は、「ヘッダ」または「オーバーヘッド」情報と呼ばれる。
【０００８】
各Ｐフレームは、最後のＩフレームまたはＰフレームから予測される。各Ｂフレームは、これを挟むＩフレームまたはＰフレームから予測される。予測符号化プロセスは、Ｉフレームのどのマクロブロックの変位量が現在符号化されているＢフレームまたはＰフレームのマクロブロックと最も密接にマッチしているかを示す、「動きベクトル」としばしば呼ばれる変位ベクトルの生成を含む。Ｉフレームにおけるマッチするブロックのピクセルデータが、符号化されているＰフレームまたはＢフレームのブロックからピクセル毎に減じられ、残余が現れる。変換された残余およびベクトルは、ＰフレームまたはＢフレームの符号化データの一部を形成する。
【０００９】
ビデオ分析
ビデオ分析は、ビデオコンテンツの理解を意図してのビデオ処理として定義することができる。ビデオの理解は、「低レベル」の統辞語的理解から「高レベル」の意味論的理解までの範囲としうる。
【００１０】
低レベルの理解は、カラー、モーション、テクスチャ、形状等、低レベルの特徴を分析することでなされる。低レベルの特徴は、ビデオを「ショット」に区分化することのために用いることができる。本明細書において、ショットは、カメラへの電源投入時に始まり、カメラの電源オフまで続くフレームシーケンスとして定義される。通常、ショットにおけるフレームシーケンスは、単一の「シーン」を取り込む。低レベルの特徴を用いて、記述子を生成することが可能である。そして、記述子を用いて、たとえばビデオにおける各ショットおよびおそらくその長さの索引など、ビデオを索引付けることができる。
【００１１】
ビデオの意味論的理解は、コンテンツの部類に関係し、その統語論的な構造には関係ない。たとえば、高レベルの特徴は、ビデオがアクションビデオであるか、ミュージックビデオであるか、「トーキングヘッド（talking head：画面に話し手が登場するもの）」のビデオであるかなどを表す。
【００１２】
ビデオ要約化
ビデオ要約化とは、ビデオの意味論的本質を伝えるビデオのコンパクトな表現を作成することと定義することができる。コンパクトな表現には、「キー」フレームまたは「キー」セグメント、あるいはキーフレームとセグメントの組み合わせを含めることができる。一例として、テニスの試合のビデオ要約は、２つのフレーム、すなわち双方の選手を取り込んだ第１のフレームと、トロフィーを持った勝者を取り込んだ第２のフレームと、を含みうる。より詳細かつ長い要約には、マッチポイントを取り込んだすべてのフレームをさらに含めることができる。このような要約を手動で生成することは確かに可能であるが、これには時間と費用がかかる。したがって、自動要約化が望まれる。
【００１３】
自動ビデオ要約化方法は周知であり、S. Pfeifer他による「Abstracting Digital Movies Automatically」（J. Visual Comm. Image Representation, vol. 7, no. 4, pp. 345 − 353, １９９６年１２月）および「An Integrated Scheme for Automated Video Abstraction Based on Unsupervised Cluster − Validity Analysis」（IEEE Trans. On Circuits and Systems for Video Technology, Vol. 9, No. 8, １９９９年１２月）を参照されたい。
【００１４】
最も良く知られているビデオ要約化方法は、専らカラーベースの要約化に集中している。Pfeiffer他だけが、ビデオ要約の作成に、動きを他の特徴と組み合わせて用いている。しかし、Pfeiffer他による方法は単に、組み合わせた特徴間で考えられうる修正を見過ごした重み付き組み合わせを用いるだけにすぎない。要約化方法によっては、動き特徴を用いてキーフレームを抽出するものもある。
【００１５】
図１に示すように、従来技術によるビデオ要約化方法は殆ど、カラー特徴に基づくクラスタ化を強調している。これは、カラー特徴が抽出し易くかつノイズに耐性があるためである。典型的な方法は、ビデオＡ１０１を入力としてとり、カラーベースの要約化プロセス１００を適用してビデオ要約Ｓ（Ａ）１０２を作成する。ビデオ要約は、ビデオ全体の１つの要約、あるいは関心を引くフレームのセットのいずれかからなる。
【００１６】
方法１００は通常、以下のステップを含む。第１に、カラー特徴に従いビデオのフレームをクラスタ化する。第２に、クラスタをアクセスし易い階層データ構造にする。第３に、各クラスタからキーフレームまたはキーフレームシーケンスを抽出して、要約化する。
【００１７】
動きアクティビティ記述子
ビデオはまた、様々なレベルのアクティビティ、またはアクション強度を有するものとして直観的に理解することができる。比較的高レベルのアクティビティの例は、スポーツイベントビデオでの得点チャンスであり、一方ニュースビデオは比較的低レベルのアクティビティを有する。最近提案されたＭＰＥＧ−７映像規格は、ビデオでの動きアクティビティに関連する記述子を提供する。
【００１８】
【発明が解決しようとする課題】
本発明の目的は、カラーおよびテクスチャの特徴等、他の低レベルの特徴と組み合わせて、動き特徴、特に動きアクティビティ特徴を用いて自動ビデオ要約化方法を提供することである。
【００１９】
【課題を解決するための手段】
本発明の背後にある主な洞察は、次の仮定を根拠としている。ビデオの動きアクティビティは、ビデオの要約化の相対的な困難さを示すのによい目安である。動きの量が多くなるほど、そのビデオの要約化は困難である。ビデオ要約は、包含するフレームの数、たとえばキーフレームの数、またはキーセグメントのフレームの数等により、量的に記述することができる。
【００２０】
ビデオの動きアクティビティの相対強度は、カラー特徴の変化と強く相関する。換言すれば、動きアクティビティの強度が高い場合、カラー特徴の変化も高い可能性が高い。カラー特徴の変化が高い場合、カラー特徴をベースとする要約には比較的多数のフレームが含まれることになり、カラー特徴の変化が低い場合には、要約にはより少数のフレームが含まれることになる。
【００２１】
たとえば、「トーキングヘッド」ビデオでは、動きアクティビティのレベルが低く、また同様にカラー変化もごくわずかである。要約化がキーフレームをベースとする場合、ビデオの要約化には１つのキーフレームで十分である。キーセグメントを用いる場合、視覚的なビデオの要約化には、１秒のフレームシーケンスで十分である。一方、スポーツイベントでの得点チャンスでは動きアクティビティ強度およびカラー変化が非常に高く、したがって要約化には数個のキーフレームまたは数秒が必要である。
【００２２】
より具体的に、本発明は、まずビデオから動きアクティビティの強度を抽出することで、ビデオの要約化をする方法を提供する。次に、該動きアクティビティの強度を用いて、ビデオを要約化の容易なセグメントと困難なセグメントとに区分する。
【００２３】
要約化が容易なセグメントは、単一フレーム、またはセグメントのどこかから選択されたフレームで表される。要約化が容易なセグメントではフレーム間の差がごくわずかであるため、このフレームはいずれのフレームでもよい。困難なセグメントの要約化には、カラーベースの要約化プロセスを用いる。このプロセスは、要約化の困難な各セグメントからフレームシーケンスを抽出する。単一フレームおよび抽出したフレームシーケンスを組み合わせて、ビデオの要約を形成する。
【００２４】
組み合わせには、時間的、空間的、または意味論的な順序付けを用いることができる。時間的配置の場合、たとえば最初から最後に、または最後から最初になどある時間順序で、フレームを繋ぎ合わせる。空間的配置の場合、フレームの縮小版を組み合わせてモザイクやある配列、たとえば長方形にし、１つのフレームで選択された要約フレームのいくつかの縮小版を見せる。意味論的順序の要約は、興奮度の高いものから低いものに移行する。
【００２５】
【発明の実施の形態】
本発明は、カラー特徴および動き特徴を用いて、圧縮ビデオを要約化する。したがって、本発明の要約化方法は最初に、圧縮ビデオから特徴を抽出する。
【００２６】
特徴抽出
カラー特徴
既知の技術を用いて、ＩフレームのＤＣ係数を正確かつ容易に抽出することができる。ＰおよびＢのフレームの場合、ＤＣ係数は、完全に圧縮解除することなく動きベクトルを用いて近似することができる。たとえば、Ｙｅｏ他著「On the Extraction of DC Sequence from MPEG video」（IEEE ICIP Vol. 2, １９９５年）を参照されたい。ＤＣ画像のＹＵＶ値は、カラー特徴を抽出するために、別の色空間に変形することができる。
【００２７】
最も一般に使用される技術は、カラーヒストグラムを用いる。カラーヒストグラムは、画像および映像の索引付けおよび検索に広く用いられてきている。Smith他による「Automated Image Retrieval Using Color and Texture」（IEEE Transaction on Pattern Analysis and Machine Intelligence, １９９６年１１月）を参照されたい。通常、３チャネルＲＧＢ色空間では、各チャネルに４つのビンがあり、カラーヒストグラムには総計６４（４×４×４）個のビンが必要である。
【００２８】
動き特徴
動き情報は、大抵動きベクトルに埋め込まれる。動きベクトルは、ＰフレームおよびＢフレームから抽出することができる。動きベクトルは通常、実際の光の流れに対する荒く、散在した近似であるため、ここでは動きベクトルを質的にのみ用いる。動きベクトルを用いる多くの異なる方法が知られている。Tan他による「A new method for camera motion parameter estimation」（Proc. IEEE International Conference on Image Processing, Vol. 2, pp. 722 − 726, １９９５年）、IEEE Trans. on Circuits and Systems for Video Technology １９９９年に見られるTan他による「Rapid estimation of camera motion from compressed video with application to video annotation」、Kobla他による「Detection of slow-motion replay sequences for identifying sports videos」（Proc. IEEE Workshop on Multimedia Signal Processing, １９９９年）、Kobla他による「Special effect edit detection using VideoTrails: a comparison with existing techniques」（Proc. SPIE Conference on Storage and Retrieval for Image and Video Databases VII, １９９９年）、Kobla他による「Compressed domain video indexing techniques using DCT and motion vector information in MPEG video」（Proc. SPIE Conference on Storage and Retrieval for Image and Video Databases V, SPIE Vol. 3022, pp. 200 − 211, １９９７年）、およびMeng他による「CVEPS − a compressed video editing and parsing system」（Proc. ACM Multimedia 96, １９９６年）を参照されたい。
【００２９】
上述したように、殆どの従来技術による要約化方法は、カラー特徴のクラスタ化をベースとして、カラー記述子を得る。カラー記述子は、定義上比較的ノイズに耐性があるが、ビデオの動き特徴を含まない。しかし、動き記述子はノイズに対する耐性がより低い傾向があるため、ビデオの要約化に広くは用いられていない。
【００３０】
Divakaran他出願の米国特許出願第０９／４０６，４４４号「Activity Descriptor for Video Sequences」は、圧縮画像における動きベクトルから導出した動き特徴を用いて、ビデオにおける動きアクティビティおよびビデオにおける動きアクティビティの空間分布を決定する方法を記載している。このような記述子は、ビデオ閲覧への適用に関してはうまくいく。本明細書では、このような動き記述子をビデオ要約化に適用する。
【００３１】
本明細書では、ビデオにおけるアクティビティの相対レベルを用いて、ビデオの「要約化難易度」を測定できるものと仮定する。不都合なことに、この仮定をテストする単純で客観的な尺度はない。しかし、動きの変化はカラー特徴の変化によってなされることが多いため、動きアクティビティの相対強度とビデオのカラー特徴変化の間の関係を調べる。
【００３２】
動きおよび色の変化
ＭＰＥＧ−７「テストセット」から、ビデオのカラー特徴および動き特徴を抽出することで、これを行う。動きベクトルの大きさの平均を計算することですべてのＰフレームから動きアクティビティ特徴を抽出するとともに、すべてのＩフレームから６４ビンＲＧＢヒストグラムを抽出する。次に、ＩフレームからＩフレームへのヒストグラムにおける変化を計算する。メジアンフィルタをフレーム毎のカラーヒストグラム変化のベクトルに適用し、セグメントカット（segment cut）または他のセグメント遷移に対応する変化をなくす。図２および図３に示すように、フレーム毎に動きアクティビティ強度対メジアンフィルタ済カラー変化をグラフ化する。
【００３３】
図２および図３はそれぞれ、「jornaldanoite1」および「news1」テストセットについての動きアクティビティ強度とカラー相違の間の関係を示す。動きアクティビティ強度とカラー変化の間には明確な相関がある。アクティビティが低い場合、カラー変化も低いことは非常にはっきりとしている。アクティビティレベルが高いほど、高アクティビティの予想されるソースが多くなり、カラーコンテンツ変化が原因ではないものもありうるため、相関は明確ではなくなる。しかし、アクティビティが非常に低い場合、コンテンツがフレーム毎に変化しない可能性が高い。本発明では、この情報を用いてビデオを予めフィルタリングし、殆ど静的なセグメントを検出し、したがって静的セグメントを単一のキーフレームで要約化する。これらの結果に基づき、以下の要約化方法を提供する。
【００３４】
要約化方法
図４は、入力圧縮ビデオＡ４０１を要約化して要約Ｓ（Ａ）４０２を作成するための方法４００を示す。
【００３５】
入力圧縮ビデオ４０１は、当分野で周知であり、かつ上述した標準的な技術を用いて「ショット」に区分化される。最初にビデオをショットに区分化することで、各ショットが同質であり、シーン変更を含まないよう確実にする。よって、たとえば、意味論的レベルでは同一に見える連続した異なる１０の「トーキングヘッド」ショットのビデオを適宜要約化する。この点から、ビデオはショット毎に処理される。
【００３６】
ステップ４１０は、各ショットの各フレームについての動きアクティビティの相対強度を決定する。各フレームは、第１あるいは第２のクラスのいずれかに分類される。第１のクラスは、要約化が比較的容易なフレームを包含し、第２のクラス４１２は要約化が比較的困難なフレームを包含する。換言すれば、この分類は動きをベースとするものである。
【００３７】
分類が同じである各ショットの連続フレームは、要約化が「容易」なセグメント４１１あるいは要約化が「困難」なセグメント４１２のいずれかにグループ化される。
【００３８】
各ショットの容易なセグメント４１１では、セグメントからキーフレームまたはキーフレームシーケンスを選択する（４２１）ことで、セグメントの単純な要約化４２０を行う。容易なセグメント中のフレームはすべて意味論的に同様であるものとみなされるため、選択されるキーフレーム４２１は、セグメント中の任意のフレームであることができる。
【００３９】
各ショットの困難なセグメント４１２については、カラーベースの要約化プロセス５００を適用して、セグメントをキーフレームシーケンス４３１として要約化する。
【００４０】
各ショットのキーフレーム４２１および４３１を組み合わせて各ショットの要約を形成し、ショットの要約を組み合わせてビデオの最終的な要約Ｓ（Ａ）４０２を形成することができる。
【００４１】
フレームの組み合わせには、時間的、空間的、または意味論的な順序付けを用いることができる。時間的配置の場合、たとえば最初から最後に、または最後から最初になどある時間順序で、フレームを繋ぎ合わせる。空間的配置の場合、フレームの縮小版を組み合わせてモザイクやある配列、たとえば長方形にし、１つのフレームで選択された要約フレームのいくつかの縮小版を見せる。意味論的順序では、興奮度の高いものから低いもの、または音の静かなものから大きなものであることができる。
【００４２】
図５は、好ましいカラーベースの要約化プロセス５００のステップを示す。ステップ５１０は、困難なセグメント４１２それぞれのフレームをカラー特徴に従ってクラスタにクラスタ化する。ステップ５２０は、該クラスタを階層データ構造５２１としてアレンジする。ステップ５３０は、クラスタからフレームシーケンスを抽出してクラスタの要約５３１を作成することで、困難なセグメント４１２の各クラスタ５１１を要約化する。ステップ４４０は、クラスタの要約を組み合わせて、困難なセグメント４１２を要約するキーフレームシーケンス４３１を形成する。
【００４３】
ビデオのコンテンツは主に、キーフレームで要約化可能な、「トーキングヘッド」の低アクションフレームを含むため、この方法は、ニュースビデオタイプのシーケンスに最も有効である。カラーベースのクラスタ化プロセス５００は、より高いレベルのアクションを有するフレームシーケンスにのみ実行する必要があり、このため全体的な計算負荷が低減する。
【００４４】
図６は、要約化方法４００を図で示す。入力ビデオ６０１をショット６０３に区分化する（６０２）。動きアクティビティ分析６０４をショットのフレームに適用し、容易なセグメントおよび困難なセグメント６０５を決定する。容易なセグメントから抽出した（６０７）キーフレーム、セグメント、またはショット６０６を、クラスト化カラー分析（６０９）から導出されたカラーベースの要約６０８と組み合わせ、最終的な要約６１０を形成する。
【００４５】
１つの適用において、要約は圧縮ビデオから動的に作成されるため、閲覧者は、ビデオ全体の要約をビデオ「再生」開始してから数分以内に見ることができる。したがって、閲覧者は動的に作成される要約を用いて、ビデオを「拾い読み」することができる。
【００４６】
さらに、動的に作成される要約に基づき、ユーザは、特定の部分を進行中に再要約化するよう要求することができる。換言すれば、ビデオが再生されるにつれ、ユーザが、選択プロセスには要約自体を用いて、おそらく異なる部分については異なる要約化技術を用いて、ビデオの選択部分を様々な詳細レベルで要約化する。したがって、本発明は、今までの従来技術による静的要約化技術では不可能であった高度に対話的な閲覧様式を提供する。
【００４７】
好ましい実施形態の例を通して本発明を説明したが、本発明の精神および範囲内で、他の様々な適合および変更を行いうることが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神および範囲内にあるかかる変形および変更すべてを網羅することである。
【図面の簡単な説明】
【図１】  従来技術によるビデオ要約化方法のブロック図である。
【図２】  ＭＰＥＧテストビデオの動きアクティビティ対カラー変化を表すグラフである。
【図３】  ＭＰＥＧテストビデオの動きアクティビティ対カラー変化を表すグラフである。
【図４】  本発明によるビデオ要約化方法の流れ図である。
【図５】  本発明によるカラーベースの要約化プロセスの流れ図である。
【図６】  本発明による要約化方法を示すブロック図である。
【図１】
0004942883.tif 000002
【図２】
0004942883.tif 000003
【図３】
0004942883.tif 000004
【図４】
0004942883.tif 000005
【図５】
0004942883.tif 000006
【図６】
0004942883.tif 000007