(57)【要約】  オブジェクト型的フィーチャのクラスタ化に基づくオーディオ及び／又はビジュアルデータの要約が開示される。ビデオ、オーディオ、及び／又はオーディオビジュアルデータの要約は、データに存在するオブジェクトの真の識別情報について知る必要なく提供され得る。本発明の一実施例では、ムービーのビデオ要約が提供される。前記要約は、オーディオ及び／又はビジュアルデータを入力するステップと、データのフレームにおいてオブジェクトを検出するステップ、例えば俳優の顔を検出するステップと、フレーム内で検出されたオブジェクトの型的フィーチャを抽出するステップとを有する。型的フィーチャを抽出は、複数のフレームに対してなされ、類似の型的フィーチャは、個々のクラスタに一緒にグループ化され、各々のクラスタがオブジェクトの識別情報にリンクされる。ビデオコンテンツの処理後、最大のクラスタが、ビデオ内の最も重要な人物に対応する。
2008533580.tif 000002
【特許請求の範囲】
【請求項１】
オーディオ及び／又はビジュアルデータを要約する方法であって、
‐  オーディオ及び／又はビジュアルデータのセットを入力するステップであって、該セットの各要素が、オーディオ及び／又はビジュアルデータのフレームであるステップと、
‐  該オーディオ及び／又はビジュアルデータのセットの所与のフレームにおいて、オブジェクトを検出するステップと、
‐  該フレームにおいて検出された前記オブジェクトの型的フィーチャを抽出するステップと、
を有し、
該型的フィーチャの抽出が、複数のフレームに対してなされ、類似の型的フィーチャが個々のクラスタに一緒にグループ化され、各クラスタは、前記オブジェクトの識別情報とリンクされる方法。
【請求項２】
前記オーディオ及び／又はビジュアルデータのセットがオーディオ及び／又はビジュアルデータのストリームである、請求項１に記載の方法。
【請求項３】
前記データがビジュアルデータのセットであり、フレームにおける前記オブジェクトは、グラフィカルオブジェクトであり、前記オブジェクトの前記検出が、オブジェクト検出器によりなされる、請求項１に記載の方法。
【請求項４】
フレームにおける前記オブジェクトが、人物の顔であり、前記オブジェクトの前記検出が、顔検出器によりなされる、請求項３に記載の方法。
【請求項５】
前記データがオーディオデータのセットであり、前記フレームはオーディオフレームであり、前記オブジェクトの前記検出が音検出器によりなされる、請求項１に記載の方法。
【請求項６】
前記グループ化されたクラスタが、ユーザに提示するのに適したデータ構造に変換される、請求項１に記載の方法。
【請求項７】
前記データ構造が、前記個々のクラスタ内の型的フィーチャの数を反映する、請求項６に記載の方法。
【請求項８】
前記オブジェクトの前記識別情報が、既知のオブジェクトのデータベースに相関され、前記オブジェクトの前記識別情報と、既知のオブジェクトの識別情報との間にマッチングが見つけられる場合、前記既知のオブジェクトの前記識別情報が、前記データ構造に反映される、請求項６に記載の方法。
【請求項９】
前記複数のフレームが、オーディオ及び／又はビジュアルデータの前記ストリームのサブセットである、請求項２に記載の方法。
【請求項１０】
オーディオ及び／又はビジュアルデータの前記ストリームがビジュアルとオーディオとの両方のデータを含むオーディオビジュアルデータであり、前記ビジュアルとオーディオとのデータが別々にクラスタ化され、結果として、ビジュアル型的フィーチャが、個々のビジュアルクラスタに一緒にグループ化され、オーディオ型的フィーチャは、個々のオーディオクラスタに一緒にグループ化される、請求項２に記載の方法。
【請求項１１】
前記ビジュアルクラスタの識別情報が、前記オーディオクラスタの識別情報と相関され、前記ビジュアルクラスタの識別情報と、前記オーディオクラスタの識別情報との間に正の相関が見つけられる場合、前記ビジュアルクラスタと前記オーディオクラスタとが一緒にリンクされる、請求項１０に記載の方法。
【請求項１２】
オーディオ及び／又はビジュアルデータを要約するシステムであって、
‐  オーディオ及び／又はビジュアルデータのセットを入力する入力部であって、該セットの各要素がオーディオ及び／又はビジュアルデータのフレームである入力部と、
‐  前記オーディオ及び／又はビジュアルデータセットの所与のフレームにおいて、オブジェクトを検出するオブジェクト検出部と、
‐  前記フレームにおいて前記検出されたオブジェクトの型的フィーチャを抽出する抽出部と、
を有し、
前記型的フィーチャの抽出が、複数のフレームに対してなされ、類似の型的フィーチャは、個々のクラスタに一緒にグループ化され、各クラスタが、前記オブジェクトの識別情報とリンクされるシステム。
【請求項１３】
請求項１に記載の方法を実現するコンピュータ可読コード。
【請求項１４】
オーディオ及び／又はビジュアルデータの要約のために、オーディオ及び／又はビジュアルデータにおいて、オブジェクトの型的フィーチャのクラスタ化を使用する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ及び／又はビジュアルデータの要約（summarization）に関連し、特にオーディオ及び／又はビジュアルデータに存在するオブジェクトに関する型的フィーチャ（type  feature）のクラスタ化に基づく、オーディオ及び／又はビジュアルデータの要約に関する。
【背景技術】
【０００２】
オーディオ及び／又はビジュアルデータの自動要約は、閲覧、検索、及びより一般的にコンテンツ管理を容易にするための、オーディオ及び／又はビジュアルデータの効率的な表示を目標とする。自動生成要約は、大きなデータアーカイブを通じた検索及びナビゲートにおいて、例えばコンテンツを獲得する、移動する、削除する等に関してより効率的な決定をするために、ユーザを支援することができる。
【０００３】
例えばビデオプレビュー及びビデオ要約の自動生成は、主要な俳優又は人物のいるビデオセグメントを検出する必要がある。現行のシステムは、ビデオに現れる人物を識別するために、顔及び声認識技術を使用する。
【０００４】
公開された特許出願、米国特許ＵＳ２００３／０１２３７１２は、役割‐名前等の入力によりユーザが情報をクエリすることができるように、顔認識及び声識別技術を使用することによって、名前‐顔／声‐役割の関連付けを提供するための方法を開示する。
【０００５】
従来技術のシステムは、ビデオに現れる人物の事前知識を、例えば人物の名前に関連されたフィーチャのデータベースの形態で必要とする。しかしながら、システムは、各顔又は声モデルに対して名前又は役割を見つけられないかもしれない。通常のビデオ（例えばテレビコンテンツ及びホームビデオムービー）のためにデータベースを生成及び維持することは、非常にコストがかさみ、困難な仕事である。更に、このようなデータベースは、不可避的に大きくなり、識別フェーズの間、結果として遅いアクセスになる。ホームビデオ用では、このようなデータベースは、時代遅れにならないために、ユーザからの継続的で退屈な更新を必要とするだろう。どの新しい顔も適切に識別され、ラベル付けされなければならない。
【０００６】
本発明の発明者らは、オーディオ及び／又はビジュアルデータの要約の改善された態様が有益であると認識し、その結果、本発明を発明した。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、オーディオ及び／又はビジュアルデータにいる人又は物の事前知識とは独立して動作することができるシステムを提供することにより、オーディオ及び／ビジュアルデータの要約の改善された態様を提供しようとする。好ましくは、本発明は、１以上の上記又は他の不利な点を、単独で又はいかなる組合せで、緩和、軽減、又は解消する。
【課題を解決するための手段】
【０００８】
したがって、第１の態様では、オーディオ及び／又はビジュアルデータを要約する方法であって、
‐オーディオ及び／又はビジュアルデータのセットを入力するステップであって、該セットの各要素がオーディオ及び／又はビジュアルデータのフレームであるステップと、
‐オブジェクトをオーディオ及び／又はビジュアルデータセットの所与のフレームにおいて検出するステップと、
‐上記フレームにおける上記検出されたオブジェクトの型的フィーチャを抽出するステップと、
を有する方法が提供され、型的フィーチャの抽出が複数のフレームに対してなされ、類似の型的フィーチャが個々のクラスタに一緒にグループ化され、各クラスタがオブジェクトの識別情報とリンクされる。
【０００９】
オーディオ及び／又はビジュアルデータは、オーディオデータ、ビジュアルデータ、及びオーディオビジュアルデータを含む、すなわち、オーディオとビジュアルとの両方のデータを含むデータ（ムービーデータ等）だけでなく、オーディオのみのデータ（サウンドデータ、声データ等）が含まれ、ビジュアルのみのデータ（ストリーム画像、画像、写真、スチルフレーム等）が含まれる。フレームは、オーディオフレーム、すなわちサウンドフレーム、又は画像フレームであり得る。
【００１０】
オーディオ及び／又はビジュアルデータの要約という言葉は、広く解釈されるべきであり、要約の形態に制限を課すと解釈されるべきではなく、本発明の範囲内の要約のいかなる形態も想定され得る。
【００１１】
本発明では、要約は、個々のクラスタに共にグループ化された類似の型的フィーチャの数に基づく。型的フィーチャは、問題となるオブジェクトの特徴的なフィーチャであり、例えばオブジェクトの識別情報を反映する、オーディオ及び／又はビジュアルデータから得られるフィーチャである。該型的フィーチャは、数学的なルーチンにより抽出され得る。クラスタの型的フィーチャのグループ化は、代替のソースに頼らずに、単にデータ自身から得られるものに基づいて、データセットにおける重要なオブジェクトの識別及び／又はランク付けを容易にする。例えば、ビデオ要約に関連すると、本発明は、分析されたフレームにいる人物の真の識別情報を決定せず、システムは型的フィーチャのクラスタを使用し、クラスタがどれほど大きいか、すなわち、データ内の各々のオブジェクトに対して検出される型的フィーチャの数、又は、より詳細には、該オブジェクトがビジュアルデータ内に何回現れるかによって、人物の相対的な重要性を見積もる。このやり方は、いかなる型のオーディオ及び／又はビデオデータに対しても、いかなる事前知識（例えば既知のフィーチャのデータベースへのアクセス）の必要なく応用可能である。
【００１２】
オブジェクトの認識のためにデータベースに情報を求めることを避けられ得る場合にデータの要約の態様が提供されるので、データに存在するオブジェクトの真の識別情報についての事前知識を使用することなしに、オーディオ及び／又はビジュアルデータを要約できるのは有利である。例えばこのようなデータベースが存在しない場合、又はたとえ存在するとしても、例えば一般的なビデオ（例えばテレビコンテンツ若しくはホームムービー）に対する状況において、データベースを生成し、維持することは、非常にコストがかさみ、困難な仕事である。更に、認識フェーズの間、データベースが極めてゆっくりとしたアクセスに結果としてなることは避けられないだろう。ホームビデオに対して、このようなデータベースは、どの新しい顔も適切に識別されると共にラベル付けされなければならないので、ユーザからの継続した退屈な更新を必要とするだろう。更なる利点は、該方法がオブジェクトの統計的なサンプリングに頼るものであるので、該方法は、オブジェクトの誤検出に対してロバストであるということに関する。
【００１３】
請求項２に規定された選択的なフィーチャは、ＣＤプレーヤ、ＤＶＤプレーヤ等のようなたいていの民生電子機器のデータフォーマットが、ストリームされたデータの形態であるので、データストリームの形態であるオーディオ及び／又はビジュアルデータのセットを有することにより、現行のオーディオ及び／又はビジュアルシステムは、容易に本発明の機能を提供し得るという利点を持つ。
【００１４】
請求項３に規定された選択的なフィーチャは、オブジェクト検出部が良く制御されるので、複数のオブジェクト検出方法が存在し、したがってロバストな要約方法を提供するという利点を持つ。
【００１５】
請求項４に規定された選択的なフィーチャは、顔フィーチャに基づくビジュアルデータの要約が、ムービー内の重要な人物を検出する、又は写真内で人物を検出する方法を容易にするので、顔フィーチャに基づいた要約する方法を提供することにより、多用途の要約方法が提供されるという利点を持つ。
【００１６】
請求項５に規定された選択的なフィーチャは、オーディオデータ自身の要約、及び音フィーチャ、通常声フィーチャに基づくビデオ要約が容易にされるので、音に基づく要約方法を提供することによって、多用途の要約方法が提供されるという利点を持つ。
【００１７】
請求項４及び請求項５の両方のフィーチャを提供することにより、オーディオ及びビジュアルデータのいかなる組合せに基づく要約を支援する複雑な要約方法、例えば顔検出及び／又は声検出に基づく要約方法が与えられ得るので、より多用途の要約方法が提供され得る。
【００１８】
請求項６に規定された選択的なフィーチャは、ユーザに対して示すことに適した大量のデータ構造、すなわち要約の型が、所望であり必要である特定のユーザグループ又はユーザに応じて提供され得るという利点を持つ。
【００１９】
請求項７に規定された選択的なフィーチャは、個々のクラスタにおける型的フィーチャの数が、通常問題となるオブジェクトの重要性と相関され、この情報をユーザに運ぶ直接的な手段は、それによって提供されるという利点を持つ。
【００２０】
請求項８に規定された選択的なフィーチャは、オブジェクトクラスタ化が、事前に知られたデータとは独立して働くとしても、事前知識は、より完全なデータの要約を提供するために、クラスタデータと組み合わせて依然として使用され得るという利点を持つ。
【００２１】
請求項９に規定された選択的なフィーチャは、より高速のルーチンが提供され得るという利点を持つ。
【００２２】
請求項１０に規定された選択的なフィーチャは、オーディオ及びビジュアルデータを別々にグループ化することにより、オーディオビジュアルデータにおいてオーディオ及びビジュアルデータが必ずしも直接相関される必要がなく、オーディオ及びビジュアルデータのいかなる特定の相関とも独立して働く方法がそれにより提供され得るので、より多用途の方法が提供され得るという利点を持つ。
【００２３】
請求項１１に規定された選択的なフィーチャは、オーディオデータのオブジェクトと、ビジュアルデータのオブジェクトとの間に正の相関が見つけられる状況では、より詳細な要約を提供するように、上記のことが考慮され得るという利点を持つ。
【００２４】
本発明の第２の態様によれば、オーディオ及び／又はビジュアルデータを要約するシステムが設けられ、該システムは、
‐  オーディオ及び／又はビジュアルデータのセットを入力する入力部であって、該セットの各々の要素がオーディオ及び／又はビジュアルデータのフレームである入力部と、
‐  オーディオ及び／又はビジュアルデータセットの所与のフレームにおいてオブジェクトを検出するオブジェクト検出部と、
‐  該フレームに検出されたオブジェクトの型的フィーチャを抽出する抽出部と、
を有し、型的フィーチャの抽出が、複数のフレームに対してなされ、類似の型的フィーチャが個々のクラスタに一緒にグループ化され、各々のクラスタがオブジェクトの識別情報とリンクされる。
【００２５】
システムは、民生電子機器型のスタンドアローンボックスでもよく、入力部が、例えば他のオーディオ及び／又はビジュアル装置の出力部に結合され得、その結果本発明の機能は、この機能をサポートしていない装置にも提供され得る。代替として、システムは、本発明の機能を現行の装置に加えるためのアドオンモジュールでも良い。例えば現行のＤＶＤプレーヤ、ＢＤプレーヤ等の装置に該機能を加えることは、該機能をもって生まれることにもなり得、それゆえ本発明は、本発明の機能を設けられたＣＤプレーヤ、ＤＶＤプレーヤ、ＢＤプレーヤ等にも関する。オブジェクト検出部及び抽出部は、電子回路、ソフトウェア、ハードウェア、ファームウェア、又はこのような機能を実現するのに適するいかなる態様でも実現され得る。この実現は、汎用目的の計算手段を使用してなされ得るか、又はシステムの一部として、若しくはシステムがアクセスされ得る一部として存在する専用の手段を使用してなされ得る。
【００２６】
本発明の第３の態様によれば、本発明の第１の態様による方法を実現するコンピュータ可読コードが備えられる。該コンピュータ可読コードは、本発明の第２の態様によるシステムを制御することに関連して使用されてもよい。通常、本発明の様々な態様は、本発明の範囲内のいかなる可能な態様と組み合わされ、結合されてもよい。
【００２７】
本発明のこれら及び他の態様、フィーチャ、及び／又は利点は、以下に記載される実施例から明らかであり、該実施例を参照して明らかにされるだろう。
【００２８】
本発明の実施例は、単に例に過ぎない図を参照して記載されるだろう。
【発明を実施するための最良の形態】
【００２９】
本発明の一実施例は、主要な（主演の）俳優及びキャラクタを表示するビデオコンテンツ内でセグメントを検出するビデオ要約システムに対して説明される。この実施例の要素は、図１及び図２に概略的に図示される。しかしながら、オブジェクト検出は顔検出に限定されず、いかなる型のオブジェクト、例えば声、音、自動車、電話、アニメキャラクタ等も検出されてもよく、要約がこのようなオブジェクトに基づいてもよい。
【００３０】
ビジュアルデータのセットは、第１ステージＩ、すなわち入力ステージで入力される（１０）。ビジュアルデータのセットは、ムービーからのビデオフレームのストリームであり得る。ビデオストリームの所与のフレーム１は、顔検出器Ｄにより分析され得る。顔検出器は、フレームにおいてこの場合では顔であるオブジェクト２を検出し得る。顔検出器は、型的フィーチャ３の抽出のために顔フィーチャ抽出器Ｅに検出された顔を提供するだろう。ここで型的フィーチャは、従来技術で知られるベクトル量子化ヒストグラムにより例示される（例えばKotani  et  al.,  "Face  Recognition  Using  Vector  Quantization  Histogram  Method",  Proc.  of  IEEE  ICIP,  pp.  105-108,  Sept.  2002.を参照されたい）。このようなヒストグラムは、高精度で顔を一意的に特徴付ける。したがって、所与の顔（オブジェクト）の型的フィーチャは、顔の真の識別情報が知られているかどうかに関わらずに提供され得る。このステージでは、任意の識別情報が顔に与えられ得る、例えばface#1（又は一般化してface#i、ただしiはラベル番号）である。顔の型的フィーチャは、型的フィーチャの類似性にしたがって型的フィーチャが一緒にグループ化される（４）クラスタ化ステージＣに供給される。類似の型的フィーチャが初期のフレームにおいて既に見つけられている場合、すなわちこの場合では、類似のベクトル量子化ヒストグラムが初期のフレームにおいて既に見つけられている場合、前記フィーチャは、このグループ６〜８に関連され、型的フィーチャが新しい場合、新たなグループが生成される。クラスタ化のために、Ｋ平均法、ＧＬＡ（一般化ロイドアルゴリズム）、又はＳＯＭ（自己組織化写像）のような既知のアルゴリズムが使用され得る。グループのオブジェクトの識別情報は、グループ内の特定のオブジェクトにリンクされ得、例えばグループの画像が該画像の１つにリンクされ得るか、又はグループの音が、該音の１つにリンクされ得る。
【００３１】
フィルムにおいて誰が最も重要な人物であるかを見抜くのに十分な量のデータを得るため、型的フィーチャの抽出に関して複数のフレームが分析されるまで、例えば十分な量のオブジェクトが一緒にグループ化されるまで、新たなフレームが分析され得（５）、その結果、ビデオコンテンツの処理の後、最大のクラスタがビデオ内の最も重要な人物に対応する。フレームの必要とされる特定の量は、異なる要素に依存し、例えば、分析の徹底と、分析に費やす時間との間のトレードオフにおいて、分析されるべきフレームの数を決定するように、システムのパラメータ、例えばユーザ又はシステム調整可能パラメータであり得る。該パラメータは、オーディオ及び／若しくはビジュアルデータの性質、又は他の要素にも依存し得る。
【００３２】
ムービーの全てのフレームが分析され得るが、結局ほとんどの顔を有し、一貫して最大サイズを有するクラスタ（潜在的な主演俳優クラスタ）を見つけるためにムービーからのフレームのサブセットを分析することが必要であるか、又は所望され得る。通常主演俳優は、多くの出演時間を与えられ、ムービーの間を通じて表示される。たとえ毎分１フレームのみが分析される場合でも、ムービーに対して選択される数（２時間フィルムに対して１２０）のフレームからの非常に多くのフレームにおいて、重要な俳優が表示されるだろうという機会は、圧倒的に多い。また、彼らはムービーにとって重要なので、ムービーにおいて少ししか重要なシーンをもたない他の脇役のものよりも、より多くのクローズアップショットが見られる。同じ議論が、顔の誤検出に対する方法のロバスト性に当てはまる。というのは、ベクトル量子化ヒストグラム方法のような強い方法、又はユニークな型的フィーチャが高精度で顔に割り当てられる他の方法に対して、統計的に有意な数の正しい検出を得るために十分なフレームが分析される限り、全ての事象が数えられるか否かは決定的ではないので、ムービーにおける重要な人物が依然として見つけられるからである。
【００３３】
グループ化されたクラスタは、要約生成器Ｓにおいて、ユーザに示すのに適したデータ構造に変換され得る。グループ化されたクラスタの情報を変換するための非常に多くの可能性が存在し、このような情報は、グループの数、グループ内の型的フィーチャの数、グループと関連された顔（又はオブジェクト）等を含むが、制限されない。
【００３４】
図２は、グループ化されたクラスタ２２をユーザに示すのに適したデータ構造に変換する、すなわちグループ化されたクラスタを要約２５、又は要約構造２６に変換するための２つの実施例を描写する。
【００３５】
要約生成器Ｓは、複数のルール及び設定２０、例えば生成されるべき要約の型を指示するルール及び設定を参考にし得る。ルールは、ビデオデータを選択するためのアルゴリズムであり得、設定は、要約の長さ、考慮するクラスタの数、例えば（ここに記載されたように）３つの重要なクラスタのみを考慮する、５つの最も重要なクラスタを考慮する等のようなユーザ設定を含み得る。
【００３６】
単一のビデオ要約２１が生成され得る。ユーザは、例えば要約の長さと、要約が最も重要な３人の俳優を含むべきであるということとを設定してもよい。そのときルールは、例えば要約の半分が最も多い型的フィーチャを含むクラスタに関連された俳優と、この俳優に関連するビデオシーケンスの選択のやり方とを含むべきであり、要約の４分の１は、２番目に多い型的フィーチャを有するクラスタに関連された俳優を含むべきであり、残りの４分の１は、３番目に多い型的フィーチャを有するクラスタに関連された俳優を含むべきである。
【００３７】
フィルムにおいて最も重要な俳優のリスト２３を示すビデオ要約構造も生成され得、該リストは、クラスタ内の型的フィーチャの数に従って順序付けられる。ユーザ設定は、リストに含まれるべき俳優の数を決定し得る。リスト内の各々の項目は、俳優の顔の画像２３に関連され得る。リストから項目を選択することにより、ユーザは、問題となる俳優がいるシーンのみ、又は主に該シーンを含む要約２４を示され得る。
【００３８】
他の実施例では、オーディオトラックも考慮される。オーディオ信号は、自動的に音声／非音声に分類され得る。音声セグメントから、メル周波数ケプストラム係数（ＭＦＣＣ）のような声フィーチャが、標準的なクラスタ化技術（例えばＫ平均法、ＳＯＭ等）で抽出され、クラスタ化され得る。
【００３９】
例えば音要約に対して、オーディオオブジェクトは、ビジュアルオブジェクトと共に、又は別に考慮され得る。
【００４０】
顔フィーチャ及び声フィーチャが、例えば両方を要約に含むように考慮される場合、クラスタ化は別々になされ得る。オーディオトラックにおける声は、顔がビデオに示される人物に対応しているという保証がないので、顔フィーチャと声フィーチャとを単純にリンクするのは動作しないかもしれない。更に、より多くの顔がビデオフィーチャに示されるが、実際に話しているのが１人のみかもしれない。代替として、顔音声マッチングは、ビデオフィーチャとオーディオフィーチャとをリンクさせるために、誰が話しているかを見つけるように使用され得る。それから、要約システムは、主な顔及び声クラスタにそれぞれ帰属する顔及び声フィーチャをもつセグメントを選択し得る。セグメント選択アルゴリズムは、全体的な顔／声の存在に基づいて、各々のクラスタ内のセグメントを優先順位付けする。
【００４１】
更に他の実施例では、事前に知られた情報が分析に含まれる。ある型の識別情報がデータベースＤＢの既知のオブジェクトに相関され、クラスタの識別情報と、ある既知のオブジェクトの識別情報との間にマッチングが見つけられる場合、該既知のオブジェクトの識別情報は要約に含まれ得る。
【００４２】
例えばムービーのスクリプト／スクリーンプレイからの会話の分析が加えられ得る。所与のムービータイトルに対して、システムは、インターネット検索Ｗを実行すると共に、スクリーンプレイＳＰを見つけ得る。スクリーンプレイから、相対的な会話の長さ及びキャラクタのランク順位が計算され得る。スクリーンプレイオーディオ調整に基づいて、オーディオ（スピーカ）クラスタの各々に対するラベルが獲得され得る。主演俳優の選択は、オーディオベースとスクリーンプレイベースとの両方のランク付けされたリストからの組合せの情報に基づき得る。このことは、ナレータがスクリーンの時間を占有するが、ナレータ自身は映画にはいない映画では非常に役立つ。
【００４３】
更なる実施例では、本発明は、写真コレクションの要約（例えば写真スライドショーの自動生成、又は閲覧のための、写真コレクションの代表的なサブセットの選択）に適用され得、このことは、図３に概略的に図示される。デジタルカメラの多くのユーザは、画像がとられる時の順番で記憶される非常に多くの写真３０を生成し得る。本発明は、このようなコレクションの処理を容易にするために使用され得る。要約は、例えば写真に誰が示されているかに基づいて生成され得、各項目が写真内の人物に対応するデータ構造３１が、例えばユーザに対して提供され得る。項目を選択することにより、この人物の全ての写真が見られ、選択する写真のスライドショーが表示等され得る。
【００４４】
更に、本発明は、パーソナルビデオレコーダ、ビデオアーカイブ、（自動）ビデオ編集システム、ビデオオンデマンドシステム、デジタルビデオライブラリのためのビデオ要約システムに適用され得る。
【００４５】
本発明は好ましい実施例と関連して記載されているが、ここに記載された特定の形態に制限されることを意図されない。更に、本発明の範囲は、添付の請求項のみにより制限される。
【００４６】
このセクションでは、特定の使用、オブジェクトの型、要約の形態等のような、開示された実施例のある特定の詳細が、制限するよりも説明する目的で、本発明の明確で徹底した理解を提供するために説明される。しかしながら、本発明が、この開示の要旨及び範囲から著しく逸脱しておらず、ここに記載された詳細とは完全に一致するわけではない他の実施例で実施され得るということは、当業者により容易に理解されるべきである。更に、この文脈では、簡潔さ及び明快さのため、よく知られた装置、回路、及び方法論の詳細な説明は、不要な詳述及びあり得る混乱を避けるために省かれている。
【００４７】
参照符号が請求項に含まれるが、参照符号を含むことは、単に明快にする理由のためであり、請求項の範囲を制限するものとして解釈されるべきではない。
【図面の簡単な説明】
【００４８】
【図１】図１は、本発明の一実施例のフロー図を概略的に図示する。
【図２】図２は、グループ化されたクラスタをビデオ要約に変換する２つの実施例を概略的に図示する。
【図３】図３は、写真コレクションの要約を概略的に図示する。
【図１】
2008533580.tif 000003
【図２】
2008533580.tif 000004
【図３】
2008533580.tif 000005
【国際調査報告】
2008533580.tif 000006
2008533580.tif 000007
2008533580.tif 000008
2008533580.tif 000009
2008533580.tif 000010