(57)【要約】【課題】時系列上で刻々と変化する話題を高い精度で追跡できる動画像の話題追跡方法、装置、プログラムおよびその記録媒体を提供する。【解決手段】ステップS１では、動画像コンテンツが動画像記憶部１１に蓄積されると共に各動画像コンテンツから話題が抽出される。ステップS２では、追跡対象の話題が選択される。さらに、追跡対象話題の特徴量に基づいて追跡対象プロファイルが生成される。ステップS３では、動画像から抽出された多数の話題の中から追跡対象話題と類似した話題が抽出されてユーザに提供される。ステップS４では、ユーザに提供された類似話題に対する当該ユーザの評価が以後の類似話題抽出に反映されるように追跡対象プロファイルが更新される。【選択図】図２
2007272290.tif 000002
【特許請求の範囲】
【請求項１】
動画像から抽出された話題をユーザに提示し、このユーザにより指定された話題を追跡してユーザに提供する動画像の話題追跡装置において、
動画像コンテンツから話題を抽出する話題抽出手段と、
抽出された各話題に固有の特徴量を抽出する特徴量抽出手段と、
ユーザにより指定された追跡対象話題を検知する追跡対象話題検知手段と、
追跡対象話題の特徴量に基づいて追跡対象プロファイルを生成する追跡対象プロファイル生成手段と、
前記追跡対象プロファイルと他の各話題の特徴量とに基づいて、追跡対象話題と他の各話題との類似度を算出する類似度算出手段と、
前記類似度の算出結果に基づいて、追跡対象話題との類似度が高い類似話題を抽出する類似話題抽出手段と、
前記追跡対象話題に適合する類似話題を選択するフィードバック手段と、
前記追跡対象話題に適合する類似話題の特徴量に基づいて前記追跡対象プロファイルを更新するプロファイル更新手段とを含むことを特徴とする動画像の話題追跡装置。
【請求項２】
前記フィードバック手段は、
前記類似話題抽出手段により抽出された類似話題をユーザに提示する手段と、
前記提示された類似話題に対するユーザの評価を検知する手段とを含み、
評価の高い類似話題が前記追跡対象話題に適合する類似話題として選択されることを特徴とする請求項１に記載の動画像の話題追跡装置。
【請求項３】
前記話題抽出手段は、
動画像をショット分割する手段と、
ショット分割の結果に基づいて動画像を話題分割する手段と、
各話題から取材VTR区間を抽出する手段とを含み、
前記特徴量抽出手段は、取材VTR区間の特徴量で当該話題の特徴量を代表することを特徴とする請求項１または２に記載の動画像の話題追跡装置。
【請求項４】
前記追跡対象プロファイル生成手段は、追跡対象話題の特徴量の集合を追跡対象プロファイルとして生成し、前記プロファイル更新手段は、前記追跡対象話題に適合する類似話題の特徴量を追跡対象プロファイルに追加することを特徴とする請求項１ないし３のいずれかに記載の動画像の話題追跡装置。
【請求項５】
前記プロファイル更新手段は、追跡対象プロファイルに登録されてから所定の期間が経過した特徴量を削除することを特徴とする請求項４に記載の動画像の話題追跡装置。
【請求項６】
動画像から抽出された話題をユーザに提示し、このユーザにより指定された話題を追跡してユーザに提供する動画像の話題追跡方法において、
動画像コンテンツから話題を抽出する手順と、
抽出された各話題に固有の特徴量を抽出する手順と、
抽出された各話題をユーザに提示して追跡対象話題の指定を要求する手順と、
ユーザにより指定された追跡対象話題の特徴量に基づいて追跡対象プロファイルを生成する手順と、
前記追跡対象プロファイルと他の各話題の特徴量とに基づいて、追跡対象話題と他の各話題との類似度を算出する手順と、
前記類似度の算出結果に基づいて、追跡対象話題との類似度が高い類似話題を抽出する手順と、
前記抽出された類似話題をユーザに提示し、その評価に基づいて前記追跡対象話題に適合する類似話題を選択する手順と、
前記追跡対象話題に適合する類似話題の特徴量に基づいて前記追跡対象プロファイルを更新する手順とを含むことを特徴とする動画像の話題追跡方法
【請求項７】
前記動画像コンテンツから話題を抽出する手順は、
動画像をショット分割する手順と、
ショット分割の結果に基づいて動画像を話題分割する手順と、
各話題から取材VTR区間を抽出する手順とを含み、
前記取材VTR区間の特徴量で当該話題の特徴量を代表することを特徴とする請求項６に記載の動画像の話題追跡方法。
【請求項８】
前記追跡対象プロファイルを生成する手順では、追跡対象話題の特徴量の集合を追跡対象プロファイルとして生成し、前記追跡対象プロファイルを更新する手順では、前記追跡対象話題に適合する類似話題の特徴量を追跡対象プロファイルに追加することを特徴とする請求項６または７に記載の動画像の話題追跡方法。
【請求項９】
追跡対象プロファイルに登録されてから所定の期間が経過した特徴量を削除する手順を含むことを特徴とする請求項８に記載の動画像の話題追跡方法。
【請求項１０】
動画像から抽出された話題をユーザに提示し、このユーザにより指定された話題を追跡してユーザに提供する動画像の話題追跡プログラムにおいて、
動画像コンテンツから話題を抽出する手順と、
抽出された各話題に固有の特徴量を抽出する手順と、
抽出された各話題をユーザに提示して追跡対象話題の指定を要求する手順と、
ユーザにより指定された追跡対象話題の特徴量に基づいて追跡対象プロファイルを生成する手順と、
前記追跡対象プロファイルと他の各話題の特徴量とに基づいて、追跡対象話題と他の各話題との類似度を算出する手順と、
前記類似度の算出結果に基づいて、追跡対象話題との類似度が高い類似話題を抽出する手順と、
前記抽出された類似話題をユーザに提示し、その評価に基づいて前記追跡対象話題に適合する類似話題を選択する手順と、
前記追跡対象話題に適合する類似話題の特徴量に基づいて前記追跡対象プロファイルを更新する手順とを、コンピュータに実行させるため動画像の話題追跡プログラム。
【請求項１１】
前記動画像コンテンツから話題を抽出する手順は、
動画像をショット分割する手順と、
ショット分割の結果に基づいて動画像を話題分割する手順と、
各話題から取材VTR区間を抽出する手順とを含み、
前記取材VTR区間の特徴量で当該話題の特徴量を代表することを特徴とする請求項１０に記載の動画像の話題追跡プログラム。
【請求項１２】
前記追跡対象プロファイルを生成する手順では、追跡対象話題の特徴量の集合を追跡対象プロファイルとして生成し、前記追跡対象プロファイルを更新する手順では、前記追跡対象話題に適合する類似話題の特徴量を追跡対象プロファイルに追加することを特徴とする請求項１０または１１に記載の動画像の話題追跡プログラム。
【請求項１３】
追跡対象プロファイルに登録されてから所定の期間が経過した特徴量を削除する手順を含むことを特徴とする請求項１２に記載の動画像の話題追跡プログラム。
【請求項１４】
前記請求項１０ないし１３のいずれかに記載の動画像の話題追跡プログラムがコンピュータによる読み取り自在に記録された動画像の話題追跡プログラムの記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像コンテンツから抽出された話題をユーザに提示し、このユーザにより指定された話題を追跡してユーザに提供する動画像の話題追跡に係り、特に、追跡結果に対するユーザの評価に基づいて話題追跡の条件（プロファイル）が更新されるようにした動画像の話題追跡方法および装置ならびに動画像の話題追跡プログラムおよびその記録媒体に関する。
【背景技術】
【０００２】
動画像の類似検索技術として、検索対象動画像から抽出された輝度・色などに関する特徴量に基づいて、必要な動画像を検索する方式が提案されている。
【０００３】
特許文献１，２には、ネット上に不正に流出した動画像コンテンツを効率的に検索するために、検索時に使用する特徴量を絞り込む技術が開示されている。特許文献３には、検索対象動画像から抽出された特徴パターン（特徴量の時系列）を利用し、検索キーの動画像と一致する動画像を検索する技術が開示されている。
【０００４】
上記の各文献に開示された技術は厳密な動画像検索、すなわち検索キーとなる動画像と完全に一致している動画像を検索することが主目的である。
【０００５】
一方、テレビのニュース番組で報道される個々の話題を自動的に追跡する「話題トラッキング」技術が、非特許文献４，５，６に開示されている。
【０００６】
文献４，５は、ニュース番組に付与されているclosed captionまたは音声認識処理によって得られたテキスト情報に基づいて個々の話題を分類し、関連のある話題のスレッドを作成してユーザに提示するシステムに関する。
【０００７】
文献６は、文献４，５と同様のテキスト情報と併せて、動画像から抽出される視覚的特徴量を利用し、話題をトラッキングする技術に関するものである。具体的には、顔検出処理を応用した手法により、分析対象番組に写っている人物を特定し、その人物検出結果を利用して同一話題を関連づける手法や、人物が写っていない画像に対しては、同一の取材VTRの検出処理などを適用する話題トラッキングに関する。
【特許文献１】特開2005-18674号公報
【特許文献２】特開2005-18675号公報
【特許文献３】特開2001-243236号公報
【特許文献４】特開2002-108917号公報
【非特許文献１】I. Ide et al: Topic threading for structuring a large-scale news video archive, Proceedings of CIVR2004, LNCS 3115, pp. 123-131, Springer-Verlag, 2004.
【非特許文献２】Y. Zhai et al: Tracking news stories across differenet sources, Proceedings of ACM Multimedia 2005, pp. 2-9, 2005.
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上記文献１，２，３に開示されている動画像類似検索技術は厳密検索を主目的とする技術であり、たとえば、異なる番組で放映された同一話題を検索するといった処理には適用できない。また、動画像のあいまい検索は、いずれも検索キー（クエリ）に類似している動画像を検索するものであり、時系列上の類似話題を追跡する状況においてはそのまま適用することはできない。
【０００９】
一方、文献４，５，６に開示されている既存の話題追跡技術のうち、文献４，５の技術はニュース番組から抽出されるテキスト情報に依存した手法である。テキスト情報は、closed caption情報が付与されているニュース番組、もしくは高精度な音声認識処理を施すことが可能なニュース番組においては有効であるが、そうでないニュース番組に対しては適用が難しい。
【００１０】
たとえば、キャスターとコメンテータとの間の対談など、記事原稿のない自然発話についてはclosed captionが付与されるケースは少なく、また、音声認識精度が著しく劣化する。このような番組については、抽出されるテキスト情報に多くの誤りが発生するため、テキスト情報に基づく話題追跡の精度も劣化すると推測される。
【００１１】
非特許文献６では、テキスト情報のみならず分析対象動画像から抽出された視覚的な特徴量も利用して話題追跡を行っている。しかしながら、この例では同日に放送された番組に対してのみ話題追跡を行っており、かつ追跡対象話題を示す検索クエリが各日につき固定されたクエリを１件指定することが前提となっているので、時系列上で刻々と変化する話題を追跡することは不可能である。
【００１２】
本発明の目的は、上記した従来技術の課題を解決し、時系列上で刻々と変化する話題を高い精度で追跡できる動画像の話題追跡方法および装置ならびに動画像の話題追跡プログラムおよびその記録媒体を提供することにある。
【課題を解決するための手段】
【００１３】
上記した目的を達成するために、本発明は、動画像から抽出された話題をユーザに提示し、このユーザにより指定された話題を追跡してユーザに提供する動画像の話題追跡装置において、以下のような特徴を有することを特徴とする。
【００１４】
(1)動画像コンテンツから話題を抽出する話題抽出手段と、抽出された各話題に固有の特徴量を抽出する特徴量抽出手段と、ユーザにより指定された追跡対象話題を検知する追跡対象話題検知手段と、追跡対象話題の特徴量に基づいて追跡対象プロファイルを生成する追跡対象プロファイル生成手段と、前記追跡対象プロファイルと他の各話題の特徴量とに基づいて、追跡対象話題と他の各話題との類似度を算出する類似度算出手段と、前記類似度の算出結果に基づいて、追跡対象話題との類似度が高い類似話題を抽出する類似話題抽出手段と、前記追跡対象話題に適合する類似話題を検知するフィードバック手段と、追跡対象話題に適合する類似話題の特徴量に基づいて追跡対象プロファイルを更新するプロファイル更新手段とを含むことを特徴とする。
【００１５】
(2)前記話題抽出手段は、動画像をショット分割する手段と、ショット分割の結果に基づいて動画像を話題分割する手段と、各話題から取材VTR区間を抽出する手段とを含み、前記特徴量抽出手段は、取材VTR区間の特徴量で当該話題の特徴量を代表することを特徴とする。
【００１６】
(3)前記追跡対象プロファイル生成手段は、追跡対象話題の特徴量の集合を追跡対象プロファイルとして生成し、前記プロファイル更新手段は、追跡対象話題に適合する類似話題の特徴量を追跡対象プロファイルに追加することを特徴とする。
【００１７】
(4)前記プロファイル更新手段は、追跡対象プロファイルに登録されてから所定の期間が経過した特徴量を削除することを特徴とする。
【発明の効果】
【００１８】
本発明によれば、以下のような効果が達成される。
上記した特徴(1)によれば、ユーザにより指定された追跡対象話題の特徴量に基づいて生成された追跡対象プロファイルが、当該追跡対象プロファイルに基づいて選択されてユーザに提供された類似話題への当該ユーザの評価に基づいて更新される。その結果、追跡対象話題の内容が時系列上で刻々と変化しても、最新の類似話題の特徴量を追跡対象プロファイルに反映できるので、時系列上で刻々と変化する話題を高い精度で追跡できるようになる。
【００１９】
上記した特徴(2)によれば、各話題の特徴量が当該話題に含まれる取材VTR区間の特徴量で代表されるので、例えばアンカーショット（ニュースキャスターがカメラに向かって原稿を読んでいるショット）のように、話題との相関が低いショットが特徴量に反映されなくなるので、番組をまたいだ話題追跡が容易になる。
【００２０】
上記した特徴(3)によれば、追跡対象プロファイルをユーザの評価に応じて簡単に更新できるようになる。
【００２１】
上記した特徴(4)によれば、追跡対象プロファイルに登録されてから所定の期間が経過した特徴量が削除されるので、追跡対象話題の特徴量が刻々と変化する場合でも精度の高い話題追跡が可能になる。
【発明を実施するための最良の形態】
【００２２】
以下、図面を参照して本発明の最良の実施の形態について詳細に説明する。図１は、本発明に係る動画像の話題追跡システムの機能ブロック図であり、後に詳述する動画像話題追跡プログラムが実装されたコンピュータシステムで実現できる。
【００２３】
動画像蓄積部１０は、分析対象となるニュース番組などの動画像コンテンツを動画像記憶部１１に継続的に逐次蓄積する。話題抽出部１２は、動画像記憶部１１に記憶された動画像コンテンツから話題を抽出する。本実施形態では、番組を跨いだ話題追跡を高い精度で行えるようにするために、取材VTR区間（事件現場などで撮影された動画像）を含む話題が抽出される。動画像特徴抽出部１３は、抽出された各話題から当該話題に固有の特徴量を抽出して特徴量記憶部１４に記憶する。本実施形態では、各話題の取材VTR区間の特徴量で当該話題の特徴量が代表される。
【００２４】
話題一覧生成部１５は、抽出された話題の一覧をユーザの要求に応答して生成し、これを表示部２０に表示させる。追跡要求検知部１６は、表示部２０に表示された話題の一覧からユーザによって追跡を要求された追跡対象話題を検知する。プロファイル生成部１７は、追跡対象話題の特徴量を前記特徴量記憶部１４から読み出し、この特徴量に基づいて追跡対象プロファイルを作成する。本実施形態では、動画像特徴抽出部１３によって抽出された視覚的特徴量のうち、追跡対象話題の特徴量に基づいてプロファイルが生成される。生成された追跡対象プロファイルはプロファイル記憶部１８に記憶される。
【００２５】
話題間類似度算出部１９では、前記プロファイル記憶部１８に記憶されている追跡対象プロファイルと動画像記憶部１１に蓄積されている動画像コンテンツの各話題の特徴量とに基づいて、追跡対象話題と他の各話題との類似度が算出される。類似話題抽出部２１は、前記話題間類似度算出部１９で算出された類似度に基づいて、追跡対象話題との類似度が高い話題を抽出し、これを表示部２０へ出力することでユーザに提示する。
【００２６】
フィードバック部２２は、前記類似話題を参照したユーザの評価に基づいて適合フィードバック情報を収集する。具体的には、たとえばユーザに提示された類似話題の一覧の中から、ユーザが追跡対象話題との適合性が高い話題を選択することによりフィードバック情報を収集する方法や、ユーザの閲覧履歴を暗示的なフィードバック情報として収集する方法などを実装できる。
【００２７】
プロファイル更新部２３は、前記ユーザフィードバック部２２によって収集されたユーザフィードバック情報に基づいて、必要に応じて追跡対象プロファイルを更新する。本実施形態では、このプロファイル更新部２３を設けたことにより、取材内容（映像）が時系列上で刻々と変化する話題についても高精度での追跡が可能になる。
【００２８】
次いで、フローチャートを参照して、本発明に係る動画像の話題追跡手順を詳細に説明する。図２は、話題追跡手順の概要を示したフローチャートである。
【００２９】
ステップS１では、動画像コンテンツが動画像記憶部１１に継続的に逐次蓄積されると共に、話題抽出部１２において、各動画像コンテンツから話題が抽出される。本実施形態では、番組を跨いだ話題追跡を高い精度で行えるようにするために、取材VTR区間を含む話題が抽出される。ステップS２では、追跡対象の話題がユーザの手動操作により、あるいは履歴情報等に基づいて自動的に選択される。さらに、追跡対象話題の特徴量に基づいて追跡対象プロファイルが生成され、これがプロファイル記憶部１８に記憶される。
【００３０】
ステップS３では、動画像から抽出された多数の話題の中から、前記追跡対象話題と類似した話題が抽出されてユーザに提供される。ステップS４では、ユーザに提供された類似話題に対する当該ユーザの評価が以後の類似話題抽出に反映されるように、前記追跡対象プロファイルが更新される。
【００３１】
次いで、上記した各ステップの処理を、個別のフローチャートを参照してさらに詳細に説明する。図３は、前記図２のステップS１で実行される話題抽出処理の手順を示したフローチャートである。
【００３２】
ステップS１１において、動画像記憶部１１に新しい動画像コンテンツが蓄積されたことが検知されると、ステップS１２では、動画像コンテンツがショット単位に分割される。このショット分割には、例えば特開２０００−３６８６６号公報に開示されているカット点抽出技術を利用できる。ステップS１３では、各ショットから色配置などの低レベルな特徴量が抽出される。ステップS１４では、各ショットの特徴量に基づいて動画像コンテンツが話題単位に分割される。
【００３３】
さらに具体的に説明すれば、特開２００５−１５０９４３号公報で説明されているように、各ショットの画像の色情報（ショットの先頭フレームやキーフレームや最終フレームの配色など）、画像の動き情報（縦方向および横方向の少なくとも一方での動き度合いなど）、各ショットに含まれるオーディオデータの音量（RMS）、オーディオの種別（音声、音楽、雑音、無音であるかなど）などが抽出され、ここで抽出された１種または複数種の特徴量に基づいて話題分割が行われる。
【００３４】
ステップS１５では、分割された各話題から取材VTR（レポート）区間が抽出される。この取材VTR区間の抽出は、話題分割のために利用した低レベル特徴量に基づいて、取材VTR区間抽出のための識別器（サポートベクターマシン、SVM）を利用する手法などによって行うことができる。ステップS１６では、抽出された各VTR区間の視覚的特徴量が抽出される。
【００３５】
図４は、前記視覚的特徴量の抽出手順（ステップS１６）を示したフローチャートであり、ステップS１６１では、各話題の取材VTR区間に含まれる全てのショットからキーフレームとなる静止画が抽出される。キーフレーム抽出は、たとえば各ショットの中央のフレームを抽出する方法などによって行われる。ステップS１６２では、抽出されたキーフレームの各ピクセルの色に基づいて、そのフレームのカラーヒストグラムが作成される。ステップS１６３では、前記カラーヒストグラム情報と各ショットの長さとが当該話題の特徴量として記憶される。
【００３６】
図３へ戻り、ステップS１７では、全ての話題について特徴量の抽出・登録が完了したか否かが判定され、完了していなければ、ステップS１５へ戻って上記した各処理が繰り返される。
【００３７】
図５は、前記図２のステップS２で実行される追跡対象登録処理の手順を示したフローチャートである。
【００３８】
ステップS２１において、ユーザによる追跡対象話題の登録要求が前記追跡要求検知部１６で検知されると、ステップS２２では、前記取材VTR区間を抽出できた全ての話題の一覧が、前記話題一覧生成部１５で生成されて表示部２０に一覧表示される。一覧表示された話題の中から追跡対象の話題がユーザにより指定されると、ステップS２３において、これが前記追跡要求検知部１６で検知されてステップS２４へ進む。
【００３９】
ステップS２４では、追跡対象話題の特徴量が前記プロファイル作成部１７によって特徴量記憶部１４から読み出され、ステップS２５において追跡対象プロファイルが生成される。ユーザにより指定される追跡対象話題は一つとは限らず、複数の話題が指定されることもあり、前記追跡対象プロファイルQは、指定された全ての話題の特徴量Q1，Q2、…の集合（Q＝｛Q1，Q2、…｝）となる。この追跡対象プロファイルQは、ステップS２６においてプロファイル記憶部１８に記憶される。
【００４０】
図６は、前記図２のステップS３で実行される類似話題抽出処理の手順を示したフローチャートである。
【００４１】
ステップS３１では、前記話題間類似度算出部１９により追跡対象プロファイルQがプロファイル記憶部１８から読み出される。ステップS３２では、追跡対象プロファイルに登録されている追跡対象話題の特徴量と前記特徴量記憶部１４に記憶されている各話題の特徴量とに基づいて、追跡対象話題と他の各話題との類似度がEMD(Earth Mover's Distance)を指標として算出される。なお、EMDに関しては、「Yossi Rubner, Carlo Tomasi, and Leonidas J. Guibas. "The earth mover's distance as a metric for image retrieval"  Int. J. Comput. Vision, vol. 40, no.2, pp. 99-121, 2000.」で詳細に論じられている。
【００４２】
ステップS３３では、類似度が所定の基準値を上回る話題が、前記類似話題抽出部２１により類似話題として抽出される。この類似話題の抽出では、例えば追跡対象プロファイルQ＝｛Q1，Q2、…｝に特徴量が登録されているいずれかの話題との類似度が基準値を上回る全ての話題が抽出されるようにしても良いし、あるいは追跡対象プロファイルQ＝｛Q1，Q2、…｝に特徴量が登録されている全ての話題との類似度が基準値を上回る話題のみが抽出されるようにしても良い。
【００４３】
図７は、前記図２のステップS４で実行される追跡対象プロファイル更新処理の手順を示したフローチャートである。
【００４４】
ステップS４１では、前記類似話題抽出部２１により抽出された類似話題が表示部２０に一覧表示される。ここで、一覧表示された類似話題の中から、ユーザが追跡対象話題に適合していると判断した話題が指定され、これがステップS４２でフィードバック部２２により検知されると、ステップS４３では、当該指定された類似話題の特徴量が特徴量記憶部１４から抽出される。ステップS４４では、この特徴量に基づいて、前記プロファイル更新部２３により追跡対象プロファイルが更新される。
【００４５】
また、ステップS４５において、ユーザによる類似話題の指定および当該指定に基づく追跡対象プロファイルの更新が完了するとステップS４６へ進む。ステップS４６では、追跡対象プロファイルに登録されてからの経過時間が所定の基準時間を経過した特徴量の有無が判定され、基準時間を経過した特徴量はステップS４７において当該追跡対象プロファイルから削除される。
【００４６】
図８は、本発明に係る話題追跡のタイミングチャートであり、時刻t1において、ユーザにより話題追跡が要求されると、当該時刻までに各番組から抽出されていた話題Pa1，Pa2，Pa3，Pb1，Pb2…が表示部２０に一覧表示される。ここで、ユーザにより話題Pb1が追跡対象として指定されると、その特徴量Qb1が追跡対象プロファイルQ＝｛Qb1｝として前記プロファイル記憶部１８に登録される。
【００４７】
その後、各番組A，Bから話題Pa4，Pa5，Pa6，Pb3，Pb4，Pb5…が抽出されるごとに、それぞれの特徴量Qa4，Qa5，Qa6，Qb3，Qb4，Qb5…が計算され、追跡対象プロファイルQと比較されて話題間類似度が算出される。
【００４８】
時刻t2において、ユーザから追跡対象話題の提示が要求されると、それまでに算出された話題間類似度が参照され、類似度が基準値を超える話題のみが類似話題として抽出される。図８では、話題Pa4，Pb4が類似話題として抽出されて表示部２０に一覧表示されている。
【００４９】
ここで、表示部２０に表示されている類似話題の中から、ユーザが話題Pa4を追跡対象に適合する話題として選択すると、当該話題Pa4が再生されると共に、その特徴量Qa4がプロファイル記憶部１８に追加される。この結果、追跡対象プロファイルQがQ＝｛Qb1，Qa4｝に更新される。
【００５０】
その後も、各番組A，Bから話題Pa7，Pa8，Pb6…が抽出されるごとに、それぞれの特徴量Qa7，Qa8，Qb6…が計算され、追跡対象プロファイルQと比較されて話題間類似度が算出される。
【００５１】
時刻t3において、ユーザから追跡話題の提示が要求されると、それまでに算出された話題間類似度が参照され、類似度が基準値を超える話題のみが類似話題として抽出される。図８では、話題Pa7，Pb6が類似話題として抽出されて表示部２０に一覧表示されている。
【００５２】
ここで、ユーザが表示部２０に表示されている類似話題の中から話題Pb6を選択すると、当該話題Pb6が再生されると共に、その特徴量Qb6がプロファイル記憶部１８に追加される。この結果、追跡話題のプロファイルQがQ＝｛Qb1，Qa4，Qb6｝に更新される。
【００５３】
図９は、本発明に係る動画像の話題追跡装置として機能できるコンピュータ５０の主要部の構成を示した機能ブロック図であり、オペレーティングシステム(OS)を含む基本プログラムや各種の基本データが記憶されたROM５２と、各種のプログラムやデータが記憶されるハードディスクドライブ装置(HDD)５７と、CR-ROMやDVD等の記憶メディア６１からプログラムやデータを読み出すメディアドライブ装置５６と、プログラムを実行するCPU５１と、このCPU５１にワークエリアを提供するRAM５３と、入出力インターフェース(I/F)５５を介して接続されたディスプレイ５８、キーボード５９およびマウス等のポインティングデバイス６０と、外部装置と通信するパラレル／シリアルI/F５４とを主要な構成としている。
【００５４】
本実施形態では、動画像コンテンツがシリアル／パラレルI/F５４から入力されてHDD５４に継続的に記憶される。前記図２に関して説明した動画像の話題追跡手順を実行するプログラムは記憶メディア６１に記憶され、メディアドライブ装置５６で読み取られてHDD５７にインストールされる。
【００５５】
このような構成において、オペレータがキーボード５９およびポインティングデバイス６０を操作して話題追跡プログラムを起動すると、CPU５１において話題追跡プログラムが実行され、上記した話題抽出、追跡対象登録、類似話題抽出、プロファイル更新等の各処理が順次に実行される。
【図面の簡単な説明】
【００５６】
【図１】本発明に係る動画像話題追跡システムの機能ブロック図である。
【図２】話題追跡手順の概要を示したフローチャートである。
【図３】話題抽出処理の手順を示したフローチャートである。
【図４】視覚的特徴量抽出の手順を示したフローチャートである。
【図５】追跡対象登録処理の手順を示したフローチャートである。
【図６】類似話題抽出処理の手順を示したフローチャートである。
【図７】追跡対象プロファイル更新処理の手順を示したフローチャートである。
【図８】本発明に係る話題追跡のタイミングチャートである。
【図９】本発明に係る動画像の話題追跡装置として機能できるコンピュータの主要部の構成を示した機能ブロック図である。
【符号の説明】
【００５７】
１０…動画像蓄積部，１１…動画像記憶部，１２…話題抽出部，１３…動画像特徴抽出部，１４…特徴量記憶部，１５…話題一覧生成部，１６…追跡要求検知部，１７…プロファイル生成部，１８…プロファイル記憶部，１９…話題間類似度算出部，２０…表示部，２２…フィードバック部，２３…プロファイル更新部
【図１】
2007272290.tif 000003
【図２】
2007272290.tif 000004
【図３】
2007272290.tif 000005
【図４】
2007272290.tif 000006
【図５】
2007272290.tif 000007
【図６】
2007272290.tif 000008
【図７】
2007272290.tif 000009
【図８】
2007272290.tif 000010
【図９】
2007272290.tif 000011