(57)【要約】  本発明は、コンテンツアイテムを提供することを可能にする方法に関し、この方法は、コンテンツアイテムのうちの対応の１つに係る複数のコンテンツアイテムサマリデータを得るステップを有する。本発明はまた、コンテンツアイテムを提供することを可能にするための装置２１０に関する。本方法は、コンテンツアイテムのうちの対応の１つに係る複数のコンテンツアイテムを得るＨＯステップと、各コンテンツアイテムサマリデータの評価を判定するステップ１３０と、複数のコンテンツアイテムサマリデータから、対応の評価に基づいて少なくとも１つの他のコンテンツアイテムサマリデータを選択するステップ１４０と、少なくとも１つの他のコンテンツアイテムサマリデータを含むメタサマリデータを生成することを可能にするステップ１５０とを有する。
2008547259.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツアイテムを提供することを可能にする方法であって、
・前記コンテンツアイテムのうちの対応する１つに係る複数のコンテンツアイテムサマリデータを得るステップと、
・各コンテンツアイテムサマリデータの評価を判定するステップと、
・前記複数のコンテンツサマリデータから、対応する評価に基づいて、少なくとも１つの他のコンテンツアイテムサマリデータを選択するステップと、
・前記少なくとも１つの他のコンテンツアイテムサマリデータを含むメタサマリデータを生成することを可能にするステップと、
を有する方法。
【請求項２】
請求項１に記載の方法であって、前記複数のコンテンツアイテムサマリデータを得るために、前記コンテンツアイテムのうちの少なくとも１つを処理し前記複数のコンテンツアイテムサマリデータのうちの対応する少なくとも１つを生成するステップをさらに有する、方法。
【請求項３】
請求項１に記載の方法であって、それぞれのコンテンツアイテムが前記コンテンツアイテムを特徴付ける同じ属性を有する場合に１つ又は複数のグループに前記複数のコンテンツアイテムサマリデータを集団化するステップをさらに有する、方法。
【請求項４】
請求項３に記載の方法であって、それぞれのグループに対して複数のメタサマリデータを生成するために、コンテンツアイテムサマリデータの前記グループのうちの対応する１つに対して当該方法のステップが独立して実行される、方法。
【請求項５】
請求項４に記載の方法であって、前記複数のメタサマリデータを多属性メタサマリデータにマージするステップをさらに有する方法。
【請求項６】
請求項１に記載の方法であって、前記コンテンツアイテムは、放送時間を有し、前記他のコンテンツアイテムサマリデータは、それぞれのコンテンツアイテムの放送時間を考慮することにより前記メタサマリデータに含まれる、方法。
【請求項７】
請求項１に記載の方法であって、前記評価は、前記コンテンツアイテムの対応する１つ又は前記複数のコンテンツアイテムサマリデータのうちの対応する１つの重要性に関係した判断基準に基づいて判定される、方法。
【請求項８】
請求項１又は７に記載の方法であって、前記評価は、前記対応のコンテンツアイテムのジャンルに依存している、方法。
【請求項９】
コンテンツアイテムを提供することを可能にする装置であって、
・前記コンテンツアイテムのうちの対応する１つに係る複数のコンテンツアイテムサマリデータを求め、
・各コンテンツアイテムサマリデータの評価を判定し、
・前記複数のコンテンツアイテムサマリデータから、当該対応の評価に基づいて少なくとも１つの他のコンテンツアイテムサマリデータを選択し、
・前記少なくとも１つの他のコンテンツアイテムサマリデータを含むメタサマリデータを発生することを可能にする、
ように構成されたデータプロセッサを有する装置。
【請求項１０】
請求項１ないし８のうちいずれか１つに記載の方法のステップを、計算装置で実行されるときに実現するように適応させられているコード手段を含むコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツアイテムを提供することを可能にする方法に関し、特に当該コンテンツアイテムのうちの対応の１つに係る複数のコンテンツアイテムサマリデータを得るステップを有する方法に関する。本発明はまた、コンテンツアイテムを提供することを可能にするための装置に関する。
【背景技術】
【０００２】
ＴＶ番組のコレクションの概要を提供するためのビデオサマリの生成は、"Multimedia content analysis: The next wave", N. Dimitrova, in Proc. of the 2nd Conference on Image and Video Retrieval, pages 9-18, Illinois, USA, Aug. 2003なる記事から知られている。各番組は、個々に分析され、各番組のビデオサマリが生成される。しかしながら、ＴＶ番組の大きなコレクションのビデオサマリの数は、膨大なものとなる。このようなビデオサマリのコレクションを見るには、かなり長い時間がかかってしまう。したがって、既知の方法により生成されるサマリは、扱いが面倒で容易ではない。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
コンテンツアイテムの数が多くても、簡単かつコンパクトなビデオサマリを発生することを可能にするコンテンツアイテム提供方法を提供することが望ましい。
【課題を解決するための手段】
【０００４】
本発明の方法は、
・前記コンテンツアイテムのうちの対応する１つに係る複数のコンテンツアイテムサマリデータを得るステップと、
・各コンテンツアイテムサマリデータの評価を判定するステップと、
・前記複数のコンテンツサマリデータから、対応する評価に基づいて、少なくとも１つの他のコンテンツアイテムサマリデータを選択するステップと、
・前記少なくとも１つの他のコンテンツアイテムサマリデータを含むメタサマリデータを生成することを可能にするステップと、
を有する。
【０００５】
当該コンテンツアイテムは、ビデオレコーダにより記録されるテレビ番組、ＤＶＤディスクの如きデータ担体に格納されるビデオコンテンツなどとすることができる。このコンテンツアイテムは、コンテンツ分析方法（例えばキーフレーム抽出方法）を適用することにより、そして最も重要な部分のテキスト記述などを生成することによって当該コンテンツアイテムの最も重要な部分（例えばキーフレーム）の列（シーケンス）をコンパイル（編集）することにより、要約化することができる。或いは、当該コンテンツアイテムの全て又はそのうちの幾つかのコンテンツアイテムサマリデータは、当該コンテンツアイテムの実際の要約化を行うことなく得られる。例えば、当該コンテンツアイテムサマリデータは、インターネットからダウンロードされる。
【０００６】
コンテンツアイテムサマリデータは、当該データの中で最も重要な情報（例えばイベント）を判定するよう評価される。かかる評価は、色々な方法により実行されうる。例えば、全てのコンテンツアイテムのサマリデータにおける特定の新しいイベントの発生の頻度が判定される。例えば、第１のコンテンツアイテムサマリデータにおいて見つけられるキーワード（イベントに関連したもの）は、同一又は同様のキーワードを含む第２のサマリデータの数を識別するために用いられる。かかる頻度は、当該情報の重要性の指標を担うことができ、特定のサマリデータの評価を判定するために用いることができる。他の例において、当該評価は、ＴＶニュース番組のコンテンツアイテムサマリデータの持続期間又はサイズによっても影響を受けることがある。重要なＴＶニュース番組は、ＴＶニュース番組が重要である場合にそれ自体が長めであるので、沢山のサマリでータをもたらしうる。但し、当該評価は、コンテンツアイテムのジャンルによって異なる判断基準を用いて行われうる。例えば、ＴＶニュース番組サマリデータに適用可能な判断基準は、映画サマリデータに有用なものではない可能性がある。なお、当該評価が利用可能なサマリデータに関して行われると、当該評価処理は、コンテンツアイテムの評価を得るために実際のコンテンツアイテムの分析のときよりも高速となる。
【０００７】
当該複数のコンテンツアイテム情報データにより表される情報の量を減らすため、対応する評価に基づいてコンテンツアイテムサマリデータの中で選択が行われる。例えば、コンテンツアイテムサマリデータは、特定の閾値よりも高い評価を有したものが選択される。かかる選択処理は、当該複数のコンテンツアイテムサマリデータから、最も重要な情報だけをフィルタ処理することを許容する。この選択により、１組の他のコンテンツアイテムサマリデータが取り除かれる。かかる選択方法（例えば、閾値の調整可能なレベル）に応じて、当該組の他のコンテンツアイテムサマリデータは、初期の複数のコンテンツアイテムサマリデータのものよりもそれぞれ小さいデータ量を有するものとすることができる。
【０００８】
当該他のコンテンツアイテムサマリデータは、重要なコンテンツアイテムのサマリを持つビデオスライドショー又は対応するコンテンツアイテムへのリンクを持つテキストサマリのリストなどの形態でメタサマリデータを生成するために用いることができる。
【０００９】
本発明の装置は、
・前記コンテンツアイテムのうちの対応する１つに係る複数のコンテンツアイテムサマリデータを求め、
・各コンテンツアイテムサマリデータの評価を判定し、
・前記複数のコンテンツアイテムサマリデータから、当該対応の評価に基づいて少なくとも１つの他のコンテンツアイテムサマリデータを選択し、
・前記少なくとも１つの他のコンテンツアイテムサマリデータを含むメタサマリデータを発生することを可能にする、
ように構成されたデータプロセッサを有する。
【００１０】
例えば、当該装置は、本発明の方法のステップを行うよう適切に構成されたインターネットサーバとすることができる。一実施例において、当該サーバは、コンテンツアイテムサマリデータを生成しない場合があるが、インターネットを介して他の装置からコンテンツアイテムサマリデータを受け取ることができる。
【００１１】
以下、本発明のこれらの態様及びその他の態様を、添付図面を参照しつつ例示により詳しく説明する。
【発明を実施するための最良の形態】
【００１２】
コンテンツ要約化は、メディアコンテンツを元のメディアコンテンツの短めの記述形態に凝縮する処理を含む。
【００１３】
メディアコンテンツ又はコンテンツアイテムは、視覚情報（例えば、ビデオ画像、写真、グラフィクス）、聴覚情報、及び例えば標本化することにより、そして語彙的な検索用語を用いることによりディジタル化されたマテリアルを記述し検索するために用いることのできるＭＰＥＧ−７規格に準じたメタデータなどの他のディジタルデータのうちの少なくとも１つ又はこれらいずれかの組み合わせを有しうる。以下では、「オーディオコンテンツ」（又は「オーディオデータ」）なる表現は、可聴音、沈黙、スピーチ、音楽、静寂、外部雑音などを有するオーディオに関するデータとして用いられる。オーディオデータは、ＭＰＥＧ−１レイヤＩＩ（ｍｐ３）規格（Moving Picture Experts Group）、ＡＶＩ（Audio Video Interleave）フォーマット、ＷＭＡ（Windows（登録商標） Media Audio）フォーマットなどのようなフォーマットとすることができる。「ビデオコンテンツ」（又は「ビデオデータ」）なる表現は、動画、「静止画」、ビデオテキストなどの可視のデータとして用いられる。ビデオデータは、ＧＩＦ（Graphic Interchange Format）、ＪＰＥＧ（Joint Photographic Experts Groupの後に名付けられたもの）、ＭＰＥＧ−４などのフォーマットとすることができる。メタデータは、ＳＱＬデータベースに記憶されるＸＭＬ（Extensible Markup Language）フォーマット、ＭＰＥＧ７フォーマット、又はその他のフォーマットとすることができる。
【００１４】
単一のコンテンツアイテムのコンテンツ要約化は、種々の方法により、例えばビデオスキム又はビデオハイライトシーケンスにより行うことができる。コンテンツアイテムのコンテンツ要約化は、コンテンツアイテムサマリデータ（例えば単一コンテンツアイテムのコンテンツ要約を意味する場合は、さらに「サマリデータ」と称される）の生成をもたらす。サマリデータは、コンテンツアイテムから抽出される静止画、例えばビデオクリップなどのコンテンツアイテムの一部分、コンテンツアイテムへ音声認識方法を適用することにより生成されるテキストサマリ、重要とみなされるコンテンツアイテムの特定の部分へのリンクなどを有するものとすることができる。サマリデータは、オーディオデータ及びビデオデータを単独で又は組み合わせの形態で有するようにしてもよい。
【００１５】
図１には、本発明の方法の実施例が示される。ステップ１１０において、コンテンツ分析方法は、当該コンテンツアイテムを分析するために適用される。コンテンツアイテムは、独立して処理可能であり、サマリデータの生成は、コンテンツアイテム毎に個別なものとすることができる。ステップ１１０は、必須なものではなく、１つ以上のコンテンツアイテムのサマリデータが既に、例えばインターネットを介して又はコンテンツアイテムのサマリデータのデータベースから利用可能である場合にスキップさせてもよい。
【００１６】
サマリデータの生成は、沢山の方法により自動的に実行可能である。例えば、ビデオサマリ生成の１つの方法は、"Video Manga: Generating Semantically Meaningful Video Summaries", Shingo Uchihashi, Jonathan Foote, Andreas Girgensohn, and John Boreczky, In Proceedings ACM Multimedia, (Orlando, FL) ACM Press, pp. 383-392, 1999, October 30, 1999なる記事から知られている。この方法は、ビデオフレームの時間的連続性に無関係に、ビデオフレーム同士の類似性の測定値に基づいてビデオコンテンツのビデオフレームを（セグメントに）集合させることによるキーフレーム抽出に依拠するものである。この類似性は、ＹＵＶ色空間におけるビデオフレームの３次元カラーヒストグラムを比較することによって測定される。類似のビデオフレームの集団は、各集団の計算された重要性の得点に応じて増強又は破棄される。当該集団の重要性の得点は、ビデオコンテンツにおける当該集団の頻度及びビデオセグメントの持続期間に基づく。この集団は、当該集団が短いか又は他の集団に非常に類似している場合にあまり重要でないとみなされる。ビデオコンテンツアイテムの画像サマリを生成するために、閾値よりも高い重要性の得点を持つ集団が選択される。高い重要性の値を持つ各集団から、キーフレームが抽出される。当該集団の中心に最も近いフレームは、キーフレームとして選択される。
【００１７】
ステップ１２０において、コンテンツアイテムサマリデータは、１つ又は複数のグループに集団化される。これらグループは、ジャンル（例えば、コメディ、スポーツ、フィクションなど）、トピック（バチカンのローマ法王の選出、津波災害など）、又はそのコンテンツアイテムを特徴付ける他の属性によって形成することができる。例えば、スポーツＴＶ番組のサマリデータは、映画ＴＶ番組のサマリデータから分離して集団化される。ＴＶ放送においては、例えばジャンルなどの属性を示すデータを放送ＴＶ信号に含ませることが知られている。或いは、自動ジャンル検出器をコンテンツアイテムに適用することによってコンテンツアイテムのジャンル又はその他の属性を検出することが可能である。
【００１８】
或いは、各グループは、それぞれの元のコンテンツアイテム同士ではなく、コンテンツアイテムサマリデータ同士の類似性を検出することによってステップ１２０において形成される。元のコンテンツアイテムは、単に、利用可能とならないものとすることができる。種々の技術を、コンテンツアイテムサマリデータ同士の類似性の値を計算するために用いることができる。例えば、種々のサマリデータがそれぞれのコンテンツアイテムのテキスト記述を含む場合、類似性の値は、当該サマリデータにおけるキーワードの繰り返し量をカウントすることによって判定されうる。他の例においては、サマリデータ同士の類似性の値は、その存在、又は類似のビデオオブジェクト（例えば特定のキャラクタ（俳優など）又は類似のビデオパターン（例えば高速走行自動車）などに基づいて判定される。実際、サマリデータに基づく集団化は、例えば少ないオーディオ及び／又はビデオデータが処理されるので、元のコンテンツアイテムに基づいた集団化よりも高速である。
【００１９】
ステップ１３０において、１グループ内のコンテンツアイテムサマリデータは、他のグループからのコンテンツアイテムサマリデータとは独立して評価される。但し、当該サマリデータの評価は、ステップ１２０においてサマリデータの集団化を伴うことなく実行することもできる。１グループだけの中でサマリデータが評価されるとき、その評価の処理は、サマリデータのジャンルやトピックなどに拘りなくサマリデータを評価するときよりも精度が高く確実性も高い場合がある。精度及び質は、特定の属性を有するサマリデータを評価するために特別に適合された評価アルゴリズムを、対応の特定の属性を有するサマリデータの特定のグループに適用することにより達成される。それに応じて、これら特別化された複数の評価アルゴリズムは、それぞれの特定の属性を有するサマリデータの正確に対応のグループを評価するために必要とされうる。様々な属性に関連したサマリデータの包括的な評価アルゴリズムの使用も可能であるが、その評価の結果は、特別化された評価アルゴリズムが用いられるときと同じ精密さにはならない可能性がある。
【００２０】
サマリデータを評価する処理は、サマリデータを生成する方法に必ずしも関係していない。サマリデータは、色々な方法で評価可能である。例えば、サマリデータにおける文言、フレーズ、ビデオオブジェクトなどの発生の頻度の分布が判定される。当該頻度分布は、１グループ内のどのサマリデータが、代表的既知の重要なサマリについての頻度分布の所定の基準モデルに最も近く関係しているかを示しうる。例えば、重要なサマリが特定の最も少ない数の特定のサマリ要素を有することを予め決めておいてもよい。サッカー番組において、重要なゲームは、ゴールの複数の繰り返しをもってしばしば映像化される。例として、良いサッカーの試合のビデオ記録は、人気のあるサッカーチームのゲートの中へのゴールを伴う沢山のビデオシーンを有する。このようなサッカービデオ記録のためのサマリデータは、このタイプのシーンを伴う多数のビデオフレームを有することになる。したがって、このようなサマリデータは、高く評価されることになる。他の判断基準は、サマリデータの評価を判定するための基礎として用いることができる。当該判断基準は、複数のコンテンツアイテムサマリデータのうちの対応する１つの重要性のレベルに概して関係するものとなる。
【００２１】
なお、サマリデータが各グループにおいて独立して評価されるとき、サマリデータの評価の可能な値のセットは、グループについて異なるものとすることができる。例えば、スポーツに関係したサマリデータは、「プロ」や「アマチュア」などとして評価可能であるのに対し、ニュース番組のサマリデータは、「ホットニュース」や「レギュラーニュース」などとして評価可能である。サマリデータのそれぞれのグループのこのような異なる評価方法は、「高」、「平均」及び「低」のような、より標準化された値にさらにマップ化されうる。かかるマッピングは、変化可能であり、解釈及び個人的嗜好の或る程度の自由度を許容してもよい。当該マッピングは、消費者（民生電子機器のユーザ）の好みに基づいて個人専用のものとすることもできる。例えば、当該消費者は、異なるジャンルを持つコンテンツアイテムのサマリデータにおいて何が高い重要性を持つかについての異なる見解を有しうるものである。
【００２２】
ステップ１４０において、高い評価のコンテンツアイテムサマリデータのみが、評価された全てのサマリデータからさらに選択される。例えば、この評価は、値Ａ（高）、Ｂ（平均）又はＣ（低）のうちの１つを有しうるものであり、評価Ａを持つサマリデータのみが選択されるとともに、他のサマリデータはさらに破棄される。他のコンテンツアイテムサマリデータのうちの１つ又は複数は、全ての利用可能なコンテンツアイテムサマリデータの中から抽出される。したがって、最も重要なサマリデータのみが、さらなる考慮に入れられる。一実施例において、他のコンテンツアイテムサマリデータは、コンテンツアイテムサマリデータのグループのうちの対応する１つから選択される。
【００２３】
当該他のコンテンツアイテムサマリデータの選択により、メタサマリデータの生成が可能になる。基本的に、メタサマリデータは、次のレベルのサマリデータである。ステップ１５０において、例えば、１つ又は複数の他のコンテンツアイテムサマリデータは、それぞれのコンテンツアイテムが放送された時期を考慮に入れることによってシーケンスに組み合わせ／順序立てされられるようにすることができる。これにより、時系列上で重要なコンテンツアイテムの論理的外観が可能となる。
【００２４】
図２は、本発明の装置の実施例である。この装置は、数多くの可能なバリエーションにおいて実現可能である。例えば、この装置は、ビデオコンテンツを記録するためのビデオレコーダ又はオーディオコンテンツを再生するためのオーディオプレーヤに組み込まれることができる。図２に示される実施例において、装置２１０は、ビデオレコーダ、オーディオプレーヤ又は他の民生電子機器のような１つ又は複数のユーザ装置２２１及び２２２により例えばインターネットを介して通信するためのサーバ装置に組み込まれる。
【００２５】
装置２１０は、複数のコンテンツアイテムサマリデータを得るためのデータプロセッサ２１５を有する。一実現形態において、データプロセッサ２１０は、複数のコンテンツアイテムを記憶する（遠隔又はローカルの）コンテンツアイテムデータベース２５０にアクセスするよう構成される。データプロセッサは、コンテンツアイテムを受信し、対応のコンテンツアイテムのコンテンツアイテムサマリデータを生成するようコンテンツ分析方法を適用することができる。コンテンツアイテムサマリデータの生成は、ステップ１１０を参照して上述したように行うことができる。
【００２６】
他の実現形態において、データプロセッサ２１５は、コンテンツアイテムを処理しないが、コンテンツアイテムのサマリデータの（遠隔又はローカルの）データベース２６０からコンテンツアイテムサマリデータを簡単に受信する。例えば、ユーザ装置２２１又は２２２（例えば、ＨＤＤドライブ付きのＴＶセットトップボックス）は、何日もの間に何時間ものＴＶ番組を自動的に記憶するように適応させられる。或る時点で、ユーザ装置は、自動的に又はユーザコマンドにより、複数のコンテンツアイテムサマリデータに対するのではなく、こうした記録されたＴＶ番組の凝縮メタサマリデータのリクエストを発生することができる。ユーザ装置２２１又は２２２は、このリクエストを遠隔データプロセッサ２１５へ通信することができる。このリクエストは、ユーザ装置により記録されたコンテンツアイテムのリストだけを有するようにしてもよい。このリストは、特定のコンテンツアイテムのタイトル、当該コンテンツアイテムを放送したＴＶチャネル、放送時間などを含むようにしてもよい。さらに、データプロセッサ２１５は、図１におけるステップ１１０〜１５０を参照して説明したようにメタサマリデータの生成を行う。
【００２７】
データプロセッサ２１５は、本発明を実現するように適切に構成された周知の中央処理ユニット（ＣＰＵ）とすることができ、ここで説明するように装置２１０の動作を可能にする。装置２１０は、例えば既知のＲＡＭ（ランダムアクセスメモリ）メモリモジュールなどのメモリモジュール（図示せず）を付加的に有してもよい。データプロセッサ２１５は、装置の機能を可能にするための少なくとも１つの命令をそのメモリモジュールから読み取るよう構成してもよい。
【００２８】
「コンピュータプログラム」は、フロッピー（登録商標）ディスクのようなコンピュータ読取可能媒体に記録され、インターネットのようなネットワークを介してダウンロード可能とされ、又はこれ以外の態様で市場性のあるものとされる何らかのソフトウェア製品を意味するもの理解されたい。本発明は、複数の個別の要素を有するハードウェアにより、また、適切にプログラムされたコンピュータにより実現可能である。
【００２９】
説明した実施例の変形及び変更は、本発明の概念の範囲内で可能である。データプロセッサは、本発明の方法のステップの実行を可能にするようなソフトウェアプログラムを実行しうる。ソフトウェアは、それが実行させられていることとは独立して本発明の装置を実現可能なものにする。本装置を可能にするため、データプロセッサは、例えば、ソフトウェアプログラムを他の（外部の）装置に伝送するようにしてもよい。独立した方法の請求項及びコンピュータプログラムの請求項は、民生電子製品上で実行するために当該ソフトウェアが製造され又は利用されるときに本発明を保護するために用いられうる。外部装置は、ブルートゥース（Ｒ）、ＩＥＥＥ８０２．１１［ａ−ｇ］などの現行のテクノロジを用いてプロセッサに接続可能である。データプロセッサは、ＵＰｎＰ（ユニバーサルプラグアンドプレイ；Universal Plug and Play）記憶に準じて外部装置と相互動作することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の方法の実施例を示す図。
【図２】本発明による装置の実施例の機能ブロック図。
【図１】
2008547259.tif 000003
【図２】
2008547259.tif 000004
【国際調査報告】
2008547259.tif 000005
2008547259.tif 000006
2008547259.tif 000007