(57)【要約】      （修正有）【課題】視聴者にとって特に興味のある特定の番組に含まれている情報だけを当該の視聴者に提示するシステムを提供する。【解決手段】メタデータは、総称をビデオ信号のソースセットの音声チャンネルのサブセクションに、各サブユニットの発生源を分類するためにクラス記述をサブセクションの１つ以上のサブユニットに、カテゴリー割当てをサブセクションの１つ以上の分類サブユニットのストリングにより形成されるセグメントに、セグメントのカテゴリー割当ての信頼度を評価するために評価値をセグメントに、それぞれ割り当てられる。さらに、所定の閾値を超える評価値を有するサブセクションのセグメントを選択するステップと、優先順位の値を各カテゴリーに割り当てるステップと、各セグメントに関連する各優先順位及び評価値に基づく順序により選択セグメントの配列を定義することによりビデオ信号の第１のサブセットを定める。【選択図】  図４
2005192196.tif 000002
【特許請求の範囲】
【請求項１】
総称をビデオ信号のソースセットのオーディオチャンネルのサブセクションに、各サブユニットの発生源を分類するクラス記述を該サブセクションの１つ以上のサブユニットに、カテゴリー割当てを該サブセクションの１つ以上の分類サブユニットのストリングにより形成されるセグメントに、該セグメントのカテゴリー割当ての信頼度を評価する評価値を該セグメントに割り当てる、該ビデオ信号のソースセットに対して利用可能なメタデータに基づいて、該ビデオ信号のソースセットから該ビデオ信号のサブセットを定義するビデオ信号のサブセットの定義方法において、
所定の閾値を超える評価値を有する上記サブセクションのセグメントを選択するステップと、
優先順位の値を上記各カテゴリーに割り当てるステップと、
上記各セグメントに関連する各優先順位及び評価値に基づく順序によって選択された上記セグメントの配列を定義することにより、上記ビデオ信号の第１のサブセットを定めるステップとを有するビデオ信号のサブセットの定義方法。
【請求項２】
上記ビデオ信号の第１のサブセット内のセグメントの配列は、該セグメントの各カテゴリーに関連する優先順位の値の順序と、該カテゴリー内の発生順とによって定まることを特徴とする請求項１記載のビデオ信号のサブセットの定義方法。
【請求項３】
上記ビデオ信号の第１のサブセット内のセグメントの上記配列は、該セグメントの各カテゴリーに関連する優先順位の値の順序と、該セグメントに割り当てられた評価値の順序とによって定まることを特徴とする請求項１記載のビデオ信号のサブセットの定義方法。
【請求項４】
上記セグメントのカテゴリーに関連する優先順位の値を該セグメントに割り当てられた評価値で重み付けることにより生成される重要度の値を、該セグメントに割り当てることを特徴とする請求項１乃至３のいずれか１項記載のビデオ信号のサブセットの定義方法。
【請求項５】
上記ビデオ信号の第１のサブセット内のセグメントの配列は、上記重要度の順序によって定まることを特徴とする請求項４記載のビデオ信号のサブセットの定義方法。
【請求項６】
上記閾値は、上記ビデオ信号の第１のサブセットの全長の制限時間に関して定義されることを特徴とする請求項１乃至５のいずれか１項記載のビデオ信号のサブセットの定義方法。
【請求項７】
要求に応じて視聴者から供給される応答マークに基づいて、上記ビデオ信号の第１のサブセットから該ビデオ信号の第２のサブセットを形成することを特徴とする請求項１乃至６のいずれか１項記載のビデオ信号のサブセットの定義方法。
【請求項８】
上記優先順位の値を、上記１つ以上の応答マークに基づいて再計算することを特徴とする請求項７記載のビデオ信号のサブセットの定義方法。
【請求項９】
特定の視聴者から供給される上記応答マークに基づいて、該視聴者プロファイルを生成することを特徴とする請求項７又は８記載のビデオ信号のサブセットの定義方法。
【請求項１０】
総称をビデオ信号のソースセットのオーディオチャンネルのサブセクションに、各サブユニットの発生源を分類するクラス記述を該サブセクションの１つ以上のサブユニットに、カテゴリー割当てを該サブセクションの１つ以上の分類サブユニットのストリングにより形成されるセグメントに、該セグメントのカテゴリー割当ての信頼度を評価する評価値を該セグメントに割り当てる、該ビデオ信号のソースセットに対して利用可能なメタデータに基づいて、該ビデオ信号のソースセットから該ビデオ信号のサブセットを定義する自動番組要約装置（６０、６０’）において、
上記ビデオ信号のソースセットから個々のセグメントを選択する選択手段（６２）と、
上記選択されたセグメントに関するメタデータを読み取るメタデータ読取り手段（６３）と、
優先順位の値を上記各カテゴリーに割り当てる優先順位割当て手段（６５）と、
上記セグメントの評価値を閾値に対して評価することにより、上記選択されたセグメントを上記ビデオ信号のサブセットに加えるかを判定する判定手段（６５）と、
上記ビデオ信号のサブセットに加えることが決定されたセグメントを配列する順序を、上記各セグメントに関する優先順位及び評価値に基づいて設定するランキング手段（６６）と、
上記ビデオ信号のサブセットに加えることが決定されたセグメントを、上記ランキング手段により設定された順序に従って配列する配列手段（６７）とを備える自動番組要約装置。
【請求項１１】
上記ランキング手段は、上記ビデオ信号のサブセット内のセグメントの配列の順序を、該各セグメントのに関連する優先順位の値の順序と、該カテゴリー内の発生順とにより定めることを特徴とする請求項１０記載の自動番組要約装置。
【請求項１２】
上記ランキング手段は、上記ビデオ信号のサブセット内のセグメントの配列の順序を、該各セグメントに関連する優先順位の値の順序と、該セグメントに割り当てられた評価値の順序により定めることを特徴とする請求項１０記載の自動番組要約装置。
【請求項１３】
上記ランキング手段は、上記ビデオ信号のサブセット内のセグメントの順序を、上記セグメントのカテゴリーに関連する優先順位の値を該セグメントに割り当てられた評価値で重み付ける計算を計算手段（７１）で行うことにより生成される重要度の値に基づいて、定めることを特徴とする請求項１０記載の自動番組要約装置。
【請求項１４】
上記ランキング手段は、上記ビデオ信号のサブセット内のセグメントの順序を上記重要度の順序によって定めることを特徴とする請求項１３記載の自動番組要約装置。
【請求項１５】
上記判定手段が使用する閾値は、上記ビデオ信号のサブセットの全長の制限時間に関して計算されることを特徴とする請求項１０乃至１４のいずれか１項記載の自動番組要約装置。
【請求項１６】
上記ビデオ信号のサブセットと関連する当該自動番組要約装置（６０、６０’）の要求に応じた応答マークを視聴者から受けるユーザ−マシンインタフェース（７２）を備える請求項１０乃至１５のいずれか１項記載の自動番組要約装置。
【請求項１７】
上記ユーザ−マシンインタフェースを介して視聴者から供給される応答マークに応じて上記ビデオ信号のサブセットを制限する制限手段（７３）を備える請求項１６記載の自動番組要約装置。
【請求項１８】
上記計算手段（７１）は、上記優先順位の値を上記１つ以上の応答マークに基づいて再計算することを特徴とする請求項１７記載の自動番組要約装置。
【請求項１９】
特定の視聴者から供給される上記応答マークに基づいて形成された視聴者固有視聴者プロファイルを生成するプロファイリング手段（７４）を備える請求項１７又は１８記載の自動番組要約装置。
【請求項２０】
請求項１０乃至１９のいずれか１項記載の自動番組要約装置（６０、６０’）の１つ以上の手段を実現するデータ処理手段を備える請求項１０乃至１９のいずれか１項記載の自動番組要約装置。
【請求項２１】
請求項１乃至９のいずれか１項記載のビデオ信号のサブセットの定義方法を実行する、又は請求項１０乃至１９のいずれか１項記載の自動番組要約装置（６０、６０’）のデータ処理手段によって処理される一連の状態要素からなるソフトウェア製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、録画されたテレビジョン（以下、ＴＶという。）番組を含むビデオ信号のソースセット（source set）からビデオ信号のサブセット（subset）を自動的に選択する番組提案エンジン（programme suggestion engine）に関する。特に、本発明は、ビデオ信号のソースセットのコンテンツを形成する番組の概要を、そのコンテンツに対して利用可能なメタデータに基づき自動的に生成する各番組提案エンジンの一部としての自動番組要約装置（automatic programme summary system）に関する。
【背景技術】
【０００２】
ビデオチャンネル数の増加に伴い、本当に興味のある番組だけを選択して視聴することが、ユーザにとって非常に困難になっている。更に、興味のある番組が、例えばユーザが就寝中又は仕事中等の都合の悪い時間帯に放送されることもよくある。時には、２つの興味のある番組が同時に放送され、したがって、視聴者はどちらの番組に最も興味があるかを決定しなければならないこともある。番組をビデオレコーダで録画できるようになり、この決定は、例えば、重要であると思われるサッカーの試合とスリル満点であると思われる面白い長編映画のような競合する２つの番組のどちらに、その瞬間より興味があるかに変えることができる。
【０００３】
ビデオレコーダによって、視聴者は、興味のある番組を都合のいい時間帯に楽しむ自由を与えられたが、受信可能な様々なＴＶチャンネルで何が放送されるのかを事前に知ることができない。したがって、どのような番組が何時放送されるのかを知るためには、ＴＶ番組ガイドを頻繁に調べなければならない。ＴＶ番組ガイドが印刷物である場合、視聴者は、更にビデオレコーダを手動でプログラミングしなければならない。
【０００４】
近年、印刷された番組ガイドの代わりに、電子番組ガイド（以下、ＥＰＧという。）が開発されている。ＥＰＧは、テレビ番組を受信する機器によって使用され、数多くのＴＶチャンネルにおいて現在視聴可能な番組及び放送予定の番組をリストアップしたものである。また、ＥＰＧはインターネットを介してアクセスすることもできる。ＥＰＧは、各番組の簡単な概要及び解説を提供し、例えばビデオカセットレコーダ（以下、ＶＣＲという。）をプログラミングするために使用することができる。ＥＰＧは、印刷されたテレビ番組ガイドの電子版と見なすことができる。
【０００５】
ＥＰＧには、通常、リモートコントローラを用いてアクセスする。ＥＰＧは、視聴者に、数時間から数日間先の放送予定の番組のリストを見せるためのメニューを備えている。ＥＰＧには、通常、子供や青少年を保護するためのペアレンタルコントロール（parental control）が組み込まれている。ＥＰＧは、典型的には視聴する順番でのプログラミング（order per view programming）を可能にし、すなわち、特定のジャンルに基づいて番組を検索し、選択した番組を録画するようにＶＣＲを設定することができる。現在、各デジタルテレビジョン受信機の製造業者は、独自のユーザインタフェース及び内容を有するＥＰＧを提供しているので、ＥＰＧのフォーマットは、これまでのところ各製造業者によって大きく異なっている。例えばＮＨＰ規格のような汎用的な規格は、まだ実現されていない。
【０００６】
印刷されたテレビ番組ガイド及び電子テレビ番組ガイドの１つの欠点は、視聴者がそれぞれの番組が開始される前に、提供される番組の一覧に目を通さなければならないことである。しかし、視聴者は、番組ガイドで提供される全ての情報にわざわざ目を通すのを嫌がることが多く、ＴＶを見たいと思ったちょうどその時に、すなわち興味深いと思われる番組の放送時間とは無関係に、興味がある番組を探す方を好む。その結果、視聴者に興味深いと思われる様々なチャンネルの全てのＴＶ番組を録画し、要求されたときに、録画されたマテリアルに基づき視聴者に対して推奨番組を提案するＴＶ番組提案エンジンによって、視聴者は支援されている。その場合、視聴者は、推奨番組の中から、特定の瞬間に自分が最も興味のある番組を選択すればよいことになる。
【０００７】
視聴者は、特定のジャンルの番組に特に興味を持っているかもしれないが、特に番組の実際の内容が分からない場合、典型的には最近録画されたサッカーの試合や初めて放映される長編映画等の場合には、提供される特定の番組が本当に興味があるのかどうかを決定するのは依然として困難である。ＥＰＧは、通常、番組に対する若干の解説を与えるが、それを当てにすることはできず、時には、その解説が視聴者にとって無意味なこともある。ＥＰＧの性質により、中継録画されたスポーツイベントには解説が付けられていない。したがって、視聴者は、番組を見た後で、その番組がその瞬間に自分が見たかった番組ではなかったことに気付くということが何度もある。
【０００８】
したがって、興味深いと思われる番組に含まれる重要なイベントに関する若干の情報を視聴者に提供することが、所望される。この点に関して、番組提案エンジン内において、番組における特定のイベントの発生を確認するキーイベント検出器（key event detector）が使用されている。通常は、視聴者のために記録されたビデオ信号のセットは、１つ以上の推奨番組を含んでいる。録画する番組は、特定の種類の番組に対する視聴者の嗜好に関する情報に基づいて選択される。番組のそれぞれの種類は、通常、例えばスポーツ、長編映画、音楽、ニュース、ショー等のような総称的な用語（generic term）によって定義される。しかし、例えばサッカー、モータースポーツ、テニス等のより詳細なジャンルを区別することもできる。記録されたビデオ信号のソースセットは、それぞれが特定のジャンルの番組を表すサブセクション（sub-section）に細分化される。
【０００９】
キーイベント検出器は、サブセクションを調べ、例えばサッカーの試合の場合、ゴール又はペナルティに対応した所定のイベントに対応する全てのセグメント（segment）を識別する。この点に関し、キーイベント検出器は、ビデオ信号のソースセットの音声チャンネルを処理して、ビデオ信号のソースセット内の特定の信号シーケンスを特徴付けるメタデータを生成する。メタデータから得ることができる１つの典型的な情報としては、例えば、メタデータが言及している、各サブセクションに含まれる番組の総称用語がある。
【００１０】
番組内で起こるイベントを識別するために、キーイベント検出器は、最初に、オーディオ信号の特定のセクション、例えば音声、音楽、騒音、無音、話者の気分又は性別等を表すセクションの考えられる発生源（possible origin）を特徴付けることができる既知の特性に関連したサブセクションの音声信号を調べる。音声信号のこのように特徴付けられた一貫性のある各シーケンス（coherent sequence）は、サブセクション内のサブユニットを構成している。そして、各サブセクションは、決定された種類の特性（type character）に従って分類され、キーイベント検出器は、それぞれの分類に対応したメタデータを生成する。
【００１１】
分類サブユニット（classified sub-unit）によって表される出来事は、通常は、関連した番組の場面が興味深いものか否かを少なくとも判断できるようにするには、余りにもかけ離れている。完全な場面又はイベントはそれぞれ、通常は、幾つかが非常に特徴的である一連の出来事を含んでいる。したがって、あるカテゴリーのイベント、例えばペナルティ、ゴール、ファウルは、通常は、分類サブユニットの連続の特性を調べることによってカテゴリーを識別できるようにする音声特性の極めて特別なシーケンスによって、定義される。
【００１２】
ビデオ信号のソースセットのサブセクション内の重要なイベントを識別して分類するために、キーイベント検出器は、あるイベントカテゴリー、例えばファウル等の定義として用いられるサブユニットのストリングに類似した又は同一の１つ以上の分類サブユニットのストリングのビデオ信号の音声チャンネルだけを調べる。ここで、用語「ストリング（string）」は、ある順序に一致するシーケンスを表すために使用される。サブセクション内で検出された分類サブユニットのストリングと、所定のイベントカテゴリーを定義するストリングのセットとを比較することにより、それぞれのカテゴリー割当ての信頼度の評価値（rating of reliability）が得られる。評価値は、分類サブユニットのストリングがイベントカテゴリーを定義するストリングと略同じあるときは高く、調べられたストリングと定義ストリングが一致しなくなるにつれて低くなる。本願の明細書の中では、あるイベントカテゴリーに割り当てられた分類サブユニットのストリングを、ビデオ信号のセグメントと呼ぶ。
【００１３】
キーイベント検出の結果として、ある所定のイベントカテゴリーに対応するビデオ信号のソースセット内の特定のセグメントを識別するメタデータを得ることができる。それに加えて、個々のセグメントが、そのセグメントに割り当てられたイベントカテゴリーを定義するサブユニットと一致している度合いを示す評価値を表すメタデータによって、イベントの評価の信頼度を得ることができる。したがって、キーイベント検出器は、所定のイベントの発生の可能性に関する情報を番組から抽出ことができるが、その情報を特定の視聴者に関連したものに変えることはできない。
【発明の開示】
【発明が解決しようとする課題】
【００１４】
したがって、本発明の目的は、視聴者にとって特に興味のある特定の番組に含まれている情報だけを当該の視聴者に提示することができるシステムを提供することにある。
【課題を解決するための手段】
【００１５】
この目的は、独立請求項に定義されているような本発明により達成される。
【００１６】
本発明の第１の実施例においては、ビデオ信号のソースセットに対して利用可能なメタデータに基づいて、ビデオ信号のソースセットからビデオ信号のサブセットを定義する方法を提供しており、メタデータは、総称をビデオ信号のソースセットのオーディオチャンネルのサブセクションに、各サブユニットの発生源を分類するクラス記述をサブセクションの１つ以上のサブユニットに、カテゴリー割当てをサブセクションの１つ以上の分類サブユニットのストリングにより形成されるセグメントに、セグメントのカテゴリー割当ての信頼度を評価する評価値をセグメントに割り当てる。このビデオ信号のサブセットを定義する方法は、所定の閾値を超える評価値を有するサブセクションのセグメントを選択するステップと、優先順位の値を各カテゴリーに割り当てるステップと、各セグメントに関連する各優先順位及び評価値に基づく順序によって選択されたセグメントの配列を定義することにより、ビデオ信号の第１のサブセットを定めるステップとを有する。
【００１７】
本発明の第２の実施例においては、ビデオ信号のソースセットに対して利用可能なメタデータに基づいて、ビデオ信号のソースセットからビデオ信号のサブセットを定義する自動番組要約装置を提供しており、メタデータは、総称をビデオ信号のソースセットのオーディオチャンネルのサブセクションに、各サブユニットの発生源を分類するクラス記述をサブセクションの１つ以上のサブユニットに、カテゴリー割当てをサブセクションの１つ以上の分類サブユニットのストリングにより形成されるセグメントに、セグメントのカテゴリー割当ての信頼度を評価する評価値をセグメントに割り当てる。この自動番組要約装置は、ビデオ信号のソースセットから個々のセグメントを選択する選択手段と、選択されたセグメントに関するメタデータを読み取るメタデータ読取り手段と、優先順位の値を各カテゴリーに割り当てる優先順位割当て手段と、セグメントの評価値を閾値に対して評価することにより、選択されたセグメントをビデオ信号のサブセットに加えるかを判定する判定手段と、ビデオ信号のサブセットに加えることが決定されたセグメントを配列する順序を定め、これにより、順序は、各セグメントに関する優先順位及び評価値に基づくものにするランキング手段と、ビデオ信号のサブセットに加えることが決定されたセグメントを、ランキング手段により設定された順序に従って配列する配列手段とを含む。
【００１８】
本発明は、更に、本発明に係るビデオ信号のサブセットの定義方法を実行することができる、本発明に係る自動番組要約装置のデータ処理手段による処理に好適な一連の状態要素からなるソフトウェア製品により実施される。
【発明の効果】
【００１９】
本発明の効果は、イベントのカテゴリーの識別時の信頼度と、本発明が番組の重要なイベントの概要だけを行うようにイベントのそれぞれのカテゴリーに割り当てられた優先順位とに基づき、キーイベント検出器により検出されたイベントからの選択を定義することを可能にしたことにある。
【００２０】
本発明の更なる効果については、従属請求項に示されている。
【００２１】
番組の最も重要なイベントが好ましくは最初に提示される。この点に関して、ビデオ信号の第１のサブセット内のセグメントの配列が、セグメントの各カテゴリーに関連する優先順位の値の順序により定められる。任意の優先順位のカテゴリー内では、セグメントの配列は、発生順により、又は、各セグメントに割り当てられた優先順位の値に従って行われる。
【００２２】
あるいはまた、イベントの重要度は、セグメントが属するカテゴリーの優先順位の値によっては基本的には定義することができないが、しかし、各セグメントについて個別に定義された重要度の値により定義することはできる。その場合、重要度の値は、セグメントに割り当てられた評価値をセグメントのカテゴリーに関連する優先順位の値で重み付けるることにより形成される。割り当てられた重要度に応じたイベントの提示を実現するために、ビデオ信号の第１のサブセット内のセグメントの配列は重要度の順序により定められる。
【００２３】
番組のコンテンツを短時間で概観するために、概要は好ましくは一定の期間に制限される。設定された制限時間に応じて、限定的に選択された重要なイベントを提示することができる。これは、好ましくは、高い信頼度で識別することができるイベントだけを選択することにより実現される。したがって、ビデオ信号の第１のサブセットの全長について定められた制限時間との関連で閾値が再定義されるのが効果的である。
【００２４】
要求に応じて視聴者から供給される応答マークに従って、ビデオ信号の第２のサブセットをビデオ信号の第１のサブセットから形成することにより、ビデオの第１のサブセット内に収集されたイベントの概要を視聴者の要求に応じて制限できることが効果的である。本発明の好ましい実施例においては、将来の番組の概要を視聴者の嗜好の変化に適応させるために、優先順位の値は１つ以上の応答マークに基づき再計算される。視聴者の嗜好は、好ましくは、特定の視聴者から供給される応答マークに基づき形成される視聴者プロファイルにより記録される。これにより、各視聴者の個々の好みを反映した視聴者固有番組概要を生成することが可能になる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施例を図面を参照して詳細に説明する。
【００２６】
図１に示すように、番組提案エンジン１０は、典型的には、本発明に係る自動番組要約装置（automatic programme summary system）１２を備え、自動番組要約装置１２は、ビデオデータから番組提案エンジン１０で利用できる概要（summary）を生成する。この概要は、視聴者に提示され、番組内で検出された最も興味深いイベントを視聴者に知らせることができる。番組提案エンジン１０は、更にキーイベント検出器１１を備え、キーイベント検出器１１は、概要を形成するイベントを自動番組要約装置１２に供給する。
【００２７】
キーイベント検出器１１は、図２及び図３を用いて後述するように、ビデオ信号１３のソースセット内の興味深い特定のイベントを識別して分類する。ビデオ信号１３は、テレビジョン放送局、ＤＶＤ又はハードディスク等の記録媒体によって、又は他の種類の記録媒体、例えばＶＣＲ用ビデオテープによって供給される。ビデオ信号１３は、それらの元の発生源に応じて、アナログ信号又はデジタル信号として供給される。ビデオ信号は、音声、オーディオ、テキスト、物体の形状及び動きを定義するカラーパターンを含む多面的な情報のキャリアである。それぞれの多面的な情報は、通常、ビデオ信号のコンテンツと呼ばれる。コンテンツの具体例としては、長編映画、ドキュメンタリー、ニュースマガジン等がある。ビデオ信号に含まれるコンテンツの構造に関する情報は、ビデオ信号自体から、あるいは外部の特別なチャンネル又はデータファイルから得ることができる。この構造情報は、典型的にはメタデータと呼ばれる。メタデータの最も一般的な用途は、特定の種類の番組、例えばサッカーの試合の開始及び終了を示すものである。詳細な情報、例えばビデオ信号のコンテンツを形成している番組のジャンル等も、特にビデオ信号がデジタルビデオデータの形式であるときには、メタデータとして記録することができる。
【００２８】
本発明は、ビデオ信号のセットのコンテンツを形成する番組内の重要なイベントを検出して分類するキーイベント検出器１１に依存している。番組の受取り方は極めて主観的であり、したがって視聴者毎に異なるため、「面白い（interesting）」として何を定義するかの基準は存在しないので、どの番組を興味深いものと考えなければならないかを定める判定基準は、視聴者固有ファイル内に利用可能な状態で保たれている。それぞれのファイルでは、例えば第１の視聴者に対して、第１の優先順位をサッカーの国際試合に割り当て、第２の優先順位を空想科学連続テレビジョンドラマ（science fiction television soaps）に割り当てる等、一方、別の視聴者に対しては、第１の優先順位をニュースマガジンに割り当て、第２の優先順位を武道映画に割り当てることができる。特定の視聴者の関心は、あるジャンルの番組に集中するだけではなく、そのジャンルの番組内の特定のイベントに集中することも多い。このようなイベントとしては、サッカーの試合の場合、例えばゴール、ペナルティ、ファウル、レッドカード又はイエローカード等が考えられる。これらのイベントは、キーイベント検出器１１によって番組のビデオ信号から検出される。キーイベントは、図２に示すように、代表的にはビデオ信号の音声チャンネルに基づいて検出される。ビデオ信号１３は、画像信号１４と音声信号１５とに分割される。キーイベント検出１６は、音声信号１５を調べ、特定の視聴者に興味のあるビデオ信号１３のコンテンツを形成している番組内のそれらのイベントを検出する。キーイベント検出１６は、ビデオ信号１３に対するメタデータを生成し、イベント登録１７を含むビデオ信号が得られる。
【００２９】
図３を用いて、キーイベント検出をより詳細に説明する。ＴＶ又はビデオ信号の音声ストリーム２０は、最初に、例えば図３に示すように、サブユニット２１ａ〜２１ｋ等の一連のサブユニットに分割される。各サブユニット２１ａ〜２１ｋは、特定の元の音声信号と、元の信号及び先行又は後続のサブユニット内の音声信号の特性とは異なる特定の特性の音声信号を含んでいる。次に、既知の音声特性のサブユニットは、それぞれのサブユニット内に存在する音声特性に応じて検出される１つのクラス（図３の具体例においては、クラスｃ１〜ｃ７の１つ）を各サブユニット割り当てることにより、分類される。例えば、例えば音声がないことは無音又は騒音と解釈できる等、特性は異なる観点から異なる解釈をすることができるので、時には、１つのサブユニットに１つ以上のクラスを割り当てることもできる。番組内のイベントは、イベントが属するカテゴリーでは一般的な一連のクラスにより識別される。したがって、次の処理において、音声ストリームについて、例えばサッカーの試合のゴール又は長編映画のロマンチックな場面等の特定のイベントカテゴリーに関連付けることのできるクラスの連続又はストリングがそれぞれ検索される。一般的にはカテゴリーの定義に設定された枠組み（scheme）に厳密に従うイベントは存在しないので、クラスのストリングのある種の変動（variations）は、許容しなければならない。実際的には、カテゴリーを定義するクラスのストリングと、音声ストリーム内で実際に検出されるクラスのストリングとの不一致が、ある値を超えない限り、音声ストリーム内で実際に検出されたクラスのストリングは、やはりそれぞれのカテゴリーに属するものとしてと検出される。しかしながら、評価には一定の不確実性を伴うことになる。
【００３０】
所定のイベントを識別するために、クラスのそれぞれのストリングは、音声ストリーム内で識別され、図３に対応して示す処理された音声ストリーム２３のように、セグメントに組み合わされる。次に、各セグメントには、処理された音声ストリーム２４に示すように、各セグメントによって表されるイベントの種類を識別するカテゴリーが割り当てられる。セグメントにイベントカテゴリーを割り当てる際の確実性は、図３に示す処理された音声ストリーム２５のように、評価値によって表される所謂信頼度尺度（confidence measure）により計算される。
【００３１】
本発明では、興味深いイベントを含むレジメ（confidence measure）を視聴者に提供するキーイベントのこのようにして識別されたセグメントから、概要を形成する。図４は、本発明に係る方法の基本的な処理を示すフローチャート４０である。ステップＳ００において、キーイベント検出器１１は、セグメントを分類及び評価し、ステップＳ０１において、各セグメントの評価値を所定の閾値と比較する。閾値は、上述の視聴者固有ファイルから得られ、このファイルは、視聴者の嗜好に関連するデータを含み、以下では視聴者プロファイルと呼ぶ。視聴者が確実に近い信頼度得点（confidence score）を有するイベントだけにしか興味がない場合は、閾値は、明白なイベント識別、すなわち略絶対的に確実であるイベント分類に対して定義された評価値に近くなる。視聴者が、特定のカテゴリーのイベントに関連している可能性があるだけにすぎない全てのイベントに興味がある場合は、閾値は、高い不確実性を表す評価値に近づく。
【００３２】
ステップＳ０１の結果として、セグメントのサブセットが、高い評価値から低い評価値を有する全てのセグメントを含む音声ストリームから、定義される。次に、ステップＳ０２において、その一部がサブセットのセグメントの少なくとも１つに既に割り当てられている各カテゴリーに、優先順位の値を割り当てる。次のステップＳ０３において、更に、サブセットを、例えば視聴者プロファイル内に決定されているように設定された判定基準を満たす優先順位及び評価値を有するセグメントだけに限定する。設定された判定基準は、例えば最高の優先順位の値を有する２つのカテゴリーのセグメントだけしか定義することができず、例えば、各カテゴリー内においては、最高の評価値を有する３つのセグメントだけがサブセット内に残る。最後に、ステップＳ０４において、選択されたセグメント、すなわち上述の定義されたサブセット内に残っているセグメントの配列を優先順位及び評価値に基づいた順序で定義することにより、ビデオ信号のサブセットを定義する。配列は、選択されたセグメントを定義された順序で含むビデオ信号のサブセットを生成することにより行うことができるが、選択されたセグメントの配列及び視聴者への提示の順序を定義するメタデータの形で行うこともできる。
【００３３】
なお、１つ以上の閾値を用い、図４のフローチャート４０で説明した方法に基づいてセグメントを選択することもできる。特に、個々の閾値を各イベントカテゴリー又はカテゴリーに割り当てられた各優先順位について定義することもできる。したがって、高い優先順位を有するイベントのカテゴリーについて、各カテゴリーに属すると識別された確実性のより低いセグメントをサブセットの選択に加えることができるが、一方、優先順位の値がより低いカテゴリーについては、高い信頼度得点、すなわち低い不確実性に対応する評価値を有するセグメントだけがビデオ信号のサブセットの一部となる。
【００３４】
本発明の更なる実施例における、ビデオ信号のソースセットによって表される番組の概要を示すビデオ信号のサブセットを生成する方法では、視聴者の入力に基づくセグメントの選択を採用している。図５は、その方法の基本的な処理を示すフローチャート５０である。ステップＳ１０において、視聴者によって概要が要求され、ステップＳ１１において、上述の方法に基づいて配列されたビデオ信号のサブセットを視聴者に直接提示するのかを判定し、ステップＳ１２において、視聴者の新たな入力要求に基づいて変更するかを判定する。判定は、代表的には、視聴者からの直接の要求に基づいて行われ、視聴者から指示がない場合には、処理はステップＳ１４ｂに進み、以前に定義された概要の全てのセグメントを選択し、ステップＳ１５において、視聴者に提示する。ステップＳ１２において、視聴者は、制限時間を設定することにより概要を変更することができ、あるいは、視聴者は、イベントの短縮レジメを提示するよう求めることにより概要を変更した後、ステップＳ１３ａにおいて、視聴者が場面を詳細に見たいのかを判定する。ステップＳ１４において、視聴者は、本当に「興味のある」セグメントを選択する基準を形成する応答マーク（response mark）を返すことにより応答し、ステップＳ１５において、視聴者に提示する。否定的応答マークが返されたセグメント又はイベントはそれぞれ概要から除外され、一方、肯定的応答マークが返されたイベントは概要に残る。ステップＳ１３ａにおいて得られた応答マークは、更に視聴者プロファイルを更新するために使用され、視聴者の嗜好の起こりうる変化を反映する。具体的には、ステップＳ１６において、優先順位及び閾値を、得られた応答マークに基づいて再計算し、ステップＳ１７において、再計算した値を視聴者プロファイルに更新する。
【００３５】
視聴者がステップＳ１２において概要に対して制限時間を設定したときは、ステップＳ１３において、ステップＳ０３に基づくセグメントの優先順位及び評価値を評価する新しい判定基準を、設定された実際の制限時間に基づいて設定する。ステップＳ１４において、元の概要を表すビデオ信号の所定のサブセットから、優先順位及び評価値に関する新しい判定基準を満たすセグメントだけを選択し、ステップＳ１５において、最終的に視聴者に提示する。
【００３６】
典型的には、ビデオ信号のサブセット内の選択されたセグメントは、セグメントのカテゴリーに割り当てられた優先順位の値の順序によって配列される。高い優先順位の値を有するセグメントは、より低い優先順位の値を有するセグメントの前に配列される。特定のカテゴリー内では、セグメントは、好ましくは、イベントの流れを反映するように、発生順に配列される。時には、視聴者は、イベントをその発生順に見ることに関心を示さず、、少なくとも提示された最初のセグメントがカテゴリーに正しく割り当てらることが確実であることを希望する。この場合、カテゴリー内のセグメントは、高い確実性に関連した評価値を有するセグメントが最初に来るように、各セグメントに割り当てられた評価値の順序によって配列される。
【００３７】
異なる方法においては、概要内のセグメントの配列を重要度（importance）の順序によって決め、セグメントによって表されるイベントを視聴者に提示する。重要度の意味は、視聴者毎に異なるので、個々の視聴者毎に、その個人プロファイルにおいて得られるデータから個別に評価しなければならない。視聴者の興味は、異なるカテゴリーのイベントに割り当てられた優先順位の値に最も反映される。視聴者が、自分のお気に入りのカテゴリーのイベント、例えばサッカーの試合におけるファウルプレー及びゴール等に少しでも関係している全てのイベントを見る方を好むとすると、たとえお気に入りのカテゴリーが高い不確実性で識別されたとしても、概要は、お気に入りのカテゴリーに属すると識別された全てのセグメントを視聴者に提示する。優先順位がより低いカテゴリーからは、確実性が高いと識別されたイベントだけが、概要に加えられる。このように、重要度の値は、セグメントに関連する優先順位の値を、そのセグメントに割り当てられた評価値で重み付けすることにより定義される。重要度の値が最低であるセグメントだけが、すなわち、上述した重要度の基準を満たすイベントを表すセグメントだけが概要に加えられる。概要を配列する番組がサッカーの試合であり、視聴者がゴールに属するイベントのカテゴリーに最高の優先順位を与え、ファウルに属するイベントのカテゴリーに次に高い優先順位を与えるとすると、自動番組要約装置は、より高い重要度をファウルプレーよりもゴールに割り当てることになる。したがって、概要を定義する際に、視聴者プロファイルが、視聴者が特にゴールに対しては関心があるが、ファウルプレーに対してはそれほどでもないことを示しているので、信頼度得点がわずか０．７であるゴールの場面が概要に加えられるが、例えば信頼度得点が０．８であるファウルの場面は概要から外される。
【００３８】
図６は、上述した番組概要を定義する方法を実行する自動番組要約装置６０の構成を示すブロック図である。キーイベント検出器１１からのビデオ信号は、自動番組要約装置６０のビデオ信号入力ポート６１に供給される。ビデオ信号は、キーイベント検出器１１の前処理により、それぞれが特定の種類又はジャンルに対応したサブセクションにセグメント分割されている。自動番組要約装置６０は、供給されたビデオ信号又はビデオデータに基づいて、各番組の概要を提供する。ここで、用語「ビデオ信号」又は「ビデオデータ」は、ビデオコンテンツに関する構造的情報を含むメタデータを含んでいる。特に、キーイベント検出器１１から供給されるメータデータによって、上述したように、ビデオデータ又は信号ストリーム内のクラスのストリングの形式でセグメントを識別することができる。ビデオ信号入力ポート６１からのビデオ信号は選択手段６２及びメタデータ読取り手段６３に供給される。選択手段６２は、メタデータ読取り手段６３から供給される情報に基づいて、ビデオ信号入力ポート６１から供給されるビデオ信号のソースセットのサブセクションから、興味のある個々のセグメントを選択する。優先順位割当て手段６４は、視聴者プロファイルから得られる情報に基づいて、メタデータ読取り手段６３によりビデオ信号内で検出された各カテゴリーに優先順位の値を割り当てる。判定手段６５には、選択手段６２から供給される個々のセグメントに対して、メタデータ読取り手段６３からランキング値が供給され、優先順位割当て手段６４から優先順位の値が供給される。判定手段６５は、視聴者プロファイルから得られる閾値に基づいて、セグメントの分類が、閾値により定義される確実性で評価されたかを判定する。また、判定手段６５は、優先順位の値が、セグメントを番組の概要を形成するビデオ信号のサブセットに加えるのに十分な高い値を有するかをチェックする。ランキング手段６６は、ビデオ信号のサブセット内にセグメントを配列する順序を定め、それにより、順序は、サブセットの個々のセグメントに関連する優先順位及び評価値に基づいたものとなる。順序が設定された後、配列手段６７は、セグメントを設定された順序に基づいて配列し、後続の処理のために、その配列を自動番組要約装置６０の出力ポート６８に供給する。
【００３９】
ランキング手段６６によって定められた順序は、通常は各セグメントのカテゴリーに関連した優先順位の値によって決まり、所定のカテゴリー内では発生順が維持される。発生順の代わりに、カテゴリー内の順序を、上述のように、個々のセグメントに割り当てられた評価値により定めることもできる。また、カテゴリー内の順序は、上述した方法に従って評価された重要度の値に基づいて定めることもできる。
【００４０】
重要度の値は、計算手段７１によって算出され、この算出手段７１は、自動番組要約装置６０の他の手段、例えば判定手段６５等に必要とされる計算も行う。図７においては、計算手段７１は、拡張自動番組要約装置６０’のサブユニットとして示されてており、上述した自動番組要約装置６０に対しては別のサブユニットである。なお、動作の大部分は基本的な自動番組要約装置６０によって行われるので、計算手段７０をその不可分の一部とすることもできる。図７に示すように、拡張自動番組要約装置６０’は、ユーザ−マシンインタフェース７２を備え、ユーザ−マシンインタフェース７２は、例えば応答マーク又は概要の制限時間の設定等の命令を視聴者に要求し、又は視聴者から受ける。制限手段７３は、視聴者の入力に基づいて、視聴者の要望に関する概要のために供給されるセグメントを適応する。この点に関して、制限手段７３は、ユーザ−マシンインタフェースを介して視聴者から供給されるそれぞれの入力に基づき再計算された特定の視聴者に対するプロファイリング手段７４から供給される優先順位及び閾値を有しており、それに応じてプロファイリング手段７４内の視聴者プロファイルを更新する。そして、ビデオ信号のサブセットから、優先順位及び閾値の新しい値を満たすそれらのセグメントだけを、最終的な概要のために選択する。
【００４１】
自動番組要約装置６０、６０’等の本発明に係る自動番組要約装置は、典型的には、図８に示すようなデータ処理装置によって実現される。この点に関して、自動番組要約装置６０、６０’は、上述した本発明に係るビデオ信号のサブセットの定義方法の必要な全てのステップを定義したソフトウェア製品のコマンドによって定義される動作を実行するデータ処理手段からなる。データ処理手段６０、６０’は、概要を生成するために必要とされる全てのデータを記憶する記憶手段８１を備える。このデータは、概要のセグメントの配列を定義するデータを含むことができるが、概要自体の完全なビデオデータを含むこともできる。ユーザインタフェース８２は、ユーザ−マシンインタフェース７２と通信して、視聴者の要求及び応答用のＩ／Ｏポートとして機能する。概要を生成又は定義するために処理されるビデオ信号は、ビデオ信号インタフェース８３から供給される。
【００４２】
本発明は、キーイベント検出器の結果及び特定の視聴者の嗜好を反映するデータを使用することにより、例えば、あるジャンルのＴＶ番組又はビデオ録画のような、番組の概要を表すビデオ信号のサブセットを自動的に定義及び／又は生成することを可能にする点が効果的である。視聴者からの変更要求に従って視聴者の嗜好を再評価することにより、視聴者の嗜好の変化に配慮することができる。
【図面の簡単な説明】
【００４３】
【図１】本発明に係る自動番組要約装置を備えた番組提案エンジンの構成を示すブロック図である。
【図２】図１の番組提案エンジンを構成するキーイベント検出器におけるビデオ信号の処理を示す図である。
【図３】キーイベント検出器によって実行される音声ストリームのセグメント分割及び音声ストリームのセグメントへのメタデータの割当てを示す図である。
【図４】本発明に係るビデオ信号のサブセットの定義方法の基本的な処理を示すフローチャートである。
【図５】本発明の特別な実施例の基本的な処理を示すフローチャートである。
【図６】本発明に係る自動番組要約装置の実施例の構成を示すブロック図である。
【図７】本発明に係る自動番組要約装置の他の実施例の構成を示すブロック図である。
【図８】本発明に係る自動番組要約装置の実施例の構成を示すブロック図である。
【符号の説明】
【００４４】
１０  番組提案エンジン、１１  キーイベント検出器、１２  自動番組要約装置、１３  ビデオ信号、１４  画像信号、１５  音声信号、１６  キーイベント検出、１７  イベント登録、２０  音声ストリーム、２１  サブユニット、２３  対応する処理された音声ストリーム、２４  処理された音声ストリーム、２５  処理された音声ストリーム、４０  フローチャート、５０  フローチャート、６０  基本自動番組要約装置、６０’  拡張自動番組要約装置、６１  ビデオ信号入力ポート、６２  選択手段、６３  メタデータ読取り手段、６４  優先順位割当て手段、６５  判定手段、６６  ランキング手段、６７  配列手段、６８  出力ポート、７１  計算手段、７２  ユーザ−マシンインタフェース、７３  制限手段、７４  プロファイリング手段、８１  記憶手段、８２  ユーザインタフェース、８３  ビデオ信号インタフェース
【図１】
2005192196.tif 000003
【図２】
2005192196.tif 000004
【図３】
2005192196.tif 000005
【図４】
2005192196.tif 000006
【図５】
2005192196.tif 000007
【図６】
2005192196.tif 000008
【図７】
2005192196.tif 000009
【図８】
2005192196.tif 000010
【外国語明細書】
2005192196.tif 000011
2005192196.tif 000012
2005192196.tif 000013
2005192196.tif 000014
2005192196.tif 000015
2005192196.tif 000016
2005192196.tif 000017
2005192196.tif 000018
2005192196.tif 000019
2005192196.tif 000020
2005192196.tif 000021
2005192196.tif 000022
2005192196.tif 000023
2005192196.tif 000024
2005192196.tif 000025
2005192196.tif 000026
2005192196.tif 000027
2005192196.tif 000028
2005192196.tif 000029
【図１】
2005192196.tif 000030
【図２】
2005192196.tif 000031
【図３】
2005192196.tif 000032
【図４】
2005192196.tif 000033
【図５】
2005192196.tif 000034
【図６】
2005192196.tif 000035
【図７】
2005192196.tif 000036
【図８】
2005192196.tif 000037