(57)【要約】個人プロファイルのコンテンツ増加を実行するための方法、システム及び装置は、（ａ）関連テレビプログラムの複数の増加したコンテンツ情報のユーザ履歴を構築する段階と、（ｂ）ユーザの質問を解析し、前記ユーザが付加コンテンツ情報について質問した程度を決定する段階と、（ｃ）付加コンテンツ情報を増加させるために、前記付加コンテンツ情報についての前記ユーザの質問から前記ユーザについての値を推測する段階と、（ｄ）前記ユーザ履歴、インターネット及び測定のデータベースの少なくとも１つに対して前記の増加したコンテンツ情報を更新する段階と、（ｅ）前記の複数の増加したコンテンツ情報の個々のコンテンツ情報を互いにリンクさせる段階と、（ｆ）前記の複数の増加したコンテンツ情報の前記リンクに基づいて、前記ユーザの興味及び嗜好に関する推論を決定する段階と、を有する。増加したコンテンツ情報の更新は、マルチメディアコンテンツのセグメント化及びインデックス化を有する。
2005529425.tif 000002
【特許請求の範囲】
【請求項１】
個人プロファイルのコンテンツ増加を実行するための方法であって：
（ａ）関連テレビプログラムの複数の増加したコンテンツ情報のユーザ履歴を構築する段階；
（ｂ）ユーザの質問を解析し、前記ユーザが付加コンテンツ情報について質問した程度を決定する段階；
（ｃ）付加コンテンツ情報を増加させるために、前記付加コンテンツ情報についての前記ユーザの質問から前記ユーザについての値を推測する段階；
（ｄ）前記ユーザ履歴、インターネット及び測定のデータベースの少なくとも１つに対して前記の増加したコンテンツ情報を更新する段階；
（ｅ）前記の複数の増加したコンテンツ情報の個々のコンテンツ情報を互いにリンクさせる段階；並びに
（ｆ）前記の複数の増加したコンテンツ情報の前記リンクに基づいて、前記ユーザの興味及び嗜好に関する推論を決定する段階；
を有することを特徴とする方法。
【請求項２】
請求項１に記載の方法であって：
（ｇ）段階（ｆ）からユーザの興味及び嗜好に関する決定と共に、段階（ａ）における前記ユーザ履歴を更新することによりフィードバックシステムを生成する段階；
を更に有することを特徴とする方法。
【請求項３】
請求項１に記載の方法であって、段階（ｄ）における前記の増加したコンテンツ情報の
前記更新は、前記の複数の増加したコンテンツ情報のセグメント化及びインデックス化を有し、前記セグメント化及びインデックス化はマルチメディアにおいて実行される、ことを特徴とする方法。
【請求項４】
請求項３に記載の方法であって、前記の増加したコンテンツ情報を用いて段階（ｄ）において更新された前記のインターネット及び特定のデータベースの一との通信に関係するプッシュモードにおいて前記ユーザに指示する段階を更に有する、ことを特徴とする方法。
【請求項５】
請求項３に記載の方法であって、増加したコンテンツ情報を有する段階（ｄ）において更新された前記インターネット及び特定のデータベースの前記一に関連した購買アイテムに対してプッシュモードにおいて前記ユーザに指示する段階を更に有する、ことを特徴とする方法。
【請求項６】
請求項１に記載の方法であって、前記ユーザが付加コンテンツ情報について質問した程度を決定する前記段階は、第１の特定の主題及び第２の特定の主題の各々に対する多くの表層的な質問を考慮することにより、前記第２の特定の主題に関連して前記第１の特定の主題についての表層的な質問を分類する手順を有する、ことを特徴とする方法。
【請求項７】
請求項１に記載の方法であって、段階（ｂ）において前記ユーザが付加コンテンツ情報について質問した程度を決定する段階は、特定のユーザの質問に割り当てられた深度の値と特定のユーザの質問の所定の補正とに基づいて、前記質問の前記深度を決定する手順を有する、ことを特徴とする方法。
【請求項８】
請求項１に記載の方法であって、推論された値は、興味、知識、倹約、数量、ファッション、虚偽表示を有する群から選択された少なくとも１つのユーザ特性の指定を有する、ことを特徴とする方法。
【請求項９】
請求項６に記載の方法であって、前記マルチメディアの前記セグメント化及びインデックス化は：
（ｉ）低レベル、中レベル及び高レベルの特徴を決定することにより、映像ストリーム、音声ストリーム及び転写ストリームの少なくとも１つからの自動的特徴抽出；並びに
（ｉｉ）１つ以上のサイレンス、雑音、発話、音楽、発話プラス雑音、発話プラス発話、発話プラス音楽を有する所定のカテゴリに対応する自動的音声分類；
を有する、ことを特徴とする方法。
【請求項１０】
請求項９に記載の方法であって、前記低レベル特徴はピクセルベースの色、形状及びエッジ条件を有し、前記中レベル特徴はキーフレーム、顔、及び音声特徴を有する映像テキストを有し、高レベル特徴はトピックスに従って分類される、ことを特徴とする方法。
【請求項１１】
請求項３に記載の方法であって、前記セグメント化及びインデックス化は、音響特徴と、スペクトル特徴と、時間特徴と、を抽出するために、ケプストラルベースの特徴、周波数領域演算及び時間領域演算を組み合わせることにより実行される、ことを特徴とする方法。
【請求項１２】
コンテンツ増加システムであって：
プロセッサ；
視聴者の視聴履歴及び質問履歴を有するコンテンツ情報を記憶するための手段であって、前記プロセッサと通信する状態にあって記憶するための、手段；
視聴者が付加コンテンツ情報について質問した程度を解析するための手段；
増加したコンテンツ情報を提供するために視聴者により視聴されたマルチメディアコンテンツをセグメント化及びインデックス化するための手段；
前記増加したコンテンツ情報を記憶するための手段；
互いにリンクされた、関連した増加したコンテンツ情報と視聴者とを識別する視聴者プロファイル；並びに
前記視聴者プロファイルと特定のデータベース及びインターネットの一とをリンクさせるため、及び、視聴者により特定のデータベース及びインターネットの視聴に関する前記の特定のデータベース及びインターネットからの情報を用いて視聴者プロファイルを更新するための手段；
を有することを特徴とするコンテンツ増加システム。
【請求項１３】
請求項１２に記載のシステムであって、マルチメディアコンテンツをセグメント化及びインデックス化するための手段はケプストラルベースの特徴を用いる、ことを特徴とするシステム。
【請求項１４】
請求項１３に記載のシステムであって、ケプストラルベースの特徴はＭＦＣＣ及びＬＰＣを有する、ことを特徴とするシステム。
【請求項１５】
請求項１２に記載のシステムであって、セグメント化及びインデックス化するための手段は、音響特徴、時間特徴及びスペクトル特徴を抽出するために、ケプストラルベースの特徴、周波数領域演算及び時間領域演算の組み合わせを有する、ことを特徴とするシステム。
【請求項１６】
請求項１３に記載のシステムであって、前記の特定のデータベース及びインターネットの一との通信に関係するプッシュモードにおいて視聴者に指示するための手段を更に有する、ことを特徴とするシステム。
【請求項１７】
請求項１３に記載のシステムであって、前記セグメント化及びインデックス化と明示的な視聴者の嗜好と結合させるための手段を更に有する、ことを特徴とするシステム。
【請求項１８】
請求項１３に記載のシステムであって、前記の解析するための手段は、前記付加コンテンツ情報が質問された程度と視聴者により質問された前記付加コンテンツ情報に関連した定量的な値とを有する視聴者プロファイルを更新するための手段を有する、ことを特徴とするシステム。
【請求項１９】
コンテンツ増加装置であって：
プロセッサ；
視聴者の視聴履歴と質問履歴とを有するコンテンツ情報を記憶するための第１記憶領域であって、前記プロセッサと通信する状態にあって記憶するための、手段；
視聴者が付加コンテンツ情報について質問した程度を解析するための手段；
増加したコンテンツ情報を提供するために視聴者により視聴されたマルチメディアコンテンツをセグメント化及びインデックス化するための手段；
前記増加したコンテンツ情報を記憶するための第２記憶領域；
互いにリンクされた、関連した増加したコンテンツ情報と視聴者とを識別する視聴者プロファイル；並びに
前記視聴者プロファイルと特定のデータベース及びインターネットの一とをリンクさせるため、及び、視聴者により特定のデータベース及びインターネットの視聴に関する前記の特定のデータベース及びインターネットからの情報を用いて視聴者プロファイルを更新するための手段；
を有することを特徴とするコンテンツ増加システム。
【請求項２０】
請求項１９に記載の装置であって、マルチメディアコンテンツをセグメント化及びインデックス化するための手段はケプストラルベースの特徴を用いる、ことを特徴とする装置。
【請求項２１】
請求項１９に記載の装置であって、ケプストラルベースの特徴はＭＦＣＣ及びＬＰＣを有する、ことを特徴とする装置。
【請求項２２】
請求項１９に記載の装置であって、セグメント化及びインデックス化するための手段は、音響特徴、時間特徴及びスペクトル特徴を抽出するために、ケプストラルベースの特徴、周波数領域演算及び時間領域演算の組み合わせを有する、ことを特徴とする装置。
【請求項２３】
請求項２０に記載の装置であって、前記の特定のデータベース及びインターネットの一との通信に関係するプッシュモードにおいて視聴者に指示するための手段を更に有する、ことを特徴とする装置。
【請求項２４】
請求項１９に記載の装置であって、前記セグメント化及びインデックス化と明示的な視聴者の嗜好と結合させるための手段を更に有する、ことを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、個人のテレビ嗜好プロファイルを生成、更新及び変換するために用いられるシステムに関する。特に、本発明は、コンテンツ増加システムに関する。
【背景技術】
【０００２】
先行技術において、個人のデジタルレコーダシステムに関連したＴｉＶｏ（登録商標）のような個人プロファイル技術システムが知られている。そのような先行技術のシステムにおいて、ユーザは、システムが全体的なテレビプログラムを記録し且つ将来のプログラムを推奨するように、プログラム嗜好を明示的に入力する必要がある。そのような技術は、先行技術において、個人のデジタルレコーダにおいて用いられる“プル（ｐｕｌｌ）”技術と称されている。そのようなプル技術は、ユーザにより提供される又はシステムによりユーザに対して可及的に指示される入力に限定されている。又、何がユーザに特定のプログラムを好まれるようにするか又は好まれないようにするかに関する多くの異なるニュアンスが存在するために、前に入力された個人の嗜好に基づいて、特定のプログラムをユーザがどの程度好むか又は好まないかを誤りなく知ること、又、ユーザの好き嫌いの程度を定量的に予測することができるか影響を及ぼすことは困難である。
【０００３】
例えば、１つの問題は、個人が“西部劇”映画を鑑賞することを好む個人嗜好を表す場合、その個人は特定の男優又は女優、又は明示的なユーザの入力のみを用いるシステムによっては西部劇と認識されない可能性がある特定の映画のストーリーラインを好まない可能性があることである。更に、プログラムが数分乃至数時間のどの時間部分かで放送されているとき、プル技術により生成された個人プロファイルに基づいて、プログラムにおけるどの部分が好まれるか又は好まれないかを確認することは困難である。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従って、本発明の目的は、テレビの個人プロファイルを生成、更新及び変更するためのコンテンツ増加を提供することである。そのコンテンツ増加は、関連コンテンツ情報である特定のテレビプログラムデータに対応する。
【課題を解決するための手段】
【０００５】
本発明に従って、プッシュ技術（プッシュ技術はデータが自動的に送信されることを可能にする）及びプル技術の両方が、実際の視覚化パターンに基づいて、間接的な嗜好を確認するために用いられる。本発明は、ユーザが好むプログラムのみを鑑賞するようにはしないが、好みのテレビプログラムに関連した特定のマルチメディアコンテンツをブラウズするようにし、テレビベースの商取引及びインターネットベースの商取引に導かれるようにし、プッシュ及びプルモードにより対話するようにする。
【０００６】
本発明の第１特徴において、個人プロファイルのコンテンツ増加を実行するプロセスは次のような段階、即ち
（ａ）関連テレビプログラムのコンテンツ情報に索引を付けるために増加コンテンツのユーザ履歴を構築する段階；
（ｂ）ユーザの質問を解析し、更なる情報であって、例えば、質問の品質が向上し及び質問の数が増加する他の主題に関連する１つの特定の主題に対する表層的な質問、をユーザが要求する深度を決定する段階；
（ｃ）例えば、興味、知識、倹約、数量、ファッション、虚偽表示等のような更なる情報についてのユーザの要求から値を推測する段階；及び
（ｄ）インターネット及び特定のデータベースに増加コンテンツ情報を関連付ける段階；
（ｅ）増加コンテンツを増加コンテンツ自体の間でリンクさせ、ユーザの興味及び嗜好に関して推論を導き出す段階；
を有する。このようにして、先行技術においては、従来、既知ではない、ユーザの応答を、完全なフィードバックシステムを生成するために用いることが可能である。
【０００７】
本発明の他の特徴においては、個人プロファイルのコンテンツ増加を実行するためのプロセスは、次のような段階、即ち
（ａ）関連テレビプログラムの複数の増加したコンテンツ情報のユーザ履歴を構築する段階；
（ｂ）ユーザの質問を解析し、ユーザが付加コンテンツ情報について質問した程度を決定する段階；
（ｃ）付加コンテンツ情報についてのユーザの質問からユーザについての値を推測する段階；
（ｄ）少なくとも１つのインターネット及び測定のデータベースに対して増加したコンテンツ情報を更新する段階；
（ｅ）複数の増加したコンテンツ情報の個々のコンテンツ情報を互いにリンクさせる段階；及び
（ｆ）複数の増加したコンテンツ情報のリンクに基づいて、ユーザの興味及び嗜好に関する推論を決定する段階；
を有する。
【０００８】
上記の方法は、次の段階、即ち、
（ｇ）段階（ｆ）からユーザの興味及び嗜好に関する決定と共に、段階（ａ）におけるユーザ履歴を更新することによりフィードバックシステムを生成する段階；
を更に有することが可能である。
【０００９】
上記方法においては、コンテンツ情報を更新する段階（ｄ）が複数の増加したコンテンツ情報のセグメント化及びインデックス化する手順を有することが可能である。
【００１０】
上記方法は、増加したコンテンツ情報を有する段階（ｄ）において更新されたインターネット及び特定のデータベースの１つとの通信に関係するプッシュモードにおいてユーザに指示する段階を有することが可能である。
【００１１】
上記方法は又、増加したコンテンツ情報を有する段階（ｄ）において前記の更新されたインターネット及び特定のデータベースの１つに関連した購買アイテムに対してプッシュモードにおいてユーザに指示する段階を有することが可能である。
【００１２】
従来は先行技術において既知ではなかったが、セグメント化及びインデックス化をマルチメディアにおいて実行することができる。
【００１３】
ユーザが付加コンテンツ情報に対して質問する程度を決定する段階は、第１の特定の主題及び第２の特定の主題の各々に対する多くの表層的な質問を考慮することにより、第２の特定の主題に関連して第１の特定の主題についての表層的な質問を分類する手順を有することが可能である。
【００１４】
更に、本発明の方法についての一実施形態において、ユーザが段階（ｂ）において付加コンテンツ情報について質問する程度を決定する段階は、特定のユーザの質問に割り当てられた深度の値と特定のユーザの質問の所定の補正とに基づいて、質問の深度を決定する手順を有することが可能である。
【００１５】
推論された値は、興味、知識、倹約、数量、ファッション、虚偽表示を有する群から選択された少なくとも１つのユーザ特性の指定を有する。
【００１６】
マルチメディアのセグメント化及びインデックス化は、次のような副段階、即ち
（ｉ）特徴抽出
（ｉｉ）ポーズ検出
（ｉｉｉ）自動セグメント化
（ｉｖ）自動音声分類化
を有することが可能である。
【００１７】
セグメント化及びインデックス化は、ケプストラルベースの特徴に基づいている。ケプストラルベースの特徴はＭＦＣＣ及びＬＰＣを有することが可能である。
【００１８】
代替として、セグメント化及びインデックス化は、音響特徴、時間特徴及びスペクトル特徴を抽出するために、ケプストラルベースの特徴、周波数領域演算及び時間領域演算の組み合わせに基づいている。
【発明を実施するための最良の形態】
【００１９】
図１は、本発明の第１の特徴を示すフロー図である。段階１０５において、増加したコンテンツのユーザ履歴が構築される。コマーシャルを有する増加したコンテンツは、関連したテレビプログラムコンテンツ情報をインデックス化するために用いられる。コンテンツ情報を決定することが可能である１つの方法は、字幕テキストを抽出することによることである。例えば、１９９９年１１月１７日に出願された、“Ｖｉｄｅｏ  Ｓｙｓｔｅｍ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  Ｓｙｍｂｏｌ  Ｉｓｏｌａｔｉｏｎ  Ｍｅｔｈｏｄ  ａｎｄ  Ｓｙｓｔｅｍ”と題された、同一出願人による、米国特許公開第０９／４４１／９３４号明細書に開示されている方法に従って、字幕テキストを抽出することにより、視聴者により視聴されているプログラムのタイトルを決定することが可能である。それ故、“Ｃｈｅｅｒｓ”に対する説明文が字幕テキストの状態で現れる場合、これは、プロファイルを構築するために識別され、記録されることができる。
【００２０】
ユーザ履歴を構築することができる他の方法は、利用可能なチャネルについてのリストを表示する電子プログラムガイド（ＥＰＧ）と視聴することができるプログラムと相互に関連があることによるものである。ケーブルテレビジョンシステム及び衛星放送テレビジョンシステムの両方に対して、プログラム全てのリストを表示するチャネルを専用化することは一般的である。しばしば、ＥＰＧは、チャネル、開始時間及び終了時間、タイトル、主役を演じる男優の名前を表示し、ストーリーラインの要約を含むことさえ可能である。視聴者が特定のチャネルを視聴しているとき、そのチャネル及び時間を、視聴されているショーを識別するために電子プログラムガイドにおける関連リストと共に用いることができる。
【００２１】
更に、ケーブルテレビジョンシステム及び／又は衛星システムがプログラムデータをフォーマットすることは珍しいことではないため、要求に応じて又は特定のスケジュールに従って、この情報を電話回線、光ファイバラインおよび有線又は無線ネットワークによりダウンロードすることができる。視聴者履歴を構築するため及びコンテンツの増加を提供するために用いられるシステムは、コンピュータ、テレビジョン内のコントローラ、セットトップボックスとすることができ、又は、通信ネットワークのサーバ及び／又はインターネットサーバとすることが可能である。ユーザ履歴は、ユーザの装置において又はネットワークのサーバによりローカルに、及び／又はケーブルテレビジョン会社、衛星テレビジョン会社において、及び／又はインターネットサービスプロバイダにおいて、構築されることができる。
【００２２】
特に、ケーブルテレビジョンボックス及び／又は衛星ボックスは、しばしば、アドレス可能であるため、視聴情報は定期的に更新されることができる。この方法におけるユーザ履歴の構築は、ユーザが明確にフィードバックを提供しない又は好き／嫌いを表さないという点で、間接的である。このようにして、段階１０５において構築された履歴はプッシュモードとみなすことができる。
【００２３】
例えば、電子プログラミングガイドは、カテゴリのタイプ（コメディ、ドラマ、ドキュメンタリ）によりショーを既に識別しているため、主題（タイトルのような）について識別する必要がある。従って、誰かがＳｅｉｎｆｉｅｌｄ（そのショーは、現在、毎日、再放送されている）を、一週間に数回、視聴する場合、ユーザ履歴は、コメディの嗜好を表すように構築されることができる。他に視聴されるコメディが更にある場合、ユーザ履歴は、更に微妙な嗜好を表すように更新されることができる（例えば、ユーザ履歴が、“Ｃｈｅｅｒｓ”の多くの視聴と“Ｆｒａｓｉｅｒ”の視聴を示す場合、男優、Ｋｅｌｓｅｙ  Ｇｒａｍｍｅｒが両方のプログラムに出演している点で共通性がある）。更に、視聴者が“Ｃｈｅｅｒｓ”と“Ｂｅｃｋｅｒ”とを視聴する場合、男優、Ｔｅｄ  Ｄａｎｓｏｎを好きであることを示すことが可能であり、プロファイル履歴はこの情報により更新されることができる。プロファイル履歴は、例えば、“Ｔｈｒｅｅ  Ｍｅｎ  ａｎｄ  Ａ  Ｂａｂｙ”及び“Ｃｈｅｅｐ  Ｓｈｏｗ”（両者共に、Ｔｅｄ  Ｄａｎｓｏｎが出演している）のような映画の視聴により、更に更新されることができる。このようにして、間接的な視聴に基づくプロファイルは、しばしば、明示的フィードバックに代えて又はそれに加えて、視聴者の嗜好を実際に表すことができる。
【００２４】
間接的な視聴に基づく個人プロファイルを準備することに加えて、コンテンツ情報がセグメント化される及びインデックス化される。セグメントの長さは、所定量の時間、又はコマーシャルブレークの終了と他のコマーシャルブレークの開始との間の時間の期間とすることが可能である。このセグメントのインデックス化は、例えば、ＮＴＳＣのような、生映像の場合のフレームグラバ、又はＭＰＥＧのような圧縮映像のためのフレームパーサを使用することにより生じる。１つのフレームグラバの例は、Ｉｎｔｅｌ（登録商標）のＳｍａｒｔ  Ｖｉｄｅｏ  Ｒｅｃｏｒｄｅｒ  ＩＩＩにより用いられることができる。
【００２５】
本発明に従って、段階１１０に示すように、質問をユーザに又、提供することができ、ユーザにより返される応答は、更に正確なユーザプロファイルを生成するために解析されることができる。
【００２６】
例えば、ユーザが、字幕テキストにより又は視聴の時間に特定のチャネルにおいて表示されるショーに対する電子プログラミングガイドと関連させて、“Ｓｔａｒ  Ｔｒｅｋ”を視聴する場合、一連のデータベース及び／又はネットワーク（インターネットを有するが、それに限定されない）は、“Ｓｔａｒ  Ｔｒｅｋ”に関する情報を自動的に提供するためにアクセスされることができる。この情報は、次のユーザの応答により狭められることが可能である一般質問として、最初にユーザに対して指示することができる。
【００２７】
又、名前、場所等に焦点を当てるのではなく、音声認識システムが用いられることを、当業者は理解する必要がある。更に、モニタはタッチスクリーンであり、又は、マウス等のポインティング装置を用いることが可能である。付加的質問の各々のレベルに対して、大きい深度レベルを割り当てることができる。例えば、ユーザが、最初に、“Ｓｔａｒ  Ｔｒｅｋ”に関する視聴情報を選択し、次いで、男優を指定し、次いで、Ｗｉｌｌｉａｍ  Ｓｈａｎｔｎｅｒを指定するとき、このことは、例えば３の深度レベルを表すことが可能である。更に、例えば、ユーザがスポーツイベントを視聴しているとき、指示を又、提供することができる。このようなプロセスは、視聴者の好みのチーム、プレーヤー、チームにおけるそのプレーヤーの歴史、一般的なスポーツの歴史、又は、以前に行われたスーパーボール、ワールドシリーズ等の他の試合の視聴に関する増加した情報を視聴者が受信することを可能にする。
【００２８】
段階１１５において、段階１１０の質問深度に関連した値が、付加コンテンツの増加のためのカテゴリに関連付けられるように与えられる。例えば、ユーザへの質問及び視聴履歴に基づいて、ユーザが些細なことに対する嗜好を有していることを判定することができる（質問の深度と主題との結合において、及び知識を調べる、視聴したゲームのショーを示す視聴履歴により）。既知の融合技術を、値を用いて確認される、プッシュモード及びプルモード両方から（即ち、ユーザの視聴履歴及び質問深度から）得られた情報を融合するために、使用することができる。
【００２９】
段階１２０において、一旦、値が確認されると、これらの値は、特定のデータベース及び／又はインターネットから増加したコンテンツ情報を提供するために、用いられることができる。
最終的に、段階１２５において、個々のユーザの嗜好のデータベースと比較して、ユーザの興味及び嗜好に関する推論と、ユーザにより選択された増加したコンテンツとに基づいて、フィードバックシステムが生成される、それ故、一部のコンテンツの増加は、類似してマッチングするユーザにより楽しむことができる他のアイテムに基づいている。このようにして、増加したコンテンツ及び関連データベースと、増加したコンテンツがユーザにより視聴のために選択された程度とのリンクが、増加したコンテンツのユーザ履歴を更新するために用いられる。
【００３０】
例えば、ユーザは、“Ｓｔａｒ  Ｔｒｅｋ”に関する増加した情報を受信することを好むかどうか、質問されることができる。ユーザが拒絶する場合、興味の深度は最低レベルであるとみなされる。勿論、ユーザが、現在、視聴しているプログラムを邪魔されたくない、又は、映画の特定のエピソード若しくは男優の１人／数人又は監督についての情報を受信することを好むかどうかを指示されるような、“Ｓｔａｒ  Ｔｒｅｋ”に関する増加した情報、を受信するような特定のムードにないことがあり得る。コンテンツ増加のレベルは、各々の応答に伴って増加する。例えば、ユーザは、ユーザがショーの特定の男優（即ち、例えば、Ｗｉｌｌｉａｍ  Ｓｈａｔｔｎｅｒ）に関する更なる情報を好むこと、を表示することが可能である。最初の増加したコンテンツは、“Ｓｔａｒ  Ｔｒｅｋ”に関して著された本におけるＷｉｌｌｉａｍ  ＳｈａｔｔｎｅｒによるＣａｐｔａｉｎ  Ｋｉｒｋの演技についてのデータとすることが可能である。例えば、Ｗｉｌｌｉａｍ  Ｓｈａｔｔｎｅｒの完全な経歴、又は、彼が出演した映画プログラム／エレビジョンプログラムの全てのＤＶＤのカタログを提示することが可能である、更なる選択肢を選択するように指示を与えることができる。
【００３１】
例えば、所定の一連のカテゴリの場合、ユーザが“Ｓｔａｒ  Ｔｒｅｋ”についての更なる情報を欲していることを、ユーザが肯定して選択する場合、“男優”、“プロデューサ”及び“監督”のような、サブカテゴリがユーザに対して指示される。例えば、“男優”を選択した後、“Ｓｔａｒ  Ｔｒｅｋ”及び“男優”を含む情報のために停止して実施する調査を設けることができる。代替として、ユーザは、プログラムから特定の男優及び／又はキャラクタの名前をキーインすることが可能である。例えば、“Ｋｉｒｋ”又は“Ｗｉｌｌｉａｍ  Ｓｈａｔｔｎｅｒ”の名前をキーインすることができる。このように、
“Ｓｔａｒ  Ｔｒｅｋ”及び“Ｗｉｌｌｉａｍ  Ｓｈａｔｔｎｅｒ”を用いて、調査を実行される。
【００３２】
このようにして、本発明に従って、受け入れられたコンテンツ増加情報のスタイルにペナルティを課すこと、及びユーザにより与えられた応答及び質問を解析することを有するユーザとの対話に基づいて、簡単なテレビの個人プロファイルがコンテンツ増加ファイルに変換される。
【００３３】
本発明の他の特徴において、ユーザは、好みのテレビプログラムのみを視聴せず、増加したコンテンツを受信しないことが可能であるが、本発明は、好みのテレビプログラムに関連した特定のマルチメディアコンテンツをブラウズすることを可能にし、テレビベースの取引及びインターネットベースの取引を可能にする。ユーザ側の各々のアクション用いて、より正確なコンテンツ増加のためにユーザ履歴を更に精緻化することができる。
【００３４】
例えば、システムは、増加した情報を受け入れるユーザのスタイルを観測し、ユーザが与える応答及び質問を解析する。装置は、ユーザの要求に関するデータに加えて、データを収集することができる。例えば、ユーザの応答に基づいて、装置は、同じ質問をユーザにすることなく、“Ｓｔａｒ  Ｔｒｅｋ”において演技している男優についてウェブサイトから情報を収集することが可能である。そのような嗜好を予測することができる１つの方法は、増加したコンテンツ情報の個々のセグメントを互いにリンクさせることであり、それ故、好き嫌いのパターンにまとめることが可能である。
【００３５】
更に、システムは、例えば、“Ｓｔａｒ  Ｔｒｅｋ”の記念品又は特定のエピソードのＤＶＤを購入したいかどうか、又は視聴等のためにエピソードをダウンロードしたいかどうかに関して、ユーザに対して指示することができる。
【００３６】
本発明の他の特徴は、個人プロファイルを構築するために用いられたマルチメディアコンテンツ情報をセグメント化及びインデックス化することができることである。そのようなセグメント及びインデックスに関して、ＭＦＣＣ及びＬＰＣのようなケプストラルベースの特徴は、時間特徴及びスペクトル特徴に比較して、より良好な分類精度を与える傾向にある。
【００３７】
文献、“Ｃｌａｓｉｆｉｃａｔｉｏｎ  ｏｆ  Ｇｅｎｅｒａｌ  Ａｕｄｉｏ  Ｄａｔａ  ｆｏｒ  Ｃｏｎｔｅｎｔ−Ｂａｓｅｄ  Ｒｅｔｒｉｅｖａｌ”，Ｄｏｎｇｇｅ  Ｌｉ，Ｉｓｈｗａｒ  Ｋ．Ｓｅｔｈｉ，Ｎｅｖｅｎｋａ  Ｄｉｍｉｔｒｏｖａ  ａｎｄ  Ｔｏｍ  Ｍｃｇｅｅ（１９９ｘ？）であって、この文献の援用により本発明の説明の一部を代替する、文献は、ＭＦＣＣ及びＬＰＣに加えて、異なるツールのツールボックスであって、各々のツールは音声データの解析に対して頻繁に要求される単一の基本動作に対して責任を負う、ツールボックスについて開示している。
【００３８】
ツールボックスは、周波数領域演算、時間領域演算、及び短期間平均化、対数演算、ウィンドウ化、クリッピング等の数学的演算を有することができる。ＭＦＣＣ、ＬＰＣ、デルタＭＦＣＣ、デルタＬＰＣ、自動補正ＭＦＣＣ、並びに時間及びスペクトル特徴を有する音響特徴の抽出を有することができる。
【００３９】
例えば、マルチメディアコンテンツから音声をセグメント化し、インデックス化するために、４つの処理段階であって、（１）特徴抽出、（２）ポーズ検出、（３）自動音声セグメント化、及び（４）自動音声分類化、の各段階を有することができる。
【００４０】
特徴抽出は、上で説明したツールボックスを用いて実施することができる。実行時間の間に、例えば、音響特徴は、入力音声生データから時間軸に沿って測定され、フレーム毎に抽出されることができる。
【００４１】
ポーズ検出は、クリップセグメント及びサイレンスセグメントに入力音声信号を分離するために用いることができる。それ故、ポーズは、音声が欠如している（又は、視聴者が聞き取ることができる音声の欠如している）時間の期間である。文献、“Ｃｌａｓｉｆｉｃａｔｉｏｎ  ｏｆ  Ｇｅｎｅｒａｌ  Ａｕｄｉｏ  Ｄａｔａ  ｆｏｒ  Ｃｏｎｔｅｎｔ−Ｂａｓｅｄ  Ｒｅｔｒｉｅｖａｌ”（上で引用した）に記載されているように、ポーズ検出器は、人間の知覚と整合性がとれる結果を生成する。
【００４２】
サイレンスセグメントは付加処理を要求しない一方、分類に先立って、クリップセグメントは、移行ポイントを確認するために処理される必要がある。音声セグメント化は、例えば、ブレイク結合及びブレイク検出を用いることができる。ブレイク検出は、信号セグメントに対する大きい検出ウィンドウの移動と、各々のスライド部分における種々の半分の平均エネルギーの比較を有する。
【００４３】
図２は、本発明に従ったシステムの概観を示している。図２は、制限するためではなく、例示として提供されていることを、当業者は理解することであろう。同時提出の特許請求の範囲と本発明の主旨から逸脱することなく、種々の修正が存在することを当業者は理解するであろう。
【００４４】
図２に示すように、プロセッシングユニット２１０は、システムの中央に位置している。処理器２１０は、セットトップボックスの一部であるマイクロプロセッサ／マイクロコントローラとすることが可能である。プロセッサ２１０は、ＴＩＶＯ（商標登録）又は他のタイプのシステムの一部とすることが可能である。プロセッサ２１０との通信は、視聴履歴２１５、質問履歴２２０、及び間接的嗜好２２５でラベリングされた記憶領域である。これらの記憶領域は、セットトップボックス内に配置されることができ、磁気記憶装置、光記憶装置、光磁気記憶装置、電子記憶装置等を含む、利用可能ないずれのタイプの記憶装置とすることが可能であるが、これらに限定されるものではない。
【００４５】
視聴履歴２１５、質問履歴２２０及び明示的嗜好２２５の容量は、必要に応じて設定されることができる。例えば、特定の時間期間及びその関連質問履歴に対する視聴履歴を記憶することが好ましい。システムは、時間、履歴におけるアイテムの量等に関してある所定の閾値に達した後、履歴を定期的にパージすることが可能である。
【００４６】
セグメント化及びインデックス化モジュール２３０は、どのようなビューが視聴されるかについてのコンテンツの分類を提供するために、マルチメディアコンテンツを有する、コンテンツのセグメント化及びインデックス化を実行する。マルチメディア情報は、３つの領域、即ち、映像、音声及び転写であって、それらの領域のいずれかの１つは部分成分である、領域をスパンする。コンテンツは、例えば、空間スケール又は時間スケールに依存する詳細の異なるレベルに従って、セグメント化及びインデックス化されることができる。“Ａ  ｐｒｏｂａｂｉｌｉｓｔｉｃ  Ｌａｙｅｒｅｄ  Ｆｒａｍｅｗｏｒｋ  ｆｏｒ  ＩＮｔｅｇｒａｔｉｎｇ  Ｍｕｌｔｉｍｅｄｉａ  Ｃｏｎｔｅｎｔ  ａｎｄ  Ｃｏｎｔｅｘｔ  Ｉｎｆｏｒｍａｔｉｏｎ”と題された、Ｒ．Ｓ．Ｊａｓｉｎｓｃｈｉ，Ｎ．Ｄｉｍｉｔｒｏｖａ，Ｔ．ＭｃＧｅｅ，Ｌ．Ａｇｎｉｈｏｔｒｉ，Ｊ．Ｚｉｍｍｅｒｍａｎ，Ｄ．Ｌｉ  ａｎｄ  Ｊ．Ｌｏｕｉｅによる文献において、粒状度及び抽象度の概念について開示している。視聴領域の空間的粒状度に関して、粒状度スケールが用いられる。
【００４７】
粒状度は、ローカル（ピクセル、ボクセル）、領域又は全体的として定義されることが可能である。抽象度に関しては、意味的情報の記述を設けることができる。テレビジョン及び映画は意味的に豊かなコンテンツを有する。
【００４８】
図３は、粒状度の各々のレベルにおいて関連した対象物が抽象度の異なるレベルを生成することを示している。抽象度のレベルは、低レベル、中レベル及び高レベルに分類されている。低レベルは、個々の対象物に焦点を当てている。中レベルは対象物に関連し、イベントを推論する。高レベルはイベントに関連する。
【００４９】
マルチメディア情報は、映像、音声及び転写に分類され、サイン、パターン又は基本構造は、コンテンツ情報を制限するために用いられる。コンテンツレイヤは、映像、音声及び復号化された映像からのテキストストリームを受信する。コンテンツレイヤは、抽象度の低レベル、中レベル及び高レベルを有することが可能である。低レベルの視聴情報は、ピクセルベースの色、形状及びエッジ条件を有する。中レベルの視聴情報は、キーフレーム、映像テキスト及び顔を有する。音声カテゴリは、発話、音楽、雑音、発話プラス雑音、発話プラス発話、発話プラス音楽及びサイレンスを有する。高レベルは、トピックスに従ったプログラムセグメントを有する。
【００５０】
上記のように、ＭＦＣＣ及びＬＰＣのようなケプストラルベースの特徴は、モジュール２３０により用いられることができる。又、そのモジュールは、音声データの解析のために用いられることができる“ツールボックス（上記のような）”を有することが可能である。セグメント化及びインデックス化モジュールは、例えば、音声分類及びポーズ検出を有し、マニュアル化又は自動化することができる特徴抽出を利用することにより、セグメント化及びインデックス化するために必要なソフトウェアを有する。モジュール２３０は、マルチメディアコンテンツのセグメント化及びインデックス化が実行される場合、多かれ少なかれ上記の特徴より多い特徴を有することが可能である。
【００５１】
セグメント化及びインデックス化は、セグメント化及びインデックス化されたコンテンツと共に、視聴履歴、質問履歴及び明示的嗜好の増加したコンテンツ情報を提供するために、プロセッサにより用いられる。この増加したコンテンツ情報は、例えば、領域２３５に記憶されることができる。増加したコンテンツ情報はユーザプロファイル２４０として記憶されることができ、又は、あるタイプのフィードバックシステムにおいてユーザプロファイル２４０を更新するためにプロセッサにより用いられることができ、それ故、増加したコンテンツ情報が更新される度に、ユーザプロファイルは更新されることが可能である。
【００５２】
ユーザプロファイルは、例えば、ユーザの値に関連している、記憶されたデータを有することが可能である。例えば、そのユーザが、費やした時間又は質問の深度に基づいて、特定の領域に強い関心を示す場合、ユーザプロファイルは、ユーザの興味の深度と一致するその領域に対する特定のスコアと共に、範囲の一部であるスコアを有することが可能である。例えば、値の範囲が１乃至１０であり、ユーザ／視聴者は非常に熱烈なスポーツファンである場合、ユーザプロファイルは、増加したコンテンツ情報に基づいて、フットボールに対して１０であるが、サッカーに対しては４及び野球に対しては２のみを有することが可能である。
【００５３】
解析された視聴履歴、質問履歴及び明示的嗜好（任意であるが、ユーザの好き嫌いを決定する上で支援するように振舞う）のコンテンツは、図２において存在するより多くのカテゴリを有することが可能である。更に、増加したコンテンツ情報は、ユーザ／視聴者２４５が特定のデータベース２５０及び／又はインターネット２５５にアクセスする又は
購入をする度に、更新されることができる。
【００５４】
ユーザは、特定のデータベース及び／又はインターネットにアップロードされることが可能である、増加したコンテンツ情報の結果として、商品及びサービスに対しての指示を受信することができる。勿論、購入がなされる度に、又はアイテム（履歴イベント、音楽ビデオ等のビデオクリップのような）がダウンロードされる度に、この情報は、増加したコンテンツ情報を更新するために用いられることができる。
【００５５】
同時提出の特許請求の範囲における範囲及び本発明の主旨の範囲内にある、種々の修正を当業者はなすことができる。例えば、分類のタイプ、セグメント化及びインデックス化のタイプ、通信のモジュールの配置は、全ての可能な構成を提示していないため、本発明から逸脱することなく、全て修正されることが可能である。
【図面の簡単な説明】
【００５６】
【図１】本発明の第１特徴を示すフロー図である。
【図２】本発明に従ったシステムの概観を示す図である。
【図３】セグメント化及びインデックス化のために用いられるコンテンツ情報（低レベル、中レベル及び高レベル）のカテゴリを示す図である。
【図１】
2005529425.tif 000003
【図２】
2005529425.tif 000004
【図３】
2005529425.tif 000005
【国際調査報告】
2005529425.tif 000006
2005529425.tif 000007
2005529425.tif 000008