(57)【要約】【課題】  従来技術の問題を解決する、オーディオ／データ／ビジュアル情報選択、蓄積及び配送のための方法と装置を提供する。【解決手段】  所望のオーディオ情報等を選択する方法である。ａ）入力装置を介して提供される視聴者の視聴嗜好を決定するステップと、ｂ）オーディオ信号等受信器を介して第１の複数のオーディオ信号等を受信するステップと、ｃ）選択器により、第１の複数のオーディオ信号等から、モニタする第２の複数のオーディオ信号等であって第１の複数のオーディオ信号等のサブセットであるものを識別するステップと、ｄ）選択器により、前記視聴嗜好を第２の複数のオーディオ信号等と比較して、所望のオーディオ情報等を識別するステップと、ｅ）ビデオモニタを介して、前記所望のオーディオ情報等へのアクセスを提供するステップとを有する。【選択図】図１
2011086315.tif 000002
【特許請求の範囲】
【請求項１】
所望のオーディオ／データ／ビジュアル情報を選択する方法であって、
ａ）入力装置を介して提供される視聴者の視聴嗜好を決定するステップと、
ｂ）オーディオ／データ／ビジュアル信号受信器を介して第１の複数のオーディオ／データ／ビジュアル信号を受信するステップと、
ｃ）選択器により、第１の複数のオーディオ／データ／ビジュアル信号から、モニタする第２の複数のオーディオ／データ／ビジュアル信号であって第１の複数のオーディオ／データ／ビジュアル信号のサブセットであるものを識別するステップと、
ｄ）選択器により、前記視聴嗜好を第２の複数のオーディオ／データ／ビジュアル信号と比較して、所望のオーディオ／データ／ビジュアル情報を識別するステップと、
を有し、前記ステップｄ）は、
前記第２の複数のオーディオ／データ／ビジュアル信号の各々に対応するコンテンツデータを抽出するステップであって、前記抽出されるコンテンツデータは、クローズドキャプション化テキスト、ＥＰＧデータ、オーディオコンテンツ情報、ビジュアルコンテンツ情報、及びトランスクリプト情報のうちの少なくとも１つを有するステップと、
前記抽出したコンテンツデータにインデックスを付すステップと、
前記インデックスを付したコンテンツデータを前記視聴嗜好と比較して、所望のオーディオ／データ／ビジュアル情報を識別するステップであって、前記ビジュアルコンテンツ情報は、カット検出、顔検出、動き推定／分割／検出、及びカメラ移動のうちの少なくとも１つを含むステップとを有し、
前記方法は、さらに
ｅ）ビデオモニタを介して、前記所望のオーディオ／データ／ビジュアル情報へのアクセスを提供するステップと
を有する所望のオーディオ／データ／ビジュアル情報を選択する方法。
【請求項２】
所望のオーディオ／データ／ビジュアル情報を蓄積するステップと、
視聴者から要求されたときに、所望のオーディオ／データ／ビジュアル情報を取り出すステップとを更に有する、
請求項１に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
【請求項３】
オーディオコンテンツ情報は、スピーチからテキストへの変換、オーディオ効果及びイベント検出、話者識別、番組識別、音楽分類、及び話者識別に基づく会話検出のうちの少なくとも１つを含む、
請求項１に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
【請求項４】
トランスクリプト情報は、自然言語処理及び理解、話法分析、キーワード検出、及び放送分類化のうちの少なくとも１つを含む、
請求項１に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
【請求項５】
クローズドキャプション化テキスト、ＥＰＧデータ、抽出されたオーディオ情報、抽出されたビジュアル情報、及び抽出されたトランスクリプト情報のうちの少なくとも２つを統合するステップをさらに有する、
請求項１に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
【請求項６】
統合するステップは、イベント及び動作検出、ストーリーの分割、ストーリーの分類、番組の分類、及び情況検出のうちの少なくとも１つを提供する、
請求項５に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
【請求項７】
情況検出は、人間の顔と背景の少なくとも１つの検出を含む、
請求項６に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
【請求項８】
前記所望のオーディオ／データ／ビジュアル情報は、放送及びケーブルテレビジョン信号、インターネットに基づく信号、及びデータ信号のうちの少なくとも１つを含む、
請求項１に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
【請求項９】
ステップ（ｃ）は、
第１の複数のオーディオ／データ／ビジュアル信号の各々に対する電子番組案内（ＥＰＧ）データを視聴嗜好と比較して、視聴嗜好に関連する第２の複数のオーディオ／データ／ビジュアル信号を識別するステップを有する、
請求項１に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
【請求項１０】
ステップ（ａ）は、
キーパッド、キーボード、オンスクリーン表示、遠隔制御装置、タッチスクリーン、音声命令、またはタッチパッドを介して、視聴者が視聴を望むオーディオ／データ／ビジュアル情報の特性を入力するステップを有する、
請求項１に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
【請求項１１】
ステップ（ａ）は、
視聴者の視聴習慣を監視して、視聴者が視聴を望むオーディオ／データ／ビジュアル情報の特性に対応する視聴嗜好を公式化するステップを有する、
請求項１に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
【請求項１２】
視聴者がテレビジョン放送信号又はインターネットに基づく信号にアクセスするたびに、視聴嗜好を自動的に更新するステップを更に有する、
請求項１１に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
【請求項１３】
第２の複数のオーディオ／データ／ビジュアル信号のコマーシャル部分と非コマーシャル部分を識別するステップを更に有する、
請求項１に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
【請求項１４】
所望のオーディオ／データ／ビジュアル情報を、その前記視聴嗜好との関連に従ってランク付けをするステップを更に有する、
請求項１に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
【請求項１５】
ステップ（ｅ）は、
前記所望のオーディオ／データ／ビジュアル情報の少なくとも一部分を、メモリ内に蓄積するステップを有する、
請求項１に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
【請求項１６】
所望のオーディオ／データ／ビジュアル情報が識別されたことを視聴者に通知するステップを更に有する、
請求項１に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
【請求項１７】
視聴者がオーディオ／データ／ビジュアル情報信号と対話している間に、視聴者は通知される、
請求項１６に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
【請求項１８】
前記方法は複数の視聴者に対して同時に行われる、
請求項１に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
【請求項１９】
所望のオーディオ／データ／ビジュアル情報を選択する方法であって、
ａ）入力装置を介して提供されるユーザの嗜好を決定するステップと、
ｂ）オーディオ／データ／ビジュアル信号受信器を介して複数のオーディオ／データ／ビジュアル信号を受信するステップと、
ｃ）前記嗜好を複数のオーディオ／データ／ビジュアル信号と比較して、所望のオーディオ／データ／ビジュアル情報を識別するステップと、
を有し、前記ステップｃ）は、
前記第２の複数のオーディオ／データ／ビジュアル信号の各々に対応するコンテンツデータを抽出するステップであって、前記抽出されるコンテンツデータは、クローズドキャプション化テキスト、ＥＰＧデータ、オーディオコンテンツ情報、ビジュアルコンテンツ情報、及びトランスクリプト情報のうちの少なくとも１つを有するステップと、
前記抽出したコンテンツデータにインデックスを付すステップと、
前記インデックスを付したコンテンツデータを前記視聴嗜好と比較して、所望のオーディオ／データ／ビジュアル情報を識別するステップであって、前記ビジュアルコンテンツ情報は、カット検出、顔検出、動き推定／分割／検出、及びカメラ移動のうちの少なくとも１つを含むステップとを有し、
前記方法は、さらに
ｄ）ビデオモニタを介して、前記所望のオーディオ／データ／ビジュアル情報へのアクセスを提供するステップと
を有する、所望のオーディオ／データ／ビジュアル情報を選択する方法。
【請求項２０】
前記嗜好との比較のために複数のオーディオ／データ／ビジュアル信号のうちの少なくとも１つを選択するステップを更に有する、
請求項１９に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
【請求項２１】
オーディオ／データ／ビジュアル信号選択システムであって、
視聴者の視聴嗜好を提供する入力装置と、
情報選択器とを有し、前記情報選択器は、
第１の複数のオーディオ／データ／ビジュアル信号を受信し、
第１の複数のオーディオ／データ／ビジュアル信号から、モニタする第２の複数のオーディオ／データ／ビジュアル信号であって第１の複数のオーディオ／データ／ビジュアル信号のサブセットであるものを識別し、
前記視聴嗜好を第２の複数のオーディオ／データ／ビジュアル信号と比較して、所望のオーディオ／データ／ビジュアル情報を識別し、
前記所望のオーディオ／データ／ビジュアル情報を識別することは、
前記第２の複数のオーディオ／データ／ビジュアル信号の各々に対応するコンテンツデータを抽出することであって、前記抽出されるコンテンツデータは、クローズドキャプション化テキスト、ＥＰＧデータ、オーディオコンテンツ情報、ビジュアルコンテンツ情報、及びトランスクリプト情報のうちの少なくとも１つを有することと、
前記抽出したコンテンツデータにインデックスを付すことと、
前記インデックスを付したコンテンツデータを前記視聴嗜好と比較して、所望のオーディオ／データ／ビジュアル情報を識別することであって、前記ビジュアルコンテンツ情報は、カット検出、顔検出、動き推定／分割／検出、及びカメラ移動のうちの少なくとも１つを含むこととを含み、
前記情報選択器は、さらに
識別されたオーディオ／データ／ビジュアル情報へのアクセスを提供する、オーディオ／データ／ビジュアル信号選択システム。
【請求項２２】
オーディオ／データ／ビジュアル信号選択システムであって、
ユーザの嗜好を提供する入力装置と、
情報選択器とを有し、前記情報選択器は、
複数のオーディオ／データ／ビジュアル信号を受信し、
前記嗜好を複数のオーディオ／データ／ビジュアル信号と比較して、所望のオーディオ／データ／ビジュアル情報を識別し、
前記所望のオーディオ／データ／ビジュアル情報を識別することは、
前記第２の複数のオーディオ／データ／ビジュアル信号の各々に対応するコンテンツデータを抽出することであって、前記抽出されるコンテンツデータは、クローズドキャプション化テキスト、ＥＰＧデータ、オーディオコンテンツ情報、ビジュアルコンテンツ情報、及びトランスクリプト情報のうちの少なくとも１つを有することと、
前記抽出したコンテンツデータにインデックスを付すことと、
前記インデックスを付したコンテンツデータを前記視聴嗜好と比較して、所望のオーディオ／データ／ビジュアル情報を識別することであって、前記ビジュアルコンテンツ情報は、カット検出、顔検出、動き推定／分割／検出、及びカメラ移動のうちの少なくとも１つを含むこととを含み、
前記情報選択器は、さらに
識別されたオーディオ／データ／ビジュアル情報へのアクセスを提供する、オーディオ／データ／ビジュアル信号選択システム。
【請求項２３】
情報選択器に機能的に接続され、前記所望のオーディオ／データ／ビジュアル情報の少なくとも一部分を蓄積するメモリを更に有する、
請求項２２に記載のオーディオ／データ／ビジュアル信号選択システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的には、オーディオ／データ／ビジュアル情報選択システムに関し、特に、種々のレベルのコンテンツの抽出で、ユーザ定義のパラメータに基づいて、テレビジョン、データ又はインターネットに基づく信号のようなオーディオ／データ／ビジュアル信号のストリームをフィルタし且つ、フィルタされた情報を提供するシステムに関する。
【背景技術】
【０００２】
テレビジョンチャネルの数が増加するにつれて、テレビジョン視聴者は何のテレビジョンショーを見るか及びテレビジョンを見ながらどのように最良の時間を過ごすかについて、ジレンマになる。印刷された又はオンスクリーンテレビジョン番組表は各テレビジョン番組の全体の内容を正確には識別しないので、多くのテレビジョン視聴者は”興味のある”テレビジョン番組又はその一部を識別するために、”チャネルサーフィン”をする。
【０００３】
しばしば、テレビジョン視聴者は、自分の興味に対応するテレビジョン番組を識別するために非常に多くの時間をチャネルサーフィンに費やす。これは、視聴者が見て楽しめるであろう多くの他のテレビジョン番組を見逃させることとなる。例えば、”合わせた”チャネルでコマーシャルが放送されている場合には、視聴者は、”合わせた”チャネルで放送されているテレビジョン番組を識別するのに遅れを生じる。従って、興味のある番組が放送されているか否かを決定するのに長い時間がかかる。この結果、他のチャネルで放送されている興味のあるチャネルを見逃すことになる。視聴者が、所望のテレビジョン番組に合わせる場合には、視聴者はしばしばショーの途中で放送されている興味の無いコマーシャルに出くわし、それにより、他のチャネルで放送されている興味のある同時放送されている番組を見逃す。
【０００４】
テレビジョン視聴者は、一般的には、時間の一部のみに興味のある番組を有する永久に増加する数のテレビジョンチャネル、番組中に放送される多数のコマーシャル及び、チャネルサーフィンに疲れている。従って、視聴者の興味のある放送テレビジョン及び／又はケーブル番組及び／又は情報の、走査、手早い選択及び／又は記録のための技術が、将来のテレビジョンには必須である。
【０００５】
新たなキャプチャボードや高速プロセッサにより明らかなようなディジタルビデオ処理は、最近、進歩しているが、しかしながら、どのように、ビデオデータにより送られる情報が、視聴者の嗜好に従って最良に回復され、分析され、分類されそして届けられるかに関しては、比較的小さな進歩しかしていない。
【０００６】
システムに提供される視聴者情報に基づいて、電子番組案内（ＥＰＧ）データが分析されるシステムが最近開発された。ＥＰＧデータの分析に基づいて、視聴者に興味のあるであろうテレビジョン番組表が提供される。しかしながら、ＥＰＧデータは、制限されており、そして、視聴者の定義のパラメータに基づいて、各テレビ番組の各ビデオフレーム又はセグメントの異なるレベルの内容の分析を可能とはしない。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、前述の従来技術の問題を解決する、オーディオ／データ／ビジュアル情報選択、蓄積及び配送のための方法と装置を提供することである。
【０００８】
本発明の他の目的は、複数のオーディオ／データ／ビジュアル信号を監視し、個人の興味のあるオーディオ／データ／ビジュアル情報を識別し、且つ、個人により、識別されたオーディオ／データ／ビジュアル情報を使用することを可能とする、オーディオ／データ／ビジュアル情報選択、蓄積及び配送のための方法と装置を提供することである。
【０００９】
本発明の他の目的は、定義されたパラメータに対応するテレビジョンに基づく及び／又はインターネットに基づく情報の部分のみを選択的に記録する方法及び装置を提供することである。
【課題を解決するための手段】
【００１０】
本発明の１つの形式に従って、興味のあるそしてテレビジョン番組に関する個人の嗜好を反映する、所望のオーディオ／データ／ビジュアル情報を選択する方法は、視聴者の視聴嗜好を決定するステップと、第１の複数のオーディオ／データ／ビジュアル信号を受信するステップと、第１の複数のオーディオ／データ／ビジュアル信号から、モニタされる第１の複数のオーディオ／データ／ビジュアル信号のサブセットである第２の複数のオーディオ／データ／ビジュアル信号を識別するステップと、所望のオーディオ／データ／ビジュアル情報を識別するために、視聴嗜好と第２の複数のオーディオ／データ／ビジュアル信号を比較するステップと、所望のオーディオ／データ／ビジュアル情報へのアクセスを提供するステップとを有する。
【００１１】
本発明の他の特徴に従って、所望のオーディオ／データ／ビジュアル情報を選択する方法は、ユーザの嗜好を決定するステップと、複数のオーディオ／データ／ビジュアル信号を受信するステップと、所望のオーディオ／データ／ビジュアル情報を識別するために、嗜好と複数のオーディオ／データ／ビジュアル信号を比較するステップと、所望のオーディオ／データ／ビジュアル情報へのアクセスを提供するステップとを有する。
【００１２】
本発明の他の特徴に従って、オーディオ／データ／ビジュアル信号選択システムは、視聴者の視聴嗜好を提供する入力装置と、情報選択器とを有する。情報選択器は、第１の複数のオーディオ／データ／ビジュアル信号を受信し、第１の複数のオーディオ／データ／ビジュアル信号から、モニタされる第１の複数のオーディオ／データ／ビジュアル信号のサブセットである第２の複数のオーディオ／データ／ビジュアル信号を識別する。情報選択器はまた、所望のオーディオ／データ／ビジュアル情報を識別するために、視聴嗜好と第２の複数のオーディオ／データ／ビジュアル信号を比較し、識別されたオーディオ／データ／ビジュアル情報へのアクセスを提供する。
【００１３】
本発明の他の特徴に従って、オーディオ／データ／ビジュアル信号選択システムは、ユーザの嗜好を提供する入力装置と、情報選択器とを有する。情報選択器は、複数のオーディオ／データ／ビジュアル信号を受信し、所望のオーディオ／データ／ビジュアル情報を識別するために、嗜好と複数のオーディオ／データ／ビジュアル信号を比較し、識別されたオーディオ／データ／ビジュアル情報へのアクセスを提供する。
【００１４】
本発明の上述の及び他の目的、特徴及び、優位点は、付属の図と共に以下の詳細な説明を読めば容易く明らかとなろう。
【図面の簡単な説明】
【００１５】
【図１】本発明に従ったオーディオ／データ／ビジュアル情報選択システムのブロック図である。
【図２】図１のオーディオ／データ／ビジュアル情報選択システムの動作のフローを示す図である。
【発明を実施するための形態】
【００１６】
本発明は、複数のテレビジョン又はインターネットに基づくオーディオ／データ／ビジュアル信号をモニタするオーディオ／データ／ビジュアル情報選択システム（”ビデオスカウトシステム”）を提供する。このシステムは、視聴者の嗜好に基づいて、視聴者が興味があるであろうオーディオ／データ／ビジュアル情報を選択しそして記録する。例えば、ある人が特定のトピックスに関連するテレビジョン番組を見たいときに、その人はテレビジョン番組、ショーの時間及び／又はテレビジョンチャネルを知る必要がない。更に、その人は番組が放送されるときにいる必要がない。本発明のシステムは、個人が見たいと望む番組、パーソナリティ、特徴、トピックス及び、イベントに関するプログラム可能は希望リストを設定する。システムは、そして、連続して、受信されたテレビジョン信号を、希望リスト上の項目に関して監視し、希望リストの基準に合う全体のテレビジョン番組又はその一部分を記録し、そして、便利なときに視聴者が見るために、記録された項目へのアクセスを可能とする。
【００１７】
本発明に従ったオーディオ／データ／ビジュアル情報選択システムは、コンピュータ又はテレビジョン内に含まれても良く又は、テレビジョン又はコンピュータに接続された独立した装置でも良い。受信されたテレビジョン、ラジオ又はインテーネットに基づく信号を”サーフ”し、そして、番組の所望の部分を局部蓄積装置に記録する。番組部分の選択は、放送及びケーブルテレビジョン又は、インターネットに基づく信号の内容データに基づいている。内容データは、クローズトキャプション化テキスト、（メタデータの形式の）ＥＰＧデータ、（周波数、ピッチ、音色、音及び、メロディのような）オーディオ情報、（色、動き、形状及び、２−Ｄ／３−Ｄオブジェクトのテクスチャーのような）ビジュアル情報及び、翻訳情報を含んでも良い。
【００１８】
本発明をテレビジョン放送信号に関する使用の状況でここで説明するが、システムは、ユーザの興味のある情報に関するインターネットに基づく信号を走査する（例えば、ウェブクローラー又は、ビデオウェブポータル）ための、インターネットへのアクセス性を有するコンピュータで、特定の形式のオーディオ信号を走査するための個人化されたアプリケーションのためのラジオ、情報ネットワーク（例えば、専有のネットワーク及び、パーソナルエリアネットワーク）で及び、データ情報を転送するのみのシステムで使用できることも予見できる。
【００１９】
図１を参照すると、オーディオ／データ／ビジュアル情報選択装置１０が示されている。装置はテレビジョンのようなビデオモニタ１２に接続されているのが好ましい。装置は、個人プロファイル入力装置１４（例えば、キーパッド、キーボード、オンスクリーン表示、テレビジョン遠隔制御装置、タッチスクリーン、音声命令受信器又はタッチパッド）を有し、それらにより、ユーザは個人の視聴嗜好を入力できる。視聴嗜好は、ユーザが見ることを希望する（及び／又は前に見た）テレビジョン番組の特徴に対応する。視聴嗜好の幾つかの例は、スポーツチーム（例えば、ニューヨークヤンキース）、個人（例えば、ビルクリントン大統領）、場所（例えば、ホワイトハウス）、動作（例えば、プレーヤがホームランを打つ）及び、トピックス（例えば、ワールドチャンピオンシップ）を含む。ユーザにより提供された全てのデータに基づき、ユーザの視聴嗜好のプロファイルが発生される。以下で詳細に説明するように、受信されたテレビジョン信号は、視聴嗜好に対応する少なくとも放送の一部に関して監視される。例えば、視聴嗜好が”ニューヨークヤンキース”ならば、本発明は、全てのニューヨークヤンキースのゲームをコマーシャルがニューヨークヤンキースに関連しない場合にはコマーシャル無しで、ニューヨークヤンキースに関する映画（例えば、”ヤンキースのプライド”）及び前夜のニューヨークヤンキースの野球のゲームのハイライトを映すニュース／スポーツショーのスポーツ部分を、記録する。
【００２０】
装置は周波数のトピックスに関してメモリ内に蓄積された個人のプロファイルを有するとも予見されるが、しかし、所定の形式の視聴嗜好に対応する番号（例えば、スポーツに対しては”１”、ローカルニュースに関しては”２”、全国ニュースに関しては”３”、世界ニュースに関しては”４”、政治に関しては”５”、科学フィクションに関しては”６”等）を入力することのみが必要とされる。この結果、ユーザは広い範囲の所定の情報を提供するためにシステムに大量の情報を入力する必要がない。
【００２１】
装置はまた、分析されるべき複数のテレビジョン信号を受信する、オーディオ／データ／ビジュアル信号受信器１６も有する。テレビジョンにより行われるように１つを除く全てをフィルタする代わりに、受信器１６は、複数のチューナを有し、そして、分析のために全ての信号を維持する。好適なオーディオ／データ／ビジュアル信号受信器は、アンテナ、衛星ディッシュアンテナ、セットトップボックス、インターネット接続、ケーブル及び、同様なものを有する。従来技術で既知のように、受信器に供給される放送及びケーブルテレビジョン信号は、多重信号である。
【００２２】
オーディオ／データ／ビジュアル信号受信器により受信された、多重された複数のテレビジョン信号をデマルチプレックスするためのデマルチプレクサ１８は、オーディオ／データ／ビジュアル信号受信器１６の出力に機能的に接続されている。デマルチプレクサは、複数の信号をデマルチプレックスし、そして、複数のテレビジョン信号の各々が以下に詳細に説明するように個々に分析されることを可能とする。
【００２３】
好適な実施例では、装置は、複数のテレビジョン信号に関連する電子番組案内信号を受信する、ＥＰＧ（電子番組案内）信号受信器２０を有する。従来技術で既知のように、ＥＰＧ信号は、現在放送されているそして放送予定のテレビジョン番組に関する多くの種類の情報を含む。ＥＰＧ情報の例は、タイトル、開始時間、終了時間、（適用可能ならば）俳優、トピック、番組の分類及び、簡単な番組内容を含む。好適なＥＰＧ信号受信器は、アンテナ、衛星ディッシュアンテナ、セットトップボックス、インターネット接続及び、同様なものを有する。ＥＰＧ信号受信器とオーディオ／データ／ビジュアル信号受信器は、１つの装置に組み合わせることができ、結合された装置は、オーディオ／データ／ビジュアル信号を受信する第１のモードとＥＰＧ信号を受信する第２のモードの間を切り換わると予見される。代わりに装置は、オーディオ／データ／ビジュアル信号とＥＰＧ信号を同時に受信することができる。
【００２４】
装置は、オーディオ／データ／ビジュアル情報選択器２２も有し、オーディオ／データ／ビジュアル情報選択器２２は、ＥＰＧ信号受信器２０からＥＰＧ信号を受信し、デマルチプレクサ１８からデマルチプレックスされたテレビジョン信号を受信し、そして、個人プロファイル入力装置１４から視聴嗜好を受信する。オーディオ／データ／ビジュアル情報選択器は、内容データ（以下に詳細に説明する）、対応するＥＰＧ信号及び、ユーザの興味のあるテレビジョン番組を識別する視聴嗜好に基づき、デマルチプレックスされたオーディオ／データ／ビジュアル信号を分析する。情報は、全体のテレビジョン番組であるか又は、ＥＰＧデータがテレビジョン番組の一部のみが視聴嗜好に対応するということを示す場合には、その一部のみでもよい。オーディオ／データ／ビジュアル情報選択器は、テレビジョン信号を並列してモニタし、そしてオーディオ／データ／ビジュアル情報選択器により識別されたテレビジョン情報をメモリ内に記憶するために、そこに供給された各々のテレビジョン信号を同時に及び、分析できることが好ましいということに注意することは重要である。オーディオ／データ／ビジュアル情報選択器の機能を実行するようにプログラムされることのできる好適な装置の例は、パーソナルコンピュータのＣＰＵ（例えば、Ｐｅｎｔｉｕｍ、又は、ＭＩＰＳ）、（Ｔｒｉｍｅｄｉａのような）特別にプログラム可能なディジタル信号プロセッサ又は、特別に構成されたチップ構造である。オーディオ／データ／ビジュアル情報選択器の動作を以下に詳細に説明する。
【００２５】
視聴嗜好に対応するように、オーディオ／データ／ビジュアル情報選択器２２により識別されたテレビジョン放送又はその一部を記録するためのメモリ２４（例えば、ＲＡＭ、ハードディスクレコーダ、光蓄積装置又は、ＤＶＨＳで、各々は数１００ギガバイトの蓄積容量を有する）は、オーディオ／データ／ビジュアル情報選択器２２に機能的に接続されている。ユーザにより要求されたときに、オーディオ／データ／ビジュアル情報選択器は、メモリ内に記憶されたオーディオ／データ／ビジュアル情報をアクセスでき、そして、ユーザにより見直すためにビデオモニタ１２に情報を供給する。
【００２６】
図２を参照し、オーディオ／データ／ビジュアル情報選択、蓄積及び、配送に関する装置の動作を説明する。
【００２７】
最初に、ユーザは、個人プロファイル入力装置１４を介して個人プロファイルデータを入力する（ステップ１００）。個人プロファイルは、特定の形式のテレビジョン番組、人又は、視聴者が見るのを望むテレビジョン番組の特徴のような、ユーザの視聴嗜好に対応する。この情報は多くの方法で提供されることができる。例えば、情報は個人プロファイル入力装置１４を介して入力されることができる。代わりに、情報は従来のテレビジョン遠隔制御装置上の矢印キーを介してテレビジョン又はビデオモニタ１２上のオンスクリーン案内を通して入力できる。上述に代えて、全てのユーザプロファイル情報を、自動的に発生することもできる。ここで、個人プロファイル入力装置はユーザの視聴習慣を監視し、そして、人工知能を通して、ユーザの個人視聴嗜好を”学習”する。ユーザプロファイルは、ユーザの振舞いと変化する視聴興味に基づいて進化すると予見される。また、情報選択器又は、入力装置はユーザの変化する視聴習慣を監視し、そして、自動的に視聴嗜好を更新する（ステップ１０１）。例えば、ユーザは、以前はスポーツイベントのみを見たが、しかし、最近はビジネスニュースチャネルを見ている場合には、システムは元の視聴嗜好（スポーツイベント）をビジネスニュースを含むように変更する。個人プロファイル入力装置は、”学習した”視聴習慣を内部メモリ（図示していない）内に記憶することが好ましい。代わりに、”学習した”視聴習慣は、メモリ２４内に記憶される、ユーザが、自分の最も一致するものに基づいて予め蓄積されたプロファイルの１つを選択することができることも予見される。
【００２８】
オーディオ／データ／ビジュアル信号受信器１６は、視聴者が利用できるオーディオ／データ／ビジュアルテレビジョン信号（例えば、視聴者がローカルケーブルテレビジョン又は、衛星サービスを通して購読するチャネル）を受信し（ステップ１０２）、テレビジョン信号はデマルチプレクサ１８によりデマルチプレックスされ（ステップ１０４）、そして、オーディオ／データ／ビジュアル情報選択器２２に供給される（ステップ１０６）。ＥＰＧ信号はＥＰＧ信号受信器２０により受信され、そしてそれは、オーディオ／データ／ビジュアル情報選択器２２に供給される（ステップ１０６）。
【００２９】
オーディオ／データ／ビジュアル情報選択器２２は、受信されたテレビジョン信号の初期選択処理を実行する。受信されたテレビジョン信号の各々に対するＥＰＧデータの関連する部分は、視聴嗜好と比較され、どのテレビジョン番組が視聴嗜好と全く関連していないかを決定する（ステップ１０８）。視聴嗜好と関連していないテレビジョン番組は、監視されない。この結果、受信されたテレビジョン信号のサブセット（テレビジョン番組）は、更なる分析と視聴パラメータとの一致のために維持される。ＥＰＧデータの使用は、ユーザの視聴嗜好と明らかに全く関連していないテレビジョン番組を除去するための第１のレベルのフィルタリングのみである。例えば、１つのテレビジョン信号に対するＥＰＧデータが、対応するテレビジョンチャネルが映画”風と共に去りぬ”を放送していると識別し、そして、ユーザへの視聴嗜好が、”野球”と”株式市場”に関連している場合には、映画が放送されている間このチャネルを監視する必要はない。しかし、他のテレビジョン信号に対するＥＰＧデータが、対応するチャネルが現在はニュースを放送していると識別する場合には、前夜の野球の得点と今日のビジネスニュースが放送されるので、このチャネルを監視することは、保証される。
【００３０】
ＥＰＧデータが、分析されるべき受信されたテレビジョン信号のサブセットを決定するのに利用できない場合には、オーディオ／データ／ビジュアル情報選択器は、最初に、視聴嗜好により識別される好適なチャネル又はユーザにより頻繁に視聴されるチャネルのグループを監視することに注意すべきである。オーディオ／データ／ビジュアル情報選択器の計算資源に制限がない場合には、全ての利用できるチャネルは同時に監視される。
【００３１】
対応するチャネルに関するプログラミングが変更されずそして視聴嗜好と一致する番組を今放送していないことを保証するために、監視されていないテレビジョン番組が、周期的にチェックされる（即ち、見なおされる）ことも述べるべきである。
【００３２】
一旦テレビジョンチャネルのサブセットが選択されると、テレビジョンチャネルの各サブセットは、並列して連続的に分析され、現在放送されている番組のどの（もし有れば）部分が視聴嗜好に対応するかを決定する（各テレビジョン番組が同時に分析される）。分析は、分析されるべき各テレビジョン受信機番組からクローズドキャプション化又は翻訳されたテキストを抽出することを含む（ステップ１１０）。抽出されたクローズドキャプション化又は翻訳されたテキストはインデックスが付される（ステップ１１２）。特に、従来技術で知られているインデックス化は、番組の主題の指示を提供するために、テキスト内の単語の発生の頻度の監視を含む。インデックス化は、１９８３年のＮＹ、ＮＹ、マグロ−ヒル出版、Ｇ．Ｓａｌｔｏｎ及びＭ．Ｊ．ＭｃＧｉｌｌによる”現代の情報検索概要”、１９９５年のＴｈｅ  Ｂｅｎｊａｍｉｎ／Ｃｕｍｍｉｎｇｓ出版社のＪａｍｅｓ  Ａｌｌｅｎによる”自然言語理解”１９９９年のＭＡ、ケンブリッジのＭＩＴ出版の、Ｉｎｄｅｒｊｅｅｔ  Ｍａｎｉ及び、Ｍａｒｋ  Ｔ．Ｍａｙｂｕｒｙによる”自動テキスト要約の進歩”と称する出版物で説明され、それらの全体の開示は、参照によりここに組み込まれる。インデックス化されたテキストは、視聴嗜好に関連を有する番組内で特定の単語が頻繁に使用されているか否かを決定するために分析される（ステップ１１４）。テレビジョン番組内で頻繁に使用される単語が、視聴嗜好と一致する場合には、番組又は関連する部分は、注意されるべきでありそして、更に分析されるか記録されるかの何れかである。
【００３３】
テキスト抽出とインデックス化と同時に、テレビジョン番組はコマーシャルの発生が監視される（ステップ１１６）。視聴嗜好はコマーシャル内に興味を含まない場合には、分析されているテレビジョンチャネルの１つでコマーシャルが放送されているときに、本発明は、コマーシャルを分析せず、それにより、システム資源を、非コマーシャルテレビジョン放送に集中できる。或は、コマーシャルが望まれる場合には、全てのコマーシャルを、後の分析のためにメモリ内に蓄積することができる。
【００３４】
この方法は、テレビジョン番組のビデオフレームを分析するために、テレビジョン信号のビデオ部分の分割（ステップ１１８）も含む。好適な実施例では、監視されている各番組の各ビデオフレームは、分析される（即ち、米国では、秒当り３０ビデオフレームが分析される。ビデオ分割は従来技術で既知であり、一般的には、１９９９年１月のＣＡサンノゼの、画像及びビデオデータベースのためのストレージと検索に関するＳＰＩＥコンフェレンスの会報の第２４３−２５１頁のＴ．ＭｃＧｅｅ及びＮ．Ｄｉｍｉｔｒｏｖａによる”非ストーリー部分の識別と除去のためのＴＶ番組の分析”、１９９９年９月のボストンでの、マルチメディアストレージ及びアーカイビングシステムに関するＳＰＩＥ会議ＩＶ、第２−１０ページのＮ．Ｄｉｍｉｔｒｏｖａ及びＨ．Ｅｌｅｎｂａａｓ及びＴ．ＭｃＧｅｅによる”ＰＮＲＳ−個人ニュース検索システム”、及び、１９９５年の言語と視覚を統合するための計算モデルに関するＡＡＡＩＦａｌｌ１９９５シンポジウムの、Ａ．Ｈａｕｐｔｍａｎｎ及びＭ．Ｓｍｉｔｈによる”ビデオ分割のためのテキスト、スピーチ及び、視覚：インフォーメディアプロジェクト”と称する出版物の中で説明され、これらの全体の開示は参照によりここに組み込まれる。ユーザの視聴嗜好がＪｏｈｎ  Ｆ．  Ｋｅｎｎｅｄｙに関する主題を見る希望を示す場合には、Ｊｏｈｎ  Ｆ．  Ｋｅｎｎｅｄｙに関連するビジュアル（例えば、顔）及び／又はテキスト情報を含むテレビジョン番組のビデオ部分のどのセグメントも、現在の放送がユーザの視聴嗜好に関連することを示す。従来技術で既知のように、ビデオ分割は、制限はされないが以下を含む。
【００３５】
カット検出：突然のシーン変化（ハードカット）又は、緩やかな変化（ディゾルブ、フェードイン及び、フェードアウト）を認識するために、２つの連続するビデオフレームが比較される。カット検出の説明は、１９９７年の知識及び情報管理に関するＡＣＭ会議の会報第１１３−１２０頁の、”ビデオキーフレーム抽出及びフィルタリング：キーフレームが全てのキーフレームでない”と称するＮ．Ｄｉｍｉｔｒｏｖａ及びＴ．ＭｃＧｅｅ、Ｈ．Ｅｌｅｎｂａａｓによる出版物に掲載されており、これらの全体の開示は参照によりここに組み込まれる。
【００３６】
顔検出：ビデオフレームの領域が、どこが肌色階調を含み、そして、どこが長円上の形状に対応するかが識別される。好適な実施例では、一旦、顔の画像が識別されると、ビデオフレーム内で示されている顔の画像がユーザの視聴嗜好に対応するか否かを決定するために、画像はメモリに蓄積された既知の顔の画像のデータベースと比較される。顔検出の説明は、１９９９年１１月のパターン認識レターのＶｏｌ．２０、Ｎｏ．１１の”画像注釈に対する顔検出”と称する、Ｇａｎｇ  Ｗｅｉ及び、Ｉｓｈｗａｒ  Ｋ．Ｓｅｔｈｉによる出版物により与えられ、これらの全体の開示は参照によりここに組み込まれる。
【００３７】
テキスト検出：オーバレイ又はスーパーインポーズされたテキストのような、ビデオフレームに現れるテキストは識別されそして、テキストがユーザの視聴嗜好に関連するか否かに関する決定が行われる。テキスト検出の説明は、１９９９年のコンピュータビジョンとパターン認識に関するＩＥＥＥ会議と共に行われた、１９９９年６月のコロラド、フォートコリンズの、ＣＢＡＩＶＬに関するＩＥＥＥワークショップの会報で、Ｌ．ＡｇｎｉｈｏｔｒｉとＮ．Ｄｉｍｉｔｒｏｖａによる”ビデオセグメント内のテキスト検出”称する論文により提供され、これらの全体の開示は参照によりここに組み込まれる。好適な実施例では、一旦テキストが検出されると、従来技術で既知の光学的文字認識（ＯＣＲ）は、検出された領域に使用され、そして、メモリ内に蓄積されたルックアップテーブルが検出されたテキストを認識するのに使用される。ルックアップテーブルは、種々の単語間の関係を含むことが好ましい。例えば、”ビルクリントン”は、”米国大統領”、”政治”、”ホワイトハウス”、”モニカルウィンスキー”及び、”ホワイトウォーター”に関連する。
【００３８】
動き推定／分割／検出：動く物体はビデオシーケンス内で決定され、そして、動く物体のその軌跡は分析される。ビデオシーケンス内の物体の動きを決定するために、光流推定、動き補償及び、動き分割のような既知の動作が採用されるのが好ましい。動き推定／分割／検出の説明は、１９９３年4月のコンピュータビジョンの国際ジャーナルのＶｏｌ．１０、Ｎｏ．２、第１５７−１８２頁の、Ｐａｔｒｉｃｋ  Ｂｏｕｔｈｅｍｙ及びＦｒａｎｃｏｉｓ  Ｅｄｏｕａｒｄによる、”画像シーケンスからの動き分割及び質的な動的シーン分析”と題する出版物により提供され、これらの全体の開示は参照によりここに組み込まれる。
【００３９】
カメラ動き：５つの全体的なカメラパラメータの組みが使用され、２つの平行移動と３つの回転が好ましい。そして、３−Ｄカメラ動きは、純粋なトラッキング（水平動き）、ブーミング（垂直動き）、ドーリング（深さの動き）、パンニング（垂直全体軸のまわりの回転）、チルティング（水平軸のまわりの回転）及び、ローリング（ｚ−軸のまわりの回転）又は、これらの動きの組合せとして分類される。この情報はビデオショットを例えば、”静的”、”ズーム”及び／又は”スパン”に分類し、そして、さらに、このショットを発生させるためのディレクターの意図を決定するのに使用される。このカメラ動き情報は、ＥＰＧデータが利用できない場合にはプログラムのカテゴリーがカメラ動きに基づいて決定されるというように分類で使用される。カメラ動き検出の説明は、１９９４年のＰＡＭＩに関するＩＥＥＥ論文集Ｖｏｌ．６、番号１の第１３−２７頁に、Ｒ，Ｙ，ＴｓａｉとＴ．Ｓ．Ｈｕａｎｇによる”曲面の剛体の３次元動きパラメータの唯一性及び推定”と題する出版物により提供され、これらの全体の開示は参照によりここに組み込まれる。
【００４０】
この方法はテレビジョン信号のオーディオ部分の分割も含み（ステップ１２０）、ここで、テレビジョン放送のオーディオ部分は、視聴嗜好に関連する単語。音声の発生に関して監視される。オーディオ分割は、以下の形式のテレビジョン番組の分析を含む：音声からテキストへの変換、オーディオ効果及び、イベント検出、話者識別、番組識別、音楽分類及び、話者識別に基づく会話検出。
【００４１】
オーディオ分割は、オーディオ信号を、音声部分と非音声部分へ分割することを含む。オーディオ分割の第１ステップは、帯域幅、エネルギー及び、ピッチのような低レベルのオーディオの特徴を使用する分割分類に関係する。その後に、チャネル分離が、各々が独立に分析されるように、同時に発生するオーディオ成分を互い（音楽と音声）から分離するのに採用される。その後に、テレビジョン番組のオーディオ部分は、音声からテキストへの変換、オーディオ効果及びイベント検出及び、話者識別のように、異なる方法で処理される。オーディオ分割は従来技術で既知であり、そして、一般的には、１９９６年秋のＩＥＥＥマルチメディア、第２７−３６頁に、Ｅ．ＷｏｌｄとＴ．Ｂｌｕｍによる”コンテンツに基づくオーディオ信号の分類、検索及び、取り出し”と題する出版物で説明され、これらの全体の開示は参照によりここに組み込まれる。
【００４２】
音声からテキストへの変換（従来技術で知られており、例えば、１９９８年２月８−１１の、ＶＡでの、ＤＡＲＰＡ放送ニュース翻訳及び理解ワークショップでの、Ｐ．Ｂｅｙｅｒｌｅｉｎ，Ｘ．Ａｕｂｅｒｔ，Ｒ．Ｈａｅｂ−Ｕｍｂａｃｈ，Ｄ．Ｋｌａｋｏｗ，Ｍ．Ｕｌｒｉｃｈ，Ａ．Ｗｅｎｄｅｍｕｔｈ及びＰ．Ｗｉｌｃｏｘによる、”英語放送ニュースの自動翻訳”と題する出版物参照し、これらの全体の開示は参照によりここに組み込まれる）は、テレビジョン信号のオーディオ部分の音声部分が背景ノイズ又は音楽から、一旦、識別されるか又は分離されると、使用できる。音声からテキストへの変換は、クローズドキャプションがテレビジョン番組のオーディオ部分の翻訳を提供するのに利用できない場合には、重要である。音声からテキストへの変換は、視聴嗜好に関するキーワードのスポット化のような応用に使用できる。
【００４３】
オーディオ効果を、イベント検出（従来技術で知られており、例えば、１９９７年のカリフォルニア、メンロパークのＡＡＡＩプレスの知的マルチメディア情報検索の第１１３−１３５ページに、Ｔ．Ｂｌｕｍ，Ｄ．Ｋｅｉｓｌａｒ，Ｊ．Ｗｈｅａｔｏｎ及び、Ｅ．Ｗｐｌｏｄによる、”内容に基づく検索を伴なうオーディオデータベース”と題する出版物参照し、これらの全体の開示は参照によりここに組み込まれる）で使用できる。イベントは、特定のイベントに関連しうる音声を識別することにより検出されうる。例えば、視聴パラメータがホッケー又はサッカーゴールの再生を含む場合には、スポーツイベント内でアナウンサーが”ゴール”と叫ぶことが検出されそして番組部分はメモリ内に記録される。
【００４４】
話者識別（従来技術で既知であり、例えば、１９９７年２月、ＣＡサンノゼでの、ＩＳ＆Ｔ  ＳＰＩＥ会報：画像ビデオデータベースの蓄積と検索Ｖの第２１８−２２５頁のＮｉｌｅｓｈ  Ｖ．ＰａｔｅｌとＩｓｈｗａｒ  Ｋ．  Ｓｅｔｈｉによる、”話者識別を使用するビデオ分類”と題する出版物を参照し、これらの全体の開示は参照によりここに組み込まれる）は、話者の同一性を決定するために、オーディオ信号内に存在する音声の音声署名を分析することを含む。話者識別は、例えば、好みの俳優又は、政治的な人物のコメントの検索に使用できる。
【００４５】
番組識別は、テレビジョン番組を識別するために、オーディオ／データ／ビジュアル信号のオーディオ部分を分析することを含む。これは特に、番組のカテゴリー化とインデックス化に有益である。これは、ＥＰＧ情報が利用できない場合に重要である。分析されたオーディオ部分は、番組が視聴パラメータと一致するかどうかを決定するために、番組を識別するために、番組特性のライブラリーと比較される。
【００４６】
音楽分類は存在する音楽形式（クラッシック、ロック、ジャズ等）を決定するために、オーディオ信号の非音声部分を分析することを含む。これは、例えば、オーディオ信号の、周波数、ピッチ、音色、非音声部分の音とメロディを分析しそして、分析結果を特定の形式の音楽の既知の特徴と比較することにより達成される。音楽分類は、従来技術で既知であり、１９９９年１０月１７−２０のＮＹ、ニュープラッツでの、オーディオと音響の信号処理の適用に関する１９９９ＩＥＥＥワークショップでの、Ｅｒｉｃ  Ｄ．  Ｓｃｈｅｉｒｅｒによる、”分離無しの音楽理解に向けて：コレログラム共変調を伴なう音楽分割”と題する出版物で一般的に説明されている。
【００４７】
オーディオとビデオ信号の分割後に、適切な場合には、現在のテレビジョン番組が視聴パラメータと一致するかどうかを決定するために、分割されたオーディオ及びビデオ信号の種々の部分は結合（統合）される（ステップ１２１）。分割されたオーディオとビデオ信号の統合は、複雑な視聴パラメータのために必要である。例えば、視聴者が、特定のハンドジェスチャーをしながら、特定の俳優が特定のラインを話すのを見たい場合には、（俳優を認識するために）顔認識のみが要求されるだけでなく、（スクリーン上の俳優が話していることを保証するための）話者識別、（俳優が適切な単語を話していることを保証する）音声からテキストへの変換及び、（俳優の特定のハンドジェスチャーを認識する）動き推定／分割／検出も要求される。
【００４８】
上述のように、ビジュアル及びオーディオ分割と同時に、分割されたオーディオとビデオ情報は（適用可能ならば）統合され、そして、視聴嗜好と比較される（ステップ１２２）。その後に、特定のチャネルの現在の番組が視聴嗜好と一致するかどうかに関して決定がなされる。そのようである場合には、好適な実施例では、その番組は視聴嗜好との一致に関してランクが付けられ（ステップ１２３）、そして、現在の番組がユーザの視聴嗜好と一致する限りメモリ内に記録される（ステップ１２４）。ランク付けは、ユーザの最も気に入った視聴パラメータに対応するビデオ部分を最初にメモリ内に配置し、気に入った中で最も低い視聴パラメータに対応するビデオ部分を最後にメモリ内に配置することを含む。このように、視聴者が記録された番組部分を見るときには、最も高いランクの付されたものは最初に見られる。
【００４９】
本発明が動作しながら、ユーザが同時にもう１つのテレビジョンショーを見る場合には、ユーザは同時に、興味のあるテレビジョンショーが特定のチャネルで放送されていることが通知される（ステップ１２６）。視聴者による要求に際し、記録された番組部分は、検索されそして、ユーザによる視聴のために提供される（ステップ１２８）。
【００５０】
上述のように、（コアＡＶモジュールにより決定される）オーディオとビデオ分割の部分は、テレビジョン番組中の特定のイベントを決定するために、中間レベル及びハイレベルモジュールを使用して結合（即ち統合）される。コアＡＶモジュールは、独立したオーディオ及びビデオ分析を提供するビジュアル及びテキストモジュールを含む。これらのモジュールはそれ自身により、複数の処理ユニットを含む。コアＡＶモジュールの主目的は、テレビジョン番組内容の語義記述に似ている高レベル判断を推論するための統合モジュール（中間レベル及びハイレベルツール）への入力として使用できる、低レベルの特徴を抽出することである。基本的なビジュアル属性は、色、動き、形状及び、テクスチャーである。これらの属性の各々は、局部演算子から領域的／全体演算子に亘る演算子の大きな組みにより記述される。これらの演算子は、互いに独立して処理されそして、タスクに独立であるので、原始的である。中間レベル及びハイレベル統合モジュールの組みは、コアＡＶモジュールからの異なる要素を組合せるツールを含む。統合モジュールの目的は、内容データからハイレベル情報を抽出することである。これは、低レベル特徴の多様式の統合を含む。中間レベルツール（モジュール）は、典型的には、オブジェクト部分とオーディオ／データ／ビジュアル属性の間の関係を記述するのに使用される。ハイレベルツールがオブジェクトと識別し／関連付け／処理するのに使用される。これらのモデルは静的又は動的である。動的なモデルは適当なときに更新される。
【００５１】
中間レベル情報からハイレベル情報を区別するものは、ハイレベル情報に対しては、ループ内に判断処理があることである。これは、モジュールの内部へ、どのコアＡＶモジュールがどの条件下で使用されるかを決定する処理があることを意味する。高レベルモジュールの典型的な例は、動作、イベント検出／人紙Ｋ、ストーリー分割及び分類、番組分類及び、情況検出である。
【００５２】
視聴嗜好が俳優の（例えば、ドアを空け部屋に入るというような）特定の動作である場合には、俳優の動作が視聴パラメータに対応するかどうかを決定するのに、顔検出及び/又は音声識別が使用されるだけでなく、動き検出も、特定の俳優の動作を正確に指摘するのに使用されるので、中間レベル又はハイレベルモジュールが使用される。この結果、複数の判断ループがテレビジョン番組を分析するのに使用される。
【００５３】
本発明は、全体の番組のビデオの概要を発生することができ、それにより、ユーザにより見られる記録された部分は、番組の情況で見られる（即ち”キャッチアップ”機能）と予見される。ビデオ概要は、記録されなかった番組の部分の指示を提供するために、キーフレーム画像及び、クローズドキャプションを使用して発生することができることが予見される。
【００５４】
視聴嗜好は、特定のユーザがテレビジョンを見るたびに毎回、自動的に更新されることができることも予見される。これは、（例えば、アクション、明るい色のような）番組のビジュアル及び他の特徴とともに、特定の番組を見るのに費やされた視聴者の時間（及び番組のカテゴリー）に基づき達成される。パレンタル制御をテレビジョン番組のフィルタ出力部分に又は、番組の内容に基づき全体の番組に、付加することもできる。本発明は、ヌード、暴力又は、卑猥な単語を有するテレビジョン番組を検出でき、そして、番組のこれらの部分を年少者が見るのを防ぐことができる。
【００５５】
システムは、視聴者がテレビジョンを見ながら、記録された情報に関して視聴者へ更新を提供することができると予見される。言いかえれば、視聴者は、視聴者が他のテレビジョンチャネルを見ている間に、視聴パラメータと一致するテレビジョン部分が記録されたことを知らされる。また、ユーザが１つのテレビジョン番組を見ておりそして、システムが興味ある番組を識別する場合には、ユーザは興味のある番組の実時間での検出が知らされることが予見される。さらに、システムは、視聴嗜好に基づいて、蓄積空間を管理するために、毎日／毎週の自動ストレージクリーンアップ機能を行うと予見される。好適な実施例では、システムは、時間キャッチアップ機能をも含む。特に、ある人がテレビジョンチャネルをサーフィンしておりそして、興味のある番組を偶然発見した場合には、その人は、”抽出されたビデオポスター”（又は、概要、予告編）を見ることにより”キャッチアップ”できる。
【００５６】
従って、本発明は、ある人が特定の形式のテレビジョン番組を見たいときには、又は、特定の情報を得たいときには、本発明は、視聴者が見たいと望む番組、トピックス及び、イベントに関するプログラム可能な希望リストを設定する、”ビデオスカウトシステム”を提供する。
【００５７】
本発明を、視聴者の位置で視聴者に関する所望のテレビジョン番組及びテレビジョン番組の部分／情報を見つけることに関して説明したが、ビデオ仲買サービスを、要求に際しての、特定のビデオ部分のフィルタリングと配送に使用できる。従って、このシステムはユーザ端に配置されないが、しかし、例えば、ケーブルテレビジョン供給業者端に配置され、そして、システムは複数のユーザに対して同時に動作する。
【００５８】
本発明は、個人化されたビデオ情報識別システムを提供するために、ビデオストリーム内に糸口を見つけるために、ビデオ分割、ビデオ分析、音声認識、文字認識及び、物体の見分けのような現在ある技術を、使用し且つ適用する。
【００５９】
更に、特定の番組内の視聴者のフィードバックと興味を監視し且つ記録するのに適用されることが可能であると予見される。集められた情報は、新たな番組、新たな製品、新たなフィルム及び、特定のイベントの製作を始めるのに貴重である。本発明は、個々の視聴者の興味を捕捉することができる。装置が個人により多く使用されるほど、ユーザの発散する興味に適合することよりが可能である。このように、本発明は、ユーザが変化しそして、システムがユーザに関する更なる情報を取得する両方に関して、常に変化する個人の興味に関する情報をモデル化する。この情報は、広告会社と放送会社に有益である。ビデオフィルタリングシステムは、ビデオ分析処理により、映画全体の又はテレビジョン番組のブラウズ可能なレイアウトを発生することができる。さらに、本発明は、個人が、マルチメディア表示として、テレビジョン番組の内容をあらかじめ見る及び予め聴くことを可能とする。これは、ビデオの分割、その内容の分析及び、重要な会話部分と共に元のそして合成したフレームよりなるブラウズ可能なレイアウトをユーザへ表示することにより達成される。
【００６０】
付随する図を参照して、本発明は、特に好適な実施例を説明したが、本発明は、詳細な実施例には制限されず、種々の変更と変形は、請求項により定義される本発明の範囲から離れることなく当業者により行われることは理解されよう。
なお、上記の請求項について以下の付記を記載する。
（付記１）  ａ）視聴者の視聴嗜好を決定するステップと、
ｂ）第１の複数のオーディオ／データ／ビジュアル信号を受信するステップと、
ｃ）第１の複数のオーディオ／データ／ビジュアル信号から、モニタされる第１の複数のオーディオ／データ／ビジュアル信号のサブセットである第２の複数のオーディオ／データ／ビジュアル信号を識別するステップと、
ｄ）所望のオーディオ／データ／ビジュアル情報を識別するために、前記視聴嗜好と第２の複数のオーディオ／データ／ビジュアル信号を比較するステップと、
ｅ）所望のオーディオ／データ／ビジュアル情報へのアクセスを提供するステップとを有する所望のオーディオ／データ／ビジュアル情報を選択する方法。
（付記２）  所望のオーディオ／データ／ビジュアル情報を蓄積するステップと、
視聴者から要求されたときに、所望のオーディオ／データ／ビジュアル情報を取り出すステップとを更に有する付記１に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
（付記３）  前記ステップ（ｄ）は、
前記第２の複数のオーディオ／データ／ビジュアル信号の各々に対応する内容データを抽出するステップと、
前記抽出された内容データにインデックスを付すステップと、
所望のオーディオ／データ／ビジュアル情報を識別するために、前記インデックスの付された内容データと前記視聴嗜好を比較するステップとを有する、付記１に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
（付記４）  抽出された内容データは、クローズトキャプション化テキスト、ＥＰＧデータ、オーディオ内容情報、ビジュアル内容情報及び、翻訳情報のうちの少なくとも１つを有する、付記３に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
（付記５）  ビジュアル内容情報は、カット検出、顔検出、テキスト検出、動き推定／分割／検出及び、カメラ移動のうちの少なくとも１つを有する、付記４に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
（付記６）  オーディオ内容情報は、スピーチからテキストへの変換、オーディオ効果及びイベント検出、話者識別、番組識別、音楽分類及び、話者識別に基づく会話検出のうちの少なくとも１つを有する、付記４に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
（付記７）  翻訳情報は、自然言語処理及び理解、話法分析、キーワード検出及び、放送分類化のうちの少なくとも１つを有する、付記４に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
（付記８）  クローズトキャプション化テキスト、ＥＰＧデータ、抽出されたオーディオ情報、抽出されたビジュアル情報及び、抽出された翻訳情報のうちの少なくとも２つを統合するステップをさらに有する、付記４に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
（付記９）  統合するステップは、イベント及び動作検出、ストーリーの分割、ストーリーの分類、番組の分類及び、情況検出のうちの少なくとも１つを提供する、付記８に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
（付記１０）  情況検出は、人間の顔と背景の少なくとも１つの検出を有する、付記９に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
（付記１１）  前記所望のオーディオ／データ／ビジュアル情報は、放送及びケーブルテレビジョン信号、インターネットに基づく信号及び、データ信号のうちの少なくとも１つを有する、付記１に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
（付記１２）  ステップ（ｃ）は、
視聴嗜好に関連する第２の複数のオーディオ／データ／ビジュアル信号を識別するために、第１の複数のオーディオ／データ／ビジュアル信号の各々に対する電子番組案内（ＥＰＧ）データと視聴嗜好を比較するステップを有する、付記１に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
（付記１３）  ステップ（ａ）は、
キーパッド、キーボード、オンスクリーン表示、遠隔制御装置、タッチスクリーン、音声命令又はタッチパッドを介して、視聴者が見ることを望むオーディオ／データ／ビジュアル情報の特性を入力するステップを有する、付記１に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
（付記１４）  ステップ（ａ）は、
視聴者が見ることを望むオーディオ／データ／ビジュアル情報の特性に対応する視聴嗜好を公式化するために視聴者の視聴習慣を監視するステップを有する、付記１に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
（付記１５）  視聴者がテレビジョン放送信号又はインターネットに基づく信号にアクセスするたびに、視聴嗜好を自動的に更新するステップを更に有する、付記１４に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
（付記１６）  第２の複数のオーディオ／データ／ビジュアル信号のコマーシャル部分と非コマーシャル部分を識別するステップを更に有する、付記１に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
（付記１７）  所望のオーディオ／データ／ビジュアル情報を、前記視聴嗜好へのその関連に従ってランク付けをするステップを更に有する、付記１に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
（付記１８）  ステップ（ｅ）は、
前記所望のオーディオ／データ／ビジュアル情報の少なくとも一部分を、メモリ内に蓄積するステップを有する、付記１に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
（付記１９）  所望のオーディオ／データ／ビジュアル情報が識別されたことを視聴者に通知するステップを更に有する、付記１に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
（付記２０）  視聴者がオーディオ／データ／ビジュアル情報信号と対話している間に、視聴者は通知される、付記１９に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
（付記２１）  方法は複数の視聴者に対して同時に行われる、付記１に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
（付記２２）  ａ）ユーザの嗜好を決定するステップと、
ｂ）複数のオーディオ／データ／ビジュアル信号を受信するステップと、
ｃ）所望のオーディオ／データ／ビジュアル情報を識別するために、前記嗜好と複数のオーディオ／データ／ビジュアル信号を比較するステップと、
ｄ）所望のオーディオ／データ／ビジュアル情報へのアクセスを提供するステップとを有する、所望のオーディオ／データ／ビジュアル情報を選択する方法。
（付記２３）  前記嗜好との比較のために複数のオーディオ／データ／ビジュアル信号のうちの少なくとも１つを選択するステップを更に有する、付記２２に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
（付記２４）  複数のオーディオ／データ／ビジュアル信号のうちの少なくとも１つの選択は、ランダム、順次及び、周期的のうちの少なくとも１つで行われる、付記２３に記載の所望のオーディオ／データ／ビジュアル情報を選択する方法。
（付記２５）  視聴者の視聴嗜好を提供する入力装置と、
第１の複数のオーディオ／データ／ビジュアル信号を受信し、
第１の複数のオーディオ／データ／ビジュアル信号から、モニタされる第１の複数のオーディオ／データ／ビジュアル信号のサブセットである第２の複数のオーディオ／データ／ビジュアル信号を識別し、
所望のオーディオ／データ／ビジュアル情報を識別するために、前記視聴嗜好と第２の複数のオーディオ／データ／ビジュアル信号を比較し、
識別されたオーディオ／データ／ビジュアル情報へのアクセスを提供する情報選択器とを有する、オーディオ／データ／ビジュアル信号選択システム。
（付記２６）  ユーザの嗜好を提供する入力装置と、
複数のオーディオ／データ／ビジュアル信号を受信し、
所望のオーディオ／データ／ビジュアル情報を識別するために、前記嗜好と複数のオーディオ／データ／ビジュアル信号を比較し、
識別されたオーディオ／データ／ビジュアル情報へのアクセスを提供する情報選択器とを有する、オーディオ／データ／ビジュアル信号選択システム。
（付記２７）  情報選択器に機能的に接続され、前記所望のオーディオ／データ／ビジュアル情報の少なくとも一部分を蓄積するメモリを更に有する、付記２６に記載のオーディオ／データ／ビジュアル信号選択システム。
【符号の説明】
【００６１】
１０  オーディオ／データ／ビジュアル情報選択装置
１２  ビデオモニタ
１４  個人プロファイル入力装置
１６  オーディオ／データ／ビジュアル信号受信器
１８  デマルチプレクサ
２０  ＥＰＧ信号受信器
２２  オーディオ／データ／ビジュアル情報選択装置
【図１】
2011086315.tif 000003
【図２】
2011086315.tif 000004