(57)【要約】  情報アラートシステム及び方法が提供される。テレビ、ラジオ及び／又はインターネットのような様々なソースのコンテンツは、前記コンテンツが手動又は自動的に作成された所定のアラートプロファイルにマッチするかどうかを決定する目的のために解析される。アラートは、この場合、オーディオ、ビデオ及び／又はテキスト形式の情報に対するアクセスを許可するために自動的に作成される。
2005509229.tif 000002
【特許請求の範囲】
【請求項１】
メディアコンテンツのソースに関するアラートを提供する方法であって、
興味のある話題に対応するプロファイルを確立するステップと、
利用可能なメディアソースを自動的にスキャンするステップであり、ソースを選択し、前記選択されたメディアソースから前記ソースのコンテンツを特徴付ける識別情報を抽出する当該スキャンするステップと、
前記識別情報を前記プロファイルと比較するステップであり、もしマッチングが発見されるならば、前記メディアソースがアクセス可能であると示す当該比較するステップと、
メディアコンテンツの次のソースに対して利用可能なメディアソースを自動的にスキャンし、前記次のソースから識別情報を抽出し、前記次のソースからの前記識別情報を前記プロファイルと比較し、もしマッチングが発見されるならば、前記次のメディアソースがアクセス可能であると示すステップと、
を有する方法。
【請求項２】
前記スキャンするステップ及び前記比較するステップが、全ての利用可能なメディアソースがスキャンされるまで繰り返される、請求項１に記載の方法。
【請求項３】
前記利用可能なメディアソースが、テレビ放送、テレビ放送及びラジオ放送、又はテレビ放送及びウェブサイト情報を含む、請求項１に記載の方法。
【請求項４】
プロファイルマッチングが生じる場合にアラート利用可能インジケータを作動するステップを有する、請求項１に記載の方法。
【請求項５】
前記プロファイルが、複数の興味のある話題を含み、異なる話題が、異なるアラートレベルに関連付けられ、前記異なるアラートレベルが、異なる種類のアラート利用可能インジケータに関連付けられる、請求項４に記載の方法。
【請求項６】
前記インジケータが、可聴式インジケータである、請求項４に記載の方法。
【請求項７】
前記インジケータが、視覚的インジケータである、請求項４に記載の方法。
【請求項８】
メディアアラートを作成するシステムであって、
複数のソースからメディアコンテンツを含む信号を受信及びスキャンするように構成された受信器装置と、
ユーザ定義アラートプロファイル情報を受信及び記憶することができる記憶装置と、
前記受信器装置にリンクされ、メディアコンテンツを含む複数のスキャンされた信号から識別情報を抽出するように構成されたプロセッサと、
前記抽出された識別情報を前記プロファイルと比較し、マッチングが検出される場合に前記メディアコンテンツを含む信号を見直しのために利用可能にする比較装置と、
を有するシステム。
【請求項９】
マッチングが検出される場合に作動されるアラートインジケータを有する、請求項８に記載のシステム。
【請求項１０】
前記受信器、前記プロセッサ及び前記比較装置は、前記受信器によりスキャン可能な全てのメディアソースをスキャンし、前記プロファイルにマッチする見直し可能なメディアソースのサブセットをコンパイルするように構築及び構成される、請求項８に記載のシステム。
【請求項１１】
前記受信器、前記記憶装置、前記プロセッサ及び前記比較装置が、テレビセット内に収容されるか、又は前記テレビセットに結合される、請求項８に記載のシステム。
【請求項１２】
前記記憶装置が、複数の選択可能な所定のアラートプロファイルを含む、請求項８に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報アラートシステム及び方法に関し、特に、ラジオ、テレビ又はインターネットのような様々なソースからのコンテンツを検索し、処理し、及びアクセスし、並びに所定のアラートプロファイルにマッチするコンテンツが利用可能であることをユーザに警告するシステム及び方法に関する。
【背景技術】
【０００２】
現在では、莫大な数の利用可能なテレビチャネルと、ラジオ信号とインターネットを介するアクセス可能なコンテンツのほとんど無限のストリームが存在する。しかしながら、莫大な量のコンテンツは、特定の視聴者が捜しているかもしれないタイプのコンテンツを発見すること、及び様々な時間帯におけるアクセス可能な情報をパーソナライズすることを難しくし得る。視聴者は、１つのチャネルで映画を見ることができるが、前記視聴者の大好きなスターが、異なるチャンネルでインタビューされていること、又は事故が、明日の朝、仕事に行くために渡る必要がある橋を閉ざすであろうことに気づかないかもしれない。
【０００３】
ラジオ局は、一般に、コンテンツベースで検索するのが特に難しい。テレビサービスは、視聴ガイドを提供し、ある場合には、視聴者は、ガイドチャネルに切り替え、放送している又は様々な時間間隔で放送されるであろう番組情報の縦に続くストリームを見ることができる。リストにされた番組はチャネル順にスクロールし、視聴者は、このスクロールに対して制御を持たず、しばしば、所望の番組を発見する前に多数のチャネルの表示の終わりまでじっと見ていなければならない。他のシステムにおいて、視聴者は、テレビ画面上の視聴ガイドにアクセスする。これらのサービスは、一般に、ユーザが特定のコンテンツのセグメントを検索することを可能にしない。例えば、視聴者は、前記視聴者のお気に入りのチームが話題にされている地元のニュース放送のスポーツセグメントのみに興味があるかもしれない。しかしながら、視聴者は、前記視聴者のお気に入りのスターが聞いたことのない映画に出ていることを知っているはずがなく、ニュース放送が、前記視聴者が知る必要があるであろう緊急情報を含むかどうか前もって知る方法はない。
【０００４】
インターネットにおいては、コンテンツを捜しているユーザは、検索エンジンに検索要求をタイプ入力することができる。しかしながら、検索エンジンは、使用するのに非効率的であり、頻繁にユーザを望ましくない又は不所望なウェブサイトに案内することがあり得る。更に、これらのサイトは、ユーザにログインを要求し、所望のコンテンツが得られる前に時間を無駄にする。
【０００５】
参照により内容が開示に含まれる米国特許出願公開公報第5,861,881号は、コンピュータネットワーク上で動作することができるインタラクティブ・コンピュータシステムを記述する。加入者は、入力装置及びパーソナルコンピュータ又はテレビを使用してインタラクティブプログラムと相互作用する。複数のビデオ／オーディオ・データストリームは、放送送信源から受信されることができ、ローカル又は外部記憶部に存在してもよい。従って、前記公報5,861,881は、単に、所定の代替データストリームのセットから代替データストリームの１つを選択するステップを記述しているにすぎなく、視聴者の興味に関連する情報を検索し、アラートを作成する方法を提供しない。
【０００６】
参照により内容が開示に含まれるInteractive Play List Generation Using Annotationsと題された国際特許出願公開公報WO 00/16221は、どのように複数のユーザ選択されたアノテーションが、これらのアノテーションに対応するメディアセグメントのプレイリストを定義するために使用されることができるかを記述する。ユーザ選択されたアノテーション及び対応するメディアセグメントは、この場合、シームレスな態様でユーザに提供されることができる。ユーザインターフェースは、前記ユーザが前記プレイリストと、前記プレイリストにおけるアノテーションの順序とを変更することを可能にする。従って、前記ユーザインターフェースは、各アノテーションを短いサブジェクトラインにより識別する。
【０００７】
従って、前記公報WO 00/16221は、ストリーミング・ビデオサーバを有するネットワークコンピュータシステムを介してビデオのプレイリストを生成する完全に手動の態様を記述する。前記ユーザインターフェースは、二画面を有するクライアントコンピュータ上に窓を提供する。前記画面の一方は、アノテーションリストを含み、他方は、メディア画面である。前記ユーザは、前記アノテーションの情報に基づいて検索されるべきビデオを選択する。しかしながら、前記選択は、依然として前記ユーザにより行われる必要があり、前記インターフェースの正確性及び完全性に依存する。自動的なアラート機構は記述されていない。
【０００８】
参照により内容が開示に含まれるContents Extraction Method and Systemと題された欧州特許出願公開公報EP1052578A2は、ユーザの嗜好性を示すユーザ特性データを用いてあらかじめ記録されるユーザ特性データ記録媒体を記述する。これは、ユーザ端末装置に搭載されるので、前記ユーザ特性データは、前記ユーザ特性データ記録媒体に記録されることができ、前記ユーザ端末ユニットに入力される。この態様において、マルチメディアコンテンツは、前記ユーザの興味のあるマルチメディアコンテンツの特性を識別する検索キーボードとして前記入力されたユーザ特性を使用して自動的に検索されることができる。所望なコンテンツは、選択及び抽出されることができ、検索の結果に基づいて表示されることができる。
【０００９】
従って、前記公報EP1052578A2のシステムは、放送システムのコンテンツを検索するか、又は視聴者の興味にマッチするマルチメディアデータベースを検索する。ビデオをセグメント化し、セクションを検索する記述は無く、これは、ここで本発明により達成されることができる。このシステムは、データベースに記憶された又は放送システムで送信されるマルチメディアコンテンツに付随されるべきキーワードの使用をも必要とする。従って、これは、前記マルチメディアコンテンツと共に送信又は記憶されるキーワードを使用しないシステムを提供しない。これは、自動的にマッチングを抽出するために字幕又は音声認識のような存在するデータを使用することができるシステムを提供しない。前記参考文献EP1052578A2も、朝のニュースの地元の交通セグメントのみのような放送の適切な部分を抽出するシステム又は如何なる自動アラート機構も記述しない。
【００１０】
従って、ユーザの個人的な興味を満足するメディアコンテンツが利用可能であることをユーザに警告する完全に便利なシステム及び方法は存在しない。
【００１１】
一般的に、本発明により、情報アラートシステム及び方法が提供される。テレビ、ラジオ及び／又はインターネットのような様々なソースからのコンテンツは、前記コンテンツが、手動で又は自動的に作成されたユーザプロファイルに対応する所定のアラートプロファイルにマッチするかどうかを決定する目的で解析される。前記プロファイルにマッチするコンテンツのソースは、オーディオ、ビデオ及び／又はテキスト形式の情報に対するアクセスを許可することを自動的に可能にされる。点滅光、点滅アイコン、及び可聴サウンド等のようなある種のアラート装置は、前記アラートプロファイルにマッチするコンテンツが利用可能であることをユーザに知らせるために使用されることができる。この態様で、検索可能なメディアコンテンツの領域は、前記ユーザの興味のある番組のみに狭められることができる。情報検索、記憶及び／又は表示（視覚的若しくは音声的）は、ＰＤＡ、ラジオ、コンピュータ、ＭＰ３プレーヤ、及びテレビ等により達成されることができる。従って、メディアコンテンツソースの領域は、パーソナライズされたセットに狭められ、前記ユーザは、マッチするコンテンツが利用可能である場合に警告されることができる。
【発明の開示】
【発明が解決しようとする課題】
【００１２】
従って、本発明の目的は、自動的に個人ベースのプロファイルにマッチするメディアコンテンツの利用可能性をユーザに警告する向上されたシステム及び方法を提供することである。
【課題を解決するための手段】
【００１３】
本発明は、従って、幾つかのステップと、このようなステップの１つ以上の互いに対する関係と、このようなステップを達成する構成の特徴、要素の結合、及び部分の配置を実施するシステムとを有し、これら全ては、以下の詳細な開示中に例示され、本発明の範囲は、請求項に示されるだろう。
【００１４】
本発明のより完全な理解のために、以下の記述に対して添付図面が参照される。
【発明を実施するための最良の形態】
【００１５】
本発明は、複数のメディアソースから情報を検索し、前記情報を事前に選択された又は自動のユーザのプロファイルと比較し、パーソナライズされたアラート選択によって直ちにアクセス可能な情報を提供するアラートシステム及び方法を対象にし、前記パーソナライズされたアラート選択は、自動的に最新データに更新されることができるので、前記ユーザは、アラートプロファイルにマッチする最新の利用可能なデータに直ちにアクセスすることができる。このデータは、ラジオ、テレビ及びインターネットのような様々なソースから集められることができる。前記データが集められた後に、前記データは、直ちに見る若しくは聞くことを可能にされることができるか、又はコンピュータ若しくは他の記憶媒体にダウンロードされることができ、ユーザは、更に、当該データのセットから情報をダウンロードすることができる。
【００１６】
アラートは、緊急性の幾つかの段階で表示されることができる。例えば、危険な緊急性は、可聴信号と共に直ちに表示されてもよく、興味のマッチするタイプのアラートは単純に記憶されてもよいし、又はユーザはＥメールによって通知されてもよい。前記アラートプロファイルは、時間的な興味の特定のトピックに対して編集されることもできる。例えば、ユーザは、夕方の有名人アラート及び朝の交通アラートに興味があるかもしれない。
【００１７】
ユーザは、手動で又は自動的に生成されることができるプロファイルを提供することができる。例えば、ユーザは、前記プロファイルの要素のそれぞれを提供することができ、又は画面上でクリックすることによりリストから選択するか、若しくはボタンを押すことにより、天気、交通、星、及び戦争等のようなプロファイルの事前に確立されたセットから選択することができる。コンピュータは、この場合、テレビ、ラジオ及び／又はインターネット信号を検索して前記プロファイルにマッチするアイテムを発見することができる。これが達成された後、アラートインジケータは、オーディオ、ビデオ又はテキスト形式の情報にアクセス又は記憶するために作動されることができる。情報検索、記憶又は表示は、この場合、ＰＤＡ、ラジオ、コンピュータ、テレビ、ＶＣＲ、ＴＩＶＯ（登録商標）、及びＭＰ３プレーヤ等により達成されることができる。
【００１８】
従って、本発明の一実施例において、ユーザは、コンピュータを用いて、又はインタラクティブ・テレビシステムを用いて画面上の様々なアラートプロファイル選択をタイプ又はクリックする。前記選択されたコンテンツは、この場合、後の視聴のためにダウンロードされ、及び／又は即座の視聴のために前記ユーザに対してアクセス可能にされる。例えば、もしユーザは雪が降るかどうかを常に知りたい場合、ＳＮＯＷ（雪）をタイプすることは、マッチするコンテンツを発見し、前記ユーザに雪の情報を警告するために使用されることができる。代わりに、前記ユーザは、１日、１週間又は他の所定の期間の間の星の全ての様子に対して警告され、アクセス可能にすることができる。
【００１９】
１つの特定の非限定的例は、ユーザのためにプロファイルを嵐、Mets、Aerosmith及びRoute 22を含むように定めることだろう。前記ユーザは、嵐に関する気象情報、Mets及びAerosmithについての情報、並びに前記ユーザが仕事に行く経路であるRoute 22について何か知るべきであるかどうかについて警告され、アクセスが与えられることができる。株市場又は投資情報が、様々な金融又はニュースウェブサイトから最良にアクセスされてもよい。本発明の一実施例において、この情報は、株価の下落のようなきっかけの結果としてのみアクセスされ、前記ユーザは、前記きっかけの発生に対してインジケータを介して警告されることができる。従って、Ciscoの投資家は、価格が事前に設定したレベルより下に落ちたか、又は市場指数がある所定レベル以下に落ちたという、彼の投資に関する情報に対して警告されることができる。
【００２０】
この情報は、編集され、前記ユーザに対してアクセス可能にされることもでき、前記ユーザは、潜在的に何百ものチャネル、ラジオ局及びインターネットサイトを調べる必要はないだろうが、事前に選択されたプロファイルにマッチする情報を自動的に直接利用可能にするだろう。更に、もし前記ユーザが、運転して仕事に行きたいが、地元の交通情報の放送を見逃したならば、前記ユーザは、他の地域ではなく前記ユーザの経路について述べた前記交通情報にアクセスし、再生することができ、アラートが示された場合のみにこれを行うだろう。また、前記ユーザは、前記情報のテキストの要約を得ることができるか、又はＭＰ３記憶装置のようなオーディオシステムに前記情報をダウンロードすることができる。前記ユーザは、この場合、車に乗った後に見逃した前記交通情報を聞くことができる。
【００２１】
ここで図１を参照すると、本発明の非限定的な好ましい実施例による、情報を受信し、前記情報を処理し、前記情報をアラートとしてユーザに対して利用可能にするシステム１００のブロック図が示される。図１に示されるように、システム１００は、様々な放送源から入力を常に受信している。従って、システム１００は、ラジオ信号１０１、テレビ信号１０２及びインターネットを介してウェブサイト情報信号１０３を受信する。ラジオ信号１０１は、ラジオチューナ１１１を介してアクセスされる。テレビ信号１０２は、テレビチューナ１１２を介してアクセスされ、ウェブサイト信号１０３は、ウェブクローラ１１３を介してアクセスされる。
【００２２】
受信される情報の種類は、全ての分野から受信されるだろうし、ニュース放送、スポーツ情報、気象情報、金融情報、映画、コメディ、及び交通情報等を含むことができる。マルチソース情報信号１２０は、この場合、アラートシステムプロセッサ１５０に送信され、アラートシステムプロセッサ１５０は、上で述べたように識別情報を抽出するために前記信号を解析するように構成され、信号１５１をユーザ・アラート・プロファイル比較プロセッサ１６０に送信する。ユーザ・アラート・プロファイル・プロセッサ１６０は、識別基準を前記アラートプロファイルと比較し、特定のコンテンツソースが前記プロファイルを満たすか否かを示す信号１６１を出力する。プロファイル１６０は、手動で作成されるか、若しくは様々なフォーマット済みプロファイルから選択されるか、又は自動的に生成されるか、若しくは修正されることができる。従って、フォーマット済みプロファイルは、アイテムを追加するように又は前記ユーザにとって興味のないアイテムを削除するように編集されることができる。本発明の一実施例において、前記システムは、ユーザの視聴習慣又は興味を評価するように設定され、この評価に基づいて前記プロファイルを自動的に編集又は生成することができる。例えば、もし“Mets”がユーザにより視聴される番組から抽出された情報に頻繁に存在するならば、前記システムは、前記解析されたコンテンツにおいて“Mets”を検索するように前記プロファイルを編集することができる。
【００２３】
もし前記情報がプロファイルにマッチしなければ、前記情報は無視され、システム１００は、次のコンテンツのソースから追加情報を抽出する処理を続ける。
【００２４】
受信された情報を処理し、前記プロファイルと比較する１つの好ましい方法は、図２のフローチャートにおける方法２００として、より明確に示される。方法２００において、入力信号１２０’は、様々なコンテンツソースから受信される。ステップ１５０’において、バッファ及びコンピュータを有することができるアラートプロセッサ１５０（図１）は、字幕情報、オーディオ−テキスト認識ソフトウェア、及び音声認識ソフトウェア等により情報を抽出し、自動的にキーワード検索を実行する。例えば、もし即時情報システム１５０がテレビ放送に関連した字幕情報又はウェブサイトのタグ情報の中に単語“Route 22”を検出するならば、これは、前記ユーザに警告し、前記放送又はウェブサイトを利用可能にするだろう。もしシステム１５０が、音声認識処理によりスターの音声パターンを検出するならば、これは、前記スターのコンテンツをどこで発見するかを前記ユーザに警告することができる。
【００２５】
ステップ２２０において、前記抽出された情報（ステップ２２０からの信号１５１）は、この場合、前記ユーザのプロファイルと比較される。もし前記情報が、ユーザの興味２２１にマッチしなければ、前記情報は無視され、情報を抽出する処理１５０’は、次のコンテンツのソースに続く。マッチングが発見された場合２２２、前記ユーザは、例えばある種のオーディオ、ビデオ又は他のアラートシステム１７０により、ステップ２３０において通知される。前記アラートにマッチするコンテンツは、記録／表示装置１８０に送信されることができ、記録／表示装置１８０は、特定の放送を記録及び／又はこれを前記ユーザに対して表示することができる。通知のタイプは、上で述べられたように前記アラートのレベルに依存することができる。
【００２６】
従って、ユーザプロファイル１６０は、様々なコンテンツソース１１１，１１２及び１１３から適切な信号１２０を自動的に選択し、所望の情報に対応する様々なソースの全てを含むアラート１８０を作成するのに使用される。従って、システム１００は、ダウンロード装置を含むことができるので、情報は、例えば、ビデオカセット、ＭＰ３記憶装置、ＰＤＡ又は様々な他の記憶／再生装置の何れにでもダウンロードされることができる。
【００２７】
更に、何れの又は全ての構成要素が、テレビセットに収容されることができる。また、スキャニング及び／又はダウンロード用の１つのチューナと、現在の視聴用の２つ目のチューナとを有するデュアル又は多重チューナも、備えられることができる。
【００２８】
本発明の一実施例において、全ての前記情報は、コンピュータにダウンロードされ、ユーザは、前記ユーザが表示することを望むソースが見つかるまで様々なソースを単純に見て調べることができる。
【００２９】
本発明の特定の実施例において、記憶／再生／ダウンロード装置は、ユーザのパーソナライズされたプロファイルにより制御及びアクセスされる中央集権サーバであることができる。例えば、ケーブルテレビ会社は、ユーザ定義プロファイルに従って選択的に情報を記憶する記憶システムを作成し、前記プロファイルマッチング情報にアクセスするようにユーザに警告することができる。前記マッチングは、キーワードの単一のワード又はストリングを含むことができる。前記キーワードは、シソーラス又はWorldNetのようなプログラムにより自動的に拡張されることができる。前記プロファイルは、時間感受性であることもでき、午前６時から午前８時までの交通アラートのような異なる時間期間の間に異なるアラートプロファイルを検索することができる。アラートは、地域に結び付けられることもできる。例えば、フロリダに親戚を持つユーザは、フロリダの洪水及びハリケーンのアラートに興味があるかもしれない。もし交通が前記アラートシステムにより識別されれば、これは、ＧＰＳシステムにリンクし、代替経路をプロットすることができる。
【００３０】
コンテンツデータを含む信号は、関連した情報が以下の態様で抽出され、前記プロファイルと比較されることができるように、解析されることができる。
【００３１】
本発明の一実施例において、前記ビデオ信号の各フレームは、前記ビデオデータのセグメント化を可能にするために解析されることができる。このようなセグメント化は、顔検出及びテキスト検出等を含むことができる。前記信号のオーディオ成分は、解析されることができ、音声テキスト変換が達成されることができる。字幕データのようなトランスクリプトデータは、キーワード等に対して解析されることもできる。画面テキストは、キャプチャされることもでき、ピクセル比較又はＤＣＴ係数の比較が、キーフレームを識別するのに使用されることができ、前記キーフレームは、コンテンツセグメントを定めるのに使用されることができる。
【００３２】
ビデオ信号から関連した情報を抽出する１つの方法は、Dimitrova et al.の米国特許出願公開公報第6,125,229号に記述され、全体の開示は参照によりここに組み込まれ、以下に簡単に記述される。一般に、前記プロセッサは、コンテンツを受信し、前記ビデオ信号をピクセルデータを表すフレームにフォーマットする（フレーム取り込み）。フレームの取り込み及び解析の処理は、好ましくは、各記録装置に対する所定の間隔において実行されることに注意すべきである。例えば、前記プロセッサが前記ビデオ信号の解析を開始する場合、フレームは、ＭＰＥＧストリームにおけるＩフレーム又は３０秒毎のような所定の間隔で取り込まれることができ、キーフレームを識別するために互いに比較されることができる。
【００３３】
ビデオのセグメント化は、当技術分野において既知であり、一般的には、SPIE Conference on Image and Video Databases, San Jose, 2000に発表されたN. Dimitrova, T. McGee, L. Agnihotri, S. Dagtas and R. Jasinschiの“On Selective Video Content Analysis and Filtering” と題された出版物及び“Text, Speech, and Vision For Video Segmentation: The Infomedia Project” by A. Hauptmann and M. Smith, AAAI Fall 1995 Symposium on Computational Models for Integrating Language and Vision 1995の出版物の中で説明されていて、これらの全体的な開示は、参照によりここに組み込まれる。前記記録装置によりキャプチャされた人に関する視覚的情報（例えば顔）及び／又はテキスト情報を含む記録されたデータのビデオ部分の如何なるセグメントも、前記データが特定の個人に関することを示すだろうし、従って、このようなセグメントによりインデックスを付けられることができる。当技術分野において既知であるように、ビデオのセグメント化は、以下を含むが、これらに限定されない。
【００３４】
重要なシーン変更検出が含まれ、即ち連続したビデオフレームは、突然のシーン変更（ハードカット）又は滑らかな遷移（ディゾルブ、フェードイン及びフェードアウト）を識別するために比較される。重要なシーン変更検出の説明は、N. Dimitrova, T. McGee, H. Elenbaasによる“Video Keyframe Extraction and Filtering: A Keyframe is Not a Keyframe to Everyone”, Proc. ACM Conf. on Knowledge and Information Management, pp. 113-120, 1997と題された出版物の中に与えられ、これの全体的な開示は、参照によりここに含まれる。
【００３５】
顔検出が含まれ、即ち前記ビデオフレームのそれぞれの肌の色合いを含み且つ楕円形に対応する領域が、識別される。好ましい実施例において、一度顔画像が識別されると、前記画像は、メモリに記憶された既知の顔画像のデータベースと比較され、前記ビデオフレームに示された前記顔画像が、前記ユーザの視聴嗜好性に対応するかどうかを決定する。顔検出の説明は、Gang Wei and Ishwar K. Sethiによる“Face Detection for Image Annotation”, Pattern Recognition Letters, Vol.20, No.11, November 1999と題された出版物の中で与えられ、これの全体の開示は、参照によりここに組み込まれる。
【００３６】
フレームは、System and Method for Analyzing Video Content in Detected Text in Video Framesと題された欧州特許出願公開公報EP1066577の中に記述されるように、画面テキストが抽出されることができるように解析されることができ、前記公報の内容は、参照によりここに組み込まれる。
【００３７】
運動推定／セグメント化／検出が含まれ、即ち移動する対象がビデオシーケンスにおいて検出され、前記移動する対象の軌道が解析される。ビデオシーケンスにおける対象の運動を決定するために、オプティカルフロー推定、運動補正及び運動セグメント化のような既知の操作が、好ましくは採用される。運動推定／セグメント化／検出の説明は、Patrick Bouthemy and Francois Edouardによる“Motion Segmentation and Qualitative Dynamic Scene Analysis from an Image Sequence”, International Journal of Computer Vision, Vol. 10, No. 2, pp. 157-182, April 1993と題された出版物の中で与えられ、これの全体の開示は、参照によりここに含まれる。
【００３８】
前記ビデオ信号のオーディオ成分は、また、前記ユーザの要求に関連する単語／サウンドの発生に対して解析され且つモニタされ得る。オーディオ・セグメント化は、ビデオ番組の以下のタイプの解析、即ち、音声テキスト変換、オーディオ効果及びイベント検出、話し手識別、番組識別、音楽分類並びに話し手識別に基づくせりふ検出を含む。
【００３９】
オーディオ・セグメント化は、前記オーディオ信号の話部分と非話部分とへの分割を含む。オーディオ・セグメント化の第１ステップは、帯域幅、エネルギ及びピッチのような低いレベルのオーディオ特性を使用するセグメント分類を含む。チャネル分離が採用され、同時に生じる（音楽及び音声のような）オーディオ成分を互いから分離するので、それぞれが、独立に解析されることができる。この後、前記ビデオ（又はオーディオ）入力のオーディオ成分は、音声テキスト変換、オーディオ効果及びイベント検出、並びに話し手識別のような異なる方法で処理される。オーディオ・セグメント化は、当技術分野において既知であり、一般的には、E. Wold and T. Blumによる“Content-Based Classification, Search, and Retrieval of Audio”, IEEE Multimedia, pp. 27-36, Fall 1996と題された出版物の中で説明され、これの全体の開示は、参照によりここに組み込まれる。
【００４０】
音声テキスト変換（当技術分野において既知であり、例えば、参照により全体の開示がここに組み込まれるP. Beyerlein, X, Aubert, R. Haeb-Umbach, D. Klakow, M. Ulrich, A. Wendemuth and P. Wilcoxによる“Automatic Transcription of English Broadcast News”, DARPA Broadcast News Transcription and Understanding Workshop, VA, Feb. 8-11, 1998と題された出版物を参照）は、一度前記ビデオ信号の前記オーディオ部分の音声セグメントが識別されるか、又は背景雑音又は音楽から分離されると採用されることができる。前記音声テキスト変換は、イベント検索に対するキーワードスポッティングのようなアプリケーションに対して使用されることができる。
【００４１】
オーディオ効果は、イベントを検出するために使用されることができる（当技術分野において既知であり、例えば、全体の開示が参照によりここに組み込まれるT. Blum, D. Keislar, J. Wheaton, and E. Woldによる“Audio Databases with Content-Based Retrieval”, Intelligent Multimedia Information Retrieval, AAAI Press, Menlo Park, California, pp. 113-115, 1997と題された出版物を参照）。ストーリーは、特定の人又はストーリーの種類に関連するかもしれないサウンドを識別することにより検出されることができる。例えば、ライオンの咆哮が検出されることができ、セグメントは、この場合、動物についてのストーリーとして特徴付けられることができる。
【００４２】
話し手識別（当技術分野において既知であり、例えば、全体の開示が参照によりここに含まれるNilesh V. Patel and Ishwar K. Sethiによる“Video Classification Using Speaker Identification” ,IS&T SPIE Proceedings: Storage and Retrieval for Image and Video Databases V, pp. 218-225, San Jose, CA, February 1997を参照）は、前記オーディオ信号に存在する声の声紋を解析し、話している人の身元を決定することを含む。話し手識別は、例えば、特定の有名人又は政治家を検索するために使用されることができる。
【００４３】
音楽分類は、前記オーディオ信号の非音声部分を解析し、存在する音楽の種類（クラシック、ロック、ジャズ等）を決定することを含む。これは、例えば、前記オーディオ信号の前記非音声部分の周波数、ピッチ、音色、サウンド及びメロディを解析し、前記解析の結果を音楽の特定の種類の既知の特性と比較することにより達成される。音楽分類は、当技術分野において既知であり、一般的には、“Towards Music Understanding Without Separation: Segmenting Music With Correlogram Comodulation” by Eric D. Scheirer, 1999 IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, New Paltz, NY October 17-20, 1999と題された出版物の中で説明される。
【００４４】
ビデオ、オーディオ及びトランスクリプトテキストの様々な成分は、この場合、様々なストーリータイプに対する既知の手掛かりの高レベルの表により解析される。ストーリーの各カテゴリは、好ましくは、キーワード及びカテゴリの関連の表である情報ツリーを有する。これらの手掛かりは、前記ユーザによりユーザプロファイル内に設定されてもよく、又は製造者により事前に決定されていてもよい。例えば、“New York Jets”ツリーは、スポーツ、フットボール、ＮＦＬ等のようなキーワードを含み得る。他の例において、“大統領”のストーリーは、大統領印、George W. Bushに対して事前に記憶された顔データのような視覚的セグメント、声援のようなオーディオセグメント、並びに単語“大統領”及び“Bush”のようなテキストセグメントに関連付けられることができる。下で更に詳細に記述される統計的処理の後、プロセッサは、カテゴリ投票ヒストグラムを使用してカテゴリ化を実行する。例により、もしテキストファイル内の１つの単語が情報ベースキーワードにマッチするならば、対応するカテゴリが１票を得る。各カテゴリに対する確率は、キーワード毎の全体の票数と、テキストセグメントに対する全体の票数との間の比により与えられる。
【００４５】
好ましい実施例において、前記セグメント化されたオーディオ、ビデオ及びテキストセグメントの様々な成分は、前記信号からプロファイル比較情報を抽出するために統合される。前記セグメント化されたオーディオ、ビデオ及びテキスト信号の統合は、複雑な抽出に対して好ましい。例えば、もし前記ユーザが以前の大統領についての番組に対するアラートを望むならば、顔認識（俳優を識別するため）のみでなく、話し手識別（画面上の俳優が話していることを保証するため）、音声テキスト変換（俳優が適切な単語を話していることを保証するため）及び運動推定−セグメント化−検出（俳優の指定された動きを認識するため）も有用である。従って、インデックス付けに対する統合されたアプローチが好ましく、より良い結果を生じる。
【００４６】
本発明の一実施例において、本発明のシステム１００は、デジタルレコーダを含む製品内に実施されることができる。前記デジタルレコーダは、コンテンツ解析器処理と、必要なコンテンツを記憶する十分な記憶容量とを含むことができる。もちろん、当業者は、記憶装置が、前記デジタルレコーダ及びコンテンツ解析器の外部に配置されることができることを認識するだろう。加えて、デジタル記録システムとコンテンツ解析器とのどちらも単一のパッケージに収容される必要はなく、前記コンテンツ解析器は、別々にパッケージングされることもできる。この例において、ユーザは、要求アイテムを分離した入力装置を使用して前記コンテンツ解析器に入力するだろう。前記コンテンツ解析器は、１つ以上の情報源に直接接続されることができる。前記ビデオ信号は、テレビの場合に、前記コンテンツ解析器のメモリ内にバッファされるので、コンテンツ解析は、上で述べられたように、前記ビデオ信号に実行されることができ、関連したストーリーを抽出する。
【００４７】
本発明は、好ましい実施例に関して記述されているが、上で概説された原理内の修正は、当業者に明白であると理解されるだろうし、従って、本発明は、前記好ましい実施例に限定されないが、このような修正を含むと意図される。
【図面の簡単な説明】
【００４８】
【図１】本発明の好ましい実施例に関するアラートシステムのブロック図である。
【図２】本発明の好ましい実施例によるアラートを識別する方法を描くフローチャートである。
【図１】
2005509229.tif 000003
【図２】
2005509229.tif 000004
【国際調査報告】
2005509229.tif 000005
2005509229.tif 000006
2005509229.tif 000007