(57)【要約】  情報追跡装置は、１つまたはそれ以上の情報ソースから映像またはテレビ信号のようなコンテンツデータを受信し、適切なストーリーを抽出するためにクエリ基準に従ってコンテンツデータを分析する。クエリ基準は、ユーザの要求、ユーザプロファイルおよび既知の関係の知識ベースのような多様な情報を、これらに限定されることなく、使用する。クエリ基準を用いて、情報追跡装置は、コンテンツデータに現れる人物またはイベントの確率を計算し、スポッティングし、それに応じてストーリーを抽出する。その結果は索引付けられ、順序付けられ、次いで、表示装置に表示される。
2005512233.tif 000002
【特許請求の範囲】
【請求項１】
目的の人物に関する情報を検索するためのシステムであって：
メモリと処理器とを有するコンテンツ分析装置であって、前記コンテンツ分析装置はコンテンツを受信するために第１外部ソースに通信可能であるように接続され、前記処理器は基準に従って前記コンテンツを分析するためにプログラミングにより動作する、コンテンツ分析装置；並びに
前記コンテンツ分析装置の前記メモリに記憶された知識ベースであって、複数の既知の関係を含む、知識ベース；
を有する、システムであり、
前記基準に従って、前記コンテンツ分析装置の前記処理器は目的の人物を特定するために前記コンテンツを検索し、前記目的の人物に関連する情報を検索するために前記知識ベースにおける前記既知の関係を用いる；
ことを特徴とするシステム。
【請求項２】
請求項１に記載のシステムであって、前記コンテンツ分析装置の前記メモリに記憶されたユーザプロファイルをさらに有し、前記ユーザプロファイルは前記システムのユーザの興味についての情報を有し、前記基準は前記ユーザプロファイルにおいて情報を有する、ことを特徴とするシステム。
【請求項３】
請求項２に記載のシステムであって、前記ユーザプロファイルは前記ユーザプロファイルに存在する情報と要求における情報を統合することにより更新される、ことを特徴とするシステム。
【請求項４】
請求項２に記載のシステムであって、前記ユーザが前記ユーザプロファイルに情報を入力することまたは前記コンテンツ分析装置に要求を伝送することを可能にするために前記コンテンツ分析装置に通信可能であるように接続された入力装置をさらに有する、ことを特徴とするシステム。
【請求項５】
請求項１に記載のシステムであって、前記知識ベースは情報に関するオントロジーである、ことを特徴とするシステム。
【請求項６】
請求項１に記載のシステムであって、前記コンテンツは映像信号である、ことを特徴とするシステム。
【請求項７】
請求項１に記載のシステムであって、前記コンテンツはグラフィックデータおよびテキストデータである、ことを特徴とするシステム。
【請求項８】
請求項１に記載のシステムであって、前記コンテンツ分析装置は第２外部ソースに通信可能であるように接続され、前記第２外部ソースは前記目的の人物に関する付加情報を検索するために前記基準に従って探索される、ことを特徴とするシステム。
【請求項９】
請求項１に記載のシステムであって、前記コンテンツ分析装置は、顔、発語、および前記コンテンツからのテキストを抽出するために人物スポッティング機能を用いてさらに動作する、ことを特徴とするシステム。
【請求項１０】
請求項９に記載のシステムであって、前記人物スポッティング機能は：
前記抽出された顔への既知の顔の第１マッチをなすために；
前記抽出された発語への既知の発語の第２マッチをなすために；
既知の名前への第３マッチをなすために前記抽出されたテキストを検索するために；並びに
第１マッチ、第２マッチおよび第３マッチに基づいて前記コンテンツに存在する特定の人物の確率を計算するために；
動作する、ことを特徴とするシステム。
【請求項１１】
請求項１に記載のシステムであって、ユーザが前記コンテンツ分析装置とインタラクトすることを可能にするために前記コンテンツ分析装置に接続された表示装置をさらに有する、ことを特徴とするシステム。
【請求項１２】
請求項１に記載のシステムであって、前記コンテンツ分析装置は外部サーバに要求を伝送し、前記サーバは前記目的の人物を識別する決定を行うことにおいて使用可能である前記コンテンツ分析装置に手掛かりを戻すように外部サーバを探索するために前記要求を用いる、ことを特徴とするシステム。
【請求項１３】
目的の人物に関する情報を検索する方法であって：
（ａ）コンテンツ分析装置のメモリに第１外部ソースから映像ソースを受信する段階；
（ｂ）前記目的の人物に関する情報を検索するためにユーザから要求を受信する段階；
（ｃ）プログラムにおいて前記目的の人物をスポッティングするために前記映像ソースを分析する段階；
（ｄ）前記目的の人物に関する情報のために前記映像ソースの付加チャネルを検索する段階；
（ｅ）前記目的のテーマに関するさらなる情報を検索するために第２外部ソースを探索する段階；
（ｆ）段階（ｄ）および（ｅ）の結果として見つけられた前記情報を取り出す段階；並びに
（ｇ）前記コンテンツ分析装置に通信可能であるように接続された表示装置に前記結果を表示する段階；
を有する方法。
【請求項１４】
請求項１３に記載の方法であって、段階（ｃ）は、前記映像ソースから顔、発語およびテキストを抽出する手順、前記抽出された顔への既知の顔の第１マッチをなす手順、前記抽出された発語への既知の発語の第２マッチをなす手順、既知の名前への第３マッチをなすために前記抽出されたテキストを検索する手順、並びに、前記第１マッチ、前記第２マッチおよび前記第３マッチに基づいて前記映像ソースに存在する前記目的の人物の確率を計算する手順、を有する、ことを特徴とする方法。
【請求項１５】
請求項１３に記載の方法であって、オントロジーを用いて関係を解き且つ名前を推定する段階をさらに有する、ことを特徴とする方法。
【請求項１６】
請求項１４に記載の方法であって、既知の関係を用いて前記確率を計算する手順をさらに有する、ことを特徴とする方法。
【請求項１７】
記憶装置と通信可能な状態である中央に位置するコンテンツ分析装置であって、通信ネットワークにより複数のユーザと情報ソースにアクセス可能である、コンテンツ分析装置であり：
前記コンテンツ分析装置に第１コンテンツデータを受信するために；
前記ユーザの少なくとも一人から要求を受信するために；
前記要求の受信に応じて、前記要求に関連する情報を抽出するために前記第１コンテンツデータを分析するために；並びに
前記情報へのアクセスを提供するために；
機械読取り可能命令の集合を用いてプログラムされる、コンテンツ分析装置を有する、ことを特徴とする人物追跡検索システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の情報ソースから目的の対象人物に関連する情報を検索する人物トラッカおよび方法に関する。
【背景技術】
【０００２】
５００以上に及ぶ利用可能なテレビコンテンツと留まることを知らないインターネットによりアクセス可能なコンテンツのストリームとを用いて、所望のコンテンツに常にアクセスできるように思われる。しかしながら、それとは対照的に、ビューアは、しばしば、彼らが探索している種類のコンテンツを見つけることができない。このようなことは、ストレスのたまる経験である。
【０００３】
ユーザがテレビをみる場合、ユーザがみているプログラムにおける人物についてのさらなる情報に興味をもつときがある。しかしながら、現在のシステムは、俳優、女優またはスポーツ選手のような対象人物に関する情報を検索するための機構を提供することができない。例えば、欧州特許第０３１９６４号明細書は、自動検索装置を提供する。例えば、２００のテレビ放送局にアクセスすることができるユーザは、例えば、ロバート  レッドフォードの映画またはゲームショーをみたい要望を話す。音声認識システムは使用可能なコンテンツの検索を行い、その要望に基づく選択をユーザに提供する。従って、そのシステムは進化するチャネル選択システムであり、ユーザに対する付加的情報を得るために提供されるチャネルの範囲を超えることはできない。更に、米国特許第５，５９６，７０５号明細書は、例えば、映画について、複数レベルのプレゼンテーションをユーザに提供している。ビューアは映画をみることができ、または、そのシステムを用いて、映画に関する付加的な情報を得るために質問をすることができる。しかしながら、検索は映画に関連するコンテンツの閉じたシステムであることが理解される。それに対して、本発明の開示により、利用可能なテレビのプログラムの範囲を超え、１つのコンテンツのソースの範囲を超えることができる。幾つかの例が与えられる。ユーザは、ライブのクリケットの試合をみながら、座席に入ったプレーヤに関する詳細な統計データを検索することができる。映画をみているユーザは、スクリーンにおける俳優に関してさらに詳細に知りたい要求をもち、付加的な情報は、その映画と共に伝送される並列信号ではなく、種々のウェブソースから探し出される。ユーザは、よく知られていると思われるスクリーンにおける女優をみているが、彼女の名前を思い出すことができない。そのシステムは、その女優が出演したプログラムであって、そのユーザがみたプログラムの全てを確認する。従って、この提案により、上記参照文献のどちらより多き全世界のコンテンツにアクセスするために、より広いかまたはオープンエンドの検索システムを提供することができる。
【０００４】
インターネットにおいては、コンテンツを探しているユーザは検索エンジンに検索要求を入力することができる。しかしながら、それら検索エンジンは、しばしば見つけることができまたはできず、使用するには非常に非効率である。さらに、現在の検索エンジンは、長期間に亘って結果を更新するために、関連するコンテンツに連続的にアクセスすることができない。また、ユーザがアクセスする特定のウェブサイトおよびニュースサイト（例えば、スポーツサイト、映画サイト等）がある。しかしながら、ユーザが、ログインし、ユーザが情報を所望する各々のときに、特定のトピックスについて問い合わせすることを、これらのサイトは要求する。
【０００５】
さらに、テレビおよびインターネットのような種々のタイプのメディアに亘って可能性を検索して情報を統合するとして、また、人間を抽出し、複数のチャネルおよびサイトからそのような人物について記憶することができる、利用可能なシステムは存在しない。欧州特許第９１５６２１号明細書に開示されている一システムにおいては、テレビジョン信号と同期状態にある対応するウェブページを検索するためにＵＲＬが抽出されることができるように、ＵＲＬは、伝送のクローズドキャプション部分に組み込まれる。しかしながら、そのようなシステムは、ユーザのインタラクションができない。
【０００６】
それ故、ユーザが情報に対する目標要求を作成することを可能にするためのシステムおよび方法であって、その要求は関心のある対象に関連する情報を検索するための複数の情報ソースにアクセスするコンピューティング装置により処理される、システムおよび方法に対する要求が存在する。
【発明の開示】
【課題を解決するための手段】
【０００７】
本発明は先行技術における欠点を克服する。一般に、人物トラッカは、クエリの基準に従ったコンテンツデータを分析するための機械読取り可能命令の集合を実行するために情報ソースおよび処理器から受信されたコンテンツデータを記憶するためのメモリを有するコンテンツ分析装置を有する。人物トラッカは、ユーザがコンテンツ分析装置とやりとりをすることを可能にするコンテンツ分析装置に通信可能であるように接続される入力装置と、コンテンツ分析装置により実行されるコンテンツデータの分析結果を表示するためにコンテンツ分析装置に通信可能であるように接続される表示装置とをさらに有する。機会読取り可能命令の集合に従って、コンテンツ分析装置の処理器は、品質基準に関連する１つまたはそれ以上のストーリーを抽出して索引を付けるためにコンテンツデータを分析する。
【０００８】
更に詳細には、例示としての一実施形態において、コンテンツ分析装置の処理器は、コンテンツデータにおいて対象に印を付けるクエリ基準を用い、ユーザに対象の人物についての情報を検索する。また、コンテンツ分析装置は、名前および他の関連情報に既知の顔および声のマップを含める複数の既知の関係を有する知識の基礎をさらに有する。著名人発見システムは、オーディオ、映像、および利用可能な映像テキストまたは情報からのキューの融合に基づいて実行される。オーディオデータから、このシステムは、声に基づいて話し手を認識することができる。視覚キューから、このシステムは顔の軌跡を追跡し、各々の顔の軌跡に対して顔を認識することができる。利用可能であるときはいつでも、このシステムは映像テキストとクローズドキャプションデータから名前を抽出することができる。それ故、判定レベル融合方法は、結果に達する異なるキューを統合するために用いられることができる。スクリーンに現れた人物を特定するためにユーザが関連する要求を送信するとき、人物トラッカは、トラッカに記憶されることまたはセンダからロードされることが可能である、組み込まれた知識に従ってその人物を認識することができる。次いで、適切な応答が、特定された結果に従って生成される。付加的情報または背景情報が所望される場合、要求がまた、サーバに送信されることが可能であり、コンテンツ分析装置が回答を決定することを可能にする手掛かりまたは可能な答に対して、インターネット（例えば、著名人のウェブサイト）のような種々の外部のソースまたは候補のリストにより検索することが可能である。
【０００９】
一般に、機械読取り可能命令に従って、処理器は、人物スポッティングに限定されることなく、ストーリー抽出、推定および名前分解、索引付け、結果表示並びにユーザプロファイル管理を有する、ユーザの要求または興味に最も適切にマッチするように幾つかの段階を実行する。さらに詳細には、例示としての一実施形態に従って、機械読取り可能命令の人物スポッティング機能は、コンテンツデータから顔、会話およびテキストを抽出し、抽出された顔に対する既知の顔の第１マッチを実行し、抽出された音声に対する既知の音声の第２マッチを実行し、既知の名前に対する第３マッチを実行するために抽出されたテキストを走査し、そして、第１マッチ、第２マッチおよび第３マッチに基づくコンテンツデータに存在する特定の人物の可能性を計算する。さらに、ストーリー抽出機能は、好適には、コンテンツデータの音声情報、映像情報および表現し直し情報に分割し、情報融合、内部のストーリーセグメント化／アノテーション、関連ストーリーを抽出するための推定および名前分解する。
【００１０】
本発明の上記のおよび他の特徴と優位性は、添付する図面を参照して、以下の詳細説明を読むことにより、容易に理解されるであろう。
【発明を実施するための最良の形態】
【００１１】
本発明は、システムについてのユーザの要求に従って、複数のメディアソースから情報を検索するためのインタラクティブなシステムおよび方法を提供する。
【００１２】
特に、情報検索および追跡システムは、複数の情報ソースに通信可能な状態で接続される。好適には、情報検索および追跡システムは、データの一定のストリームとしての情報ソースからメディアコンテンツを受信する。ユーザからの要求に応じて（または、ユーザのプロファイルによりトリガされて）、このシステムはコンテンツデータを分析し、その要求に最も密接に関連するデータを取り出す。取り出されたデータは、表示されるかまたは表示装置に後に表示するために記憶される。
【００１３】
システムアーキテクチャ
図１を参照するに、本発明に従った情報検索システム１０の第１実施形態の概観模式図を示している。集中コンテンツ分析システム２０は、複数の情報ソース５０に相互接続されている。制限されない例として、情報ソース５０は、ケーブルテレビまたは衛星テレビ、およびインターネットまたは情報データベースを有することが可能である。コンテンツ分析システム２０はまた、以下でさらに説明するように、複数のリモートユーザサイト１００に通信可能な状態で接続されている。
【００１４】
図１に示す第１実施形態において、集中コンテンツ分析システム２０は、コンテンツ分析装置２５と１つまたはそれ以上のデータ記憶装置３０を有する。コンテンツ分析装置２５と記憶装置３０は、好適には、狭域ネットワークまたは広域ネットワークにより相互接続されている。コンテンツ分析装置２５は、情報ソース５０から受信される情報を受信し且つ分析することができる処理器２７およびメモリ２９を有する。処理器２７は、マイクロプロセッサおよび関連するオペレーティングメモリ（ＲＡＭおよびＲＯＭ）とすることが可能であり、映像、データ入力の音声成分およびテキスト成分を前処理するための第２処理器を有する。例えば、Ｉｎｔｅｌ  Ｐｅｎｔｉｕｍ（登録商標）半導体素子とすることが可能である処理器２７は、下で説明するように、好適には、フレーム毎をベースとするコンテンツ分析を実行するに十分なパワーを有する。コンテンツ分析装置２５の機能は、図３乃至５に関連して、下でさらに詳述する。
【００１５】
記憶装置３０はディスクアレイとすることが可能であり、または、メディアコンテンツを記憶するための数百ギガバイトまたは数千ギガバイトの記憶能力を各々好適に有するテラバイト、ペタバイトおよびエクサバイトの記憶装置、すなわち、光記憶装置を備える階層記憶システムを有することが可能である。いずれかの数の異なる記憶装置３０は、幾つかの情報ソース５０にアクセスし且ついずれかの所定時間に複数のユーザを支援することができる情報検索システム１０の集中コンテンツ分析システム２０のデータ記憶の要求を支援するために用いられることが可能である。
【００１６】
上記のように、集中コンテンツ分析システム２０は、好適には、ネットワーク２００により複数のリモートユーザサイト１００（例えば、ユーザの家または職場）に通信可能であるように接続される。ネットワーク２００は、インターネット、無線／衛星ネットワーク、ケーブルネットワーク等を有するが、これらに限定されるものではない。好適には、ネットワーク２００は、ライブテレビまたは録画されたテレビのような、検索可能なコンテンツを多く含むメディアを支援するために、比較的高いデータ転送速度でリモートユーザサイト１００にデータを伝送することが可能である。
【００１７】
図１に示すように、各々のリモートサイト１００は、セットトップボックス１１０または他の情報受信装置を有する。好適には、ＴｉＶｏ（登録商標）、ＷｅｂＴＢ（登録商標）またはＵｌｔｉｍａｔｅＴＶ（登録商標）のような殆どのセットトップボックスは、幾つかの異なる種類のコンテンツを受信することが可能である。例えば、Ｍｉｃｒｏｓｏｆｔ（登録商標）社製のＵｌｔｉｍａｔｅＴＶ（登録商標）セットトップボックスは、デジタルケーブルサービスとインターネットの両方からコンテンツデータを受信することができる。また、衛星テレビ受信器は、家庭のローカルエリアネットワークにより、ウェブコンテンツを受信し且つ処理することができる、家庭のパーソナルコンピュータ１４０のようなコンピューティング装置に接続されることが可能である。どちらかの場合にも、情報受信装置の全ては、好適には、テレビまたはＣＲＴ／ＬＣＤ表示装置のような表示装置１１５に接続される。
【００１８】
リモートユーザサイト１００におけるユーザは、一般に、例えば、キーボード、マルチ機能リモート制御、音声起動装置またはマイクロフォン、或いは携帯情報端末等の種々の入力装置１２０を用いてセットトップボックス１１０または他の情報受信装置にアクセスし、それらと通信する。そのような入力装置１２０を用いて、ユーザは、下でさらに説明するように、特定の人物に関連する情報についての要求探索を用いる人物トラッカに特定の要求を入力することができる。
【００１９】
図２に示す他の実施形態においては、コンテンツ分析装置２５は各々のリモートサイト１００に位置付けされ、情報ソース５０に通信可能な状態で接続される。この実施形態においては、コンテンツ分析装置２５は高容量記憶装置と一体化されることが可能であり、または、集中記憶装置（図示せず）が使用されることができる。どちらの例においても、集中分析システム２０についての要求は、この実施形態においては削除される。コンテンツ分析装置２５はまた、例えば、非線形として、パーソナルコンピュータ、携帯コンピューティング装置、高い処理および通信容量を有するゲームコンソール、ケーブルセットトップボックス等のような情報ソース５０から情報を受信し且つ分析することができるいずれかの他のタイプのコンピューティング装置１４０に統合されることが可能である。ＴｒｉＭｅｄｉａ（登録商標）Ｔｒｉｃｏｄｅｃ  ｃａｒｄのような二次処理器は、映像信号を後処理するために疝気コンピューティング装置１４０において用いられることが可能である。しかしながら、図２においては、混乱を回避するために、コンテンツ分析装置２５、記憶装置１３０およびセットトップボックス１１０を各々、分離して図示している。
【００２０】
コンテンツ分析装置の機能
以下の説明から明らかになるように、情報検索システム１０の機能は、テレビ／映像ベースのコンテンツとウェブベースのコンテンツの両方に対して同様な適用可能である。コンテンツ分析装置２５は、好適には、ここで説明する機能を提供するためにファームウェアとソフトウェアパッケージを用いてプログラムされる。適切な装置、すなわち、テレビ、家庭のコンピュータ、ケーブルネットワーク等にコンテンツ分析装置を接即するとき、ユーザは、好適には、コンテンツ分析装置２５のメモリ２９に記憶される、パーソナルプロファイルは、入力装置１２０を用いて入力される。パーソナルプロファイルは、２、３例を挙げると、例えば、ユーザの個人的な興味（例えば、スポーツ、ニュース、歴史、ゴシップ等）、興味のある人物（例えば、著名人、政治家等）または興味のある場所（例えば、外国の都市、有名なサイト等）のような情報を有することが可能である。また、下で説明するように、コンテンツ分析装置２５は、好適には、米国の大統領であるＧ．Ｗ．Ｂｕｓｈのような既知のデータ関係を引き出す知識ベースを記憶する。他の関係は、例えば、名前に対する既知の顔、名前に対する既知の声、種々の関連情報に対する名前、職業に対する既知の名前または役割に対する俳優の名前のマップとすることができる。
【００２１】
図３を参照するに、コンテンツ分析装置の機能は、製造信号の分析に結び付けて説明される。段階３０２において、コンテンツ分析装置２５は、図４との関連において説明するように、例えば、著名人または政治家の名前、声、或いはユーザプロファイルの画像および／または知識ベースと外部データソース３０５を用いて、人物の選択および認識を実行するための視覚処理および表現し直し処理を用いる映像コンテンツ３０１分析を実行する。リアルタイムの適用において、入力するコンテンツストリーム（例えば、ライブのケーブルテレビ）は、コンテンツ分析フェーズの間に、リモートサイト１００のローカル記憶装置１３０または中央サイト２０の記憶装置３０のどちらかにおいてバッファリングされる。他の非リアルタイムの適用において、要求イベントまたは他の所定のイベントの受信（下で説明する）の際に、コンテンツ分析装置２５は、適用可能性に応じて、記憶装置３０または１３０にアクセスし、コンテンツ分析を実行する。
【００２２】
人物追跡システム１０のコンテンツ分析装置２５は、プログラムに示される特定の著名人に関連する情報に対するビューアの要求を受信し、興味のあるテレビプログラムを管理しまたはビューアがよりよい探索を行うことを支援することができる応答を返すためにその要求を用いる。ここでは、次の４つの例を挙げる。
１．ユーザはクリケットの試合をみている。新しいプレーヤがバッターボックスに入る。ユーザは、この試合と今年の以前の試合に基づいてこのプレーヤに関する詳細な統計データをこのシステム１０に要求する。
２．ユーザはスクリーン上の興味ある俳優をみていて、その俳優についてさらに知りたいと思う。このシステム１０は、インターネットからこの俳優について幾つかのプロファイル情報を探し出し、または、最近好評されたストーリーからこの俳優に関するニュースを検索する。
３．ユーザは有名であると思われる女優をスクリーン上でみているが、ユーザはその女優の名前が思い出せない。システム１０は、この女優が彼女の名前で出演した全てのプログラムに応答する。
４．ある著名人に関連する最近のニュースに非常に興味をもっているユーザは、その著名人についてのニュース全てを記録するために自分のパーソナル映像レコーダを設定する。システム１０は、プログラムがマッチする全てのチャネルの記録と、例えば、その著名人とその著名人についてのトークショーおよびニュースチャネルを検索する。
【００２３】
殆どのケーブルテレビ信号および衛星テレビ信号は数百チャネルを放送するため、適切なストーリーを生成する可能性が最も高いチャネルのみを目的にすることが好ましい。この目的のために、コンテンツ分析装置２５は、ユーザの要求に対して“分野のタイプ”を決定する処理器２７を支援するために知識ベース４５０または分野データベースを用いてプログラムされることが可能である。例えば、分野データベースにおけるＤａｎ  Ｍａｒｉｎｏという名前は、“スポーツ”の分野に位置付けられる。同様に、“テロリズム”という言葉は、“ニュース”の分野に位置付けされることが可能である。それ故、どちらの例のおいても、分野タイプの決定に関して、コンテンツ分析装置は、その分野に適切なチャネル（例えば、“ニュース”の分野に対してはニュースチャネル）のみを検索する。これらのカテゴリ化はコンテンツ分析プロセスの操作に対して必要とされない一方、分野タイプを決定するためにユーザの要求を用いることは、より効率的であり、より速いストーリー抽出に導くこととなる。さらに、特定の言葉を分野に位置付けることはデザイン選択の問題であり、いずれの数の方法において実行されることが可能である。
【００２４】
次いで、段階３０４において、映像信号は、入力映像からストーリーを抽出するためにさらに分析される。また、図５との関連において、好ましいプロセスについて説明する。
人物スポッティングおよび認識はまた、代わりの実行として、ストーリー抽出と並行して実行されることができることに留意する必要がある。
【００２５】
人物スポッティングとストーリー抽出機能の両方に対する基礎であるテレビのＮＴＳＣ信号のような映像信号に関してコンテンツ分析を実行する例示としての方法について、ここで説明する。一旦、映像信号がバッファリングされると、コンテンツ分析装置２５の処理器２７は、映像信号を分析するために、下で説明するように、好適には、ベイズソフトウェアエンジンまたは融合ソフトウェアエンジンを用いる。例えば、映像信号の各々のフレームは、映像データのセグメント化を可能にするように分析されることが可能である。
【００２６】
図４を参照して、人物スポッティングおよび認識の好適なプロセスについて説明する。レベル４１０において、顔の検出４１１、発話の検出４１２および発話の書き起こしデータ抽出４１３は、上記のように、映像入力４０１において実質的に実行される。次いで、レベル４２０において、コンテンツ分析装置４２５は、抽出された顔および発話を知識ベースに記憶された既知の顔モデルおよび声モデルにマッチさせることにより、顔モデルの抽出４２１および声モデルの抽出を実行する。抽出された発話の書き起こしデータはまた、知識ベースに記憶された既知の名前にマッチさせるために検索される。レベル４３０において、モデル抽出と名前マッチを用いて、人物はコンテンツ分析装置により発見されまたは認識される。この情報は、次いで、図５に示すように、ストーリー抽出機能と関連させて用いられる。
【００２７】
単なる例として、ユーザは、東中央部における政治イベントに興味をもつが、東南アジアの遠く離れたある島に休暇で滞在している場合、更新されるニュースを受信することができない。入力装置１２０を用いて、ユーザは、要求に関連するキーワードを入力することができる。例えば、ユーザは、イスラエル、パレスチナ、イラク、イラン、アリエル  シャロン、サダム  フセイン等を入力することが可能である。これらのキーの名前は、コンテンツ分析装置２５におけるメモリ２９のユーザプロファイルに記憶される。上記のように、頻繁に用いられる言葉または人物についてのデータベースは、コンテンツ分析装置２５の知識ベースに記憶される。コンテンツ分析装置２５は、データベースに記憶された言葉と衆力されたキーの言葉とを調べてマッチングをみる。例えば、アリエル  シャロンという名前は、イスラエルの大統領にマッチし、イスラエルは中東にマッチし、等等である。このシナリオにおいて、それらの言葉はニュースの分野にリンクすることが可能である。他の例において、スポーツ関連の人物の名前は、スポーツの分野の結果を出すことが可能である。
【００２８】
分野の結果を用いて、コンテンツ分析装置２５は、関連コンテンツを見つけるために情報ソースの最も可能性のある領域にアクセスする。例えば、情報検索システムは、要求の言葉に関連する情報を見つけるために、ニュース関連のチャネルまたはニュース関連のウェブサイトにアクセスすることが可能である。
【００２９】
ここで、図５を参照して、例示としてのストーリー抽出の方法について図を参照しながら説明する。先ず、段階５０２、５０４および５０６において、映像／音声ソースは、下で説明するように、好適には、コンテンツを可視成分、音声成分およびテキスト成分にセグメント化するために分析される。次いで、段階５０８および５１０において、コンテンツ分析装置２５は、情報融合と、内部セグメント化およびアノテーションとを実行する。最後に、段階５１２において、人物認識の結果を用いて、セグメント化されたストーリーは推定され、名前は、発見された対象を用いて解明される。
【００３０】
そのような映像セグメント化方法は、カット検索、顔検索、テキスト検索、動き推定／セグメント化／検出、カメラ動き等を有するが、それらに限定されるものではない。さらに、映像信号の音声成分は分析されることが可能である。例えば、音声セグメント化は、テキスト変換、音声効果およびイベント検出、話し手識別、プログラム識別、音楽分類および話し手識別に基づくダイアログ検出を有するが、これらに限定されるものではない。一般に、音声セグメント化は、帯域、エネルギーおよび音声データ入力のピッチのような低レベルの音声特性を用いることを有する。音声データ入力は、次いで、音楽および発語のような種々の成分にさらに分離されることが可能である。さらに、映像信号は、処理器２７により分析されることができる発語の書き起こしデータ（クローズドキャプショニングシステムについての）により完成させることが可能である。さらに下で説明するように、実行中、ユーザから検索要求を受信するとき、処理器２７は、その要求の普通語に基づいて、映像信号においてストーリーの発生する確率を計算する。
【００３１】
セグメント化を実行する前に、処理器２７は、コンテンツ分析装置２５のメモリ２９にバッファされたままの映像信号を受信し、コンテンツ分析装置は映像信号にアクセスする。処理器２７は、信号をその映像成分、音声成分、および、例えばテキスト成分に分離するために、映像信号を分離する。また、処理器２７は、映像ストリームが発語を有するかどうかを検出することを試みる。例示としての、音声ストリームにおける発語を検出する方法について、下で説明する。発語が検出される場合、処理器２７は、映像信号のタイムスタンプ付き発語の書き起こしデータを生成するために発語をテキストに変換する。次いで、処理器２７は、分析される付加ストリームとして次の発語の書き起こしデータを加える。
【００３２】
発語が検出されるまたはされないに拘わらず、処理器２７は、セグメント境界、すなわち、分類可能イベントの始めまたは終わりを決定することを試みる。好適な実施形態において、ピクチャ群の連続的Ｉフレーム間の著しい差を検出するとき、処理器２７は新しいキーフレームを抽出することにより、先ず、重要なシーン変化の検出を実行する。上記のように、フレームグラビングおよびキーフレーム抽出はまた、所定のインタバルで実行されることができる。処理器２７は、好適には、累積マクロブロック差分測定を用いて、フレーム差分化のためにＤＣＴベースの実施を採用する。前に抽出されたキーフレームに類似して表れる単色のキーフレームは、１バイトのフレームシグネチャ（ｆｒａｍｅ  ｓｉｇｎａｔｕｒｅ）を用いて分離される。処理器２７は、この確率を連続的Ｉフレーム間の差分を用いて閾値より比較的大きい量に基礎を置いている。
【００３３】
フレームフィルタリング方法は、Ｄｉｍｉｔｒｏｖａ等による米国特許第６，１２５，２２９号明細書に説明されており、この文献の全体的な開示内容の援用により本発明の説明の一部を代替するが、下に簡単に説明する。一般に、処理器はコンテンツを受信し、画素データを表すフレームに映像信号をフォーマットする（フレームグラビング）。フレームをグラビングし且つ分析するプロセスは、好適には、各々の記録装置に対して、所定のインタバルで実行される。例えば、処理器が映像信号を分析し始めるとき、キーフレームは３０秒毎にグラビングされることができる。
【００３４】
一旦、これらのフレームがグラビングされると、全てのキーフレームは分析される。映像のセグメント化は、当該技術分野において周知であり、一般には、２０００年の米国サンノゼ市におけるＳＰＩＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｉｍａｇｅ  ａｎｄ  Ｖｉｄｅｏで、Ｎ．Ｄｉｍｉｔｒｏｖａ，Ｔ．ＭｃＧｅｅ，Ｌ．Ａｇｎｉｈｏｔｒｉ，Ｓ．ＤａｇｔａｓおよびＲ．Ｊａｓｉｎｓｃｈｉにより“Ｏｎ  Ｓｅｌｅｃｔｉｖｅ  Ｖｉｄｅｏ  Ｃｏｎｔｅｎｔ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｆｉｌｔｅｒｉｎｇ”と題されて発表され、また、１９９５年のＳｙｍｐｏｓｉｕｍ  ｏｎ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｍｏｄｅｌｓ  ｆｏｒ  Ｉｎｔｅｇｒａｔｉｎｇ  Ｌａｎｇｕａｇｅ  ａｎｄ  ＶｉｓｉｏｎでＡ．ＨａｕｐｔｍａｎｎおよびＭ．Ｓｍｉｔｈにより“Ｏｎ  Ｓｅｌｅｃｔｉｖｅ  Ｖｉｄｅｏ  Ｃｏｎｔｅｎｔ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｆｉｌｔｅｒｉｎｇ”と題されて発表され、これら文献の全体的な開示内容の援用により本発明の説明の一部を代替する。記録装置により捕捉された人物に関連する視覚情報（例えば、顔）および／またはテキスト情報を有する記録データの映像部分のいずれかのセグメントは、そのデータがその特定個人に関連し、それ故、そのようなセグメントに従って索引付けされることが可能である。当該技術分野において周知であるように、映像セグメント化は、次の事柄を有するが、それらに限定されない。
【００３５】
重要なシーン変化検出であって、連続的な映像フレームが急激なシーン変化（ハードカット）または緩やかな変化（ディゾルブ（ｄｉｓｓｏｌｖｅ）、フェードインおよびフェードアウト）を特定するために構成される、重要なシーン変化検出。重要なシーン変化検出は、文献であって、Ｎ．Ｄｉｍｉｔｒｏｖａ，Ｔ．ＭｃＧｅｅ，Ｈ．Ｅｌｅｎｂａａｓにより“Ｖｉｄｅｏ  Ｋｅｙｆｒａｍｅ  Ｅｘｔｒａｃｔｉｏｎ  ａｎｄ  Ｆｉｌｔｅｒｉｎｇ：Ａ  Ｋｅｙｆｒａｍｅ  ｉｓ  Ｎｏｔ  ａ  Ｋｅｙｆｒａｍｅ  ｔｏ  Ｅｖｅｒｙｏｎｅ”と題されたＰｒｏｃ．ＡＣＭ  Ｃｏｎｆ．ｏｎ  Ｋｎｏｗｌｅｄｇｅ  ａｎｄ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｍａｎａｇｅｍｅｎｔ，ｐｐ.１１３−１２０、１９９７である文献に提供され、この文献の全体的な開示内容の援用により本発明の説明の一部を代替する。
【００３６】
顔検出であって、各々の映像フレームの領域は、肌の色合いを有し、楕円形状に対応するとして確認される、顔検出である。好適な実施形態においては、一旦、顔画像が識別されると、その画像は、映像フレームに示される顔の画像がユーザの視覚的好みに対応するかどうかを決定するためにメモリに記憶された既知の顔の画像のデータベースと比較される。顔検出の説明は、文献であって、Ｇａｎｇ．ＷｅｉおよびＫ．Ｓｅｔｈｉにより“Ｆａｃｅ  Ｄｅｔｅｃｔｉｏｎ  ｆｏｒ  Ｉｍａｇｅ  Ａｎｎｏｔａｔｉｏｎ”と題されたＰａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｌｅｔｔｅｒｓ，Ｖｏｌ．２０，Ｎｏ．１１，１９９９である文献に提供され、この文献の全体的な開示内容の援用により本発明の説明の一部を代替する。
【００３７】
動き予測／セグメント化／検出であって、動いている対象が映像シーケンスにおいて決定され、動いている対象の軌跡が分析される、動き予測／セグメント化／検出。映像シーケンスにおける対象の動きを決定するために、オプティカルフロー推定、動き補償および動きセグメント化のような既知の操作が、好適には、用いられる。動き予測／セグメント化／検出の説明は、文献であって、Ｆｒａｎｃｏｉｓ  Ｅｄｏｕａｒｄにより“Ｍｏｔｉｏｎ  Ｓｅｇｍｅｎｔａｔｉｏｎ  ａｎｄ  Ｑｕａｌｉｔａｔｉｖｅ  Ｄｙｎａｍｉｃ  Ｓｃｅｎｅ  Ａｎａｌｙｓｉｓ  ｆｒｏｍ  ａｎ  Ｉｍａｇｅ  Ｓｅｑｕｅｎｃｅ”と題されたＩｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，Ｖｏｌ．１０，Ｎｏ．２，ｐｐ．１５７−１８２，Ａｐｒｉｌ  １９９３である文献に提供され、この文献の全体的な開示内容の援用により本発明の説明の一部を代替する。
【００３８】
映像信号の音声成分はまた、ユーザの要求に関連する言葉／音声の発生を分析し且つモニタされることが可能である。音声のセグメント化は、次の映像プログラム分析のタイプを有する。すなわち、それらは、発話−テキスト変換、音声効果およびイベント検出、話し手識別、プログラム識別、音楽分類および話して識別に基づくダイアログ検出である。
【００３９】
音声のセグメント化および分類は、音声信号の発話部分と非発話部分とへの分割を有する。音声のセグメント化の第１段階は、帯域、エネルギーおよびピッチのような低レベルの音声特性を用いるセグメントの分類を有する。チャネル分離は、各々が独立して分析されることができるような、同時に生成する音声成分（音楽と発話のような）を互いから分離するようにして用いられる。従って、映像（音声）入力の音声成分は、発話−テキスト変換、音声効果およびイベント検出並びに話し手識別のような異なる方法において処理される。音声のセグメント化および分類は当該技術分野において周知であり、一般に、文献であって、Ｄ．Ｌｉ，Ｉ．Ｋ．Ｓｅｔｈｉ，Ｎ．ＤｉｍｉｔｒｏｖａおよびＴ．ＭｃＧｅｅにより“Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｏｆ  ｇｅｎｅｒａｌ  ａｕｄｉｏ  ｄａｔａ  ｆｏｒ  ｃｏｎｔｅｎｔ−ｂａｓｅｄ  ｒｅｔｒｉｅｖａｌ”と題されたＰａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｌｅｔｔｅｒｓ，ｐｐ．５３３−５４４，Ｖｏｌ．２２，Ｎｏ．５，Ａｐｒｉｌ  ２００１である文献において説明され、この文献の全体的な開示内容の援用により本発明の説明の一部を代替する。
【００４０】
発話−テキスト変換（当該技術分野において周知であって、例えば、Ｐ．Ｂｅｙｅｒｌｅｉｎ，Ｘ．Ａｕｂｅｒｔ，Ｒ．Ｈａｅｂ−Ｕｍｂａｃｈ，Ｄ，Ｋｌａｋｏｗ，Ｍ．Ｕｌｒｉｃｈ，Ａ．ＷｅｎｄｅｍｕｔｈおよびＰ．Ｗｉｌｃｏｘによる“Ａｕｔｏｍａｔｉｃ  Ｔｒａｎｓｃｒｉｐｔｉｏｎ  ｏｆ  Ｅｎｇｌｉｓｈ  Ｂｒｏａｄｃａｓｔ  Ｎｅｗｓ”と題されたＤＡＲＰＡ  Ｂｒｏａｄｃａｓｔ  Ｎｅｗｓ  Ｔｒａｎｓｃｒｉｐｔｉｏｎ  ａｎｄ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ  Ｗｏｒｋｓｈｏｐ，ＶＡ，Ｆｅｂ．８−１１，１９９８である文献を参照されたい。また、この文献の全体的な開示内容の援用により本発明の説明の一部を代替する。）は、一旦、映像信号の映像部分の発話セグメントがバックグラウンドのノイズまたは音楽から識別され、または分離されると、使用されることができる。発話−テキスト変換は、イベント検索に関するキーワードのスポッティングのようなアプリケーションに対して用いられることができる。
【００４１】
音声効果はイベントを検出するために用いられることができる（当該技術分野において周知であって、例えば、Ｔ．Ｂｌｕｍ，Ｄ．Ｋｅｉｓｌａｒ，Ｊ．ＷｈｅａｔｏｎおよびＰ．Ｗｏｌｄによる“Ａｕｄｉｏ  Ｄａｔａｂａｓｅ  ｗｉｔｈ  Ｃｏｎｔｅｎｔ−Ｂａｓｅｄ  Ｒｅｔｒｉｅｖａｌ”と題されたＩｎｔｅｌｌｉｇｅｎｔ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｒｅｔｒｉｅｖａｌ，ＡＡＡＩ  Ｐｒｅｓｓ，Ｍｅｎｌｏ  Ｐａｒｋ，Ｃａｌｉｆｏｒｎｉａ，ｐｐ．１１３−１３５，１９９７である文献を参照されたい。また、この文献の全体的な開示内容の援用により本発明の説明の一部を代替する。）。特定の人物またはストーリーのタイプに関連することが可能である音声を識別することによりストーリーを検出することができる。例えば、ライオンが吠えることを検出することが可能であり、次いで、そのセグメントは、動物についてのストーリーとして特徴付けられることが可能である。
【００４２】
話し手の識別（当該技術分野において周知であって、例えば、Ｎｉｌｅｓｈ  Ｖ．ＰａｔｅｌおよびＩｓｈｗａｒ  Ｋ．Ｓｅｔｈｉによる“Ｖｉｄｅｏ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  Ｕｓｉｎｇ  Ｓｐｅａｋｅｒ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ”と題されたＩＳ＆Ｔ  ＳＰＩＥ  Ｐｒｏｃｅｅｄｉｎｇｓ：Ｓｔｏｒａｇｅ  ａｎｄ  Ｒｅｔｒｉｅｖａｌ  ｆｏｒ  Ｉｍａｇｅ  ａｎｄ  Ｖｉｄｅｏ  Ｄａｔａｂａｓｅｓ  Ｖ，ｐｐ．２１８−２２５，Ｓａｎ  Ｊｏｓｅ，ＣＡ，  Ｆｅｂｒｕａｒｙ  １９９７である文献を参照されたい。また、この文献の全体的な開示内容の援用により本発明の説明の一部を代替する。）は、話している人物の独自性を決定するため伊音声信号に存在する発話のボースシグネチャを分析することを有する。例えば、特定の著名人または政治家に対する検索のために話し手の識別を用いることができる。
【００４３】
音楽の分類は、存在する音楽（クラシック、ロック、ジャズ等）のタイプを決定するために音声信号の非発話部分を分析することを有する。これは、例えば、周波数、ピッチ、音質、音声信号の非発話部分の音およびメロディを分析し、分析結果を特定の音楽のタイプの既知の特性と比較することにより達成される。音楽の分類は，当該技術分野において周知であり、一般に、Ｅｒｉｃ  Ｄ．Ｓｃｈｅｉｒｅｒによる“Ｔｏｗａｒｄｓ  Ｍｕｓｉｃ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ  Ｗｉｔｈｏｕｔ  Ｓｅｐａｒａｔｉｏｎ：Ｓｅｇｍｅｎｔａｔｉｏｎ  Ｍｕｓｉｃ  Ｗｉｔｈ  Ｃｏｒｒｅｃｔｉｏｎ  Ｃｏｍｏｄｕｌａｔｉｏｎ”と題された１９９９  ＩＥＥＥ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ａｐｐｌｉｃａｔｉｏｎ  ｏｆ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｅｄｉｎｇ  ｔｏ  Ａｕｄｉｏ  ａｎｄ  Ａｃｏｕｓｔｉｃｓ  Ｎｅｗ  Ｐａｌｔｚ，ＮＹ  Ｏｃｔｏｂｅｒ  １７−２０，１９９９である文献において説明されている。
【００４４】
好適には、映像／テキスト／音声の多モード処理は、ベイズの多モード統合または融合方法のどちらかを用いて、実行される。単なる例として、例示としての実施形態において、多モードプロセスノパラメータは、色、エッジおよび形のような視覚的特徴、平均エネルギー、帯域、ピッチ、メル周波数ケプストラル（ｍｅｌ−ｆｒｅｑｕｅｎｃｙ  ｃａｐｓｔｒａｌ）係数、線形予測符合化係数およびゼロクロシングのような音声パラメータを有するが、これらに限定されるものではない。そのようなパラメータを用いて、処理器２７は、画素または短い時間インタバルに関連する低レベルパラメータとは異なる全部のフレームまたはフレームの収集に関連する中間レベルの特徴を生成する。キーフレーム（ショットの初めのフレームまたは重要であると判断されるフレーム）、顔、映像テキストは、中間レベルの視覚的特徴であって、例えば、静けさ、雑音、発話、音楽、発話と雑音、発話と発話、および発話と音楽は、中間レベルの音声の特徴であり、カテゴリに関連する発話の書き起こしデータのキーワードは、中間レベルの発話の書き起こしデータの特徴を構成する。高レベルの特徴は、異なる領域に亘る中間レベルの特徴の統合により得られる意味論的映像コンテンツを表す。
【００４５】
映像、音声および発話の書き起こしデータのテキストは、それ故、種々のストーリーのタイプに対する既知のキューの高レベルのテーブルに従って分析される。各々のストーリーのカテゴリは、好適には、キーワードとカテゴリとの関連テーブルである知識ツリーを有する。これらのキューは、ユーザプロファイルにおいてユーザにより設定されることが可能であり、または製造メーカにより予め決定されることが可能である。例えば、“ミネソタバイキングズ”のツリーは、スポーツ、フットボール、ＮＦＬ等のようなキーワードを有することが可能である。他の例として、“大統領の”ストーリーは、大統領の公印、予め記憶されたジョージ  Ｗ．ブッシュの顔のデータのような視覚セグメントと、チアリングのような音声セグメントと、“大統領の”および“ブッシュ”の言葉のようなテキストセグメントと、に関連させることができる。下でさらに詳細に説明する統計処理の後、処理器２７は、カテゴリ投票ヒストグラムを用いて、分類を実行する。例として、テキストファイルにおける言葉が知識ベースのキーワードにマッチする場合、対応するカテゴリが投票を得る。各々のカテゴリに対する確率が、キーワード当たりの投票の総数と次のセグメントに対する投票の総数との間の比により与えられる。
【００４６】
好適な実施形態において、セグメント化された音声セグメント、映像セグメントおよびテキストセグメントの種々の成分は、映像信号から顔を選択しまたはストーリーを抽出するために統合される。例えば、ユーザが前の大統領によりなされたスピーチを検索することを所望する場合、顔の認識（俳優を識別するために）ばかりでなく、話し手の識別（スクリーンにおける俳優が話していることを保証するために）、スピーチのテキストへの変換(俳優が適切な言葉を話すことを保証するために)、および動き予測セグメント化検索（俳優の特定の動きを認識するために）を必要とする。索引付けに対する統合化方法は好適であり、よりよい結果をもたらす。
【００４７】
インターネットに関して、コンテンツ分析装置２５は、マッチングするストーリーを探して、ウェブサイトを検索する。マッチングするストーリーが見つかった場合、そのストーリーはコンテンツ分析装置２５のメモリ２９に記憶される。コンテンツ分析装置２５はまた、要求から言葉を抽出し、付加的なマッチングストーリーを見つけるために主な検索エンジンに検索クエリを提示する。正確さを向上させるために、検索されたストーリーは、“共通する”ストーリーを見つけるためにマッチングされることが可能である。共通するストーリーは、ウェブサイト検索と検索クエリとの両方の結果として検索されたストーリーである。共通のストーリーを見つけるためにウェブサイトから目的情報を見つけることについての説明は、文献であって、Ａｎｇｅｌ  Ｊｅｎｅｖｄｋｉにより“ＵｎｉｖｅｒｓｉｔｙＩＥ：Ｉｎｆｏｒｍａｔｉｏｎ  Ｅｘｔｒａｃｔｉｏｎ  Ｆｒｏｍ  Ｕｎｉｖｅｒｓｉｔｙ  Ｗｅｂ  Ｐａｇｅｓ”と題されたＵｎｉｖｅｒｓｉｔｙ  ｏｆ  Ｋｅｎｔｕｃｋｙ，Ｊｕｎｅ  ２８，２０００，ＵＫＹ−ＣＯＣＳ−２０００−Ｄ−００３である文献に提供され、この文献の全体的な開示内容の援用により本発明の説明の一部を代替する。
【００４８】
情報ソース５０から受信されたテレビの場合、コンテンツ分析装置２５は、既知のニュースまたはスポーツチャネルのような適切なコンテンツを有する可能性が最も大きいチャネルを目的とする。目的であるチャネルに対する入力映像信号は、次いで、コンテンツ分析装置２５のメモリにバッファリングされ、それ故、コンテンツ分析装置２５は、上記のように、映像信号から適切なストーリーを抽出するために映像コンテンツ分析と発話の書き起こしデータの処理とを実行する。
【００４９】
図３を再び参照して、段階３０６において、コンテンツ分析装置２５は、次いで、抽出ストーリーにおいて“推定と名前の決定”を実行する。例えば、コンテンツ分析装置２５のプログラミングは、オントロジーを用いる。換言すれば、Ｇ．Ｗ．ブッシュは“アメリカ合衆国の大統領”であり、“ローラ  ブッシュの夫”である。従って、Ｇ．Ｗ．ブッシュがユーザプロファイルにおいて１つの関連で表れる場合、この事実は、上記参照のすべてがまた見つけられ且つ名前／役割が同じ人物を示すときに名前／役割が決定されるように、拡張される。
【００５０】
一旦、テレビにおいて、十分な数の適切なストーリーが抽出されると、および、インターネットにおいて、それが見つけられると、それらストーリーは、好適には、段階３０８における種々の関係に基づいてオーダーされる。図６を参照するに、好適には、ストーリー６０１は、因果関係の抽出（６０４）に基づいて、並びに、名前、トピックスおよびキーワード（６０２）によって索引付けされる。因果関係の例としては、先ず、人物は殺人犯として告発される必要があり、次いで、裁判に関するニュースアイテムが存在することが可能である。また、時間的関係（６０６）は、例えば、より新しいストーリーがより古いストーリーより前に配列されるように、ストーリーの順序付けのために用いられ、体系化するために用いられ、そしてストーリーをランク付けする。次いで、ストーリーのランク付け（６０８）は、好適には、ストーリーに表れる名前および顔、ストーリーの期間、および、主要なニュースチャネルにおけるそのストーリーの繰り返し現れた回数のような、抽出されたストーリーの種々の特性から導き出され且つ計算される（すなわち、ストーリーが何回放送されたかはそのストーリーの重要性／緊急性に対応することが可能である）。これらの関係を用いて、ストーリーのプライオリティが付けられる（６１０）。次いで、ハイパーリンクされた情報の索引および構成は、ユーザプロファイルからおよびユーザの適切なフィードバックによる情報に従って記憶される６１２。最後に、情報検索システムは、管理およびジャンクストーリーの除去を実行する６１４。例えば、このシステムは、同じストーリー、７日間より古いまたはいずれかの所定の時間インタバルの古いストーリーの重複するコピーを削除する。
【００５１】
目的の人物（例えば、著名人）に関連する特定の基準または要求に対する応答は、少なくとも４つの異なる方法において実現されることができることを理解する必要がある。第１に、コンテンツ分析装置２５は、局所的に記憶された適切な情報を検索するために必要な資源の全てを有することができる。第２に、コンテンツ分析装置２５は、それが特定の資源が足りない（例えば、著名人の声を認識することができない）ことを認識することができ、その認識が可能である外部サーバに音声パターンのサンプルを送信することができる。第３に、上記の２つの例に類似して、コンテンツ分析装置２５は特徴を識別し、マッチングが実行されることができる外部サーバにサンプルを要求する。第４に、コンテンツ分析装置２５は、映像、音声および画像を有するが、それらに限定されない、適切な資源を検索するために、インターネットのような二次ソースから付加的な情報を検索する。このようにして、コンテンツ分析装置２５は、ユーザに正確な情報を返す確率が非常に大きくなり、その知識ベースを拡大することができる。
【００５２】
コンテンツ分析装置２５はまた、ユーザが抽出の正確性および適切性に関するフィードバックをコンテンツ分析装置２５に与えることを可能にするプレゼンテーションおよびインタラクション機能（段階３１０）を支援することが可能である。このフィードバックは、ユーザのプロファイルを更新するためにコンテンツ分析装置２５のプロファイル管理機能性（段階３１２）により利用され、適切な推定がユーザの進化する好みに従ってなされることを確実にする。
【００５３】
ユーザは、記憶装置３０、１３０において索引付けられたストーリーを更新するために、人物追跡システムがどれ位の頻度で情報ソース５０にアクセスするかに関する好みについて記憶することができる。例として、このシステムは、時間毎に、日毎に、週毎に、または月毎であっても、適切なストーリーにアクセスし且つそれを抽出するために、設定されることができる。
【００５４】
例示としての他の実施形態に従って、人物追跡システム１０は、加入者サービスとして利用されることができる。これは、２つの好適な方法の１つにおいて実現されることが可能である。図１に示す実施形態の場合、ユーザは、テレビネットワークプロバイダすなわちケーブルテレビプロバイダまたは衛星放送プロバイダに、或いは、中央記憶システム３０とコンテンツ分析装置２５とを収容し且つ操作する第３者プロバイダのどちらかに加入することが可能である。ユーザのリモートサイト１００において、表示装置１１５に接続されるセットトップボックス１１０と通信するために入力装置１２０を用いて、ユーザは要求情報を入力する。次いで、この情報は集中検索システム２０に通信され、コンテンツ分析装置２５により処理される。次いで、コンテンツ分析装置２５は、上記のように、ユーザの要求に関するストーリーを検索し且つ抽出するために、中央記憶データベース３０にアクセスする。
【００５５】
一旦、ストーリーが抽出され、適切に索引付けされると、ユーザが抽出されたストーリーにどのようにアクセスするかに関する情報は、ユーザのリモートサイトに設置されたセットトップボックス１１０に通信される。次いで、ユーザは、入力装置１２０を用いて、ユーザが集中コンテンツ分析システム２０から検索することを望むストーリーのどれかを選択することができる。この情報は、今日の多くのケーブルテレビシステムおよび衛星テレビシステムにおいてよく見られるように、ハイパーリンクまたはメニューシステムを有するＨＴＭＬウェブページの形式で通信されることが可能である。一旦、特定のストーリーが選択されると、そのストーリーはユーザのセットトップボックス１１０に通信され、表示装置１１５に表示される。ユーザはまた、いずれかの数の友人、親戚またはそのようなストーリーを受信することに同様に興味を有する他の人たちに選択したストーリーを転送することを選択することが可能である。
【００５６】
また、本発明の人物追跡システム１０は、デジタルレコーダのような製品において具体化されることが可能である。デジタルレコーダは、必要なコンテンツを記憶する十分な記憶容量と共にコンテンツ分析装置２５の処理を有することが可能である。勿論、記憶装置３０、１３０は、デジタルレコーダおよびコンテンツ分析装置２５の外部に設置されることが可能である。さらに、１つのパッケージにデジタルレコーディングシステムとコンテンツ分析装置２５を収容する必要はなく、コンテンツ分析装置２５はまた、分離して収容されることが可能である。この例において、ユーザは、入力装置１２０を用いて、コンテンツ分析装置２５に要求項目を入力する。コンテンツ分析装置２５は、１つまたはそれ以上の情報ソース５０に直接接続される。テレビの場合に、映像信号がコンテンツ分析装置のメモリにバッファリングされるとき、コンテンツ分析は、上記のように、適切なストーリーを抽出するために映像信号に関して実行されることができる。
【００５７】
幾つかの実施形態においては、種々のユーザプロファイルは、要求項目のデータと共に統合され、情報をユーザへの対象とするように用いられる。この情報は、ユーザのプロファイルおよび前の要求に基づいてユーザにとって興味がもてるとサービスプロバイダが考える対象のストーリー、プロモーション情報または宣伝広告の形式をとることが可能である。他のマーケティングスキームにおいて、統合された情報は、ユーザへのプロモーションまたは宣伝を目的とするビジネスにおけるグループに販売されることができる。
【００５８】
本発明は好適な実施形態に関連付けて説明したが、上記概要の原理の範囲内で本発明の修正が可能であり、それ故、本発明は好適な実施形態に限定されるものではなく、そのような修正を包含することが意図されるものであることが、当業者に理解されるであろう。
【図面の簡単な説明】
【００５９】
【図１】本発明に従った情報検索システムの例示としての実施形態の概観を模式的に    示す図である。
【図２】本発明に従った情報検索システムの他の実施形態を模式的に示す図である。
【図３】本発明に従った情報検索方法のフロー図である。
【図４】本発明に従った人物スポッティングおよび認識方法のフロー図である。
【図５】ストーリー抽出方法のフロー図である。
【図６】抽出されたストーリーを索引付けする方法のフロー図である。
【図１】
2005512233.tif 000003
【図２】
2005512233.tif 000004
【図３】
2005512233.tif 000005
【図４】
2005512233.tif 000006
【図５】
2005512233.tif 000007
【図６】
2005512233.tif 000008
【国際調査報告】
2005512233.tif 000009
2005512233.tif 000010
2005512233.tif 000011