(57)【要約】  情報トラッキング装置は、映像又はテレビ信号のような、コンテンツ・データを、1つ以上の情報ソースから受信して該コンテンツ・データを問い合わせ基準によって解析して適切なストーリーを抽出する。該問い合わせ基準は、利用者要求、利用者プロフィール、及び既知の関係の知識ベースのようなものであるがこれらには限定されない、種々の情報を用いる。該問い合わせ基準を用いて、該情報トラッキング装置は該コンテンツ・データにおいて人物又はイベントが発生する確率を算定して、適宜、ストーリーをスポットして抽出する。該結果はインデックスされ、配列されて、更に表示装置上に表示される。
2005510807.tif 000002
【特許請求の範囲】
【請求項１】
情報トラッカであって：
情報ソースから受信したコンテンツ・データを記憶するメモリ及び、問い合わせ基準によって該コンテンツ・データを解析するよう、機械判読可能な命令群を実行する、プロセッサを有するコンテンツ・アナライザ；
通信し合うよう該コンテンツ・アナライザに接続されて利用者が該コンテンツ・アナライザと対話することを可能にする入力装置；及び
通信し合うよう該コンテンツ・アナライザに接続されて該コンテンツ・アナライザによって行われた前記コンテンツ・データの解析の結果を表示する表示装置；
を有し、前記機械判読可能な命令群によって、前記コンテンツ・アナライザの前記プロセッサが前記コンテンツ・データを解析して前記問い合わせ基準に関する1つ以上のストーリーを抽出してインデックスすることを特徴とする情報トラッカ。
【請求項２】
請求項１記載の情報トラッカであって、前記コンテンツ・アナライザの前記プロセッサが前記問い合わせ基準を用いて前記コンテンツ・データにおける主体をスポットし、該コンテンツ・データから1つ以上のストーリーを抽出し、該抽出された1つ以上のストーリーにおける名前を導出及び推論して、該抽出された1つ以上のストーリーに対するリンクを前記表示装置上に表示することを特徴とする情報トラッカ。
【請求項３】
請求項２記載の情報トラッカであって、更に：
前記抽出された1つ以上のストーリーに対する前記リンクを表示することに加えて、前記主体に関するコンテンツ情報は、ショッピング・ウェブ・サイトに対する1つ以上のリンクを、前記利用者が前記主体に関する商品を購入し得るよう、表示することを特徴とする情報トラッカ。
【請求項４】
請求項２記載の情報トラッカであって、前記抽出されたストーリーにおける前記名前が存在論を用いて導出されて推論されることを特徴とする情報トラッカ。
【請求項５】
請求項２記載の情報トラッカであって、1つを超えるストーリーが抽出された場合、前記プロセッサが該ストーリーを名前及び/又はトピック並びに/若しくはキーワードによってインデックスすることを特徴とする情報トラッカ。
【請求項６】
請求項５記載の情報トラッカであって、前記ストーリーが更に因果関係に基づいて配列されることを特徴とする情報トラッカ。
【請求項７】
請求項５記載の情報トラッカであって、前記ストーリーが更に時間的関係に基づいて配列されることを特徴とする情報トラッカ。
【請求項８】
請求項１記載の情報トラッカであって、前記問い合わせ基準が前記入力装置を通じた前記利用者による要求の入力を有して、前記プロセッサが該要求によって前記コンテンツ・データを解析することを特徴とする情報トラッカ。
【請求項９】
請求項８記載の情報トラッカであって、前記コンテンツ・アナライザが更に、前記利用者の関心に関する情報を有する利用者プロフィールを有し、前記問い合わせ基準が該利用者プロフィールを有する、ことを特徴とする情報トラッカ。
【請求項１０】
請求項９記載の情報トラッカであって、前記利用者プロフィールが、前記要求における情報を該利用者プロフィールにおける既存情報と統合することによって、更新されることを特徴とする情報トラッカ。
【請求項１１】
請求項８記載の情報トラッカであって、前記コンテンツ・アナライザが更に、複数の既知の関係を有する知識ベースを有し、前記プロセッサが該知識ベースによって前記コンテンツ・データを解析することを特徴とする情報トラッカ。
【請求項１２】
請求項１１記載の情報トラッカであって、前記既知の関係の１つの種類が既知の顔の、名前に対する、マップであることを特徴とする情報トラッカ。
【請求項１３】
請求項１１記載の情報トラッカであって、前記既知の関係の１つの種類が既知の声の、名前に対する、マップであることを特徴とする情報トラッカ。
【請求項１４】
請求項１１記載の情報トラッカであって、前記既知の関係の１つの種類が名前の、種々の関連情報に対する、マップであることを特徴とする情報トラッカ。
【請求項１５】
請求項１記載の情報トラッカであって、前記コンテンツ・アナライザは第２情報ソースに通信し合うよう接続されて追加コンテンツ・データに対するアクセスを設け、該追加コンテンツ・データが適切なストーリーについて解析されることを特徴とする情報トラッカ。
【請求項１６】
請求項１５記載の情報トラッカであって、前記追加コンテンツ・データは、タームが前記問い合わせ基準から抽出されて前記第２情報ソースのサーチ要求を引起すのに用いられる、第１アプローチ、及び、前記第２情報によって設けられた1つ以上のサイトがストーリーを突合するよう走査される、第２アプローチ、によって解析されることを特徴とする情報トラッカ。
【請求項１７】
請求項１６記載の情報トラッカであって、インターセクション・ストーリーは前記第１アプローチと前記第２アプローチとの両方の結果として検索された突合ストーリーであることを特徴とする情報トラッカ。
【請求項１８】
請求項１５記載の情報トラッカであって、前記追加コンテンツ・データにおいて見出された前記適切なストーリーが比較されてインターセクション・ストーリーを見出すことを特徴とする情報トラッカ。
【請求項１９】
ターゲット主体に関する情報を検索する方法であって：
情報ソースからの映像のソースをコンテンツ・アナライザのメモリ内に受信する工程；
該映像を、人物を認識してストーリーを前記映像のソースから、前記コンテンツ・アナライザに記憶された利用者プロフィール及び知識ベースを有する問い合わせ基準を用いて、抽出するよう、解析する工程；
前記抽出されたストーリーを時間的関係及び因果関係によってインデックスする工程；及び
前記映像のソースの前記解析の結果を表示する工程；
を有することを特徴とする方法。
【請求項２０】
請求項１９記載の方法であって、人物を認識するよう前記映像のソースを解析する前記工程は顔、声、及びテキストを該映像のソースから抽出する工程、既知の顔の該抽出された顔に対する第１突合を行う工程、既知の声の該抽出された声に対する第２突合を行う工程、該抽出されたテキストを走査して既知の名前に対する第３突合を行う工程、及びコンテンツ・データに特定の人物が存在している確率を該第１突合、該第２突合、及び該第３突合に基づいて算定する工程を有することを特徴とする方法。
【請求項２１】
請求項１９記載の方法であって、前記抽出されたストーリーをインデックスする前記工程は所定の基準によって該抽出されたストーリーをインデックスする工程、因果関係を抽出する工程、並びに時間的関係を算定する工程、該抽出されたストーリー各々について、該抽出されたストーリーの1つ以上の特性から、レーティングを算定する工程、及び該抽出されたストーリーを優先順位付けする工程を有することを特徴とする方法。
【請求項２２】
請求項２１記載の方法であって、更に：
前記抽出されたストーリーに対するハイパリンク・インデックスを生成する工程；及び
該ハイパリンク・インデックスを記憶する工程；
を有することを特徴とする方法。
【請求項２３】
情報トラッキング検索システムであって、記憶装置と通信し合う集中配備されたコンテンツ・アナライザを有し、該コンテンツ・アナライザが通信ネットワーク経由で複数の利用者及び情報ソースにアクセス可能で、該コンテンツ・アナライザが：
第１コンテンツ・データを該コンテンツ・アナライザ中で受信する工程；
前記利用者の少なくとも１つからの要求を受信する工程；
該要求の受信に応じて、該第１コンテンツ・データを解析して該要求に適切な1つ以上のストーリーを抽出する工程；及び
該１つ以上のストーリーに対するアクセスを設ける工程；
を行うよう、機械判読可能命令群によって、プログラム化されていることを特徴とする情報トラッキング検索システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、対話型情報検索システム及び複数情報ソースからのターゲット主体に関する情報を検索する方法、特に、複数の情報ソースに通信し合うよう接続されて、利用者からの、情報に対する、該情報ソースから適切なストーリーを抽出する、暗黙的及び明示的要求を受信することができるコンテンツ・アナライザに関するものである。
【背景技術】
【０００２】
テレビのコンテンツが利用可能な約５００超のチャンネル及びインターネット経由でアクセス可能な無数のコンテンツのストリームによって、所望されるコンテンツに対して常にアクセスできるように思われるかもしれない。しかしながら、それどころか、視聴者は探している種類のコンテンツを見出すことができないことがよくある。
【０００３】
現在、ケーブル及び衛星テレビ・サービスは同様に、視聴者が興味のある番組を見出すのを助力することを目的とした視聴ガイドを設ける。１つのそのようなシステムにおいては、視聴者はガイド・チャンネルに切り替えて、特定の時間帯（一般に2-3時間）内で放送されている（又は放送が予定されている）番組のカスケード・ストリームを視る。番組表は単に、チャンネル毎に順次に画面移動する。したがって、視聴者は主導権を有さないので、所望する番組を見出すまでに何百ものチャンネルに耐えなければなければならないことがよくある。別のシステムにおいては、利用者は自分のテレビ画面上で視聴ガイドをアクセスし得る。視聴ガイドは、特定の時間、日付、及び利用者が興味のあるチャンネルを選定し得るという点で多少は対話型であるといえる。しかしながら、これらのサービスは利用者が特定のコンテンツを探すのを可能にするものでない。更に、これらの視聴ガイドは男優又は女優、特定のイベント、又は特定のトピックのような、ターゲット主体に関する情報を検索する仕組みを設けることができない。
【０００４】
インターネット上で、コンテンツを探している利用者は検索エンジンに検索要求を入力することが可能である。しかしながら、これらの検索エンジンは行き当たりばったりであることがよくあって、用いるのに非常に非効率的であり得る。更に、現行の検索エンジンは時間がたてば結果を更新するよう適切なコンテンツを連続してアクセスすることができない。更に、利用者がアクセスする、専用ウェブ・サイト及びニュース・グループ（例えば、スポーツ・サイト、映画サイト、など）がある。しかしながら、これらのサイトは利用者がログインして特定のトピックについて問い合わせることを、利用者が情報を所望する度に必要とする。
【０００５】
更に、テレビ及びインターネットのような、さまざまなメディアの種類をまたがって情報検索機能を統合して、複数のチャンネル及びサイトから人物又はストーリーを抽出し得る、利用可能な、システムはない。そしてまた、共通の関心を有する利用者が自らの知識を共有化してそれを自らのテレビ視聴体験と結びつけるシステムもない。
【特許文献１】米国特許第６１２５２２９号明細書
【特許文献２】国際公開第０９/４４２９６０号パンフレット
【非特許文献１】N.  Dimitrova,  T.  McGee,  L.  Agnihotri,  S.  Dagtas,  and  R.  Jasinschi,  ”On  Selective  Video  Content  Analysis  and  Filtering,  ”SPIE  Conference  on  Image  and  Video  Databases,  San  Jose,  2000
【非特許文献２】A.  Hauptmann  and  M.  Smith,  AAAI  Fall  1995  Symposium  on  Computational  Models  for  Integrating  Language  and  Vision  1995
【非特許文献３】N.  Dimitrova,  T.  McGee,  H.  Elenbaas,“Video  Keyframe  Extraction  and  Filtering:  A  Key-frame  is  Not  a  Key-frame  to  Everyone”,  Proc.  ACM  Conf.  on  Knowledge  and  Information  Management,  pp.  113-120,  1997
【非特許文献４】Gang  Wei  and  Ishwar  K.  Sethi,  “Face  Detection  for  Image  Annotation”,  Pattern  Recognition  Letters,  Vol.  20,  No.  11,  November  1999
【非特許文献５】Patrick  Bouthemy  and  Francois  Edouard,  “Motion  Segmentation  and  Qualitative  Dynamic  Scene  Analysis  from  an  Image  Sequence”,  International  Journal  of  Computer  Vision,  Vol.  10,  No.2,  pp.  157-182,  April  1993
【非特許文献６】D.  Li,  I.  K.  Sethi,  N.  Dimitrova,  and  T.  Mcgee,  “Classification  of  general  audio  data  for  content-based  retrieval”,  Pattern  Recognition  Letters,  pp.  533-544,  Vol.  22,  No.  5,  April  2001
【非特許文献７】P.  Bayerlein,  X.  Aubert,  R.  Haeb-Umbach,  D.  Klakow,  M.  Ulrich,  A.  Wendemuth,  and  P.  Wilcox,  “Automatic  Transcription  of  English  Broadcast  News”,  DARPA  Broadcast  News  Transcription  and  Understanding  Workshop,  VA.  Feb.  8-11,  1998
【非特許文献８】T.  Blum,  D.  Keislar,  J.  Wheaton,  and  E.  Wold,  “Audio  Databases  with  Content-Based  Retrieval”,  Intelligent  Multimedia  Information  Retrieval,  AAAI  Press,  Menlo  Park,  California,  pp.  113-135,  1997
【非特許文献９】Nilesh  V.  Patel  and  Ishwar  K.  Sethi,  “Video  Classification  Using  Speaker  Identification,”  IS&T  SPIE  Proceedings:  Storage  and  Retrieval  for  Image  and  Video  Databases  V,  pp.  218-225,  San  Jose,  CA,  February  1997
【非特許文献１０】Eric  D.  Scheirer,  “Towards  Music  Understanding  Without  Separation:  Segmenting  Music  with  Correlogram  Co-modulation”.  1999  IEEE  Workshop  on  Applications  of  Signal  Processing  to  Audio  and  Acoustics,  New  Paltz,  NY  October  17-20,  1999
【非特許文献１１】Angel  Janevski,  ”University  IE:  Information  Extraction  From  University  Web  Pages”,  University  of  Kentucky,  June  28,  2000,  UKY-COCS-2000-D-003
【非特許文献１２】Thomas  R.  Gruber,  “Toward  Principles  for  the  Design  of  Ontologies  Used  for  Knowledge  Sharing”,  August  23,  1993
【発明の開示】
【発明が解決しようとする課題】
【０００６】
したがって、利用者が情報に対するターゲット要求を生成することを可能にするシステム及び方法に対するニーズがあり、該要求は、複数の情報ソースに対するアクセスできる計算機装置によって、該要求の主体に関する情報を検索するよう、処理される。
【課題を解決するための手段】
【０００７】
本発明は従来技術の該欠点を克服するものである。一般に、情報トラッカは、情報ソースから受信されたコンテンツ・データを記憶するメモリ及び、問い合わせ基準によってコンテンツ・データを解析する、機械判読可能な命令群を実行するプロセッサを有する、コンテンツ・アナライザを有する。該情報トラッカは更に、通信し合うようコンテンツ・アナライザに接続された、利用者がコンテンツ・アナライザと相互作用することを可能にする、入力装置及び通信し合うようコンテンツ・アナライザに接続された、コンテンツ・アナライザによって行われたコンテンツ・データの解析の結果を表示する、表示装置を有する。機械判読可能命令群によれば、コンテンツ・アナライザのプロセッサはコンテンツ・データを解析して問い合わせ基準に関する1つ以上のストーリーを抽出してインデックスする。1つを超えるストーリーが抽出された場合、プロセッサは、名前、トピック、及びキーワード、時間的関係並びに因果関係を有するが、これらには限定されない、種々の基準によってストーリーをインデックスして配列する。
【０００８】
コンテンツ・アナライザは更に、利用者の関心についての情報及び、既知の顔並びに声の、名前及び他の関連情報に対する、マップを有する複数の既知の関係を有する知識ベースを有する、利用者プロフィールを有する。問い合わせ基準は利用者プロフィール及び知識ベースにおける情報をコンテンツ・データの解析に組み入れることが好適である。
【０００９】
一般に、プロセッサは、機械判読可能な命令によって、利用者の要求又は関心に最も適切な突合を行う、人物スポッティング、ストーリー抽出、推論並びに名前導出、インデックシング、結果のプレゼンテーション、及び利用者プロフィール管理を有するが、これらには限定されない、いくつかの工程を行う。特に、例示的実施例によれば、機械判読可能命令の人物スポッティング機能は顔、音声、及びテキストをコンテンツ・データから抽出し、既知顔と抽出顔との第１突合を行い、既知音声と抽出音声との第２突合を行い、抽出テキストを走査して既知名前に対する第３突合を行って、コンテンツ・データに特定の人物が存在する確率を第１、第２、及び第３突合に基づいて、算定する。更に、ストーリー抽出機能はコンテンツ・データの音声、映像及びトランスクリプト情報をセグメント化し、情報融合、内部ストーリー・セグメンテーション/注記、及び、適切なストーリーを抽出する、推論並びに名前導出を行うことが好適である。
【発明を実施するための最良の形態】
【００１０】
本発明の上記及び他の特徴及び効果は、その以下の詳細説明及び添付図面から容易に明らかになるものである。
【００１１】
本発明は、複数のメディア・ソースからの情報を該システムの利用者のプロフィール又は要求によって検索する、対話型システム及び方法に関するものである。
【００１２】
情報検索及びトラッキンング・システムは情報ソースからのメディア・コンテンツを不断のデータ・ストリームとして受信することが好適である。利用者からの要求に応じて（又は利用者のプロフィールに引起されて）、該システムはコンテンツ・データを解析して該要求又はプロフィールに最も密接に関係するデータを検索する。検索データは表示装置上で表示されるか、後に該表示装置上で表示するよう記憶される。
【実施例】
【００１３】
システム・アーキテクチャ
図１によって、本発明による情報検索システム１０の第１実施例の概略図を表す。集中コンテンツ解析システム２０は複数の情報ソース５０に相互接続される。非限定的例として、情報ソース５０はケーブル若しくは衛星テレビ、インターネット又はラジオを有し得る。コンテンツ解析システム２０は更に、以下に更に説明する、複数の遠隔利用者サイト１００に通信し合うよう接続される。
【００１４】
第１実施例においては、図１で表すように、集中コンテンツ解析システム２０はコンテンツ・アナライザ２５及び1つ以上のデータ記憶装置３０を有する。コンテンツ・アナライザ２５及び記憶装置３０はローカル又はワイド・エリア・ネットワークによって相互接続されていることが好適である。コンテンツ・アナライザ２５はプロセッサ２７及びメモリ２９を有し、それらは情報ソース５０から受信された情報を受信して解析することができる。プロセッサ２７はマイクロプロセッサ及び関連動作メモリ（ＲＡＭ（ランダム・アクセス・メモリ）及びＲＯＭ（読み取り専用メモリ））であり得て、データ入力の映像、オーディオ及びテキスト成分を前処理する第２プロセッサを有し得る。プロセッサ２７は、例えば、インテル社ペンティウム・チップ又は他の更に強力なマルチプロセッサであり得、下記のように、コンテンツ解析をフレーム毎に行うのに十分強力であることが好適である。コンテンツ・アナライザ２５の機能は図３−５によって更に詳細に以下に説明する。
【００１５】
記憶装置３０はディスク・アレーであり得、テラ・バイト、ぺタ・バイト及びエクサ・バイトの記憶装置を有する階層型記憶システムを有し得、各々は光記憶装置で、メディア・コンテンツを記憶する、何百又は何千ギガ・バイトもの記憶容量を有することが好適である。当業者は、多数の異なる記憶装置３０を、いくつかの情報ソース５０をアクセスして一度に複数利用者をサポートし得る情報検索システム１０の集中コンテンツ解析システム２０のデータ記憶ニーズをサポートするのに用い得ることがわかる。
【００１６】
上記のように、集中コンテンツ解析システム２０は通信し合うよう複数の遠隔利用者サイト１００（例えば、利用者の家庭又はオフィス）に、ネットワーク２００経由で、接続されていることが好適である。ネットワーク２００は、インターネット、無線/衛星ネットワーク、ケーブル・ネットワーク、などを有するがそれらには限定されない、如何なるグローバル通信ネットワークでもよい。ネットワーク２００はデータを遠隔利用者サイト１００に、生又は録画テレビのような、メディアを多用したコンテンツの検索をサポートする、比較的高いデータ転送レートで伝送することができることが好適である。
【００１７】
図１に表すように、各遠隔サイト１００はセット・トップ・ボックス１１０又は他の情報受信装置を有する。セット・トップ・ボックスは、好適であるが、それは、ティーボ(TiVO)（登録商標）、ウェブTV(WebTV)（登録商標）、又は究極のテレビ（UltimateTV）（登録商標）のような、大多数のセット・トップ・ボックスはいくつかの異なる種類のコンテンツを受信することができるからである。例えば、マイクロソフト（Microsoft）（登録商標）社の究極のテレビ（UltimateTV）（登録商標）のセット・トップ・ボックスはコンテンツ・データをディジタル・ケーブル・サービスとインターネットとの両方から受信し得る。その代わりに、衛星テレビ受信機を、ウェブ・コンテンツを家庭用ローカル・エリア・ネットワークを経由して受信及び処理し得る、家庭用パーソナル・コンピュータ１４０のような、計算機装置に接続し得る。何れの場合においても、全ての情報受信装置はテレビ又はCRT（陰極線管）ディスプレイ/LCD（液晶ディスプレイ）のような、表示装置１１５に接続されていることが好適である。
【００１８】
遠隔利用者サイト１００での利用者は一般に、セット・トップ・ボックス１１０又は他の情報受信装置と、キーボード、多機能リモコン、音声駆動装置若しくはマイクロフォン、又は携帯情報端末のような、種々の入力装置１２０を用いて、アクセスして通信し合う。そのような入力装置１２０を用いて、利用者は、更に以下に説明するように、個人プロフィールを入力したり、検索する情報の特定分類に対する特定の要求を行ったりすることが可能である。
【００１９】
図２に表す、代替的実施例においては、コンテンツ・アナライザ２５は各遠隔サイト１００にあって、通信し合うよう情報ソース５０に接続される。この代替的実施例においては、コンテンツ・アナライザ２５は高容量記憶装置と結合されてもよく、（図なしの）集中記憶装置を利用してもよい。いずれの場合においても、集中解析システム２０に対するニーズは本実施例においては除去される。コンテンツ・アナライザ２５は更に、非限定的例として、パーソナル・コンピュータ、ハンドヘルド型計算機装置、処理及び通信機能を増強させたゲーム・コンソール、ケーブル・セット・トップ・ボックス、などのような、情報ソース５０からの情報を受信して解析することができる、如何なる別の種類の、計算機装置１４０にも組み入れてもよい。トライ・メディア(TriMedia)（商標）トライコデック(Tricodec)・カードのような、第２プロセッサを該計算機装置１４０において映像信号を前処理するよう用い得る。しかしながら、図２においては、混乱を避けるよう、コンテンツ・アナライザ２５、記憶装置１３０、及びセット・トップ・ボックス１１０各々を別個に表す。
【００２０】
コンテンツ・アナライザの機能
下記から明らかになるように、情報検索システム１０の機能は、テレビ/映像ベースのコンテンツとウェブ・ベースのコンテンツとに等しく形成し得る。コンテンツ・アナライザ２５は、ここに記載された機能を設けるよう、ファームウェア及びソフトウェア・パッケージによってプログラム化されることが好適である。コンテンツ・アナライザ２５を適切な装置、すなわち、テレビ、家庭用コンピュータ、ケーブル・ネットワーク、などに接続することによって、利用者は、コンテンツ・アナライザ２５のメモリ２９に記憶される個人プロフィール、を、入力装置120を用いて入力することが好適である。個人プロフィールは、２，３例をあげると、例えば、利用者個人の関心（例えば、スポーツ、ニュース、歴史、ゴシップ、など）、関心を引く人物（例えば、著名人、政治家、など）、又は関心を引く場所（例えば、海外都市、著名な場所、など）のような、情報を有し得る。更に、下記のように、コンテンツ・アナライザ２５は、G・W・ブッシュ氏がアメリカ合衆国の大統領であるというような、既知のデータ関係を取り出す知識ベースを記憶していることが好適である。
【００２１】
図３によって、コンテンツ・アナライザの機能を映像信号の解析に関連して説明する。工程３０２では、コンテンツ・アナライザ２５は映像コンテンツ解析をオーディオ、映像及びトランスクリプト処理を用いて行って、人物スポッティング及び認識を、図４に関連して以下に説明したように、例えば、著名人若しくは政治家の名前の一覧、音声、又は、利用者プロフィール並びに/若しくは知識ベース及び外部データソースにおける画像を用いて、行う。リアルタイム・アプリケーションにおいては、入力コンテンツ・ストリーム（例えば、ケーブル・テレビ生放送）は、集中サイト２０での記憶装置３０においてか、遠隔サイト１００での局所記憶装置１３０においてのいずれかで、コンテンツ解析フェーズ中にバッファされる。他の非リアルタイム・アプリケーションにおいては、（以下に説明する）要求又は他のあらかじめスケジュール化されたイベントの受信によって、コンテンツ・アナライザ２５が、適宜、記憶装置３０又は１３０をアクセスして、コンテンツ解析を行う。
【００２２】
ほとんどのケーブル及び衛星テレビ信号は何百ものチャンネルを収容できるので、適切なストーリーを最も生成しそうなチャンネルのみをターゲットするのが好適である。この目的で、コンテンツ・アナライザ２５を、知識ベース４５０又は分野データベースによって、プロセッサ２７が利用者の要求に対する「分野種類」を判定するのを助力するよう、プログラム化し得る。例えば、分野データベースにおけるダン・マリノ氏の名前は「スポーツ」分野にマップし得る。同様に、「テロリズム」の語は「ニュース」分野にマップし得る。何れの場合においても、分野種類の判定によって、コンテンツ・アナライザは、次に、該分野（例えば、分野「ニュース」に対するニュース・チャンネル）に適切なチャンネルのみを走査すればよい。これらの分類はコンテンツ解析処理の動作においては必要ないが、分野種類を判定するよう利用者の要求を用いることは更に効率的で、更に速いストーリー抽出につながるものである。更に、特定の語を分野にマップすることは設計の選択の問題で多くの方法で実施し得ることを特筆する。
【００２３】
次に、工程３０４で、映像信号は更に、入力映像からのストーリーを抽出するよう解析される。この場合もまた、好適的処理を図５によって以下に説明する。人物スポッティング及び認識は更に、代替的実施例であるストーリー抽出と同時に実行し得ることを特筆する。
【００２４】
人物スポッティング機能とストーリー抽出機能との両方に対する基準である、NTSC（米・テレビジョン方式委員会）テレビ信号のような、映像信号にコンテンツ解析を行う例示的方法を次に説明する。該映像信号がバッファされると、コンテンツ・アナライザ２５のプロセッサ２７は、映像信号を解析するのに、以下に説明する、ベイジアン又はフュージョン・ソフトウェア・エンジンを用いることが好適である。例えば、映像信号の各フレームは映像データのセグメンテーションを可能にするよう解析し得る。
【００２５】
図４によって、人物スポッティング及び認識を行う好適実施例を説明する。レベル４１０では、顔検出、音声検出、及びトランスクリプト検出が実質的に上記のように行われる。次に、レベル４２０では、コンテンツ・アナライザ２５が顔モデル及び音声モデル抽出を、抽出顔及び音声を、知識ベースに記憶された既知の顔及び音声モデル、と突合することによって、行う。抽出トランスクリプトも知識ベースにおいて記憶された既知の名前と突合するよう走査される。レベル４３０では、モデル抽出及び名前突合を用いて、人物がコンテンツ・アナライザによってスポットされるか認識される。この情報は次に、図５に表すストーリー抽出機能とともに、用いられる。
【００２６】
例としてのみであるが、利用者は中東における政治的イベントに関心があるかもしれないが、東南アジアにある離島での休暇で不在を予定しているとする；したがって、最新ニュースを受信することはできない。入力装置１２０を用いて、利用者は当該要求に関連したキーワードを入力し得る。例えば、利用者はイスラエル、パレスチナ、イラク、イラン、アリエル・シャロン氏、サダム・フセイン氏、などを入力し得る。これらのキー・タームはコンテンツ・アナライザ２５のメモリ２９上の利用者プロフィールに記憶される。上述のように、頻繁に用いられるターム又は人物のデータベースはコンテンツ・アナライザ２５の知識ベースに記憶される。コンテンツ・アナライザ２５はルック・アップを行って入力キー・タームを当該データベースに記憶されたタームと突合する。例えば、アリエル・シャロンの名前はイスラエル首相に突合され、イスラエルは中東に突合される、などである。この筋書においては、これらのタームはニュース分野種類にリンクされ得る。別の例においては、スポーツ界の著名人の名前はスポーツ分野の結果をもたらし得る。
【００２７】
該分野の結果を用いて、コンテンツ・アナライザ２５は、関連コンテンツを見出すよう、情報ソースの最も起こり得る領域をアクセスする。例えば、情報検索システムは要求タームに関する情報を見出すようニュース・チャネル又はニュース関連ウェブ・サイトをアクセスし得る。
【００２８】
次に図５によって、ストーリー抽出の例示的方法を説明して表す。第１に、工程５０２、５０４、及び５０６においては、映像/オーディオ・ソースはコンテンツを、以下に説明するよう、映像、オーディオ及びテキスト成分にセグメント化するよう解析されることが好適である。次に、工程５０８及び５１０では、コンテンツ・アナライザ２５は情報融合及び内部セグメンテーション並びに注記を行う。最後に、工程５１２では、人物認識結果を用いて、セグメント・ストーリーが推論されて名前がスポット主体とともに導出される。
【００２９】
そのような映像セグメンテーションの方法は、断面検出、顔検出、テキスト検出、動き予測/セグメンテーション/検出、カメラ・モーション、などを有するがそれらには限定されない。更に、オーディオ信号の音声成分を解析し得る。例えば、オーディオ・セグメンテーションは、テキスト変換、オーディオ効果及びイベント検出、スピーカ識別、番組識別、音楽分類、及びスピーカ識別の基づいた対話検出を有するがそれらには限定されない。一般に、オーディオ・セグメンテーションはオーディオ・データ入力の帯域幅、エネルギ及びピッチのような低位のオーディオ特性に関する。オーディオ・データ入力は次に更に、音楽及び音声のような、種々の成分に分離し得る。更に、映像信号は（クローズド・キャプション・システム用）トランスクリプト・データを伴うことがあり、それもプロセッサ２７によって解析され得る。以下に更に説明するよう、動作中、利用者からの検索要求を受信すると、プロセッサ２７は該要求の平易な言葉に基づいて映像信号中のストーリーの生起の確率を算定して要求ストーリーを抽出し得る。
【００３０】
セグメンテーションを行う前に、プロセッサ２７は映像信号を、該信号がコンテンツ・アナライザ２５のメモリ２９にバッファされると、受信してコンテンツ・アナライザは映像信号をアクセスする。プロセッサ２７は映像信号を多重分離して該信号をその映像及びオーディオ成分に、場合によっては、テキスト成分に分離する。その代わりに、プロセッサ２７はオーディオ・ストリームが音声を有するかを検出しようとする。オーディオ・ストリームにおいて音声を検出する例示的方法を以下に説明する。音声が検出されると、プロセッサ２７は音声をテキストに変換して映像信号の時間記録トランスクリプトを生成する。プロセッサ２７はその場合、テキスト・トランスクリプトを、解析する追加ストリームとして、付加する。
【００３１】
音声が検出されるかどうかにかかわらず、プロセッサ２７は更に、セグメント境界、すなわち、分類可能イベントの開始又は終了、を判定する。好適的実施例においては、プロセッサ２７は有意の場面変化検出を第１に、新規キー・フレームを、映像群の順次I-フレーム間での有意の差異を検出する場合に、抽出することによって、行う。上記のように、フレーム・グラブ及びキー・フレーム抽出も所定の時間間隔で行い得る。プロセッサ２７は累積マクロブロック差異測定を用いたフレーム差異用DCT（離散コサイン変換）実施形態を利用することが好適である。前に抽出されたキー・フレームに類似しているように見える単色キー・フレーム又はフレームは1バイト・フレーム署名を用いてフィルタ・アウトされる。プロセッサ２７は、順次I-フレーム間の差異を用いて、この確率の基礎を閾値超の相対量に置く。
【００３２】
フレーム・フィルタリングの方法を記載したものがある（Dimitrova他による米国特許に係わる特許文献1参照。）。一般に、プロセッサがコンテンツを受信して映像信号を、画素データを表現するフレームに、フォーマット化する（フレーム・グラブ）。フレームをグラブして解析する処理は記録装置毎に所定の時間間隔で行われることが好適であることを特筆する。例えば、プロセッサが映像信号を解析し始めると、キー・フレームを30秒毎にグラブし得る。
【００３３】
これらのフレームがグラブされると、全選定キー・フレームが解析される。更に、映像セグメンテーションの概要を記載したものもある（非特許文献１及び非特許文献２参照。）記録装置によって捕捉された人物に関する映像（例えば、顔）及び/又はテキスト情報を有する記録データの映像部分の如何なるセグメントも、該データをその特定の個人に関するので、そのようなセグメントによってインデックスし得ることを、示す。映像セグメンテーションは以下を有するがこれらには限定されないものである：
有意の場面変化検出：連続する映像フレームが比較されて急な場面変化（ハード・カット）又はソフト・トランジション（ディゾルブ、フェード・イン及びフェード・アウト）を識別する。更に、従来の有意の場面変化検出の説明を設けたものを発表したものもある（非特許文献３参照。）。
【００３４】
顔検出：肌の色を有して、楕円のような形状に相当する、映像フレームの各々の領域が識別される。好適実施例においては、顔画像が識別されると、該画像はメモリに記憶された既知の顔画像と比較されて、映像フレームに表された顔画像が利用者の視聴選好に相当するかを判定する。更に、従来の顔検出の説明を設けたものを発表したものもある（非特許文献４参照。）。
【００３５】
動き予測/セグメンテーション/検出：移動物体が映像シーケンスにおいて判定されて、移動物体の軌道が解析される。映像シーケンスにおける物体の移動を判定するよう、オプティカル・フロー予測、動き補償及び動きセグメンテーションが利用されることが好適である。更に、従来の動き予測/セグメンテーション/検出の説明を設けたものを発表したものもある（非特許文献５参照。）。
【００３６】
映像信号のオーディオ部分も、利用者の要求に関するワード/音の発生を解析及び監視し得る。オーディオ・セグメンテーションは映像番組の以下の種類の解析を有する：音声テキスト変換、オーディオ効果並びにイベント検出、スピーカ識別、番組識別、音楽分類、及びスピーカ識別に基づいた対話検出を有する。
【００３７】
オーディオ・セグメンテーション及びオーディオ分類はオーディオ信号を音声部分及び非音声部分に分割することを有する。オーディオ・セグメンテーションにおける第１工程は帯域幅、エネルギ及びピッチのような低位オーディオ特性を用いたセグメント分類に関係する。同時に発生するオーディオ成分（例えば音楽及び音声）をお互いから分離するのにチャンネル分離を用いて、各々を無関係に解析することを可能にする。その後、映像（又はオーディオ）入力のオーディオ部分が、音声テキスト変換、オーディオ効果並びにイベント検出、及びスピーカ識別のような、異なる方法で処理される。更に、従来のオーディオ・セグメンテーション及びオーディオ分類の概要の説明を発表したものがある（非特許文献６参照。）。
【００３８】
音声テキスト変換（従来の技術を発表したものは、例えば、非特許文献７参照。）は、映像信号のオーディオ部分の音声セグメントが背景雑音若しくは音楽から識別又は分離されることによって、利用し得る。音声テキスト変換はイベント検索に関するキーワード・スポッティングのようなアプリケーションに用い得る。
【００３９】
オーディオ効果はイベントを検出するのに用い得る（従来の技術を発表したものは、例えば、非特許文献８参照。）。ストーリーは特定の人物又はストーリーの種類と関連し得る音を識別することによって検出し得る。例えば、ライオンの叫び声を検出し得、更に、当該セグメントを動物についてのストーリーとして特徴付け得る。
【００４０】
スピーカ検出（従来の技術を発表したものは、例えば、非特許文献９参照。）はオーディオ信号に存在する音声のボイス・シグネチャを解析して話している人物の身元を判定することに関係する。スピーカ識別は、例えば、特定の著名人又は政治家を探すのに用い得る。
【００４１】
音楽分類はオーディオ信号の非音声部分を解析して、存在している音楽の種類（クラシック、ロック、ジャズ、など）を判定するのに関係する。これは、例えば、オーディオ信号の非音声部分の周波数、ピッチ、音質、音響及びメロディーを解析して、該解析の結果を特定の音楽の種類の既知の特性と比較することによって実現される。更に、従来の音楽分類の概要を説明したものを発表したものがある（例えば、非特許文献１０参照。）
映像/テキスト/オーディオのマルチモーダル処理はベイジアン・マルチモーダル統合又は融合アプローチを用いて行われることが好適である。例としてのみであるが、例示的実施例においては、マルチモーダル処理のパラメータは：色、エッジ及び形状のような、視覚特性；平均エネルギ、帯域幅、ピッチ、メル周波数ケプストラム係数、線形予測符号化係数、及びゼロ交差のような、オーディオ・パラメータ；を有するがこれらには限定されない。そのようなパラメータを用いて、プロセッサ２７は、画素又は短時間間隔に関連する低位パラメータとは違って、フレーム全体又はフレームの集まりに関連する中位特性を生成する。キー・フレーム（ショットの第１フレーム、又は重要と判断されたフレーム）、顔、及びビデオ・テキストは中位視覚特性の例であり；沈黙、雑音、音声、音楽、雑音を付加した音声、音声を付加した音声は中位オーディオ特性の例であって；トランスクリプトのキーワード、更には関連分類、が中位トランスクリプト特性を構成する。高位特性は異なる領域をまたがって中位特性を統合することによって取得される意味的映像コンテンツを表す。言い換えれば、高位特性は利用者又はメーカ定義プロフィールによるセグメントの分類を表す（更に、説明したものは、“Method  and  Apparatus  for  Audio/Data/Visual  Information  Selection”と題するNevenka  Dimitrova,  Thomas  McGee,  Herman  Elenbaas,  Lalitha  Agnihotri,  Radu  Jasinschi,  Serhan  Dagtas,  Aaron  Mendelsohnによる西暦1999年11月18日出願の国際公開に係わる特許文献２参照。）。
【００４２】
映像、オーディオ、及びトランスクリプト・テキストの各々異なる成分は更に、種々のストーリーの種類に対する既知キューの高位表によって解析される。ストーリーの各分類はキーワードと分類との対応表であるナレッジ・ツリーを有することが好適である。これらのキューは利用者によって利用者プロフィール中に設定されるか、メーカによってあらかじめ設定される。例えば、「ミネソタ・ヴァイキングズ」ツリーはスポーツ、フットボール、NFL（ナショナル・フットボール・リーグ）、などのようなキーワードを有し得る。別の例においては、「大統領の」ストーリーは、大統領の印章、ジョージ・W・ブッシュ氏に関するあらかじめ記憶された顔データのような、視覚セグメント、激励のような、オーディオ・セグメント、及び、「大統領」及び「ブッシュ」の語のような、テキスト・セグメントと関連付けることが可能である。以下に更に説明する、統計処理後、プロセッサ２７は分類を、分類投票ヒストグラムを用いて行う。例として、テキスト・ファイルにおけるワードが知識ベースのキーワードと突合した場合、対応する分類が投票を取得する。分類毎の、確率はキーワード毎投票の総数とテキスト・セグメントに対する投票の総数との比率によって表される。
【００４３】
好適実施例においては、オーディオ、映像、及びテキスト・セグメントの各々異なる成分は統合されて、ストーリーを抽出、又は、映像信号からの顔をスポットする。セグメント化されたオーディオ、映像、及びテキスト信号の統合は複雑な抽出において好適である。例えば、利用者が前の大統領によって成されたスピーチを検索することを所望する場合、（男優を識別する）顔検出が必要になるだけでなく、（画面上で男優が話していることを確実にする）スピーカ検出、（男優が適切な語を話すことを確実にする）音声テキスト変換及び（男優の特定の動きを認識する）動き予測/セグメンテーション/検出も必要になる。したがって、インデックシングに対する統合アプローチが好適であって他のアプローチよりも良い結果をもたらす。
【００４４】
1次コンテンツ・ソース又は補足的な２次ソースとしてアクセスされ得る、インターネットに関しては、コンテンツ・アナライザ２５はウェブ・サイトを走査して突合ストーリーを探す。突合ストーリーは、見出だされた場合、コンテンツ・アナライザ２５のメモリ２９に記憶される。コンテンツ・アナライザ２５は更に、当該要求からタームを抽出し得て、追加の突合ストーリーを見出すよう検索の問い合わせを主要検索エンジンに対して引き起こし得る。正確性を向上させるよう、検索ストーリーを、「インターセクション」ストーリーを見出すよう、突合し得る。インターセクション・ストーリーはウェブ・サイト走査とサーチ問い合わせとの両方の結果によって検索されたストーリーのことである。更に、インターセクション・ストーリーを見出すようウェブ・サイトからターゲット情報を見出す方法の説明を設けたものがある（非特許文献１１参照。）。
【００４５】
情報ソース５０から受信されたテレビの場合、コンテンツ・アナライザ２５は、既知のニュース又はスポーツ・チャネルのような、適切なコンテンツを最も有していそうなチャンネルをターゲットする。ターゲット・チャンネルに対する入力映像信号は更に、コンテンツ・アナライザ２５のメモリにバッファされるので、コンテンツ・アナライザ２５は、上記で詳細に説明したように、映像コンテンツ解析及びトランスクリプト処理を行って適切なストーリーを映像信号から抽出する。
【００４６】
もう一度、図３によれば、工程３０６では、コンテンツ・アナライザ２５は更に抽出ストーリーに「推論及び名前導出」を行う。例えば、コンテンツ・アナライザ２５のプログラミングは、既知の関係を利用するよう、種々の存在論を用い得る（既知の関係を記載したものについては、非特許文献１２を参照。）。言い換えれば、G・W・ブッシュ氏は「アメリカ合衆国の大統領」及び「ローラ・ブッシュ氏の夫」である。したがって、ある状況でG・W・ブッシュ氏という名前が利用者プロフィール中に出現する場合、このことは更に拡張されて、上記の参照事項全ても見出されて名前/役割が、それらが同一人物をさし示す場合に、導出される。別の例として、ナレッジ・ツリー又は階層を、図７で表すように、知識ベースに記憶し得る。
【００４７】
適切なストーリーが十分な数だけ、テレビの場合、抽出されて、インターネットの場合、見出されると、該ストーリーは好適的に種々の関係に基づいて配列される（工程３０８）。図６によれば、ストーリーは好適的に、名前、トピック、及びキーワード（６０２）によって、更には因果関係抽出（６０４）に基づいて、インデックスされる。因果関係の例としては、人物がまず、殺人で告発されなければならなくて、その場合、当該裁判に関するニュース項目が存在し得る。更に、例えば、直近のストーリーが古いストーリーより前に配列される、というような時間的関係は当該ストーリーを配列するよう用いられ、該ストーリーを編成してレーティングするよう用いられる。次に、ストーリー・レーティング（６０８）が、好適的に、抽出ストーリーの、ストーリーに登場する名前及び顔、ストーリーの持続時間、及び主要ニュース・チャンネルにおけるストーリーの繰り返し数（すなわち、ストーリーが何回放送されるのかはその重要性/緊急性に対応し得る）のような、種々の特性から導出されて算定される。これらの関係を用いて、ストーリーの優先順位が付けられる（６１０）。次に、ハイパリンク情報のインデックス及び構造が、利用者プロフィールからの情報によって、かつ、利用者の適切なフィードバックによって、記憶される。最後に、情報検索システムは管理及びごみ消去（６１４）を行う。例えば、該システムは同一のストーリーの複数のコピー、7日又はある他の所定の時間間隔より古い、古いストーリーを消去する。低レーティングの、すなわち所定の閾値を下回るレーティングの、ストーリーも消去されることがある。
【００４８】
コンテンツ・アナライザ２５は更に、プレゼンテーション及び対話機能をサポートし（工程３１０）、利用者がコンテンツ・アナライザ２５に抽出の妥当性及び正確性についてのフィードバックを与えることを可能にする。このフィードバックはプロフィール管理動作（工程３１２）によって利用されて、利用者のプロフィールを更新して利用者の変遷する選好次第で適切な推論がなされることを確実にする。
【００４９】
利用者は情報検索システムがどれだけ頻繁に情報ソース５０に、記憶装置３０，１３０にインデックスされたストーリーを更新するよう、アクセスするのかを記憶し得る。例として、該システムは適切なストーリーを、毎時間、毎日、毎週、又は毎月、アクセスして抽出するよう設定し得る。
【００５０】
別の例示的実施例によれば、情報検索システム１０は加入者サービスとして利用し得る。これは２つの好適方法のうちの１つで実現し得る。図１に表す実施例の場合、利用者は、自らのテレビ・ネットワーク・プロバイダ、すなわち、自らのケーブル又は衛星プロバイダ、か、プロバイダが集中記憶システム３０及びコンテンツ・アナライザ２５を収容して動作する、第3者プロバイダかの何れかを通じて加入し得る。利用者の遠隔サイト１００では、利用者は表示装置１１５に接続されたセット・トップ・ボックス１１０と通信し合うよう入力装置１２０を用いて要求情報を入力する。この情報は更に集中検索システム２０に通信されてコンテンツ・アナライザ２５によって処理される。コンテンツ・アナライザ２５は更に、上記のような、集中記憶データベース３０をアクセスして、利用者の要求に適切なストーリーを検索して抽出する。
【００５１】
ストーリーが抽出されて適切にインデックスされると、利用者がどのようにして抽出ストーリーをアクセスするかに関する情報は利用者の遠隔サイトにあるセット・トップ・ボックス１１０に通信される。入力装置120を用いて、利用者は更にどのストーリーを集中コンテンツ解析システム２０から検索することを所望するかを選定し得る。この情報は、通常、ハイパリンクを有するHTML（ハイパリンク転送マークアップ言語）ウェブ・ページ又は、昨今の多くのケーブル及び衛星テレビ・システムに見られるようなメニュー・システムの形式で通信し得る。特定のストーリーが選定されると、該ストーリーは更に利用者のセット・トップ・ボックス１１０に通信されて表示装置１１５上に表示される。利用者は更に、選定ストーリーを多くの友人、親類又は、そのようなストーリーを受信する関心を同様に有する他の人達に転送することを選択し得る。
【００５２】
その代わりに、本発明の情報検索システム１０はディジタル・レコーダのような製品において実施し得る。該ディジタル・レコーダはコンテンツ・アナライザ２５処理、更には必要コンテンツを記憶するのに十分な記憶容量を有し得る。当然、当業者は記憶装置３０、１３０をディジタル・レコーダ及びコンテンツ・アナライザ２５の外部に配置し得ることがわかるものである。更に、ディジタル・レコーディング・システム及びコンテンツ・アナライザ２５を単一のパッケージに収容する必要はなくて、コンテンツ・アナライザ２５を別個にパッケージ化し得る。この例においては、利用者は要求タームをコンテンツ・アナライザ２５に入力装置120を用いて入力する。コンテンツ・アナライザ２５は直接1つ以上の情報ソース５０に接続される。映像信号は、テレビの場合、コンテンツ・アナライザのメモリにバッファされるので、上記のように、適切なストーリーを抽出するよう、映像信号にコンテンツ解析を行い得る。
【００５３】
サービス環境においては、種々の利用者プロフィールを要求ターム・データと集約し得て、利用者に対する情報をターゲットするのに用い得る。この情報は広告、販売促進、又は、サービス・プロバイダが、プロフィール及び事前要求に基づいて、利用者に関心があると思われる、ターゲット・ストーリー、であり得る。別のマーケティング手法においては、集約情報を利用者向けターゲティング広告又は販売促進の事業における関係者に販売し得る。
【００５４】
図１及び２の実施例の何れかにおいて用いる別の特徴として、利用者は検索情報に関する商品の購入を行うよう情報トラッキング・システム１０を利用する機能が設けられる。
該商品の入手可能性は、上記のように、ターゲットされた方法で利用者にプッシュされるか、利用者によって該システム１０を通じて要求されてコンテンツ・アナライザによって、例としてだけではあるが、インターネットからの該当突合結果を抽出することによって、検索される。例えば、利用者は記念イベント（例えば、２００年祭）に関する商品を購入するよう要求して、コンテンツ・アナライザは、上記で更に詳細に説明したように、そのような販売品目を有する突合ストーリーを見出そうとするサーチ要求を組み立てる。
【００５５】
本発明は好適実施例に関して説明したが、上述した原理の範囲内のその修正は当業者にわかるものであり、したがって、本発明は該好適実施例に限定されるものでなくて、そのような修正を包含することを企図するものである。
【図面の簡単な説明】
【００５６】
【図１】本発明による情報検索システムの例示的実施例の概要の概略図である。
【図２】本発明による情報検索システムの代替的実施例の概略図である。
【図３】本発明による情報検索の方法の流れ図である。
【図４】本発明による人物スポッティング及び認識の方法である。
【図５】ストーリー抽出の方法の流れ図である。
【図６】抽出ストーリーをインデックスする方法の流れ図である。
【図７】本発明による例示的存在論的ナレッジ・ツリーの図である。
【図１】
2005510807.tif 000003
【図２】
2005510807.tif 000004
【図３】
2005510807.tif 000005
【図４】
2005510807.tif 000006
【図５】
2005510807.tif 000007
【図６】
2005510807.tif 000008
【図７】
2005510807.tif 000009
【国際調査報告】
2005510807.tif 000010
2005510807.tif 000011
2005510807.tif 000012