(57)【要約】入力文書D1と基準データD2とを、入力文書D1と基準データD2との間でのコンテンツ・べースの関連の存否について検査する、電子文書を処理するシステム及び方法を記載する。コンテンツ・ベースの関連が存在する場合、リンク種類が多くの所定のリンク種類からコンテンツ・ベースの関連の種類によって選択され、文書間の当該リンクが設定される。本発明によって、2つの文書間の関連の種類が自動的に認識されることが可能となる。例えば、文書フローを適切な方法で分割し、分類し、更に、適切に相互リンクされた方法で記憶させることが可能である。
2006504162.tif 000002
【特許請求の範囲】
【請求項１】
電子文書を処理するシステムであって：
少なくとも入力文書と基準データとを入力する入力手段；
該入力文書のコンテンツを、該入力文書と該基準データとの間のコンテンツ・ベースの関連に関して解析する解析手段；及び
リンク種類をいくつかの所定のリンク種類から選択する選択手段；
を備え；
該入力文書と該基準データとの間のコンテンツ・ベースの関連の種類に相当するリンク種類が選択され；
更に、該選択種類のリンクを出力する出力手段；
を備えることを特徴とするシステム。
【請求項２】
請求項1記載のシステムであって：
該リンクがリンク方向を備えることを特徴とするシステム。
【請求項３】
請求項1及び2の何れか記載のシステムであって：
該基準データが第２文書であることを特徴とするシステム。
【請求項４】
請求項1及び2の何れか記載のシステムであって：
該基準データが、コンテンツの関連する文書群を表現するものであることを特徴とするシステム。
【請求項５】
請求項1乃至4の何れか記載のシステムであって：
該リンク種類を選択する間に、該入力文書のコンテンツと該基準データとの間のリンク種類を表すキーワードがサーチされ；
該見出されるキーワードに相当するリンク種類が選択されることを特徴とするシステム。
【請求項６】
請求項1乃至5の何れか記載のシステムであって：
該リンク種類が選択される場合、該文書が複数の所定文書種類からの１つに割り当てられ；
リンク種類が該文書種類によって選択されることを特徴とするシステム。
【請求項７】
請求項1乃至6の何れか記載のシステムであって：
該入力文書が少なくともテキスト部分とデータ部分とを備え；
該データ部分が該文書の種類及び/又はソースに関する情報を有することを特徴とするシステム。
【請求項８】
請求項6及び7記載のシステムであって：
該入力文書の該データ部分が該文書種類を選択するよう用いられることを特徴とするシステム。
【請求項９】
請求項1乃至8何れか記載のシステムであって：
該解析手段がデータベースをアクセスし；
該データベースでは、語が汎用語に割り当てられることを特徴とするシステム。
【請求項１０】
請求項1乃至9何れか記載のシステムであって：
該入力文書と該設定リンクがメモリ・システムに記憶され；
該メモリ・システムは、該メモリ・システム中に記憶される文書について別の文書に対するリンクが存在するように編成されることを特徴とするシステム。
【請求項１１】
文書を処理する方法であって：
少なくとも１つの入力文書と基準データとを処理する工程；
該入力文書を該入力文書のコンテンツに関して解析し、該入力文書と該基準データとの間のコンテンツ・ベースの関連の存否について判定する工程；
該コンテンツ・ベースの関連が存在する場合に、リンク種類をいくつかのリンク種類から該入力文書と該基準データとの間のコンテンツ・ベースの関連の種類によって選択する工程；及び
該選択種類のリンクを設定する工程；
を備えることを特徴とする方法。
【請求項１２】
プログラムであって：
請求項11記載の方法を実現することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子文書を処理するシステム及び方法、更には該方法を実現するプログラムに関する。
【背景技術】
【０００２】
例えば、インターネットなどのコンピュータ・ネットワークを介して、取り出すことが可能な、現在利用可能なデータが多数存在することに鑑みて、電子文書をそのコンテンツによって自動処理するシステム及び方法を一層拠りどころにするようになってきている。この点に関しては、文書をそのコンテンツによって分類する公知の方法がある。
【０００３】
文書を処理する方法及び装置を記載したものがある（特許文献１参照。）。ネットワーク環境においては絶えず、新規文書すなわち新規バージョンの文書がサーチされ、そのコンテンツによって分類されるように処理される。この分類は、現在処理されている文書と既分類文書との間の類似性が活用されることによって自動的に行われる。要するに、ワード出現頻度テーブルの形式による差異値が検査されて当該文書の一致の程度が判定される。
【特許文献１】米国特許第５９８３２４６号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、文書を処理することが可能であり、該文書に関する追加情報が自動的に生成されるシステム及び方法を備えることにある。
【課題を解決するための手段】
【０００５】
この目的は本特許請求の範囲記載のシステム、方法、及び該方法を実行するプログラムによって達成される。本特許請求の範囲記載の従属項は本発明の効果的実施例に関する。
【０００６】
本発明によれば、少なくとも1つの入力文書が基準データとのそのコンテンツ・ベースの関連について解析される。基準データは、例えば、第２文書であり得る。基準データは又、文書群（文書クラスタ）であり得るか、その表現であり得る。この解析に基づいて、コンテンツ・ベースの関連の存否について判定が行われる。その後、この関連がどのようなものであるかが判定され、このことを種類に割り当てる試みがなされる。この目的でいくつかの考えられる種類のリンク、すなわち2つの文書間のコンテンツ・ベースの関連の種類があらかじめ規定される。当該コンテンツ・ベースの関連が存在する場合には、文書間のめいめいのリンクが設定されることになる。
【０００７】
本明細書及び特許請求の範囲の原文記載の「Documents」は電子形式で利用可能なデータを表すものとする。例えば、その場合、テキスト文書を表し得る。それらはテキスト情報とビデオ情報とのリンクでもあり得る。好ましくは、処理文書は少なくとも１つのテキスト部分を有する。更に、例えば、オーディオ・データ・ファイル又はビデオ・データ・ファイルを処理し得るものであり、テキスト・コンテンツはその場合好ましくはトランスクリプト形式で存在するか処理中に音声認識システムによって生成される。処理対象文書のデータ・ファイル・フォーマットの例としては、HTML文書があり、更に一般的にはXML文書がある。該文書は各種のコンテンツのものであり得る。それらは、例えば、個別のメッセージであり得る。該文書は文学作品又は科学論文、インタビューなどでもあり得る。好ましくは、該文書は例えば、ソースの規定、作成日付などの追加情報（メタ・データ）を伴う少なくとも1つのデータ部分を備える。
【０００８】
本発明の範囲内で、いくつかのリンク種類が規定される。これらのリンク種類は２つの文書間のコンテンツ・ベースの関連又は文書と文書クラスタとの間のコンテンツ・ベースの関連に相当する。2つの文書、すなわち文書Aと文書Bとの間のリンク種類の例は、例えば、「文書Aは文書Bに記載されているイベントに関するインタビューである。」又は「文書Aは著作文書Bのレビューである。」となる。コンテンツ・ベースの関連はここでは決定的な要因であり、その関連はリンクの種類によって判定される。そのようなリンクは好ましくは一定の方向を有する。クラスタCの例は、例えば、その全てが特定のイベントを扱うその文書クラスタによって、表されることになる。文書AとクラスタCとの間の考えられるリンク種類はその場合、例えば、「文書AはクラスタCによって扱われるイベントに関する記載である。」となる。
【０００９】
本発明はよって、単に２つの文書間の類似性関連を確かめる以上のことを行う。２つの文書間の関連の種類又は文書とクラスタとの間の関連の種類は自動的に認識される。例えば、文書フローを適切に分割し、分類するか拡張させることが自動生成データによって可能であり、適切な相互リンク・バージョンにおいて記憶させることが可能である。
【００１０】
本発明によるシステムは入力手段、解析手段、選択手段及び出力手段を有する。好ましくは、例えばメモリからかネットワーク・インタフェースを介して文書及び基準データを入力することができる1つ又は複数のコンピュータを伴う装置である。文書と基準データとの間の関連の解析、更にはリンクの種類の選択は適切なプログラムによって行い得る。見出されるリンクは、例えば、それを画面上に表示させることによって出力するか、ネットワーク・インタフェースを介して出力するか、適切な永久メモリ又は一時メモリにおける記憶によって出力する。
【００１１】
本発明の別の実施例によれば、文書の解析中にキーワードがサーチされ、このキーワードは入力文書のコンテンツと基準データとの間の関連の種類を表すものである。見出されるキーワードに応じて、リンクが設定される、すなわちリンクの種類が選択される。
【００１２】
そのようなキーワードの例として、例えばニュース項目を処理する場合に、「次は…に関連するコメントです。」などの導入ワードがあり得る。これらは好ましくは、本明細書及び特許請求の範囲ではキーフレーズとして表す複数の関連するキーワードのリンクである。
【００１３】
文書の処理中に文書を、分類することが可能である、すなわちいくつかの所定の文書種類からの１つに割り当てることが可能である。コンテンツ・ベースの関連の種類を判定する場合には、判定された文書種類を拠りどころにし得る。
【００１４】
本発明の別の実施例は、入力文書がテキスト部分とデータ部分とを備えるようにしている。テキスト部分は好適に処理された文書コンテンツである。データ部分は文書に関する別の情報（メタ・データ）、例えば文書の種類、ソース及び/又は日付に関する情報を有する。明らかに、文書は別の部分、例えばグラフィック・コンテンツ、ビデオ・コンテンツ又はオーディオ・コンテンツを備え得る。文書に関し、データ部分が有するメタ・データは文書が作成される時点で自動的に供給される。例えば、テレビジョン局からのニュース項目が文書として受信される場合、ソース（ニュース局の名前）及び送信時間を自動的に登録することが可能である。インターネットから取り出される文書については、コンテンツ・プロバイダを登録し得るものであり、取り出し可能な限り、その他のメタ・データ（例えば、作成日付、作成者の名前など）も登録することが可能である。更に、メタ・データを追加の処理工程によって生成可能である。オーディオ・データベース又はビデオ・データベースとして元々利用可能であり、かつそのテキスト・コンテンツが例えば音声認識によって生成されるそのドキュメントが処理される場合、音声認識からのその他の情報をメタ・データとして処理可能である。この目的で、例えば当該話者の識別を行い得る。そのような手法は音声認識の分野における専門家には既知のものである。話者識別の結果を（「インタビュー」文書種類に指し示すことになる）一定の話者交替とともに、例えば文書のデータ部分に、登録し得る。同様に、ノイズ背景を評価してスタジオ寄与分と、例えば（背景ノイズを伴う）生レポートとの間の区別を行い、データ部分に登録し得る。
【００１５】
本発明の更に別の実施例によれば、専用データベースがアクセスされて文書のコンテンツ・ベース関連が解析される。このデータベースでは、当該言語の語がめいめいの汎用語に割り当てられる。２つの文書の何れかに存在する語に用いるこの情報は文書間のコンテンツ・ベースの関連の解析中に用い得る。
【００１６】
本発明の別の実施例は文書が意味論的に相互リンクされるかたちで記憶される電子メモリ・システムにおいて文書を相互リンクさせて記憶させることに関する。この文書に関する当該リンク種類のリンクを、記憶文書について、すなわち、コンテンツの関連する文書も記憶される場合、記憶し得る。そのようなメモリ・システムは文書を連続して処理することによって蓄積させ得るものであり、新文書によって拡張させ得る。メモリ・システムがアクセスされる場合、文書を単純な方法で追加解析工程なしでコンテンツの関連する文書を介してアクセスすることが可能である。リンク種類を介してアクセスは特定のコンテンツ・ベース関連の種類に目的指向方法で指し示し得る。メモリ・システムは本発明によるコンピュータ・システムの部分であり得るものであり、1つ又は複数の記憶媒体若しくは電子メモリ(RAM)及び/又は光データ担体若しくは磁気データ担体を備える。複数の記憶媒体は併せて１つの機器に収容し得るか、例えばネットワークを介して、複数の相互接続機器にわたって分散させ得る。
【発明を実施するための最良の形態】
【００１７】
本発明のこれらの特徴とその他の特徴は以下に記載する実施例から明らかであり、該実施例を参照しながら明らかとなる。
【実施例】
【００１８】
図1は３つの文書D1、D2及びD3を記号表現で表す。
【００１９】
本例では、文書D2は最新イベントに関する情報を有するビデオ・データ・ファイルである。ビデオ・データ・ファイルはメッセージ伝送の部分であり、表すイベントに関するオーディオ・コメントを有する。オーディオ・コメントは文書D2にトランスクリプト形式で利用可能なかたちで存在するか、自動音声認識によって生成される。文書D2はよって、ビデオ部分とテキスト部分とを有する。更に、文書D2はデータ部分を有し、このデータ部分には文書に関する情報が記憶され、その情報が有するものとして当該記事の元の送信時間、更には送信者の名前がある。
【００２０】
文書D1はこの場合にはD2においてレポートされている最新イベントに関する新聞のコメントである。文書D1は当該テキストを伴うHTMLページの形式で利用可能なものとして存在する。テキスト部分に加えて、D1は、ソース（新聞の名前）、更には公表日付が登録されているデータ部分も有する。
【００２１】
文書D3はD2が関連するものと同じ最新イベントに関するインタビューである。インタビューはオーディオ・データ・ファイルとして利用可能である。更に、自動音声認識を利用して、インタビューの文言が処理するのに利用可能なテキスト形式に変換されている。これも文書に関する情報を伴うデータ部分である。自動音声認識が行われた際に、話者が識別されている。2人の話者の間での一定の交替（インタビュー）の認識済サンプルが検出され、データ部分に記憶されている。
【００２２】
文書D1、D2及びD3を処理し、かつリンクを生成するシステムは、文書を利用可能にするデータ・ソースによって、かつ２つの文書間のコンテンツ関連を検出可能であり、文書間の当該リンクを設定可能なプログラムを処理するコンピュータによって備えられる。この目的で、プログラムは当該文書及びプロセスに、文書のテキスト・コンテンツ、更には適宜、データ部分を入力する。その場合最初に文書間でのコンテンツの関連するリンクの存否と、これらのリンクがどの種類のものであるかを確かめる。コンテンツの関連するリンクの種類は所定のリンク・リストからのリンク種類に割り当てられる。文書間の特定のリンク種類のリンクが生成される。
【００２３】
図1は文書D1と文書D2との間のリンクLn1を表す。このリンクLn1は「関連コメント」の種類のものである。リンクは文書D1から文書D2まで設定され、文書D1から文書D2を指し示す。これは、よって、D1のコンテンツがD2に表すイベントに関するコメントである旨をD1とD2との間のコンテンツの関連するリンクとして示す。
【００２４】
別の例は文書D3とD2との間のリンクLn2である。このリンクは「イベントに関連したインタビュー」の種類のものであり、文書D3から文書D2を指し示す。リンクLn2は上記プログラムによって、D3コンテンツが文書D2に表すイベントに関するインタビューであることが認識された後に生成される。
【００２５】
図1にリンクLn1、Ln2とともに表す文書D1、D2及びD3はここではクラスタCと呼ぶ文書群を構成する。そのようなクラスタは多くの文書を備え得る。このクラスタの文書はそのコンテンツに関して、そのコンテンツが同じテーマに関するものであるという点で関連している。
【００２６】
図1に表す文書D1、D2及びD3間のリンクLn1及びLn2は常に、個々の文書間のリンクである。しかし、解析対象の新文書と複数文書を備える既存のクラスタCとの間のリンクを規定することも考えられる。
【００２７】
プログラムによる文書の処理は以下のように行われる。
【００２８】
まず、入力文書が入力される。この処理中には、一方でこの文書に関する追加情報を有するテキスト・コンテンツが検討され、他方で該情報を有するデータ部分が検討される。
【００２９】
入力文書が基準データと比較されてコンテンツ・ベースの関連の存否が確かめられる。上記のように、基準データは第２文書であり得る。同様に、基準データは文書クラスタでもその表現でもあり得る。
【００３０】
入力文書と基準データとの間でコンテンツ・ベースの一致が見出されない場合、この比較対に関する処理が終結される。入力文書は更に、例えば別の基準データと比較し得る。
【００３１】
一方、コンテンツ・ベースの関連が見出される場合、別の処理が関連の種類を定め、当該リンクを生成する目的で行われる。この目的で、所定のキーフレーズが入力文書において識別され、これらのフレーズはお互いに対する参照を表す。各キーフレーズはテーブルにおけるリンク種類に割り当てられる。
【００３２】
更に、入力文書のデータ部分が有する情報が評価される。キーフレーズのサーチの結果と入力文書のデータ部分からの追加情報が評価されてリンク種類が選択される。
【００３３】
選択されたリンク種類のリンクが入力文書と基準データとの間に生成され、データベースに記憶される。
【００３４】
入力文書と基準データとの間でのコンテンツ・ベースの関連の存否を確かめるために、当業者に既知の手法を実現することが可能である。既知の手法はテキスト・コンテンツをテキストにおいて頻繁に繰り返される語を検討することによって解析することを備える。２つの文書が比較される場合、例えば、２つの文書における最も頻出度の高いn個の語の語頻出度のベクトルが定められ、その場合nは適切に選定される。文書間のコンテンツ・ベース関連に対するパラメータとしてみなし得るベクトル距離をその場合判定し得る。そのような手法は例えば、米国特許第5983246号明細書に記載されている。Thorsten  Joachimsによる西暦1998年発表の「Text  Categorization  With  Support  Vector  Machines:  Learning  with  Many  Relevant  Features,  Proceedings  of  the  ECML  ‘98(European  Conference  on  Machine  Learning)」と題する論文及びDavid  Hullによる西暦1994年発表の「Improving  text  retrieval  for  the  routing  problem  using  latent  semantic  indexing,  Proceedings  of  the  SIGIR  ‘94(Special  Interest  Group  On  Information  Retrieval)」と題する論文にもそのような手法が記載されている。上記引用文献の内容は本明細書及び特許請求の範囲に援用するものとする。
【００３５】
文書と文書クラスタとの間の関連が検討される場合、これは個々の比較の和として処理し得る。しかし、性能の理由で、文書は1つ又は複数のクラスタ表現とも比較し得る。そのような表現はクラスタの文書の共通事項を要約する。例えば、上記ワード出現頻度法を用いて処理する場合、クラスタ表現はクラスタの文書において繰り返される語のリストを備える。
【００３６】
上記の適切なリンク種類を選択する工程では、例えば、キーフレーズをリンク種類に割り当てたテーブルが用いられる。キーフレーズは個々の語であり得る。しかし、通例、それらはキーワードと、場所の名前又は個人の名前などの別の要素とのリンクである。以下に当該割り当てを有するテーブルを例として表す：
キーフレーズ                              関連するリンク種類
＜場所名＞における場所に先行する
「Live」は＜個人名＞用のものである        生レポート
この点に関する
＜個人名＞のコメント                      コメント
上記キーフレーズに加えて、メタ・データが有する情報を入力文書に整理することが可能である。そのようなメタ・データは文書のデータ部分が有し得るか、別個の処理工程によって生成し得る。例えば、テキスト部分がオーディオ・データ・ファイルから蓄積される場合、既知の音声認識手法に加えて、更に、同様に既知である話者識別手法を用いて、例えば、インタビューを指し示す、話者の一定の交替を検出し得る。
【００３７】
キーフレーズと追加メタ・データとの解析から回復される総情報量は一致に関する適切なリンク種類によって評価される。最高点を有するリンク種類が選択される。
【００３８】
更に、文書間のコンテンツ・ベースの関連の種類の解析中に、特有語データベースをアクセスすることが可能である。このデータベースは当該使用言語の語を有し、語を、一方でその高次汎用語に割り当て、他方でそれが有する特有語に割り当てる。本明細書及び特許請求の範囲の原文記載の「tool」の語はよって、例えば、該原文記載の汎用語「matter」に割り当てられることになり、一方で該原文記載の「hammer」などの特有語に割り当てられることになる。そのようなデータベースは公知である。更に、類語辞典としても知られる公知のこの種のデータベースは、語の同義語及び反対語、更には語の部分、全体、上位語及び下位語を記録している。
【００３９】
そのようなデータベースは一方で、入力文書と基準データとの間でのコンテンツ・ベースの関連の存否を見つける解析工程に用い得る。この検査が頻出語の比較に基づくものである場合、例えば個々の語の手法の変わりに、同義的な語（同義語）の群を検討して、同様な事実についての種々の表現をコンテンツの関連するものとして認識し得る。
【００４０】
他方で、そのようなデータベースは２つの文書間又は文書と文書クラスタとの間のコンテンツ関連の種類を確かめるのにも用い得る。例えば、特有語及び汎用語に対する割り当てが存在するデータベースでは、第１文書に存在する語はデータベースにおけるそれらの場所（汎用語：汎用、特有語：特有）に関して検討し得るものであり、よって適切な尺度すなわち数値的尺度を、使用される語の専門化の度合いについて形成し得る。例えば、コンテンツが関連していると認識された２つの文書において、一方の文書が概ね一般的な汎用語を記載している一方で、他方の文書が特有の語彙を活用していることが分かった場合、このことからこの対象の別の特に詳細な取り扱いに関する結論を導き出し得る。
【００４１】
これらの結果は文書に関するメタ・データと検出キーフレーズに関する結果とともに用いて適切なリンク種類を選択することが可能である。
【００４２】
図2は記号形式で文書を処理するシステム10を表す。システム10は、一方で文書Dが記憶され、他方で文書D間のリンクLが記憶されるデータ・メモリ12を備える。クラスタCはリンクに関連付けられる文書によって構成される。
【００４３】
システム10は更に、解析及び判定装置14と選択装置16とを備える。システム10は連続ストリームにおいて供給される文書D1…Dnのフローを処理する。この文書フローは、例えば文書データベースから、読み取り得る。文書フローD1…Dnはインターネットからの文書を連続フローにおいて取り込むウェブ・スパイダとしての役割を果たすプログラムの結果でもあり得る。データ・フローD1…Dnは最後に更に、連続評価の結果又は種々のニュース局の伝送の結果でもあり得る。
【００４４】
文書D1…Dnはまず、データ・メモリ12に既に記憶されている、個々の文書Dと文書クラスタCとのうちの何れかに対するコンテンツ・ベースの関連について解析及び判定装置14によって検査される。コンテンツ・ベースの関連が存在する場合、その種類が上記のように判定され、当該リンクLが設定される。現在処理されている文書と、生成されるリンクLの全ては、データ・メモリ12に記憶される。このようにして、文書と、これらの文書間の種々の種類の特定の関連とを記録する意味論的ネットワークがデータ・メモリ12で展開する。入力文書についてコンテンツ・ベースの関連を有する文書DもクラスタCも何ら見出されない場合、入力文書は、別個に記憶され、新基準クラスタのコアを形成し得る。
【００４５】
具体的実施例では、データ・メモリ12は、例えばXMLデータベースとして、実現し得る。文書Dをインターネットなどのコンピュータ・ネットワークにおいて既知のアドレス(URL)をもとに取り出すことが可能である場合、文書Dをデータ・メモリ12に記憶させるかわりに、当該URLを記憶させ得る。
【図面の簡単な説明】
【００４６】
【図１】３つの文書間のリンクを記号表現で表す図である。
【図２】情報処理システムの要素を記号表現で表す図である。
【図１】
2006504162.tif 000003
【図２】
2006504162.tif 000004
【国際調査報告】
2006504162.tif 000005
2006504162.tif 000006
2006504162.tif 000007