(57)【要約】【課題】低コストでかつ抽出に要する計算量を低減するのに好適な情報抽出システムを提供する。【解決手段】文書データ登録ＤＢ１２の文書データについてそれら文書データ相互間の類似度を算出する類似度算出部１４と、類似度算出部１４で算出した類似度に基づいて文書データ登録ＤＢ１２の文書データの取り得るすべての組み合わせについて冗長度を算出する冗長度算出部１６と、組み合わせのなかから冗長度算出部１６で算出した冗長度が所定値以下となる組み合わせを決定する文書組決定部１８と、文書組決定部１８で決定した組み合わせの文書データを文書データ登録ＤＢ１２のなかから抽出する文書データ抽出部２０とを備える。【選択図】  図１
2004318526.tif 000002
【特許請求の範囲】
【請求項１】
抽出対象となる複数の情報のなかから情報を抽出するシステムであって、
前記複数の情報についてそれら情報相互間の類似度を算出する類似度算出手段と、前記類似度算出手段で算出した類似度に基づいて前記複数の情報の取り得るすべての組み合わせについて冗長度を算出する冗長度算出手段と、前記組み合わせのなかから前記冗長度算出手段で算出した冗長度が所定値以下となる組み合わせを決定する情報組決定手段と、前記情報組決定手段で決定した組み合わせの情報を前記複数の情報のなかから抽出する情報抽出手段とを備えることを特徴とする情報抽出システム。
【請求項２】
抽出対象となる複数の文書のなかから文書を抽出するシステムであって、
前記複数の文書についてそれら文書相互間の類似度を算出する類似度算出手段と、前記類似度算出手段で算出した類似度に基づいて前記複数の文書の取り得るすべての組み合わせについて冗長度を算出する冗長度算出手段と、前記組み合わせのなかから前記冗長度算出手段で算出した冗長度が所定値以下となる組み合わせを決定する文書組決定手段と、前記文書組決定手段で決定した組み合わせの文書を前記複数の文書のなかから抽出する文書抽出手段とを備えることを特徴とする文書抽出システム。
【請求項３】
抽出対象となる複数の文書のなかから文書を抽出するシステムであって、
複数の文書データを記憶するための文書データ記憶手段と、前記文書データ記憶手段の文書データについてそれら文書データ相互間の類似度を算出する類似度算出手段と、前記類似度算出手段で算出した類似度に基づいて前記文書データ記憶手段の文書データの取り得るすべての組み合わせについて冗長度を算出する冗長度算出手段と、前記組み合わせのなかから前記冗長度算出手段で算出した冗長度が所定値以下となる組み合わせを決定する文書データ組決定手段と、前記文書データ組決定手段で決定した組み合わせの文書データを前記文書データ記憶手段のなかから抽出する文書データ抽出手段とを備えることを特徴とする文書抽出システム。
【請求項４】
請求項３において、
さらに、ユーザに関するユーザ情報を記憶するためのユーザ情報記憶手段と、前記ユーザ情報記憶手段のユーザ情報に基づいて前記文書データ記憶手段のなかから複数の文書データを選択する文書データ選択手段とを備え、
前記類似度算出手段、前記冗長度算出手段、前記文書データ組決定手段及び前記文書データ抽出手段は、前記文書データ選択手段で選択した文書データを対象として前記類似度の算出、前記冗長度の算出、前記組み合わせの決定及び前記文書データの抽出を行うようになっていることを特徴とする文書抽出システム。
【請求項５】
請求項３において、
さらに、ユーザに関するユーザ情報を記憶するためのユーザ情報記憶手段と、前記ユーザ情報記憶手段のユーザ情報に基づいて前記文書データ抽出手段で抽出した文書データのなかから文書データを選択する文書データ選択手段とを備えることを特徴とする文書抽出システム。
【請求項６】
請求項４及び５のいずれかにおいて、
前記ユーザ情報は、前記所定値を含み、
前記文書データ組決定手段は、前記ユーザ情報記憶手段のユーザ情報に基づいて、前記組み合わせのなかから前記冗長度算出手段で算出した冗長度が前記所定値以下となる組み合わせを決定するようになっていることを特徴とする文書抽出システム。
【請求項７】
請求項３乃至６のいずれかにおいて、
前記類似度算出手段は、前記文書データ記憶手段の各文書データの文書を所定の文字要素に分割する文書分割手段と、前記文書分割手段で分割した文字要素の出現頻度に基づいて前記文書データ記憶手段の各文書データについて文書ベクトルを生成する文書ベクトル生成手段と、前記文書ベクトル生成手段で生成した文書ベクトルに基づいて前記文書データ記憶手段の文書データ相互間の類似度を算出するベクトル演算類似度算出手段とを有することを特徴とする文書抽出システム。
【請求項８】
請求項７において、
前記文書分割手段は、形態素解析、ｎ−ｇｒａｍ及びストップワードのいずれかの文字要素分割方式を用いて前記文書データ記憶手段の各文書データの文書を所定の文字要素に分割するようになっていることを特徴とする文書抽出システム。
【請求項９】
請求項７及び８のいずれかにおいて、
前記文書ベクトル生成手段は、前記文字要素が出現する文書における当該文字要素の出現頻度、及び前記複数の文書における前記文字要素の出現頻度に基づいて、前記文書データ記憶手段の各文書データについてＴＦＩＤＦ（Ｔｅｒｍ  Ｆｒｅｑｕｅｎｃｙ  ＆  Ｉｎｖｅｒｓｅ  Ｄｏｃｕｍｅｎｔ  Ｆｒｅｑｕｅｎｃｙ）で重み付けした文書ベクトルを生成するようになっていることを特徴とする文書抽出システム。
【請求項１０】
請求項７乃至９のいずれかにおいて、
前記ベクトル演算類似度算出手段は、前記文書ベクトル生成手段で生成した文書ベクトルに基づいてベクトル空間法により文書データ相互間の類似度を算出するようになっていることを特徴とする文書抽出システム。
【請求項１１】
抽出対象となる複数の情報のなかから情報を抽出するプログラムであって、
前記複数の情報についてそれら情報相互間の類似度を算出する類似度算出手段、前記類似度算出手段で算出した類似度に基づいて前記複数の情報の取り得るすべての組み合わせについて冗長度を算出する冗長度算出手段、前記組み合わせのなかから前記冗長度算出手段で算出した冗長度が所定値以下となる組み合わせを決定する情報組決定手段、及び前記情報組決定手段で決定した組み合わせの情報を前記複数の情報のなかから抽出する情報抽出手段として実現される処理をコンピュータに実行させるためのプログラムであることを特徴とする情報抽出プログラム。
【請求項１２】
抽出対象となる複数の文書のなかから文書を抽出するプログラムであって、
前記複数の文書についてそれら文書相互間の類似度を算出する類似度算出手段、前記類似度算出手段で算出した類似度に基づいて前記複数の文書の取り得るすべての組み合わせについて冗長度を算出する冗長度算出手段、前記組み合わせのなかから前記冗長度算出手段で算出した冗長度が所定値以下となる組み合わせを決定する文書組決定手段、及び前記文書組決定手段で決定した組み合わせの文書を前記複数の文書のなかから抽出する文書抽出手段として実現される処理をコンピュータに実行させるためのプログラムであることを特徴とする文書抽出プログラム。
【請求項１３】
抽出対象となる複数の情報のなかから情報を抽出する方法であって、
前記複数の情報についてそれら情報相互間の類似度を算出する類似度算出ステップと、前記類似度算出ステップで算出した類似度に基づいて前記複数の情報の取り得るすべての組み合わせについて冗長度を算出する冗長度算出ステップと、前記組み合わせのなかから前記冗長度算出ステップで算出した冗長度が所定値以下となる組み合わせを決定する情報組決定ステップと、前記情報組決定ステップで決定した組み合わせの情報を前記複数の情報のなかから抽出する情報抽出ステップとを含むことを特徴とする情報抽出方法。
【請求項１４】
抽出対象となる複数の文書のなかから文書を抽出する方法であって、
前記複数の文書についてそれら文書相互間の類似度を算出する類似度算出ステップと、前記類似度算出ステップで算出した類似度に基づいて前記複数の文書の取り得るすべての組み合わせについて冗長度を算出する冗長度算出ステップと、前記組み合わせのなかから前記冗長度算出ステップで算出した冗長度が所定値以下となる組み合わせを決定する文書組決定ステップと、前記文書組決定ステップで決定した組み合わせの文書を前記複数の文書のなかから抽出する文書抽出ステップとを含むことを特徴とする文書抽出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ニュース等の文書をユーザの好みに応じて自動的に配信する文書配信システム等に係り、特に、低コストでかつ抽出に要する計算量を低減するのに好適な情報抽出システム、文書抽出システム、情報抽出プログラムおよび文書抽出プログラム、並びに情報抽出方法および文書抽出方法に関する。
【０００２】
【従来の技術】
ユーザごとにカスタマイズが可能な情報配信システムは、ユーザがフィルタリング条件を設定し、リアルタイムで送られてくるニュース等の各種情報（以下、文字情報を主体とした文書という。）のなかからコンピュータが自動的にその設定されたフィルタリング条件に合う文書のみを抽出してユーザに配信する形態が一般的である。
【０００３】
このような形態の文書配信システムの場合、フィルタリング条件によっては、配信される文書が偏りすぎたり、また、同じような内容の文書が繰り返し送られてくるといった問題点がある。特に、後者の問題点に関しては、文書の内容が重複することにより、配信される情報に無駄が多くなったり、文書掲載スペースが限られている場合には他の重要な文書がカットされてしまう等の不都合を招き、文書配信システム自体の利便性や信頼性等を大きく損なう結果となる。
【０００４】
そのため、このような文書の重複配信を防止すべく必要な文書のみを効率的に抽出するためのフィルタリング、または分類技術が極めて重要となっており、これらに関する従来技術として、例えば以下の特許文献１および２に示すような技術が提案されている。
まず、特許文献１（特開平１０−２７５１６０号公報）には、すべての文書にキーワードを付与し、そのキーワードから文書をベクトル化し、ある文書Ａが他の文書Ｂに包含されているときに最大値をとるような類似度評価尺度を導入して、代表文書、従属文書、独立文書等を認識して適宜関係のある文書をまとめる等の技術が開示されている。
【０００５】
一方、特許文献２（特開２０００−１４８７７０号公報）には、分類対象となる文書の特徴量を計算し、それら各特徴量の類似度を求めたのち、数学的、統計的なクラスタ分析によって文書を分類する等の技術が開示されている。
【０００６】
【特許文献１】
特開平１０−２７５１６０号公報
【特許文献２】
特開２０００−１４８７７０号公報
【０００７】
【発明が解決しようとする課題】
ところで、前者の従来技術にあっては、すべての文書にキーワード等の特徴を付与する必要性があるが、すべての文書に対してキーワードを付与する作業には多くのコストがかかる。一方、後者の従来技術で用いているクラスタ分析は階層的な分類やグループ分けをするために適した分析方法であるが、文書数が増えると計算量が極端に多くなってしまい、スループットが大きく低下するといった問題点がある。
【０００８】
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、低コストでかつ抽出に要する計算量を低減するのに好適な情報抽出システム、文書抽出システム、情報抽出プログラムおよび文書抽出プログラム、並びに情報抽出方法および文書抽出方法を提供することを目的としている。
【０００９】
【課題を解決するための手段】
〔発明１〕
上記目的を達成するために、発明１の情報抽出システムは、
抽出対象となる複数の情報のなかから情報を抽出するシステムであって、
前記複数の情報についてそれら情報相互間の類似度を算出する類似度算出手段と、前記類似度算出手段で算出した類似度に基づいて前記複数の情報の取り得るすべての組み合わせについて冗長度を算出する冗長度算出手段と、前記組み合わせのなかから前記冗長度算出手段で算出した冗長度が所定値以下となる組み合わせを決定する情報組決定手段と、前記情報組決定手段で決定した組み合わせの情報を前記複数の情報のなかから抽出する情報抽出手段とを備えることを特徴とする。
【００１０】
このような構成であれば、類似度算出手段により、複数の情報についてそれら情報相互間の類似度が算出され、冗長度算出手段により、算出された類似度に基づいて複数の情報の取り得るすべての組み合わせについて冗長度が算出される。そして、情報組決定手段により、取り得るすべての組み合わせのなかから、算出された冗長度が所定値以下となる組み合わせが決定され、情報抽出手段により、決定された組み合わせの情報が複数の情報のなかから抽出される。
【００１１】
これにより、類似度が大きい情報同士は選択されにくくなるので、従来に比して、内容が類似するような情報を重複して抽出する可能性を低減することができるという効果が得られる。また、情報の抽出に際しては各情報にキーワードを付与する等の作業を要しないので、その作業に要するコストを低減することができるという効果も得られる。また、各情報相互間の類似度によって情報の組み合わせを決定するので、情報のデータ量が多くなった場合でも計算量が極端に増える可能性が少なくなるという効果も得られる。
【００１２】
ここで、情報には、文書データのほか、画像データ、音楽データまたはその他の種別のデータが含まれる。以下、発明１１の情報抽出プログラム、および発明１３の情報抽出方法において同じである。
また、本システムは、単一の装置、端末その他の機器として実現するようにしてもよいし、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。以下、発明２および３の文書抽出システムにおいて同じである。
〔発明２〕
一方、上記目的を達成するために、発明２の文書抽出システムは、
抽出対象となる複数の文書のなかから文書を抽出するシステムであって、
前記複数の文書についてそれら文書相互間の類似度を算出する類似度算出手段と、前記類似度算出手段で算出した類似度に基づいて前記複数の文書の取り得るすべての組み合わせについて冗長度を算出する冗長度算出手段と、前記組み合わせのなかから前記冗長度算出手段で算出した冗長度が所定値以下となる組み合わせを決定する文書組決定手段と、前記文書組決定手段で決定した組み合わせの文書を前記複数の文書のなかから抽出する文書抽出手段とを備えることを特徴とする。
【００１３】
このような構成であれば、類似度算出手段により、複数の文書についてそれら文書相互間の類似度が算出され、冗長度算出手段により、算出された類似度に基づいて複数の文書の取り得るすべての組み合わせについて冗長度が算出される。そして、文書組決定手段により、取り得るすべての組み合わせのなかから、算出された冗長度が所定値以下となる組み合わせが決定され、文書抽出手段により、決定された組み合わせの文書が複数の文書のなかから抽出される。
【００１４】
これにより、類似度が大きい文書同士は選択されにくくなるので、従来に比して、内容が類似するような文書を重複して抽出する可能性を低減することができるという効果が得られる。また、文書の抽出に際しては各文書にキーワードを付与する等の作業を要しないので、その作業に要するコストを低減することができるという効果も得られる。また、各文書相互間の類似度によって文書の組み合わせを決定するので、文書のデータ量が多くなった場合でも計算量が極端に増える可能性が少なくなるという効果も得られる。
〔発明３〕
さらに、発明３の文書抽出システムは、
抽出対象となる複数の文書のなかから文書を抽出するシステムであって、
複数の文書データを記憶するための文書データ記憶手段と、前記文書データ記憶手段の文書データについてそれら文書データ相互間の類似度を算出する類似度算出手段と、前記類似度算出手段で算出した類似度に基づいて前記文書データ記憶手段の文書データの取り得るすべての組み合わせについて冗長度を算出する冗長度算出手段と、前記組み合わせのなかから前記冗長度算出手段で算出した冗長度が所定値以下となる組み合わせを決定する文書データ組決定手段と、前記文書データ組決定手段で決定した組み合わせの文書データを前記文書データ記憶手段のなかから抽出する文書データ抽出手段とを備えることを特徴とする。
【００１５】
このような構成であれば、類似度算出手段により、文書データ記憶手段の文書データについてそれら文書データ相互間の類似度が算出され、冗長度算出手段により、算出された類似度に基づいて文書データ記憶手段の文書データの取り得るすべての組み合わせについて冗長度が算出される。そして、文書データ組決定手段により、取り得るすべての組み合わせのなかから、算出された冗長度が所定値以下となる組み合わせが決定され、文書データ抽出手段により、決定された組み合わせの文書データが文書データ記憶手段のなかから抽出される。
【００１６】
これにより、類似度が大きい文書同士は選択されにくくなるので、従来に比して、内容が類似するような文書を重複して抽出する可能性を低減することができるという効果が得られる。また、文書の抽出に際しては各文書にキーワードを付与する等の作業を要しないので、その作業に要するコストを低減することができるという効果も得られる。また、各文書データ相互間の類似度によって文書の組み合わせを決定するので、文書のデータ量が多くなった場合でも計算量が極端に増える可能性が少なくなるという効果も得られる。
【００１７】
ここで、文書データ記憶手段は、文書データをあらゆる手段でかつあらゆる時期に記憶するものであり、文書データをあらかじめ記憶してあるものであってもよいし、文書データをあらかじめ記憶することなく、本システムの動作時に外部からの入力等によって文書データを記憶するようになっていてもよい。
〔発明４〕
さらに、発明４の文書抽出システムは、発明３の文書抽出システムにおいて、
さらに、ユーザに関するユーザ情報を記憶するためのユーザ情報記憶手段と、前記ユーザ情報記憶手段のユーザ情報に基づいて前記文書データ記憶手段のなかから複数の文書データを選択する文書データ選択手段とを備え、
前記類似度算出手段、前記冗長度算出手段、前記文書データ組決定手段および前記文書データ抽出手段は、前記文書データ選択手段で選択した文書データを対象として前記類似度の算出、前記冗長度の算出、前記組み合わせの決定および前記文書データの抽出を行うようになっていることを特徴とする。
【００１８】
このような構成であれば、文書データ選択手段により、ユーザ情報記憶手段のユーザ情報に基づいて文書データ記憶手段のなかから複数の文書データが選択される。次いで、類似度算出手段により、選択された文書データについてそれら文書データ相互間の類似度が算出され、冗長度算出手段により、算出された類似度に基づいて、選択された文書データの取り得るすべての組み合わせについて冗長度が算出される。そして、文書データ組決定手段により、取り得るすべての組み合わせのなかから、算出された冗長度が所定値以下となる組み合わせが決定され、文書データ抽出手段により、決定された組み合わせの文書データが、選択された文書データのなかから抽出される。
【００１９】
これにより、ユーザの希望に適合した内容の文書データが選択されたのちに、そのなかから類似度が大きい文書データが除外されるので、ユーザの好みによる偏りを大きくし、情報の均一性よりもユーザの好みを重視した文書抽出を行うことができるという効果も得られる。例えば、幅広い情報よりも自己の好みに適合した情報を求めているユーザに対しては、好適な情報提供を行うことができる。
【００２０】
ここで、ユーザ情報記憶手段は、ユーザ情報をあらゆる手段でかつあらゆる時期に記憶するものであり、ユーザ情報をあらかじめ記憶してあるものであってもよいし、ユーザ情報をあらかじめ記憶することなく、本システムの動作時に外部からの入力等によってユーザ情報を記憶するようになっていてもよい。以下、発明５の文書抽出システムにおいて同じである。
〔発明５〕
さらに、発明５の文書抽出システムは、発明３の文書抽出システムにおいて、
さらに、ユーザに関するユーザ情報を記憶するためのユーザ情報記憶手段と、前記ユーザ情報記憶手段のユーザ情報に基づいて前記文書データ抽出手段で抽出した文書データのなかから文書データを選択する文書データ選択手段とを備えることを特徴とする。
【００２１】
このような構成であれば、文書データ抽出手段により、決定された組み合わせの文書データが文書データ記憶手段のなかから抽出され、文書データ選択手段により、ユーザ情報記憶手段のユーザ情報に基づいて、抽出された文書データのなかから文書データが選択される。
これにより、類似度が大きい文書データが除外されたのちに、そのなかからユーザの希望に適合した内容の文書データが選択されるので、ユーザの好みによる偏りを小さくし、ユーザの好みよりも情報の均一性を重視した文書抽出を行うことができるという効果も得られる。例えば、自己の好みに適合した情報よりも幅広い情報を求めているユーザに対しては、好適な情報提供を行うことができる。〔発明６〕
さらに、発明６の文書抽出システムは、発明４および５のいずれかの文書抽出システムにおいて、
前記ユーザ情報は、前記所定値を含み、
前記文書データ組決定手段は、前記ユーザ情報記憶手段のユーザ情報に基づいて、前記組み合わせのなかから前記冗長度算出手段で算出した冗長度が前記所定値以下となる組み合わせを決定するようになっていることを特徴とする。
【００２２】
このような構成であれば、文書データ組決定手段により、ユーザ情報記憶手段のユーザ情報に基づいて、取り得るすべての組み合わせのなかから、算出された冗長度が所定値以下となる組み合わせが決定される。
これにより、ユーザは、自己が設定した冗長度の範囲で冗長性が除外された文書データを得ることができるので、ユーザの希望に比較的適合した文書抽出を行うことができるという効果も得られる。
〔発明７〕
さらに、発明７の文書抽出システムは、発明３ないし６のいずれかの文書抽出システムにおいて、
前記類似度算出手段は、前記文書データ記憶手段の各文書データの文書を所定の文字要素に分割する文書分割手段と、前記文書分割手段で分割した文字要素の出現頻度に基づいて前記文書データ記憶手段の各文書データについて文書ベクトルを生成する文書ベクトル生成手段と、前記文書ベクトル生成手段で生成した文書ベクトルに基づいて前記文書データ記憶手段の文書データ相互間の類似度を算出するベクトル演算類似度算出手段とを有することを特徴とする。
【００２３】
このような構成であれば、文書分割手段により、文書データ記憶手段の各文書データの文書が所定の文字要素に分割され、文書ベクトル生成手段により、分割された文字要素の出現頻度に基づいて文書データ記憶手段の各文書データについて文書ベクトルが生成される。そして、ベクトル演算類似度算出手段により、生成された文書ベクトルに基づいて文書データ記憶手段の文書データ相互間の類似度が算出される。
【００２４】
これにより、各文書データ相互間の類似度を比較的適切に算出することができるので、内容が類似するような文書を重複して抽出する可能性をさらに低減することができるという効果も得られる。
ここで、文字要素は、文字列を含むほか、単一の文字も含まれる。単一の文字としては、例えば、助詞（「の」、「は」、「が」、「に」、「を」、「や」）がある。
【００２５】
また、文書ベクトル生成手段は、文字要素の出現頻度に基づいて文書ベクトルを生成するようになっていればどのような構成であってもよく、例えば、文字要素の出現頻度から文書ベクトルを直接生成するようになっていてもよいし、文字要素の出現頻度から中間生成物（例えば、他のベクトル）を生成し、生成した中間生成物から文書ベクトルを生成するようになっていてもよい。
〔発明８〕
さらに、発明８の文書抽出システムは、発明７の文書抽出システムにおいて、
前記文書分割手段は、形態素解析、ｎ−ｇｒａｍおよびストップワードのいずれかの文字要素分割方式を用いて前記文書データ記憶手段の各文書データの文書を所定の文字要素に分割するようになっていることを特徴とする。
【００２６】
このような構成であれば、文書分割手段により、形態素解析、ｎ−ｇｒａｍおよびストップワードのいずれかの文字要素分割方式を用いて文書データ記憶手段の各文書データの文書が所定の文字要素に分割される。
形態素解析、ｎ−ｇｒａｍおよびストップワードといった文字列分割方式は、従来から多用されている信頼性に優れた方式であり、これらを本発明の文書分割手段として用いることにより、各文書を比較的適切に文字要素に分割できることは勿論、これらいずれかの方式を用いることにより様々な形態の文書にも対応することができるという効果も得られる。
〔発明９〕
さらに、発明９の文書抽出システムは、発明７および８のいずれかの文書抽出システムにおいて、
前記文書ベクトル生成手段は、前記文字要素が出現する文書における当該文字要素の出現頻度、および前記複数の文書における前記文字要素の出現頻度に基づいて、前記文書データ記憶手段の各文書データについてＴＦＩＤＦで重み付けした文書ベクトルを生成するようになっていることを特徴とする。
【００２７】
このような構成であれば、文書ベクトル生成手段により、文字要素が出現する文書におけるその文字要素の出現頻度、および複数の文書における文字要素の出現頻度に基づいて、文書データ記憶手段の各文書データについてＴＦＩＤＦで重み付けした文書ベクトルが生成される。
各文書の文書ベクトルを生成するに際し、分割された文字要素の出現頻度をそのまま用いてもよいが、ＴＦＩＤＦという文字要素の重要度を反映した公知の重み付け方法を用いると各文書の特徴を反映した文書ベクトルを生成することができる。したがって、各文書データ相互間の類似度をさらに適切に算出することができるので、内容が類似するような文書を重複して抽出する可能性をさらに低減することができるという効果も得られる。
〔発明１０〕
さらに、発明１０の文書抽出システムは、発明７ないし９のいずれかの文書抽出システムにおいて、
前記ベクトル演算類似度算出手段は、前記文書ベクトル生成手段で生成した文書ベクトルに基づいてベクトル空間法により文書データ相互間の類似度を算出するようになっていることを特徴とする。
【００２８】
このような構成であれば、ベクトル演算類似度算出手段により、生成された文書ベクトルに基づいてベクトル空間法により文書データ相互間の類似度が算出される。
各文書データ相互間の類似度を算出する方式としてベクトル空間法を用いれば、２つの文書ベクトルの類似度は２つのベクトルのなす角の余弦値（０〜１）として定量的に表現することが可能となり、文書抽出をより的確に行うことが可能となるという効果も得られる。
〔発明１１〕
一方、上記目的を達成するために、発明１１の情報抽出プログラムは、
抽出対象となる複数の情報のなかから情報を抽出するプログラムであって、
前記複数の情報についてそれら情報相互間の類似度を算出する類似度算出手段、前記類似度算出手段で算出した類似度に基づいて前記複数の情報の取り得るすべての組み合わせについて冗長度を算出する冗長度算出手段、前記組み合わせのなかから前記冗長度算出手段で算出した冗長度が所定値以下となる組み合わせを決定する情報組決定手段、および前記情報組決定手段で決定した組み合わせの情報を前記複数の情報のなかから抽出する情報抽出手段として実現される処理をコンピュータに実行させるためのプログラムであることを特徴とする。
【００２９】
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明１の情報抽出システムと同等の作用および効果が得られる。
〔発明１２〕
一方、上記目的を達成するために、発明１２の文書抽出プログラムは、
抽出対象となる複数の文書のなかから文書を抽出するプログラムであって、
前記複数の文書についてそれら文書相互間の類似度を算出する類似度算出手段、前記類似度算出手段で算出した類似度に基づいて前記複数の文書の取り得るすべての組み合わせについて冗長度を算出する冗長度算出手段、前記組み合わせのなかから前記冗長度算出手段で算出した冗長度が所定値以下となる組み合わせを決定する文書組決定手段、および前記文書組決定手段で決定した組み合わせの文書を前記複数の文書のなかから抽出する文書抽出手段として実現される処理をコンピュータに実行させるためのプログラムであることを特徴とする。
【００３０】
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明２の文書抽出システムと同等の作用および効果が得られる。
〔発明１３〕
一方、上記目的を達成するために、発明１３の情報抽出方法は、
抽出対象となる複数の情報のなかから情報を抽出する方法であって、
前記複数の情報についてそれら情報相互間の類似度を算出する類似度算出ステップと、前記類似度算出ステップで算出した類似度に基づいて前記複数の情報の取り得るすべての組み合わせについて冗長度を算出する冗長度算出ステップと、前記組み合わせのなかから前記冗長度算出ステップで算出した冗長度が所定値以下となる組み合わせを決定する情報組決定ステップと、前記情報組決定ステップで決定した組み合わせの情報を前記複数の情報のなかから抽出する情報抽出ステップとを含むことを特徴とする。
【００３１】
これにより、発明１の情報抽出システムと同等の効果が得られる。
〔発明１４〕
一方、上記目的を達成するために、発明１４の文書抽出方法は、
抽出対象となる複数の文書のなかから文書を抽出する方法であって、
前記複数の文書についてそれら文書相互間の類似度を算出する類似度算出ステップと、前記類似度算出ステップで算出した類似度に基づいて前記複数の文書の取り得るすべての組み合わせについて冗長度を算出する冗長度算出ステップと、前記組み合わせのなかから前記冗長度算出ステップで算出した冗長度が所定値以下となる組み合わせを決定する文書組決定ステップと、前記文書組決定ステップで決定した組み合わせの文書を前記複数の文書のなかから抽出する文書抽出ステップとを含むことを特徴とする。
【００３２】
これにより、発明２の文書抽出システムと同等の効果が得られる。
【００３３】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照しながら説明する。図１ないし図１１は、本発明に係る情報抽出システム、文書抽出システム、情報抽出プログラムおよび文書抽出プログラム、並びに情報抽出方法および文書抽出方法の実施の形態を示す図である。
【００３４】
本実施の形態は、本発明に係る情報抽出システム、文書抽出システム、情報抽出プログラムおよび文書抽出プログラム、並びに情報抽出方法および文書抽出方法を、図１に示すように、内容の重複が少ない複数の文書をユーザに提供する場合について適用したものである。
まず、本発明に係る文書抽出装置１０の構成を図１を参照しながら説明する。
【００３５】
図１は、本発明に係る文書抽出装置１０の実施の一形態を示したものである。
文書抽出装置１０は、図１に示すように、複数の文書データを登録する文書データ登録データベース（以下、データベースのことを単にＤＢと略記する。）１２と、文書データ登録ＤＢ１２の文書データについてそれら文書データ相互間の類似度を算出する類似度算出部１４と、類似度算出部１４で算出した類似度に基づいて複数の文書データについて冗長度を算出する冗長度算出部１６と、ユーザ情報を登録したユーザ情報登録ＤＢ１７と、ユーザ情報登録ＤＢ１７のユーザ情報および冗長度算出部１６で算出した冗長度に基づいて文書データの組み合わせを決定する文書組決定部１８と、文書組決定部１８で決定した組み合わせの文書データを文書データ登録ＤＢ１２のなかから抽出する文書データ抽出部２０とで構成されている。
【００３６】
文書データ登録ＤＢ１２は、インターネット等の情報通信網内にある情報供給源Ｓから供給されるいくつかの情報をそれぞれ文書データとして登録するようになっている。
冗長度算出部１６は、類似度算出部１４で算出した類似度に基づいて、文書データ登録ＤＢ１２の文書データの取り得るすべての組み合わせについて冗長度を算出するようになっている。なお、本実施の形態において、冗長度とは、２つの文書データ相互間の類似度を表すほか、３つ以上の文書データについて代表の類似度を表すものとして用いられる。
【００３７】
文書組決定部１８は、ユーザ情報登録ＤＢ１７のユーザ情報に基づいて、取り得るすべての組み合わせのなかから、冗長度算出部１６で算出した冗長度が所定値以下となる組み合わせを決定するようになっている。具体的には、ユーザ情報に所定値が含まれているので、取り得るすべての組み合わせのなかから、ユーザが設定した冗長度以下となる組み合わせを選択する。
【００３８】
類似度算出部１４は、図１に示すように、文書データ登録ＤＢ１２の各文書データの文書を所定の文字列に分割する文書分割部３０と、文書分割部３０で分割した文字列の出現頻度に基づいて文書データ登録ＤＢ１２の各文書データについて文書ベクトルを生成する文書ベクトル生成部３２と、文書ベクトル生成部３２で生成した文書ベクトルに基づいて文書データ登録ＤＢ１２の文書データ相互間の類似度を算出するベクトル演算類似度算出部３４とで構成されている。
【００３９】
類似度算出部１４は、まず、文書データ登録ＤＢ１２から選択した各文書データの文書を文書分割部３０によって文字列ごとに分割したのち、分割した各文字列の出現頻度を文書ベクトル生成部３２によって算出して各文書データの文書ベクトルを生成する。その後、文書ベクトル生成部３２で得られた各文書ベクトル相互の類似度をベクトル演算類似度算出部３４によって算出する。
【００４０】
文書抽出装置１０は、図２に示すような構成をしたコンピュータ１００により実現されることになる。
図２は、コンピュータ１００の構成を示すブロック図である。
コンピュータ１００は、図２に示すように、制御プログラムに基づいて演算および装置全体を制御するＣＰＵ５０と、所定領域にあらかじめＣＰＵ５０の制御プログラム等を格納しているＲＯＭ５２と、ＲＯＭ５２等から読み出したデータやＣＰＵ５０の演算過程で必要な演算結果を格納するためのＲＡＭ５４と、外部装置に対してデータの入出力を媒介するＩ／Ｆ５８とで構成されており、これらは、データを転送するための信号線であるバス５９で相互にかつデータ授受可能に接続されている。
【００４１】
Ｉ／Ｆ５８には、外部装置として、データ入力が可能なキーボードやマウス等からなる入力装置６０と、画像信号に基づいて画面を表示する表示装置６４と、文書データ登録ＤＢ１２と、ユーザ情報登録ＤＢ１７とが接続されている。
文書データ登録ＤＢ１２は、例えば、ハードディスク等の外部記憶装置であり、インターネット等の情報供給源Ｓから所定の情報が定期的にまたは随時供給されるようになっている。
【００４２】
ＣＰＵ５０は、マイクロプロセッシングユニット（ＭＰＵ）等からなり、ＲＯＭ５２の所定領域に格納されている文書抽出プログラムを起動させ、そのプログラムに従って、類似度算出部１４、冗長度算出部１６、文書組決定部１８および文書データ抽出部２０として実現される文書データ抽出処理（図８）を実行するようになっている。
【００４３】
次に、本実施の形態の動作を説明する。
図１に示すように、まず、文書データ登録ＤＢ１２には、情報供給源Ｓからユーザの好みに対応した内容の文書データが一定の時間ごとまたは不定期に供給されて一時的に蓄積され、その文書データ数が所定数に達したとき、または保存時間が一定時間経過したならば、一旦、その蓄積された文書データのすべてが類似度算出部１４に送られ、ここで各文書データ相互間の類似度が算出される。
【００４４】
まず、類似度算出部１４に送られてきた各文書データは、文書分割部３０によってその文書が文字列に分割される。
図３は、形態素解析による文字列分割の一例を示す図である。
文字列の分割方式（手法）は、特に限定されるものではないが、例えば、図３に示すように、各文書Ｄ１〜Ｄｍを文字列に分割するに際して形態素解析を用いた場合は、形態素解析辞書を参照しながら文法的な区切りで文字列（単語）に分割することができる。ここで、形態素解析には、様々な手法があり、辞書の善し悪しによっても結果は異なるが、例えば、図３の「無線／の／セキュリティ／が／話題／に／なっ／ている／。／…」等のように、名詞、動詞、形容詞助詞、助動詞等の単語に分けることができる。また、形態素解析は、分割の精度がよいが、以前では精度を維持するために辞書の作成やメンテナンスにコストが掛かるといった欠点があったが、最近では、長年十分に作り込まれてきた辞書が資産として使えるため、コストの問題も次第に解消されてきており、現在最もよく使われる文字列分割方法である。ただし、形態素解析は、日本語の辞書は日本語に限って使用できるものであり、英語や中国語などの他の言語にはその言語用の辞書が必要になるといった不利な面もある。
【００４５】
また、各文書Ｄ１〜Ｄｍを文字列に分割するに際して形態素解析ではなく、一定間隔ごとに文字列を切っていくｎ−ｇｒａｍという文字列分割方式を用いることも可能である。
図４は、ｎ−ｇｒａｍによる文字列分割の一例を示す図である。
ｎ−ｇｒａｍ方式を用いた場合、文書は、図４に示すように分割される。すなわち、ｎ−ｇｒａｍの「ｎ」とは何バイトごと（または何文字ごと）かを表す数字で、図４の場合では、２文字ごとなので２−ｇｒａｍと書くことができる。ただし、日本語などの２バイト文字の場合、２文字＝４バイトなので４−ｇｒａｍと書く場合もあるかもしれないが、ここでは、その数字の正確さは問題とするところではない。ｎ−ｇｒａｍは、意味のある単語を塊として切り出すことは困難であるが、分割したものをそのまま統計的に処理するだけであれば必ずしも意味のある単語が塊になっている必要がない場合もある。また、ｎ−ｇｒａｍは、形態素解析に比べてアルゴリズムが単純でどの言語に対しても使えるというメリットがある。
【００４６】
また、各文書Ｄ１〜Ｄｍを文字列に分割するに際して形態素解析およびｎ−ｇｒａｍではなく、ストップワードという文字列分割方式を用いることも可能である。
図５は、ストップワードによる文字列分割の一例を示す図である。
ストップワード方式とは、文書のなかで切れ目となる文字や規則を登録し、それに従って分割していく方法である。例えば、図５に示す例では、▲１▼助詞だと思われる「の」「は」「が」「に」「を」「や」、▲２▼句読点「、」「。」、▲３▼漢字、カタカナ、アルファベット等の字種の変わり目、等といった３つのルールのいずれかが成立するところで分割したものである。なお、ストップワードは、ある程度意味のある単語を抜き出すことが可能であるが、「情報通信技術」等といった長い熟語や「インターネットテクノロジー」等といった長いカタカナの複合語などは分割できないという問題もある。また、英語であれば、▲１▼スペース、▲２▼カンマ、ピリオド、コロン、セミコロン、その他の記号、▲３▼アルファベット、数字、記号などの字種の変わり目等といったルールをもとに、単語の活用形を落とすステミングという手法を使うことである程度の文字列分割を行うことができる。
【００４７】
このように、文書分割部３０によってすべての文書Ｄ１〜Ｄｍについての文字列分割が行われたならば、次に、文書ベクトル生成部３２によって文字列頻度を算出し、図６に示すような文字列−文書行列を作成する。
図６は、文字列−文書行列を示す図である。
図７は、形態素解析による文字列分割結果を示す図である。
【００４８】
文字列−文書行列は、図６に示すように、各文書Ｄ１〜Ｄｍとユニークな文字列Ｔ１〜Ｔｎとの対応関係を示したものであり、各文字列Ｔ１〜Ｔｎが各文書Ｄ１〜Ｄｍのなかに何回出現するかを数え、それを示したものである。例えば、文字列分割方式として形態素解析を用いた分割結果の場合では、図７に示すように、文書Ｄ１のなかには「無線」（網掛け文字）という文字列（Ｔ１）は３回出現しており、そのＷ１１に相当する行列の要素は、その出現回数をそのまま用いた場合では「３」となる。
【００４９】
ここで、Ｗｍｎに相当する行列の各要素は、文字列の出現回数をそのまま用いてもよいが、ＴＦＩＤＦという文字列の重要度を反映した重み付け方法を用いると、各文書の特徴をよく表現した文書ベクトルが生成できることが知られており、後の相互類似度算出で活用することができる。
すなわち、ＴＦＩＤＦは、下式（１）に示すように、ある文書Ｄ内での文字列Ｔの出現頻度（ＴＦ：Ｔｅｒｍ  Ｆｒｅｑｕｅｎｃｙ）と、文書集合全体で文字列Ｔが出現する文書数の頻度を逆数（ＩＤＦ：Ｉｎｖｅｒｓｅ  Ｄｏｃｕｍｅｎｔ  Ｆｒｅｑｕｅｎｃｙ）の積で求め、数値が大きいほどその文字列Ｔが重要であることを表すものである。ＴＦは、頻出する文字列は重要であるという指標であり、ある文書中に文字列が出現する頻度が増加すると大きくなる性質を持っている。ＩＤＦは、多くの文書中に出現する文字列は重要でない、つまり特定の文書に出現する文字列が重要であるという指標であり、ある文字列が使われている文書数が減少すると大きくなるという性質を持っている。したがって、ＴＦＩＤＦの値は、特定の文書に頻繁に出現する文字列に対しては大きくなる性質を持っており、逆に、頻繁に出現するが多くの文書に出現する文字列（接続詞や助詞等）や、特定の文書にのみ出現するがその文書に低頻度で出現する文字列に対しては小さくなる性質を持っている。ＴＦＩＤＦによって文書中の文字列は数値化され、文字列の重要度を加味したその数値を要素として文書をベクトル化することができる。
【００５０】
【数１】
2004318526.tif 000003
【００５１】
図８は、文書データ抽出処理の一部を示すフローチャートである。
文書データ抽出処理は、図８に示すように、まず、ステップＳ１００に移行するようになっている。なお、図８のフローチャートに示す処理は、文書データ抽出処理のうち類似度算出部１４として実現される処理である。
ステップＳ１００では、文書データ登録ＤＢ１２に登録された文書データが一つずつ選択され、ステップＳ１０２に移行して、選択された各文書データの文書が文字列ごとに分割され、ステップＳ１０４に移行する。
【００５２】
ステップＳ１０４では、文書と文字列との対応関係を示す文字列−文書行列に文字列の頻度情報が記憶され、ステップＳ１０６に移行して、文書データ登録ＤＢ１２に未処理の文書データが残っているか否かが判定され、未処理の文書データが残っていると判定されたとき（Ｙｅｓ）は、その文書データが選択されて同様な処理が行われ、すべての文書データがなくなるまでこれが繰り返される。
【００５３】
一方、ステップＳ１０６で、文書データ登録ＤＢ１２に未処理の文書データが残っていないと判定されたとき（Ｎｏ）は、ステップＳ１０８に移行して、完成した文字列−文書行列の頻度情報を基にＴＦＩＤＦによって重み付けし直した文字列−文書行列が生成される。これにより、すべての文書データは、それらに出現するユニークな文字列の数と同じ次元（数千〜数十万）の文書ベクトルとして表現できることになる。
【００５４】
そして、このようにすべての文書データがベクトル化されたならば、ベクトル演算類似度算出部３４によって各文書データ相互間の類似度が算出される。具体的には、ベクトル演算類似度算出部３４は、公知のベクトル空間法を採用するものであり、ＴＦＩＤＦによって求められた各文書ベクトルは、ベクトル空間法によって相互の類似度が定義されることになる。すなわち、対比する２つの文書ベクトルの類似度は、図９に示すように、２つのベクトルのなす角θの余弦値（０〜１）として定義することができることから、文書データ同士の類似度は、図１０に示すような対称行列で表現できる。
【００５５】
図９は、文書ベクトルおよびその相関関係を示す図である。
図１０および図１１は、文書−文書間の対称行列を示す図である。
その後、その対称行列をもとに類似情報のグルーピングやカットを行うことで類似文書を除外した文書抽出が実現可能となる。例えば、図１０のような対称行列では、図１１に示すように、文書Ｄ１と文書Ｄ２の類似度が「０．９」、文書Ｄ１と文書Ｄ３の類似度が「０．３」というように各文書データ相互間の類似度が定量的に示される。
【００５６】
次に、このように類似度算出部１４によって各文書データ相互間の類似度が定量的に求められたならば、冗長度算出部１６により、類似度算出部１４で算出された類似度に基づいて、文書Ｄ１〜Ｄｎの取り得るすべての組み合わせについて冗長度が算出され、文書組決定部１８により、ユーザ情報登録ＤＢ１７のユーザ情報に基づいて、取り得るすべての組み合わせのなかから、冗長度算出部１６で算出された冗長度が所定値以下となる組み合わせが決定される。
【００５７】
ユーザに対して、ｎ個の文書のうちｒ（ｒ≦ｎ）個の文書を提供することを考える。
ｎ個の文書のなかからｒ個の文書を選ぶ組み合わせ数は、下式（２）により求めることができる。
【００５８】
【数２】
2004318526.tif 000004
【００５９】
図１１の場合を例にとって説明すると、文書は全部で４個であるので、４個の文書を選択する組み合わせは１通り、３個の文書を選択する組み合わせは４通り、２個の文書を選択する組み合わせは６通りである。このように、取り得るすべての組み合わせを考慮して、ユーザにより指定された冗長度の条件を満たす組み合わせを決定していく。ここで、ユーザＡ，Ｂが設定した冗長度は、ユーザＡが「０．７」、ユーザＢが「０．４」であるとする。つまり、ユーザＡは、ある程度重複は許容してもよいと考えているが、ユーザＢは、あまり重複は許容しないと考えている。
【００６０】
まず、４個の文書を選択する組み合わせについて冗長度を算出する。
文書Ｄ１〜Ｄ４のなかから４個の文書を選択する場合は、（Ｄ１，Ｄ２，Ｄ３，Ｄ４）の１通りであるが、冗長度は、その組み合わせの文書群のなかから２個の文書を選択した場合のすべての組み合わせについての類似度を総和し、その値を平均したものを冗長度として算出する。
【００６１】
（Ｄ１，Ｄ２，Ｄ３，Ｄ４）の組み合わせについてそのなかから２個の文書を選択する場合は、（Ｄ１，Ｄ２）、（Ｄ１，Ｄ３）、（Ｄ１，Ｄ４）、（Ｄ２，Ｄ３）、（Ｄ２，Ｄ４）および（Ｄ３，Ｄ４）の６通りである。そして、それぞれの類似度は、図１１に示すように、「０．９」、「０．３」、「０．５」、「０．２」、「０．８」および「０．３」であるので、それらの総和は、「３．０」となる。したがって、その平均値は、「０．５」となり、この値が（Ｄ１，Ｄ２，Ｄ３，Ｄ４）の組み合わせについての冗長度として算出される。
【００６２】
ここで、ユーザＡが設定した冗長度は、「０．７」であり、冗長度「０．５」の方が小さいので、（Ｄ１，Ｄ２，Ｄ３，Ｄ４）の組み合わせはユーザＡにとって許容範囲内である。したがって、ユーザＡには、文書Ｄ１〜Ｄ４を提供するのが望ましい。
これに対して、ユーザＢが設定した冗長度は、「０．４」であり、冗長度「０．５」の方が大きいので、（Ｄ１，Ｄ２，Ｄ３，Ｄ４）の組み合わせはユーザＢにとっては許容範囲外である。したがって、ユーザＢには、文書Ｄ１〜Ｄ４を提供することはできない。
【００６３】
次に、３個の文書を選択する組み合わせについて冗長度を算出する。
文書Ｄ１〜Ｄ４のなかから３個の文書を選択する組み合わせは、下式（３）により４通りであるが、冗長度は、各組み合わせにごとに、その組み合わせの文書群のなかから２個の文書を選択した場合のすべての組み合わせについての類似度を総和し、その値を平均したものを冗長度として算出する。
【００６４】
【数３】
2004318526.tif 000005
【００６５】
文書Ｄ１〜Ｄ４のなかから３個の文書を選択する場合は、（Ｄ１，Ｄ２，Ｄ３）、（Ｄ１，Ｄ２，Ｄ４）、（Ｄ１，Ｄ３，Ｄ４）および（Ｄ２，Ｄ３，Ｄ４）である。
第１に、（Ｄ１，Ｄ２，Ｄ３）の組み合わせについてそのなかから２個の文書を選択する場合は、（Ｄ１，Ｄ２）、（Ｄ１，Ｄ３）および（Ｄ２，Ｄ３）の３通りである。そして、それぞれの類似度は、図１１に示すように、「０．９」、「０．３」および「０．２」であるので、それらの総和は、「１．４」となる。したがって、その平均値は、「０．４７」となり、この値が（Ｄ１，Ｄ２，Ｄ３）の組み合わせについての冗長度として算出される。
【００６６】
第２に、（Ｄ１，Ｄ２，Ｄ４）の組み合わせについてそのなかから２個の文書を選択する場合は、（Ｄ１，Ｄ２）、（Ｄ１，Ｄ４）および（Ｄ２，Ｄ４）の３通りである。そして、それぞれの類似度は、図１１に示すように、「０．９」、「０．５」および「０．８」であるので、それらの総和は、「２．２」となる。したがって、その平均値は、「０．７３」となり、この値が（Ｄ１，Ｄ２，Ｄ４）の組み合わせについての冗長度として算出される。
【００６７】
第３に、（Ｄ１，Ｄ３，Ｄ４）の組み合わせについてそのなかから２個の文書を選択する場合は、（Ｄ１，Ｄ３）、（Ｄ１，Ｄ４）および（Ｄ３，Ｄ４）の３通りである。そして、それぞれの類似度は、図１１に示すように、「０．３」、「０．５」および「０．３」であるので、それらの総和は、「１．１」となる。したがって、その平均値は、「０．３６」となり、この値が（Ｄ１，Ｄ３，Ｄ４）の組み合わせについての冗長度として算出される。
【００６８】
第４に、（Ｄ２，Ｄ３，Ｄ４）の組み合わせについてそのなかから２個の文書を選択する場合は、（Ｄ２，Ｄ３）、（Ｄ２，Ｄ４）および（Ｄ３，Ｄ４）の３通りである。そして、それぞれの類似度は、図１１に示すように、「０．２」、「０．８」および「０．３」であるので、それらの総和は、「１．３」となる。したがって、その平均値は、「０．４３」となり、この値が（Ｄ２，Ｄ３，Ｄ４）の組み合わせについての冗長度として算出される。
【００６９】
ここで、ユーザＢが設定した冗長度は、「０．４」であるので、（Ｄ１，Ｄ３，Ｄ４）の組み合わせはユーザＢにとって許容範囲内である。したがって、ユーザＢには、文書Ｄ１，Ｄ３，Ｄ４を提供するのが望ましい。
次に、ユーザＣの場合を説明する。ここで、ユーザＣが設定した冗長度は、「０．４７」であるとする。
【００７０】
ユーザＣが設定した冗長度は、「０．４７」であるので、（Ｄ１，Ｄ２，Ｄ３）の組み合わせ、（Ｄ１，Ｄ３，Ｄ４）の組み合わせおよび（Ｄ２，Ｄ３，Ｄ４）の組み合わせはユーザＣにとって許容範囲内である。この場合、それらの組み合わせのなかからいずれかをランダムで選択するか、最も低い冗長度の組み合わせを選択するか、設定値に最も近い冗長度の組み合わせを選択するかが考えられる。
【００７１】
次に、ユーザＤの場合を説明する。ここで、ユーザＤが設定した冗長度は、「０．３」であるとする。
ユーザＤが設定した冗長度は、「０．３」であるので、上記組み合わせのなかには該当するものが存在しない。この場合は、さらに、文書Ｄ１〜Ｄ４のなかから２個の文書を選択することを考える。
【００７２】
文書Ｄ１〜Ｄ４のなかから２個の文書を選択する組み合わせは、（Ｄ１，Ｄ２）、（Ｄ１，Ｄ３）、（Ｄ１，Ｄ４）、（Ｄ２，Ｄ３）、（Ｄ２，Ｄ４）および（Ｄ３，Ｄ４）の６通りであるが、冗長度は、各組み合わせにごとに、その組み合わせについての類似度を冗長度として算出する。
第１に、（Ｄ１，Ｄ２）の組み合わせについての類似度は、図１１に示すように、「０．９」であり、この値が冗長として算出される。
【００７３】
第２に、（Ｄ１，Ｄ３）の組み合わせについての類似度は、図１１に示すように、「０．３」であり、この値が冗長として算出される。
第３に、（Ｄ１，Ｄ４）の組み合わせについての類似度は、図１１に示すように、「０．５」であり、この値が冗長として算出される。
第４に、（Ｄ２，Ｄ３）の組み合わせについての類似度は、図１１に示すように、「０．２」であり、この値が冗長として算出される。
【００７４】
第５に、（Ｄ２，Ｄ４）の組み合わせについての類似度は、図１１に示すように、「０．８」であり、この値が冗長として算出される。
第６に、（Ｄ３，Ｄ４）の組み合わせについての類似度は、図１１に示すように、「０．３」であり、この値が冗長として算出される。
ここで、ユーザＤが設定した冗長度は、「０．３」であるので、（Ｄ１，Ｄ３）の組み合わせ、（Ｄ２，Ｄ３）の組み合わせ、および（Ｄ３，Ｄ４）の組み合わせはユーザＤにとって許容範囲内である。したがって、ユーザＤには、文書Ｄ１，Ｄ３、文書Ｄ２，Ｄ３または文書Ｄ３，Ｄ４を提供するのが望ましい。この場合、それらの組み合わせのなかからいずれかをランダムで選択するか、最も低い冗長度の組み合わせを選択するか、設定値に最も近い冗長度の組み合わせを選択するかが考えられる。
【００７５】
このようにして、本実施の形態では、文書データを登録した文書データ登録ＤＢ１２と、文書データ登録ＤＢ１２の文書データについてそれら文書データ相互間の類似度を算出する類似度算出部１４と、類似度算出部１４で算出した類似度に基づいて文書データ登録ＤＢ１２の文書データの取り得るすべての組み合わせについて冗長度を算出する冗長度算出部１６と、組み合わせのなかから冗長度算出部１６で算出した冗長度が所定値以下となる組み合わせを決定する文書組決定部１８と、文書組決定部１８で決定した組み合わせの文書データを文書データ登録ＤＢ１２のなかから抽出する文書データ抽出部２０とを備える。
【００７６】
これにより、類似度が大きい文書同士は選択されにくくなるので、従来に比して、内容が類似するような文書を重複して抽出する可能性を低減することができる。また、文書の抽出に際しては各文書にキーワードを付与する等の作業を要しないので、その作業に要するコストを低減することができる。また、各文書データ相互間の類似度によって文書の組み合わせを決定するので、文書のデータ量が多くなった場合でも計算量が極端に増える可能性が少なくなる。
【００７７】
さらに、本実施の形態では、文書組決定部１８は、ユーザ情報登録ＤＢ１７のユーザ情報に基づいて、組み合わせのなかから冗長度算出部１６で算出した冗長度が所定値以下となる組み合わせを決定するようになっている。
これにより、ユーザは、自己が設定した冗長度の範囲で冗長性が除外された文書データを得ることができるので、ユーザの希望に比較的適合した文書抽出を行うことができる。
【００７８】
さらに、本実施の形態では、類似度算出部１４は、文書データ登録ＤＢ１２の各文書データの文書を所定の文字列に分割する文書分割部３０と、文書分割部３０で分割した文字列の出現頻度に基づいて文書データ登録ＤＢ１２の各文書データについて文書ベクトルを生成する文書ベクトル生成部３２と、文書ベクトル生成部３２で生成した文書ベクトルに基づいて文書データ登録ＤＢ１２の文書データ相互間の類似度を算出するベクトル演算類似度算出部３４とを有する。
【００７９】
これにより、各文書データ相互間の類似度を比較的適切に算出することができるので、内容が類似するような文書を重複して抽出する可能性をさらに低減することができる。
さらに、本実施の形態では、文書分割部３０は、形態素解析、ｎ−ｇｒａｍおよびストップワードのいずれかの文字列分割方式を用いて文書データ登録ＤＢ１２の各文書データの文書を所定の文字列に分割するようになっている。
【００８０】
形態素解析、ｎ−ｇｒａｍおよびストップワードといった文字列分割方式は、従来から多用されている信頼性に優れた方式であり、これらを本発明の文書分割部３０として用いることにより、各文書を比較的適切に文字列に分割できることは勿論、これらいずれかの方式を用いることにより様々な形態の文書にも対応することができる。
【００８１】
さらに、本実施の形態では、文書ベクトル生成部３２は、文字列が出現する文書におけるその文字列の出現頻度、および複数の文書における文字列の出現頻度に基づいて、文書データ登録ＤＢ１２の各文書データについてＴＦＩＤＦで重み付けした文書ベクトルを生成するようになっている。
各文書の文書ベクトルを生成するに際し、分割された文字列の出現頻度をそのまま用いてもよいが、ＴＦＩＤＦという文字列の重要度を反映した公知の重み付け方法を用いると各文書の特徴を反映した文書ベクトルを生成することができる。したがって、各文書データ相互間の類似度をさらに適切に算出することができるので、内容が類似するような文書を重複して抽出する可能性をさらに低減することができる。
【００８２】
さらに、本実施の形態では、ベクトル演算類似度算出部３４は、文書ベクトル生成部３２で生成した文書ベクトルに基づいてベクトル空間法により文書データ相互間の類似度を算出するようになっている。
各文書データ相互間の類似度を算出する方式としてベクトル空間法を用いれば、２つの文書ベクトルの類似度は２つのベクトルのなす角の余弦値（０〜１）として定量的に表現することが可能となり、文書抽出をより的確に行うことが可能となる。
【００８３】
上記実施の形態において、文書データ登録ＤＢ１２は、発明３、７ないし９の文書データ記憶手段に対応し、類似度算出部１４は、発明１ないし３、７、１１または１２の類似度算出手段に対応し、類似度算出部１４による算出は、発明１３または１４の類似度算出ステップに対応している。また、冗長度算出部１６は、発明１ないし３、１１または１２の冗長度算出手段に対応し、冗長度算出部１６による算出は、発明１３または１４の冗長度算出ステップに対応し、文書組決定部１８は、発明１若しくは１１の情報組決定手段、発明２若しくは１２の文書組決定手段、または発明３の文書データ組決定手段に対応している。
【００８４】
また、上記実施の形態において、文書組決定部１８による決定は、発明１３の情報組決定ステップ、または発明１４の文書組決定ステップに対応し、文書データ抽出部２０は、発明１若しくは１１の情報抽出手段、発明２若しくは１２の文書抽出手段、または発明３の文書データ抽出手段に対応している。また、文書データ抽出部２０による抽出は、発明１３の情報抽出ステップ、または発明１４の文書抽出ステップに対応し、文書分割部３０は、発明７または８の文書分割手段に対応し、文書ベクトル生成部３２は、発明７、９または１０の文書ベクトル生成手段に対応している。
【００８５】
また、上記実施の形態において、ベクトル演算類似度算出部３４は、発明７または１０のベクトル演算類似度算出手段に対応している。
なお、上記実施の形態においては、文書の重複度合いについてのみユーザの好みを反映させるように構成したが、これに限らず、文書の内容についてもユーザの好みを反映させるように構成することもできる。具体的には、例えば、次の２つの構成を提案することができる。
【００８６】
図１２は、本発明に係る文書抽出装置１０の他の実施の形態を示したものである。
文書抽出装置１０は、図１２に示すように、文書データ登録ＤＢ１２と、ユーザ情報登録ＤＢ１７と、ユーザ情報登録ＤＢ１７のユーザ情報に基づいて文書データ登録ＤＢ１２のなかから文書データを選択する文書データ選択部２２と、文書データ選択部２２で選択した文書データについてそれら文書データ相互間の類似度を算出する類似度算出部１４と、類似度算出部１４で算出した類似度に基づいて複数の文書データについて冗長度を算出する冗長度算出部１６と、ユーザ情報登録ＤＢ１７のユーザ情報および冗長度算出部１６で算出した冗長度に基づいて文書データの組み合わせを決定する文書組決定部１８と、文書組決定部１８で決定した組み合わせの文書データを文書データ選択部２２で選択した文書データのなかから抽出する文書データ抽出部２０とで構成されている。
【００８７】
これにより、ユーザの希望に適合した内容の文書データが選択されたのちに、そのなかから類似度が大きい文書データが除外されるので、ユーザの好みによる偏りを大きくし、情報の均一性よりもユーザの好みを重視した文書抽出を行うことができる。例えば、幅広い情報よりも自己の好みに適合した情報を求めているユーザに対しては、好適な情報提供を行うことができる。
【００８８】
この場合において、文書データ登録ＤＢ１２は、発明４の文書データ記憶手段に対応し、ユーザ情報登録ＤＢ１７は、発明４または６のユーザ情報記憶手段に対応し、類似度算出部１４は、発明４の類似度算出手段に対応し、冗長度算出部１６は、発明４または６の冗長度算出手段に対応している。また、文書組決定部１８は、発明４または６の文書データ組決定手段に対応し、文書データ抽出部２０は、発明４の文書データ抽出手段に対応し、文書データ選択部２２は、発明４の文書データ選択手段に対応している。
【００８９】
図１３は、本発明に係る文書抽出装置１０の他の実施の形態を示したものである。
文書抽出装置１０は、図１３に示すように、文書データ登録ＤＢ１２と、ユーザ情報登録ＤＢ１７と、文書データ登録ＤＢ１２の文書データについてそれら文書データ相互間の類似度を算出する類似度算出部１４と、類似度算出部１４で算出した類似度に基づいて複数の文書データについて冗長度を算出する冗長度算出部１６と、ユーザ情報登録ＤＢ１７のユーザ情報および冗長度算出部１６で算出した冗長度に基づいて文書データの組み合わせを決定する文書組決定部１８と、文書組決定部１８で決定した組み合わせの文書データを文書データ登録ＤＢ１２のなかから抽出する文書データ抽出部２０と、ユーザ情報登録ＤＢ１７のユーザ情報に基づいて文書データ抽出部２０で抽出した文書データのなかから文書データを選択する文書データ選択部２２とで構成されている。
【００９０】
これにより、類似度が大きい文書データが除外されたのちに、そのなかからユーザの希望に適合した内容の文書データが選択されるので、ユーザの好みによる偏りを小さくし、ユーザの好みよりも情報の均一性を重視した文書抽出を行うことができる。例えば、自己の好みに適合した情報よりも幅広い情報を求めているユーザに対しては、好適な情報提供を行うことができる。
【００９１】
この場合において、ユーザ情報登録ＤＢ１７は、発明５または６のユーザ情報記憶手段に対応し、文書データ抽出部２０は、発明５の文書データ抽出手段に対応し、文書データ選択部２２は、発明５の文書データ選択手段に対応している。
図１２の構成を構成Ａとし、図１３の構成を構成Ｂとして、構成Ａ，Ｂの違いについて詳細に説明する。
【００９２】
ユーザＡの文書データ選択のための属性として、ニュースカテゴリが「大リーグ」関係、それが少なければ上位の概念である「スポーツ」に選択範囲を広げる。そして、文書データ選択部２２で選択されるニュースは５個と指定されているものとする。「大リーグ」や「スポーツ」は、キーワードが直接指定されていることをも含めて、キーワード群や、関連文章や、その他何らかの公知技術を使って情報カテゴリが指定されているものとする。冗長性排除の属性は、別途同様に設定されているものとするが、簡略化のため、以下の例で「重複」の欄に記事番号が書かれているものが、その記事と重複しており冗長性排除によって排除される候補であることを示している。
【００９３】
図１４および図１５は、図１２の構成と図１３の構成との違いを説明するための図である。
図１４および図１５において、「適合度」とは、ユーザＡが設定した情報カテゴリに、各記事がどれぐらい適合するかを文書データ選択部２２によって計算した結果得られる数値である。「重複」の欄には、別途指定されている冗長性排除のための属性に従って計算した結果、その欄に書かれてある記事と重複しているため、排除される候補になることを示している。図１４および図１５の例では、記事１は記事３と重複しており、記事１の方が排除候補になるということを示している。
【００９４】
この例では、構成Ａ，Ｂの違いが、記事１０があるかないかに現れている。これは、図１４の例（構成Ａ）では、よりユーザの嗜好を重視しよりその嗜好に偏った記事選択が行われるのに対して、図１５の例（構成Ｂ）では、ユーザの嗜好を重視しながらも、それを逸脱しない範囲で冗長性が排除された記事選択が行われているといえる。
【００９５】
この結果からは、通常は、冗長性を排除しながらも、情報量が指定した５つになる図１５の例の方が好ましい構成と考えられる。図１４の例は、絶対記事数が５以下になる可能性が大きい（数が保証される可能性が小さい）のに対して、図１５の例は数が保証される可能性が大きい。ただし、適合度の判定、重複の判定に左右される可能性が大いにあり、一概にどちらがよいとはいえない。
【００９６】
また、上記実施の形態においては、冗長度を算出するのに平均値を用いているが、これに限らず、積をとって平方根等を求めその値を冗長度とする方法、各文書データ相互間の類似度のうち最大値または最小値を冗長度とする方法を採用することもできる。
長方形の面積で、「縦＋横」の長さが一定ならば正方形に近い方が面積が大きくなる原理と同じく、相加平均は、相乗平均と比較して以下のような特徴が挙げられる。
（ａ）文書データ相互間の類似度のばらつきが大きい組み合わせは、算出結果として小さくなる傾向がある。
（ｂ）文書データ相互間の類似度のばらつきが小さい組み合わせは、算出結果として大きくなる（小さくならない）傾向がある。
例えば、上記実施の形態において３個の文書を選択する組み合わせについて、相加平均を用いて冗長度を算出した場合は、次のようになる。ここで、（１）は（Ｄ１，Ｄ２，Ｄ３）についての計算結果であり、（２）は（Ｄ１，Ｄ２，Ｄ４）についての計算結果であり、（３）は（Ｄ１，Ｄ３，Ｄ４）についての計算結果であり、（４）は（Ｄ２，Ｄ３，Ｄ４）についての計算結果である。
（１）（０．９＋０．３＋０．２）／３  ＝  ０．４７
（２）（０．９＋０．５＋０．８）／３  ＝  ０．７３
（３）（０．３＋０．５＋０．３）／３  ＝  ０．３７
（４）（０．２＋０．８＋０．３）／３  ＝  ０．４３
また、上記実施の形態において３個の文書を選択する組み合わせについて、相乗平均を用いて冗長度を算出した場合は、次のようになる。ここで、（１）は（Ｄ１，Ｄ２，Ｄ３）についての計算結果であり、（２）は（Ｄ１，Ｄ２，Ｄ４）についての計算結果であり、（３）は（Ｄ１，Ｄ３，Ｄ４）についての計算結果であり、（４）は（Ｄ２，Ｄ３，Ｄ４）についての計算結果である。
（１）３√（０．９＊０．３＊０．２）  ＝  ０．３７８
（２）３√（０．９＊０．５＊０．８）  ＝  ０．７１１
（３）３√（０．３＊０．５＊０．３）  ＝  ０．３５６
（４）３√（０．２＊０．８＊０．３）  ＝  ０．３６３
相加平均の（１）（２）と、相乗平均の（１）（２）の結果を比較すると（２）の結果がほぼ同じなのに対して、相乗平均の（１）の結果は、相加平均の（１）に比べて小さくなっている。これは、（１）が文書データ相互間の類似度にばらつきのある組み合わせであるためであって、相加平均では、１つの高い数値に平均が押し上げられる場合であっても、相乗平均の方法を用いれば、部分的に類似している程度の冗長性であれば影響を受けない結果となる。したがって、相加平均の場合は、一部にでも文書データ相互間の類似度の大きい組み合わせが混じっているとリニアに影響を受ける文書群の冗長性算出方法といえる。この方法を用いれば、大部分の文書データ相互間の類似度が大きい場合は、文書群の冗長性が大きいと判定するが、一部の文書データ相互間の類似度が大きいだけでは（つまり、類似していない文書も多数含まれている文書群の場合は）、冗長度が低いと判断する特徴を持つことになる。
【００９７】
また、上記実施の形態において３個の文書を選択する組み合わせについて、各文書データ相互間の類似度のうち最小値を用いて冗長度を算出した場合は、次のようになる。ここで、（１）は（Ｄ１，Ｄ２，Ｄ３）についての計算結果であり、（２）は（Ｄ１，Ｄ２，Ｄ４）についての計算結果であり、（３）は（Ｄ１，Ｄ３，Ｄ４）についての計算結果であり、（４）は（Ｄ２，Ｄ３，Ｄ４）についての計算結果である。
（１）ｍｉｎ（０．９，０．３，０．２）  ＝  ０．２
（２）ｍｉｎ（０．９，０．５，０．８）  ＝  ０．５
（３）ｍｉｎ（０．３，０．５，０．３）  ＝  ０．３
（４）ｍｉｎ（０．２，０．８，０．３）  ＝  ０．２
文書データ相互間の類似度の組み合わせのなかから、最小値をその文書群の冗長度とする方法である。ある文書群のなかに少なくとも冗長度の小さい組み合わせが存在する場合に小さくなる。言い換えれば、全部類似しているわけではなく、少なくとも何らかの特徴的な文書が含まれている場合に小さくなる指標といえる。これは、文書群の冗長性を全体的に表現する指標としては最適でないかもしれない。しかし、例えば、通常は、冗長度が大きいものばかりで、時々文書群のなかに混じってくる特徴的な文書を見逃さないようにするような局所的な指標が必要とされる場合に有効である。
【００９８】
また、上記実施の形態において３個の文書を選択する組み合わせについて、各文書データ相互間の類似度のうち最大値を用いて冗長度を算出した場合は、次のようになる。ここで、（１）は（Ｄ１，Ｄ２，Ｄ３）についての計算結果であり、（２）は（Ｄ１，Ｄ２，Ｄ４）についての計算結果であり、（３）は（Ｄ１，Ｄ３，Ｄ４）についての計算結果であり、（４）は（Ｄ２，Ｄ３，Ｄ４）についての計算結果である。
（１）ｍａｘ（０．９，０．３，０．２）  ＝  ０．９
（２）ｍａｘ（０．９，０．５，０．８）  ＝  ０．９
（３）ｍａｘ（０．３，０．５，０．３）  ＝  ０．５
（４）ｍａｘ（０．２，０．８，０．３）  ＝  ０．８
文書データ相互間の類似度の組み合わせのなかから、最大値をその文書群の冗長度とする方法である。ある文書群のなかに少なくとも冗長度の大きい組み合わせが存在する場合に大きくなる。言い換えれば、少しでも類似している文書がある場合に大きくなる指標といえる。これは、文書群の冗長性を全体的に表現する指標としては最適でないかもしれない。しかし、例えば、少しでも冗長な文書の組み合わせは選択したくないときや、文書の冗長性はある閾値以下に完全に排除したいときなど、局所的な指標が必要とされる場合に有効である。
【００９９】
また、上記実施の形態において、図８のフローチャートに示す処理を実行するにあたっては、ＲＯＭ５２にあらかじめ格納されている制御プログラムを実行する場合について説明したが、これに限らず、これらの手順を示したプログラムが記憶された記憶媒体から、そのプログラムをＲＡＭ５４に読み込んで実行するようにしてもよい。
【０１００】
ここで、記憶媒体とは、ＲＡＭ、ＲＯＭ等の半導体記憶媒体、ＦＤ、ＨＤ等の磁気記憶型記憶媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記憶媒体、ＭＯ等の磁気記憶型／光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あらゆる記憶媒体を含むものである。
【０１０１】
また、上記実施の形態においては、本発明に係る情報抽出システム、文書抽出システム、情報抽出プログラムおよび文書抽出プログラム、並びに情報抽出方法および文書抽出方法を、図１に示すように、内容の重複が少ない複数の文書をユーザに提供する場合について適用したが、これに限らず、本発明の主旨を逸脱しない範囲で他の場合にも適用可能である。
【図面の簡単な説明】
【図１】本発明に係る文書抽出装置１０の実施の一形態を示したものである。
【図２】コンピュータ１００の構成を示すブロック図である。
【図３】形態素解析による文字列分割の一例を示す図である。
【図４】ｎ−ｇｒａｍによる文字列分割の一例を示す図である。
【図５】ストップワードによる文字列分割の一例を示す図である。
【図６】文字列−文書行列を示す図である。
【図７】形態素解析による文字列分割結果を示す図である。
【図８】文書データ抽出処理の一部を示すフローチャートである。
【図９】文書ベクトルおよびその相関関係を示す図である。
【図１０】文書−文書間の対称行列を示す図である。
【図１１】文書−文書間の対称行列を示す図である。
【図１２】本発明に係る文書抽出装置１０の他の実施の形態を示したものである。
【図１３】本発明に係る文書抽出装置１０の他の実施の形態を示したものである。
【図１４】図１２の構成と図１３の構成との違いを説明するための図である。
【図１５】図１２の構成と図１３の構成との違いを説明するための図である。
【符号の説明】
１０…文書抽出装置，１２…文書データ登録ＤＢ，１４…類似度算出部，１６…冗長度算出部，１７…ユーザ情報登録ＤＢ，１８…文書組決定部，２０…文書データ抽出部，２２…文書データ選択部，３０…文書分割部，３２…文書ベクトル生成部，３４…ベクトル演算類似度算出部，５０…ＣＰＵ，５２…ＲＯＭ，５４…ＲＡＭ，５８…Ｉ／Ｆ，６０…入力装置，６４…表示装置，１００…コンピュータ，Ｄ１〜Ｄｍ…文書，Ｓ…情報供給源
【図１】
2004318526.tif 000006
【図２】
2004318526.tif 000007
【図３】
2004318526.tif 000008
【図４】
2004318526.tif 000009
【図５】
2004318526.tif 000010
【図６】
2004318526.tif 000011
【図７】
2004318526.tif 000012
【図８】
2004318526.tif 000013
【図９】
2004318526.tif 000014
【図１０】
2004318526.tif 000015
【図１１】
2004318526.tif 000016
【図１２】
2004318526.tif 000017
【図１３】
2004318526.tif 000018
【図１４】
2004318526.tif 000019
【図１５】
2004318526.tif 000020