(57)【要約】【課題】類似文書検索方法において、種文書とデータベース中の各文書と類似度算出により、ランキング表示するように順序付けられた文書群より、順序を変えないで、ノイズを排除することにより、効率的に検索目標とする文書にたどり着けるようにすることを課題とする。【解決手段】それ自体意味を有する最小単位である単一語を索引語とする類似文書検索方法において、複合語又はパラフレーズのような特定の単一語間の関係を含まない文書（ノイズ）だけをフィルタリングによって排除して、ランキング表示する。【選択図】        図４
2004341649.tif 000002
【特許請求の範囲】
【請求項１】
それ自体意味を有する最小単位である単一語を索引語とし、文書集合中の文書と質問文を類似度比較し、類似度順にランキング表示するようにした類似文書検索方法において、ランキング表示される文書群より、表示順位を入れ替えないで、質問文中に含まれる特定の単一語間の関係を含まない文書のみを排除するようにした類似文書検索方法。
【請求項２】
請求項１に記載された類似文書検索方法において、
上記特定の単一語間の関係は、これらの単一語の間に在る文字数によって指定される関係であること
を特徴とする類似文書検索方法。
【請求項３】
請求項１又は請求項２のいずれかに記載された類似文書検索方法において、
上記文書集合は、分類検索等の検索手段により検索されたものであること
を特徴とする類似文書検索方法。
【請求項４】
請求項１から請求項３までのいずれかに記載された類似文書検索方法において、
上記質問文は、単一語単位にマークを付けた形態で表示されていること
を特徴とする類似文書検索方法。
【請求項５】
それ自体意味を有する最小単位である単一語を索引語とし、文書集合中の文書と質問文を類似度比較し、類似度順にランキング表示するようにした類似文書検索システムにおいて、類似度比較に基づいてランキング表示される文書群より、表示順位を入れ替えないで、質問文中に含まれる特定の単一語間の関係を含まない文書のみを排除するようにするフィルタ手段を設け、フィルタ手段を介してランキング表示するようにしたことを特徴とする類似文書検索システム。
【請求項６】
請求項５に記載された類似文書検索システムにおいて、
上記特定の単一語間の関係は、これらの単一語の間に在る文字数によって指定される関係であること
を特徴とする類似文書検索システム。
【請求項７】
請求項５又は請求項６のいずれかに記載された類似文書検索システムにおいて、
更に、文書集合を作成する分類検索等の検索手段が設けられていること
を特徴とする類似文書検索システム。
【請求項８】
請求項５から請求項７までのいずれかに記載された類似文書検索システムにおいて、
更に、単一語単位にマークを付けた形態で質問文を表示する質問文表示手段が設けられていること
を特徴とする類似文書検索システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は情報検索に関し、特に質問文に類似した文書を順序付けして表示できるようにした類似文書検索方法及びシステムに関するものである。
【０００２】
【従来の技術】
情報検索の分野では、ブーリアン検索方式が多く用いられている。ブーリアン検索は、ＡＮＤ、ＯＲ、ＮＯＴなどのブール演算子を用いて、用語などを組み合わせた論理式を作成し、論理式に一致する用語などの組み合わせを有する文書あるいは文献を検索する手法である。これはキーワード検索、全文検索、とも呼ばれており、多くの検索システムはこの方式によるものである。この方式は、論理式と正確に一致する用語の組み合わせを有する文書のみが検索できる点で優れているが、ヒットする文書・文献が多数になる場合は、全件を精査することになり、効率的でない面がある。
【０００３】
この問題点を解決する検索手法として類似文書検索手法が提案されている。類似文書検索手法は、質問として質問文を利用することができ、この質問文とデータベース中の各文書の類似度を算出し、類似度の高い順に検索結果を提示することができる検索手法であり、一部では概念検索システムと称して提案されているものもある。
【０００４】
類似文書検索の類似度算出には、用語の重要度を算出することが不可欠であり、用語の重要度の算出には通常ＴＦ−ＩＤＦ法が用いられる。この方法には次の二つの値が基礎となっている。
【０００５】
第一の値は、文書Ｄｉにおいて、ある用語Ｔｊが何回出現したかを表わす値で、語頻度と呼ばれており、語頻度ＴＦｊｉは、
ＴＦｊｉ＝語頻度＝文書Ｄｉにおける用語Ｔｊの出現回数
のように示される。
【０００６】
第二の値は、ある用語Ｔｊが、データベースの中でいくつぐらいの文書に現れるかと言うことを表わす値で、文書頻度と呼ばれており、文書頻度ＤＦｊは、
ＤＦｊ＝文書頻度＝用語Ｔｊを含む文書数
のように示される。
【０００７】
ＴＦ−ＩＤＦ法では、文書Ｄｉにおける用語Ｔｊの重要度Ｗｊｉは、上述の二つの値を組み合わせて、
Ｗｊｉ＝ＴＦｊｉ＊ＬｏｇＮ／ＤＦｊ  
のように算出される。なお、ここでＮはデータベースの全文書数を表わす。
【０００８】
以上の式から、ある用語Ｔｊの重要度は文書Ｄｉに多く出現すればするほど、また、データベース中のある用語Ｔｊが出現する文書数が少なければ少ないほど大きくなることがわかる。
【０００９】
類似文書検索における類似度算出に際しては、データベース中の全ての用語（索引語となる全ての用語Ｔｊ）について文書頻度ＤＦｊ及び全文書数（Ｎ）を基にＬｏｇＮ／ＤＦｊ（以下重みと言う）が算出され、合わせて、データベース中の文書Ｄｉ毎に、当該文書中に出現する全ての用語の重要度Ｗｊｉ＝ＴＦｊｉ＊ＬｏｇＮ／ＤＦｊが算出される。
【００１０】
また、種文書ＱＳについても、上述のＬｏｇＮ／ＤＦｊ（重み）と種文書中の各用語Ｔｊの出現頻度即ち語頻度ＴＦｊｓを基に種文書中に出現する全ての用語の重要度Ｗｊｓ＝ＴＦｊｓ＊ＬｏｇＮ／ＤＦｊの算出が行われる。
【００１１】
種文書と各文書間の類似度の算出は、一般的にはベクトル空間法により行われる。ベクトル空間法では、夫々の用語Ｔｊにベクトルを対応付けて考えられる。即ち、いまｔ個の用語があり、全ての用語に夫々のベクトルが対応付けられた場合、これ等のベクトルが線形独立であれば、ｔ次元のベクトル空間が定義されることになり、この空間における全てのベクトルは、ｔ個の用語に対応するｔ個のベクトルＶｊの線形結合として表現できる。このようなベクトル空間において文書Ｄｉは、
Ｄｉ＝Σｔｊ＝１ＷｊｉＶｊ
のように表すことができる。
【００１２】
検索質問文即ち種文書ＱＳも、また、
Ｑｓ＝Σｔｊ＝１ＷｊｓＶｊ
のように表すことができる。
【００１３】
ベクトル空間において、ベクトルの類似度は、
Ｘ・Ｙ＝｜Ｘ｜＊｜Ｙ｜ＣＯＳθ
のようにベクトルの内積により算出することができる。なお、ここで、θは二つのベクトルＸ、Ｙのなす角度を表す。
【００１４】
通常、用語をベクトルに対応付ける場合には、同義語を除いた単語は個々に異なった意味を有するものと仮定できるので、ｔ個のベクトルはそれぞれ直交していると看做すことができる。
【００１５】
したがって、文書Ｄｉと種文書ＱＳとの類似度ｓｉｍ（Ｄｉ  ，ＱＳ）は、
ｓｉｍ（Ｄｉ  ，ＱＳ）＝Σｔｊ＝１Ｗｊｉ＊Ｗｊｓ
のようになる（非特許文献１又は２参照）。
【００１６】
以上の式から、ベクトル空間モデルによる類似文書検索では、種文書と文書の類似度は、同一の重要度の高い用語が多く存在すればするほど、高くなることがわかる。
【００１７】
既に述べたように、類似文書検索においては、用語をベクトルに対応付ける場合、これ等用語は個々に異なった意味を有するものと仮定して、各用語にそれぞれの別個のベクトルを対応させることにしている。そのため、関係の深い用語であっても、表現が異なれば異なったベクトルが対応付けられるので、類似度、即ち精度を下げる要因となる。
【００１８】
図１は関係の深い用語の一例を示したもので、何れも「検出」すると言う機能に関係の深い用語である。これ等の用語の中には、例えば検出手段と検出装置などのように実質的に同一意味概念を有しており、図２のように同義語として整理できるものと、図３のように同義語として取り扱うには無理のある関連語がある。
【００１９】
そこで、同じ意味概念を有する用語について、図２のような同義語辞書を作成し、同義関係にある用語には同一のベクトルを対応付けて精度を向上する提案がなされている（特願２００２−０２３６５０号）。しかし、依然として、関連語については、類似度算出においては全く異なったものとして取り扱われ、精度低下の要因となっている。
【００２０】
ところで、事物の表現方法には、図４に一例を示すように、種々の言換え表現がある。例えば「鍋底温度検出装置」の言換え表現、即ちパラフレーズとしては、「鍋底の温度を検出するための装置」、「鍋の底の温度を検出する装置」、あるいは、「鍋の底の温度検出装置」等がある。さらに、図４には、これ等パラフレーズに対して、索引語として、それ自体意味を成す最小の単位である単一語（この例の場合には、鍋、底、温度、検出、装置が該当している。）と、単一語の組み合わせよりなる複合語（この例の場合、鍋底、温度検出装置、鍋底温度検出装置が該当する。）について、何れの方式を採用した方がより漏れの少ない検索が可能であるかを示している。
【００２１】
図４に示すように、単一語方式を採用した場合、単一語の形態素辞書を用いた形態素解析技術により、全てのパラフレーズから「鍋」、「底」、「温度」、「検出」、「装置」が切り出され、索引語として記録される。このような単一語によるデータベースでは質問式として「鍋」×「底」×「温度」×「検出」×「装置」（論理積）で入力した場合、全てのパラフレーズはヒットすることになる。
【００２２】
他方、複合語方式では、形態素辞書中に登録されている複合語により「鍋底」、「温度検出装置」、「鍋底温度検出装置」等の複合語が索引語として記録される。このような複合語方式のデータベースでは、検索質問として「鍋底」を入力すれば「鍋の底」などは該当せず漏れとなる。更に「鍋底温度検出装置」のような長大な複合語を検索質問とした場合には、「鍋底温度検出装置」以外のパラフレーズは全て漏れることとなる。
【００２３】
以上のように、単一語方式は漏れが少なく、複合語方式は漏れが多いことになる。しかし、単一語方式では、意味内容の異なったフレーズに出現する単一語も拾うことになるので多くのノイズを拾うことになる。
【００２４】
図４の「意味内容の異なったフレーズ」はその一例を示したものである。上述のパラフレーズと意味内容の異なったフレーズ、例えば「炊飯量を検出し一定温度で炊飯する炊飯装置において、鍋の底におこげが付着するのを防止するためのフッ素樹脂層を設けた〜」に対して、単一語方式により索引語を生成すると、「炊飯」、「フッ素樹脂」、「層」などの単一語に混じって「鍋」、「底」、「温度」、「検出」、「装置」が索引語としてインデックスされる。単一語方式によるデータベース文書の中に上述の「意味内容の異なったフレーズ」が存在する場合、検索質問式＝「鍋」×「底」×「温度」×「検出」×「装置」に対しパラフレーズに加えて「意味内容の異なったフレーズ」もヒットすることになる。
【００２５】
以上のような理由により、ブーリアン検索において単一語方式を採用した場合には漏れは少なくなるがノイズが多くなると言われている。
【００２６】
同様に、ベクトル空間モデルにより類似度が算出される類似文書検索においても、単一語を索引語として採用した場合には、各単一語に夫々別個のベクトルが対応付けられることになるが、上述のようなパラフレーズは、それらの単一語に対応するベクトルを合成したベクトルとなるので、一致した合成ベクトルまたは極めて近似した合成ベクトルを持つこととなる。
【００２７】
また、図３の関連語についても、単一語レベルで切断した場合、全ての関連語から「検出」と言う単一語が切り出される。即ち、ベクトル空間モデルにおける関連語レベルで見れば「検出」に対応するベクトルを合成ベクトルのコンポーネントとして有することになり、関連性を高めることができる。
【００２８】
以上のような理由で、類似文書検索において、単一語方式を利用した場合には、類似する表現、関連表現、言い換え表現については、一致するベクトルが多くなり、高い精度を上げることができると言われている。
【００２９】
【非特許文献１】
長尾  真  外４名  著  「言語情報処理」岩波講座  言語の科学９  ｐ６５〜６７
【非特許文献２】
徳永健伸  著  「情報検索と言語処理」財団法人東京大学出版会  言語と計算５ｐ１１〜ｐ４３
【００３０】
【発明が解決しようとする課題】
しかし、単一語を採用した場合には、「内容の異なったフレーズ」に見られるように、ノイズを拾うことになるので、上位にランクされている文書の中にも、意味内容の異なったフレーズであるが、語レベルで見ると同じ単一語が多く含まれている故に、上位にランクされるようになった文書もある。
【００３１】
この発明は、以上のような単一語方式による類似文書検索の問題点を解決するためになされたもので、種文書とデータベース中の各文書と類似度算出により、ランキング表示するように順序付けられた文書群より、順序を変えないで、複合語又はパラフレーズのような特定の単一語間の関係を含まない文書を排除することにより、効率的に検索目標とする文書にたどり着けるようにした類似文書検索方法及び類似文書検索システムを提供することにある。
【００３２】
【課題を解決するための手段】
【発明の実施の形態】
図５は、この発明の類似文書検索システムの概要を示したものである。図中１は第一検索質問入力部で、第一検索質問入力部１に入力された分類記号よりなる質問式は第一検索部３において分類索引部２のデータと照合され、質問式と一致するデータを有する文書が第一検索集合記憶部４に記憶される。
【００３３】
第一検索ＤＢ５（ＤＢ：データベース）には文書の記事データが蓄積されており第一検索ＤＢより取り出された記事データは形態素解析部６により単一語単位に切り出され、索引用語・頻度・位置情報蓄積部７に単一索引語とその出現頻度及び単一索引語の出現位置情報が文書単位に蓄積される。
【００３４】
類似文書検索用索引生成部８は、第一検索集合記憶部４に記憶されている文書集合に対応する文書の単一索引語及びその出現頻度を索引用語・頻度・位置情報蓄積部７より抽出し記憶する。
【００３５】
種文書入力部９より質問文が入力されると、前述の記事データから単一語を切り出した形態素解析部６により質問単一語が切り出され、質問単一語及びその出現頻度が質問用語・頻度情報生成部１０に登録される。
【００３６】
類似度算出部１１において、質問単一語及びその出現頻度と類似文書検索用索引生成部８において蓄積されている各文書の単一索引語及びその出現頻度情報とが順次類似度計算され、類似度順に整理されてランキング表示部１７にランキング表示される。
【００３７】
一方、指定用語入力部１４には種文書が、切り出された単一語を明示するようにマークを付した形態で表示されている。
【００３８】
種文書中に検索目的を達成する上で、複合語又はパラフレーズのように関連付けて検索しなければならない単一語群がある場合、単一語間に０又は一定数以下の文字が入ることを許容するような（後述する）入力形態で指定入力すると、第一検索集合記憶部４に蓄積されている検索集合に対応する文書の単一索引語及び位置情報が文書毎に抽出され、全文検索用索引生成部１２に記憶される。
【００３９】
続いて、第二検索部１３において指定用語入力部１４に入力された単一語間に０又は一定数以下の文字が入ることを許容する単一語群と上述のようなパラフレーズが比較され、一致する複合語及びパラフレーズを含む文書が複合語検索集合記憶部１５に蓄積され、フィルタ部１６に送られる。フィルタ部１６は、類似度算出部１１において類似度順に整理された類似文書検索結果の順位を入れ替えることなく、上述の一致する複合語及びパラフレーズを含む文書だけを通過させて、ランキング表示部１７に表示するようになっている。
【００４０】
上述の入力形態は、単一語間に文字の種類を問わず指定した個数以下の文字が入ることを許容するもので、例えば「鍋？底？？？温度」のように表現し、単一語間の文字数の距離を指定するようにしたもので、「？」は０乃至１文字が入ることを、「？？？」０〜３までの文字数が入ることを意味している。一般的には前後一致検索、マスク検索と言われており、索引語の位置情報を用いて検索されている。
【００４１】
なお、この発明のシステムの概要において、第一検索部３は分類検索によるものとして説明したが、分類以外の言語による全文検索、キーワード検索又は分類とこれ等の組み合わせ検索を用いてもよい。
【００４２】
更に、上記説明において、この発明の本質と関係がないので、敢えて説明を省略したが、類似文書検索用索引生成部８及び全文検索用索引生成部１２において、同義語辞書等を用いて、単一索引語の異表記同義語を統制して検索モレを少なくすればなお効果的である。
【００４３】
なお、この発明のシステムの概要説明において、第一検索質問入力部１、種文書入力部９及び指定用語入力部１４は夫々別のものとして説明したが、実際にはコンピュータ端末のディスプレイに夫々の用途に応じて、呼び出される画面を指しており、ハードウエアーとしては同一のものである。
【００４４】
【発明の効果】
本発明の類似文書検索方法あるいは同システムによれば、単一語方式が採用されており、文書・文献の調査において、意図する検索目標を達成する上には欠くことのできない事項がある場合、特に関連付けて用いる必要のある単一語については、質問文において、その単一語間に入る文字数即ち単一語間の距離を指定入力することができ、これにより、このような単一語間の関係を含まない文書が排除されたあとランキング表示される。このため、上位から順に精査していくことにより早期に検索目標に到達することができるので、効率的な類似文書検索が可能になるという効果を奏する。
【図面の簡単な説明】
【図１】「検出」するという機能に関して、互いに関係が深い用語の例を示した表である。
【図２】図１の例を同義語として整理した表である。
【図３】図１の例において、同義語として取り扱うには無理のある関連語を示した表である。
【図４】パラフレーズと索引用語の表である。
【図５】本発明実施形態の類似文書検索システムの概要を示したものである。
【符号の説明】
１  第一検索質問入力部
２  分類索引部
３  第一検索部
４  第一検索集合記憶部
５  第一検索ＤＢ
６  形態素解析部
７  索引用語・頻度・位置情報蓄積部
８  類似文書検索用索引生成部
９  種文書入力部
１０  質問用語・頻度情報生成部
１１  類似度算出部
１２  全文検索用索引生成部
１３  第二検索部
１４  指定用語入力部
１５  複合語検索集合記憶部
１６  フィルタ部
１７  ランキング表示部
【図１】
2004341649.tif 000003
【図２】
2004341649.tif 000004
【図３】
2004341649.tif 000005
【図４】
2004341649.tif 000006
【図５】
2004341649.tif 000007