(57)【要約】【課題】この発明類似文書検索システムは、類似文書検索において同義語の統一化整理による利点を生かしつつパラフレーズにも対応させ、精度の高い類似文書検索を可能とすることを課題とする。【解決手段】それ自体意味を有する最小単位である単一語を索引語とする類似文書検索方法において、単一語を組み合わせた複合語（例、電磁誘導加熱）についての同義語（例、電磁誘導加熱、インダクションヒータ、ＩＨ、誘導加熱）はその同義語の見出し語を分割した単一語よりなる索引語（例、電磁、誘導、加熱）に変換し、これを用いて類似文書検索を行う。【選択図】        図１
2004252892.tif 000002
【特許請求の範囲】
【請求項１】
それ自体意味を有する最小単位である単一語を索引語とする類似文書検索方法において、単一語を組み合わせた複合語についての同義語はその同義語の見出し語を分割した単一語よりなる索引語に変換して用いるようにしたことを特徴とする類似文書検索方法。
【請求項２】
請求項１に記載された類似文書検索方法において、
上記同義関係にある全ての単一語が索引語として統一化整理されていることを特徴とする類似文書検索方法。
【請求項３】
請求項２に記載された類似文書検索方法において、
上記同義語は分野別に作成されていることを特徴とする検索類似文書検索方法。
【請求項４】
それ自体意味を有する最小単位である単一語を索引語とする類似文書検索システムにおいて、単一語を組み合わせた複合語についての同義語はその同義語の見出し語を分割した単一語よりなる索引語に変換して用いるようにしたことを特徴とする類似文書検索システム。
【請求項５】
請求項４に記載された類似文書検索システムにおいて、
上記同義関係にある全ての単一語が索引語として統一化整理されていることを特徴とする類似文書検索システム。
【請求項６】
請求項５に記載された類似文書検索システムにおいて、
上記同義語は分野別に作成されていることを特徴とする類似文書検索システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は情報検索、特に類似文書検索に関するものである。
【０００２】
【従来の技術】
情報検索は、一般的には索引語のマッチングにより行われる。そのためには、文書中より用語を切り出し、索引語を抽出することが必要となる。文書からの索引語の抽出は形態素解析といわれる手法により行われている。形態素解析は、形態素辞書と形態素に関する文法の知識を用いて、文を用語単位に「分かち書き」し、検索のためには不要な用語、例えば「の」、「は」等の助詞、「また」、「しかし」等の接続詞等、を除去して、検索において意義のある索引語を抽出する。このような技術は非特許文献１に詳しく説明されている。
【０００３】
検索システムにおいて索引語としてどのような単位を考えるかについては、検索システムの設計思想に依存する問題であり、検索システムの目的に応じて決定されている。索引語を、それ自体意味を持つ最小の要素である単一語をとするか、単一語を組み合わせた複合語とするかにより検索システムの検索精度、即ち適合率、再現率が大きく異なってくると言われている。
【０００４】
一般に、単一語を中心とする検索システム（以下、単一語方式と言う。）は、漏れは少ないが、ノイズが多くなり（再現率が高い）、他方、複合語を多く採用する検索システム（以下複合語方式と言う）では漏れは多いが、ノイズが少ない（適合率が高い）という傾向があると言われている。
【０００５】
今仮に、文書Ａ中の「電磁誘導加熱」なる表現と全く意味概念が同じである文書Ｂ中の「電磁誘導作用により加熱する」なる表現を例に取って単一語方式と複合語方式を比較する。
【０００６】
単一語方式では、例えば文書Ａ中の「電磁誘導加熱」は、単一語である「電磁」、「誘導」、「加熱」に分かち書きされ、索引語として夫々インデックスされる。同様に、文書Ｂ中の「電磁誘導作用により加熱する」とした記述のある文書では「電磁」、「誘導」、「作用」、「に」、「より」、「加熱」、「する」に分かち書きされ、不用語である「に」、「より」、「する」が除去され、「電磁」、「誘導」、「作用」、「加熱」が索引語としてインデックスされる。
【０００７】
複合語方式では、文書Ａ中の「電磁誘導加熱」は特定の意味を有した纏まりのある用語であるので「電磁誘導加熱」が複合語としてインデックスされることになる。また、文書Ｂ中の「電磁誘導作用により加熱する」は同様に「電磁誘導作用」、「加熱」がインデックスされる。
【０００８】
質問語として「電磁誘導加熱」を検索システムに入力すると、単一語方式では、質問語はインデックス作成時と同じ形態素解析を行い「電磁」、「誘導」、「加熱」に分割され検索が行われる。上述の文書Ａ及びＢ中には「電磁」、「誘導」、「加熱」が存在するので、両文書はともにヒットすることになる。ところが、これに対し、複合語方式では、質問語「電磁誘導加熱」に対し文書Ａはヒットするが、文書Ｂは「電磁誘導加熱」という索引語がないためヒットしないことになる。
【０００９】
上述のような意味概念が同一であるが異なった表現、つまり、言換え表現はパラフレーズと言われており、上述のようなパラフレーズには、上記例に見られるように単一語方式が良い結果が得られるとされている。しかし、単一語方式では、異なったトピックで関係なく述べられている「電磁」、「誘導」、「加熱」であっても、それらが一の文書内に存在すればヒットすることとなる。つまりノイズを拾うことになる。
【００１０】
以上のように、単一語方式による検索システムでは漏れは少ないが、ノイズが多くなり（再現率が高い）、複合語方式による検索システムでは漏れは多いが、ノイズが少なくなる（適合率が高い）といえる。
【００１１】
ところで、情報検索方式についてみると、上述の例のように用語の組み合わせよりなる検索質問式を入力することにより、検索質問式と一致する用語の組み合わせをもつ文書を検索するブーリアン検索方式が多く用いられている。ブーリアン検索方式では、検索質問式に厳密に一致する用語の組み合わせを有する文書を検索する点で優れているが、検索質問式や文書中の用語はすべて同じ重みを有しており、用語の重要度を扱えないと言う欠点を有している。
【００１２】
そのため、検索質問式、文書中に出現する用語の重要度を反映し、検索結果に順序付けを行うことができず、利用者は全検索結果を精査して所望の文献を探し出す作業をしなければならなかった。特に漏れの少ない検索方式、即ち、単一語方式では漏れは少ないがノイズが多くなり、精査しなければならない文献が多くなり、その作業負担は大きかった。この問題点を解決する手法として、非特許文献２あるいは３に見られるような類似文書検索の手法が提案されている。
【００１３】
類似文書検索は、検索質問として種文書を用い、この種文書とデータベース中の文献の類似度を算出して、類似度順に順序付けして、検索結果を提示する手法である。類似度算出は、予め、データベース中において、各用語が出現する文書数、各文書中に出現する各用語の出現頻度を算出しておき、これらを指標として文書中における各用語の重要度を定めておき、各用語にそれぞれのベクトルを対応させることにより、用語の集合体である各文書を、重みを加味した用語ベクトルを合成した文書ベクトルとして表現し、種文書もまた同様に種文書ベクトルと表現して、これら文書ベクトルと種文書ベクトルの類似度を算出することにより行われている。
【００１４】
以上のように、類似文書検索は、各用語にそれぞれのベクトルを対応させることになるので、同一の意味概念を持つ用語であっても、表現が異なれば異なったベクトルが対応付けられ、類似度、即ち精度を下げる要因となる。そこで、同じ意味概念を有する用語、即ち、異表記同義語を統一化整理することにより、同義関係にある用語には同一のベクトルを対応付けて精度を向上する提案が特願２００２−０２３６５０号においてなされている。
【００１５】
ところで、例えば表．１にあるように、電磁誘導加熱の異表記同義語にはインダクションヒータ、あるいは略してＩＨ、誘導加熱がある。そこで、複合語である「電磁誘導加熱」を代表語とし、｛電磁誘導加熱、インダクションヒータ、ＩＨ、誘導加熱｝を同義語として取り扱うことが考えられるが、複合語レベルでは前述のパラフレーズ｛電磁誘導作用により加熱する｝による問題点に対応できない。一方パラフレーズに対応するために単一語レベルの同義語整理も考えられるが「電磁誘導」と「Ｉ」を同義語とするには無理がある。以上のように、用語の中には複合語レベルでないと同義語として取り扱えないものもあるので、徒にパラフレーズに対応するために、索引語を単一語とすることは、同義複合語の統一化整理の利点を生かせないことになる。
【００１６】
【非特許文献１】
「全文検索システムとは何か？」１９９９年１０月全文検索協議会発行、ｐ．２１〜２５
【非特許文献２】
長尾  真  外４名著、「言語情報処理」、岩波講座  言語の科学９、ｐ．６５〜６７
【非特許文献３】
徳永健伸  著、「情報検索と言語処理」、財団法人東京大学出版会、言語と計算５、ｐ．１１〜４３
【００１７】
【発明が解決しようとする課題】
この出願の発明は、上記問題に鑑みなされたもので、単一語を索引語とする類似文書検索において、単一語のみならず複合語の同義語の統一化整理による利点を生かした精度の高い類似文書検索方法及びシステムを提供することを課題とするものである。
【００１８】
【課題を解決するための手段】
上記課題は、以下の手段により解決される。すなわち、第１番目の発明は、それ自体意味を有する最小単位である単一語を索引語とする類似文書検索方法において、単一語を組み合わせた複合語についての同義語はその同義語の見出し語を分割した単一語よりなる索引語に変換して用いるようにしたことを特徴とする類似文書検索方法である。
【００１９】
第２番目の発明は、第１番目の発明の類似文書検索方法において、上記同義関係にある全ての単一語が索引語として統一化整理されていることを特徴とする類似文書検索方法である。
【００２０】
第３番目の発明は、第２番目の発明の類似文書検索方法において、上記同義語は分野別に作成されていることを特徴とする検索類似文書検索方法である。
【００２１】
第４番目の発明は、それ自体意味を有する最小単位である単一語を索引語とする類似文書検索システムにおいて、単一語を組み合わせた複合語についての同義語はその同義語の見出し語を分割した単一語よりなる索引語に変換して用いるようにしたことを特徴とする類似文書検索システムである。
【００２２】
第５番目の発明は、第４番目の発明の類似文書検索システムにおいて、上記同義関係にある全ての単一語が索引語として統一化整理されていることを特徴とする類似文書検索システムである。
【００２３】
第６番目の発明は、第５番目の発明の類似文書検索システムにおいて、上記同義語は分野別に作成されていることを特徴とする検索類似文書検索システムである。
【００２４】
【発明の実施の形態】
表．１は、本発明の考え方の実例を示したもので、表中、見出し語は、同義語を代表する用語である。「電磁誘導加熱」を例に取れば、「電磁誘導加熱」は「インダクションヒータ」、「ＩＨ」及び「誘導加熱」と同義語であることを表しており、「電磁誘導加熱」は見出し語であることを示している。パラフレーズは前述のしたように、同義語もしくは見出し語と同一の意味概念を表した言換え表現であり、多くの表現が可能であるがここでは極一部を示しているに過ぎない。分割語は、見出し語であり複合語である「電磁誘導加熱」を単一語である「電磁」、「誘導」、「加熱」に分割したもので、「インダクションヒータ」、「ＩＨ」、「誘導加熱」からも「電磁誘導加熱」と同様の単一語「電磁」、「誘導」、「加熱」を創出することを意味している。
【００２５】
以上のように、複合語の同義語を見出し語に統一して、統一後、見出し語を単一語に分割しているので、複合語の同義語に関しては、ベクトル空間モデルにおいて、当然同一のベクトルを対応付けることができる。さらにこれと共にパラフレーズについても、単一語の多くが一致するので、同一の対応付けをすることができるベクトルが多くなり、精度の向上が期待できる。
【００２６】
見出し語「破壊解析」は上述の「電磁誘導加熱」と同様に「破壊」と「分析」に分割することにより、パラフレーズに対応できる。この場合、パラフレーズの表現の可能性を考慮すると「破壊」、「破損」及び「損傷」が同義語であり、「解析」と「分析」が同義語であるとして統一化することがより精度を向上する上で効果的である。
【００２７】
見出し語「ふっ化ビニリデン共重合体」及び「ポリビニルブチラール」は夫々数多くの同義語が記述されているが、これらは何れも命名法に従って記述されているもので、その一部を示したものに過ぎない。これら高分子化合物についても命名法の要素であり、それ自体意味のある最小の単位、即ち、単一語「ふっ化」、「ビニリデン」、「共重合体」及び「ポリ」、「ビニル」、「ブチラール」に分割することにより同義語辞書中にない異表記同義語に対しても対応できるようにして精度を向上するようにしている。なお、この例では「ふっ化」、「フッ化」、「弗化」などの単一語の表記の揺れについても、統一化しておくことが精度向上の上では当然好ましい。
【００２８】
見出し語「温湿度」、「吸放湿」、「給排紙」及び「通断電」などは、概念を表す複合語として、正式には「温度湿度」、「吸湿放湿」、「給紙排紙」及び「通電断電」と記述すべきところ「度」、「湿」等の繰り返しの記述を省略したもので、同義語として示したような表記がある。また、パラフレーズとしては「温度並びに湿度」等の表現がある。以上のような表記、表現を考慮した場合、「温湿度」、「吸放湿」、「給排紙」及び「通断電」などは正式の表現であるところの「温度湿度」、「吸湿放湿」、「給紙排紙」及び「通電断電」を分割して「温度」、「湿度」等の単一語を創出して索引語とすることにより精度の向上をするようにしている。
【００２９】
図２は類似文書検索システムの概要を示したもので、文書データ蓄積部１には文書データが、文書毎に番号を付して蓄積されている。各文書データは検索データ作成部２に送られ、形態素解析手段２１に送られ、形態素辞書及び形態素に関する文法の下に用語単位に「分かち書き」され、検索にとって意味の無い不用語が削除され、索引語が抽出される。この索引語の中には辞書に存在する複合語、単一語及び文法の知識により切り出された新語が含まれている。なお、新語は確認のうえ辞書に追加されることになるが、本発明の要旨と直接関係が無いので、ここでは、新語の処理についての説明はしない。
【００３０】
抽出された単一語について、同義語が存在しない場合はその単一語は検索ファイル２６に送られる。抽出された複合語及び単一語について同義語が存在する場合、各複合語及び単一語は、第一同義語統一手段２２により、同義語辞書中の見出し語に変換され同義語の統一化が行われる。
【００３１】
次に同義語が統一された複合語及び単一語は、統一化複合語識別手段２３により、複合語または単一語の何れであるかが識別され、単一語は第二同義語統一手段２５に送られる。他方、複合語は見出し語分割テーブル２４において、例えば「電磁」、「誘導」、「加熱」等の単一語に分割され、第二同義語統一手段２５に送られる。
【００３２】
第二同義語統一手段２５において、見出し語分割テーブル２４において分割された単一語が見出し語（単一語）に統一されて検索ファイル２６に蓄積される。なお、第二同義語統一手段２５は、見出し語分割テーブル２４において創出される単一語が、見出し語、詰まり、単一語の同義語グループの代表語にするとのルールの下に分割されるのであれば不用であるが、パラフレーズの多様性を考慮して複合語の見出し語を選択することになるので、精度向上のためには必要である。
【００３３】
検索データ作成部２については形態素解析、同義語の統一化整理、複合語の分割等を中心に説明したが、類似文書検索システムの検索ファイルにおいては文書毎に用語の出現頻度、データベース中における用語の出現の文書数等、類似度計算に必要な統計情報が取得され、これらの統計情報を基に用語の重要度が割り出され類似度の算出に供される。統計情報算出においては、当然、同義語は置き換えられた見出し語でカウントされる。例えば、文書Ａ中に「インダクションヒータ」１０回出現すれば、文書Ａ中には「電磁誘導加熱」が１０回出現したものとして取り扱われる。また、文書Ｂ中に「電磁誘導加熱」が３回「インダクションヒータ」が５回入り混じって出現すれば、文書Ｂ中に「電磁誘導加熱」が８回出現したものとしてカウントされる。複合語の見出し語を分割した場合には、見出し語の数が分割された単一語の数に反映されることになる。即ち、前述のように「電磁誘導加熱」が文書Ｂ中に８回出現したものとしてカウントたれた場合には、文書Ｂ中に夫々「電磁」、「誘導」及び「加熱」が８回づつ出現したものとしてカウントされることを意味している。
【００３４】
質問文入力部３は、検索データ作成部２と同一の各手段及びテーブルにより同一処理手順に従って質問文より質問データを作成するように構成されており、質問データは類似度比較演算部４に送られるようになっている。
【００３５】
類似文書検索システムに質問文が入力されると、質問文入力部３においては、検索データ作成部２と同じ処理手順で質問データが作成され、類似度比較演算部４において、検索ファイル２６中の検索データと比較演算される。表示部５においては、比較演算結果に基づいて文書番号が類似度順に表示され、利用者の求めに応じて文書データ蓄積部１より必要とする文書を呼び出せるようになっている。
【００３６】
なお、本発明の実施例を図２において説明したが、本発明は上述の実施例に限られるものではなく、例えば、単一語及び複合語にかかわらず、同義語が存在する全ての用語について、単一語の見出し語または見出し語を分割した単一語に変換するテーブルを予め用意しておき、形態素解析後、各用語を用語変換テーブルにより変換して検索ファイルに蓄積するようにすることも可能である。また、同義語を統一化するための同義語辞書は一般には分野別に設けることが好ましいとされており、本発明においても、同義語辞書及び見出し語変換テーブルまたは用語変換テーブルを分野ごとに設けるようにすることが好ましい。
【００３７】
【発明の効果】
以上のように、本発明においては、形態素解析後、同義語の統一化整理を行い、統一化された複合語を単一語レベルに分割するようにして索引語を生成しているので、単一語による表現の多いパラフレーズに対しても合成ベクトルが近似するようにできると共に複合語レベルでないと同義語とすることが難しいＰＶＢ樹脂（ビニールブチラール樹脂）等の略語について同義語統一化の利点を利用することができる。また、上述の用語置き換えの考えの下に、温湿度等の略式表現も正式の表現に変換することにより、精度の高い検索に結び付けることができる。
【図面の簡単な説明】
【図１】本発明の考え方を表．１として示したものである。
【図２】本発明の類似文書検索システムの実施形態の概要を示したものである。
【符号の説明】
１  文書データ蓄積部
２  検索データ作成部
２１  形態素解析手段
２２  第一同義語統一手段
２３  統一化複合語識別手段
２４  見出し語分割テーブル
２５  第二同義語統一手段
２６  検索ファイル
３  質問文入力部
４  類似度比較演算部
５  表示部
【図１】
2004252892.tif 000003
【図２】
2004252892.tif 000004