(57)【特許請求の範囲】
【請求項１】
検索対象文書群を構成する検索対象文書の特徴量を用いて、指定された参照文書に類似する文書を前記検索対象文書群から検索する文書検索方法において、
前記検索対象文書群のある文書と前記参照文書の両者に出現する単語をそのまま含ませた場合に算出される類似度から該単語を両者から除いた場合に算出される類似度への変化として定義される単語寄与度を算出し、該単語寄与度を要素とするベクトルデータを前記検索対象文書の特徴量とすることを特徴とする文書検索方法。
【請求項２】
前記参照文書が請求項１の文書検索方法で検索された文書であることを特徴とする請求項１記載の文書検索方法。
【請求項３】
前記参照文書が参照文書集合であることを特徴とする請求項１又は２記載の文書検索方法。
【請求項４】
検索対象文書群を構成する検索対象文書の特徴量を用いて、指定された参照文書に類似する文書を前記検索対象文書群から検索する文書検索装置において、
前記参照文書と検索対象文書群に出現する単語を抽出する出現単語抽出手段と、
前記参照文書と検索対象文書群から前記出現単語抽出手段で抽出された単語を除いた文書を生成する単語除去手段と、
前記参照文書と検索対象文書群に含まれる文書間の類似度と、前記単語除去手段で生成された参照文書と検索対象文書群に含まれる文書間の類似度とを算出する類似度算出手段と、
前記類似度算出手段で算出された２つの類似度をもとに、前記検索対象文書群のある文書と前記参照文書の両者に出現する単語をそのまま含ませた場合に算出される類似度から該単語を両者から除いた場合に算出される類似度への変化として定義される単語寄与度を算出し、該単語寄与度を要素とするベクトルデータを生成する寄与度算出手段とを備え、
前記単語寄与度を要素とするベクトルデータを前記検索対象文書の特徴量として用いることを特徴とする文書検索装置。
【請求項５】
前記参照文書が請求項４の文書検索装置で検索された文書であることを特徴とする請求項４記載の文書検索装置。
【請求項６】
前記参照文書が参照文書集合であることを特徴とする請求項４又は５記載の文書検索装置。
【請求項７】
指定された参照文書と検索対象文書群に出現する単語の中から選択した重要語を用いて、前記参照文書に類似する文書を前記検索対象文書群から検索する文書検索方法において、
前記参照文書と前記検索対象文書群から抽出した正解文書集合の両者に出現する単語をそのまま含ませた場合に算出される類似度から該単語を両者から除いた場合に算出される類似度への変化として定義される単語寄与度を算出し、前記参照文書と前記正解文書集合に出現する全ての単語から、単語寄与度の高い単語を重要語として選択することを特徴とする文書検索方法。
【請求項８】
前記参照文書と前記正解文書集合の各文書との間に出現する全ての単語について単語寄与度を算出した後、各単語毎に単語寄与度の総和を求め、該総和の上位にある単語を前記参照文書に対する重要語とすることを特徴とする請求項７記載の文書検索方法。
【請求項９】
前記参照文書が参照文書集合であることを特徴とする請求項７又は８記載の文書検索方法。
【請求項１０】
前記正解文書集合が前記参照文書に対し類似している文書の集合であることを特徴とする請求項７、８又は９記載の文書検索方法。
【請求項１１】
指定された参照文書と検索対象文書群に出現する単語の中から選択した重要語を用いて、前記参照文書に類似する文書を前記検索対象文書群から検索する文書検索装置において、
前記参照文書と前記検索対象文書群から抽出した正解文書集合に出現する単語を抽出する出現単語抽出手段と、
前記参照文書と正解文書集合から前記出現単語抽出手段で抽出された単語を除いた文書を生成する単語除去手段と、
前記参照文書と正解文書集合に含まれる文書間の類似度と、前記単語除去手段で生成された参照文書と正解文書集合に含まれる各文書間の類似度とを算出する類似度算出手段と、
前記類似度算出手段で算出された２つの類似度をもとに、前記参照文書と正解文書集合に両者に出現する単語をそのまま含ませた場合に算出される類似度から該単語を両者から除いた場合に算出される類似度への変化として定義される単語寄与度を算出する寄与度算出手段と、
前記参照文書と正解文書集合の各文書との間に出現する全ての単語から、前記寄与度算出手段で算出された単語寄与度の高い単語を重要語として選択する重要語選択手段とを備え、
前記選択された重要語に基づいて、前記参照文書に類似する文書を前記検索対象文書群から検索することを特徴とする文書検索装置。
【請求項１２】
前記寄与度算出手段は、前記参照文書と前記正解文書集合の各文書との間に出現する全ての単語についてそれぞれ単語寄与度を算出し、  前記重要語選択手段は、各単語毎に前記寄与度算出手段で算出された単語寄与度の総和を求め、該総和の上位にある単語を参照文書に対する重要語とすることを特徴とする請求項１１記載の文書検索装置。
【請求項１３】
前記参照文書が参照文書集合であることを特徴とする請求項１１又は１２記載の文書検索装置。
【請求項１４】
前記正解文書集合が前記参照文書に対し類似している文書の集合であることを特徴とする請求項１１、１２又は１３記載の文書検索装置。
【請求項１５】
指定された参照文書と検索対象文書群の各文書を表すベクトルを検索式として含む類似度計算式を用いて、前記参照文書に類似する文書を前記検索対象文書群から検索する文書検索方法において、
前記参照文書と前記検索対象文書群から抽出した正解文書集合の両者に出現する単語をそのまま含ませた場合に算出される類似度から該単語を両者から除いた場合に算出される類似度への変化として定義される単語寄与度を算出し、前記正解文書集合に含まれる各文書から単語寄与度が低い単語を抽出し、抽出した全ての単語のうち前記参照文書に含まれていない単語について、各単語毎に単語寄与度の総和を求め、その結果に重み付けをして前記参照文書の検索式に加えることを特徴とする文書検索方法。
【請求項１６】
前記参照文書が参照文書集合であることを特徴とする請求項１５記載の文書検索方法。
【請求項１７】
指定された参照文書と検索対象文書群の各文書を表すベクトルを検索式として含む類似度計算式を用いて、前記参照文書に類似する文書を前記検索対象文書群から検索する文書検索装置において、
前記参照文書と前記検索対象文書群から抽出した正解文書集合に出現する単語を抽出する出現単語抽出手段と、
前記参照文書と正解文書集合から前記出現単語抽出手段で抽出された単語を除いた文書を生成する単語除去手段と、
前記参照文書と正解文書集合に含まれる文書間の類似度と、前記単語除去手段で生成された参照文書と正解文書集合に含まれる各文書間の類似度とを算出する類似度算出手段と、
前記類似度算出手段で算出された２つの類似度をもとに、前記参照文書と正解文書集合に両者に出現する単語をそのまま含ませた場合に算出される類似度から該単語を両者から除いた場合に算出される類似度への変化として定義される単語寄与度を算出する寄与度算出手段と、
前記参照文書と正解文書集合に含まれる各文書に出現する全ての単語から、前記寄与度算出手段で算出された単語寄与度の低い単語を抽出し、抽出した全ての単語のうち前記参照文書に含まれていない単語について、各単語毎に単語寄与度の総和を求め、その結果に重み付けをして前記参照文書の検索式に加える検索式拡張手段と、
を備えたことを特徴とする文書検索装置。
【請求項１８】
前記参照文書が参照文書集合であることを特徴とする請求項１７記載の文書検索装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、検索対象文書群の中から類似する文書を検索するための文書検索の手法に関するものである。
【０００２】
【従来の技術】
従来、検索対象文書群の中から類似する文書を検索するための様々な類似性の尺度が考案され、これらに基づく検索手法が提案されている。しかし、どの手法を用いても不要な文書が検索される割合は依然として高く、検索精度を向上させるには、さらに絞り込み検索を行うことが必要となっている。
【０００３】
ここで、一般的な文書検索システムにおける絞り込み検索について簡単に説明する。
【０００４】
図１４は、従来の絞り込み検索の処理手順を示すフローチャートである。まず、システムは検索対象文書群の各文書の特徴量を抽出し（ステップ５０１）、次いで、参照文書集合を取り込む（ステップ５０２）。参照文書集合とは、ユーザがシステムに検索してもらいたい文書を示すために指定する参照文書の集合体であり、システムは参照文書集合に類似している文書を検索対象文書群から検索する。
【０００５】
なお、実際の文書検索においては、参照文書を複数指定することが多いため、ここでは参照文書をすべて参照文書集合として説明する。
【０００６】
ステップ５０２で参照文書集合を取り込むと、その参照文書集合の特徴量を抽出する（ステップ５０３）。次いで、抽出した特徴量にもとに、検索対象文書群から参照文書集合に類似していると思われる文書集合を検索し、ユーザに提示する（ステップ５０４）。ここで、ユーザは検索された文書集合を検討し、さらに絞り込み検索を行う必要があると判断した場合は、検索された文書集合の中から、参照文書集合に類似している文書を抽出し、新たな参照文書集合としてシステムに指定する。システムは、ユーザから絞り込み検索の指示があった場合は（ステップ５０５でＹｅｓ）、ステップ５０２へ戻り、新たに指定された参照文書集合を取り込み、再びステップ５０３、ステップ５０４の処理を繰り返す。
【０００７】
この絞り込み検索に用いられる特徴量としては、例えば文書中の単語（句）の出現頻度（ｔｅｒｍ  ｆｒｅｑｕｅｎｃｙ）を要素とした特徴ベクトル、あるいは、この特徴ベクトルの各要素に重みを付加したＴＦ＊ＩＤＦ（Ｔｅｘｔ  Ｆｒｅｑｕｅｎｃｙ＊Ｉｎｖｅｒｓｅ  Ｄｏｃｕｍｅｎｔ  Ｆｒｅｑｕｅｎｃｙ）などがあり、一般に広く用いられている。
【０００８】
ＴＦ＊ＩＤＦとは、文書中の各単語の出現頻度に、他の検索対象文書中での出現頻度を考慮した重みを加えた特徴量である。単語ｔに対する重みｗｔ  は以下のような数式で表される。
【０００９】
ｗｔ    ＝ｌｏｇ（Ｎ／ｆｔ  ）
ただし、Ｎは検索対象文書数、ｆｔ  は単語ｔを含む文書数である。したがって、文書の特徴ベクトルの各要素ｗｄ．ｔ  は以下のように計算される。
【００１０】
ｗｄ．ｔ  ＝ｆｄ．ｔ  ・ｌｏｇ（Ｎ／ｆｔ  ）
ただし、ｆｄ．ｔ  は文書ｄ中の単語ｔの出現頻度である。
【００１１】
また、Ｉｗａｙａｍａらは、このような単語頻度の特徴量に基づき、ＳＶＭＶ（Ｓｉｎｇｌｅ  Ｒａｎｄｏｍ  Ｖａｒｉａｂｌｅ  ｗｉｔｈ  Ｍｕｌｔｉｐｌｅ  Ｖａｌｕｅｓ）という統計的テキスト分類手法（以下、Ｉｗａｙａｍａらの手法）を提案し、他のテキスト分類手法との比較実験の結果、その優位性を示した（Ｉｗａｙａｍａ，Ｔｏｋｕｎａｇａ：“Ａ  Ｐｒｏｂａｂｌｉｓｔｉｃ  Ｍｏｄｅｌ  ｆｏｒ  Ｔｅｘｔ  Ｃａｔｅｇｏｒｉｚａｔｉｏｎ：Ｂａｓｅｄ  ｏｎ  ａ  Ｓｉｎｇｌｅ  Ｒａｎｄｏｍ  Ｖａｒｉａｂｌｅ  ｗｉｔｈ  Ｍｕｌｔｉｐｌｅ  Ｖａｌｕｅｓ”，Ｐｒｏｃ  ｏｆ  ４ｔｈ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ａｐｐｌｉｅｄ  Ｎａｔｕｒａｌ  Ｌａｎｇｕａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，ｐｐ１６２−１６７，１９９４）。
【００１２】
一方、検索精度を向上させるための工夫の一つとして、類似検索の際に重要だと思われる語を選択して検索を行う手法（以下、重要語選択の手法）がある。
【００１３】
これまで文書間の類似度を測定する場合、一般的には各文書の中に出現する単語の頻度などを抽出し、これを要素として文書の特徴量を算定していた。しかし、ここで出現する全ての単語が文書間の類似度に影響を与えるとは考えにくく、逆に類似度に無関係な単語までも文書の特徴として考慮することにより、検索精度が低下してしまうおそれがある。そこで、検索入力ならびに検索対象の文書集合に出現する単語の中から、類似検索に必要な単語を抽出するようにしたのが重要語選択の手法である。
【００１４】
この重要語選択の手法として、各単語のχ（カイ）二乗値に基づいて重要語を選択する手法［１］が提案されている（Ｓｃｈｕｔｚｅ，Ｈｕｌｌ，Ｐｅｄｅｒｓｅｎ：“Ａ  Ｃｏｍｐａｒｒｉｓｏｎ  ｏｆ  Ｃｌａｓｓｉｆｉｅｒｓ  ａｎｄ  Ｄｏｃｕｍｅｎｔ  Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  ｆｏｒ  ｔｈｅ  Ｒｏｕｔｉｎｇ  Ｐｒｏｂｌｅｍ”，Ｐｒｏｃ  ｏｆ  ＡＣＭ  ＳＩＮＧＥＲ’９５，１９９５．）
この手法［１］では、検索対象文書群Ｄｉ  を参照文書ｑ  に対して類似している文書の集合（以下、正解文書集合）Ｃと、このＣに属しない集合￣Ｃ（以下、Ｃの否定を示す）の２つの集合に分け、各単語ｗのχ二乗値を以下の数式により算出する。
【００１５】
【数１】
0003595184.tif 000002
ただし、Ｎ（Ｃ＋）は、Ｃ中の文書で単語っを含む文書の数、Ｎ（Ｃ−）はＣ中の文書で単語ｗを含まない文書の数、Ｎ（￣Ｃ＋）  は￣Ｃ中の文書で単語ｗを含む文書の数、Ｎ（￣Ｃ−）  は￣Ｃ中の文書で単語ｗを含まない文書の数とする。
【００１６】
このようにして計算されたχ二乗値の上位Ｎ個の単語を重要語として選択し、これらの単語に基づいて特徴量を算出して、例えばＩｗａｙａｍａらの手法を用いて類似検索を行う。
【００１７】
また、上記手法［１］の応用例として、χ二乗値の正の根を元に重要語を抽出する手法［２］も提案されている（  Ｎｇ，Ｇｏｈ，Ｌｏｗ；“Ｆｅａｔｕｒｅ  Ｓｅｌｅｃｔｉｏｎ，Ｐｅｒｃｅｐｔｒｏｎ  Ｌｅａｒｎｉｎｇ，ａｎｄ  Ｕｓａｂｉｌｉｔｙ  Ｃａｓｅ  Ｓｔｕｄｙ  ｆｏｒ  Ｔｅｘｔ  Ｃａｔｅｇｏｒｉｚａｔｉｏｎ”，Ｐｒｏｃ  ｏｆ  ＡＣＭ  ＳＩＮＧＥＲ’９７，１９９７．）。この手法［２］は、正解文書集合Ｃ中の文書に含まれる語の方が￣Ｃに含まれる語と比較して重要性が高いという仮定にしたがって提案された重要語選択手法である。
【００１８】
さらに、類似文書の検索システムにおいては、検索式の情報を自動的に拡大する、いわゆる検索式拡張の技術を採用したシステムの開発が盛んに行われている。現在、最も一般的に採用されている検索式拡張手法の一つに、Ｒｏｃｃｈｉｏのアルゴリズムに基づくものがある。この手法はベクトル空間モデルに基づく類似検索のために開発された手法である。この手法は、最適な検索式（参照文書から生成されるベクトル）とそれに類似している文書との類似度を最大化させるとともに、非類似文書との類似度を最小化させる、という考え方に基づいている。Ｒｏｃｃｈｉｏによれば、このような検索式は類似文書群のベクトルの中心と、非類似文書群のベクトルの中心との差分ベクトルを求めることによって算出することができる。したがって、最適な検索式は以下の数式によって求められる。
【００１９】
【数２】
0003595184.tif 000003
ただし、Ｒは類似文書の数、Ｎは非類似文書の数を表す。また、この式の結果、負の値をもつ要素の値は０に設定される。
【００２０】
上記手法では、類似文書に検索式を近づけ、非類似文書から検索式を遠ざけることによって検索式の最適化を図っている。しかし、この手法では元の検索式の特徴が失われてしまうという問題がある。そこで、元の検索式の特徴を保持しつつ、検索式の最適化を行う手法が開発されている。この手法では、元の検索式及び類似文書と非類似文書のベクトルにそれぞれ係数を添えることによって最適化を行う。以下に、その数式を示す。
【００２１】
【数３】
0003595184.tif 000004
ＡＴ＆Ｔなどで開発されている“ＳＭＡＲＴ”と呼ばれる検索システムでは、上記手法に基づいた検索式拡張方式が採用されている。具体的には、類似文書から上記数式によって各単語の重みを計算し、単語毎の重みの総和が高い単語を抽出し、抽出された単語を元の検索式に加えるという検索式拡張手法であり、高い検索精度が得られている。
【００２２】
【発明が解決しようとする課題】
しかし、上記ＴＦ＊ＩＤＦをはじめとする既存のベクトル空間モデルの特徴量は、検索対象文書群の特徴を表してはいるが、参照文書集合の特徴を考慮していないため、例えば図１４のステップ５０２で参照文書集合が変化しても特徴量自体は変化しないという性質がある。したがって、参照文書集合の変化に対応した特徴量の抽出を行うことができず、また絞り込み検索を繰り返しても検索精度は向上しないという問題点があった。
【００２３】
また、上記手法［１］［２］で求められるχ二乗値は、Ｃと￣Ｃに含まれる文書数の比率に極端な差がある場合は検索精度が低くなるという欠点がある。これに対し、類似検索では一般に大量の検索対象文書群から、わずかな類似文書（上記Ｃに相当）を検索するものであるため、χ二乗値に基づく重要語選択手法は類似検索には有効でないという問題点があった。
【００２４】
また、上記Ｒｏｃｃｈｉｏの手法による検索精度向上の効果は多くの論文などで確認されている。しかし、この手法では検索対象文書内での単語の影響のみが考慮されており、参照文書と各検索対象文書との間の類似度における単語の影響については考慮されていないため、検索式拡張の際には必ずしも有効な単語が抽出されていない可能性がある。
【００２５】
この発明の第１の目的は、単語の特徴量を用いた類似検索において、不要な文書が検索される割合を少なくし、また絞り込み検索を繰り返した場合の検索精度を向上させることができる文書検索方法及び文書検索装置を提供することにある。
【００２６】
また、第２の目的は、重要語を用いた類似検索において、不要な文書が検索される割合を少なくし、かつ検索精度を向上させることができる文書検索方法及び文書検索装置を提供することにある。
【００２７】
さらに、第３の目的は、検索式拡張手法を用いた類似検索において、従来手法に比べて検索精度を向上させることができる文書検索方法及び文書検索装置を提供することにある。
【００２８】
【課題を解決するための手段】
上記第１の目的を達成するため、請求項１の発明は、検索対象文書群を構成する検索対象文書の特徴量を用いて、指定された参照文書に類似する文書を前記検索対象文書群から検索する文書検索方法において、前記参照文書と検索対象文書群に出現する単語が文書間の類似度に与える影響の大きさを単語寄与度として数値化し、該単語寄与度を要素とするベクトルデータを前記検索対象文書の特徴量とすることを特徴とする。
【００２９】
請求項２の発明は、請求項１において、前記参照文書が請求項１の文書検索方法で検索された文書であることを特徴とする。
【００３０】
請求項３の発明は、請求項１又は２において、前記参照文書が参照文書集合であることを特徴とする。
【００３１】
また、上記第１の目的を達成するため、請求項４の発明は、検索対象文書群を構成する検索対象文書の特徴量を用いて、指定された参照文書に類似する文書を前記検索対象文書群から検索する文書検索装置において、前記参照文書と検索対象文書群に出現する単語を抽出する出現単語抽出手段と、前記参照文書と検索対象文書群から前記出現単語抽出手段で抽出された単語を除いた文書を生成する単語除去手段と、前記参照文書と検索対象文書群に含まれる文書間の類似度と、前記単語除去手段で生成された参照文書と検索対象文書群に含まれる文書間の類似度とを算出する類似度算出手段と、前記類似度算出手段で算出された２つの類似度をもとに、前記参照文書と検索対象文書群に出現する単語が文書間の類似度に与える影響の大きさを単語寄与度として数値化し、該単語寄与度を要素とするベクトルデータを生成する寄与度算出手段とを備え、前記単語寄与度を要素とするベクトルデータを前記検索対象文書の特徴量として用いることを特徴とする。
【００３２】
請求項５の発明は、請求項４において、前記参照文書が請求項４の文書検索装置で検索された文書であることを特徴とする。
【００３３】
請求項６の発明は、請求項４又は５において、前記参照文書が参照文書集合であることを特徴とする。
【００３４】
上記第２の目的を達成するため、請求項７の発明は、指定された参照文書と検索対象文書群に出現する単語の中から選択した重要語を用いて、前記参照文書に類似する文書を前記検索対象文書群から検索する文書検索方法において、前記参照文書と前記検索対象文書群から抽出した正解文書集合に出現する単語が文書間の類似度に与える影響の大きさを単語寄与度として数値化し、前記参照文書と前記正解文書集合に出現する全ての単語から、単語寄与度の高い単語を重要語として選択することを特徴とする。
【００３５】
請求項８の発明は、請求項７において、前記参照文書と前記正解文書集合の各文書との間に出現する全ての単語について単語寄与度を算出した後、各単語毎に単語寄与度の総和を求め、該総和の上位にある単語を前記参照文書に対する重要語とすることを特徴とする。
【００３６】
請求項９の発明は、請求項７又は８において、前記参照文書が参照文書集合であることを特徴とする。
【００３７】
請求項１０の発明は、請求項７、８又は９において、前記正解文書集合が前記参照文書に対し類似している文書の集合であることを特徴とする。
【００３８】
また、上記第２の目的を達成するため、請求項１１の発明は、指定された参照文書と検索対象文書群に出現する単語の中から選択した重要語を用いて、前記参照文書に類似する文書を前記検索対象文書群から検索する文書検索装置において、前記参照文書と前記検索対象文書群から抽出した正解文書集合に出現する単語を抽出する出現単語抽出手段と、前記参照文書と正解文書集合から前記出現単語抽出手段で抽出された単語を除いた文書を生成する単語除去手段と、前記参照文書と正解文書集合に含まれる文書間の類似度と、前記単語除去手段で生成された参照文書と正解文書集合に含まれる各文書間の類似度とを算出する類似度算出手段と、前記類似度算出手段で算出された２つの類似度をもとに、前記参照文書と正解文書集合に出現する単語が文書間の類似度に与える影響の大きさを単語寄与度として数値化する寄与度算出手段と、前記参照文書と正解文書集合の各文書との間に出現する全ての単語から、前記寄与度算出手段で数値化された単語寄与度の高い単語を重要語として選択する重要語選択手段とを備え、前記選択された重要語に基づいて、前記参照文書に類似する文書を前記検索対象文書群から検索することを特徴とする。
【００３９】
請求項１２の発明は、請求項１１において、前記寄与度算出手段は、前記参照文書と前記正解文書集合の各文書との間に出現する全ての単語についてそれぞれ単語寄与度を算出し、  前記重要語選択手段は、各単語毎に前記寄与度算出手段で算出された単語寄与度の総和を求め、該総和の上位にある単語を参照文書に対する重要語とすることを特徴とする。
【００４０】
請求項１３の発明は、請求項１１又は１２において、前記参照文書が参照文書集合であることを特徴とする。
【００４１】
請求項１４の発明は、請求項１１、１２又は１３において、前記正解文書集合が前記参照文書に対し類似している文書の集合であることを特徴とする。
【００４２】
上記第３の目的を達成するため、請求項１５の発明は、指定された参照文書と検索対象文書群の各文書を表すベクトルを検索式として含む類似度計算式を用いて、前記参照文書に類似する文書を前記検索対象文書群から検索する文書検索方法において、前記参照文書と前記検索対象文書群から抽出した正解文書集合に出現する単語が文書間の類似度に与える影響の大きさを単語寄与度として数値化し、前記正解文書集合に含まれる各文書から単語寄与度が低い単語を抽出し、抽出した全ての単語のうち前記参照文書に含まれていない単語について、各単語毎に単語寄与度の総和を求め、その結果に重み付けをして前記参照文書の検索式に加えることを特徴とする。
【００４３】
請求項１６の発明は、請求項１５において、前記参照文書が参照文書集合であることを特徴とする。
【００４４】
請求項１７の発明は、指定された参照文書と検索対象文書群の各文書を表すベクトルを検索式として含む類似度計算式を用いて、前記参照文書に類似する文書を前記検索対象文書群から検索する文書検索装置において、前記参照文書と前記検索対象文書群から抽出した正解文書集合に出現する単語を抽出する出現単語抽出手段と、前記参照文書と正解文書集合から前記出現単語抽出手段で抽出された単語を除いた文書を生成する単語除去手段と、前記参照文書と正解文書集合に含まれる文書間の類似度と、前記単語除去手段で生成された参照文書と正解文書集合に含まれる各文書間の類似度とを算出する類似度算出手段と、前記類似度算出手段で算出された２つの類似度をもとに、前記参照文書と正解文書集合に出現する単語が文書間の類似度に与える影響の大きさを単語寄与度として数値化する寄与度算出手段と、前記参照文書と正解文書集合に含まれる各文書に出現する全ての単語から、前記寄与度算出手段で数値化された単語寄与度の低い単語を抽出し、抽出した全ての単語のうち前記参照文書に含まれていない単語について、各単語毎に単語寄与度の総和を求め、その結果に重み付けをして前記参照文書の検索式に加える検索式拡張手段とを備えたことを特徴とする。
【００４５】
請求項１８の発明は、請求項１７において、前記参照文書が参照文書集合であることを特徴とする。
【００４６】
【発明の実施の形態】
以下、この発明に係わる文書検索方法及び文書検索装置の具体例を実施形態１、実施形態２及び実施形態３として説明する。
【００４７】
この実施形態１、２及び３では、参照文書をすべて参照文書集合として説明する。ただし、この発明に係わる文書検索方法及び文書検索装置、並びに以下に説明する実施形態１、２及び３の文書検索装置においては、指定する文書として（単体の）参照文書を用いても同様の作用効果を得ることができる。
【００４８】
［実施形態１］
この実施形態１では、文書間の類似度における単語の寄与度を算出し、この寄与度に基づく特徴量を用いて類似する文書を検索する場合の具体例について説明する。
【００４９】
図２は、実施形態１に係わる文書検索装置１０の機能的な構成を示すブロック図である。この文書検索装置１０は、参照文書集合などを入力する入力部１１と、後述する特徴量抽出部１２と、前記特徴量抽出部１２で抽出された特徴量としての寄与度をもとに、検索対象文書群から参照文書集合に類似する文書を検索する検索部１３と、特徴量抽出部１２及び検索部１３で使用される文書などを一時的に格納する記憶部１４と、前記検索部１３で検索された文書を出力する出力部１４とから構成されている。
【００５０】
この実施形態１の特徴量抽出部１２では、参照文書集合に依存する特徴量として、新たに文書間の類似度における単語の寄与度（単語寄与度）という概念を定義し、この単語寄与度を要素とするベクトルデータ（以下、特徴ベクトル）を算出する。ここでいう単語寄与度とは、検索対象文書群のある文書と参照文書集合間での類似度を計算する際に、文書中に出現する単語がその類似度に与える影響を数値化したもので、数値が大きいほどその単語が類似度に与える影響の大きいことを示している。すなわち、単語寄与度は、検索対象文書群のある文書と参照文書集合の両者に出現する単語をそのまま含ませた場合に算出される類似度から該単語を両者から除いた場合に算出される類似度への変化として定義される。なお、この実施形態１では、複数の文書からなる検索対象文書群に対し、同じく複数の文書からなる参照文書集合が与えられたものとする。
【００５１】
図１は、前記特徴量抽出部１２の具体例として構成された寄与度算出装置１２０の機能的な構成を示すブロック図である。この寄与度算出装置１２０は、出現単語抽出手段１２１、単語除去手段１２２、類似度算出手段１２３、寄与度算出手段１２４から構成されている。
【００５２】
出現単語抽出手段１２１は、入力した参照文書集合Ｄと、検索対象文書群Ｄｏｃｓに含まれる文書ｄｉ（ｄ１、ｄ２、・・・ｄｎ）について、その中に出現する単語（出現単語）とその出現頻度を求める。抽出する単語は、例えば名詞のみというように指定しておくことにより選別することができる。抽出された単語ｗｊ（ｗ１、ｗ２、・・・ｗｎ）は、出現単語リストＷ＝（ｗ１、ｗ２、・・・ｗｎ）として出力される。各単語の出現頻度は、類似度算出手段１２３で類似度を計算する際に用いられる。
【００５３】
単語除去手段１２２は、参照文書集合と検索対象文書群から、前記出現単語抽出手段１２１で抽出された単語を除いた文書を生成する。ここでは、ｄｉからｗｊを除いた文書をｄｉ′（ｗｊ）とし、Ｄからｗｊを除いた文書をＤ′（ｗｊ）とする。
【００５４】
類似度算出手段１２３は、参照文書集合と検索対象文書群に含まれる各文書間の類似度として、次のような２つの類似度を計算する。１つは、文書ｄｉ、Ｄ間の類似度Ｓｉｍ（ｄｉ、Ｄ）であり、もう１つは、文書ｄｉ′（ｗｊ）、Ｄ′（ｗｊ）間の類似度Ｓｉｍ（ｄｉ′（ｗｊ）、Ｄ′（ｗｊ））である。これら類似度の計算手法としては、既知の計算手法を用いることができる。この実施形態１では、前述したＩｗａｙａｍａらの手法を用いている。
【００５５】
寄与度算出手段１２４は、ｄｉ、Ｄ間の類似度における単語ｗｊの寄与度Ｃｏｎｔ（ｄｉ、Ｄ、ｗｊ）として、Ｓｉｍ（ｄｉ、Ｄ）−Ｓｉｍ（ｄｉ′（ｗｊ）、Ｄ′（ｗｊ））を計算する。寄与度Ｃｏｎｔ（ｄｉ、Ｄ、ｗｊ）は、ｄｉ、Ｄ中のすべての出現単語について求める。
【００５６】
これによると、文書ｄｉ、Ｄに出現する単語ｗｊの類似度に与える影響が大きい場合には、Ｓｉｍ（ｄｉ′（ｗｊ）、Ｄ′（ｗｊ））の値が小さくなるため、単語ｗｊの寄与度Ｃｏｎｔ（ｄｉ、Ｄ、ｗｊ）は大きくなる。一方、文書ｄｉ、Ｄに出現する単語ｗｊの類似度に与える影響が小さい場合には、Ｓｉｍ（ｄｉ′（ｗｊ）、Ｄ′（ｗｊ））の値が大きくなるため、単語ｗｊの寄与度Ｃｏｎｔ（ｄｉ、Ｄ、ｗｊ）は小さくなる。すなわち、単語ｗｊの寄与度Ｃｏｎｔ（ｄｉ、Ｄ、ｗｊ）は、単語ｗｊの類似度に与える影響の大小関係がそのまま反映された数値となる。
【００５７】
そして、単語ｗｊの寄与度Ｃｏｎｔ（ｄｉ、Ｄ、ｗｊ）は、参照文書集合の変化に応じて変化するため、この寄与度を要素とした特徴ベクトルからなる文書ｄｉの特徴量は、参照文書集合に依存した特徴量となる。したがって、検索の進行につれて参照文書集合が変化する絞り込み検索では、その参照文書集合の変化に適応した特徴量の抽出を行うことができることになり、また絞り込み検索を繰り返すことにより検索精度をさらに向上させることができる。
【００５８】
次に、上記のように構成された寄与度算出装置１２０において、単語ｗｊの寄与度と文書ｄｉの特徴ベクトルを計算する場合の処理手順を図３のフローチャートを用いて説明する。
【００５９】
まず、出現単語抽出手段１２１において、検索対象文書群と参照文書集合を取り込む（ステップ１０１）。ここで、検索対象文書群をＤｏｃｓ、参照文書集合をＤとする。次に出現単語抽出手段１２１において、ＤとＤｏｃｓに含まれるｄｉ（ｄ１、ｄ２、・・・ｄｎ）について、出現単語とその出現頻度を求め、出現単語リストＷ（＝ｗ１、ｗ２、・・・ｗｎ）を抽出する（ステップ１０２）。次に、類似度算出手段１２３において、Ｄｏｃｓに含まれる一文書ｄｉとＤ間の類似度を計算する（ステップ１０３）。ここでは、ｄｉとＤ間の類似度をＳｉｍ（ｄｉ、Ｄ）とする。次に、単語除去手段１２２において、出現単語から単語ｗｊを取り出し、ｄｉから単語ｗｊを除いたものと、Ｄから単語ｗｊを除いたものを求める（ステップ１０４）。ここでは、ｄｉから単語ｗｊを除いた文書をｄｉ′（ｗｊ）、Ｄから単語ｗｊを除いた文書をＤ′（ｗｊ）とする。次に、類似度算出手段１２３において、ｄｉ′（ｗｊ）、Ｄ′（ｗｊ）間の類似度を計算する（ステップ１０５）。ここでは、ｄｉ′（ｗｊ）、Ｄ′（ｗｊ）間の類似度をＳｉｍ（ｄｉ′（ｗｊ）、Ｄ′（ｗｊ））とする。次に、寄与度算出手段１２４において、ｄｉ、Ｄ間の類似度における単語ｗｊの寄与度を計算する（ステップ１０６）。ここでは、単語ｗｊの寄与度をＣｏｎｔ（ｄｉ、Ｄ、ｗｊ）とし、Ｃｏｎｔ（ｄｉ、Ｄ、ｗｊ）＝Ｓｉｍ（ｄｉ、Ｄ）−Ｓｉｍ（ｄｉ′（ｗｊ）、Ｄ′（ｗｊ））として計算する。次に、すべての単語ｗｊについて寄与度を計算したかどうかを判断し（ステップ１０７）、計算が終了していなければ、次の単語ｗｊを取り出して、ステップ１０４〜ステップ１０６の処理を繰り返す。また、計算が終了していれば、それぞれの単語ｗｊ毎に算出されたＣｏｎｔ（ｄｉ、Ｄ、ｗｊ）を、ｄｉの特徴ベクトルＶ（ｄ）として出力する（ステップ１０８）。続いて、Ｄｏｃｓに含まれるすべてのｄｉについて特徴ベクトルを出力したかどうかを判断し（ステップ１０９）、計算が終了していなければ、次のｄｉを取り出して、ステップ１０３〜ステップ１０８の処理を繰り返す。また、計算が終了していれば、そこで処理を終了し、計算したすべてのデータを記憶部１４（図２）へ格納する。
【００６０】
この後は、検索部１３（図２）において、寄与度を要素とした特徴ベクトルからなる文書ｄｉの特徴量をもとにして、検索対象文書群から参照文書集合に類似している文書集合を検索する。検索結果は出力部１５（図２）を通じてユーザに提示される。ユーザは、検索された文書集合について、さらに絞り込み検索を行う必要がある判断した場合は、検索された文書集合の中から、参照文書集合に類似している文書を抽出し、これを新たな参照文書集合としてシステムに指定する。これ以後は、新たな参照文書集合に基づいて絞り込み検索を実行する。
【００６１】
上記実施形態１の文書検索装置においては、寄与度を要素とするベクトルデータを検索対象文書の特徴量としているため、例えばＴＦ＊ＩＤＦのように単語の出現頻度などを要素とするベクトルデータを特徴量として用いる手法に比べ、不要な文書が検索される割合を少なくすることができる。また、前出の寄与度に基づく特徴量は参照文書集合に依存しているため、絞り込み検索においては、参照文書集合の変化に対応した特徴量の抽出を行うことができる。すなわち、絞り込み検索を繰り返した場合には、検索精度をさらに向上させることができる。しかも、絞り込み検索を繰り返した場合は、参照文書集合の一部が重複するので、計算を一部省くことができるため、処理時間を短縮することが可能となる。
【００６２】
［実施形態２］
この実施形態２では、実施形態１で説明した単語の寄与度をもとにして重要語を選択し、この重要語に基づいて類似する文書を検索する場合の具体例について説明する。
【００６３】
図４は、実施形態２に係わる文書検索装置２０の機能的な構成を示すブロック図である。この文書検索装置２０は、参照文書集合などを入力する入力部２１と、後述する重要語選択部２２と、この重要語選択部２２で選択された重要語をもとにして、検索対象文書群から参照文書集合に類似する文書を検索する検索部２３と、重要語選択部２２及び検索部２３で使用される文書などを一時的に格納する記憶部２４と、前記検索部２３で検索された文書を出力する出力部２４とから構成されている。
【００６４】
この実施形態２の重要語選択部２２は、参照文書集合の各文書と検索対象文書群から抽出した正解文書集合の各文書との間に出現する全ての単語ついてそれぞれ寄与度を算出する寄与度算出手段２２１と、各単語毎に寄与度算出手段２２１で算出された単語寄与度の総和を求め、この総和の上位にある単語を参照文書に対する重要語として選択する重要語選択手段２２２とから構成されている。
【００６５】
寄与度算出手段２２１は、例えば図１の寄与度算出装置１２０と同じ機能ブロックにより構成することができる。この寄与度算出手段２２１では、入力した参照文書集合Ｄと正解文書集合Ｃ＝｛ｄ１、ｄ２・・・ｄｎ｝の各文書との間に出現する全ての単語ｗｊの寄与度Ｃｏｎｔ（Ｄ、ｄｉ、ｗｊ）を計算する。単語の寄与度を算出する手順は図３のステップ１０１〜ステップ１０７と同じであるため説明を省略する。
【００６６】
重要語選択手段２２２は、参照文書集合Ｄと正解文書集合Ｃの各文書に出現した各単語毎に、前記寄与度算出手段２２１で算出された寄与度の総和ＳｕｍＣｏｎｔ（Ｄ、ｗｊ）を次の式により求める。
【００６７】
【数４】
0003595184.tif 000005
次に、寄与度の総和ＳｕｍＣｏｎｔ（Ｄ、ｗｊ）の高い単語について、その上位Ｎ個の単語を参照文書集合Ｄに対する重要語として選択する。
【００６８】
次に、上記のように構成された重要語選択部２２において、参照文書集合Ｄに対する重要語を選択する場合の処理手順を図５のフローチャートを用いて説明する。
【００６９】
なお、図５のフローチャートでは、文書間に出現する全ての単語について寄与度を算出した後、各単語毎に寄与度の総和を求めるようにしているが、文書間に出現する各単語の寄与度を順に算出しながら、各単語毎に寄与度の総和を求めるようにしてもよい。
【００７０】
まず、寄与度算出手段２２１において、参照文書集合、正解文書集合及び重要語数を取り込む（ステップ２０１）。ここでは、参照文書集合をＤ、正解文書集合をＣ、重要語数をＮとする。次に、ＤとＣに含まれるｄｉ（ｄ１、ｄ２、・・・ｄｎ）について、出現単語とその出現頻度を求め、出現単語リストＷ（＝ｗ１、ｗ２、・・・ｗｎ）を抽出する（ステップ２０２）。次に、出現単語リストＷから単語（ｗｊ）を取り出し、ｄｉ、Ｄ間の類似度における単語ｗｊの寄与度Ｃｏｎｔ（Ｄ、ｄｉ、ｗｊ）を計算する（ステップ２０３）。このステップ２０３では、図３のステップ１０３〜ステップ１０７と同等の処理を行っている。次に、全ての単語ｗｊについて寄与度を計算したかどうかを判断し（ステップ２０４）、計算が終了していなければ、次の単語（ｗｊ＋１）を取り出してステップ２０３の処理を繰り返す。また、計算が終了していれば、重要度選択手段２２２において、ＤとＣの各文書との間に出現した単語毎に、寄与度算出手段２２１で算出された寄与度の総和ＳｕｍＣｏｎｔ（Ｄ、ｗｊ）を求める（ステップ２０５）。次に、総和ＳｕｍＣｏｎｔ（Ｄ、ｗｊ）の高い単語の上位Ｎ個を参照文書集合Ｄに対する重要語として選択する（ステップ２０６）。そして、計算した全てのデータを記憶部２４へ格納する。
【００７１】
図６は、選択された重要語をもとにして、検索対象文書群から参照文書集合に類似している文書を検索する場合の処理手順を示すフローチャートである。
【００７２】
重要語選択部２２で重要語が選択されると、検索部２３は記憶部２４に格納されている出現単語リストＷを参照し、参照文書集合Ｄと正解文書集合Ｃ中に出現する単語を抽出する（ステップ３０１）。次に、抽出した単語のうち、重要語選択部２２で選択された重要語Ｎ個に含まれる単語をもとにして、参照文書集合Ｄと検索対象文書群Ｄｏｃｓ中の各文書との類似度を算出し、類似度の高い文書集合を検索対象文書群Ｄｏｃｓの中から検索する（ステップ３０２）。その後、検索結果を出力部２５を通じてユーザに提示する（ステップ３０３）。
【００７３】
上記実施形態２においては、単語の寄与度をもとに選択した重要語を利用して類似検索を行うようにしているため、類似文書とそうでない文書との比率に極端な差がある場合でも、例えばχ二乗値に基づく重要語選択手法に比べて、不要な文書が検索される割合を少なくすることができ、かつ検索精度を向上させることができる。
【００７４】
［実施形態３］
この実施形態３では、実施形態１で説明した単語の寄与度を用いて検索式を拡張し、この拡張された検索式に基づいて類似する文書を検索する場合の具体例について説明する。
【００７５】
図７は、実施形態３に係わる文書検索装置３０の機能的な構成を示すブロック図である。この文書検索装置３０は、参照文書集合などを入力する入力部３１と、後述する検索式拡張部３２と、この検索式拡張部３２で拡張された検索式に基づいて、検索対象文書群から参照文書集合に類似する文書を検索する検索部３３と、検索式拡張部３２及び検索部３３で使用される文書などを一時的に格納する記憶部３４と、前記検索部３３で検索された文書を出力する出力部３５とから構成されている。
【００７６】
この実施形態３の検索式拡張部３２は、参照文書集合の各文書と検索対象文書群から抽出した正解文書集合の各文書との間に出現する全ての単語ついてそれぞれ単語寄与度を算出する寄与度算出手段３２１と、正解文書集合の各文書毎に寄与度算出手段３２１で算出された単語寄与度が低い単語を抽出し、さらに抽出した全ての単語のうち参照文書集合に含まれていない単語について、各単語毎に単語寄与度の総和を求め、その結果に重み付けをして、元の参照文書集合の検索式に加える検索式拡張手段３２２とから構成されている。
【００７７】
寄与度算出手段３２１は、例えば図１の寄与度算出装置１２０と同じ機能ブロックにより構成することができる。この寄与度算出手段３２１では、入力した参照文書集合Ｄと正解文書集合Ｃ＝｛ｄ１、ｄ２・・・ｄｎ｝の各文書との間に出現する全ての単語ｗｊの寄与度Ｃｏｎｔ（Ｄ、ｄｉ、ｗｊ）を計算する。単語寄与度を算出する手順は図３のステップ１０１〜ステップ１０７と同じであるため説明を省略する。
【００７８】
検索式拡張手段３２２は、参照文書集合Ｄと正解文書集合Ｃに含まれる各文書ｄ１、ｄ２・・・ｄｎに出現する全ての単語から、寄与度算出手段３２１で算出された単語寄与度の低い単語とその単語寄与度を抽出する。次に、抽出された全ての単語のうち参照文書集合Ｄに含まれていない単語について、次の式により、各単語毎に単語寄与度の総和Ｓｃｏｒｅ（ｗ）を求める。
【００７９】
【数５】
0003595184.tif 000006
そして、抽出された単語とそのスコア（Ｓｃｏｒｅ）を元の参照文書集合Ｄの検索式に加えることによっって検索式
【００８０】
次に、上記のように構成された検索式拡張部３２において、単語寄与度を用いて検索式を拡張する場合の処理手順を図８のフローチャートを用いて説明する。
【００８１】
まず、寄与度算出手段３２１において、参照文書集合、正解文書集合、各文書から抽出される単語数及び抽出された単語に対する重みを取り込む（ステップ４０１）。ここでは、参照文書集合をＤ、正解文書集合をＣ（Ｄ）、各文書から抽出される単語寄与度の値が低い単語数をＮ、重みをｗｇｔとする。次に、ＤとＣ（Ｄ）に含まれる文書ｄｉ（ｄ１、ｄ２、・・・ｄｎ）について、出現単語とその出現頻度を求め、出現単語リストＷ（＝ｗ１、ｗ２、・・・ｗｍ）を抽出する（ステップ４０２）。次に、出現単語リストＷから単語（ｗｊ）を取り出し、Ｄ、ｄｉ間の類似度における単語ｗｊの寄与度Ｃｏｎｔ（Ｄ、ｄｉ、ｗｊ）を計算する（ステップ４０３）。このステップ４０３では、図３のステップ１０３〜ステップ１０７と同等の処理を行っている。次に、全ての単語ｗｊについて単語寄与度を計算したかどうかを判断し（ステップ４０４）、計算が終了していなければ、次の単語（ｗｊ＋１）を取り出してステップ４０３以降の処理を繰り返す。また、計算が終了していれば、検索式拡張手段３２２において、出現単語リストＷに含まれる単語のうち、単語寄与度の値が低い単語Ｎ個とその単語寄与度を抽出する（ステップ４０５）。次に、全ての文書ｄｉについて単語寄与度の低い単語を抽出したかどうかを判断し（ステップ４０６）、抽出が終了していなければ、次の文書（ｄｉ＋１）を取り出してステップ４０２以降の処理を繰り返す。また、抽出が終了していれば、抽出された全ての単語のうち参照文書集合Ｄに含まれていない単語についてＳｃｏｒｅ（ｗ）を求める（ステップ４０７）。そして、計算された全ての単語ｗとそのＳｃｏｒｅ（ｗ）を元の参照文書集合Ｄの検索式に加える（ステップ４０８）。拡張された検索式に関するデータは記憶部３４へ格納する。
【００８２】
この後、検索部３３は、記憶部３４に格納されている出現単語リストＷを参照し、参照文書集合Ｄと正解文書集合Ｃ（Ｄ）中に出現する単語を抽出する。そして、拡張された検索式を含む類似度の計算式に値を入れ、参照文書集合Ｄと検索対象文書群Ｄｏｃｓ中の各文書との類似度を算出し、類似度の高い文書集合を検索対象文書群Ｄｏｃｓの中から検索して、検索結果を出力部３５を通じてユーザに提示する。
【００８３】
上記実施形態３においては、単語の寄与度に基づいて検索式を拡張するための単語を抽出するようにしているため、文書間の類似度における単語の影響を考慮した検索式拡張を実現することができる。これによれば、例えばＲｏｃｃｈｉｏの手法に基づいた検索式拡張に比べて、類似度の計算に有効な単語を抽出することができるため、検索精度を向上させることができる。
【００８４】
【実施例】
次に、上述した実施形態１、２及び３の文書検索装置の有効性を示すため、従来技術との比較実験を行った。以下、実施形態１、２及び３に対応する比較実験の結果をそれぞれ実施例１〜３として説明する。
【００８５】
［実施例１］
最初に、実施例１として、実施形態１で説明した単語ｗｊの寄与度による特徴量と、従来のＴＦ＊ＩＤＦによる特徴量について比較実験を行った結果について説明する。
【００８６】
この実施例では、参照文書Ｄと、２５５１１個の文書からなる検索対象文書群Ｄｏｃｓとの間の類似度を計算した。その結果、Ｄｏｃｓ中の文書のうち、参照文書Ｄとの類似度が高い文書５５個（以下、Ｄｔｏｐ）を主観評価により、Ｄと類似性の高いＤｏ、類似性の無いＤｘ、及びＤｏ、Ｄｘのいずれにも属さないＤｚ の３つのグループに分類した。各グループ中の文書数と、全体に占める割合を表１に示す。
【００８７】
【表１】
0003595184.tif 000007
Ｄｔｏｐの各文書とＤ間の類似度において、寄与度の高い単語の上位５個を各文書毎に抽出し、これらのマージした単語リスト（４８単語）を生成した。各文書の特徴量は、このリスト中の各単語の寄与度を要素とした特徴ベクトルで表す。この特徴ベクトルの有効性を示すために、これを元に因子分析を行い、第１因子と第２因子を軸とした２次元平面上にプロットした。比較のため、Ｄｔｏｐの文書をＴＦ＊ＩＤＦによる特徴量を抽出し、同様に因子分析してプロットを行った。図９、図１０に、それぞれ寄与度及びＴＦ＊ＩＤＦによる特徴量の抽出に基づいた因子分析の結果を示す。図の中の「○」「△」「×」は、それぞれＤｏ、Ｄｚ 、Ｄｘの文書を表している。
【００８８】
これらの結果を比較すると、図９では同じグループの文書が集中してプロットされているのに対し、図１０ではそれに比べて平面上にプロットが散らばっていることが明らかである。因子分析においては、情報量が多いほど○や△などの均等に散らばり、情報量が少ないほどかたまる傾向にある。したがって、寄与度による分析の方が、ＴＦ＊ＩＤＦによる分析よりも情報量が少ない、すなわち不要な文書が検索される割合が低いと考えられる。このことから、寄与度に基づく特徴量の方がＴＦ＊ＩＤＦに基づく特徴量よりも主観評価による文書分類に適していると考えられる。
【００８９】
次に、この結果を定量的に検証した場合について説明する。まず、図９、図１０の平面の両軸をそれぞれＮ等分し、各平面をＮ２  個の矩形領域に分割した。そして、以下の式に基づき、寄与度及びＴＦ＊ＩＤＦによる分析結果の情報量を計算した。ｐｉｊ（ｇ）は領域（ｉ、ｊ）内にｇ∈Ｇ＝｛○、△、×｝のプロットが現れる確率とする。
【００９０】
【数６】
0003595184.tif 000008
Ｎ＝１、２、・・・、１０のときの情報量の計算結果を図１１に示す。図１１において、縦軸は情報量（ｅｎｔｒｏｐｙ）、横軸は分割数（ｄｉｖｉｓｉｏｎ）を表している。この結果より、寄与度による分析結果の方が、ＴＦ＊ＩＤＦによる分析結果よりも情報量が少ないことが明らかであり、定量的にも本発明の有効性が示された。
【００９１】
上記実施例１に示す比較結果は、一回の検索を行った場合の実験例である。このように、本発明による文書検索では、絞り込み検索を行わなくても、従来のＴＦ＊ＩＤＦに比べて不要な文書が検索される割合を少なくすることができる。そして、絞り込み検索を繰り返した場合は、検索精度をさらに向上させることができる。すなわち、絞り込み検索を行った場合は、図１１の寄与度による分析結果のグラフが、さらに下方に移行する（情報量が少なくなる）ことが予測される。
【００９２】
［実施例２］
次に、実施例２として、実施形態２で説明した単語の寄与度をもとに選択した重要語と、従来例のχ二乗値により選択した重要語による類似検索の比較実験を行った結果について説明する。
【００９３】
この実施例では、参照文書集合として、同期間にＫＤＤから出願された特許２０件を設定し、これらの特許に類似している特許の公開公報を検索業者に検索させた。この検索において、１つの参照文書に対して類似していると判断された特許の公開公報数の平均は１０．７５個であった。ここでは、前記特許２０件を参照文書集合Ｄ  ｉｎ  ＝｛ｉ１  、ｉ２  ・・・ｉ２０｝とし、参照文書  ｉｎ  に対する正解文書集合をＣｎ  とした。また、検索の対象となった全ての公開公報データのうちの１００００件を検索対象文書集合Ｄｔ  とした。この検索対象文書集合Ｄｔ  には、正解文書集合Ｃｎ  に含まれる全ての公開公報データが含まれている。
【００９４】
次に、χ二乗値による重要語選択手法と単語の寄与度を用いた重要語選択手法により、それぞれＮ個の重要語を選択した。そして、これらＮ個の単語をもとにＩｗａｙａｍａらの手法により検索対象文書集合Ｄｔ  からの類似検索を行った。また比較例として、重要語を選択せずに文書間に出現した全ての単語に基づく類似検索も行った。
【００９５】
χ二乗値（χ２  ）と単語の寄与度（Ｃｏｎｔ）について、それぞれ選択する重要語の個数Ｎを上位から１００、２００、３００、４００、５００としたときの検索結果、及び全ての単語に基づく検索結果（Ａｌｌ）の平均精度を表１に示す。
【表２】
0003595184.tif 000009
表２の結果から明らかなように、寄与度を用いた重要語選択手法により得られた単語を使った場合は、Ｎ＝１００〜５００の全てにおいて、χ二乗値（χ２  ）による検索結果及び全ての単語に基づく検索結果（Ａｌｌ）の数値を上回ることが確認された。
【００９６】
また、表２の中で最も結果の良かった重要語の個数として、単語の寄与度（Ｎ＝４００）、χ二乗値（Ｎ＝５００）を設定し、そこで選択された重要語による検索と、全ての単語に基づく検索のＲｅｃａｌｌ／Ｐｒｅｃｉｓｉｏｎ曲線をそれぞれ測定した。結果を図１２に示す。図１２において、横軸のＲｅｃａｌｌは検索された文書のうち、実際に類似している文書の割合を示している。
【００９７】
このＲｅｃａｌｌ／Ｐｒｅｃｉｓｉｏｎ曲線では、特性曲線が右上に位置するほど検索精度が高いことを示している。図１２に示すように、単語の寄与度を用いた重要語選択手法により得られた単語を使った検索結果は、χ二乗値（χ２  ）による検索結果及び全ての単語に基づく検索結果（Ａｌｌ）のいずれも上回ることが確認された。
【００９８】
以上の結果から、χ二乗値による重要語選択手法では検索精度が下がったのに対し、単語の寄与度を用いた重要語選択手法では検索精度の向上が見られ、本発明の有効性が示された。
【００９９】
［実施例３］
次に、実施例３として、単語の寄与度に基づいて拡張された検索式と、従来例のＲｏｃｃｈｉｏの手法により拡張された検索式とを用いて、類似検索の比較実験を行った結果について説明する。
【０１００】
この実施例では、Ｔｅｘｔ  Ｒｅｔｒｉｅｖａｌ  Ｃｏｎｆｅｒｅｎｃｅ（ＴＲＥＣ）で定められた統一的な実験条件として、ＴＲＥＣに使用されているテキストデータ５２８１５０件を検索対象文書とし、同じくＴＲＥＣで用意された５０個の参照文書とそれぞれの参照文書に対する正解文書集合をもとに評価を行った。
【０１０１】
まず、各参照文書毎に全ての検索対象文書に対して検索（初期検索）を行い、類似度の上位１０００件の文書を抽出した。ここで抽出した文書のうち、実際に各参照文書と類似している文書（正解文書集合）の上位Ｎｕｍ個から、単語寄与度に基づく検索式拡張の手法（実施形態３）により各参照文書の検索式拡張を行った。最終的な検索結果は、ここで拡張された検索式を使用し、全ての検索対象文書に対する検索を行うことで算出した。
【０１０２】
類似度の計算式としては、以下に示すような参照文書と検索対象文書を表すベクトル間の角度のコサイン値を求める式を用いた。
【０１０３】
【数７】
0003595184.tif 000010
この式において、Ｄ→が参照文書の検索式、すなわち参照文書（集合）を表すベクトルを示している。
【０１０４】
Ｒｏｃｃｈｉｏの手法の入力となる正解文書集合には、単語寄与度に基づく検索式拡張の手法で抽出された正解文書集合をそのまま使用した。また、非類似文書集合としては、前記初期検索により抽出された１００件の文書のうち、類似度の順位が５００位以下の文書を使用した。ただし、この下位５００件の文書集合の中に類似文書が含まれている場合は、これを非類似文書集合から取り除くものとする。また、Ｒｏｃｃｈｉｏの手法で使用される係数α、β、γは、ＴＲＥＣ−７にて発表されたＳＭＡＲＴシステムで使用した値、すなわちα＝３、β＝２、γ＝２とした。同じく、ＴＲＥＣ−７での発表同様、各参照文書に対し、Ｒｏｃｃｈｉｏの手法における重みの上位２０単語を元の検索式に加えた。
【０１０５】
表３に、Ｎｕｍ＝１０、２０及びｗｇｔ＝−１００、−４００、−８００、−１２００の場合の単語寄与度に基づく検索式拡張の手法（ＷＣ１０、２０）に基づく検索式拡張、並びにＮｕｍ＝１０、２０とした場合のＲｏｃｃｈｉｏの手法（Ｒｏｃｃｈｉｏ１０、２０）の手法による検索式拡張、並びに初期検索（Ｂａｓｅｌｉｎｅ）による平均正解率の値を示す。
【０１０６】
【表３】
0003595184.tif 000011
表３の結果から明らかなように、単語寄与度に基づく検索式拡張の手法は、初期検索と比較して１５７％〜１９７％以上の検索精度向上が達成されていることが確認された。また、重みｗｇｔの絶対値の増大、すなわち新しく拡張された単語の影響力の増大に伴って検索精度が向上し、さらにＲｏｃｃｈｉｏの手法と比較しても高い検索精度が得られていることから、単語寄与度に基づく検索式拡張の手法による単語抽出及び重み付けが有効であることが示された。
【０１０７】
また、図１３は、Ｎｕｍ＝２０の場合における各手法のＲｅｃａｌｌ／Ｐｒｅｃｉｓｉｏｎ曲線を示す。図１３に示すグラフの縦横軸及び特性曲線の評価は図１２と同様である。
【０１０８】
図１３のＲｅｃａｌｌ／Ｐｒｅｃｉｓｉｏｎ曲線から明らかなように、単語寄与度に基づく検索式拡張の手法は、どのＲｅｃａｌｌ値においても、Ｒｏｃｃｈｉｏの手法の正解率を上回ることが確認された。
【０１０９】
以上の結果から、単語寄与度に基づく検索式拡張の手法では、いずれの条件においてもＲｏｃｃｈｉｏの手法に比べて検索精度の向上が見られ、本発明の有効性が示された。
【０１１０】
【発明の効果】
以上説明したように、請求項１乃至６の発明においては、参照文書（集合）と検索対象文書群に出現する単語が文書間の類似度に与える影響の大きさを単語寄与度として定義し、この単語寄与度を要素とするベクトルデータを検索対象文書の特徴量として用いるようにしたため、単語の出現頻度などを要素とするベクトルデータを特徴量として用いる手法に比べて、不要な文書が検索される割合を少なくすることができる。また、参照文書（集合）に依存した特徴量を用いているので、絞り込み検索を繰り返した場合には、検索精度をさらに向上させることができる。
【０１１１】
また、請求項７乃至１４の発明においては、単語寄与度をもとに重要語を選択し、選択した重要語に基づいて類似検索を行うようにしたため、類似文書とそうでない文書との比率に極端な差がある場合でも、例えばχ二乗値に基づく重要語選択手法に比べて、不要な文書が検索される割合を少なくすることができ、かつ検索精度を向上させることができる。
【０１１２】
さらに、請求項１５乃至１８の発明においては、単語の寄与度を用いて検索式を拡張し、この拡張された検索式に基づいて類似検索を行うようにしたため、類似度の計算に有効な単語を抽出することができるようになり、従来の検索式拡張手法に比べて検索精度を向上させることができる。
【図面の簡単な説明】
【図１】図２に示す寄与度算出装置の機能的な構成を示すブロック図。
【図２】実施形態１に係わる文書検索装置の機能的な構成を示すブロック図。
【図３】単語ｗｊの寄与度と文書ｄｉの特徴ベクトルを計算する場合の処理手順を示すフローチャート。
【図４】実施形態２に係わる文書検索装置の機能的な構成を示すブロック図。
【図５】参照文書集合Ｄに対する重要語を選択する場合の処理手順を示すフローチャート。
【図６】選択された重要語をもとに検索対象文書群から参照文書集合に類似している文書を検索する場合の処理手順を示すフローチャート。
【図７】実施形態３に係わる文書検索装置の機能的な構成を示すブロック図。
【図８】単語寄与度を用いて検索式を拡張する場合の処理手順を示すフローチャート。
【図９】寄与度による因子分析の結果を示す説明図。
【図１０】ＴＦ＊ＩＤＦによる因子分析の結果を示す説明図。
【図１１】寄与度及びＴＦ＊ＩＤＦによる分析結果の情報量を示す説明図。
【図１２】各手法により得た重要語及び全単語により検索した場合のＲｅｃａｌｌ／Ｐｒｅｃｉｓｉｏｎ曲線を示す説明図。
【図１３】Ｎｕｍ＝２０の場合における各手法のＲｅｃａｌｌ／Ｐｒｅｃｉｓｉｏｎ曲線を示す説明図。
【図１４】従来の絞り込み検索の処理手順を示すフローチャート。
【符号の説明】
１０、２０、３０  文書検索装置
１１、２１  、３１入力部
１２、特徴量抽出部
１３、２３、３３  検索部
１４、２４、３４  記憶部
１５、２５、３５  出力部
２２  重要語選択部
３２  検索式拡張部
１２０  寄与度算出装置
１２１  出現単語抽出手段
１２２  単語除去手段
１２３  類似度算出手段
１２４  寄与度算出手段
２２１、３２１  寄与度算出手段
２２２  重要語選択手段
３２２  検索式拡張手段
【図１】
0003595184.tif 000012
【図２】
0003595184.tif 000013
【図３】
0003595184.tif 000014
【図４】
0003595184.tif 000015
【図５】
0003595184.tif 000016
【図６】
0003595184.tif 000017
【図７】
0003595184.tif 000018
【図８】
0003595184.tif 000019
【図９】
0003595184.tif 000020
【図１０】
0003595184.tif 000021
【図１１】
0003595184.tif 000022
【図１２】
0003595184.tif 000023
【図１３】
0003595184.tif 000024
【図１４】
0003595184.tif 000025