(57)【要約】【課題】  文書の検索語に対する合致度を文書の種類などに拘わらず正しく評価できるようにする。【解決手段】  本発明では、多文書情報記憶手段の情報に基づいて、入力された検索語の対象文書での頻度を反映させたＴＦ項と、検索語の重要度を反映させたＩＤＦ項を演算し、各検索語についてのＴＦ項及びＩＤＦ項から、入力された１又は複数の検索語に対して対象文書がどのくらい合致しているかを表す文書合致度を演算する。そして、検索語ｔに対して適当である文書集合σ（ｔ）に対象文書ｄが含まれる場合の文書ｄに検索語ｔが出現する回数の期待値を、検索語ｔが出現する文書全てである文書集合κ（ｔ）でもって文書集合σ（ｔ）を近似することにより算出し、この期待値と対象文書ｄ中に実際に検索語ｔが出現した回数との異同をＴＦ項に反映することを特徴とする。【選択図】      図１
2006011851.tif 000002
【特許請求の範囲】
【請求項１】
１又は複数の検索語が入力され、対象文書を含めた複数の文書でなる文書集合の情報から、入力された１又は複数の検索語に対して対象文書がどのくらい合致しているかの指標値である文書合致度を得る文書合致度演算システムにおいて、
文書集合の情報を記憶している多文書情報記憶手段と、
上記多文書情報記憶手段から所定情報を取り出して、入力された検索語の対象文書での頻度を反映させたＴＦ項を演算するＴＦ項演算手段と、
上記多文書情報記憶手段から所定情報を取り出して、入力された検索語の重要度を反映させたＩＤＦ項を演算するＩＤＦ項演算手段と、
上記ＴＦ項演算手段及び上記ＩＤＦ項演算手段の演算結果から、上記文書合致度を演算する文書合致度演算手段とを備え、
上記ＴＦ項演算手段は、検索語ｔに対して適当である文書集合σ（ｔ）に対象文書ｄが含まれる場合の文書ｄに検索語ｔが出現する回数の期待値を、検索語ｔが出現する文書全てである文書集合κ（ｔ）でもって上記文書集合σ（ｔ）を近似することにより算出し、この期待値と対象文書ｄ中に実際に検索語ｔが出現した回数との異同をＴＦ項に反映する
ことを特徴とする文書合致度演算システム。
【請求項２】
上記ＴＦ項演算手段は、検索語ｔの出現する全文書である文書集合κ（ｔ）の平均文書長を全文書集合の平均文書長と近似して上記期待値を算出することを特徴とする請求項１に記載の文書合致度演算システム。
【請求項３】
上記ＩＤＦ項演算手段は、検索語が出現する文書中での該検索語の文書当たりの平均出現回数を、該検索語の文書中での繰り返され易さとし、それを指標としてＩＤＦ項を得ることを特徴とする請求項１又は２に記載の文書合致度演算システム。
【請求項４】
１又は複数の検索語が入力され、対象文書を含めた複数の文書でなる文書集合の情報から、入力された１又は複数の検索語に対して対象文書がどのくらい合致しているかの指標値である文書合致度を得る文書合致度演算システムにおいて、
文書集合の情報を記憶している多文書情報記憶手段と、
上記多文書情報記憶手段から所定情報を取り出して、入力された検索語の対象文書での頻度を反映させたＴＦ項を演算するＴＦ項演算手段と、
上記多文書情報記憶手段から所定情報を取り出して、入力された検索語の重要度を反映させたＩＤＦ項を演算するＩＤＦ項演算手段と、
上記ＴＦ項演算手段及び上記ＩＤＦ項演算手段の演算結果から、上記文書合致度を演算する文書合致度演算手段とを備え、
上記ＩＤＦ項演算手段は、検索語が出現する文書中での該検索語の文書当たりの平均出現回数を、該検索語の文書中での繰り返され易さとし、それを指標としてＩＤＦ項を得る
ことを特徴とする文書合致度演算システム。
【請求項５】
１又は複数の検索語が入力され、対象文書を含めた複数の文書でなる文書集合の情報から、入力された１又は複数の検索語に対して対象文書がどのくらい合致しているかの指標値である文書合致度を得る文書合致度演算方法において、
文書集合の情報を記憶している多文書情報記憶手段を有すると共に、
上記多文書情報記憶手段から所定情報を取り出して、入力された検索語の対象文書での頻度を反映させたＴＦ項を演算するＴＦ項演算工程と、
上記多文書情報記憶手段から所定情報を取り出して、入力された検索語の重要度を反映させたＩＤＦ項を演算するＩＤＦ項演算工程と、
上記ＴＦ項演算工程及び上記ＩＤＦ項演算工程での演算結果から、上記文書合致度を演算する文書合致度演算工程とを含み、
上記ＴＦ項演算工程は、検索語ｔに対して適当である文書集合σ（ｔ）に対象文書ｄが含まれる場合の文書ｄに検索語ｔが出現する回数の期待値を、検索語ｔが出現する文書全てである文書集合κ（ｔ）でもって上記文書集合σ（ｔ）を近似することにより算出し、この期待値と対象文書ｄ中に実際に検索語ｔが出現した回数との異同をＴＦ項に反映する
ことを特徴とする文書合致度演算方法。
【請求項６】
上記ＴＦ項演算工程は、検索語ｔの出現する全文書である文書集合κ（ｔ）の平均文書長を全文書集合の平均文書長と近似して上記期待値を算出することを特徴とする請求項５に記載の文書合致度演算方法。
【請求項７】
上記ＩＤＦ項演算工程は、検索語が出現する文書中での該検索語の文書当たりの平均出現回数を、該検索語の文書中での繰り返され易さとし、それを指標としてＩＤＦ項を得ることを特徴とする請求項５又は６に記載の文書合致度演算方法。
【請求項８】
１又は複数の検索語が入力され、対象文書を含めた複数の文書でなる文書集合の情報から、入力された１又は複数の検索語に対して対象文書がどのくらい合致しているかの指標値である文書合致度を得る文書合致度演算方法において、
文書集合の情報を記憶している多文書情報記憶手段を有すると共に、
上記多文書情報記憶手段から所定情報を取り出して、入力された検索語の対象文書での頻度を反映させたＴＦ項を演算するＴＦ項演算工程と、
上記多文書情報記憶手段から所定情報を取り出して、入力された検索語の重要度を反映させたＩＤＦ項を演算するＩＤＦ項演算工程と、
上記ＴＦ項演算工程及び上記ＩＤＦ項演算工程での演算結果から、上記文書合致度を演算する文書合致度演算工程とを含み、
上記ＩＤＦ項演算工程は、検索語が出現する文書中での該検索語の文書当たりの平均出現回数を、該検索語の文書中での繰り返され易さとし、それを指標としてＩＤＦ項を得る
ことを特徴とする文書合致度演算方法。
【請求項９】
請求項５〜８のいずれかに記載の文書合致度演算方法の各工程、及び、多文書情報記憶手段の記憶データを、コンピュータが実行可能なコードで記述していることを特徴とする文書合致度演算プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は文書合致度演算システム、文書合致度演算方法及び文書合致度演算プログラムに関し、例えば、入力された文あるいは１又は複数のキーワード（検索語）に基づき文書を検索する場合に適用し得るものである。
【背景技術】
【０００２】
単数又は複数の検索語（入力文中の単語を検索語として使う場合を含む）に適した文書を検索する場合、文書のスコア（評価値）をなんらかの方法で算出し、スコアの良いものから順に検索結果とすることが広く行われている。
【０００３】
一般に、このスコアは、検索対象となる文書ｄ中にある検索語ｔが現れる回数であるＴＦ（ｄ，ｔ）によって決められる、文書ｄと検索語ｔとの関係に起因するＴＦ項を含む。また、スコアは、検索語ｔに固有の重要度を算出する項を含み、一般的にｉｄｆが用いられることが多いので、ここではＩＤＦ項と呼ぶ。一般的には、このＴＦ項とＩＤＦ項の積を、全検索語について和をとり、文書ｄのスコアとする。
【０００４】
従来文献ではよく用いられているスコアの記述は、以下の（１）式のようである（非特許文献１参照）。
【数１】
2006011851.tif 000003
【０００５】
ここで、ｌｅｎｇｔｈ（ｄ）は文書ｄの長さ、Δは全文書での平均文書長、ＤＦ（ｔ）は単語ｔの出現する文書の数、Ｎは全文書数である。
【０００６】
（１）式に示すスコアにおいて、（２）式に示すＴＦ項はＴＦ（ｄ，ｔ）が大きい文書ｄ（すなわち、単位文書長当たりの検索語が出現する回数が多い文書）ほどよいスコアになるように働く。ＴＦ項が、単位文書長当たりの単語出現数を反映するものである、ということは、（２）式を変形した（４）式から確認することができる。このような正規化を行うのは、長い文書ほど単語が繰り返し現れやすいため、それによりスコアが高くなり、長い文書ばかりが検索結果となりやすくなるのを防ぐためである。すなわち、検索語が文書長に対して一定割合で含まれることを指標とする。
【０００７】
また、（３）式に示すＩＤＦ項は、ＤＦ（ｔ）が少ない、すなわち、より少ない文書にしか含まれていない単語ほど重要であることを示すものである。これは、より少ない文書にしか現れない単語による方が文書の絞込みを行うのに効果的であり、また、特徴的な単語であることが多いためである。「燃料電池」といった単語はそれに関する文書にしか現れないが、「研究」、「行う」などの単語は幅広い文書に現れる。この場合、検索語としては「燃料電池」のほうが適当であるが、ｌＤＦ項はそのようなことを表現している。
【非特許文献１】村田真樹他著、「位置情報と分野情報を用いた情報検索」、情報処理学会論文誌（自然言語処理）  Ｖｏ１．７  Ｎｏ．２
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、（１）式に示すような文書のスコア（評価値）は、以下のような課題Ａ〜課題Ｃを有するものであった。
【０００９】
（課題Ａ）
従来技術のＴＦ項は、（５）式のように変形でき、文書ｄの検索語ｔに起因するスコアは、ＴＦ（ｄ，ｔ）・Δ／ｌｅｎｇｔｈ（ｄ）によっても決められていることになる。この変数部分ＴＦ（ｄ，ｔ）・Δ／ｌｅｎｇｔｈ（ｄ）は、単位文書長当たりの検索語ｔの数が少ないほどスコアが低くなることを表している。
【数２】
2006011851.tif 000004
【００１０】
しかしながら、単位文書長当たりのＴＦ（ｄ，ｔ）が小さいことが、（ａ）「その文書ｄが目的の文書でないために検索語ｔが少ししか含まれていない」ためであるか、（ｂ）「検索語ｔが文書中で繰り返し使われ難い（専門用語のような特殊な）単語であるために、どの文書でも出現回数が小さくなり、結果として文書ｄ中でも数が少ない」であるかのかに関係なく、（ａ）、（ｂ）のいずれの場合でもスコアを低くする。本来、（ｂ）のような場合はスコアを低くしないことが望ましい。
【００１１】
論文や特許のように比較的質が揃い、重要な単語が繰り返され易い文書を対象に検索を行う場合、（ｂ）のような場合はほとんど発生せず、これは問題にはならなかった。しかしながら、Ｗｅｂページに代表されるように質が不揃いで、平易な表現や話言葉が使われ易い文書が対象である場合、専門用語などの、検索語として重要な単語で（ｂ）のような場合が多くなってくる。そのため、従来のスコア算出手法を、そのような文書の検索に用いると、繰り返され易い一般的な語によるスコアの方が大きくなり、十分な精度が得られ難いという問題がある。
【００１２】
（課題Ｂ）
例えば、検索対象となる文書が論文や特許の場合、重要な単語は繰り返されやすい。しかしながら、Ｗｅｂページなどは短文が多く、特徴的な単語も繰り返されにくい。
【００１３】
従来手法において、ＴＦ項は、上述したようにＴＦ（ｄ，ｔ）・Δ／ｌｅｎｇｔｈ（ｄ）によって決まるので、論文のように単語が繰り返しやすいものはＴＦ（ｄ，ｔ）が大きくなりやすいために、この値ＴＦ（ｄ，ｔ）・Δ／ｌｅｎｇｔｈ（ｄ）も大きく、Ｗｅｂページなどのように単語の繰り返しが少ないものは小さくなりやすい。
【００１４】
すなわち、検索対象の文書集合が変わると、最終的に（１）式で算出される文書のスコアが変化する。このことは、どの程度のスコアの文書までが良い結果であるかという判断基準が検索対象によって変わることを意味する。すなわち、検索対象となる文書群が多種類あって切り替えるような場合、「このスコアまでの文書は適当であるから、次の処理に送る、あるいは表示する」といった処理を行うことができなくなる。若しくは、文書群ごとにその閾値を模索して決める必要があるという問題がある。
【００１５】
（課題Ｃ）
従来技術のＩＤＦ項によれば、検索語ｔを含む文書数ＤＦ（ｔ）が同じ程度であれば、その検索語ｔがどの程度文書中で繰り返し使われやすいかにかかわらず、その検索語ｔは同じ重要度を持つ。しかしながら、ＴＦ項では検索語ｔの数ＴＦ（ｄ，ｔ）の大小でスコアを決めるので、全体的にその数が小さすぎると統計的に意味を持たない。例えば、その検索語が出てきた文書でもせいぜい１個しかその検索語が使われないようであれば、それによるＴＦ項のスコアはＴＦ（ｄ，ｔ）が０の場合と１の場合の２通りしかなく、より多くのＴＦ（ｄ，ｔ）の値をとり得る検索語に比べると、スコアの妥当性が低いと考えられる。
【００１６】
論文や特許のように比較的質が揃い、重要な単語が繰り返され易い文書を対象に検索を行う場合であれば、ほとんどの場合、重要な単語の出現数ＴＦ（ｄ，ｔ）が大きいので大きな問題にはならなかった。しかしながら、Ｗｅｂページに代表されるように質が不揃いで、平易な表現や話言葉が使われ易い文書が対象である場合、重要な単語でも繰り返し回数が少ないものが多く、同程度のＤＦ（ｔ）であっても同じ文書中に繰り返し現れる検索語と、そうでない語の格差が大きくなる。このような場合、従来手法だと、同程度のＤＦ（ｔ）だが、統計的に意味が薄い単語のスコアも同列になり、それによってスコア全体の妥当性が下がることがある、という問題がある。
【００１７】
そのため、文書の検索語に対する合致度を文書の種類などに拘わらず正しく評価できる文書合致度演算システム、文書合致度演算方法及び文書合致度演算プログラムが望まれている。
【課題を解決するための手段】
【００１８】
かかる課題を解決するため、第１の本発明においては、１又は複数の検索語が入力され、対象文書を含めた複数の文書でなる文書集合の情報から、入力された１又は複数の検索語に対して対象文書がどのくらい合致しているかの指標値である文書合致度を得る文書合致度演算システムにおいて、（１）文書集合の情報を記憶している多文書情報記憶手段と、（２）上記多文書情報記憶手段から所定情報を取り出して、入力された検索語の対象文書での頻度を反映させたＴＦ項を演算するＴＦ項演算手段と、（３）上記多文書情報記憶手段から所定情報を取り出して、入力された検索語の重要度を反映させたＩＤＦ項を演算するＩＤＦ項演算手段と、（４）上記ＴＦ項演算手段及び上記ＩＤＦ項演算手段の演算結果から、上記文書合致度を演算する文書合致度演算手段とを備え、（２’）上記ＴＦ項演算手段は、検索語ｔに対して適当である文書集合σ（ｔ）に対象文書ｄが含まれる場合の文書ｄに検索語ｔが出現する回数の期待値を、検索語ｔが出現する文書全てである文書集合κ（ｔ）でもって上記文書集合σ（ｔ）を近似することにより算出し、この期待値と対象文書ｄ中に実際に検索語ｔが出現した回数との異同をＴＦ項に反映することを特徴とする。
【００１９】
第２の本発明は、１又は複数の検索語が入力され、対象文書を含めた複数の文書でなる文書集合の情報から、入力された１又は複数の検索語に対して対象文書がどのくらい合致しているかの指標値である文書合致度を得る文書合致度演算システムにおいて、（１）文書集合の情報を記憶している多文書情報記憶手段と、（２）上記多文書情報記憶手段から所定情報を取り出して、入力された検索語の対象文書での頻度を反映させたＴＦ項を演算するＴＦ項演算手段と、（３）上記多文書情報記憶手段から所定情報を取り出して、入力された検索語の重要度を反映させたＩＤＦ項を演算するＩＤＦ項演算手段と、（４）上記ＴＦ項演算手段及び上記ＩＤＦ項演算手段の演算結果から、上記文書合致度を演算する文書合致度演算手段とを備え、（３’）上記ＩＤＦ項演算手段は、検索語が出現する文書中での該検索語の文書当たりの平均出現回数を、該検索語の文書中での繰り返され易さとし、それを指標としてＩＤＦ項を得ることを特徴とする。
【００２０】
第３の本発明は、１又は複数の検索語が入力され、対象文書を含めた複数の文書でなる文書集合の情報から、入力された１又は複数の検索語に対して対象文書がどのくらい合致しているかの指標値である文書合致度を得る文書合致度演算方法において、（１）文書集合の情報を記憶している多文書情報記憶手段を有すると共に、（２）上記多文書情報記憶手段から所定情報を取り出して、入力された検索語の対象文書での頻度を反映させたＴＦ項を演算するＴＦ項演算工程と、（３）上記多文書情報記憶手段から所定情報を取り出して、入力された検索語の重要度を反映させたＩＤＦ項を演算するＩＤＦ項演算工程と、（４）上記ＴＦ項演算工程及び上記ＩＤＦ項演算工程での演算結果から、上記文書合致度を演算する文書合致度演算工程とを含み、（２’）上記ＴＦ項演算工程は、検索語ｔに対して適当である文書集合σ（ｔ）に対象文書ｄが含まれる場合の文書ｄに検索語ｔが出現する回数の期待値を、検索語ｔが出現する文書全てである文書集合κ（ｔ）でもって上記文書集合σ（ｔ）を近似することにより算出し、この期待値と対象文書ｄ中に実際に検索語ｔが出現した回数との異同をＴＦ項に反映することを特徴とする。
【００２１】
第４の本発明は、１又は複数の検索語が入力され、対象文書を含めた複数の文書でなる文書集合の情報から、入力された１又は複数の検索語に対して対象文書がどのくらい合致しているかの指標値である文書合致度を得る文書合致度演算方法において、（１）文書集合の情報を記憶している多文書情報記憶手段を有すると共に、（２）上記多文書情報記憶手段から所定情報を取り出して、入力された検索語の対象文書での頻度を反映させたＴＦ項を演算するＴＦ項演算工程と、（３）上記多文書情報記憶手段から所定情報を取り出して、入力された検索語の重要度を反映させたＩＤＦ項を演算するＩＤＦ項演算工程と、（４）上記ＴＦ項演算工程及び上記ＩＤＦ項演算工程での演算結果から、上記文書合致度を演算する文書合致度演算工程とを含み、（３’）上記ＩＤＦ項演算工程は、検索語が出現する文書中での該検索語の文書当たりの平均出現回数を、該検索語の文書中での繰り返され易さとし、それを指標としてＩＤＦ項を得ることを特徴とする。
【００２２】
第５の本発明の文書合致度演算プログラムは、第３又は第４の本発明の文書合致度演算方法の各工程、及び、多文書情報記憶手段の記憶データを、コンピュータが実行可能なコードで記述していることを特徴とする。
【発明の効果】
【００２３】
本発明によれば、文書の検索語に対する合致度を文書の種類などに拘わらず正しく評価できる文書合致度演算システム、文書合致度演算方法及び文書合致度演算プログラムを提供できる。
【発明を実施するための最良の形態】
【００２４】
（Ａ）実施形態
以下、本発明による文書合致度演算システム、文書合致度演算方法及び文書合致度演算プログラムを、文書検索システム、文書検索方法及び文書検索プログラムに適用した一実施形態を図面を参照しながら詳述する。
【００２５】
この実施形態の文書検索システムは、文書群から、与えられた単数若しくは複数の検索語に適した文書を検索し、検索された各文書のスコア（評価値；文書合致度）を算出するものである。
【００２６】
（Ａ−１）実施形態の機能構成
この実施形態の文書検索システムは、例えば、パソコンなどの情報処理装置に文書検索プログラムがインストールされて構築され、機能的には、図２に示す構成を有する。なお、この実施形態の文書検索システムが専用機として構築されても良く、各機能部が１又は複数のＡＳＩＣなどで実現されたものであっても良い。また、文書検索プログラムのインストール方法は、記録媒体からのインストールであっても良く、他の装置からのダウンロードにるインストールであっても良く、キーボードなどを用いた入力による方法であっても良い。
【００２７】
図２において、この実施形態の文書検索システム１０は、文書投入部１１、形態素解析部１２、インデックス記憶部１３、検索条件入力部１４、インデックス検索部１５、文書評価部１６及び出力部１７を有する。
【００２８】
文書投入部１１は、検索対象となる各文書のデータ（電子文書）を当該システム１０に投入するものである。例えば、Ｗｅｂページやコンテンツの検索機能を通じて各文書のデータを投入するものであっても良く、また例えば、複数の電子文書を記録した記録媒体をアクセスすることで各文書のデータを投入するものであっても良く、その投入方法は任意であって良い。
【００２９】
形態素解析部１２は、投入された各文書から見出し語（インデックス）となる単語（なお、Ｎ−ｇｒａｍであっても良い）を抽出し、整理した形で、見出し語と文書とを対応付けて、インデックス記憶部１３に記憶させるものである。
【００３０】
インデックス記憶部１３は、ハードウェア的には、パソコンなどが内蔵する大容量記憶装置（例えばハードディスク）や外付けの大容量記憶装置が該当し、上述のように、見出し語と文書との対応付けを記憶するものである。
【００３１】
図３は、インデックス記憶部１３に記憶されるデータ構成例を示す説明図である。この実施形態の場合、インデックス記憶部１３に記憶されるデータは、２つの観点から整理されている。第１は、図３（Ａ）に示すように、各単語（見出し語）に着目したデータであり、単語と、その単語が出現する文書のＩＤ（なお、投入時に既に文書ＩＤが付与されていても良く、文書投入部１１が文書ＩＤを付与するものであっても良い）と、その単語が出現する文書の数とでなる。第１は、図３（Ｂ）に示すように、各文書に着目したデータであり、その文書に含まれている各単語とその出現数と、その文書の長さ情報とでなる。図３（Ｂ）の例では、文書の長さ情報として、その文書の見出し語の出現数の総和を適用する場合を示しているが、その他、総文字数などを適用することができる。
【００３２】
ここで、検索対象となる文書の集合を、インデックス記憶部１３にデータが記憶されている全ての文書としても良く、また、後述する検索条件の入力時に検索対象の文書を特定する文書情報を入力するようにしても良い。例えば、図３では、記載していないが、各文書にカテゴリー名を付与し、検索条件でカテゴリー名が入力されるとそのカテゴリー名の文書だけを検索対象とするようにしても良い。また、検索の際には、文書の投入動作を必ず実行することとし、その際に、投入された１又は複数の文書を検索対象とするようにしても良い。
【００３３】
検索条件入力部１４は、検索語などの検索条件を入力するものである。検索条件入力部１４は、キーボードから検索条件を入力させるものであっても良く、記録媒体からデータを読み取って検索条件を入力させるものであっても良い。検索語は、検索語そのものを入力させるものであっても良く、文章を取り込み、その文章を構成する単語（例えば名詞）を検索条件入力部１４が自動的に得て検索語にするものであっても良い。検索条件には、検索する文書の上限の数や出力方法などが含まれていても良く、また、上述したような検索対象の文書集合を規定するような情報が含まれていても良い。
【００３４】
インデックス検索部１５は、検索条件に合致し、かつ、文書評価部１６が必要とするデータを、インデックス記憶部１３から取り出して文書評価部１６に与えるものである。インデックス検索部１５は、与えられた検索語が出現する文書ＩＤのほか、該文書ＩＤでの出現数、該文書ＩＤ中の見出し語の出現数の総和、見出し語の種類数、検索語の全文書中での出現数、出現文書数などである。
【００３５】
文書評価部１６は、検索条件に合致する各文書に対しスコア（評価値）を付与するものである。この実施形態の場合、文書評価部１６の評価機能に特徴を有し、評価機能については後で詳述する。文書評価部１６は、検索条件に合致する度合が高い文書（１個とは限らない）の情報、すなわち、検索結果を出力部１７に与える。
【００３６】
出力部１７は、検索結果を出力するものである。出力部１７は、検索結果を表示出力するものであっても良く、検索結果を印刷出力するものであっても良く、検索結果を他の装置へ転送するものであっても良く、検索結果を記録媒体に記録するものであっても良い。一般的には、文書評価部１６による評価値がより良いものから順に所定個数の結果を出力するが、一致しないものを得たい場合や、一致するかしないか不明瞭な部分を得たいといったシステムもあり、出力方法は任意で良い。
【００３７】
（Ａ−２）実施形態での文書スコアの算出方法
この実施形態の文書評価部１６は、次の（６）式に従って、検索文書のスコアを得ている。（６）式におけるＴＦ（．，ｔ）は、検索対象となる文書群の全文書中での単語ｔの出現数ＴＦ（ｄ，ｔ）の合計であり、α１及びα２は後述する意味合いを有するパラメータである。
【数３】
2006011851.tif 000005
【００３８】
（６）式を適用するのは、上述した課題Ａ〜Ｃを解決し得る式であるためであり、以下では、（６）式を適用するに至った考え方について説明する。
【００３９】
上述した課題Ａ及びＢは、検索結果として適当な文書であっても、繰り返され難い検索語の出現数ＴＦ（ｄ，ｔ）が小さくなって、言い換えると、単位文書長当たりの検索語の数ＴＦ（ｄ，ｔ）・Δ／ｌｅｎｇｔｈ（ｄ）が小さくなって、スコアが低くなり過ぎる問題と言える。
【００４０】
逆に、課題Ｃは、同程度の文書数ＤＦ（ｔ）にしか出現しない検索語同士でも常に出現数ＴＦ（ｄ，ｔ）が小さいような統計的に意味が小さい検索語もあるが、そのような検索語についても同様に重視されてスコアが低くならない、という問題と言える。
【００４１】
すなわち、課題Ａ及びＢと、課題Ｃとは検索語の繰り返しやすさについて、逆の傾向を言っており、互いに打ち消しあう効果がある。
【００４２】
この実施形態では、課題Ａ及びＢについては、繰り返され難い単語についてＴＦ項が小さくなることがないようにすると同時に、課題Ｃについては、ＩＤＦ項で繰り返されやすい単語の重要度を増すようにし双方の効果の度合いをパラメータで制御できるようにしてバランスを保つようにしようとした考え方によっている。これにより、繰り返され難い単語を多く含む検索対象での性能向上と、検索対象の文書群によって単語の繰り返し易さが変わる場合でも、スコアの傾向に変化のない検索方法を提供する。
【００４３】
まず、繰り返され難い単語についてＴＦ項が小さくなることがないように、ある文書ｄの検索語ｔに関わるスコアを算出するＴＦ項について、従来の（２）式に代えて、（７）式に示すＴＦ項を適用することを検討する。なお、（７）式に示すＴＦ項は、（８）式に示すｈ（ｔ）を導入して変形すると、（９）式で表すことができる。
【数４】
2006011851.tif 000006
【００４４】
（７）式において、ＴＦ（．，ｔ）は検索対象となる文書群の全文書中での単語ｔの出現数ＴＦ（ｄ，ｔ）の合計である。ｋ３は、小さくするとより多種類の検索語を含む文書のスコアが良くなる傾向が強くなり（ＡＮＤ的振る舞い）、大きくすると、入力されたいずれの検索語でも良いので多くの検索語を含む文書のスコアが良くなる傾向が強くなる（ＯＲ的振る舞い）のようなチューニングのためのパラメータである。上述した（６）式の場合には、ｋ３として１を適用している。
【００４５】
また、ｈ（ｔ）は、文書ｄが検索語ｔに対して適当な文書であった場合に、検索語ｔが文書ｄに出現すると期待される値の近似値である。ｈ（ｔ）が、期待される値より大きければ検索語により適合した文書であり、小さければ検索語にあまり適さない文書であると、判定可能なものとなっている。検索語ｔが文書ｄに出現すると期待される値を導入することにより、検索語ｔによって文書ｄ中での繰り返されやすさ（出現しやすさ）が違っても、スコアが左右されないようにしている。すなわち、上述した課題Ａ及びＢに対応し、課題の解決を図ることができる。
【００４６】
ｈ（ｔ）が、検索語ｔが文書ｄに出現する期待値であることを説明する。
【００４７】
検索語ｔが、その語に適した文書群σ（ｔ）に単位文書長当たりどれくらい出現するか、をまず算出する。文書群σ（ｔ）の平均文書長をΛ（σ（ｔ））とすると、これは文書群σ（ｔ）の総文書長（文書長の総和）を文書群σ（ｔ）の総文書数ＤＦ（σ（ｔ））で割ったものである。言い換えると、文書群σ（ｔ）の総文書長は、ＤＦ（σ（ｔ））・Λ（σ（ｔ））で表される。検索語ｔが文書群σ（ｔ）に出現する総数をＴＦ（σ（ｔ），ｔ）とすると、単位文書長当たりの検索語ｔの出現数は、ＴＦ（σ（ｔ），ｔ）／ＤＦ（σ（ｔ））・Λ（σ（ｔ））  となる。これに、文書ｄの長さｌｅｎｇｔｈ（ｄ）をかけた（１０）式に示す値が文書ｄが検索語ｔに対して適当な文書であった場合に、文書ｄに検索語ｔが出現すると期待される数となる。
【数５】
2006011851.tif 000007
【００４８】
しかし、実際上、検索語ｔに適した文書群σ（ｔ）を事前に知ることはできない。なぜならば、検索システムの目的が検索語ｔから文書群σ（ｔ）を得ることにあるからであり、それが事前にわかっていることを前提にしたシステムでは意味がないからである。
【００４９】
従って、（１０）式のうちのσ（ｔ）は事前に得られない。そのため、検索語ｔが出現した文書である文書集合κ（ｔ）をもってσ（ｔ）を近似することとした。この近似により、検索語ｔが出現しているが実は不適当な文書や、検索語ｔが出現しなかったが実は適当な文書の分だけσ（ｔ）からの誤差が生じる。しかし、上述した近似を使った場合のこの誤差は、実際上、問題とならない。
【００５０】
文書集合κ（ｔ）をもってσ（ｔ）を近似した場合、ＴＦ（σ（ｔ）、ｔ）≒ＴＦ（κ（ｔ）、ｔ）であり、ＴＦ（κ（ｔ）、ｔ）は、検索語ｔが出現する全ての文書中での検索語ｔの数の合計である。κ（ｔ）以外の文書中には検索語ｔが含まれていないので、κ（ｔ）以外の文書中の検索語ｔの数は０である。すなわち、ＴＦ（κ（ｔ）、ｔ）に、κ（ｔ）以外の文書中の検索語ｔの数を加えても値に変化はない。従って、ＴＦ（σ（ｔ）、ｔ）は、κ（ｔ）中の検索語ｔの数ＴＦ（κ（ｔ）、ｔ）と、κ（ｔ）以外の検索語ｔの数を加えたものに等しく、すなわち、これは全文書中の検索語ｔの数ＴＦ（．，ｔ）である。
【００５１】
ＤＦ（σ（ｔ））（≒ＤＦ（κ（ｔ）、ｔ）））は文書集合κ（ｔ）の文書数であるが、文書集合κ（ｔ）は検索語ｔの出現する文書の集合であるので、これは検索語ｔが出現する文書数ＤＦ（ｔ）に等しい。
【００５２】
Λ（σ（ｔ））（≒Λ（κ（ｔ）））は、検索語ｔが出現する文書集合κ（ｔ）の文書の平均文書長となる。
【００５３】
文書集合κ（ｔ）をもってσ（ｔ）を近似したことにより、上述した（１０）式は（１１）式で近似することになる。この（１１）式は、検索処理を行う前に事前に各パラメータを単語毎あるいは文書毎に算出して準備しておける値のみで構成されており、検索処理に適用可能な形である。
【数６】
2006011851.tif 000008
【００５４】
しかしながら、（１１）式のうち、Λ（κ（ｔ））については、数を計数すれば良いだけのＴＦ（．，ｔ）やＤＦ（ｔ）と異なり、全ての検索語について、その出現する文書の全ての長さの和をとり、その文書数で割る計算を行う必要があり、計算量が多く、パフォーマンス上の問題が生じる恐れがある。
【００５５】
ここで、文書集合κ（ｔ）は全文書の一部であり、文書の傾向は似ていると仮定できる。すなわち、個々の文書長は違っても平均した文書長は、文書集合κ（ｔ）についての値も、全文書の値もほぼ同様であり、同じという近似を行うことができると考えられる。Λ（κ（ｔ））≒Δ（Δは全文書の平均文書長）とすることにより、（１１）式に代えて、上述した（８）式に示したｈ（ｔ）を適用しても良いことが分かる。
【００５６】
以上の考え方に従ったＴＦ項（（７）式）を適用することにより、単語ｔの文書中での繰り返されやすさによってＴＦ項によるスコアが変わる課題Ａ及びＢを解決できる。
【００５７】
上述したように、課題Ａ及びＢが目立つときには課題Ｃが目立たず、課題Ａ及びＢが目立たないときには課題Ｃが目立つ関係がある。ＴＦ項に対する課題Ａ及びＢを解決した場合には、課題Ａ及びＢによって緩和されていた課題Ｃが顕著となる。そのため、ＴＦ項を修正するだけでなく、ＩＤＦ項も、（３）式から補正することが好ましく、この実施形態では、以下のようにＩＤＦ項も補正する。
【００５８】
（１２）式は、この実施形態でのＩＤＦ項は表しており、（１３）式に示す補正項によって、従来のＩＤＦ項から補正されている。（１２）式に示すＩＤＦ項は、上述の（６）式に適用されているように、この実施形態のスコアに組み込まれている。
【数７】
2006011851.tif 000009
【００５９】
以下、この補正の意味について説明する。
【００６０】
（１２）式におけるＴＦ（．，ｔ）／ＤＦ（ｔ）とは、検索語ｔが全文書で出てきた回数の総計、言い換えると、検索語ｔが出現する文書中に検索語ｔが出てきた回数の総計とも言えるＴＦ（．，ｔ）を、検索語ｔが出現する文書数ＤＦ（ｔ）で除算したものとなっている。すなわち、ＴＦ（．，ｔ）／ＤＦ（ｔ）は、検索語ｔが出現する複数の文書について、検索語ｔが出現する平均回数である。この値ＴＦ（．，ｔ）／ＤＦ（ｔ）が小さ過ぎれば、例えば、極端な場合であって１であれば、ＴＦ（．，ｔ）は０か１しか取り得ず、（７）式や（８）式などでのスコアが２通りしかなく、ほとんど文書ｄの文書長だけで決まるなど、統計的に安定したスコアを得難くなる。そのため、ＴＦ（．，ｔ）／ＤＦ（ｔ）が大きくなるほど単語ｔの重みが大きくなるように、ＩＤＦ項を（１２）式のような構成としている。
【００６１】
ここで、α１は、ＴＦ（．，ｔ）／ＤＦ（ｔ）が標準的な値の場合に、補正項をほぼ１にする（すなわち、補正を実行させない）ようにするために入れるチューニングのためのパラメータである。また、α２は、ＴＦ（．，ｔ）／ＤＦ（ｔ）の増加、減少に伴い、どの程度の強さの補正がかかるかを決めるパラメータである。α１やα２は、経験的に決定されるものであり、例えば、α１は２．０、α２は０．７を適用できる。なお、日本語文書のみの集合や、英語文書のみの集合の場合では、パラメータα１、α２の値を異なるものとするようにしても良く、文書集合が属するカテゴリー毎にパラメータα１、α２の値を異なるものとするようにしても良い。
【００６２】
ＴＦ項とＩＤＦ項とを以上のようにした上述した（６）式（ｋ３が１以外の値であっても良い）を文書ｄのスコアとすることにより、課題Ａ及びＢと、課題Ｃという相反する傾向を持つ課題間でのバランスをコントロールすることができる。
【００６３】
（Ａ−３）実施形態の特徴処理
文書評価部１６は、文書ｄのスコアとして（６）式に示す値を計算できるものであれば良い。図１は、インデックス検索部１５及び文書評価部１６の処理例を示すフローチャートである。
【００６４】
１又は複数の検索語（ｔ１、ｔ２、…）と、検索結果に含める文書ＩＤ数ｎが与えられると（Ｓ１００）、内部記憶しているパラメータα１、α２（ｋ３が１以外の場合であればｋ３も）を取り出す（Ｓ１０１）。また、文書ｄや検索語ｔに関係しない値Δ（全文書の平均文書長）やＮ（全文書数）をインデックス記憶部１３から取り込む（Ｓ１０２）。なお、インデックス記憶部１３にΔやＮそのものが記憶されていなけば、この取出時に計数して得るようにしても良い。また、取り出されたΔやＮは図１の処理が終了するまで、文書評価部１６に記憶されている。
【００６５】
その後、ある１個の検索語ｔ（＝ｔ１）を処理対象とし（Ｓ１０３）、インデックス記憶部１３の格納情報から、検索語ｔが全文書で出てきた総回数ＴＦ（．，ｔ）と検索語ｔが出現する文書数ＤＦ（ｔ）とを得て（Ｓ１０４）、（１２）式に従って、その検索語についてのＩＤＦ項を計算して内部記憶する（Ｓ１０５）。ここでも、インデックス記憶部１３にＴＦ（．，ｔ）やＤＦ（ｔ）そのものが記憶されていなければ、この取出時に計数して得るようにしても良い。ＴＦ（．，ｔ）やＤＦ（ｔ）は図１の処理が終了するまで、文書評価部１６に記憶されている。
【００６６】
全ての検索語（ｔ１、ｔ２、…）に対して、ステップＳ１０４及びＳ１０５の処理が終了したかを確認し（Ｓ１０６）、終了していなければ上述したステップＳ１０３に戻る。
【００６７】
全ての検索語に対して、ステップＳ１０４及びＳ１０５の処理が終了し、ＩＤＦ項を得ると、ある１個の文書ｄ（例えばＤ１）を処理対象とすると共に（Ｓ１０７）、ある１個の検索語ｔ（＝ｔ１）を処理対象とする（Ｓ１０８）。そして、インデックス記憶部１３の格納情報から、対象の検索語ｔが対象の文書ｄに出てきた回数ＴＦ（ｄ，ｔ）と対象文書ｄの長さｌｅｎｇｔｈ（ｄ）とを得て（Ｓ１０９）、（７）式に従って、対象文書ｄの対象検索語ｔについてのＴＦ項を計算して内部記憶する（Ｓ１１０）。ここでも、インデックス記憶部１３にＴＦ（ｄ，ｔ）やｌｅｎｇｔｈ（ｄ）そのものが記憶されていなければ、この取出時に計数して得るようにしても良い。ＴＦ（ｄ，ｔ）やｌｅｎｇｔｈ（ｄ）は図１の処理が終了するまで、文書評価部１６に記憶されている。
【００６８】
全ての検索語（ｔ１、ｔ２、…）に対して、ステップＳ１０９及びＳ１１０の処理が終了したかを確認し（Ｓ１１１）、終了していなければ上述したステップＳ１０８に戻る。
【００６９】
全ての検索語に対して、ステップＳ１０９及びＳ１１０の処理が終了し、対象文書ｄについて、全ての検索語（ｔ１、ｔ２、…）についてのＴＦ項が得られると、（６）式に従って、対象文書ｄのスコアを計算する（Ｓ１１２）。
【００７０】
その後、全ての文書についてスコアが計算されたかを確認し（Ｓ１１３）、全文書のスコアが得られていなければ、上述したステップＳ１０７に戻る。
【００７１】
全ての文書についてスコアが得られると、文書に対する順位付けを行い（Ｓ１１４）、上位側から指定された数ｎの文書ＩＤを得て検索結果として出力部１７に与えて（Ｓ１１５）、図１に示す一連の処理を終了する。
【００７２】
（Ａ−４）実施形態の効果
上記実施形態によれば、以下の効果を奏することができる。
【００７３】
従来行われている単位文書長当たりの検索語ｔの回数を用いる手法は、検索語ｔの出現回数が小さいことが、（ａ）その文書が検索語ｔに不適当であるためなのか、（ｂ）検索語ｔがもともと繰り返されにくいものであったかにかかわらず、同様にスコアの算出が行われる。
【００７４】
しかし、以上説明したように、上記実施形態では、「検索語ｔにとって検索結果として適当な文書は、検索語ｔを含む全ての文書でありそれ以外の文書は検索語ｔには適当ではない」という近似により、「検索語ｔにとって適当である文書中での検索語ｔの出現回数の期待値」と実際に文書中での検索語ｔの出現回数との比較による、文書の評価値（スコア）の算出を実現している。単語の出現数と比較するこの期待値は、繰り返され難い検索語では小さくなるので、上記（ｂ）のような場合に誤ってスコアを小さくすることはない。これにより、繰り返されやすい単語とそうでない単語が検索語として混在する場合も正しいスコアの計算ができ、精度が向上する。すなわち、従来の課題Ａが解決する。
【００７５】
また、検索対象となる文書集合が、単語を繰り返し易い論文や特許のような文書である場合は全般に検索語の期待値は大きく、そうでない文書については検索語の期待値は小さくなり、検索語の出現数と比較する相手である期待値が適応する。これにより、単語の繰り返し易さが違う異なる文書集合間での検索結果のスコアの比較を正しく行うことができる。すなわち、従来の課題Ｂが解決する。
【００７６】
また、文書中で使われる回数が多いものの方が算出されるスコアが評価値として統計的に安定していることについては、（１２）式のように、検索語の重みに１文書当たりに使われる回数を考慮することで解決している。また、これによる影響の度合いをパラメータα２でコントロールできるようにしている。これにより、従来手法では、この課題Ｃが、課題Ａ及びＢで結果的に相殺されていたものを意図的に調整することが可能となり、また、課題Ａ及びＢを解決することにより課題Ｃが顕在化することを防ぐことができる。
【００７７】
（Ｂ）他の実施形態
上記実施形態では、（１１）式を適用すべき所に、演算量を考慮して、（８）式の近似式を適用するものを示したが、（１１）式をそのまま適用して文書のスコアを得るようにしても良い。
【００７８】
上記実施形態では、ＩＤＦ項をまとめて計算し、その後、文書毎のＴＦ項を得てスコアを求めるものを示したが、ＴＦ項、ＩＤＦ項、スコアの計算順序は、上記実施形態のものに限定されないことは勿論である。
【００７９】
上記実施形態では、ＴＦ項とＩＤＦ項とが積の形である（１）式のスコア演算式に対して、本発明の技術思想を導入したものであるが、前提となるスコア演算式は（１）式に限定されるものではない。すなわち、「検索語ｔにとって検索結果として適当な文書は、検索語ｔを含む全ての文書でありそれ以外の文書は検索語ｔには適当ではない」という近似による、「検索語ｔにとって適当である文書中での検索語ｔの出現回数の期待値」と実際に文書中での検索語ｔの出現回数との相違を、ＴＦ項に反映できるものであれば良い。また、このようなＴＦ項の変形に対して、ＩＤＦ項の課題が大きくなることを抑えるように、ＩＤＦ項に補正項を導入できるものであれば良い。
【００８０】
上記実施形態では、本発明を文書検索システムに適用したものを示したが、本発明の用途はこれに限定されるものではない。例えば、ある文書を指定して、その文書のスコアを得る場合にも本発明を適用することができる。また、文書群を、検索語を利用して分類するような場合にも本発明を適用することができる。
【図面の簡単な説明】
【００８１】
【図１】実施形態の文書検索システムの特徴動作を示すフローチャートである。
【図２】実施形態の文書検索システムの機能的構成を示すブロック図である。
【図３】実施形態のインデックス記憶部に記憶されるデータの構成例を示す説明図である。
【符号の説明】
【００８２】
１０…文書検索システム、１１…文書投入部、１２…形態素解析部、１３…インデックス記憶部、１４…検索条件入力部、１５…インデックス検索部、１６…文書評価部、１７…出力部。
【図１】
2006011851.tif 000010
【図２】
2006011851.tif 000011
【図３】
2006011851.tif 000012