(57)【要約】【課題】  テキスト文の意味内容を考慮して高精度にテキスト文を検索することができるテキスト文検索装置、テキスト文検索方法、及びテキスト文検索プログラムを得る。【解決手段】  単語切り分け・品詞付与部１４は、質問テキスト文の単語を切り分けて各単語に品詞を付与する。構文・意味解析部１６は、単語切り分け・品詞付与データに基づいて、質問テキスト文の意味チャンク、中心単語、格を解析する。特徴量生成部１８は、意味チャンク重み、中心単語重みを設定し、これらの重みと単語切り分け・品詞付与データ、統計データ記憶部２０に記憶された単語のＤＦ値のうち質問テキスト文の単語のＤＦ値等を用いて、質問テキスト文の意味ベクトル特徴量を生成する。類似度計算部２２は、質問テキスト文の意味ベクトル特徴量とデータベース記憶部２４に格納された検索対象のテキスト文の意味ベクトル特徴量との類似度を計算し、結果を記憶部２６に記憶する。【選択図】          図１
2006065387.tif 000002
【特許請求の範囲】
【請求項１】
質問テキスト文を単語に切り分けると共に、切り分けた単語に品詞を付与し、単語切り分け・品詞付与データを生成する単語切り分け・品詞付与手段と、
前記単語切り分け・品詞付与データに基づいて、前記質問テキスト文に含まれる意味チャンク、前記意味チャンクの中心単語、及び前記意味チャンクの格を解析する構文・意味解析手段と、
検索対象のテキスト文集合に出現する単語の各々についての前記検索対象のテキスト文集合に出現する頻度を表す出現頻度データが予め記憶された出現頻度データ記憶手段と、
前記意味チャンクの格に基づいて、当該意味チャンクに含まれる単語の意味チャンク重み及び中心単語重みの少なくとも一方を設定する設定手段と、
前記質問テキスト文に含まれる単語についての前記出現頻度データと、前記意味チャンク重み及び前記中心単語重みの少なくとも一方と、に基づいて、前記質問テキスト文に含まれる単語の重みを各々算出することにより前記質問テキスト文の意味ベクトル特徴量を生成する特徴量生成手段と、
前記検索対象のテキスト文集合の各テキスト文の意味ベクトル特徴量を予め記憶した意味ベクトル特徴量記憶手段と、
前記質問テキスト文の意味ベクトル特徴量と検索対象のテキスト文の意味ベクトル特徴量とに基づいて、前記質問テキスト文と前記検索対象のテキスト文との類似度を計算する類似度計算手段と、
を備えたことを特徴とするテキスト文検索装置。
【請求項２】
前記特徴量生成手段は、前記質問テキスト文に含まれる単語の重みを、当該単語が前記質問テキスト文に出現する頻度に基づく第１のパラメータに、前記意味チャンク重み及び前記中心単語重みの少なくとも一方を加算した加算値に、当該単語が前記検索対象のテキスト文集合に出現する頻度に基づく第２のパラメータを乗算することにより算出することを特徴とする請求項１記載のテキスト文検索装置。
【請求項３】
前記特徴量生成手段は、前記質問テキスト文に含まれる単語の重みを、当該単語が前記質問テキスト文に出現する頻度に基づく第１のパラメータに、当該単語が前記検索対象のテキスト文集合に出現する頻度に基づく第２のパラメータを乗算した乗算値に、前記意味チャンク重み及び前記中心単語重みの少なくとも一方を含む係数を乗算することにより算出することを特徴とする請求項１記載のテキスト文検索装置。
【請求項４】
前記類似度計算手段は、前記質問テキスト文に含まれる単語及び前記検索対象のテキスト文に含まれる単語のうち一致する単語を検索し、当該検索した単語の各々の重みを乗算した値を前記一致した単語全てについて加算することにより前記類似度を計算することを特徴とする請求項１乃至請求項３の何れか１項に記載のテキスト文検索装置。
【請求項５】
前記類似度計算手段は、前記質問テキスト文に含まれる単語及び前記検索対象のテキスト文に含まれる単語のうち一致する単語を検索し、当該検索した単語の各々の重みの距離を算出し、当該算出した距離を前記一致した単語全てについて加算することにより前記類似度を計算することを特徴とする請求項１乃至請求項３の何れか１項に記載のテキスト文検索装置。
【請求項６】
質問テキスト文を単語に切り分けると共に、切り分けた単語に品詞を付与し、単語切り分け・品詞付与データを生成し、
前記単語切り分け・品詞付与データに基づいて、前記質問テキスト文に含まれる意味チャンク、前記意味チャンクの中心単語、及び前記意味チャンクの格を解析し、
前記意味チャンクの格に基づいて、当該意味チャンクに含まれる単語の意味チャンク重み及び中心単語重みの少なくとも一方を設定し、
検索対象のテキスト文集合に出現する単語の各々についての前記検索対象のテキスト文集合に出現する頻度を表す出現頻度データのうち、前記質問テキスト文に含まれる単語についての前記出現頻度データと、前記意味チャンク重み及び前記中心単語重みの少なくとも一方と、に基づいて、前記質問テキスト文に含まれる単語の重みを各々算出することにより前記質問テキスト文の意味ベクトル特徴量を生成し、
前記質問テキスト文の意味ベクトル特徴量と検索対象のテキスト文の意味ベクトル特徴量とに基づいて、前記質問テキスト文と前記検索対象のテキスト文との類似度を計算する、
ことを特徴とするテキスト文検索方法。
【請求項７】
質問テキスト文を単語に切り分けると共に、切り分けた単語に品詞を付与し、単語切り分け・品詞付与データを生成するステップと、
前記単語切り分け・品詞付与データに基づいて、前記質問テキスト文に含まれる意味チャンク、前記意味チャンクの中心単語、及び前記意味チャンクの格を解析するステップと、
前記意味チャンクの格に基づいて、当該意味チャンクに含まれる単語の意味チャンク重み及び中心単語重みの少なくとも一方を設定するステップと、
検索対象のテキスト文集合に出現する単語の各々についての前記検索対象のテキスト文集合に出現する頻度を表す出現頻度データのうち、前記質問テキスト文に含まれる単語についての前記出現頻度データと、前記意味チャンク重み及び前記中心単語重みの少なくとも一方と、に基づいて、前記質問テキスト文に含まれる単語の重みを各々算出することにより前記質問テキスト文の意味ベクトル特徴量を生成するステップと、
前記質問テキスト文の意味ベクトル特徴量と検索対象のテキスト文の意味ベクトル特徴量とに基づいて、前記質問テキスト文と前記検索対象のテキスト文との類似度を計算するするステップと、
を含む処理をコンピュータに実行させることを特徴とするテキスト文検索プログラム。
【請求項８】
質問テキスト文の言語意味解析を行い、前記質問テキスト文の各単語の意味上の重要度を設定する意味解析部と、
前記言語意味解析の解析結果及びベクトル空間法を用いて前記質問テキスト文の特徴量を生成する特徴量生成部と、
前記特徴量生成部で生成された質問テキスト文の特徴量と検索目標テキスト文の特徴量との類似度を計算する類似度計算部と、
前記類似度の計算結果に基づいて、検索目標テキスト文集合から検索結果であるテキスト文を抽出する検索結果抽出部と、
を具備するテキスト文検索装置。
【請求項９】
前記意味解析部は、格文法に基づく言語意味解析を行うことを特徴とする請求項８記載のテキスト文検索装置。
【請求項１０】
前記類似度計算部は、内積、コサイン関数、及びユークリッド距離の内少なくとも１つを用いて類似度を計算することを特徴とする請求項８又は請求項９記載のテキスト文検索装置。
【請求項１１】
前記特徴量生成部は、前記ベクトル空間法を用いて得られる特徴量を次式により算出することを特徴とする請求項８乃至請求項１０の何れか１項に記載のテキスト文検索装置。
ＴＦｉ×ｌｏｇ（Ｎ／ｎｉ+ｃ）
ここで、ＴＦｉはテキスト文に単語ｉが出現した回数、Ｎは検索目標テキスト文集合のテキスト文の総数、ｎｉは検索目標テキスト文集合に単語ｉを含むテキスト文の総数、ｃは定数で、ｃ≧０．０１に設定される。
【請求項１２】
前記意味解析部は、テキスト文中の各意味格を抽出し、抽出された意味格の重要度に基づいて、意味格に異なる重みを付与する意味格解析部、及びテキスト文中の中心的な役割を担当する単語を抽出し、抽出された中心単語の重要度に基づいて、中心単語に異なる重みを付与する中心単語解析部の内少なくとも一方を有することを特徴とする請求項９乃至請求項１１の何れか１項に記載のテキスト文検索装置。
【請求項１３】
前記特徴量生成部は、前記意味格解析部で求められた意味格の重みと、前記中心単語解析部で求められた中心単語重みとを用いて、次式により前記ベクトル空間法を用いて得られる特徴量を修正することを特徴とする請求項１２記載のテキスト文検索装置。
(ＴＦｉ+Ｃｈｕｎｋ＿Ｗｅｉｇｈｔ+Ｈｅａｄ＿Ｗｅｉｇｈｔ)×ｌｏｇ（Ｎ／ｎｉ+ｃ）
ここで、ＴＦｉはテキスト文に単語ｉが出現した回数、Ｃｈｕｎｋ＿Ｗｅｉｇｈｔは単語ｉが属している意味格重み、Ｈｅａｄ＿Ｗｅｉｇｈｔは中心単語重み(単語ｉが中心単語の場合に使用)、Ｎは検索目標テキスト文集合のテキスト文の総数、ｎｉは検索目標テキスト文集合に単語ｉを含むテキスト文の総数、ｃは定数で、ｃ≧０．０１に設定される。
【請求項１４】
前記特徴量生成部は、前記意味格解析部で求められた意味格の重みを用いて、次式により前記ベクトル空間法を用いて得られる特徴量を修正することを特徴とする請求項１２記載のテキスト文検索装置。
(ＴＦｉ+Ｃｈｕｎｋ＿Ｗｅｉｇｈｔ）×ｌｏｇ（Ｎ／ｎｉ+ｃ）
ここで、ＴＦｉはテキスト文に単語ｉが出現した回数、Ｃｈｕｎｋ＿Ｗｅｉｇｈｔは単語ｉが属している意味格重み、Ｎは検索目標テキスト文集合のテキスト文の総数、ｎｉは検索目標テキスト文集合に単語ｉを含むテキスト文の総数、ｃは定数で、ｃ≧０．０１に設定される。
【請求項１５】
前記特徴量生成部は、前記中心単語解析部で求められた中心単語重みを用いて、次式により前記ベクトル空間法を用いて得られる特徴量を修正することを特徴とする請求項１２記載のテキスト文検索装置。
(ＴＦｉ+Ｈｅａｄ＿Ｗｅｉｇｈｔ）×ｌｏｇ（Ｎ／ｎｉ+ｃ）
ここで、ＴＦｉはテキスト文に単語ｉが出現した回数、Ｈｅａｄ＿Ｗｅｉｇｈｔは中心単語重み(単語ｉが中心単語の場合に使用)、Ｎは検索目標テキスト文集合のテキスト文の総数、ｎｉは検索目標テキスト文集合に単語ｉを含むテキスト文の総数、ｃは定数で、ｃ≧０．０１に設定される。
【請求項１６】
前記特徴量生成部は、前記意味格解析部で求められた意味格の重みと、前記中心単語解析部で求められた中心単語重みとを用いて、次式により前記ベクトル空間法を用いて得られる特徴量を修正することを特徴とする請求項１２記載のテキスト文検索装置。
（ＴＦｉ× ｌｏｇ（Ｎ／ｎｉ+ｃ））×（Ｃｈｕｎｋ＿Ｗｅｉｇｈｔ+Ｈｅａｄ＿Ｗｅｉｇｈｔ）／２
ここで、ＴＦｉはテキスト文に単語ｉが出現した回数、Ｃｈｕｎｋ＿Ｗｅｉｇｈｔは単語ｉが属している意味格重み、Ｈｅａｄ＿Ｗｅｉｇｈｔは中心単語重み(単語ｉが中心単語の場合に使用)、Ｎは検索目標テキスト文集合のテキスト文の総数、ｎｉは検索目標テキスト文集合に単語ｉを含むテキスト文の総数、ｃは定数で、ｃ≧０．０１に設定される。
【請求項１７】
前記特徴量生成部は、前記意味格解析部で求められた意味格の重みを用いて、次式により前記ベクトル空間法を用いて得られる特徴量を修正することを特徴とする請求項１２記載のテキスト文検索装置。
ＴＦｉ× ｌｏｇ（Ｎ／ｎｉ+ｃ）×Ｃｈｕｎｋ＿Ｗｅｉｇｈｔ
ここで、ＴＦｉはテキスト文に単語ｉが出現した回数、Ｃｈｕｎｋ＿Ｗｅｉｇｈｔは単語ｉが属している意味格重み、Ｎは検索目標テキスト文集合のテキスト文の総数、ｎｉは検索目標テキスト文集合に単語ｉを含むテキスト文の総数、ｃは定数で、ｃ≧０．０１に設定される。
【請求項１８】
前記特徴量生成部は、前記中心単語解析部で求められた中心単語重みを用いて、次式により前記ベクトル空間法を用いて得られる特徴量を修正することを特徴とする請求項１２記載のテキスト文検索装置。
ＴＦｉ× ｌｏｇ（Ｎ／ｎｉ+ｃ）×Ｈｅａｄ＿Ｗｅｉｇｈｔ
ここで、ＴＦｉはテキスト文に単語ｉが出現した回数、Ｈｅａｄ＿Ｗｅｉｇｈｔは中心単語重み(単語ｉが中心単語の場合に使用)、Ｎは検索目標テキスト文集合のテキスト文の総数、ｎｉは検索目標テキスト文集合に単語ｉを含むテキスト文の総数、ｃは定数で、ｃ≧０．０１に設定される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば計算機を利用してテキスト文を検索するテキスト文検索装置、検索方法、及びテキスト文検索プログラムに係り、特に、テキスト文の意味内容を考慮したテキスト文検索装置、テキスト文検索方法、及びテキスト文検索プログラムに関する。
【背景技術】
【０００２】
情報処理技術とインターネットの発展に伴い、各種の情報資源は予想以上の速度で増加している。このような情報洪水の中から、如何にしてユーザに必要な情報を取り出して提供するのかが大きな課題となっている。
【０００３】
その他、例文ベース機械翻訳においては、例文データベースから翻訳対象テキスト文と最も類似している例文を高速かつ高精度に検索することが必要である。翻訳対象テキスト文とよく似ている例文を見つければ、その例文の訳文を利用して翻訳対象テキスト文の訳文を容易に生成できる。従って、検索精度は翻訳の精度に左右し、高精度な高速検索技術は、機械翻訳として重要な技術の一つである。
【０００４】
計算機を用いた情報検索の主な手法として、（１）検索キーワードを用いた検索手法、（２）統計技術を用いたベクトル空間法（Ｖｅｃｔｏｒ  Ｓｐａｃｅ  Ｍｏｄｅｌ：ＶＳＭ）などがあった。ベクトル空間法ＶＳＭでは、テキスト文書をベクトル特徴量で表現し、例えば、ＴＦ*ＩＤＦ（Ｔｅｒｍ  Ｆｒｅｑｕｅｎｃｙ*  Ｉｎｖｅｒｔｅｄ  Ｄｏｃｕｍｅｎｔ  Ｆｒｅｑｕｅｎｃｙ）値をベクトル特徴量とする方法であり、ベクトル特徴量間の類似度を用いてテキスト間の類似度を求める。
【０００５】
しかしながら、ベクトル空間法は統計理論に基づく技術であり、テキストの意味内容に基づく検索方法ではないので検索の精度に限界があり、例文ベース機械翻訳に対応できない、という問題があった。
【０００６】
テキスト文の意味情報はテキスト文の内容を表し、構文構造、文の形式に影響されないため、意味情報を用いた情報比較、或いは検索の研究が成されている。例えば、非特許文献１には、格文法でテキストの意味関係を表し、木のマッチング方法で意味関係を比較する方法が記載されている。しかしながら、この方法の検索精度はベクトル空間法より低い、という問題がった。
【０００７】
また、非特許文献２には、部分関係マッチングの方法とベクトル空間法とを融合した方法が記載されている。しかしながら、この方法は、ベクトル空間法と比べて検索カバー率は優れるものの、検索精度が低い、という問題があった。
【０００８】
また、非特許文献３には、テキスト文の因果関係を利用した検索方法が記載されている。しかしながら、この方法は、基本的にはキーワード検索の改良方法であり、例文ベース機械翻訳に必要な高精度なテキスト文検索に対応できない、という問題があった。
【０００９】
また、特許文献１には、類義語の関係にある複数の種類の単語を１種類の単語とみなして、その単語の出現頻度を含むベクトルデータ（更新ベクトルデータ）を作成し、このベクトルデータにより検索キー文書と検索対象文書間の類似度を計算する技術が記載されている。この技術によれば、同じ意味を持ちながら表記が異なる単語が１文書中に混在する場合、或いは、比較される各文書に含まれる単語が同じ意味を持ちながら表記が異なる場合でも、信頼性の高い類似文書検索を実現することができる。
【００１０】
また、特許文献２には、入力された文字列を分かち書きし、形態素情報を付与するとともに、前記形態素情報を基にして文節間の係り受け関係を解析し、この解析結果から文構造を決定し、この文構造から索引を抽出すると共に索引の重要度を付与し、入力文書と蓄積されている文書との類似度を索引の類似度と係り受け関係の類似度から判定する技術が記載されている。
【００１１】
また、特許文献３には、入力された日本語文書を知識ベースを用いて構文解析／意味解析／文脈解析の日本語解析を行い、一定の正規化した命題形式の深層構造で表現し、質問文の深層構造とテーマとの意味照合を行い、当該意味照合に適合したテーマ及び当該テーマと関係するテーマ配下の深層構造との意味照合を行い、当該意味照合に適合した深層構造を持つ文書を出力する技術が記載されている。
【非特許文献１】Lu、 X. (1990). "An application of case relations to document retrieval (Doctoral dissertation, University of Western Ontario, 1990)". Dissertation Abstracts International, 52-10、 3464A
【非特許文献２】Liu、 G.Z. (1997). "Semantic vector space model: Implementation and evaluation". Journal of the American Society for Information Science, 48(5), 395-417
【非特許文献３】Khoo、 Christopher Soo-Guan (1997). "The use of relation matching in information retrieval". Electronic Journal ISSN 1058-6768
【特許文献１】特開平１１−１１０３９５号公報
【特許文献２】特開平３−１７２９６６号公報
【特許文献３】特開平１−２１６２４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、特許文献１〜３に記載された技術では、意味内容を考慮して高精度にテキスト文を検索することができない場合がある、という問題があった。
【００１３】
本発明は上記事実を考慮して成されたものであり、テキスト文の意味内容を考慮して高精度にテキスト文を検索することができるテキスト文検索装置、テキスト文検索方法、及びテキスト文検索プログラムを得ることを目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、請求項１に記載の発明のテキスト文検索装置は、質問テキスト文を単語に切り分けると共に、切り分けた単語に品詞を付与し、単語切り分け・品詞付与データを生成する単語切り分け・品詞付与手段と、前記単語切り分け・品詞付与データに基づいて、前記質問テキスト文に含まれる意味チャンク、前記意味チャンクの中心単語、及び前記意味チャンクの格を解析する構文・意味解析手段と、検索対象のテキスト文集合に出現する単語の各々についての前記検索対象のテキスト文集合に出現する頻度を表す出現頻度データが予め記憶された出現頻度データ記憶手段と、前記意味チャンクの格に基づいて、当該意味チャンクに含まれる単語の意味チャンク重み及び中心単語重みの少なくとも一方を設定する設定手段と、前記質問テキスト文に含まれる単語についての前記出現頻度データと、前記意味チャンク重み及び前記中心単語重みの少なくとも一方と、に基づいて、前記質問テキスト文に含まれる単語の重みを各々算出することにより前記質問テキスト文の意味ベクトル特徴量を生成する特徴量生成手段と、前記検索対象のテキスト文集合の各テキスト文の意味ベクトル特徴量を予め記憶した意味ベクトル特徴量記憶手段と、前記質問テキスト文の意味ベクトル特徴量と検索対象のテキスト文の意味ベクトル特徴量とに基づいて、前記質問テキスト文と前記検索対象のテキスト文との類似度を計算する類似度計算手段と、を備えたことを特徴とする。
【００１５】
この発明よれば、単語切り分け・品詞付与手段は、質問テキスト文を単語に切り分け、切り分けられた各単語に名詞、動詞、助詞等の品詞を付与する。
【００１６】
構文・意味解析手段は、単語切り分け・品詞付与手段により生成された単語切り分け・品詞付与データに基づいて、質問テキスト文に含まれる意味チャンク、意味チャンクの中心単語、及び意味チャンクの格を解析する。ここで、意味チャンクとは一つのまとまった意味を構成する単語の集まりである。また、中心単語とは、意味チャンクの中で意味内容として重要な役割を果たす単語である。中心単語は、意味チャンクの中に一つ又は複数存在する。また、格とは例えば動作主、述語の対象等、単語の意味格を表すものである。
【００１７】
出現頻度データ記憶手段は、検索対象のテキスト文集合、すなわち質問テキスト文の比較対象である複数のテキスト文に出現する単語の各々について算出された出現頻度データを予め記憶している。出現頻度データは、検索対象のテキスト文集合に出現する単語がそのテキスト文集合に出現する頻度を表すデータである。
【００１８】
設定手段は、構文・意味解析手段により解析された意味チャンクの格に基づいて、当該意味チャンクに含まれる単語の意味チャンク重み及び中心単語重みの少なくとも一方を設定する。具体的には、例えば重要度に応じて格を複数のクラスに予め分類し、この格の重要度に応じて意味チャンク重み及び中心単語重みが設定される。
【００１９】
特徴量生成手段は、質問テキスト文に含まれる各単語の出現頻度データを出現頻度データ記憶手段から読み出し、読み出した出現頻度データと、設定手段によって設定された意味チャンクに含まれる単語の意味チャンク重み及び中心単語重みの少なくとも一方と、に基づいて、質問テキスト文に含まれる単語の重みを各々算出する。このように算出された各単語の重みによって質問テキスト文の意味ベクトル特徴量が構成される。
【００２０】
意味ベクトル特徴量記憶手段は、検索対象のテキスト文集合の各テキスト文の意味ベクトル特徴量を予め記憶している。検索対象のテキスト文集合の各テキスト文の意味ベクトル特徴量は、質問テキスト文の意味ベクトル特徴量を生成するのと同様にして生成されたものを用いることができる。
【００２１】
類似度計算手段は、特徴量生成手段によって生成された質問テキスト文の意味ベクトル特徴量と、意味ベクトル特徴量記憶手段に記憶された検索対象のテキスト文の意味ベクトル特徴量とに基づいて、質問テキスト文と検索対象のテキスト文との類似度を計算する。
【００２２】
このように、本発明によれば、意味チャンクの格の重要度に応じて設定された意味チャンク重みや中心単語重みが考慮されて意味ベクトル特徴量が生成されるため、意味内容を適切に考慮した類似度計算を行うことができ、質問テキスト文に類似するテキスト文を高精度に検索することが可能となる。
【００２３】
なお、請求項２に記載したように、前記特徴量生成手段は、前記質問テキスト文に含まれる単語の重みを、当該単語が前記質問テキスト文に出現する頻度に基づく第１のパラメータに、前記意味チャンク重み及び前記中心単語重みの少なくとも一方を加算した加算値に、当該単語が前記検索対象のテキスト文集合に出現する頻度に基づく第２のパラメータを乗算することにより算出することができる。
【００２４】
また、請求項３に記載したように、前記特徴量生成手段は、前記質問テキスト文に含まれる単語の重みを、当該単語が前記質問テキスト文に出現する頻度に基づく第１のパラメータに、当該単語が前記検索対象のテキスト文集合に出現する頻度に基づく第２のパラメータを乗算した乗算値に、前記意味チャンク重み及び前記中心単語重みの少なくとも一方を含む係数を乗算することにより算出することができる。
【００２５】
また、請求項４に記載したように、前記類似度計算手段は、前記質問テキスト文に含まれる単語及び前記検索対象のテキスト文に含まれる単語のうち一致する単語を検索し、当該検索した単語の各々の重みを乗算した値を前記一致した単語全てについて加算することにより前記類似度を計算することができる。
【００２６】
また、請求項５に記載したように、前記類似度計算手段は、前記質問テキスト文に含まれる単語及び前記検索対象のテキスト文に含まれる単語のうち一致する単語を検索し、当該検索した単語の各々の重みの距離を算出し、当該算出した距離を前記一致した単語全てについて加算することにより前記類似度を計算することができる。
【００２７】
請求項６記載の発明のテキスト文検索方法は、質問テキスト文を単語に切り分けると共に、切り分けた単語に品詞を付与し、単語切り分け・品詞付与データを生成し、前記単語切り分け・品詞付与データに基づいて、前記質問テキスト文に含まれる意味チャンク、前記意味チャンクの中心単語、及び前記意味チャンクの格を解析し、前記意味チャンクの格に基づいて、当該意味チャンクに含まれる単語の意味チャンク重み及び中心単語重みの少なくとも一方を設定し、検索対象のテキスト文集合に出現する単語の各々についての前記検索対象のテキスト文集合に出現する頻度を表す出現頻度データのうち、前記質問テキスト文に含まれる単語についての前記出現頻度データと、前記意味チャンク重み及び前記中心単語重みの少なくとも一方と、に基づいて、前記質問テキスト文に含まれる単語の重みを各々算出することにより前記質問テキスト文の意味ベクトル特徴量を生成し、前記質問テキスト文の意味ベクトル特徴量と検索対象のテキスト文の意味ベクトル特徴量とに基づいて、前記質問テキスト文と前記検索対象のテキスト文との類似度を計算する、ことを特徴とする。
【００２８】
この発明によれば、意味チャンクの格の重要度に応じて設定された意味チャンク重みや中心単語重みが考慮されて意味ベクトル特徴量が生成されるため、意味内容を適切に考慮した類似度計算を行うことができ、質問テキスト文に類似するテキスト文を高精度に検索することが可能となる。
【００２９】
請求項７記載の発明のテキスト文検索プログラムは、質問テキスト文を単語に切り分けると共に、切り分けた単語に品詞を付与し、単語切り分け・品詞付与データを生成するステップと、前記単語切り分け・品詞付与データに基づいて、前記質問テキスト文に含まれる意味チャンク、前記意味チャンクの中心単語、及び前記意味チャンクの格を解析するステップと、前記意味チャンクの格に基づいて、当該意味チャンクに含まれる単語の意味チャンク重み及び中心単語重みの少なくとも一方を設定するステップと、検索対象のテキスト文集合に出現する単語の各々についての前記検索対象のテキスト文集合に出現する頻度を表す出現頻度データのうち、前記質問テキスト文に含まれる単語についての前記出現頻度データと、前記意味チャンク重み及び前記中心単語重みの少なくとも一方と、に基づいて、前記質問テキスト文に含まれる単語の重みを各々算出することにより前記質問テキスト文の意味ベクトル特徴量を生成するステップと、前記質問テキスト文の意味ベクトル特徴量と検索対象のテキスト文の意味ベクトル特徴量とに基づいて、前記質問テキスト文と前記検索対象のテキスト文との類似度を計算するするステップと、を含む処理をコンピュータに実行させることを特徴とする。
【００３０】
この発明によれば、意味チャンクの格の重要度に応じて設定された意味チャンク重みや中心単語重みが考慮されて意味ベクトル特徴量が生成されるため、意味内容を適切に考慮した類似度計算を行うことができ、質問テキスト文に類似するテキスト文を高精度に検索することが可能なコンピュータを実現することができる。
【００３１】
請求項８記載の発明のテキスト文検索装置は、質問テキスト文の言語意味解析を行い、前記質問テキスト文の各単語の意味上の重要度を設定する意味解析部と、前記言語意味解析の解析結果及びベクトル空間法を用いて前記質問テキスト文の特徴量を生成する特徴量生成部と、前記特徴量生成部で生成された質問テキスト文の特徴量と検索目標テキスト文の特徴量との類似度を計算する類似度計算部と、前記類似度の計算結果に基づいて、検索目標テキスト文集合から検索結果であるテキスト文を抽出する検索結果抽出部と、を具備することを特徴とする。
【００３２】
この発明によれば、質問テキスト文の言語意味解析を行い、質問テキスト文の各単語の意味上の重要度を設定し、言語意味解析の解析結果及びベクトル空間法を用いて質問テキスト文の特徴量を生成し、生成された質問テキスト文の特徴量と検索目標テキスト文の特徴量との類似度を計算し、類似度の計算結果に基づいて、検索目標テキスト文集合から検索結果であるテキスト文を抽出するので、意味内容を適切に考慮した類似度計算を行うことができ、質問テキスト文に類似するテキスト文を高精度に検索することが可能となる。
【００３３】
なお、請求項９に記載したように、前記意味解析部は、格文法に基づく言語意味解析を行うことができる。
【００３４】
また、請求項１０に記載したように、前記類似度計算部は、内積、コサイン関数、及びユークリッド距離の内少なくとも１つを用いて類似度を計算することができる。
【００３５】
また、請求項１１に記載したように、前記特徴量生成部は、前記ベクトル空間法を用いて得られる特徴量を次式により算出することができる。
【００３６】
ＴＦｉ×ｌｏｇ（Ｎ／ｎｉ+ｃ）
ここで、ＴＦｉはテキスト文に単語ｉが出現した回数、Ｎは検索目標テキスト文集合のテキスト文の総数、ｎｉは検索目標テキスト文集合に単語ｉを含むテキスト文の総数、ｃは定数で、ｃ≧０．０１に設定される。
【００３７】
また、請求項１２に記載したように、前記意味解析部は、テキスト文中の各意味格を抽出し、抽出された意味格の重要度に基づいて、意味格に異なる重みを付与する意味格解析部、及びテキスト文中の中心的な役割を担当する単語を抽出し、抽出された中心単語の重要度に基づいて、中心単語に異なる重みを付与する中心単語解析部の内少なくとも一方を有する構成とすることができる。
【００３８】
この場合、請求項１３に記載したように、前記特徴量生成部は、前記意味格解析部で求められた意味格の重みと、前記中心単語解析部で求められた中心単語重みとを用いて、次式により前記ベクトル空間法を用いて得られる特徴量を修正することができる。
【００３９】
(ＴＦｉ+Ｃｈｕｎｋ＿Ｗｅｉｇｈｔ+Ｈｅａｄ＿Ｗｅｉｇｈｔ)×ｌｏｇ（Ｎ／ｎｉ+ｃ）
ここで、ＴＦｉはテキスト文に単語ｉが出現した回数、Ｃｈｕｎｋ＿Ｗｅｉｇｈｔは単語ｉが属している意味格重み、Ｈｅａｄ＿Ｗｅｉｇｈｔは中心単語重み(単語ｉが中心単語の場合に使用)、Ｎは検索目標テキスト文集合のテキスト文の総数、ｎｉは検索目標テキスト文集合に単語ｉを含むテキスト文の総数、ｃは定数で、ｃ≧０．０１に設定される。
【００４０】
また、請求項１４に記載したように、前記特徴量生成部は、前記意味格解析部で求められた意味格の重みを用いて、次式により前記ベクトル空間法を用いて得られる特徴量を修正するようにしてもよい。
【００４１】
(ＴＦｉ+Ｃｈｕｎｋ＿Ｗｅｉｇｈｔ）×ｌｏｇ（Ｎ／ｎｉ+ｃ）
また、請求項１５に記載したように、前記特徴量生成部は、前記中心単語解析部で求められた中心単語重みを用いて、次式により前記ベクトル空間法を用いて得られる特徴量を修正するようにしてもよい。
【００４２】
(ＴＦｉ+Ｈｅａｄ＿Ｗｅｉｇｈｔ）×ｌｏｇ（Ｎ／ｎｉ+ｃ）
また、請求項１６に記載したように、前記特徴量生成部は、前記意味格解析部で求められた意味格の重みと、前記中心単語解析部で求められた中心単語重みとを用いて、次式により前記ベクトル空間法を用いて得られる特徴量を修正するようにしてもよい。
（ＴＦｉ× ｌｏｇ（Ｎ／ｎｉ+ｃ））×（Ｃｈｕｎｋ＿Ｗｅｉｇｈｔ+Ｈｅａｄ＿Ｗｅｉｇｈｔ）／２
また、請求項１７に記載したように、前記特徴量生成部は、前記意味格解析部で求められた意味格の重みを用いて、次式により前記ベクトル空間法を用いて得られる特徴量を修正するようにしてもよい。
【００４３】
ＴＦｉ× ｌｏｇ（Ｎ／ｎｉ+ｃ）×Ｃｈｕｎｋ＿Ｗｅｉｇｈｔ
また、請求項１８に記載したように、前記特徴量生成部は、前記中心単語解析部で求められた中心単語重みを用いて、次式により前記ベクトル空間法を用いて得られる特徴量を修正するようにしてもよい。
【００４４】
ＴＦｉ× ｌｏｇ（Ｎ／ｎｉ+ｃ）×Ｈｅａｄ＿Ｗｅｉｇｈｔ
【発明の効果】
【００４５】
本発明によれば、テキスト文の意味内容を考慮して高精度にテキスト文を検索することができる、という効果を有する。
【発明を実施するための最良の形態】
【００４６】
以下、本発明の実施形態について説明する。
【００４７】
図１は、本発明に係る意味情報を考慮したテキスト文検索装置１０の概略構成を示すブロック図である。図１に示すように、テキスト文検索装置１０は、外部記憶装置１２、単語切り分け・品詞付与部１４、構文・意味解析部１６、特徴量生成部１８、統計データ記憶部２０、類似度計算部２２、データベース記憶部２４、記憶部２６、メモリ２８、３０、３２、３４を含んで構成されている。
【００４８】
外部記憶装置１２には、例えばユーザーにより入力された質問テキスト文データが格納されている。メモリ２８には、外部記憶装置１２に格納されている一つの質問テキスト文データが記憶される。
【００４９】
単語切り分け・品詞付与部１４は、メモリ２８に格納されている質問テキスト文データの単語を切り分けると共に、切り分けた単語に品詞を付与し、その結果を単語切り分け・品詞付与データとしてメモリ３０に格納する。
【００５０】
構文・意味解析部１６は、メモリ３０に格納されている質問テキスト文の単語切り分け・品詞付与データを読み込み、この単語切り分け・品詞付与データに基づいて、質問テキスト文の構文解析及び意味解析を行い、その結果である構文・意味解析データをメモリ３２に格納する。
【００５１】
統計データ記憶部２０には、予め事前に用意された検索対象のテキスト文集合（検索目標テキスト文集合）から、テキスト文集合に出現したすべての単語について、その単語を含むテキスト文の数（ＤＦ：Ｄｏｃｕｍｅｎｔ  Ｆｒｅｑｕｅｎｃｙ）を算出した値（ＤＦ値）が出現頻度データとして記憶されている。すなわち、ＤＦ値は、その単語がテキスト文集合に出現する頻度を表している。また、統計データ記憶部２０には、収集可能な単語集合の自然数ＩＤデータも予め記憶されている。すなわち、各単語には固有の自然数のＩＤ（単語ＩＤ）が付与されており、統計データ記憶部２０には、単語ＩＤが付与された単語のＤＦ値が記憶されている。なお、同義語の単語に同一のＩＤを付与して格納するようにすることが好ましい。これにより、表記は異なるが意味が同じ単語が同等に扱われ、テキスト文の検索精度を高めることができる。
【００５２】
特徴量生成部１８は、メモリ３０に格納された質問テキスト文の単語切り分け・品詞付与データを読み込むと共に、統計データ記憶部２０に記憶された単語のＤＦ値のうちメモリ３０に格納された質問テキスト文の単語のＤＦ値を読み込む。そして、読み込んだ単語切り分け・品詞付与データ、質問テキスト文の単語のＤＦ値、メモリ３２に記憶された構文・意味解析データを用いて、質問テキスト文の意味ベクトル特徴量を生成し、そのデータをメモリ３４に格納する。
【００５３】
データベース記憶部２４には、検索対象であるテキスト文集合のすべてのテキスト文について予め算出した意味ベクトル特徴量が予め記憶されている。
【００５４】
類似度計算部２２は、メモリ３４に格納されている質問テキスト文の意味ベクトル特徴量とデータベース記憶部２４に格納されている検索対象のテキスト文の意味ベクトル特徴量との間の類似度（距離）を各々計算し、計算した類似度を記憶部２６に記憶する。これにより、質問テキスト文と最も類似度の高い検索対象のテキスト文を表示したり、類似度の高い順に検索対象のテキスト文の一覧を表示したりすることが可能となる。
【００５５】
このように構成されたテキスト文検索装置１０は、例えば図２に示すような情報端末装置４０に適用することができる。
【００５６】
情報端末装置４０は、ハードディスク４２、キーボード４４、ディスプレイ４６、プロセッサ部４８から構成される。
【００５７】
ハードディスク４２は、キーボード４４から入力された質問テキスト文のデータ、プロセッサ部４８で計算された質問テキスト文と検索対象のテキスト文との間の類似度等の各種計算結果、各種ソフトウェア等が格納される。また、ハードディスク４２は、計算に必要な記憶空間としても利用される。なお、ハードディスク４２に限らず他の外部記憶装置を用いてもよい。
【００５８】
キーボード４４は、ユーザがテキスト文を入力したり各種操作を指示するための入力装置である。なお、マウス等のその他の入力装置が設けられていてもよい。
【００５９】
ディスプレイ４６は、ユーザーに対するメッセージやテキスト文のデータ、類似度の計算結果などを表示するための出力装置である。なお、プリンタ等の他の出力装置が設けられていてもよい。
【００６０】
プロセッサ部４８は、ハードディスク４２に格納されているソフトウェアなどに従って、実際の処理を行う。プロセッサ部４８は、具体的にはマイクロプロセッサや、パーソナルコンピュータ等のコンピュータシステムで構成することができる。
【００６１】
上記の単語切り分け・品詞付与部１４、構文・意味解析部１６、特徴量生成部１８、及び類似度計算部２２は、このプロセッサ部４８上で動作する各種モジュールによって構成することができる。
【００６２】
次に、テキスト文検索装置１０の具体的な動作について説明する。
【００６３】
外部記憶装置１２には、ユーザーにより入力された質問テキスト文のデータが格納されており、外部記憶装置１２から一つのテキスト文データが読み出され、メモリ２８に記憶される。
【００６４】
単語切り分け・品詞付与部１４では、テキスト文を構成している各単語を切り分け、それぞれの単語の品詞を付与し、単語切り分け・品詞付与データとしてメモリ３０に格納させる。なお、単語の切り分け及び品詞の付与の手法については一般に公開された公知の手法を用いることができる。例えば、中国の清華大学により開発された単語切り分け・品詞付与ツールを使用してもよいし、他の解析ツールを使用してもよい。
【００６５】
一例として、図３に示す中国語のテキスト文５０が単語切り分け・品詞付与部１４に入力されると、単語切り分け・品詞付与データ５２が出力される。なお、中国語のテキスト文５０は、「２０００年９月２５日、北京時間月曜日午後行った女子４００メートル決勝戦で、オーストラリアの名将フェリマンは金メダルを獲得した。」という意味である。
【００６６】
単語切り分け・品詞付与データ５２は、テキスト文５０を切り分けた各単語に名詞、動詞、助詞等の品詞を表す品詞記号が“／○”（○は任意の品詞を表すアルファベット）の形式で単語の語尾に付与されたデータである。例えば“／ｎｒ”で表される品詞記号は名詞を表す。なお、単語切り分け・品詞付与データ５２は、図３に示すフォーマットに限らず、切り分けられた各単語の品詞が判別できるものであれば他のフォーマットでもよい。
【００６７】
構文・意味解析部１６は、意味格解析部及び中心単語解析部の少なくとも一方を含み、メモリ３０に格納されているテキスト文の単語切り分け・品詞付与データを読み込み、質問テキスト文の構文・意味解析を行い、各単語の意味上の重要度を設定する。具体的には、質問テキスト文を構成する意味チャンク、中心単語、格（意味格）を解析し、解析結果を構文・意味解析データとしてメモリ３２に格納する。なお、構文解析及び意味解析の手法については一般に公開された公知の手法を用いることができる。例えば、中国の清華大学により開発された構文・意味解析ツールを使用してもよいし、他の解析ツールを使用してもよい。
【００６８】
テキスト文は一般に複数の単語から構成されており、その複数の単語の中に、一つ或いは複数の重要な役割を果たす単語が含まれている。ここでは、テキスト文の中で重要な役割を果たしている単語を中心単語（Ｈｅａｄ）と呼ぶ。
【００６９】
一例として、図４に示す中国語のテキスト文５４が構文・意味解析部１６に入力されると、構文・意味解析データ５６が出力される。なお、中国語のテキスト文５４は、以下のような意味である。
【００７０】
【表１】
2006065387.tif 000003
【００７１】
構文・意味解析データ５６は、テキスト文５４から解析された意味チャンク毎に“［  ］”で切り分け、中心単語をゴジックフォントで表現した形式である。なお、括弧内の先頭に付与されたアルファベットは構文情報（チャンク名）を表し，括弧の後に付与されたアルファベットはその意味チャンクの格を表す。
【００７２】
構文情報(チャンク名)を表すアルファベットは次のように定義する。
【００７３】
Ｓ（Ｓｕｂｊｅｃｔ）…主語チャンク
Ｐ（Ｐｒｅｄｉｃａｔｅ）…述語チャンク
Ｏ（Ｏｂｊｅｃｔ）…受事チャンク
Ｄ…副詞チャンク
Ｃ（Ｃｏｍｐｌｅｍｅｎｔ）…補文チャンク
Ｖ…述語或いは述語性チャンク
また、意味チャンクの格について、一文に二つ以上のＳ（動作主）、Ｏ（述語の対象）、Ｖ（動作）が含まれているときに、それぞれ、文の左から右への出現順位によって、Ｓ１、Ｓ２、…、Ｏ１、Ｏ２、…、Ｖ１、Ｖ２、…のように表記する．
【００７４】
【表２】
2006065387.tif 000004
【００７５】
なお、構文・意味解析データ５６は、図４に示すフォーマットに限らず、意味チャンク、中心単語、格が判別できるものであれば他のフォーマットでもよい。
【００７６】
特徴量生成部１８は、単語切り分け・品詞付与データ、質問テキスト文の単語のＤＦ値、構文・意味解析データを用いて、質問テキスト文の意味ベクトル特徴量を生成し、そのデータをメモリ３４に格納する。
【００７７】
次に、意味ベクトル特徴量について説明するが、その前に、従来におけるベクトル特徴量について説明する。
【００７８】
テキスト文はＶ（ｆ１、ｆ２、ｆ３、…、ｆｓ）というベクトルで表現することができる。ここで、ｓは単語の総数である。また、ｆｉはテキスト文に出現する単語であってテキスト文の中に含まれる単語のうち単語ＩＤがｉ番目に大きい単語（以下、単語ｉという）の重み（特徴量）であり、次式で表される。
【００７９】
ｆｉ=ＴＦｉ×ｌｏｇ（Ｎ／ｎｉ）    …（１）
なお、ＴＦｉ（第１のパラメータ）はテキスト文の単語ｉの頻度、すなわちテキスト文に含まれる単語ｉの数である。従って、ＴＦｉはテキスト文の長さが長い程大きくなる傾向にある。ｌｏｇ（Ｎ／ｎｉ）は所謂ＩＤＦ（第２のパラメータ）であり、Ｎはデータベース記憶部２４に記憶された検索対象のテキスト文集合に含まれているテキスト文の総数、ｎｉは単語ｉのＤＦ値を表す。すなわち、ＩＤＦは、単語ｉが含まれるテキスト文の数が多いほど小さな値となり、単語ｉが含まれるテキスト文の数が少ないほど大きな値となる。従って、ＩＤＦは、対象となるテキスト文にとっての単語ｉの重要度を表している。
【００８０】
Ｖ（ｆ１、ｆ２、ｆ３、…、ｆｓ）の次元数ｓはテキスト文に出現した全単語数である。各テキスト文のベクトル特徴量については、各々次元数が異なる場合もあるし、各次元で対応している単語が異なる場合もある。
【００８１】
また、前述したように、各単語ｉには自然数のＩＤが付与されており、ベクトル特徴量に基づいてテキスト文同士の類似度を計算するために、このＩＤを重みｆｉに対応させて、ベクトル特徴量をＶ（ＩＤ１、ｆ１、ＩＤ２、ｆ２、ＩＤ３、ｆ３、 …、Ｉｄｓ、ｆｓ）で表現する。なお、ＩＤ１、ＩＤ２…がＩＤ番号の小さい順となるように並べられる。
【００８２】
特徴量生成部１８は、統計データ記憶部２０から、メモリ２８に記録されているテキスト文の各単語のＤＦ値を読み込み、メモリ３２に格納された構文・意味解析データを用いて、テキスト文の意味ベクトル特徴量Ｓｖ（ＩＤ１、ｆ１、ＩＤ２、ｆ２、ＩＤ３、ｆ３、 …、Ｉｄｓ、ｆｓ）を作成する。
【００８３】
次に、意味関係を表す格について説明する。
【００８４】
図５に、意味関係を表す格及びその格を重要性により分類した分類表５８を示した。図５の例では、第１クラスから第５クラスに格が分類されており、第１クラスに分類された格が最も重要度が高い。第１クラスには、動作主等の重要性の高い固有名詞の意味格が含まれている。
【００８５】
例えば図４に示した構文・意味解析データ５６の先頭の意味チャンクの格情報は“Ｓ”であるので、この意味チャンクの格のクラスは第１クラスとなる。同様に２番目の意味チャンクの格情報は“Ｈ”であるので、この意味チャンクの格のクラスも第１クラスとなる。このように、各意味チャンクの格は重要度に応じてクラス分けされる。
【００８６】
次に、意味ベクトル特徴量Ｓｖ（ＩＤ１、ｆ１、ＩＤ２、ｆ２、ＩＤ３、ｆ３、 …、Ｉｄｓ、ｆｓ）の生成方法について説明する。
【００８７】
質問テキスト文のベクトル特徴量に対して、中心単語の重みを高くすれば、ベクトル特徴量は質問テキスト文の意味を反映しやすくなる。従って、特徴量生成部１８では、質問テキスト文に出現している単語の頻度、意味チャンク、中心単語を用いて、質問テキスト文の意味ベクトル特徴量を生成する。以下では、３つの意味ベクトル特徴量生成方法について説明する。
【００８８】
まず、第１の意味ベクトル特徴量生成方法について説明する。この方法では、まず意味チャンク重みＣｈｕｎｋ＿Ｗｅｉｇｈｔを格のクラスに応じて図６のように設定する。ここで、ａは定数である（ａ≧０）。すなわち、格のクラスが高い程、意味チャンク重みＣｈｕｎｋ＿Ｗｅｉｇｈｔも大きい値となる。なお、他の方法で意味チャンク重みを定義してもよい。
【００８９】
また、中心単語重みＨｅａｄ＿Ｗｅｉｇｈｔを格のクラスに応じて図７のように設定する。ここで、ｂは定数である（ｂ≧０）。すなわち、格のクラスが高い程、中心単語重みＨｅａｄ＿Ｗｅｉｇｈｔも大きい値となる。なお、他の方法で中心単語重みを定義してもよい。
【００９０】
そして、テキスト文の意味ベクトル特徴量Ｓｖ（ＩＤ１、ｆ１、ＩＤ２、ｆ２、ＩＤ３、ｆ３、…、ＩＤｓ、ｆｓ）を構成する単語ｉの重みｆｉを次式により各々求める。
【００９１】
ｆｉ=（ＴＦｉ+Ｃｈｕｎｋ＿Ｗｅｉｇｈｔ+Ｈｅａｄ＿Ｗｅｉｇｈｔ）×ｌｏｇ（Ｎ／ｎｉ+ｃ）      …（２）
ここで、Ｎは前述したようにテキスト文集合のテキスト文の総数である。ＴＦｉはテキスト文に出現した単語ｉの頻度、ｎｉは検索対象テキスト分集合の中に単語ｉを含むテキスト文の総数である。ｃは定数であり、ｃ≧０．０１に設定される。また、中心単語重みＨｅａｄ＿Ｗｅｉｇｈｔは、単語ｉが中心単語のときだけ使用する。単語ｉが中心単語ではない場合は、Ｈｅａｄ＿Ｗｅｉｇｈｔ＝０とする。
【００９２】
第１の意味ベクトル特徴量生成方法における上記（２）式が、従来における上記（１）式と異なる点は、意味チャンク重みと中心単語重みとの和がＴＦｉに加算される点である。このため、格のクラスに応じて重みｆｉの値が変化し、従来と比較してテキスト文の意味が適切に反映された意味ベクトル特徴量が生成される。なお、第１の意味ベクトル特徴量生成方法は、以下で説明する第２、第３の意味ベクトル特徴量生成方法と比較して、意味チャンク重み及び中心単語重みの影響が小さいため、どちらかというと単文検索向きであり、機械翻訳等に適した方法であるといえる。
【００９３】
次に、第２の意味ベクトル特徴量生成方法について説明する。この方法では、第１の意味ベクトル特徴量生成方法と同様に、意味チャンク重みＣｈｕｎｋ＿Ｗｅｉｇｈｔを格のクラスに応じて図６のように設定するが、定数ａは、ａ≧１に設定される。
【００９４】
また、中心単語重みＨｅａｄ＿Ｗｅｉｇｈｔについても第１の意味ベクトル特徴量生成方法と同様に、格のクラスに応じて図７のように設定するが、定数ｂは、ｂ≧１に設定される。
【００９５】
そして、テキスト文の意味ベクトル特徴量Ｓｖ（ＩＤ１、ｆ１、ＩＤ２、ｆ２、ＩＤ３、ｆ３、…、ＩＤｓ、ｆｓ）を構成する単語ｉの重みｆｉを次式により各々求める。
【００９６】
ｆｉ =（ＴＦｉ× ｌｏｇ（Ｎ／ｎｉ+ｃ））×（Ｃｈｕｎｋ＿Ｗｅｉｇｈｔ+Ｈｅａｄ＿Ｗｅｉｇｈｔ）／２      …（３）
ここで、定数ｃは、第１の意味ベクトル特徴量生成方法と同様に、ｃ≧０．０１に設定される。また、単語ｉが中心単語ではない場合は、Ｈｅａｄ＿Ｗｅｉｇｈｔ＝Ｃｈｕｎｋ＿Ｗｅｉｇｈｔとする。
【００９７】
第２の意味ベクトル特徴量生成方法における上記（３）式が、従来における上記（１）式と異なる点は、上記（１）式で求められるｆｉに対して、意味チャンク重みと中心単語重みとの和を２で除算した値、すなわち意味チャンク重みと中心単語重みの平均値が乗算される点である。また、第２の意味ベクトル特徴量生成方法では、定数ａ、ｂが共に１以上の値に設定されるため、従来の上記（１）式で求められるｆｉに対して格のクラスに応じて大きな値となる傾向になる。従って、意味内容の重要度がより強く反映され、従来と比較してテキスト文の意味が適切に反映された意味ベクトル特徴量が生成される。
【００９８】
次に、第３の意味ベクトル特徴量生成方法について説明する。この方法では、第１の意味ベクトル特徴量生成方法と同様に、意味チャンク重みＣｈｕｎｋ＿Ｗｅｉｇｈｔを格のクラスに応じて図６のように設定するが、定数ａは、ａ≧１に設定される。
【００９９】
また、中心単語重みＨｅａｄ＿Ｗｅｉｇｈｔについても第１の意味ベクトル特徴量生成方法と同様に、格のクラスに応じて図７のように設定するが、定数ｂは、ｂ≧１に設定される。
【０１００】
そして、テキスト文の意味ベクトル特徴量Ｓｖ（ＩＤ１、ｆ１、ＩＤ２、ｆ２、ＩＤ３、ｆ３、…、ＩＤｓ、ｆｓ）を構成する単語ｉの重みｆｉを次式により各々求める。
【０１０１】
ｆｉ =（ＴＦｉ×ｌｏｇ（Ｎ／ｎｉ+ｃ））×Ｃｈｕｎｋ＿Ｗｅｉｇｈｔ×Ｈｅａｄ＿Ｗｅｉｇｈｔ        …（４）
ここで、定数ｃは、第１の意味ベクトル特徴量生成方法と同様に、ｃ≧０．０１に設定される。また、単語ｉが中心単語ではない場合は、Ｈｅａｄ＿Ｗｅｉｇｈｔ＝１とする。
【０１０２】
第３の意味ベクトル特徴量生成方法における上記（４）式が、従来における上記（１）式と異なる点は、上記（１）式で求められるｆｉに対して、意味チャンク重みと中心単語重みとを乗算した値が乗算される点である。また、第３の意味ベクトル特徴量生成方法では、定数ａ、ｂが共に１以上の値に設定されるため、従来の上記（１）式で求められるｆｉに対して格のクラスに応じて大きな値となる傾向になる。従って、意味内容の重要度がより強く反映され、従来と比較してテキスト文の意味が適切に反映された意味ベクトル特徴量が生成される。なお、第３の意味ベクトル特徴量生成方法と第２の意味ベクトル特徴量生成方法とを比較すると、上記（４）式で求められるｆｉの方が、上記（３）式で求められるｆｉよりも大きな値となる傾向にある。
【０１０３】
前述したように、データベース記憶部２４には、検索対象であるテキスト文集合の各テキスト文の意味ベクトル特徴量が予め記憶されているが、これらの意味ベクトル特徴量は、上記の意味ベクトル特徴量生成方法を用いて質問テキスト文の意味ベクトル特徴量と同様に生成することができる。
【０１０４】
次に、類似度計算部２２における具体的な類似度の計算方法について説明する。
【０１０５】
類似度計算部２２では、以下に示す（５）〜（７）式の何れかによりテキスト文の類似度を計算する。
【０１０６】
【数１】
2006065387.tif 000005
【０１０７】
【数２】
2006065387.tif 000006
【０１０８】
【数３】
2006065387.tif 000007
【０１０９】
ここで、ｓ１とｓ２はそれぞれテキスト文Ｓ１とテキスト文Ｓ２の意味ベクトル特徴量の次元数を表し、ｆ１kとｆ２hはそれぞれテキスト文Ｓ１とテキスト文Ｓ２の意味ベクトル特徴量の各次元の重みを表す。また、ＩＤ１kとＩＤ２hはそれぞれテキスト文Ｓ１、テキスト文Ｓ２の意味ベクトル特徴量の各次元の単語ＩＤを表す。
【０１１０】
まず、上記（５）式による第１の類似度計算について、図８に示すフローチャートを参照して具体的に説明する。
【０１１１】
ステップ１００では、テキスト文Ｓ１用の添え字ｋ、テキスト文Ｓ２用の添え字ｈ、類似度Ｓｉｍ（Ｓ１、Ｓ２）を初期化する。すなわち、ｋ＝１、ｈ＝１、Ｓｉｍ（Ｓ１、Ｓ２）＝０とする。
【０１１２】
ステップ１０２では、テキスト文Ｓ１とテキスト文Ｓ２の単語ＩＤが同一か否かを判断する。すなわちＩＤ１k＝ＩＤ２hか否かを判断する。そして、単語ＩＤが同一の場合は、ステップ１０４へ移行し、単語ＩＤが同一でない場合には、ステップ１０８へ移行する。
【０１１３】
ステップ１０４では、ｋ、ｈをそれぞれインクリメントすると共に、現在の類似度Ｓｉｍ（Ｓ１、Ｓ２）に重みｆ１kとｆ２hとの乗算値を加算し、これを新たな類似度Ｓｉｍ（Ｓ１、Ｓ２）とする。すなわち、ｋ＝ｋ＋１、ｈ＝ｈ＋１、Ｓｉｍ（Ｓ１、Ｓ２）=Ｓｉｍ（Ｓ１、Ｓ２）+ｆ１k×ｆ２hとする。
【０１１４】
ステップ１０６では、ｋが次元数ｓ１より大きいか否か、ｈが次元数ｓ２より大きいか否かを判断し、ｋが次元数ｓ１より大きいか又はｈが次元数ｓ２より大きい場合には、本ルーチンを終了し、それ以外の場合には、ステップＳ２へ戻って上記と同様の処理を繰り返す。
【０１１５】
ステップ１０８では、テキスト文Ｓ１の単語ＩＤ１kがテキスト文Ｓ２の単語ＩＤ２hよりも小さいか否かを判断する。すなわちＩＤ１k＜ＩＤ２hの関係を満たすか否かを判断する。そして、ＩＤ１k＜ＩＤ２hの場合は、ステップ１１０へ移行し、そうでない場合、すなわちＩＤ１k＞ＩＤ２hの場合は、ステップ１１４へ移行する。
【０１１６】
ステップ１１０では、ｋをインクリメントしてステップ１１２へ移行する。ステップ１１２では、ｋが次元数ｓ１よりも大きいか否かを判断し、ｋが次元数ｓ１よりも大きい場合には本ルーチンを終了し、ｋが次元数ｓ１以下の場合には、ステップ１０２へ戻って上記と同様の処理を繰り返す。
【０１１７】
一方、ステップ１１４では、ｈをインクリメントし、ステップ１１６へ移行する。ステップ１１６では、ｈが次元数ｓ２よりも大きいか否かを判断し、ｈが次元数ｓ２よりも大きい場合には本ルーチンを終了し、ｈが次元数ｓ２以下の場合には、ステップ１０２へ戻って上記と同様の処理を繰り返す。
【０１１８】
このように、本ルーチンでは、テキスト文Ｓ１に含まれる単語の単語ＩＤとテキスト文Ｓ２に含まれる単語ＩＤとを比較することにより、両方のテキスト文に含まれる単語を検索し、両方のテキスト文に含まれる単語の重みを乗算し、この乗算した値を逐次加算してく。なお、前述したように、意味ベクトル特徴量Ｓｖ（ＩＤ１、ｆ１、ＩＤ２、ｆ２、ＩＤ３、ｆ３、…、ＩＤｓ、ｆｓ）のＩＤ１、ＩＤ２…は、ＩＤの小さい順に並べられているため、図８に示すような単純なフローにより両方のテキスト文に含まれる単語を速やかに検索することができる。
【０１１９】
次に、上記（６）式による第２の類似度計算について、図９に示すフローチャートを参照して具体的に説明する。
【０１２０】
ステップ２００では、上記（６）式の分母を計算する。すなわち、重みｆ１kの二乗の総和と重みｆ２hの二乗の総和との乗算値の平方根を求める。
【０１２１】
ステップ２０２では、テキスト文Ｓ１用の添え字ｋ、テキスト文Ｓ２用の添え字ｈ、類似度Ｓｉｍ（Ｓ１、Ｓ２）を初期化する。すなわち、ｋ＝１、ｈ＝１、Ｓｉｍ（Ｓ１、Ｓ２）＝０とする。
【０１２２】
ステップ２０４では、テキスト文Ｓ１とテキスト文Ｓ２の単語ＩＤが同一か否かを判断する。すなわちＩＤ１k＝ＩＤ２hか否かを判断する。そして、単語ＩＤが同一の場合は、ステップ２０６へ移行し、単語ＩＤが同一でない場合には、ステップ２１２へ移行する。
【０１２３】
ステップ２０６では、ｋ、ｈをそれぞれインクリメントすると共に、現在の類似度Ｓｉｍ（Ｓ１、Ｓ２）に重みｆ１kとｆ２hとの乗算値を加算し、これを新たな類似度Ｓｉｍ（Ｓ１、Ｓ２）とする。すなわち、ｋ＝ｋ＋１、ｈ＝ｈ＋１、Ｓｉｍ（Ｓ１、Ｓ２）=Ｓｉｍ（Ｓ１、Ｓ２）+ｆ１k×ｆ２hとする。
【０１２４】
ステップ２０８では、ｋが次元数ｓ１より大きいか否か、ｈが次元数ｓ２より大きいか否かを判断し、ｋが次元数ｓ１より大きいか又はｈが次元数ｓ２より大きい場合には、ステップ２１０へ移行し、それ以外の場合には、ステップ２０４へ戻って上記と同様の処理を繰り返す。
【０１２５】
ステップ２１２では、テキスト文Ｓ１の単語ＩＤ１kがテキスト文Ｓ２の単語ＩＤ２hよりも小さいか否かを判断する。すなわちＩＤ１k＜ＩＤ２hの関係を満たすか否かを判断する。そして、ＩＤ１k＜ＩＤ２hの場合は、ステップ２１４へ移行し、そうでない場合、すなわちＩＤ１k＞ＩＤ２hの場合は、ステップ２１８へ移行する。
【０１２６】
ステップ２１４では、ｋをインクリメントしてステップ２１６へ移行する。ステップ２１６では、ｋが次元数ｓ１よりも大きいか否かを判断し、ｋが次元数ｓ１よりも大きい場合にはステップ２１０へ移行し、ｋが次元数ｓ１以下の場合には、ステップ２０４へ戻って上記と同様の処理を繰り返す。
【０１２７】
一方、ステップ２１８では、ｈをインクリメントし、ステップ２２０へ移行する。ステップ２２０では、ｈが次元数ｓ２よりも大きいか否かを判断し、ｈが次元数ｓ２よりも大きい場合にはステップ２１０へ移行し、ｈが次元数ｓ２以下の場合には、ステップ２０４へ戻って上記と同様の処理を繰り返す。
【０１２８】
ステップ２１０では、現在の類似度Ｓｉｍ（Ｓ１、Ｓ２）をステップ２００で求めたＷで除算し、これを最終的な類似度Ｓｉｍ（Ｓ１、Ｓ２）とする。すなわち、Ｓｉｍ（Ｓ１、Ｓ２）＝Ｓｉｍ（Ｓ１、Ｓ２）／Ｗとする。
【０１２９】
このように、本ルーチンで求める類似度は、図８に示すルーチンで求める類似度をＷで除算する点だけが異なる。なお、上記（５）、（６）式で求める類似度Ｓｉｍ（Ｓ１、Ｓ２）は、その値が高いほど類似度が高いこととなる。
【０１３０】
次に、上記（７）式による第３の類似度計算について、図１０に示すフローチャートを参照して具体的に説明する。
【０１３１】
ステップ３００では、テキスト文Ｓ１用の添え字ｋ、テキスト文Ｓ２用の添え字ｈ、ユークリッド距離計算用の変数Ｗを初期化する。すなわち、ｋ＝１、ｈ＝１、Ｗ＝０とする。
【０１３２】
ステップ３０２では、テキスト文Ｓ１とテキスト文Ｓ２の単語ＩＤが同一か否かを判断する。すなわちＩＤ１k＝ＩＤ２hか否かを判断する。そして、単語ＩＤが同一の場合は、ステップ３０４へ移行し、単語ＩＤが同一でない場合には、ステップ３１０へ移行する。
【０１３３】
ステップ３０４では、ｋ、ｈをそれぞれインクリメントすると共に、現在の変数Ｗに重みｆ１kとｆ２hとの差を二乗した値を加算し、これを新たな変数Ｗとする。すなわち、ｋ＝ｋ＋１、ｈ＝ｈ＋１、Ｗ＝Ｗ＋（ｆ１k−ｆ２h）2とする。
【０１３４】
ステップ３０６では、ｋが次元数ｓ１より大きいか否か、ｈが次元数ｓ２より大きいか否かを判断し、ｋが次元数ｓ１より大きいか又はｈが次元数ｓ２より大きい場合には、ステップ３０８へ移行し、それ以外の場合には、ステップ３０２へ戻って上記と同様の処理を繰り返す。
【０１３５】
ステップ３１０では、テキスト文Ｓ１の単語ＩＤ１kがテキスト文Ｓ２の単語ＩＤ２hよりも小さいか否かを判断する。すなわちＩＤ１k＜ＩＤ２hの関係を満たすか否かを判断する。そして、ＩＤ１k＜ＩＤ２hの場合は、ステップ３１２へ移行し、そうでない場合、すなわちＩＤ１k＞ＩＤ２hの場合は、ステップ３１６へ移行する。
【０１３６】
ステップ３１２では、ｋをインクリメントすると共に、現在の変数Ｗに重みｆ１kを二乗した値を加算し、これを新たな変数Ｗとする。すなわち、ｋ＝ｋ＋１、Ｗ＝Ｗ＋（ｆ１k）2とする。
【０１３７】
ステップ３１４では、ｋが次元数ｓ１よりも大きいか否かを判断し、ｋが次元数ｓ１よりも大きい場合にはステップ３１９へ移行し、ｋが次元数ｓ１以下の場合には、ステップ３０２へ戻って上記と同様の処理を繰り返す。
【０１３８】
ステップ３１９では、変数Ｗを次式により計算して、ステップ３０８へ移行する。
【０１３９】
【数４】
2006065387.tif 000008
【０１４０】
一方、ステップ３１６では、ｈをインクリメントすると共に、現在の変数Ｗに重みｆ２hを二乗した値を加算し、これを新たな変数Ｗとする。すなわち、ｈ＝ｈ＋１、Ｗ＝Ｗ＋（ｆ２h）2とする。
【０１４１】
ステップ３１８では、ｈが次元数ｓ２よりも大きいか否かを判断し、ｈが次元数ｓ２よりも大きい場合にはステップ３２０へ移行し、ｈが次元数ｓ２以下の場合には、ステップ３０２へ戻って上記と同様の処理を繰り返す。
【０１４２】
ステップ３２０では、変数Ｗを次式により計算して、ステップ３０８へ移行する。
【０１４３】
【数５】
2006065387.tif 000009
【０１４４】
ステップ３０８では、現在のＷの平方根を計算し、これを最終的な類似尺度Ｄｉｓｔ（Ｓ１、Ｓ２）とする。
【０１４５】
このように、本ルーチンでは、重みｆ１kとｆ２hとのユークリッド距離を類似尺度として計算する。すなわち、類似尺度Ｄｉｓｔ（Ｓ１、Ｓ２）は、その値が高いほど（距離が遠ほど）類似尺度が低いこととなる。この第３の類似尺度計算方法は、上記（３）、（４）式により意味ベクトル特徴量を生成する場合に効果的であると考えられる。前述したように、上記（３）、（４）式では、（２）式と比較して意味内容の重要度がより強く反映されるため、これがユークリッド距離の計算にも強く反映され、意味内容の違いが類似度の違いに大きく反映されるためである。
【０１４６】
次に、テキスト文検索装置１０により以下に示すテキスト文Ａとテキスト文Ｂとの類似度を求めた結果について説明する。
【０１４７】
【表３】
2006065387.tif 000010
【０１４８】
上記のようなテキスト文Ａ、テキスト文Ｂは、共に「女子４００メートル決勝戦で、オーストラリアの名将フェリマンは金メダルを獲得した。」という内容が重要であり、意味内容として類似した文章であるといえる。
【０１４９】
まず、テキスト文Ａとテキスト文Ｂを単語切り分け・品詞付与部１４及び構文・意味解析部１６で解析した結果は以下のようになった。
【０１５０】
【表４】
2006065387.tif 000011
【０１５１】
また、特徴量生成部１８により、上記（５）式を用いてテキスト文Ａの意味ベクトル特徴量Ａｖ（ＩＤａ１、ｆａ１、ＩＤａ２、ｆａ２、…、ＩＤａｓ、ｆａｓ）を求めた結果として、各次元の単語ａｉと、その重みｆａｉを図１１に示した。
【０１５２】
同様に、特徴量生成部１８により、上記（５）式を用いてテキスト文Ｂの意味ベクトル特徴量Ｂｖ（ＩＤｂ１、ｆｂ１、ＩＤｂ２、ｆｂ２、…、ＩＤｂｓ、ｆｂｓ）を求めた結果として、各次元の単語ｂｉと、その重みｆｂｉを図１２に示した。なお、上記（５）式の定数ａ、ｂ、ｃは、それぞれａ＝０、ｂ＝０、ｃ＝０とした。
【０１５３】
そして、類似度計算部２２により上記（３）式を用いて、テキスト文Ａの意味ベクトル特徴量及びテキスト文Ｂの意味ベクトル特徴量から類似度Ｓｉｍ（Ａｖ、Ｂｖ）を計算した結果、Ｓｉｍ（Ａｖ、Ｂｖ）＝０．７６９となった。これに対して、従来のベクトル空間法で類似度を求めたところ、Ｓｉｍ（Ａｖ、Ｂｖ）＝０．６３１となった。
【０１５４】
このように、本発明に係る方法によって算出した類似度は、従来のベクトル空間法により算出した類似度と比較して大きな値となった。これは、本発明に係る方法が、意味内容が類似するテキスト文Ａとテキスト文Ｂとの類似度を適切に計算できることを示しており、従来のベクトル空間法と比較して精度が高いといえる。
【０１５５】
なお、本実施形態では、中国語のテキスト文の類似度を計算する場合に本発明を適用した場合について説明したが、他の言語、例えば日本語や英語等の他の言語にも本発明を適用可能である。
【図面の簡単な説明】
【０１５６】
【図１】テキスト文検索装置の概略構成を示すブロック図である。
【図２】テキスト文検索装置が適用される装置の一例を示すブロック図である。
【図３】単語切り分け・品詞付与部によるテキスト文の解析結果を示す図である。
【図４】構文・意味解析部によるテキスト文の解析結果を示す図である。
【図５】格のクラスの分類を示す図である。
【図６】格のクラスと意味チャンク重みとの関係を示す図である。
【図７】格のクラスと中心単語重みとの関係を示す図である。
【図８】第１の類似度計算の処理の流れを示すフローチャートである。
【図９】第２の類似度計算の処理の流れを示すフローチャートである。
【図１０】第３の類似度計算の処理の流れを示すフローチャートである。
【図１１】テキスト文Ａの意味ベクトル特徴量の各次元の単語及び重みを示す図である。
【図１２】テキスト文Ｂの意味ベクトル特徴量の各次元の単語及び重みを示す図である。
【符号の説明】
【０１５７】
１０      テキスト文検索装置
１２      外部記憶装置
１４      単語切り分け・品詞付与部
１６      構文・意味解析部
１８      特徴量生成部
２０      統計データ記憶部
２２      類似度計算部
２４      データベース記憶部
２６      記憶部
２８、３０、３２、３４      メモリ
【図１】
2006065387.tif 000012
【図２】
2006065387.tif 000013
【図３】
2006065387.tif 000014
【図４】
2006065387.tif 000015
【図５】
2006065387.tif 000016
【図６】
2006065387.tif 000017
【図７】
2006065387.tif 000018
【図８】
2006065387.tif 000019
【図９】
2006065387.tif 000020
【図１０】
2006065387.tif 000021
【図１１】
2006065387.tif 000022
【図１２】
2006065387.tif 000023