(57)【要約】【課題】ページ間のリンク情報が少ない場合やページに記載されている内容量が乏しい場合でも、ランキング精度の高い文書の検索を可能とすること。【解決手段】正解文書集合ＤＢ１中の各正解文書及び不正解文書集合ＤＢ２中の各不正解文書から、クエリ単語検出手段６により一の単語クラスに属するクエリ単語を検出し、近傍語頻度計測部７により該検出された前記各文書内のクエリ単語の近傍に出現する任意の単語の出現頻度を計測し、近傍語重要度計算手段８によりクエリ単語の属する前記一の単語クラスにおける前記任意の単語の重要度を計算し、インデックス生成手段１０により検索対象文書ＤＢ３中の各検索対象文書に対し、当該文書に含まれる前記一の単語クラスに属する単語に対するスコアを前記任意の単語の重要度を用いて計算し、各検索対象文書と前記一の単語クラスに属する各単語との組み合わせに対応するスコアを要素とするインデックスを生成する。【選択図】図１
2009157458.tif 000002
【特許請求の範囲】
【請求項１】
検索対象文書の集合からクエリに適合する文書を検索し、適合順にランク付けするためのインデックスを作成する装置であって、
単語に関する何らかの分類を表す単語クラスのうちの一の単語クラスに属するクエリ単語の集合と当該集合内の各クエリ単語に対して適合する正解文書の集合とを格納する正解文書集合データベースと、
前記一の単語クラスに属するクエリ単語の集合と当該集合内の各クエリ単語に対して適合しない不正解文書の集合とを格納する不正解文書集合データベースと、
検索対象文書の集合を格納する検索対象文書データベースと、
正解文書集合データベースに格納されている各正解文書及び不正解文書集合データベースに格納されている各不正解文書から、正解文書集合データベース及び不正解文書集合データベースに格納されているクエリ単語と合致する単語を検出するクエリ単語検出手段と、
正解文書集合データベースに格納されている各正解文書及び不正解文書集合データベースに格納されている各不正解文書において、クエリ単語検出手段で検出された前記各文書内のクエリ単語と合致する単語の近傍に出現する任意の単語の出現頻度を当該任意の単語毎に計測する近傍語頻度計測手段と、
近傍語頻度計測手段で計測された、正解文書におけるクエリ単語と合致する単語の近傍に出現する任意の単語の出現頻度及び不正解文書におけるクエリ単語と合致する単語の近傍に出現する任意の単語の出現頻度から、クエリ単語の属する前記一の単語クラスにおける前記任意の単語の重要度を当該任意の単語毎に計算する近傍語重要度計算手段と、
検索対象文書データベースに格納されている検索対象文書から前記一の単語クラスに属する単語をその近傍の単語とともに抽出し、近傍語重要度計算手段で計算されたクエリ単語の属する前記一の単語クラスにおける前記任意の単語の重要度のうち、前記近傍の単語と一致する前記任意の単語の重要度を用いて前記一の単語クラスに属する単語に対する当該検索対象文書のスコアを計算し、これを各検索対象文書中に含まれる全ての前記一の単語クラスに属する単語について繰り返し、各検索対象文書と前記一の単語クラスに属する各単語との組み合わせに対応するスコアを要素とするインデックスを生成するインデックス生成手段とを有する
ことを特徴とするインデックス作成装置。
【請求項２】
検索対象文書の集合からクエリに適合する文書を検索し、適合順にランク付けするためのインデックスを作成する方法であって、
単語に関する何らかの分類を表す単語クラスのうちの一の単語クラスに属するクエリ単語の集合と当該集合内の各クエリ単語に対して適合する正解文書の集合とを格納する正解文書集合データベースと、
前記一の単語クラスに属するクエリ単語の集合と当該集合内の各クエリ単語に対して適合しない不正解文書の集合とを格納する不正解文書集合データベースと、
検索対象文書の集合を格納する検索対象文書データベースとを用い、
クエリ単語検出手段が、正解文書集合データベースに格納されている各正解文書及び不正解文書集合データベースに格納されている各不正解文書から、正解文書集合データベース及び不正解文書集合データベースに格納されているクエリ単語と合致する単語を検出するステップと、
近傍語頻度計測手段が、正解文書集合データベースに格納されている各正解文書及び不正解文書集合データベースに格納されている各不正解文書において、クエリ単語検出ステップで検出された前記各文書内のクエリ単語と合致する単語の近傍に出現する任意の単語の出現頻度を当該任意の単語毎に計測するステップと、
近傍語重要度計算手段が、近傍語頻度計測ステップで計測された正解文書におけるクエリ単語と合致する単語の近傍に出現する任意の単語の出現頻度及び近傍語頻度計測ステップで計測された不正解文書におけるクエリ単語と合致する単語の近傍に出現する任意の単語の出現頻度から、クエリ単語の属する前記一の単語クラスにおける前記任意の単語の重要度を当該任意の単語毎に計算するステップと、
インデックス生成手段が、検索対象文書データベースに格納されている検索対象文書から前記一の単語クラスに属する単語をその近傍の単語とともに抽出し、近傍語重要度計算ステップで計算されたクエリ単語の属する前記一の単語クラスにおける前記任意の単語の重要度のうち、前記近傍の単語と一致する前記任意の単語の重要度を用いて前記一の単語クラスに属する単語に対する当該文書のスコアを計算し、これを各検索対象文書中に含まれる全ての前記一の単語クラスに属する単語について繰り返し、各検索対象文書と前記一の単語クラスに属する各単語との組み合わせに対応するスコアを要素とするインデックスを生成するステップとを含む
ことを特徴とするインデックス作成方法。
【請求項３】
インデックス生成ステップは、
検索対象文書中の単語を文頭から文末まで順次取得するステップと、
前記取得した単語が一の単語クラスに属する単語かどうかを判定し、そうであれば当該取得した一の単語クラスに属する単語の前後Ｎ個の単語について、近傍語重要度計算ステップで重要度が計算された任意の単語と一致する単語があれば、その重要度を当該取得した一の単語クラスに属する単語に対する当該検索対象文書のスコアに加算するステップと、
検索対象文書から取得した一の単語クラスに属する全ての単語に対する当該検索対象文書のスコアを出力するステップとを含む
ことを特徴とする請求項２に記載のインデックス作成方法。
【請求項４】
コンピュータを、請求項１に記載のインデックス作成装置の各手段として機能させるためのプログラム。
【請求項５】
請求項４に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書の集合からクエリ（処理要求を文字列で表したもの）に適合する文書を検索し、適合順にランク付けするためのインデックスを作成する技術に関する。
【背景技術】
【０００２】
従来より、文書の集合からクエリに適合する文書を検索し、適合順にランク付け（ランキング）する方法として、様々な方法が提案されていた。例えば、文書の内容を表現する方法としてベクトル空間モデルが代表的であり（例えば、非特許文献１、２参照）、ページ間のリンク情報を考慮する方法としてページランクが有名である（例えば、非特許文献３参照）。
【非特許文献１】徳永健伸、「言語と計算５  情報検索と言語処理」、財団法人東京大学出版会、１９９９年、Ｐ．１５４〜１５９
【非特許文献２】北研二、津田和彦、獅々堀正幹、「情報検索アルゴリズム」、共立出版株式会社、２００２年、Ｐ．６０〜６５
【非特許文献３】山名早人、近藤秀和、解説  サーチエンジンＧｏｏｇｌｅ、「情報処理」、社団法人情報処理学会、２００１年、第４２巻、第８号、Ｐ．７７５〜７８０
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の文書検索方法では、ページ間のリンク情報が多い場合やページに記載されている内容量が豊富な場合には高い精度のランキングができるものの、ページ間のリンク情報が少ない場合やページに記載されている内容量が乏しい場合にはランキングの精度が良くないという課題があった。
【０００４】
本発明の目的は、予めサンプリングされたある種のクエリに適合しているかどうか、言い換えれば検索ランキングの上位に位置すべきかどうか判定された文書の集合をもとにして、検索対象となる文書の集合のインデックスを作成することで、同種のクエリに対して検索時のランキングの精度を向上させることを可能とする、特にページ間のリンク情報が少ない場合やページに記載されている内容量が乏しい場合においても、精度の高い検索のランキングを可能とすることにある。
【課題を解決するための手段】
【０００５】
本発明のインデックス作成装置は、検索対象文書の集合からクエリに適合する文書を検索し、適合順にランク付けするためのインデックスを作成する装置であって、単語に関する何らかの分類を表す単語クラスのうちの一の単語クラスに属するクエリ単語の集合と当該集合内の各クエリ単語に対して適合する正解文書の集合とを格納する正解文書集合データベースと、前記一の単語クラスに属するクエリ単語の集合と当該集合内の各クエリ単語に対して適合しない不正解文書の集合とを格納する不正解文書集合データベースと、検索対象文書の集合を格納する検索対象文書データベースと、正解文書集合データベースに格納されている各正解文書及び不正解文書集合データベースに格納されている各不正解文書から、正解文書集合データベース及び不正解文書集合データベースに格納されているクエリ単語と合致する単語を検出するクエリ単語検出手段と、正解文書集合データベースに格納されている各正解文書及び不正解文書集合データベースに格納されている各不正解文書において、クエリ単語検出手段で検出された前記各文書内のクエリ単語と合致する単語の近傍に出現する任意の単語の出現頻度を当該任意の単語毎に計測する近傍語頻度計測手段と、近傍語頻度計測手段で計測された、正解文書におけるクエリ単語と合致する単語の近傍に出現する任意の単語の出現頻度及び不正解文書におけるクエリ単語と合致する単語の近傍に出現する任意の単語の出現頻度から、クエリ単語の属する前記一の単語クラスにおける前記任意の単語の重要度を当該任意の単語毎に計算する近傍語重要度計算手段と、検索対象文書データベースに格納されている検索対象文書から前記一の単語クラスに属する単語をその近傍の単語とともに抽出し、近傍語重要度計算手段で計算されたクエリ単語の属する前記一の単語クラスにおける前記任意の単語の重要度のうち、前記近傍の単語と一致する前記任意の単語の重要度を用いて前記一の単語クラスに属する単語に対する当該検索対象文書のスコアを計算し、これを各検索対象文書中に含まれる全ての前記一の単語クラスに属する単語について繰り返し、各検索対象文書と前記一の単語クラスに属する各単語との組み合わせに対応するスコアを要素とするインデックスを生成するインデックス生成手段とを有することを特徴とする。
【０００６】
また、本発明のインデックス作成方法は、検索対象文書の集合からクエリに適合する文書を検索し、適合順にランク付けするためのインデックスを作成する方法であって、単語に関する何らかの分類を表す単語クラスのうちの一の単語クラスに属するクエリ単語の集合と当該集合内の各クエリ単語に対して適合する正解文書の集合とを格納する正解文書集合データベースと、前記一の単語クラスに属するクエリ単語の集合と当該集合内の各クエリ単語に対して適合しない不正解文書の集合とを格納する不正解文書集合データベースと、検索対象文書の集合を格納する検索対象文書データベースとを用い、クエリ単語検出手段が、正解文書集合データベースに格納されている各正解文書及び不正解文書集合データベースに格納されている各不正解文書から、正解文書集合データベース及び不正解文書集合データベースに格納されているクエリ単語と合致する単語を検出するステップと、近傍語頻度計測手段が、正解文書集合データベースに格納されている各正解文書及び不正解文書集合データベースに格納されている各不正解文書において、クエリ単語検出ステップで検出された前記各文書内のクエリ単語と合致する単語の近傍に出現する任意の単語の出現頻度を当該任意の単語毎に計測するステップと、近傍語重要度計算手段が、近傍語頻度計測ステップで計測された正解文書におけるクエリ単語と合致する単語の近傍に出現する任意の単語の出現頻度及び近傍語頻度計測ステップで計測された不正解文書におけるクエリ単語と合致する単語の近傍に出現する任意の単語の出現頻度から、クエリ単語の属する前記一の単語クラスにおける前記任意の単語の重要度を当該任意の単語毎に計算するステップと、インデックス生成手段が、検索対象文書データベースに格納されている検索対象文書から前記一の単語クラスに属する単語をその近傍の単語とともに抽出し、近傍語重要度計算ステップで計算されたクエリ単語の属する前記一の単語クラスにおける前記任意の単語の重要度のうち、前記近傍の単語と一致する前記任意の単語の重要度を用いて前記一の単語クラスに属する単語に対する当該文書のスコアを計算し、これを各検索対象文書中に含まれる全ての前記一の単語クラスに属する単語について繰り返し、各検索対象文書と前記一の単語クラスに属する各単語との組み合わせに対応するスコアを要素とするインデックスを生成するステップとを含むことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、正解文書と不正解文書に存在するクエリ単語の近傍語の重要度を学習し、検索対象文書に対して近傍語の重要度を学習したクエリ単語と同じ単語クラスのインスタンス（単語）のスコアを予め格納しておくことにより、当該単語クラスのインスタンスをクエリ単語として検索した場合に、リンク情報が少ない場合や文書の内容量が少ない場合でも精度の高いランキングを実現することが可能である。例えば、クエリ単語が人名クラスに属する場合には、クエリ単語が人名インスタンスである場合に準備された正解文書と不正解文書の人名インスタンスと近傍語とから当該人名クラスの近傍語の重要度を学習しておき、検索対象文書の集合に対しては、文書中に存在する人名クラスの近傍語について前記学習した重要度を人名インスタンスのスコアに反映させ、これを格納した人名文書行列を作成し、検索要求としてクエリ単語が人名クラスのあるインスタンスである場合に当該人名インスタンスのスコアが高い順番に文書を出力することで、精度の高い検索ランキングを実現することが可能となる。本発明は、特にクエリ単語の数が１つしかない場合の検索要求に対して有効である。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態について図面を参照して説明する。
【０００９】
図１は本発明のインデックス作成装置の実施の形態の一例を示すもので、本実施の形態のインデックス作成装置は、正解文書データベース（ＤＢ）１と、不正解文書データベース（ＤＢ）２と、検索対象文書データベース（ＤＢ）３と、形態素解析部４と、単語クラス同定部５と、クエリ単語検出部６と、近傍語頻度計測部７と、近傍語重要度計算部８と、近傍語重要度テーブル９と、インデックス生成部１０とからなっている。
【００１０】
正解文書ＤＢ１は、様々なクエリに対してそれに適合する文書を検索エンジンで検索するための単語（以下、クエリ単語と呼ぶ。）であって、人名、地名等の固有表現や、特定の分野、目的を示すジャンル名等の、単語に関する何らかの分類を表す単語クラスのうちの一の単語クラスに属するクエリ単語の集合と、前記クエリ単語の集合内の各クエリ単語に対して適合する文書（いずれかのクエリ単語を少なくとも１つ含み且つ当該クエリ単語の検索結果として適切な文書）である正解文書の集合とを格納している。
【００１１】
不正解文書ＤＢ２は、前記一の単語クラスに属するクエリ単語の集合と、当該集合内の各クエリ単語に対して適合しない文書（いずれかのクエリ単語を少なくとも１つ含むが、当該クエリ単語の検索結果としては不適切な文書）である不正解文書の集合とを格納している。
【００１２】
なお、前述した正解文書及び不正解文書は、任意の大規模テキストコーパスに含まれる文書から、予め手作業でその適合・不適合を判定することにより取得するものとする。また、前述した不正解文書の代わりに、正解文書以外の文書を不正解文書として不正解文書ＤＢ２に格納しても良い。
【００１３】
検索対象文書ＤＢ３は、検索対象文書の集合を格納している。
【００１４】
形態素解析部４は、入力された文書を形態素（単語）に分割し、各単語に表記、読み、品詞等の単語情報を付与して単語情報付の単語列（以下、単に単語列と呼ぶ。）を出力する。
【００１５】
単語クラス同定部５は、入力された単語列中の各単語についてその単語クラスを、予め用意された単語クラスの集合、ここでは各クエリ単語が属する単語クラスの集合の中から判別（同定）し、当該単語クラスを表す識別子を付与して出力する。なお、具体的な単語クラス同定の手法としては、周知の固有表現抽出に用いられている、予めデータから学習した統計的モデルに基づく手法（例えば、特許第４００５４７７号公報（特願２００２−３１７４３５）参照）を用いることができる。
【００１６】
クエリ単語検出部６は、正解文書集合ＤＢ１に格納されている各正解文書及び不正解文書集合ＤＢ２に格納されている各不正解文書から、正解文書集合ＤＢ１及び不正解文書集合ＤＢ２に格納されているクエリ単語と合致する単語を検出する。
【００１７】
近傍語頻度計測部７は、正解文書集合ＤＢ１に格納されている各正解文書及び不正解文書集合ＤＢ２に格納されている各不正解文書において、クエリ単語検出部６で検出された前記各文書内のクエリ単語と合致する単語の近傍に出現する任意の単語の出現頻度を当該任意の単語毎に計測する。
【００１８】
近傍語重要度計算部８は、近傍語頻度計測部７で計測された、正解文書におけるクエリ単語と合致する単語の近傍に出現する任意の単語の出現頻度及び不正解文書におけるクエリ単語と合致する単語の近傍に出現する任意の単語の出現頻度から、クエリ単語の属する前記一の単語クラスにおける前記任意の単語の重要度を当該任意の単語毎に計算する。
【００１９】
近傍語重要度テーブル９は、近傍語頻度計測部７で計測された正解文書におけるクエリ単語と合致する単語の近傍に出現する任意の単語の出現頻度及び近傍語頻度計測部７で計測された不正解文書におけるクエリ単語と合致する単語の近傍に出現する任意の単語の出現頻度を格納するとともに、近傍語重要度計算部８で計算されたクエリ単語の属する前記一の単語クラスにおける前記任意の単語の重要度を格納する。
【００２０】
インデックス生成部１０は、検索対象文書ＤＢ３に格納されている検索対象文書から前記一の単語クラスに属する単語をその近傍の単語とともに抽出し、近傍語重要度計算部８で計算されたクエリ単語の属する前記一の単語クラスにおける前記任意の単語の重要度のうち、前記近傍の単語と一致する前記任意の単語の重要度を用いて前記一の単語クラスに属する単語に対する当該検索対象文書のスコアを計算し、これを各検索対象文書中に含まれる全ての前記一の単語クラスに属する単語について繰り返し、各検索対象文書と前記一の単語クラスに属する各単語との組み合わせに対応するスコアを要素とするインデックスを生成する。
【００２１】
図２乃至図４は本発明のインデックス作成処理の概要、ここではクエリが人名クラスに属するインスタンス（クエリ単語）の場合の処理の概要を示すものである。
【００２２】
即ち、まず、様々なクエリ単語Ｑｉ（ｉ＝１，２，…）（人名）を含む文書のうち、ランキング上位が望ましい正解文書Ａの集合及びランキング上位にしたくない不正解文書Ｂの集合をクエリ単語Ｑｉ毎に用意し、文書中で一のクエリ単語Ｑｉの近傍に出現する任意の単語Ｗ１，Ｗ２，…Ｗｎの出現頻度を正解文書Ａ及び不正解文書Ｂについてカウントし、これを各クエリ単語Ｑｉについて同様に繰り返し、さらにこの出現頻度を任意の単語Ｗ１，Ｗ２，…Ｗｎ毎に加算し、人名クラスに属する単語に対する単語Ｗ１，Ｗ２，…Ｗｎの重要度を学習（計算）する（Ｓｔｅｐ１）。
【００２３】
次に、検索対象文書から人名クラスに属する単語Ｐ１，Ｐ２，…Ｐｍをその近傍の単語とともに抽出し、当該近傍の単語と一致する前記学習した単語Ｗ１，Ｗ２，…Ｗｎの重要度に基づいて単語Ｐ１，Ｐ２，…Ｐｍに対する検索対象文書のスコアを計算し、これを各検索対象文書Ｄ１，Ｄ２，…Ｄｏについて繰り返して人名文書行列（インデックス）を生成する（Ｓｔｅｐ２）。
【００２４】
以上の処理はオフラインにて事前に行われ、オンラインで実行される任意の検索エンジンに対するクエリが人名クラスのインスタンスである場合に、前記人名文書行列中のそのインスタンスのスコアを検索ランキングに反映させることができる。特に、（１）クエリに対する近傍の単語の情報を用いるので、リンク情報が少ない文書集合に対しても有効である。（２）必要とするのは近傍の単語のみなので、内容量が少ない文書でも有効である。
【００２５】
以下、前述した各部における処理の詳細について例を挙げて説明する。
【００２６】
［クエリ単語検出部６］
クエリ単語検出部６は、正解文書ＤＢ１に格納されている各正解文書に対して、同じく正解文書ＤＢ１に格納されているクエリ単語に合致する単語の当該文書内での出現位置を検出し、また、不正解文書ＤＢ２に格納されている各不正解文書に対して、同じく不正解文書ＤＢ２に格納されているクエリ単語に合致する単語の当該文書内での出現位置を検出する。
【００２７】
この際、クエリ単語に合致する単語の検出には、形態素解析部４及び単語クラス同定部５を用いる。例えば、正解文書ＤＢ１または不正解文書ＤＢ２に格納されているクエリ単語が人名クラスに属するという情報が予め与えられている場合、クエリ単語検出部３は、正解文書ＤＢ１に格納されている正解文書または不正解文書ＤＢ２に格納されている不正解文書の各単語の単語クラスを形態素解析部４及び単語クラス同定部５を用いて同定させ、前記正解文書または不正解文書中より人名クラスの識別子が付与された単語（人名インスタンス）を抽出し、該抽出された人名インスタンスの集合の中から当該クエリ単語に合致する単語の当該文書内での出現位置を検出する。
【００２８】
図５は単語クラス同定部５における学習モデルの一例を示すもので、ここでは連続する２つの形態素の出現頻度を格納した例を示している。
【００２９】
また、図６は文書に対して形態素解析及び単語クラス同定を行った後の単語列の一例を示すもので、ここでは「横須賀銀行頭取の長谷川さんってほんとにいい人かもね」という文書に対して形態素解析を行って各単語に表記、読み、品詞を付与し、さらに単語クラス同定（但し、ここでは狭義の単語クラス同定としての固有表現抽出）を行って識別子（ここでは固有表現タグ）を付与した例を示している。この際、クエリ単語が人名クラスに属するという情報が与えられていると、固有表現タグが人名クラス（＜ＰＳＮ＞）の単語「長谷川」が抽出される。
【００３０】
なお、クエリ単語に合致する単語の検出には、単純に文字列での照合を利用するなどの方法を取っても良く、必ずしも形態素解析部４及び単語クラス同定部５を用いることを必要としない。
【００３１】
［近傍語頻度計測部７］
近傍語頻度計測部７は、正解ＤＢ１に格納されている各正解文書において、クエリ単語検出部６で検出された各正解文書内のクエリ単語と合致する単語の当該文書内での出現位置の近傍に出現する、正確には当該出現位置からその前後の予め近傍と定義されたウインドウサイズ内に出現する任意の単語（例えば、近傍と定義されたウインドウサイズが５の場合は、クエリ単語と合致する単語の前後５個の任意の単語）の出現頻度を当該任意の単語毎にカウントし、また、不正解文書ＤＢ２に格納されている各不正解文書において、クエリ単語検出部６で検出された各不正解文書内のクエリ単語と合致する単語の当該文書内での出現位置の前記同様の近傍に出現する任意の単語の出現頻度を当該任意の単語毎にカウントし、これらを正解文書における前記任意の単語の総数及び不正解文書における前記任意の単語の総数とともに近傍語重要度テーブル９に格納する。
【００３２】
なお、出現頻度をカウントする単語は形態素解析部４が付与した品詞等の情報を用いて取捨選択、例えば品詞が助詞や助動詞等の機能語に相当する単語は除外するようにしても良い。また、この際、形態素解析部４を用いない場合、予め重要度を計算したい単語の集合を格納したリストを用意しておき、文字列照合で検出したクエリ単語に合致する単語の近傍に当該リストに格納された単語が含まれているかを文字列照合で調べることにより、前記同様に品詞が助詞や助動詞等の機能語に相当する単語は除外するようにしても良い。
【００３３】
［近傍語重要度計算部８］
近傍語重要度計算部８は、近傍語頻度計測手段７で計測され近傍語重要度テーブル９に格納された、正解文書におけるクエリ単語と合致する単語の近傍に出現する任意の単語の出現頻度（正解近傍頻度）、不正解文書におけるクエリ単語と合致する単語の近傍に出現する任意の単語の出現頻度（不正解近傍頻度）、正解文書における前記任意の単語の総数（正解近傍単語総数）及び不正解文書における前記任意の単語の総数（不正解近傍単語総数）から、クエリ単語の属する前記一の単語クラスにおける前記任意の単語の重要度を当該任意の単語毎に計算し、近傍語重要度テーブル９に格納する。
【００３４】
図７は近傍語重要度テーブルの一例を示すもので、任意の単語Ｗ１，Ｗ２，…Ｗｎに対する正解近傍頻度、不正解近傍頻度、正解近傍単語総数、不正解近傍単語総数及び重要度が格納されている。
【００３５】
ここで重要度、例えばＣは、任意の単語Ｗ１，Ｗ２，…Ｗｎ毎に、正解近傍頻度（Ｅ）、不正解近傍頻度（Ｆ）、正解近傍単語総数（Ｇ）及び不正解近傍単語総数（Ｈ）から、
Ｃ＝ｌｎ〔（Ｅ／Ｇ）／｛（Ｅ＋Ｆ）／（Ｇ＋Ｈ）｝〕              …（１）
によって求めることができる。なお、重要度は負の値をとっても良い。また、上記式（１）は一例であり、正解文書と不正解文書を比較した結果、正解文書において頻出する割合の高い単語が大きな値の重要度を持つことになる式であれば、これに限定するものではない。
【００３６】
［インデックス生成部１０］
インデックス生成部１０は、検索対象文書ＤＢ３に格納されている検索対象文書から前記一の単語クラスに属する単語をその近傍の単語、正確には前記一の単語クラスに属する単語の位置からその前後の予め定義されたウインドウサイズ内に出現する単語（例えば、近傍と定義されたウインドウサイズが３の場合は、一の単語クラスに属する単語の前後３個の任意の単語）とともに抽出し、近傍語重要度計算部８で計算され、近傍語重要度テーブル９に格納されたクエリ単語の属する前記一の単語クラスにおける前記任意の単語の重要度のうち、前記近傍の単語と一致する前記任意の単語の重要度を用いて前記一の単語クラスに属する単語に対する当該検索対象文書のスコアを計算し、これを各検索対象文書中に含まれる全ての前記一の単語クラスに属する単語について繰り返し、各検索対象文書と前記一の単語クラスに属する各単語との組み合わせに対応するスコアを要素とするインデックスを生成する。
【００３７】
この際、一の単語クラスに属する単語の抽出には、形態素解析部４及び単語クラス同定部５を用いる。即ち、インデックス生成部１０は、検索対象文書ＤＢ３に格納されている検索対象文書の各単語の単語クラスを形態素解析部４及び単語クラス同定部５を用いて同定させ、前記検索対象文書中より前記一の単語クラスの識別子が付与された単語を抽出することにより行う。
【００３８】
ここで、一の単語クラスに属する単語（クエリ単語）となり得るインスタンス（ｑ）を含む文書（ｄ）のスコア（Ｓ（ｄ，ｑ））は、各インスタンス（ｑｉ）の近傍語（Ｗｊ）の重要度（Ｃ（ｑｉ，Ｗｊ））の和に当該一の単語クラスのインスタンスの文書内頻度（ＴＦ（ｑ））を重み付きで加え、
Ｓ（ｄ，ｑ）＝αΣΣＣ（ｑｉ，Ｗｊ）＋βＴＦ（ｑ）              …（２）
として求めることができる。
【００３９】
計算されたスコアは、前記一の単語クラスの各インスタンスと各検索対象文書との行列の要素として格納する。例えば、単語クラスが人名クラスの場合は、人名インスタンスと検索対象文書を軸とする人名文書行列を作成し、各要素には各検索対象文書に含まれる人名インスタンスのスコアを格納する。
【００４０】
図８はインデックスの一例、ここでは人名文書行列の一例を示すものである。検索対象文書Ｄ１からＤｏに対して、各々の文書に含まれる人名インスタンスとして人名Ｐ１から人名Ｐｍのスコアを格納する。なお、ある検索対象文書にある人名インスタンスが存在しなければ、当該文書における当該人名インスタンスのスコアは０とする。
【００４１】
図９はインデックス生成部１０における詳細な処理の流れの一例を示すもので、検索対象文書には形態素解析及び固有表現抽出が適用され、単語列に固有表現のカテゴリを表す固有表現タグが付与されているものとする。
【００４２】
まず、ステップｓ１により検索対象文書の文頭にポインタをセットし、ステップｓ２、ステップｓ１２、ステップｓ１３でポインタが文末に達するまでポインタの指す単語を順次取得していく。
【００４３】
ステップｓ３にて前記取得した単語が人名インスタンスＰｋ（ｋ＝１，２，…ｍ）を構成する単語かどうかを判定し、そうであれば、当該人名インスタンスＰｋが出現したことを反映させるため、ステップｓ４にて当該人名インスタンスＰｋに対する当該検索対象文書のスコアに１を加算する。なお、ステップｓ４は省略しても良い。
【００４４】
ステップｓ５からステップｓ１１にて、当該人名インスタンスＰｋの前後Ｎ個の単語について、近傍語重要度計算部８で重要度が計算された任意の単語と一致する単語があれば、その重要度を当該人名インスタンスＰｋに対する当該検索対象文書のスコアに加算する。
【００４５】
最後に、ステップｓ１４にて検索対象文書中の全ての人名インスタンスＰ１〜Ｐｍに対する当該検索対象文書のスコアを出力する。
【００４６】
図９に示す処理を行うことで検索対象文書における各人名インスタンスＰｍに対する当該文書のスコアを得ることができ、この結果、人名文書行列を得ることができる。
【００４７】
なお、前述した実施の形態において、正解文書ＤＢ１に他の単語クラスに属するクエリ単語の集合と当該集合内の各クエリ単語に対して適合する正解文書の集合を格納させ、不正解文書ＤＢ２に前記他の単語クラスに属するクエリ単語の集合と当該集合内の各クエリ単語に対して適合しない不正解文書の集合を格納させれば、各検索対象文書と前記他の単語クラスに属する各単語との組み合わせに対応するスコアを要素とするインデックスを生成できることはいうまでもない。
【００４８】
また、本発明は、周知のコンピュータに記録媒体もしくは通信回線を介して、図１の構成図に示された機能を実現するプログラムをインストールすることによっても実現可能である。
【図面の簡単な説明】
【００４９】
【図１】本発明のインデックス作成装置の実施の形態の一例を示す構成図
【図２】本発明のインデックス作成処理の概要を示す説明図
【図３】図２中のＳｔｅｐ１の詳細を示す説明図
【図４】図２中のＳｔｅｐ２の詳細を示す説明図
【図５】単語クラス同定部における学習モデルの一例を示す説明図
【図６】形態素解析及び単語クラス同定を行った後の単語列の一例を示す説明図
【図７】近傍語重要度テーブルの一例を示す説明図
【図８】インデックスの一例を示す説明図
【図９】インデックス生成部の処理の流れの一例を示すフローチャート
【符号の説明】
【００５０】
１：正解文書データベース、２：不正解文書データベース、３：検索対象文書データベース、４：形態素解析部、５：単語クラス同定部、６：クエリ単語検出部、７：近傍語頻度計測部、８：近傍語重要度計算部、９：近傍語重要度テーブル、１０：インデックス生成部。
【図１】
2009157458.tif 000003
【図２】
2009157458.tif 000004
【図３】
2009157458.tif 000005
【図４】
2009157458.tif 000006
【図５】
2009157458.tif 000007
【図６】
2009157458.tif 000008
【図７】
2009157458.tif 000009
【図８】
2009157458.tif 000010
【図９】
2009157458.tif 000011