(57)【特許請求の範囲】
【請求項１】
共起語表が格納されている共起語データベースと、
検索要求に従って前記共起語データベースを参照し、該検索要求を拡張する検索要求拡張部と、
前記検索要求と、該検索要求拡張部で追加された共起語とを用いて、検索対象文書を類似文書検索する検索実行部と、
該検索実行部の類似文書検索によって得られた文書を表示する検索結果表示部とを具備し、
前記共起語データベースを作成する手段は、
共起語抽出の基となる文書を形態素解析し、該文書から名詞を抽出する名詞抽出手段と、
該抽出された名詞の２語の組合せにおいて、該２語が共に出現する文書数、該２語のうちの一方の語が出現し他方の語が出現しない文書数、該２語のうちの他方の語が出現し一方の語が出現しない文書数、および該２語の両方とも出現しない文書数を用いて、該２語が共起する尤もらしさを表す尤度を計算する尤度計算手段と、
該尤度計算手段で求められた尤度順に順序付けられた共起語表を作成する手段とからなることを特徴とする文書検索システム。
【請求項２】
請求項１に記載の文書検索システムにおいて、
前記共起語データベースには、分野別に共起語表が形成されていることを特徴とする文書検索システム。
【請求項３】
請求項１または２に記載の文書検索システムにおいて、
前記検索要求拡張部は、前記検索要求に対応する共起語を尤度の高い順に前記共起語データベースから取り出し、前記検索要求に追加することを特徴とする文書検索システム。
【請求項４】
請求項１ないし３のいずれかに記載の文書検索システムにおいて、
前記検索結果表示部は、検索結果の一覧を、検索要求に対する類似度順に表示することを特徴とする文書検索システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は文書検索システムに関し、特に分野毎の有用な文書から抽出した共起語情報に基づいて、検索要求を拡張できるようにした文書検索システムに関する。
【０００２】
【従来の技術】
従来の情報検索方式としては、全文またはインデックス・データベースを対象としたキーワード検索方式、および、検索要求と検索対象文書に対して、語の出現分布に基づくベクトル空間モデルや確率モデルに基づく類似（連想）文書検索方式が知られている。しかしながら、これらの方式では、検索要求として与えられた情報（キーワード、フレーズ等）を手がかりとして検索を行うため、必ずしも目的に適合した文書が効率良く検索できるとは限らない。
【０００３】
そこで、検索結果の中の、利用者が有用と判断した文書から抽出した重要語を最初の検索要求に加える適合フィードバック方式、または利用者の判断を経ない擬似的適合フィードバック方式が提案された。また、検索対象に関する何らかの知識源から取り出した関連語を利用者に示し、検索要求への選択的な追加を許す方式も提案されている。
【０００４】
一般に、検索要求が曖昧であったり断片的であったりする場合には、大量の検索結果の中から、目的の文書を探索することが非常に困難であるが、前記フィードバック方式等は、検索要求自体を何らかの形で拡張して検索目的に反映することができるので、有意義な方式であると考えられる。
【０００５】
【発明が解決しようとする課題】
しかしながら、前記適合フィードバック方式は、検索の利用者に対して、大きな判断負荷をかけるという問題があった。また、前記擬似的適合フィードバック方式は、利用者の判断を経ないが、検索結果の上位の文書群から自動的に重要語を追加するため、必ずしも効率良く検索精度が向上するとは限らないという問題があった。
【０００６】
また、前記検索要求への選択的な追加を許す方式は、階層的なシソーラスや一連の文書群を参照して関連語を決定することになるため、適切な情報源として特定するだけの根拠が曖昧である場合が多いという問題があった。
【０００７】
したがって、前記した従来の情報検索方式では、検索要求に適切な語を追加するなどの拡張を行うに当たって、煩雑な手続が必要であったり、十分に的確な情報が参照されているかについて不確かであったりするという問題があった。
【０００８】
本発明は、前記した従来技術に鑑みてなされたものであり、その目的は、検索結果の中から、適合文書を効率良く発見することを支援する文書検索システムを提供することにある。
【０００９】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、共起語表が格納されている共起語データベースと、検索要求に従って前記共起語データベースを参照し、該検索要求を拡張する検索要求拡張部と、前記検索要求と、該検索要求拡張部で追加された共起語とを用いて、検索対象文書を類似文書検索する検索実行部と、該検索実行部の類似文書検索によって得られた文書を表示する検索結果表示部とを具備し、前記共起語データベースを作成する手段は、共起語抽出の基となる文書を形態素解析し、該文書から名詞を抽出する名詞抽出手段と、該抽出された名詞の２語の組合せにおいて、該２語が共に出現する文書数、該２語のうちの一方の語が出現し他方の語が出現しない文書数、該２語のうちの他方の語が出現し一方の語が出現しない文書数、および該２語の両方とも出現しない文書数を用いて、該２語が共起する尤もらしさを表す尤度を計算する尤度計算手段と、該尤度計算手段で求められた尤度順に順序付けられた共起語表を作成する手段とからなる点に特徴がある。
【００１１】
前記特徴によれば、検索要求に共起語を追加補完して検索実行をすることができるので、検索結果の中から適合文書を効率良く発見することができるようになる。
【００１２】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の文書検索システムの一実施形態を示すブロック図である。
【００１３】
該文書検索システムは、大別すると、図示されているように、共起語情報抽出部１と検索処理部２とから構成されている。また、該共起語情報抽出部１は、共起語抽出の基となる文書（事例）を登録する事例登録部１１、該事例登録部１１に登録された事例から、形態素解析辞書１３を参照して共起語情報を抽出する共起語情報抽出部１２、および該共起語情報抽出部１２で抽出された共起語情報を、分野別に蓄積する分野別共起語ＤＢ（データベース）１４から構成されている。  一方、前記検索処理部２は、分野を指定して検索要求（検索語）を与える検索要求解析部２１と、前記分野別共起語ＤＢ１４を参照して、前記検索要求を拡張または追加補完する検索要求拡張部２２と、該検索要求拡張部２２で拡張された検索要求を用いてインターネット上の文書等である検索対象文書２５を検索する検索実行部２３と、検索結果表示部２４とから構成されている。
【００１４】
次に、前記共起語情報抽出部１の機能を、図１、図２を参照して詳細に説明する。図２は、該共起語情報抽出部１の機能を示すフローチャートである。
【００１５】
まず、共起語抽出の原理または概念を説明する。例えば、「理科」の教科書領域内で、天文関連の用語である「火星」に関する学習情報を検索する場合を考えると、「火星」のみを検索語とした場合は、検索意図が曖昧で、検索範囲によっては、大量の不適合文書が検索されることになる。もし、この「火星」に、学習利用可能と判断された文書群内で、「火星」と高頻度で共起する語を追加したとすると、より検索結果は絞り込まれたものとなる。このように、高頻度で共起する検索語を追加した上で、類似文書検索を実行すれば、従来のキーワードのＡＮＤ検索や、ＯＲ検索では得られない精度と再現率の両立を図ることが可能であると考えられる。以上が該共起語抽出の原理または概念である。
【００１６】
そこで、図２のステップＳ１では、オペレータは、事例登録部１１に、活用実績のある、または活用可能と判断した文書を登録する。この登録の際に、分野も一緒に登録するのが好適である。例えば、「理科」の教科書領域内で活用可能と判断した文書を多数収集し、分野、例えば天文、地学、物理、化学、動物、植物、気象などの分野を指定して、事例登録部１１に登録する。
【００１７】
次に、ステップＳ２では、共起語情報抽出部１２は、形態素解析辞書１３を参照して、各分野毎に、各文書を形態素解析し、文書中から名詞のみを抽出し、各名詞（異なり語）が出現する文書数（または、ページ数）を計算する。その一例である実験例を、図３に示す。図３では、抽出された名詞が、代表語として、頻度順に、並べられている。
【００１８】
上記ステップＳ２のように、単純に共起頻度の高い語を順に選ぶだけでは、元の語と共起する語双方の単独での出現頻度に対する、相対的な共起性が反映されない。そこで、ステップＳ３、Ｓ４の処理をする。
【００１９】
すなわち、ステップＳ３では、各分野毎に、抽出された名詞（異なり語）のうち、全ての２語の組み合わせについて、同時に出現する文書数、一方の語だけが出現するそれぞれの文書数、および両方の語とも出現しない文書数を算出する。
【００２０】
一般的に、図４に示すように、２語の組み合わせｗｊ、ｗｋ において、２語ｗｊ、ｗｋ が共に出現する文書数をｎ１１、ｗｊ が出現し、ｗｋ が出現しない文書数をｎ１２、ｗｊ が出現せず、ｗｋ が出現する文書数をｎ２１、およびｗｊ、ｗｋ 共に出現しない文書数をｎ２２とする。
【００２１】
次に、ステップＳ４では、各分野毎に、各語について、それと共起する他の語に対して、ステップＳ３の結果を用いた尤度計算を行い、尤度順に順序付けられた共起語表、すなわち共起語ＤＢを作成する。
【００２２】
以下に、該ステップＳ４の処理をより詳細に説明する。
いま、共起語を収集する文書集合を、Ｄ｛ｄ１，ｄ２，・・・，ｄＮ｝、集合内の異なり語を｛ｗ１，ｗ２，・・・，ｗＭ｝とする。ここで、ｄｉは個々の文書を、ｗｊは個々の異なり語を示す。
【００２３】
そうすると、共起度数Ｃは、次のように表すことができる。
もし、ｗｊとｗｋが同一文書に出現しているならば、Ｃ（ｄｉ，ｗｊ，ｗｋ）＝１、もし、ｗｊとｗｋが同一文書に出現していないならば、Ｃ（ｄｉ，ｗｊ，ｗｋ）＝０、
【００２４】
次に、１９９５年、講談社サイエンティフィク発行の「情報量基準による統計解析入門」を参照して、前記した相対的な共起性による頻度分布を考慮に入れた共起度数ＣＯＯＣを、次式のように定義する。ＬＬは対数尤度である。
0004888677.tif 000002
ただし、Ｎ＝ｎ１１＋ｎ１２＋ｎ２１＋ｎ２２である。
ここで、マイナスの共起を除去するために、次の条件を付ける。
ｎ１１／（ｎ１１＋ｎ２１）＞ｎ１２／（ｎ１２＋ｎ２２）
上記の条件を満たすものだけを、プラスの共起語と認定する。
【００２５】
以上のようにして定義した対数尤度に従って、ある語に対する共起語は順序付けられる。これを、共起度と呼ぶことにする。
ステップＳ４により求められた共起語表の一例を、図５に示す。図５は、「光年」を中心とした場合の尤度である。このような共起語表が、図１の分野別共起語ＤＢ１４に格納される。
【００２６】
次に、前記検索処理部２の動作を、図１および図６のフローチャートを参照して説明する。
ステップＳ１１では、検索要求（検索語、断片文などのテキスト）の受付を行う。検索要求解析部２１は、形態素解析辞書１３を参照することにより、入力された検索語を同定する。ステップＳ１２では、検索対象分野の指定を行う。すなわち、ユーザから、検索目的に合致する分野の選択を受ける。該同定された検索語と指定された検索対象分野とは、検索要求拡張部２２に送られ、該検索要求拡張部２２は、参照すべき共起語ＤＢを決定する。
【００２７】
ステップＳ１３では、検索要求拡張部２２は、分野別共起語ＤＢ１４を参照して、検索要求の拡張（共起語の追加）または追加補完を行う。すなわち、ステップＳ１１の検索語に対応する共起語ＤＢ内の共起語表を参照し、尤度の高い順に、共起語を１または複数語追加する。例えば、検索語「光年」に対しては、「距離」、「銀河」、「星」、・・・の順に追加する。なお、本発明者の実験によれば、２または３語の追加が好適であることが分かったが、これに限定されるものではない。
【００２８】
次に、ステップＳ１４では、検索実行部２３が、文書検索を実行する。すなわち、ステップＳ１３で共起語を追加された検索要求を新たな検索要求として、検索実行部２３は、例えばインターネット上の検索対象文書２４に対して類似文書検索を実行する。そして、検索結果を類似度順に出力する。
【００２９】
最後に、ステップＳ１５において、検索結果表示部２４は検索結果を表示する。該検索結果の表示では、検索結果の一覧を、検索要求に対する類似度順に表示すると共に、対象文書を選択および表示する。
【００３０】
図７、図８は、本発明者が、２１個の検索語について行った実験結果を集計し、再現率と検索精度との関係をグラフで表した結果を示す。図７は、学習分野を限定して共起語情報を用いた場合の検索結果、図８は、学習分野全体の共起語情報を用いた場合の検索結果を示す。
【００３１】
グラフの横軸の再現率は、前記検索結果表示部２４に例えばＡ個（Ａは、正の整数）の文書が類似度順に一覧として表示された場合、再現率０．０は該類似度が最上位の文書、再現率０．１は最上位から（０．１×Ａ）個までの文書、再現率０．２は最上位から（０．２×Ａ）個までの文書、・・・、再現率１．０は最上位から（１．０×Ａ）個までの文書を意味する。
【００３２】
図７、図８から、再現率が０．０〜０．１では、検索語に共起語を２または３語加えて類似検索をした場合に、良好な検索精度が得られることが分かった。
【００３３】
また、図１に示されているように、検索結果表示部２４に提示された文書の中から目的にかなう文書を適宜選択し、該文書を事例登録部１１にフィードバックして、前記図２で説明した共起語情報抽出動作を行うことにより、前記分野別共起語ＤＢ１４の内容をより高精度に更新することができるようになる。
【００３４】
【発明の効果】
以上の説明から明らかなように、本発明によれば、検索要求に共起語を追加補完して検索要求を拡張するようにしたので、検索結果の中から適合文書を効率良く発見することができるようになる。また、該共起語を追加補完するにあたって、検索要求に対応する的確な情報を参照することができるようになる。このため、特に、中学、高校、大学等の学習情報の検索効率、各分野の研究者などの研究情報の検索効率等を、大きく向上させることができるようになる。
【図面の簡単な説明】
【図１】  本発明の一実施形態の構成を示すブロック図である。
【図２】  本発明の共起語情報抽出処理のフローチャートである。
【図３】  分野と、収集したページ数と、抽出した名詞の実験例を示す図である。
【図４】  共起語同士の出現態様を区分けした図である。
【図５】  共起語表の一具体例を示す図である。
【図６】  検索実行の動作を示すフローチャートである。
【図７】  学習分野を限定して共起語情報を用いた場合の検索結果の実験例を示す図である。
【図８】  学習分野全体の共起語情報を用いた場合の検索結果の実験例を示す図である。
【符号の説明】
１・・・共起語情報抽出部、２・・・検索処理部、１１・・・事例登録部、１２・・・共起語情報抽出部、１３・・・形態素解析辞書、１４・・・分野別共起語ＤＢ、２１・・・検索要求解析部、２２・・・検索要求拡張部、２３・・・検索実行部、２４・・・検索結果表示部、２５・・・検索対象文書。
【図１】
0004888677.tif 000003
【図２】
0004888677.tif 000004
【図３】
0004888677.tif 000005
【図４】
0004888677.tif 000006
【図５】
0004888677.tif 000007
【図６】
0004888677.tif 000008
【図７】
0004888677.tif 000009
【図８】
0004888677.tif 000010