(57)【要約】【課題】文書ＤＢからユーザが所望する文書を検索するときに、再現率の向上を図るとともに、検索条件の評価にかかる全体の時間の増大を防ぐことができる文書検索装置を提供する。【解決手段】この文書検索装置は、入力した検索条件を形態素解析して単語を抽出し、この単語に対する語幹と前記検索条件式から初期検索条件式を生成し、さらに、前記検索条件式から抽出した単語の形態素解析結果を用いて、該単語に対する変化形と前記検索条件式から絞込検索条件式を生成する。初めに、前記初期検索条件式に対して文書ＤＢの１次検索を行って中間結果を作成し、前記中間結果の文書に対して前記絞込検索条件式を適用して全文検索を行う。これにより、１次検索で検索対象のデータを減らすことができるので、２次検索における全文検索においても検索式の評価時間の増大を防ぐことができる。【選択図】        図１
2005004606.tif 000002
【特許請求の範囲】
【請求項１】
文書データベースに格納されている文書の全文を対象として、検索条件と合致する文書を検索する文書検索装置であって、前記文書データベース中の全文書に対して、全文索引を生成する索引生成部と、前記検索条件を入力する検索語入力部と、前記検索条件を形態素解析して単語を抽出し、この単語に対する語幹と前記検索条件式から初期検索条件式を生成する語幹抽出部と、前記語幹抽出部で抽出した単語の形態素解析結果を用いて、該単語に対する変化形と前記検索条件式から絞込検索条件式を生成する単語生成部と、前記初期検索条件式または前記絞込検索条件式を適用して前記文書データベースの検索を行う検索実行部とを備え、前記検索実行部は、前記語幹抽出部から前記初期検索条件式を渡された場合には、前記全文索引を参照して、１次検索を行って中間結果を作成し、前記単語生成部から前記絞込検索条件式を渡された場合には、前記中間結果の文書に対して全文検索を行うようにしたことを特徴とする文書検索装置。
【請求項２】
請求項１に記載の文書検索装置において、前記絞込検索条件は、前記検索条件の前記変化形の元となった単語を論理和で結合した前記変化形と置き換えるようにして検索条件式を生成することを特徴とする文書検索装置。
【請求項３】
請求項１または２に記載の文書検索装置において、前記索引生成部で生成される全文索引には、文書中の全文を読みに変換して生成した索引を含み、前記語幹抽出部は、前記検索条件式から抽出された単語の読みに対する語幹から初期条件検索式を生成し、前記単語生成部は、前記検索条件式から抽出された単語の読みに対する変化形と前記検索条件式から絞込検索条件式を生成することを特徴とする文書検索装置。
【請求項４】
請求項１、２または３に記載の文書検索装置において、前記単語生成部は、前記検索条件式から抽出された単語の変化形として、該単語および該単語の別品詞の単語に対する屈折形や派生形を生成して、該変化形と前記検索条件式から絞込検索条件式を生成することを特徴とする文書検索装置。
【請求項５】
コンピュータに、請求項１乃至４のいずれかに記載の文書検索装置の機能を実行させるためのプログラム。
【請求項６】
請求項５に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文書検索装置、プログラムおよび記録媒体に関し、具体的には、文書データベースからユーザが所望する文書を検索するときに、再現率の向上を図るとともに、検索条件の評価にかかる全体の時間の増大を防ぐことができる検索技術に関する。
【０００２】
【従来の技術】
文書検索は、自然言語で表現された大量の文書情報に対し文書内に存在する単語を形態素解析して抽出し、その単語がどの文書に存在するかを索引化しておき、キーワードと呼ばれる単語を一つ、あるいは、複数組み合わせて入力し、入力された単語と索引を比較し、その条件に合致する文書の候補をリスト形式で出力している。
【０００３】
しかしながら、ユーザが的確なキーワードで表現できない場合には、欲しい情報を得られず検索漏れが生じてしまう。
このような検索漏れを減らし、再現率を向上させる手段の一つとして、キーワード（検索語）の展開がある。
例えば、特許文献１の文書検索装置では、入力された検索要求語について形態素解析手段で形態素解析を施し、活用形への展開、複合語の分解、品詞変化あるいは文体変化などを考慮して、検索要求語の同義表現を生成する。
ここで生成された同義表現と入力された検索要求語とで文書データベースを照合して検索を施す。そして照合に成功すれば、検索要求語に対応する文章を文書データベースから引き出して出力する。
これにより、検索要求語の言語的類似性を考慮し、検索要求語と類似する文章を文書データベースから引き出すことができるので、自由度の高い文章検索が可能となる。
【０００４】
また、特許文献２の文書検索装置では、入力された検索キーワード情報を単語単位に分割し、この分割によって得られた単語が活用語である場合に、その活用形毎の単語を有する検索キーワード情報を生成し、この生成された検索キーワード情報に基づいて文書検索処理を行うようにしている。
これにより、人手による活用形毎のキーワード入力を不要として、検索漏れを防止することできる。
【０００５】
また、特許文献３の文書検索装置では、屈折形や派生形のような語形変化を伴う言語で書かれた文書を対象として文書検索する場合、文書データベースに記憶している文書の中に含まれている文字列（索引語）もしくは前記文書を検索するための問い合わせテキストの中に含まれている文字列（検索語）を所定の区切り文字を境界として文字列を抽出し、前記抽出文字列に対して正規化処理を行うか否かを選択させて、正規化処理を行う場合に正規化可能な部分を全て正規化した表記とする完全正規化あるいは未正規化部分を含む表記を許容する不完全正規化のいずれかを行い、かつ、展開辞書にしたがって該検索語を関連表記に展開する。さらに、ユーザは入力指示情報によって随時前記正規化および前記展開を指定することができる。
これにより、検索精度と検索効率および適合率と再現率のトレードオフを柔軟に実現することができる。特に、例えば、英文文書のように単語に屈折形や派生形などの語形変化を伴う言語によって記述した文書の検索においては効果を発揮する。
【０００６】
【特許文献１】
特開平６−７５９９６号公報
【特許文献２】
特開平８−２３５１９１号公報
【特許文献３】
特開２００１−２３６３５８号公報
【０００７】
【発明が解決しようとする課題】
上述したような従来の技術では、検索洩れを減らし再現率を向上させることができるが、検索条件式が論理和で結合されて長くなるため、大量の文書群に対して検索を行った場合、評価に時間がかかるという問題がでてくる。
【０００８】
本発明は、上述の実情を考慮してなされたものであって、検索漏れの発生による再現率の低下を防ぎつつ、検索条件式の評価に時間がかからない文書検索装置、プログラムおよび記録媒体を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記の課題を解決するために、本発明の請求項１は、文書データベースに格納されている文書の全文を対象として、検索条件と合致する文書を検索する文書検索装置であって、前記文書データベース中の全文書に対して、全文索引を生成する索引生成部と、前記検索条件を入力する検索語入力部と、前記検索条件を形態素解析して単語を抽出し、この単語に対する語幹と前記検索条件式から初期検索条件式を生成する語幹抽出部と、前記語幹抽出部で抽出した単語の形態素解析結果を用いて、該単語に対する変化形と前記検索条件式から絞込検索条件式を生成する単語生成部と、前記初期検索条件式または前記絞込検索条件式を適用して前記文書データベースの検索を行う検索実行部とを備え、前記検索実行部は、前記語幹抽出部から前記初期検索条件式を渡された場合には、前記全文索引を参照して、１次検索を行って中間結果を作成し、前記単語生成部から前記絞込検索条件式を渡された場合には、前記中間結果の文書に対して全文検索を行うようにしたことを特徴とする。
【００１０】
また、本発明の請求項２は、請求項１に記載の文書検索装置において、前記絞込検索条件は、前記検索条件の前記変化形の元となった単語を論理和で結合した前記変化形と置き換えるようにして検索条件式を生成することを特徴とする。
【００１１】
また、本発明の請求項３は、請求項１または２に記載の文書検索装置において、前記索引生成部で生成される全文索引には、文書中の全文を読みに変換して生成した索引を含み、前記語幹抽出部は、前記検索条件式から抽出された単語の読みに対する語幹から初期条件検索式を生成し、前記単語生成部は、前記検索条件式から抽出された単語の読みに対する変化形と前記検索条件式から絞込検索条件式を生成することを特徴とする。
【００１２】
また、本発明の請求項４は、請求項１、２または３に記載の文書検索装置において、前記単語生成部は、前記検索条件式から抽出された単語の変化形として、該単語および該単語の別品詞の単語に対する屈折形や派生形を生成して、該変化形と前記検索条件式から絞込検索条件式を生成することを特徴とする。
【００１３】
また、本発明の請求項５は、コンピュータに、請求項１乃至４のいずれかに記載の文書検索装置の機能を実行させるためのプログラムである。
また、本発明の請求項６は、請求項５に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００１４】
以上の構成により、検索語の語幹による初期検索条件式を生成して１次検索を行い、続いて、論理和で結合した活用形と検索語から絞込検索条件式を生成して２次検索（絞込み検索）を行うことで、検索漏れによる再現率の低減を防ぐとともに、検索条件の評価にかかる全体の時間の増大を防ぐことができる。
また、検索語の読みに対する語幹および活用形による検索条件式を生成して、１次検索および２次検索を行うことで、再現率の向上を図るとともに、検索条件の評価にかかる全体の時間の増大を防ぐことができる。
【００１５】
さらに、検索語の語幹と検索語の変化形（同じ語幹を持つ別の品詞の単語の屈折形および派生形等）に対して検索条件式を生成して、１次検索および２次検索を行うことで、再現率の向上を図るとともに、検索条件の評価にかかる全体の時間の増大を防ぐことができる。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明の文書検索装置に係る好適な実施形態を説明する。
図１は、本発明の文書検索装置の機能構成を示すブロック図である。同図において、文書検索装置は、検索語入力部１０、語幹抽出部２０、単語生成部３０、検索実行部４０、結果格納部５０、索引生成部６０、全文索引７０とから構成されている。
【００１７】
索引生成部６０は、検索実行に先立ち、検索対象とする文書を受け入れて、文書を形態素解析して単語を抽出し、この単語がどの文書に出現しているかを直ちに見つけられるように、全文書を対象に単語の出現位置を索引化して、全文索引７０に格納する。
【００１８】
検索語入力部１０は、ユーザが指示する検索語を入力して、語幹抽出部２０に渡す。以下、検索語として「回る」が入力されたものとして説明するが、ここで入力される検索語は、１単語だけでなく複数の単語からなる検索条件式であっても構わない。
【００１９】
語幹抽出部２０は、検索語入力部１０から渡された検索語を形態素解析し、検索語中にある単語の語幹を抽出する。本例の「回る」の場合、品詞は動詞、活用はラ行五段活用、語幹は「回」である。
この抽出した語幹から初期検索条件式を生成し、その初期検索条件式を検索実行部４０に渡して検索の実行を指示する。本例では、語幹「回」のみを検索するように、初期検索条件式が作られる。
また、この抽出した語幹と、検索語とその形態素解析結果を単語生成部３０に渡す。本例では、語幹の「回」と、検索語の「回る」とその品詞および活用等を単語生成部３０へ渡す。
【００２０】
単語生成部３０は、語幹抽出部２０から渡された語幹と検索語とその形態素解析結果から、論理和で結合した活用形と検索語から絞込検索条件式を生成し、その絞込検索条件式を検索実行部４０に渡して、先に語幹による初期検索条件式で検索された結果に対して絞り込み検索の実行を指示する。
本例では、語幹は「回」、検索語は「回る」で活用はラ行五段活用であるから、「回る」は、”回ら”、”回り”、”回る”、”回れ”、”回っ”、”回ろ”の活用となり、そこから作られる絞込検索条件式は”回ら”  ｏｒ  ”回り”  ｏｒ  ”回る”  ｏｒ  ”回れ”  ｏｒ  ”回っ”  ｏｒ  ”回ろ”  である。
なお、ここで活用形をもつ検索語は、「回る」のような動詞だけではなく、活用形を持つ形容詞、形容動詞等であっても構わない。
【００２１】
検索実行部４０は、語幹抽出部２０から初期検索条件式を渡された場合には、全文索引７０を使って指示された検索を実行し、検索結果（これを中間結果と呼ぶ）を結果格納部５０に格納する。この中間結果には、初期検索条件に合致した文書を特定できる文書の識別子のリストを格納する。
本例では、初期検索条件式「回」を単語として含む文書を、全文索引７０を参照して抽出し、抽出された文書の識別子のリストを中間結果として結果格納部５０へ格納する。
【００２２】
また、検索実行部４０は、単語生成部３０から絞込検索条件式を渡された場合には、結果格納部５０に格納された中間結果（文書の識別子のリスト）に対して、全文検索を実行し、検索結果を結果格納部５０に格納する。
結果格納部５０は、検索実行部４０が実行した検索結果（中間結果および絞込み結果）を一時的に格納する。
【００２３】
以上のように構成することによって、語幹による検索条件で１次検索を行って中間結果を求め、さらに、検索語から生成される活用形の単語で絞り込むようにしたことにより、絞込検索条件式が論理和で結合されて長くなったとしても、中間結果の大きさは検索対象全体に比べてかなり小さくなるので、検索評価にかかる全体の時間は低減される。
【００２４】
図２は、本発明における文書検索の処理手順を示すフローチャートである。
ユーザが入力した検索語を読み込む（ステップＳ１０）。
読み込まれた検索語を形態素解析し、品詞と活用を判定して、語幹を抽出する（ステップＳ１１）。検索語が「回る」の場合、品詞は動詞、活用はラ行五段活用であるから、語幹は「回」となる。
ここで抽出した語幹と検索語から初期検索条件式を生成する（ステップＳ１２）。
【００２５】
生成された初期検索条件式を用いて、全文索引７０を参照して、条件に合致する文書の識別子のリストを作成して、中間結果として結果格納部５０へ格納する（ステップＳ１３）。
次に、抽出した語幹と検索語とその形態素解析結果から、検索語に対する活用形を生成し、論理和で結合した活用形と検索語から絞込検索条件式を生成する。
検索語が「回る」の場合、語幹は「回」、活用はラ行五段活用であるから、生成される絞込検索条件式は”回ら”  ｏｒ  ”回り”  ｏｒ  ”回る”  ｏｒ  ”回れ”  ｏｒ  ”回っ”  ｏｒ  ”回ろ”  である。
【００２６】
次に、中間結果として格納されている文書の識別子リストにある文書に対して、絞込検索条件式を適用して全文検索を行って、検索結果を文書の識別子のリストとして結果格納部５０へ格納する（ステップＳ１５）。
この結果格納部５０に格納された文書の識別子のリストやランク付け等を表示装置等へ出力する（ステップＳ１６）。
【００２７】
上述の実施形態では、まず、与えられた検索語の語幹を用いて１次検索を行い、続いて、論理和で結合した活用形と検索語から生成された絞込検索条件式で検索を行った。
しかし、「回る」の代わりに、「廻る」、「周る」や「まわる」と書かれた文書は検索結果に現れることはない。
この場合には、入力された検索語の読みを求め、この読みに対する語幹とその活用形を使って、１次検索および２次検索を行うようにする。
【００２８】
そのために、上記の各機能は次のように構成する。上述の機能と同じものについては説明を省略し、相違点のみ説明する。
索引生成部６０は、検索対象となる文書に対して、全文の読みを求め、その読みに対しても索引を生成して全文索引７０に格納しておく。この全文索引７０には、先の単語による索引と単語の読みによる索引とが共存する形となる。
【００２９】
語幹抽出部２０は、入力された検索語を形態素解析して、抽出された単語の品詞、活用形を求め、これをもとに語幹を決定する。抽出された単語をもとに決定された語幹の読みを求める。「回る」の場合、語幹の読みは「まわ」である。
この語幹の読みと検索語から初期検索条件式を生成し、この初期検索条件式を検索実行部４０に実行させる。
また、語幹抽出部２０は、語幹と語幹の読み、および検索語とその形態素解析結果を単語生成部３０へ渡す。
【００３０】
単語生成部３０は、渡された語幹と語幹の読み、および検索語とその形態素解析結果を用いて、検索語の活用形の読みを求める。検索語「回る」の読み「まわる」の各活用形は、「まわら」、「まわり」、「まわる」、「まわれ」、「まわっ」、「まわろ」である。
単語生成部３０は、論理和で結合した活用形と検索語から絞込検索条件式を生成して、検索実行部４０で絞り込み検索を行わせる。検索語「まわる」の絞込検索条件式は、”まわら”  ｏｒ  ”まわり”  ｏｒ  ”まわる”  ｏｒ  ”まわれ”  ｏｒ  ”まわっ”  ｏｒ  ”まわろ”  である。
【００３１】
検索実行部４０は、語幹の読みによる初期検索条件式で全文索引７０を参照して、中間結果を結果格納部５０へ格納する。
また、検索実行部４０は、読みによる絞込検索条件式が与えられると、先に得た中間結果中の文書を読みに変換し、その読みに変換された文書に対して全文検索を行って、絞り込んだ結果を結果格納部５０へ格納する。
【００３２】
このように構成することによって、検索語が「回る」、「廻る」、「周る」や「まわる」のような同音異字の表記でも検索漏れをなくすことができる。
【００３３】
また、上述した実施形態では、検索語に含まれる単語のうち活用形をもつ単語に対して、変化形を求めるようにして検索漏れを少なくしていた。
ここでは、活用形による変化形だけではなく、語幹および同じ語幹を持つ別の品詞の単語の屈折形や派生形までを変化形の対象とするようにしてもよい。
【００３４】
例えば、検索語として「ｂｅａｕｔｉｆｕｌ」が与えられたとき、この検索語の品詞は形容詞であり、語幹は「ｂｅａｕｔ」である。この検索語「ｂｅａｕｔｉｆｕｌ」に対する変化形として、副詞、名詞や動詞等の異なる品詞の単語およびそれらの単語の屈折形、また、接頭辞や接尾辞を付加した派生形等が考えられる。
先ず、上述の実施形態と同様に、検索語から語幹を抽出し、この語幹を使って初期検索条件式を生成して１次検索を行う。
次に、検索語の変化形（別の品詞の単語やその単語の屈折形や派生形）を求めて、論理和で結合した変化形と検索語から絞込検索条件式を生成し、中間結果に対する絞り込み検索を行う。
【００３５】
そのために、上記の各機能は次のように構成する。上述の機能と同じものについては説明を省略し、相違点のみ説明する。
語幹抽出部２０は、入力された検索語を形態素解析し、語幹を抽出する。
「ｂｅａｕｔｉｆｕｌ」の場合、品詞は形容詞、語幹は「ｂｅａｕｔ」である。
語幹抽出部２０は、抽出した語幹から初期検索条件式を生成して、検索実行部４０に渡す。
また、語幹抽出部２０は、抽出した語幹と検索語とその形態素解析結果を単語生成部３０に渡す。
【００３６】
単語生成部３０は、語幹抽出部２０から語幹と検索語とその形態素結果を受け取り、検索語の変化形（検索語の活用形、検索語の別品詞の単語とその屈折形や派生形）を生成して、論理和で結合した変化形と検索語から絞込検索条件式を生成して、検索実行部４０へ渡す。
【００３７】
語幹が「ｂｅａｕｔ」の場合、副詞の「ｂｅａｕｔｉｆｕｌｌｙ」や名詞の「ｂｅａｕｔｙ」、名詞の複数形「ｂｅａｕｔｉｅｓ」、動詞の「ｂｅａｕｔｉｆｙ」、派生語の「ｂｅａｕｔｉｆｕｌｎｅｓｓ」、「ｂｅａｕｔｉｆｉｅｒ」、「ｂｅａｕｔｉｃｉａｎ」等がある。
これらから絞込検索条件は、”ｂｅａｕｔｉｆｕｌ”  ｏｒ  ”ｂｅａｕｔｉｆｕｌｌｙ”  ｏｒ  ”ｂｅａｕｔｉｆｕｌｌｙ”  ｏｒ  ”ｂｅａｕｔｙ”  ｏｒ  ”ｂｅａｕｔｉｅｓ”  ｏｒ  ”ｂｅａｕｔｉｆｙ”  ｏｒ  ”ｂｅａｕｔｉｆｕｌｎｅｓｓ”  ｏｒ  ”ｂｅａｕｔｉｆｉｅｒ”  ｏｒ  ”ｂｅａｕｔｉｃｉａｎ”  である。
【００３８】
検索実行部４０は、語幹抽出部２０から初期検索条件式を受け取った場合には、全文索引７０を参照して検索した中間結果を結果格納部５０へ格納する。
また、検索実行部４０は、単語生成部３０から絞込検索条件式を受け取った場合には、結果格納部５０に一時的に格納した中間結果の文書に対して、全文検索を実行し、その絞り込み検索結果を結果格納部５０に格納する。
以上のように構成することによって、検索語の活用形だけでなく別品詞の単語やその屈折形および派生形についても検索できるので、検索漏れが少なくなる。
【００３９】
上述した実施形態では、１単語からなる検索式について説明したが、本発明は複数の単語による検索式の場合にも適用可能である。
例えば、初期検索条件式を生成するときには、入力された検索式中の変化形を持つ単語を抽出し、その単語の替わりに語幹と置き換えて検索式を生成する。
また、絞込検索条件式を生成するときには、入力された検索式中の変化形を持つ単語を抽出し、その単語の替わりに上述の実施形態で説明したように変化形と置き換えて生成する。
【００４０】
本発明は、上述した実施形態のみに限定されたものではない。上述した実施形態の文書検索装置を構成する各機能をそれぞれプログラム化し、予めＣＤ−ＲＯＭのような記録媒体に書き込んでおき、文書検索装置の記録媒体読取装置にこのＣＤ−ＲＯＭを装着して、ＣＤ−ＲＯＭ中のプログラムを読み出し、マイクロプロセッサで実行することによって、本発明の目的が達成されることは言うまでもない。
この場合、記録媒体から読み出されて実行された状態が上述した実施形態の機能を実現することになり、そのプログラムおよびそのプログラムを記録した記録媒体も本発明を構成することになる。
【００４１】
なお、このような機能を実現するプログラムは、半導体媒体（例えば、ＲＯＭ、不揮発性メモリ等）、光媒体（例えば、ＤＶＤ、ＭＯ、ＭＤ、ＣＤ等）、磁気媒体（例えば、磁気テープ、フレキシブルディスク等）等のいずれの形態の記録媒体で提供されてもよい。
あるいは、ネットワーク等の通信網を介して記憶装置に格納されたプログラムをサーバコンピュータから直接供給を受けるようにしてもよい。この場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。
【００４２】
このような記録媒体で提供された場合は、その記録媒体からプログラムを読み取って内部記憶装置または外部記憶装置にインストールし、そのインストールされたプログラムをマイクロプロセッサが実行することによって上述した実施形態の機能が実現される。または、記録媒体に記録されたプログラムを直接実行するようにしてもよい。
【００４３】
尚、本発明は上述した実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内で各種の変形、修正が可能であるのは勿論である。
【００４４】
【発明の効果】
以上説明したように本発明によれば、検索語の語幹による初期検索条件式を生成して１次検索を行い、続いて、論理和で結合した活用形と検索語から絞込検索条件式を生成して２次検索（絞込み検索）を行うことで、検索漏れによる再現率の低減を防ぐとともに、検索条件の評価にかかる全体の時間の増大を防ぐことができる。
また、検索語の読みに対する語幹および活用形による検索条件式を生成して、１次検索および２次検索を行うことで、再現率の向上を図るとともに、検索条件の評価にかかる全体の時間の増大を防ぐことができる。
【００４５】
さらに、検索語の語幹と検索語の変化形（同じ語幹を持つ別の品詞の単語の屈折形および派生形等）に対して検索条件式を生成して、１次検索および２次検索を行うことで、再現率の向上を図るとともに、検索条件の評価にかかる全体の時間の増大を防ぐことができる。
【図面の簡単な説明】
【図１】本発明の文書検索装置の機能構成を示すブロック図である。
【図２】本発明における文書検索の処理手順を示すフローチャートである。
【符号の説明】
１０…検索語入力部、２０…語幹抽出部、３０…単語生成部、４０…検索実行部、５０…結果格納部、６０…索引生成部、７０…全文索引。
【図１】
2005004606.tif 000003
【図２】
2005004606.tif 000004