(57)【要約】  【課題】  アップデータした形態素解析辞書に適合的に関連文書インデックスを修正する。  【解決手段】  辞書修正部１６により辞書を修正すると、全文検索部１７が起動され、修正対象の単語エントリの単語を含む文書を全文検索により検索する。全文検索部１７はｎ−ｇｒａｍ法による全文検索を行なう。検索結果判定部１９は全文検索部１７でヒットした箇所が形態素解析上も正しく検出されるかどうかを判別する。検索結果判定部１９が形態素解析上も正しいと判別した場合には、関連文書インデックス修正部２０に通知して関連文書インデックス記憶部１５の関連文書インデックスを修正する。形態素解析上正しくないと判別された場合には何もしない。【選択図】  図１
2006092135.tif 000002
【特許請求の範囲】
【請求項１】
入力文から形態素解析辞書を参照して単語を抽出する単語抽出手段と、
単語ごとの統計情報からなる関連文書インデックスを記憶する関連文書インデックス記憶手段と、
上記単語抽出手段で抽出された単語と関連のある文書を上記関連文書インデックスを参照して検索する関連文書検索手段と、
上記形態素解析辞書の単語エントリを修正する単語エントリ修正手段と、
修正単語エントリの単語について対象文書群中の文書を全文検索する全文検索手段と、
上記全文検索手段でヒットした部分について上記単語エントリが修正された上記形態素解析辞書で形態素解析して正しく解析されるかどうかを判定する判定手段と、
正しく解析された部分を正しい単語に置き換えて上記関連文書インデックスを修正する関連文書インデックス修正手段とを実現するためにコンピュータで実行されることを特徴とする文書検索用コンピュータプログラム。
【請求項２】
上記単語エントリの修正は単語エントリの追加である請求項１記載の文書検索用コンピュータプログラム。
【請求項３】
対象文書群を指定する手段をさらに有する請求項１または２記載の文書検索用コンピュータプログラム。
【請求項４】
上記関連文書インデックスはベクトル空間法に基づく請求項１、２または３記載の文書検索用コンピュータプログラム。
【請求項５】
上記形態素解析辞書による解析において判定された未知語を上記形態素解析辞書の新規追加の単語とするように提案する提案手段を有する請求項１、２、３または４記載の文書検索用コンピュータプログラム。
【請求項６】
形態素解析辞書と、
入力文から上記形態素解析辞書を参照して単語を抽出する単語抽出手段と、
単語ごとの統計情報からなる関連文書インデックスを記憶する関連文書インデックス記憶手段と、
上記単語抽出手段で抽出された単語と関連のある文書を上記関連文書インデックスを参照して検索する関連文書検索手段と、
上記形態素解析辞書の単語エントリを修正する単語エントリ修正手段と、
修正単語エントリの単語について対象文書群中の文書を全文検索する全文検索手段と、
上記全文検索手段でヒットした部分について上記単語エントリが修正された上記形態素解析辞書で形態素解析して正しく解析されるかどうかを判定する判定手段と、
正しく解析された部分を正しい単語に置き換えて上記関連文書インデックスを修正する関連文書インデックス修正手段とを有することを特徴とする文書検索システム。
【請求項７】
単語抽出手段により、入力文から形態素解析辞書を参照して単語を抽出するステップと、
関連文書検索手段により、単語ごとの統計情報からなる関連文書インデックスを参照して、上記単語抽出手段で抽出された単語と関連のある文書を検索するステップと、
単語エントリ修正手段により、上記形態素解析辞書の単語エントリを修正するステップと、
全文検索手段により、修正単語エントリの単語について対象文書群中の文書を全文検索するステップと、
判定手段により、上記全文検索手段でヒットした部分について上記単語エントリが修正された上記形態素解析辞書で形態素解析して正しく解析されるかどうかを判定するステップと、
関連文書インデックス修正手段により、正しく解析された部分を正しい単語に置き換えて上記関連文書インデックスを修正するステップとを有することを特徴とする文書検索方法。
【請求項８】
形態素解析辞書と、入力文から上記形態素解析辞書を参照して単語を抽出する単語抽出手段と、単語ごとの統計情報からなる関連文書インデックスを記憶する関連文書インデックス記憶手段と、上記単語抽出手段で抽出された単語と関連のある文書を上記関連文書インデックスを参照して検索する関連文書検索手段とを具備する関連文書検索システムの関連文書インデックス保守用コンピュータプログラムにおいて、
上記形態素解析辞書の単語エントリを修正する単語エントリ修正手段と、
修正単語エントリの単語について対象文書群中の文書を全文検索する全文検索手段と、
上記全文検索手段でヒットした部分について上記単語エントリが修正された上記形態素解析辞書で形態素解析して正しく解析されるかどうかを判定する判定手段と、
正しく解析された部分を正しい単語に置き換えて上記関連文書インデックスを修正する関連文書インデックス修正手段とを実現するためにコンピュータで実行されることを特徴とする関連文書インデックス保守用コンピュータプログラム。
【請求項９】
形態素解析辞書と、入力文から上記形態素解析辞書を参照して単語を抽出する単語抽出手段と、単語ごとの統計情報からなる関連文書インデックスを記憶する関連文書インデックス記憶手段と、上記単語抽出手段で抽出された単語と関連のある文書を上記関連文書インデックスを参照して検索する関連文書検索手段とを具備する関連文書検索システムの関連文書インデックス保守装置において、
上記形態素解析辞書の単語エントリを修正する単語エントリ修正手段と、
修正単語エントリの単語について対象文書群中の文書を全文検索する全文検索手段と、
上記全文検索手段でヒットした部分について上記単語エントリが修正された上記形態素解析辞書で形態素解析して正しく解析されるかどうかを判定する判定手段と、
正しく解析された部分を正しい単語に置き換えて上記関連文書インデックスを修正する関連文書インデックス修正手段とを有することを特徴とする関連文書インデックス保守装置。
【請求項１０】
形態素解析辞書と、入力文から上記形態素解析辞書を参照して単語を抽出する単語抽出手段と、単語ごとの統計情報からなる関連文書インデックスを記憶する関連文書インデックス記憶手段と、上記単語抽出手段で抽出された単語と関連のある文書を上記関連文書インデックスを参照して検索する関連文書検索手段とを具備する関連文書検索システムの関連文書インデックス保守方法において、
単語エントリ修正手段により、上記形態素解析辞書の単語エントリを修正するステップと、
全文検索手段により、修正単語エントリの単語について対象文書群中の文書を全文検索するステップと、
判定手段により、上記全文検索手段でヒットした部分について上記単語エントリが修正された上記形態素解析辞書で形態素解析して正しく解析されるかどうかを判定するステップと、
関連文書インデックス修正手段により、正しく解析された部分を正しい単語に置き換えて上記関連文書インデックスを修正するステップとを有することを特徴とする関連文書インデックス保守方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、関連文書検索技術に関し、とくに、形態素解析辞書の変更を関連文書インデックスに反映させるようにしたものである。
【背景技術】
【０００２】
情報検索において、インターネット検索エンジンに代表される供給過多を背景とし、大量の文書群に対するより効率的な検索システムが求められている。検索効率の尺度として代表的な特性の再現率、適合率は、それぞれ漏れの少なさ、ノイズの少なさである。
【０００３】
検索システムにおいてノイズを少なくするためには、とくに日本語においては一般に辞書に基づく形態素解析による単語抽出が用いられる。形態素解析では、辞書にない語は基本的に抽出されないため、辞書の品質やメンテナンスが非常に重要である。これらについては、ユーザ辞書の利用や未知語の扱いなど、さまざまな技術が提案されている。
【０００４】
他方、検索システムにおいては、従来のキーワード検索、全文検索に加え、ｔｆ＊ＩＤＦに基づくベクトル空間法に代表される関連文書検索が実用化されている。
【０００５】
しかしながら、より今日的な課題として、情報更新の加速、文書量の拡大とともに、インデックス更新のコストが顕在化している。辞書をいかにタイムリーに更新しようとも、既存のインデックスに反映されない限り、単に検索されないだけでなく、登録タイミングにより異なる矛盾した検索結果が得られてしまう。
【０００６】
これに対し、特許文献１では、索引データの更新を自動的に行うことを提案している。ところが、辞書を用いずに字面のパターン解析のみで単語を抽出する方法であるため、ノイズの問題を本質的に解決できない。また、この方法では内部的な更新が頻発すると考えられるため、更新が手動でなく自動的に行えるだけであり、インデックス更新のコストという元の問題が残ったままであると言える。
【特許文献１】特開２００２−１５００４公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
この発明は、以上の事情を考慮してなされたものであり、形態素解析辞書のメンテナンスに適合して関連文書検索のインデックスを更新する関連文書検索技術を提供することを目的としている。
【課題を解決するための手段】
【０００８】
この発明の原理的な構成例によれば、上述の目的を達成するために、形態素解析を伴う検索システム、とくにｔｆ＊ＩＤＦに基づくベクトル空間法に代表される関連文書検索において、辞書更新を支援しつつ既存インデックスを低コストで自動更新できるシステムを提供する。
【０００９】
より具体的には、辞書メンテナンスの結果、該当語を含む文書のみ全文検索により逆引きし、バックグラウンドなどシステムに負荷をかけない方法で解析結果を順次更新する。
【００１０】
すなわち、ｎ−ｇｒａｍなど形態素解析を行わない漏れがない方法で実現された全文検索と、形態素解析に基づく方法である関連文書検索を併用し、インデックス自動更新機構を付与することで実現する。
【００１１】
まず、解析システムの辞書メンテナンスを行なう。これは、さまざまな従来の方法（例：特開平９−２８８６７３号公報，特開平９−１３８８０１号公報など）を適用できる。この結果、辞書が更新されると、これを検知してインデックスの自動更新が起動される。起動に際しては、バックグラウンドにて低プライオリティのプロセスとして起動するなど、システムに負荷をかけない方法を用いる。
【００１２】
起動すると差分として更新（追加・変更・削除）された語でインデキシングされた文書ＩＤを全文検索にて検索する。続いて、検索された文書ＩＤの内容テキストを、更新された辞書に基づき解析する。この結果、更新結果に一致する語が含まれれば（＝従来の解析結果と異なる単語があれば）、単語からの逆引きインデックスを更新する（全文検索は字面で検索しているので、漏れはないが必ずしもインデックス更新が必要とは限らない）。
【００１３】
さらに、更新／検索の範囲をページ、文単位などに限定することで、より低コストな処理も可能である。インデックスは、バックグラウンドにて順次更新されるので、ユーザは停止なしにサービスを利用することができ、インデックスもほぼ最新の状態に保たれる。
【００１４】
全文検索による漏れの少ない検索と関連文書検索によるノイズが少なく簡単な操作による検索の併用はもともと相補的であるが、この構成例の手法により辞書更新においても追加リソースが非常に少なく、効果的なシステム構成が可能となる。
【００１５】
また、メンテナンスの支援として、登録された文書における解析結果を常に監視しておき、得られた未知語のパターンから新語／社内用語などの候補を検知し、追加登録語として提案するようにしてもよい。
【００１６】
また、検索結果から種文書検索をする際に、選択した文書とその元のクエリの対から、関連語辞書を生成するようにしてもよい。
【００１７】
さらにこの発明を説明する。
【００１８】
この発明の一側面によれば、上述の目的を達成するために、文書検索装置に：入力文から形態素解析辞書を参照して単語を抽出する単語抽出手段と；単語ごとの統計情報からなる関連文書インデックスを記憶する関連文書インデックス記憶手段と；上記単語抽出手段で抽出された単語と関連のある文書を上記関連文書インデックスを参照して検索する関連文書検索手段と；上記形態素解析辞書の単語エントリを修正する単語エントリ修正手段と；修正単語エントリの単語について対象文書群中の文書を、漏れのない検索手法、例えばｎ−ｇｒａｍ法で全文検索する全文検索手段と；上記全文検索手段でヒットした部分について上記単語エントリが修正された上記形態素解析辞書で形態素解析して正しく解析されるかどうかを判定する判定手段と；正しく解析された部分を正しい単語に置き換えて上記関連文書インデックスを修正する関連文書インデックス修正手段とを設けるようにしている。
【００１９】
この構成においては、アップデータした形態素解析辞書に適合的に関連文書インデックスを修正できるので、精度の高い検索を行なえる。
【００２０】
この構成において、上記単語エントリの修正は単語エントリの追加、削除、修正である。
【００２１】
また、対象文書群を指定する手段をさらに設け、関連文書インデックスの修正範囲を限定するようにしても良い。例えば、新しく出現した造語については最近の文書を対象とすれば良い。修正の単語の適用分野に応じて自動的にまたはユーザの指定により話題等の分野で絞るようにしても良い。
【００２２】
また、上記関連文書インデックスは、典型的には、ｔｆ＊ＩＤＦに基づく。
【００２３】
また、上記形態素解析辞書による解析において判定された未知語を上記形態素解析辞書の新規追加の単語とするように提案する提案手段を設けても良い。
【００２４】
また、この発明の他の側面によれば、上述の目的を達成するために、形態素解析辞書と、入力文から上記形態素解析辞書を参照して単語を抽出する単語抽出手段と、単語ごとの統計情報からなる関連文書インデックスを記憶する関連文書インデックス記憶手段と、上記単語抽出手段で抽出された単語と関連のある文書を上記関連文書インデックスを参照して検索する関連文書検索手段とを具備する関連文書検索システムの関連文書インデックス保守装置に：上記形態素解析辞書の単語エントリを修正する単語エントリ修正手段と；修正単語エントリの単語について対象文書群中の文書を例えばｎ−ｇｒａｍ法で全文検索する全文検索手段と；上記全文検索手段でヒットした部分について上記単語エントリが修正された上記形態素解析辞書で形態素解析して正しく解析されるかどうかを判定する判定手段と；正しく解析された部分を正しい単語に置き換えて上記関連文書インデックスを修正する関連文書インデックス修正手段とを設けるようにしている。
【００２５】
この構成においても、アップデータした形態素解析辞書に適合的に関連文書インデックスを修正できるので、精度の高い検索が期待できる。
【００２６】
なお、この発明は装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、そのような発明の一部をソフトウェアとして構成することができることはもちろんである。またそのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品もこの発明の技術的な範囲に含まれることも当然である。
【００２７】
この発明の上述の側面および他の側面は特許請求の範囲に記載され以下実施例を用いて詳述される。
【発明の効果】
【００２８】
この発明によれば、アップデータした形態素解析辞書に適合的に関連文書インデックスを修正できるので、精度の高い検索を行なえる。
【発明を実施するための最良の形態】
【００２９】
以下、この発明の実施例について説明する。
【００３０】
図１は、この発明の実施例の関連文書検索システムを模式的に示している。この関連文書検索システムは例えばサーバコンピュータ上で実現される。もちろんスタンドアローンのコンピュータで実現されても良い。以下で説明する機能ブロックはコンピュータのハードウェア資源およびソフトウェア資源を協同させて実現される。
【００３１】
図１において、実施例の関連文書検索システムは、機能ブロックとして、検索入力部１０、形態素解析部１１、関連文書検索部１２、検索結果出力部１３、形態素解析辞書記憶部１４、関連文書インデックス記憶部１５、辞書修正部１６、全文検索部１７、文書群記憶部１８、検索結果判定部１９、関連文書インデックス修正部２０等を含んで構成される。
【００３２】
検索入力部１０は例えば自然文の検索式を入力するものである。形態素解析部１１は入力された自然文を形態素解析して単語（キーワード）を抽出するものである。関連文書検索部１２は、自然文に含まれる単語と各文書の関連度スコアを、関連文書インデックス記憶部１５の関連文書インデックスを参照して算出してそのスコアに基づいて関連のある文書を取り出せるようにするものである。例えば、関連文書インデックスは例えばｔｆ＊ＩＤＦに基づく統計情報であり、自然文書に含まれる単語群の語ベクトルと各文書の語ベクトルとの間の内積を求め、これに基づいて文書にスコアを付すものである。検索結果出力部１３は上記スコアに基づいてソートした文書のリストやその要約や一部を出力する。検索結果出力部１３は適宜に文書群記憶部１８を参照する。
【００３３】
辞書修正部１６は、形態素解析辞書記憶部１４の形態素解析辞書の単語エントリを追加、削除、変更するものである。この修正作業は基本的には辞書管理者により行なわれる。辞書修正部１６により辞書を修正すると、全文検索部１７が起動され、修正対象の単語エントリの単語を含む文書を全文検索により検索する。全文検索部１７の起動は、辞書修正と同時に行なわれても良いし、修正した単語エントリを記憶部に保持しておき、所定のタイミング、例えば、夜間等の負荷が少ない時間等にバッチ処理で行なわれても良い。全文検索部１７はｎ−ｇｒａｍ法による全文検索を行なう。例えば、文書の各ポジションごとに切り出されたｎ−ｇｒａｍで索引（全文検索インデックスを予め作っておく）を構成し、修正単語（キーワード）をｎ−ｇｒａｍに分割して検索語とし、先の索引を用いて検索する。各検索語の出現位置からキーワードがあるかどうかを判別する。この全文検索では形態素解析辞書を用いない。
【００３４】
検索結果判定部１９は全文検索部１７でヒットした箇所が形態素解析上も正しく検出されるかどうかを判別する。検索結果判定部１９が形態素解析上も正しいと判別した場合には、関連文書インデックス修正部２０に通知して関連文書インデックス記憶部１５の関連文書インデックスを修正する。形態素解析上正しくないと判別された場合には何もしない。
【００３５】
さらに上述について補充説明を行なう。
【００３６】
この実施例は、形態素解析辞書メンテナンスの結果、メンテナンス対象の語を含む文書のみ全文検索により逆引きし、バックグラウンドなどシステムに負荷をかけない方法で関連文書インデックス（ならびに解析結果）を順次更新する。
【００３７】
ｎ−ｇｒａｍなど解析を行わない漏れがない方法で実現された全文検索と、解析に基づく方法である関連文書検索を併用し、インデックス自動更新機構を付与することで実現する。
【００３８】
上述の形態素解析辞書メンテナンスには、さまざまな従来の方法（例えば特開平９−２８８６７３号公報や特開平９−１３８８０１号公報で提案されている手法）を採用できる。この結果、辞書が更新されると、これを検知してインデックスの自動更新が起動される。起動に際しては、バックグラウンドにて低プライオリティのプロセスとして起動するなど、システムに負荷をかけない方法を用いる。
【００３９】
起動すると差分として更新（追加・変更・削除）された語でインデキシングされた文書ＩＤを全文検索にて検索する。続いて、検索された文書ＩＤの内容テキストを、更新された辞書に基づき解析する。この結果、更新結果に一致する語が含まれれば（＝従来の解析結果と異なる単語があれば）、単語からの逆引きインデックスを更新する（全文検索は字面で検索しているので、漏れはないが必ずしもインデックス更新が必要とは限らない）。
【００４０】
さらに、更新／検索の範囲をページ、文単位などに限定することで、より低コストな処理も可能である。インデックスは、バックグラウンドにて順次更新されるので、ユーザは停止なしにサービスを利用することができ、インデックスもほぼ最新の状態に保たれる。
全文検索による漏れの少ない検索と関連文書検索によるノイズが少なく簡単な操作による検索の併用はもともと相補的であるが、この発明により辞書更新においても追加リソースが非常に少なく、効果的なシステム構成が可能となる。
【００４１】
図２は、この実施例の動作を模式的に説明するものである。動作はとおりの通りである。
【００４２】
（１）辞書編集：
辞書管理者が形態素解析辞書を編集する。この例では「トリビア」を追加した。
【００４３】
（２）監視：
辞書修正部１６の辞書更新監視部が編集（更新）を適宜に監視している。
【００４４】
（３）全文検索：
辞書更新監視部が編集（更新）を検出すると全文検索部１７が適宜なタイミングで全文検索を行なう。この例では、全文検索インデックスを参照して全文検索が行なわれる。
【００４５】
（４）文書内容取得：
全文検索でヒットして文書について内容を文書群記憶部１８から取得する。
【００４６】
（５）再解析：
取得して文書について形態素解析を行い。例えば、「フジサンテレビ／の／人気／番組／トリビア／の／砂漠・・・」と解析される。
【００４７】
（６）差分比較：
追加した語「トリビア」が解析結果に正しく表れるかどうかを比較判別する。
【００４８】
（７）差分更新：
「トリビア」が正しく解析された箇所については、当該文書について「トリ」「ビア」をインデックスから削除し、「トリビア」をインデックスに追加する。「トリビア」が正しく解析されないときには、何もしない。この場合、全文検索でノイズが混入したことになる。
【００４９】
以上のようにして関連文書検索インデックスに形態素解析辞書のアップデートを適合的に反映させると、以降、追加等された単語を伴う関連文書検索を行なった場合でも正しく関連文書を検索できる。
【００５０】
以上で実施例の説明を終了する。
【００５１】
なお、この発明は上述の実施例に限定されるものではなくその趣旨を逸脱しない範囲で種々変更が可能である。例えば、例えば、図３に示すように、未知語検出部２１を設け、登録された文書における解析結果を常に監視しておき、得られた未知語のパターンから新語／社内用語などの候補を検知し、追加登録語として提案するようにしてもよい。
【００５２】
また、検索結果から種文書検索をする際に、選択した文書とその元のクエリの対から、関連語辞書を生成するようにしてもよい。
【図面の簡単な説明】
【００５３】
【図１】この発明の実施例の関連文書検索システムの模式的な構成例を説明する図である。
【図２】上述実施例の動作を説明する図である。
【図３】上述実施例の変形例を説明する図である。
【符号の説明】
【００５４】
１０      検索入力部
１１      形態素解析部
１２      関連文書検索部
１３      検索結果出力部
１３      指示初秋西部
１４      形態素解析辞書記憶部
１５      関連文書インデックス記憶部
１６      辞書修正部
１７      全文検索部
１８      文書群記憶部
１９      検索結果判定部
２０      関連文書インデックス修正部
２１      未知語検出部
【図１】
2006092135.tif 000003
【図３】
2006092135.tif 000004
【図２】
2006092135.tif 000005