(57)【要約】【課題】文書検索装置での検索精度を上げることができるキーワード抽出装置を提供する。【解決手段】入力された文字列から、文書検索の際に使用するキーワードを抽出するキーワード抽出装置１０は、入力された文字列のうち、予め用意された辞書３０に登録された単語と一致する文字列を単語として抽出するとともにその品詞を判別し、辞書に登録されていない文字列を未知語として解析する形態素解析部１４と、形態素解析部により、未知語として解析された文字列を一文字毎に名詞の単語として分割する分割部３２と、入力された文字列のうち連続して出現する名詞の単語を予め定められた２以上の数であるＮ個毎に連結した連結語を生成する連結語生成部３４と、少なくとも生成された連結語をキーワードとして抽出するキーワード抽出部１８と、を有する。【選択図】図１
2005165520.tif 000002
【特許請求の範囲】
【請求項１】
入力された文字列から、文書検索の際に使用するキーワードを抽出するキーワード抽出装置において、
入力された文字列のうち、予め用意された辞書に登録された単語と一致する文字列を単語として抽出するとともにその品詞を判別し、辞書に登録されていない文字列を未知語として解析する形態素解析手段と、
形態素解析手段により、未知語として解析された文字列を一文字毎に名詞の単語として分割する分割手段と、
入力された文字列のうち、連続して出現する名詞の単語を予め定められた２以上の数であるＮ個毎に連結した連結語を生成する連結語生成手段と、
少なくとも生成された連結語をキーワードとして抽出する抽出手段と、
を有することを特徴とするキーワード抽出装置。
【請求項２】
請求項１に記載のキーワード抽出装置であって、
形態素解析手段は、ひらがな、または、カタカナを一文字の未知語として解析することを特徴とするキーワード抽出装置。
【請求項３】
請求項１または２に記載のキーワード抽出装置であって、
Ｎの値として、複数の値が設定できることを特徴とするキーワード抽出装置。
【請求項４】
入力された文字列から、文書検索の際に使用するキーワードを抽出するキーワード抽出方法において、
形態素解析手段が、入力された文字列のうち、予め用意された辞書に登録された単語と一致する文字列を単語として抽出するとともにその品詞を判別し、辞書に登録されていない文字列を未知語として解析するステップと、
分割手段が、形態素解析手段により、未知語として解析された文字列を一文字毎に名詞の単語として分割するステップと、
連結語生成手段が、入力された文字列のうち、連続して出現する名詞の単語を予め定められた２以上の数であるＮ個毎に連結した連結語を生成するステップと、
抽出手段が、少なくとも生成された連結語をキーワードとして抽出するステップと、
を有することを特徴とするキーワード抽出方法。
【請求項５】
コンピュータを、請求項１から３のいずれか１に記載のキーワード抽出装置として機能させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書検索装置に用いられるキーワード抽出装置、キーワード抽出方法、プログラムに関する。
【背景技術】
【０００２】
従来から、蓄積された大量の文書の中から所望の文書を得るための装置として文書検索装置が知られている。文書検索装置は、予め、蓄積された各文書内に含まれる文字列の中からキーワードとなる単語を抽出し、その単語と文書情報とを関連付けて記録したインデックスを持っている。そして、ユーザーが入力した検索キーを含む文書についての情報をこのインデックスに基づいて検索し、出力する。
【０００３】
このインデックスの作成、および、ユーザーが入力した検索キーの解釈の際には、文字列の中からキーワードを抽出することが必要となる。すなわち、インデックス作成の際であれば、読み込んだ文書に記載された文字列を解釈し、その文字列の中から適切なキーワードを抽出しなければならない。キーワードの抽出が不適切の場合、適切なインデックスを作成することができず、ひいては、適切な検索を行うことができないからである。また、ユーザーが入力した検索キーについても、長い文字列の場合は、そのままキーワードとして利用できない。そのような場合は、検索キーの文字列の中から検索に適したキーワードを抽出する必要がある。
【０００４】
このような文字列の中からキーワードを抽出する装置は、従来から多数提案されている。例えば、特許文献１、特許文献２には、文字列を形態素解析により単語単位に分割した後、所定の処理を施し、キーワードを抽出するキーワード抽出装置が開示されている。形態素解析とは、予め用意された辞書に基づいて文字列を最小の単位である形態素に分割するものである。
【０００５】
【特許文献１】特開２００２−２４５０６１号公報
【特許文献２】特開平１１−０８５７６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１、特許文献２に記載されているようなキーワード抽出装置によれば、正常に形態素解析を行うことができれば、その後の処理により適切なキーワードを抽出することができる。しかしながら、形態素解析は、予め用意された辞書に基づいて文字列を分割するため、辞書に登録されていない未知語が文字列に含まれていた場合は、適切な形で文字列を分割することができない。その場合、上述の方法では、適切なキーワードを抽出することができず、ひいては、精度よく文書検索を行うことができないという問題がある。
【０００７】
そこで、本発明は、検索精度を上げることができる文書検索装置用のキーワード抽出装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明のキーワード抽出装置は、入力された文字列から、文書検索の際に使用するキーワードを抽出するキーワード抽出装置において、入力された文字列のうち、予め用意された辞書に登録された単語と一致する文字列を単語として抽出するとともにその品詞を判別し、辞書に登録されていない文字列を未知語として解析する形態素解析手段と、形態素解析手段により、未知語として解析された文字列を一文字毎に名詞の単語として分割する分割手段と、入力された文字列のうち、連続して出現する名詞の単語を予め定められた２以上の数であるＮ個毎に連結した連結語を生成する連結語生成手段と、少なくとも生成された連結語をキーワードとして抽出する抽出手段と、を有する。
【０００９】
好適な態様では、形態素解析手段は、ひらがな、または、カタカナを一文字の未知語として解析する。また、別の好適な態様では、Ｎの値として、複数の値が設定できる。
【発明の効果】
【００１０】
本発明によれば、未知語を含んだ文字列からもキーワードを抽出することができる。したがって、文書検索装置での検索精度を上げることができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態について図面を参照して説明する。以下では、特に、検索のためのインデックス作成に使用されるキーワード抽出装置であって、蓄積された文書に記録された文字列からキーワードを抽出するためのキーワード抽出装置について説明する。しかし、適宜、入力部や、出力先などを変更することにより、ユーザーが入力した検索キーからキーワードを抽出するためのキーワード抽出装置としても利用することができる。
【００１２】
図１に本発明の実施の形態であるキーワード抽出装置１０のブロック図を示す。キーワード抽出装置１０は、文書検索装置（図示せず）のインデックス作成部の一部として構成されている。このキーワード抽出装置１０は、データ入力部１２、形態素解析部１４、未知語処理部１６、キーワード抽出部１８、データベース２０などから構成されている。
【００１３】
データ入力部１２は、キーワード抽出の対象となる文字列を本装置１０に入力するための入力手段であり、磁気ディスク２２やＯＣＲ２４、通信部２６などから構成できる。通信部２６は、図示しない他のコンピュータにネットワークを介して接続されており、他のコンピュータに記録された文書を取得する。磁気ディスク２２や他のコンピュータに記録された文書は、テキストデータであればそのまま、画像データであればＯＣＲ２４によりテキストデータに変換されて、以下の処理部へ出力される。
【００１４】
形態素解析部１４に入力されたテキストデータは、所定の単位ごと（例えば、一文ごと）に形態素解析される。形態素解析部１４は、辞書３０と解析部２８とに大別される。辞書３０は、予め用意された単語データであり、多数の単語とその品詞や読みなどが記録されている。解析部２８は、この辞書３０を参照しながら、所定のアルゴリズムに従って、入力された文字列に対して形態素解析を行う。形態素解析とは、自然文を最小の単位である形態素（単語）単位に分割するとともに、分割された形態素に品詞を割り当てるものである。この形態素解析の手法としては、従来から種々の手法が提案されているが、例えば、特開昭６０−２０２３４号公報に記載されている日本語形態素解析方式などを用いることができる。
【００１５】
入力された文字列のうち、形態素解析部１４の辞書３０に登録されていなかった文字列は、未知語と認識され、次の未知語処理部１６に処理される。未知語処理部１６は、未知語に対して所定の処理を施すもので、分割部３２と連結語生成部３４とから構成されている。分割部３２は、未知語として入力された文字列を一文字毎に分割するとともに、それぞれを名詞の単語として認識する。連結語生成部３４は、入力された文字列のうち、連続して出現する名詞の単語を所定の数であるＮ個毎に連結した連結語を生成する。
【００１６】
キーワード抽出部１８は、これまでの処理の結果、得られた名詞の単語、および、連結語の中から、キーワードとして適切な語を抽出する。この抽出される語は、例えば、出現頻度や、周辺に出現した他の語との関係などに基づいて決定される。抽出されたキーワードは、その語が出現した文書の情報（例えば、文書ＩＤや文書作成日など）とともにインデックスであるデータベース２０に記録される。
【００１７】
次に、このキーワード抽出装置１０でのキーワード抽出の流れについて図２を用いて説明する。図２は、本装置１０でのキーワード抽出の流れを示すフローチャートである。
【００１８】
キーワード抽出の際は、まず、入力部１２から入力されたテキストデータに記録された文字列を読み込む（Ｓ１０）。この文字列の読み込みは、所定の単位で行われる。この読み込みの単位は、形態素解析部１４の使用できるメモリ量などにもよるが、例えば、一文などの所定の単位で読み込む。一文の判断は、句点（。）や改行など、所定のトークン文字の出現で判断することができる。
【００１９】
次に、読み込んだ文字列に対して形態素解析を行う（Ｓ１２）。形態素解析は、上述したように、自然文を意味のある最小の単位（単語）に分解することである。さらに、分解された単語の品詞の判別も行う。この分解および品詞の判別には、予め多数の単語が登録された辞書が用いられる。
【００２０】
形態素解析としては、従来から、種々の方法が提案されており、例えば、与えられた文字列を右から順に走査し、辞書に登録されている単語のうち最も長く一致するものを選ぶ最長一致法や、文を文節数が最小になるように切る文節数最小法などを用いることができる。これらは、いずれも、入力された文字列と辞書に登録された単語とを照らし合わし、辞書に登録されている単語と同じ文字列を抽出していく。さらに、抽出された各単語について品詞（例えば「名詞」や「助詞」など）の判別がなされる。これは、辞書に記録された各単語の品詞情報に基づいて行われる。
【００２１】
したがって、本来、形態素解析により、入力された文字列は品詞の判明した複数の単語に分割される。しかしながら、文字列の中に、辞書に登録されていない未知語が含まれていると、その部分に関しては、品詞を判別することができず、また、どの文字列長さで抽出すればいいかの判別もすることができない。
【００２２】
例えば、「富士ゼロックス規格全集」を略した「富規全集」という文字列が入力された場合を想定する。この場合、略語である「富規」は、辞書に登録されていない。したがって、形態素解析を行うと「富規（未知語）／全集（名詞）」として解析される。このように分割および品詞判別された場合、後述するキーワード抽出においては、「全集」のみがキーワードとして抽出されてしまう。キーワード抽出は、後述するように、主に名詞の単語を抽出し、未知語については、キーワード抽出しないからである。しかし、本来、キーワードとして価値のある文字列部分は、略語である「富規」であることが多い。
【００２３】
そこで、本実施の形態では、形態素解析を行った後、未知語の有無を判断し（Ｓ１４）、未知語が存在する場合は未知語分割（Ｓ１６）を行う。未知語が存在しないと判別した場合は、未知語分割を行うことなく、名詞単語の連結を行う（Ｓ１８）。
【００２４】
未知語分割では、入力された文字列のうち、辞書に登録されていない未知語として判別された文字列を一文字ごとに分割する。具体的には、形態素解析の結果が「富規（未知語）／全集（名詞）」であった場合、「富規（未知語）」を一文字ごとに分割する。このとき、分割された一文字は、名詞の単語とする。したがって、上述の例では、「富（名詞）／規（名詞）／全集（名詞）」となる。この結果は、メモリなどの記憶手段に記憶され、連結語生成部３４に渡される。
【００２５】
連結語生成部３４では、入力された文字列のうち、連続して出現する名詞単語を所定の個数毎に連結する（Ｓ１８）。すなわち、予め所定の数であるＮを決めておき、入力された文字列においてＮ個連続して名詞の単語が出現すれば、それを連結する。連結された語は連結語として記憶される。
【００２６】
例えば、上述の例では、入力された文字列は「富（名詞）／規（名詞）／全集（名詞）」となっている。ここで、名詞の単語「富」、「規」、「全集」は、それぞれ連続して出現していると判断できる。そのため、例えば、Ｎの値が２である場合、連結語生成部３４は、２個連続して出現する名詞の単語「『富』と『規』」および「『規』と『全集』」をそれぞれ連結する。これにより、２つの連結語「富規」と「規全集」とが生成される。また、所定の数Ｎの値が３である場合は、「『富』と『規』と『全集』」を連結し、「富規全集」という連結語を生成する。
【００２７】
ここで、所定の数であるＮは、予め設定される数である。このＮとしては、単一の数（例えば、「２」や「３」）を設定してもよいし、複数の数（例えば、「２と３」や「２と３と４」など）を設定してもよい。複数の数を設定した場合は、設定数毎に名詞の単語を連結した連結語を生成する。すなわち、上述の例において、Ｎの値として「２と３」を設定した場合、生成される連結語は、２語毎に連結された「富規」と「規全集」、３語毎に連結された「富規全集」の３語になる。
【００２８】
生成された連結語は、名詞の単語として記録され、キーワード抽出部１８に入力される。キーワード抽出部１８では、入力された文字列に対するこれまでの処理結果（Ｓ１０〜Ｓ１８）に基づいて、検索の際のキーワードとなる語を抽出する。キーワードの抽出においては、少なくとも生成された連結語をキーワードとして抽出する。もちろん、連結語が生成されなかった単一の名詞の単語などをキーワードとして抽出してもよい。
【００２９】
そして、抽出されたキーワードをそのキーワード候補が記録されていた文書の文書情報とともにデータベースに記録する。ここで、文書情報としては、各文書の識別子となる文書ＩＤや文書作成日、文書の所在を示すアドレスなどである。これら文書情報とキーワード候補とが記録されたデータベースが検索の際に使用されるインデックスとして機能する。ただし、このとき、単に、全ての抽出されたキーワードを登録するのではなく、各キーワードの出現頻度に応じて、登録するかどうかを判断してもよい。例えば、一つの文書において「規全集」や「富規全集」は１回しか出現しないが、「富規」は数回出現する場合、「富規」のみをデータベースに記録するようにしてもよい。また、他のルールに従って、複数のキーワードのうち、登録すべきものと登録しないものとを区別してもよい。
【００３０】
このように、未知語を一文字ごとに名詞の単語として分割し、連続して出現する名詞の単語をＮ語毎に連結した連結語をキーワードとして抽出することにより、文書検索装置の検索精度をより向上させることができる。すなわち、未知語に対し未処理のままでキーワード抽出を行うと、「富規」のような略語をキーワードとして抽出することができない。しかし、本実施の形態のように、未知語から連結語を生成することにより略語のような辞書に登録されていない文字列もキーワードとして抽出することができる。
【００３１】
また、Ｎ毎に連結しているため、適切な長さのキーワードを得ることができる。すなわち、連結を行わず、未知語を一文字ごとに名詞の単語に分割しただけでは、各単語の長さが短すぎ、キーワードとして利用できない場合がある。例えば、「富」のみをキーワードとしてインデックスに登録した場合には、ユーザーが「富規」を検索キーとして指定しても、当該文書のキーワードに「富規」が登録されていないため、当該文書は検索結果として出力されない。逆に、ユーザーが入力した検索キー「富規」を一文字ごとに分割することも考えられるが、その場合は、「富」を含む全文書が検索結果として出力されてしまう。したがって、例えば、「富豪」や「貧富」などを含む文書も検索結果として出力され、結果として検出精度が低くなる。しかし、本実施の形態では、Ｎ語毎に連結するため、このような問題を防止できる。
【００３２】
以上、説明したように、本実施の形態によれば、文書検索装置の検索精度を向上させることができる。
【００３３】
なお、形態素解析において、辞書に登録されていない文字列だけでなく、ひらがなやカタカナを一文字の未知語として出力するようにしてもよい。その場合、例えば、「新聞など発表」という文字列は、「新聞（名詞）／な（未知語）／ど（未知語）／発表（名詞）」として解析される。このように解析すると、後の分割処理においては、「新聞（名詞）／な（名詞）／ど（名詞）／発表（名詞）」として分割される。そして、Ｎを３として設定すれば、連結語として「新聞など」と「など発表」の２つ語が生成される。キーワード抽出においては、この生成された２つの連結語をキーワードとして抽出することができる。
【００３４】
このようにひらがなやカタカナを未知語として解析することにより、漢字とひらがな（およびカタカナ）とを組み合わせたキーワードを抽出することができる。これにより、より多用なキーワードの抽出を行うことができ、ひいては、文書検索装置の検索精度を向上させることができる。
【図面の簡単な説明】
【００３５】
【図１】本発明の実施の形態であるキーワード抽出装置のブロック図である。
【図２】キーワード抽出装置におけるキーワード抽出の流れを示す図である。
【符号の説明】
【００３６】
１２  入力部、１４  形態素解析部、１６  未知語処理部、１８  キーワード抽出部、２０  データベース、３２  分割部、３４  連結語生成部。
【図１】
2005165520.tif 000003
【図２】
2005165520.tif 000004