(57)【要約】【目的】適合率の高い検索を行なえるような適切なキーワードを抽出することのできるキーワード抽出装置を提供する。【構成】表現抽出部３は、データ入力部２で読み込んだ文書データを形態素解析部１１で形態素解析し、その結果から、単語群抽出部１２で表現候補抽出規則に従ってキーワードの候補になり得る表現を品詞とともに抽出する。重要度評価部１０は頻度計数部７で計数された表現の出現頻度に基づいて重要度を計算する。このとき、あるキーワード候補が別のキーワード候補に含まれている場合、両者の出現頻度から、そのキーワード候補の重要度を計算する。重要度を付与されたキーワード候補の中から、重要度に基づいてキーワード選定部９でキーワードが選定される。【選択図】　図１５
2004005711.tif 000002
【特許請求の範囲】
【請求項１】
テキストから重要度に従ってキーワードを抽出するキーワード抽出装置において、キーワード候補を抽出し出現頻度とともに出力するキーワード候補抽出手段と、ある第１のキーワード候補を部分として持つ第２のキーワード候補があるとき少なくとも第１のキーワード候補の出現頻度と第２のキーワード候補の出現頻度とに基づいて前記キーワード候補抽出手段により抽出されたキーワード候補の重要度を評価する重要度評価手段を有することを特徴とするキーワード抽出装置。
【請求項２】
テキストから重要度に従ってキーワードを抽出するキーワード抽出方法において、前記テキストからキーワード候補を抽出して出現頻度とともに出力し、ある第１のキーワード候補を部分として持つ第２のキーワード候補があるとき少なくとも第１のキーワード候補の出現頻度と第２のキーワード候補の出現頻度とに基づいて、前記テキストから抽出したキーワード候補の重要度を評価し、該重要度に従ってキーワードを抽出することを特徴とするキーワード抽出方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、文書データベース等において、テキスト情報を検索するためのキーワードをテキストから自動的に抽出するキーワード抽出装置およびキーワード抽出方法に関するものである。
【０００２】
【従来の技術】
従来、データベース等に蓄積された大量の情報の中から、所望の情報を検索する手法として、各データにあらかじめキーワードを割り当てておき、ユーザの入力した検索キーと一致したキーワードを持つ情報を検索して出力する装置が開発されている。
【０００３】
テキスト情報のキーワード検索においては、インデクサと呼ばれる専門家が適切なキーワードをあらかじめテキスト情報に付与するのが一般的である。しかし、このキーワードの付与は、膨大な手間がかかることから、キーワードを自動的に抽出する技術の研究が数多く行なわれている。例えば、特開平１−１１２３３１号公報に記載されているキーワード重要度自動評価装置では、文書中から名詞をキーワードとして抽出し、さらに統計的、構文的、意味的な重要度の評価を加えている。
【０００４】
しかし、このような従来のキーワード抽出方法では、一般に単語単位で抽出を行なうため、どうしても検索結果に本来求めるものと無関係なものが多くなってしまう。すなわち、適合率が低下するという問題があった。これは、ユーザが欲する検索要求に対応する概念は、必ずしも単語レベルの表現と一致しないため、単語レベルのキーワードで検索した場合、ユーザが想定していた意味とは別の意味で用いられているテキストも検索されてしまうためである。また、重要度の評価についても、１つの文書内で、ある単語がいろいろな意味に使われている場合であっても、そのような意味については考慮せず、ある単語についての重要度を評価してしまっているため、必ずしも正しく重要度が評価されてはいない。
【０００５】
これに対して、複合語や、動詞句、名詞句などの単位でキーワードを抽出することが考えられる。例えば、特公昭５８−３３９９３号公報に記載されているキーワード抽出装置においては、複合語を用いる方法が提案されている。この方法によれば、単語単位で概念を抽出するという制約はなくなる。また、複合語でなくても、複合語と同等の意味を表わす表現、例えば、「絶縁膜形成方法」に対する「絶縁する膜を形成する方法」のような表現がテキスト中にあれば、キーワードとして抽出でき、表層の表現によらず、キーワードを抽出することができる。
【０００６】
しかしながら、この方法は、あらかじめ抽出すべき複合語がキーワード表に登録されている必要があり、テキスト中から互いに関係を持つ単語群を自由に抽出するものではない。また、複合語に準ずる表現を抽出する際に、単語同士が係り受け関係にあれば複合語になり得るとされている。このため、例えば、「文書を検索する」も、「文書から検索する」も、「文書／検索」として抽出されてしまう。このため、検索結果には依然として適切でないものが含まれてしまうことが多かった。また、このように単語間の関係は無視されているため、それらを重要度の評価に利用することはできなかった。
【０００７】
【発明が解決しようとする課題】
本発明は、上述した事情に鑑みてなされたもので、適合率の高い検索を行なえるような適切なキーワードを抽出することのできるキーワード抽出装置およびキーワード抽出方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は、請求項１に記載の発明においては、テキストから重要度に従ってキーワードを抽出するキーワード抽出装置において、キーワード候補を抽出し出現頻度とともに出力するキーワード候補抽出手段と、ある第１のキーワード候補を部分として持つ第２のキーワード候補があるとき少なくとも第１のキーワード候補の出現頻度と第２のキーワード候補の出現頻度とに基づいて前記キーワード候補抽出手段により抽出されたキーワード候補の重要度を評価する重要度評価手段を有することを特徴とするものである。
【０００９】
また、請求項２に記載の発明においては、テキストから重要度に従ってキーワードを抽出するキーワード抽出方法において、前記テキストからキーワード候補を抽出して出現頻度とともに出力し、ある第１のキーワード候補を部分として持つ第２のキーワード候補があるとき少なくとも第１のキーワード候補の出現頻度と第２のキーワード候補の出現頻度とに基づいて、前記テキストから抽出したキーワード候補の重要度を評価し、該重要度に従ってキーワードを抽出することを特徴とするものである。
【００１０】
【作用】
本発明によれば、テキストから重要度に従ってキーワードを抽出する。この重要度の評価として、ある第１のキーワード候補を部分として持つ第２のキーワード候補があるとき少なくとも第１のキーワード候補の出現頻度と第２のキーワード候補の出現頻度とに基づいてキーワード候補の重要度を評価する。これにより、あるキーワード候補が、別のキーワード候補に含まれている場合でも、実際の出現頻度に見合った重要度を付加することができる。
【００１１】
【実施例】
図１は、本発明のキーワード抽出装置の第１の実施例の全体構成を示すブロック図である。図中、１はキーワード抽出装置、２はデータ入力部、３は表現抽出部、４は関係抽出部、５はリレーション表現選択部、６は記憶部、１１は形態素解析部、１２は単語群抽出部である。
【００１２】
データ入力部２は、磁気ディスク、ＯＣＲ、ＭＴなどから、キーワードを抽出する対象となる日本語テキストを読み込む。もちろん、入力装置を用いて直接入力される構成であってもよい。表現抽出部３は、形態素解析部１１、単語群抽出部１２を含む。表現抽出部３は、データ入力部２で読み込んだテキストを形態素解析部１１で形態素解析し、その結果から、単語群抽出部１２で表現候補抽出規則にしたがってキーワードの候補になり得る表現を品詞とともに抽出する。関係抽出部４は、表現抽出部３で抽出された表現を構成する語句の間の関係を解析し、関係を表わすリレーション記号に変換し、複数の語句とリレーション記号の組からなるリレーション表現を生成する。リレーション表現選択部５は、関係抽出部４で出力されたキーワード候補のうち、同じ語句によって構成され、リレーション記号が互いに矛盾しないリレーション表現を抽出し、その中で最も抽象度の低いリレーション記号を持つリレーション表現のみをキーワード候補として選択する。選択されたキーワード候補に基づき、抽出したキーワードは、入力された文書とともに、記憶部６に記録される。
【００１３】
表現抽出部３には、形態素解析部１１に加えて構文解析部、意味解析部などを設けたり、これらを統合した解析部を設けるなどして、より深い解析を行ない、その結果に基づいてより精度の高い抽出を行なっても良い。
【００１４】
次に、本発明の第１の実施例における動作の一例を説明する。まず、データ入力部２より、文書データを電子的に読み込み、表現抽出部３に送出する。上述したように、表現抽出部３は、文書データを一文ずつ、すなわち句点まで読み込み、形態素解析部１１で形態素解析して単語に分割する。形態素解析については、自然言語処理の基本技術として広く知られており、例えば、特開昭６０−２０２３４号公報に記載されている日本語形態素解析方式など、種々の公知の方式を用いることができる。
【００１５】
次に、単語群抽出部１２で、品詞および表層表現の組合わせに基づく表現抽出規則にしたがってキーワードの候補となり得る単語群を抽出する。この例では、形態素解析結果のみから単語群を抽出するという方法を用い、助詞などの付属語を介して直結する２つの自立語群を抽出の単位とする。もちろん、意味解析結果を用いるなど、他の情報をも参考にして単語群の抽出を行なってもよい。また、３つ以上の自立語群を抽出単位としてもよい。以下の説明では、抽出される表現のパターンは「前自立語群＋付属語群＋後自立語群」であるものとし、このパターンを抽出するために、それぞれ前自立語群ストリームＪＦ、付属語群ストリームＦＺ、後自立語群ストリームＪＢを用いる。表現抽出規則には、抽出すべき表現の前自立語群、付属語群、後自立語群の取りうる関係が記述されている。
【００１６】
上述の抽出される表現のパターン中の前自立語群、付属語群、後自立語群は、以下の説明では直結している場合について説明しているが、これらは直結している必要はなく、表現抽出規則にマッチする最も近い語群を抽出するように構成することもできる。また、このパターンに限らず、他のパターンを抽出してもよい。
【００１７】
図２は、表現抽出部３の動作の一例を示すフローチャートである。表現抽出部３は、Ｓ２２で文書データから一文ずつ取り出し、Ｓ２３で形態素解析部１１において形態素解析を行なって、単語に分割する。Ｓ２４で前自立語群ストリームＪＦ、付属語群ストリームＦＺ、後自立語群ストリームＪＢをクリアし、Ｓ２５で前自立語群ストリームＪＦに自立語群、ここでは、サ変動詞語幹、名詞、形容動詞語幹の並びを読み込む。以下の説明および図面では、サ変動詞語幹をサ変、形容動詞語幹を形容動詞と略記することがある。また、Ｓ２６で付属語群ストリームＦＺに、前自立語群に続く付属語群を読み込む。
【００１８】
Ｓ２７において、前自立語群ストリームＪＦ、付属語群ストリームＦＺに読み込まれた前自立語群、付属語群の組み合わせが表現抽出規則にマッチするか否かを判定し、マッチしない場合には抽出すべきパターンではないので、Ｓ２４へ戻り、抽出した前自立語群、付属語群を破棄する。表現抽出規則にマッチする場合には、Ｓ２８において、付属語群に続く自立語群を後自立語群ストリームＪＢに読み込む。そして、Ｓ２９において、前自立語群ストリームＪＦ、付属語群ストリームＦＺ、後自立語群ストリームＪＢを用いて表現抽出規則にマッチするか否かを判定する。もし、マッチしていれば、Ｓ３１において、前自立語群ストリームＪＦ、付属語群ストリームＦＺ、後自立語群ストリームＪＢに読み込まれた内容を出力表現ストリームＥＸに出力する。マッチしていない場合には、Ｓ３０において、前自立語群ストリームＪＦに複合語が読み込まれているか否かを判定し、複合語が読み込まれている場合には、Ｓ３１で前自立語群ストリームＪＦの内容を出力表現ストリームＥＸに出力する。
【００１９】
Ｓ３２においては、現在読み込んだ前自立語群ストリームＪＦ、付属語群ストリームＦＺ、後自立語群ストリームＪＢのうち、後自立語群ストリームＪＢに読み込まれた自立語群は、続く単語列の前自立語群となり得る。そのため、後自立語群ストリームＪＢに読み込まれている自立語群を前自立語群ストリームＪＦに格納し、付属語群ストリームＦＺおよび後自立語群ストリームＪＢをクリアする。
【００２０】
Ｓ３３において、文の最後まで読み込んだか否かを判定し、まだ文の途中の場合には、Ｓ２５へ戻り、上述のパターンの抽出処理を続行する。文の最後まで到達すると、Ｓ２１へ戻り、文書の最後か否かを判定し、文がまだ残っている場合には、Ｓ２２以降の処理を繰り返し行なう。文書の最後まで処理を行なったら、表現抽出部３の処理を終了する。このとき、表現出力ストリームＥＸに出力された表現が、表現抽出部３で抽出された表現である。抽出された表現は関係抽出部４に送られる。
【００２１】
具体例を用いて上述の動作を説明する。図３は、形態素解析結果の一例の説明図、図４は、抽出された表現の一例の説明図、図５は、表現抽出規則の一例の説明図である。例えば、Ｓ２２において、「我々が実現したシステムは、本手法適用により文書の高速検索を実現する。」という文が取り出されたものとする。Ｓ２３において、形態素解析部１１で形態素解析を行ない、図３に示すような解析結果を得る。
【００２２】
次に、単語群抽出部１２において、表現抽出規則に従って、分割された単語列からキーワードの候補となり得る単語群を抽出する。表現抽出規則の例を図５に示す。例えば、規則１では、前自立語群が名詞、サ変動詞語幹、形容動詞語幹のいずれかまたはそれらの列により構成され、その後ろに付属語群として「に」があり、さらにその後ろに後自立語群としてサ変動詞語幹が存在する場合に、表現を抽出することを示している。他の規則についても同様である。
【００２３】
上述の例文では、図３に示した形態素解析結果から、まず、Ｓ２５で「我々」（代名詞）が前自立語群ストリームＪＦに、Ｓ２６で「が」（格助詞）が付属語群ストリームＦＺにそれぞれ読み込まれ、Ｓ２７で図５に示した表現抽出規則とのマッチングを行なう。図５に示した表現抽出規則には、代名詞で始まる規則はないため、以下の処理は行なわず、Ｓ２４に戻って各ストリームはクリアされる。
【００２４】
続いて、「実現」（サ変）が前自立語群ストリームＪＦに、「した」（サ変動詞終止／連体語尾（以下、サ変語尾と略すことがある））が付属語群ストリームＦＺにそれぞれ読み込まれ、表現抽出規則とのマッチングを行なう。この場合、図５に示した表現抽出規則の規則７とマッチするので、各ストリームの内容はそのまま保持され、Ｓ２８で、続く自立語「システム」（名詞）が後自立語群ストリームＪＢに読み込まれる。続いて「は」（副助詞）を読み込もうとするが、自立語ではないため読み込まれず、Ｓ２９で表現抽出規則とのマッチングを行なう。これは、図５の規則７にマッチするため、Ｓ３１で「実現したシステム」という表現を品詞情報とともに表現出力ストリームＥＸに出力する。
【００２５】
次に、Ｓ３２で後自立語群ストリームＪＢの内容を前自立語群ストリームＪＦにコピーし、Ｓ２５，２６で続く単語を読み込む。すなわち、「システム」を前自立語群ストリームＪＦにコピーし、「は」（副助詞）が付属語群ストリームＦＺに読み込まれる。この場合、マッチする表現抽出規則がないため、Ｓ２４へ戻り、次の単語の読み込みを行なう。ここで、「、」（記号）、「本」（接頭語）は自立語でないため、無視される。
【００２６】
次に、「手法」（名詞）が前自立語群ストリームＪＦに読み込まれると、続く「適用」（サ変）も自立語であるため、複合語として続けて前自立語群ストリームＪＦに取り込む。このように自立語群として扱われるのは、活用語尾を伴わない自立語の連続、すなわち、名詞／サ変／形容動詞のいずれかが連続する場合であり、自立語群の品詞は名詞として取り扱う。続いて「により」（格助詞相当語）が付属語群ストリームＦＺに読み込まれる。この場合、図５に示した表現抽出規則にマッチする規則（規則５）があるため、続く「文書」（名詞）が後自立語群ストリームＪＢに読み込まれる。続いて表現抽出規則とのマッチングを行なうと、マッチする規則がない。すなわち、前自立語群、付属語群は、図５に示した表現抽出規則の規則５にマッチするが、後自立語群がサ変または形容動詞ではないので、規則５にマッチしない。そのため、Ｓ３０で複合語として前自立語群ストリームＪＦに読み込まれた「手法適用」をキーワード候補になり得る表現として品詞の情報とともに表現出力ストリームＥＸに出力する。そして、後自立語群ストリームＪＢに読み込まれた「文書」を前自立語群ストリームＪＦにコピーし、以下同様にして表現の抽出を続行する。
【００２７】
以上のようにして、上述の例文から抽出される表現を図４に示す。上述のように、複合語が前自立語群あるいは後自立語群を構成する場合には、複合語を１つの名詞として扱うので、複合語を構成する各単語は‘−’で結んで示している。他の各語は、‘／’で区切って示している。各表現は品詞情報とともに抽出される。
【００２８】
表現抽出部３は、Ｓ３３で文末までの表現抽出が終了したことを検知すると、Ｓ２２で次の１文を取り出し、同様に、形態素解析、単語群抽出を行なう。このようにして、Ｓ２１で文書の最後までの表現抽出が終了したことを検知すると、表現出力ストリームＥＸに出力された表現について、関係抽出部４で関係抽出動作を行なう。
【００２９】
図６は、関係抽出部４の関係抽出動作の一例を示すフローチャートである。関係抽出部４では、表現抽出部３で抽出された表現を受け取り、関係推定規則を用いて各表現を構成する語句の間の関係を解析し、関係を表わすリレーション記号に変換し、複数の語句とリレーション記号の組からなるリレーション表現を生成する。
【００３０】
Ｓ４１において、表現出力ストリームＥＸから表現の１つを取り出す。Ｓ４２で取り出した表現とマッチする関係推定規則を検索する。マッチした関係推定規則に対応するリレーション記号を得て、Ｓ４３で表現にリレーション記号を付与する。
【００３１】
続いて、｛リレーション記号　表現１　表現２｝という形式のリレーション表現を生成する。基本的には、前自立語群が表現１に、後自立語群が表現２になるが、語順を入れ替えた言い換え表現ができるような場合に限って、必要であれば前自立語群と後自立語群を入れ替える。例えば、「システムの実現」と「実現したシステム」のような場合であり、この場合「実現したシステム」の方の語順を入れ替える。どちらを入れ替えるかについては、一般に、体言−用言の順にすることを基本とする。Ｓ４４で語順の入れ替えが必要か否かを判定し、必要な場合には、Ｓ４５で表現１と表現２の項目を入れ替えたリレーション表現を生成する。入れ替えの必要がない場合には、Ｓ４６でそのままの順序でリレーション表現を生成する。生成したリレーション表現は、Ｓ４７でリレーション表現群ストリームＲＬに出力する。
【００３２】
Ｓ４８で表現出力ストリームＥＸ内のすべての表現について処理されたか否かを判定し、未処理の表現が残っている場合には、Ｓ４１へ戻り、繰り返しリレーション表現の生成を行なう。
【００３３】
上述の関係抽出部４の動作の一例を、具体例をもとに説明する。図７は関係推定規則の一例の説明図、図８は、リレーション表現の一例の説明図である。ここでは、具体例として、図４に示した表現が表現抽出部３で抽出され、表現出力ストリームＥＸに格納されて関係抽出部４に渡された場合について説明する。
【００３４】
関係推定規則は、図７に示すように、前自立語群、後自立語群、付属語群の組と、リレーション記号との対応表として記述されている。例えば、前自立語群が名詞またはサ変、付属語群が「の」、後自立語群がサ変の表現は、リレーション記号［ノ］が対応する。他の組み合わせについても同様である。
【００３５】
まず、Ｓ４１で表現出力ストリームＥＸから表現を１つ取り出す。表現「実現したシステム」が取り出されたものとする。関係抽出部４は、「実現」と「システム」の間の関係を推定する。Ｓ４２で図７に示した関係推定規則を探索する。この例では、前自立語群である「実現」はサ変、後自立語群である「システム」は名詞、付属語群は「した」であるから、図７に示した関係推定規則のうち、最下欄に示す関係推定規則がマッチする。対応するリレーション記号［スル］を取り出し、表現に対してこのリレーションを付与する。
【００３６】
次に、Ｓ４４で入れ替えが必要か否かを判定する。この例では、用言−体言の順に単語が並んでおり、語順を入れ替えた表現も可能であるので、入れ替えが必要であると判断する。このときの判定は、例えば、入れ替えが行なえる特殊な場合を表わす語順入れ替え規則とのマッチングを行ない、該当する規則があった場合には、語順の入れ替えを行なうように構成することができる。上述の「実現したシステム」の場合、Ｓ４５で語順が入れ替えられ、｛［スル］　システム　実現｝という形式のリレーション表現が生成される。生成されたリレーション表現は、順次、Ｓ４７でリレーション表現群ストリームＲＬに出力される。
【００３７】
なお、自立語のみの複合語の場合には、［直結］というリレーション記号が付与される。ここで、２語からなる複合語の場合は２つの語がそれぞれ表現１，表現２となる。３語以上の複合語の場合には、表現１，表現２は特定しない。例えば、「高速検索機能」という複合語の場合、｛［直結］　高速−検索−機能｝というリレーション表現を生成する。このとき、高速と検索−機能、あるいは高速−検索と機能といった分け方はしない。
【００３８】
このようにして、最初の表現「実現したシステム」から｛［スル］　システム実現｝というリレーション表現が生成された。以下、「手法適用」、「文書の高速検索機能」、「高速検索機能を実現」についても、同様の処理により、図８に示すようなリレーション表現が生成される。関係抽出部４において、表現抽出部３で抽出された全ての表現がリレーション表現に変換されると、リレーション表現群ストリームＲＬに出力されたリレーション表現群は、リレーション表現選択部５に渡される。
【００３９】
図９は、リレーション表現選択部５の動作を示すフローチャートである。リレーション表現選択部５は、Ｓ５２でリレーション表現群ストリームＲＬからリレーション表現を１つ取り出し、リレーション表現ストリームＲＥにコピーする。続いて、Ｓ５３でリレーション表現ストリームＲＥと同じ語から構成される全てのリレーション表現をリレーション表現群ストリームＲＬ中から探し、ストリームＳＩにコピーする。このとき、リレーション表現ストリームＲＥ自身もストリームＳＩにコピーする。
【００４０】
次に、ストリームＳＩ中のリレーション表現のリレーション記号を比較する。リレーション記号には、あらかじめ抽象度およびそのリレーション記号と矛盾しないリレーション記号の情報が与えられている。この情報をもとに、Ｓ５４でストリームＳＩの中からリレーション表現ストリームＲＥと矛盾するリレーション表現を削除する。また、Ｓ５５で矛盾しないリレーション表現について、重複して選択処理が行なわれないように、ストリームＳＩ内のリレーション表現をリレーション表現群ストリームＲＬから削除する。そして、Ｓ５６において、ストリームＳＩ内の各リレーション記号の有する抽象度が最も低いものを選択し、結果出力ストリームＳＯに出力する。
【００４１】
Ｓ５１へ戻り、リレーション表現群ストリームＲＬ内にリレーション表現が存在しなくなるまで、上述の処理を繰り返し行なう。これにより、結果出力ストリームＳＯには、類似の関係を有する表現が排除されたキーワード候補が収容されることになる。結果出力ストリームＳＯに書き込まれたキーワードは、記憶部６に入力文書とともに登録される。
【００４２】
具体例をもとに、上述のリレーション表現選択部５の動作の一例を説明する。図１０は、同じ語から構成されるリレーション表現の一例の説明図、図１１は、リレーション記号が有する情報の一例の説明図である。
【００４３】
Ｓ５２でリレーション表現群ストリームＲＬから、例えば、｛［スル］　システム　実現｝という表現が取り出されたとすると、この表現がリレーション表現ストリームＲＥにコピーされる。そして、リレーション表現ストリームＲＥの内容、および、この表現と同じ語、すなわち、「システム」と「実現」を有するリレーション表現が、リレーション表現群ストリームＲＬからストリームＳＩにコピーされる。ストリームＳＩにコピーされたリレーション表現を図１０に示している。図１０に示すように、同じ語を有するリレーション表現であっても、リレーション記号の違うものが存在する。例えば、「実現したシステム」、「システムを実現」、「システムの実現」、「システム実現」などの表記が存在する。これらは、関係抽出部４において、違うリレーション記号を付与して区別している。
【００４４】
次に、ＳＩ中のリレーション表現のリレーション記号を比較する。上述のように、リレーション記号には、あらかじめ抽象度およびそのリレーション記号と矛盾しないリレーション記号の情報が与えられている。この例を図１１に示している。図１１に示したように、抽象度は、例えば、１から７までの数字で表わしており、数字が大きいほど抽象度が大きいことを表している。図１１では、例えば、リレーション記号［ヲ］の抽象度は１であり、リレーション記号［ノ］の抽象度は３である。これは、例えば、「システムの実現」という表現は、「システムを実現」という意味を表している場合もあるが、必ずしもそうであるとは言えないということを意味している。このように、表現によって確かさが異なることを表したものが抽象度である。抽象度は、上述したリレーション記号の種類に依存し、リレーション記号の種類が変われば、抽象度の与え方も変わる。
【００４５】
このような情報を用い、まず、リレーション記号を比較して、矛盾するリレーション記号を持つキーワード候補をＳＩから削除する。一般に、抽象度が同じリレーション記号は互いに矛盾し、抽象度が違うリレーション記号の中には矛盾するものとしないものがある。図１１では、自分自身より抽象度が高いリレーション記号の中で矛盾しないものが、矛盾しないリレーション記号の情報として与えられている。すなわち、リレーション記号［ノ］は、それより抽象度が高いリレーション記号［名詞接続］、［スル］、［直結］の中で、矛盾しないリレーション記号［スル］、［直結］が与えられている。
【００４６】
この矛盾するあるいは矛盾しないとは、例えば、「システムを実現」は「システムの実現」と言い換えることができるが、「展示会に出展」は「展示会の出展」と言い換えることはできない。したがって、リレーション記号［ヲ」と［ノ］は矛盾しないが、リレーション記号［ニ］と［ノ］は矛盾する。
【００４７】
リレーション記号の比較は、リレーション表現ストリームＲＥおよびストリームＳＩ中のリレーション記号の中で、最も抽象度の低いものを選び、その他のリレーション記号が、選んだリレーション記号の持つ、矛盾しないリレーション記号の情報に含まれれば、矛盾しないと判断する。図１０に示した例では、最も抽象度の低いリレーション記号［ヲ］を選択し、これと矛盾しないリレーション記号［ノ］、［スル］、［直結］と、他のリレーション表現のリレーション記号を比較する。矛盾するリレーション記号を持つリレーション表現が見つかった場合には、抽象度の低いものを優先するなどのあらかじめ決められた規則にしたがって矛盾する候補を除去する。図１０に示す例では、全ての候補は矛盾しないので、除去動作は行なわれない。このようにして矛盾するリレーション表現の削除されたストリームＳＩ中のリレーション表現は、それぞれが類似した意味関係を有している。そのため、これらのリレーション表現の中から１つをキーワード候補として抽出すればよい。
【００４８】
ストリームＳＩ中に残されたリレーション表現は、選択処理によってキーワード候補が抽出されるので、これらのリレーション表現から重複してキーワードを抽出しないように、ストリームＳＩ中のリレーション表現をリレーション表現群ストリームＲＬから消去する。
【００４９】
次に、類似したリレーション表現の中からキーワード候補を抽出する。ストリームＳＩ中のリレーション表現のリレーション記号を比較し、最も抽象度が低いものを選択し、そのリレーション表現をキーワードとして結果出力ストリームＳＯに書き込む。抽象度が低いリレーション記号を選択するのは、抽象度が低い方が、単語間の関係が確かであり、キーワードとして有効に機能するためである。ここでは、リレーション記号［ヲ］が選択され、リレーション表現｛［ヲ］　システム　実現｝がキーワードとして結果出力ストリームＳＯに書き込まれる。
【００５０】
このようにして、一つのリレーション表現ＲＥについての選択動作が終了する。リレーション表現選択部６は、以下同様の動作を繰り返す。リレーション表現群ストリームＲＬのすべてのリレーション表現の選択が終了すると、リレーション表現選択動作が終了する。
【００５１】
以上のように、第１の実施例によれば、同じ自立語で構成されるリレーション表現の中から、リレーション記号の抽象度が最も低いものをキーワードとして選択することにより、関係が確かなリレーション表現をキーワードとすることができ、キーワード抽出の精度を上げることができる。
【００５２】
図１２は、本発明の第２の実施例の全体構成を示すブロック図である。図中、図１と同様の部分には同じ符号を付して説明を省略する。７は頻度計数部、８はリレーション表現選択／評価部、９はキーワード選定部である。この第２の実施例では、第１の実施例の構成に加えて、関係抽出部４の後に頻度計数部７が設けられている。また、図１のリレーション表現選択部５に代わって、リレーション表現選択／評価部８が設けられ、その後にキーワード選定部９が設けられている。
【００５３】
データ入力部２、表現抽出部３、関係抽出部４は第１の実施例と同様である。頻度計数部７は、関係抽出部４から出力されたリレーション表現から重複を除いて各表現の出現頻度を計数し、リレーション表現を出現頻度とともに出力する。リレーション表現選択／評価部８は、まず、第１の実施例と同様に、関係抽出部４から出力されたキーワード候補のうち、同じ語句によって構成され、リレーション記号が互いに矛盾しないリレーション表現を抽出し、その中で最も抽象度の低いリレーション記号を持つリレーション表現のみをキーワード候補として選択する。さらに、この第２の実施例では、選択されなかったリレーション表現の出現頻度などをも用いて、選択されたリレーション表現の重要度を評価する。キーワード選定部９は、リレーション表現選択／評価部８の評価結果に基づいてキーワードを選定する。
【００５４】
次に、本発明のキーワード抽出装置の第２の実施例における動作の一例を説明する。関係抽出部４までの動作は、第１の実施例と同じである。関係抽出部４において、表現抽出部３で抽出されたすべての表現がリレーション表現に変換されると、頻度計数部７において重複するリレーション表現を除き、出現頻度を付与する。これにより、リレーション表現は、例えば、｛リレーション記号　表現１表現２　計数値｝という形式に変換する。具体的には、例えば、｛［スル］　システム　表現　２｝のような形式となる。
【００５５】
頻度を付与されたリレーション表現群は、リレーション表現選択／評価部８において選択／評価される。図１３は、リレーション表現選択／評価部８の動作の一例を示すフローチャートである。同じ自立語から構成されるリレーション表現の中から、リレーション記号の抽象度が最も低いものを選択するところまでは、第１の実施例とまったく同様である。すなわち、図１３のＳ６１ないしＳ６５のステップは、図９のＳ５１ないしＳ５５のステップと同様の処理が行なわれる。
【００５６】
Ｓ６６において、この第２の実施例では、選択されたリレーション表現をストリームＣＯに書き込む。続いて、Ｓ６７でストリームＣＯに書き込まれたリレーション表現の重要度を計算する。重要度の計算としては、たとえば、ストリームＳＩ中の全リレーション表現の出現頻度を単純に加算したものを重要度とすることができる。このほかにも、各リレーション表現の出現頻度をリレーション記号の抽象度に応じて重み付けして加算するなど、種々の方法を用いることができる。
【００５７】
Ｓ６８において、ストリームＣＯ内のリレーション表現と、Ｓ６７で計算された重要度を結果出力ストリームＳＯに出力し、リレーション表現ストリームＲＥに読み込まれた１つのリレーション表現についての選択／評価動作が終了する。リレーション表現選択／評価部８は、以下同様の動作を繰り返す。リレーション表現群ストリームＲＬのすべてのリレーション表現の選択／評価が終了すると、リレーション表現選択／評価部８の動作が終了する。
【００５８】
図１４は、同じ語から構成されるリレーション表現の別の例の説明図である。具体例として、第１の実施例と同様、Ｓ６２、Ｓ６３の処理により、図１４に示すリレーション表現がリレーション表現ストリームＲＥおよびストリームＳＩに読み込まれたものとする。ここで、リレーション表現ストリームＲＥおよびストリームＳＩに読み込まれた各リレーション表現は、頻度計数部７によって出現頻度が計数され、計数値が付与されている。Ｓ６６において、これらのリレーション表現から、抽象度が最も低いリレーション表現｛［ヲ］　システム　実現　２｝が選択され、ストリームＣＯに書き込まれる。Ｓ６７では、このリレーション表現の重要度が計算される。上述のように、重要度をストリームＳＩ中の全リレーション表現の出現頻度を単純に加算したものとすれば、リレーション表現｛［ヲ］　システム　実現　２｝の重要度は８となる。このようにして、選択されたリレーション表現とその重要度を、｛［ヲ］　システム　実現　８｝という形で結果出力ストリームＳＯに出力する。
【００５９】
キーワード選定部９は、リレーション表現選択／評価部８で計算された重要度を用いて、例えば、あらかじめ与えられた値以上のものをキーワードとして選定し、記憶部９に入力文書とともに登録する。あらかじめ与えておく値は、例えば、計算方法を与えておき、キーワード候補数や重要度の分布によりキーワード選定時に計算するように構成したり、あるいは、キーワード抽出動作開始時にユーザがシステムに与えたり、重要度評価結果をユーザに提示して閾値を入力させるなど、種々の方法が考えられ、いずれの方法を用いても良い。
【００６０】
以上のように、第２の実施例によれば、キーワードの候補として選択されなかったリレーション表現の出現頻度も用いて、選択されたリレーション表現の重要度を評価することにより、より正確な重要度の評価ができ、精度良くキーワード抽出ができるキーワード抽出装置を提供することができる。
【００６１】
上述の第２の実施例において、頻度計数部７は、同一のリレーション表現の出現頻度を計数し、キーワード選定部９は、リレーション表現選択／評価部８におけるキーワードの候補として選択されなかったリレーション表現の出現頻度および選択されたリレーション表現の出現頻度から重要度を評価している。しかし、上述の方法では、例えば、「文書処理」と「文書処理システム」とは別のリレーション表現として抽出される。そして、単語群が同一でないため、リレーション表現選択／評価部８において、同じ語を有するリレーション表現として抽出されないので、別々のキーワード候補としてキーワード選定部９に出力されてしまう。文書中に、例えば、「文書処理」が２回、「文書処理システム」が３回出現したとし、キーワード選定部９で３回以上のリレーション表現を選定するすれば、「文書処理システム」がキーワードとして抽出され、「文書処理」はキーワードとして選定されなくなってしまう。しかしながら、「文書処理」と「文書処理システム」は全く異なる概念ではなく、「文書処理」という概念に着目した場合、５回出現したと考えるのが妥当である。したがって、実際には「文書処理」の方が重要度が大きい可能性がある。このように、単に同一の単語群についてのみから評価および選択を行なうと、正確な重要度の評価が行なわれず、検索の際の適合率を低下させる原因にもなる。
【００６２】
これを解決するため、リレーション表現選択／評価部８における評価の際、あるいは、キーワード選定部９における選定の際に、ある第１のキーワード候補を部分として持つ第２のキーワード候補があるとき、少なくとも第１のキーワード候補の出現頻度と第２のキーワード候補の出現頻度とに基づいてキーワード候補の重要度を評価するように構成することができる。これにより、あるキーワード候補が、別のキーワード候補に含まれている場合でも、実際の出現頻度に見合った重要度を付加することができる。例えば、リレーション表現選択／評価部８で計算された重要度が、「文書処理」が２、「文書処理システム」が３であるとき、「文書処理」の重要度を５として評価するように構成することができる。
【００６３】
上述の評価方法は、リレーション表現を用いたキーワード抽出装置以外でも適用することができる。図１５は、本発明のキーワード抽出装置の第３の実施例を示すブロック図である。図中、図１、図１２と同様の部分には同じ符号を付して説明を省略する。１０は重要度評価部、１３は単語群抽出部である。データ入力部２、記憶部６は、第１および第２の実施例と同様である。また、キーワード選定部９についても、第２の実施例と同様とした。
【００６４】
表現抽出部３は、形態素解析部１１、単語群抽出部１３より構成されている。表現抽出部３は、データ入力部２で読み込んだテキストを形態素解析部１１で形態素解析し、その結果から単語群抽出部１３で表現抽出規則にしたがってキーワード候補を抽出する。この第３の実施例では、単語群抽出部１３は、複合語を抽出するものとして、以下、説明する。しかし、これに限らず、上述の第１、第２の実施例と同様のパターン等、種々のパターンを抽出するように構成することもできる。
【００６５】
重要度評価部１０は、表現抽出部３から出力され、頻度計数部７で計数された表現の出現頻度に基づいて重要度を計算する。このとき、あるキーワード候補が別のキーワード候補に含まれている場合、両者の出現頻度から、そのキーワード候補の重要度を計算する。
【００６６】
次に、本発明のキーワード抽出装置の第３の実施例における動作の一例について、具体例をもとに説明する。具体例として、上述の第１および第２の実施例で用いた「我々が実現したシステムは、本手法適用により文書の高速検索を実現する。」という例文が入力された場合を考える。この例文は、表現抽出部３内の形態素解析部１１で形態素解析され、図３に示したような形態素解析結果が得られる。単語群抽出部１３は、形態素解析部１１で分割された単語列から、表現抽出規則に従ってキーワードの候補となり得る単語群を抽出する。ここでは、表現抽出規則として、活用語尾を伴わない自立語の連続、すなわち、名詞、サ変動詞語幹、形容動詞語幹のいずれかが連続する場合に抽出するものとする。図１６は、単語群抽出部１３により抽出されたキーワード候補の一例の説明図である。上述の例文では、図１６に示したような２つのキーワード候補が抽出される。
【００６７】
形態素解析部１１および単語群抽出部１３の処理は、１文ずつ行なわれ、以下、文書データの最後までこれを繰り返す。文書データ全部についての単語群の抽出が終了すると、頻度計数部７において、抽出された単語群の中から重複している単語群を探し、それらの単語群の出現頻度を計数し、重複を除く。こうして得られた単語群とその出現頻度の組は、重要度評価部１０に渡される。
【００６８】
図１７は、本発明のキーワード抽出装置の第３の実施例における重要度評価部１０の動作の一例を示すフローチャートである。頻度計数部７から渡される単語群と出現頻度の組は、キーワード候補群ストリームＫＥに入力されているものとする。
【００６９】
重要度評価部１０は、まず、Ｓ７１において、キーワード候補群ストリームＫＥを前方一致順に（辞書順に）ソートした前方一致順キーワード候補群ストリームＫＦと、キーワード候補群ストリームＫＥを後方一致順に（文字列の語尾から辞書順に）ソートした後方一致順キーワード候補群ストリームＫＢを用意する。
【００７０】
続いて、Ｓ７２において、前方一致順キーワード候補群ストリームＫＦにキーワード候補が存在することを確認し、Ｓ７３において、前方一致順キーワード候補群ストリームＫＦからキーワード候補をひとつ取り出し、変数ＫＹに読み込む。
【００７１】
次に、Ｓ７４において、前方一致順キーワード候補群ストリームＫＦの中で、変数ＫＹと前方一致するキーワード候補が存在するか否かを判定し、存在する場合には、Ｓ７５において、変数ＫＹと前方一致するキーワード候補をすべて前方一致候補ストリームＦＯにコピーする。さらに、Ｓ７６において、後方一致順キーワード候補群ストリームＫＢの中で、変数ＫＹと後方一致するキーワード候補が存在するか否かを判定し、存在する場合には、Ｓ７７において、後方一致するキーワード候補をすべて後方一致候補ストリームＢＡにコピーする。ここで、前方一致、後方一致の判断は、文字単位ではなく、単語単位で行ない、変数ＫＹを構成する単語を全て含んでいる場合に、前方一致、後方一致したと判断する。
【００７２】
図１８は、前方一致、後方一致により得られるキーワード候補の一例の説明図である。変数ＫＹに｛高速−検索　３｝が読み込まれているものとする。ここで、「高速−検索」はキーワード候補であり、「３」はその出現頻度である。前方一致候補ストリームＦＯには、このキーワード候補と前方一致する、例えば、「高速−検索−システム」、「高速−検索−機能」などが書き込まれる。また、後方一致候補ストリームＢＡには、例えば、「文書−高速−検索」などが書き込まれる。
【００７３】
図１７に戻り、続いて、Ｓ７８において、前方一致候補ストリームＦＯおよび後方一致候補ストリームＢＡにある候補の情報を用いて、変数ＫＹの重要度を計算する。ここでは、重要度の計算は、前方一致候補ストリームＦＯおよび後方一致候補ストリームＢＡ中のすべての候補の出現頻度を、変数ＫＹの出現頻度に加算することにより行なう。図１８に示した例では、キーワード候補「高速−検索」の重要度は１５となる。重要度を付与されたキーワード候補は、Ｓ７９において、重要度付き候補群ストリームＩＭに書き込まれる。重要度評価部１０は、以上の処理を、前方一致順キーワード候補群ストリームＫＦにキーワード候補がなくなるまで繰り返す。
【００７４】
重要度評価部１０における重要度の計算は、上述のように、出現頻度を単純に加算する方法を用いる以外にも、例えば、前方一致候補ストリームＦＯおよび後方一致候補ストリームＢＡ中の候補とキーワード候補ＫＹとの重複語数、重複語の割合、前方一致か後方一致か、などによって頻度を重み付けして加算するなど、種々のものが考えられる。頻度情報を用いるものであれば、どのような方法を用いてもよい。
【００７５】
重要度評価部１０で重要度が付与されたキーワード候補群は、キーワード選定部９に渡され、重要度を付与されたキーワード候補の中から、重要度に基づいてキーワードが選定される。例えば、あらかじめ決められた閾値よりも大きな重要度を持つ候補をキーワードとして選定し、記憶部６に入力文書とともに登録する。このキーワード選定部９で用いるキーワードを選定するためのあらかじめ決められた閾値は、例えば、計算方法を与えておき、キーワード候補数や重要度の分布によりキーワード選定時に計算したり、キーワード抽出動作開始時にユーザがシステムに与えたり、あるいは、重要度評価結果をユーザに提示して閾値を入力させるなど、種々の方法を用いることができる。
【００７６】
この第３の実施例では、表現抽出部３で、キーワード候補として複合語を抽出する場合を示したが、間に付属語があったり、連続していなくても特定の品詞パターンを規則に基づき抽出するようにしても良いし、付属語も抽出してもよい。付属語も抽出する場合、前方一致、後方一致などの判断は自立語のみでするようにすればよい。もちろん、第１、第２の実施例のように、リレーション表現を抽出するように構成することもできる。
【００７７】
【発明の効果】
以上の説明から明らかなように、本発明によれば、テキストから重要度に従ってキーワードを抽出するが、その際に、あるキーワード候補が別のキーワード候補の部分になっているとき、別のキーワード候補の候補として出現する頻度も考慮して重要度を評価することができる。したがって、出現頻度を正確に反映した重要度の評価をすることができ、これにより、精度良くキーワードを抽出できるキーワード抽出装置を提供することができるという効果がある。
【図面の簡単な説明】
【図１】本発明のキーワード抽出装置の第１の実施例の全体構成を示すブロック図である。
【図２】表現抽出部３の動作の一例を示すフローチャートである。
【図３】形態素解析結果の一例の説明図である。
【図４】抽出された表現の一例の説明図である。
【図５】表現抽出規則の一例の説明図である。
【図６】関係抽出部４の関係抽出動作の一例を示すフローチャートである。
【図７】関係推定規則の一例の説明図である。
【図８】リレーション表現の一例の説明図である。
【図９】リレーション表現選択部５の動作を示すフローチャートである。
【図１０】同じ語から構成されるリレーション表現の一例の説明図である。
【図１１】リレーション記号が有する情報の一例の説明図である。
【図１２】本発明の第２の実施例の全体構成を示すブロック図である。
【図１３】リレーション表現選択／評価部８の動作の一例を示すフローチャートである。
【図１４】同じ語から構成されるリレーション表現の別の例の説明図である。
【図１５】本発明のキーワード抽出装置の第３の実施例を示すブロック図である。
【図１６】単語群抽出部１３により抽出されたキーワード候補の一例の説明図である。
【図１７】本発明のキーワード抽出装置の第３の実施例における重要度評価部１０の動作の一例を示すフローチャートである。
【図１８】前方一致、後方一致により得られるキーワード候補の一例の説明図である。
【符号の説明】
１…キーワード抽出装置、２…データ入力部、３…表現抽出部、４…関係抽出部、５…リレーション表現選択部、６…記憶部、７…頻度計数部、８…リレーション表現選択／評価部、９…キーワード選定部、１０…重要度評価部、１１…形態素解析部、１２…単語群抽出部、１３…単語群抽出部。
【図１】
2004005711.tif 000003
【図２】
2004005711.tif 000004
【図３】
2004005711.tif 000005
【図４】
2004005711.tif 000006
【図５】
2004005711.tif 000007
【図６】
2004005711.tif 000008
【図７】
2004005711.tif 000009
【図８】
2004005711.tif 000010
【図９】
2004005711.tif 000011
【図１０】
2004005711.tif 000012
【図１１】
2004005711.tif 000013
【図１２】
2004005711.tif 000014
【図１３】
2004005711.tif 000015
【図１４】
2004005711.tif 000016
【図１５】
2004005711.tif 000017
【図１６】
2004005711.tif 000018
【図１７】
2004005711.tif 000019
【図１８】
2004005711.tif 000020