(57)【要約】【課題】利用者の意図を反映させつつクラスタリングを繰り返すことで、テキストデータの様々な話題や概念を高精度で抽出できる概念抽出技術を提供する。【解決手段】複数のテキストデータを複数回にわたって自動分類することでテキストデータの概念を抽出する概念抽出システムにおいて、テキストデータ中に出現する各言語の出現頻度をテキストデータ毎に計数し、その出現頻度を行列要素とする各テキストデータと各言語の行列を生成するテキストベクトル生成部１、前記行列情報を記憶しておくテキストベクトル記憶部５、記憶されたその行列情報に基づいて各テキストデータを複数のクラスタに分類するクラスタリング部８、その複数のクラスタ中から一部のクラスタを選択させるクラスタ選択部１０、選択されたクラスタ識別情報を記憶しておく選択クラスタ記憶部１１、前記クラスタ識別情報に基づき、記憶されている前記行列情報を修正するテキストベクトル修正部１２を備えた。【選択図】        図１
2004341948.tif 000002
【特許請求の範囲】
【請求項１】
複数のテキストデータをインタラクティブに複数回にわたって自動分類することによりテキストデータの概念を抽出する概念抽出システムにおいて、テキストデータ中に出現する各言語の出現頻度をテキストデータ毎に計数し、該出現頻度を行列要素とする各テキストデータと前記各言語の行列情報を生成するテキストベクトル生成手段と、前記行列情報を記憶しておくテキストベクトル記憶手段と、該テキストベクトル記憶手段に記憶されている前記行列情報に基づいて前記各テキストデータを複数のクラスタに分類するクラスタリング手段と、前記複数のクラスタ中から一部のクラスタを選択させるクラスタ選択手段と、選択されたクラスタを示すクラスタ識別情報を記憶しておく選択クラスタ記憶手段と、前記クラスタ識別情報に基づき前記テキストベクトル記憶手段に記憶されている前記行列情報を修正するテキストベクトル修正手段とを備えたことを特徴とする概念抽出システム。
【請求項２】
複数のテキストデータをインタラクティブに複数回にわたって自動分類することによりテキストデータの概念を抽出する概念抽出方法において、テキストデータ中に出現する各言語の出現頻度をテキストデータ毎に計数し、その出現頻度を行列要素とする各テキストデータと前記各言語の行列情報を生成し、その行列情報を記憶し、さらに、その行列情報に基づき前記各テキストデータを複数のクラスタに分類するクラスタリングをおこない、その複数のクラスタ中から一部のクラスタを選択させ、選択されたクラスタに基づき前記行列情報を修正し、前記クラスタリングから後を繰り返すことを特徴とする概念抽出方法。
【請求項３】
請求項２記載の概念抽出方法において、前記行列情報の修正は、前記選択されたクラスタに所属するテキストデータに対応する行列情報を保持されている行列情報から削除することであることを特徴とする概念抽出方法。
【請求項４】
請求項２または請求項３記載の概念抽出方法において、前記選択されたクラスタに所属するテキストデータから、選択されたクラスタごとのクラスタ特徴量を算出する構成とし、前記行列情報の修正は、そのクラスタ特徴量に基づいて前記行列情報を修正することであることを特徴とする概念抽出方法。
【請求項５】
請求項４記載の概念抽出方法において、前記クラスタ特徴量は前記選択されたクラスタに所属するテキストデータ中に出現する特徴的な言語およびその頻度情報であって、前記行列情報の修正は、前記行列情報の対応する行列要素の値から対応する前記頻度情報の値を減ずることであることを特徴とする概念抽出方法。
【請求項６】
請求項２乃至請求項５記載の概念抽出方法において、Ｎ回目までのクラスタ選択により選択されているクラスタと、Ｎ＋１回目のクラスタリングにより生成されたクラスタとの間の類似度を算出することを特徴とする概念抽出方法。
【請求項７】
請求項６記載の概念抽出方法において、前記類似度の大きいクラスタをＮ＋１回目のクラスタリング結果から除くことを特徴とする概念抽出方法。
【請求項８】
情報処理装置上で実行されるプログラムにおいて、請求項２乃至請求項７のいずれか１項に記載の概念抽出方法によった概念抽出を実行させるようにプログラミングされていることを特徴とするプログラム。
【請求項９】
プログラムを記憶した記憶媒体において、請求項８記載のプログラムを記憶したことを特徴とする記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、パーソナルコンピュータなど汎用の情報処理装置や、専用装置上に実現される文書検索システム、文書分類システム、およびテキスト情報分析システムなど、文書処理システムに用いることができる、テキストデータの概念を抽出する概念抽出技術に係り、特に、内容に基づきテキストデータを分類する文書分類技術を利用してテキストデータ集合を対象に概念抽出をおこなえる概念抽出技術に関する。
【０００２】
【従来の技術】
文書クラスタリング技術の利用目的は、概ね二つに大別される。一つは膨大な文書集合を話題ごとに分類することにより、目的の文書に短時間で到達するようにすることである。もう一つは、膨大なドキュメントや自由記述回答データの集合から、典型的な内容、話題、概念を取り出し、テキストデータ集合の概要を把握することである。なお、文書クラスタリングとは、特開平８−２６３５１０号公報記載の「文章自動分類システム」、または、特開平１０−１７１８２３号公報記載の「文書の自動分類方法およびその装置」に記載されているように、文書をそのなかに含まれる単語情報などを特徴とするベクトルとして表現し、各文書間の距離や余弦を類似度測度としてクラスタリングする方法である。クラスタリングの結果、対象のテキストデータ集合が類似するテキストデータから成るいくつかのクラスタに分割されるので、対象テキストデータ集合に含まれる代表的な話題や概念（トピック）が得られることになる。
このような文書クラスタリング技術のうち、Ｓｃａｔｔｅｒ／Ｇａｔｈｅｒ方式や特開平１１−２１３０００号公報記載の従来技術では複数回のクラスタリングをおこなって文書を分類する。例えば特開平１１−２１３０００号公報記載の従来技術では、利用者の入力した検索語にマッチする文書集合に対してクラスタリングをおこない、その結果を利用者に提示する。その際、繰り返してクラスタリングがおこなわれるが、Ｎ回目のクラスタリング結果がＮ−１回目以前のクラスタリング結果に影響されない。
【０００３】
それに対して、特開２００２−１８３１７１号公報に示された従来技術では、質の良いクラスタを漸次的に求める。クラスタ数は事前に決定せず、クラスタリング対象に応じてクラスタ数を決める。具体的には、各文書の特徴ベクトルの組について特異値分解をおこない、その結果から文書類似ベクトルを作成し、その文書類似ベクトルを用いて各対象文書とクラスタ重心との距離を算出し、さらに、同一の対象文書に対して１回目の分類に利用した文書類似ベクトルの次元数を増加させて２回目の分類をおこない、双方の結果を比較し、変化の少ないクラスタを安定クラスタとする。そして、安定クラスタの文書を対象から除いて分類を繰り返すことにより、対象に応じたクラスタ数のクラスタを決定する。
【特許文献１】特開平８−２６３５１０号公報
【特許文献２】特開平１０−１７１８２３号公報
【特許文献３】特開平１１−２１３０００号公報
【特許文献４】特開２００２−１８３１７１号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、前記した特開平８−２６３５１０号公報および特開平１０−１７１８２３号公報記載の従来技術は、本質的には単語で構成される多次元空間内に布置した文書を統計的に分類するので、得られるクラスタは、単語の統計的振る舞いという観点から求められたに過ぎず、しばしば理解不能なクラスタが含まれることは否めない。１回のクラスタリングでは、その一部しか利用者にとって有益でないことになる。このようなことから、前記したＳｃａｔｔｅｒ／Ｇａｔｈｅｒ方式や特開平１１−２１３０００号公報記載の従来技術ではクラスタリングを複数回実行させているが、これらの従来技術は、目的が文書検索であるので、複数回のクラスタリングが話題や概念の抽出のためでなく、検索対象文書の絞り込みに利用されている。
また、特開平１１−２１３０００号公報記載の従来技術では、Ｎ回目のクラスタリング結果がＮ−１回目以前のクラスタリング結果に影響されない。つまり、利用者が選択したクラスタの再クラスタリングを繰り返すことにより話題や概念の詳細化は可能であるが、様々な話題や概念の抽出は可能でないのである。
それに対して、特開２００２−１８３１７１号公報に示された従来技術では、Ｎ回目のクラスタリング結果がＮ−１回目以前のクラスタリング結果に影響される。しかし、この従来技術では一般的なクラスタリングの１回分が２回のクラスタリングにより実現されるので効率が悪いし、前記したＮ回の繰り返しに利用者の意図を反映させることができない。
本発明の目的は、このような従来技術の問題を解決することにあり、具体的には、利用者の意図を反映させつつクラスタリングを繰り返すことにより、テキストデータの様々な話題や概念を高精度で抽出できる概念抽出技術を提供することにある。
【０００５】
【課題を解決するための手段】
前記の課題を解決するために、請求項１記載の発明では、複数のテキストデータをインタラクティブに複数回にわたって自動分類することによりテキストデータの概念を抽出する概念抽出システムにおいて、テキストデータ中に出現する各言語の出現頻度をテキストデータ毎に計数し、その出現頻度を行列要素とする前記各テキストデータと前記各言語の行列情報を生成するテキストベクトル生成手段と、前記行列情報を記憶しておくテキストベクトル記憶手段と、そのテキストベクトル記憶手段に記憶されている前記行列情報に基づいて前記各テキストデータを複数のクラスタに分類するクラスタリング手段と、その複数のクラスタ中から一部のクラスタを選択させるクラスタ選択手段と、選択されたクラスタを示すクラスタ識別情報を記憶しておく選択クラスタ記憶手段と、前記クラスタ識別情報に基づき前記テキストベクトル記憶手段に記憶されている前記行列情報を修正するテキストベクトル修正手段とを備えた。
また、請求項２記載の発明では、複数のテキストデータをインタラクティブに複数回にわたって自動分類することによりテキストデータの概念を抽出する概念抽出方法において、テキストデータ中に出現する各言語の出現頻度をテキストデータ毎に計数し、その出現頻度を行列要素とする前記各テキストデータと前記各言語の行列情報を生成し、その行列情報を記憶し、さらに、その行列情報に基づき前記各テキストデータを複数のクラスタに分類するクラスタリングをおこない、その複数のクラスタ中から一部のクラスタを選択させ、選択されたクラスタに基づき前記行列情報を修正し、前記クラスタリングから後を繰り返す構成にした。
また、請求項３記載の発明では、請求項２記載の発明において、前記行列情報の修正は、前記選択されたクラスタに所属するテキストデータに対応する行列情報を保持されている行列情報から削除する構成にした。
また、請求項４記載の発明では、請求項２または請求項３記載の発明において、前記選択されたクラスタに所属するテキストデータから、選択されたクラスタごとのクラスタ特徴量を算出する構成とし、前記行列情報の修正は、そのクラスタ特徴量に基づいて前記行列情報を修正する構成にした。
また、請求項５記載の発明では、請求項４記載の発明において、前記クラスタ特徴量は前記選択されたクラスタに所属するテキストデータ中に出現する特徴的な言語およびその頻度情報であって、前記行列情報の修正は、前記行列情報の対応する行列要素の値から対応する前記頻度情報の値を減ずる構成にした。
また、請求項６記載の発明では、請求項２乃至請求項５記載の発明において、Ｎ回目までのクラスタ選択により選択されているクラスタと、Ｎ＋１回目のクラスタリングにより生成されたクラスタとの間の類似度を算出する構成にした。
また、請求項７記載の発明では、請求項６記載の発明において、前記類似度の大きいクラスタをＮ＋１回目のクラスタリング結果から除く構成にした。
また、請求項８記載の発明では、情報処理装置上で実行されるプログラムにおいて、請求項２乃至請求項７のいずれか１項に記載の概念抽出方法によった概念抽出を実行させるようにプログラミングされている構成にした。
また、請求項９記載の発明では、プログラムを記憶した記憶媒体において、請求項８記載のプログラムを記憶した。
【０００６】
【発明の実施の形態】
以下、図面により本発明の実施の形態を詳細に説明する。なお、ここで扱うテキストデータとは、文書および文書の一部（例えば概要部分や、文書をいくつかの部分に分割したもの）、またはメール文書やコールセンターの問い合わせ記録など、自然言語により記述されたデータ単位である。また、以下の説明では、テキストデータ集合からの漸次的概念抽出の好適な例としてアンケート調査などにより得られた自由記述回答データの分析場面を想定する。
図１は、本発明の第１の実施例を示す、概念抽出システムの構成ブロック図である。図示したように、この実施例の概念抽出システムは、テキストデータの形態素解析をおこなって単語（またはトークン）とその品詞など言語情報を抽出するテキストデータ解析部２、および抽出された単語などの出現頻度を計数するテキストデータ計数部３を有して、その出現頻度に基づいたテキストベクトルを生成するテキストベクトル生成部１、そのテキストベクトルを記憶しておくテキストベクトル記憶部５、およびテキストデータ解析部２による形態素解析結果を記憶しておくテキスト解析結果記憶部６などから成る解析結果記憶部４、前記テキストベクトル記憶部５に記憶されているテキストベクトルに基づいてテキストデータを複数のクラスタに分類するクラスタリング部８、および分類された各クラスタの特徴を求めるクラスタ特徴算出部９などから成るクラスタ処理部７、前記各クラスタ中から一部のクラスタを選択させるクラスタ選択部１０、選択されたクラスタに係るクラスタ情報を記憶しておく選択クラスタ記憶部１１、そのクラスタ情報などに基づきテキストベクトル記憶部５に記憶されているテキストベクトルを修正するテキストベクトル修正部１２などを備えている。
なお、請求項１記載のテキストベクトル生成手段、テキストベクトル記憶手段、クラスタリング手段、クラスタ選択手段、選択クラスタ記憶手段、およびテキストベクトル修正手段はそれぞれ、テキストベクトル生成部１、テキストベクトル記憶部５、クラスタリング部８、クラスタ選択部１０、選択クラスタ記憶部１１、およびテキストベクトル修正部１２により実現される。また、前記したテキストベクトル生成部１、クラスタリング部８を含むクラスタ処理部７、クラスタ選択部１０、およびテキストベクトル修正部１２はプログラムを記憶したＲＡＭおよびそのプログラムに従って動作するＣＰＵなどにより実現され、テキストベクトル記憶部５を含む解析結果記憶部４および選択クラスタ記憶部１１はＲＡＭおよびハードディスク記憶装置それぞれの一記憶領域として実現される。
【０００７】
図８に、この実施例の動作フローを示す。以下、図８に従って、この動作フローを説明する。
まず、テキストデータ解析部２が、公知の形態素解析アルゴリズムを用い、入力されたテキストデータに含まれる単語（または、単なる単語でなく、ルールを用いて複数の形態素を変換して新たに生成した例えば複合語や異表記を統一したものなどを含むトークンと呼ばれるもの）とその品詞など言語情報を抽出する（Ｓ１）。例えば、［ソフトウェアの操作方法は難しくいつも苦労する］というテキストデータからは、ソフトウェア−（名詞）／の−（助詞）／操作−（名詞）／方法−（名詞）／は−（助詞）／難しい−（形容詞）／いつも−（副詞）／苦労−（名詞）／する−（助動詞）が抽出される。
続いて、テキストデータ計数部３が、予め設定されたストップワード（計数除外単語や計数除外品詞）テーブルを参照して、各テキストデータにおける有効な単語（またはトークン）の出現頻度を単語（またはトークン）毎に計数し（Ｓ２）、図２に示したように、テキストデータ毎に、抽出されたすべての有効単語（または有効トークン）のベクトルとして表現される行列に計数結果を書き込んで行く（ｍは全テキストデータ数、ｎは全テキストデータ集合内に出現する全有効単語数）。なお、行列の要素に単純に出現頻度を用いるのではなく、テキストデータの長さや、単語の全テキストデータ集合内での総出現頻度を用いて重み付けをおこなってもよい。
テキストデータがある限り（Ｓ３でＹ）前記したステップＳ１、Ｓ２をくり返し、対象とするテキストデータがなくなると（Ｓ３でＮ）、テキストデータ計数部３は行列の生成を完了する（Ｓ４）。そして、その行列のデータをテキストベクトル記憶部５に保存する（Ｓ５）。
【０００８】
次に、クラスタリング部８が、テキストベクトル記憶部５に格納された行列のデータを用い、テキストベクトル間の余弦（内積や距離でもよい）を測度としてｋ−ｍｅａｎｓ法、最大距離法などの既知のアルゴリズムを用いてクラスタを生成し、ｋ個のクラスタに全テキストデータを割り当てる（Ｓ６）。また、クラスタ特徴算出部９は、生成された各クラスタの特徴を表すクラスタ特徴トークンを求める。この実施例では、クラスタｋのクラスタ特徴トークンを、“トークンｉが出現するクラスタｋ所属のテキストデータ数／全テキストデータセットにおけるトークンｉが出現するテキストデータ数”が一定以上の値をとるトークンｉを特徴トークンとしている。
例えば、クラスタｋの特徴トークンは、次のようにして計算される。まず、テキストベクトル記憶部５に格納されている行列に基づいて、各トークン毎に列方向に要素が１以上であればカウンタを順次加算し、全テキストデータにおける各トークンの出現データ数を算出する。次いで、クラスタｋに所属するテキストデータの識別子をもとにテキストベクトル記憶部５からそのテキストデータのみからなる部分行列を生成し、同様に、各トークン毎に列方向に要素が１以上であればカウンタを順次加算し、当該クラスタ所属のテキストデータ数を算出する。順次このような計算を繰り返すことで、各トークンの全テキストデータに対する出現データ数と、クラスタｋに所属するテキストデータにおける出現データ数とが計算できる。次いで、順次各トークン毎に２つの数を用いて除算することで特徴量を求め、その値があらかじめ定めたＭ以上のトークンを特徴トークンとして、その識別子をクラスタ選択部１０へ出力する。クラスタ選択部１０は、渡されたトークン識別子をキーとして、テキスト解析結果記憶部６からそのトークン表記を検索して表示する。例えば、図３においては、クラスタ１について“管理”、“ダウン”、“多忙”、“システム”を特徴トークンとして表示するのである。
【０００９】
こうして、クラスタ選択部１０は、表示手段と入力手段とを用いたユーザーインターフェースにより、利用者にクラスタを選択させる。図３に示したような画面のユーザーインターフェースを用いて、利用者は有益な概念であると判断したクラスタを選択・指示するのである。なお、この実施例のクラスタ選択部１０では、クラスタを表示する際、クラスタリング部８によって生成されたクラスタを以下のクラスタ重要度スコアを用いてソートし、所属テキストデータ数が多く、クラスタ凝集度が高いクラスタが上位に表示されるようしている。
Ｔｋ＝（１／ＮｋΣ（Ｓｋｉ−Ｈｋ）２）１／２Ｎｋ／Ｎ
Ｔｋ・・クラスタｋのクラスタ重要度スコア
Ｎｋ・・クラスタｋ所属のテキストデータ数
Ｎ・・全テキストデータ数
Ｓｋｉ・・クラスタｋ所属のテキストｉの類似度スコア（距離、内積、余弦）
Ｈｋ・・クラスタｋの平均類似度スコア
クラスタ選択部１０により、利用者は、保存したいクラスタ（クラスタリングが適切で、利用者が有益であると判断したクラスタ）をマウスなどを用いて選択することができる。図３において、■印は選択されたことを示し、クラスタ特徴トークンとして、特徴単語を示している。また、メンバ数とは、各クラスタに属するテキストデータ数である。
保存するクラスタを選択後、再実行ボタン（図３参照）を押下すると、クラスタ選択部１０は、選択されたクラスタの識別子を選択クラスタ記憶部１１に、クラスタ識別子、所属テキストデータの識別子、およびクラスタ特徴トークンの識別子をテキストベクトル修正部１２に渡す（Ｓ７でＹ）。選択クラスタ記憶部１１は渡されたクラスタ識別子を保持する。なお、終了ボタンを押下した場合は、概念抽出処理を終了する（Ｓ７でＮ）。
【００１０】
テキストベクトル修正部１２では、テキストベクトル記憶部５からそこに保持されている行列を呼び出し、選択されたクラスタに所属する所属テキストデータの識別子を用いて当該テキストデータの行を削除する修正をおこなった後（図４において右側が削除後の状態を示している）（Ｓ８）、修正した行列をテキストベクトル記憶部５に記憶する（Ｓ５）。図４はテキストベクトル修正部１２にテキストデータの識別子２、４、５が渡された場合の作用を示したもので、行列からｔｅｘｔ  ｄａｔａ−２、ｔｅｘｔ  ｄａｔａ−４、ｔｅｘｔ  ｄａｔａ−５が削除される。そして、修正された行列がテキストベクトル記憶部５に格納されると、再びクラスタリング部８が残りのテキストデータを対象に前回と同様にクラスタリングをおこなう（Ｓ６）。
こうして、この実施例によれば、クラスタリング処理の結果の一部しか有益でない場合でも、各回の有益なクラスタを保存し、次回のクラスタリングでは有益なクラスタのテキストデータを除いたテキストデータについてクラスタリングを再度おこなうので、漸次的に概念を抽出することができ、テキストの様々な話題や概念を高精度で抽出できる。
本発明の第２の実施例では、テキストベクトル修正部１２は、テキストベクトル記憶部５からそこに記憶されている行列を呼び出し、選択されたクラスタに所属するテキストデータから選択されたクラスタ毎のクラスタ特徴トークンの識別子を用いて対応するトークン列を削除した後、修正した行列をテキストベクトル記憶部５に保存する。図５は、テキストベクトル修正部１２にトークン識別子１、３、５、６が渡された場合の作用を示したもので、テキストベクトル修正部１２は行列からｔｏｋｅｎ−１、ｔｏｋｅｎ−３、ｔｏｋｅｎ−５、ｔｏｋｅｎ−６の列を削除する。そして、修正した行列をテキストベクトル記憶部５に格納すると、クラスタリング部８が再びクラスタリングをおこなう。
こうして、この実施例によれば、一つのテキストデータが複数のクラスタに所属しうるケースにおいて、選択しなかったクラスタに属するテキストデータ行が行列から削除されてしまうという第１の実施例の事態を避けることができるので、より精度高く、漸次的に概念を抽出することができる。
【００１１】
本発明の第３の実施例では、テキストベクトル修正部１２はテキストベクトル記憶部５からそこに記憶されている行列を呼び出し、選択されたクラスタに所属するテキストデータ識別子およびクラスタ特徴トークンの識別子を用いて対応する要素の値を０にした後、修正した行列をテキストベクトル記憶部５に保存する。図６では、テキストベクトル修正部１２にテキストデータ識別子１、３、５、クラスタ特徴トークン識別子１、３、４、６が渡された場合の作用を示したもので、テキストデータ識別子１、３、５のクラスタ特徴トークン識別子１、３、４、６の値を０にする。そして、修正された行列がテキストベクトル記憶部５に格納されると、クラスタリング部８が再びクラスタリングをおこなう。
こうして、この実施例によれば、一つのテキストデータが複数のクラスタに所属しうるケースにおいて、選択しなかったクラスタに属するテキストデータ行が行列から削除されてしまうという第１の実施例の事態を避けることができるし、選択されたクラスタのクラスタ特徴トークンについてはそのクラスタに所属するテキストデータの要素に対してのみ選択結果を反映させるので、さらに精度高く、漸次的に概念を抽出することができる。
【００１２】
図７は、本発明の第４の実施例を示す、概念抽出システムの構成ブロック図である。図示したように、この実施例の概念抽出システムは、図１に示した第１の実施例の構成に加えてクラスタ間類似度算出部１３を備える。そして、クラスタ間類似度算出部１３が、クラスタリング部８により生成された各クラスタと既に生成されてクラスタ記憶部１１に保持される各クラスタとの間の類似度を以下のように算出する。
つまり、この実施例では、クラスタリング部８により生成されたクラスタｉに所属するテキストデータの識別子集合と、クラスタ記憶部１１内の各クラスタｊに所属するテキストデータの識別子集合との類似度を次式により算出する。
Ｆ＝（β２＋１）・ｐ・ｒ／（β２・ｐ＋ｒ）
ここで、ｐは、クラスタｉとクラスタｊとの積集合の要素数を、クラスタｉの要素数で除したものである。また、ｒはクラスタｉとクラスタｊとの積集合の要素数を、クラスタｊの要素数で除したものである。また、βは調整パラメータであり、０〜１の値をとるが、この実施例では０．５を設定している。
【００１３】
ここで、クラスタリング部８により生成されたクラスタｉに所属するテキストデータの識別子が“ｔｅｘｔ  ｄａｔａ−２４６、  ｔｅｘｔ  ｄａｔａ−５６７、  ｔｅｘｔ  ｄａｔａ−１２、  ｔｅｘｔ  ｄａｔａ−３２１、  ｔｅｘｔ  ｄａｔａ−９”であり、選択クラスタ記憶部１１に格納されているクラスタｊに所属するテキストデータの識別子が“ｔｅｘｔ  ｄａｔａ−１、  ｔｅｘｔ  ｄａｔａ−２４６、  ｔｅｘｔ  ｄａｔａ−４５６、  ｔｅｘｔ  ｄａｔａ−１１２、  ｔｅｘｔ  ｄａｔａ−３２１、  ｔｅｘｔ  ｄａｔａ−９”であると、その積集合は、“ｔｅｘｔ  ｄａｔａ−２４６、  ｔｅｘｔ  ｄａｔａ−３２１、  ｔｅｘｔ  ｄａｔａ−９”である。したがって、ｐは３／５であり、ｒは３／６となる。
このようにして類似度を求めた後、クラスタ間類似度算出部１３は、算出したｉ×ｊ個のＦ値が予め与えた所定値以上の、選択済みのクラスタと類似のクラスタを破棄し、Ｆ値がその所定値より小さいクラスタの識別子をクラスタ選択部１０に渡す。これにより、クラスタ選択部１０は渡された識別子のクラスタを選択対象として表示させる。
こうして、この実施例によれば、選択済みのクラスタに類似したクラスタは続いておこなわれるクラスタ提示の際、自動的に除かれるので、概念抽出を効率的におこなうことができる。
以上、図１および図７に示した構成の場合で本発明の実施例を説明したが、説明したような概念抽出方法に従ってプログラミングしたプログラムを着脱可能な記憶媒体に記憶し、その記憶媒体をこれまで本発明によった概念抽出をおこなえなかったパーソナルコンピュータなど情報処理装置に装着することにより、または、そのようなプログラムをネットワークを介してそのような情報処理装置へ転送することにより、そのような情報処理装置においても本発明によった概念抽出をおこなうことができる。
【００１４】
【発明の効果】
以上説明したように、本発明によれば、請求項１および請求項２記載の発明では、複数のテキストデータをインタラクティブに複数回にわたって自動分類することによりテキストデータの概念を抽出する際、テキストデータ中に出現する各言語の出現頻度をテキストデータ毎に計数し、その出現頻度を行列要素とする各テキストデータと各言語の行列情報を生成し、その行列情報を記憶し、さらに、その行列情報に基づき複数のテキストデータを複数のクラスタに分類するクラスタリングをおこない、その複数のクラスタ中から一部のクラスタを利用者に選択させ、選択されたクラスタに基づき前記行列情報を修正し、クラスタリングから後を繰り返すことができるので、利用者から見てクラスタリング処理の結果の一部しか有益でない場合でも、  Ｎ回目までに既知になったクラスタ（選択されたクラスタ）がＮ＋１回目には算出されないように制御でき、したがって、テキストデータの様々な話題や概念を漸次的に高精度で抽出できる。
また、請求項３記載の発明では、請求項２記載の発明において、選択されたクラスタに所属するテキストデータのみに対応する行列情報を保持されている行列情報から削除するので、一つのテキストデータが複数のクラスタに所属しうるケースにおいて、選択しなかったクラスタに属するテキストデータ行が行列から削除されてしまうという事態を避けることができ、したがって、より精度高く、漸次的に概念を抽出することができる。
また、請求項４記載の発明では、請求項２または請求項３記載の発明において、選択されたクラスタに所属するテキストデータから、選択されたクラスタごとのクラスタ特徴量を算出し、そのクラスタ特徴量に基づいて行列情報を修正するので、選択しなかったクラスタに属するテキストデータ行が行列から削除されてしまうという事態を避けることができるし、選択されたクラスタのクラスタ特徴トークンについてはそのクラスタに所属するテキストデータの要素に対してのみ選択結果を反映でき、したがって、さらに精度高く、漸次的に概念を抽出することができる。
【００１５】
また、請求項５記載の発明では、請求項４記載の発明において、クラスタ特徴量は選択されたクラスタに所属するテキストデータ中に出現する特徴的な言語およびその頻度情報であって、行列情報の対応する行列要素の値から対応する頻度情報の値を減ずる行列情報修正をおこなうので、請求項４記載の発明を容易に実現できる。
また、請求項６記載の発明では、請求項２乃至請求項５記載の発明において、Ｎ回目までのクラスタ選択により選択されているクラスタと、Ｎ＋１回目のクラスタリングにより生成されたクラスタとの間の類似度を算出することができるので、選択済みのクラスタに類似したクラスタを、続いておこなわれるクラスタ提示の際、自動的に除くことができる。
また、請求項７記載の発明では、請求項６記載の発明において、前記類似度の大きいクラスタをＮ＋１回目のクラスタリング結果から除くことができるので、選択済みのクラスタに類似したクラスタは続いておこなわれるクラスタ提示の際、自動的に除かれ、したがって、概念抽出を効率的におこなうことができる。
また、請求項８記載の発明では、請求項２乃至請求項７のいずれか１項に記載の概念抽出方法によった概念抽出を実行させるようにプログラミングされているプログラムを情報処理装置上で実行させることができるので、情報処理装置を用いて請求項２乃至請求項７のいずれか１項に記載の発明の効果を得ることができる。
また、請求項９記載の発明では、請求項８記載のプログラムを着脱可能な記憶媒体に記憶できるので、その記憶媒体をこれまで請求項２乃至請求項７のいずれか１項に記載の発明によった概念抽出をおこなえなかったパーソナルコンピュータなど情報処理装置に装着することにより、そのような情報処理装置においても請求項２乃至請求項７のいずれか１項に記載の発明の効果を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例を示す、概念抽出システムの構成ブロック図。
【図２】本発明の第１の実施例を示す、概念抽出システム要部のデータ構成図。
【図３】本発明の第１の実施例を示す、概念抽出システムの画面図。
【図４】本発明の第１の実施例を示す、概念抽出方法の説明図。
【図５】本発明の第２の実施例を示す、概念抽出方法の説明図。
【図６】本発明の第３の実施例を示す、概念抽出方法の説明図。
【図７】本発明の第４の実施例を示す、概念抽出システムの構成ブロック図。
【図８】本発明の第１の実施例を示す、概念抽出方法の動作フロー図。
【符号の説明】
１  テキストベクトル生成部、２  テキストデータ解析部、３  テキストデータ計数部、４  解析結果記憶部、５  テキストベクトル記憶部、６  テキスト解析結果記憶部、７  クラスタ処理部、８  クラスタリング部、９  クラスタ特徴算出部、１０  クラスタ選択部、１１  選択クラスタ記憶部、１２  テキストベクトル修正部、１３  クラスタ間類似度算出部
【図１】
2004341948.tif 000003
【図２】
2004341948.tif 000004
【図３】
2004341948.tif 000005
【図４】
2004341948.tif 000006
【図５】
2004341948.tif 000007
【図６】
2004341948.tif 000008
【図７】
2004341948.tif 000009
【図８】
2004341948.tif 000010