(57)【要約】【課題】文書クラスタのまとまりのよさを表わす評価値であって、人間の感覚に合った評価値を付与することができる文書クラスタ処理装置、文書クラスタ処理方法およびプログラムを提供することを目的とする。【解決手段】文書を単語または文字列に分割する分割手段と、文書クラスタ内に出現する全ての単語または文字列のそれぞれが、上記文書クラスタに含まれている全ての文書に出現すれば、当該単語または文字列に「１」を付与し、出現しなければ、当該単語または文字列に「０」を付与する文書解析手段と、各単語または文字列について、クラスタ内文書における分散を算出する分散算出手段と、文書クラスタ内に出現する全ての単語または文字列の分散を平均した値を、当該文書クラスタの評価値として算出する評価値算出手段とを有する文書クラスタ処理装置である。【選択図】図１
2008171336.tif 000002
【特許請求の範囲】
【請求項１】
内容が互いに類似している文書の集合である文書クラスタに評価値を付与し、複数の文書クラスタを一度に表示する文書クラスタ処理装置であって、
文書を単語または文字列に分割する分割手段と；
文書クラスタ内に出現する全ての単語または文字列のそれぞれが、上記文書クラスタに含まれている文書に出現すれば、当該文書における当該単語または文字列の重みを「１」とし、上記文書クラスタに含まれている文書に出現しなければ、当該文書における当該単語または文字列の重みを「０」とする文書解析手段と；
上記文書クラスタ内に出現する各単語または文字列について、文書クラスタ内文書における分散を算出する分散算出手段と；
上記文書クラスタ内に出現する全ての単語または文字列の分散を平均した値を、当該文書クラスタの評価値として算出する評価値算出手段と；
を有することを特徴とする文書クラスタ処理装置。
【請求項２】
請求項１において、
上記文書解析手段は、単語または文字列が、各文書に出現する数をカウントする手段であり、
上記評価値算出手段は、各文書内に、単語または文字列が出現する数を用いて、単語または文字列の分散を算出する手段であることを特徴とする文書クラスタ処理装置。
【請求項３】
内容が互いに類似している文書の集合である文書クラスタに評価値を付与し、複数の文書クラスタを一度に表示する文書クラスタ処理装置であって、
各文書に対する文書ベクトルを入力し、文書クラスタ内に出現する全てのベクトル要素に対して、文書クラスタ内文書における分散を算出する分散算出手段と；
文書クラスタ内に出現する全てのベクトル要素の分散を平均した値を、当該文書クラスタの評価値として算出する評価値算出手段と；
を有することを特徴とする文書クラスタ処理装置。
【請求項４】
請求項３において、
上記分散算出手段は、文書内にベクトル要素が出現すれば、各ベクトル要素を、「１」に変換し、文書内にベクトル要素が出現しなければ、各ベクトル要素を、「０」に変換し、ベクトル要素の分散を算出する手段であることを特徴とする文書クラスタ処理装置。
【請求項５】
内容が互いに類似している文書の集合である文書クラスタに評価値を付与し、複数の文書クラスタを一度に表示する文書クラスタ処理方法であって、
文書を単語または文字列に分割し、記憶装置に記憶する分割工程と；
文書クラスタ内に出現する全ての単語または文字列のそれぞれが、上記文書クラスタに含まれている文書に出現すれば、当該文書における当該単語または文字列の重みを「１」とし、出現しなければ、当該文書における当該単語または文字列の重みを「０」とし、記憶装置に記憶する文書解析工程と；
上記文書クラスタ内に出現する各単語または文字列について、文書クラスタ内文書における分散を算出し、記憶装置に記憶する分散算出工程と；
上記文書クラスタ内に出現する全ての単語または文字列の分散を平均した値を、当該文書クラスタの評価値として算出し、記憶装置に記憶する評価値算出工程と；
を有することを特徴とする文書クラスタ処理方法。
【請求項６】
内容が互いに類似している文書の集合である文書クラスタに評価値を付与し、複数の文書クラスタを一度に表示する文書クラスタ処理方法であって、
各文書に対する文書ベクトルを入力し、文書クラスタ内に出現する全てのベクトル要素に対して、文書クラスタ内文書における分散を算出し、記憶装置に記憶する分散算出工程と；
文書クラスタ内に出現する全てのベクトル要素の分散を平均した値を、当該文書クラスタの評価値として算出し、記憶装置に記憶する評価値算出工程と；
を有することを特徴とする文書クラスタ処理方法。
【請求項７】
請求項５または請求項６記載の方法をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特定の話題に関する文書情報をテーマ毎にまとめた文書クラスタ単位で閲覧可能にする文書クラスタの処理に関し、特に、文書クラスタ内の出現単語の偏りを利用して、文書クラスタのまとまり度合いを示す評価値を算出することによって、文書クラスタの概要を容易に把握することができる文書クラスタ処理に関する。
【背景技術】
【０００２】
近年、インターネット等のコンピュータネットワークの発達に伴い、電子化された情報が大量に発信され続けている。したがって、ある話題に関する情報を取得したいと考えた場合、複数の情報源が公開しているｗｅｂページを、１つ１つ閲覧する必要があり、これには、大変な労力が強いられる。
【０００３】
従来、自然言語処理や情報検索技術分野において、電子化されたテキストを、テキスト内で出現する単語のベクトルで表わし、単語のベクトルが類似しているテキストを、１つの文書クラスタにまとめ、文書クラスタを一覧表示する技術が知られている（たとえば、特許文献１参照）。
【０００４】
この従来技術は、文書間の類似度に基づいて、文書クラスタを作成し、文書クラスタ内において、他の文書との類似度が高く、文書の作成時刻が新しい文書に、高い評価値を付与し、この評価値の高い文書を含む順に、文書クラスタを並べて、表示する発明である。この発明以外にも、文書クラスタ内の文書集合に、類似度平均（組み合わせた文書間の類似度を求め、この求めた類似度を、文書を組み合わせた数で割った値）を求め、類似度平均の高い文書クラスタ順に、文書クラスタを並べて表示する発明が広く利用されている。
【０００５】
これらの発明における文書間の類似度は、単語出現頻度を用いた文書ベクトルで文書を表わし、文書ベクトル間のコサイン類似度を適用する手法が広く用いられている。すなわち、文書ｄｎを文書ベクトル
【０００６】
【数１】
2008171336.tif 000003
によって表わす。なお、ｖは、単語集合Ｗ＝｛ｗ１，ｗ２，……，ｗｖ｝中の単語の総数であり、ｘｎｉは、文書ｄｎにおける単語ｗｉの重みである。このときに、文書ｄｊとｄｋとの類似度は、各文書ベクトルがなす角
【０００７】
【数２】
2008171336.tif 000004
で表わされる。
【０００８】
また、単語ｗｉの重みは、単語の文書内での出現頻度ｔｆ（term frequency）をそのまま利用する場合や、出現頻度ｔｆに、ｉｄｆ（単語出現数を全文書数で割った値の対数）を乗算したｔｆ・ｉｄｆ（term frequency/inverse document）を利用する。つまり、類似度の高い文書同士は、この単語の重みの傾向が似通っている文書同士である。
【特許文献１】特開２００６−１２００６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ところで、コンピュータによって生成された文書クラスタを見て、人間が文書クラスタの概要を把握する場合、平均類似度が高い文書同士でも、類似していると人間が感じないという感覚の不一致があることがある。一方、人間が、文書クラスタ内で重要である単語を発見し、まとまりがよい文書クラスタであると判断した文書クラスタでも、文書クラスタの平均類似度が低いことがある。
【００１０】
すなわち、上記従来例では、複数の文書クラスタを同時に提示する際、平均類似度が高い文書クラスタ順に、文書クラスタを提示した場合、人間が見てまとまりがよいと感じる順番と一致しないことがあるという問題がある。
【００１１】
図１０は、文書クラスタのまとまりのよさを説明する図である。
【００１２】
文書クラスタ１は、３つの文書Ｄ１、Ｄ２、Ｄ３によって構成され、文書クラスタ内で、単語ｗ１，ｗ２，……，ｗ１０が出現する。ここでの単語の重みは、簡易的に、文書内に単語が、出現すれば、「１」で示し、出現しなければ「０」で示す。
【００１３】
文書クラスタ２は、３つの文書Ｄ４、Ｄ５、Ｄ６によって構成されている。
【００１４】
文書クラスタ１において、３つの単語ｗ１，ｗ２，ｗ３が、文書クラスタ内の全文書で出現し、まとまりのよい文書クラスタであると判断する。
【００１５】
文書クラスタ１には、その全文書で出現する単語が３つ存在しているので、人間は、文書クラス１はまとまりのよい文書クラスタであると判断する。
【００１６】
文書クラスタ２において、文書クラスタ内の全文書で出現する単語は、存在しないが、２文書に出現する単語を多く含んでいる。
【００１７】
人間は、文書クラスタ毎に複数の文書を提示されると、まず各文書にどんなことが書かれているのかに目を通し、重要な単語を拾い出す。次に、文書間で重要な単語が多くの文書に共通して出現していると、まとまりのよい文書クラスタだと判断する。その際、１つの文書にしか出現しないような出現頻度の低い単語は無視される傾向がある。
【００１８】
たとえば、特定のヘアケア商品を話題にした文書集合を閲覧する場合、ヘアケア商品に関係のある単語をより重要だと人間が感じ、その単語が多くの文書に含まれていると、まとまりのよい文書クラスタであると判断する。しかし、「今日」といった一般的な単語が、文書クラスタ内の多くの文書に含まれていたとしても、人間は重要だと感じず、まとまりのよさに影響を与えない。
【００１９】
ところで、これら２つの文書クラスタについて、平均類似度を求めると、以下のようになる。
【００２０】
文書クラスタ１の平均類似度＝３
文書クラスタ２の平均類似度＝３．３３
つまり、平均類似度は、文書クラスタ２の方が、文書クラスタ１よりも高い。
【００２１】
人間は、文書クラスタ２よりも文書クラスタ１が、まとまりのよい文書クラスタであると判断するが、平均類似度は、文書クラスタ１よりも文書クラスタ２が高いので、平均類似度と人間が判断する文書クラスタのまとまりのよさとが一致しないという問題がある。
【００２２】
本発明は、文書クラスタのまとまりのよさを表わす評価値であって、人間の感覚に合った評価値を付与することができる文書クラスタ処理装置、文書クラスタ処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２３】
本発明は、内容が互いに類似している文書の集合である文書クラスタに評価値を付与し、複数の文書クラスタを一度に表示する文書クラスタ処理装置であって、文書を単語または文字列に分割する分割手段と、文書クラスタ内に出現する全ての単語または文字列のそれぞれが、上記文書クラスタに含まれている各文書に出現すれば、当該単語または文字列に「１」を付与し、出現しなければ、当該単語または文字列に「０」を付与する文書解析手段と、各単語または文字列について、文書クラスタ内文書における分散を算出する分散算出手段と、文書クラスタ内に出現する全ての単語または文字列の分散を平均した値を、当該文書クラスタの評価値として算出する評価値算出手段とを有する文書クラスタ処理装置である。
【発明の効果】
【００２４】
本発明によれば、文書クラスタのまとまりのよさを表わす評価値であって、人間の感覚に合った評価値を付与することができるという効果を奏する。
【発明を実施するための最良の形態】
【００２５】
発明を実施するための最良の形態は、以下の実施例である。
【実施例１】
【００２６】
図１は、本発明の実施例１である文書クラスタ処理装置２０の構成を示すブロック図である。
【００２７】
実施例１では、文書クラスタ内のそれぞれの単語が、文書クラスタ内の文書に出現する分布に着目し、各単語がどれだけ多くの文書に出現するか、または出現していないのかを、評価値として算出する。
【００２８】
文書クラスタ処理装置２０は、文書解析部２１と、単語蓄積部２２と、評価値算出部２３と、評価値蓄積部２４とを有する。
【００２９】
また、文書クラスタ処理装置２０は、文書蓄積部１１と、文書クラスタ記録部１２と、文書クラスタ表示部１３とに接続されている。
【００３０】
文書蓄積部１１は、文書を蓄積し、文書クラスタ処理装置２０に文書を送る。文書クラスタ表示部１３は、文書クラスタ処理装置２０が出力する評価値に基づいて、文書クラスタを表示する。
【００３１】
文書解析部２１は、文書クラスタ記録部１２に記録されている情報に基づいて、文書の本文を文書蓄積部１１から取得し、予め設定されている品詞の単語を抽出し、単語蓄積部２２に保存する。
【００３２】
単語蓄積部２２は、文書解析部２１が抽出した単語と、この抽出された単語についての各文書における単語の重みとを保持する。
【００３３】
評価値算出部２３は、単語蓄積部２２から、単語とその重みとを取得し、評価値を算出する。
【００３４】
評価値蓄積部２４は、文書クラスタ毎の評価値を蓄積する。
【００３５】
図２は、文書蓄積部１１に蓄積されているデータ例を示す図である。
【００３６】
文書蓄積部１１には、図２に示すように、文書ＩＤ１１１に対応して、タイトル１１２と、本文１１３とが蓄積されている。
【００３７】
図３は、文書クラスタ記録部１２に記録されているデータ例を示す図である。
【００３８】
文書クラスタ記録部１２には、図３に示すように、複数の文書ＩＤ１２２と、文書クラスタを一意に示す文書クラスタＩＤ１２１とが対応付けて記録されている。
【００３９】
次に、文書解析部２１の処理について説明する。
【００４０】
図４は、文書解析部２１の動作を示すフローチャートである。
【００４１】
文書解析部２１は、文書クラスタ記録部１２に記録されている文書クラスタＩＤ１２１を全て取得し（Ｓ１０）、未処理の文書クラスタＩＤを１つ選択し（Ｓ１１）、この選択された未処理の文書クラスタＩＤに対応付けられている複数の文書ＩＤ１２２を取得する（Ｓ１２）。この取得した複数の文書ＩＤ１２２中の文書ＩＤ１１１に対応する本文１１３を、文書蓄積部１１から取得する（Ｓ１３）。
【００４２】
次に、本文について、形態素解析やｎ−ｇｒａｍ分析等の処理を実施し、本文を、単語や文字列に分割する。以下では、形態素解析によって、本文を「形態素」に分割した場合について説明する。分割して取得した形態素（以下、「単語」と呼ぶ）を、単語蓄積部２２に記録する（Ｓ１４）。この際、単語に品詞情報を付与し、処理に使用する品詞を予め定めることによって、該当する品詞の単語のみを、単語蓄積部２２に記録するようにしてもよい。
【００４３】
次に、Ｓ１１に戻り、未処理の文書クラスタがあれば（Ｓ１１のＹＥＳ）、この未処理の文書クラスタについて、Ｓ１２〜Ｓ１４の処理を実行する。全ての文書クラスタについて、Ｓ１２〜Ｓ１４の処理を実行すると（Ｓ１１のＮＯ）、文書解析部２１の処理が修了する。
【００４４】
図５は、単語蓄積部２２に蓄積されているデータ例を示す図である。
【００４５】
単語蓄積部２２は、図５に示すように、Ｓ１４で抽出された単語と、この抽出された単語についての各文書における単語の重みとを保持している。
【００４６】
この例では、上記「単語の重み」は、次の通りである。つまり、所定の単語が、所定の文書に出現すれば、上記所定の文書についての上記単語の重みは「１」であり、所定の単語が、所定の文書に出現しなければ、上記所定の文書についての上記単語の重みは「０」である。
【００４７】
ここで、文書に出現する単語の重みについて、出現する単語のみを記録するようにしてもよい。なお、文書クラスタの評価値を算出するときに、各文書に記録されていない単語の重みを０として算出する。このようにすることによって、記録容量を少なく抑えることができる。
【００４８】
評価値算出部２３は、文書解析部２１の処理が終了すると、単語蓄積部２２から、単語とその重みとを取得し、評価値を算出し、文書クラスタ毎の評価値を、評価値蓄積部２４に記録する。
【００４９】
上記評価値は、たとえば、以下の単語分散の式（１）を用いて算出することができる。
【００５０】
【数３】
2008171336.tif 000005
ここで、ｘｉｊは、文書ｄｉにおける単語ｗｊの重みであり、ｎは、文書クラスタ内の文書総数であり、ｍは、文書クラスタ内での単語ｗｊの重み平均値である。
【００５１】
この単語分散は、所定の単語が多くの文書に出現している場合と、ごくわずかな文書に出現している場合とに偏りが少ないと判断され、単語分散が小さくなる。つまり、たとえば、５文書中４文書に出現する単語の分散と、５文書中１文書に出現する単語の分散とは互いに等しく、分散が小さい（偏りが少ない）。したがって、文書クラスタ内に、単語分散が小さい単語が多い程、単語分散の平均値が小さく、まとまりがよいと考えることができる。
【００５２】
そこで、文書クラスタのまとまりのよさを表わす評価値として、文書クラスタ内に出現する単語の単語分散平均を用いる。文書クラスタＣｋの評価値は、以下の式（２）で求めることができる。
【００５３】
【数４】
2008171336.tif 000006
ここで、文書クラスタＣｋには、文書ｄｋｉ（ｉ＝１〜ｎｋ）が存在し、ｘｋｉｊは、文書ｄｋｉにおける単語ｗｊの重みである。ｎｋは、文書クラスタＣｋにおける文書総数であり、ｖｋは、文書クラスタＣｋにおける単語総数であり、ｍｋｊは、文書クラスタＣｋにおける単語ｗｊの重み平均である。
【００５４】
実際に、図１０に示す例において、各単語ｗ１，ｗ２，……，ｗ１０のそれぞれに対して、式（１）を用いて単語分散を算出する。まず、文書クラスタ１における単語Ｗ１の単語分散を求める。
【００５５】
単語Ｗ１の重み平均＝（１＋１＋１）／３＝１
Ｗ１の単語分散＝（（１−１）２＋（１−１）２＋（１−１）２）／３＝０
文書クラスタ１において、単語Ｗ１は、全ての文書に出現しているので、単語分散の値が小さく、その単語分散の値は、０である。
【００５６】
これと同様に、文書クラスタ１の単語ｗ１，ｗ２，……，ｗ１０のそれぞれについて、上記式（１）によって、単語分散を求め、上記式（２）によって、単語分散の平均である文書クラスタ１の評価値を算出する。
【００５７】
文書クラスタ１の評価値＝（０＋０＋０＋０．２２２２＋０．２２２２＋，……，＋０．２２２２）／１０＝０．１５５６
文書クラスタ２についても、上記と同様に、各単語の単語分散を求め、この求めた単語分散の平均である文書クラスタ２の評価値を算出する。
【００５８】
文書クラスタ２の評価値＝（０．２２２２＋０．２２２２＋，……，＋０．２２２２）／１０＝０．２２２２
この結果、文書クラスタ２の評価値よりも、文書クラスタ１の評価値が、小さくなり、文書クラスタ１が、まとまりのよい文書クラスタであると判断することができる。
【００５９】
図６は、評価値蓄積部２４に蓄積されているデータ例を示す図である。
【００６０】
文書クラスタＣ１、Ｃ２、Ｃ３、……のそれぞれについて算出された評価値２４２が、評価値蓄積部２４に記録される。
【００６１】
文書クラスタ表示部１３は、評価値蓄積部２４からデータを取得し、文書クラスタのまとまりのよい順、すなわち評価値２４２の小さい順に、文書クラスタを表示する。また、文書クラスタ表示部１３は、文書クラスタ内の文書数に基づいて、文書数の多い順や少ない順等に並べ替えることもでき、複数の並べ替えを切り替えるようにしてもよい。さらに、文書クラスタ表示部１３は、ユーザに文書クラスタを表示する際、各文書のタイトルや抜粋等を、文書蓄積部１１から抽出し、提示する。
【００６２】
実施例１において、文書解析部２１が本文解析処理を実行する場合、形態素解析ではなく、ｎ−ｇｒａｍ解析で本文解析処理を実行すると、本文は、ｎ個の文字によって構成される複数の文字列に分割される。分割された文字列を、単語と同様に扱い、単語蓄積部２２に記録する。したがって、ｎ−ｇｒａｍ解析で本文解析処理を実行した場合も、評価値算出部２３は、形態素解析を用いた上記説明と何ら変わることなく、文書クラスタの評価値を算出することができる。
【００６３】
また、実施例１では、文書クラスタ内に出現する単語の重みを、文書に出現すれば、「１」、出現しなければ、「０」として、文書クラスタの評価値を算出し、文書クラスタ内の文書に共通して出現する（または出現しない）単語が多い程小さな評価値を付与することを可能とする。つまり、ごくわずかな文書に出現している単語が多くても、文書クラスタの評価値が小さくなる。
【００６４】
なお、単語の重みとして、文書に出現する単語の数（出現数）を用いるようにしてもよく、このようにした場合、出現数にばらつきの少ない単語が多く存在する文書クラスタ程、小さな評価値を付与することができる。
【実施例２】
【００６５】
図７は、本発明の実施例２である文書クラスタ処理装置３０を示すブロック図である。
【００６６】
文書クラスタ処理装置３０は、評価値算出部２３ａと、評価値蓄積部２４とを有する。
【００６７】
文書クラスタ処理装置３０は、文書クラスタ処理装置３０の入力となる文書クラスタ記録部１２と、文書ベクトル蓄積部１４と、文書クラスタ処理装置３０が出力する評価値に基づいて文書クラスタを表示する文書クラスタ表示部１３とに接続されている。文書クラスタ表示部１３は、文書のタイトルや抜粋等を表示する場合の入力として、文書蓄積部１１に接続されている。
【００６８】
文書蓄積部１１、文書クラスタ記録部１２、文書クラスタ表示部１３は、実施例１と同様である。実施例２が実施例１と違う点は、文書クラスタ処理装置３０が、文書のベクトルを入力する点である。
【００６９】
図８は、実施例２における文書ベクトル蓄積部１４に蓄積されているデータ例を示す図である。
【００７０】
文書を表現した文書ベクトルは、文書ベクトル蓄積部１４に蓄積され、たとえば、図８に示す構成を取る。文書ＩＤ１４１毎に、本文を構成する要素が蓄積されている。たとえば、文書ＩＤ＝００００１の要素は、「ヘアケア」、「サンプル」、「パッケージ」等である。また、各要素には、重みが既に付与されている。たとえば、ｔｆ・ｉｄｆ値が、重みとして既に付与されている。具体的には、「ヘアケア」は「１．５３」という重みが付与されている。この重みは、文書クラスタリングの処理で決定された値である。
【００７１】
評価値算出部２３ａは、文書クラスタ記録部１２に記録されている文書クラスタの情報に基づいて、文書ベクトル蓄積部１４から文書ベクトルを取得し、文書クラスタ毎に、文書クラスタの評価値を算出し、評価値蓄積部２４に記録する。
【００７２】
次に、実施例２において、評価値算出部２３ａが文書クラスタの評価値を算出する処理について説明する。
【００７３】
図９は、実施例２において、評価値算出部２３ａが文書クラスタの評価値を算出する動作を示すフローチャートである。
【００７４】
まず、文書クラスタ記録部１２に記録されている文書クラスタＩＤを全て取得し（Ｓ２０）、未処理のクラスタＩＤを１つ選択し（Ｓ２１）、この選択された文書クラスタＩＤに対応する複数の文書ＩＤを取得する（Ｓ２２）。図３に示す例において、文書クラスタＩＤ  Ｃ１が選択されると、これに対応する文書ＩＤ（００００１、０００２４、０００２５）を取得する。この取得した文書ＩＤに基づいて、文書ベクトル蓄積部１４から、各文書ＩＤに対応する文書ベクトルを取得する（Ｓ２３）。
【００７５】
次に、取得した複数の文書ベクトルを用いて、文書クラスタ内に出現する全てのベクトル要素を、実施例１の単語と同様に扱い、式（２）を用いて、評価値を算出する（Ｓ２４）。
【００７６】
この際、単語の重みを、そのまま文書クラスタの評価値として用いると、重みの大きい単語の単語分散値は大きく、重みの小さい単語の単語分散値は小さくなる傾向にある。そのため、重みの大きい単語の単語分散値が評価値に強く影響する場合がある。そこで、文書ベクトル蓄積部に記録されている単語の重みを用いずに、文書に単語が出現すれば「１」とし、出現しなければ「０」として、文書クラスタの評価値を算出すようにしてもよい。
【００７７】
このように算出した評価値は、文書クラスタＩＤと対応付けて、評価値蓄積部２４に記録する（Ｓ２５）。
【００７８】
Ｓ２１に戻り、未処理の文書クラスタがあれば（Ｓ２１のＹＥＳ）、この文書クラスタについて、Ｓ２２〜Ｓ２５の処理を実行する。全ての文書クラスタについて処理を実施すると（Ｓ２１のＮＯ）、評価値算出部２３ａは、処理を終了する。
【００７９】
なお、ベクトル表現された文書は、本文だけであるとは限らず、タイトルと本文との両方を対象として、ベクトル表現された値であってもよい。つまり、図２において、本文１１３だけでなく、タイトル１１２からも、単語を抽出するようにしてもよい。つまり、Ｓ１３の処理を、本文だけでなく、タイトル＋本文に実行するようにしてもよい。
【００８０】
上記実施例は、重要な語が多くの文書に共通していることに着目した実施例である。ただ、人間が重要と感じる単語を、コンピュータが適切に抽出することができない場合があり、この場合でも、上記のように、単語の分散を用いることによって、文書クラスタのまとまりのよさを表わす評価値を算出することができる。
【００８１】
図１１は、単語蓄積部２２に蓄積する他のデータ例を示す図である。
【００８２】
上記説明では、文書内に出現する要素のみが、重みと共に蓄積されているが、文書集合全体に出現する単語または文字列について、図１１に示すように、単語の重みを保持したマトリックスデータを入力するようにしてもよい。
【００８３】
つまり、上記実施例は、内容が互いに類似している文書の集合である文書クラスタに評価値を付与し、複数の文書クラスタを一度に表示する文書クラスタ処理装置の例である。また、文書解析部２１は、文書を単語または文字列に分割する分割手段の例である。また、文書解析部２１は、文書クラスタ内に出現する全ての単語または文字列のそれぞれが、上記文書クラスタに含まれている文書に出現すれば、当該文書における当該単語または文字列の重みを「１」とし、上記文書クラスタに含まれている文書に出現しなければ、当該文書における当該単語または文字列の重みを「０」とする文書解析手段の例である。
【００８４】
評価値算出部２３は、上記文書クラスタ内に出現する各単語または文字列について、文書クラスタ内文書における分散を算出する分散算出手段の例であり、上記文書クラスタ内に出現する全ての単語または文字列の分散を平均した値を、当該文書クラスタの評価値として算出する評価値算出手段の例である。
【００８５】
この場合、上記文書解析手段は、単語または文字列が、各文書に出現する数をカウントする手段であり、上記評価値算出手段は、各文書内に、単語または文字列が出現する数を用いて、単語または文字列の分散を算出する手段である。
【００８６】
また、評価値算出部２３ａは、各文書に対する文書ベクトルを入力し、文書クラスタ内に出現する全てのベクトル要素に対して、文書クラスタ内文書における分散を算出する分散算出手段の例であり、文書クラスタ内に出現する全てのベクトル要素の分散を平均した値を、当該文書クラスタの評価値として算出する評価値算出手段の例である。
【００８７】
この場合、上記分散算出手段は、文書内にベクトル要素が出現すれば、各ベクトル要素を、「１」に変換し、文書内にベクトル要素が出現しなければ、各ベクトル要素を、「０」に変換し、ベクトル要素の分散を算出する手段である。
【００８８】
しかも、上記実施例を方法の発明として把握することができる。つまり、上記実施例は、内容が互いに類似している文書の集合である文書クラスタに評価値を付与し、複数の文書クラスタを一度に表示する文書クラスタ処理方法であって、文書を単語または文字列に分割し、記憶装置に記憶する分割工程と、文書クラスタ内に出現する全ての単語または文字列のそれぞれが、上記文書クラスタに含まれている文書に出現すれば、当該文書における当該単語または文字列の重みを「１」とし、出現しなければ、当該文書における当該単語または文字列の重みを「０」とし、記憶装置に記憶する文書解析工程と、上記文書クラスタ内に出現する各単語または文字列について、文書クラスタ内文書における分散を算出し、記憶装置に記憶する分散算出工程と、上記文書クラスタ内に出現する全ての単語または文字列の分散を平均した値を、当該文書クラスタの評価値として算出し、記憶装置に記憶する評価値算出工程とを有する文書クラスタ処理方法の例である。
【００８９】
さらに、上記実施例は、内容が互いに類似している文書の集合である文書クラスタに評価値を付与し、複数の文書クラスタを一度に表示する文書クラスタ処理方法であって、各文書に対する文書ベクトルを入力し、文書クラスタ内に出現する全てのベクトル要素に対して、文書クラスタ内文書における分散を算出し、記憶装置に記憶する分散算出工程と、文書クラスタ内に出現する全てのベクトル要素の分散を平均した値を、当該文書クラスタの評価値として算出し、記憶装置に記憶する評価値算出工程とを有する文書クラスタ処理方法の例である。
【００９０】
そして、上記実施例は、上記文書クラスタ処理方法をコンピュータに実行させるプログラムの例である。
【図面の簡単な説明】
【００９１】
【図１】本発明の実施例１である文書クラスタ処理装置２０の構成を示すブロック図である。
【図２】文書蓄積部１１に蓄積されているデータ例を示す図である。
【図３】文書クラスタ記録部１２に記録されているデータ例を示す図である。
【図４】文書解析部２１の動作を示すフローチャートである。
【図５】単語蓄積部２２に蓄積されているデータ例を示す図である。
【図６】評価値蓄積部２４に蓄積されているデータ例を示す図である。
【図７】本発明の実施例２である文書クラスタ処理装置３０を示すブロック図である。
【図８】実施例２における文書ベクトル蓄積部１４に蓄積されているデータ例を示す図である。
【図９】実施例２において、評価値算出部２３ａが文書クラスタの評価値を算出する動作を示すフローチャートである。
【図１０】文書クラスタのまとまりのよさを説明する図である。
【図１１】単語蓄積部２２に蓄積する他のデータ例を示す図である。
【符号の説明】
【００９２】
１１…文書蓄積部、
１２…文書クラスタ記録部、
１３…文書クラスタ表示部、
２０…文書クラスタ処理装置、
２１…文書解析部、
２２…単語蓄積部、
２３…評価値算出部、
２４…評価値蓄積部、
３０…文書クラスタ処理装置、
２３ａ…評価値算出部、
１４…文書ベクトル蓄積部。
【図１】
2008171336.tif 000007
【図２】
2008171336.tif 000008
【図３】
2008171336.tif 000009
【図４】
2008171336.tif 000010
【図５】
2008171336.tif 000011
【図６】
2008171336.tif 000012
【図７】
2008171336.tif 000013
【図８】
2008171336.tif 000014
【図９】
2008171336.tif 000015
【図１０】
2008171336.tif 000016
【図１１】
2008171336.tif 000017