(57)【要約】【課題】シソーラスの階層を対象文書の内容に合わせて選択し、選択した階層をクラスタリングやクラスタリングの統合に用いることができる文書クラスタリングシステム、その方法及びプログラムを提供すること。【解決手段】本発明は、シソーラスにおいて上位概念の登録語が共通する登録語が所属する階層の優先度を、前記階層に所属する登録語を含むクラスタリング対象文書の数と、前記階層に所属する登録語がクラスタリング対象文書の主題となりうる度合である主題度合とに基づいて計算する階層優先度計算手段を有する文書クラスタリングシステムである。【選択図】図２
2009251825.tif 000002
【特許請求の範囲】
【請求項１】
シソーラスにおいて上位概念の登録語が共通する登録語が所属する階層の優先度を、前記階層に所属する登録語を含むクラスタリング対象文書の数と、前記階層に所属する登録語がクラスタリング対象文書の主題となりうる度合である主題度合とに基づいて計算する階層優先度計算手段
を有する文書クラスタリングシステム。
【請求項２】
高い優先度の階層から順番に一つ以上の階層を選択し、選択した階層の登録語を含むクラスタリング対象文書を、前記登録語を代表語とするクラスタに分類する文書クラスタリング手段を有する請求項１に記載の文書クラスタリングシステム。
【請求項３】
高い優先度の階層から順番に一つ以上の階層を選択し、クラスタの代表語が前記選択した階層の登録語である場合、そのクラスタを、前記登録語を代表語とするクラスタに統合するクラスタ統合手段を有する請求項１又は請求項２に記載の文書クラスタリングシステム。
【請求項４】
前記階層優先度計算手段は、階層に所属する個々の登録語を含むクラスタリング対象文書同士の類似度に基づいて、シソーラスの階層に所属する登録語のクラスタリング対象文書における個々の登録語の主題度合を求め、前記階層の全ての登録語の主題度合の平均値から、前記階層に所属する登録語の主題度合を計算する
請求項１から請求項３のいずれかに記載の文書クラスタリングシステム。
【請求項５】
前記階層優先度計算手段は、シソーラスの階層に所属する登録語のクラスタリング対象文書における個々登録語の主題度合を、個々の登録語を含むクラスタリング対象文書から選んだふたつの文書の類似度を全ての組み合わせに関して求め、その平均値を求めることにより計算する
請求項４に記載の文書クラスタリングシステム。
【請求項６】
前記階層優先度計算手段は、シソーラスの階層に所属する登録語のクラスタリング対象文書における個々登録語の主題度合を、個々の登録語を含むクラスタリング対象文書の平均ベクトルを求め、それぞれの文書と平均ベクトルとの類似度の平均値を求めることにより計算する
請求項４に記載の文書クラスタリングシステム。
【請求項７】
前記階層優先度計算手段は、計算した個々登録語の主題度合から、同一の出現文書数を有する登録語の主題度合の期待値を引いた値を個々の登録語の主題度合とする
請求項４から請求項６のいずれかに記載の文書クラスタリングシステム。
【請求項８】
シソーラスにおいて上位概念の登録語が共通する登録語が所属する階層の優先度を、前記階層に所属する登録語を含むクラスタリング対象文書の数と、前記階層に所属する登録語がクラスタリング対象文書の主題となりうる度合である主題度合とに基づいて計算する階層優先度計算手段と、
前記階層優先度計算手段で計算されたシソーラスの各階層の優先度が格納される階層優先度記憶手段と、
前記階層優先度記憶手段に格納されている各階層の優先度を参照し、高い優先度の階層から順番に一つ以上の階層を選択し、選択した階層の登録語を含むクラスタリング対象文書を、前記登録語を代表語とするクラスタに分類する文書クラスタリング手段と
を有する文書クラスタリングシステム。
【請求項９】
クラスタリング対象文書と、クラスタと、前記クラスタの代表語との関係が格納されたクラスタリング結果記憶手段と、
シソーラスにおいて上位概念の登録語が共通する登録語が所属する階層の優先度を、前記階層に所属する登録語を含むクラスタリング対象文書の数と、前記階層に所属する登録語がクラスタリング対象文書の主題となりうる度合である主題度合とに基づいて計算する階層優先度計算手段と、
前記階層優先度計算手段で計算されたシソーラスの各階層の優先度が格納される階層優先度記憶手段と、
前記階層優先度記憶手段に格納されている各階層の優先度を参照し、高い優先度の階層から順番に一つ以上の階層を選択し、前記クラスタリング結果記憶手段に格納されているクラスタの代表語が、前記選択した階層の登録語である場合、そのクラスタを、前記登録語を代表語とするクラスタに統合するクラスタ統合手段と
を有する文書クラスタリングシステム。
【請求項１０】
シソーラスにおいて上位概念の登録語が共通する登録語が所属する階層の優先度を、前記階層に所属する登録語を含むクラスタリング対象文書の数と、前記階層に所属する登録語がクラスタリング対象文書の主題となりうる度合である主題度合とに基づいて計算する
文書クラスタリング方法。
【請求項１１】
前記計算された階層の優先度のうち、高い優先度の階層から順番に一つ以上の階層を選択し、選択した階層の登録語を含むクラスタリング対象文書を、前記登録語を代表語とするクラスタに分類する
請求項１に記載の文書クラスタリング方法。
【請求項１２】
前記計算された階層の優先度のうち、高い優先度の階層から順番に一つ以上の階層を選択し、クラスタの代表語が前記選択した階層の登録語である場合、そのクラスタを、前記登録語を代表語とするクラスタに統合する
請求項１又は請求項２に記載の文書クラスタリング方法。
【請求項１３】
階層に所属する個々の登録語を含むクラスタリング対象文書同士の類似度に基づいて、シソーラスの階層に所属する登録語のクラスタリング対象文書における個々の登録語の主題度合を求め、前記階層の全ての登録語の主題度合の平均値から、前記階層に所属する登録語の主題度合を計算する
請求項１０から請求項１２のいずれかに記載の文書クラスタリング方法。
【請求項１４】
シソーラスの階層に所属する登録語のクラスタリング対象文書における個々登録語の主題度合を、個々の登録語を含むクラスタリング対象文書から選んだふたつの文書の類似度を全ての組み合わせに関して求め、その平均値を求めることにより計算する
請求項１３に記載の文書クラスタリング方法。
【請求項１５】
シソーラスの階層に所属する登録語のクラスタリング対象文書における個々登録語の主題度合を、個々の登録語を含むクラスタリング対象文書の平均ベクトルを求め、それぞれの文書と平均ベクトルとの類似度の平均値を求めることにより計算する
請求項１３に記載の文書クラスタリング方法。
【請求項１６】
計算した個々登録語の主題度合から、同一の出現文書数を有する登録語の主題度合の期待値を引いた値を個々の登録語の主題度合とする
請求項１３から請求項１５のいずれかに記載の文書クラスタリング方法。
【請求項１７】
シソーラスにおいて上位概念の登録語が共通する登録語が所属する階層の優先度を、前記階層に所属する登録語を含むクラスタリング対象文書の数と、前記階層に所属する登録語がクラスタリング対象文書の主題となりうる度合である主題度合とに基づいて計算する階層優先度計算処理を
情報処理装置に実行させるプログラム。
【請求項１８】
高い優先度の階層から順番に一つ以上の階層を選択し、選択した階層の登録語を含むクラスタリング対象文書を、前記登録語を代表語とするクラスタに分類する文書クラスタリング処理を
情報処理装置に実行させる請求項１７に記載のプログラム。
【請求項１９】
高い優先度の階層から順番に一つ以上の階層を選択し、クラスタの代表語が前記選択した階層の登録語である場合、そのクラスタを、前記登録語を代表語とするクラスタに統合するクラスタ統合処理を
情報処理装置に実行させる請求項１７又は請求項１８に記載のプログラム。
【請求項２０】
前記階層優先度計算処理は、階層に所属する個々の登録語を含むクラスタリング対象文書同士の類似度に基づいて、シソーラスの階層に所属する登録語のクラスタリング対象文書における個々の登録語の主題度合を求め、前記階層の全ての登録語の主題度合の平均値から、前記階層に所属する登録語の主題度合を計算する
請求項１７から請求項１９のいずれかに記載のプログラム。
【請求項２１】
前記階層優先度計算処理は、シソーラスの階層に所属する登録語のクラスタリング対象文書における個々登録語の主題度合を、個々の登録語を含むクラスタリング対象文書から選んだふたつの文書の類似度を全ての組み合わせに関して求め、その平均値を求めることにより計算する
請求項２０に記載のプログラム。
【請求項２２】
前記階層優先度計算処理は、シソーラスの階層に所属する登録語のクラスタリング対象文書における個々登録語の主題度合を、個々の登録語を含むクラスタリング対象文書の平均ベクトルを求め、それぞれの文書と平均ベクトルとの類似度の平均値を求めることにより計算する
請求項２０に記載のプログラム。
【請求項２３】
前記階層優先度計算処理は、計算した個々登録語の主題度合から、同一の出現文書数を有する登録語の主題度合の期待値を引いた値を個々の登録語の主題度合とする
請求項２０から請求項２２のいずれかに記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された文書集合を、シソーラス（上位下位語辞書）を用いてお互いに内容が類似する一つまたは複数の文書グループに分類する文書クラスタリングの技術に関する。
【背景技術】
【０００２】
文書クラスタリングとは、入力された文書集合を、お互いに内容が類似する一つ以上の文書グループ（以下、クラスタと記載する）に分類する技術である。文書クラスタリングの代表的な使用方法として、対象文書集合の内容の概要把握がある。例えば、人工知能に関する学術論文集合をクラスタに分類することにより、人工知能分野がどのような技術分野から構成されているかを把握することができる。
【０００３】
文書クラスタリングで得られるクラスタは一般的に必ずしも分類の視点が統一にならず、概要把握が難しいという問題があった。例えば、４つの学術論文を文書クラスタリングした結果、下記のような２つのクラスタが生成されたとする。
クラスタ１：
文書１  「意見情報検索へのサポートベクターマシンの応用」
文書２  「Naive Bayseを用いた意見情報検索」
クラスタ２：
文書３  「地域情報検索へのブースティングの応用」
文書４  「ブースティングを用いた質問応答検索」
このとき、クラスタ１は「意見情報検索」に関するクラスタ、クラスタ２は「ブースティング」に関するクラスタと解釈できる。しかし、前者は情報検索の一分野であり、後者は機械学習の一手法であり、分類の視点は異なる。
【０００４】
このような場合、既存のシソーラス（上位下位概念辞書）の階層上に対象文書（上記例では学術論文）をクラスタリングすることでクラスタの視点を統一することができる。
【０００５】
ここで階層とは、上位概念の登録語が共通する登録語群を表す。例えば、「ブースティング」、「サポートベクターマシン」及び「Naive Bayse」の上位概念として、「機械学習」がシソーラスに登録されていたとする。この場合、「ブースティング」、「サポートベクターマシン」及び「Naive Bayse」は同一階層の登録語群である。
【０００６】
また、階層上に対象文書をクラスタリングするとは、階層の登録語を含む対象文書（上記例では学術論文）をその登録語を代表語とするクラスタに分類することを表す。上記の学術論文の例では、文書３と文書４とが「ブースティング」、文書１が「サポートベクターマシン」、文書２が「Naive Bayse」を代表語とするクラスタに分類される。その結果、「機械学習」という統一した視点のクラスタに分類することができる。
【０００７】
一方、文書クラスタリングの結果、多くの小さなクラスタが生成されてしまうと概要把握が困難になる。このような場合、上記と同様に既存のシソーラスを利用することで生成された複数のクラスタを統合することが可能である。具体的には、シソーラスの同一階層上に存在する複数のクラスタを一つに統合する。例えば、「強化学習」と「定性推論」との上位概念として「学習手法」が登録されているとする。この場合、「強化学習」と「定性推論」とは同一階層である。この階層を用いて、代表語が「強化学習」のクラスタと代表語が「定性推論」のクラスタとを、「学習手法」を代表語とするひとつのクラスタに統合できる。
【０００８】
現在、既存のシソーラスには人手で作成したものと、文書から自動的に抽出したものの二種類が存在する。
【０００９】
前者に関しては、例えばJICSTシソーラスがある。これは、科学技術分野の語の概念関係を記述した辞書でhttp://jois.jst.go.jp/JOIS/html/thesaurus_index.htmでWeb公開されている。JICSTシソーラスの例を図１に示す。見出し語である感光性高分子の上位語はBT、下位語はNTを手がかりに取り出せることがわかる。
【００１０】
後者に関しては、非特許文献１がある。この文献では、パタンを用いて上位下位の関係にある語群を大量の文書から自動抽出する。例えば、パタン"such NP as {NP ,}*{(or|and)} NP"に対して、文書内に「such authors as Herrick, Goldsmith, Shakespeare」がある場合、{author, Herric}, {author, Goldsmith}, {author, Shakespeare}は上位下位関係にある語ペアとして抽出する。
【非特許文献１】Herast, M. A.: Automatic acquistition of hyponyms from large text corpora, 14th International Conference on Computational Linguistics, pp. 539-545 (1992).
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかし、上述した技術において、既存のシソーラスを文書のクラスタリングあるいはクラスタリング結果の統合に利用する場合、シソーラスは複数の階層から構成されているので、それらの階層のうちどの階層を用いるべきかが明らかでないという課題があった。
【００１２】
既存のシソーラスを文書のクラスタリングに用いる場合では、適当な基準で階層を選択すると、どのクラスタにも分類できない文書が多く出現する問題や、たとえ多くの文書を分類できたとしても文書の主題を反映しないクラスタに分類される問題が発生する。後者の問題の例として、ある階層の登録語として「評価」があれば、多くの学術論文が「評価」のクラスタに分類されるが、「評価」が学術論文の主題になることはまれである。
【００１３】
また、クラスタリング結果として、一つのクラスタに複数の代表語が存在した場合、クラスタがシソーラスの複数の階層上に存在する場合がある。この際、適当な基準で階層を選択してクラスタを統合すると、統合されないクラスタが多く残り、たとえ多くのクラスタを統合できたとしても統合後の代表語がクラスタに所属する文書の主題を反映しない問題が発生する。
【００１４】
そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は、シソーラスの階層を対象文書の内容に合わせて選択し、選択した階層をクラスタリングやクラスタリングの統合に用いることができる文書クラスタリングシステム、その方法及びプログラムを提供することにある。
【課題を解決するための手段】
【００１５】
上記課題を解決する本発明は、シソーラスにおいて上位概念の登録語が共通する登録語が所属する階層の優先度を、前記階層に所属する登録語を含むクラスタリング対象文書の数と、前記階層に所属する登録語がクラスタリング対象文書の主題となりうる度合である主題度合とに基づいて計算する階層優先度計算手段を有する文書クラスタリングシステムである。
【００１６】
また、上記課題を解決する本発明は、シソーラスにおいて上位概念の登録語が共通する登録語が所属する階層の優先度を、前記階層に所属する登録語を含むクラスタリング対象文書の数と、前記階層に所属する登録語がクラスタリング対象文書の主題となりうる度合である主題度合とに基づいて計算する階層優先度計算手段と、前記階層優先度計算手段で計算されたシソーラスの各階層の優先度が格納される階層優先度記憶手段と、前記階層優先度記憶手段に格納されている各階層の優先度を参照し、高い優先度の階層から順番に一つ以上の階層を選択し、選択した階層の登録語を含むクラスタリング対象文書を、前記登録語を代表語とするクラスタに分類する文書クラスタリング手段とを有する文書クラスタリングシステムである。
【００１７】
また、上記課題を解決する本発明は、クラスタリング対象文書と、クラスタと、前記クラスタの代表語との関係が格納されたクラスタリング結果記憶手段と、シソーラスにおいて上位概念の登録語が共通する登録語が所属する階層の優先度を、前記階層に所属する登録語を含むクラスタリング対象文書の数と、前記階層に所属する登録語がクラスタリング対象文書の主題となりうる度合である主題度合とに基づいて計算する階層優先度計算手段と、前記階層優先度計算手段で計算されたシソーラスの各階層の優先度が格納される階層優先度記憶手段と、前記階層優先度記憶手段に格納されている各階層の優先度を参照し、高い優先度の階層から順番に一つ以上の階層を選択し、前記クラスタリング結果記憶手段に格納されているクラスタの代表語が、前記選択した階層の登録語である場合、そのクラスタを、前記登録語を代表語とするクラスタに統合するクラスタ統合手段とを有する文書クラスタリングシステムである。
【００１８】
また、上記課題を解決する本発明は、シソーラスにおいて上位概念の登録語が共通する登録語が所属する階層の優先度を、前記階層に所属する登録語を含むクラスタリング対象文書の数と、前記階層に所属する登録語がクラスタリング対象文書の主題となりうる度合である主題度合とに基づいて計算する文書クラスタリング方法である。
【００１９】
また、上記課題を解決する本発明は、シソーラスにおいて上位概念の登録語が共通する登録語が所属する階層の優先度を、前記階層に所属する登録語を含むクラスタリング対象文書の数と、前記階層に所属する登録語がクラスタリング対象文書の主題となりうる度合である主題度合とに基づいて計算する階層優先度計算処理を情報処理装置に実行させるプログラムである。
【発明の効果】
【００２０】
本発明による階層の優先度は、クラスタリング対象文書のクラスタリングや、クラスタの統合に用いることができる。
【発明を実施するための最良の形態】
【００２１】
＜第１の実施の形態＞
本発明の第１の実施の形態について図面を参照して詳細に説明する。
【００２２】
図２は本発明の第１の実施の形態のブロック図である。
【００２３】
図２を参照すると、本発明の第１の実施の形態の文書クラスタリングシステムは、プログラム制御により動作するデータ処理装置１と、情報を記憶する記憶装置２とを含む。
【００２４】
データ処理装置１は、階層優先度計算手段１１と、文書クラスタリング手段１２とから構成されている。
【００２５】
階層優先度計算手段１１は、シソーラスにおいて上位概念の登録語が共通する登録語が所属する階層の優先度を、前記階層に所属する登録語を含むクラスタリング対象文書の数と、前記階層に所属する登録語がクラスタリング対象文書の主題となりうる度合である主題度合とに基づいて計算する。
【００２６】
文書クラスタリング手段１２は、階層優先度記憶部２２を参照して高い優先度を持つ階層から順番に一つ以上の階層を選択し、選択した階層の登録語を含むクラスタリング対象文書を、その登録語を代表語とするクラスタに分類する。
【００２７】
記憶装置２は、文書記憶部２０と、シソーラス記憶部２１と、階層優先度記憶部２２と、クラスタリング結果記憶部２３とから構成されている。尚、記憶装置２は、磁気媒体であっても、メモリであってもよい。
【００２８】
文書記憶部２０は、クラスタリング対象の文書集合が格納されている。図３に文書記憶部２０の例を示す。図３では、文書ＩＤとクラスタリング対象の文書とが対応付けられて記憶されており、クラスタリング対象の文書として、ｄ１からｄ４までの文書集合が格納されている。
【００２９】
シソーラス記憶部２１は、シソーラスの階層とその階層名とが格納されている。図４にシソーラス記憶部２１の例を示す。ここで、階層とは、シソーラスで上位概念の登録語が共通する登録語群を意味し、階層名とは共通する上位概念の登録語を表す。図５は図４のシソーラスの構造をツリー構造に示したものである。
【００３０】
階層優先度記憶部２２は、階層優先度計算手段１１で計算されたシソーラスの各階層の優先度が格納される。図３の文書記憶部２０と、図４のシソーラス記憶部２１に対して階層優先度計算手段１１を実行し、その結果を階層優先度記憶部２２に格納した例を図６に示す。尚、階層の優先度の計算方法は後述する。
【００３１】
クラスタリング結果記憶部２３は、クラスタの番号と、そのクラスタの代表語と、そのクラスタに所属する文書との対応関係が格納されている。図３の文書記憶部２０と、図６の階層優先度記憶部２２とを入力とし、文書クラスタリング手段１２が実行した結果を、クラスタリング結果記憶部２３に格納した例を図７に示す。尚、文書クラスタリング手段１２の動作は後述する。
【００３２】
続いて、第１の実施の形態の文書クラスタリングシステムの動作について説明する。
【００３３】
図８は第１の実施の形態の文書クラスタリングシステムの動作フローチャートである。
【００３４】
以下の説明において、初期状態として、文書記憶部２０に図３に示される文書集合が、シソーラス記憶部２１に図４に示される階層が格納されているものとして説明する。
【００３５】
階層優先度計算手段１１は、シソーラスの各階層の優先度を、その階層に所属する登録語を含むクラスタリング対象文書の数と、その階層に所属する登録語のクラスタリング対象文書における主題度合とに基づいて計算する（ステップＳ１）。尚、シソーラスはシソーラス記憶部２１に格納されており、クラスタリング対象文書は文書記憶部２０に格納されている。
【００３６】
ここで、階層の優先度の具体的な計算方法を説明する。
【００３７】
まず、ある階層Hの優先度は２種類の優先度Score1(H)とScore2(H)との積で、式（１）のように表す。
【００３８】
【数１】
2009251825.tif 000003
ここで、Score1(H)は、階層Hに所属する登録語を含むクラスタリング対象文書の数を示し、式（２）のように表す。
【００３９】
【数２】
2009251825.tif 000004
ここで、式２のDhは登録語hを含む文書集合を表す。
【００４０】
Score2(H)は、階層Hに所属する登録語のクラスタリング対象文書における主題度合を示し、式（３）のように表す。
【００４１】
【数３】
2009251825.tif 000005
ここで、Score2(h)は階層Hに所属する個々の登録語hの主題度合であり、｜H｜はhの大きさ（階層Hに所属する登録語の数）を表す。
【００４２】
式（３）のScore2(H)をより詳細に説明する。
【００４３】
Score2(H)は、式（３）のように階層Hに所属する個々の登録語hの主題度合Score2(h)の平均値により求めている。登録語hの主題度合Score2(h)は、式（４）のようにhを含むクラスタリング対象文書集合Dhから選んだ２つの文書di, djの類似度を、全ての組み合わせに関して求め、その平均値を求める。
【００４４】
【数４】
2009251825.tif 000006
ここで、｜Dh｜はhを含むクラスタリング対象文書の数、Sim(di, dj)はdiとdjとの間の類似度である。
【００４５】
これは、hがクラスタリング対象文書の主題に近いほど（主題となりうるほど）、hを含む対象文書の内容は一致するという仮定に基づく。例えば、学術論文において「評価」は論文の主題になることは少ないため「評価」を含む論文の内容は異なると考えられるが、「意見情報検索」は論文の主要な話題に近い場合が多いため「意見情報検索」を含む論文の内容は比較的類似すると考えられる。
【００４６】
尚、式（４）で計算する類似度の組み合わせの数は、Dhの大きさを｜Dh｜（hを含む文書数）としたとき、
１／２＊（｜Dh｜＊（｜Dh｜−１）
となる。
【００４７】
｜Dh｜＝１のとき、この値は０となるので、式（４）を計算することができない。そのため、実際には、｜Dh｜＞＝２の登録語hに限り、主題度合Score2(h)を計算し、その平均を求めることとする。
【００４８】
文書記憶部２０とシソーラス記憶部２１とに対して行った階層優先度計算手段１１の実行結果（階層優先度記憶部２２の格納例）を示した図６を用いて、優先度の具体的な計算を説明する。
【００４９】
まず、Score(H=｛機械学習, 情報検索, 情報抽出｝)のScore1(H)を計算する。図３の文書記憶部２０において「機械学習」、「情報検索」または「情報抽出」を含む文書はｄ１、ｄ２、ｄ３、ｄ４であるのでScore1(H)＝４である。
【００５０】
次に、Score2(H)を計算する。｜D＿機械学習｜＝０、｜D＿情報検索｜＝４、｜D＿情報抽出｜＝０であるから、Score2（機械学習）、Score2（情報抽出）は計算しない。Score2（情報検索）は、式（４）に従うと、４＊３／２＝６通りの類似度を計算し、その平均値を求めると0.50である。この結果から、Score2(H)=0.50となる。
【００５１】
最終的に、この階層Hの優先度は、Score(H)＝4＊0.50＝2.0となる。
【００５２】
同様に、Score(｛サポートベクターマシン,ブースティング,Naive Bayse｝)＝2.2となる。
【００５３】
２つの文書間の類似度の計算には、例えば、式（５）のようなcosine類似度を用いる。
【００５４】
【数５】
2009251825.tif 000007
ここで、式（５）のw(d,t)は、文書dにおけるキーワードtの重みである。w(d,t)は、式（６）のようにすべて１にする方法、式（７）のようにtf/idfで求める方法がある。tf(d,t)は、文書dにおけるキーワードtの出現回数、df(t)はキーワードtの出現文書数を表す。
【００５５】
【数６】
2009251825.tif 000008
【００５６】
【数７】
2009251825.tif 000009
尚、以下の説明では、式（６）で説明する。キーワードは、図９のように文書に含まれる自立語であり形態素解析を用いることで抽出できる。その結果、文書間の類似度の計算結果は以下のようになる。
Sim(d1, d2) ＝ 3/√5＊√6＝ 0.55
Sim(d1, d3) ＝ 3 / √5＊√5 = 0.6
Sim(d1, d4) ＝ 2 / √5＊√6 = 0.37
Sim(d2, d3) ＝ 2 / √5＊√5 = 0.4
Sim(d2, d4) ＝ 3 / √5＊√6 = 0.55
SIm(d3, d4) ＝ 3 / √5＊√6 = 0.55
なお、式（４）では２つの文書のすべての組み合わせの類似度を計算しているが、式（８）のように文書の平均ベクトルを算出し、その平均ベクトルと文書の類似度を計算するようにすることで計算の高速化が可能である。
【００５７】
【数８】
2009251825.tif 000010
また、式（４）、式（８）では、必ずしもcosine類似度に限らず、Jaccard係数や共通する単語数など、他の類似度尺度であってもよい。
【００５８】
更に、式（９）のように、個々の登録語の主題度合いScore(h)を求めるために、まず、式（４）、又は式（８）を計算し、その後にhと同一の文書数を有する登録語の主題度合の期待値E[Score2(h)]の値を引くことによって得ることも可能である。
【００５９】
【数９】
2009251825.tif 000011
式（４）や、式（８）の性質上、文書数｜Dh｜が小さな登録語ほどスコアが高くなり、逆に文書数が多い登録語ほどスコアは低くなる傾向がある。そのため、式（４）や、式（８）をそのまま適用すると、文書数が小さい登録語が過大評価されてしまう。式（９）のように、期待値の値を引くことによってこの問題を解消可能である。
【００６０】
文書クラスタリング手段１２は、階層優先度記憶部２２を参照して高い優先度を持つ階層から順番に一つ以上の階層を選択し、選択した階層の登録語を含むクラスタリング対象文書をその登録語を代表語とするクラスタに分類する（ステップＳ２）。
【００６１】
例えば、図６に示される階層優先度記憶部２２の優先度の高い順に一つ階層を選択すると、｛サポータベクターマシン, ブースティング, Naive Bayse｝になる。この階層を用いて、図３に示される文書記憶部２０に格納されている文書集合を分類すると、図７の結果になる。すなわち、文書ｄ１はサポータベクターマシンを代表語とするクラスタに分類され、文書ｄ２はNaive Bayseを代表語とするクラスタに分類され、文書ｄ３、ｄ４はブースティングを代表語とするクラスタに分類される。
【００６２】
以上の如く、第１の実施の形態は、シソーラスの階層をクラスタリング対象文書の内容に合わせて選択し、選択した階層を文書クラスタリングに活用できる。その理由は、シソーラスの各階層の優先度を、（１）その階層に所属する登録語を含むクラスタリング対象文書の数と、（２）その階層に所属する登録語のクラスタリング対象文書における主題度合とに基づき計算する階層優先度計算手段を有しているからである。その結果、シソーラスの階層を用いることにより統一した視点で対象文書をクラスタに分類できることに加え、（１）の基準により多くの文書をクラスタに分類できる、（２）の基準によりクラスタリング対象文書の主題に近いクラスタに分類できる。
＜第２の実施の形態＞
第２の実施の形態を説明する。
【００６３】
図１０は第２の実施の形態における文書クラスタリングシステムのブロック図である。
【００６４】
図１０を参照すると、本発明の第２の実施の形態の文書クラスタリングシステムは、プログラム制御により動作するデータ処理装置１と、情報を記憶する記憶装置２とから構成される。
【００６５】
データ処理装置１は、階層優先度計算手段１１とクラスタ統合手段１３とから構成されている。
【００６６】
階層優先度計算手段１１は、第１の実施の形態と同様であるので、詳細な説明は省略する。
【００６７】
クラスタ統合手段１３は、階層優先度記憶部２２を参照して高い優先度を持つ階層から順番に一つ以上の階層を選択し、クラスタリング結果記憶部２３に格納された複数のクラスタの代表語が、選択したいずれかの階層の登録語である場合に、複数のクラスタをその階層の階層名を代表語とするクラスタに統合する。
【００６８】
記憶装置２は、文書記憶部２０とシソーラス記憶部２１と階層優先度記憶部２２とクラスタリング結果記憶部２３から構成されている。これらの記憶部はすべて第１の実施の形態と同様であるので、詳細な説明は省略する。
【００６９】
次に、第２の実施の形態における文書クラスタリングシステムの動作について説明する。
【００７０】
図１１は、第２の実施の形態における文書クラスタリングシステムの動作フローチャートである。
【００７１】
階層優先度計算手段１１は、シソーラスの各階層の優先度を、その階層に所属する登録語を含むクラスタリング対象文書の数と、その階層に所属する登録語のクラスタリング対象文書における主題度合とに基づいて計算する（ステップＳ１）。この手段の動作に関しては、第１の実施の形態と同様である。尚、以下の説明では、図１２の結果が得られ、階層優先度記憶部２２に格納されたものとして説明する。
【００７２】
次に、クラスタ統合手段１３は、階層優先度記憶部２２を参照して、高い優先度を持つ階層から順番に一つ以上の階層を選択し、クラスタリング結果記憶部２３に格納された複数のクラスタの代表語が、選択したいずれかの階層の登録語である場合に、複数のクラスタをその階層の階層名を代表語とするクラスタに統合する（ステップＳ２）。
【００７３】
クラスタ統合手段１３の処理の前には、文書クラスタリングが完了していることが前提である。本実施の形態では、文書クラスタリングは第１の実施の形態で説明した文書クラスタリングを用いたが、K-means、階層型クラスタリング等、既存の文書クラスタリングのどの方式を用いてもよい。ここでは、図１３のようなクラスタリング結果が得られているものとする。
【００７４】
クラスタ統合手段１３が選択する階層として、図１２の階層優先度記憶部２２から最も優先度の高い一つの階層を選択した場合、｛サポートベクターマシン,ブースティング, Naive Bayse｝となる。この階層を用いて、図１３のクラスタを統合すると、図１４の結果が得られる。
【００７５】
すなわち、サポートベクターマシン及び質問応答検索を代表語とする文書ｄ１は、クラスタ統合手段１３が選択した階層｛サポートベクターマシン,ブースティング, Naive Bayse｝の登録後のうち、サポートベクターマシンを代表語として持っている。また、Naive Bayse及び評判検索を代表語とする文書ｄ２は、クラスタ統合手段１３が選択した階層｛サポートベクターマシン,ブースティング, Naive Bayse｝の登録後のうち、Naive Bayseを代表語として持っている。また、ブースティングを代表語とする文書ｄ３は、クラスタ統合手段１３が選択した階層｛サポートベクターマシン,ブースティング, Naive Bayse｝の登録後のうち、ブースティングを代表語として持っている。そして、クラスタ統合手段１３が選択した階層｛サポートベクターマシン,ブースティング, Naive Bayse｝の階層名（共通の上位概念語）は、図１２に示す如く、機械学習である。従って、文書ｄ１、文書ｄ２、文書ｄ３及び文書ｄ４は、機械学習を代表語とするクラスタに統合される。
【００７６】
以上の如く、第２の実施の形態は、シソーラスの階層を対象文書の内容に合わせて選択し、選択した階層をクラスタリングの統合に活用できる。その理由は、シソーラスの各階層の優先度を、（１）その階層に所属する登録語を含むクラスタリング対象文書の数と、（２）その階層に所属する登録語のクラスタリング対象文書における主題度合とに基づき計算する階層優先度計算手段を有しているからである。その結果、クラスタリングの統合においては、（１）の基準により多くのクラスタを統合できる、（２）の基準により文書の主題に近い統合クラスタの代表語を選択できる。
【産業上の利用可能性】
【００７７】
本発明の文書クラスタリング装置は、文書集合の概要把握に利用できる。例えば、人工知能に関する学術論文集合をクラスタに分類することにより、人工知能分野がどのような技術分野から構成されているかを把握することができる。
【図面の簡単な説明】
【００７８】
【図１】図１は本発明の関連技術を説明する為の図である。
【図２】図２は本発明の第１の実施の形態における文書クラスタリングシステムのブロック図である。
【図３】図３は文書記憶部２０の格納例を示した図である。
【図４】図４はシソーラス記憶部２１の格納例を示した図である。
【図５】図５は図４のシソーラスの構造をツリー構造に示した図である。
【図６】図６は階層優先度記憶部２２の格納例を示した図である。
【図７】図７はクラスタリング結果記憶部２３の格納例を示した図である。
【図８】図８は第１の実施の形態の文書クラスタリングシステムの動作フローチャートである。
【図９】図９は第１の実施の形態の文書クラスタリングシステムの動作を説明する為の図である。
【図１０】図１０は第２の実施の形態における文書クラスタリングシステムのブロック図である。
【図１１】図１１は第２の実施の形態における文書クラスタリングシステムの動作フローチャートである。
【図１２】図１２は階層優先度記憶部２２の格納例を示した図である。
【図１３】図１３はクラスタリング結果記憶部２３の格納例を示した図である。
【図１４】図１４はクラスタ統合の結果を示す図である。
【符号の説明】
【００７９】
１        データ処理装置
２        記憶装置
１１      階層優先度計算手段
１２      文書クラスタリング手段
１３      クラスタ統合手段
２０      文書記憶部
２１      シソーラス記憶部
２２      階層優先度記憶部
２３      クラスタリング結果記憶部
【図１】
2009251825.tif 000012
【図２】
2009251825.tif 000013
【図３】
2009251825.tif 000014
【図４】
2009251825.tif 000015
【図５】
2009251825.tif 000016
【図６】
2009251825.tif 000017
【図７】
2009251825.tif 000018
【図８】
2009251825.tif 000019
【図９】
2009251825.tif 000020
【図１０】
2009251825.tif 000021
【図１１】
2009251825.tif 000022
【図１２】
2009251825.tif 000023
【図１３】
2009251825.tif 000024
【図１４】
2009251825.tif 000025