(57)【要約】  【課題】  フラットな分類枠から階層化構造の分類体系を自動的に構築する。  【解決手段】  サンプル文書入力部１４１はサンプル文書記憶部１３から分類枠に関係づけられたサンプル文書を受取り初期分類体系生成部１４２に供給する（Ｓ１０）。初期分類体系生成部１４２はサンプル文書を参照して分類枠をクラスタリングし、クラスタを上位分類枠としクラスタの属する分類枠を末端分類枠として初期分類体系を生成して分類体系記憶部１４３に記憶する（Ｓ１１）。評価部１４４は、分類体系記憶部１４３に記憶されている暫定的な分類体系を参照してサンプル文書を自動分類し（Ｓ１２）、この後分類結果を評価する（Ｓ１３）。精度が基準値より低い上位分類枠がある場合には、分類体系変更部１４５が分類体系を変更する。精度が基準値より低い上位分類枠に対応するクラスタとこのクラスタに類似するクラスタ等を１つのクラスタに統合して再クラスタリングを行い、クラスタを生成して分類体系を変更する（Ｓ１５）。【選択図】  図３
2005266866.tif 000002
【特許請求の範囲】
【請求項１】
文書分類装置の階層構造分類体系を生成する分類体系生成装置において、
非階層構造の末端分類枠ごとのサンプル文書を入力し、上記サンプル文書を参照して非階層型の末端分類枠をクラスタリングし、クラスタリングの結果得られたクラスタを上位分類枠として上記非階層型の末端分類枠の上位に配置する階層構造を、初期の階層構造分類体系として生成する初期階層構造分類体系生成手段と、
初期の階層構造分類体系または変更された階層構造分類体系を記憶する階層構造分類体系記憶手段と、
上記階層構造分類体系記憶手段に記憶されている階層構造分類体系を参照して上記サンプル文書を分類し、分類精度が基準値より低い上位分類枠を判別する分類精度評価手段と、
分類精度が基準値より低い上位分類枠が判別されたときに、上記分類精度評価手段により精度が基準値より低いと評価された上位分類枠のクラスタを、他のクラスタと統合して１つのクラスタに再編し、統合した上記１つのクラスタに含まれる末端分類枠を、当該末端分類枠に含まれる上記サンプル文書を参照して再クラスタリングし、再クラスタリングの結果得られたクラスタを、当該１つのクラスタに対応する上位分類枠の下位の上位分類枠とするように、上記階層構造分類体系記憶手段に記憶されている上記階層構造分類体系を変更する階層構造変更手段とを有し、
所定の終了条件が満たされないときは、上記分類結果評価手段による判別と上記階層構造変更手段による上記階層構造分類体系の変更とを繰り返し、所定の終了条件が満たされたときに上記階層構造分類体系記憶手段に記憶されている上記階層構造分類体系を上記文書分類装置の分類体系として用いることを特徴とする分類体系生成装置。
【請求項２】
上記精度が基準値より低いと評価されたクラスタと統合される他のクラスタは上記精度が基準値より低いと評価されたクラスタと類似するクラスタである請求項１記載の分類体系生成装置。
【請求項３】
上記終了条件は、いずれのクラスタも分類精度が基準値より低いと評価されないことである請求項１または２記載の分類体系生成装置。
【請求項４】
文書を入力する文書入力手段と、
末端分類枠および上記分類枠を含む階層構造分類体系を生成する階層構造分類体系生成手段とを有し、
上記階層構造分類体系を参照して上記文書を分類する文書分類装置において、
上記階層構造分類体系生成手段は、
非階層構造の末端分類枠ごとのサンプル文書を入力し、上記サンプル文書を参照して非階層型の末端分類枠をクラスタリングし、クラスタリングの結果得られたクラスタを上位分類枠として上記非階層型の末端分類枠の上位に配置する階層構造を、初期の階層構造分類体系として生成する初期階層構造分類体系生成手段と、
初期の階層構造分類体系または変更された階層構造分類体系を記憶する階層構造分類体系記憶手段と、
上記階層構造分類体系記憶手段に記憶されている階層構造分類体系を参照して上記サンプル文書を分類し、分類精度が基準値より低い上位分類枠を判別する分類精度評価手段と、
分類精度が基準値より低い上位分類枠が判別されたときに、上記分類精度評価手段により精度が基準値より低いと評価された上位分類枠のクラスタを、他のクラスタと統合して１つのクラスタに再編し、統合した上記１つのクラスタに含まれる末端分類枠を、当該末端分類枠に含まれる上記サンプル文書を参照して再クラスタリングし、再クラスタリングの結果得られたクラスタを、当該１つのクラスタに対応する上位分類枠の下位の上位分類枠とするように、上記階層構造分類体系記憶手段に記憶されている上記階層構造分類体系を変更する階層構造変更手段とを有し、
所定の終了条件が満たされないときは、上記分類結果評価手段による判別と上記階層構造変更手段による上記階層構造分類体系の変更とを繰り返し、所定の終了条件が満たされたときに上記階層構造分類体系記憶手段に記憶されている上記階層構造分類体系を上記文書分類装置の分類体系として用いることを特徴とする文書分類装置。
【請求項５】
文書を入力する文書入力手段と、
文書を分類する際に参照する階層構造分類体系を記憶する階層構造分類体系記憶手段と、
上記階層構造分類体系記憶手段に記憶されている上記階層構造分類体系を適合化する階層構造適合化手段とを有し、
適合化された上記階層構造分類体系を参照して上記文書を分類する文書分類装置において、
上記階層構造適合化手段は、
上記階層構造分類体系記憶手段に記憶されている階層構造分類体系を参照して上記サンプル文書を分類し、分類精度が基準値より低い上位分類枠を判別する分類精度評価手段と、
分類精度が基準値より低い上位分類枠が判別されたときに、上記分類精度評価手段により精度が基準値より低いと評価された上位分類枠のクラスタを、他のクラスタと統合して１つのクラスタに再編し、統合した上記１つのクラスタに含まれる末端分類枠を、当該末端分類枠に含まれる上記サンプル文書を参照して再クラスタリングし、再クラスタリングの結果得られたクラスタを、当該１つのクラスタに対応する上位分類枠の下位の上位分類枠とするように、上記階層構造分類体系記憶手段に記憶されている上記階層構造分類体系を変更する階層構造変更手段とを有し、
所定の終了条件が満たされないときは、上記分類結果評価手段による判別と上記階層構造変更手段による上記階層構造分類体系の変更とを繰り返し、所定の終了条件が満たされたときに上記階層構造分類体系記憶手段に記憶されている上記階層構造分類体系を上記文書分類装置の分類体系として用いることを特徴とする文書分類装置。
【請求項６】
文書分類装置の階層構造分類体系を生成する方法において、
（ａ）非階層構造の末端分類枠ごとのサンプル文書を入力するステップと、
（ｂ）上記サンプル文書を参照して非階層型の末端分類枠をクラスタリングし、クラスタリングの結果得られたクラスタを上位分類枠として上記非階層型の末端分類枠の上位に配置する階層構造を、初期の階層構造分類体系として生成するステップと、
（ｃ）初期の階層構造分類体系または変更された階層構造分類体系を参照して上記サンプル文書を分類するステップと、
（ｄ）分類精度が基準値より低い上位分類枠を判別するステップと、
（ｅ）分類精度が基準値より低い上位分類枠が判別されたときに、精度が基準値より低いと評価された上位分類枠のクラスタを、他のクラスタと統合して１つのクラスタに再編し、統合した上記１つのクラスタに含まれる末端分類枠を、当該末端分類枠に含まれる上記サンプル文書を参照して再クラスタリングし、再クラスタリングの結果得られたクラスタを、当該１つのクラスタに対応する上位分類枠の下位の上位分類枠とするように、上記階層構造分類体系記憶手段に記憶されている上記階層構造分類体系を変更してステップ（ｃ）に戻るステップと、
（ｆ）分類精度が基準値より低い上位分類枠が判別されないときには現在の階層構造分類体系を上記文書分類装置の分類体系として用いるステップとを有することを特徴とする分類体系生成方法。
【請求項７】
文書分類装置の階層構造分類体系を適合化する方法において、
（ａ）階層構造分類体系を参照して上記サンプル文書を分類するステップと、
（ｂ）分類精度が基準値より低い上位分類枠を判別するステップと、
（ｃ）分類精度が基準値より低い上位分類枠が判別されたときに、精度が基準値より低いと評価された上位分類枠のクラスタを、他のクラスタと統合して１つのクラスタに再編し、統合した上記１つのクラスタに含まれる末端分類枠を、当該末端分類枠に含まれる上記サンプル文書を参照して再クラスタリングし、再クラスタリングの結果得られたクラスタを、当該１つのクラスタに対応する上位分類枠の下位の上位分類枠とするように、上記階層構造分類体系記憶手段に記憶されている上記階層構造分類体系を変更してステップ（ａ）に戻るステップと、
（ｄ）分類精度が基準値より低い上位分類枠が判別されないときには現在の階層構造分類体系を上記文書分類装置の分類体系として用いるステップとを有することを特徴とする分類体系適合化方法。
【請求項８】
文書分類装置の階層構造分類体系を生成する階層構造分類体系生成用コンピュータプログラムにおいて、
（ａ）非階層構造の末端分類枠ごとのサンプル文書を入力するステップと、
（ｂ）上記サンプル文書を参照して非階層型の末端分類枠をクラスタリングし、クラスタリングの結果得られたクラスタを上位分類枠として上記非階層型の末端分類枠の上位に配置する階層構造を、初期の階層構造分類体系として生成するステップと、
（ｃ）初期の階層構造分類体系または変更された階層構造分類体系を参照して上記サンプル文書を分類するステップと、
（ｄ）分類精度が基準値より低い上位分類枠を判別するステップと、
（ｅ）分類精度が基準値より低い上位分類枠が判別されたときに、精度が基準値より低いと評価された上位分類枠のクラスタを、他のクラスタと統合して１つのクラスタに再編し、統合した上記１つのクラスタに含まれる末端分類枠を、当該末端分類枠に含まれる上記サンプル文書を参照して再クラスタリングし、再クラスタリングの結果得られたクラスタを、当該１つのクラスタに対応する上位分類枠の下位の上位分類枠とするように、上記階層構造分類体系記憶手段に記憶されている上記階層構造分類体系を変更してステップ（ｃ）に戻るステップと、
（ｆ）分類精度が基準値より低い上位分類枠が判別されないときには現在の階層構造分類体系を上記文書分類装置の分類体系として用いるステップとをコンピュータに実行させるために用いられることを特徴とする分類体系生成用コンピュータプログラム。
【請求項９】
文書分類装置の階層構造分類体系を適合化する階層構造適合化用コンピュータプログラムにおいて、
（ａ）階層構造分類体系を参照して上記サンプル文書を分類するステップと、
（ｂ）分類精度が基準値より低い上位分類枠を判別するステップと、
（ｃ）分類精度が基準値より低い上位分類枠が判別されたときに、精度が基準値より低いと評価された上位分類枠のクラスタを、他のクラスタと統合して１つのクラスタに再編し、統合した上記１つのクラスタに含まれる末端分類枠を、当該末端分類枠に含まれる上記サンプル文書を参照して再クラスタリングし、再クラスタリングの結果得られたクラスタを、当該１つのクラスタに対応する上位分類枠の下位の上位分類枠とするように、上記階層構造分類体系記憶手段に記憶されている上記階層構造分類体系を変更してステップ（ａ）に戻るステップと、
（ｄ）分類精度が基準値より低い上位分類枠が判別されないときには現在の階層構造分類体系を上記文書分類装置の分類体系として用いるステップとをコンピュータに実行させるために用いられることを特徴とする分類体系適合化用コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、文書を分類するための分類体系の階層化技術に関し、簡易に分類体系を階層化しあるいは階層を最適化するものである。
【背景技術】
【０００２】
新着もしくは注目する文書をあらかじめ決められた分類体系にしたがって自動的に分類することが行なわれている。例えば、特定の概念や話題ごとに分類枠（カテゴリともいう）を設定し、単語ベクトルやキーワードを用いて文書を分類枠に分類する。ユーザは、所望の分類枠（カテゴリともいう）に労力を集中することができ大変便利である。
【０００３】
ところで、分類時に参照される分類体系を階層構造にすると、結果の一覧性が高まり、分類誤りに強くなる。後者の理由は、もしも分類誤りがあった場合でも、同じ階層の別の分類枠を参照すれば探していた文書を比較的容易に見つけられる可能性が高いためである。一般に文書の分類を機械的に行う場合、自然言語自体もしくは分類定義にあいまい性があるため、高い精度を実現することは難しく、分類誤りに強いことが強く望まれる。
【０００４】
しかし、階層的な分類体系をユーザが構築することは負荷が高い。非階層的ないわゆるフラットな分類体系であれば、ユーザは単に分類枠を定義するだけで済む。一方、階層構造を構築するためには、分類枠間の上下関係や類似関係などを各分類枠に対してユーザが判断する必要がある。実際の文書、それも文書の集合に対してこうした関係性をユーザが判断することは、基準が明確でないため困難である。
【０００５】
特許文献１には、この問題を解消する目的で、過去に生成したカテゴリ構造情報を参照または再利用する方法が開示されている。しかし、この方法では、再利用に適した情報がすでに蓄積されていなければならず、そのような再利用対象情報がない場合には適用できない。また、過去においては適当であった情報であっても、今回適用する場合にも適当であるとは必ずしも言えず、時宜にかなったカテゴリ構造を構築できない。
【特許文献１】特開２００３−２１６６２２号
【発明の開示】
【発明が解決しようとする課題】
【０００６】
この発明は、以上の事情を考慮してなされたものであり、ユーザが用意したサンプル文書からでも簡易に分類の階層構造を構築できる分類体系の階層化技術を提供することを目的としている。
【課題を解決するための手段】
【０００７】
この発明の骨子は、ユーザが定義したフラットな分類枠の集合を元にして、システム（装置または装置群）が自動的に階層的な分類体系を構築する点にある。この発明の構成例では以下のような処理を行う。
【０００８】
［ステップＳ１］：
ユーザは分類枠を、分類されるべきサンプル文書の集合で定義する。この際、構造に関する情報をユーザが用意する必要はない。
【０００９】
［ステップＳ２］：
システムは、与えられた分類枠を既存のクラスタリング技術などを用いて、たとえば５から２０個のクラスタに分ける。文書クラスタリングの場合、一般に対象は文書にあるが、ここでの対象はサンプル文書ではなく分類枠である。
【００１０】
［ステップＳ３］：
サンプル文書を入力として、ステップ２で準備したクラスタを分類体系にしたがって、自動分類を行う。
【００１１】
システムが自動分類を行うとき、入力の文書に対して、まずは最上位の階層に含まれる各クラスタとの関連度を計算し、最も関連度の大きいクラスタに振り分ける。次に、そのクラスタが下位の階層をもっている場合には、その階層に対して同様のことを行う。ユーザの定義した分類枠に振り分けられるまでこれらの処理を続ける。
【００１２】
入力文書とクラスタとの関連度は、文書の単語ベクトルとクラスタの単語ベクトル間の関連度で定義する。単語ベクトルの大きさは、クラスタにおける単語の出現頻度に関する統計量から求める。このとき、あるクラスタが属している階層に含まれる全てのサンプル文書を母数とする。
【００１３】
各階層ごとにサンプル文書が異なるため、単語ベクトルの大きさはそれぞれ異なることになる。したがって、最上位の階層から文書の関連度を求めていくと、各階層ごとにより適当な関連度が求められることが期待できる。すなわち、単にキーワードの有無や一律に決められた単語スコアによって分類結果が決まるのではなく、分類体系の階層構造に応じてより妥当だと期待できる分類が行われる。
【００１４】
［ステップＳ４］：
自動分類結果の精度を評価する。サンプル文書が所定の分類枠を含むクラスタに分類されている場合を正解としてみなし、再現率または再現率と適合率の調和平均であるＦ値などを測定する。
【００１５】
［ステップＳ５］：
分類結果の精度が基準値よりも低い場合は、分類精度が基準値より低いクラスタとそれに類似したクラスタに注目する。これらのクラスタをまとめて仮想的な階層分類枠を設定し、この仮想分類枠の下位に分類枠を配置する。これら分類枠に対して再度クラスタリングを行い、ステップ３に戻る。基準値は予め決められたものを用いる。分類の要素数や種々の条件に基づいて決定されても良いし、ユーザが設定変更可能なようにしても良い。
【００１６】
［ステップＳ６］：
十分によい精度が得られた場合は、各クラスタを仮想的な階層分類枠に設定し、その下位に分類枠を配置する。
【００１７】
結果として、階層構造をもつ分類体系が構築される。ユーザが定義した分類枠は、階層構造の末端の分類枠となり、それ以外の分類枠はシステムにより設定される。階層構造は、サンプル文書を入力の文書として自動分類を行った場合に、分類誤りが最小に近づくように設定される。
【００１８】
なお、予め分類体系の階層構造を用意しておき、ステップＳ３〜Ｓ６を用いて改造構造の最適化を行っても良い。すなわち、ユーザは入力として階層構造をもつ分類体系を指定し、結果として、より精度の高い分類体系が得られる。
【００１９】
さらにこの発明を説明する。
【００２０】
この発明の一側面によれば、上述の目的を達成するために、文書分類装置の階層構造分類体系を生成する分類体系生成装置に：非階層構造の末端分類枠ごとのサンプル文書を入力し、上記サンプル文書を参照して非階層型の末端分類枠をクラスタリングし、クラスタリングの結果得られたクラスタを上位分類枠として上記非階層型の末端分類枠の上位に配置する階層構造を、初期の階層構造分類体系として生成する初期階層構造分類体系生成手段と；初期の階層構造分類体系または変更された階層構造分類体系を記憶する階層構造分類体系記憶手段と；上記階層構造分類体系記憶手段に記憶されている階層構造分類体系を参照して上記サンプル文書を分類し、分類精度が基準値よりも低い上位分類枠を判別する分類精度評価手段と；分類精度が基準値より低い上位分類枠が判別されたときに、上記分類精度評価手段により精度が基準値より低いと評価された上位分類枠のクラスタを、他のクラスタと統合して１つのクラスタに再編し、統合した上記１つのクラスタに含まれる末端分類枠を、当該末端分類枠に含まれる上記サンプル文書を参照して再クラスタリングし、再クラスタリングの結果得られたクラスタを、当該１つのクラスタに対応する上位分類枠の下位の上位分類枠とするように、上記階層構造分類体系記憶手段に記憶されている上記階層構造分類体系を変更する階層構造変更手段とを設け；所定の終了条件が満たされないときは、上記分類結果評価手段による判別と上記階層構造変更手段による上記階層構造分類体系の変更とを繰り返し、所定の終了条件が満たされたときに上記階層構造分類体系記憶手段に記憶されている上記階層構造分類体系を上記文書分類装置の分類体系として用いるようにしている。
【００２１】
この構成においては、非階層型の、すなわちフラットな分類枠から出発してクラスタリングによりクラスタを生成し、これらクラスタを上位の分類枠として階層構造分類体系を準備し、分類精度が基準値より低い上位分類枠すなわちクラスタに着目して他のクラスタと統合した後再クラスタリングを行い、階層を伸ばしていくようにしている。階層を伸ばしていくことにより、当該精度が基準値より低い上位分類枠が改善されてくことが期待される。暫定的な階層構造分類枠を用いて分類を行なうだけで、分類精度の向上した階層構造分類枠を簡易に生成できる。なお、基準値は予め決められたものを用いる。分類の要素数や種々の条件に基づいて決定されても良いし、ユーザが設定変更可能なようにしても良い。
【００２２】
この構成において、上記精度が基準値より低いと評価されたクラスタと統合される他のクラスタは上記精度が基準値より低いと評価されたクラスタと類似するクラスタとすることができる。
【００２３】
なお、クラスタには単一の分類枠しか含まれないものもある。
【００２４】
また、上記終了条件は、いずれのクラスタも分類精度が基準値よりも低いと評価されないこととすることができる。現時点の階層構造分類体系における階層の深さや、再クラスタリングの回数、分類の回数等を終了条件としても良い。
【００２５】
また、この発明は、文書分類装置の階層構造分類体系を生成する分類体系生成装置として実現できるだけでなく、そのような機構を含む文書分類装置として構成できる。また、文書分類装置の既存の階層構造分類体系を最適化する機構を含む文書分類装置としても構成できる。
【００２６】
なお、この発明は装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、そのような発明の一部をソフトウェアとして構成することができることはもちろんである。またそのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品もこの発明の技術的な範囲に含まれることも当然である。
【００２７】
この発明の上述の側面および他の側面は特許請求の範囲に記載され以下実施例を用いて詳述される。
【発明の効果】
【００２８】
この発明によれば、ユーザにとってはフラットな分類と同じ手間で、より高い効果が見込まれる階層的な分類を実現することができる。また、あらかじめ階層情報を構築しておく必要がなく、分類体系を構築するごとに、与えられた分類枠を最適に表すような階層的な分類体系を自動的に得ることができる。
【発明を実施するための最良の形態】
【００２９】
以下、この発明の実施例について説明する。
【００３０】
図１は、この発明を適用した文書分類装置１を示しており、図２は文書分類装置１の要部である分類体系階層化部１４を示しており、図３は分類体系階層化部１４の動作を示している。この例では、分類体系階層化部１４は文書分類装置１の１機構として構成されているが、単独の装置として構成されても良い。例えば、単独の装置として階層化された文書分類体系を生成し、これを記録媒体や通信媒体を介して文書分類装置１に供給するものでも良い。
【００３１】
図１において、文書分類装置１は、文書入力部１０、文書分類部１１、分類済み文書記憶部１２、サンプル文書記憶部１３、および分類体系階層化部１４を含んで構成されている。文書入力部１０は、予め準備された一群の文書、定期的に入力される一群の文書、逐次入力される文書を入力するものであり、文書は記録媒体または通信媒体を介して伝送されてくる。文書は文書分類装置１のサイトの生成されたものでも良い。文書分類部１１は、階層構造分類体系例えば図６に示すような分類体系を参照して文書を分類する。階層構造分類体系は末端の分類枠と上位の分類枠とで構成され、木構造をしている。文書の分類にはキーワードを用いたり、単語ベクトルを用いたりすることができる。この例では単語ベクトルを用い、各分類枠（上位分類枠および末端分類枠）に単語ベクトルが割り当てられているが、これに限定されない。文書はルート分類枠から出発し、それぞれの分岐（分岐先の分類枠）の単語ベクトルと突き合わされて、最も適切な分岐に分類され、つぎの階層でも同様に分岐の単語ベクトルと突き合わされ、最も適切な分岐に分類され、最終的にいずれかの末端分類枠に分類される。分類された文書は分類済み文書記憶部１２に記憶される。分類済み文書記憶部１２は、文書本体を記憶しても良いし、文書属性、分類枠、文書本体のアドレス等を保管し、文書本体は別の記憶部に記憶しても良い。
【００３２】
分類された文書は所定の閲覧機構を用いて閲覧することができる。任意のレベルの分類枠を指定してその分類枠に入っている文書の属性、要約等を閲覧できるようにしても良いし、また検索機構を付加して検索結果の文書を閲覧できるようにしても良い。その他分類装置の種々の機構を採用できる。
【００３３】
分類体系階層化部１４は、文書分類部１１で用いられる階層構造分類体系を生成するためのものである。分類体系階層化部１４はサンプル文書記憶部１３に記憶されているサンプル文書を用いて階層構造分類体系を生成する。サンプル文書記憶部１３に記憶されているサンプル文書は予めユーザ等によりフラットに配置された複数の分類枠（末端分類枠）に分けられている。分類体系階層化部１４の詳細については図２および図３を参照して説明する。
【００３４】
図２は、分類体系階層化部１４の構成例を示している。図２において、分類体系階層化部１４は、サンプル文書入力部１４１、初期分類体系生成部１４２、分類体系記憶部１４３、評価部１４４、分類体系変更部１４５等を含んで構成されている。なお、これら各部は実際にはプログラムのプロセスにより実行されるものであり、サンプル文書入力部１４１は図３のステップＳ１０に対応し、初期分類体系生成部１４２は同じくステップＳ１１に対応し、評価部１４４は同じくステップＳ１２〜Ｓ１４に対応し、分類体系変更部１４５は同じくステップＳ１５に対応する。
【００３５】
図２および図３を参照して分類体系階層化部１４をさらに説明する。図２および図３において、サンプル文書入力部１４１はサンプル文書記憶部１３から分類枠に関係づけられたサンプル文書を受取り初期分類体系生成部１４２に供給する（Ｓ１０）。初期分類体系生成部１４２はサンプル文書を参照して分類枠をクラスタリングし、クラスタを上位分類枠としクラスタの属する分類枠を末端分類枠として初期分類体系を生成して分類体系記憶部１４３に記憶する（Ｓ１１）。評価部１４４は、分類体系記憶部１４３に記憶されている暫定的な分類体系を参照してサンプル文書を自動分類し（Ｓ１２）、この後分類結果を評価する（Ｓ１３）。いずれの上位分類枠も精度が基準値より低くなければ暫定的な分類体系を最終的な分類体系として確定する（Ｓ１４、Ｓ１６）。精度が基準値より低い上位分類枠がある場合には分類体系変更部１４５が分類体系を変更する。精度が基準値より低い上位分類枠に対応するクラスタとこのクラスタに類似するクラスタあるいは末端分類枠（１つの末端分類枠のみ含むクラスタ）を１つのクラスタに統合してステップＳ１１と同様にその統合クラスタの範囲で再クラスタリングを行い、クラスタを生成して分類体系を変更する（Ｓ１５）。すなわち、統合クラスタに対応する上位分類枠の下位に、再クラスタリングにより生成したクラスタに対応する上位分類枠を用意し、その下に末端分類枠を配置する。この結果、階層の深さが伸びることになる。
【００３６】
精度が基準値より低い上位分類がなくなるまでＳ１３〜Ｓ１５を繰り返し、最終的にすべての上位分類の精度が良好になったら分類体系を確定する（Ｓ１６）。なお、すべての上位分類の精度が良好になるという終了条件に変えて、その他の条件を再証しても良い。例えば、分類体系の深さが所定の値になったこと、上記ステップＳ１３〜Ｓ１５の繰り返しの回数が所定の値になったこと、処理時間が所定の値になったこと等を採用しても良い。
【００３７】
上記各ステップをさらに詳細に説明する。
【００３８】
［ステップＳ１０］：ユーザは分類枠を、分類されるべきサンプル文書の集合で定義する。この際、構造に関する情報をユーザが用意する必要はない。
【００３９】
［ステップＳ１１］：システムは、与えられた分類枠を既存のクラスタリング技術などを用いて、たとえば５から２０個のクラスタに分ける。文書クラスタリングの場合、一般に対象は文書にあるが、ここでの対象はサンプル文書ではなく分類枠である。
【００４０】
［ステップＳ１２］：サンプル文書を入力として、上記ステップＳ１１のクラスタを分類体系にしたがって、自動分類を行う。
【００４１】
システムが自動分類を行うとき、入力の文書に対して、まずは最上位の階層に含まれる各クラスタとの関連度を計算し、最も関連度の大きいクラスタに振り分ける。次に、そのクラスタが下位の階層をもっている場合には、その階層に対して同様のことを行う。ユーザの定義した分類枠に振り分けられるまでこれらの処理を続ける。
【００４２】
入力文書とクラスタとの関連度は、文書の単語ベクトルとクラスタの単語ベクトル間の関連度で定義する。単語ベクトルの大きさは、クラスタにおける単語の出現頻度に関する統計量から求める。このとき、あるクラスタが属している階層に含まれる全てのサンプル文書を母数とする。
【００４３】
各階層ごとにサンプル文書が異なるため、単語ベクトルの大きさはそれぞれ異なることになる。したがって、最上位の階層から文書の関連度を求めていくと、各階層ごとにより適当な関連度が求められることが期待できる。すなわち、単にキーワードの有無や一律に決められた単語スコアによって分類結果が決まるのではなく、分類体系の階層構造に応じてより妥当だと期待できる分類が行われる。
【００４４】
［ステップＳ１３］：自動分類結果の精度を評価する。サンプル文書が所定の分類枠を含むクラスタに分類されている場合を正解としてみなし、再現率または再現率と適合率の調和平均であるＦ値などを測定する。
【００４５】
［ステップＳ１４、Ｓ１５］：結果の精度が基準値よりも低い場合は、分類精度が基準値より低いクラスタとそれに類似したクラスタに注目する。これらのクラスタをまとめて仮想的な階層分類枠を設定し、この仮想分類枠の下位に分類枠を配置する。これら分類枠に対して再度クラスタリングを行い、ステップＳ１２に戻る。
【００４６】
［ステップＳ１４、Ｓ１６］：十分によい精度が得られた場合は、各クラスタを仮想的な階層分類枠に設定し、その下位に分類枠を配置する。
【００４７】
結果として、階層構造をもつ分類体系が構築される。ユーザが定義した分類枠は、階層構造の末端の分類枠となり、それ以外の分類枠はシステムにより設定される。階層構造は、サンプル文書を入力の文書として自動分類を行った場合に、分類誤りが最小に近づくように設定される。
【００４８】
このような処理によれば、例えば図４に示すように分類枠がクラスタにクラスタリングされる。低精度のクラスタαとこれに類似するクラスタに注目してこれを１つのクラスタにし、再クラスタリングして、図５に示すように、その下位にクラスタを配置する。図５では、統合したクラスタが再クラスタリングにより３つのクラスタに分割される。以上の処理を繰り返すことにより図６に示すような階層構造分類体系が構築される。
【００４９】
この実施例によれば、ユーザは何ら分類体系の上下関係に配慮することなく単にフラットな分類枠とそのサンプル文書を用意するだけで簡単に階層構造の分類体系を構築することができる。しかも、分類精度が向上するように分類体系を更新しておくので、文書分類の高精度が保証される。
【００５０】
なお、この発明は上述の実施例に限定されるものではなく、種々変更が可能である。例えば、図７に示すようにこの発明を分類体系最適化部（学習化部）１５として構築しても良い。すなわち、分類体系最適化部１５は、文書分類部１１で用いている分類体系を分類済み文書記憶部１２の文書または他のサンプル文書等を用いて最適化できる。分類体系最適化部１５は例えば図８に示すように文書入力部１５１、評価部１５２、分類体系記憶部１５３、分類体系変更部１５４等を含んで構成される。分類体系最適化部１５の文書入力部１５１、評価部１５２、分類体系記憶部１５３、分類体系変更部１５４は、図２の分類体系階層化部１４の文書入力部１４１、評価部１４４、分類体系記憶部１４３、分類体系変更部１４５と対応するものであり、その動作は図３に破線で示す部分と同様のものである（ステップＳ１２〜Ｓ１６）。
【００５１】
この変形例では、既存の分類体系の分類精度が基準値より低い場合や、状況に併せて分類体系を修正した場合に、文書分類部１１の分類体系を分類体系記憶部１５３に記憶して最適化対象とし、分類済み文書や、状況を代表するサンプル文書を文書入力部１５１から入力して評価、変更を行う。この場合にも上述と同様に分類精度が向上し、また状況に合致したものとなる。
【図面の簡単な説明】
【００５２】
【図１】この発明の実施例を示すブロック図である。
【図２】上述実施例の要部の構成例を示すブロック図である。
【図３】上述実施例の動作を説明するフローチャートである。
【図４】上述実施例の動作を説明する図であり、クラスタリングされた分類枠の状態を説明する図である。
【図５】上述実施例の動作を説明する図であり、精度が基準値より低いクラスタに着目してクラスタの統合を行いその後再クラスタした状態を説明する図である。
【図６】上述実施例の動作を説明する図であり、最終的に得られる階層構造分類体系の例を示す図である。
【図７】上述実施例の変形例を説明するブロック図である。
【図８】上述実施例の変形例における要部の構成例を示すブロック図である。
【符号の説明】
【００５３】
１      文書分類装置
１０      文書入力部
１１      文書分類部
１２      文書記憶部
１３      サンプル文書記憶部
１４      分類体系階層化部
１５      分類体系最適化部
１４１      サンプル文書入力部
１４２      初期分類体系生成部
１４３      分類体系記憶部
１４４      評価部
１４５      分類体系変更部
１５１      文書入力部
１５２      評価部
１５３      分類体系記憶部
１５４      分類体系変更部
【図１】
2005266866.tif 000003
【図２】
2005266866.tif 000004
【図３】
2005266866.tif 000005
【図４】
2005266866.tif 000006
【図５】
2005266866.tif 000007
【図６】
2005266866.tif 000008
【図７】
2005266866.tif 000009
【図８】
2005266866.tif 000010