(57)【要約】【課題】  より分類精度の高い文書分類を可能にする。【解決手段】  本発明は、正解文書から処理対象となる全ての対象単語に関して、制限無単語クラス間関連度を算出する。正解文書から処理対象となるいくつかの対象単語について、条件単語制限付単語クラス間関連度を算出する(事前処理)。処理対象となる文書が入力されると、入力文書に含まれる単語群の各単語について、該単語群と制限無単語クラス間関連度と条件単語制限付単語クラス間関連度とから、単語クラス間関連度を算出し、入力文書に含まれる単語群の各単語の出現頻度と該単語の重要度との積、あるいは、頻度と重要度に関して単調増加な演算結果である重みと、該入力文書に関する単語クラス間関連度とから、文書クラス間関連度を算出し、文書クラス間関連度と事前確率を用いて、入力文書が属するクラスを決定する(分類処理)。【選択図】  図１
2012088853.tif 000002
【特許請求の範囲】
【請求項１】
所定の入力文書をクラスへ分類する文書分類装置であって、
対象単語を格納した対象単語記憶手段と、
あるクラスに属することが既知の正解文書を格納したクラス正解文書記憶手段と、
対象単語とは異なる条件単語を格納した条件単語記憶手段と、
クラス毎に文書が属する事前確率を格納したクラス事前確率記憶手段と、
前記クラス正解文書記憶手段から正解文書を取得し、前記対象単語記憶手段から処理対象となる対象単語を取得し、該正解文書から処理対象となる全ての対象単語に関して、該対象単語が該正解文書のクラスにおいて出現する条件付確率である制限無単語クラス間関連度を算出し、制限無単語クラス間関連度記憶手段に格納する制限無単語クラス間関連度算出手段と、
前記正解文書記憶手段から取得した前記正解文書から処理対象となるいくつかの対象単語について、前記条件単語記憶手段の条件単語毎に該条件単語が出現する制限下の前記正解文書のクラスにおいて該対象単語が出現する条件付き確率である条件単語制限付単語クラス間関連度を算出し、条件単語制限付単語クラス間関連度記憶手段に格納する条件単語制限付単語クラス間関連度算出手段と、
前記入力文書に含まれる単語群の各単語について、該単語群と前記制限無単語クラス間関連度記憶手段の前記制限無単語クラス間関連度と前記条件単語制限付単語クラス間関連度記憶手段の前記条件単語制限付単語クラス間関連度とから、該入力文書の単語が各クラスにおいて出現する条件付き確率である単語クラス間関連度を算出する単語クラス間関連度算出手段と、
前記入力文書に含まれる単語群の各単語の出現頻度と該単語の重要度との積、あるいは、頻度と重要度に関して単調増加な演算結果である重みと、該入力文書に関する前記単語クラス間関連度とから、該入力文書に含まれる単語群が、前記クラスにおいて同時に出現する条件付き確率である文書クラス間関連度を算出する文書クラス間関連度算出手段と、
前記文書クラス間関連度と前記クラス事前確率記憶手段の前記事前確率を用いて、前記入力文書が属するクラスを決定する文書クラス決定手段と、
を有することを特徴とする文書分類装置。
【請求項２】
前記制限無単語クラス間関連度算出手段は、
前記正解文書中において、着目する単語が出現する回数を総単語出現回数で割ることで、該単語の制限無単語クラス間関連度を算出する手段を含む
請求項１記載の文書分類装置。
【請求項３】
前記条件単語制限付単語クラス間関連度算出手段は、
前記正解文書中において、着目する単語が前記条件単語記憶手段に各条件単語の１回以上の出現する制限下において出現する回数を、該制限下での総単語出現回数で割ることで該単語の該条件付き単語に関する条件単語制限付き単語クラス間関連度を算出する手段と、
前記各条件単語の１回以上出現する制限下において、前記着目する単語が一度も出現しない場合は、出現回数の補正を行い、出現回数として０を超える値を設定する手段と、
を含む請求項１記載の文書分類装置。
【請求項４】
前記単語クラス間関連度算出手段は、
前記入力文書に含まれる単語群の各単語について、前記条件単語記憶手段に該単語に対する条件単語がない、または、条件単語が該単語群に含まれていない場合は、該単語に関して算出した前記制限無単語クラス間関連度記憶手段の前記制限無単語クラス間関連度を単語クラス間関連度とし、
それ以外の場合は、該単語と該単語群に含まれている条件単語とに対応する前記条件単語制限付単語クラス間関連度記憶手段の前記条件単語制限付き単語クラス間関連度及び前記制限無単語クラス間関連度の中から選択した関連度を単語クラス間関連度とする単語クラス間関連度選択手段を含む
請求項１記載の文書分類装置。
【請求項５】
前記単語クラス間関連度選択手段は、
前記条件単語制限付単語クラス間関連度から単語クラス間関連度を選択する際の条件として、ある条件単語で制約された条件単語制約付単語クラス間関連度を選択した単語を被検索条件単語と呼ぶとき、ある入力文書に関して、被条件単語から条件単語への有向グラフは非循環とする
請求項４記載の文書分類装置。
【請求項６】
前記単語クラス間関連度選択手段は、
前記条件単語で制限した場合と、制限無の場合の関連度の差を求めて条件単語毎に分散を計算したときに、大きい値をとる条件単語に対応する単語クラス間関連度を優先する手段を含む
請求項４記載の文書分類装置。
【請求項７】
前記文書クラス間関連度算出手段は、
前記単語クラス間関連度の積を前記文書クラス間関連度とする手段を含む
請求項１記載の文書分類装置。
【請求項８】
前記文書クラス間関連度算出手段は、
前記単語クラス間関連度の積をとる際に、
単語の重みを出現回数とみなし、該出現回数を単語クラス間関連度の冪乗数とする手段を含む請求項７記載の文書分類装置。
【請求項９】
前記文書クラス決定手段は、
前記文書クラス間関連度とクラスに対応付けられたクラスに属する事前確率との積(確率の対数であれば和)が最大のクラスを前記入力文書が属するクラスとする手段を含む
請求項１記載の文書分類装置。
【請求項１０】
請求項１乃至９のいずれか１項に記載の文書分類装置を構成する各手段としてコンピュータを機能させるための文書分類プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書分類装置及びプログラムに係り、特に、入力文書を所定のクラスに分類するための文書分類装置及びプログラムに関する。
【背景技術】
【０００２】
入力文書を予め定めた複数のクラスの一つに分類する文書分類において、あるクラスにおける単語の出現確率をモデル化する際に、そのクラスに属することが分かっている正解文書中に該単語が出現する回数をカウントし、総単語出現回数との比を出現確率とし、あるクラスで単語が出現する事象の条件付独立性を仮定して入力文書があるクラスで出現する確率を該入力文書に含まれる単語の出現確率の積により算出する多項モデル(multinominal model)のナイーブベイズ分類器と呼ばれる方法が知られている(例えば、非特許文献１参照)。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】A. McCallum and K. Nigam, "A Comparsion of Event Models for Naive Bayes Text Classification", Proceedings of AAAI-98 Workshop on Learning for Text Categorization, pp. 41-48, 1998.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記の従来技術のように、あるクラスで単語が出現する事象の条件付独立性を仮定して単語の組み合わせの出現確率をモデル化する方法では、単語の組み合わせで出現確率が変化する現象を捉えることができないという問題がある。
【０００５】
問題となる例を表１に示す。
【０００６】
【表１】
2012088853.tif 000003
表１は、単語(及びその組み合わせ)の出現確率を２つのクラス(英会話、ゴルフ)について示したものである。「英会話」というクラス（英会話記事の集合）においては、"石○遼"と"高校生"という名詞が出現する事象は独立と見做すことができ、同時に出現する確率は各出現確率の積に等しい。ところが、「ゴルフ」というクラスにおいては、"石○遼"という単語が出現する制限下（条件下）では、"高校生"という単語の出現確率が高くなり、同時に出現する確率は各出現確率の１０倍になっている。このように、単語の出現事象の条件付き独立性を仮定している従来技術では、単語の組み合わせで出現確率が変化する現象を捉えることができず、文書分類精度の低下を招いている。
【０００７】
本発明は、上記の点に鑑みなされたもので、より分類精度の高い文書分類が可能な文書分類装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明（請求項１）は、所定の入力文書をクラスへ分類する文書分類装置であって、
対象単語を格納した対象単語記憶手段と、
あるクラスに属することが既知の正解文書を格納したクラス正解文書記憶手段と、
対象単語とは異なる条件単語を格納した条件単語記憶手段と、
クラス毎に文書が属する事前確率を格納したクラス事前確率記憶手段と、
前記クラス正解文書記憶手段から正解文書を取得し、前記対象単語記憶手段から処理対象となる対象単語を取得し、該正解文書から処理対象となる全ての対象単語に関して、該対象単語が該正解文書のクラスにおいて出現する条件付確率である制限無単語クラス間関連度を算出し、制限無単語クラス間関連度記憶手段に格納する制限無単語クラス間関連度算出手段と、
前記正解文書記憶手段から取得した前記正解文書から処理対象となるいくつかの対象単語について、前記条件単語記憶手段の条件単語毎に該条件単語が出現する制限下の前記正解文書のクラスにおいて該対象単語が出現する条件付き確率である条件単語制限付単語クラス間関連度を算出し、条件単語制限付単語クラス間関連度記憶手段に格納する条件単語制限付単語クラス間関連度算出手段と、
前記入力文書に含まれる単語群の各単語について、該単語群と前記制限無単語クラス間関連度記憶手段の前記制限無単語クラス間関連度と前記条件単語制限付単語クラス間関連度記憶手段の前記条件単語制限付単語クラス間関連度とから、該入力文書の単語が各クラスにおいて出現する条件付き確率である単語クラス間関連度を算出する単語クラス間関連度算出手段と、
前記入力文書に含まれる単語群の各単語の出現頻度と該単語の重要度との積、あるいは、頻度と重要度に関して単調増加な演算結果である重みと、該入力文書に関する前記単語クラス間関連度とから、該入力文書に含まれる単語群が、前記クラスにおいて同時に出現する条件付き確率である文書クラス間関連度を算出する文書クラス間関連度算出手段と、
前記文書クラス間関連度と前記クラス事前確率記憶手段の前記事前確率を用いて、前記入力文書が属するクラスを決定する文書クラス決定手段と、を有する。
【０００９】
また、本発明（請求項２）は、前記制限無単語クラス間関連度算出手段は、
前記正解文書中において、着目する単語が出現する回数を総単語出現回数で割ることで、該単語の制限無単語クラス間関連度を算出する手段を含む。
【００１０】
なお、単語が一度も出現しない場合でも出現回数の補正を行い、出現回数として０を越える値を設定する。
【００１１】
また、本発明（請求項３）は、前記条件単語制限付単語クラス間関連度算出手段は、
前記正解文書中において、着目する単語が前記条件単語記憶手段の各条件単語の１回以上の出現する制限下において出現する回数を、該制限下での総単語出現回数で割ることで該単語の該条件付き単語に関する条件単語制限付き単語クラス間関連度を算出する手段と、
前記条件単語の１回以上出現する制限下において、前記着目する単語が一度も出現しない場合は、出現回数の補正を行い、出現回数として０を超える値を設定する手段と、を含む。
【００１２】
なお、単語が一度も出現しない場合でも出現回数の補正を行い、出現回数として０を越える値を設定する。
【００１３】
また、本発明（請求項４）は、前記単語クラス間関連度算出手段において、
前記入力文書に含まれる単語群の各単語について、前記条件単語記憶手段に該単語に対する条件単語がない、または、条件単語が該単語群に含まれていない場合は、該単語に関して算出した前記制限無単語クラス間関連度記憶手段の前記制限無単語クラス間関連度を単語クラス間関連度とし、
それ以外の場合は、該単語と該単語群に含まれている条件単語とに対応する前記条件単語制限付単語クラス間関連度記憶手段の前記条件単語制限付き単語クラス間関連度及び前記制限無単語クラス間関連度の中から選択した関連度を単語クラス間関連度とする単語クラス間関連度選択手段を含む。
【００１４】
また、本発明（請求項５）は、請求項４の前記単語クラス間関連度選択手段において、
前記条件単語制限付単語クラス間関連度から単語クラス間関連度を選択する際の条件として、ある条件単語で制約された条件単語制約付単語クラス間関連度を選択した単語を被検索条件単語と呼ぶとき、ある入力文書に関して、被条件単語から条件単語への有向グラフは非循環とする。
【００１５】
また、本発明（請求項６）は、請求項４の前記単語クラス間関連度選択手段において、
前記条件単語で制限した場合と、制限無の場合の関連度の差を求めて条件単語毎に分散を計算したときに、大きい値をとる条件単語に対応する単語クラス間関連度を優先する手段を含む。
【００１６】
また、本発明（請求項７）は、請求項１の前記文書クラス間関連度算出手段において、
前記単語クラス間関連度の積を前記文書クラス間関連度とする手段を含む。
【００１７】
また、本発明（請求項８）は、請求項７の前記文書クラス間関連度算出手段において、
前記単語クラス間関連度の積をとる際に、
単語の重みを出現回数とみなし、該出現回数を単語クラス間関連度の冪乗数とする手段を含む。
【００１８】
さらに、確率（尤度)の積の大小関係は、その対数をとった対数尤度の和として保存されるので、前記一連の関連度を確率の代わりに確率の対数をとったものを用い、「積」の代わりに「和」を用いてもよい。
【００１９】
また、本発明（請求項９）は、請求項１の前記文書クラス決定手段において、
前記文書クラス間関連度とクラスに対応付けられたクラスに属する事前確率との積(確率の対数であれば和)が最大のクラスを前記入力文書が属するクラスとする手段を含む。
【００２０】
また、本発明（請求項１０）は、請求項１乃至９のいずれか１項に記載の文書分類装置を構成する各手段としてコンピュータを機能させるための文書分類プログラムである。
【発明の効果】
【００２１】
上記のように、本発明によれば、単語が組み合わせで出現する事象をモデル化することで、単語の組み合わせにより出現確率が変化する現象を捉えることができ、入力文書の分類精度を向上させることができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施の形態における文書分類装置のハードウェア構成図である。
【図２】本発明の一実施の形態における処理プログラムの機能構成図である。
【図３】本発明の一実施の形態における事前処理のフローチャートである。
【図４】本発明の一実施の形態における条件単語制限付単語クラス間関連度算出の詳細スローチャートである。
【図５】本発明の一実施の形態における文書分類処理のフローチャートである。
【発明を実施するための形態】
【００２３】
最初に本発明の原理を説明する。
【００２４】
本発明は、ある単語の出現確率を、これとは異なる単語(「条件単語」と呼ぶ)が出現するという制限下においてもモデル化し、これら単語が組み合わせで出現する事象のモデル化の精度を向上させる。また、本発明は、単語の組み合わせ出現事象を扱いつつ、モデルの複雑化を最小限にするため、確率に影響を与える条件単語として同時には１単語のみを考え、条件単語の出現の有無(何回出現したかは問わず)を考慮している点に特徴がある。
【００２５】
以下、本発明の原理を例を使って説明する。
【００２６】
ある入力文書に
【００２７】
【数１】
2012088853.tif 000004
あるいは、
【００２８】
【数２】
2012088853.tif 000005
が含まれている時、これらがクラスＣにおいて同時に出現する確率Ｐ(Wα，Wβ｜C)あるいは、P(Wα，Wβ，Wγ｜C)について考える。従来技術のように単語
【００２９】
【数３】
2012088853.tif 000006
及び、
【００３０】
【数４】
2012088853.tif 000007
の出現事象の条件付独立性を仮定する場合は、
【００３１】
【数５】
2012088853.tif 000008
のように、各単語の出現確率の積で書ける。これを一般化すると、文書Ｄに含まれる単語ｗｍ(ｍ＝１，…，Ｍ)の出現頻度がfｍ(ｍ＝１，…，Ｍ)であるとき、
【００３２】
【数６】
2012088853.tif 000009
と書ける。この式(３)は、従来技術(非特許文献１)に示されている多項モデル(multinominal model)のナイーブベイズ(NB)モデルである。ここでAは単語の出現パターンの組み合わせであり、
【００３３】
【数７】
2012088853.tif 000010
と書ける。式(４)の
【００３４】
【数８】
2012088853.tif 000011
は、文書Dに含まれる総単語数である。
【００３５】
一方、条件付き独立を仮定せず、厳密に考えれば、
【００３６】
【数９】
2012088853.tif 000012
のように式変形でき、他の単語が出現する事象の影響で着目する単語の出現確率が変わることが分かる。このような単語の依存関係を反映することができれば、予測精度の向上が期待できる。しかし、全ての単語の依存関係を考慮することはモデルのパラメータ数が膨大になるため非現実的である。そこで、本発明では、
・着目する単語の出現確率は、多くても他の一つの単語の出現の有無（回数を問わない）のみに依存するとする（どの単語にも依存しないとしてもよい）。
という制限の下で式（５）、（６）を近似し、単語の依存関係を考慮する方法を考案した。
【００３７】
具体的には、式(３)の代わりに、
【００３８】
【数１０】
2012088853.tif 000013
により文書中に出現する単語群の出現確率をモデル化する。ここで、
【００３９】
【数１１】
2012088853.tif 000014
は文書Dに含まれる単語
【００４０】
【数１２】
2012088853.tif 000015
が１回以上出現する事象を表すとし、
【００４１】
【数１３】
2012088853.tif 000016
のときは単語wmが依存する単語が無いことを表すとする。また、ある単語Aが別の単語Bに依存しているとき、単語Aを「被条件単語」、単語Bを「単語Aの条件単語」と呼ぶことにする。そして、ある文書に関して、被条件単語から条件単語への有向グラフを考えたとき、閉路(循環)があってはならない（すなわち、有向非循環グラフになっている）とする。閉路がある例を３単語の場合で示すと、
【００４２】
【数１４】
2012088853.tif 000017
であり、依存関係を辿って元の単語に戻ることができる。しかし、実際に式(6)を変形してもこのような依存関係は出現し得ない。すなわち、依存関係を辿って閉路のあるモデルは不適当と考え、これを除外する。
【００４３】
以下では、上記の原理を実現するための具体的な構成、動作を説明する。
【００４４】
以下図面と共に、本発明の実施の形態を説明する。
【００４５】
図１は、本発明の一実施の形態における文書分類装置のハードウェアの構成を示す。
【００４６】
同図に示す文書分類装置１００は、CPU１１、メモリ１２、ディスプレイ１３、キーボード１４、処理プログラム１５、処理対象記憶部１６、オペレーティングシステム（OS）１７、クラス正解文書記憶部１８、単語重要度記憶部１９、対象単語記憶部２０、条件単語記憶部２１、制限無単語クラス間関連度記憶部２２、条件単語制限付単語クラス間関連度記憶部２３、クラス事前確率記憶部２４が接続されている。
【００４７】
上記の構成のうち、クラス正解文書記憶部１８、単語重要度記憶部１９、対象単語記憶部２０、条件単語記憶部２１、制限無単語クラス間関連度記憶部２２、条件単語制限付単語クラス間関連度記憶部２３、クラス事前確率記憶部２４は、ハードディスク等の記憶媒体である。
【００４８】
処理対象記憶部１６は、処理対象文書を格納する。
【００４９】
クラス正解文書記憶部１８は、各クラスに属する正解文書を格納する。
【００５０】
単語重要度記憶部１９は、単語毎の重要度を格納する。
【００５１】
対象単語記憶部２０は、対象単語のリストを格納する。
【００５２】
条件単語記憶部２１は、条件単語を格納する。
【００５３】
制限無単語クラス間関連度記憶部２２は、処理プログラム１５で算出された制限無単語クラス間関連度を格納する。
【００５４】
条件単語制限付単語クラス間関連度記憶部２３は、処理プログラム１５で算出された条件単語制限がある単語クラス間関連度を格納する。
【００５５】
クラス事前確率記憶部２４は各クラスの起こりやすさを表す事前確率の自然対数をとったものを格納する。
【００５６】
メモリ１２には、単語依存関係表、除外対象単語リスト、関連度差の分散表の領域が確保されているものとする。
【００５７】
図２は、本発明の一実施の形態における処理プログラムの機能構成を示す。
【００５８】
同図に示す処理プログラムは、事前処理部１００、分類処理部２００から構成される。
【００５９】
事前処理部１００は、制御無単語クラス間関連度算出部１１０、条件単語制限付単語クラス間関連度算出部１２０から構成される。
【００６０】
制限無単語クラス間関連度算出部１１０は、クラス正解文書記憶部１８を参照して、あるクラスに属することが既知の正解文書から処理対象となる単語を対象単語記憶部２０から読み出し、対象単語記憶部２０に格納されている処理対象となる単語がクラスにおいて出現する条件付き確率である制限無単語クラス間関連度を算出し、制限無単語クラス間関連度記憶部２２に格納する。
【００６１】
条件単語制限付単語クラス間関連度算出部１２０は、対象単語記憶部２０、クラス正解文書記憶部１８、条件単語記憶部２１、制限無単語クラス間関連度記憶部２２を参照して、クラスと条件単語の組み合わせ毎に条件単語が出現する条件付き確率である条件単語制限付単語クラス間関連度を求め、条件単語制限付単語クラス間関連度記憶部２３に格納する。
【００６２】
分類処理部２００は、文書入力部２１０、単語クラス間関連度算出部２２０、重み計算部２３０、文書クラス間関連度算出部２４０、文書クラス決定部２５０から構成される。
【００６３】
文書入力部２１０は、処理対象記憶部１６から処理対象となる文書を読み出す。
【００６４】
単語クラス間関連度算出部２２０は、制限無単語クラス間関連度記憶部２２と条件単語制限付単語クラス間関連度記憶部２３から取得した制限無端末クラス間関連度と条件単語制限付単語クラス間関連度から入力文書の単語が各クラスで出現する条件付確率である単語クラス間関連度を算出する。
【００６５】
重み計算部２３０は、単語重要度記憶部１９から重要度を読み込み、入力された文書の出現単語毎に重みを付与する。
【００６６】
文書クラス間関連度算出部２４０は、重み計算部２３０で算出された重みと、単語クラス間関連度から入力文書に含まれる単語群がクラスにおいて同時に出現する条件付確率である文書クラス間関連度を算出する。
【００６７】
文書クラス決定部２５０は、クラス事前確率記憶部２４から各クラスに属する事前確率を読み出し、文書クラス間関連度算出部２４０で求められた文書クラス間関連度と事前確率に基づいて入力文書が属するクラスを決定する。
【００６８】
以下に、上記の構成における処理を説明する。
【００６９】
最初に、事前処理部１００における事前処理について説明する。
【００７０】
図３は、本発明の一実施の形態における事前処理のフローチャートである。
【００７１】
ステップ１００）  制限無単語クラス間関連度算出部１１０は、クラス正解文書記憶部１８から正解文書を取得し、対象単語記憶部２０からモデル化する対象単語のリストを取得し、各クラスに属する正解文書中において、各対象単語が出現する回数を総単語出現回数で割ったものの自然対数をとったものを該単語と該クラスに関する制限無単語クラス関連度とし、制限無単語クラス関連度記憶部２２に格納する。
【００７２】
なお、単語の出現回数のカウントにおいて、出現回数が０となるのを防ぐために、文献１「北研二,"確率的言語モデル",東京大学出版会,1999」にあるグッド・チューリング推定法を用いて出現回数を補正する。出現回数の補正方法としては、文献１にある加算法、ヘルドアウト推定法などを用いても良い。
【００７３】
ステップ２００）  条件付単語制限付単語クラス間関連度算出部１２０は、クラス正解文書記憶部１８、対象単語記憶部２０、条件単語記憶部２１、制限無単語クラス間関連度記憶部２２から、それぞれ正解文書、対象単語のリスト、条件単語、制限無単語クラス間関連度を取得し、クラスと条件単語の組み合わせ毎に該条件単語が出現する制限下での単語クラス間関連度を算出して条件単語制限付単語クラス間関連度記憶部２３に格納し、対象単語と条件単語の組み合わせ毎に制限無と条件単語制限付きの関連度の差から、その分散値を計算し、メモリ１２の関連度差の分散記憶表に格納する。
【００７４】
条件付き単語制限付単語クラス間関連度算出部１２０における詳細フローを図４に示す。
【００７５】
ステップ２０１）  条件単語記憶部２１から順番に全ての条件単語を取り出すため、まず、先頭の条件単語を取り出せるように準備する。例えば、条件単語を取り出すためのイテレータを先頭にセットする。
【００７６】
ステップ２０２）  条件単語記憶部２１において最後尾の条件単語が既に取り出されていれば、全ての条件単語についての処理が完了したと判断してステップ２０８に移行し、そうでなければステップ２０３に移行する。
【００７７】
ステップ２０３）  条件単語記憶部２１から次の条件単語を取得する。
【００７８】
ステップ２０４）  メモリ１２に格納されている単語依存関係表は、対象単語が依存する条件単語のリストを表し、条件単語毎に以下の処理をする過程で更新するものである。まず、メモリ１２の除外対象単語リストを空にする。前述の単語依存関係表において、対象単語から該対象単語が依存する条件単語への有向グラフを考えたとき、ステップ２０３で取得した該条件単語から辿ることができる全ての対象単語を、除外対象単語リストに加える。また、前記除外対象単語リストに入らなかった全ての対象単語について、該条件単語に依存することを示すために単語依存関係表に格納する。
【００７９】
ステップ２０５）  クラス正解文書記憶部１８から各クラスに属する正解文書を取得し、対象単語記憶部２０からモデル化する対象単語のリストを取得する。ステップ２０４の除外対象単語リストに無い各対象単語について、各クラスに属する正解文書中において、ステップ２０３で取得した条件単語が出現する制限下で該対象単語が出現する回数を前記制限下における総単語出現回数で割ったものの自然対数を取ったものを該対象単語と該条件単語と該クラスに関する条件単語制限付き単語クラス間関連度をとし、条件単語制限付単語クラス間の関連度記憶部２３に格納する。
【００８０】
なお、対象単語の出現回数のカウントにおいて、出現回数が０となるのを防ぐために、文献１で示されているＮグラムモデルのスムージング方であるカッツ・スムージングの手法を用いて出現回数を補正する。
【００８１】
具体的には、前述の手法で２グラムの単語列w1,w2が出現する回数をカウントする（あるいは出現確率を求める）過程において、w1が該条件単語、w2が該対象単語に相当するとして適用する。その際に、前記制限下において対象単語が一度も出現していない場合に必要となる制限がないときの該対象単語の出現確率については、条件無単語クラス間関連度を確率に戻した値を使うものとする。出現回数(確率)の補正方法としては、前述の文献１の加算スムージング、ワン・カウント法などを用いてもよい。
【００８２】
ステップ２０６）  制限無単語クラス間関連度記憶部２２と条件単語制限付単語クラス間関連度記憶部２３から順次対象単語に関する単語クラス間関連度を取得し、条件単語で制限した場合と制限無の場合の関連度の差を求め、対象単語と条件単語の組み合わせ毎にその分散を算出して、メモリ１２の関連度差の分散記憶表に格納する。
【００８３】
ステップ２０７）  前記関連度差の分散は、条件単語を考慮することによる影響度を表している。そこで、当該分散が予め決めておいた閾値以下のものは、条件単語制限付単語クラス間関連度記憶部２３から削除し、メモリ１２の単語依存関係表からも対応する依存情報を削除する。
【００８４】
以上で、本ステップの処理を終え、ステップ２０２へ移行する。
【００８５】
ステップ２０８）  本ステップは、ステップ２０２において、条件単語が最後尾に達している場合の処理である。条件単語制限付単語クラス間関連度記憶部２３において、ある対象単語に着目した時、複数の条件単語に関する単語クラス間関連度が記憶されている場合がある。当該対象単語に関する条件単語を選択する時の優先順序が前述の関連度差の分散の大きい順になるように、単語クラス間関連度の順番を並び替える。そして、予め決めておいた「対象単語あたりの条件単語数の上限」を超える条件単語に関する情報は条件単語制限付単語クラス間関連度記憶部２３から削除する。
【００８６】
以上が文書分類のための事前処理である。
【００８７】
次に、事前処理により生成された条件単語制限付単語クラス間関連度記憶部２３を用いた文書分類処理について説明する。
【００８８】
図５は、本発明の一実施の形態における文書分類処理のフローチャートである。
【００８９】
ステップ３１０）  文書分類部２００の文書入力部２１０は、処理対象記憶部１６から処理対象の文書を読み出す。
【００９０】
ステップ３２０）  単語クラス間関連度算出部２２０は、入力された文書中の単語集合を抽出する。次に、当該文書中に出現する各出現単語について、条件単語制限付単語クラス間関連度記憶部２２から当該出現単語を対象単語としたときの条件単語を優先順序順に取り出し、該単語集合に属するかをチェックする。そして最初に該単語集合に属する条件単語に対応する条件単語制限付単語クラス間関連度を単語クラス間関連度とする。もし、当該単語集合に属する条件単語が存在しない場合は、制限無単語クラス間関連度記憶部２２から抽出した単語クラス間関連度を当該出現単語の単語クラス間関連度とし、メモリ１２に格納する。
【００９１】
ステップ３３０）  重み計算部２３０において、各出現単語に対応した重要度を単語重要度記憶部１９から読み出し、当該出現単語の頻度との積をとり、単語の重みとする。さらに、出現単語全ての重みの和が１になるように、重みを正規化する。
【００９２】
ステップ３４０）  文書クラス間関連度算出部２４０において、クラス毎に、各出現単語について、ステップ３２０で決定した単語クラス間関連度をステップ３３０で求めた重みにより重み付け加算し、当該クラスの該文書についての文書クラス間関連度とし、メモリ１２に格納する。
【００９３】
ステップ３５０）  文書クラス決定部２５０において、クラス事前確率記憶部２４から各クラスの起こりやすさを表す事前確率の自然対数をとったものを読み出して、ステップ３４０で算出した文書クラス間関連度に足し合わせ、最大の値を示したクラス（もし同じ値を示すクラスが複数あれば若番を採る）を、当該入力文書のクラスとして決定する。
【００９４】
上記のように、２つの単語が同時に出現する確率が個々の確率の単純な積にならない場合であっても、単語の出現確率に単語間の依存関係をモデル化することにより、精度の高い文書分類を行うことができる。
【００９５】
なお、図２に示す各機能を有する処理プログラムをコンピュータにインストールしてＣＰＵに実行させる、または、ネットワークを介して流通させることが可能である。
【００９６】
また、処理プログラムをハードディスクやフレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【００９７】
本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【符号の説明】
【００９８】
１１  ＣＰＵ
１２  メモリ
１３  ディスプレイ
１４  キーボード
１５  処理プログラム
１６  処理対象記憶部
１７  オペレーティングシステム（ＯＳ）
１８  クラス正解文書記憶部
１９  単語重要度記憶部
２０  対象単語記憶部
２１  条件単語記憶部
２２  制限無単語クラス間関連度記憶部
２３  条件単語制限付単語クラス間関連度記憶部
２４  クラス事前確率記憶部
１００  事前処理部
１１０  制限無単語クラス間関連度算出部
１２０  条件単語制約付単語クラスか関連度算出部
２００  分類処理部
２１０  文書入力部
２２０  単語クラス間関連度算出部
２３０  重み計算部
２４０  文書クラス間関連度算出部
２５０  文書クラス決定部
【図１】
2012088853.tif 000018
【図２】
2012088853.tif 000019
【図３】
2012088853.tif 000020
【図４】
2012088853.tif 000021
【図５】
2012088853.tif 000022