(57)【特許請求の範囲】
【請求項１】
あらかじめカテゴリが付与されている複数の文書データを取得する文書データ取得手段と、
この文書データ取得手段により取得した文書データに基づいて、ベイジアンネットワークを構成するベイジアンネットワーク構成手段と、
前記文書データ取得手段により取得した文書データに基づいてカテゴリ毎の単語重要度を算出する算出手段と、
分類対象の文書を取得する分類対象データ取得手段と、
この分類対象データ取得手段により取得した文書データを前記ベイジアンネットワークにより分類する分類手段と、
前記分類対象データ取得手段により取得した文書に含まれている単語を取得する単語取得手段と、
前記ベイジアンネットワークにより分類されたカテゴリにおける、前記算出された単語重要度に基づき得られる、前記含まれている単語に対する単語重要度の値に基づいて、前記ベイジアンネットワークにより分類されたカテゴリに属するか否かを判断する判断手段とを
備えたことを特徴とする文書分類装置。
【請求項２】
コンピュータに、
あらかじめカテゴリが付与されている複数の文書データを取得する文書データ取得機能と、
この文書データ取得機能により取得した文書データに基づいてベイジアンネットワークを構成するベイジアンネットワーク構成機能と、
前記文書データ取得機能により取得した文書データに基づいてカテゴリ毎の単語重要度を算出する算出機能と、
分類対象の文書を取得する分類対象データ取得機能と、
この分類対象データ取得機能により取得した文書データを前記ベイジアンネットワークにより分類する分類機能と、
前記分類対象データ取得機能により取得した文書に含まれている単語を取得する単語取得機能と、
前記ベイジアンネットワークにより分類されたカテゴリにおける、前記算出された単語重要度に基づき得られる、前記含まれている単語に対する単語重要度の値に基づいて、前記ベイジアンネットワークにより分類されたカテゴリに属するか否かを判断する判断機能とを
実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書を分類するための、文書処理装置およびプログラムに関する。
【背景技術】
【０００２】
従来の文書を分類する方法には、様々な方法がある。その中の一つが、ベイジアンネット
ワークを用いたものである(例えば、非特許文献1参照)。そこでは、あらかじめカテゴリ
が付与された文書(以下、訓練データと呼ぶ)に基づき、ベイジアンネットワークの条件付
き確率表を作成し、分類対象となる文書が与えあられているという条件の下で、事後確率
が最大となるカテゴリを、分類先のカテゴリとする。
【０００３】
ベイジアンネットワークを用いた文書分類においては、分類対象の文書を分類する際、訓
練データに付与されたカテゴリの中から、事後確率が最大となるカテゴリを選択する。し
たがって、訓練データに含まれていないカテゴリに属する文書が分類対象と文書として入
力されても、事後確率が最大となるカテゴリが文書のカテゴリとして出力される。
【特許文献１】Daphne Koller, Mehran Sahami, Hierarchically Classifying Documents Using Very Few Words, Proceedings of ICML-97, 14th International Conference on Machine Learning
【発明の開示】
【発明が解決しようとする課題】
【０００４】
以上に述べたように、ベイジアンネットワークを用いた文書分類において、事前に与えら
れたカテゴリ以外に属する文書が入力されても、事前に与えられたカテゴリのいずれかに
分類されてしまい、事前に与えられたカテゴリのいずれにも属さないという出力を得るこ
とができない。
【０００５】
したがって、訓練データを作成する際に、全てのカテゴリに関するデータを網羅的に用意
できない状況においては、分類結果が不正確なものとなる。また、時間の経過により、新
たなカテゴリが生じた場合にも、既存のカテゴリのいずれかに分類されてしまい、新規の
カテゴリに属する文書かどうかの判定ができない。
【０００６】
本発明は、上記の課題を解決するためのものであり、ベイジアンネットワークを用いた文
書分類において、訓練データに付与されたカテゴリ以外のカテゴリに属する文書かどうか
を判別できるようにするものである。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の第１の発明は、あらかじめカテゴリが付与されている複数の文書データを取得する文書データ取得手段と、この文書データ取得手段により取得した文書データに基づいてベイジアンネットワークを構成するベイジアンネットワーク構成手段と、前記文書データ取得手段により取得した文書データに基づいてカテゴリ毎の単語重要度を算出する算出手段と、分類対象の文書を取得する分類対象データ取得手段と、この分類対象データ取得手段により取得した文書データを前記ベイジアンネットワークにより分類する分類手段と、前記分類対象データ取得手段により取得した文書に含まれている単語を取得する単語取得手段と、前記ベイジアンネットワークにより分類されたカテゴリにおける、前記算出された単語重要度に基づき得られる、前記含まれている単語に対する単語重要度の値に基づいて、前記ベイジアンネットワークにより分類されたカテゴリに属するか否かを判断する判断手段とを備えたことを特徴とする。
【０００８】
次に、本発明の第２の発明は、コンピュータに、あらかじめカテゴリが付与されている複数の文書データを取得する文書データ取得機能と、この文書データ取得機能により取得した文書データに基づいてベイジアンネットワークを構成するベイジアンネットワーク構成機能と、前記文書データ取得機能により取得した文書データに基づいてカテゴリ毎の単語重要度を算出する算出機能と、分類対象の文書を取得する分類対象データ取得機能と、この分類対象データ取得機能により取得した文書データを前記ベイジアンネットワークにより分類する分類機能と、前記分類対象データ取得機能により取得した文書に含まれている単語を取得する単語取得機能と、前記ベイジアンネットワークにより分類されたカテゴリにおける、前記算出された単語重要度に基づき得られる、前記含まれている単語に対する単語重要度の値に基づいて、前記ベイジアンネットワークにより分類されたカテゴリに属するか否かを判断する判断機能とを実現させることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、ベイジアンネットワークを用いた文書分類において、分類対象の文書が
、訓練データに付与されていないカテゴリに属していた場合にも、正しく分類できるので
、訓練データを作成する際に、全てのカテゴリを網羅する必要がなく、精度の高い文書分
類が効率的にできる。また、時間の経過により、既存のカテゴリに属さない文書ができて
きた場合にも、精度の高い分類ができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の各実施形態について図面を用いて説明する。なお、以下の各装置は、それ
ぞれハードウェア構成、又はハードウェア資源とソフトウェアとの組み合わせ構成のいず
れでも実施可能となっている。組合せ構成のソフトウェアとしては、予めネットワーク又
は記憶媒体から対応する装置のコンピュータにインストールされ、対応する装置の機能を
実現させるためのプログラムが用いられる。
【００１１】
〔第一の実施例〕
以下、図面を参照し、この発明の実施例を説明する。
【００１２】
図１はこの文書処理装置１００の実施例の全体構成を示したものである。
【００１３】
この実施例に置ける文書処理装置は、訓練データ入力部１０１、単語頻度算出部１０２、
単語重要度算出部１０３、ベイジアンネットワーク記憶部１０４、単語重要度記憶部１０
５、分類対象データ入力部１０６、文書ベクトル算出部１０７、事後確率算出部１０８、
単語重要度チェック部１０９、分類結果出力部１１０から構成される。
【００１４】
訓練データ入力部１０１は、訓練データの入力を受け付け、単語頻度算出部１０２に渡す
。訓練データは、前述のように、あらかじめカテゴリが付与された複数の文書である。
【００１５】
単語頻度算出部１０２は、訓練データに対し形態素解析等の自然言語解析を行い、単語に
分解し、頻度を算出する。この算出された頻度は、単語重要度算出部１０３に渡されると
ともに、ベイジアンネットワーク記憶部１０４に保持される。
【００１６】
単語重要度算出部１０３は単語頻度データに基づき、カテゴリ毎の単語重要度を算出し、
単語重要度記憶部１０５に保持する。
【００１７】
分類対象データ入力部１０６は、分類対象となる文書を受け取り、文書ベクトル算出部１
０７に渡す。分類対象データは、カテゴリが未知の文書であるとする。
【００１８】
文書ベクトル算出部１０７は、分類対象データに対し形態素解析等の自然言語解析を行い
、文書ベクトルに変換し、事後確率計算部１０８に渡す。
【００１９】
事後確率計算部１０８は、文書ベクトル、および、ベイジアンネットワーク記憶部１０４
に保持されているデータを参照し、分類対象データが属するカテゴリの事後確率を算出し
、当該事後確率が最大のカテゴリを算出する。
【００２０】
単語重要度チェック部１０９は、分類対象データに含まれている単語のうち、事後確率が
最大のカテゴリに対する単語重要度を、単語重要度記憶部１０５のデータから取得し、ユ
ーザにより設定されている閾値と比較することにより、事後確率が最大となったカテゴリ
に対する分類の妥当性をチェックする。
【００２１】
分類結果出力部１１０は、分類対象データの属するカテゴリを出力する。
【００２２】
以下、具体例に基づき、文書処理装置の動作を詳細に説明する。
【００２３】
文書処理装置１００の動作は、学習フェーズと、分類フェーズに分けられる。学習フェー
ズは、訓練データに基づき、ベイジアンネットワークおよび単語重要度を算出するフェー
ズである。分類フェーズは、分類対象データの属するカテゴリを推定するフェーズである
。
【００２４】
（学習フェーズ）
訓練データ入力部１０１に入力される訓練データは、カテゴリが付与された文書の集合で
ある。カテゴリとは例えば「報告書」、「申請書」、「会議資料」など文書の種別を示す
ものである。以下の説明において、カテゴリは「A」「B」「C」の3種類であるとして説明
する。
【００２５】
図2は、訓練データ入力部１０１に入力される文書データとカテゴリの対応の例を示す図
である。
【００２６】
単語頻度算出部１０２は、訓練データ入力部１０１に入力された各文書に対して、必要に
応じて形態素解析を行い、この文書の単語を切り出す。たとえば、ここでは形態素解析を
実行しているが、意味解析や構文解析などの他の自然言語解析の処理を行っても構わない
ものとする。
【００２７】
一つの文書毎に、その文書に含まれている単語とその頻度が計算され、単語頻度データが
更新される。
【００２８】
図3、図4、図5、は単語頻度データの一例を示す図である。
【００２９】
単語頻度データには、それぞれのカテゴリにおいて、それぞれの単語を含む文書の数が含
まれている。また、これとは別に、それぞれのカテゴリに属する文書数、および、それぞ
れの単語を含む文書数が収められている。なお、文書数の代わりに、単語の出現頻度を用
いてもよい。あるいは、単語の出現頻度の代わりに文書毎に単語の出現頻度と文書のサイ
ズの比率を用いてもよい。
【００３０】
図3に示した例では、3つのカテゴリA、B、Cのそれぞれに対して、単語Waから単語Wmまで
のそれぞれを含む文書の数、3つのカテゴリのそれぞれに属する文書の数、および、単語W
aから単語Wmまでのそれぞれを含む文書の数を示している。
【００３１】
例えば、カテゴリAに属し、単語aを含む文書の数は10であり、カテゴリAに属する文書の
数は10、単語Waを含む文書の数は30である。
【００３２】
次に、単語重要度算出部１０３の動作を説明する。
【００３３】
単語重要度算出部１０３は、単語頻度テーブルを参照し以下で定義される単語重要度を算
出する。単語重要度は、Ｐ（ｔ，ｃ）Ｌｏｇ｛Ｐ（ｔ，ｃ）／Ｐ（ｔ）Ｐ（ｃ）｝で表す
ものとする。ここで、Ｐ（ｔ，ｃ）＝（カテゴリｃに属し、単語ｔを含む文書数）／全文
書数、Ｐ（ｔ）＝単語ｔを含む文書数／全文書数、Ｐ（ｃ）＝カテゴリｃに属する文書数
／全文書数である。なお、Ｐ（ｔ，ｃ）＝０の場合は、単語重要度は０とする。
【００３４】
例えば、図3の例において、カテゴリAに置ける単語aの単語重要度は、P(a,A)=10/30=1/3
、P(a)=30/30=1、P(A)=10/30=1/3なので、1/3×log(1/3/1×3)=0となる。
【００３５】
同様に、カテゴリAにおける単語bの単語重要度は、P(b,A)=10/30=1/3、P(b)=10/30=1/3、
P(A)=1/3なので、1/3×log(1/3×3×3)=0.3662となる。
【００３６】
図4は、図3の例において、全ての単語に関して単語重要度を計算した結果である。上記で
定義された単語重要度の代わりに、公知文献（Fabrizio Sebastiani, Machine Learning 
in Automated Text Categorization, ACM Computing Surveys, Vol.34, No. 1, March 20
02, pp.1-47）に述べられているχ2乗値やその他のカテゴリ毎の単語の重要度を意味する
量を用いてもよい。
【００３７】
単語重要度記憶部１０５は、単語重要度算出部１０３が算出した、単語重要度を保持する
。以上が学習フェーズにおける、本発明の本実施形態にかかる文書処理装置の動作である
。
【００３８】
（分類フェーズ）
次に、分類フェーズにおける、本実施形態の文書処理装置の動作を説明する。
【００３９】
分類対象データ入力部１０６は、分類対象となる文書データを受け取り、文書ベクトル算
出部１０７に渡す。
【００４０】
文書ベクトル算出部１０７は、必要に応じて形態素解析などを行い、入力された文書デー
タを単語に切り分け、出現する単語の頻度を算出し、事後確率算出部１０８に渡す。たと
えば、ここでは形態素解析を実行しているが、意味解析や構文解析などの他の自然言語解
析の処理を行っても構わないものとする。
【００４１】
文書ベクトルとして、分類対象データに含まれている単語の頻度を並べたものとしてもよ
いし、分類対象データに含まれている単語を1、含まれていない単語を0とした2値データ
のベクトルとしてもよい。
【００４２】
事後確率算出部１０８は、入力された文書ベクトルに基づき、ベイジアンネットワーク記
憶部１０４のデータを参照し、カテゴリ毎の事後確率を計算する。文書ベクトルの算出お
よびカテゴリ毎の事後確率の算出には、ベイジアンネットワークに関する公知の手法を用
いることができる。
【００４３】
事後確率算出部１０８は、事後確率が最大となったカテゴリを算出し、単語重要度チェッ
ク部１０９に渡す。
【００４４】
単語重要度チェック部１０９は、事後確率算出部１０８から入力されたカテゴリにおける
、単語重要度の高い単語とその単語重要度の値を取り出す。この実施例では、単語重要度
の値が正の単語を取り出すとしているが、ユーザにより設定された閾値より大きい単語を
取り出すとしてもよいし、全ての単語を取り出すとしてもよい。
【００４５】
ここでは、事後確率が最大となったカテゴリがBであったとする。図7に取り出された単語
と単語重要度の一例を示す。
【００４６】
次に、単語重要度チェック部１０９は、上記の取り出された単語が分類対象データに含ま
れているかどうかを調べる。
【００４７】
例えば、分類対象データに含まれている単語が、Wa、Wh、Wkの3種類だったとする。この
場合、図7で示された単語と共通するのは、WhとWkである。この結果を図9に示す。このう
ち、単語重要度の値が一番大きいのはWkでその値は、0.13879であり、2番目に大きいのは
Whであり、その値は0.0115である。
【００４８】
単語重要度チェック部１０９は、このうち、単語重要度が一番大きい単語の値が閾値より
小さい場合に、分類対象データのカテゴリを、事後確率算出部１０８で算出されたカテゴ
リではなく、未定義カテゴリに属すると推測する。本実施例では、閾値を0.15としている
ので、分類対象データのカテゴリはBではなく「未定義カテゴリ」とされる。もし、閾値
が0.1の場合は、「未定義カテゴリ」ではなく、事後確率が最大のカテゴリであるBとされ
る。
【００４９】
ここでは、閾値との比較を、事後確率が最大となったカテゴリに関して、単語重要度が一
番大きい単語の単語重要度の値と比較したが、2番目に単語重要度の値が大きい単語と比
較するとしてもよい。この場合、閾値が0.1とすると、「未定義カテゴリ」となる。
【００５０】
分類結果出力部１１０は、単語重要度チェック部により判定されたカテゴリを出力する。
【００５１】
以上のように、単語重要度の値をみて、事後確率が最大となったカテゴリに属するかどう
かを判定するので、訓練データを作成する際に把握できていなかったカテゴリに属する文
書が分類対象データとして入力された場合でも、「未定義カテゴリ」として、適切に分類
することができる。
【００５２】
また、単語重要度の値は、ベイジアンネットワークを構成する際に必要なデータである、
訓練データに含まれている単語の頻度から、容易に計算できるので、学習フェーズにおけ
る計算量も、通常のベイジアンネットワークを利用した文書分類と大差なく、効率的に文
書分類が実行できる。
【００５３】
このように本発明によれば、ベイジアンネットワークを用いた文書分類において、分類対
象の文書が、訓練データに付与されていないカテゴリに属していた場合にも、正しく分類
できるので、訓練データを作成する際に、全てのカテゴリを網羅する必要がなく、精度の
高い文書分類が効率的にできる。また、時間の経過により、既存のカテゴリに属さない文
書ができてきた場合にも、精度の高い分類ができる。
【００５４】
なお、上記実施形態に記載した手法は、コンピュータに実行させることのできるプログラ
ムとして、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクなど）、光
ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、光磁気ディスク（ＭＯ）、半導体メモリなどの
記憶媒体に格納して頒布することもできる。
【００５５】
また、この記憶媒体としては、プログラムを記憶でき、かつコンピュータが読み取り可能
な記憶媒体であれば、その記憶形式は何れの形態であっても良い。
【００５６】
また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピ
ュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト
、ネットワークソフト等のＭＷ（ミドルウェア）等が上記実施形態を実現するための各処
理の一部を実行しても良い。
【００５７】
さらに、本発明における記憶媒体は、コンピュータと独立した媒体に限らず、ＬＡＮやイ
ンターネット等により伝送されたプログラムをダウンロードして記憶又は一時記憶した記
憶媒体も含まれる。
【００５８】
また、記憶媒体は１つに限らず、複数の媒体から上記実施形態における処理が実行される
場合も本発明における記憶媒体に含まれ、媒体構成は何れの構成であっても良い。
【００５９】
尚、本発明におけるコンピュータは、記憶媒体に記憶されたプログラムに基づき、上記実
施形態における各処理を実行するものであって、パソコン等の１つからなる装置、複数の
装置がネットワーク接続されたシステム等の何れの構成であっても良い。
【００６０】
また、本発明におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演
算処理装置、マイコン等も含み、プログラムによって本発明の機能を実現することが可能
な機器、装置を総称している。
【００６１】
なお、本願発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその
要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示さ
れている複数の構成要素の適宜な組合せにより種々の発明を形成できる。例えば、実施形
態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態
に亘る構成要素を適宜組合せてもよい。
【図面の簡単な説明】
【００６２】
【図１】本発明の実施例におけるシステム構成の一例を示す図。
【図２】本発明の実施形態にしたがった文書処理装置へ入力される訓練データの一例を示す図。
【図３】本発明の実施形態にしたがった文書処理装置の単語頻度データの一例を示す図。
【図４】本発明の実施形態にしたがった文書処理装置の単語頻度データの一例を示す図。
【図５】本発明の実施形態にしたがった文書処理装置の単語頻度データの一例を示す図。
【図６】本発明の実施形態にかかる単語重要度の一例を示す図。
【図７】本発明の実施形態にかかる単語重要度チェック部のデータの一例を示す図。
【図８】本発明の実施形態にかかる単語重要度チェック部によるチェック結果の一例を示す図。
【符号の説明】
【００６３】
１００…文書分類装置，１０１…訓練データ入力部，１０２…単語頻度算出部，１０３
…単語重要度算出部，１０４…ベイジアンネットワーク記憶部，１０５…単語重要度記憶
部，１０６…分類対象データ入力部，１０７…文書ベクトル算出部，１０８…事後確率算
出部、１０９…単語重要度チェック部，１１０…分類結果出力部。
【図１】
0005075566.tif 000002
【図２】
0005075566.tif 000003
【図３】
0005075566.tif 000004
【図４】
0005075566.tif 000005
【図５】
0005075566.tif 000006
【図６】
0005075566.tif 000007
【図７】
0005075566.tif 000008
【図８】
0005075566.tif 000009