(57)【特許請求の範囲】
【請求項１】
既存文書の集合においてクラスｘに分類された文書中でキーワード keyi が観測された回数を示す情報が格納されている第１の記憶手段と、
クラスｘの生起確率分布ｐ（ｘ｜θ）ならびにクラスｘに含まれる文書中におけるキーワード keyi の生起確率分布ｐ(keyi ｜x,θ）に対する情報が格納されている第２の記憶手段と、
頻度データ取得部と、
分類クラス決定部と
を少なくとも備えるデータ処理システムが、入力された新規文書のキーワード系列を利用して、当該新規文書を既存文書が分類されているクラスのいずれかに分類する処理方法において、
前記頻度データ取得部が、前記新規文書のキーワード系列が入力された際に、前記第１の記憶手段の内容と前記第２の記憶手段の内容とを夫々の記憶手段から読込んで頻度データを取得する段階と、
前記分類クラス決定部が、前記新規文書のキーワード系列と各クラスの頻度データとが入力された際に、当該新規文書が分類されるべきでない分類クラスに分類してしまう確率である誤り率について当該誤り率をベイズ基準の基で最小にすることが保証された分類クラスを決定する段階および上記の新規文書に対して誤り率をベイズ基準の基で最小にすることが保証された分類クラスを出力する段階と
を実行する
ことを特徴とする文書分類方法。
【請求項２】
上記第１の記憶手段は、既存文書の集合（ｗj,ｚNj) G においてクラスｘに分類された文書中でキーワード keyi が観測された回数を示す
Ｆ((x, keyi ）｜（ｗj,ｚNj) G ）を記憶しており、
かつ上記第２の記憶手段は、クラスｘの生起確率分布ｐ（ｘ｜θ）を支配するパラメータθの事前分布ｐ（θ）にベータ分布を仮定した場合の、ｐ（ｘ｜θ）に対するベータ分布のパラメータを示すβ（ｘ）と、クラスｘに含まれる文書中におけるキーワード keyi の生起確率分布ｐ(keyi ｜x,θ）を支配するパラメータθの事前分布ｐ（θ）にベータ分布を仮定した場合の、ｐ(keyi ｜x,θ）に対するベータ分布のパラメータを示すβ(keyi ｜ｘ）とを記憶しており、
上記頻度データ取得段階は、与えられた新規文書のキーワード系列と、上記Ｆ((x, keyi ）｜（ｗj,ｚNj) G ）と、上記β（ｘ）ならびにβ(keyi ｜ｘ）とを得る
ことを特徴とする請求項１記載の文書分類方法。
【請求項３】
上記分類クラス決定段階は、新規文書中のキーワードと各クラスの頻度データとが入力されて、新規文書がクラスｘに含まれると仮定した場合の尤度λ（ｘ）
【数１】
0003615451.tif 000016
（ただし、Ｆ（ｙi ｜ｙi-1 ）は新規文書のキーワード系列の部分系列ｙ1 ，ｙ2 …ｙi-1 中で観測されたキーワードｙi の数を示す）
を算出し、
当該尤度λ（ｘ）をもとに上記新規文書が分類されるべき分類クラスを決定して出力する
ようにしたことを特徴とする請求項２記載の文書分類方法。
【請求項４】
既存文書の集合においてクラスｘに分類された文書中でキーワード keyi が観測された回数を示す情報が格納されている第１の記憶手段と、
クラスｘの生起確率分布ｐ（ｘ｜θ）ならびにクラスｘに含まれる文書中におけるキーワード keyi の生起確率分布ｐ(keyi ｜x,θ）に対する情報が格納されている第２の記憶手段と、
頻度データ取得部と、
分類クラス決定部と
を少なくとも備えるデータ処理システムが、入力された新規文書のキーワード系列を利用して当該新規文書を既存文書が分類されているクラスのいずれかに分類する処理方法をプログラムの形で記述された当該プログラムを記録してなる記録媒体において、
上記処理方法が
前記頻度データ取得部が、前記新規文書のキーワード系列が入力された際に、前記第１の記憶手段の内容と前記第２の記憶手段の内容とを夫々の記憶手段から読込んで頻度データを取得する段階と、
前記分類クラス決定部が、前記新規文書のキーワード系列と各クラスの頻度データとが入力された際に、当該新規文書が分類されるべきでない分類クラスに分類してしまう確率である誤り率について当該誤り率をベイズ基準の基で最小にすることが保証された分類クラスを決定する段階および上記の新規文書に対して誤り率をベイズ基準の基で最小にすることが保証された分類クラスを出力する段階と
を実行するものである
ことを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文書中におけるキーワードの生起の仕方に確率分布を仮定した状態のもとで、新規文書を間違ったクラスに分類してしまう確率である誤り率をベイズ基準の基で最小にすることが保証されたクラスを所望する分類クラスとして出力する、新規文書を既存文書が分類されているクラスの内のいずれかに分類する文書分類方法およびその分類方法を記述したプログラムを記録している記録媒体に関する。
【０００２】
【従来の技術】
近年、パソコンやワープロの普及に伴い文書が電子的に保有されるようになるにつれて、新規文書が生成された時に、その新規文書を既存文書が分類されているクラスの内のいずれかに自動で分類する技術が開発されるようになった。
【０００３】
ここで、多くの従来技術に共通する、既存文書が分類されている各クラスの特徴ベクトルと新規文書の特徴ベクトルとの余弦の値を、各クラスと新規文書との類似度と解釈して、類似度が最大となるクラスを分類クラスと決定するベクトル空間法（徳永、「情報検索と言語処理」，東京大学出版会、１９９９）に基づく文書分類方法の概要を以下にまとめる。
【０００４】
図６にその動作原理を示す。
【０００５】
新規文書から抽出されたキーワードの系列ｙＭ  （Ｍは新規文書に含まれるキーワードの延べ数を示し、ｙＭ  はｙ１  ｙ２  …ｙＭ  と同一である。ｙｉ  ∈ＫＥＹ，
【０００６】
【数２】
0003615451.tif 000002
【０００７】
ｋｅｙｉ  はキーワードを示し、ＫＥＹはキーワードの集合である。また、｜ＫＥＹ｜などの例のように一般に｜・｜で表したものは集合の要素数を示す。）が入力されると、頻度データ
【０００８】
【数３】
0003615451.tif 000003
【０００９】
（既存文書の集合
【００１０】
【数４】
0003615451.tif 000004
【００１１】
においてクラスｘに分類された文書中でキーワード  ｋｅｙｉ  が観測された回数を示す。
【００１２】
【数５】
0003615451.tif 000005
【００１３】
ｃｉ  は文書のクラスを示し、Ｃは文書のクラスの集合を示す。Ｇは既存文書の数、ｗｊ  はｊ番目の既存文書の分類されているクラス、Ｎｊ  はｊ番目の既存文書に含まれるキーワードの延べ数、
【００１４】
【数６】
0003615451.tif 000006
【００１５】
ｚｊ，ｋ  はｊ番目の既存文書に含まれるｋ番目のキーワードでｚｊ，ｋ  ∈ＫＥＹである。）、Ｆ（  ｋｅｙｉ  ｜ｙＭ  ）（新規文書のキーワード系列ｙＭ  中でキーワード  ｋｅｙｉ  が観測された回数を示す。）、および、Ａ（  ｋｅｙｉ  ）
【００１６】
【数７】
0003615451.tif 000007
【００１７】
が成立するクラスの数を示す。）を取得する（ステップ７０）。
【００１８】
次に、各クラスｘの特徴ベクトルＶ（ｘ）として、
【００１９】
【数８】
0003615451.tif 000008
【００２０】
（クラスｘの特徴を示すベクトルで、ベクトルの各次元が一つのキーワードに対応している。そのクラスに分類されている文書において特徴的であり、かつ全クラスを見渡しても重要なキーワードについては、その値が大きくなっている）。および、新規文書の特徴ベクトルＶ（ｙＭ  ）として、
【００２１】
【数９】
0003615451.tif 000009
【００２２】
（新規文書の特徴を示すベクトルで、ベクトルの各次元が一つのキーワードに対応している。新規文書において特徴的であり、かつ全クラスを見渡しても重要なキーワードについては、その値が大きくなっている）。
を作成する（ステップ７２）。
【００２３】
次に、（３）式により各クラスｘの特徴ベクトルＶ（ｘ）と新規文書の特徴ベクトルＶ（ｙＭ  ）間の余弦が最大となるクラスを分類クラスとして決定し（ステップ７４）、最後に分類クラスを出力する。
【００２４】
【数１０】
0003615451.tif 000010
【００２５】
（クラスｘと新規文書の類似度を示しており、特徴が似ていれば似ているほど、その値は大きくなり、似ていなければ零に近い値になる）。
【００２６】
ただし、ｃｏｓ  はベクトル間の余弦の値を求める関数、Ｖ（ｘ）・Ｖ（ｙＭ  ）はベクトルＶ（ｘ），Ｖ（ｙＭ  ）間の内積、‖Ｖ（ｘ）‖はベクトルＶ（ｘ）のノルムを示す。
【００２７】
【発明が解決しようとする課題】
しかし、従来方法には大きな問題点がある。特徴ベクトル間の余弦の大きなクラスに新規文書を分類する理論的根拠は何も無く、文書中のキーワードの生起の仕方の相関が最も高いクラスに分類しているに過ぎない。本来、間違ったクラスに分類してしまうことをなるべく少なくしたいはずなのに、従来方法では間違いを少なくする理論的な保証は存在しない。
【００２８】
本発明の目的は、上記問題点を踏まえた上で、統計的決定理論（繁桝、”ベイズ統計入門”、東京大学出版会、１９８５等）に基づき、間違ったクラスに新規文書を分類する確率である誤り率をベイズ基準のもとで最小にすることが保証されたクラスを分類クラスとして出力するような文書分類方法を提供することである。
【００２９】
【課題を解決するための手段】
図１は、本発明の原理構成図である。
【００３０】
本発明の文書分類方法では、新規文書のキーワード系列が入力データとして与えられると、新規文書が各クラスに含まれると仮定した場合の尤度を用いて、間違ったクラスに分類する確率である誤り率をベイズ基準の基で最小にすることが保証されたクラスを分類クラスとして出力するようにする。
【００３１】
新規文書のキーワード系列が与えられると、
頻度データと新規文書のキーワード系列とを出力する頻度データ取得部１００と、
頻度データと新規文書のキーワード系列とが与えられると、分類クラスを出力する分類クラス決定部２００とを有する。
【００３２】
図２は、本発明の原理を説明するフローチャートである。
【００３３】
本発明の文書分類方法は、
新規文書のキーワード系列を入力するステップ１０と、
各クラスに含まれる既存文書における各キーワードの観測回数である頻度データを取得して頻度データと新規文書のキーワード系列とを出力するステップ２０と、
頻度データと新規文書のキーワード系列とを用いて算出した新規文書が各クラスに含まれると仮定した場合の尤度を用いて間違ったクラスに分類する確率である誤り率をベイズ基準の基で最小にすることが保証されたクラスを分類クラスとして決定するステップ３０と、
ステップ３０において決定された分類クラスを出力するステップ４０と
からなる。
【００３４】
従って、本発明の文書分類方法は、文書のキーワードごとの頻度を抽出し、頻度から各クラス毎に分類される確率を計算して、間違えたクラスに分類される確率を最小にする基準で、分類されるべきクラスを決定するというものである。したがって間違ったクラスに分類する確率である誤り率をベイズ基準の基で最小にすることが保証されたクラスを所望する分類クラスとして決定するので、任意の量の既存文書に対して誤り率を理論的に最小にすることが保証されるものとなっている。
【００３５】
【発明の実施の形態】
図３は本発明による文書分類方法の好ましい一実施例の構成図である。
【００３６】
図中、１００は頻度データ取得部、１１０は頻度データ取得器、１２０は頻度テーブル、１３０はベータ分布パラメータテーブル、２００は分類クラス決定部、２１０は尤度算出器、２２０は分類クラス決定器を表している。
【００３７】
図３に示すごとく、本発明の文書分類方法は、頻度データ取得部１００と、分類クラス決定部２００とからなる。頻度データ部１００は、頻度データ取得器１１０と、頻度テーブル１２０と、ベータ分布パラメータテーブル１３０とからなる。分類クラス決定部２００は、尤度算出器２１０と、分類クラス決定器２２０とからなる。
【００３８】
以下、各部の説明を行う。
【００３９】
最初に図４に示された頻度データ取得部１００の動作フローチャートを参照して、頻度データ取得部１００の動作を説明する。
【００４０】
まず、頻度データ取得器１１０に新規文書のキーワード系列が入力される（ステップ５０）。
【００４１】
新規文書のキーワード系列が入力されると、頻度データ取得器１１０は頻度テーブル１２０から頻度データＦ（ｘ｜ｗＧ  ）（既存文書の集合の中でクラスｘに分類されている既存文書の数を示す。）、および
【００４２】
【数１１】
0003615451.tif 000011
【００４３】
を取得する（ステップ５２）。
【００４４】
次に頻度データ取得器１１０はベータ分布パラメータテーブル１３０から頻度データβ（ｘ）およびβ（ｋｅｙｉ  ｜ｘ）を取得する。なおβ（ｘ）は、クラスｘの生起確率分布ｐ（ｘ｜θ）を支配するパラメータθ（θ∈Θ）の事前分布ｐ（θ）にベータ分布（鈴木、”統計学”、朝倉書店、１９８７年等）を仮定した場合の、ｐ（ｘ｜θ）に対するベータ分布のパラメータを示す。またβ（ｋｅｙｉ  ｜ｘ）は、クラスｘに含まれる文書中におけるキーワード  ｋｅｙｉ  の生起確率分布ｐ（ｋｅｙｉ  ｜ｘ，θ）を支配するパラメータθ（θ∈Θ）の事前分布ｐ（θ）にベータ分布を仮定した場合の、ｐ（ｋｅｙｉ  ｜ｘ，θ）に対するベータ分布のパラメータを示す（ステップ５４）。
【００４５】
頻度データと新規文書のキーワード系列とを出力する（ステップ５６）。
【００４６】
図５に示された分類クラス決定部２００の動作フローチャートを参照して、分類クラス決定部２００の動作を説明する。
【００４７】
まず、尤度算出器２１０に頻度データと新規文書のキーワード系列とが入力される（ステップ６０）。
【００４８】
頻度データと新規文書のキーワード系列とが入力されると、尤度算出器２１０は新規文書が各クラスｘに含まれると仮定した場合の尤度λ（ｘ）を（４）式によって算出する（ステップ６２）。
【００４９】
【数１２】
0003615451.tif 000012
【００５０】
（新規文書がクラスｘに属すると仮定した時の尤もらしさを示す数値で、新規文書がクラスｘに属すると考えるのが尤もらしければ、尤もらしいほど、その値は大きくなる）。
【００５１】
ただし、Ｆ（ｙｉ  ｜ｙｉ−１  ）は新規文書のキーワード系列の部分系列ｙ１  ｙ２  …ｙｉ−１  中で観測されたキーワードｙｉ  の数を示す。
【００５２】
次に分類クラス決定器２２０は尤度算出器２１０によって算出された尤度を用いて、尤度が最大となるクラスｘを分類クラスとして決定し（ステップ６４）、
分類クラスを出力する（ステップ６６）。
【００５３】
なお、上記の分類クラスの決定の仕方は、（５）式で示される誤り率を損失関数とした場合の（７）式によるベイズリスクを最小化するベイズ決定の定式化から導出されたものであり、誤り率をベイズ基準の基で最小化することを理論的に保証している（繁桝、”ベイズ統計入門”、東京大学出版会、１９８５等）。
【００５４】
【数１３】
0003615451.tif 000013
【００５５】
（文書の発生の仕方が、あるパラメータθによって支配されている場合（例えば、歴史書と法律書のどちらを分類対象とするかによって、文書の発生の仕方は異なる。）を想定し、さらにある分類方法ｄを採用する場合に、間違った分類を行ってしまうことによる損失を示す。厳密には（５）式ではそのような損失として、間違った分類を行ってしまう確率を採用している。このような関数を損失関数と呼ぶ）。
【００５６】
ただし、ｄ（ｙＭ  ）は新規文書のキーワード系列ｙＭ  を引数にとり、分類クラスを出力する決定関数ｄを示し、
【００５７】
【数１４】
0003615451.tif 000014
【００５８】
（ある新規文書に対して、その分類すべきだと思われるクラスを決定した時に、正しく決定できれば誤りと言われずに済み（値ゼロをもらう）、間違ってしまうと誤りと言われる（値１の損失を被る）仕組みを示す関数）。
【００５９】
【数１５】
0003615451.tif 000015
【００６０】
（（５）式ではあるパラメータθ（例えば、ある分野の文書の発生の仕方）に限った損失を示したが、実際には文書の発生の仕方を厳密に求める事は不可能である。そこで、（５）式の損失を、さらにすべての文書の発生の仕方で平均したものが（７）式である。つまり、（７）式を最小にするような文書の分類方法は、様々な文書の発生の仕方に対して平均的に最も精度の良い分類方法である。（７）式のような損失をベイズリスクと呼び、（７）式を最小にするように導出された分類方法は、ベイズ基準の基で誤り率を最小にする分類方法である（なお、（５）式と異なる損失関数を用いれば、また別の理論的な保証を得る事が出来る）。
【００６１】
上記において、文書分類方法を説明したが、当該文書分類方法はプログラムの形で記述されて記録媒体に記録しておくことができる。したがって、本発明は当該記録媒体をも発明の対象とするものである。
【００６２】
【発明の効果】
上述のように、本発明によれば、新規文書を間違ったクラスに分類してしまう確率である誤り率をベイズ基準の基で最小化することが理論的に保証されたクラスを分類クラスとして決定しているので、新規文書を間違ったクラスに分類してしまう確率である誤り率をベイズ基準の基で最小化するクラスを分類クラスとして出力することが可能になる。
【図面の簡単な説明】
【図１】本発明の原理構成図である。
【図２】本発明の原理を説明するフローチャートである。
【図３】本発明による文書分類方法の好ましい一実施例の構成図である。
【図４】本発明の好ましい一実施例による頻度データ取得部の動作フローチャートである。
【図５】本発明の好ましい一実施例による分類クラス決定部の動作フローチャートである。
【図６】従来方法による文書分類方法の動作原理説明図である。
【符号の説明】
１００：頻度データ取得部
１１０：頻度データ取得器
１２０：頻度テーブル
１３０：ベータ分布パラメータテーブル
２００：分類クラス決定部
２１０：尤度算出器
２２０：分類クラス決定器
【図１】
0003615451.tif 000017
【図２】
0003615451.tif 000018
【図３】
0003615451.tif 000019
【図４】
0003615451.tif 000020
【図５】
0003615451.tif 000021
【図６】
0003615451.tif 000022