(57)【要約】【課題】文書を、所定のカテゴリ集合のうちのいずれかのカテゴリに分類するタスクの精度を向上させることにある。【解決手段】カテゴリ毎に該カテゴリに該当する文書の集合が対応付けられているカテゴリの集合が入力されたとき、各カテゴリに対し、該カテゴリの各文書ベクトルを、該文書内の単語の、前記単語概念ベースから取得した単語ベクトルの重心として算出し、該カテゴリに対し、該カテゴリの各文書の、前記文書ベクトル取得手段で取得した文書ベクトルをクラスタリングし、その結果得られた文書ベクトルの各クラスタをサブカテゴリとするサブカテゴリ集合を取得し、該カテゴリの、前記文書クラスタリング手段で取得した各サブカテゴリに対し、該サブカテゴリ内の各文書の、前記文書ベクトル取得手段で取得した文書ベクトルの重心を、該サブカテゴリのサブカテゴリベクトルとして取得する。【選択図】図２
2010026782.tif 000002
【特許請求の範囲】
【請求項１】
単語とその意味表現である単語ベクトルの対の集合を格納した単語概念ベースを具備し、
カテゴリ毎に該カテゴリに該当する文書の集合が対応付けられているカテゴリの集合が入力されたとき、
各カテゴリに対し、該カテゴリの各文書ベクトルを、該文書内の単語の、前記単語概念ベースから取得した単語ベクトルの重心として算出する文書ベクトル取得手段と、
該カテゴリに対し、該カテゴリの各文書の、前記文書ベクトル取得手段で取得した文書ベクトルをクラスタリングし、その結果得られた文書ベクトルの各クラスタをサブカテゴリとするサブカテゴリ集合を取得する文書クラスタリング手段と、
該カテゴリの、前記文書クラスタリング手段で取得した各サブカテゴリに対し、該サブカテゴリ内の各文書の、前記文書ベクトル取得手段で取得した文書ベクトルの重心を、該サブカテゴリのサブカテゴリベクトルとして取得するサブカテゴリベクトル取得手段と、
からなることを特徴とする文書分類装置。
【請求項２】
請求項１において、
文書が入力されると、
該入力文書の入力文書ベクトルを、該入力文書内の単語の、前記単語概念ベースから取得した単語ベクトルの重心として算出する入力文書ベクトル取得手段と、
各カテゴリに対し、該カテゴリの各サブカテゴリの、前記サブカテゴリベクトル取得手段で取得したサブカテゴリベクトルと、前記入力文書ベクトル取得手段で取得した入力文書ベクトルとの距離または類似度を求め、該距離の最小値、または、該類似度の最大値を、該カテゴリと入力文書との距離または類似度として出力する関連度算出手段とをさらに併せ持つことを特徴とする文書分類装置。
【請求項３】
単語とその意味表現である単語ベクトルの対の集合を格納した単語概念ベースを具備し、
カテゴリ毎に該カテゴリに該当する文書の集合が対応付けられているカテゴリの集合が入力されたとき、
各カテゴリに対し、該カテゴリの各文書ベクトルを、該文書内の単語の、前記単語概念ベースから取得した単語ベクトルの重心として算出し、記憶装置に記憶する文書ベクトル取得工程と、
該カテゴリに対し、該カテゴリの各文書の、前記文書ベクトル取得工程で取得した文書ベクトルをクラスタリングし、その結果得られた文書ベクトルの各クラスタをサブカテゴリとするサブカテゴリ集合を取得し、記憶装置に記憶する文書クラスタリング工程と、
該カテゴリの、前記文書クラスタリング工程で取得した各サブカテゴリに対し、該サブカテゴリ内の各文書の、前記文書ベクトル取得工程で取得した文書ベクトルの重心を、該サブカテゴリのサブカテゴリベクトルとして取得し、記憶装置に記憶するサブカテゴリベクトル取得工程と、
からなることを特徴とする文書分類方法。
【請求項４】
請求項３において、
文書が入力されると、
該入力文書の入力文書ベクトルを、該入力文書内の単語の、前記単語概念ベースから取得した単語ベクトルの重心として算出し、記憶装置に記憶する入力文書ベクトル取得工程と、
各カテゴリに対し、該カテゴリの各サブカテゴリの、前記サブカテゴリベクトル取得工程で取得したサブカテゴリベクトルと、前記入力文書ベクトル取得工程で取得した入力文書ベクトルとの距離または類似度を求め、該距離の最小値、または、該類似度の最大値を、該カテゴリと入力文書との距離または類似度として算出し、記憶装置に記憶し、出力する関連度算出工程とをさらに併せ持つことを特徴とする文書分類方法。
【請求項５】
請求項１又は請求項２記載の文書分類装置を構成する各手段としてコンピュータを機能させるプログラム。
【請求項６】
請求項１又は請求項２記載の文書分類装置を構成する各手段としてコンピュータを機能させるプログラムを記録したコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書を、所定のカテゴリ集合のうちのいずれかのカテゴリに分類するための文書分類装置及び方法及びプログラム及びプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
文書を、所定のカテゴリ集合のうちのいずれかのカテゴリに分類する文書分類の技術として、たとえば非特許文献１の手法がある。
【０００３】
この手法では、単語とその意味表現である単語ベクトルの対の集合を格納した単語概念ベースを利用する。また、各カテゴリには、該カテゴリに該当する文書の集合が対応付けられているものとする。
【０００４】
各カテゴリに対し、該カテゴリの各文書の文書ベクトルを、該文書内の単語の、単語概念ベースから取得した単語ベクトルの重心として算出する。
【０００５】
次に、該カテゴリに対し、該カテゴリ内の各文書の文書ベクトルの重心を、該カテゴリのカテゴリベクトルとして取得する。
【０００６】
文書が入力されると、該入力文書の入力文書ベクトルを、該入力文書内の単語の、単語概念ベースから取得した単語ベクトルの重心として算出する。
【０００７】
各カテゴリに対し、該カテゴリのカテゴリベクトルと入力文書ベクトルとの距離または類似度を求め、距離の昇順、または、類似度の降順に、カテゴリ集合をソートし、上位にランクされたカテゴリを、分類結果とする。
【非特許文献１】別所克人、内山俊郎、片岡良治著「単語間の階層関係に基づくテキスト分類方式」信学技報、Vol.PRMU2007-15、pp79-84、２００７年５月
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上記従来技術において、１つのカテゴリにおいて、その文書集合に、複数の話題が混在している場合がある。このような場合、該カテゴリ内の文書ベクトルの集合は、いくつかのクラスタから形成され、各クラスタが１つの話題に対応している。このような状況において、文書ベクトルの重心が、各クラスタから不当に遠くなり、その結果、分類時に、該カテゴリのあるクラスタに相当する入力文書が、該重心ベクトルから遠く、反対に別のカテゴリのカテゴリベクトルと近くなり、誤った分類をするという問題があった。
【０００９】
本発明は、この課題を解決するために考え出されたものであり、本発明の目的は、文書を、所定のカテゴリ集合のうちのいずれかのカテゴリに分類するタスクの精度を向上させるための文書分類装置、文書分類方法、プログラム及び記録媒体を提供することにある。
【課題を解決するための手段】
【００１０】
本発明は、単語とその意味表現である単語ベクトルの対の集合を格納した単語概念ベースを具備し、カテゴリ毎に該カテゴリに該当する文書の集合が対応付けられているカテゴリの集合が入力されたとき、各カテゴリに対し、該カテゴリの各文書ベクトルを、該文書内の単語の、前記単語概念ベースから取得した単語ベクトルの重心として算出する文書ベクトル取得手段と、該カテゴリに対し、該カテゴリの各文書の、前記文書ベクトル取得手段で取得した文書ベクトルをクラスタリングし、その結果得られた文書ベクトルの各クラスタをサブカテゴリとするサブカテゴリ集合を取得する文書クラスタリング手段と、該カテゴリの、前記文書クラスタリング手段で取得した各サブカテゴリに対し、該サブカテゴリ内の各文書の、前記文書ベクトル取得手段で取得した文書ベクトルの重心を、該サブカテゴリのサブカテゴリベクトルとして取得するサブカテゴリベクトル取得手段とからなることを特徴とする文書分類装置である。
【００１１】
また、本発明は、上記文書分類装置において、文書が入力されると、該入力文書の入力文書ベクトルを、該入力文書内の単語の、前記単語概念ベースから取得した単語ベクトルの重心として算出する入力文書ベクトル取得手段と、各カテゴリに対し、該カテゴリの各サブカテゴリの、前記サブカテゴリベクトル取得手段で取得したサブカテゴリベクトルと、前記入力文書ベクトル取得手段で取得した入力文書ベクトルとの距離または類似度を求め、該距離の最小値、または、該類似度の最大値を、該カテゴリと入力文書との距離または類似度として出力する関連度算出手段とをさらに併せ持つことを特徴とする文書分類装置である。
【００１２】
図１は、上記で述べた各カテゴリ毎に、その文書ベクトルの集合をクラスタリングして、得られた各クラスタをサブカテゴリとし、サブカテゴリ内の重心ベクトルをサブカテゴリベクトルとするという請求項１の処理内容と、入力文書が与えられたとき、その入力文書ベクトルと、各サブカテゴリベクトルとの関連度を算出するという請求項２の処理内容を表したものである。
【発明の効果】
【００１３】
本発明では、各カテゴリの文書集合をクラスタリングするため、該カテゴリの文書ベクトル集合は、話題毎にクラスタを形成する。このクラスタがサブカテゴリに相当する。分類時に、入力文書の内容が、あるカテゴリＡのあるクラスタの話題に該当する場合、入力文書ベクトルは該クラスタの範囲に位置するため、該クラスタの重心ベクトルとの距離が、該クラスタとは別の、任意のカテゴリの任意のクラスタの重心ベクトルとの距離よりも近くなる。この結果、カテゴリ集合の中で、カテゴリＡとの距離が最も近くなり、分類精度が向上する。
【発明を実施するための最良の形態】
【００１４】
発明を実施するための最良の形態は、以下の実施例である。
【実施例１】
【００１５】
図２は、本発明の請求項１及び２の実施例における文書分類装置の構成例を示す。請求項１は、文書ベクトル取得手段（２．１）、文書クラスタリング手段（２．２）、サブカテゴリベクトル取得手段（２．３）、単語概念ベース（２．６）から構成され、請求項２は、それに入力文書ベクトル取得手段（２．４）、関連度算出手段（２．５）を加えて構成される。
【００１６】
単語概念ベース（２．６）は、単語とその意味表現である単語ベクトルの対の集合からなる。
【００１７】
図３は、単語概念ベース（２．６）の例を示す図であり、各単語には、ｄ次元の単語ベクトルが対応付けられている。単語概念ベース（２．６）では、意味の近い単語の単語ベクトルは距離が近くなるように、各単語に単語ベクトルが対応付けられている。単語をキーとして単語概念ベース（２．６）を検索することにより、該単語の単語ベクトルを取得することができる。
【００１８】
単語概念ベースの例としては、特開平６−１０３３１５号公報の「類似性判別装置」や、特開平７−３０２２６５号公報の「類似性判別用データ精錬方法およびこの方法を実施する装置」で開示されているデータベースがある。
【００１９】
また、Deerwesterの論文（S.Deerwester, S.T.Dumais, G.W.Furnas, T.K.Landauer and R.Harshman, Indexing by Latent Semantic Analysis, Journal of the American Society for Information Science, pp.391-407, 1990.）では、単語の文書における頻度を記録した単語・文書間の共起行列を特異値分解により次元数を縮退させた行列に変換しているが、この変換後の行列も概念ベースの一例である。Schutzeの論文（H.Schutze, Dimensions of Meaning, Proc. of Supercomputing '92, pp.786-796, 1992.）では、コーパス中の単語間の共起頻度を記録した単語・単語間の共起行列を特異値分解により次元数を縮退させた行列に変換しているが、この変換後の行列も概念ベースの一例である。
【００２０】
図４は、請求項１の処理のフローチャートの一例を示したものである。文書ベクトル取得手段（２．１）はステップ（４．１）、（４．２）、（４．３）から構成され、文書クラスタリング手段（２．２）はステップ（４．１）、（４．４）から構成され、サブカテゴリベクトル取得手段（２．３）はステップ（４．１）、（４．５）、（４．６）から構成される。
【００２１】
つまり、文書ベクトル取得手段（２．１）は、各カテゴリに対し、該カテゴリの各文書ベクトルを、該文書内の単語の、前記単語概念ベースから取得した単語ベクトルの重心として算出し、記憶装置に記憶する文書ベクトル取得手段の例である。
【００２２】
文書クラスタリング手段（２．２）は、該カテゴリに対し、該カテゴリの各文書の、前記文書ベクトル取得手段で取得した文書ベクトルをクラスタリングし、その結果得られた文書ベクトルの各クラスタをサブカテゴリとするサブカテゴリ集合を取得し、記憶装置に記憶する文書クラスタリング手段の例である。
【００２３】
サブカテゴリベクトル取得手段（２．３）は、該カテゴリの、前記文書クラスタリング手段で取得した各サブカテゴリに対し、該サブカテゴリ内の各文書の、前記文書ベクトル取得手段で取得した文書ベクトルの重心を、該サブカテゴリのサブカテゴリベクトルとして取得し、記憶装置に記憶するサブカテゴリベクトル取得手段の例である。
【００２４】
｛Ｃｐ｜１≦ｐ≦ｈ｝を、入力となるカテゴリの集合とする。各Ｃｐに対応付けられた文書集合を、｛Ｋｐｕ｜１≦ｕ≦ｎｐ｝とする。
【００２５】
ステップ（４．１）：処理対象のＣｐを決定する。処理対象のＣｐがあれば、ステップ（４．２）に移行し、なければ、本フローチャートを終了する。
【００２６】
ステップ（４．２）：Ｃｐの文書で、処理対象となる文書Ｋｐｕを決定する。処理対象のＫｐｕがあれば、ステップ（４．３）に移行し、なければ、ステップ（４．４）に移行する。
【００２７】
ステップ（４．３）：文書Ｋｐｕを形態素解析し、Ｋｐｕを以下のような必要語（名詞、動詞、形容詞等の、本発明の処理に必要な単語）の終止形の異なりＸｐｕｇと、ＸｐｕｇのＫｐｕ内での出現頻度ＴＦｐｕｇの組の集合で表す。
【００２８】
Ｋｐｕ；｛Ｘｐｕｇ：ＴＦｐｕｇ｜１≦ｇ≦ｔｐｕ｝
上記で、ＴＦｐｕｇの代わりに、以下の式で表されるＸｐｕｇのＴＦＩＤＦｐｕｇを用いて、以降の処理を行ってもよい。
【００２９】
【数１】
2010026782.tif 000003
【００３０】
ここで、ＤＮは、あるコーパスにおける文書数であり、ＯＮｐｕｇは、Ｘｐｕｇの該コーパスにおける出現文書数である。ＴＦＩＤＦｐｕｇが存在しない場合は、ＴＦＩＤＦｐｕｇ＝０とする。
【００３１】
各Ｘｐｕｇで単語概念ベース（２．６）を検索することにより、Ｘｐｕｇの単語ベクトルｖ（Ｘｐｕｇ）を取得し、以下の式のようにｖ（Ｘｐｕｇ）の重心として、Ｋｐｕの文書ベクトルｖ（Ｋｐｕ）を算出する。
【００３２】
【数２】
2010026782.tif 000004
【００３３】
また、上記式の右辺を長さ１に正規化したベクトルを、Ｋｐｕの文書ベクトルｖ（Ｋｐｕ）としてもよい。
【００３４】
ステップ（４．３）の処理が終了すれば、ステップ（４．２）に移行する。
【００３５】
ステップ（４．４）：文書ベクトルｖ（Ｋｐｕ）（１≦ｕ≦ｎｐ）の集合（ベクトルが同一でもｕが異なれば別物とする）をクラスタリングする。クラスタリングアルゴリズムとしては、例として、ウォード法やＫ−ｍｅａｎｓ法等がある。以下では、ウォード法でクラスタリングする場合の処理内容を述べる。
【００３６】
［ウォード法］
クラスタリングの終了条件として、（Ａ）：クラスタ数Ｎ０、（Ｂ）：距離の閾値ｄ０のいずれかを定めておく。
【００３７】
＜ｓｔｅｐ１＞：各ｖ（Ｋｐｕ）をクラスタとする。各ｖ（Ｋｐｕ）について
【００３８】
【数３】
2010026782.tif 000005
とする。上記で、Ｇｉはクラスタ、ｄ（Ｇｉ，Ｇｊ）は、Ｇｉ、Ｇｊ間のクラスタ間距離、Ｎはクラスタ数である。
【００３９】
クラスタ集合を
【００４０】
【数４】
2010026782.tif 000006
とする。
【００４１】
＜ｓｔｅｐ２＞：終了条件が（Ａ）で、かつ、Ｎ≦Ｎ０ならば、処理を終了する。
【００４２】
Ｎ＝１ならば、処理を終了する。
【００４３】
クラスタ間距離が最小となるクラスタ対を探す。
【００４４】
【数５】
2010026782.tif 000007
【００４５】
終了条件が（Ｂ）で、かつ、ｄ（Ｇｑ，Ｇｒ）＞ｄ０ならば、処理を終了する。
【００４６】
ＧｑとＧｒをＥから取り除き、Ｇ’＝Ｇｑ∪ＧｒをＥに追加する。
【００４７】
Ｎ：＝Ｎ−１とクラスタの数を１つ減らす。
【００４８】
＜ｓｔｅｐ３＞：全てのＧｉ∈Ｅ、Ｇｉ≠Ｇ’についてクラスタ間距離ｄ（Ｇ’，Ｇｉ）を以下の式により算出する。
【００４９】
【数６】
2010026782.tif 000008
【００５０】
ｓｔｅｐ２に移行する。
【００５１】
以上の処理により、文書ベクトルｖ（Ｋｐｕ）（またはｖ（Ｋｐｕ）に対応する文書Ｋｐｕ）のクラスタの集合｛Ｓｐｑ｜１≦ｑ≦ｍｐ｝が得られる。各ＳｐｑをＣｐのサブカテゴリと呼ぶ。
【００５２】
ステップ（４．４）の処理が終了すれば、ステップ（４．５）に移行する。
【００５３】
ステップ（４．５）：処理対象となるサブカテゴリＳｐｑを決定する。処理対象のＳｐｑがあれば、ステップ（４．６）に移行し、なければステップ（４．１）に移行する。
【００５４】
ステップ（４．６）：Ｓｐｑに属する文書集合を｛Ｄｐｑｒ｜１≦ｒ≦ｌｐｑ｝とする。以下の式のように文書Ｄｐｑｒの文書ベクトルｖ（Ｄｐｑｒ）の重心として、Ｓｐｑのカテゴリベクトルｖ（Ｓｐｑ）を算出する。
【００５５】
【数７】
2010026782.tif 000009
【００５６】
また、上記式の右辺を長さ１に正規化したベクトルを、Ｓｐｑのカテゴリベクトルｖ（Ｓｐｑ）としてもよい。
【００５７】
ステップ（４．６）の処理が終了すれば、ステップ（４．５）に移行する。
【００５８】
図５は、請求項２の処理のフローチャートの一例を示したものである。入力文書ベクトル取得手段（２．４）はステップ（５．１）から構成され、関連度算出手段（２．５）は、ステップ（５．２）、（５．３）、（５．４）、（５．５）から構成される。本フローチャートでは、さらにステップ（５．６）を追加している。
【００５９】
つまり、入力文書ベクトル取得手段（２．４）は、該入力文書の入力文書ベクトルを、該入力文書内の単語の、前記単語概念ベースから取得した単語ベクトルの重心として算出し、記憶装置に記憶する入力文書ベクトル取得手段の例である。
【００６０】
関連度算出手段（２．５）は、各カテゴリに対し、該カテゴリの各サブカテゴリの、前記サブカテゴリベクトル取得手段で取得したサブカテゴリベクトルと、前記入力文書ベクトル取得手段で取得した入力文書ベクトルとの距離または類似度を求め、該距離の最小値、または、該類似度の最大値を、該カテゴリと入力文書との距離または類似度として算出し、記憶装置に記憶し、出力する関連度算出手段の例である。
【００６１】
ステップ（５．１）：入力文書Ｌを形態素解析し、Ｌを以下のような必要語の終止形の異なりＷＬｆと、ＷＬｆのＬ内での出現頻度ＴＦＬｆの組の集合で表す。
【００６２】
Ｌ；｛ＷＬｆ：ＴＦＬｆ｜１≦ｆ≦ａＬ｝
上記で、ＴＦＬｆの代わりに、以下の式で表されるＷＬｆのＴＦＩＤＦＬｆを用いて、以降の処理を行ってもよい。
【００６３】
【数８】
2010026782.tif 000010
【００６４】
ここで、ＤＮは、あるコーパスにおける文書数であり、ＯＮＬｆは、ＷＬｆの該コーパスにおける出現文書数である。ＴＦＩＤＦＬｆが存在しない場合は、ＴＦＩＤＦＬｆ＝０とする。
【００６５】
各ＷＬｆで単語概念ベース（２．６）を検索することにより、ＷＬｆの単語ベクトルｖ（ＷＬｆ）を取得し、以下の式のようにｖ（ＷＬｆ）の重心として、Ｌの文書ベクトルｖ（Ｌ）を算出する。
【００６６】
【数９】
2010026782.tif 000011
【００６７】
また、上記式の右辺を長さ１に正規化したベクトルを、Ｌの文書ベクトルｖ（Ｌ)としてもよい。
【００６８】
ステップ（５．１）の処理が終了すれば、ステップ（５．２）に移行する。
【００６９】
ステップ（５．２）：処理対象のＣｐを決定する。処理対象のＣｐがあれば、ステップ（５．３）に移行し、なければ、ステップ（５．６）に移行する。
【００７０】
ステップ（５．３）：Ｃｐのサブカテゴリで、処理対象となるサブカテゴリＳｐｑを決定する。処理対象のＳｐｑがあれば、ステップ（５．４）に移行し、なければ、ステップ（５．２）に移行する。
【００７１】
ステップ（５．４）：ＬとＳｐｑとの関連度を算出する。
【００７２】
関連度が距離ならば、関連度を
ｄ（Ｌ，Ｓｐｑ）：‖ｖ（Ｌ）−ｖ（Ｓｐｑ）‖
として算出する。
【００７３】
関連度が類似度ならば、関連度を
ｓ（Ｌ，Ｓｐｑ）：＝（ｖ（Ｌ）・ｖ（Ｓｐｑ））／（‖ｖ（Ｌ）‖・‖ｖ（Ｓｐｑ）‖）
として算出する。上式の右辺の分子は、ｖ（Ｌ）、ｖ（Ｓｐｑ）の内積である。
【００７４】
ステップ（５．４）の処理が終了すれば、ステップ（５．５）に移行する。
【００７５】
ステップ（５．５）：ＬとＣｐとの関連度を算出、更新する。
【００７６】
関連度が距離ならば、ＬとＣｐとの関連度ｄ（Ｌ，Ｃｐ）を、以下のように算出、更新する。ステップ（５．５）に初めて入った場合は、ｄ（Ｌ，Ｓｐｑ）をｄ（Ｌ，Ｃｐ）とする。ステップ（５．５）に２回目以降に入った場合は、既に算出済みのｄ（Ｌ，Ｃｐ）について、ｄ（Ｌ，Ｓｐｑ）＜ｄ（Ｌ，Ｃｐ）であるならば、ｄ（Ｌ，Ｃｐ）をｄ（Ｌ，Ｓｐｑ）で更新する。
【００７７】
関連度が類似度ならば、ＬとＣｐとの関連度ｓ（Ｌ，Ｃｐ）を、以下のように算出、更新する。ステップ（５．５）に初めて入った場合は、ｓ（Ｌ，Ｓｐｑ）をｓ（Ｌ，Ｃｐ）とする。ステップ（５．５）に２回目以降に入った場合は、既に算出済みのｓ（Ｌ，Ｃｐ）について、ｓ（Ｌ，Ｓｐｑ）＞ｓ（Ｌ，Ｃｐ）であるならば、ｓ（Ｌ，Ｃｐ）をｓ（Ｌ，Ｓｐｑ）で更新する。
【００７８】
ステップ（５．５）の処理が終了すれば、ステップ（５．３）に移行する。
【００７９】
ステップ（５．６）：カテゴリ集合｛Ｃｐ｜１≦ｐ≦ｈ｝を、Ｌと各カテゴリＣｐとの関連度の高い順にソートする。
【００８０】
関連度が距離ならば、ｄ（Ｌ，Ｃｐ）の小さい順にＣｐをソートする。
【００８１】
関連度が類似度ならば、ｓ（Ｌ，Ｃｐ）の大きい順にＣｐをソートする。
【００８２】
ステップ（５．６）の処理が終了すれば、本フローチャートを終了する。
【００８３】
図５のフローチャートの処理により、カテゴリＣｐは入力文書Ｌとの関連度の高い順にランキングされる。関連度の高いカテゴリを、入力文書Ｌの分類結果とする。
【００８４】
上記の実施の形態における処理をプログラムとして構築し、当該プログラムを通信回線または記録媒体からインストールし、ＣＰＵ等の手段で実施することが可能である。
【００８５】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【００８６】
上記実施例において、手段を工程に置き換えれば、方法の発明として把握することができる。つまり、上記実施例は、単語とその意味表現である単語ベクトルの対の集合を格納した単語概念ベースを具備し、カテゴリ毎に該カテゴリに該当する文書の集合が対応付けられているカテゴリの集合が入力されたとき、各カテゴリに対し、該カテゴリの各文書ベクトルを、該文書内の単語の、前記単語概念ベースから取得した単語ベクトルの重心として算出し、記憶装置に記憶する文書ベクトル取得工程と、該カテゴリに対し、該カテゴリの各文書の、前記文書ベクトル取得工程で取得した文書ベクトルをクラスタリングし、その結果得られた文書ベクトルの各クラスタをサブカテゴリとするサブカテゴリ集合を取得し、記憶装置に記憶する文書クラスタリング工程と、該カテゴリの、前記文書クラスタリング工程で取得した各サブカテゴリに対し、該サブカテゴリ内の各文書の、前記文書ベクトル取得工程で取得した文書ベクトルの重心を、該サブカテゴリのサブカテゴリベクトルとして取得し、記憶装置に記憶するサブカテゴリベクトル取得工程とからなることを特徴とする文書分類方法の例である。
【００８７】
この場合、文書が入力されると、該入力文書の入力文書ベクトルを、該入力文書内の単語の、前記単語概念ベースから取得した単語ベクトルの重心として算出し、記憶装置に記憶する入力文書ベクトル取得工程と、各カテゴリに対し、該カテゴリの各サブカテゴリの、前記サブカテゴリベクトル取得工程で取得したサブカテゴリベクトルと、前記入力文書ベクトル取得工程で取得した入力文書ベクトルとの距離または類似度を求め、該距離の最小値、または、該類似度の最大値を、該カテゴリと入力文書との距離または類似度として算出し、記憶装置に記憶し、出力する関連度算出工程とをさらに併せ持つ。
【００８８】
また、上記実施例をプログラムの発明として把握することができる。つまり、上記実施例は、請求項１又は請求項２記載の文書分類装置を構成する各手段としてコンピュータを機能させるプログラムの例である。
【００８９】
さらに、上記プログラムを記録媒体に記録するようにしてもよい。つまり、上記実施例は、請求項１又は請求項２記載の文書分類装置を構成する各手段としてコンピュータを機能させるプログラムを記録したコンピュータ読取可能な記録媒体の例である。なお、上記記録媒体として、ＤＶＤ、ＨＤ、光ディスク、光磁気ディスク、半導体メモリ等を想定することができる。
【産業上の利用可能性】
【００９０】
本発明は、言語処理技術に適用可能である。
【図面の簡単な説明】
【００９１】
【図１】各カテゴリ毎に、その文書ベクトルの集合をクラスタリングして、得られた各クラスタをサブカテゴリとし、サブカテゴリ内の重心ベクトルをサブカテゴリベクトルとするという請求項１の処理内容と、入力文書が与えられたとき、その入力文書ベクトルと、各サブカテゴリベクトルとの関連度を算出するという請求項２の処理内容を表した図である。
【図２】本発明の請求項１及び２の実施例における文書分類装置の構成例を示す図である。
【図３】単語概念ベース（２．６）の例を示す図であり、各単語には、ｄ次元の単語ベクトルが対応付けられている。
【図４】請求項１の処理の一例を示すフローチャートである。
【図５】請求項２の処理の一例を示すフローチャートである。
【符号の説明】
【００９２】
（２．１）…文書ベクトル取得手段、
（２．２）…文書クラスタリング手段、
（２．３）…サブカテゴリベクトル取得手段、
（２．４）…入力文書ベクトル取得手段、
（２．５）…関連度算出手段、
（２．６）…単語概念ベース。
【図１】
2010026782.tif 000012
【図２】
2010026782.tif 000013
【図３】
2010026782.tif 000014
【図４】
2010026782.tif 000015
【図５】
2010026782.tif 000016