(57)【特許請求の範囲】
【請求項１】
複数の文書とその文書が属している複数のクラスのクラスラベルとが対応付けて格納されたクラスラベル付き文書データベース内の、前記文書を単語に分割し、その分割した単語と全クラス各々との関連性を求め、分割した各単語と各クラスの組合せ毎の関連性を格納した拡張特徴表現データベースを構築する特徴拡張手段と、
前記クラスラベル付き文書データベースの各文書に対して、前記拡張特徴表現データベース内の単語とクラスの関連性を文書特徴表現のデータとして付与し、拡張特徴表現付きクラスラベル付き文書データベースを構築し、クラスラベルが未知である文書が格納されたクラス未知文書データベースの各文書に対して、前記拡張特徴表現データベース内の単語とクラスの関連性を文書特徴表現のデータとして付与し、拡張特徴表現付き文書データベースを構築する拡張特徴表現付与手段と、
前記拡張特徴表現付きクラスラベル付き文書データベースの文書特徴表現およびクラスラベルのデータに基づいて学習を行って、クラス分類モデルを生成する学習手段と、
前記学習手段によって生成されたクラス分類モデルを用いて、前記拡張特徴表現付き文書データベース内のクラスラベルの未知文書がどのクラスに属するのかを推定し、クラスラベル未知文書に推定クラスラベルを付与する推定手段と、
を備えたことを特徴とする文書分類装置。
【請求項２】
前記特徴拡張手段は、前記クラスラベル付き文書データベースに格納されている全文書のうち、ある文書に含まれている分割されたある単語が出現する文書数と、あるクラスに属する全文書のうち、ある文書に含まれている分割されたある単語が出現する文書数との比を、前記単語とクラスとの関連性を表す関連性スコアとして求めることを特徴とする請求項１に記載の文書分類装置。
【請求項３】
特徴拡張手段が、複数の文書とその文書が属している複数のクラスのクラスラベルとが対応付けて格納されたクラスラベル付き文書データベース内の、前記文書を単語に分割し、その分割した単語と全クラス各々との関連性を求め、分割した各単語と各クラスの組合せ毎の関連性を格納した拡張特徴表現データベースを構築する特徴拡張ステップと、
拡張特徴表現付与手段が、前記クラスラベル付き文書データベースの各文書に対して、前記拡張特徴表現データベース内の単語とクラスの関連性を文書特徴表現のデータとして付与し、拡張特徴表現付きクラスラベル付き文書データベースを構築し、クラスラベルが未知である文書が格納されたクラス未知文書データベースの各文書に対して、前記拡張特徴表現データベース内の単語とクラスの関連性を文書特徴表現のデータとして付与し、拡張特徴表現付き文書データベースを構築するステップと、
学習手段が、前記拡張特徴表現付きクラスラベル付き文書データベースの文書特徴表現およびクラスラベルのデータに基づいて学習を行って、クラス分類モデルを生成するステップと、
推定手段が、前記学習手段によって生成されたクラス分類モデルを用いて、前記拡張特徴表現付き文書データベース内のクラスラベルの未知文書がどのクラスに属するのかを推定し、クラスラベル未知文書に推定クラスラベルを付与するステップと、
を備えたことを特徴とする文書分類方法。
【請求項４】
前記特徴拡張ステップは、前記クラスラベル付き文書データベースに格納されている全文書のうち、ある文書に含まれている分割されたある単語が出現する文書数と、あるクラスに属する全文書のうち、ある文書に含まれている分割されたある単語が出現する文書数との比を、前記単語とクラスとの関連性を表す関連性スコアとして求めることを特徴とする請求項３に記載の文書分類方法。
【請求項５】
コンピュータを請求項１又は２に記載の各手段として機能させる文書分類プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テキスト文書を複数クラスに分類する際の分類装置、方法、プログラムに関するものである。
【背景技術】
【０００２】
文書がカテゴリなどに基づいた複数のクラスに分類できる場合、文書中に含まれる情報やすでにクラスラベルが付与されている文書群を用いて、未知の文書が属するクラスを判定することで、文書の自動分類が可能となる。
【０００３】
従来、文書中に含まれる単語に関する様々な特徴を用いた文書分類の手法が考えられてきた。最も基本となる手法は、文書中に含まれる単語の出現回数のみをその文書の特徴とする方法である。
【０００４】
他にも、文書に含まれる単語のＴＦ−ＩＤＦの値をその文書の特徴とする手法（非特許文献１参照）などがあり、この特徴を用いてクラスラベル付与済みの文書を用いて推定器を生成し、文書の自動クラス分類を行っていた。
【０００５】
このように、文書中の単語と文書に付与されたクラスとの関連性を用いることで、クラスが未知の文書に対してクラスラベルを推定することが可能である。
【０００６】
尚、本発明において、単語を分割する手法は例えば非特許文献２の手法を用い、クラス分類モデルを生成する際の学習手法および文書がどのクラスに属するのかを推定する推定方法は、例えば非特許文献３の方法を用いる。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Ｔｈｏｒｓｔｅｎ  Ｊｏａｃｈｉｍｓ．“Ｔｅｘｔ  Ｃａｔｅｇｏｒｉｚａｔｉｏｎ  Ｗｉｔｈ  Ｓｕｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅｓ：Ｌｅａｒｎｉｎｇ  Ｗｉｔｈ  Ｍａｎｙ  Ｒｅｌｅｖａｎｔ  Ｆｅａｔｕｒｅｓ”．Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  １０ｔｈ  Ｅｕｒｏｐｅａｎ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ，ＥＣＭＬ  ’９８，ｐａｇｅｓ  １３７−１４２，Ｌｏｎｄｏｎ，ＵＫ，ＵＫ，１９９８．Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ．
【非特許文献２】Ｔａｋｅｓｈｉ  Ｆｕｃｈｉ  ａｎｄ  Ｓｈｉｎｉｃｈｉｒｏ  Ｔａｋａｇｉ．“Ｊａｐａｎｅｓｅ  Ｍｏｒｐｈｏｌｏｇｉｃａｌ  Ａｎａｌｙｚｅｒ  ｕｓｉｎｇ  Ｗｏｒｄ  Ｃｏ−ｏｃｃｕｒｒｅｎｃｅ”．Ｊｔａｇ．Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ３６ｔｈ  Ａｎｎｕａｌ  Ｍｅｅｔｉｎｇ  ｏｆ  ｔｈｅ  Ａｓｓｏｃｉａｔｉｏｎ  ｆｏｒ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｌｉｎｇｕｉｓｔｉｃｓ  ａｎｄ  １７ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｌｉｎｑｕｉｓｔｉｃｓ−Ｖｏｌｕｍｅ  １，ＡＣＬ’９８，ｐａｇｅｓ  ４０９−４１３，Ｓｔｒｏｕｄｓｂｕｒｇ，ＰＡ，ＵＳＡ，１９９８．Ａｓｓｏｃｉａｔｉｏｎ  ｆｏｒ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｌｉｎｇｕｉｓｔｉｃｓ．
【非特許文献３】Ｃｈｉｈ−Ｃｈｕｎｇ  Ｃｈａｎｇ  ａｎｄ  Ｃｈｉｈ−Ｊｅｎ  Ｌｉｎ．ＬＩＢＳＶＭ：Ａ  ｌｉｂｒａｒｙ  ｆｏｒ  ｓｕｐｐｏｒｔ  ｖｅｃｔｏｒ  ｍａｃｈｉｎｅｓ．ＡＣＭ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｎｔｅｌｌｉｇｅｎｔ  Ｓｙｓｔｅｍｓ  ａｎｄ  Ｔｅｃｈｎｏｌｏｇｙ，２：２７：１−２７：２７，２０１１．Ｓｏｆｔｗａｒｅ  ａｖａｉｌａｂｌｅ  ａｔ  ｈｔｔｐ：／／ｗｗｗ．ｃｓｉｅ．ｎｔｕ．ｅｄｕ．ｔｗ／ｃｊｌｉｎ／ｌｉｂｓｖｍ．
【発明の概要】
【発明が解決しようとする課題】
【０００８】
前述した従来の手法では、クラスラベル付き文書とその文書が属するクラスとの関連性を特徴として学習している。しかし、文書が属するクラス以外のクラスとの関連性については考慮されておらず、文書の特徴を十分に考慮できていない。
【０００９】
本発明は上記課題を解決するものであり、その目的は、クラスが未知である文書の分類精度を向上させた文書分類装置、方法、プログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するための本発明の文書分類装置は、複数の文書とその文書が属している複数のクラスのクラスラベルとが対応付けて格納されたクラスラベル付き文書データベース内の、前記文書を単語に分割し、その分割した単語と全クラス各々との関連性を求め、分割した各単語と各クラスの組合せ毎の関連性を格納した拡張特徴表現データベースを構築する特徴拡張手段と、前記クラスラベル付き文書データベースの各文書に対して、前記拡張特徴表現データベース内の単語とクラスの関連性を文書特徴表現のデータとして付与し、拡張特徴表現付きクラスラベル付き文書データベースを構築し、クラスラベルが未知である文書が格納されたクラス未知文書データベースの各文書に対して、前記拡張特徴表現データベース内の単語とクラスの関連性を文書特徴表現のデータとして付与し、拡張特徴表現付き文書データベースを構築する拡張特徴表現付与手段と、前記拡張特徴表現付きクラスラベル付き文書データベースの文書特徴表現およびクラスラベルのデータに基づいて学習を行って、クラス分類モデルを生成する学習手段と、前記学習手段によって生成されたクラス分類モデルを用いて、前記拡張特徴表現付き文書データベース内のクラスラベルの未知文書がどのクラスに属するのかを推定し、クラスラベル未知文書に推定クラスラベルを付与する推定手段と、を備えている。
【００１１】
また、前記特徴拡張手段は、前記クラスラベル付き文書データベースに格納されている全文書のうち、ある文書に含まれている分割されたある単語が出現する文書数と、あるクラスに属する全文書のうち、ある文書に含まれている分割されたある単語が出現する文書数との比を、前記単語とクラスとの関連性を表す関連性スコアとして求める。
【発明の効果】
【００１２】
本発明によれば、特徴拡張手段によって分割した各単語と各クラスとの関連性を求め、該関連性を拡張特徴表現付与手段によって各文書に対して、文書特徴表現として付与しているので、文書と全てのクラス各々との関連性を特徴とすることができ、これによってクラスが未知である文書の分類精度を向上することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態例を示す構成図。
【図２】図１の特徴拡張部が行う処理のフローチャート。
【図３】図１の拡張特徴表現付与部が行う処理のフローチャート。
【発明を実施するための形態】
【００１４】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。図１は本発明の一実施形態例による文書分類装置の構成を表している。
【００１５】
図１において、０１０は文書が属しているクラスのクラスラベルを格納したクラスラベル付き文書ＤＢ（データベース）、０８０はクラスラベルが未知である文書を格納したクラス未知文書ＤＢである。
【００１６】
０２０は特徴拡張手段としての特徴拡張部であり、クラスラベル付き文書ＤＢ０１０に格納されたクラスラベル付き文書を入力とし、拡張特徴表現データを拡張特徴表現データＤＢ０３０に出力する。
【００１７】
０４０は拡張特徴表現付与手段としての拡張特徴表現付与部であり、前記拡張特徴表現データＤＢ０３０とクラスラベル付き文書ＤＢ０１０又はクラス未知文書ＤＢ０８０を入力とする。入力がクラスラベル付き文書ＤＢ０１０の場合、拡張特徴表現付きクラスラベル付き文書ＤＢ０５０を出力し、入力がクラス未知文書ＤＢ０８０の場合、拡張特徴表現付き文書ＤＢ０９０を出力する。
【００１８】
０６０は学習手段としての学習部であり、拡張特徴表現付きクラスラベル付き文書ＤＢ０５０を入力とし、クラス分類モデルＤＢ０７０を出力とする。
【００１９】
１００は推定手段としての推定部であり、拡張特徴表現付き文書ＤＢ０９０とクラス分類モデルＤＢ０７０を入力とし、推定ラベル付き文書ＤＢ１１０を出力とする。
【００２０】
尚、本実施形態例では、特徴拡張部０２０、拡張特徴表現データＤＢ０３０、拡張特徴表現付与部０４０、拡張特徴表現付きクラスラベル付き文書ＤＢ０５０、学習部０６０およびクラス分類モデルＤＢ０７０によって、データ学習部を構成している。
【００２１】
図１に示す文書分類装置は、例えばコンピュータにより構成され、通常のコンピュータのハードウェアリソース、例えばＲＯＭ、ＲＡＭ、ＣＰＵ、入力装置、出力装置、通信インターフェース、ハードディスク、記録媒体およびその駆動装置を備えている。
【００２２】
このハードウェアリソースとソフトウェアリソース（ＯＳ、アプリケーションなど）との協働の結果、文書分類装置は、図１に示すように、クラスラベル付き文書ＤＢ０１０、特徴拡張部０２０、拡張特徴表現データＤＢ０３０、拡張特徴表現付与部０４０、拡張特徴表現付きクラスラベル付き文書ＤＢ０５０、学習部０６０、クラス分類モデルＤＢ０７０、クラス未知文書ＤＢ０８０、拡張特徴表現付き文書ＤＢ０９０、推定部１００および推定ラベル付き文書ＤＢ１１０を実装する。
【００２３】
前記クラスラベル付き文書ＤＢ０１０、拡張特徴表現データＤＢ０３０、拡張特徴表現付きクラスラベル付き文書ＤＢ０５０、クラス分類モデルＤＢ０７０、クラス未知文書ＤＢ０８０、拡張特徴表現付き文書ＤＢ０９０、および推定ラベル付き文書ＤＢ１１０は、ハードディスクあるいはＲＡＭなどの保存手段・記憶手段に構築されているものとする。
【００２４】
次に、上記のように構成された装置の各部を具体的に説明する。  
【００２５】
特徴拡張部０２０は、複数の文書とその文書が属している複数のクラスのクラスラベルとが対応付けて格納されたクラスラベル付き文書ＤＢ０１０内の、前記文書を単語に分割し、その分割した単語とクラスラベルが示すクラスとの関連性を求め、分割した各単語と各クラスの組合せ毎の関連性を格納した拡張特徴表現データＤＢ０３０を構築する。
【００２６】
クラスラベル付き文書ＤＢ０１０のデータ構造の例を表１に示す。
【００２７】
【表１】
0006040138.tif 000002
【００２８】
クラスラベル付き文書ＤＢ０１０は、文書が属しているクラスのクラスラベルを格納したＤＢである。ここでクラスとは、例えばカテゴリといったように文書の内容などの特徴に基づいて決まる２つ以上の分類先候補である。各文書はいずれか１つのクラスに属する。文書を識別するために一意に付与された表現を文書ＩＤとする。クラスを識別するために一意に付与された表現をクラスラベルとする。
【００２９】
ここでは、各クラスを数字で表したものをクラスラベルとした例を示す。クラスラベル付き文書ＤＢ０１０には、何らかの方法で予め属しているクラスが明らかになっている文書について、文書のテキストと属しているクラスのクラスラベルを対応付けて格納されている。
【００３０】
次に、拡張特徴表現データＤＢ０３０のデータ構造の例を表２に示す。  
【００３１】
【表２】
0006040138.tif 000003
【００３２】
拡張特徴表現データＤＢ０３０は、各単語と各クラスの組合せ毎に決まる拡張特徴表現を格納したＤＢである。特徴ＩＤとは、各単語と各クラスの組み合わせを個々に識別するために付与されているＩＤである。ここで、単語とクラスの拡張特徴表現として、異なる式で算出される複数の関連性スコアを用いる場合、特徴ＩＤは各単語と各クラスと関連性スコアの算出方法の種類によって一意に決まるものとして格納する。
【００３３】
ここでは、名詞と動詞のみの単語を扱う例を示したが、扱う単語の範囲はこれに限らない。クラスラベルは、クラスラベル付き文書ＤＢ０１０に格納されているクラスラベルと同一のものである。関連性スコアは、単語とクラスラベルの組み合わせによって一意に決まる数値である。
【００３４】
次に、特徴拡張部０２０の処理の流れを図２とともに説明する。  
【００３５】
（ステップＳ１−１）
クラスラベル付き文書ＤＢ０１０から未処理のレコードを選択する。
【００３６】
（ステップＳ１−２）
当該レコードのテキストを単語に分割し、クラスラベルが示すクラスと単語との関連性を求め、拡張特徴表現データＤＢ０３０に格納する。ここで、単語の分割に用いる手法は問わない。例えば非特許文献２に開示された手法を用いることができる。関連性スコアは、単語とクラスラベルが示すクラスとの関連の強さを表す数値である。ここでは、当該単語が出現する文書のうち、当該クラスに属する文書の割合を関連性とする場合の例を示す。計算方法を以下に示す。
【００３７】
ｎ個のクラスＣ1…Ｃnがあり、ある文書ｄがクラスＣiに属するとすると、文書ｄに含まれている単語ｗ1，…，ｗmのうち、ｗjとＣiの関連性を求める。クラスラベル付き文書ＤＢ０１０に格納されている全文書のうち、ｗjが出現する文書数はｓi個である。またクラスＣiに属する全文書のうち、ｗjが出現する文書数はｔj個である。この時、関連性Ｓｃｏｒｅ（ｗj，Ｃi）は以下の式（１）で求めることができる。
【００３８】
Ｓｃｏｒｅ（ｗj，Ｃi）＝ｔj／ｓi…（１）
これは、事後分布Ｐ（Ｃi｜ｗj）の値と等しい。
【００３９】
関連の強さを表す数値の他の例としては、
・当該単語が当該クラスに属する文書中に出現する回数。
【００４０】
・当該クラスに属する文書のうち、当該単語を含む文書の割合。これはＰ（ｗj｜Ｃi）の値と等しい。
【００４１】
などが挙げられる。
【００４２】
関連の強さを表す数値はこれらに限らず、単語とクラスに属する文書群との結びつきを数値化したものであればよい。また、各単語と各クラスとの関連性スコアは１種類だけでなく複数種類を用いたり、複数の値を組み合わせた値を用いてもよく、各単語の関連性スコアの数がクラス数を超えても構わない。
【００４３】
（ステップＳ１−３）
クラスラベル付き文書ＤＢ０１０に未処理のレコードがある場合にはステップＳ１−１に戻る。そうでない場合には処理を終了する。
【００４４】
次に、拡張特徴表現付与部０４０は、クラスラベル付き文書ＤＢ０１０の各文書に対して、拡張特徴表現データＤＢ０３０内の単語とクラスの関連性を文書特徴表現のデータとして付与し、拡張特徴表現付きクラスラベル付き文書ＤＢ０５０を構築し、クラスラベルが未知である文書が格納されたクラス未知文書ＤＢ０８０の各文書に対して、拡張特徴表現データＤＢ０３０内の単語とクラスの関連性を文書特徴表現のデータとして付与し、拡張特徴表現付き文書ＤＢ０９０を構築する。
【００４５】
拡張特徴表現付きクラスラベル付き文書ＤＢ０５０のデータ構造の例を表３に示す。  
【００４６】
【表３】
0006040138.tif 000004
【００４７】
拡張特徴表現付きクラスラベル付き文書ＤＢ０５０は、クラスラベル付き文書ＤＢ０１０に格納されている各文書に対して、文書特徴表現を付与したものを格納している。文書ＩＤとクラスラベルはクラスラベル付き文書ＤＢ０１０と同一である。文書特徴表現は、文書ＩＤが示す文書の特徴を表している。ここでは、“特徴ＩＤ：関連性”の形式で書いた特徴を羅列したものとしているが、格納形式はこれに限らない。
【００４８】
クラス未知文書ＤＢ０８０のデータ構造の例を表４に示す。  
【００４９】
【表４】
0006040138.tif 000005
【００５０】
クラス未知文書ＤＢ０８０は、クラスを推定する文書を格納したＤＢである。文書を識別するために一意に付与された表現を文書ＩＤとする。クラスラベルが未知である文書の文書ＩＤとテキストを対応させて格納している。
【００５１】
拡張特徴表現付きＤＢ０９０のデータ構造の例を表５に示す。  
【００５２】
【表５】
0006040138.tif 000006
【００５３】
拡張特徴表現付き文書ＤＢ０９０は、クラス未知文書ＤＢ０８０に格納されている各文書に対して、文書特徴表現を付与したものを格納している。文書ＩＤはクラス未知文書ＤＢ０８０と同一である。文書特徴表現は、文書ＩＤが示す文書の特徴を表している。ここでは“特徴ＩＤ：関連性”の形式で書いた特徴を羅列したものとしているが、格納形式はこれに限らない。
【００５４】
次に、拡張特徴表現付与部０４０の処理の流れを図３とともに説明する。  
【００５５】
（ステップＳ２−１）
クラスラベル付き文書ＤＢ０１０又はクラス未知文書ＤＢ０８０から未処理のレコードを選択し、当該レコードのテキストをＴとする。
【００５６】
（ステップＳ２−２）
当該選択されたレコードのテキストＴを単語に分割する。ここで、単語の分割に用いる手法は問わない。例えば、非特許文献２に開示された手法を用いることができる。
【００５７】
（ステップＳ２−３）
テキストＴから未処理の単語を選択し、ｗとする。
【００５８】
（ステップＳ２−４）
拡張特徴表現データＤＢ０３０から、単語ｗのレコードの各ラベルの関連性を全て拡張特徴表現付きクラスラベル付き文書ＤＢ０５０又は拡張特徴表現付き文書ＤＢ０９０に出力する。拡張特徴表現データＤＢ０３０から、単語ｗのレコード全ての特徴ＩＤと関連性スコアを取り出す。
【００５９】
（ステップＳ２−５）
テキストＴに未処理の単語がある場合にはステップＳ２−３に戻る。そうでない場合にはステップＳ２−６に進む。
【００６０】
（ステップＳ２−６）
テキストＴの文書特徴表現を生成し、拡張特徴表現付きクラスラベル付き文書ＤＢ０５０又は拡張特徴表現付き文書ＤＢ０９０に格納する。ここでは、テキストＴに含まれる各単語の各クラスにおける特徴ＩＤと関連性スコアを“特徴ＩＤ：関連性スコア”の形でスペース区切りで羅列したものを文書特徴表現としている。
【００６１】
文書特徴表現の形式は、各単語と各クラスとの関連性が表されていればよく、この形式に限るものではない。関連性スコアそのものではなく、関連性スコアが表している各単語と各クラスの関連の強さを表す表現であればよい。例えば、ある単語と各クラス間の関連性スコアの差を羅列したものや、ある単語と各クラス間の関連性スコアのエントロピーを羅列したものなどがある。
【００６２】
これらの方法で生成した文書特徴表現を格納する。入力された文書がクラスラベル付き文書ＤＢ０１０から取り出した文書であれば拡張特徴表現付きクラスラベル付き文書ＤＢ０５０に格納する。入力された文書がクラス未知文書ＤＢ０８０から取り出した文書であれば拡張特徴表現付き文書ＤＢ０９０に格納する。
【００６３】
（ステップＳ２−７）
クラスラベル付き文書ＤＢ０１０又はクラス未知文書ＤＢ０８０に未処理のレコードがある場合、ステップＳ２−１に戻る。そうでない場合には処理を終了する。
【００６４】
次に、学習部０６０は、拡張特徴表現付きクラスラベル付き文書ＤＢ０５０の文書特徴表現およびクラスラベルのデータに基づいて学習を行って、クラス分類モデルＤＢ０７０を生成する。
【００６５】
クラス分類モデルＤＢ０７０の生成方法は、拡張特徴表現付きクラスラベル付き文書ＤＢ０５０が持つ文書特徴表現とクラスラベルに基づいて学習する方法であれば詳細を問わない。例えば、非特許文献３などの方法がある。
【００６６】
次に推定部１００は、学習部０６０によって生成されたクラス分類モデルＤＢ０７０を用いて、拡張特徴表現付き文書ＤＢ０９０内のクラスラベルの未知文書がどのクラスに属するのかを推定し、クラスラベル未知文書に推定クラスラベルを付与して推定ラベル付き文書ＤＢ１１０を構築する。
【００６７】
推定ラベル付き文書ＤＢ１１０のデータ構造の例を表６に示す。  
【００６８】
【表６】
0006040138.tif 000007
【００６９】
推定ラベル付き文書ＤＢ１１０は、クラス未知文書ＤＢ０８０に推定クラスラベルが付与されて格納されている。文書ＩＤとテキストはクラス未知文書ＤＢ０８０と同一のものである。また、推定クラスラベルはクラスラベル付き文書ＤＢ０１０および拡張特徴表現付きクラスラベル付き文書ＤＢ０５０のクラスラベルと同一のものであることが望ましい。
【００７０】
推定部１００は、拡張特徴表現付き文書ＤＢ０９０とクラス分類モデルＤＢ０７０を用いて、クラス未知文書ＤＢ０８０の各文書がどのクラスに属するのかを推定し、その推定クラスラベルデータを格納する。推定方法は、非特許文献３の方法などを用いる。
【００７１】
上記のように本実施形態例によれば、特徴拡張部０２０を有することによって、文書が持つ特徴を、分類候補である全クラス各々と文書との関連性を表す特徴に拡張することができる。また、拡張特徴表現付与部０４０を有することによって、入力がクラスラベル付き文書の場合には、拡張特徴表現を用いたデータに変換した上で学習することができ、拡張特徴表現とクラスラベルを用いた学習とクラスラベルの推定が可能となる。
【００７２】
また、本実施形態の文書分類装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の文書分類方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標）  Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＨＤＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【符号の説明】
【００７３】
０１０…クラスラベル付き文書ＤＢ
０２０…特徴拡張部
０３０…拡張特徴表現データＤＢ
０４０…拡張特徴表現付与部
０５０…拡張特徴表現付きクラスラベル付き文書ＤＢ
０６０…学習部
０７０…クラス分類モデルＤＢ
０８０…クラス未知文書ＤＢ
０９０…拡張特徴表現付き文書ＤＢ
１００…推定部
１１０…推定ラベル付き文書ＤＢ
【図１】
0006040138.tif 000008
【図２】
0006040138.tif 000009
【図３】
0006040138.tif 000010