(57)【特許請求の範囲】
【請求項１】
大量の情報を大量のカテゴリに自動分類する情報自動分類方法において、
自然言語で記述された文書を入力データとして受信する第１のステップと、
前記第１のステップで受信された入力データを記憶する第２のステップと、
分類するためのカテゴリとその特徴とを入力データとして受信する第３のステップと、
前記第３のステップで受信されたカテゴリとその特徴とを記憶する第４のステップと、
正しく分類された文書と、正しく分類されなかった文書とを入力データとして受信する第５のステップと、
前記第５のステップで受信された文書を記憶する第６のステップと、
前記第５のステップで受信された文書を用いて、正しく分類された文書は、前記第３のステップで受信されたカテゴリの情報として追加し、正しく分類されなかった文書は、新規に仮カテゴリを自動生成してそこに割り当てる第７のステップと、
前記第３のステップで受信されたカテゴリの情報と前記第７のステップで得られた仮カテゴリの情報とに対して、前記第１のステップで受信された文書を分類する第８のステップとを、
具備することを特徴とする情報自動分類方法。
【請求項２】
前記第７のステップにおいて、前記第５のステップで受信された文書を用いて、正しく分類されなかった文書を仮カテゴリに割り当て、前記第８のステップにおいて、前記第１のステップで受信された文書を、前記第３のステップで受信されたカテゴリとそれに対する仮カテゴリとのどちらか一方に分類することを特徴とする請求項１に記載された情報自動分類方法。
【請求項３】
大量の情報を大量のカテゴリに自動分類する情報自動分類装置において、
自然言語で記述された文書を入力データとして受信する文書入力部と、
前記文書入力部で受信された入力データを記憶する文書記憶部と、
分類するためのカテゴリとその特徴とを入力データとして受信するカテゴリ情報入力部と、
前記カテゴリ情報入力部で受信されたカテゴリとその特徴とを記憶するカテゴリ情報記憶部と、
正しく分類された文書と、正しく分類されなかった文書とを入力するデータとして受信する分類結果入力部と、
前記分類結果入力部で受信された文書を記憶する分類結果記憶部と、
前記分類結果入力部で受信された文書を用いて、正しく分類された文書は、前記カテゴリ情報入力部で受信されたカテゴリの情報として追加し、正しく分類されなかった文書は、新規に仮カテゴリを自動生成してそこに割り当てる仮カテゴリ生成部と、
前記カテゴリ情報入力部で受信されたカテゴリの情報と前記仮カテゴリ生成部で得られた仮カテゴリの情報とに対して、前記文書入力部で受信された文書を分類する分類計算部とを、
具備することを特徴とする情報自動分類装置。
【請求項４】
前記仮カテゴリ生成部において、前記分類結果入力部で受信された文書を用いて、正しく分類されなかった文書を仮カテゴリに割り当て、前記分類計算部において、前記文書入力部で受信された文書を、前記カテゴリ情報入力部で受信されたカテゴリとそれに対する仮カテゴリとのどちらか一方に分類することを特徴とする請求項３に記載された情報自動分類装置。
【請求項５】
大量の情報を大量のカテゴリに自動分類する情報自動分類方法を記録した記録媒体において、
自然言語で記述された文書を入力データとして受信する第１のステップと、
前記第１のステップで受信された入力データを記憶する第２のステップと、
分類するためのカテゴリとその特徴とを入力データとして受信する第３のステップと、
前記第３のステップで受信されたカテゴリとその特徴とを記憶する第４のステップと、
正しく分類された文書と、正しく分類されなかった文書とを入力データとして受信する第５のステップと、
前記第５のステップで受信された文書を記憶する第６のステップと、
前記第５のステップで受信された文書を用いて、正しく分類された文書は、前記第３のステップで受信されたカテゴリの情報として追加し、正しく分類されなかった文書は、新規に仮カテゴリを自動生成してそこに割り当てる第７のステップと、
前記第３のステップで受信されたカテゴリの情報と前記第７のステップで得られた仮カテゴリの情報とに対して、前記第１のステップで受信された文書を分類する第８のステップとを、
情報処理手段に実行させるための処理プログラムを記録してなることを特徴とする記録媒体。
【請求項６】
前記第７のステップにおいて、前記第５のステップで受信された文書を用いて、正しく分類されなかった文書を仮カテゴリに割り当て、前記第８のステップにおいて、前記第１のステップで受信された文書を、前記第３のステップで受信されたカテゴリとそれに対する仮カテゴリとのどちらか一方に分類するようにした、
情報処理手段に実行させるための処理プログラムを記録してなることを特徴とする請求項５に記載された記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、大量の文書データを自動分類するようにした情報自動分類方法およびその装置およびこの方法を記録した記録媒体に関する。
【０００２】
【従来の技術】
近年、インターネットなどのコンピュータネットワークを通じて、大量の電子化された文書をやり取りできるようになっている。そのため、個人が必要とする情報を検索できるようなサービスがネットワーク上で実現されている。しかし、そのために自分が獲得した情報が大量になってしまい、個々の情報の持つ特徴を抽出することが困難となる。そこで、獲得した情報を分類し整理する技術が必要となる。
【０００３】
従来から、文書情報を自動的に分類する手法の研究が行われている。代表的な手法としては、図書館のように分類するための区切り（カテゴリと呼ぶ）が既知で、新規の情報に対しそれぞれ適切と思われるカテゴリに分類する手法（“分類体系相互の関係を利用したテキストの自動分類”山本，増山（豊橋技術科学大学）内藤（ＮＴＴ），１９９５    自然言語処理学会研究会  ３月）や、分類するカテゴリが未知で、文書集合の中から類似する文書を集めて分類カテゴリを作成し割り当てるという方法（“競合学習ニューラルネットワークによる自動分割”菊地，松岡ら（宇都宮大  他），１９９５    信学会  論文誌  １０月）などがある。これらの技術により、大量の文書の分類整理を行うようにされる。
【０００４】
本発明が対象としている分類手法は、前者の、あらかじめ分類するためのカテゴリが既知の場合の手法である。あらかじめ分類するためのカテゴリと、そこに入るべきサンプルの文書または単語をシステムに対して与えると、システムはそれらの情報から単語の重要度を計算し、カテゴリの特徴として単語とそのカテゴリに対する重要度が対のベクトルを生成する。分類する文書に対しても同様に、単語と文書とに対する重要度を計算し、ベクトルを生成する（“Ａｕｔｏｍａｔｉｃ  Ｔｅｘｔ  Ｐｒｏｃｅｓｓｉｎｇ”  Ｇｅｒａｒｄ  Ｓａｌｔｏｎ，  １９８９  Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ  ｐｕｂ．ｃｏ．）。
【０００５】
カテゴリｉそれぞれに生成される特徴ベクトルＷｉ（ベクトル）は、
Ｗｉ（ベクトル）＝（ｗｉ１，・・・，ｗｉｊ，・・・，ｗｉＮ）    （１）
ｗｉｊ  ．．．  カテゴリｉに対する単語ｊの重要度                （２）
となる。ちなみに、Ｎは次元数を表している。特徴ベクトルＷｉ（ベクトル）の各要素の値の計算には、各カテゴリが持つ単語の出現頻度等を比較し、多くのカテゴリに存在する単語に対する値は小さく、あるカテゴリに偏って出現する単語の値は大きくなるように計算しておく。
【０００６】
分類は、カテゴリの持つ特徴ベクトルと文書の持つ特徴ベクトルとの距離を定義し、その値を利用して各文書を類似するカテゴリに割り当てる。また距離が非常に離れている、すなわち、どのカテゴリとも類似しないと判断した場合は、どのカテゴリにも割り当てない。
【０００７】
【発明が解決しようとする課題】
従来の手法では、同音異義語が含まれている場合などは、適切な単語を含む特徴ベクトルが生成できず、そのような特徴ベクトルを用いて分類を行うと、カテゴリに適切でない文書が分類される場合があった。
【０００８】
本発明は、分類した結果を用いて、正しく分類された文書は正しく分類されたカテゴリに割り当て、誤って分類された文書は新しいカテゴリ（仮カテゴリ）を自動作成しそこに割り当て、入力されたカテゴリとそれに対する仮カテゴリを用いて分類することにより、分類精度を向上させるようにすることを目的としている。
【０００９】
【課題を解決するための手段】
あらかじめ与えられたカテゴリに対し、いくつか文書を分類させる。その結果、いくつかの文書が適切なカテゴリに分類されない場合がある。
【００１０】
本発明では、正しく分類されなかった文書を、新規に仮カテゴリを自動作成して割り当てる。この仮カテゴリは、正しく分類されなかったカテゴリに対して生成する。分類処理を行う時、カテゴリとそれに対する仮カテゴリと文書との類似度を計算し、類似しているカテゴリのどちらか一方に割り当てることにする。仮カテゴリは、複数のカテゴリに対して、一つ生成する場合もある。
【００１１】
正しく分類されなかった原因は、類似した単語を用いているが内容が異なる場合であり、この作業により類似した単語群が存在している文書であっても、別のカテゴリを生成し、そこで特徴ベクトルを生成させることで、類似した単語群以外の単語をカテゴリの特徴ベクトルとして抽出でき、これによって、分類精度を向上させることができる。
【００１２】
【発明の実施の形態】
以下、図面と共に本発明の実施形態を説明する。なお、実施形態を説明する全図において、同一要素には同一符号を付け、その繰り返しの説明を省く。
【００１３】
図１は、本発明の一発明の実施の形態である情報自動分類装置の概略構成を示すブロック図であり、１０１は文書入力部、１０２は文書記憶部、１０３はカテゴリ情報入力部、１０４はカテゴリ情報記憶部、１０５は分類結果入力部、１０６は分類結果記憶部、１０７は仮カテゴリ生成部、１０８は分類計算部である。
【００１４】
（各部の説明）
本発明の実施の形態の情報自動分類装置では、処理を施したい文書を文書入力部１０１にて入力する。処理を施したい文書としては、コンピュータに入力した文書すべてが含まれる。例えば、新聞記事やインターネット上のＨＴＭＬファイルやネットニュース、文字放送やＦＭ多重放送やテレビでの放送原稿等がある。また、文書記憶部１０２では、文書入力部１０１において入力した情報を、情報発信媒体それぞれ、あるいは、情報発信媒体のいくつか、あるいは、すべての情報発信媒体全体の文書を取り出せるように記憶する。
【００１５】
カテゴリ情報入力部１０３では、システム利用者が分類したいカテゴリと、それに入るサンプルになる文書情報やキーワードとを入力する。例えば、スポーツの高校野球に関する情報を集めるのであれば、“高校野球”に関するカテゴリと、新聞記事やインターネットなどから収集した高校野球に関する文書やキーワードとを入力する。
【００１６】
カテゴリ情報記憶部１０４では、カテゴリ情報入力部１０３で入力された情報の記憶と、入力された情報から特徴ベクトルの計算と、その結果との記憶を行う。
【００１７】
分類結果入力部１０５では、いくつか分類を行った結果を入力する。正しく分類された文書およびそれが割り当てられていたカテゴリ名と、正しく分類されなかった文書およびそれが割り当てられていたカテゴリ名とを入力する。例えば、“高校野球”に関するカテゴリへの分類を行った結果があり、“プロ野球”に関する文書が誤って高校野球に分類されていたとすると、正しく分類されなかった文書として、“プロ野球”に関する文書とそれが正しく分類されていなかったのが“高校野球”に関するカテゴリであることを入力する。
【００１８】
仮カテゴリ生成部１０７では、正しく分類されていなかった文書を、新規に仮カテゴリを生成し、そこに割り当てる。そうして生成した仮カテゴリと文書の情報とをカテゴリ情報記憶部１０４に記憶させる。これにより、カテゴリ情報記憶部１０４で、仮カテゴリの特徴ベクトルが生成され記憶される。また、このとき、仮カテゴリと対になる、正しく分類されていなかったカテゴリ名も記憶される。正しく分類された文書が分類結果入力部１０５より入力されていた場合、カテゴリ情報入力部１０３で入力されたカテゴリの情報と組み合わせて、カテゴリ情報記憶部１０４に記憶させる。
【００１９】
分類計算部１０８では、文書入力部１０１で入力された文書をカテゴリと仮カテゴリとに割り当てる処理を行う。仮カテゴリが存在するカテゴリがあった場合、分類処理は仮カテゴリとカテゴリとの両方に分類することはなく、カテゴリかそれに対する仮カテゴリのどちらかに分類する。仮カテゴリ以外のカテゴリに対する分類は複数のカテゴリに割り当てられるような分類基準でも構わない。
【００２０】
（具体例を用いた処理の説明）
例を用いて本発明の処理の流れを具体的に説明する。図２は仮カテゴリを生成していない場合の分類処理の一例を示し、図３は仮カテゴリを生成した場合の分類処理の一例を示す。
【００２１】
システムに入力する文書は、新聞社の過去１０年の新聞記事とする。文書集合を文書入力部１０１より入力する。
次に、カテゴリ情報入力部１０３より、収集したいカテゴリとそこに入るサンプルとなる文書や単語を入力する。例えば、「“生命保険”に関するカテゴリ」や「“台風”に関するカテゴリ」を入力し、それぞれのカテゴリに入るべきサンプル文書として、過去の“生命保険”に関するいくつかの記事を「“生命保険”に関するカテゴリ」へ、過去の“台風”の情報や台風による被害の記事を「“台風”に関するカテゴリ」に割り当てることを入力する。
【００２２】
カテゴリ情報記憶部１０４では、カテゴリ情報入力部１０３で入力された情報から、各カテゴリの特徴ベクトルを作成し記憶する。例えば、「“生命保険”に関するカテゴリ」では、入力されたサンプルの文書から特徴ベクトルとして、
（（生命保険，０．２３），（保険，０．１３），（損害，０．１０），（自由化，０．０８），
（会社Ａ，０．０５），・・・）                                    （３）
などを生成し記憶する。また、「“台風”に関するカテゴリ」では、入力されたサンプルの文書から特徴ベクトルとして、
（（台風，０．２５），（被害，０．２１），（上陸，０．１８），（強さ，０．１４），（屋根，０．１０），  ・・・）  （４）
などを生成し記憶する。
【００２３】
次に、分類結果入力部１０５より、カテゴリ情報入力部１０３で入力されたカテゴリに対して分類した過去の結果の入力を行う。例えば、「“生命保険”に関するカテゴリ」では、“生命保険”  や“生命”や“保険”などの単語が特徴ベクトルとして獲得される。この特徴ベクトルでは“保険”という単語のために、図２に示す如く例えば“損害保険”に関する文書が「“生命保険”に関するカテゴリ」に分類されてしまうことがある。即ち、図２においては「“生命保険”に関するカテゴリ」に分類されている。過去の結果、あるいは、いくつかサンプルを分類することによって正しく分類できなかった文書例が抽出出来た場合、そのような文書を「“生命保険”に関するカテゴリ」の正しく分類されなかった例として入力する。
【００２４】
仮カテゴリ生成部１０７では、分類結果入力部１０５からの入力により、新規の仮カテゴリを生成し、正しく分類されなかった文書を割り当てる。例えば、「“生命保険”に関するカテゴリ」に誤って分類されなかった文書は、図３に示す如く仮カテゴリを生成し（これを「“生命保険”に対する仮カテゴリ」と呼ぶことにする）、そこにすべて割り当てる。
【００２５】
仮カテゴリ生成部１０７で生成された仮カテゴリと文書情報とをカテゴリ情報記憶部１０４に記憶させ、特徴ベクトルを生成させる。例えば、「“生命保険”に対する仮カテゴリ」では、正しく分類されなかった文書として“損害保険”に関する文書が多ければ、その特徴ベクトルは、
（（損害保険，０．２３），（保険，０．２２），（保証，０．１１），（生命，０．０９），（災害，０．０９），  ・・
・）                                                                                                          （５）
などとなる。
【００２６】
以後、分類計算部１０８では、カテゴリ情報記憶部１０４で記憶されているカテゴリとその特徴ベクトルを用いて、分類処理を行う。このとき、「“生命保険”のカテゴリ」への分類処理は、「“生命保険”に対する仮カテゴリ」と文書の類似度とを計算し、どちらか一方のカテゴリに分類する。今、例えば、「損害保険会社の株価が上昇し、他の保険会社では・・・」という新聞記事があった場合、この文書の特徴ベクトルは、
（（損害保険，０．１８），（保険，０．１６），（株価，０．１２），（業績，０．１１），  ・・・）  （６）
となったとする。カテゴリと文書の類似度の関数としてベクトルの内積を用いるとすると、この場合、「“生命保険”に対する仮カテゴリ」の方が類似度の値が大きくなる。その結果、図３に示す如く、従来手法である仮カテゴリが存在しない場合（図２の場合）には「“生命保険”に関するカテゴリ」に誤って分類された文書が、今回は「“生命保険”に対する仮カテゴリ」に割り当てられ、「“生命保険”に関するカテゴリ」には割り当てられなくなる。
【００２７】
仮カテゴリに関する情報を抽出することで、分類したいカテゴリと競合するカテゴリを把握することが出来、これを収集したいカテゴリとしてカテゴリ情報入力部１０３から人為的に入力することも可能である。また、仮カテゴリの情報と分類した結果を用いて、人手によりカテゴリ名を与えることで、仮カテゴリではなくカテゴリ情報入力部１０３で入力されたカテゴリと同等に扱うことができる。これにより、新規の文書情報とカテゴリを獲得することができる。
【００２８】
図４は本発明の一実施例の処理フローチャートを示している。
ステップ（Ｓ１）：分類する文書に対して、特徴ベクトルを作成する。
ステップ（Ｓ２）：あるカテゴリＡとの類似度を計算する。
【００２９】
ステップ（Ｓ３）：カテゴリＡと類似しているか否かを調べる。類似していればステップ（Ｓ５）へ進み、類似していなければステップ（Ｓ４）へ進む。
ステップ（Ｓ４）：次のカテゴリとの計算に向い、ステップ（Ｓ２）へ戻る。
【００３０】
ステップ（Ｓ５）：カテゴリＡに対する仮カテゴリがあるか否かを調べる。あればステップ（Ｓ７）へ進み、なければステップ（Ｓ６）へ進む。
ステップ（Ｓ６）：カテゴリＡに割り当て、次のカテゴリとの計算に向い、ステップ（Ｓ２）へ戻る。
【００３１】
ステップ（Ｓ７）：仮カテゴリと類似しているか否かを調べる。類似していればステップ（Ｓ９）へ進み、類似していなければステップ（Ｓ８）へ進む。
ステップ（Ｓ８）：カテゴリＡに割り当て、次のカテゴリとの計算に向い、ステップ（Ｓ２）へ戻る。
【００３２】
ステップ（Ｓ９）：仮カテゴリに割り当てる（カテゴリＡには割り当てない）。
ステップ（Ｓ１０）：別のカテゴリがあるか否かを調べる。あればステップ（Ｓ２）に戻る。なければ、ＥＮＤとなる。
【００３３】
以上において、情報自動分類方法や分類装置について説明したが、当該分類に関する処理は、プログラムの形で記録媒体に記録しておくことができる。このことから、本願発明は、当該記録媒体をも包含するものである。
【００３４】
【発明の効果】
本発明によれば、大量の文書集合を大量の分類カテゴリに分類する際に、分類処理した結果をサンプルとして与えることで、分類精度を向上させることができる。
【図面の簡単な説明】
【図１】本発明の一発明の実施の形態である情報自動分類装置の概略構成を示すブロック図である。
【図２】仮カテゴリを生成していない場合の情報自動分類装置の分類処理の一例である。
【図３】仮カテゴリを生成した場合の情報自動分類装置の分類処理の一例である。
【図４】本発明の一実施例処理フローチャートを示す。
【符号の説明】
１０１：文書入力部
１０２：文書記憶部
１０３：カテゴリ情報入力部
１０４：カテゴリ情報記憶部
１０５：分類結果入力部
１０６：分類結果記憶部
１０７：仮カテゴリ生成部
１０８：分類計算部
【図１】
0003566856.tif 000002
【図２】
0003566856.tif 000003
【図３】
0003566856.tif 000004
【図４】
0003566856.tif 000005