(57)【特許請求の範囲】
【請求項１】
コンピュータにより、大量の情報を大量のカテゴリに分類する大量情報自動分類方法であって、
利用者により入力された、自然言語で記述された文書を文書記憶部に記憶する文書記憶ステップと、
前記利用者により入力された、前記文書を分類するためのカテゴリおよびその特徴を記憶するとともに該カテゴリおよび特徴から特徴ベクトルを計算してカテゴリ情報記憶部に記憶するカテゴリ情報記憶ステップと、
前記利用者により入力された、分類処理のための初期値である分類基準を初期値記憶部に記憶する初期値記憶ステップと、
前記初期値記憶部に記憶された分類基準を基に複数のカテゴリ間の距離関数を組み合わせて、分類基準に応じた距離関数を作成し、この作成した距離関数を用いて前記カテゴリ情報記憶部に記憶されたカテゴリ間の距離を計算して、該カテゴリのうち類似したものを同一の中間カテゴリに割り当てるように中間カテゴリを生成するとともに、該中間カテゴリの特徴ベクトルを生成する中間カテゴリ生成ステップと、
前記文書記憶部に記憶された文書に存在する単語が、前記中間カテゴリ生成ステップにおいて生成された中間カテゴリが持つ特徴ベクトルに１つでも存在するか否かを判断する中間カテゴリ分類ステップと、
前記中間カテゴリ分類ステップで、前記文書に存在する単語が前記中間カテゴリに存在すると判断された場合にのみ、前記文書記憶部に記憶された文書と該中間カテゴリに割り当てられた前記カテゴリとの距離を計算して、入力された文書を前記カテゴリ情報記憶部に記憶されたカテゴリに分類する実カテゴリ分類ステップと、
を有することを特徴とする大量情報自動分類方法。
【請求項２】
大量の情報を大量のカテゴリに分類する大量情報自動分類装置であって、
利用者により入力された、自然言語で記述された文書を記憶する文書記憶手段と、
前記利用者により入力された、前記文書を分類するためのカテゴリおよびその特徴を記憶するとともに該カテゴリおよび特徴から特徴ベクトルを計算して記憶するカテゴリ情報記憶手段と、
前記利用者により入力された、分類処理のための初期値である分類基準を記憶する初期値記憶手段と、
前記初期値記憶手段に記憶された分類基準を基に複数のカテゴリ間の距離関数を組み合わせて、分類基準に応じた距離関数を作成し、この作成した距離関数を用いて前記カテゴリ情報記憶手段に記憶されたカテゴリ間の距離を計算して、該カテゴリのうち類似したものを同一の中間カテゴリに割り当てるように中間カテゴリを生成するとともに、該中間カテゴリの特徴ベクトルを生成する中間カテゴリ生成手段と、
前記文書記憶手段に記憶された文書に存在する単語が、前記中間カテゴリ生成手段において生成された中間カテゴリが持つ特徴ベクトルに１つでも存在するか否かを判断する中間カテゴリ分類手段と、
前記中間カテゴリ分類手段で、前記文書に存在する単語が前記中間カテゴリに存在すると判断された場合にのみ、前記文書記憶手段に記憶された文書と該中間カテゴリに割り当てられた前記カテゴリとの距離を計算して、入力された文書を前記カテゴリ情報記憶手段に記憶されたカテゴリに分類する実カテゴリ分類手段と、
を有することを特徴とする大量情報自動分類装置。
【請求項３】
大量の情報を大量のカテゴリに分類する大量情報自動分類プログラムを記録した記録媒体であって、
利用者により入力された、自然言語で記述された文書を文書記憶部に記憶する文書記憶ステップと、
前記利用者により入力された、前記文書を分類するためのカテゴリおよびその特徴を記憶するとともに該カテゴリおよび特徴から特徴ベクトルを計算してカテゴリ情報記憶部に記憶するカテゴリ情報記憶ステップと、
前記利用者により入力された、分類処理のための初期値である分類基準を初期値記憶部に記憶する初期値記憶ステップと、
前記初期値記憶部に記憶された分類基準を基に複数のカテゴリ間の距離関数を組み合わせて、分類基準に応じた距離関数を作成し、この作成した距離関数を用いて前記カテゴリ情報記憶部に記憶されたカテゴリ間の距離を計算して、該カテゴリのうち類似したものを同一の中間カテゴリに割り当てるように中間カテゴリを生成するとともに、該中間カテゴリの特徴ベクトルを生成する中間カテゴリ生成ステップと、
前記文書記憶部に記憶された文書に存在する単語が、前記中間カテゴリ生成ステップにおいて生成された中間カテゴリが持つ特徴ベクトルに１つでも存在するか否かを判断する中間カテゴリ分類ステップと、
前記中間カテゴリ分類ステップで、前記文書に存在する単語が前記中間カテゴリに存在すると判断された場合にのみ、前記文書記憶部に記憶された文書と該中間カテゴリに割り当てられた前記カテゴリとの距離を計算して、入力された文書を前記カテゴリ情報記憶部に記憶されたカテゴリに分類する実カテゴリ分類ステップと、
をコンピュータに実行させることを特徴とする大量情報自動分類プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文書データ等の大量の情報を大量のカテゴリに高速に分類する大量情報自動分類方法および装置と大量情報自動分類プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
近年、インターネットなどのコンピュータネットワークを通じて、大量の電子化された文書をやり取りできるようになっている。そのため、個人が必要とする情報を検索できるようなサービスがネットワーク上で実現されている。しかし、そのために自分が獲得した情報が大量になってしまい、個々の情報の持つ特徴を抽出することが困難となる。そこで、獲得した情報を分類し整理する技術が必要となる。
【０００３】
従来から、文書情報を自動的に分類する手法の研究が行われている。代表的な手法としては、図書館のように分類するための区切り（カテゴリと呼ぶ）が既知で、新規の情報に対しそれぞれ適切と思われるカテゴリに分類する手法（“分類体系相互の関係を利用したテキストの自動分類”山本、増山（豊橋技術大学）、内藤（ＮＴＴ）、１９９５）や、分類するカテゴリが未知で、文書集合の中から類似する文書を集めて分類カテゴリを作成し割り当てるという方法（“競合学習ニューラルネットワークによる自動分割”菊池、松岡ら（宇都宮大  他）、１９９５）などがある。これらの技術により、大量の文書の分類整理を行う。
【０００４】
本発明が対象としている分類手法は、予め分類するためのカテゴリが既知の場合の手法である。予め分類するためのカテゴリと、そこに入るべきサンプルの文書または単語をシステムに対して与えると、システムはそれらの情報から単語の重要度を計算し、カテゴリの特徴として単語とそのカテゴリに対する重要度が対のベクトルを生成する。分類する文書に対しても同様に、単語と文書に対する重要度を計算し、ベクトルを生成する（”Ａｕｔｏｍａｔｉｃ  Ｔｅｘｔ  Ｐｒｏｃｅｓｓｉｎｇ”  Ｇｅｒａｒｄ  Ｓａｌｔｏｎ，１９８９）。
【０００５】
【数１】
0003571214.tif 000002
となる。ちなみに、Ｎは次元数を表している。同様に分類対象となる文書に対しても特徴ベクトルを生成する。
【０００６】
分類は、カテゴリの持つ特徴ベクトルと文書の持つ特徴ベクトルとの距離を定義し、その値を利用して各文書を類似するカテゴリに割り当てる。また、距離が非常に離れている、すなわち、どのカテゴリとも類似しないと判断した場合は、どのカテゴリにも割り当てない。
【０００７】
【発明が解決しようとする課題】
上述した従来の手法では、分類したいカテゴリの総数や出現する単語の数が多ければ多いほど、その数に比例して計算時間も増大するという問題がある。
【０００８】
本発明は、上記に鑑みてなされたもので、その目的とするところは、分類したい実カテゴリを予めいくつかの組である中間カテゴリに分け、中間カテゴリでの条件を満足した場合のみ実カテゴリとの距離計算を行うことにより計算時間を短縮する大量情報自動分類方法および装置と大量情報自動分類プログラムを記録した記録媒体を提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、請求項１記載の本発明は、コンピュータにより、大量の情報を大量のカテゴリに分類する大量情報自動分類方法であって、利用者により入力された、自然言語で記述された文書を文書記憶部に記憶する文書記憶ステップと、前記利用者により入力された、前記文書を分類するためのカテゴリおよびその特徴を記憶するとともに該カテゴリおよび特徴から特徴ベクトルを計算してカテゴリ情報記憶部に記憶するカテゴリ情報記憶ステップと、前記利用者により入力された、分類処理のための初期値である分類基準を初期値記憶部に記憶する初期値記憶ステップと、前記初期値記憶部に記憶された分類基準を基に複数のカテゴリ間の距離関数を組み合わせて、分類基準に応じた距離関数を作成し、この作成した距離関数を用いて前記カテゴリ情報記憶部に記憶されたカテゴリ間の距離を計算して、該カテゴリのうち類似したものを同一の中間カテゴリに割り当てるように中間カテゴリを生成するとともに、該中間カテゴリの特徴ベクトルを生成する中間カテゴリ生成ステップと、前記文書記憶部に記憶された文書に存在する単語が、前記中間カテゴリ生成ステップにおいて生成された中間カテゴリが持つ特徴ベクトルに１つでも存在するか否かを判断する中間カテゴリ分類ステップと、前記中間カテゴリ分類ステップで、前記文書に存在する単語が前記中間カテゴリに存在すると判断された場合にのみ、前記文書記憶部に記憶された文書と該中間カテゴリに割り当てられた前記カテゴリとの距離を計算して、入力された文書を前記カテゴリ情報記憶部に記憶されたカテゴリに分類する実カテゴリ分類ステップと、を有することを要旨とする。
【００１０】
請求項１記載の本発明にあっては、利用者により入力された、自然言語で記述された文書を文書記憶部に記憶し、利用者により入力された、文書を分類するためのカテゴリおよびその特徴を記憶するとともに該カテゴリおよび特徴から特徴ベクトルを計算してカテゴリ情報記憶部に記憶し、利用者により入力された、分類処理のための初期値である分類基準を初期値記憶部に記憶し、この分類基準を基に複数のカテゴリ間の距離関数を組み合わせて、分類基準に応じた距離関数を作成し、この作成した距離関数を用いてカテゴリ間の距離を計算して、該カテゴリのうち類似したものを同一の中間カテゴリに割り当てるように中間カテゴリを生成するとともに、該中間カテゴリの特徴ベクトルを生成し、文書に存在する単語が、生成された中間カテゴリが持つ特徴ベクトルに１つでも存在するか否かを判断し、文書に存在する単語が中間カテゴリに存在すると判断された場合にのみ、文書と中間カテゴリに割り当てられたカテゴリとの距離を計算して、入力された文書を分類するため、文書を高速に分類することができる。
【００１５】
請求項２記載の本発明は、大量の情報を大量のカテゴリに分類する大量情報自動分類装置であって、利用者により入力された、自然言語で記述された文書を記憶する文書記憶手段と、前記利用者により入力された、前記文書を分類するためのカテゴリおよびその特徴を記憶するとともに該カテゴリおよび特徴から特徴ベクトルを計算して記憶するカテゴリ情報記憶手段と、前記利用者により入力された、分類処理のための初期値である分類基準を記憶する初期値記憶手段と、前記初期値記憶手段に記憶された分類基準を基に複数のカテゴリ間の距離関数を組み合わせて、分類基準に応じた距離関数を作成し、この作成した距離関数を用いて前記カテゴリ情報記憶手段に記憶されたカテゴリ間の距離を計算して、該カテゴリのうち類似したものを同一の中間カテゴリに割り当てるように中間カテゴリを生成するとともに、該中間カテゴリの特徴ベクトルを生成する中間カテゴリ生成手段と、前記文書記憶手段に記憶された文書に存在する単語が、前記中間カテゴリ生成手段において生成された中間カテゴリが持つ特徴ベクトルに１つでも存在するか否かを判断する中間カテゴリ分類手段と、前記中間カテゴリ分類手段で、前記文書に存在する単語が前記中間カテゴリに存在すると判断された場合にのみ、前記文書記憶手段に記憶された文書と該中間カテゴリに割り当てられた前記カテゴリとの距離を計算して、入力された文書を前記カテゴリ情報記憶手段に記憶されたカテゴリに分類する実カテゴリ分類手段と、を有することを要旨とする。
【００１６】
請求項２記載の本発明にあっては、利用者により入力された、自然言語で記述された文書を文書記憶部に記憶し、利用者により入力された、文書を分類するためのカテゴリおよびその特徴を記憶するとともに該カテゴリおよび特徴から特徴ベクトルを計算してカテゴリ情報記憶部に記憶し、利用者により入力された、分類処理のための初期値である分類基準を初期値記憶部に記憶し、この分類基準を基に複数のカテゴリ間の距離関数を組み合わせて、分類基準に応じた距離関数を作成し、この作成した距離関数を用いてカテゴリ間の距離を計算して、該カテゴリのうち類似したものを同一の中間カテゴリに割り当てるように中間カテゴリを生成するとともに、該中間カテゴリの特徴ベクトルを生成し、文書に存在する単語が、生成された中間カテゴリが持つ特徴ベクトルに１つでも存在するか否かを判断し、文書に存在する単語が中間カテゴリに存在すると判断された場合にのみ、文書と中間カテゴリに割り当てられたカテゴリとの距離を計算して、入力された文書を分類するため、文書を高速に分類することができる。
【００２１】
請求項３記載の本発明は、大量の情報を大量のカテゴリに分類する大量情報自動分類プログラムを記録した記録媒体であって、利用者により入力された、自然言語で記述された文書を文書記憶部に記憶する文書記憶ステップと、前記利用者により入力された、前記文書を分類するためのカテゴリおよびその特徴を記憶するとともに該カテゴリおよび特徴から特徴ベクトルを計算してカテゴリ情報記憶部に記憶するカテゴリ情報記憶ステップと、前記利用者により入力された、分類処理のための初期値である分類基準を初期値記憶部に記憶する初期値記憶ステップと、前記初期値記憶部に記憶された分類基準を基に複数のカテゴリ間の距離関数を組み合わせて、分類基準に応じた距離関数を作成し、この作成した距離関数を用いて前記カテゴリ情報記憶部に記憶されたカテゴリ間の距離を計算して、該カテゴリのうち類似したものを同一の中間カテゴリに割り当てるように中間カテゴリを生成するとともに、該中間カテゴリの特徴ベクトルを生成する中間カテゴリ生成ステップと、前記文書記憶部に記憶された文書に存在する単語が、前記中間カテゴリ生成ステップにおいて生成された中間カテゴリが持つ特徴ベクトルに１つでも存在するか否かを判断する中間カテゴリ分類ステップと、前記中間カテゴリ分類ステップで、前記文書に存在する単語が前記中間カテゴリに存在すると判断された場合にのみ、前記文書記憶部に記憶された文書と該中間カテゴリに割り当てられた前記カテゴリとの距離を計算して、入力された文書を前記カテゴリ情報記憶部に記憶されたカテゴリに分類する実カテゴリ分類ステップと、をコンピュータに実行させることを要旨とする。
【００２２】
請求項３記載の本発明にあっては、利用者により入力された、自然言語で記述された文書を文書記憶部に記憶し、利用者により入力された、文書を分類するためのカテゴリおよびその特徴を記憶するとともに該カテゴリおよび特徴から特徴ベクトルを計算してカテゴリ情報記憶部に記憶し、利用者により入力された、分類処理のための初期値である分類基準を初期値記憶部に記憶し、この分類基準を基に複数のカテゴリ間の距離関数を組み合わせて、分類基準に応じた距離関数を作成し、この作成した距離関数を用いてカテゴリ間の距離を計算して、該カテゴリのうち類似したものを同一の中間カテゴリに割り当てるように中間カテゴリを生成するとともに、該中間カテゴリの特徴ベクトルを生成し、文書に存在する単語が、生成された中間カテゴリが持つ特徴ベクトルに１つでも存在するか否かを判断し、文書に存在する単語が中間カテゴリに存在すると判断された場合にのみ、文書と中間カテゴリに割り当てられたカテゴリとの距離を計算して、入力された文書を分類する大量情報自動分類プログラムを記録しているため、該記録媒体を用いて、その流通性を高めることができる。
【００２７】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態について説明する。図１は、本発明の一実施形態に係る大量情報自動分類装置の構成を示すブロック図である。同図に示す大量情報自動分類装置は、自然言語で記述された文書を入力する文書入力部１０１、該文書入力部１０１で入力された文書を記憶する文書記憶部１０２、前記文書を分類するためのカテゴリおよびその特徴を入力するカテゴリ情報入力部１０３、該カテゴリ情報入力部１０３で入力されたカテゴリおよび特徴を記憶するとともに該カテゴリおよび特徴から特徴ベクトルを計算して記憶するカテゴリ情報記憶部１０４、分類処理のための初期値である分類基準を入力する初期値入力部１０５、該初期値入力部１０５で入力された分類基準を記憶する初期値記憶部１０６、前記カテゴリ情報入力部１０３で入力されたカテゴリおよびその特徴と前記初期値入力部１０５で入力された分類基準とを用いて、カテゴリを新規に作成し、前記カテゴリ情報入力部１０３で入力されたカテゴリで類似したものを同一の中間カテゴリに割り当てる中間カテゴリ計算部１０７、前記カテゴリ情報入力部１０３で入力されたカテゴリと前記中間カテゴリ計算部１０７で得たカテゴリとを用いて、前記文書入力部１０１で入力された文書を分類する実カテゴリ計算部１０８、および該実カテゴリ計算部１０８で分類された結果を表示する表示部１０９から構成されている。
【００２８】
このように構成される大量情報自動分類装置の作用を説明する前に、まず本実施形態の大量情報自動分類装置の基本的原理について説明する。本実施形態の大量情報自動分類装置は、分類したいカテゴリである実カテゴリを予めいくつかの組である中間カテゴリに分け、この中間カテゴリでの条件を満たした場合のみ、実カテゴリとの距離計算を行うことにより計算時間を短縮している。
【００２９】
更に詳細には、実カテゴリの持つ特徴ベクトルを用いて、カテゴリ間に距離を導入する。各実カテゴリ間の距離を計算し、類似する実カテゴリ同士を抽出し、２つ以上の類似したカテゴリを新規に作成した中間カテゴリに割り当てる。
【００３０】
カテゴリ間の距離関数として、特徴ベクトルの内積やカテゴリ間の単語の共起関係、それらを組み合わせて利用する。例えば、カテゴリｉとカテゴリｊの単語の共起関係Ｉｉｊを、
【数２】
0003571214.tif 000003
と定義する。共起関係Ｉｉｊはカテゴリｉとカテゴリｊでどれだけ共通の単語を有しているかを表す関数である。また、カテゴリｉとカテゴリｊの単語の重なり具合Ｒｉｊ、
【数３】
0003571214.tif 000004
などの関数も考えられる。特徴ベクトルの内積の値やカテゴリ間の共起関係の値の組み合わせなどで、カテゴリ間の類似度を定義する。
【００３１】
次に、実際の分類処理について説明する。文書の分類には、まず、文書と中間カテゴリとの距離を計算する。この距離により類似していると判断した場合に、中間カテゴリに属している実カテゴリとの距離を計算し分類するかどうかを判断する。
【００３２】
中間カテゴリの生成と分類処理時の判断基準は、実カテゴリでの分類基準に依存している。例えば、文書は実カテゴリのいずれか１つに必ず入るように分類する場合、実カテゴリはすべていずれかの中間カテゴリに属するように分類する。また、どこにも分類されない文書、すなわち、適切な実カテゴリがない文書は分類しない場合、中間カテゴリでの判断によっては実カテゴリとの計算を一度もせずに”どのカテゴリにも分類しない”という判断を下すことができる。また、中間カテゴリの生成に共起関係を利用し、判断基準として分類対象の文書内に存在する単語が中間カテゴリに存在するかどうかを利用すると、容易に分類精度を落とさず高速化できる。
【００３３】
また、中間カテゴリは１層に限ったわけではなく、中間カテゴリ間に距離を導入し中間カテゴリの中間カテゴリを作成し、多段階で分類するかどうかを判断することで、より高速化な分類を行うことができる。
【００３４】
次に、図１に示す大量情報自動分類装置について説明する。図１において、分類処理を施したい文書は、文書入力部１０１から入力される。この分類処理を施したい文書としては、コンピュータに入力した文書すべてが含まれる。例えば、新聞記事やインターネット上のＨＴＭＬファイルやネットニュース、文字放送やＦＭ多重放送やテレビでの放送原稿等がある。また、文書記憶部１０２では、文書入力部１０１において入力した情報を、情報発信媒体それぞれ、あるいは、情報発信媒体のいくつか、あるいは、すべての情報発信媒体全体の文書を取り出せるように記憶する。
【００３５】
カテゴリ情報入力部１０３では、システム利用者が分類したいカテゴリとそれに入るサンプルとなる文書情報やキーワードを入力する。例えば、スポーツのサッカーに関する情報を集めるのであれば、「サッカー」に関するカテゴリと新聞記事やインターネット上から収集したサッカーに関する文書やキーワードを入力する。
【００３６】
カテゴリ情報記憶部１０４では、カテゴリ情報入力部１０３で入力された情報の記憶と、入力された情報から特徴ベクトルの計算とその結果の記憶を行う。
【００３７】
初期値入力部１０５では、システムが計算を行う際の初期値を入力する。例えば、分類時の誤りの基準や、「すべての文書を類似するいずれか１つの実カテゴリに分類する」や「１つの文書を複数の実カテゴリに分類する」などの分類条件を入力する。
【００３８】
中間カテゴリ計算部１０７では、カテゴリ情報入力部１０３と初期値入力部１０５で入力された情報から、中間カテゴリを作成する。カテゴリ情報入力部１０３で入力された実カテゴリの情報から特徴ベクトルを生成し、初期値入力部１０５で入力された情報を利用して、実カテゴリ間の距離関数を決定し中間カテゴリを生成する。また、同時に中間カテゴリに属する実カテゴリに対して文書の分類を行うかどうかの判断基準も決定する。
【００３９】
実カテゴリ計算部１０８では、文書入力部１０１で入力された文書を実カテゴリに割り当てる処理を行う。中間カテゴリ計算部１０７の処理結果である中間カテゴリと判断基準を利用して、まず、中間カテゴリと文書との距離を計算する。その結果と中間カテゴリ計算部１０７で決定した中間カテゴリでの判断基準を用いて、中間カテゴリに属する実カテゴリと文書との距離計算を行うかどうかを判断する。計算する必要があれば、実際に文書と実カテゴリとの距離計算を行い、初期値入力部１０５で入力された分類基準に従って、文書を実カテゴリに割り当てる。
【００４０】
次に、具体例を用いて、本実施形態の作用について図２、図３を参照して詳細に説明する。システムに入力する文書集合は、新聞社の１９９８年の新聞記事とし、この文書集合を文書入力部１０１より入力する。
【００４１】
次に、カテゴリ情報入力部１０３より、収集したいカテゴリとそこに入るサンプルとなる文書や単語を入力する。例えば、「“交通事故”に関する記事を集める分類カテゴリ」や「“電気自動車”に関する記事を集める分類カテゴリ」や「“地震”に関する記事を集める分類カテゴリ」を入力し、それぞれのカテゴリに入るべきサンプル文書として、過去の“交通事故”に関するいくつかの記事を「“交通事故”に関する記事を集める分類カテゴリ」へ、“電気自動車”に関するいくつかの記事を「“電気自動車”に関する記事を集める分類カテゴリ」へ、“地震”に関するいくつかの記事を「“地震”に関する記事を集める分類カテゴリ」へ割り当てることを入力する。
【００４２】
カテゴリ情報記憶部１０４では、カテゴリ情報入力部１０３で入力された情報から、各カテゴリの特徴ベクトルを作成し記憶する。例えば、「“交通事故”に関する記事を集める分類カテゴリ」では、入力されたサンプルの文書から特徴ベクトルとして、
【数４】
（（自動車，０．２３），（スピード，０．１３），
（夜間，０．０８），（死者，０．０５），…）              …（５）
などを生成し記憶する。また、「“電気自動車”に関する記事を集める分類カテゴリ」では、入力されたサンプルの文書から特徴ベクトルとして、
【数５】
（（自動車，０．２０），（電気，０．１２），
（燃費，０．１０），（スピード，０．０４），…）          …（６）
などを生成し記憶する。また、「“地震”に関する記事を集める分類カテゴリ」では、入力されたサンプルの文書から特徴ベクトルとして、
【数６】
（（地震，０．１５），（震度，０．１０），
（死者，０．０７），（津波，０．０４），…）              …（７）
などを生成し記憶する。
【００４３】
次に、初期値入力部１０５より、分類するための初期値の入力を行う。ここでは、「いずれか１つの実カテゴリに割り当てる」という条件と「どの実カテゴリにも割り当てられない文書が存在することを許可する」という条件を与えたとする。
【００４４】
以上の入力処理から、まず、中間カテゴリ計算部１０７の処理を行う。例えば、「“交通事故”に関する記事を集める分類カテゴリ」と「“電気自動車”に関する記事を集める分類カテゴリ」と「“地震”に関する記事を集める分類カテゴリ」に対し、単語の重なり具体Ｒｉｊを利用すると、類似するカテゴリとして「“交通事故”に関する記事を集める分類カテゴリ」と「“電気自動車”に関する記事を集める分類カテゴリ」が、ある中間カテゴリに割り当てられる。この場合に、生成された中間カテゴリ名を話を分かりやすくするために「“自動車”の中間カテゴリ」と呼ぶことにする。「“自動車”の中間カテゴリ」が持つ特徴ベクトルを、「中間カテゴリ内の実カテゴリが持つ特徴ベクトルに共通に存在する単語」として生成すると、例えば、
【数７】
（（自動車，０．２１５），（スピード，０．０６５），…）    …（８）
という特徴ベクトルを生成する。各単語の重みは、元の特徴ベクトルの平均値とした。また、判断基準は「文書に存在する単語が、中間カテゴリが持つ特徴ベクトルに１つでも存在するかどうか」とする。
【００４５】
次に、実カテゴリ計算部１０８で、文書の実カテゴリへの分類処理が行われる。１９９８年の新聞記事で、例えば、図２に示すように、「自動車がスピードの出し過ぎでガードレールに衝突」という記事があったとする。この記事の特徴ベクトルは、
【数８】
（（衝突，０．２５），（自動車，０．１９），
（ガードレール，０．１２），（スピード，０．１０），…）  …（９）
となったとする。この特徴ベクトルと、「“自動車”の中間カテゴリ」と文書内の単語を比較する。この場合、「自動車」「スピード」という単語が記事の特徴ベクトルと中間カテゴリのそれの両方に存在するため、中間カテゴリでの判断基準を満たす。そのため、実カテゴリの「“交通事故”に関する記事を集める分類カテゴリ」と「“電気自動車”に関する記事を集める分類カテゴリ」との分類を行い、最終的に「“交通事故”に関する記事を集める分類カテゴリ」に割り当てる。
【００４６】
また、図３に示すように、「高校生サッカーの試合で、Ａ高校が優勝」という記事があったとする。この記事の特徴ベクトルは、
【数９】
（（高校生，０．１８），（サッカー，０．１５），
（優勝，０．１０），（Ａ高校，０．０９），…）            …（１０）
となったとする。この場合、「“自動車”の中間カテゴリ」の持つ特徴ベクトルと比較すると、共通の単語が存在せず判断基準を満たさない。そのため、実カテゴリである「“交通事故”に関する記事を集める分類カテゴリ」と「“電気自動車”に関する記事を集める分類カテゴリ」との分類は行わない。
【００４７】
表示部１０９では、分類結果を表示する。実カテゴリに分類された文書や分類されなかった文書、生成された中間カテゴリの情報や実カテゴリに特徴ベクトルの情報、分類に要した時間情報などを表示する。
【００４８】
【発明の効果】
以上説明したように、本発明によれば、文書を分類するためのカテゴリおよびその特徴を入力し、この入力されたカテゴリおよび特徴から特徴ベクトルを計算して記憶し、入力されたカテゴリおよびその特徴と入力された分類基準とを用いて、カテゴリを新規に作成し、入力されたカテゴリで類似したものを同一の中間カテゴリに割り当て、この作成されたカテゴリと入力されたカテゴリとを用いて、入力された文書を分類するので、大量の文書集合を大量の分類カテゴリに高速に分類することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る大量情報自動分類装置の構成を示すブロック図である。
【図２】図１に示す大量情報自動分類装置の具体例を説明するための図である。
【図３】図１に示す大量情報自動分類装置の具体例を説明するための図である。
【符号の説明】
１０１  文書入力部
１０２  文書記憶部
１０３  カテゴリ情報入力部
１０４  カテゴリ情報記憶部
１０５  初期値入力部
１０６  初期値記憶部
１０７  中間カテゴリ計算部
１０８  実カテゴリ計算部
１０９  表示部
【図１】
0003571214.tif 000005
【図２】
0003571214.tif 000006
【図３】
0003571214.tif 000007