(57)【要約】【課題】テキストの多重トピックス抽出を良好に行なう。【解決手段】任意のテキストをテキスト前処理部１に入力し、語彙中の単語の頻度を算出し、単語頻度ベクトルを作成し、該頻度ベクトルに基づいて、多重トピックステキストの確率モデルのパラメータを、各単一トピックのテキストの確率モデルのパラメータの線形和で表現する。次に、モデルパラメータ推定部２において該単語頻度ベクトルとテキストの帰属トピックスベクトルを用いて確率モデルのパラメータを学習する。トピックスが未知のテキストに対して、テキスト前処理部４で単語頻度ベクトルを算出し、多重トピックス予測部５で、該単語頻度ベクトルから、学習済みの確率モデルのパラメータを用いて、該テキストの帰属する多重トピックスを抽出する。【選択図】　　図１
2004046621.tif 000002
【特許請求の範囲】
【請求項１】
任意のテキストから、該テキストが帰属する１つまたは複数のトピックスを抽出する方法であって、
テキストを予め定めた全語彙に渡る単語の頻度で表現するステップと、
該単語頻度情報に基づいて、多重トピックスを有するテキストの単語の頻度分布、すなわち、多重トピックステキストの確率モデルのパラメータを、各単一トピックのテキストの確率モデルのパラメータの線形和で表現するステップと、
前記単語頻度情報と前記テキストが帰属するトピックス情報の組からなる学習データで前記確率モデルのパラメータを学習し、学習結果の確率モデルのパラメータを記憶装置に保存するステップと、
トピックスが未知のテキストに対し単語頻度情報を算出するステップと、
トピックスが未知のテキスト中の単語頻度情報から前記記憶装置に保存されている学習済みの確率モデルのパラメータを用いて該テキストの帰属する多重トピックスを抽出するステップとを有する、テキストの多重トピックス抽出方法。
【請求項２】
任意のテキストから、該テキストが帰属する１つまたは複数のトピックスを抽出する装置であって、
テキストを予め定めた全語彙に渡る単語の使用頻度で表現する手段と、
該単語頻度情報に基づいて、多重トピックスを有するテキストの単語の頻度分布、すなわち、多重トピックステキストの確率モデルのパラメータを、各単一トピックのテキストの確率モデルのパラメータの線形和で表現する手段と、
前記単語頻度情報と前記テキストが帰属するトピックス情報の組からなる学習データで前記確率モデルのパラメータを学習し、学習結果の確率モデルのパラメータを記憶装置に保存する手段と、
トピックスが未知のテキストに対し単語頻度情報を算出する手段と、
トピックスが未知のテキスト中の単語頻度情報から前記記憶装置に保存されている学習済みの確率モデルのパラメータを用いて該テキストの帰属する多重トピックスを抽出する手段とを有する、テキストの多重トピックス抽出装置。
【請求項３】
任意のテキストから、該テキストが帰属する１つまたは複数のトピックスを抽出する処理をコンピュータに実行させるためのプログラムであって、
テキストを予め定めた全語彙に渡る単語の使用頻度で表現する手順と、
該単語頻度情報に基づいて、多重トピックスを有するテキストの単語の頻度分布、すなわち、多重トピックステキストの確率モデルのパラメータを、各単一トピックのテキストの確率モデルのパラメータの線形和で表現する手順と、
前記単語頻度情報と前記テキストが帰属するトピックス情報の組からなる学習データで前記確率モデルのパラメータを学習し、学習結果の確率モデルのパラメータを記憶装置に保存する手順と、
トピックスが未知のテキストに対し単語頻度情報を算出する手順と、
トピックスが未知のテキスト中の単語頻度情報から前記記憶装置に保存されている学習済みの確率モデルのパラメータを用いて該テキストの帰属する多重トピックスを抽出する手順とを有する、テキストの多重トピックス抽出プログラム。
【請求項４】
請求項３に記載の、テキストの多重トピックス抽出プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、インターネット、電子図書館、電子メール、電子カルテ等の電子的に蓄積された非定型テキストを予め定めたトピックに自動分類する方法および装置に関する。
【０００２】
【従来の技術】
近年、大量のテキストが電子的に蓄積されつつある。テキストは、通常、単一よりはむしろ複数のトピックスで構成されるので、テキストから多重トピックスを抽出する方法の開発は重要研究課題となっている。この抽出問題は文字認識のようなサンプルを排他的な単一クラスに分類するパターン認識問題とは異なる。
【０００３】
多重トピックス抽出問題は、多クラス、多重ラベルテキスト分類問題として多くの研究者に知られており、従来、全てのトピック毎にそのトピックに属するか否かの識別を逐次行うという２分類アプローチが採られていた。つまり、２分類アプローチでは多重トピックス抽出問題を各トピック毎に独立した２分類問題に分解して解いていた。この場合、あるトピックを担当する２分類器はテキストをそのトピックとそれ以外のトピックのいずれかに分類する。２分類器の著名な公知手法として、サポートベクトルマシン（Ｓｕｐ　ｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ：　ＳＶＭ，　Ｖ．　Ｎ．　Ｖａｐｎｉｋ，　鉄ｔａｔｉｓｔｉｃａｌ　ｌｅａｒｎｉｎｇ　ｔｈｅｏｒｙ　　　Ｊｏｈｎ　Ｗｉｌｅｙ　＆　Ｓｏｎｓ，　Ｉｎｃ．，　Ｎｅｗ　Ｙｏｒｋ，　１９９８）あるいは、ナイーブベイズ法（Ｄ．　Ｌｅｗｉｓ　ａｎｄ　Ｍ．　Ｒｉｎｇｕｅｔｔｅ，　鄭　ｃｏｍｐａｒｉｓｏｎ　ｏｆ　ｔｗｏ　ｌｅａｒｎｉｎｇ　ａｌｇｏｒｉｔｈｍｓ　ｆｏｒ　ｔｅｘｔ　ｃａｔｅｇｏｒｉｚａｔｉｏｎ　　　Ｉｎ　Ｔｈｉｒｄ　Ａｎｕａｌ　Ｓｙｍｐｏｓｉｕｍ　ｏｎ　Ｄｏｃｕｍｅｎｔ　Ａｎａｌｙｓｉｓ　ａｎｄ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｒｅｔｒｉｅｖａｌ　（ＳＤＡＩＲ’９４），
８１−９３，　１９９４）がある。
【０００４】
【発明が解決しようとする課題】
しかしながら、これら２分類アプローチは多重トピックスを同時に考慮していない。換言すれば、２分類アプローチは多重テキストの生成モデルを考慮していないため、性能限界があると考えられる。
【０００５】
また、ニューラルネットワークのような関数近似法や、特徴ベクトル間の類似性で分類するｋ近傍法は、原理的には、多重トピックス抽出を２分類アプローチのように単一トピックに分解すること無しに多重トピックス抽出が可能である。しかし、これらの方法も多重テキストの生成モデルを考慮していないため、２分類アプローチ同様、性能限界があると考えられる。
【０００６】
本発明の目的は、多重トピックスを一撃的に抽出する、多重トピックスの抽出方法、装置、プログラム、該プログラムを記録した記録媒体を提供することにある。
【０００７】
【課題を解決するための手段】
テキストの表現
本発明におけるテキストの表現法を説明する。まず、テキスト中から予め定めた語彙に含まれる単語を抽出し、それらの単語の使用頻度をベクトル表現する。すなわち、１つのテキスト１つの単語頻度はベクトル
【０００８】
【外１】
2004046621.tif 000003
で表現される。
ここで、ｘｉは語彙
【０００９】
【外２】
2004046621.tif 000004
中の単語ｗｉが前記テキスト中で出現した回数を表す。Ｖは語彙中の単語総数である。つまり、
【００１０】
【外３】
2004046621.tif 000005
はＶ次元ユークリッド空間中の点として表現されることになる。さらに、
【００１１】
【外４】
2004046621.tif 000006
は語彙中の全単語に渡る多項分布から生成されると仮定する。
【００１２】
【数１】
2004046621.tif 000007
ここで、
【００１３】
【外５】
2004046621.tif 000008
はモデルパラメータで、第ｉ番目の要素θｉは単語ｗｉが生起する確率を表す。明らかに、
【００１４】
【数２】
2004046621.tif 000009
【００１５】
次に、テキストが帰属するトピックスベクトルを
【００１６】
【数３】
2004046621.tif 000010
で定義する。ここで、
【００１７】
【外６】
2004046621.tif 000011
の第ｌ要素ｙｌは１または０の値をとり、テキストが第ｌトピックに属する場合に限りｙｌ＝１とする。ここに、Ｌは全トピック数で、予め既知とする。また、テキストはＬトピックスの少なくとも１つには帰属するものと仮定する。すなわち、
【００１８】
【外７】
2004046621.tif 000012
中の少なくとも一つの要素は１をとる。
多重トピックステキストの確率モデルのパラメータの表現
本発明の核となる多重トピックスの確率モデルの基本的な考え方を、２つのトピックス（Ｌ＝２）、かつ、語彙が３つの単語（ｗ１，ｗ２，ｗ３）（Ｖ＝３）からなる簡単な例で以下に説明する。
【００１９】
今、単一トピックＣ１およびＣ２に属すテキスト中の単語が、各々、多項分布
【００２０】
【外８】
2004046621.tif 000013
から生成され、かつ、各々の多項分布のパラメータはφ（Ｃ１）＝（０．７，０．１，０．２）およびφ（Ｃ２）＝（０．１，０．７，０．２）と仮定する。これは、トピックＣ１に属するテキストでは、３種類の単語ｗ１，ｗ２，ｗ３が各々０．７，０．１，０．２の確率で生起していることを意味する。トピックＣ２も同様である。
【００２１】
図４（ａ）中の’０’，’＋’は各々φ（Ｃ１），φ（Ｃ２）から人工的に生成されたサンプル（単語頻度ベクトル）である。１つの’０’（’＋’）がトピックＣ１（Ｃ２）のテキストに対応する。テキスト中の単語総数、つまり、頻度ベクトルの要素の和は１００から８００の範囲で分布させている。パラメータベクトルφは図４（ｃ）の正三角形に示す２次元単体θ１＋θ２＋θ３＝１上にある。
【００２２】
Ｃ１，２をトピックＣ１とＣ２の両方に属する多重トピックスクラスを表すものとする。この時、Ｃ１，２に属するテキスト中の単語はＣ１とＣ２に関連する単語の混合から成ると考えられる。例えば、“スポーツ”と“音楽”の両方に属するテキストには両方のトピックスに関連する単語が出現すると考えられる。ただし、“スポーツ”と“音楽”の両方に属するテキストでも、より“スポーツ”に関連するテキストである場合も考えられるので、２つのトピックス間の混合比、すなわち、２つのトピックス間の相対的な強さの割合は必ずしも等しいとは限らない。
【００２３】
上記の“単語の混合”なる考え方に従い、Ｃ１，２に属す単語頻度サンプルを、図４（ｂ）中の’△’に示すように、Ｃ１，Ｃ２の各々に属する単語頻度ベクトルの混合として人工的に生成した。混合比は０．２から０．８の範囲でランダムに設定した。Ｃ１，２のサンプルはＣ１とＣ２のサンプルの分布を内挿するような分布となっている。
【００２４】
ここで、注意すべきは、Ｃ１，２に属するサンプルは２つの多項分布
【００２５】
【外９】
2004046621.tif 000014
の混合分布からは生成できないことである。パラメータφ（Ｃｋ）の最尤推定値は
【００２６】
【外１０】
2004046621.tif 000015
に比例すること、および、Ｃ１，２のサンプルの生成過程より、多重トピックスクラスＣ１，２のモデルパラメータφ（Ｃ１，２）はφ（Ｃ１）とφ（Ｃ２）の線形和として近似表現できることが分る。つまり、Ｃ１，２に属するサンプルは
【００２７】
【数４】
2004046621.tif 000016
なるパラメータを持つ多項分布の実現値と見ることができる。ただし、α（０＜α＜１）は混合比を表す。実際、人工的に生成されたサンプルに基づいて算出したＣ１，２のパラメータの最尤推定値を図４（ｃ）に示す。
【００２８】
上記考え方を一般化すると、多重トピックスに属するテキスト中の単語の頻度分布は、単一トピックの多項分布のパラメータを基底パラメータとしそれらの線形和として表現されるパラメータをもつ多項分布となる。すなわち、トピックスベクトル
【００２９】
【外１１】
2004046621.tif 000017
のテキストの単語頻度分布は、
【００３０】
【数５】
2004046621.tif 000018
をパラメータとする多項分布に従う。ここで、
【００３１】
【外１２】
2004046621.tif 000019
は単一トピックＣｌの多項分布のパラメータを表す。
【００３２】
先に述べたように、多重トピックステキストはそのトピックスの中で特にあるトピックに関してより重点的に記述されていることがある。式（４）ではそうした重みづけは考慮されていない。そこでこの重みをパラメータとして考慮したより柔軟な線形和を次式で定義する。
【００３３】
【数６】
2004046621.tif 000020
【００３４】
ここで、
【００３５】
【外１３】
2004046621.tif 000021
とし、混合比αｌ，ｍ（＞０）は
【００３６】
【数７】
2004046621.tif 000022
を満たす。αｌ，ｌ＝０．５より
【００３７】
【外１４】
2004046621.tif 000023
となることに注意。また、
【００３８】
【外１５】
2004046621.tif 000024
が成り立つ。式（４），（５）共、Ｖ個の要素の和は１となることに注意。
【００３９】
式（４）と式（５）との差は、式（４）では未知パラメータΘは、単一トピックの多項分布のパラメータ
【００４０】
【数８】
2004046621.tif 000025
であるのに対し、式（５）では式（６）のパラメータに加え、αｌｍ（ｌ≠ｍ）（等価的に
【００４１】
【外１６】
2004046621.tif 000026
も未知パラメータ扱いされることになる。
【００４２】
【数９】
2004046621.tif 000027
【００４３】
いずれの線形和の場合も、トピックスベクトル
【００４４】
【外１７】
2004046621.tif 000028
に属する多重トピックステキストの単語頻度ベクトル
【００４５】
【外１８】
2004046621.tif 000029
の確率分布は
【００４６】
【数１０】
2004046621.tif 000030
で表される。ここに、
【００４７】
【外１９】
2004046621.tif 000031
の第ｉ要素を表す。
【００４８】
上記以外の線形和も考えられるが、本発明では、トピックスベクトル
【００４９】
【外２０】
2004046621.tif 000032
に対応するモデルのパラメータ
【００５０】
【外２１】
2004046621.tif 000033
がＬ個の単一トピックの多項分布のパラメータ
【００５１】
【外２２】
2004046621.tif 000034
の線形和で表現されることを特徴とする。したがって、線形和の形態は式（４），（５）に限定されない。
確率モデルのパラメータの推定
次に、未知パラメータの推定法について説明する。
【００５２】
【数１１】
2004046621.tif 000035
を与えられた学習データとする。
【００５３】
【外２３】
2004046621.tif 000036
は第ｎテキストの単語頻度ベクトルと多重トピックスベクトルを表す。Ｎはテキスト総数。この時、未知パラメータΘは、学習データ
【００５４】
【外２４】
2004046621.tif 000037
が与えられた下でのパラメータの事後分布の最大化により推定する。すなわち、
【００５５】
【数１２】
2004046621.tif 000038
パラメータ
【００５６】
【外２５】
2004046621.tif 000039
およびαｌ，ｍの事前分布は、各々次式に示すように多項分布の共役事前分布であるディレクレ分布とする。
【００５７】
【数１３】
2004046621.tif 000040
ここで、ξおよびζはハイパーパラメータで、通常、ξ＝２およびζ＝２とする。
【００５８】
トピックスベクトル
【００５９】
【外２６】
2004046621.tif 000041
は一様分布と仮定すると、式（１０）およびベイズの定理より
【００６０】
【外２７】
2004046621.tif 000042
は次の目的関数
【００６１】
【数１４】
2004046621.tif 000043
をΘに関して最大化することにより求まる。
トピックスベクトルの予測
次に、モデルパラメータの推定値を用いて新たなテキストのトピックスベクトルの値を予測する方法を以下に説明する。
【００６２】
【外２８】
2004046621.tif 000044
を推定パラメータとすると、ここでの予測とは、新たなテキストの単語頻度ベクトル
【００６３】
【外２９】
2004046621.tif 000045
からトピックスベクトル
【００６４】
【外３０】
2004046621.tif 000046
の値を予測することである。そして、最適なトピックスベクトル値は
【００６５】
【外３１】
2004046621.tif 000047
および
【００６６】
【外３２】
2004046621.tif 000048
が与えられた下での
【００６７】
【外３３】
2004046621.tif 000049
の事後分布を最大にする
【００６８】
【外３４】
2004046621.tif 000050
として求められる。
【００６９】
ベイズの定理より
【００７０】
【数１５】
2004046621.tif 000051
さらに、
【００７１】
【外３５】
2004046621.tif 000052
の事前分布を一様分布と仮定すると、結局、最適トピックスベクトル
【００７２】
【外３６】
2004046621.tif 000053
は
【００７３】
【外３７】
2004046621.tif 000054
を最大化する
【００７４】
【外３８】
2004046621.tif 000055
として求められる。
【００７５】
【数１６】
2004046621.tif 000056
【００７６】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００７７】
図１は本発明の一実施形態の、テキストの多重トピックス抽出装置の構成図、図２はその動作を示すフローチャートである。
【００７８】
学習データである任意のテキストをテキスト前処理部１に入力し、語彙中の単語の頻度を算出し、単語頻度ベクトルを作成し（ステップ１１）、該頻度ベクトルに基づいて、多重トピックスを有するテキストの単語の頻度分布、すなわち多重トピックステキストの確率モデルのパラメータを、各単一トピックのテキストの確率モデルのパラメータの線形和で表現する（ステップ１２）。次に、モデルパラメータ推定部２において該単語頻度ベクトルとテキストの帰属トピックスベクトルを用いて確率モデルのパラメータを学習し、学習結果を推定モデルパラメータ保存部３に格納する（ステップ１３）。トピックスが未知のテキストに対して、テキスト前処理部４で単語頻度ベクトルを算出し（ステップ１４）、多重トピックス予測部５で、該単語頻度ベクトルから、推定モデルパラメータ保存部３に保存されている、学習済みの確率モデルのパラメータを用いて、該テキストの帰属する多重トピックスを抽出する（ステップ１５）。
【００７９】
以下に本実施形態の核となるモデルパラメータ推定部２と多重トピックス予測部５の処理を詳細に説明する。
【００８０】
モデルパラメータ推定部２
式（４）の線形和の場合、式（１３）の目的関数は次式のように具体化される。
【００８１】
【数１７】
2004046621.tif 000057
ここで、
【００８２】
【外３９】
2004046621.tif 000058
は対数尤度項で
【００８３】
【数１８】
2004046621.tif 000059
で与えられる。したがって、最適なパラメータは式（１５）をΘに関して最大化することにより求まる。しかしながら、この最大化は解析的に求めることができず、以下に示すように逐次反復法により求める。
【００８４】
便宜上、
【００８５】
【数１９】
2004046621.tif 000060
とおき、かつ、
【００８６】
【外４０】
2004046621.tif 000061
を反復の第ｔステップでの推定値とし、さらに、
【００８７】
【数２０】
2004046621.tif 000062
とおく。
【００８８】
【外４１】
2004046621.tif 000063
に注意。この時、式（１７）は次式のように書き換えられる。
【００８９】
【数２１】
2004046621.tif 000064
ただし、
【００９０】
【外４２】
2004046621.tif 000065
は次式で定義される。
【００９１】
【数２２】
2004046621.tif 000066
【００９２】
Ｊｅｎｓｅｎの不等式より、
【００９３】
【数２３】
2004046621.tif 000067
が成立することに注意すると、もし
【００９４】
【数２４】
2004046621.tif 000068
ならば、式（２０）より
【００９５】
【数２５】
2004046621.tif 000069
が成り立つ。故に、
【００９６】
【数２６】
2004046621.tif 000070
をΘに関して最大化することにより
【外４３】
2004046621.tif 000071
を増大させることができる。
【００９７】
式（２３）の最大化はラグランジュ乗数法により解けて
【００９８】
【数２７】
2004046621.tif 000072
として求まる。ここに
【００９９】
【外４４】
2004046621.tif 000073
は式（１９）で与えられる。式（２４）をｌ＝１，…，Ｌ、ｉ＝１，…，Ｖに対して計算することにより式（４）の線形和のモデルに対する未知パラメータが求まる。
【０１００】
多重トピックス予測部５
式（４）に対して式（１５）に基づく多重トピックスの予測は、次式の
【０１０１】
【外４５】
2004046621.tif 000074
に関する最大化問題となる。
【０１０２】
【数２８】
2004046621.tif 000075
【０１０３】
上記最大化問題は、単純には、
【０１０４】
【外４６】
2004046621.tif 000076
の可能な値の全てについて評価すれば求まるが、解候補数は２Ｌ−１通り故、Ｌが大きくなるとそうした単純な全数探索方法では現実時間で解くことが困難となる。そこで、以下に示す近似アルゴリズムにより近似解を求める。
予測アルゴリズム
ステップ１．　初期化Ｓ：＝｛１，２，…，Ｌ｝，
【０１０５】
【外４７】
2004046621.tif 000077
【０１０６】
ステップ２．　Ｓが空集合でない限り以下を実行
ステップ２−１．　Ｓ中の要素ｌの各々について、
【０１０７】
【外４８】
2004046621.tif 000078
を算出し、これをυ（ｌ）とする。
【０１０８】
ステップ２−２．　υ（ｌ）を最大化するｌをｌ＊とし、もしυ（ｌ＊）＞υｍａｘなら
【０１０９】
【外４９】
2004046621.tif 000079
，υｍａｘ：＝υ（ｌ＊）とし、ステップ２へ。さもなくば、
【０１１０】
【外５０】
2004046621.tif 000080
を最終的な解として終了する。
【０１１１】
ここで、表記“：＝”は右辺の値を左辺に代入することを意味する。また、
【０１１２】
【外５１】
2004046621.tif 000081
はＬ次元零ベクトルを表す。さらに
【０１１３】
【外５２】
2004046621.tif 000082
は
【０１１４】
【外５３】
2004046621.tif 000083
の第ｌ番目を１とし、Ｓから｛ｌ｝を除いた全ての要素を零に設定した時の
【０１１５】
【外５４】
2004046621.tif 000084
の値、すなわち、式（１４）に示した事後分布
【０１１６】
【外５５】
2004046621.tif 000085
の値を表す。つまり、
【０１１７】
【外５６】
2004046621.tif 000086
と初期化された
【０１１８】
【外５７】
2004046621.tif 000087
に対し、Ｌ個の要素の１つだけ１として事後分布が最大となるｌを見つけｌ＊とし、次に、ｌ＊＝１と固定して、残りのＬ−１個の要素に対し、１つだけ１として事後分布が最大となるｌを見つけていくという処理を、事後分布が増大しなくなるまで繰り返す。
【０１１９】
上記アルゴリズムは帯域的最適性は保証しないが、式（２５）の評価が高々Ｌ（Ｌ＋１）／２回で済み、全数探索の２Ｌ−１回に比べ極めて効率的である。
【０１２０】
語彙数をＶ＝１００、トピックス数をＬ＝１０として人工的に作成した単語頻度ベクトルからなる人工テキストを用いた実験で本発明の有効性を示す。
【０１２１】
まず、ジップの法則を考慮しつつ、乱数を用いて各トピックの多項分布パラメータ（基底ベクトル）を設定した。そして、作成したパラメータに基づき１，０００テキストからなる学習データ、および１００，０００テキストからなるテストデータを生成した。ただし、各テキストが持つトピックス数をｍとすれば、その分布は１／２ｍとなるようにした。すなわち、学習データではトピックス数が１のテキストが５００、トピックス数が２のテキストが２５０などとなり、多重度が増す程、テキスト数が指数的に減少するようにし、現実データの分布を反映させた。一方、各テキストの単語頻度ベクトルについては、既に説明したようにパラメータの線形和を用いて多重トピックスの多項分布を作り、この分布に基づいて単語の頻度ベクトルを生成した。
【０１２２】
図１に示した本発明の実施形態の構成図に従い、まず、学習データをテキスト前処理部１に入力して処理を施し、次いで、その結果をモデルパラメータ推定部２に入力して学習することにより推定モデルパラメータを求めた。そして、テストデータをテキスト前処理部４に入力して処理を施し、得られた単語頻度ベクトルとすでに求めた推定モデルパラメータを多重トピックス予測部５に入力して多重トピックスを予測することにより抽出結果を得た。テストデータの各々の正解トピック情報は既知故、予測結果と比較することにより多重トピックス抽出方法の評価が可能となる。
【０１２３】
図３に、これまで世界最高性能と報告されていたサポートベクトルマシンと本発明での性能を比較する。ただし、サポートベクトルマシンの適用では、各トピック毎の２分類問題を作り、学習データを用いて２分類器を構成し、その分類器群を用いて多重トピックス抽出結果を予測した。抽出性能の評価には、情報検索などで標準的に利用されるＦ値を採用した。なお、Ｆ値は、的中率と網羅率の調和平均として定義される。学習データ数が１，０００の場合、本発明を適用すれば、サポートベクトルマシンより約１５％も高い性能が得られることが分かる。また、学習データ数を減らした評価では、サポートベクトルマシンの性能がかなり劣化するのに対し、本発明の適用では極めて僅かな劣化であった。すなわち、本発明は学習データ数の変動に対しサポートベクトルマシンに比べはるかに頑健な手法であると言える。
【０１２４】
なお、以上説明した、テキストの多重トピックス抽出方法は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【０１２５】
【発明の効果】
以上説明したように、本発明は、多重トピックステキスト中の単語頻度分布を確率分布としてモデル化し、確率モデルを単一トピックモデルの線形和により生成することにより、テキストの多重トピックス抽出を従来よりも良好に行なうことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態のテキストの多重トピックス抽出装置の構成図である。
【図２】図１の装置の動作を示すフローチャートである。
【図３】本発明の効果をサポートベクトルマシンと比較して示すグラフである。
【図４】本発明の基本的な考え方を説明するための図である。
【符号の説明】
１，４　　テキスト前処理部
２　　モデルパラメータ推定部
３　　推定モデルパラメータ保持部
５　　多重トピックス予測部
１１〜１５　　ステップ
【図１】
2004046621.tif 000088
【図２】
2004046621.tif 000089
【図３】
2004046621.tif 000090
【図４】
2004046621.tif 000091