"入力された各テキストデータに含まれる各文字列に対して語義を付与する語義付与部と、前記語義付与部で同じ語義gが付与された文字列を含むテキストデータの集合をテキストデータ集合dgとし、語義gの全体集合をGとし、前記テキストデータ集合dgが含む文字列の集合を文字列集合wgとし、前記テキストデータ集合dgが与えられたときの前記文字列集合vgの条件付き確率をpとし、前記テキストデータ集合dg中の文字列vの出現回数をnとし、文字列vの全体集合をVとし、トピック情報zが与えられたときの文字列vの条件付き確率pである多項分布パラメータをβzvとし、テキストデータ集合dgが与えられたときのトピック情報zの条件付き確率pである多項分布パラメータをηgzとし、トピック情報zの全体集合をZとした場合におけるトピックモデルの前記多項分布パラメータβzvを得るモデル計算部と、を有するトピックモデリング装置。請求項1のトピックモデリング装置であって、前記モデル計算部は、多項分布パラメータηgz及びβzvを用い、文字列vとすべてのトピック情報z∈Z、文字列v∈V及びテキストデータ集合dgについての前記多項分布パラメータηgz及びβzvとが与えられたときの前記テキストデータ集合dg中の文字列vのトピック情報zgvの条件付き確率を得る第1更新部と、前記出現回数n及び前記条件付き確率Pβを用い、前記テキストデータ集合dgの全体集合dgg∈GをDとした場合における多項分布パラメータを得る第2更新部と、を含み、前記第1更新部の処理及び前記第2更新部の処理を含む繰り返し処理が、繰り返しのたびにt1を新たなtとしながら実行され、前記多項分布パラメータβzvは、終了条件を満たした際のβzv又はβzvである、ことを特徴とするトピックモデリング装置。請求項1又は2のトピックモデリング装置であって、前記語義付与部は、前記テキストデータに含まれる前記文字列の当該テキストデータに対する特徴を表す情報を当該文字列の素性の少なくとも一部とする素性付与部と、任意の文字列の素性を入力として当該任意の文字列の語義を特定するための情報を得るモデルに、前記テキストデータに含まれる前記文字列の素性を入力して当該文字列の語義を得る識別部と、を含む、ことを特徴とするトピックモデリング装置。請求項1から3の何れかのトピックモデリング装置であって、前記文字列の素性は、当該文字列が文字列の語義を表す辞書に含まれるか否かを表す情報を含む、ことを特徴とするトピックモデリング装置。請求項4のトピックモデリング装置であって、前記辞書は前記文字列の語義の的確性を表し、前記文字列の素性は当該文字列の語義の的確性を表す情報を含む、ことを特徴とするトピックモデリング装置。請求項1から5の何れかのトピックモデリング装置であって、入力テキストデータdと前記多項分布パラメータβzvとが入力され、前記入力テキストデータdが含む文字列の集合を入力文字列集合wとし、前記入力テキストデータdが与えられたときの前記入力文字列集合wの条件付き確率をpとし、前記入力テキストデータd中の文字列v∈Vの出現回数をnとし、前記入力テキストデータdが与えられたときのトピック情報zの条件付き確率pである多項分布パラメータをηd’zとした場合におけるの前記多項分布パラメータηd’zを得るモデル適用部をさらに有する、ことを特徴とするトピックモデリング装置。請求項1から5の何れかのトピックモデリング装置であって、前記多項分布パラメータβzvが入力され、前記多項分布パラメータβzvと入力テキストデータd中の文字列vの出現確率pとの比rzvを得るモデル適用部をさらに有する、ことを特徴とするトピックモデリング装置。語義付与部で、入力された各テキストデータに含まれる各文字列に対して語義を付与するステップと、前記ステップで同じ語義gが付与された文字列を含むテキストデータの集合をテキストデータ集合dgとし、語義gの全体集合をGとし、前記テキストデータ集合dgが含む文字列の集合を文字列集合wgとし、前記テキストデータ集合dgが与えられたときの前記文字列集合wgの条件付き確率をpとし、前記テキストデータ集合dg中の文字列vの出現回数をnとし、文字列vの全体集合をVとし、トピック情報zが与えられたときの文字列vの条件付き確率pである多項分布パラメータをβzwとし、テキストデータ集合dgが与えられたときのトピック情報zの条件付き確率pである多項分布パラメータをηgzとし、トピック情報zの全体集合をZとした場合におけるトピックモデルの前記多項分布パラメータβzvをモデル計算部で得るステップと、を有するトピックモデリング方法。請求項1から7の何れかのトピックモデリング装置としてコンピュータを機能させるためのプログラム。PLSAでは単語の語義が考慮されていないため、生成されたトピックモデルを用いて得られるトピックが人間にとって理解しづらいという問題がある。また、式に示した多項分布パラメータδdzは文書dとトピック情報zとの組ごとに対応し、トピックモデルを構成するパラメータの数が多いという問題もある。Conceptronでは、単語の語義を考慮したトピックモデルを生成することができるが、確率的に解釈することができるトピック情報を得ることができないという問題がある。本発明はこのような点に鑑みてなされたものであり、従来よりも人間にとって理解し易く、確率的に解釈可能なトピック情報を得ることができ、パラメータ数が少ないトピックモデルを生成できる技術を提供することを目的とする。本発明では、入力された各テキストデータに含まれる各文字列に対して語義を付与し、語義gが付与された文字列を含むテキストデータの集合をテキストデータ集合dgとし、語義gの全体集合をGとし、テキストデータ集合dgが含む文字列の集合を文字列集合wgとし、テキストデータ集合dgが与えられたときの文字列集合wgの条件付き確率をpとし、テキストデータ集合dg中の文字列vの出現回数をnとし、文字列vの全体集合をVとし、トピック情報zが与えられたときの文字列vの条件付き確率pである多項分布パラメータをβzvとし、テキストデータ集合dgが与えられたときのトピック情報zの条件付き確率pである多項分布パラメータをηgzとし、トピック情報zの全体集合をZとした場合におけるトピックモデルの多項分布パラメータβzvを得る。本発明では、語義を考慮したトピックモデルを生成できるため人間にとって理解し易いトピック情報を得ることができる。また、本発明のトピックモデルを適用して得られるトピック情報は確率的に解釈可能な情報となる。さらに、多項分布パラメータηgzはテキストデータ集合dgとトピック情報zとの組ごとに対応するため、従来よりもトピックモデルを構成するパラメータの数が少ない。以下、図面を参照して本発明の実施形態を説明する。原理実施形態の原理を説明した後、各実施形態の説明を行う。各実施形態では、入力された各テキストデータに含まれる各文字列に対して語義を付与し、以下のトピックモデルの多項分布パラメータβzvを得る。ここで、同じ語義gが付与された文字列を含むテキストデータの集合をテキストデータ集合dgとし、語義gの全体集合をGとし、テキストデータ集合dgが含む文字列の集合を文字列集合wgとし、テキストデータ集合dgが与えられたときの文字列集合wgの条件付き確率事後確率をpとし、テキストデータ集合dg中の文字列vの出現回数をnとし、文字列vの全体集合をVとし、トピック情報zが与えられたときの文字列vの条件付き確率pである多項分布パラメータをβzvとしpはユニグラム確率、テキストデータ集合dgが与えられたときのトピック情報zの条件付き確率pである多項分布パラメータをηgzとし、トピック情報zの全体集合をZとする。本形態のβzvpはユニグラム確率であり、ηgzはΣz∈Zηgz1を満たす。語義とは、各文字列の意味を考慮して各文字列に付与された分類を表す。テキストデータとは文字及び/又は記号を含むデータを意味する。テキストデータの具体例は、文書、各段落の文書、単語列、フレーズ、文、クエリ、語句を含む図表、記号列などである。文字列の具体例は、単語、単語列、フレーズ、文、文字、固有表現、記号、記号列などである。トピックとは、ジャンルや書き手のスタイル等を含む大域的な情報を表す。テキストデータに対応するトピックの具体例は、テキストデータの題目、話題、事柄、出来事、論題、分類、様式、言語、ジャンルなどや、テキストデータの書き手のスタイルなどである。テキストデータがトピックを表す文字列そのものを含んでいるとは限らない。トピック情報は、テキストデータに対応するトピックに対応する情報であればどのようなものであってもよい。例えば、テキストデータに対応するトピックの候補例えばやなどごとに、当該テキストデータに対応する各トピックの候補の適切さを表す指標例えば、確率、重み係数、確率や重み係数の関数値であるスコアなどが与えられ、それらの指標の少なくとも一部が当該テキストデータのトピック情報とされてもよい。本形態では、語義を考慮したトピックモデルを生成できるため人間にとって理解し易いトピック情報を得ることができる。また、多項分布パラメータηgzはテキストデータ集合dgとトピック情報zとの組ごとに対応するため、従来よりもトピックモデルを構成するパラメータの数が少ない。すなわち、PLSAでのパラメータ数がV×ZZ×Dであるのに対し、本形態におけるパラメータ数はV×ZZ×Gであり、DVGであることを考えると、大幅にパラメータ数を削減できる。なお、Vは単語総数、Zはトピック情報の総数、Dは文書総数である。さらに、本形態のトピックモデルを適用して得られるトピック情報は確率的に解釈可能な情報となる。トピック情報を確率的に取り扱うことにより、その用途が広がる。例えば、或るトピックにおいて或る単語がどれくらい出現し易いかということや、文書Aと文書Bのどちらの方がよりスポーツについて述べられているかということや、トピック毎の特徴的単語後述するはどのようなものであるかということなども評価できるようになる。また、トピック情報が確率的に表現されるモデルにすることにより、トピック情報の正規化が自然になされ、かつ目的関数がL2ノルムからKLdivergenceに変わることで、ロバストなモデル推定が可能となる。多項分布パラメータβzvの計算方法に限定はないが、例えばEMアルゴリズムを用いた学習やベイズ学習などによって多項分布パラメータβzvを得ることができる。EMアルゴリズムが用いられる場合のEstep及びMstepは以下のようになる。ここで、tはイテレーションの回数を表し、ηgz及びβzvはt回目のイテレーションでの多項分布パラメータを表し、ηgz及びβzvは多項分布パラメータの初期値を表し、ηはt回目のイテレーションでのすべてのトピック情報z∈Z及びテキストデータ集合dgについての多項分布パラメータηgzの集合を表し、βはt回目のイテレーションでのすべてのトピック情報z∈Z及び文字列v∈Vについての多項分布パラメータβzvの集合を表す。zgvはテキストデータ集合dg中の文字列vのトピック情報を表し、Pβはvηβが与えられたときのトピック情報zgvの条件付き確率を表す。argmaxηβはを最大化するη及びβを表す。式の各項に対してラグランジュの未定係数法を用いることで以下の更新式が得られる。すなわち、EMアルゴリズムが用いられる場合には、多項分布パラメータηgz及びβzvを用いて式に従って条件付き確率Pβを得るEstepと、出現回数n及び条件付き確率Pβを用いて式に従って多項分布パラメータηgz及びβzvを得るMstepとを含む繰り返し処理が、繰り返しのたびにt1を新たなtとしながら実行される。このような繰り返し処理は終了条件を満たすまで実行され、終了条件を満たした際のβzv又はβzvが多項分布パラメータβzvとされる。多項分布パラメータηgz及びβzvの初期値ηgz及びβzvは任意値でよい。また、入力された各テキストデータに含まれる各文字列に対して語義を付与するための方法に限定はない。例えば、文字列とそれに対応する語義とが対応付けられたテーブルである辞書を参照して、各文字列に対して語義を付与されてもよい。このような辞書の例は、各単語が日本語語彙大系のどの分類語義になり易いかが順位として記述された辞書以下これを日本語語彙大系辞書と呼ぶなどである。しかしながら、このような辞書によって付与される語義の正確性が低い場合があり、このような辞書がカバーする単語などの文字列にも限りがある。よって、このような方法では適切な語義を付与することができない場合がある。例えばConceptronでは、入力された文書が含む単語に対し、日本語語彙大系辞書で最も高い順位が付与されている分類を常にその単語の語義として選択する。そのため、付与された語義が正しくない場合もある。例えば東京という単語の語義は、文脈に応じて都大学高専駅名等中高校地区名などとなる可能性があるが、Conceptronでは文脈にかかわらず東京に対して常に同一の語義が選択される。また、日本語語彙大系辞書では巨人という単語に対して男魔物化け物偉人幹部などの分類が対応しているが、球団名は対応していない。これは日本語語彙大系辞書の球団名の分類には巨人軍という単語が対応付けされているからであるが、これも語義を正確に付与する上での課題となる。そのため、文字列に対して適切な語義を自動的に付与するモデルである語義タガーを生成し、このような語義タガーを用い、各テキストデータに含まれる各文字列に対して語義を付与してもよい。これにより、付与される語義の精度が向上し、式のトピックモデルの多項分布パラメータβzvの算出精度が向上する。語義タガーの従来技術としては、HMMを用いた参考文献1HTairaSYoshidaandMNagataBaseNPSupersenseTaggingforJapaneseTextsPACLIC2009のものがある。その他、ロジスティック回帰モデルやサポートベクタマシン等の分類モデルやHMMやCRF等のシーケンシャルモデルなどを語義タガーとして用いることができる。ただし、シーケンシャルモデルを用いた場合には計算量が膨大となり、全クラスをカバーするには多くの記憶容量を必要とする。そのため、計算量や記憶容量の削減という観点からは、分類モデルを本形態の語義タガーとして用いることが望ましい。分類モデルを語義タガーとする場合の学習方法は以下の通りである。[学習データの素性変換]初めに文書などのテキストデータに含まれる単語などの文字列に対して語義の付与された学習データを用意しておき、テキストデータに含まれる文字列の当該テキストデータに対する特徴を表す情報を当該文字列の素性として付与する。例えば、素性化の対象となる文字列対象文字列の周辺情報、係り受け情報、単語を構成する文字等から当該対象文字列を素性変換素性化する。例えば、テキストデータに含まれる対象文字列から前後所定単語数以内第1正例テキスト内に位置する単語周辺単語の表記と当該対象文字列に対する当該周辺単語の相対位置を表す情報との組表層素性、対象文字列又は周辺単語の品詞情報品詞素性や固有名詞情報固有名詞素性や構文情報構文素性、テキストデータ内での対象文字列の出現回数やテキストデータの集合内での対象文字列の出現回数出現回数素性のうち、少なくとも一つに対応する情報を対象文字列の素性とする。また、対象文字列が日本語語彙大系辞書などの辞書に含まれるか否かを表す情報を対象文字列の素性の少なくとも一部としてもよい。すなわち、日本語語彙大系辞書などの文字列の語義を表す辞書に含まれる単語などの文字列については、辞書において対応付けられている語義をそのまま付与することで、或る程度の精度で語義を付与できると考えられる。しかしながら、辞書の語義をそのまま付与したのでは前述の日本語語彙大系辞書のような問題がある。そのため、対象文字列が辞書に含まれていること自体を素性とし、精度の高い語義タガーを生成する。辞書が文字列の語義の的確性を表す場合には、学習データに含まれる対象文字列に対応する語義の的確性を表す情報を当該対象文字列の素性の少なくとも一部としてもよい。この例の語義の的確性を表す情報は、文字列が含まれるテキストデータの文脈に依存せずに文字列ごとに設定された語義の的確性を表す情報である。語義の的確性を表す情報の例は、前述した日本語語彙大系辞書に記述された各単語に対応する分類の順位である。例えば、学習データが含む対象文字列αとそれに対応する語義Cとの組が辞書においても組みとして記述されており、かつ、辞書においてその語義Cの順位も記述されている場合、当該辞書に記述された語義Cの順位に対応する情報を当該対象文字列αの素性の一部としてもよい。この場合には、語義Cの順位を表す情報を当該対象文字列αの素性の一部としてもよいし、語義Cの順位が高いこと例えば1位~5位であることを表す情報を当該対象文字列αの素性の一部としてもよい。これにより、順位が高い語義Cに対応する対象文字列αの素性の重みが大きくなるように学習されることが期待される。[語義タガーの学習]上述のように文字列に対して付与された素性と当該文字列に付与された語義との組が教師あり学習データすることで、任意の文字列の素性を入力として当該任意の文字列の語義を特定するための情報を得るモデルである語義タガーを生成することができる。このようなモデルであればどのようなモデルを語義タガーとしてもよく、その学習方法も通常の方法でよい。例えば、正則化項付き最大エントロピーモデル参考文献2BergerALPietraVJDandPietraAmaximumentropyapproachtonaturallanguageprocessingSAD1996、正則化項付きの条件付きランダム場などの分類モデルを語義タガーとして利用でき、それらの学習方法はよく知られている。以下、正則化項付き最大エントロピーモデルを語義タガーとする場合の学習方法を例示する。正則化項付き最大エントロピーモデルが語義タガーとして用いられる場合、文字列に対応する素性xと当該文字列に付与された語義yとの組が学習データとされ、条件付き確率に対するエントロピーを最大化する各重みパラメータλqに対応するPλであるPが語義タガーとされる。ただし、であり、qは各学習データの組にそれぞれ対応するラベルであり、pは学習データにおけるxの出現頻度であり、fqはqに対応する素性関数である。[語義タガーを用いた語義の付与]語義タガーを用いてテキストデータに含まれる文字列に対する語義を付与する方法を説明する。まず、入力されたテキストデータに含まれる任意の文字列を上述の[学習データの素性変換]と同様に素性化する。学習データの素性変換方法と同様に行うのであれば、入力されたテキストデータに含まれる文字列の当該テキストデータに対する特徴を表す情報を当該文字列の素性の少なくとも一部してもよいし、当該文字列が辞書に含まれるか否かを表す情報を当該文字列の素性の少なくとも一部としてもよいし、当該文字列の語義の的確性を表す情報当該文字列の素性の少なくとも一部としてもよい。入力されたテキストデータに含まれる任意の文字列の素性は語義タガーに入力され、当該語義タガーを用いることで得られた当該文字列の語義が当該文字列に付与される。例えば、語義タガーが文字列に対応する語義の確率を出力する場合には、最も確率の高い語義がその文字列に付与される。例えば、正則化項付き最大エントロピーモデルが語義タガーとして用いられる場合には、任意の文字列の素性xに対する条件付き確率Pを最大とするyが当該文字列の語義とされる。第1実施形態本発明の第1実施形態を説明する。第1実施形態ではEMアルゴリズムを用い、式のトピックモデルの多項分布パラメータβzvを求める。<構成>図1に例示するように、本形態のトピックモデリング装置1は、制御部11と記憶部12,13と語義付与部14と共起行列変換部15とモデル計算部16とを有する。この例のモデル計算部16は、第1更新部16aと第2更新部16bと判定部16cとを有する。なお、トピックモデリング装置1は、例えば、CPU、RAM及びROM等を含む公知又は専用のコンピュータに特別なプログラムが読み込まれて構成される特別な装置である。例えば、記憶部12,13はハードディスクや半導体メモリなどであり、制御部11と語義付与部14と共起行列変換部15とモデル計算部16とは、特別なプログラムが読み込まれたCPUなどである。これらの少なくとも一部が集積回路などによって構成されてもよい。トピックモデリング装置1は制御部11の制御のもとで各処理を行い、各処理で得られたデータは一時メモリ図示せずに格納され、必要に応じて呼び出されて他の処理で利用される。図1に表記された矢印は情報の流れを表すが、表記の都合上一部の矢印が省略されている。<事前処理>事前処理として、記憶部12に処理対象のテキストデータの集合Tが格納され、記憶部13に各文字列の語義を表す辞書Wが格納される。本形態では、形態素解析、固有表現抽出、係り受け解析、文境界同定などの前処理を行った後の文書データの集合コーパスををテキストデータの集合とし、日本語語彙大系辞書を辞書とした例を示す。<トピックモデリング処理>図2Aを用いて本形態のトピックモデリング処理を説明する。記憶部12に格納されたテキストデータの集合Tに含まれる各テキストデータが語義付与部14に入力される。語義付与部14は、記憶部13に格納された辞書を用い、入力された各テキストデータに含まれる各文字列に対して語義を付与する。テキストデータとそれに含まれる各文字列とそれらに付与された語義とは互いに対応付けられ、共起行列変換部15に送られるステップS11。共起行列変換部15は、語義付与部14で同じ語義g∈Gが付与された文字列を含むテキストデータの集合をテキストデータ集合dgとする。例えば、或るテキストデータに含まれる各文字列がX種類の語義g1gX∈Gに分類される場合、このテキストデータはX個のテキストデータとして複製され、各語義g1gXにそれぞれ対応するX個のテキストデータ集合dg1dgXの一部とされる。本形態の共起行列変換部15は、テキストデータ集合dgごとに、それに含まれる文字列と各語義との共起回数をカウントし、各テキストデータ集合dgにそれぞれ対応する共起行列を生成する。すなわち、テキストデータ集合dgに含まれる文字列と語義との共起回数を各要素とする共起行列が当該テキストデータ集合dgに対して生成される図3。図3の例では、文字列例えばNTTに対する各語義企業通信人管理職長発言の各共起回数が、当該文字列に対応する行の各要素とされる。図3の例では、テキストデータ集合dgに含まれる文字列NTTと語義企業通信人管理職長発言との共起回数がそれぞれ11000であるため、共起行列の文字列NTTに対応する行の要素が11000とされる。各テキストデータ集合dgに対応する各共起行列は対応するテキストデータ集合dgに対応付けられてモデル計算部16に送られるステップS12。モデル計算部16は各テキストデータ集合dgに対応する各共起行列を用い、テキストデータ集合dgごとに、式で表されるトピックモデルの多項分布パラメータβzvを得るステップS13。本形態ではEMアルゴリズムを用いて多項分布パラメータβzvを得る例を示す。ステップS13でEMアルゴリズムを用いる例図2Bに例示するように、モデル計算部16の第1更新部16aは、t0とし、多項分布パラメータの初期値ηgz及びβzvを定める。ηgz及びβzvは任意の値でよく、例えば0以上1以下の規定値がηgz及びβzvとされるステップS131。モデル計算部16の第1更新部16aは、ηgz及びβzvを用い、式に従ってEstepの処理を行って条件付き確率Pβを求める。条件付き確率Pβは第2更新部16bに送られるステップS132。第2更新部16bは、条件付き確率Pβと出現回数nとを用い、式に従ってMstepの処理を行って多項分布パラメータηgz及びβzvを求める。出現回数nはテキストデータ集合dgに対応する共起行列を用いて特定される。図3に例示した共起行列の場合、例えばn2n6n3となる。多項分布パラメータηgz及びβzvは、第1更新部16aと判定部16cに送られるステップS133。判定部16cは、終了条件を満たしたかを判定する。以下に終了条件を例示する。終了条件の例1テキストデータ全体に対する対数尤度の変化率Σg∈GlogPt1Σg∈GlogPtが規定値以上であることを終了条件とする。ただし、である。終了条件の例2t回目のイテレーションで得られたβ、ηとt1回目のイテレーションで得られたβ、ηとの変化率や変化量が規定値以下であることを終了条件とする。例えば、t回目のイテレーションで得られたβ、ηを要素とするベクトルと、t1回目のイテレーションで得られたβ、ηを要素とするベクトルとの距離が規定値以下であることを終了条件とする。終了条件の例3tが所定のイテレーション回数に達したことを終了条件とする。終了条件の例4終了条件の例1-3の終了条件のうちのいずれか複数を満たすことを終了条件とする終了条件の例の説明終わり。終了条件を満たしていないと判定された場合には、t1を新たなtとしてステップS132に進むステップS135。終了条件を満たしたと判定された場合には、ステップS13の処理を終了し、判定部16cはβzvを多項分布パラメータβzvとして出力する。多項分布パラメータβzvを出力するのはトピックモデルを適用する際にはβzvがあれば十分であるからであるが、必要に応じてηgzを多項分布パラメータηgzとして出力されてもよい。また、βzvが多項分布パラメータβzvとして出力されてもよいし、ηgzが多項分布パラメータηgzとして出力されてもよいステップS14。第2実施形態第2実施形態は第1実施形態の変形例であり、語義タガーを用いて文字列に語義が付与される形態である。以下では第1実施形態との相違点を中心に説明し、第1実施形態と共通する事項については、第1実施形態と同じ参照番号を用いて説明を省略する。<構成>図1に例示するように、本形態のトピックモデリング装置2は、制御部11と記憶部12,13と語義付与部24と共起行列変換部15とモデル計算部16とを有する。第1実施形態との相違点は語義付与部24のみである。図4に例示するように、語義付与部24は、記憶部241と素性化部242と学習部243と語義識別部244とを有する。<事前処理>事前処理として、第1実施形態と同様に、記憶部12に処理対象のテキストデータの集合Tが格納され、記憶部12に各文字列の語義を表す辞書Wが格納される。さらに本形態では語義タガーの学習が行われ、それによって得られた語義タガーが記憶部241に格納される。すなわち、文書などのテキストデータに含まれる単語などの文字列に対して語義の付与された学習データTRが素性化部242図4に入力される。素性化部242は、前述したように学習データの素性変換及び語義タガーの学習、学習データが含む文字列を素性変換し、文字列に対応する素性と当該文字列に付与された語義との組を用いて前述のような学習を行い、任意の文字列の素性を入力として当該任意の文字列の語義を特定するための情報を得るモデルである語義タガーMを生成して記憶部241に格納する。<トピックモデリング処理>図2Aを用いて本形態のトピックモデリング処理を説明する。記憶部12に格納されたテキストデータの集合Tに含まれる各テキストデータが語義付与部24に入力される。語義付与部24は、記憶部241に格納された語義タガーMを用い、入力された各テキストデータに含まれる各文字列に対して語義を付与する。すなわち語義付与部24の素性化部242図4は、入力されたテキストデータに含まれる文字列を前述のように素性化する。例えば、入力されたテキストデータに含まれる文字列の当該テキストデータに対する特徴を表す情報や、文字列が文字列の語義を表す辞書Wに含まれるか否かを表す情報や、辞書Wに示された文字列の語義の的確性を表す情報などが当該文字列の素性の少なくとも一部とされる。入力されたテキストデータに含まれる文字列の素性は語義識別部244に送られる。語義識別部244は、記憶部241から読み込んだ語義タガーMに、テキストデータに含まれる文字列の素性を入力し、前述のように語義タガーを用いた語義の付与当該文字列の語義を求める。テキストデータとそれに含まれる各文字列とそれらに付与された語義とは互いに対応付けられ、共起行列変換部15に送られるステップS21。それ以降の処理は第1実施形態と同じであるため説明を省略する。第3実施形態第3実施形態は第1及び第2実施形態の応用例であり、第1又は第2実施形態で得られたトピックモデルの適用方法を例示するものである。本形態では、得られたトピックモデルを用い、入力テキストデータにトピック情報を付与する。以下では、第1及び第2実施形態との相違点のみを説明する。<構成>図1に例示するように、本形態のトピックモデリング装置3は、第1実施形態のトピックモデリング装置1又は第2実施形態のトピックモデリング装置2にモデル適用部37が付加されたものである。<事前処理トピックモデリング処理>第1及び第2実施形態で説明した通りである。<モデル適用処理>モデル適用部37に、第1又は第2実施形態の判定部16cから出力された多項分布パラメータβzvが入力される。さらに、入力テキストデータdがモデル適用部37に入力される。モデル適用部37は、入力テキストデータdが含む文字列の集合を入力文字列集合wとし、入力テキストデータdが与えられたときの各文字列v∈Vの条件付き確率をpとし、入力テキストデータd中の文字列v∈Vの出現回数をnとし、入力テキストデータdが与えられたときのトピック情報zの条件付き確率pである多項分布パラメータをηd’zとした場合におけるの多項分布パラメータηd’zを求めて出力する。多項分布パラメータηd’zは、入力テキストデータdに対応するトピック情報がz∈Zであることの条件付き確率pである。多項分布パラメータηd’zの生成方法には限定はないが、例えばEMアルゴリズムを用いることができる。この場合には、以下のEstepとMstepとを、繰り返しのたびにt1を新たなtとしながら繰り返し、終了条件を満たした際のηd’z又はηd’zを多項分布パラメータηd’zとすればよい。この繰り返し処理のηd’zの初期値Pβ及びηd’zは任意な値でよく、この繰り返し処理で多項分布パラメータβzvは更新されない。<実験>本発明の実施形態の手法pConceptronと従来手法Conceptronを比較するために文書分類実験を行った。すなわちpConceptronを用いて条件付き確率pトピック重みを求め、それらを文書分類のための素性の一部として文書分類を行った場合と、従来手法のConceptronで得られたトピックを文書分類のための素性の一部として用いて文書分類を行った場合とで分類性能を比較した。この実験では、毎日新聞の記事文書をテキストデータとし、単語を文字列とし、新聞記事の文書を分類する。毎日新聞の記事には記事ラベルがついている。これを分類の正解ラベルとし、正解ラベルを知ることなくpConceptron及びConceptronがいかに正しくラベルを推測できるかを比べ、pConceptron及びConceptronの性能を比較する。総ラベル種は17種類である。上述のトピック重みやトピック以外の素性としては文書に含まれる単語のユニグラム素性単語そのものを用いる。実験に用いたConceptron及びpConceptronのトピックモデルは毎日新聞2001年版から2007年版から学習されたものである。クローズテスト毎日新聞2001年版からランダムに10000記事をトピックモデルの学習用に用い、それらの記事に含まれる1000記事を分類テスト用に用いた。Conceptronと実験条件を揃えるため、pConceptronのトピックモデルの学習には語義タガーを用いていない。トピックモデルの学習にはEMアルゴリズムを採用した。また、ConceptronとpConceptronとに共通する素性としてユニグラム素性を用い、さらに素性としてpConceptronのトピックモデルで得られるすべてのトピック重みを用いた場合と、Conceptronのトピックモデルで得られるトピックを用いた場合とで、テスト用の1000記事の分類性能が変化したかをみる。なお、テスト用の1000記事にも正解ラベルが存在するが、分類処理にはそれらの正解ラベルはConceptron及びpConceptronは与えられていない。Conceptron、pConceptronのそれぞれにおいて10、50、100、500トピックの4つのモデルを作成し、最も性能の高かったものを比べる。pConceptronのトピック重みの素性化として、全てのトピックの重みを利用した場合と、最大の重み最大確率を持つトピックについてだけ素性化することとして場合について実験を行った。実験結果を以下に示す。括弧内は最適だったトピック数混合数を示す。ユニグラム素性のみを用いた場合のベースラインの正解率が587だったのに対し、pConceptronで最大確率のトピック利用の100トピック100混合において正解率638とベースラインに比べて51ポイントの精度向上を達成した。さらにConceptronに対しては1ポイントの精度向上を達成した。オープンテストトピックモデルの学習に用いた記事に含まれない記事についても分類結果を比較した。毎日新聞1997年版からランダムに10000記事をトピックモデルの学習用に用い、学習用の10000記事を除く1000記事を分類テスト用に用いた。素性はクローズテストと同様に設定した。以下に実験結果を示す。ユニグラム素性のみを用いた場合のベースラインの正解率が587だったのに対し、最高値pConceptronの50トピック50混合においてベースラインに比べて14ポイントの精度向上を達成した。さらにConceptronに対しては07ポイントの精度向上を達成した。第4実施形態第4実施形態は第1及び第2実施形態の応用例であり、第1又は第2実施形態で得られたトピックモデルの他の適用方法を例示するものである。本形態では、得られたトピックモデルを用い、各トピックにおいて特徴的な単語などの文字列を得る。以下では、第1及び第2実施形態との相違点のみを説明する。<構成>図1に例示するように、本形態のトピックモデリング装置4は、第1実施形態のトピックモデリング装置1又は第2実施形態のトピックモデリング装置2にモデル適用部47が付加されたものである。<事前処理トピックモデリング処理>第1及び第2実施形態で説明した通りである。モデル適用部47に、第1又は第2実施形態の判定部16cから出力された多項分布パラメータβzvが入力される。さらに、入力テキストデータdがモデル適用部47に入力される。モデル適用部47は、多項分布パラメータβzvと入力テキストデータd中の文字列vの出現確率ユニグラム確率pとの比rzvを求めて出力する。例えば、モデル適用部47は、rzvβzv/pを求めて出力する。pに対するβzvpの比率が大きい文字列vほどトピック情報zに対応するトピックにおいて特徴的な単語であると見込まれる。以下に、テキストデータが文書であり、それに含まれる文字列が単語である場合に本形態を適用した結果を例示する。以下では、各トピックについてrzvβzv/pの高い順に上位10個の単語を列挙する。なお、左側カラムのトピック名は特徴的単語を見て人手で付与されたラベル名である。このように、本形態の方法によって各トピックにおいて特徴的な単語を抽出できることが分かる。その他の変形例等なお、本発明は上述の実施の形態に限定されるものではない。例えば上記の各実施形態ではステップS12で共起行列を生成し、生起行列を用いてトピックモデルを生成していた。しかし、生起行列を生成することなく、入力された各テキストデータに含まれる各文字列に対して語義を付与して得られるデータからnを求め、トピックモデルを生成してもよい。また、EMアルゴリズムの更新の順序に限定はなく、Mstepを実行してからEstepを実行する繰り返し処理が実行されてもよい。この場合のMstepでのPβの初期値Pβは任意値でよい。第1又は第2実施形態で得られたトピックモデルの適用方法にも限定はなく、多様な用途に適用できる。すなわち、得られたトピックモデルは文書に対するトピック付与のみでなく、文や段落などといったテキストに対するトピック付与に利用されてもよい。また、得られたトピックモデルの多項分布パラメータの距離や類似度を指標として、対応する文書等のテキストデータの類似度を判定してもよい。また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体は、非一時的nontransitoryな記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASPApplicationServiceProvider型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるものコンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等を含むものとする。また、上記の実施形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。"