(57)【要約】【課題】不要語であるか否かを決定するための閾値を用いることなく、不要語を決定することができるようにする。【解決手段】パラメータ学習部１４によって、学習用文書データに対する尤度を最大にする、学習用文書データに含まれる単語群の各単語のトピック毎の出現確率を学習して探索する。単語分類部１６によって、単語群の各単語を、出現確率が最も高くなるトピックに分類する。不要語決定部２０によって、全てのトピックに対する出現確率の各々が予め定められた範囲内となり一様に分布する単語が分類されたトピックの単語群を、不要語として決定する。【選択図】図１
2010055253.tif 000002
【特許請求の範囲】
【請求項１】
予め用意された文書情報に含まれる単語群について、前記文書情報に対する尤度を最大にする、前記単語群の各単語が予め設定された主題数の主題の各々に出現する出現確率を探索する探索手段と、
前記探索手段によって探索された前記出現確率に基づいて、前記単語群の各単語を、該単語の前記出現確率が最も高くなる前記主題数の主題の何れかに分類する分類手段と、
前記主題数の主題のうち、前記主題数の主題に出現する出現確率の各々が予め定められた範囲内となる単語が分類された主題に分類された単語の各々を、不要語として決定する不要語決定手段と、
を含む不要語決定装置。
【請求項２】
予め用意された文書情報に含まれる単語群について、前記文書情報に対する尤度を最大にする、前記単語群の各単語が予め設定された主題数の主題の各々に出現する出現確率を探索する探索手段と、
前記探索手段によって探索された前記出現確率に基づいて、前記単語群の各単語を、該単語の前記出現確率が最も高くなる前記主題数の主題の何れかに分類する分類手段と、
前記主題数の主題のうち、前記主題数の主題に出現する出現確率の各々が予め定められた範囲内となる単語が分類された主題に分類された単語の各々を、不要語候補として決定する不要語候補決定手段と、
前記不要語候補決定手段によって決定された不要語候補を、不要語を選択させるために使用者に対して表示装置に表示させる表示制御手段と、
を含む不要語決定装置。
【請求項３】
前記探索手段は、前記主題数の主題に出現する出現確率の各々が予め定められた範囲内となる単語が分類された主題が現れるまで、前記予め設定された主題数から主題数を順次増加させて、前記文書情報に対する尤度を最大にする前記出現確率を繰り返し探索する請求項１又は２記載の不要語決定装置。
【請求項４】
コンピュータを、
予め用意された文書情報に含まれる単語群について、前記文書情報に対する尤度を最大にする、前記単語群の各単語が予め設定された主題数の主題の各々に出現する出現確率を探索する探索手段、
前記探索手段によって探索された前記出現確率に基づいて、前記単語群の各単語を、該単語の前記出現確率が最も高くなる前記主題数の主題の何れかに分類する分類手段、及び
前記主題数の主題のうち、前記主題数の主題に出現する出現確率の各々が予め定められた範囲内となる単語が分類された主題に分類された単語の各々を、不要語として決定する不要語決定手段
として機能させるためのプログラム。
【請求項５】
コンピュータを、
予め用意された文書情報に含まれる単語群について、前記文書情報に対する尤度を最大にする、前記単語群の各単語が予め設定された主題数の主題の各々に出現する出現確率を探索する探索手段、
前記探索手段によって探索された前記出現確率に基づいて、前記単語群の各単語を、該単語の前記出現確率が最も高くなる前記主題数の主題の何れかに分類する分類手段、
前記主題数の主題のうち、前記主題数の主題に出現する出現確率の各々が予め定められた範囲内となる単語が分類された主題に分類された単語の各々を、不要語候補として決定する不要語候補決定手段、及び
前記不要語候補決定手段によって決定された不要語候補を、不要語を選択させるために使用者に対して表示装置に表示させる表示制御手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、不要語決定装置及びプログラムに関する。
【背景技術】
【０００２】
文書検索や文書のクラスタリングにおいて、単語の索引作業は不可欠である。この索引を作成するときに、文書のキーワードとなりえない単語を索引に登録してしまうと、文書検索での効率性やクラスタリングでの精度に、悪影響を与えてしまう。従って、文書のキーワードとなりえない不要語と呼ばれる単語を適切に取り出し、除去することが必要であり、様々な技術が提案されている。
【０００３】
例えば、分野ごとに分類された文書データを利用し、同一分野の全ての文書に出現した単語の除去を行なう技術が知られている（特許文献１）。類似文書検索装置において、単語の出現頻度を数え、一定の割合以上（もしくは以下）出現する単語を不要語として登録する技術が知られている（特許文献２）。また、文書自動分類において不要語を効果的に取り除く技術として、学習用文書集合から語を抽出し、各カテゴリでの出現頻度や出現割合に基づいて、そのカテゴリでの不要語を相対的に取り除く技術が知られている（特許文献３）。
【特許文献１】特開平７−７８１８２号公報
【特許文献２】特開平１１−２５９５１５号公報
【特許文献３】特開２００４−１３９２２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
不要語であるか否かを決定するための閾値を用いることなく、不要語を決定することができる不要語決定装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するために、請求項１記載の発明に係る不要語決定装置は、予め用意された文書情報に含まれる単語群について、前記文書情報に対する尤度を最大にする、前記単語群の各単語が予め設定された主題数の主題の各々に出現する出現確率を探索する探索手段と、前記探索手段によって探索された前記出現確率に基づいて、前記単語群の各単語を、該単語の前記出現確率が最も高くなる前記主題数の主題の何れかに分類する分類手段と、前記主題数の主題のうち、前記主題数の主題に出現する出現確率の各々が予め定められた範囲内となる単語が分類された主題に分類された単語の各々を、不要語として決定する不要語決定手段とを含んで構成されている。
【０００６】
請求項２記載の発明に係る不要語決定装置は、予め用意された文書情報に含まれる単語群について、前記文書情報に対する尤度を最大にする、前記単語群の各単語が予め設定された主題数の主題の各々に出現する出現確率を探索する探索手段と、前記探索手段によって探索された前記出現確率に基づいて、前記単語群の各単語を、該単語の前記出現確率が最も高くなる前記主題数の主題の何れかに分類する分類手段と、前記主題数の主題のうち、前記主題数の主題に出現する出現確率の各々が予め定められた範囲内となる単語が分類された主題に分類された単語の各々を、不要語候補として決定する不要語候補決定手段と、前記不要語候補決定手段によって決定された不要語候補を、不要語を選択させるために使用者に対して表示装置に表示させる表示制御手段とを含んで構成されている。
【０００７】
請求項３記載の発明では、上記請求項１又は２記載の発明に係る不要語決定装置において、前記探索手段は、前記主題数の主題に出現する出現確率の各々が予め定められた範囲内となる単語が分類された主題が現れるまで、前記予め設定された主題数から主題数を順次増加させて、前記文書情報に対する尤度を最大にする前記出現確率を繰り返し探索する。
【０００８】
請求項４記載の発明に係るプログラムは、コンピュータを、予め用意された文書情報に含まれる単語群について、前記文書情報に対する尤度を最大にする、前記単語群の各単語が予め設定された主題数の主題の各々に出現する出現確率を探索する探索手段、前記探索手段によって探索された前記出現確率に基づいて、前記単語群の各単語を、該単語の前記出現確率が最も高くなる前記主題数の主題の何れかに分類する分類手段、及び前記主題数の主題のうち、前記主題数の主題に出現する出現確率の各々が予め定められた範囲内となる単語が分類された主題に分類された単語の各々を、不要語として決定する不要語決定手段として機能させるためのプログラムである。
【０００９】
請求項５記載の発明に係るプログラムは、コンピュータを、予め用意された文書情報に含まれる単語群について、前記文書情報に対する尤度を最大にする、前記単語群の各単語が予め設定された主題数の主題の各々に出現する出現確率を探索する探索手段、前記探索手段によって探索された前記出現確率に基づいて、前記単語群の各単語を、該単語の前記出現確率が最も高くなる前記主題数の主題の何れかに分類する分類手段、前記主題数の主題のうち、前記主題数の主題に出現する出現確率の各々が予め定められた範囲内となる単語が分類された主題に分類された単語の各々を、不要語候補として決定する不要語候補決定手段、及び前記不要語候補決定手段によって決定された不要語候補を、不要語を選択させるために使用者に対して表示装置に表示させる表示制御手段として機能させるためのプログラムである。
【発明の効果】
【００１０】
以上説明したように、請求項１記載の不要語決定装置によれば、不要語であるか否かを決定するための閾値を用いることなく、不要語を決定することができる、という効果が得られる。
【００１１】
請求項２記載の不要語決定装置によれば、不要語であるか否かを決定するための閾値を用いることなく、不要語を決定することができる、という効果が得られる。
【００１２】
請求項３記載の不要語決定装置によれば、本構成を有していない場合に比較して、多くの不要語を決定することができる、という効果が得られる。
【００１３】
請求項４記載のプログラムによれば、不要語であるか否かを決定するための閾値を用いることなく、不要語を決定することができる、という効果が得られる。
【００１４】
請求項５記載のプログラムによれば、不要語であるか否かを決定するための閾値を用いることなく、不要語を決定することができる、という効果が得られる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態について図面を参照して説明する。
【００１６】
本発明の第１の実施の形態に係る不要語決定装置１０は、従来既知のパーソナルコンピュータによって構成されており、キーボード、マウス、ディスプレイ、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びを後述する不要語決定処理ルーチンを実現するためのプログラムや文書データなどの各種データを記憶したＨＤＤ等の記憶装置で構成されている。
【００１７】
不要語決定装置１０を以下で説明する不要語決定処理ルーチンに従って機能ブロックで表すと、図１に示すように、予め用意された学習用文書データを記憶した文書データベース１２と、学習用文書データにおける複数の主題（以下、トピックともいう。）の各々の出現頻度を調整するためのパラメータα、及び学習用文書データに含まれる単語群の各単語についてトピック毎に出現する出現確率を表わすパラメータβを学習するパラメータ学習部１４と、学習されたパラメータβに基づいて、各単語を、出現確率が最も高いトピックに分類する単語分類部１６と、各トピックに一様に分布する単語が分類されたトピックが存在するか否かを判定する一様分布判定部１８と、一様に分布する単語が分類されたトピックに分類された各単語を、不要語として決定する不要語決定部２０とを備えている。
【００１８】
以下、本実施の形態において不要語を決定する原理について説明する。
【００１９】
近年、統計的な文書処理の方法が数多く研究され、実用に供している中で、確率的文書モデルが提案及び研究されており、一文書中に現われる複数のトピックを表現するモデルとして、Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｌａｔｅｎｔ Ｓｅｍａｎｔｉｃ Ａｎａｌｙｓｉｓが提案されている（非特許文献１：T. Hofmann, “Probabilistic Latent Semantic Analysis”, Proceedings of Conference on Uncertainty in Artificial Intelligence, pp.289-296. (1999). ）。
【００２０】
また、上記のモデルをベイズ統計の枠組みから一般化したモデルとしてＬａｔｅｎｔ Ｄｉｒｉｃｈｌｅｔ Ａｌｌｏｃａｔｉｏｎ（以下、ＬＤＡと呼ぶ）と呼ばれる技術が提案されている（非特許文献２：D. M. Blei, A. Y. Ng, and M. I. Jordan, “Latent Dirichlet Allocation”, Journal of Machine Learning Research, vol. 3, pp.993-1022. (2003). ）。
【００２１】
ＬＤＡの確率的文書生成モデルは、図２に示すような非循環有向グラフで表現される。ここで、Ｍは文書数、Ｎは一文書あたりの単語数、Ｚは単語ごとのトピック変数で潜在変数、θは、トピックの出現確率であり、Ｄｉｒｉｃｈｌｅｔ分布のパラメータを表わしている。また、αは、トピックの出現頻度を調整するためのパラメータであり、Ｄｉｒｉｃｈｌｅｔ分布のハイパーパラメータを表わし、βはトピックを条件とした単語の出現確率を表わす。Ｄｉｒｉｃｈｌｅｔ分布は、ベイズ統計で離散データの事前確率分布または事後確率分布を表わすのによく用いられる確率分布関数である（非特許文献３：A. Gelman et al., “Bayesian Data Analysis”, Chapman & Hall/CRC, second edition (2004).）。
【００２２】
本実施の形態では、潜在トピックモデルと呼ばれる技術のうち、代表的な技術であるＬＤＡを用いて、不要語を決定する。ここで、ＬＤＡについて簡単に説明する。
【００２３】
上記の非特許文献２においてＢｌｅｉらによって提案されたＬＤＡは、トピックと呼ばれるある中心的な概念を基に生成される離散データを扱うための枠組みである。具体的には、ＬＤＡは、文書の生成過程をモデル化し、ベイズ統計的に記述したモデルである。Ｎ個の単語から生成される文書データに対して、各単語ごとにトピックが想定され、予め定められたトピック数をＫ、データから推定されるモデルのパラメータをα、βとし、また、トピックの出現確率をθ、Ｋ個のトピックの組をｚ、Ｎ個の単語の組をｗとして、所謂“ｂａｇ−ｏｆ−ｗｏｒｄｓ”モデルを仮定することよって、これらの結合確率を以下の（１）式で表わす。
【００２４】
【数１】
2010055253.tif 000003
【００２５】
文書データの周辺化確率分布は、以下の（２）式で表される。
【００２６】
【数２】
2010055253.tif 000004
【００２７】
コーパス全体での文書データＤの生成確率は以下の（３）式で表される。
【００２８】
【数３】
2010055253.tif 000005
【００２９】
また、Ｋ次元Ｄｉｒｉｃｈｌｅｔ分布に従う確率変数θは、次の（４）式のように表わされる。
【００３０】
【数４】
2010055253.tif 000006
【００３１】
上記（４）式によって、上記（２）式は、以下の（５）式で表される。また、（５）式によって算出されるｐ（ｗ｜α、β）は、対象の文書データに対する尤度を表している。
【００３２】
【数５】
2010055253.tif 000007
【００３３】
ただし、上記（１）式〜（５）式において、ｉはトピックを識別するための変数であり、ｎは文書データ中の単語を識別するための変数であり、ｊは辞書中の単語を識別するための変数である。また、ｗｎｊはｎ番目の単語が辞書中のｊ番目の単語と一致した場合に１となり、それ以外の場合に０となる。Ｖは辞書にインデキシングされた単語数である。また、上記（５）式で計算される、対象の文書データに対する尤度とは、パラメータα、βに基づいて確率的に生成される文書データが、対象の文書データに対してどのくらい尤もらしいかを表わす度合いである。
【００３４】
上記（５）式では、θとβとが結合しているため、簡単に積分することはできない。そこで、いくつかの近似計算手法が用いられており、例えば、マルコフ連鎖モンテカルロ法（非特許文献４：伊庭幸人、「統計科学のフロンティア12   計算統計II  ― マルコフ連鎖モンテカルロ法とその周辺 ―」、岩波書店、２００５）や、上記非特許文献２に記載されている変分ベイズ法が用いられて、近似計算が行われる。
【００３５】
本実施の形態では効率的な計算手法の一つである変分ベイズ法を用いる。変分ベイズ法とはαとβをパラメータとして文書データ集合全体の周辺対数尤度を変分近似する方法である。これはパラメータ学習方法の一部として後に記述する。
【００３６】
本実施の形態に係るパラメータ学習部１４では、トピック数を設定すると共に、上記非特許文献２に記載されている経験ベイズ法を用いて、教師なしで上記のＬＤＡモデルの学習を行う。例えば、設定されたトピック数におけるＬＤＡモデルのパラメータαとβを複数種類の値に変更しながら、学習用文書データに対する尤度を最大化するパラメータαとβの組み合わせを探索する。
【００３７】
ここで、αは各トピックの出現頻度を調整するためのパラメータである。また、βは学習用文書データ中から生成することができる辞書に登録されるＫ個の単語の各々のトピックごとの出現確率を表わすパラメータであって、辞書のサイズをＶとしてＫ×Ｖの行列で表わされる。
【００３８】
本実施の形態では上記非特許文献２に記載されているように変分ベイズ法と経験ベイズ法を組み合わせたパラメータ学習を行なう。この組み合わせによるアルゴリズムは変分ＥＭアルゴリズムとも呼ばれ、以下のような手順となる。
【００３９】
まず、周辺尤度の変分近似を行ない変分パラメータを導入する。次に、各文書ごとに変分パラメータを最適化する。そして、変分近似された周辺尤度の下界を最大化するようにパラメータαとβを最適化する。
【００４０】
上記アルゴリズムにおける下界とは、任意の関数ｐとｑに関する次のＪｅｎｓｅｎの不等式である以下の（６）式の右辺を指す。
【００４１】
【数６】
2010055253.tif 000008
【００４２】
上記（６）式でＤ，Ｚ，θは変数を表わす。そして式（６）の左辺を周辺対数尤度とし右辺の下界を最大化する。この尤度を最大化することによってベイズ統計的なパラメータを最適化する手法は経験ベイズ法と呼ばれる。ここでさらに導入された関数ｑを次の（７）式のように変数分離形で表わせるものと仮定するのが変分近似と呼ばれる手法である。
【００４３】
【数７】
2010055253.tif 000009
【００４４】
ここでγ，θが上に記した変分パラメータと呼ばれる新たに導入される補助的なパラメータである。なおこれらの手法のさらに詳細な記述は上記非特許文献２に記載されているためここでは省略する。
【００４５】
パラメータ学習部１４によって、学習用文書データに対する尤度を最大化するβが得られれば、トピックごとに出現確率が高い単語を判別することができるため、単語分類部１６によって、辞書に登録された各単語を、出現確率が最も高いトピックに分類する。
【００４６】
上記のＬＤＡモデルにおいて、設定するトピック数を増やしていくと、特定のトピックに強く反応しない単語の集合が分類されたトピックが形成されることがある。このようなトピックと結びつきが強い単語集合の特徴は、他の（一部の）トピックへの出現確率も同等に近いことであり、このような単語の集合が、不要語となる。
【００４７】
そこで、本実施の形態では、一様分布判定部１８によって、全てのトピックのうち、分類された全ての単語ｗｎの各々について、全てのトピックＴｉへの出現確率ｐ（ｗｎ｜Ｔｉ）が以下の（８）式で表される範囲内となるトピックが存在するか否かを判定する。
（１−δ）／Ｋ≦ｐ（ｗｎ｜Ｔｉ）≦（１＋δ）／Ｋ  （ｉ＝１，…，Ｋ）・・・（８）
ただし、Ｋは、トピック数を表わし、δは、出現確率の範囲を規定するための定数である。δは、学習用文書データ毎にユーザが設定するようにしてもよい。また、δの値を、通常統計的検定で用いられる有意性を表わす指標（例えば１％、３％、５％）などから定めてもよい。
【００４８】
上記のような、全トピックに対して一様な分布を持つ単語集合が分類されたトピックが存在しない場合には、全トピックに対して一様な分布を持つ単語集合が分類されたトピックが現れるまで、トピック数を順次増加させて、パラメータ学習部１４に繰り返し学習させる。
【００４９】
上記のような全トピックに対して一様な分布を持つ単語集合が分類されたトピックが存在する場合には、不要語決定部２０によって、当該トピックに分類された、一様な分布を持つ単語集合を、不要語として決定する。
【００５０】
次に、第１の実施の形態に係る不要語決定装置１０の作用について説明する。
【００５１】
まず、不要語決定装置１０において、文書データベース１２から学習用文書データを読み出し、学習用文書データに対して形態素解析を行って名詞語を取り出し、学習用文書データに含まれる単語群として、単語辞書データベース（図示省略）に登録する。
【００５２】
そして、不要語決定装置１０において、図３に示す不要語決定処理ルーチンを実行する。ステップ１００において、学習用文書データに含まれる単語群を、単語辞書データベースから読み込む。そして、ステップ１０２において、トピック数Ｋに初期値として２を設定すると共に、トピック数上限値Ｋｍａｘに、予め定められた上限値を設定する。
【００５３】
そして、ステップ１０４において、トピック数Ｋにおいて、上記ステップ１００で得られた単語群に対して学習を行うことにより、学習用文書データに対して最大尤度が得られるパラメータα、βを探索する。次のステップ１０６では、上記ステップ１０６で得られたパラメータβが表わす出現確率に基づいて、上記ステップ１００で得られた各単語を、Ｋ個のトピックに分類する。
【００５４】
そして、ステップ１０８において、上記ステップ１０６で得られたパラメータβが表わす出現確率に基づいて、上記（８）式に従って、上記ステップ１０６で分類された全ての単語が各トピックに対して一様に分布するトピックが存在するか否かを判定する。分類された全ての単語が一様に分布するトピックが存在しなかった場合には、ステップ１１０において、トピック数Ｋが、上限値Ｋｍａｘ未満であるか否かを判定し、トピック数Ｋが、上限値Ｋｍａｘに達していない場合には、ステップ１１２において、設定するトピック数をインクリメントして、上記ステップ１０４へ戻る。
【００５５】
一方、上記ステップ１１０において、トピック数Ｋが、上限値Ｋｍａｘに達している場合には、分類された全ての単語が一様に分布するトピックが得られなかったと判断し、不要語を登録せずに、不要語決定処理ルーチンを終了する。
【００５６】
また、上記ステップ１０８において、分類された全ての単語が一様に分布するトピックが得られたと判断された場合には、ステップ１１４において、当該トピックに分類された単語の集合を、不要語リストに登録して、不要語決定処理ルーチンを終了する。
【００５７】
次に、本実施の形態のＬＤＡモデルを用いた方法による出現確率の学習結果について説明する。なお、学習コーパスとして、クラスタリングされた特許文書集合を用いて、形態素解析を行ない、単語群として名詞語を取り出してから、トピック数として２または３を設定して、ＬＤＡ学習を行なった。
【００５８】
トピック数として２を設定して、ＬＤＡ学習を行い、得られた各単語のトピック毎の出現確率を、何れか一方のトピックの出現確率を条件としてソートすると、図４に示すように、トピック１に分類された単語集合は、トピック間における出現確率の比が１０の数乗のオーダーで異なっていることがわかる。また、図５に示すように、トピック２に分類された単語集合は、トピック間における出現確率の比が１０の数乗のオーダーで異なっていることがわかる。つまり、この場合、トピック１と２とは、別々の文書の内容に違いをもたらす意味のあるトピック群であると理解される。
【００５９】
また、トピック数を３に設定して、ＬＤＡ学習をしなおすと、図６に示すように、トピック２に分類された単語集合は、トピック間での出現確率の比が相対的に小さい、すなわち一つの特定のトピックに偏っていない単語集合であることがわかる。この単語集合が分類されたトピック２の単語集合が、不要語リストとして登録される。また、上位にリストされた単語を見ると、「形成」、「考案」、「作業」、「配置」など比較的抽象的な語が挙げられており、このような単語が不要語として登録されることがわかる。
【００６０】
以上説明したように、第１の実施の形態に係る不要語決定装置によれば、全トピックに対する出現確率の各々が予め定められた範囲内となり一様に分布する単語が分類されたトピックの単語集合を、不要語として決定する。これによって、適切に設定することが困難である、不要語であるか否かを決定するための閾値を用いることなく、不要語を決定することができる。
【００６１】
また、学習用文書データに対する尤度を最大にする、各単語のトピック毎の出現確率を学習により探索し、探索された出現確率を用いて、不要語を決定している。これによって、学習用文書データの文書特性を考慮して、不要語を決定することができる。
【００６２】
次に第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して、構成に関する説明を省略する。
【００６３】
第２の実施の形態では、不要語候補リストをユーザに提示して、ユーザに不要語を選択させている点が、第１の実施の形態と主に異なっている。
【００６４】
図７に示すように、第２の実施の形態に係る不要語決定装置２１０は、文書データベース１２と、パラメータ学習部１４と、単語分類部１６と、一様分布判定部１８と、一様に分布する単語が分類されたトピックに分類された各単語を、不要語候補リストとしてディスプレイ（図示省略）に表示させる不要語候補表示制御部２２０と、ユーザがマウスやキーボードを操作することによって不要語候補リストから選択した単語を不要語として決定する不要語選択決定部２２２とを備えている。
【００６５】
不要語候補表示制御部２２０は、全トピックに対して一様な分布を持つ単語集合が分類されたトピックの各単語を、不要語候補リストとしてディスプレイに表示させ、また、各単語のトピック毎の出現確率又はトピック間の出現確率の比を、不要語候補リストと一緒に表示させる。これによって、ユーザは、ディスプレイに表示された出現確率又は出現確率の比を参照して、不要語として登録すべき単語を選択する。
【００６６】
不要語選択決定部２２２は、ユーザによって不要語として不要語候補リストの中から選択された単語の集合を、不要語として決定する。
【００６７】
次に、第２の実施の形態に係る不要語決定処理ルーチンについて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
【００６８】
まず、ステップ１００において、学習用文書データに含まれる単語群を、単語辞書データベースから読み込み、ステップ１０２において、トピック数Ｋに初期値２を設定すると共に、トピック数上限値Ｋｍａｘに、予め定められた上限値を設定する。
【００６９】
そして、ステップ１０４で、トピック数Ｋにおいて、学習により、学習用文書データに対して尤度を最大化するパラメータα、βを探索する。次のステップ１０６では、上記ステップ１０６で得られたパラメータβに基づいて、上記ステップ１００で得られた各単語を、Ｋ個のトピックに分類する。そして、ステップ１０８において、分類された全ての単語が各トピックに対して一様に分布するトピックが存在するか否かを判定し、分類された全ての単語が一様に分布するトピックが存在しなかった場合には、ステップ１１０において、トピック数Ｋが、上限値Ｋｍａｘ未満であるか否かを判定し、トピック数Ｋが、上限値Ｋｍａｘに達していない場合には、ステップ１１２において、トピック数をインクリメントして、上記ステップ１０４へ戻る。一方、上記ステップ１１０において、トピック数Ｋが、上限値Ｋｍａｘに達している場合には、不要語決定処理ルーチンを終了する。
【００７０】
また、上記ステップ１０８において、分類された全ての単語が一様に分布するトピックが得られたと判断された場合には、ステップ２５０において、当該トピックに分類された単語の集合を、不要語候補リストとしてディスプレイに表示させる。
【００７１】
次のステップ２５２では、不要語候補リストから、ユーザによって不要語が選択されたか否かを判定し、ユーザがマウスやキーボードを操作して、不要語候補リストの中から不要語とする単語を選択すると、ステップ２５４へ進み、上記ステップ２５２で選択された単語の集合を、不要語リストに登録して、不要語決定処理ルーチンを終了する。
【００７２】
以上説明したように、第２の実施の形態に係る不要語決定装置によれば、全トピックに対する出現確率の各々が予め定められた範囲内となり一様に分布する単語が分類されたトピックの単語集合を、不要語候補として決定する。これによって、適切に設定することが困難である、不要語であるか否かを決定するための閾値を用いることなく、不要語候補を決定することができる。
【００７３】
次に第３の実施の形態について説明する。なお、第３の実施の形態に係る不要語決定装置は、第１の実施の形態と同様の構成となるため、同一符号を付して、構成に関する説明を省略する。
【００７４】
第３の実施の形態では、全トピックに対して一様な分布を持つ単語が予め定めた個数以上分類されたトピックの単語集合を、不要語として決定している点が、第１の実施の形態と主に異なっている。
【００７５】
第３の実施の形態に係る不要語決定装置では、一様分布判定部１８によって、全てのトピックのうち、分類された単語集合について、全てのトピックへの出現確率が上記の（８）式で表される範囲内となる単語が予め定められた個数以上となるトピックが存在するか否かを判定する。
【００７６】
上記のような全トピックに対して一様な分布を持つ単語が予め定められた個数以上分類されたトピックが存在しない場合には、トピック数を増やして、パラメータ学習部１４に再度学習させる。
【００７７】
上記のような全トピックに対して一様な分布を持つ単語が予め定められた個数以上分類されたトピックが存在する場合には、不要語決定部２０によって、一様な分布を持つ単語集合を不要語として決定する。
【００７８】
なお、第３の実施の形態に係る不要語決定装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【００７９】
上記の第３の実施の形態は、上記の第２の実施の形態に適用してもよい。この場合には、全トピックに対して一様な分布を持つ単語が、予め定めた個数以上分類されたトピックの単語集合を、不要語候補として決定し、ユーザに不要語候補から不要語を選択させるようにすればよい。
【００８０】
なお、上記の第１の実施の形態〜第３の実施の形態では、決定された不要語を登録しておく場合を例に説明したが、これに限定されるものではなく、例えば、不要語として決定された単語を、コーパスから除去するようにしてもよい。
【００８１】
また、決定された不要語からなる不要語リストを用いて、類似文書検索や、文書のクラスタリング、キーワード検索などを行うようにしてもよい。この場合には、ＬＤＡ学習により得られた各単語のトピック毎の出現確率を用いて、入力された新しい文書データに含まれる各単語に対して、トピック毎の出現確率を割り当て、割り当てられたトピック毎の出現確率を用いた重みづけにより、文書データの平均トピックや段落ごとの平均トピックを求める。そして、求められた平均トピックを用いて、類似文書検索や、文書のクラスタリング、キーワード検索などを行うようにすればよい。
【００８２】
また、本発明に係るプログラムを、ＣＤＲＯＭ等の記憶媒体に格納して提供することも可能である。
【図面の簡単な説明】
【００８３】
【図１】本発明の第１の実施の形態に係る不要語決定装置の構成を示すブロック図である。
【図２】ＬＤＡの確率的文書生成モデルを示す図である。
【図３】本発明の第１の実施の形態に係る不要語決定装置における不要語決定処理ルーチンの内容を示すフローチャートである。
【図４】トピック数を２としたときのＬＤＡ学習により得られる各単語のトピック毎の出現確率を示す図である。
【図５】トピック数を２としたときのＬＤＡ学習により得られる各単語のトピック毎の出現確率を示す図である。
【図６】トピック数を３としたときのＬＤＡ学習により得られる各単語のトピック毎の出現確率を示す図である。
【図７】本発明の第２の実施の形態に係る不要語決定装置の構成を示すブロック図である。
【図８】本発明の第２の実施の形態に係る不要語決定装置における不要語決定処理ルーチンの内容を示すフローチャートである。
【符号の説明】
【００８４】
１０、２１０  不要語決定装置
１２  文書データベース
１４  パラメータ学習部
１６  単語分類部
１８  一様分布判定部
２０  不要語決定部
２２０  不要語候補表示制御部
２２２ 不要語選択決定部
【図１】
2010055253.tif 000010
【図２】
2010055253.tif 000011
【図３】
2010055253.tif 000012
【図４】
2010055253.tif 000013
【図５】
2010055253.tif 000014
【図６】
2010055253.tif 000015
【図７】
2010055253.tif 000016
【図８】
2010055253.tif 000017