(57)【要約】  【課題】  教師なし学習によって、分かち書きと品詞推定を行うことが可能な形態素解析モデル生成装置を提供する。  【解決手段】  形態素解析モデル生成装置１は、学習用のデータとして複数の文を記憶した学習データ記憶部１８と、各文の分かち書きと当該分かち書きを構成する各単語候補に対する品詞の対応付けのサンプリングを行いながら、形態素解析モデルのパラメータの更新を行う処理を、所定の収束条件を満たすまで繰り返し行う学習部と１１を備えている。形態素解析モデルは、文字列を観測値とし、文字列における単語境界及び品詞を隠れクラスとする隠れセミマルコフモデルにおいて、品詞ごとの単語ｎ−ｇｒａｍ確率の事前分布、及び、遷移確率である品詞ｎ−ｇｒａｍ確率の事前分布に確率過程を適用したノンパラメトリックベイズモデルである。【選択図】  図２
2016133956.tif 000002
【特許請求の範囲】
【請求項１】
教師なし学習によって、解析対象文の分かち書きと品詞の推定を行うための形態素解析モデルを生成する形態素解析モデル生成装置であって、
前記形態素解析モデルは、文字列を観測値とし、前記文字列における単語境界及び品詞を隠れクラスとする隠れセミマルコフモデルにおいて、生起確率である品詞ごとの単語ｎ−ｇｒａｍ確率の事前分布、及び、遷移確率である品詞ｎ−ｇｒａｍ確率の事前分布に確率過程を適用したノンパラメトリックベイズモデルであり、
学習用のデータとして複数の文を記憶した学習データ記憶部と、
前記学習データ記憶部に記憶された各文の分かち書きと当該分かち書きを構成する各単語候補に対する品詞の対応付けのサンプリングを行いながら、前記形態素解析モデルにおける前記品詞ごとの単語ｎ−ｇｒａｍ確率及び前記品詞ｎ−ｇｒａｍ確率のパラメータの更新を行う処理を、所定の収束条件を満たすまで繰り返し行う学習部と、
を備えた形態素解析モデル生成装置。
【請求項２】
前記学習部は、前記各文について、品詞をパラメータとして含むラティスを生成し、
【数１４】
2016133956.tif 000017
t：カレントの単語候補の終了位置
k：カレントの単語候補の長さ
z：カレントの単語候補の品詞
r：接続される１つ前の単語候補の品詞
j：接続される１つ前の単語候補の長さ
で表される前向き確率に従って、１つ前の単語候補及び当該単語候補に対応する品詞を選択しながら、前記サンプリングを行う請求項１に記載の形態素解析モデル生成装置。
【請求項３】
前記品詞ごとの単語ｎ―ｇｒａｍ確率は、ＮＰＹＬＭ（Nested Pitman-Yor Language Model）に基づいて算出され、前記品詞ｎ―ｇｒａｍ確率は、ＨＰＹＬＭ（Hierarchical Pitman-Yor Language Model）に基づいて算出される請求項１に記載の形態素解析モデル生成装置。
【請求項４】
教師なし学習によって、解析対象文の分かち書きと品詞の推定を行うための形態素解析モデルを生成する形態素解析モデル生成方法であって、
前記形態素解析モデルは、文字列を観測値とし、前記文字列における単語境界及び品詞を隠れクラスとする隠れセミマルコフモデルにおいて、生起確率である品詞ごとの単語ｎ−ｇｒａｍ確率の事前分布、及び、遷移確率である品詞ｎ−ｇｒａｍ確率の事前分布に確率過程を適用したノンパラメトリックベイズモデルであり、
学習用のデータとして複数の文の入力を受け付けて、前記複数の文を学習データ記憶部に記憶するステップと、
前記学習データ記憶部に記憶された各文の分かち書きと当該分かち書きを構成する各単語候補に対する品詞の対応付けのサンプリングを行いながら、前記形態素解析モデルにおける前記品詞ごとの単語ｎ−ｇｒａｍ確率及び前記品詞ｎ−ｇｒａｍ確率のパラメータの更新を行う処理を、所定の収束条件を満たすまで繰り返し行うステップと、
を備えた形態素解析モデル生成方法。
【請求項５】
教師なし学習によって、解析対象文の分かち書きと品詞の推定を行うための形態素解析モデルを生成するためのプログラムであって、
前記形態素解析モデルは、文字列を観測値とし、前記文字列における単語境界及び品詞を隠れクラスとする隠れセミマルコフモデルにおいて、生起確率である品詞ごとの単語ｎ−ｇｒａｍ確率の事前分布、及び、遷移確率である品詞ｎ−ｇｒａｍ確率の事前分布に確率過程を適用したノンパラメトリックベイズモデルであり、
コンピュータに、
学習用のデータとして複数の文の入力を受け付けて、前記複数の文を学習データ記憶部に記憶するステップと、
前記学習データ記憶部に記憶された各文の分かち書きと当該分かち書きを構成する各単語候補に対する品詞の対応付けのサンプリングを行いながら、前記形態素解析モデルにおける前記品詞ごとの単語ｎ−ｇｒａｍ確率及び前記品詞ｎ−ｇｒａｍ確率のパラメータの更新を行う処理を、所定の収束条件を満たすまで繰り返し行うステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自然言語処理において用いられる形態素解析モデルを生成する技術に関し、特に、教師なし学習によって、解析対象文の分かち書きと品詞の推定を同時に行うための形態素解析モデルを生成する手法に関するものである。
【背景技術】
【０００２】
形態素解析は、計算機を用いた自然言語処理の基礎技術であり、自然言語処理技術を用いた様々な応用タスクの前処理として利用される。形態素解析手法には、規則によるものと確率モデルに基づくものがある。確率モデルに基づく手法は、さらに、パラメータの学習にアノテーション済みのコーパスを用いる教師あり学習手法と、テキストのみから分かち書きを行う教師なし学習に基づくものとに分けられる。
【０００３】
教師あり学習に基づく手法には、ＨＭＭ（Hidden Markov Model、隠れマルコフモデル）を用いた形態素解析を行うＣｈａＳｅｎや、ＣＲＦ（Conditional Random Fields）を用いた形態素解析を行うＭｅＣａｂがある。教師なし学習に基づく手法には、最小記述原理に基づいた日本語話し言葉の単語分割手法（松原ら）や、ノンパラメトリックベイズモデルに基づく手法（特許文献１）が提案されている。また、ノンパラメトリックベイズモデルとＣＲＦによる学習を組み合わせた半教師あり学習手法も提案されている（特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１７０２５２号公報
【特許文献２】特開２０１２−１４６２６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年増加し続けているウェブテキストでは、これまで自然言語処理が対象としてきた書き言葉以外にも、話し言葉等の表現が頻繁に出現する。教師あり学習の手法では、分かち書きの学習に教師データとしてアノテーション済みのコーパスが必要とある。しかし、人手によるアノテーションはコストが大きく、急速に増加し、変化し続ける話し言葉の表現に対応させることは困難である。これに対して、教師なし学習では、ある評価尺度が最良となるように、パラメータを更新することで、分かち書きを行えるようになる。しかし、従前の教師なし学習に基づく形態素解析は、分かち書きをいかに精度よく行うかにのみ注力しており、品詞推定まで含めて行える手法は提案されていない。そのため、品詞の推定を行う場合には、上述のような従来技術を用いて分かち書きを行った後、さらに別の手法を用いて品詞推定を行わなければならなかった。
【０００６】
例えば、「この先生きのこれるか」という文に対して、従来技術によって分かち書きを行う場合、品詞は考慮されず、その一方で、学習によって、「先生」や「きのこ」といった単語の存在が認識されるため、「この／先生／きのこ／れる／の／か」という解析結果が得られうる。しかし、もし、「きのこ」という名詞の直後に、「れる」という動詞・接尾は接続する可能性は低いという、品詞間の接続関係をも学習によって取得できるのであれば、「この／先／生き／のこれる／の／か」という、人間の感覚に近い正解を得ることができる。すなわち、分かち書きと品詞推定の学習を同時に行うことができれば、これらを別個に行うよりも、分かち書きの精度も向上させることができると考えられる。
【０００７】
本発明は、上記の問題に鑑みてなされたものであり、教師なし学習によって、分かち書きのみならず、品詞推定まで行うための形態素解析モデルを生成する形態素解析モデル生成装置等を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の形態素解析モデル生成装置は、教師なし学習によって、解析対象文の分かち書きと品詞の推定を行うための形態素解析モデルを生成する形態素解析モデル生成装置であって、前記形態素解析モデルは、文字列を観測値とし、前記文字列における単語境界及び品詞を隠れクラスとする隠れセミマルコフモデルにおいて、生起確率である品詞ごとの単語ｎ−ｇｒａｍ確率の事前分布、及び、遷移確率である品詞ｎ−ｇｒａｍ確率の事前分布に確率過程を適用したノンパラメトリックベイズモデルであり、学習用のデータとして複数の文を記憶した学習データ記憶部と、前記学習データ記憶部に記憶された各文の分かち書きと当該分かち書きを構成する各単語候補に対する品詞の対応付けのサンプリングを行いながら、前記形態素解析モデルにおける前記品詞ごとの単語ｎ−ｇｒａｍ確率及び前記品詞ｎ−ｇｒａｍ確率のパラメータの更新を行う処理を、所定の収束条件を満たすまで繰り返し行う学習部とを備えた構成を有している。
【０００９】
この構成によれば、分かち書きと、分かち書きを構成する単語候補に対する品詞の対応付けのサンプリングを行いながら、品詞ごとの単語ｎ−ｇｒａｍ確率及び品詞ｎ−ｇｒａｍ確率のパラメータを更新するという学習によって、分かち書きのみならず品詞推定まで行うための形態素解析モデルを生成することができる。
【００１０】
本発明の形態素解析モデル生成装置において、前記学習部は、前記各文について、品詞をパラメータとして含むラティスを生成し、
【数１】
2016133956.tif 000003
t：カレントの単語候補の終了位置
k：カレントの単語候補の長さ
z：カレントの単語候補の品詞
r：接続される１つ前の単語候補の品詞
j：接続される１つ前の単語候補の長さ
で表される前向き確率に従って、１つ前の単語候補及び当該単語候補に対応する品詞を選択しながら、前記サンプリングを行ってよい。
【００１１】
ラティスとは、文頭から文末までの、隣接する単語候補を網羅的に接続した経路のことである。また、前向き確率とは、ある単語候補に到達するまでの経路の確率の総和である。上記構成によれば、品詞をも考慮した前向き確率に従って、１つ前の単語候補及び当該単語候補の品詞が選択され、これが繰り返されて、ある文の形態素解析のサンプリング結果とされ、このサンプリング結果に基づいて、パラメータが更新される。このように、前向き確率に従って、順次サンプリングを行う手法は、blocked Gibbs sampling（ブロックド  ギブスサンプリング） という、MCMC（マルコフ連鎖モンテカルロ法）の１種であり、マルコフ連鎖が求めたい分布に収束することが知られている。したがって、かかる構成により、精度の良い形態素解析モデルを生成することができる。
【００１２】
本発明の形態素解析モデル生成装置において、前記品詞ごとの単語ｎ―ｇｒａｍ確率は、ＮＰＹＬＭ（Nested Pitman-Yor Language Model）に基づいて算出され、前記品詞ｎ―ｇｒａｍ確率は、ＨＰＹＬＭ（Hierarchical Pitman-Yor Language Model）に基づいて算出されてよい。
【００１３】
この構成のように、前記品詞ごとの単語ｎ−ｇｒａｍ確率は、ＮＰＹＬＭ（Nested Pitman-Yor Language Model）に基づいて算出され、前記品詞ｎ−ｇｒａｍ確率は、ＨＰＹＬＭ（Hierarchical Pitman-Yor Language Model）に基づいて算出されることにより、学習データに出現しない、様々な単語ｎ−ｇｒａｍ、品詞ｎ−ｇｒａｍに対して、適切な推定値を付与することができるので、精度のよい形態素解析モデルを生成することができる。
【００１４】
本発明の形態素解析モデル生成方法は、教師なし学習によって、解析対象文の分かち書きと品詞の推定を行うための形態素解析モデルを生成する形態素解析モデル生成方法であって、前記形態素解析モデルは、文字列を観測値とし、前記文字列における単語境界及び品詞を隠れクラスとする隠れセミマルコフモデルにおいて、生起確率である品詞ごとの単語ｎ−ｇｒａｍ確率の事前分布、及び、遷移確率である品詞ｎ−ｇｒａｍ確率の事前分布に確率過程を適用したノンパラメトリックベイズモデルであり、学習用のデータとして複数の文の入力を受け付けて、前記複数の文を学習データ記憶部に記憶するステップと、前記学習データ記憶部に記憶された各文の分かち書きと当該分かち書きを構成する各単語候補に対する品詞の対応付けのサンプリングを行いながら、前記形態素解析モデルにおける前記品詞ごとの単語ｎ−ｇｒａｍ確率及び前記品詞ｎ−ｇｒａｍ確率のパラメータの更新を行う処理を、所定の収束条件を満たすまで繰り返し行うステップとを備えた構成を有している。
【００１５】
本発明のプログラムは、教師なし学習によって、解析対象文の分かち書きと品詞の推定を行うための形態素解析モデルを生成するためのプログラムであって、前記形態素解析モデルは、文字列を観測値とし、前記文字列における単語境界及び品詞を隠れクラスとする隠れセミマルコフモデルにおいて、生起確率である品詞ごとの単語ｎ−ｇｒａｍ確率の事前分布、及び、遷移確率である品詞ｎ−ｇｒａｍ確率の事前分布に確率過程を適用したノンパラメトリックベイズモデルであり、コンピュータに、学習用のデータとして複数の文の入力を受け付けて、前記複数の文を学習データ記憶部に記憶するステップと、前記学習データ記憶部に記憶された各文の分かち書きと当該分かち書きを構成する各単語候補に対する品詞の対応付けのサンプリングを行いながら、前記形態素解析モデルにおける前記品詞ごとの単語ｎ−ｇｒａｍ確率及び前記品詞ｎ−ｇｒａｍ確率のパラメータの更新を行う処理を、所定の収束条件を満たすまで繰り返し行うステップと、を実行させる。
【発明の効果】
【００１６】
本発明によれば、教師なし学習によって、分かち書きのみならず品詞推定まで行うための形態素解析モデルを生成することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態における形態素解析モデル生成装置の構成を示すブロック図
【図２】本発明の実施の形態における形態素解析モデルのグラフィカルモデルを示す図
【図３】隠れマルコフモデルに基づく一般的な品詞推定のグラフィカルモデルを示す図
【図４】本発明の実施の形態における形態素解析モデル生成装置の動作フロー図
【図５】本実施の形態における、サンプリング処理のフロー図
【図６】本実施の形態における、ラティスの一例を示す図
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態の形態素解析生成装置について、図面を参照しながら説明する。
【００１９】
図１は、本発明の実施の形態の形態素解析モデル生成装置１の構成を示すブロック図である。図１に示すように、形態素解析モデル生成装置１は、入力部１０、学習部１１、出力部１６、記憶部１７を備える。学習部１１は、サンプリング部１２、パラメータ更新部１３、ソート部１４、ハイパーパラメータ決定部１５を備え、記憶部１７は、学習データ記憶部１８及びモデル記憶部１９を備える。
【００２０】
入力部１０は、学習データである複数の文の入力を受け付ける。学習部１１は、サンプリング部１２によって、学習データである各文の分かち書きと当該分かち書きを構成する各単語候補に対する品詞の対応付けのサンプリングを行いながら、パラメータ更新部１３によって、形態素解析モデルのパラメータの更新を行う処理を、所定の収束条件を満たすまで繰り返し行う。なお、ソート部１４及びハイパーパラメータ決定部１５の機能並びに、サンプリング部１２及びパラメータ更新部１３の詳細な機能については、形態素解析モデル生成装置１の動作フロー図に基づいて説明する。
【００２１】
出力部１６は、学習部１１によって、更新されたモデルを取得して、モデル記憶部１９に出力する。学習データ記憶部１８は、入力部１０によって入力された学習データを記憶する。モデル記憶部１９は、学習部１１にて生成され、更新された、形態素解析モデルを記憶する。
【００２２】
なお、図１に示す形態素解析モデル生成装置１は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＨＤＤ等を備えたコンピュータにより実現される。ＣＰＵがＲＯＭに記憶されたプログラムを読み出して実行することにより、学習部１１の機能が実現される。このような形態素解析モデル生成装置１を実現するためのプログラムも本発明の範囲に含まれる。
【００２３】
ところで、ある文ｓについての形態素解析結果をｗとすれば、形態素解析をいかに精度よく行うか、という問題は、確率ｐ（ｗ｜ｓ）を最大化するようなｗを推定する問題に定式化することができる。本発明の実施の形態において、形態素解析とは、分かち書きと、品詞推定とをまとめて行うことを意味するので、ｗは、ｗ＝｛ｗ1，ｗ2，・・・，ｗM、ｚ1，ｚ2，・・・，ｚM｝（ただし、ｗnは単語、ｚnは品詞）となる。ここで、ある単語の出現確率及び品詞の出現確率は、文脈（すなわち、当該単語の１つ前までの単語の並び及び品詞の並び）に依存すると仮定すると、確率ｐ（ｗ｜ｓ）は、ｈi＝ｗ1，・・・，ｗi，ｚ1・・・，ｚiとして、
【数２】
2016133956.tif 000004
と書き換えることができる。上式右辺の、ｐ（ｗi，ｚi｜ｈi-1）はさらに、ベイズ則により、
【数３】
2016133956.tif 000005
と変形することができる。この式（１）が、本発明の実施の形態において、学習により生成・更新する形態素解析のモデルである。
【００２４】
式（１）において、ｉ番目の単語はＮ−１個前までの単語列とｉ番目の品詞のみに依存し、ｉ番目の品詞は、Ｎ−１個前までの品詞列のみに依存すると仮定すると、
【数４】
2016133956.tif 000006
【数５】
2016133956.tif 000007
と書き換えることができる。式（２）の右辺が示すのは、品詞ごとの単語ｎ−ｇｒａｍ確率であり、式（３）の右辺が示すのは、品詞ｎ−ｇｒａｍ確率である。したがって、本発明の実施の形態において、式（１）で示される形態素解析モデルの学習は、品詞ごとの単語ｎ−ｇｒａｍ確率及び品詞ｎ−ｇｒａｍ確率のパラメータの学習を意味することになる。
【００２５】
図２は、本発明の実施の形態における形態素解析モデルのグラフィカルモデルを示す図、図３は、隠れマルコフモデルに基づく、一般的な品詞推定のグラフィカルモデルを示す図である。図３に示すように、従来の教師なし学習による形態素解析手法によれば、まず、分かち書きを行った後、つまり、単語を観測値とできるようにした後で、品詞の推定を行わなければならなかった。これに対して、本発明の実施の形態において、形態素解析とは、文字列である文ｓについて、分かち書きと品詞推定をまとめて行うことを意味する。したがって、図２のグラフィカルモデルは、文字列を観測値とし、単語分割及び品詞を隠れクラスとする隠れセミマルコフモデルになっている。また、図３においては、カレント品詞は１つ前の品詞のみに依存して確率的に決まる状態遷移を繰り返しながら、カレント品詞によって単語が確率的に一つに決まる。これに対して、図２のグラフィカルモデルにおいては、カレント単語は、カレント品詞及びｎ個（図２においては２個）前までの単語に依存して確率的に決まるｎ−ｇｒａｍモデル（図２においては２−ｇｒａｍ）であり、また、品詞も、ｎ個（図２においては２個）前までの品詞に依存して確率的に決まるｎ−ｇｒａｍモデルとなっている。すなわち、本発明の実施の形態において、生成・更新する形態素解析モデルは、文字列を観測値とし、文字列における単語境界及び品詞を隠れクラスとする隠れセミマルコフモデルにおいて、生起確率が品詞ごとの単語ｎ−ｇｒａｍ確率であり、遷移確率が品詞ｎ−ｇｒａｍ確率となっている。
【００２６】
さらに、本発明の実施の形態においては、品詞ごとの単語ｎ−ｇｒａｍ確率の事前分布、及び、品詞ｎ−ｇｒａｍ確率の事前分布として、階層ＰＹＰ（Pitman-Yor Process）を適用する。階層ＰＹＰを言語モデルに適用する方法については、Yee Whye The. の「A Bayesian Interpretation of Interpolated Kneser-Ney. Technical Report TRA2/06, School of Computing, NUS, 2006」に説明されているため、ここでは、本発明への適用に必要な限度で簡単に説明する。まず、生起確率については、本発明の実施の形態においては、品詞ｚごとに単語ｎ−ｇｒａｍが生成されるとの仮定の下に、単語ｎ−ｇｒａｍの生成確率をＥziNとして、階層ＰＹＰを適用する。学習データに出現しない、様々な単語ｎ−ｇｒａｍに対して、適切な推定値を付与するためのスムージングを考慮すると、ある単語ｎ−ｇｒａｍは、より低次のｎ−ｇｒａｍでバックオフされ、バックオフが単語ユニグラム（１−ｇｒａｍ）まで到達すると、文字ｎ−ｇｒａｍでバックオフされるようにすればよい。以上より、
【数６】
2016133956.tif 000008
となる。
【００２７】
以上の分析に基づき、本発明の実施の形態では、品詞ごとの単語ｎ−ｇｒａｍ確率に、単語ｎ−ｇｒａｍモデルと文字ｎ−ｇｒａｍモデルを階層化した言語モデルであるＮＰＹＬＭ（Nested  Pitman-Yor  Language  Model）を適用する。これにより、式（２）は、
【数７】
2016133956.tif 000009
と書き換えることができる。ここで、ｃは頻度、ｈは、文脈で、品詞ｚｉの下での単語列ｗi-N+1i-1を示す。ｔ|h|は、文脈ｈにおいて、親の文脈から単語ｗiが生成されたとみなされた回数を表し、文脈後ｔのＣＲＰ（中華料理店過程）によってデータから最適化される。また、において、θ|h|、ｄ|h|は、ＰＹＰのハイパーパラメータであり、ディスカウントとスムージングの強度を調整する。
【００２８】
本発明の実施の形態においては、品詞ｎ−ｇｒａｍ確率についても、同様にＰＹＰを適用するが、品詞ｎ−ｇｒａｍ確率については、単語ｎ−ｇｒａｍと文字ｎ−ｇｒａｍの階層構造を考慮する必要がない。したがって、
【数８】
2016133956.tif 000010
であり、品詞ｎ−ｇｒａｍ確率には、ＨＰＹＬＭ（Hierarchical Pitman- Yor Language Model）と同様になる。これにより、式（３）は、
【数９】
2016133956.tif 000011
と書き換えることができる。なお、ｅ|h|、η|h|は、ハイパーパラメータである。
【００２９】
学習部１１は、式（４）における
【数１０】
2016133956.tif 000012
及び、式（５）における
【数１１】
2016133956.tif 000013
を、学習によって更新し、式（４）及び式（５）のモデルを更新する。以下では、品詞ごとの単語ｎ−ｇｒａｍのパラメータを、Θｚ（ｚ＝１、２・・・Ｚ）とし、式（４）をＮＰＹＬＭｚとする。また、品詞ｎ−ｇｒａｍのパラメータを、Φとし、式（５）をＨＰＹＬＭとする。なお、学習部１１は、ハイパーパラメータについても、更新を行う。
【００３０】
図４は、本発明の実施の形態の形態素解析モデル生成装置１における、形態素解析モデルの生成及び更新手順の概要を示すフローチャートである。形態素解析モデル生成装置１は、まず、モデルの生成及び更新に用いられる学習データの入力を受け付け、入力された学習データＳを学習データ記憶部１７に記憶する（ステップＳ１０）。ここで、学習データＳは、Ｍ個の、文Ｓiを要素とし、Ｓ＝｛Ｓ1、Ｓ2、・・・ＳM｝である。
【００３１】
次に、形態素解析モデル生成装置１は、サンプリング部１２にて、学習データに含まれる各文Ｓｉについて、分かち書きと品詞対応づけの初期サンプリングを行う（ステップＳ１１）。パラメータ更新部１３は、ステップＳ１１にて得られた初期サンプリング結果を用いて、ＮＰＹＬＭｚのパラメータΘｚ（ｚ＝１、２・・・Ｚ）、及び、ＨＰＹＬＭのパラメータΦの初期値を設定し、初期（形態素解析）モデルを生成する（ステップＳ１２）。
【００３２】
次に、ソート部１４は、Ｓの対照群ΣＭから、１つの要素をサンプリングして、学習データＳの要素の並べ替えを行う（ステップＳ１３）。パラメータ更新部１３は、並べ替え後の各文Ｓσ＝｛Ｓσ1，Ｓσ2，・・・ＳσM｝について、１つずつ、直前のＮＰＹＬＭｚ及びＨＰＹＬＭから、Ｓσ（ｉ）の分かち書きサンプリング結果ｗ（Ｓσｉ）及び品詞サンプリング結果ｚ（Ｓσ（ｉ））のデータを除去して、パラメータΘｚ（ｚ＝１、２・・・Ｚ）、及び、パラメータΦを更新する（ステップＳ１４）。サンプリング部１３は、ステップＳ１４にて更新されたパラメータを用いたモデルＮＰＹＬＭｚ及びＨＰＹＬＭによって、文Ｓσ（ｉ）について、新たな分かち書きと品詞対応付けのサンプリングを行う（ステップＳ１５）。なお、ステップＳ１５の具体的な処理内容については、後述する。ステップＳ１５にて得られたサンプリング結果に基づいて、パラメータ更新部１４は、さらに、パラメータの更新を行う（ステップＳ１６）。
【００３３】
そして、パラメータ更新部１３は、ＮＰＹＬＭｚ及びＨＰＹＬＭのパラメータ更新に使用していない文Ｓσ（ｉ）があるか否かを判断する（ステップＳ１７）。ＮＰＹＬＭｚ及びＨＰＹＬＭのパラメータ更新に使用していない文Ｓσ（ｉ）がある場合（ステップＳ１７にてＹｅｓ）の場合には、ステップＳ１４に戻る。
【００３４】
全ての文Ｓσ（ｉ）に基づいて、パラメータの更新が終了した場合には（ステップＳ１７にてＮｏ）、ハイパーパラメータ決定部１５は、モデルＮＰＹＬＭｚ及びＨＰＹＬＭのハイパーパラメータθ及びｄを、それぞれ、ベータ分布、ガンマ分布に基づき決定する（ステップＳ１８）。なお、ハイパーパラメータの推定については、Yee Whye The. の「A Bayesian Interpretation of Interpolated Kneser-Ney. Technical Report TRA2/06, School of Computing, NUS, 2006」に説明されている。ソート部１４、サンプリング部１２、パラメータ更新部１３による以上の処理は、所定の収束条件を満たす（ステップＳ１９にてＹｅｓ）まで、繰り返し行われる。なお、所定の収束条件とは、例えば、ステップＳ１３からステップＳ１７までの処理を所定回数以上行うことや、パープレキシティーが所定値又は所定範囲内の値であることなど、種々の条件を設定してよい。以上の処理によって、本実施の形態における形態素解析モデル生成装置１は、教師なし学習によってパラメータの更新を行いながら、モデルＮＰＹＬＭｚ及びＨＰＹＬＭを生成する。
【００３５】
図５は、図４のステップＳ１５における、処理の流れを示す動作フロー図である。サンプリング部１２は、まず、文Ｓの単語ラティスを生成する（ステップＳ２０）。単語ラティスとは、文頭から文末までの、隣接する単語候補を網羅的に接続した経路を意味し、１つの経路を決定することで、分かち書きが１つ作成されることになる。本実施の形態においては、分かち書きと品詞の対応付けのサンプリングを同時に行う。したがって、ステップＳ２１において生成されるラティスも、品詞を考慮したラティスとなる。例えば、ある文Ｓが、「１杯で３度の香り」であり、単語候補の最大長を２文字とすると、ステップＳ２０で生成されるラティスは、図６に示すように、１つの単語候補に対して、全ての品詞（品詞ｉｄ）が対応付けられたものとなる。
【００３６】
次に、サンプリング部１２は、ステップＳ２０にて生成したラティスにおいて、文末から順次、単語候補の前向き確率を計算する（ステップＳ２１）。前向き確率とは、その単語に到達するまでの経路の確率の総和である。本実施の形態においては、単語分割と品詞の対応付けのサンプリングをまとめて行うため、単語と品詞の同時確率を求める必要がある。そのため、ステップＳ２１において算出される前向き確率も、品詞を考慮したものとなり、具体的には、次式に従って算出される。
【数１２】
2016133956.tif 000014
ここで、ｚは現在の品詞、ｒは１つ前の品詞、ｔはカレントの単語候補の終了位置、ｋはカレントの単語候補の長さ、ｊは接続される１つ前の単語候補長さである。なお、図６において、「香り」という単語に着目すると、長さ（文字数）は「２」なので、当該単語の終了位置である「８」から長さ２を引いた、「６」に位置するノードである「度の」及び「の」が、その前の単語候補として接続可能である。したがって、カレント単語「香り」の前向き確率は、１つ前の単語が「度の」または「の」である各品詞ごとのノードの前向き確率と各ノードからカレント単語への単語ｎ−ｇｒａｍ確率と品詞ｎ−ｇｒａｍ確率により算出される。
【００３７】
そして、カレント単語候補の前向き確率に基づいて、１つ前の単語境界の位置と品詞を、次の確率に従って、ランダムに選択する（ステップＳ２２）。
【数１３】
2016133956.tif 000015
このようにして、文頭まで到達するまで（ステップＳ２３にてＹｅｓ）、ステップＳ２２の処理を繰り返し、カレント単語候補の終了位置と品詞を順次選択する。文頭まで到達した場合には、それまで選択された単語境界の位置と、品詞とを組み合わせて、文Ｓの分かち書きと品詞の対応付けのサンプリング結果として、パラメータ更新部１３に出力する（ステップＳ２４）。
【００３８】
以上のように、本実施の形態の形態素解析モデル生成装置１によれば、隠れセミマルコフモデルに基づいて、品詞ごとの単語ｎ−ｇｒａｍ確率の事前分布にＮＰＹＬＭを適用し、品詞ｎ−ｇｒａｍ確率の事前分布にＨＰＹＬＭを適用した形態素解析モデルの学習を行う。この学習は、具体的には、各文の分かち書きと当該分かち書きを構成する各単語候補に対する品詞の対応付けのサンプリングを行いながら、品詞ごとの単語ｎ−ｇｒａｍ確率及び品詞ｎ−ｇｒａｍ確率のパラメータの更新を行う処理を、所定の収束条件を満たすまで繰り返し行うことで、実現される。したがって、本発明の形態素解析モデル生成装置１によれば、教師なし学習によって、分かち書きと品詞推定を同時に、精度よく行うための形態素解析モデルを生成することができる。
【００３９】
訓練データ１万文、テストデータ１千文を含む、日本語コーパスを用いて、本発明の実施の形態の形態素解析モデル生成装置１によって生成されたモデルの評価を行った。すると、従来手法であるＮＰＹＬＭによって分かち書きを行った後に、ＢＨＭＭ（Bayesian HMM）によって品詞推定を行った場合と比べて、下表のように、分割精度、分割再現率、品詞推定精度のいずれにおいても優位性が認められ、特に、分割精度及び品詞推定精度において、顕著な効果が確認された。
【表１】
2016133956.tif 000016
【００４０】
上記の実施の形態では、品詞ごとの単語ｎ−ｇｒａｍ確率及び品詞ｎ−ｇｒａｍ確率の事前分布に、それぞれ、ＮＰＹＬＭ、ＨＰＹＬＭを適用する場合について説明したが、単語ｎ−ｇｒａｍの事前分布として、ＨＰＹＬＭを適用してもよい。また、品詞ごとの単語ｎ−ｇｒａｍ確率及び品詞ｎ−ｇｒａｍ確率の事前分布に、このような階層ＰＹＰを適用しなくてもよく、ベルヌイモデルやディレクエプロセス等の、他のノンパラメトリックベイズモデルを適用してもよい。
【００４１】
また、上記の実施の形態では、図４のステップＳ１５、Ｓ１６において、１文ずつ、直前のＮＰＹＬＭｚ及びＨＰＹＬＭから、Ｓσ（ｉ）の分かち書きサンプリング結果ｗ（Ｓσｉ）及び品詞サンプリング結果ｚ（Ｓσ（ｉ））のデータの除去と、サンプリング結果を追加する場合について説明したが、データの除去とサンプリング結果の追加は、複数の文についてまとめて行ってもよい。これは、上記の実施の形態で用いたギブスサンプリングの手法については、並列化できることが知られており、パラメータΘｚ、Φを固定した時、文ｓ（ｉ）に対する形態素解析結果ｗ（ｉ）は、それぞれ独立とみなすことができるからである。このように、データ除去及びサンプリング結果の追加を並列化することで、モデルの学習を高速に行うことができる。
【００４２】
また、本発明は、半教師あり学習に適用することもできる。具体的には、ラベル付きデータを一部に含む学習データを用いてサンプリングを行い、ラベル付きデータについては、常に正解データがサンプリングされるように固定しておけばよい。
【産業上の利用可能性】
【００４３】
本発明は、教師なし学習によって、分かち書きのみならず、品詞推定まで行うための形態素解析モデルを生成することができるという効果を有し、形態素解析モデル生成装置等として有用である。
【符号の説明】
【００４４】
１  形態素解析モデル生成装置
１０  入力部
１１  学習部
１２  サンプリング部
１３  パラメータ更新部
１４  ソート部
１５  ハイパーパラメータ決定部
１６  出力部
１７  記憶部
１８  学習データ記憶部
１９  モデル記憶部
【図１】
2016133956.tif 000018
【図２】
2016133956.tif 000019
【図３】
2016133956.tif 000020
【図４】
2016133956.tif 000021
【図５】
2016133956.tif 000022
【図６】
2016133956.tif 000023