(57)【要約】【課題】優れた言語予測性能を持つ潜在語言語モデルを、リアルタイム音声認識処理に利用可能にする言語モデル作成装置を提供する。【解決手段】ＬＷＬＭ学習部は、学習テキストを入力として、当該学習テキストの単語列にそれぞれ対応する隠れた単語系列である複数の隠れ系列を生成し、当該隠れ系列から潜在語−潜在語確率と潜在語−観測語確率の２つの確率分布から成る潜在語言語モデルを学習する。疑似学習テキスト作成部は、ＬＷＬＭ学習部が生成した潜在語言語モデルを入力として、潜在語−潜在語確率から潜在語系列を生成し、当該潜在語系列と上記潜在語−観測語確率から疑似テキストを作成する。Ｎ−ｇｒａｍ言語モデル作成部は、疑似学習テキスト作成部が作成した疑似テキストを入力として、当該疑似テキスト中の全てのＮ個組みの単語の頻度を数えてＮ−ｇｒａｍ言語モデルを作成する。【選択図】図２
2014160153.tif 000002
【特許請求の範囲】
【請求項１】
学習テキストを入力として、当該学習テキストの単語列にそれぞれ対応する隠れた単語系列である複数の隠れ系列を生成し、当該隠れ系列から潜在語−潜在語確率と潜在語−観測語確率の２つの確率分布からなる潜在語言語モデルを学習するＬＷＬＭ学習部と、
上記潜在語言語モデルを入力として、上記潜在語−潜在語確率から潜在語系列を生成し、当該潜在語系列と上記潜在語−観測語確率から疑似テキストを作成する疑似学習テキスト作成部と、
上記疑似テキストを入力として、当該疑似テキスト中の全てのＮ個組みの単語の頻度を数えてＮ−ｇｒａｍ言語モデルを作成するＮ−ｇｒａｍ言語モデル作成部と、
を具備する言語モデル作成装置。
【請求項２】
請求項１に記載した言語モデル作成装置において、
上記ＬＷＬＭ学習部は、
上記学習テキストを入力として、当該学習テキストの単語列にそれぞれ対応する隠れた単語系列を情報Ｂ（Ｂ≧２）の数分、隠れ系列として生成する隠れ系列推定手段と、
上記隠れ系列を入力として、潜在語の生起確率である潜在語−潜在語確率と、テキストとして表現される単語である観測語の生起確率である潜在語−観測語確率の２つの確率分布から成る潜在語言語モデルを、上記情報Ｂの組み数分生成する確率生成手段と、
を備えることを特徴とする言語モデル作成装置。
【請求項３】
請求項１又は２に記載した言語モデル作成装置において、
上記疑似学習テキスト作成部は、
情報Ｂを入力として、
上記情報Ｂの逆数で表わされる確率と、一様乱数との関係で上記情報Ｂの数分の組の潜在語言語モデルの中から１組の潜在語言語モデルを選択する選択情報を出力する潜在語言語モデル選択手段と、
上記選択情報と潜在語履歴を入力として、上記潜在語言語モデルから当該選択情報に対応する潜在語−潜在語確率を参照し、当該潜在語−潜在語確率と一様乱数との関係で潜在語を決定する潜在語生成手段と、
上記潜在語と上記選択情報を入力として、上記潜在語言語モデルから当該選択情報に対応する潜在語−観測語確率を参照し、当該潜在語−観測語確率と一様乱数との関係で観測語を決定し、決定した観測語を疑似テキストとして外部に出力すると共に、出力した観測語に対応する潜在語履歴を上記潜在語生成手段に出力する観測語生成手段と、
を備えることを特徴とする言語モデル作成装置。
【請求項４】
請求項１に記載した言語モデル作成装置で作成した疑似テキストを入力として、当該疑似テキスト中の全てのＮ個組みの単語の頻度を数えてＮ−ｇｒａｍ言語モデルをＬＷＬＭ的言語モデルとして作成するＬＷＬＭ的言語モデル作成部と、
学習テキストを入力として、当該学習テキスト中の全てのＮ個組みの単語の頻度を数えてＮ−ｇｒａｍ言語モデルをベースライン言語モデルとして作成するベースライン言語モデル作成部と、
上記ＬＷＬＭ的言語モデルと上記ベースライン言語モデルを入力として、２つの確率分布を重み付け和して求めた混合言語モデルを作成する混合言語モデル作成部と、
を具備する言語モデル作成装置。
【請求項５】
学習テキストを入力として、当該学習テキストの単語列にそれぞれ対応する隠れた単語系列である複数の隠れ系列を生成し、当該隠れ系列から潜在語−潜在語確率と潜在語−観測語確率の２つの確率分布からなる潜在語言語モデルを学習するＬＷＬＭ学習過程と、
上記潜在語言語モデルを入力として、上記潜在語−潜在語確率から潜在語系列を生成し、当該潜在語系列と上記潜在語−観測語確率から疑似テキストを作成する疑似学習テキスト作成過程と、
上記疑似テキストを入力として、当該疑似テキスト中の全てのＮ個組みの単語の頻度を数えてＮ−ｇｒａｍ言語モデルを作成するＮ−ｇｒａｍ言語モデル作成過程と、
を含む言語モデル作成方法。
【請求項６】
請求項５に記載した言語モデル作成方法で作成した疑似テキストを入力として、当該疑似テキスト中の全てのＮ個組みの単語の頻度を数えてＮ−ｇｒａｍ言語モデルをＬＷＬＭ的言語モデルとして作成するＬＷＬＭ的言語モデル作成過程と、
学習テキストを入力として、当該学習テキスト中の全てのＮ個組みの単語の頻度を数えてＮ−ｇｒａｍ言語モデルをベースライン言語モデルとして作成するベースライン言語モデル作成過程と、
上記ＬＷＬＭ的言語モデルと上記ベースライン言語モデルを入力として、２つの確率分布を重み付け和して求めた混合言語モデルを作成する混合言語モデル作成過程と、
を含む言語モデル作成方法。
【請求項７】
請求項１乃至４の何れか１項に記載した言語モデル作成装置としてコンピュータを動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、潜在語言語モデル（Latent Words Language Model）を音声認識に利用可能にする言語モデル作成装置とその方法とプログラムに関する。
【背景技術】
【０００２】
音声認識では、言語的な予測のために言語モデルが必要である。言語モデルとしては、音声認識のデコーディングと非常に相性の良い形であるＮ−ｇｒａｍ言語モデルが一般的に利用される。Ｎ−ｇｒａｍ言語モデルは、音声認識で一般的に利用されているものの、問題も存在する。例えば、学習テキスト中に存在した言語現象しか学習できない点がある。例を挙げて説明する。
【０００３】
学習テキスト内に「りんごを食べる」が存在して「みかんを食べる」が存在しない場合、その学習テキストで構築したｎ−ｇｒａｍ言語を用いて「みかんを食べる」の確率を求めると、「を食べる」という情報しか基本的には使わない。しかしながら、「みかん」と「りんご」は明らかに類似した単語であり、「りんごを食べる」の確率は、「みかんを食べる」の情報を使うことができるはずである。この類似単語の情報を利用する言語モデルとして、潜在語言語モデルがある。潜在語言語モデルは、テキスト中の各単語に対する潜在語を考慮したモデルである。
【０００４】
潜在語言語モデルは、「りんご」と「みかん」は類似単語であることを考慮して確率モデルを構築することができるため、Ｎ−ｇｒａｍ言語モデルと比較して高い言語予測性能があることが報告されている（非特許文献１）。潜在語言語モデルの構造は、クラスＮ−ｇｒａｍ言語モデルと同様の構造を持つ。クラスＮ−ｇｒａｍ言語モデルは、一般的なＮ−ｇｒａｍ言語モデルではなく、単語をクラスと呼ばれる形態（果物名クラス、姓クラスなど）に落とし、そのクラス系列に関するＮ−ｇｒａｍ言語モデルとして表現される。
【０００５】
また、クラスＮ−ｇｒａｍ言語モデルでは、更にクラス内単語生起確率の分布を持つ。クラス内単語生起確率は、例えば、果物名クラスからは「りんご」が生起する確率は例えば０.２、「みかん」が生起する確率は０.１といった形になっている。クラスＮ−ｇｒａｍ言語モデルも周知のモデルである（非特許文献２）。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】K.Deschacht , J.D.Belder , and M-F. Moens, “The latent words language model”, Computer Speech and Language, vol.26, pp.384-409,2012.
【非特許文献２】北研二著「言語と計算−４  確率的言語モデル」東京大学出版会、pp.72-74.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、潜在語言語モデルは、クラスＮ−ｇｒａｍ言語モデルとしての構造を持つことが原因で、音声認識や機械翻訳などでは利用されていない。その理由は、デコーディングの際の計算時間が大幅に増加してしまうからである。音声認識に利用されるＮ−ｇｒａｍ言語モデルは、ある単語は１つのクラスにしか属さないハードクラスタリングの構造を持つ。そのＮ−ｇｒａｍ言語モデルに対して潜在語言語モデルは、ある単語が複数のクラスに属し得るソフトクラスタリングの構造を持つ。
【０００８】
音声認識では、言語モデルを利用して任意の単語列に対する確率値を求める工程が必要である。しかし、ソフトクラスタリングの構造を持つ潜在語言語モデルは、計算量が膨大となり、リアルタイムに行う音声認識処理に用いることができない。つまり、潜在語言語モデルでは、あらゆる単語が全ての潜在語に属する構造を持つので、音声認識のデコーディングの際には、あらゆる潜在語の可能性を考慮して単語系列を決定する必要がある。その結果、通常のＮ−ｇｒａｍ言語モデルを用いる場合と比較して、デコーディング時の計算コストが大幅に増加してしまう課題がある。
【０００９】
本発明は、この課題に鑑みてなされたものであり、優れた言語予測性能を持つ潜在語言語モデルを、リアルタイム音声認識処理に利用可能にする言語モデル作成装置とその方法とプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の言語モデル作成装置は、ＬＷＬＭ学習部と、疑似学習テキスト作成部と、Ｎ−ｇｒａｍ言語モデル作成部と、制御部と、を具備する。ＬＷＬＭ学習部は、学習テキストを入力として、当該学習テキストの単語列にそれぞれ対応する隠れた単語系列である複数の隠れ系列を生成し、当該隠れ系列から潜在語−潜在語確率と潜在語−観測語確率の２つの確率分布から成る潜在語言語モデルを学習する。疑似学習テキスト作成部は、ＬＷＬＭ学習部が生成した潜在語言語モデルを入力として、上記潜在語−潜在語確率から潜在語系列を生成し、当該潜在語系列と上記潜在語−観測語確率から疑似テキストを作成する。Ｎ−ｇｒａｍ言語モデル作成部は、疑似学習テキスト作成部が作成した疑似テキストを入力として、当該疑似テキスト中の全てのＮ個組みの単語の頻度を数えてＮ−ｇｒａｍ言語モデルを作成する。
【発明の効果】
【００１１】
本発明の言語モデル作成装置によれば、潜在語言語モデルの確率過程に従って一度疑似テキストを作成し、その疑似テキストから一般的なＮ−ｇｒａｍ言語モデルを作成する。よって、この発明の言語モデル作成装置で作成したＮ−ｇｒａｍ言語モデルは、潜在語言語モデルの性質を備えたＮ−ｇｒａｍ言語モデルとなる。そのＮ−ｇｒａｍ言語モデルは、リアルタイム音声認識処理に利用することが可能であり、従来のＮ−ｇｒａｍ言語モデルよりも高い性能が期待できる。
【図面の簡単な説明】
【００１２】
【図１】潜在語系列と観測語系列を説明するための図。
【図２】本発明の言語モデル作成装置１００の機能構成例を示す図。
【図３】言語モデル作成装置１００の動作フローを示す図。
【図４】ＬＷＬＭ学習部１１０の機能構成例を示す図。
【図５】ＬＷＬＭ学習部１１０の動作フローを示す図。
【図６】疑似学習テキスト作成部１３０の機能構成例を示す図。
【図７】疑似学習テキスト作成部１３０の動作フローを示す図。
【図８】本発明の言語モデル作成装置２００の機能構成例を示す図。
【図９】言語モデル作成装置２００の動作フローを示す図。
【発明を実施するための形態】
【００１３】
以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。
【００１４】
〔発明の考え〕
実施例の説明の前に、この発明の言語モデル作成方法の新しい考え方を説明する。この発明は、最近、機械学習の分野で新たに提案されたテキスト中の各単語に対する潜在語を考慮する潜在語言語モデルを、単純なＮ−ｇｒａｍ言語モデルとして近似して用いる考えである。
【００１５】
潜在語は、クラスＮ−ｇｒａｍ言語モデルにおけるクラスに相当し、ある文脈において意味や構文的な役割が似た単語をグループ化した場合の代表語を表わす。図１に、潜在語と観測語との関係を例示する。観測語とは、テキスト上に現れる単語のことであり、例えば図示するような「今日はいい天気です。」の一文を構成する単語列（観測語列）のことである。この観測語に対して、潜在語は観測語に似た単語の代表語を用いて表される。観測語の「今日」は、潜在語の「明日」に対応し、「明日」「昨日」「今日」等の複数の類似単語の代表として表される。
【００１６】
この潜在語言語モデルは、例えば、技術的な単語と一般的な単語が文脈的に類似した役割を持つ場合、一つの潜在語として似た確率を持つように学習できる。このため潜在語言語モデルは、通常のＮ−ｇｒａｍ言語モデルと比較してデータスパースネスの問題を回避することができ、様々なタスクに頑健に動作することが期待できる。
【００１７】
しかし、潜在語言語モデルは、上記したように音声認識のデコーディングの際に計算コストが大幅に増加してしまう課題がある。この発明は、この課題を解決する目的で、潜在語言語モデルから一度、疑似テキストを作成する過程と、その疑似テキストからＮ−ｇｒａｍ言語モデルを作成する過程と、を行うことで潜在語言語モデルを単純なＮ−ｇｒａｍ言語モデルとして近似するものである。
【実施例１】
【００１８】
図２に、この発明の言語モデル作成装置１００の機能構成例を示す。その動作フローを図３に示す。言語モデル作成装置１００は、ＬＷＬＭ学習部１１０と、疑似学習テキスト作成部１３０と、Ｎ−ｇｒａｍ言語モデル作成部１５０と、制御部１６０と、を具備する。言語モデル作成装置１００は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。
【００１９】
ＬＷＬＭ学習部１１０は、学習テキストを入力として、当該学習テキストの単語列にそれぞれ対応する隠れた単語系列である複数の隠れ系列を生成し、当該隠れ系列から潜在語−潜在語確率と潜在語−観測語確率の２つの確率分布からなる潜在語言語モデルを学習する（ステップＳ１１０）。ここで、隠れ系列とは、例えば観測語系列を「りんごみかんパインです」とし、単語数もその４個の単語のみと仮定した場合、隠れ系列の一つは例えば「りんごりんごりんごです」の一文である。この隠れ系列は、予め定められた数（複数）、生成される。
【００２０】
ＬＷＬＭ学習部１１０は、学習テキスト「りんごみかんパインです」を入力とし、当該学習テキストの単語列にそれぞれ対応するかくれた単語系列である複数の隠れ系列を生成し、当該隠れ系列から潜在語−潜在語確率と潜在語−観測語確率の２つの確率分布からなる潜在語言語モデルを学習する。ＬＷＬＭの学習は、隠れ系列の数分繰り返される（ステップＳ１６０１）。この繰り返し動作の制御は制御部１６０が行う。隠れ系列と同じ数、学習された潜在語言語モデルは、モデルの集合としてまとまった形で記録され、潜在語言語モデル１２０を構成する。
【００２１】
疑似学習テキスト作成部１３０は、潜在語言語モデル１２０を入力として、潜在語−潜在語確率から潜在語系列を生成し、その潜在語系列と潜在語−観測語確率から疑似テキストを作成する（ステップＳ１３０）。このステップＳ１３０は、Ｍ個の観測語が生成されるまで繰り返され（ステップＳ１６０２）、疑似テキスト１４０が作成される。Ｍは、外部から与えても良いし、疑似学習テキスト作成部１３０に予め定数として設定しておいても良い。
【００２２】
Ｎ−ｇｒａｍ言語モデル作成部１５０は、疑似テキスト１４０を入力として、当該疑似テキスト中のすべてのＮ個組みの単語の頻度を数えてＮ−ｇｒａｍ言語モデルを作成する（ステップＳ１５０）。Ｎ−ｇｒａｍ言語モデルの作成は、全てのＮ個組みの単語が終了するまで繰り返される（ステップＳ１６０３）。音声認識の場合は、Ｎは一般的にＮ＝３とする。Ｎ−ｇｒａｍ言語モデルの作成方法は周知である（非特許文献２）。作成されたＮ−ｇｒａｍ言語モデルは、一般的にモデルの集合として記録され、Ｎ−ｇｒａｍ言語モデル１７０を構成する。
【００２３】
以上説明したように作成されたＮ−ｇｒａｍ言語モデルは、潜在語言語モデルの優れた言語予測性能を持った言語モデルとなる。以降では、各部のより具体的な機能構成例を示して更に詳しく言語モデル作成装置１００の動作を説明する。
【００２４】
〔ＬＷＬＭ学習部〕
図４に、ＬＷＬＭ学習部１１０のより具体的な機能構成例を示す。その動作フローを図５に示す。ＬＷＬＭ学習部１１０は、隠れ系列推定手段１１０１と、確率生成手段１１０２と、を備える。
【００２５】
隠れ系列推定手段１１０１は、学習テキストを入力として、当該学習テキストの単語列にそれぞれ対応する隠れた単語系列を情報Ｂ（Ｂ≧２）の数分、隠れ系列としてを生成する（ステップＳ１１０１）。情報Ｂは、予め定められた数であり、外部から与えるようにしても良い。学習テキストに含まれる単語の集合をＷとすると、各潜在語はＷに含まれる何れかの単語が割り当てられる。
【００２６】
上記した例のように、学習テキストを「りんごみかんパインです」という４単語からなる文であるとした場合、Ｗは「りんご」、「みかん」、「パイン」、「です」の４単語からなる。この例の場合、「りんごりんごりんごです」や「みかんりんごみかんです」「パインパインパインパイン」などが、隠れ系列の候補になる。隠れ系列はこの場合、４４個（Ｗ＝４）の数有り得る。この隠れ系列を構成する潜在語の割り当ては、ギブスサンプリングという周知の方法で推定する。
【００２７】
確率生成手段１１０２は、隠れ系列から潜在語−潜在語確率Ｐ（ｈｋ｜ｈｋ-２，ｈｋ-１）と潜在語−観測語確率Ｐ（ｗｋ｜ｈｋ）を生成する（ステップＳ１１０２ａ）。
【００２８】
隠れ系列に例えば「りんごりんごりんごです」が選ばれたとする。隠れ系列が決まれば、潜在語−潜在語確率Ｐ（りんご｜りんご，りんご）は、例えば最尤推定の場合、式（１）で得ることができる。
【００２９】
【数１】
2014160153.tif 000003
【００３０】
「りんごりんごりんごです」を隠れ系列とした場合、隠れ系列中に「りんごりんご」が生じる回数は２回、「りんごりんごりんご」が生じる回数は１回なので、潜在語−潜在語確率Ｐ（りんご｜りんご，りんご）＝１/２となる。潜在語−潜在語確率Ｐ（りんご｜りんご，りんご）は、果物名「りんご」を代表単語として、果物名の後には果物名が良く出現する確率を表わしている。なお、最尤推定による値以外に、バックオフスムージングなど、任意の方法で推定した確率を利用できる。バックオフスムージングは公知の技術である。
【００３１】
次に、確率生成手段１１０２は、潜在語−観測語確率Ｐ（ｗｋ｜ｈｋ）を計算する（
ステップＳ１１０２ｂ）。潜在語−観測語確率Ｐ（みかん｜りんご）は、学習テキストを「りんごみかんパインです」とした場合、例えば最尤推定の場合、式（３）で得ることができる。
【００３２】
【数２】
2014160153.tif 000004
【００３３】
隠れ系列「りんごりんごりんごです」の潜在語「りんご」の回数は３回、学習テキスト中の観測語が「みかん」になる回数は１回なので、潜在語−観測語確率Ｐ（みかん｜りんご）＝１/３となる。潜在語−観測語確率Ｐ（みかん｜りんご）は、観測語として「みかん」が出現する確率を表わしている。なお、確率に、最尤度推定以外の方法（例えばバックオフスムージングなど）で推定した値が利用できることは、上記した通りである。
【００３４】
このように、確率生成手段１１０２は、隠れ系列に対して潜在語−潜在語確率Ｐ（ｈｋ｜ｈｋ-２，ｈｋ-１）と潜在語−観測語確率Ｐ（ｗｋ｜ｈｋ）の１組を学習する。潜在語−潜在語確率Ｐ（ｈｋ｜ｈｋ-２，ｈｋ-１）と潜在語−観測語確率Ｐ（ｗｋ｜ｈｋ）は、情報Ｂの数分が計算されるまで繰り返される（ステップＳ１６０１ｂ）。この情報Ｂの値は、潜在語言語モデルを詳細にしたい場合に大きく設定する。情報Ｂの値は１０程度あれば、ある程度詳細といえる。
【００３５】
〔疑似学習テキスト作成部〕
図６に、疑似学習テキスト作成部１３０のより具体的な機能構成例を示す。その動作フローを図７に示す。疑似学習テキスト作成部１３０は、情報Ｂを入力として潜在語言語モデル１２０を参照して疑似テキストを生成する。疑似学習テキスト作成部１３０は、潜在語言語モデル選択手段１３０１と、潜在語生成手段１３０２と、観測語生成手段１３０３と、を備える。
【００３６】
潜在語言語モデル選択手段１３０１は、情報Ｂを入力として、情報Ｂの逆数で表わされる確率と、一様乱数との関係で情報Ｂの数分の組の潜在語言語モデルの中から１組の潜在語言語モデルを選択する選択情報Ｐ＊を出力する（ステップＳ１３０１）。選択情報Ｐ＊とは、例えば潜在語言語モデルが２組の場合、そのどちらかを選択するＰ１又はＰ２の情報である。
【００３７】
例えば、Ｂ＝２とした場合、１/Ｂ＝０.５である（ステップＳ１３０１ａ）。潜在語言語モデル選択手段１３０１は一様乱数（rand）を発生させる（ステップＳ１３０１ｂ）。その乱数が例えばrand＝０．３であったとすると、例えば潜在語−潜在語確率Ｐ１（ｈｋ）を選択する選択情報Ｐ１を出力する。乱数がrand＝０.７であったとすると潜在語−潜在語確率Ｐ２（ｈｋ）を選択する選択情報Ｐ２を出力する（ステップＳ１３０１ｃ）。
【００３８】
潜在語生成手段１３０２は、選択情報Ｐ＊と潜在語履歴を入力として、選択情報Ｐ＊に基づいて潜在語言語モデル１２０を参照して潜在語ｈ＊を決定する（ステップＳ１３０２）。例えば選択情報Ｐ１と仮定する。最初は潜在語履歴が存在しないので、選択情報Ｐ１に基づいて潜在語言語モデル１２０を参照する（ステップＳ１３０２ａ）。
【００３９】
そして、潜在語生成手段１３０２は一様乱数（rand）を発生させ（ステップＳ１３０２ｂ）、参照した潜在語−潜在語確率Ｐ１（ｈ１｜−，−）に従って最初の潜在語ｈ１を決定する（ステップＳ１３０２ｃ）。潜在語ｈ１は、一様乱数（rand）と潜在語ｈ１の確率との関係で決定する。例えば、Ｐ１（りんご｜−，−）＝０.３、Ｐ１（みかん｜−，−）＝０.３、Ｐ１（パイン｜−，−）＝０.３、Ｐ１（です｜−，−）＝０.１と、仮定した時に、rand＝０．１の場合は最初の潜在語ｈ１＝「りんご」に決定する。rand＝０．７の場合は潜在語ｈ１＝「パイン」、rand＝０．９５の場合は潜在語ｈ１＝「です」に決定する。
【００４０】
観測語生成手段１３０３は、潜在語ｈ１と選択情報Ｐ１を入力として、潜在語言語モデル１２０から当該選択情報Ｐ１に対応する潜在語―観測語確率を参照し、当該潜在語−観測語確率と一様乱数との関係で観測語を決定し、決定した観測語を疑似テキストとして外部に出力すると共に、出力した観測語に対応する潜在語履歴を潜在語生成手段１３０２に出力する（ステップＳ１３０３）。
【００４１】
観測語生成手段１３０３は、潜在語ｈ１と選択情報Ｐ１とが入力されたので、潜在語―観測語確率Ｐ１（ｗ１｜ｈ１）を参照する（ステップＳ１３０３ａ）。そして、観測語生成手段１３０３は一様乱数（rand）を発生させ（ステップＳ１３０３ｂ）、一様乱数（rand）と潜在語―観測語確率Ｐ１（ｗ１｜ｈ１）との関係で観測語ｗ１を決定する（ステップＳ１３０３ｃ）。決定した観測語ｗ１は疑似テキストとして外部に出力される（ステップＳ１３０３ｄ）と共に、出力した観測語ｗ１に対応する潜在語履歴ｈ１を潜在語言語モデル選択手段１３０１に出力する（ステップＳ１３０３ｅ）。
【００４２】
例えば、観測語ｗ１は、潜在語―観測語確率Ｐ１（ｗ１｜ｈ１）の観測語の確率が、「りんご」＝０．３、「みかん」＝０.３、「パイン」＝０．３、「です」＝０．１とした場合に、一様乱数がrand＝０．１の時は「りんご」、rand＝０．４の時は「みかん」、rand＝０．７の時は「パイン」、rand＝０．９５の時は「です」、として決定される。
【００４３】
観測語ｗ１を出力すると、疑似学習テキスト作成部１３０は、上記したステップＳ１３０１〜ステップＳ１３０３までの処理を、Ｍ個の観測語ｗＭが出力されるまで繰り返される（ステップＳ１６０２）。Ｍの値は大きいほど潜在語言語モデルの性質を良く表わす疑似テキストとすることができる。Ｍは外部から与えても良いし、観測語生成手段１３０２に予め設定しておいても良い。
【実施例２】
【００４４】
図８に、本発明の言語モデル作成装置２００の機能構成例を示す。その動作フローを図９に示す。言語モデル作成装置２００は、従来のＮ−ｇｒａｍ言語モデルと、上記した言語モデル作成装置１００で作成した言語モデルを所定の割合で混合した混合Ｎ−ｇｒａｍ言語モデルを作成する言語モデル作成装置である。
【００４５】
言語モデル学習装置２００は、ＬＷＬＭ的言語モデル作成部２１０と、潜在語言語モデル１７０と、ベースライン言語モデル作成部２２０と、ベースライン言語モデル２３０と、混合言語モデル作成部２４０と、制御部２６０と、を具備する。ＬＷＬＭ的言語モデル作成部２１０は、上記した言語モデル作成装置１００を構成するＮ−ｇｒａｍ言語モデル作成部１５０と同じものであり、疑似テキストを入力として潜在語言語モデル１７０を作成する（ステップＳ２１０）。
【００４６】
ベースライン言語モデル作成部２２０は、学習テキストを入力として、当該学習テキスト中の全てのＮ個組みの単語の頻度を数えてＮ−ｇｒａｍ言語モデルをベースライン言語モデル２３０として作成する（ステップＳ２２０）。ベースライン言語モデル作成部２２０は、学習テキストが入力される点でのみＬＷＬＭ的言語モデル作成部２１０と異なるだけで、ＬＷＬＭ的言語モデル作成部２１０と同じ処理を行う。
【００４７】
混合言語モデル作成部２４０は、潜在語言語モデル１７０とベースライン言語モデル２３０を入力として、２つの確率分布を重み付け和して求めた混合言語モデルを作成する（ステップＳ２４０）。潜在語言語モデル１７０の確率Ｐｌｗｌｍ（ｗｋ｜ｗｋ-２，ｗｋ-１）と、ベースライン言語モデル２３０の確率Ｐｂａｓｅ（ｗｋ｜ｗｋ-２，ｗｋ-１）を次式に示すように混合する。
【００４８】
【数３】
2014160153.tif 000005
【００４９】
ここでλは、ベースライン言語モデルに対する重みである。λを大きく設定すると従来のＮ−ｇｒａｍ言語モデルの特性を強調することができる。λの値は例えばλ＝０．５として予め設定しておく。このように混合した混合Ｎ−ｇｒａｍ言語モデルは、潜在語言語モデルの特性と従来のＮ−ｇｒａｍ言語モデルの特性を補完する言語モデルとすることができる。
【００５０】
〔評価実験〕
この発明の言語モデル作成装置で作成した言語モデルの性能を評価する目的で、音声認識誤り率を比較する評価実験を行った。比較評価は、学習データから直接推定した階層Ｐｉｔｍａｎ−Ｙｏｒ言語モデル（一般的なＮ−ｇｒａｍ言語モデル）と、本発明の言語モデル作成装置１００で作成したＬＷＬＭ言語モデルと、本発明の言語モデル作成装置２００で作成した混合Ｎ−ｇｒａｍ言語モデルについて行った。重みλは約０.５とした。
【００５１】
実験は、音声認識デコーダにはＷＦＳＴベースのデコーダであるＶｏｉｃｅＲｅｘを用い、音響モデルはテストデータごとに３０００状態３２混合トライフォンＨＭＭを準備し、テキストの形態素解析にはＪＴＡＧを利用して行った。表１に比較結果を示す。認識誤り率のタスクＡは学習データと同様のタスクの音声を用いた結果、タスクＢは学習データと異なるタスクの音声を用いた結果である。
【００５２】
【表１】
2014160153.tif 000006
【００５３】
表１に示すように、学習データと異なるタスクにおいても本発明の言語モデルの認識誤り率が低い数値を示し、頑健に動作することが分かる。
【００５４】
このように、本願発明の言語モデル作成装置で作成した言語モデルによれば、従来のＮ−ｇｒａｍ言語モデルよりも高い性能が得られる。なお、上記した実施例では、一様乱数と確率値とを比較してモデルを決定する方法を説明したが、上記した方法は一例であって、一様乱数を用いた他の方法を用いても良い。
【００５５】
上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
【００５６】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００５７】
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2014160153.tif 000007
【図２】
2014160153.tif 000008
【図３】
2014160153.tif 000009
【図４】
2014160153.tif 000010
【図５】
2014160153.tif 000011
【図６】
2014160153.tif 000012
【図７】
2014160153.tif 000013
【図８】
2014160153.tif 000014
【図９】
2014160153.tif 000015