(57)【要約】【課題】線形和補間法をベイズ学習法で定式化し、解析的（反復計算無し）に計算することができ、過学習の起こらない一般化されたｎグラム言語モデリングを実現した言語モデルの作成方法を提供する。【解決手段】ｎグラム言語モデルを線形和補間法により補間して言語モデルを作成する方法において、ｎグラム言語モデルの線形和補間法に対し、線形補間係数をモデル構造変数の事後確率値とみなし、ベイズ学習法によってｎグラム言語モデル全体を定式化することにより言語モデルを作成する。【選択図】図２
2005084179.tif 000002
【特許請求の範囲】
【請求項１】
ｎグラム言語モデルを線形和補間法により補間して言語モデルを作成する言語モデル作成方法において、
ｎグラム言語モデルの線形和補間法に対し、線形補間係数をモデル構造変数の事後確率値とみなし、ベイズ学習法によってｎグラム言語モデル全体を定式化することにより言語モデルを作成する言語モデル作成方法。
【請求項２】
ｎグラム言語モデルを線形和補間法により補間した言語モデルを作成する言語モデル作成装置において、
ｎグラム言語モデルの線形和補間法に対し、線形補間係数をモデル構造変数の事後確率値とみなし、ベイズ学習法によってｎグラム言語モデル全体を定式化することにより言語モデルを作成する言語モデル作成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、言語モデル作成方法及びその作成方法が適用された言語モデル作成装置に関し、特に音声認識用言語モデル作成方法及びその作成方法が適用された言語モデル作成装置に関する。
【背景技術】
【０００２】
図１を参照して従来の確率統計的音声認識装置、及び方法について説明する。
入力音声データは、特徴量変換部において特徴パラメータのベクトルデータ時系列Oに変換され、さらに探索処理部において言語データＤＢを用いて言語モデル作成部で作成された言語モデルで許容する単語列の仮説ｗ（＝｛ｗ1，ｗ2，・・・，ｗR｝≡｛ｗ｝1R）と対応した音声データＤＢを用いて音響モデル作成部で作成された音響モデルと特徴パラメータのベクトルデータ時系列とが照合される。この仮説の照合結果の評価値であるスコアは、入力音声と仮説との音響的な近さを示す音響スコアと仮説の存在する確率を言語スコアからなり、最も高いスコアを持つ仮説が認識結果（単語列ｗ＾）として出力される。
【０００３】
特徴量変換部における信号処理としてよく用いられるのは、ケプストラム分析であり、特徴パラメータOとしては、ＭＦＣＣ(Mel Frequency Cepstrum Coefficient)，対数パワーなどがある。
音響モデルとしては、確率統計理論に基づいてモデル化された隠れマルコフモデル（ＨＭＭ）が用いられる。
言語モデルは、認識対象とする文章を定義するための単語の連結関係を規定したものであり、単語を枝とした単語ネットワークや言語の確率モデル等が用いられる。連続音声認識の場合、任意の単語が任意の単語に接続可能な単語ネットワークの形式をとることが多い。このような形式をとることで単語ネットワークに登録されている単語の範囲内で任意の単語列の仮説の生成が可能となる。言語の確率モデルは、単語単体の存在確率、２つ以上の単語の連鎖する確率が用いられる。単語単体の存在確率を表すモデルは単語１グラム、単語の２連鎖確率、３連鎖確率、・・・、ｎ連鎖確率をそれぞれ表すモデルはそれぞれ、単語２グラム、単語３グラム、・・・ｎグラム確率と呼ばれる。この言語の確率モデルを用いることで、言語として存在し得ない仮説の生成を抑制することができる。
【０００４】
探索処理部では、文法で規定された単語の接続関係を示す単語ネットワーク上の仮説に対応した音響モデルと特徴パラメータのベクトルデータ時系列（時系列特徴量）を照合し、音響的な尤もらしさを示す音響スコアを求めると同時に、その仮説に対応した言語モデルから言語スコアをもとめ、音響スコアと言語スコアからなる仮説のスコアを、入力連続音声の始端から終端まで各仮説について求め、最も大きいスコアの仮説、つまり、入力音声に最も近い仮説を認識結果として出力する。
大語彙連続音声認識においては入力音声データの時系列特徴量Oに対しベイズ決定則により次のように出力単語列ｗ＾を求める。
【数１】
2005084179.tif 000003
ここで、p(O|w)（単語列ｗが与えられた時の時系列特徴量Oに対する確率）は音響モデル作成部において作られた音響モデルにより求められる。p(w)は単語列ｗの生起確率（出現確率）であり言語モデルと呼ばれ、言語モデル作成部において作られる。また、ｐ（O）はOが出現する確率（事前確率）である。
一般に言語モデルは、言語モデル作成部において、先行ｎ−１単語列の条件付確率によって表現され、新聞記事等の大量コーパスにより事前に学習して求められる。例えばコーパス（言語データＤＢ）Ｗから最尤学習により
【数２】
2005084179.tif 000004
によって推定することができる。
【０００５】
しかし、大語彙連続音声認識で必要とされる数万語規模の語彙サイズでｎグラムモデルの学習を行う場合、学習データが十分ではないため、従来の最尤学習では過学習および０頻度問題による性能低下に直面する。このような問題は、ｎ’グラム確率（ｎ’＜ｎ）によってｎグラム確率を補間することにより解決することが可能である。つまり単語列｛ｗ｝R-(n'-1)R）は単語列単語列｛ｗ｝R-(n-1)R）に比べて先行単語による拘束がゆるくコーパス中の頻度が多いため、ｎ’グラム確率の学習はｎグラム確率の学習に比べて統計的信頼性が高いからである。
【０００６】
補間法については、バックオフ補間法（非特許文献１  参照）、階層ベイズ補間法（非特許文献２，３  参照）等数多くの提案がある（非特許文献４にはこれらの従来法がまとめて記述されている。）が、ここでは一般的でありかつ後述する本発明と関係の深い線形和補間法（非特許文献４，５  参照）について図２を参照して説明を行う。
ｎグラム言語モデルを次のように、ｎグラム，ｎ−１グラム，・・・，１グラム確率の線形和で表現するのが線形和補間法である。
【数３】
2005084179.tif 000005
トライグラムの場合について、補間係数λを求める手順を説明する。
まず、最初に学習データからｎグラムの確率値を求め、次にｎグラムの学習に用いたものとは別の評価用データを用いて補間係数を推定する。補間係数は、上記式による評価データの生成確率が最大となるように決める。もし評価データ中の３つ組ｗR-2，ｗR-1,ｗR
の出現頻度が小さいならば式のλ3としては小さな値が推定される。この場合において、ｎグラムを求めるのに用いたデータと同一のデータを用いて補間係数を求めることはできない。なぜならば、学習データと評価用データが同じ場合には、ｎの値が大きいほど推定精度がよいため、必然的にλ3＝１，λ2＝０，λ1＝０となってしまうからである。したがって、ｎグラム確率の推定と補間係数の推定は、異なったデータを使って行う必要がある。
線形補間係数も最尤学習により求まるが、ＥＭ(expectation-maximization)アルゴリズムによる反復計算が必要なため、計算量が多くなる。また、過学習を引き起こす可能性がある。
【非特許文献１】I. Witten and T.Bell,“The zero-frequency problem: Estimating the probability of novel events in adaptive text compression, ” IEEE Trans. on IT , vol.37(4), pp.1085-1094 ,(1991)
【非特許文献２】D. MacKay and L. Peto, “A Hierarchical Dirichlet Language Model,”Natural Languate Engineering, vol. 1(3), pp. 1-19 (1995).
【非特許文献３】川端  豪  田本  真司，“二項事後分布に基づくＮ−グラム言語モデルのBack-off平滑化，”信学技報，SP95-93，pp.1-6，(1995)．
【非特許文献４】北  研二，“確率的言語モデル，”東京大学出版会，pp.57-72，(1999)。
【非特許文献５】S. Chen, “Building Probabilistic Models for Natural Language,”Ph. D Thesis, Harvard University, (1996).
【発明の開示】
【発明が解決しようとする課題】
【０００７】
従来のｎグラム言語モデルにおける適切な推定値を得るための確率値のスムージングを行う線形和補間法は、（１）線形和補間法は補間係数をＥＭアルゴリズムによる反復計算で求める必要があるため、計算量が多くなる、（２）ｎグラム確率及び補間係数は最尤学習により求められるため、少量データの場合、過学習による性能低下を生じる、問題があった。
【課題を解決するための手段】
【０００８】
本発明は、線形和補間法をベイズ学習法で定式化し、過学習の起こらない一般化されたｎグラム言語モデリングを実現する。
【発明の効果】
【０００９】
線形補間係数をベイズ学習法により解析的且つ反復計算無しで求めることができる。
ベイズ学習の効果により線形補間係数学習時に過学習が起こらない。
バックオフ補間法及び階層ベイズ補間法を内包する一般化された枠組であるため、他のタスクやモデルに対して拡張性が高い。
以上の３点は本発明の機能的効果である。本発明はベイズ学習法により定式化された手法であるため、少量学習データで過学習を緩和し、性能において従来法を上回ることが期待される。性能的効果を具体的な実験によって、示す。本報告では提案手法を、標準的バックオフ補間法であるWitten-Bell法（非特許文献１  参照。以下「ＷＢ法」という。）と２種類の評価セット（毎日新聞及びＣＳＪ）を用いて、Perplexityによる比較を行った（表１参照）。
毎日新聞タスクでは学習データを９５年の新聞記事とし、評価データは９６年の新聞記事２００文を用いた。ＣＳＪ(corpus of spontaneous Japanese)タスクでは、ＣＳＪ学習データに対し、男性話者学術講演評価用データ５０２文を用いて実験を行った。ベイズ学習による少量データでの効果を見るため、本実験では学習データをそれぞれ通常より少ない１０，０００文に設定した。表１から分かるように提案手法は両データに対してＷＢ法を凌ぐ性能を示した。
【表１】
2005084179.tif 000006
【発明を実施するための最良の形態】
【００１０】
図３を参照して本発明のベイズ学習による線形和補間方法を説明する。
はじめに、形態素解析され電子化された学習コーパス（言語データＤＢ）Ｗにより学習される単語ｗRの生起確率ｐ（ｗR｜Ｗ）をｎグラムで表現する。
【数４】
2005084179.tif 000007
ここで、ｍはモデル構造変数（確率変数）であり、ｍ＝ｎ（確率変数値）であればｎグラムモデル構造を表す。このモデル構造変数を確率変数とみなし、その事後確率を解析的に計算してそれを線形補間係数とするところが本発明の根幹となるアイデアである。
【００１１】
以下に説明の簡略化のため３グラムに対して定式化を行うが一般のｎグラムに対しても同様の定式化は可能である。
ｎグラム確率ｐ（ｗR｜ｍ＝１，Ｗ），ｐ（ｗR｜ｍ＝２，ｗRー1，Ｗ），及びｐ（ｗR｜ｍ＝３，ｗRー2，ｗRー1，Ｗ）は事前確率分布を設定することにより、ベイズの定理によって求めることができる。簡単のためｗRー2＝ｉ，ｗRー1＝ｊ，ｗR＝ｋとし、またＵ：ｍ＝１，Ｂ：ｍ＝２，Ｔ：ｍ＝３と表すと、ｐ（ｋ｜Ｕ，Ｗ），ｐ（ｋ｜ｊ，Ｂ，Ｗ），及びｐ（ｋ｜ｉ，ｊ，Ｔ，Ｗ）の具体形は、Dirichlet分布関数型の共役事前確率分布を用いることにより次のように導出することができる。
【数５】
2005084179.tif 000008
ここで、ψk，ψjk，ψijkは事後確率パラメータであり、学習コーパスＷ中に出現する頻度Ｃk，Ｃjk、Ｃijk及び事前確率分布パラメータψk0，ψjk0，ψijk0を用いて次のように表される。
【数６】
2005084179.tif 000009
（５）式に示すように、ｐ（ｋ｜Ｕ，Ｗ），ｐ（ｋ｜ｊ，Ｂ，Ｗ），及びｐ（ｋ｜ｉ，ｊ，Ｔ，Ｗ）は事後確率分布パラメータψk，ψjk，ψijkで表現されており、（６）式に示すように頻度Ｃk，Ｃjk、Ｃijkが事前確率分布パラメータψk0、ψjk0，ψijk0によって補正されているため過学習（すなわち、コーパス中に出現する頻度が小さい場合において単語列を０にしてしまう問題）が緩和される。
【００１２】
ｐ（Ｕ｜ｉ，ｊ，Ｗ），ｐ（Ｂ｜ｉ，ｊ，Ｗ），ｐ（Ｔ｜ｉ，ｊ，Ｗ）はｎグラムモデル構造に対する事後確率であり、事前確率分布及び事後確率分布パラメータを用いて次のように解析的に求まる。
【数７】
2005084179.tif 000010
ここで、Γ（・）はΓ関数である。またＣk（ｉ，ｊ）≡ＣkΣk（Ｃijk）／Σk（Ｃk），（Ｃjk（ｉ））≡ＣjkΣk（Ｃijk）／Σk（Ｃjk）はｋについての和を取った場合にΣk（Ｃijk）になるように規格化された頻度である。また、φk0，φjk0，φijk0はモデル構造事後確率導出時に与えれらる事前確率分布パラメータである。ψk0，ψjk0，ψijk0とは区別して用いられる。したがって、ｐ（Ｕ｜ｉ，ｊ，Ｗ），ｐ（Ｂ｜ｉ，ｊ，Ｗ），ｐ（Ｔ｜ｉ，ｊ，Ｗ）は、エビデンス(evidence)ｆij（Ｕ），ｆij（Ｂ），ｆij（Ｔ）を用いて次のように求めることができる。
【数８】
2005084179.tif 000011
このように本手法は式（７）及び式（８）を用いて解析的に（反復計算を行わずに）線形和補間係数を計算することができる。また線形和補間係数、ｎグラム確率は共に頻度が事前確率分布パラメータによって補正されているため、過学習が緩和されている。また、式（６）における事前確率分布パラメータの設定は一般性が高く、バックオフ補間法及び階層ベイズ補間法を内包した枠組みになっている。つまり本発明は従来法を内包する拡張性の高い枠組である。そのため、学習データやテストデータを変えた場合に対応しやすく、またｎグラムモデルをクラスｎグラムに拡張した場合も本手法をそのまま適応することができる。
【図面の簡単な説明】
【００１３】
【図１】確率統計的音声認識装置の概要構成を示す図。
【図２】従来のｎグラム言語モデリングにおける最尤学習による線形和補間法を説明する図。
【図３】本発明のｎグラム言語モデリングにおけるベイズ学習による線形和補間法を説明する図。
【図１】
2005084179.tif 000012
【図２】
2005084179.tif 000013
【図３】
2005084179.tif 000014