(57)【要約】【課題】複数の性質の異なるNN音響モデルを用いて、話者の発話様式や利用環境の音響環境の違い(雑音／残響)に素早く適応する音声認識技術を提供する。【解決手段】音声認識装置は、言語モデルと潜在クラス毎に異なる複数のニューラルネットワーク音響モデルとが格納される格納部と、入力される音声データから各潜在クラスの重みを推定し、推定した潜在クラス毎の重みと、言語モデルと潜在クラス毎に異なる複数のニューラルネットワーク音響モデルとに基づいて、音声データに対する音声認識を行う。【選択図】図４
2014157323.tif 000002
【特許請求の範囲】
【請求項１】
言語モデルと潜在クラス毎に異なる複数のニューラルネットワーク音響モデルとが格納される格納部と、
入力される音声データから各潜在クラスの重みを推定し、推定した潜在クラス毎の重みと、前記言語モデルと潜在クラス毎に異なる複数のニューラルネットワーク音響モデルとに基づいて、前記音声データに対する音声認識を行う、
音声認識装置。
【請求項２】
請求項１記載の音声認識装置であって、
前記格納部には、前記ニューラルネットワーク音響モデルとして、潜在クラス毎に、潜在クラスの起こりやすさを示す潜在クラス事前分布パラメタと、特徴量生成分布のパラメタである特徴量生成分布パラメタと、ニューラルネットワーク音響モデルのニューラルネットワークパラメタとが格納され、
前記潜在クラス事前分布パラメタ、前記ニューラルネットワークパラメタ及び前記特徴量生成分布パラメタを用いて、潜在クラス毎に前記音声データに対する最適状態変数系列を推定する最適状態変数系列推定部と、
前記潜在クラス事前分布パラメタ、前記ニューラルネットワークパラメタ、前記特徴量生成分布パラメタ及び前記最適状態変数系列を用いて、前記音声データに対する最適潜在クラスを選択する最適潜在クラス推定部と、
前記最適潜在クラスに対応する前記ニューラルネットワークパラメタと前記言語モデルとを用いて、前記音声データに対する単語列を探索する単語列探索部とをさらに含む、
音声認識装置。
【請求項３】
請求項１または請求項２記載の音声認識装置であって、
潜在クラス分布を学習データを観測した上での潜在クラスの起こりやすさを示すものとし、
前記ニューラルネットワークパラメタは、潜在クラス分布と、入力された学習用状態変数系列群と学習用特徴量系列群とを用いて、状態変数系列の正解確率と潜在クラス分布との積の総和が最大となるように求めることにより得られたものであり、
前記特徴量生成分布パラメタは、潜在クラス分布と、入力された学習用音声特徴量とを用いて、学習データの特徴量が出力される確率と潜在クラス分布との積の総和が最大となるように求めることにより得られたものであり、
前記潜在クラス事前分布パラメタは、前記潜在クラス分布を用いて、全ての潜在クラスの潜在クラス分布の総和に対する各潜在クラスの潜在クラス分布の割合を求めることにより得られたものである、
音声認識装置。
【請求項４】
潜在クラス毎に異なる複数の、潜在クラスの起こりやすさを示す潜在クラス事前分布パラメタと、特徴量生成分布のパラメタである特徴量生成分布パラメタと、ニューラルネットワーク音響モデルのニューラルネットワークパラメタと、学習データを観測した上での潜在クラスの起こりやすさを示す潜在クラス分布とが格納される音響モデル格納部と、
前記潜在クラス分布と、学習用音声データの状態変数の系列の群である学習用状態変数系列群と学習用音声データの特徴量の系列の群である学習用特徴量系列群とを用いて、前記ニューラルネットワークパラメタを更新するニューラルネットワーク学習部と、
前記潜在クラス分布と、入力された学習用音声特徴量とを用いて、前記特徴量生成分布パラメタを更新する特徴量生成分布学習部と、
前記潜在クラス分布を用いて、前記潜在クラス事前分布パラメタを更新する潜在クラス事前分布学習部と、
前記ニューラルネットワークパラメタ、前記特徴量生成分布パラメタ、前記潜在クラス事前分布パラメタ、入力された前記学習用状態系列及び前記学習用音声特徴量を用いて、前記潜在クラス分布を更新する潜在クラス分布学習部とを含み、
前記ニューラルネットワークパラメタ、前記特徴量生成分布パラメタ、前記潜在クラス事前分布パラメタ及び前記潜在クラス分布の更新が収束するまで、前記ニューラルネットワーク学習部、特徴量生成分布学習部、潜在クラス事前分布学習部及び潜在クラス分布学習部における処理を繰り返す、
音響モデル学習装置。
【請求項５】
請求項４記載の音響モデル学習装置であって、
ｋを潜在クラスのインデックス、ｎを発話のインデックス、ｔをフレームのインデックス、ｑｎ，ｋを前記潜在クラス分布、ｓｔ（ｎ）を学習用音声データの状態変数、ｘｔ（ｎ）を学習用音声データの特徴量とし、前記ニューラルネットワーク学習部は、次式により、前記ニューラルネットワークパラメタΛｋを更新し、
【数４３】
2014157323.tif 000045
前記特徴量生成分布学習部は、次式により、前記特徴量生成分布パラメタΘｋを更新し、
【数４４】
2014157323.tif 000046
前記潜在クラス事前分布学習部は、次式により、前記潜在クラス事前分布パラメタpkを更新し、
【数４５】
2014157323.tif 000047
前記潜在クラス分布学習部は、次式により、前記潜在クラス分布ｑｎ，ｋを更新する、
【数４６】
2014157323.tif 000048
音響モデル学習装置。
【請求項６】
言語モデルと潜在クラス毎に異なる複数のニューラルネットワーク音響モデルとが格納部に格納されているものとし、
入力される音声データから各潜在クラスの重みを推定し、推定した潜在クラス毎の重みと、前記言語モデルと潜在クラス毎に異なる複数のニューラルネットワーク音響モデルとに基づいて、前記音声データに対する音声認識を行う、
音声認識方法。
【請求項７】
請求項６記載の音声認識方法であって、
前記格納部には、前記ニューラルネットワーク音響モデルとして、潜在クラス毎に、潜在クラスの起こりやすさを示す潜在クラス事前分布パラメタと、特徴量生成分布のパラメタである特徴量生成分布パラメタと、ニューラルネットワーク音響モデルのニューラルネットワークパラメタとが格納されているものとし、
前記潜在クラス事前分布パラメタ、前記ニューラルネットワークパラメタ及び前記特徴量生成分布パラメタを用いて、潜在クラス毎に前記音声データに対する最適状態変数系列を推定する最適状態変数系列推定ステップと、
前記潜在クラス事前分布パラメタ、前記ニューラルネットワークパラメタ、前記特徴量生成分布パラメタ及び前記最適状態変数系列を用いて、前記音声データに対する最適潜在クラスを選択する最適潜在クラス推定ステップと、
前記最適潜在クラスに対応する前記ニューラルネットワークパラメタと前記言語モデルとを用いて、前記音声データに対する単語列を探索する単語列探索ステップとをさらに含む、
音声認識方法。
【請求項８】
請求項６または請求項７記載の音声認識方法であって、
潜在クラス分布を学習データを観測した上での潜在クラスの起こりやすさを示すものとし、
前記ニューラルネットワークパラメタは、潜在クラス分布と、入力された学習用状態変数系列群と学習用特徴量系列群とを用いて、状態変数系列の正解確率と潜在クラス分布との積の総和が最大となるように求めることにより得られたものであり、
前記特徴量生成分布パラメタは、潜在クラス分布と、入力された学習用音声特徴量とを用いて、学習データの特徴量が出力される確率と潜在クラス分布との積の総和が最大となるように求めることにより得られたものであり、
前記潜在クラス事前分布パラメタは、前記潜在クラス分布を用いて、全ての潜在クラスの潜在クラス分布の総和に対する各潜在クラスの潜在クラス分布の割合を求めることにより得られたものである、
音声認識方法。
【請求項９】
音響モデル格納部には、潜在クラス毎に異なる複数の、潜在クラスの起こりやすさを示す潜在クラス事前分布パラメタと、特徴量生成分布のパラメタである特徴量生成分布パラメタと、ニューラルネットワーク音響モデルのニューラルネットワークパラメタと、学習データを観測した上での潜在クラスの起こりやすさを示す潜在クラス分布とが格納されるものとし、
前記潜在クラス分布と、学習用音声データの状態変数の系列の群である学習用状態変数系列群と学習用音声データの特徴量の系列の群である学習用特徴量系列群とを用いて、前記ニューラルネットワークパラメタを更新するニューラルネットワーク学習ステップと、
前記潜在クラス分布と、入力された学習用音声特徴量とを用いて、前記特徴量生成分布パラメタを更新する特徴量生成分布学習ステップと、
前記潜在クラス分布を用いて、前記潜在クラス事前分布パラメタを更新する潜在クラス事前分布学習ステップと、
前記ニューラルネットワークパラメタ、前記特徴量生成分布パラメタ、前記潜在クラス事前分布パラメタ、入力された前記学習用状態系列及び前記学習用音声特徴量を用いて、前記潜在クラス分布を更新する潜在クラス分布学習ステップとを含み、
前記ニューラルネットワークパラメタ、前記特徴量生成分布パラメタ、前記潜在クラス事前分布パラメタ及び前記潜在クラス分布の更新が収束するまで、前記ニューラルネットワーク学習ステップ、特徴量生成分布学習ステップ、潜在クラス事前分布学習ステップ及び潜在クラス分布学習ステップにおける処理を繰り返す、
音響モデル学習方法。
【請求項１０】
請求項９記載の音響モデル学習方法であって、
ｋを潜在クラスのインデックス、ｎを発話のインデックス、ｔをフレームのインデックス、ｑｎ，ｋを前記潜在クラス分布、ｓｔ（ｎ）を学習用音声データの状態変数、ｘｔ（ｎ）を学習用音声データの特徴量とし、前記ニューラルネットワーク学習ステップにおいて、次式により、前記ニューラルネットワークパラメタΛｋを更新し、
【数４７】
2014157323.tif 000049
前記特徴量生成分布学習ステップにおいて、次式により、前記特徴量生成分布パラメタΘｋを更新し、
【数４８】
2014157323.tif 000050
前記潜在クラス事前分布学習ステップは、次式により、前記潜在クラス事前分布パラメタpkを更新し、
【数４９】
2014157323.tif 000051
前記潜在クラス分布学習ステップにおいて、次式により、前記潜在クラス分布ｑｎ，ｋを更新する、
【数５０】
2014157323.tif 000052
音響モデル学習方法。
【請求項１１】
請求項１から請求項３の何れかに記載の音声認識装置としてコンピュータを機能させるためのプログラム。
【請求項１２】
請求項４または請求項５記載の音響モデル学習装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ニューラルネットワークに基づく音響モデルを用いた音声認識技術及びその音響モデルを学習する技術に関する。
【背景技術】
【０００２】
以下の説明において、テキスト中で使用する記号「^」「~」等は、本来直後の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直前に記載する。式中においてはこれらの記号は本来の位置に記述している。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
【０００３】
＜音声認識装置９０＞
音声認識装置９０の処理フローを図１に、機能ブロック図を図２に示す。音声認識装置９０は主に、特徴量抽出部９１と単語列探索部９２とからなる。特徴量抽出部９１は、フレーム(音声波形から一定時間長を切り出した波形)ｔ毎に音声信号データ（認識用音声データ）を時系列の特徴量ベクトルxtに変換する（ｓ９１）。単語列探索部９２は、音響モデル格納部９３に格納された音響モデルと言語モデル格納部９４に格納された言語モデルとを用いて、特徴量抽出部９１から出力された時系列の特徴量ベクトル（音声特徴量ベクトル）xtの音響モデルに対するスコア系列と言語モデルに対するスコアとを算出する。さらに、単語列探索部９２は、これらのスコアを参照して時系列の特徴量ベクトルxtと合致する単語列を探索する（ｓ９２）。音声認識装置９０は、最終的に単語列探索部９２で得られた探索結果である単語列を認識結果として出力する。ここで、音響モデルと言語モデルは、学習データ等を用いて予め作成しておく。ここで、音響モデルの作成方法について説明する。
【０００４】
［音響モデルについて］
音響モデルは音声の持つ音響的特徴をモデル化したものであり、認識用音声データと音響モデルを参照することにより、音声データを音素や単語といったシンボルに変換する。そのため、音響モデルの作成は音声認識装置の性能を大きく左右する。音声認識装置９０では特徴量抽出部９１を用いて、音声データを{x1,x2,…，xt,…}(xt∈RD、Rは実数の集合、tはフレーム番号またはそのフレーム番号に対応する時刻)のようなD次元の特徴量ベクトルxtの系列に変換する。通常、音声認識用音響モデルでは、各音素とこの特徴量ベクトルxtの系列の関係をLeft-to-right型の隠れマルコフモデル(Hidden Markov Model:以下「HMM」ともいう)で表現する。
【０００５】
これらのモデルでは時系列の特徴量ベクトルxtは、状態変数の系列{s1,s2,…,st,…}が一次のマルコフ連鎖に従って遷移し、その状態変数stに依存した確率分布からサンプル(出力)されたものとしてモデル化される。そのため、実際に音響モデルとしてメモリに記録されている情報は、状態遷移確率行列Pと、出力分布関数パラメタΛの二種類に分割することができる。ここでは状態遷移確率行列Pは既知の行列であるとし、出力分布関数パラメタΛを学習する場合の構成を説明する。
【０００６】
出力分布は一般的に混合ガウス分布、もしくは、ニューラルネットワーク(以下、「NN」ともいう)で表現され、Λはそれらのパラメタである。Λを混合ガウス分布で表現した音響モデルを混合ガウス分布音響モデル、ΛをNNで表現した音響モデルをNN音響モデルと呼ぶこととする。
【０００７】
[NN音響モデルについて]
NN音響モデルは、状態変数がstのとき、特徴量ベクトルxtが出力される確率をNNパラメタΛを用いて、以下のように定義する。
【０００８】
【数１】
2014157323.tif 000003
【０００９】
ここで、分母のp(st)は、状態変数stの出現確率を表し、学習データ中の状態変数sの出現頻度をカウントすることによって予め計算しておくこととする。例えば、出現確率p(s)は、学習データ中の全ての状態変数の出現頻度の総和に対する各状態変数ｓの出現頻度の割合である。また、学習データのデータ量が十分にない場合などは一定値であると仮定してもよい。
【００１０】
分子のp(st|xt,Λ)は、多層パーセプトロンと呼ばれるNNの一種(非特許文献１)を用いて以下のように定義される。
【００１１】
【数２】
2014157323.tif 000004
【００１２】
i=1,2,…,L、Lはレイヤー数、H(i)はi番目のレイヤーにあるユニットの数、h(i)j(xt；Λ)は入力に特徴量ベクトルxtが与えられたときのi番目のレイヤー内のj番目のユニットの状態を示す実数である。また、便宜上H(0)はDであるとし、h(0)j(xt；Λ)はh(0)j(xt；Λ)=xt,j、すなわち特徴量ベクトルxtのj番目の要素とする。このNN音響モデルにおいて、学習前に予め決めておくハイパーパラメタは、レイヤー数Lと、各レイヤー内のユニット数H(i)である。残りの自由変数、すなわち、結合行列
【００１３】
【数３】
2014157323.tif 000005
【００１４】
及びバイアスベクトル
【００１５】
【数４】
2014157323.tif 000006
【００１６】
を、以降Λ＝｛W(i),b(i)|∀i｝というように、NNパラメタΛで表わす。
【００１７】
[音響モデルの作成について]
音響モデルの作成は確率統計的手法により、与えられた学習データから得られる複数の特徴量ベクトルxtの系列X(n)の群（以下、「学習用特徴量系列群」ともいう）X={X(1),X(2),…,X(n),…}と、学習データの複数の状態変数stの系列s(n)の群（以下、「学習用状態変数系列群」ともいう）S={s(1),s(2),…,s(n),…}とから、パラメタΛを推定することにより作成される。ここでnは発話のインデックスであり、X(n)は一つの発話(例えば一文)の音響的特徴を記述した時系列であり、
【００１８】
【数５】
2014157323.tif 000007
【００１９】
のように、複数の音声特徴量ベクトルの時系列として表わされる。同様にs(n)も、X(n)と同じ系列長を持つラベル系列であり、
【００２０】
【数６】
2014157323.tif 000008
【００２１】
のように、複数の状態変数の時系列として表わされる。ラベル系列に関しては確率的に取り扱う場合もあるが、ここではラベル系列は既知として扱う。ただし、本発明自体はこれが確率的に与えられていてもそのまま適用可能である。
【００２２】
これらの学習データが与えられた上で、最適な音響モデルパラメタ^Λは、例えば以下のような学習データへの適合率Ｆ（Λ,X,S）が最大となる音響モデルパラメタΛとして定義される。
【００２３】
【数７】
2014157323.tif 000009
【００２４】
この最適化はバックプロパゲーション法（非特許文献１参照）にて実行することができる。
【００２５】
［Minimum Error Linear Transformation（以下「MELT」ともいう］
高精度に音声認識を行うためには、認識対象と同一の話者の認識時と同じ環境（雑音や残響などの周囲の環境）で収録した学習データを用いて学習した音響モデルを用いることが望ましい。しかしながら、話者及び環境毎に音響モデルを作成するのは困難であるため、認識対象とは異なる話者や異なる環境で収録した学習データから学習した音響モデルを用いて音声認識を行うのが一般的である。認識対象とは異なる話者／異なる環境で収録された学習データから学習した音声認識モデルを用いたときの音声認識精度を向上させる技術として、学習済みの音響モデルを認識対象の話者及び認識時の環境に適応するよう補正する適応技術が知られている。
【００２６】
ニューラルネットワーク音響モデルの適応技術として、MELT(非特許文献２参照)が知られている。MELTを用いたNN音響モデルの環境適応及び／または話者適応では、ある層iに対応する結合重み行列W(i)を以下のように変換行列Γと適応前重み行列~W(i)を用いて更新する。
【００２７】
【数８】
2014157323.tif 000010
【００２８】
この拡張は、変換行列Γが単位行列(Γ=I)のとき、従来のNNに一致する。すなわち、MELTで対象とする音響モデルのパラメタは、従来のNNパラメタΛに加えてΓを考慮したものであると考えることができる。
【００２９】
MELTの学習ステップでは、従来のNNと同様の学習データX,Sを用いて以下のようにNNパラメタΛを推定する。
【００３０】
【数９】
2014157323.tif 000011
【００３１】
認識時は、予め同一認識環境または同一話者から収集した適応用データ~X、~Sを用いて、以下の最適化を実行することによって、最適な変換行列^Γを推定する。
【００３２】
【数１０】
2014157323.tif 000012
【００３３】
この最適化はNNの学習と同様、最急勾配法などを用いて実行することができる。
【先行技術文献】
【非特許文献】
【００３４】
【非特許文献１】D. E. Ramelhart, G. E. Hinton, R. J. Williams, “Learning Representations by Back-Propagating Errors”, Nature, 1986, Vol. 323, pp. 533-536.
【非特許文献２】J. Trmal, J. Zelinka, L. M uller, "ON Speaker Adaptive Training of Artificial Neural Networks", Proc. Interspeech, 2010.
【発明の概要】
【発明が解決しようとする課題】
【００３５】
MELTにより話者適応／環境適応を実現するためには、十分な量の適応用データ~X、~Sの収集を行う必要がある。適応用データ~X、~Sの量を減らすための試みとして、Γの取り得る値について制約を加えることも行われているが、それらの試みでも適応用データ~X、~Sを一定量蓄積する必要がある。
【００３６】
実際に音声認識を使用する環境下では、適応用データ~X、~Sを予め蓄積しておくことができない場合も多く、これから認識しようとしている一発話分のデータのみを用いて高速に適応する方法に関する要求は高い。しかしながら、NN音響モデルに基づく音声認識装置では、このようなリアルタイムでの適応処理を実現する技術が知られていない。
【００３７】
本発明は、複数の性質の異なるNN音響モデルを用いて、話者の発話様式や利用環境の音響環境の違い(雑音／残響)に素早く適応する音声認識技術を提供することを目的とする。
【課題を解決するための手段】
【００３８】
上記の課題を解決するために、本発明の第一の態様によれば、音声認識装置は、言語モデルと潜在クラス毎に異なる複数のニューラルネットワーク音響モデルとが格納される格納部と、入力される音声データから各潜在クラスの重みを推定し、推定した潜在クラス毎の重みと、言語モデルと潜在クラス毎に異なる複数のニューラルネットワーク音響モデルとに基づいて、音声データに対する音声認識を行う。
【００３９】
上記の課題を解決するために、本発明の他の態様によれば、音響モデル学習装置は、潜在クラス毎に異なる複数の、潜在クラスの起こりやすさを示す潜在クラス事前分布パラメタと、特徴量生成分布のパラメタである特徴量生成分布パラメタと、ニューラルネットワーク音響モデルのニューラルネットワークパラメタと、学習データを観測した上での潜在クラスの起こりやすさを示す潜在クラス分布とが格納される音響モデル格納部と、潜在クラス分布と、学習用音声データの状態変数の系列の群である学習用状態変数系列群と学習用音声データの特徴量の系列の群である学習用特徴量系列群とを用いて、ニューラルネットワークパラメタを更新するニューラルネットワーク学習部と、潜在クラス分布と、入力された学習用音声特徴量とを用いて、特徴量生成分布パラメタを更新する特徴量生成分布学習部と、潜在クラス分布を用いて、潜在クラス事前分布パラメタを更新する潜在クラス事前分布学習部と、ニューラルネットワークパラメタ、特徴量生成分布パラメタ、潜在クラス事前分布パラメタ、入力された学習用状態系列及び学習用音声特徴量を用いて、潜在クラス分布を更新する潜在クラス分布学習部とを含み、ニューラルネットワークパラメタ、特徴量生成分布パラメタ、潜在クラス事前分布パラメタ及び潜在クラス分布の更新が収束するまで、ニューラルネットワーク学習部、特徴量生成分布学習部、潜在クラス事前分布学習部及び潜在クラス分布学習部における処理を繰り返す。
【００４０】
上記の課題を解決するために、本発明の他の態様によれば、音声認識方法は、言語モデルと潜在クラス毎に異なる複数のニューラルネットワーク音響モデルとが格納部に格納されているものとし、入力される音声データから各潜在クラスの重みを推定し、推定した潜在クラス毎の重みと、言語モデルと潜在クラス毎に異なる複数のニューラルネットワーク音響モデルとに基づいて、音声データに対する音声認識を行う。
【００４１】
上記の課題を解決するために、本発明の他の態様によれば、音響モデル学習方法は、音響モデル格納部には、潜在クラス毎に異なる複数の、潜在クラスの起こりやすさを示す潜在クラス事前分布パラメタと、特徴量生成分布のパラメタである特徴量生成分布パラメタと、ニューラルネットワーク音響モデルのニューラルネットワークパラメタと、学習データを観測した上での潜在クラスの起こりやすさを示す潜在クラス分布とが格納されるものとし、潜在クラス分布と、学習用音声データの状態変数の系列の群である学習用状態変数系列群と学習用音声データの特徴量の系列の群である学習用特徴量系列群とを用いて、ニューラルネットワークパラメタを更新するニューラルネットワーク学習ステップと、潜在クラス分布と、入力された学習用音声特徴量とを用いて、特徴量生成分布パラメタを更新する特徴量生成分布学習ステップと、潜在クラス分布を用いて、潜在クラス事前分布パラメタを更新する潜在クラス事前分布学習ステップと、ニューラルネットワークパラメタ、特徴量生成分布パラメタ、潜在クラス事前分布パラメタ、入力された学習用状態系列及び学習用音声特徴量を用いて、潜在クラス分布を更新する潜在クラス分布学習ステップとを含み、ニューラルネットワークパラメタ、特徴量生成分布パラメタ、潜在クラス事前分布パラメタ及び潜在クラス分布の更新が収束するまで、ニューラルネットワーク学習ステップ、特徴量生成分布学習ステップ、潜在クラス事前分布学習ステップ及び潜在クラス分布学習ステップにおける処理を繰り返す。
【発明の効果】
【００４２】
混合ガウス分布からなる音響モデルを用いた音声認識装置より一般に高い性能を持つと言われているNNからなる音響モデルを用いた音声認識装置において、従来不可能であった話者／環境への高速適応（適応用データを蓄積することなく、発話を処理する毎に適応処理を行うこと）が可能になるという効果を奏する。
【図面の簡単な説明】
【００４３】
【図１】従来技術の音声認識装置の処理フローを示す図。
【図２】従来技術の音声認識装置の機能ブロック図。
【図３】第一実施形態に係る音響モデル学習装置の処理フローを示す図。
【図４】第一実施形態に係る音響モデル学習装置の構成例を示す図。
【図５】第一実施形態に係る音声認識装置の処理フローを示す図。
【図６】第一実施形態に係る音声認識装置の構成例を示す図。
【図７】第一実施形態に係る音声認識装置のシミュレーション結果を示す図。
【発明を実施するための形態】
【００４４】
以下、本発明の実施形態について説明する。
【００４５】
＜第一実施形態＞
＜第一実施形態のポイント＞
［本実施形態において用いるNN音響モデル］
環境や話者の変化を積極的にモデルに取り入れるため、本実施形態では、状態変数系列sと特徴量系列xの結合確率分布p(x,s)をモデル化することを試みる。ここで、xは音響特徴量の系列{x1,x2,…,xt,…}に対応する確率変数であり、sは状態変数の系列{s1,s2,…,st,…}に対応するラベル系列である。従来のNN音響モデルでは、結合確率分布p(x,s)は、単一のNNパラメタΛを導入し、p(x,s｜Λ)=p(x|s,Λ)p(s)のようにモデル化されていた。本実施形態では、発話に内在する潜在的な環境／話者の要因を考慮し、以下のように潜在クラスkを用いた混合モデル（以下、潜在クラスモデルと呼ぶ）として定義する。
【００４６】
【数１１】
2014157323.tif 000013
【００４７】
ここでKは予め仮定しておく潜在クラス数である。ここで、潜在クラスとは、潜在的な（直接観測できない）環境／話者の要因によって分類される同質の保有性向を持つグループのことをいう。このような潜在クラスモデルを用いた場合、結合確率は特徴生成確率p(x|k)と、状態変数確率p(s|x,k)と、潜在クラス事前確率p(k)との積であると考えることができる。ここで、時系列内の各要素の独立性を仮定し、各分布関数に異なるパラメタを導入すると、以下の表現を得る。
【００４８】
【数１２】
2014157323.tif 000014
【００４９】
ここで、Λkは潜在クラスkにおけるNNパラメタであり、Θkは潜在クラスkにおける特徴量生成分布のパラメタ（以下「特徴量生成分布パラメタ」ともいう）である。式(8)は、状態変数系列sと特徴量系列xとの結合確率分布p(x,s)を、潜在クラスk毎のNN音響モデルから算出される確率p(x,s|k,Λk,Θk)と当該潜在クラスkの起こりやすさを示す確率p(k)との積の、全ての潜在クラスについての総和として定義することを意味する。
【００５０】
この潜在クラスモデルにおいて、NNを用いてp(st|xt,Λk)を式(2')(NNパラメタΛkは潜在クラスkに依存して異なる変数をさす)のように定義する。
【００５１】
【数１３】
2014157323.tif 000015
【００５２】
確率p(xt|Θk)を従来の多変量連続分布関数を用いて定義し、p(k)を多項分布、すなわち確率p(k)=pkを直接推定するようにパラメトライズすると、このモデルの調整可能なパラメタはNNパラメタΛk、特徴量生成分布パラメタΘk及びpkとなる。以降pkを、潜在クラスの確率を示す（全ての潜在クラスに対する各潜在クラスの起こりやすさを示す）という点から、潜在クラス事前分布または潜在クラス事前分布パラメタと呼ぶ。なお、後述する「潜在クラス分布qn,k」は、対応するn番目のデータを観測した上での潜在クラスkの起こりやすさを示すものであり、「潜在クラス事前分布pk」とは異なる分布を指す。
【００５３】
確率p(xt|Θk)として使われる多変量連続分布としては、以下の式で示される正規分布や混合正規分布がある。
【００５４】
【数１４】
2014157323.tif 000016
【００５５】
ここで
【００５６】
【数１５】
2014157323.tif 000017
【００５７】
であり、μｋは潜在クラスkに属する特徴生成確率p(x|k)の平均ベクトル、Vkは潜在クラスkに属する特徴生成確率p(x|k)の共分散行列を表わす。以降では、潜在クラスkを考慮したパラメタの推定法について説明する。
【００５８】
＜潜在クラスkを考慮したパラメタの推定法＞
定義した潜在クラスモデルは混合分布なので、既存のEMアルゴリズムを用いて全てのパラメタ(Θk,Λk,pk)を推定することができる（参考文献１参照）。
［参考文献１］ A. P. Dempster, N. M. Laird, D. B. Rubin, “Maximum Likelihood from Incomplete Data via the EM Algorithm”, Journal of Royal Statistical Society, 1977, Series B, Vol. 39, No. 1, pp.1-38.
【００５９】
（混合モデルとEMアルゴリズム）
以下、EMアルゴリズムを用いてパラメタを推定する方法について概略を説明する。
【００６０】
パラメタΘを用いて変数Aについての確率分布p(A|Θ)を定義することを考える。いくつかの潜在クラスkにおける変数Aの確率分布を、潜在クラスk毎に定義したパラメタθkを用いて定義し（確率分布p(A|k,θk)）、kについて周辺化することによって確率分布p(A|Θ)を定義することが可能である（式(10)参照）。
【００６１】
【数１６】
2014157323.tif 000018
【００６２】
この場合、パラメタΘは
【００６３】
【数１７】
2014157323.tif 000019
【００６４】
となる。
【００６５】
このように複雑な確率分布をモデル化可能な複数の小さなクラスでモデル化することによって表現力を上げる手法を混合モデル化という。
【００６６】
混合モデルの学習として、学習データにおける対数尤度を最大にする手法がとられるのが一般的である。学習データA(1),A(2),…,A(i),…を利用し、最適なパラメタを以下のようにおくことができる。
【００６７】
【数１８】
2014157323.tif 000020
【００６８】
混合モデルの学習には、EMアルゴリズムという手法が用いられるのが一般的である（参考文献１参照）。EMアルゴリズムではJensenの不等式と、占有度パラメタqi,k(Σk qi,k=1)を用いて以下のように下界を導出する。
【００６９】
【数１９】
2014157323.tif 000021
【００７０】
この不等式はqi,k=p(k|A(i),Θ)の時に等号が成立するため、qi,kを逐次現在の推定パラメタΘ’から推定しながら下界を最大化するパラメタΘを推定していくことによって、EMアルゴリズムを構成することができる。すなわちEMアルゴリズムは以下の2ステップを繰り返すことにより実行される。
E-step:与えられたパラメタΘ’からqi,k=p(k|A(i),Θ’)を推定する。
M-step:得られたqi,kを上式(12)に代入し、Q(Θ;qi,k)を最大化するΘを求め、Θ’に代入する。
【００７１】
なお、EMアルゴリズムのM-stepは必ずしもQ(Θ;qi,k)を最大化する厳密解を求める必要はなく、必要に応じて数値解で代用してもよい。
【００７２】
＜本実施形態におけるパラメタの推定＞
EMアルゴリズムでは潜在クラス分布の推定値(式(12)におけるqi,k)を算出する必要があるが、本実施形態のモデルの場合、発話n毎に潜在クラスkがあり、潜在クラスkが与えられた上での観測値の確率分布(式(8)のp(x,s|k,Λk,Θk)のように表わされるため、潜在クラス分布の推定値qn,kは各パラメタの推定値Λk’,Θk’,pk’を用いて以下のように表わされる。
【００７３】
【数２０】
2014157323.tif 000022
【００７４】
本実施形態のモデルの場合、潜在クラス分布の推定値qn,kが定まった上での下界(式(12)におけるQ(Θ;qi,k))の最適化は以下のように書くことができる。
【００７５】
【数２１】
2014157323.tif 000023
【００７６】
この最適化は変数を共有しない複数の項の和の最適化であるため、変数毎に分解して最適化を解くことで最適値が求められる。すなわち式(14)の最適化は以下の3×K個の最適化問題に分解される。
【００７７】
【数２２】
2014157323.tif 000024
【００７８】
ここで、式(15)のp(st(n)|xt(n),Λk)は、音響モデルΛkとn番目の学習データのt番目のフレームの特徴量ベクトルxt(n)を条件とする状態変数st(n)の出力確率であり、音響モデルΛkと特徴量ベクトルxt(n)に対する状態変数st(n)の正解確率と捉えることができる。また、式(15)の潜在クラス分布の推定値qn,kはn番目の学習データにおける潜在クラスkの重みと捉えることができる。式(15)は、全ての学習データ及び全ての潜在クラスについての、学習データ毎の状態変数系列の正解確率と、その学習データにおける潜在クラスkの重みqn,kとの積の総和が最大となるようにNNパラメタΛkを更新することを意味する。
【００７９】
式(16)は、全ての学習データ及び全ての潜在クラスについて、特徴量生成分布パラメタΘkで示される確率分布から特徴量ベクトルxt(n)の系列{x1(n),x2(n),…,xt(n),…}がサンプル（出力）される確率と、その学習データにおける潜在クラスkの重みqn,kとの積の総和が最大となるように生成モデルパラメタΘkを更新することを意味する。
【００８０】
式(17)は、推定された潜在クラス分布qn,kに最も近い潜在クラス事前分布pkを最適化することを意味する。
【００８１】
潜在クラス事前分布pkに関する最適化(式(17))は、
【００８２】
【数２３】
2014157323.tif 000025
【００８３】
に最適解が存在することが知られている。つまり、潜在クラス事前分布pkは、全ての潜在クラスの潜在クラス分布の総和に対する各潜在クラスの潜在クラス分布の割合として求めることができる。
【００８４】
また、特徴量生成分布パラメタΘkの最適化(式(16))に関しても、正規分布のような簡単な分布であれば最適解が解析的に導出できることが知られている。
【００８５】
しかし、NNパラメタΛkに関する最適化(式(15))に関してはNNの特性上、最適解を解析的に導出することは、ごく一部の場合を除いてできない。そこでNNパラメタΛkの最適化に関してはバックプロパゲーション法（非特許文献１参照）を用いて数値的に解く必要がある。
【００８６】
これらを踏まえて具体的にEMアルゴリズムを構成するには、学習用特徴量系列群X={X(1),X(2) ,…,X(n) ,…}と学習用状態変数系列群S={s(1) ,s(2) ,…,s(n) ,…}、パラメタの推定値
【００８７】
【数２４】
2014157323.tif 000026
【００８８】
を用いて、以下のステップを繰り返すことによって最適化を行う。
E-step(1):全てのk,n及びtに対し、式(9')に従って、p(xt(n)|Θk’)の計算を行う。
【００８９】
【数２５】
2014157323.tif 000027
【００９０】
E-step(2):全てのk,n及びtに対し、式(2')に従って、p(st(n)|xt(n),Λk’)の計算を行う。
【００９１】
【数２６】
2014157323.tif 000028
【００９２】
E-step(3):全てのk,nに対し、式(13)に従って、潜在クラス分布qn,kの計算を行う。
【００９３】
【数２７】
2014157323.tif 000029
【００９４】
M-step(1):得られた潜在クラス分布qn,kを用い最適化(式(15))をバックプロパゲーション法（非特許文献１参照）によって実行する。
【００９５】
【数２８】
2014157323.tif 000030
【００９６】
M-step(2):得られた潜在クラス分布qn,kを用い最適化(式(16))を特徴量生成分布に応じた方法で実行する。
【００９７】
【数２９】
2014157323.tif 000031
【００９８】
M-step(3):得られた潜在クラス分布qn,kを用い、潜在クラス事前分布pkを
【００９９】
【数３０】
2014157323.tif 000032
【０１００】
のように更新する。
【０１０１】
一連の処理は、潜在クラス分布qn,kに以下に示すViterbi近似を導入することによって高速化可能である。
【０１０２】
Viterbi近似では潜在クラス分布qn,kの計算として、式(13)ではなく、以下の近似式を用いる。
【０１０３】
【数３１】
2014157323.tif 000033
【０１０４】
ここでδi,jはクロネッカのデルタであり、i=jの時のみ1、他の場合0となる変数である。この近似を用いることで、潜在クラス分布qn,kの多くの要素がゼロとなるため、実質の計算時間を大幅に削減することができる。
【０１０５】
＜音響モデル学習装置１００＞
図３に第一実施形態に係る音響モデル学習装置１００の処理フローを、図４にその構成例を示す。
【０１０６】
音響モデル学習装置１００は、音響モデル格納部１１０、音響モデル学習部１２０、潜在クラス分布学習部１３０及び反復制御部１４０を含む。音響モデル学習装置１００は、学習用特徴量系列群X及び学習用状態変数系列群Sを受け取り、これらのデータを用いて、潜在クラスkの異なるK個のNN音響モデルを学習し、出力する。
【０１０７】
＜音響モデル格納部１１０＞
音響モデル格納部１１０には、NN音響モデルとして、潜在クラスk毎の、NNパラメタΛk、特徴量生成分布パラメタΘkと、潜在クラス事前分布パラメタpkと、潜在クラス分布qn,kとが格納される。
【０１０８】
音響モデル学習装置１００は、各パラメタの学習に先立ち、NNパラメタΛkと潜在クラス分布qn,kとを初期化し（ｓ１０１）、その初期値を音響モデル格納部１１０に格納しておく。
【０１０９】
潜在クラス分布qn,kの初期値は乱数を代入する。Σk qn,k=1、qn,k>0を満たすような乱数であればなんでもよい。例えば、正整数{1,…,K}から一様無作為に選んだrnを用いてqn,k=δn,rn（ただし、下付文字rnはrnを表す）として初期化してもよい。なお、潜在クラス分布の初期化処理を省略し、潜在クラス分布qn,kに予め適当な値を設定して音響モデル格納部１１０に格納しておき、その値を初期値として利用する構成としてもよい。このように、潜在クラス分布qn,kの初期値として、異なる値を設定することで、同一の学習データに対して潜在クラスk毎に性質の異なるNN音響モデルを学習することができる。
【０１１０】
NNパラメタΛkの初期値としては何を与えてもよいが、例えば、全学習データを用いて上述の従来のNN音響モデルの作成法で学習したNNパラメタΛを、全てのkについてのNNパラメタΛkとする。この学習は、後述のNN学習部１２１において式(15)をqn,k=1の設定で行うことによって実行できる。また、結果は音響モデル格納部１１０に格納される。
【０１１１】
【数３２】
2014157323.tif 000034
【０１１２】
＜音響モデル学習部１２０＞
音響モデル学習部１２０は、NN学習部１２１と、特徴量生成分布学習部１２２と、潜在クラス事前分布学習部１２３とを含む。音響モデル学習部１２０は、学習用状態変数系列群S={s(1),s(2),…,s(n),…}と学習用特徴量系列群X={X(1),X(2),…,X(n),…}から、それぞれNNパラメタΛk、特徴量生成分布パラメタΘk及び潜在クラス事前分布パラメタpkを学習する。NN学習部１２１、特徴量生成分布学習部１２２及び潜在クラス事前分布学習部１２３の処理は、どの順番で行っても問題ない。
【０１１３】
（NN学習部１２１）
NN学習部１２１は、音響モデル格納部１１０から読みだした潜在クラス分布qn,kと、入力された学習用状態変数系列群Sと学習用特徴量系列群Xとを用いて、式(15)によりNNパラメタΛkを学習し（ｓ１０２）、音響モデル格納部１１０に格納されたNNパラメタΛkを更新する。
【０１１４】
【数３３】
2014157323.tif 000035
【０１１５】
例えば、上述したM-step(1)を実行することに相当する。なお、M-Step(1)のバックプロパゲーション法による反復処理は、所定回数繰り返した段階で更新処理を終了するものとする。
【０１１６】
（特徴量生成分布学習部１２２）
特徴量生成分布学習部１２２は、音響モデル格納部１１０から読みだした潜在クラス分布qn,kと、入力された学習用特徴量系列群Xとを用いて、式(16)を満たす特徴量生成分布パラメタΘ’kを学習し（ｓ１０３）、音響モデル格納部１１０に格納された特徴量生成分布パラメタΘkを更新する。
【０１１７】
【数３４】
2014157323.tif 000036
【０１１８】
（潜在クラス事前分布学習部１２３）
潜在クラス事前分布学習部１２３は、音響モデル格納部１１０から読みだした潜在クラス分布qn,kを用いて、式(17’)により潜在クラス事前分布パラメタpkを学習し（ｓ１０４）、音響モデル格納部１１０に格納された潜在クラス事前分布パラメタpkを更新する。
【０１１９】
【数３５】
2014157323.tif 000037
【０１２０】
＜潜在クラス分布学習部１３０＞
潜在クラス分布学習部１３０は、音響モデル学習部１２０で更新された各パラメタ(NNパラメタΛk、特徴量生成分布パラメタΘk、潜在クラス事前分布パラメタpk)と、入力された学習用状態変数系列群S及び学習用特徴量系列群Xを用いて、式(13)により、潜在クラス分布qn,kを学習し（ｓ１０５）、音響モデル格納部１２０に格納された潜在クラス分布qn,kを更新する。
【０１２１】
【数３６】
2014157323.tif 000038
【０１２２】
なお、式(13)中に登場する確率p(s(n)t|x(n)t,Λt’)や確率p(x(n)t|Θk')として、NN学習部１２１や特徴量生成分布学習部１２２で求めたものを援用してもよい。
【０１２３】
＜反復制御部１４０＞
反復制御部１４０は、更新処理が収束したか否か判定し（ｓ１０６）、収束していたら学習用状態変数系列群S及び学習用特徴量系列群Xに対する更新処理を終了する。例えば、実行時間を計測しておき、所定時間に到達したら収束したと判定してもよいし、音響モデル学習部１２０や潜在クラス分布学習部１３０における更新回数をカウントしておき、所定回数に到達したら収束したと判定してもよい。収束したと判定されなければ、音響モデル学習部１２０及び潜在クラス分布学習部１３０に処理を繰り返すように制御信号を出力する。
【０１２４】
＜効果＞
このような構成により、同一の学習データから複数の性質の異なるNN音響モデルを学習することができる。
【０１２５】
＜音声認識の原理＞
音声認識装置２００は、潜在クラスk毎に異なる複数のNN音響モデルを具備する点が従来の音声認識装置とは異なる。潜在クラスk毎に異なる複数のNN音響モデルは、音響モデル学習装置１００により構築することができる。音声認識装置２００は、潜在クラスk毎に異なる複数のNN音響モデルを使い分けて音声認識を行う。
【０１２６】
これまでも、複数の混合ガウス分布の音響モデルがある際にそれらを使いわけて音声認識精度を高める手法については、（１）システムコンビネーションによる手法(参考文献２参照)、（２）潜在クラス事前分布pkの再推定による手法、（３）モデル選択による手法等が提案されている。
［参考文献２］G. Evermann, P. Woodland, "Posterior probability decoding, confidence estimation and system combination", Proc. NIST Speech Transcription Workshop, 2000
【０１２７】
しかしながら、複数のNN音響モデルがあり、これらを使い分ける技術は知られていなかった。
【０１２８】
以下では「モデル選択による手法」を複数のNN音響モデルに応用した場合の実施形態を解説するが、本実施形態の特徴は、潜在クラスが異なる複数の音響モデルを利用して音声認識を行う構成にあり、音声認識の具体処理部分はどのように実現されてもよい。例えば、システムコンビネーションや潜在クラス分布の際推定による手法を応用した実施形態とすることも可能である。
【０１２９】
つまり、音声認識装置２００は、入力される音声データから各潜在クラスの重みを推定し、推定した潜在クラス毎の重みと、言語モデルと潜在クラス毎に異なる複数のNN音響モデルとに基づいて、音声データに対する音声認識を行う。その重みの推定方法や、重みを利用したNN音響モデルの処理方法については様々な方法が考えられる。
【０１３０】
モデル選択による手法では入力される音声データに対応すると考えられる潜在クラスkを最初に推定し、潜在クラスkに対応する音響モデルのみを使って音声認識を行う。よって、選択したNN音響モデルに対する重みを1と推定し、他のNN音響モデルに対する重みを0と推定していると考えられる。なお、学習データに含まれない特徴量系列xに対する潜在クラスの事後分布は、以下のように全ての可能な状態変数系列s'についての総和(Σs')で表現する必要がある。
【０１３１】
【数３７】
2014157323.tif 000039
【０１３２】
一般に、この総和は簡単には計算できないので、本実施形態では、1-best近似を用いた。1-best近似では、まず最尤となる最適状態変数系列^skを潜在クラスk毎に一つずつ、以下のように計算する。
【０１３３】
【数３８】
2014157323.tif 000040
【０１３４】
このようにして求めた最適状態変数系列^skを用いて、潜在クラスの事後分布を以下のように近似する。
【０１３５】
【数３９】
2014157323.tif 000041
【０１３６】
ここで、αとβはモデル合成のための調整項目（スケールファクタ）であり、予め値を設定しておくものとする。
【０１３７】
この近似を用いた上で入力音声Xに対応する潜在クラス^kを以下のように求める。
【０１３８】
【数４０】
2014157323.tif 000042
【０１３９】
そして、従来の音声認識処理を潜在クラス^kに対応する音響モデルパラメタ^Λkを用いて実行する。一発話毎に、潜在クラス^kを推定することで、各発話の環境や話者の特性に応じた潜在クラスを考慮した認識が可能となる。
【０１４０】
＜音声認識装置２００＞
以上の理論に基づいて構成される音声認識装置２００の実施形態を説明する。図５に本実施形態に係る音声認識装置２００の処理フローを、図６にその構成例を示す。
【０１４１】
音声認識装置２００は、特徴量抽出部２１０、最適状態変数系列推定部２２０、最適潜在クラス推定部２３０、単語列探索部２４０、音響モデル格納部２５０及び言語モデル格納部２６０を含む。
【０１４２】
音声認識装置２００は、認識用の音声データを受け取り、その音声データに対して音声認識を行い、認識結果の単語列を出力する。
【０１４３】
＜音響モデル格納部２５０及び言語モデル格納部２６０＞
音響モデル格納部２５０には、音響モデル学習装置１００で学習した潜在クラスkの異なるK個のNN音響モデル（Λt,Θk,pk,qn,k)が格納されている。また、言語モデル格納部２６０には、言語モデルが格納されている。なお、言語モデルは既存の技術に基づくものを用いればよい。
【０１４４】
＜特徴量抽出部２１０＞
特徴量抽出部２１０は、入力された音声データを受け取り、音声データから特徴量ベクトルxtを抽出し（ｓ２０１）、出力する。特徴量抽出として、既存の技術を用いることができる。
【０１４５】
＜最適状態変数系列推定部２２０＞
最適状態変数系列推定部２２０は、特徴量抽出部２１０で抽出した複数の特徴量ベクトルxtの系列X(n)の群（以下、「認識用特徴量系列群」ともいう）Xの一部（例えば、一発話に対する複数の特徴量ベクトルxt(n)の系列X(n)）、及び音響モデル格納部２５０に格納された潜在クラス毎の潜在クラス事前分布パラメタpk、NNパラメタΛk、特徴量生成分布パラメタΘkを用いて、式(20a)を計算して、K個の最適状態変数系列(^sk)を推定し（ｓ２０２）、最適潜在クラス推定部２３０に渡す。
【０１４６】
【数４１】
2014157323.tif 000043
【０１４７】
＜最適潜在クラス推定部２３０＞
最適潜在クラス推定部２３０は、認識用特徴量系列群Xの一部（例えばX(n)）と、最適状態変数系列推定部２２０で推定した最適状態系列^skと、音響モデル格納部２５０に格納された潜在クラス事前分布パラメタpk、NNパラメタΛk、特徴量生成分布パラメタΘkを用いて、式(21)及び式(22)により、認識用特徴量系列群Xの一部に対する最適潜在クラス^kを選択し（ｓ２０３）、単語列探索部２４０に出力する。
【０１４８】
【数４２】
2014157323.tif 000044
【０１４９】
＜単語列探索部２４０＞
単語列探索部２４０は、従来の音声認識器と同様に言語モデル格納部２６０に格納された言語モデルと、音響モデル格納部２５０に格納された音響モデルと、認識用特徴量系列群Xとを用いて、認識用音声データ（より詳しくいうと、認識用特徴量系列群X）にマッチする単語列を探索し（ｓ２０４）、探索結果である単語列を出力する。ただし、従来の音声認識装置９０における単語列探索部９２とは異なり、音響モデルとして、音響モデル格納部２５０に格納された複数のNN音響モデルのうち最適潜在クラス推定部２３０で選択された最適潜在クラス^kに対応するNNパラメタΛ^kを用いる。その際、発話n毎に最適潜在クラス^kを推定し、用いるNNパラメタΛ^kを変更することで、話者／環境への高速適応が可能になる。
【０１５０】
＜シミュレーション結果＞
図７は、第一実施形態に係る音声認識装置２００の音声認識のシミュレーション結果を表す。シミュレーションに用いるコーパスはTIMITを採用した。学習セットと評価セットの発話数はそれぞれ3、696発話と392発話である。潜在クラスの数Kは2で、NNの隠れユニット数H(i)は1024を使用した。特徴量生成分布は多変量ガウス分布を用いた。学習において、qn,kの初期値は、正整数{1,…,K}から一様無作為に選んだrnを用いてqn,k=δn,rnとした。モデル合成におけるスケールファクタα、β(式(21)参照)に関してはいくつかの値（(1)α=1.0,β=1.0、(2)α=1.0,β=0.0、(3)α=0.0,β=1.0、）を試行した。
【０１５１】
図７に示すように、第一実施形態に係る音声認識装置２００がNN音響モデルを使いわけることによって精度向上が果たせていることを確認できた。また利用する潜在クラスの選び方については、最も近似が厳密であると考えられる設定α=1.0、β=1.0以外でも十分な性能向上が見られることを確認した。
【０１５２】
＜効果＞
混合ガウス分布からなる音響モデルを用いた音声認識装置より一般に高い性能を持つと言われているNNからなる音響モデルを用いた音声認識装置において、従来不可能であった話者／環境への高速適応（適応用データを蓄積することなく、リアルタイムに適応処理を行うこと）が可能になるという効果を奏する。
【０１５３】
＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【０１５４】
＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【０１５５】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【０１５６】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
【０１５７】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【０１５８】
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【符号の説明】
【０１５９】
１００ 音響モデル学習装置
１１０ 音響モデル格納部
１２０ 音響モデル学習部
１２１ 学習部
１２２ 特徴量生成分布学習部
１２３ 潜在クラス事前分布学習部
１３０ 潜在クラス分布学習部
１４０ 反復制御部
２００ 音声認識装置
２１０ 特徴量抽出部
２２０ 最適状態変数系列推定部
２３０ 最適潜在クラス推定部
２４０ 単語列探索部
２５０ 音響モデル格納部
２６０ 言語モデル格納部
【図１】
2014157323.tif 000053
【図２】
2014157323.tif 000054
【図３】
2014157323.tif 000055
【図４】
2014157323.tif 000056
【図５】
2014157323.tif 000057
【図６】
2014157323.tif 000058
【図７】
2014157323.tif 000059