(57)【要約】【課題】Viterbiアルゴリズムによる高速性を担保しつつ、学習精度が向上された音響モデル作成装置を実現する。【解決手段】音声信号から音声特徴量系列ｏｔを抽出する特徴量分析部と音声信号に対応する学習ラベルを音素系列に分解し更に状態系列に変換する状態系列変換部と音響モデルを記憶する音響モデル記憶部と音声特徴量系列ｏｔと状態系列とから状態系列に対応する音響モデルを用いて前向き計算を行い前向き計算履歴を出力する前向き計算部と前向き計算履歴から最尤パスを求めこれを辿りながら十分統計量を蓄積する十分統計量蓄積部と十分統計量から学習後音響モデルを構築しこれにより音響モデルを更新するモデル更新部とを備え、十分統計量蓄積部での十分統計量の蓄積に際して用いる事後確率変数の値は最尤パスが時刻ｔに状態ｉを通る場合には状態出現確率ｆi(ｏt)（０≦ｆi(ｏt)≦１）でありそれ以外の場所では０である。【選択図】図１
2011002792.tif 000002
【特許請求の範囲】
【請求項１】
音声信号とその音声を文字で表した学習ラベルとからなる学習データが入力され、上記音声信号と上記学習ラベルとを分離して出力する学習データ取得部と、
上記音声信号が入力され音声特徴量系列Ｏ＝(ｏ１,ｏ２,・・・,ｏｔ,・・・,ｏＴ)を抽出して出力する特徴量分析部と、
初期状態分布、ある状態から別の状態への状態遷移確率、ある状態における出力確率などからなる音響モデルを記憶する音響モデル記憶部と、
上記学習ラベルと上記音響モデルとが入力され、上記学習ラベルを音素系列に分解し、更にこれを状態系列に変換して出力する状態系列変換部と、
上記音声特徴量系列Ｏと上記状態系列とが入力され、上記状態系列に対応する上記音響モデルを用いて前向き計算を行い、前向き確率とバックポインタとからなる前向き計算履歴を出力する前向き計算部と、
上記前向き計算履歴が入力され、最尤パスを求めて当該最尤パスを辿りながら十分統計量の蓄積を行う十分統計量蓄積部と、
上記十分統計量が入力され、学習後音響モデルを構築して出力し、これにより上記音響モデル記憶部の音響モデルを更新するモデル更新部と、
を備える音響モデル作成装置であって、
上記十分統計量蓄積部における上記十分統計量の蓄積に際して用いる事後確率変数の値は、上記最尤パスが時刻ｔに状態ｉ（１≦ｉ≦Ｊ、Ｊは状態の数）を通る場合には状態出現確率ｆi(ｏt)（０≦ｆi(ｏt)≦１）であり、それ以外の場所では０であることを特徴とする音響モデル作成装置。
【請求項２】
請求項１の音響モデル作成装置において、
上記前向き計算部は、上記前向き計算の過程で時刻ｔにおける状態ｊ（１≦ｊ≦Ｊ、Ｊは状態の数）の出力確率ｂｊ(ｏt)を計算して保存し、
上記状態出現確率ｆi(ｏt)は、
【数９】
2011002792.tif 000011
（ｂi(ｏt)は最尤パス上の出力確率）であることを特徴とする音響モデル作成装置。
【請求項３】
請求項１の音響モデル作成装置において、
上記前向き計算部は、上記前向き計算の過程で時刻ｔにおけるモノフォンに属する状態ｊ（１≦ｊ≦Ｊ、Ｊは状態の数）の出力確率ｂｊ(ｏt)を計算して保存し、
上記状態出現確率ｆi(ｏt)は、
【数１０】
2011002792.tif 000012
（ｂi(ｏt)は最尤パス上の出力確率）であり、状態ｉがモノフォンに属することを特徴とする音響モデル作成装置。
【請求項４】
音声信号とその音声を文字で表した学習ラベルとからなる学習データを、互いに分離する学習データ取得ステップと、
上記音声信号から音声特徴量系列Ｏ＝(ｏ１,ｏ２,・・・,ｏｔ,・・・,ｏＴ)を抽出する特徴量分析ステップと、
上記学習ラベルを音素系列に分解し、更にこれを状態系列に変換する状態系列変換ステップと、
上記音声特徴量系列Ｏと上記状態系列から、上記状態系列に対応する音響モデルを用いて前向き計算を行い、前向き確率とバックポインタとからなる前向き計算履歴を出力する前向き計算ステップと、
上記前向き計算履歴から最尤パスを求めて当該最尤パスを辿りながら十分統計量の蓄積を行う十分統計量蓄積ステップと、
上記十分統計量から学習後音響モデルを構築して出力し、これにより上記音響モデルを更新するモデル更新ステップと、
を実行する音響モデル作成方法であって、
上記十分統計量蓄積ステップにおける上記十分統計量の蓄積に際して用いる事後確率変数の値は、上記最尤パスが時刻ｔに状態ｉ（１≦ｉ≦Ｊ、Ｊは状態の数）を通る場合には状態出現確率ｆi(ｏt)（０≦ｆi(ｏt)≦１）であり、それ以外の場所では０であることを特徴とする音響モデル作成方法。
【請求項５】
請求項４の音響モデル作成方法において、
上記前向き計算ステップは、上記前向き計算の過程で時刻ｔにおける状態ｊ（１≦ｊ≦Ｊ、Ｊは状態の数）の出力確率ｂｊ(ｏt)を計算して保存し、
上記状態出現確率ｆi(ｏt)は、
【数１１】
2011002792.tif 000013
（ｂi(ｏt)は最尤パス上の出力確率）であることを特徴とする音響モデル作成方法。
【請求項６】
請求項４の音響モデル作成方法において、
上記前向き計算ステップは、上記前向き計算の過程で時刻ｔにおけるモノフォンに属する状態ｊ（１≦ｊ≦Ｊ、Ｊは状態の数）の出力確率ｂｊ(ｏt)を計算して保存し、
上記状態出現確率ｆi(ｏt)は、
【数１２】
2011002792.tif 000014
（ｂi(ｏt)は最尤パス上の出力確率）であり、状態ｉがモノフォンに属することを特徴とする音響モデル作成方法。
【請求項７】
請求項１乃至３のいずれかに記載した装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識に用いる音響モデル作成装置、その方法及びプログラムに関する。
【背景技術】
【０００２】
音響モデルの新規作成・更新は通常、まず学習用の観測信号系列とそれに対応する状態系列と音響モデル（新規作成の場合は任意の初期モデル）とから、前向き計算及び後向き計算に基づく事後確率変数γt(i)（例えばForward-Backwardアルゴリズムによる場合：非特許文献１参照）又は前向き計算に基づく前向き確率δt(i)（例えばViterbiアルゴリズムによる場合：非特許文献２参照）を求める。なお、事後確率変数γt(i)は時刻ｔ（１≦ｔ≦Ｔ、Ｔは観測信号系列の長さ）で状態ｉ（１≦ｉ≦Ｊ、Ｊはモデル中の状態の数）に存在する確率を表し、前向き確率δt(i)は時刻ｔで状態ｉに至る状態系列の中で最も高い確率を与える状態系列の確率を表す。そして、事後確率変数γt(i)や前向き確率δt(i)に基づき最も尤もらしい状態系列（最尤パス）を求め、その最尤パスを辿りながら、音響モデルを更新するために必要となる各種統計量（以下、「十分統計量」という）を抽出し、これにより音響モデルを更新する。
【０００３】
Viterbiアルゴリズムを用いる場合の従来の音響モデル作成装置１００の構成例を図１に、処理フロー例を図２に示す。音響モデル作成装置１００は、学習データ取得部１０１と特徴量分析部１０２と状態系列変換部１０３と音響モデル記憶部１０４と前向き計算部１０５と十分統計量蓄積部１０６とモデル更新部１０７とを備える。
【０００４】
学習データ取得部１０１は、音声信号とその音声を例えば仮名文字で表した学習ラベルとからなる学習データが入力され、音声信号と学習ラベルとをそれぞれ出力する（Ｓ１）。なお、学習データの取得が完了した際には十分統計量蓄積部１０６にデータ取得完了情報を送信する。
【０００５】
特徴量分析部１０２は、音声信号が入力され音声特徴量系列Ｏ＝(ｏ１,ｏ２,・・・,ｏｔ,・・・,ｏＴ)を抽出して出力する（Ｓ２）。抽出する特徴量としては、例えばＭＦＣＣ(Mel-Frequency Cepstrum Coefficient)の１〜１２次元とその変化量であるΔＭＦＣＣなどの動的パラメータや、パワーやΔパワーなどを用いる。また、ＣＭＮ（ケプストラム平均正規化）処理を行ってもよい。なお、特徴量はＭＦＣＣやパワーに限定したものではなく、音声認識に用いられる何らかのパラメータを用いても構わない。
【０００６】
状態系列変換部１０３は、学習ラベルと音響モデルとが入力され、学習ラベルを音素系列に分解し、更にこれを状態系列に変換して出力する（Ｓ３）。例えば、学習ラベルが「こんにちは」であった場合、「pause k o ng n i ch i h a pause」のように音素系列に分解し、更にこれを「*-pause+k[1] *-pause+k[2] *-pause+k[3] pause-k-o[1] ...」のように変換する。なお、[1][2][3]は音素モデルの状態番号である。
【０００７】
音響モデル記憶部１０４は、初期状態分布πｉ、状態ｉから状態ｊ（１≦ｊ≦Ｊ、Ｊはモデル中の状態の数）への状態遷移確率ａij、時刻ｔにおける状態ｊの出力確率
【０００８】
【数１】
2011002792.tif 000003
【０００９】
（Ｍは状態ｊに属する基底正規分布の数（混合数）、Ｎは基底正規分布、ｃjkは状態ｊのｋ番目の基底正規分布に対する混合重み係数、μjkは平均ベクトル、Ｕjkは共分散行列）等からなる音響モデルλを記憶する。図３は音響モデルλを概念的に例示したものである。音響モデルλはＨＭＭ(Hidden Markov Models)であり、複数の音素モデルからなる。音素モデルはモノフォン(例えば、*-a+*）であってもトライフォン(例えば、k-a+i）であっても構わない。各音素モデルは例えば３つの状態からなり、各状態内及び各状態間に状態遷移確率が定義され、各状態の出力確率は複数（図３では３つ）の基底正規分布からなる混合正規分布として定義されている。
【００１０】
前向き計算部１０５は、音声特徴量系列Ｏと状態系列とが入力され、状態系列に対応する音響モデルλを用いて前向き計算を行い、前向き確率δt(i)とバックポインタψt(i)とからなる前向き計算履歴を出力する（Ｓ４）。バックポインタψt(i)は時刻ｔで状態ｉに至る状態系列の中で最も高い確率を与える状態系列について、遷移元の状態を記憶するために用いる。前向き計算は例えば次のように行うことができる。
【００１１】
(i)初期化
δ1(i)＝πｉ・ｂｉ(ｏ１)    （１≦ｉ≦Ｊ、Ｊはモデル中の状態の数）  (2)
ψ1(i)＝０       (3)
【００１２】
(ii)前向き計算
【数２】
2011002792.tif 000004
【００１３】
(iii)終了
【数３】
2011002792.tif 000005
【００１４】
十分統計量蓄積部１０６は、入力された前向き計算履歴から最尤パスｑt*を求め、当該最尤パスｑt*を辿りながら取得した全ての学習データの処理が完了するまで十分統計量の蓄積を行う（Ｓ５）。最尤パスｑt*はバックポインタを用いて次式により求めることができる。
【００１５】
ｑt*＝ψt+1(qt+1*)    （ｔ＝Ｔ−１、Ｔ−２、・・・、１）        (8)
十分統計量には、モデル更新に用いる統計量、例えば出力確率の混合正規分布の各混合要素の重み係数、平均ベクトル、共分散ベクトルなどが含まれ、それらはそれぞれ下式より計算できる。
【００１６】
【数４】
2011002792.tif 000006
【００１７】
なお、Viterbiアルゴリズムにおいては式(12)における事後確率変数γt(j)は、
【００１８】
【数５】
2011002792.tif 000007
である。
【００１９】
前向き計算部１０５と十分統計量蓄積部１０６によりViterbiアルゴリズムを用いて最尤パスを得る処理について、図４(a)、(b)を用いて具体的に説明する。図４(a)、(b)は、横軸が時刻（音声特徴量系列に対応）、縦軸が状態（音素系列に対応）を表し、各丸印（●、◎、○）はある時刻ｔにおける状態ｉを表す。まず、前向き計算部１０５は図４(a)に示すように、ｔ＝１におけるある状態（図４(a)では状態１）を起点として、ｔ＝２における複数の状態での前向き確率δtを計算する。図４(a)では、前向き確率δtを計算済みのものを◎、δtを計算していないものを○、最尤パス上のものを●（ｔ＝１の開始状態やｔ＝Ｔの終了状態は必ず最尤パス上になる）でそれぞれ示す。また、各計算済みのものに対してバックポインタψtを保持する。続いて、ｔ＝２において前向き確率が計算済みである状態（図４(a)では状態１や状態２）を起点として、ｔ＝３における複数の状態での前向き確率δtを計算し、バックポインタψtを保持する。以降、同様にｔ＝Ｔ（音声特徴量系列の長さ）まで繰り返して前向き計算履歴を蓄積する。このように蓄積した前向き計算履歴を用い、十分統計量蓄積部１０６は図４(b)に示すように時刻Ｔを起点にＴ−１、Ｔ−２、・・・とｔ＝１まで辿ることにより最尤パスｑt*を得る。式(13)においてViterbiアルゴリズムの事後確率変数γtが最尤パス上で１なのは、最尤パスを通る確率を１（１００％）、最尤パス以外を０（０％）としているからである。
【００２０】
モデル更新部１０７は、十分統計量が入力され、学習後音響モデルを構築して出力し、これにより音響モデル記憶部１０４の音響モデルを更新する。なお、必ずしも出力によりそのまま更新せず、例えば学習後音響モデル記憶部１０８を設け、ひとまずそこに書き込むようにしても構わない。
【先行技術文献】
【非特許文献】
【００２１】
【非特許文献１】鹿野清宏、外４名、「音声認識システム」、オーム社、2001年5月、p.18-31
【非特許文献２】L.R.Rabiner、"A tutorial on hidden Markov models and selected applications in speech recognition"、PROCEEDINGS OF THE IEEE、1989年2月、VOL.77、No.2、p.257-284
【発明の概要】
【発明が解決しようとする課題】
【００２２】
Forward-Backwardアルゴリズムによる場合、事後確率変数γt(i)を計算し、最尤パスｑt*を、
【００２３】
【数６】
2011002792.tif 000008
【００２４】
というように、ある程度の範囲から絞り込むことにより求めるため、精度の高い学習効果が期待できるが、後向き計算を行うため処理速度に難がある。
【００２５】
また、Viterbiアルゴリズムによる場合、後向き計算が不要である分、高速に処理が可能であるが、式(13)からわかるように最尤パスを信じγt(i)＝１として十分統計量の式(9)から(12)の計算を行うため、学習データに誤りがある場合や曖昧な発声や雑音が重畳している場合の学習精度が劣化する恐れがある。
【００２６】
本発明の目的は、Viterbiアルゴリズムによる高速性を担保しつつ、学習精度がViterbiアルゴリズムより優れた音響モデル作成装置等を実現することにある。
【課題を解決するための手段】
【００２７】
本発明の音響モデル作成装置は、学習データ取得部と特徴量分析部と状態系列変換部と音響モデル記憶部と前向き計算部と十分統計量蓄積部とモデル更新部とを備える。
【００２８】
学習データ取得部は、音声信号とその音声を文字で表した学習ラベルとからなる学習データが入力され、上記音声信号と上記学習ラベルとを分離して出力する。
【００２９】
特徴量分析部は、上記音声信号が入力され音声特徴量系列Ｏ＝(ｏ１,ｏ２,・・・,ｏｔ,・・・,ｏＴ)を抽出して出力する。
【００３０】
音響モデル記憶部は、初期状態分布、ある状態から別の状態への状態遷移確率、ある状態における出力確率などからなる音響モデルを記憶する。
【００３１】
状態系列変化部は、上記学習ラベルと上記音響モデルとが入力され、上記学習ラベルを音素系列に分解し、更にこれを状態系列に変換して出力する。
【００３２】
前向き計算部は、上記音声特徴量系列Ｏと上記状態系列とが入力され、上記状態系列に対応する上記音響モデルを用いて前向き計算を行い、前向き確率とバックポインタとからなる前向き計算履歴を出力する。
【００３３】
十分統計量蓄積部は、上記前向き計算履歴が入力され、最尤パスを求めて当該最尤パスを辿りながら十分統計量の蓄積を行う。なお、十分統計量の蓄積に際して用いる事後確率変数の値は、上記最尤パスが時刻ｔに状態ｉ（１≦ｉ≦Ｊ、Ｊは状態の数）を通る場合には状態出現信頼度ｆi(ｏt)（０≦ｆi(ｏt)≦１）であり、それ以外の場所では０である。
【００３４】
モデル更新部は、上記十分統計量が入力され、学習後音響モデルを構築して出力し、これにより上記音響モデル記憶部の音響モデルを更新する。
【発明の効果】
【００３５】
本発明の音響モデル作成装置によれば、Viterbiアルゴリズムによる高速性を担保しつつ、学習精度を向上することができる。
【図面の簡単な説明】
【００３６】
【図１】音響モデル作成装置１００、２００の機能構成例を示す図。
【図２】音響モデル作成装置１００、２００の処理フロー例を示す図。
【図３】音響モデルを概念的に例示した図。
【図４】Viterbiアルゴリズムにより最尤パスを得る処理を概念的に例示した図。
【発明を実施するための形態】
【００３７】
図１に本発明の音響モデル作成装置２００の機能構成例を示す。音響モデル作成装置１００との相違は、前向き計算部１０５が前向き計算部２０５に、十分統計量蓄積部１０６が十分統計量蓄積部２０６にそれぞれ置き換わっているのみであり、その他の部分及び処理フローは同様であるため、同様の部分については同じ符号を付し、説明は省略する。
【００３８】
十分統計量蓄積部２０６は基本的には十分統計量蓄積部１０６と同じ処理を行うが、式(12)についてViterbiアルゴリズムにおいては、最尤パスが時刻ｔに状態ｊを通る場合には事後確率変数γt(j)＝１であり、それ以外の場合はγt(j)＝０としていたが、本発明においては最尤パスが時刻ｔに状態ｊを通る場合にはγt(j)＝ｆｊ(ｏt)とする。ここで、ｆｊ(ｏt)は状態出現信頼度として、通常０≦ｆｊ(ｏt)≦１の範囲をとる。本発明では状態出現信頼度ｆｊ(ｏt)を時刻ｔに状態ｊを通る信頼度として、当該学習用音声データ中の時間ｔに係るフレームのＳ／Ｎを用いてもよいし、発話全体のＳ／Ｎとしてもよい。当該学習用音声データに対する学習ラベルに対する尤度を用いてもよい。ただし、状態出現信頼度ｆｊ(ｏt)の値は、最小０以上最大１以下の範囲に収まるように正規化した値を用いる。例えば、学習データに対するＳ／Ｎまたは尤度の分布から得られる最大値や最小値を元に正規化すればよい。また、Ｓ／Ｎの最大を３０ｄＢ、最小を０ｄＢとして、３０以上を１、０以下を０としてもよい。Viterbiアルゴリズムでは、最尤パス上の事後確率γt(j)を１としているのに対して、本発明では当該学習音声データのＳ／Ｎや尤度に基づく信頼度とすることで、学習音声データの雑音混入状況や学習ラベルの誤りが考慮された事後確率となるため、音響モデル学習の精度を高めることができる。
【００３９】
また、前向き計算部２０５において、前向き計算部１０５と同じ処理を行うことに加え、式(2)と式(4)で計算した出力確率を保存するようにし、ｆｊ(ｏt)を時刻ｔにおける計算済の全出力確率の総和に対するViterbiパス（最尤パス）上の出力確率ｂj(ｏｔ)の比の値、すなわち式(15)により求めた値を用いてもよい。
【００４０】
【数７】
2011002792.tif 000009
【００４１】
出力確率ｂk(ｏｔ)は、前向き計算部２０５にて計算済のもの（図４において◎の部分）を流用するため、計算量を増加させることなく学習精度の向上を図ることができる。ここで、分子の時刻tにおける最尤パス上の状態jの出力確率ｂｊ(ｏｔ)は必ず分母に含まれるため、状態出現信頼度ｆｊ(ｏt)は必ず1以下の値となり正規化済みの値となる。学習ラベルに誤りがある場合等は、時刻tにおける特徴量ｏtと最尤パス上の状態jとの整合性が取れず、状態jの出力確率に対するｂｊ(ｏｔ)の値が小さくなる。この時、状態j以外の出力確率との差が小さくなり状態出現信頼度ｆｊ(ｏt)は小さな値となるため、学習ラベルに誤りがある学習データの影響を抑えることができる。
【００４２】
また、式(15)の代わりに式(16)を適用してもよい。
【数８】
2011002792.tif 000010
【００４３】
式(16)のｆj(ｏt)は、時刻ｔにおけるモノフォンに属する全出力確率の総和に対するViterbiパス（最尤パス）上の出力確率ｂｊ(ｏｔ)の比の値を意味する。この場合、式(15)と異なり一部未計算の部分（図４において○の部分）の計算が必要となる。しかし、モノフォンの状態数は全状態数に比べて少ないため、大きな計算量増加にはならず、効果的に学習精度の向上を図ることができる。なお、Viterbiパス上の状態に相当するモノフォンの尤度を用いてもよい（ex. k-a+i[1]→ *-a+*[1]）。この時には、状態出現信頼度ｆｊ(ｏt)の計算は全てモノフォンから計算され、分母に分子の値が含まれるため1以下の安定した値となる。ここで、式(15)では前向き計算で計算済みの状態の出力確率で正規化が行われるため、分母は学習ラベルに依存した状態のみに基づく値となるが、式(16)では必ずモノフォンに属する全状態の出力確率の和で計算されるため、学習ラベルへの依存性を低減させることができ、そのため、安定した状態出現信頼度ｆｊ(ｏt)の値となり学習精度の向上を図ることができる。
【００４４】
以上のように、本発明の音響モデル作成装置によれば、Viterbiアルゴリズムによる高速性を担保しつつ、学習精度を向上することができる。
【００４５】
上記の各実施形態の発話向き推定装置の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この場合、処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【００４６】
また、上述の各種処理は記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じ並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【図１】
2011002792.tif 000015
【図２】
2011002792.tif 000016
【図３】
2011002792.tif 000017
【図４】
2011002792.tif 000018