(57)【要約】【課題】適切に話者適応化された補正用音響モデルを得ることができる話者適応化装置を提供する。【解決手段】歪んだ音声の音響特徴量を劣化特徴量とし、歪みの影響を補正するために用いられる音響モデルを補正用音響モデルとし、不特定話者の音声を用いて学習された補正用音響モデルを不特定話者モデルとしたとき、事前に記録された劣化特徴量の集合を入力とし、劣化特徴量の集合から劣化の度合いが小さい劣化特徴量を抽出し、抽出した劣化特徴量の集合を適応用特徴量の集合として出力するフレーム選択部と、適応用特徴量の集合と不特定話者モデルを規定するパラメータ値である適応前パラメータ値の集合とを入力とし、適応前パラメータ値の集合を適応用特徴量に適合するように話者適応化し、話者適応化されたパラメータの値である適応後パラメータ値の集合を出力するパラメータ修正部とを含む。【選択図】図２
2014109698.tif 000002
【特許請求の範囲】
【請求項１】
歪んだ音声の音響特徴量を劣化特徴量とし、
歪みの影響を補正するために用いられる音響モデルを補正用音響モデルとし、
不特定話者の音声を用いて学習された補正用音響モデルを不特定話者モデルとしたとき、
事前に記録された劣化特徴量の集合を入力とし、前記劣化特徴量の集合から劣化の度合いが小さい劣化特徴量を抽出し、前記抽出した劣化特徴量の集合を適応用特徴量の集合として出力するフレーム選択部と、
前記適応用特徴量の集合と不特定話者モデルを規定するパラメータ値である適応前パラメータ値の集合とを入力とし、前記適応前パラメータ値の集合を前記適応用特徴量に適合するように話者適応化し、前記話者適応化されたパラメータの値である適応後パラメータ値の集合を出力するパラメータ修正部と、
を含む話者適応化装置。
【請求項２】
請求項１に記載の話者適応化装置であって、
前記フレーム選択部は、
入力された前記劣化特徴量の集合に含まれる各音響特徴量について、SN比の値あるいはSN比に相関のある指標の値を算出し、前記算出された値が所定の閾値より大きい劣化特徴量を前記劣化の度合いが小さい劣化特徴量として抽出する
話者適応化装置。
【請求項３】
請求項１に記載の話者適応化装置であって、
前記フレーム選択部は、
入力された前記劣化特徴量の集合と前記適応前パラメータ値の集合とを用いて、前記劣化特徴量の残響時間を推定し、前記推定した残響時間が所定の閾値より小さい劣化特徴量を前記劣化の度合いが小さい劣化特徴量として抽出する
話者適応化装置。
【請求項４】
歪んだ音声の音響特徴量を劣化特徴量とし、
歪みの影響を補正するために用いられる音響モデルを補正用音響モデルとし、
不特定話者の音声を用いて学習された補正用音響モデルを不特定話者モデルとしたとき、
事前に記録された劣化特徴量の集合を入力とし、前記劣化特徴量の集合から劣化の度合いが小さい前記劣化特徴量を抽出し、前記抽出した劣化特徴量の集合を適応用特徴量の集合として出力するフレーム選択ステップと、
前記適応用特徴量の集合と不特定話者モデルを規定するパラメータ値である適応前パラメータ値の集合とを入力とし、前記適応前パラメータ値の集合を前記適応用特徴量に適合するように話者適応化し、前記話者適応化されたパラメータの値である適応後パラメータ値の集合を出力するパラメータ修正ステップと、
を含む話者適応化方法。
【請求項５】
請求項４に記載の話者適応化方法であって、
前記フレーム選択ステップは、
入力された劣化特徴量の集合に含まれる各音響特徴量について、SN比の値あるいはSN比に相関のある指標の値を算出し、前記算出された値が所定の閾値より大きいである劣化特徴量を前記劣化の度合いが小さい劣化特徴量として抽出する
話者適応化方法。
【請求項６】
請求項４に記載の話者適応化方法であって、
前記フレーム選択ステップは、
入力された前記劣化特徴量の集合と前記適応前パラメータ値の集合とを用いて、前記劣化特徴量の残響時間を推定し、前記推定した残響時間が所定の閾値より小さい劣化特徴量を前記劣化の度合いが小さい劣化特徴量として抽出する
話者適応化方法。
【請求項７】
コンピュータを請求項１から３のいずれかに記載の話者適応化装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は雑音や残響、通信路等の影響によって歪んだ音声信号を入力とする音声認識装置のための話者適応化装置、話者適応化方法、プログラムに関する。
【背景技術】
【０００２】
以下、図１に示す音声認識装置を参照して、従来の特徴量補正技術について簡潔に説明する。図１は特徴量補正処理過程を含む従来の音声認識装置の構成を示すブロック図である。
【０００３】
図１に示すように従来の音声認識装置９は、特徴量抽出部９１と、特徴量補正部９２と、補正用音響モデル記憶部９３と、特徴量変換部９４と、音声認識デコーダ部９５と、認識用音響モデル記憶部９６と、言語モデル記憶部９７と、発音辞書記憶部９８とを含む。補正用音響モデル記憶部９３には、音響特徴量補正専用の音響モデルが記憶されている。認識用音響モデル記憶部９６には、音声認識専用の音響モデルが記憶されている。言語モデル記憶部９７には言語モデルが記憶されている。発音辞書記憶部９８には発音辞書が記憶されている。音声認識装置９は、雑音や残響、通信路等の影響によって歪んだ音声信号を入力として受け取り、発話内容を表す単語または単語系列、すなわち音声認識結果を出力する。以下では、歪んだ音声を劣化音声と呼び、劣化音声の信号を劣化信号、劣化音声の音響特徴量を劣化特徴量と呼ぶ。劣化信号は、特徴量抽出部９１に入力される。特徴量抽出部９１は、劣化信号を短時間フレームに分割し、各短時間フレームの劣化信号を音響特徴量に変換し、当該音響特徴量の時系列を出力する。以後、音響特徴量の時系列を音響特徴量系列、または特徴量系列と呼ぶ。音響特徴量としては、対数メル周波数スペクトル係数やメル周波数ケプストラム係数（MFCC）等が用いられる。以下、劣化音声の特徴量系列を劣化特徴量系列と呼ぶ。劣化特徴量系列は、特徴量補正部９２に入力される。特徴量補正部９２は、補正用音響モデル記憶部９３に記憶された音響モデルを用いて、各短時間フレームの劣化特徴量に重畳された歪みの影響を補正し、補正された音響特徴量の時系列を出力する。特徴量補正部９２は、VTS（Vector Taylor Series）強調（非特許文献１）やAlgonquin（非特許文献２）等の特徴量強調手段によって構築される。以後、歪みの影響が補正された音響特徴量を補正後特徴量と呼び、補正後特徴量の時系列を補正後特徴量系列と呼ぶ。特徴量補正部９２から出力された補正後特徴量系列は、特徴量変換部９４に入力される。特徴量変換部９４は、補正後特徴量系列を、音声認識デコーダ部９５が用いる特徴量表現の時系列に変換し、これを出力する。以後、音声認識デコーダ部９５が用いる特徴量表現を認識用特徴量と呼び、認識用特徴量の時系列を認識用特徴量系列と呼ぶ。認識用特徴量としては、MFCCにデルタケプストラムを連結したもの等が用いられる。特徴量変換部９４から出力された認識用特徴量系列は、音声認識デコーダ部９５に入力される。音声認識デコーダ部９５は、音声認識専用の音響モデル、言語モデル、発音辞書等を参照しながら、入力された認識用特徴量系列に最もよく適合する単語または単語系列を算出し、これを音声認識結果として出力する。図中、円筒シンボルで示された構成要素（９３、９６、９７、９８）は、当該構成要素が表すモデルを規定するパラメータを格納した記憶部であり、これらのパラメータが当該モデルを参照する処理部によって読み出される。
【０００４】
なお、以上の記述では、音声認識装置への応用を想定して特徴量補正技術を説明したが、特徴量補正技術は、音声認識装置に限らず、音声認識プログラム、雑音抑圧装置、雑音抑圧プログラム等にも応用できる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】P. J. Moreno, B. Raj, and R. M. Stern, “A vector Taylor series approach for environmental-independent speech recognition,” in Proc. Int. Conf. Acoust., Speech, Signal Process., vol. 2, 1996, pp. 733-736.
【非特許文献２】B. J. Frey, L. Deng, A. Acero, and T. Kristjansson, “ALGONQUIN: iterating Laplace’s method to remove multiple types of acoustic distortion for robust speech recognition,” in Proc. Eurospeech, 2001, pp. 901-904.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述したように、特徴量補正部９２では、音声認識デコーダ部９５が用いるものとは別の、歪みの影響を補正するために用いられる音響モデルが用いられる。以後、この音響モデルを補正用音響モデルと呼ぶ。また、音声認識デコーダ部９５が参照する音声認識専用の音響モデルを認識用音響モデルと呼び、補正用音響モデルと区別する。補正用音響モデルは混合正規分布を用いて表現され、隠れマルコフモデルに基づく認識用音響モデルよりも単純な構造をもつ。補正用音響モデルは、歪みを含まないクリーンな音声の短時間フレームにおける音響特徴量の分布を表現したものであり、音声のコーパスを用いて事前に学習される。
【０００７】
音声認識装置の信頼性を高めるためには、予め録音された使用者の音声を大量に用いて補正用音響モデルを学習するのが望ましい。このような補正用音響モデルは特定話者モデルと呼ばれる。しかしながら、使用者の音声を事前に大量に収集しておくのは実際には困難であるため、多くの場合、一名以上の不特定話者の音声を用いて補正用音響モデルを学習する。このような補正用音響モデルは不特定話者モデルと呼ばれる。不特定話者モデルも一定の特徴量補正効果をもつが、不特定話者モデルを用いて特徴量補正して得られる音声認識精度は、特定話者モデルによって得られる認識精度に劣る。
【０００８】
一方、音声認識装置の使用者から得られた少量の発話データを用いて、不特定話者の「認識用」音響モデルを、当該使用者の音声の特性に適合するように修正する話者適応化技術が知られている。具体的には、話者適応化技術は、上記少量の発話データから抽出された音響特徴量の集合と不特定話者モデルを規定する認識用音響モデルのパラメータの値の集合を入力として受け取り、当該使用者の音響的特性に適合するようにパラメータの値を修正し、修正されたパラメータの値の集合を出力する。話者適応化前の補正用音響モデル、すなわち不特定話者モデルを規定するパラメータの値を適応前パラメータ値、話者適応化されたパラメータの値を適応後パラメータ値と呼ぶ。
【０００９】
しかしながら、従来の「認識用」音響モデルのための話者適応化技術は、そのままでは「補正用」音響モデルの話者適応化に用いることができない。例えば、使用者の音声を事前に収集する方策として、その使用者が過去に音声認識装置を用いた際に記録された音声を用いることが考えられる。ところが、実際にはこれらの音声は歪みを含むので、話者適応化に用いられる音響特徴量は劣化した特徴量である。クリーンな音響特徴量を表現する補正用音響モデルの話者適応化に、これら劣化特徴量を用いても音声認識精度は改善されない。そこで、本発明では、音声認識精度を効果的に改善できるよう適切に話者適応化された補正用音響モデルを得ることを目的とした話者適応化装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の話者適応化装置は、フレーム選択部と、パラメータ修正部とを含む。歪んだ音声の音響特徴量を劣化特徴量と呼ぶ。歪みの影響を補正するために用いられる音響モデルを補正用音響モデルと呼ぶ。不特定話者の音声を用いて学習された補正用音響モデルを不特定話者モデルと呼ぶ。フレーム選択部は、事前に記録された劣化特徴量の集合を入力とし、劣化特徴量の集合から劣化の度合いが小さい劣化特徴量を抽出し、抽出した劣化特徴量の集合を適応用特徴量の集合として出力する。パラメータ修正部は、適応用特徴量の集合と不特定話者モデルを規定するパラメータ値である適応前パラメータ値の集合とを入力とし、適応前パラメータ値の集合を適応用特徴量に適合するように修正（話者適応化）し、話者適応化されたパラメータの値である適応後パラメータ値の集合を出力する。
【発明の効果】
【００１１】
本発明の話者適応化装置によれば、適切に話者適応化された補正用音響モデルを得ることができる。
【図面の簡単な説明】
【００１２】
【図１】特徴量補正処理過程を含む従来の音声認識装置の構成を示すブロック図。
【図２】本発明の実施例１に係る話者適応化装置の構成を示すブロック図。
【図３】本発明の実施例１に係る話者適応化装置の動作を示すフローチャート。
【図４】実施例１のフレーム選択部の構成例を示すブロック図。
【図５】実施例１のフレーム選択部の動作例を示すフローチャート。
【図６】実施例１のパラメータ修正部の構成例を示すブロック図。
【図７】実施例１のパラメータ修正部の動作例を示すフローチャート。
【図８】本発明の実施例２に係る話者適応化装置の構成を示すブロック図。
【図９】本発明の実施例２に係る話者適応化装置の動作を示すフローチャート。
【図１０】実施例２のフレーム選択部の構成例を示すブロック図。
【図１１】実施例２のフレーム選択部の動作例を示すフローチャート。
【図１２】実施例２の残響時間推定手段の構成例を示すブロック図。
【図１３】実施例２の残響時間推定手段の動作例を示すフローチャート。
【図１４】話者適応化装置を音声認識装置と組み合わせた構成を示すブロック図。
【図１５】本発明の話者適応化装置を実現するコンピュータの構成を示すブロック図。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。なお、以下に登場するI,Ni,K,Nはいずれも１以上の整数とし、i,k,nはいずれも整数とする。
【実施例１】
【００１４】
以下、図２、３を参照して本発明の実施例１に係る話者適応化装置について説明する。図２は本発明の実施例１に係る話者適応化装置の構成を示すブロック図である。図３は本発明の実施例１に係る話者適応化装置の動作を示すフローチャートである。
【００１５】
話者適応化装置１への入力は、事前に録音された使用者の劣化音声信号の短時間フレームから得られた音響特徴量（音響特徴量はD次元のベクトル）、すなわち劣化特徴量の集合Y={yi(n);1<i<I,1<n<Ni}、及び不特定話者モデルを規定する適応前パラメータ値の集合Λである。ただし、IはYに含まれる発話の個数、各Niはi番目の発話に含まれる短時間フレームの個数である。本発明では、補正用音響モデルは混合正規分布の形式で表現されているものと仮定する。すなわち、Λは、各正規分布に対する重み係数ωk(1<k<K)、平均ベクトルmk(1<k<K)、精度行列Rk(1<k<K)からなり、Λ={ωk,mk,Rk;1<k<K}と書ける。ただし、Kは混合正規分布に含まれる正規分布の個数である。話者適応化装置からの出力は、話者適応化処理後の修正された補正用音響モデルを規定する適応後パラメータ値の集合Θである。Θは、修正された重み係数~ωk(1<k<K)、修正された平均ベクトル~mk(1<k<K)、修正された精度行列~Rk(1<k<K)からなり、Θ={~ωk,~mk,~Rk;1<k<K}と書ける。
【００１６】
図２に示すように本実施例の話者適応化装置１は、フレーム選択部１１と、パラメータ修正部１２とを含む。話者適応化装置１に入力された劣化特徴量の集合Yは、フレーム選択部１１に入力される。フレーム選択部１１は、Yの中から、SN比が高く、話者適応化に使用できる音響特徴量の集合X={xn;1<n<N}を選択し、これを出力する（Ｓ１１、フレーム選択ステップ）。XはYの部分集合であるため、X⊆Y、N<N1+...+NIが成り立つ。具体的には、フレーム選択部１１は、各yi(n)(1<i<I,1<n<Ni)のSN比の値あるいはSN比に相関のある指標の値を算出する。そして、その算出された値が所定の閾値より大きい場合に限り、yi(n)を劣化の度合いが小さいために補正用音響モデルの話者適応化に使用できると判定して、yi(n)をXに含める。Xに含まれる音響特徴量を適応用特徴量と呼ぶ。
【００１７】
フレーム選択部１１から出力された適応用特徴量の集合Xは、適応前パラメータ値の集合Λとともにパラメータ修正部１２に入力される。パラメータ修正部１２は、認識用音響モデルを対象とした任意の話者適応化手段の一つを用いて、集合Xに基づいてΛに含まれるパラメータの値の集合を適応用特徴量に適合するように話者適応化して適応後パラメータ値の集合Θを算出する（Ｓ１２、パラメータ修正ステップ）。こうして求められたΘは、話者適応化装置１から出力される。フレーム選択部１２で用いることのできる話者適応化手段として、例えば最大事後確率適応法（参考非特許文献１）や最尤線形回帰法（参考非特許文献２）が知られている。
（参考非特許文献１）J. Gauvain and C.-H. Lee, “Maximum a posteriori estimation for multivariate Gaussian mixture observation of Markov chains,” IEEE Trans. Speech Audio Process., vol. 2, no. 2, pp. 291-298, 1994.
（参考非特許文献２）C. Legetter and P. Woodland, “Maximum likelihood linear regression for speaker adaptation of continuous density hidden Markov models,” Comput. Speech Language, vol. 9, no. 2, pp. 171-185, 1995.
【００１８】
＜フレーム選択部１１：加法性雑音環境を想定した構成例＞
以下、図４、図５を参照してフレーム選択部１１の構成例を説明する。図４は本実施例のフレーム選択部１１の構成例を示すブロック図である。図５は本実施例のフレーム選択部１１の動作例を示すフローチャートである。図４に示すように、本実施例のフレーム選択部１１は例えば、雑音推定手段１１１と、SN比推定手段１１２と、第一閾値処理手段１１３とを含む。図４に示すフレーム選択部１１の構成例は、加法性雑音環境での使用を想定したものであり、適応前パラメータ値の集合Λを用いず、劣化特徴量の集合Yのみを入力として受け取る。
【００１９】
雑音推定手段１１１は、劣化特徴量の集合Yを入力として受け取り、公知の雑音推定方法を用いて、Yに含まれる雑音の音響特徴量である雑音特徴量di(n)を推定し、算出された雑音特徴量の集合{di(n);1<i<I,1<n<Ni}を出力する。（ＳＳ１１１、雑音推定サブステップ）。雑音推定方法としては、音声区間検出を用いる方法（参考非特許文献３）、劣化音声の各発話の冒頭の数フレームは雑音だけからなると仮定する方法（参考非特許文献４）、IMCRA法（参考非特許文献５）等が知られている。
（参考非特許文献３）S. F. Boll, “Suppression of acoustic noise in speech using spectral subtraction,” IEEE Trans. Acoust., Speech, Signal Process., vol. 27, no. 2, pp. 113-120, 1978.
（参考非特許文献４）Y. Ephraim, “Speech enhancement using a minimum mean square error short-time spectral amplitude estimator,”IEEE Trans. Acoust., Speech, Signal Process., vol. 32, no. 6, pp. 1109-1121, 1984.
（参考非特許文献５）I. Cohen, “Noise spectrum estimation in adverse environments: improved minima controlled recursive averaging,”IEEE Trans. SAP, vol. 11, no. 5, pp. 466-475, 2003.
【００２０】
例えば、２つめに挙げた方法では、次式にしたがってdi(n)を算出する。
【００２１】
【数１】
2014109698.tif 000003
【００２２】
ただし、各Diは雑音だけからなると想定される発話冒頭のフレーム数である。SN比推定手段１１２は、劣化特徴量の集合Yと雑音特徴量の集合{di(n);1<i<I,1<n<Ni}を入力として受け取り、各音響特徴量yi(n)について、次式で定義されるスカラ値ri(n)を算出し、算出されたSN比の集合{ri(n);1<i<I,1<n<Ni}を出力する（ＳＳ１１２、SN比推定サブステップ）。
【００２３】
【数２】
2014109698.tif 000004
【００２４】
ただし、exp(・)と|・|は、それぞれ指数関数とベクトルのノルムを表す。この値はSN比の推定値であり、以後単にSN比と呼ぶ。第一閾値処理部１１３は、劣化特徴量の集合YとSN比の集合{ri(n);1<i<I,1<n<Ni}を入力として受け取り、対応するSN比ri(n)が予め定めた閾値Hより大きい音響特徴量yi(n)の集合X={yi(n);ri(n)>H,1<i<I,1<n<Ni}を求め、当該適応用特徴量の集合Xを出力する（ＳＳ１１３、第一閾値処理サブステップ）。
【００２５】
＜パラメータ修正部１２：最大事後確率適応法を利用する構成例＞
以下、図６、図７を参照してパラメータ修正部１２の構成例について説明する。図６は本実施例のパラメータ修正部１２の構成例を示すブロック図である。図７は本実施例のパラメータ修正部１２の動作例を示すフローチャートである。図６に示すように、本実施例のパラメータ修正部１２は、例えばパラメータ初期化手段１２１と、超母数設定手段１２２と、カウント初期化手段１２３と、分配率計算手段１２４と、パラメータ更新手段１２５と、カウント増加手段１２６と、収束判定手段１２７とを含む。
【００２６】
図６、７に示したパラメータ修正部１２の構成例は最大事後確率適応法を利用する構成例である。図６、７に示したパラメータ修正部１２の処理の詳細については、背景となる考え方を含めて参考非特許文献１において説明されているので、本明細書では処理の流れのみ記述する。なお、最大事後確率適応法は、話者適応化技術の一つの具体例として取り上げて説明しているにすぎず、最尤線形回帰法等の他の話者適応化技術を用いてパラメータ修正部１２を実現することもできる。
【００２７】
パラメータ初期化手段１２１は、修正後のパラメータ~ωk(1<k<K)、~mk(1<k<K)、~Rk(1<k<K)を初期化する（ＳＳ１２１、パラメータ初期化サブステップ）。初期化の方法として例えば、次式のように不特定話者モデルのパラメータを用いることができる。
【００２８】
【数３】
2014109698.tif 000005
【００２９】
ただし、初期化の方法は上式に限定されるものではなく、他の任意の方法を用いて修正後のパラメータを初期化してよい。次に、超母数設定手段１２２は、最大事後確率適応に用いる事前分布の超母数（ハイパーパラメータ）の値を設定する（ＳＳ１２２、超母数設定サブステップ）。重み係数の事前分布としてディリクレ分布、平均ベクトルと精度行列の結合事前分布として正規-ウィシャート分布を用いる。すなわち、重み係数の事前分布g(ω1,・・・,ωK)と平均ベクトルと精度行列の結合事前分布g(mk,Rk)は、それぞれ次式で与えられる。
【００３０】
【数４】
2014109698.tif 000006
【００３１】
tr(・)は、行列のトレースを表す。また、(vk,τk,μk,αk,Uk;1<k<K)が事前分布を規定する超母数である。これらの値は、例えば次のように設定される。
【００３２】
【数５】
2014109698.tif 000007
【００３３】
ただし、超母数の値はこれらに限定されるものではなく、自由に設定してよい。最大事後確率適応法はEMアルゴリズムに基づいており、繰り返し処理を含む。次に、カウント初期化手段１２３は、繰り返し処理を開始する前に繰り返しカウントCを1に設定する（ＳＳ１２３、カウント初期化サブステップ）。次に、分配率計算手段１２４は、1<k<K、1<n<Nについて、次式で定義される分配率cknを計算する（ＳＳ１２４、分配率計算サブステップ）。
【００３４】
【数６】
2014109698.tif 000008
【００３５】
次に、パラメータ更新手段１２５は、修正されたパラメータを次式にしたがって更新する（ＳＳ１２５、パラメータ更新サブステップ）。
【００３６】
【数７】
2014109698.tif 000009
【００３７】
ただし、パラメータ更新サブステップでは、必ずしもすべての修正されたパラメータを更新しなくてもよい。例えば、式(15)によって修正された平均ベクトルだけを更新する構成にしてもよい。カウント増加手段１２６は、C=C+1を計算して繰り返しカウントを1だけ増やす（ＳＳ１２６、カウント増加サブステップ）。収束判定手段１２７は、EMアルゴリズムが収束しているかどうかを判定し、収束していなければ（ＳＳ１２７ＮＯ）分配率計算サブステップ（ＳＳ１２４）に戻る。収束していれば（ＳＳ１２７ＹＥＳ）フローを終了する。収束判定は、例えば繰り返しカウントが閾値Cmaxを超えているか否かに基づいて判定することができる。ただし、収束条件はこれに限定されるものではなく、繰り返しで変化したパラメータの変化量等に基づいて収束したか否かを判定してもよい。
【実施例２】
【００３８】
以下、図８から図１１を参照して、実施例２に係る話者適応装置について説明する。図８は本発明の実施例２に係る話者適応化装置２の構成を示すブロック図である。図９は本発明の実施例２に係る話者適応化装置２の動作を示すフローチャートである。図１０は本実施例のフレーム選択部２１の構成例を示すブロック図である。図１１は本実施例のフレーム選択部２１の動作例を示すフローチャートである。
【００３９】
図８に示すように、本実施例の話者適応装置２はフレーム選択部２１とパラメータ修正部１２とを含む。パラメータ修正部１２は実施例１のパラメータ修正部１２と同一であるから説明を略する。以下、実施例１との相違点であるフレーム選択部２１について説明する。
【００４０】
＜フレーム選択部２１：残響環境を想定した構成例＞
本実施例のフレーム選択部２１は、残響環境での使用を想定したものであり、適応前パラメータ値の集合Λと劣化特徴量の集合Yを入力として受け取る。フレーム選択部２１は、Yの中から、残響時間が短く、話者適応化に使用できる音響特徴量の集合X={xn;1<n<N}を選択し、これを出力する（Ｓ２１、フレーム選択ステップ）。具体的には、フレーム選択部２１は入力された劣化特徴量の集合Yと適応前パラメータ値の集合Λとを用いて、各発話i (1<i<I)の残響時間を推定する。そして推定された残響時間が所定の閾値より小さい場合に限り、yi(n)は劣化の度合いが小さい劣化特徴量であり、補正用音響モデルの話者適応化に使用できると判定して、yi(n)をXに含める。
【００４１】
より詳細には、図１０に示すように、フレーム選択部２１は、残響時間推定手段２１１と、第二閾値処理手段２１２とを含む。残響時間推定手段２１１は、適応前パラメータ値の集合Λと劣化特徴量の集合Yを入力として受け取り、公知の残響時間推定方法を用いて、各発話の劣化特徴量{yi(1),・・・,yi(Ni)}から残響時間T60(i)を推定し、推定された残響時間の集合{T60(i);1<i<I}を出力する（ＳＳ２１１、残響時間推定サブステップ）。残響時間推定は、例えば参考非特許文献６に記載の残響時間推定方法を用いる、または参考非特許文献７に記載の残響補正方法を援用する、等によって実施できる。
（参考非特許文献６）R. Ratnam, D. L. Jones, B. C. Wheeler, W. D. O’Brien Jr., C. R. Lansing, and A. S. Feng, “Blind estimation of reverberation time,” J. Acoustical Society of America, vol. 114, no. 5, pp. 2877-2892, 2003.
（参考非特許文献７）吉岡拓也, 中谷智広, “高即応・高精度な歪み特徴量モデルの推定のための動的静的アプローチ,” vol. 2011-SLP-89, no. 22, 2011.
【００４２】
あるいは、自動的に残響時間を推定する代わりに、人間に当該音声を聞かせて残響の程度を判断させてもよい。残響時間が長くなるにつれて音声に重畳される歪みが大きくなるので、残響時間はSN比に逆相関のある指標と見做せる。従って、第二閾値処理手段２１２は、劣化特徴量の集合Yと残響時間の集合{T60(i);1<i<I}を入力として受け取り、対応する残響時間T60(i)が予め定めた閾値Rより小さい音響特徴量yi(n)の集合X={yi(n);T60(i)<R,1<i<I,1<n<Ni}を求め、算出された適応用特徴量の集合Xを出力する（ＳＳ２１２、第二閾値処理サブステップ）。
【００４３】
＜残響時間推定手段２１１：参考非特許文献７の残響補正方法を援用する構成例＞
以下、図１２、図１３を参照して残響時間推定手段２１１の構成例について説明する。図１２は本実施例の残響時間推定手段２１１の構成例を示すブロック図である。図１３は本実施例の残響時間推定手段２１１の動作例を示すフローチャートである。
【００４４】
残響時間推定手段２１１は、参考非特許文献７の残響補正方法を援用して残響時間T60(i)を推定する構成例である。残響補正方法（参考非特許文献７）は減衰率bi、歪み分散σi、シフトhiと呼ぶ３種類のパラメータを推定するが、減衰率は残響時間と密接な関連をもつ。ただし、これらのパラメータは音響特徴量yi(n)と同じ次元をもつ。そこで、参考非特許文献７の方法を用いて求められた減衰率biを通じて、残響時間T60(i)を計算する。ここでは、表記を簡潔にするために、発話を表すインデクスiを省略する。なお、インデクスiは１以上の整数である。また、音響特徴量として対数メルフィルタバンクを用い、補正用音響モデルの精度行列は対角行列、すなわちRk=diag(rk)(1<k<K)であると想定する。各rkは精度行列の対角成分からなるベクトル、diag(・)はベクトルを対角行列に変換する演算を表す。
【００４５】
図１２に示すように、残響時間推定手段２１１は例えば、変数初期化部２１１０と、カウント初期化部２１１１と、合成部２１１２と、係数計算部２１１３と、処理分岐部２１１４と、第一更新部２１１５と、第二更新部２１１６と、カウント増加部２１１７と、収束判定部２１１８と、減衰率変換部２１１９とを含む。
【００４６】
変数初期化部２１１０は、減衰率b、歪み分散σ、シフトhの各未知変数を初期化する（ＳＳ２１１０、変数初期化サブステップ）。これらの変数の初期値には任意の値を用いることができる。例えば、次の初期値を用いることができる。
【００４７】
【数８】
2014109698.tif 000010
【００４８】
本方法はEMアルゴリズムに基づいており、繰り返し処理を含む。カウント初期化部２１１１は、繰り返し処理を開始する前に繰り返しカウントCを1に設定する（ＳＳ２１１１、カウント初期化サブステップ）。合成部２１１２は、すべての1<k<Kと1<n<Nについて、次式で定義される第１係数ψk,nと、第２係数υk,nとを計算する（ＳＳ２１１２、合成サブステップ）。
【００４９】
【数９】
2014109698.tif 000011
【００５０】
ただし、Δは所与の正の整数、f(・)とg(・)はそれぞれ次式で定義される関数である。
【００５１】
【数１０】
2014109698.tif 000012
【００５２】
なお、乗算、除算、冪乗演算、関数演算はベクトルの要素毎に適用される。係数計算部２１１３は、すべての1<k<Kと1<n<Nについて、次式で定義される第３係数ωk,n、第４係数lk,n、第５係数ek,nを計算する（ＳＳ２１１３、係数計算サブステップ）。
【００５３】
【数１１】
2014109698.tif 000013
【００５４】
処理分岐部２１１４は、繰り返しカウントCが奇数であれば（ＳＳ２１１４ＹＥＳ）第一更新サブステップ（ＳＳ２１１５）へ、偶数であれば（ＳＳ２１１４ＮＯ）第二更新サブステップ（ＳＳ２１１６）へ処理を分岐させる。
【００５５】
第一更新部２１１５は、次式にしたがって減衰率bと歪み分散σを更新する（ＳＳ２１１５、第一更新サブステップ）。
【００５６】
【数１２】
2014109698.tif 000014
【００５７】
第二更新部２１１６は次式にしたがってシフトhを更新する（ＳＳ２１１６、第二更新サブステップ）。
【００５８】
【数１３】
2014109698.tif 000015
【００５９】
カウント増加部２１１７は、C=C+1を計算して繰り返しカウントを1だけ増やす（ＳＳ２１１７、カウント増加サブステップ）。収束判定部２１１８は、EMアルゴリズムが収束しているかどうかを判定し、収束していなければ（ＳＳ２１１８ＮＯ）合成サブステップ（ＳＳ２１１２）に戻り、収束していれば（ＳＳ２１１８ＹＥＳ）、減衰率変換サブステップ（ＳＳ２１１９）に進む（ＳＳ２１１８、収束判定サブステップ）。収束判定は、例えば繰り返しカウントが予め定めた閾値Cmaxを超えているか否かに基づいて判定することができる。ただし、収束条件はこれに限定されるものではなく、繰り返しで変化した減衰率の変化量等に基づいて収束したか否かを判定してもよい。減衰率変換部２１１９は、上記算出された減衰率biに基づいて、残響時間T60(i)を求める（これより以下、明確を期するため、発話インデクスiを明記する）。具体的には、Qを事前に定められた定数、avg(・)をベクトル要素の平均を求める演算として、次式によってT60(i)を計算する（ＳＳ２１１９、減衰率変換サブステップ）。
【００６０】
【数１４】
2014109698.tif 000016
【００６１】
＜本発明の話者適応化装置に含まれるフレーム選択部について＞
上述のように、本発明の話者適応化装置に含まれるフレーム選択部の具体的な構成例として、実施例１ではフレーム選択部１１を、実施例２ではフレーム選択部２１を開示した。実施例１のフレーム選択部１１は、劣化特徴量の集合Yを入力とし、劣化特徴量の集合YからSN比が高い劣化特徴量を適応用特徴量の集合Xとして出力することを特徴とした。また実施例２のフレーム選択部２１は、劣化特徴量の集合Yを入力とし、劣化特徴量の集合Yから残響時間が短い劣化特徴量を適応用特徴量の集合Xとして出力することを特徴とした。しかしながら、本発明の話者適応化装置に含まれるフレーム選択部は実施例１、実施例２に開示した構成に限定されない。本発明の話者適応化装置は、音声信号が非定常であることや音声に歪みを生じさせる環境が多様であることにより、SN 比は短時間フレームによって大きく異なるため、SN 比が高い、すなわちほとんどクリーンな短時間フレームが存在するという事実に着目し、歪みを含む劣化特徴量のうち、歪み、つまり劣化が少ない短時間フレームを取り出して、不特定話者モデルとして事前に用意された補正用音響モデルを話者適応化することを着想の基礎としている。従って、本発明のフレーム選択部は、劣化特徴量の集合Yから劣化の度合いが小さい劣化特徴量を抽出し、抽出した劣化特徴量の集合を適応用特徴量の集合として出力するように構成されていればよく、SN比、残響時間以外の任意の劣化度合いを示すパラメータを利用することができる。
【００６２】
＜音声認識実験＞
以下、本発明の実施例２の話者適応化装置２を、図１で示した従来の音声認識装置９と組み合わせ、残響のある環境で録音された音声について音声認識実験を行った結果について説明する。図１４は話者適応化装置２を音声認識装置９と組み合わせた構成を示すブロック図である。図１４に示すように、音声認識装置９の補正用音響モデル記憶部９３に記憶されたパラメータは外部から読み書き可能になっている。これにより、話者適応化装置２は、補正用音響モデル記憶部９３に初めに記憶されている適応前パラメータ値の集合を読み込む。そして、話者適応化装置２は生成した適応後パラメータ値の集合を補正用音響モデル記憶部９３に上書きする。話者適応化装置のフレーム選択部２１は、実施例２で説明した通りの構成である。音声認識装置９と話者適応化装置２はそれぞれ、これらの装置が実行する処理の手順を記述した音声認識プログラム、話者適応化プログラムをコンピュータに実行させることで実現した。
【００６３】
図１４の装置を用いて音声認識実験を行った。実験には20000語のWall Street Journalデータベースの学習、評価、適応の各データセットを用いた。学習データセットは、認識用音響モデルと話者適応化を行う前の補正用音響モデルを学習するのに用いた。評価データセットは、残響音声を模擬するために、このデータセットに含まれる各発話と予め計測したインパルス応答を畳み込んでから使用した。評価データセットは8名の話者で構成され、各話者について、適応データセットに50発話分の個人適応データが含まれている。適応データセットに含まれる発話についても、いくつかの異なる残響環境で収録されたインパルス応答を畳み込むことで、残響を含む話者適応データを模擬的に作成して使用した。
【００６４】
実験の結果、特徴量補正をまったく実施しない場合の単語誤り率は92.14%であった。話者適応化を実施しない、すなわち適応前パラメータ値を用いて特徴量補正をした場合、単語誤り率は54.93%に改善した。話者適応化を実施し、適応後パラメータ値を用いて特徴量補正をした場合、単語誤り率は更に51.83%まで改善した。この結果は、本発明で提案した補正用音響モデルの話者適応化の有効性を示す。
【００６５】
以上、具体的な実施の形態を挙げて本発明を説明したが、本発明は必ずしも上記の実施形態や実施例に限定されるものではない。本発明は、既に述べた技術的思想の範囲内において様々な形態で実施することが出来る。また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【００６６】
また、上述した本発明の話者適応化装置は、例えば図１５に示すコンピュータ８の記録部に、各装置が有すべき機能の処理内容を記述したプログラムを読み込ませ、演算処理装置８１、出力装置８２、入力装置８３、記憶装置８４、等を動作させることで上記処理機能がコンピュータ上で実現される。
【００６７】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００６８】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００６９】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。
【００７０】
なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2014109698.tif 000017
【図２】
2014109698.tif 000018
【図３】
2014109698.tif 000019
【図４】
2014109698.tif 000020
【図５】
2014109698.tif 000021
【図６】
2014109698.tif 000022
【図７】
2014109698.tif 000023
【図８】
2014109698.tif 000024
【図９】
2014109698.tif 000025
【図１０】
2014109698.tif 000026
【図１１】
2014109698.tif 000027
【図１２】
2014109698.tif 000028
【図１３】
2014109698.tif 000029
【図１４】
2014109698.tif 000030
【図１５】
2014109698.tif 000031