(57)【要約】【課題】簡単な手法でありながら、ロバストかつ正確な音声認識を可能とする雑音下音声認識のためのモデル適応手法を提供する。【解決手段】各周波数における音声のスペクトル密度値の対数値xの分布パラメータと、加法性雑音のスペクトル密度値の対数値nの分布パラメータ及び／或いは乗法性雑音のスペクトル密度値の対数値hの分布パラメータから、これらの雑音が重畳した音声のスペクトル密度値の対数値yの分布パラメータを推定することによるモデル適応法において、x, n, h, y の間の非線形の関係を多項式で近似することで、y の分布パラメータを推定する。【選択図】図２
2006084732.tif 000002
【特許請求の範囲】
【請求項１】
各周波数における音声のスペクトル密度値の対数値xの分布パラメータと、加法性雑音のスペクトル密度値の対数値nの分布パラメータ及び／或いは乗法性雑音のスペクトル密度値の対数値hの分布パラメータから、これらの雑音が重畳した音声のスペクトル密度値の対数値yの分布パラメータを推定することによるモデル適応法において、
x, n, h, y の間の非線形の関係を多項式で近似することで、y の分布パラメータを推定することを特徴とする雑音下音声認識のためのモデル適応法。
【請求項２】
非線形関数ｇ(ｚ)=ｌｎ(１＋ｅｚ)を多項式ａｚ2＋ｂｚ＋ｃ（ａ,ｂ,ｃは定数）で近似することにより、雑音重畳音声の特徴量ｙの分布の平均値を、
【数１】
2006084732.tif 000009
で求めることを特徴とする請求項１に記載のモデル適応法。
ここで、x, n, h のそれぞれの分布の平均値をμx,μn,μh、同じく分散をσx2, σn2, σh2 とするとき、変数z=n-x-hの分布の平均値をμz = μn-μx-μh、分散をσz=σn2+σx2+σh2により求める。
【請求項３】
前記近似多項式はラグランジュ多項式であることを特徴とする請求項１，２いずれかに記載のモデル適応法。
【請求項４】
前記近似多項式はチェビシェフ−ラグランジェ多項式であることを特徴とする請求項１，２いずれかに記載のモデル適応法。
【請求項５】
前記近似多項式は重みつき最小二乗近似多項式であることを特徴とする請求項１，２いずれかに記載のモデル適応法。
【請求項６】
コンピュータを、各周波数における音声のスペクトル密度値の対数値xの分布パラメータと、加法性雑音のスペクトル密度値の対数値nの分布パラメータ及び／或いは乗法性雑音のスペクトル密度値の対数値hの分布パラメータから、これらの雑音が重畳した音声のスペクトル密度値の対数値yの分布パラメータを推定するにあたり、x, n, h, y の間の非線形の関係を多項式で近似することで、y の分布パラメータを推定するように実行させることを特徴とする雑音下音声認識のためのコンピュータプログラム。
【請求項７】
非線形関数ｇ(ｚ)=ｌｎ(１＋ｅｚ)を多項式ａｚ2＋ｂｚ＋ｃ（ａ,ｂ,ｃは定数）で近似することにより、雑音重畳音声の特徴量ｙの分布の平均値を、
【数２】
2006084732.tif 000010
で求めることを特徴とする請求項１に記載のコンピュータプログラム。
ここで、x, n, h のそれぞれの分布の平均値をμx,μn,μh、同じく分散をσx2, σn2, σh2 とするとき、変数z=n-x-hの分布の平均値をμz = μn-μx-μh、分散をσz=σn2+σx2+σh2により求める。
【請求項８】
前記近似多項式はラグランジュ多項式であることを特徴とする請求項６，７いずれかに記載のコンピュータプログラム。
【請求項９】
前記近似多項式はチェビシェフ−ラグランジェ多項式であることを特徴とする請求項６，７いずれかに記載のコンピュータプログラム。
【請求項１０】
前記近似多項式は重みつき最小二乗近似多項式であることを特徴とする請求項６，７いずれかに記載のコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、雑音下音声認識のためのモデル適応に係り、詳しくは、与えられたクリーン音声モデル及び雑音モデルから雑音重畳音声モデルのパラメータを推定する手法に関するものである。
【背景技術】
【０００２】
実環境では、クリーン音声によってトレーニングされた音声認識のパフォーマンスは、トレーニング条件と認識時の収音環境とのミスマッチによって低下する。ロバストな音声認識を行う手法として、ＰＭＣが知られている。ＰＭＣは、クリーン音声ＨＭＭと雑音ＨＭＭとを合成することで雑音を含むモデルを推定し、前記ミスマッチを低減させる（非特許文献１，２）。しかしながら、モデルパラメータの正確な推定には数値統合を必要とし、多くの計算を必要とする。Data-driven  ＰＭＣ（非特許文献３）は数値統合に比べると正確であるものの、依然として計算に時間を要する。ＰＭＣ  Ｌｏｇ−ｎｏｒｍａｌ近似，ＰＭＣ  Ｌｏｇ−ａｄｄ近似，ＰＭＣ  Ｌｏｇ−ｍａｘ近似のような手法（非特許文献４）も提案されており、計算上は効率的であるが、正確さに欠ける。
【０００３】
また、音声と雑音の間の非線形関係をベクトルテイラー級数で近似するＶＴＳ法（非特許文献５，６）も提案されている。
【０００４】
しかしながら、いずれも手法も環境変動にロバストな認識技術という観点からは、依然として十分なものとは言えない。
【非特許文献１】Gales, M. J. F. and Young, S. J., “Robust Continuous SpeechRecognition using Parallel Model Combination,” in IEEE Trans. on Speech andAudio Processing, vol. 4, no. 5, pp. 352-359, 1996.
【非特許文献２】Gales, M. J. F., “Model-Based Technologies for Noise Robust SpeechRecognition,” Ph.D. Thesis, Cambridge University, 1995.
【非特許文献３】Gales, M. J. F. and Young, S. J., “A Fast and FlexibleImplementation of Parallel Model Combination,” in Proc. ICASSP95, pp.133-136.1995.
【非特許文献４】Gong, Y., “A Comparative Study of Approximations for Parallel ModelCombination of Static and Dynamic Parameters,” in Proc. ICSLP02, pp. 1029-1032,2002.
【非特許文献５】Acero, A et al., “HMM Adaptation using Vector Taylor Series forNoisy Speech Recognition,” in Proc. ICSLP00, vol.3, pp.869-873, 2000
【非特許文献６】Moreno, P.J., Raj, B., and Stern, R. M., “A Vector Taylor SeriesApproach for Environment Independence Speech Recognition,” in Proc. ICASSP96,pp. 733-736, 1996
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、簡単な手法でありながら、ロバストかつ正確な音声認識を可能とする雑音下音声認識のためのモデル適応手法を提供することを目的とするものである。
【課題を解決するための手段】
【０００６】
かかる課題を解決するために本発明が採用した技術手段は、各周波数における音声のスペクトル密度値の対数値xの分布パラメータと、加法性雑音のスペクトル密度値の対数値nの分布パラメータ及び／或いは乗法性雑音のスペクトル密度値の対数値hの分布パラメータから、これらの雑音が重畳した音声のスペクトル密度値の対数値yの分布パラメータを推定することによるモデル適応法において、x, n, h, y の間の非線形の関係を多項式で近似することで、y の分布パラメータを推定することを特徴とする雑音下音声認識のためのモデル適応法である。また、本発明は他の態様では、コンピュータを、各周波数における音声のスペクトル密度値の対数値xの分布パラメータと、加法性雑音のスペクトル密度値の対数値nの分布パラメータ及び／或いは乗法性雑音のスペクトル密度値の対数値hの分布パラメータから、これらの雑音が重畳した音声のスペクトル密度値の対数値yの分布パラメータを推定するにあたり、x, n, h, y の間の非線形の関係を多項式で近似することで、y の分布パラメータを推定するように実行させることを特徴とする雑音下音声認識のためのコンピュータプログラムとして提供される。
【０００７】
一つの好ましい態様では、x,n,hそれぞれの分布の平均値をμx,μn,μh同じく分散をσx2,σn2,σh2 とするとき、変数z=n-x-hの分布の平均値をμz =μn-μx-μh、分散をσz=σn2+σx2+σh2により求め、非線形関数ｇ(ｚ)=ｌｎ(１＋ｅｚ)を多項式ａｚ2＋ｂｚ＋ｃで近似することにより、雑音重畳音声の特徴量ｙの分布の平均値を、E[g(x)]=a(σz2+μz2)+bμz+c の形式(但し、a, b, c は定数)で求める。
【０００８】
本発明に用いることができる多項式の種類は限定されないが、一つの好ましい態様では、前記多項式はラグランジェ多項式である。また、前記多項式はチェビシェフーラグランジェ多項式でもよい。多項式の次数は限定されず１次以上であればよいが、一つの好ましい態様では、多項式は２次多項式である。多項式の変数は一つの態様では１変数であるが、多変数であってもよい。また、近似多項式は g(z) に対する重みつき最小二乗近似多項式によって求めるものでもよい。また、パラメータは静的パラメータのみならず、動的パラメータであってもよい。
【発明の効果】
【０００９】
本発明は、雑音重畳音声のパラメータを正確かつ効率的に推定することができ、ロバストかつ正確な音声認識を可能とするものである。
【発明を実施するための最良の形態】
【００１０】
[Ａ]音響環境モデル
図１に、クリーン音声信号ｘ[ｍ]に対する加法性雑音ｎ[ｍ]および乗法性雑音（チャネルフィルタリング、すなわちチャネル歪）ｈ[ｍ]の影響を示す音響モデルを示す。劣化された音声（クリーン音声に対して、加法性雑音及びチャネル歪が重畳ないし混合された音声）は、式（１）によって与えられる。
【数１】
2006084732.tif 000003
ここで、ｍはサンプル数である。さらに、パワースペクトル領域において、フィルタバンクエネルギーは次のように与えられる。
【数２】
2006084732.tif 000004
ここで、式（４）は対数スペクトル領域であり、各項は対数スペクトルエネルギー（スペクトル密度値の対数値）を表し、具体的には、ｘ：クリーン音声、ｎ：加法性雑音、ｈ：乗法性雑音（チャネル歪）、ｙ：劣化された音声信号である。
【００１１】
クリーン音声と雑音の関係は、式（４）で与えられるような非線形関係となる。実験によると、雑音及びクリーン音声のパラメータがガウス分布（対数領域において）を有していても、劣化された音声パラメータはガウス分布を有するものではない。しかしながら、これらのパラメータが低い分散を有しており、複数のガウス分布がこれらの分布をモデル化することに用いられる場合には、パラメータの分布をガウス分布とみなすことができ、ガウス分布のために最適化されたデコーダを用いることができる。
【００１２】
［Ｂ］多項式近似
本発明の一つの目的は、雑音パラメータのｎ,ｈの分布、クリーン音声パラメータｘの分布が与えられた時の雑音を含む音声パラメータyの分布（平均と分散）を求めることにある。ここで、ｙの平均、すなわち、期待値は、次の式で表すことができる。
【数３】
2006084732.tif 000005
各パラメータｘ,ｎ,ｈがガウス分布を有すると仮定すると、Ｅ[ｇ(ｘ,ｎ,ｈ)]はクローズドフォームの数式を有しない。したがって、Ｅ[ｇ(ｘ,ｎ,ｈ)]の値を求めるために、先ず、関数ｇ(ｘ,ｎ,ｈ)を、与えられた範囲内で、可能な限り低い次数で近似できる多項式に展開する。多項式近似は、
【数４】
2006084732.tif 000006
とおいて、関数ｇ(ｘ,ｎ,ｈ)を１変数に減らすことで行う。
【００１３】
本実施例では、関数ｇ(ｚ)を近似させるために、以下に示す２次ラグランジェ補間多項式を用いる。
【数５】
2006084732.tif 000007
【００１４】
点ｚ０，ｚ１，ｚ２は、１点がｚ＝μｚ、他の２点が必要とされる範囲における誤差を最小化するように選択することで、適宜特定される。あるいは、これらの点を特定するのに、チェビシェフーラグランジェ多項式(Chebyshev-Lagrange polynomial)を用いても良く、その場合、与えられた範囲内で点を自身で特定する。
【００１５】
図４は、μz＝０における関数ｇ(ｚ)=ｌｎ(１＋ｅｚ)を近似するのに用いる異なる多項式を示す。図４（ａ）において、ラグランジェ多項式展開のために選択された点は、ｚ0＝μｚ，ｚ１＝ｚ0−５，ｚ2＝ｚ0＋５である。図に示すように、ラグランジェ多項式は、２次テイラー級数に比べてより広い範囲でより正確に関数を近似することができる。ｚの分散が小さい場合には、ｚ１点、ｚ２点をｚ0点に近づけることができる。しかしながら、ｚが大きい分散を有する場合には、ｚ１点、ｚ２点はｚ0点からより離れることになる。しかしながら、ｚ１点、ｚ２点がｚ0点からより離れることになると、多くのデータが生じるであろうｚ＝ｚ0＝μｚの近傍領域の近似において不正確さが生じることになる。したがって、ｚの分散に応じて、ｚ1点、ｚ2点を最適な値に配置する必要がある。
【００１６】
最後に、式（６）をｇ(ｚ)=ａｚ2＋ｂｚ＋ｃ（ａ,ｂ,ｃは定数）の形に書き直すと以下のとおりとなる。
【数６】
2006084732.tif 000008
【００１７】
式（５）に対してＥ[ｇ(ｚ)]の予測値を用いることで、劣化された音声ベクトルの平均を計算する。平均の正確な値は分散の正確な値よりも重要なので、クリーン音声の共分散行列が用いられる。しかしながら、上記近似から対角分散を適用するための式を導くことができ、ｚのより高次のモーメント（４次モーメントまで）として対角分散を適用することもできる。
【００１８】
図２，図３に劣化された音声のモデルパラメータを予測する方法を示す。近似を対数スペクトル領域で行うため、ケプストラム領域のクリーン音声及び雑音のＨＭＭパラメータを逆ＤＣＴによって対数スペクトル領域に変換する。ケプストラム領域からスペクトル領域へのパラメータの変換はＣ０の知識を必要とする。与えられたモデルパラメータがＣ０を含んでいない場合には、線形スペクトル領域のメルバンドのエネルギーの総和は全体のフレームエネルギーと同じであることを用いて、算出することができる。これについては、Crafa, S., Fissore, L., and Vair, C., “Data-Driven PMC and Bayesian
Learning Integration for Fast Model Adaptation in Noisy Environment,” in Proc.
ICSLP98, vol.2, pp.471-474, 1998を参照することができる。
【００１９】
チャネル歪を説明する統計は、期待スコアを最大化するEM手法を用いることで得ることができる。チャネル歪の統計を推定するためにはいくつかの適応データが必要とされる。これについては、Minami, Y. and Furui, S., “A Maximum Likelihood Procedure for a
Universal Adaptation Method Based on HMM Composition, ”in Proc. ICASSP95,
vol.1, pp.129-132, 1995を参照することができる。
【００２０】
全ての場合において、アルゴリズムの複雑さを避け、計算量を低減するために、音声ＨＭＭ及び雑音ＨＭＭの共分散行列の対角要素のみが考慮される。
【００２１】
［Ｃ］ラグランジェ多項式近似（ＬＰＡ）の分析
本発明に係る多項式近似の正確性を分析し、他の手法と比較するために、モンテカルロシミュレーションによって音声パラメータとして一次ベクトルを生成した。音声ベクトルに対して、異なるＳＮＲにおいて雑音を付加した。雑音ベクトルもモンテカルロシミュレーションによって生成した。異なる手法によって推定された劣化された音声の平均を図６に示す。ラグランジェ多項式近似（ＬＰＡ）がＶＴＳ−１及びＬｏｇ−ｍａｘ近似に比べてより正確であることがわかる。ラグランジェ多項式近似によって与えられた平均推定はモンテカルロシミュレーションによって与えられたものと略同じであるだけでなく、計算コストも大幅に削減することができる。
【００２２】
［Ｄ］実験結果
ラグランジェ多項式近似による手法を評価するために、実験を行った。ＡＴＲ音声データベースＡ−Ｓｅｔから取り出した同じ話者の２６２０語でトレーニングした孤立単語音声認識タスクに基づいてテストを行った。テストセットは、同データベースから取り出した同じ話者の６５５語を含む。ベースラインシステムは、４１のcontext-independent continuous-density phone ＨＭＭ、全体として１２６状態、単一混合、２６次元音声ベクトル（13-dim ＭＦＣＣ(Ｃ０を伴う)及びデルタ）から構成される。デコーダとしてＪｕｌｉａｎ３．４を用いた。クリーン音声のベースライン単語音声認識正確さは９３．８％である。ＪＥＩＴＡデータベースからの雑音(exhibition hall noise)を０ｄＢ，５ｄＢ，１０ｄＢ，２０ｄＢ，４０ｄＢのＳＮＲでテストデータに加えた。クリーン音声ＨＭＭでの認識において、０ｄＢのＳＮＲ単語音声認識正確さは２．８％に減少する。
【００２３】
ラグランジェ多項式近似により適応化されたモデルによって認識を実行した。モデルは、静的平均パラメータにのみ適応化されている。図５は、幾つかのモデルにより取得された異なるＳＮＲにおける単語認識正確さを示す。与えられたＳＮＲの雑音によって劣化されたトレーニングデータからＨＭＭをトレーニングすることでマッチトモデルを確立した。ＰＭＣ  Ｌｏｇ−ｎｏｒｍａｌ近似の場合、静的パラメータの平均及び分散が適応される。図５に示すように、高いＳＮＲにおいて、ラグランジェ多項式近似（ＬＰＡ）に基づくモデル適応化により得られたパフォーマンスは、マッチトモデルによって得られたものと近似しており、低いＳＮＲにおいては、ＰＭＣ  Ｌｏｇ−ｎｏｒｍａｌ近似に比べて格段に改良されている。
【００２４】
図６は、μｎ>>μｘあるいはμｎ<<μｘの場合には、他の手法でも、十分な正確さでμｙを推定することができることを示している。しかしながら、μｎとμｘが同じか近い場合には、ラグランジェ多項式近似（ＬＰＡ）が極めて良好に機能するのに対して、他の手法は正確な推定を行うことができない。したがって、合成時に雑音及び音声のＨＭＭパラメータが互いに近い場合には、ラグランジェ多項式近似（ＬＰＡ）の有利性が強調される。
【００２５】
図７はクリーン音声及び雑音の平均パラメータ（対数スペクトル領域）のヒストグラムである。図７(a）の場合は図７(b)の場合に比べて、音声平均及び雑音平均が互いに近似している（影領域）。ラグランジェ多項式による近似（ＬＰＡ）は、他の手法に比べて、図７(a)のような場合に特に有利である。
【産業上の利用可能性】
【００２６】
本発明は音声認識の分野に利用可能である。
【図面の簡単な説明】
【００２７】
【図１】クリーン音声信号ｘ[ｍ]に対する加法性雑音ｎ[ｍ]およびチャネルフィルタリングｆ[ｍ]の影響を示す音響モデルである。
【図２】多項式近似に基づく雑音下音声認識のためのモデル適応方法を示す図である。
【図３】図２と類似の図であって、本発明にかかる実施例を示す図である。
【図４】ラグランジェ多項式を用いた近似（ＬＰＡ）を、他の手法（ＶＴＳ）と比較したものである。
【図５】クリーン音声モデル、マッチトモデル、ＰＭＣ  Ｌｏｇ−ｎｏｒｍａｌによって適応化されたモデル、ラグランジェ多項式近似（ＬＰＡ）により適応化されたモデルによる音声認識結果を示す図である。
【図６】μｎ＝１０、σｎ２＝０．１、σｘ２＝６、μｘ＝０〜２０における、モンテカルロシミュレーション、Ｌｏｇ−ｍａｘ近似、ＶＴＳ−１近似、ラグランジェ多項式近似（ＬＰＡ）による雑音混合音声の推定平均を示す図である。
【図７】対数スペクトル領域におけるクリーン音声及び雑音の平均パラメータのヒストグラムである。
【図１】
2006084732.tif 000011
【図２】
2006084732.tif 000012
【図３】
2006084732.tif 000013
【図４】
2006084732.tif 000014
【図５】
2006084732.tif 000015
【図６】
2006084732.tif 000016
【図７】
2006084732.tif 000017