(57)【要約】【課題】音声モデルのパラメータを音声信号から事前に推定する必要がなく、また、雑音変動がガウス分布に依存せずに、雑音の統計量が未知の場合、すなわち、音声モデルが未知である実環境下においても正確度の高い音声認識を可能とする音声認識における雑音抑制方法を提供する。【解決手段】音声信号の時系列データと、観測値との相関情報を反映した結合確率分布と、高次の相関情報を展開係数に反映した級数展開表現による非線形の音声時系列モデルと、を用いることによって、音声信号を推定する。【選択図】図１
2010256526.tif 000002
【特許請求の範囲】
【請求項１】
目的値である音声信号と雑音とが混在した実環境下における観測値から雑音を抑制して音声信号を推定する雑音抑制方法であって、
音声信号の時系列データと、観測値との相関情報を反映した結合確率分布と、
高次の相関情報を展開係数に反映した級数展開表現による非線形の音声時系列モデルと、を用いることによって、音声信号を推定することを特徴とする雑音抑制方法。
【請求項２】
前記結合確率分布Ｐ（ｘk，ｘk+1，ｙk）が、次式、
【数１】
2010256526.tif 000036
によって表わされることを特徴とする請求項１に記載の雑音抑制方法。
【請求項３】
前記展開係数Ｂlmnqが、次式、
【数２】
2010256526.tif 000037
によって表わされることを特徴とする請求項１または２に記載の雑音抑制方法。
【請求項４】
目的値である音声信号と雑音とが混在した実環境下における観測値から雑音を抑制して音声信号を推定する雑音抑制装置であって、
観測値を観測するための音声入力手段と、
観測値から音声信号を推定する雑音抑制手段と、を備え、
前記雑音抑制手段が、音声信号の時系列データと、観測値との相関情報を反映した統合確率分布と、
高次の相関情報を展開係数に反映した級数展開表現による非線形の音声時系列モデルと、を用いることによって、音声信号を推定していることを特徴とする雑音抑制装置。
【請求項５】
前記結合確率分布Ｐ（ｘk，ｘk+1，ｙk）が、次式、
【数３】
2010256526.tif 000038
によって表わされることを特徴とする請求項４に記載の雑音抑制装置。
【請求項６】
前記展開係数Ｂlmnqが、次式、
【数４】
2010256526.tif 000039
によって表わされることを特徴とする請求項４または５に記載の雑音抑制装置。
【請求項７】
請求項１から３のいずれかに記載の雑音抑制方法をコンピュータによって実行するためのコンピュータプログラム。
【請求項８】
請求項４から６のいずれかに記載の雑音抑制装置と、
音声信号を文字情報に変換する音声認識手段と、を備えることを特徴とする音声認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の人間がいたり、雑音が発生したりするような実環境下においても有効に音声認識システムが作用するための雑音抑制方法に関する。
【背景技術】
【０００２】
音声認識システムでは、話者の音声言語をマイクロホンなどによってコンピュータに入力し、コンピュータによって音声言語を解析して、話している内容を文字データとして取り出す処理を行っている。
【０００３】
従来から、このような音声認識システムは、あらかじめ記録しておいた音声パターンと比較して個人認証等を行う話者認識や、文章を入力する用途で用いられるディクテーションなどに用いられている。
【０００４】
しかしながら、音声認識システムでは、静環境下において単独のユーザーが使用する場合には、正確度の高い認識を行うことが可能であるが、複数の人間が存在する環境や、雑音が発生したりするような環境などの実環境下においては、マイクロホンを介して雑音までも入力されてしまい、音声認識の正確度を低下させる原因となっている。
【０００５】
このため、マイクロホンアレーを用いて、目的音を抑制・消去することで、雑音成分のスペクトル情報を取り出すとともに、目的音を強調することで、目的音強調信号のスペクトル情報を取り出して、これらのスペクトル情報に基づいて、目的音に対する周波数帯域毎の雑音重畳度を単位時間毎に推定する雑音抑制方法（特許文献１）などが提案されている。
【０００６】
このような雑音抑制方法においては、ピッチ検出や雑音スペクトルの推定が不要であるために、線形予測に基づいて行われている。このような手法においては、線形モデルのパラメータを音声信号に基づいて推定する必要があるが、雑音が存在する実環境下において線形モデルのパラメータを事前に推定することは困難である。（特許文献２，３，４）
また、雑音抑制方法としては、カルマンフィルタを適用した手法も提案されている（非特許文献１，２）。しかしながら、このカルマンフィルタは、雑音の変動分布がガウス分布に従うことを前提としており、しかも、雑音の分散情報を必要としている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−２７１１９１号公報
【特許文献２】特開２００４−０５３９６５号公報
【特許文献３】特開平５−３２３９９４号公報
【特許文献４】特開２００３−２２３１８６号公報
【非特許文献】
【０００８】
【非特許文献１】W.Kim and H.KO: Noise Varience Estimation for Kalman Filtering of Noisy Speech, IEICE Transactions on Information and Systems, Vol. E84-D, pp155-160
【非特許文献２】H. J. Kushner: Approximations to Optimal Nonlinear Filter, IEEE Trans. Information Theory, Vol. IT-14, pp595-598 (1968)
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１のように、マイクロホンアレーを用いた方法では、複数の雑音源が存在する場合には、雑音源数以上のマイクロホンが必要となるため、特に、雑音源の数が未知の場合には、必要以上のマイクロホンを準備しておく必要も生じ、設備が過大となってしまう。
【００１０】
また、実環境下では、多くの雑音変動は、非ガウス型の複雑な形態を示しており、また、一般的には統計量が未知である場合が多い。このため、実環境下における雑音抑制方法として有効な手段が望まれている。
【００１１】
本発明はこのような状況を鑑み、音声モデルのパラメータを音声信号から事前に推定する必要がなく、また、雑音変動がガウス分布に依存せずに、雑音の統計量が未知の場合、すなわち、音声モデルが未知である実環境下においても正確度の高い音声認識を可能とする音声認識における雑音抑制方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明は、前述したような従来技術における課題および目的を達成するために発明されたものであって、本発明の雑音抑制方法は、
目的値である音声信号と雑音とが混在した実環境下における観測値から雑音を抑制して音声信号を推定する雑音抑制方法であって、
音声信号の時系列データと、観測値との相関情報を反映した結合確率分布と、
高次の相関情報を展開係数に反映した級数展開表現による非線形の音声時系列モデルと、を用いることによって、音声信号を推定することを特徴とする。
【００１３】
また、本発明の雑音抑制装置は、
目的値である音声信号と雑音とが混在した実環境下における観測値から雑音を抑制して音声信号を推定する雑音抑制装置であって、
観測値を観測するための音声入力手段と、
観測値から音声信号を推定する雑音抑制手段と、を備え、
前記雑音抑制手段が、音声信号の時系列データと、観測値との相関情報を反映した統合確率分布と、
高次の相関情報を展開係数に反映した級数展開表現による非線形の音声時系列モデルと、を用いることによって、音声信号を推定していることを特徴とする。
【００１４】
また、本発明は、前記結合確率分布Ｐ（ｘk，ｘk+1，ｙk）が、次式、
【００１５】
【数１】
2010256526.tif 000003
【００１６】
によって表わされることを特徴とする
また、本発明は、前記展開係数Ｂlmnqが、次式、
【００１７】
【数２】
2010256526.tif 000004
【００１８】
によって表わされることを特徴とする。
【００１９】
また、本発明のコンピュータプログラムは、上述するいずれかの雑音抑制方法をコンピュータによって実行することを特徴とする。
【００２０】
また、本発明の音声認識システムは、上述するいずれかの雑音抑制装置と、
音声信号を文字情報に変換する音声認識手段と、を備えることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、音声信号の時系列データと、観測値との相関情報を反映した結合確率分布と、高次の相関情報を展開係数に反映した級数展開表現による非線形の音声時系列モデルとを用いることによって観測値から音声信号を推定しているため、音声入力手段としては、例えば、１つのマイクロホンのみでよく、過大な設備を準備する必要がない。
【００２２】
また、雑音の統計量が未知である実環境下における観測値であっても、精度良く雑音を抑制し、音声信号を正確に推定することができるため、例えば、音声認識システムに適用した場合には、実環境下における音声認識においても正確度の高い音声認識を行うことができる。
【図面の簡単な説明】
【００２３】
【図１】図１は、本発明の雑音抑制方法を用いた音声認識システムを説明するためのブロック図である。
【図２】図２は、本発明の雑音抑制方法において、音声信号を繰り返し逐次推定するためのアルゴリズムを実行するフローチャートである。
【図３】図３は、音声信号ｘkとなる元のデータとして用いた音声信号波形であって、図３（ａ）は、女性が発した音声信号波形（女声信号波形）、図３（ｂ）は、男性が発した音声信号波形（男声信号波形）である。
【図４】図４は、観測値ｙkを観測した際の観測波形であり、図４（ａ）が、図３（ａ）に対応する女性が発した音声信号波形（女声信号波形）、図４（ｂ）が、図３（ｂ）に対応する男性が発した音声信号波形（男声信号波形）である。
【図５】図５は、図２のフローチャートに従って推定された音声信号波形であり、図５（ａ）が、図３（ａ）に対応する女性が発した音声信号波形（女声信号波形）、図５（ｂ）が、図３（ｂ）に対応する男性が発した音声信号波形（男声信号波形）である。
【図６】図６は、公知の拡張カルマンフィルタを適用して推定した場合の音声信号波形であり、図６（ａ）が、図３（ａ）に対応する女性が発した音声信号波形（女声信号波形）、図６（ｂ）が、図３（ｂ）に対応する男性が発した音声信号波形（男声信号波形）である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施の形態（実施例）を、図面に基づいてより詳細に説明する。
【００２５】
図１は、本発明の雑音抑制方法を用いた音声認識システムを説明するためのブロック図である。
【００２６】
この音声認識システムでは、時刻ｋにおける話者の音声言語である音声信号ｘkと、雑
音が混在する実環境２０下において、音声認識システム１０がマイクロホンなどの音声入力手段１２によって観測値ｙkを取得する。この観測値ｙkは、音声信号ｘkとともに、統
計量が未知の雑音信号が混在している。
【００２７】
ここで、時刻ｋにおける音声信号ｘk、観測値ｙk、及び、時刻ｋ＋１における音声信号ｘk+1に関する結合確率密度関数Ｐ（ｘk,ｘk+1,ｙk）は、以下の数３のように表すことができる。
【００２８】
【数３】
2010256526.tif 000005
【００２９】
Ａrstで定義される展開係数には、各変数に対する線形・非線形の相関情報が統計量の
形で反映されている。なお、演算子＜  ＞は、各変数に対する期待値操作を表している。また、θr(1)（ｘk）、θs(1)（ｘk+1）、θt(2)（ｙk）は、各変数に対する確率分布Ｐ
（ｘk）、Ｐ（ｘk+1）、Ｐ（ｙk）を重みとする正規直交多項式である。
【００３０】
この数３に基づき、以下のアルゴリズムに従って、音声認識システム１０の雑音抑制手段１４において、観測値ｙkの雑音信号が抑制され、音声信号ｘkの推定（算出）が行われている。なお、雑音抑制手段１４としては、例えば、パーソナルコンピュータや、マイクロコンピュータなどの、逐次演算可能な演算処理装置などによって構成されている。
【００３１】
まず、数３より、音声信号ｘkに関する時間的推移確率は数４で表すことができる。
【００３２】
【数４】
2010256526.tif 000006
【００３３】
また、数３より、観測値ｙkに関する条件付き確率分布Ｐ（ｙk｜ｘk）は、数５で表す
ことができる。
【００３４】
【数５】
2010256526.tif 000007
【００３５】
数４及び数５において、Ａrs0及びＡr0tは、推定すべき音声信号に関する時間的相関情
報および音声信号ｘkと観測値ｙkとの相関情報により与えられる。しかしながら、雑音が存在する実環境２０下において、音声信号ｘkは未知であるため、未知パラメータａおよ
びｂを数６および数７のように設定する。
【００３６】
【数６】
2010256526.tif 000008
【００３７】
【数７】
2010256526.tif 000009
【００３８】
さらに、音声信号ｘkと同時推定を行うために、パラメータａkおよびｂkに対する時間
推移式を数８および数９のように設定する。
【００３９】
【数８】
2010256526.tif 000010
【００４０】
【数９】
2010256526.tif 000011
【００４１】
ただし、Ｉ（＝Ｒ・Ｓ）、Ｊ＝（Ｒ・Ｔ）であり、ｒ≦Ｒ，ｓ≦Ｓ，ｔ≦Ｔとする。
【００４２】
このような設定に基づき、音声信号ｘkに対して、パラメータａkおよびｂkを同時推定
するため、ベイズの定理から数１０を得る。
【００４３】
【数１０】
2010256526.tif 000012
【００４４】
ただし、Ｙk（＝｛ｙ1，ｙ2，…ｙk｝）は、時刻ｋまでの観測値の集合を示している。条件付き結合関数Ｐ（ｘk，ａk，ｂk｜Ｙk）を、それぞれの変数の変動の支配的部分を表す標準的な確率分布である基準分布Ｐ0（ｘk｜Ｙk-1）、Ｐ0（ａk｜Ｙk-1）、Ｐ0（ｙk｜Ｙk-1）の積を基幹として直交展開すると数１１が得られる。
【００４５】
【数１１】
2010256526.tif 000013
【００４６】
ここで、関数φl(1)（ｘk），φm(2)（ak），φn(3)（bk），φq(4)（yk）は、基準分
布Ｐ0（ｘk｜Ｙk-1），Ｐ0（ａk｜Ｙk-1），Ｐ0（ｂk｜Ｙk-1），Ｐ0（ｙk｜Ｙk-1）を重みとする正規直交多項式である。数１１をもとに、ｘk，ａk，ｂk，ｙkに関する任意の（Ｌ，Ｍ，Ｎ）次多項式関数ｆL,M,N（ｘk，ａk，ｂk）に対する推定式が数１２のように得られる。
【００４７】
【数１２】
2010256526.tif 000014
【００４８】
ただし、数１３は、数１４を満たす係数である。
【００４９】
【数１３】
2010256526.tif 000015
【００５０】
【数１４】
2010256526.tif 000016
【００５１】
また、基準分布Ｐ0（ｘk｜Ｙk-1），Ｐ0（ａk｜Ｙk-1），Ｐ0（ｂk｜Ｙk-1），Ｐ0（ｙk｜Ｙk-1）として、公知の標準的なガウス分布を採用することによって、基準分布Ｐ0（
ｘk｜Ｙk-1），Ｐ0（ａk｜Ｙk-1），Ｐ0（ｂk｜Ｙk-1），Ｐ0（ｙk｜Ｙk-1）は、数１５
のように表わすことができる。
【００５２】
【数１５】
2010256526.tif 000017
【００５３】
したがって、数１５を重みとする各直交多項式φl(1)（ｘk），φm(2)（ak），φn(3)
（bk），  φq(4)（yk）は、エルミート多項式で与えられ、数１６のように表わすことができる。
【００５４】
【数１６】
2010256526.tif 000018
【００５５】
したがって、数１４において、特に数１７と置き換えることによって、ｘk，ａi,k，ｂi,kの平均、分散に対する推定式は、それぞれ数１８〜数２１のように表わすことができ
る。
【００５６】
【数１７】
2010256526.tif 000019
【００５７】
【数１８】
2010256526.tif 000020
【００５８】
【数１９】
2010256526.tif 000021
【００５９】
【数２０】
2010256526.tif 000022
【００６０】
【数２１】
2010256526.tif 000023
【００６１】
ただし、数１８〜数２１において、数２２が満たされている。
【００６２】
【数２２】
2010256526.tif 000024
【００６３】
さらに、条件付き期待値の性質と、数４，数５，数８，数９を用いることによって、数１５で定義されるパラメータはそれぞれ、数２３のように式変形される。
【００６４】
【数２３】
2010256526.tif 000025
【００６５】
【数２４】
2010256526.tif 000026
【００６６】
【数２５】
2010256526.tif 000027
【００６７】
【数２６】
2010256526.tif 000028
【００６８】
【数２７】
2010256526.tif 000029
【００６９】
ただし、数２３〜数２７は、数２８を満たしている。
【００７０】
【数２８】
2010256526.tif 000030
【００７１】
ただし、
'は転置を表わしている。
【００７２】
また、数２３，数２６，数２７において、数２９を満たしている。
【００７３】
【数２９】
2010256526.tif 000031
【００７４】
同様に、数１１で定義される展開係数Ｂlmnqは、数４，数５を用いた後、関数θi(2)（
ｙk）の直交条件を考慮すると、数３０のように表わすことができる。
【００７５】
【数３０】
2010256526.tif 000032
【００７６】
ただし、ｄqi及びｗl+r,jは、数３１を満たす係数である。
【００７７】
【数３１】
2010256526.tif 000033
【００７８】
数２３，数２６，数２７，数３０に、数８，数９で与えられるパラメータに関する時間推移式を代入することにより、ｘk*，Γxk，ｙk*，Ωk及び展開係数Ｂlmnqは、ｘk-1，ａk-1，ｂk-1の多項式に関する推定値で与えられる。また、数２４，数２５により、ａ*i,k，Γaj,k，ｂ*i,k，Γbj,kは、（ｋ−１）時刻における推定値によって与えられる。したがって、以上に示すアルゴリズムに従えば、図２に示すフローチャートのように推定（算出）を行うことによって、音声信号ｘkを繰り返し逐次推定することが可能となる。
【００７９】
このようにして、逐次推定された音声信号ｘkは、音声認識システム１０の音声認識手
段１６によって、音声認識が行われ、文字情報に変換されることになる。なお、音声認識手段１６としては、例えば、パーソナルコンピュータや、マイクロコンピュータなどの、逐次演算可能な演算処理装置などによって構成され、雑音抑制手段１４と同一の演算処理装置であっても構わない。
【００８０】
また、音声認識手段１６によって変換された文字情報は、音声認識手段１６を構成する演算処理装置を構成する記憶装置（図示せず）内に蓄積したり、演算処理装置に接続されるディスプレイなどの表示手段（図示せず）に表示することができる。
【００８１】
なお、上述する話者認識や、アプリケーションソフトウェアを操作する目的で用いられる音声操作などに文字情報を使用する場合には、演算処理装置を構成する記憶装置（図示せず）内にあらかじめ記憶しておいた音声パターンと比較することによって、個人の識別を行ったり、アプリケーションソフトウェアの操作のための命令を実行したりすることができる。
【００８２】
以下に、図２に示すフローチャートに従って、音声信号ｘkの推定を行う実施例を示す
。
【実施例】
【００８３】
図３は、音声信号ｘkとなる元のデータとして用いた音声信号波形であって、図３（ａ
）は、女性が発した音声信号波形（女声信号波形）、図３（ｂ）は、男性が発した音声信号波形（男声信号波形）を示している。なお、この音声信号波形は、サンプリング周波数４４．１ｋＨｚ，量子化１６ｂｉｔｓにて、サンプリングしている。
【００８４】
まずは、図２に示すフローチャートに従い、任意の初期値を与え（ステップ１）、数２３〜数２７に基づいて、ｘ1*，Γx1，ａ*i,1，Γaj,1，ｂ*i,1，Γbj,1，ｙ1*，Ω1及び
数３０に基づいて展開係数Ｂlmnqの計算を行う（ステップ２，３）。
【００８５】
そして、実環境２０下で観測値ｙ1を観測したとすると（ステップ４）、ステップ５の
ように、数１８〜数２１の計算を行う。
【００８６】
次に、ｋ＝２として、再度、数２３〜数２７に基づいて、ｘ2*，Γx2，ａ*i,2，Γaj,2，ｂ*i,2，Γbj,2，ｙ2*，Ω2及び吸う２８に基づいて展開係数Ｂlmnqの計算を行う。
【００８７】
なお、数２３〜数２７において、ｘ2*，Γx2，ａ*i,2，Γaj,2，ｂ*i,2，Γbj,2，ｙ2*，Ω2は、ｘ1，a1，b1の多項式に関する推定値で与えられる。
【００８８】
そして、実環境２０下で観測値ｙ2を観測し、上述するｙ1と同様に計算を行う。また、同様にｙ3，ｙ4，…と順次、観測値ｙkについて繰り返し推定を行う。
【００８９】
本実施例において、雑音としては白色雑音を採用し、音声信号ｘkに加算することによ
って、観測値ｙkを作成した。なお、ＳＮ比が悪い状況下での観測値ｙkとなるように、白色雑音の大きさ（瞬時値の２乗平均値）は、音声信号の大きさと等しくしている。
【００９０】
図４は、観測値ｙkを観測した際の観測波形であり、図４（ａ）が、図３（ａ）に対応
する女性が発した音声信号波形（女声信号波形）、図４（ｂ）が、図３（ｂ）に対応する男性が発した音声信号波形（男声信号波形）である。
【００９１】
また、図５は、図２のフローチャートに従って推定された音声信号波形であり、図５（ａ）が、図３（ａ）に対応する女性が発した音声信号波形（女声信号波形）、図５（ｂ）が、図３（ｂ）に対応する男性が発した音声信号波形（男声信号波形）である。
【００９２】
ただし、比較のため、ｘkとｙkの関係、および、ｘkとｘk+1の関係を数３２のように線形システムによって表わしている。
【００９３】
【数３２】
2010256526.tif 000034
【００９４】
また、図６は、比較例として、非特許文献２で開示される、公知の拡張カルマンフィルタを適用して推定した場合の音声信号波形であり、図６（ａ）が、図３（ａ）に対応する女性が発した音声信号波形（女声信号波形）、図６（ｂ）が、図３（ｂ）に対応する男性が発した音声信号波形（男声信号波形）である。
【００９５】
表１では、図３に示した音声信号波形と、図５に示した本発明の雑音抑制方法を用いて推定した音声信号波形、および、図６に示した公知の拡張カルマンフィルタを適用して推定した音声信号波形との誤差をＲＭＳ（Root Mean Square：２乗平均平方根）を用いて比較した。
【００９６】
【表１】
2010256526.tif 000035
【００９７】
表１に示すように、本発明の雑音抑制方法を用いて推定した音声信号波形は、拡張カルマンフィルタを適用して推定した音声信号波形に比べて、誤差が小さくなっている。
【００９８】
したがって、本発明の雑音抑制方法を用いることによって、必要以上のマイクロホンを準備しておく必要がなく、設備を小さくすることができ、実環境下においても有効に雑音を抑制して、正確度の高い音声認識を可能とすることができる。
【００９９】
以上、本発明の好ましい実施の態様を説明してきたが、本発明はこれに限定されることはなく、例えば、音声録音などの際のノイズ除去などにも適用可能であるなど、本発明の目的を逸脱しない範囲で種々の変更が可能である。
【符号の説明】
【０１００】
１０      音声認識システム
１２      音声入力手段
１４      雑音抑制手段
１６      音声認識手段
２０      実環境
【図１】
2010256526.tif 000040
【図２】
2010256526.tif 000041
【図３】
2010256526.tif 000042
【図４】
2010256526.tif 000043
【図５】
2010256526.tif 000044
【図６】
2010256526.tif 000045