(57)【特許請求の範囲】
【請求項１】
多チャネル音響信号を観測信号とし、チャネルごとの観測信号の特徴量を抽出する特徴量抽出部と、
クリーン音声ガウス混合モデルを記憶するクリーン音声ガウス混合分布記憶部と、
上記チャネルごとの観測信号の特徴量と、上記クリーン音声ガウス混合モデルとを入力として、上記チャネルごとの観測信号の特徴量に含まれる当該チャネルの加法性雑音成分を特定するパラメータと上記チャネルごとのチャネル応答歪みを特定するパラメータとを含む音響歪みパラメータを最尤推定する音響歪みパラメータ推定部と、
上記チャネルごとの観測信号の特徴量と、上記音響歪みパラメータ推定部で推定した音響歪みパラメータと、上記クリーン音声ガウス混合モデルを入力として、上記観測信号に含まれるクリーン音声を最小二乗誤差推定してクリーン音声信号の特徴量を推定するクリーン音声特徴量推定部と、
を具備し、
上記加法性雑音成分を特定するパラメータは、当該パラメータに含まれる雑音の事後分布の平均および分散を表す項に複数の上記チャネル間の相互関係を表す上記チャネルごとの加法性雑音成分の共分散を含み、
上記雑音の事後分布の平均および分散は、上記チャネルごとの観測信号と上記チャネルごとの加法性雑音成分との結合分布の平均と分散に基づいて算出されるガウス分布の平均および分散であり、
上記最尤推定は、上記加法性雑音成分を特定するパラメータを、上記雑音の事後分布の平均および分散に基づいて推定する処理を含む
ことを特徴とする音声強調装置。
【請求項２】
請求項１に記載した音声強調装置において、
上記音響歪みパラメータ推定部は、
更新された加法性雑音成分の平均ベクトル￣μｖを、マイクロホン毎の特徴量領域のスカラー量τｖｎ（ｐ）に分解する雑音成分分解手段と、
更新されたチャネル応答成分ベクトル￣ｑを、ｎ番目のマイクロホンと話者間の室内伝達関数に対応するチャネル応答成分Ｑｎ（ｐ）に分解するチャネル応答成分分解手段と、
クリーン音声ガウス混合分布記憶部に記憶されたクリーン音声ガウス混合分布の平均ベクトルμｓ，ｋを、特徴量領域のスカラー量τｓ，ｋ（ｐ）に分解するクリーン音声成分分解手段と、
雑音信号とチャネル応答成分とクリーン音声ガウス混合分布の上記特徴量領域のスカラー量と上記観測信号の特徴量を入力として、クリーン音声の特徴量と加法性雑音の特徴量とチャネル応答成分の特徴量とでモデル化した観測信号を、テーラー展開したそれぞれの特徴量に関するテーラー展開係数と上記観測信号に関する事後確率の期待値を計算する期待値計算手段と、
上記期待値計算手段で計算した上記テーラー展開係数と上記事後確率を入力として、上記更新された加法性雑音成分の平均ベクトル￣μｖと共分散￣Σｖｖと上記更新されたチャネル応答成分ベクトル￣ｑとをさらに更新させ、上記加法性雑音成分の平均ベクトル￣μｖを上記雑音成分分解手段に、上記チャネル応答成分ベクトル￣ｑを上記チャネル応答成分分解手段に、上記共分散￣Σｖｖを上記期待値計算手段に、それぞれ帰還する処理を、それらの値が最大化するまで繰り返す最大化手段と、
を備えたことを特徴とする音声強調装置。
【請求項３】
請求項１又は２に記載した音声強調装置において、
上記クリーン音声特徴量推定部は、
上記特徴量抽出部が出力する観測信号の特徴量Ｙ１，ｔ（ｐ）〜ＹＮ，ｔ（ｐ）と、上記音響歪みパラメータ推定部が出力する音響歪みパラメータμｖ，Σｖｖ，ｑと上記テーラー展開係数Ｄｋ（ｓ），Ｄｋ（ｑ），Ｄｋ（ｖ）と、上記クリーン音声ガウス混合分布記憶部に記憶されたクリーン音声の統計量μｓ，ｋ，Σｓｓ，ｋを入力として、特徴量領域の多チャネルウィナーフィルタＨｋを算出する音声強調フィルタ算出手段と、
上記多チャネルウィナーフィルタＨｋと、上記観測信号の特徴量Ｙ１，ｔ（ｐ）〜ＹＮ，ｔ（ｐ）と、上記テーラー展開係数Ｄｋ（ｓ），Ｄｋ（ｑ），Ｄｋ（ｖ）と、上記クリーン音声ガウス混合分布記憶部に記憶されたクリーン音声の統計量μｓ，ｋとを入力として、クリーン音声特徴量の最小二乗誤差推定値＾ｓｔを音声強調済み特徴量として計算する音声強調フィルタ処理手段と、
を備えたことを特徴とする音声強調装置。
【請求項４】
多チャネル音響信号を観測信号とし、チャネルごとの観測信号の特徴量を抽出する特徴量抽出過程と、
上記チャネルごとの観測信号の特徴量と、クリーン音声ガウス混合分布記憶部に記憶されたクリーン音声ガウス混合モデルとを入力として、上記チャネルごとの観測信号の特徴量に含まれる当該チャネルの加法性雑音成分を特定するパラメータと上記チャネルごとのチャネル応答歪みを特定するパラメータとを含む音響歪みパラメータを最尤推定する音響歪みパラメータ推定過程と、
上記チャネルごとの観測信号の特徴量と、上記音響歪みパラメータ推定部で推定した音響歪みパラメータと、上記クリーン音声ガウス混合モデルを入力として、上記観測信号に含まれるクリーン音声を最小二乗誤差推定してクリーン音声信号の特徴量を推定するクリーン音声特徴量推定過程と、
を含み、
上記加法性雑音成分を特定するパラメータは、当該パラメータに含まれる雑音の事後分布の平均および分散を表す項に複数の上記チャネル間の相互関係を表す上記チャネルごとの加法性雑音成分の共分散を含み、
上記雑音の事後分布の平均および分散は、上記チャネルごとの観測信号と上記チャネルごとの加法性雑音成分との結合分布の平均と分散に基づいて算出されるガウス分布の平均および分散であり、
上記最尤推定は、上記加法性雑音成分を特定するパラメータを、上記雑音の事後分布の平均および分散に基づいて推定する処理を含む
ことを特徴とする音声強調方法。
【請求項５】
請求項４に記載した音声強調方法において、
上記音響歪みパラメータ推定過程は、
更新された加法性雑音成分の平均ベクトル￣μｖを、マイクロホン毎の特徴量領域のスカラー量τｖｎ（ｐ）に分解する雑音成分分解ステップと、
更新されたチャネル応答成分ベクトル￣ｑを、ｎ番目のマイクロホンと話者間の室内伝達関数に対応するチャネル応答成分Ｑｎ（ｐ）に分解するチャネル応答成分分解ステップと、
クリーン音声ガウス混合分布記憶部に記憶されたクリーン音声ガウス混合分布の平均ベクトルμｓ，ｋを、特徴量領域のスカラー量τｓ，ｋ（ｐ）に分解するクリーン音声成分分解ステップと、
雑音信号とチャネル応答成分とクリーン音声ガウス混合分布の上記特徴量領域のスカラー量と上記観測信号の特徴量を入力として、クリーン音声の特徴量と加法性雑音の特徴量とチャネル応答成分の特徴量とでモデル化した観測信号を、テーラー展開したそれぞれの特徴量に関するテーラー展開係数と上記観測信号に関する事後確率の期待値を計算する期待値計算ステップと、
上記期待値計算ステップで計算した上記テーラー展開係数と上記事後確率を入力として、上記更新された加法性雑音成分の平均ベクトル￣μｖと共分散￣Σｖｖと上記更新されたチャネル応答成分ベクトル￣ｑとをさらに更新させ、上記加法性雑音成分の平均ベクトル￣μｖを上記雑音成分分解ステップに、上記チャネル応答成分ベクトル￣ｑを上記チャネル応答成分分解ステップに、上記共分散￣Σｖｖを上記期待値計算ステップに、それぞれ帰還する処理を、それらの値が最大化するまで繰り返す最大化ステップと、
を含むことを特徴とする音声強調方法。
【請求項６】
請求項４又は５に記載した音声強調方法において、
上記クリーン音声特徴量推定過程は、
上記特徴量抽出過程が出力する観測信号の特徴量Ｙ１，ｔ（ｐ）〜ＹＮ，ｔ（ｐ）と、上記音響歪みパラメータ推定過程が出力する音響歪みパラメータμｖ，Σｖｖ，ｑと上記テーラー展開係数Ｄｋ（ｓ），Ｄｋ（ｑ），Ｄｋ（ｖ）と、上記クリーン音声ガウス混合分布記憶部に記憶されたクリーン音声の統計量μｓ，ｋ，Σｓｓ，ｋを入力として、特徴量領域の多チャネルウィナーフィルタＨｋを算出する音声強調フィルタ算出ステップと、
上記多チャネルウィナーフィルタＨｋと、上記観測信号の特徴量Ｙ１，ｔ（ｐ）〜ＹＮ，ｔ（ｐ）と、上記テーラー展開係数Ｄｋ（ｓ），Ｄｋ（ｑ），Ｄｋ（ｖ）と、上記クリーン音声ガウス混合分布記憶部に記憶されたクリーン音声の統計量μｓ，ｋとを入力として、クリーン音声特徴量の最小二乗誤差推定値＾ｓｔを音声強調済み特徴量として計算する音声強調フィルタ処理ステップと、
を含むことを特徴とする音声強調方法。
【請求項７】
請求項１乃至３の何れかに記載した音声強調装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、雑音やチャネル歪（音響歪み）を伴った音響信号から、音響歪みを取り除いた信号を特徴量領域で抽出する音声強調装置と、その方法とプログラムに関する。
【背景技術】
【０００２】
雑音やチャネル歪みのある環境で音響信号を収音すると、本来の信号に音響歪みが重畳された信号として観測される。ここで雑音とは、加法性があるものである。また、チャネル歪みとは、乗法性の雑音であり特にフレーム長より短い時間に生じる歪みのことである。その音響信号が音声の場合、重畳した音響歪みの影響により音声の明瞭性は大きく低下してしまう。明瞭性が低下することにより、本来の音声信号の性質を抽出することが困難となり、自動音声認識（以下、音声認識）システムの認識率も著しく低下する。この認識率の低下を防ぐためには、重畳した音響歪みを取り除く工夫（方法）が必要である。
【０００３】
この音響歪みを取り除く方法は、音声認識の他にも、例えば、機械制御インターフェースにおける機械と人間との対話装置、楽曲を検索したり採譜したりする音楽情報処理システムなどに利用することが出来る。
【０００４】
図８に、従来の音声強調装置８００の機能構成例を示してその動作を簡単に説明する。音声強調装置８００は、特徴量抽出部８１と、音響歪みパラメータ推定部８２と、クリーン音声ガウス混合分布記憶部８３と、クリーン音声特徴量推定部８４と、を具備する。特徴量抽出部８１は、入力信号を特徴量に変換する。音響歪みパラメータ推定部８２は、その特徴量と、クリーン音声ガウス混合分布記憶部８３に記憶された混合ガウス分布モデルを用いて、入力信号に含まれる音響歪みに関するパラメータを最尤推定する。クリーン音声特徴量推定部８４は、最尤推定したパラメータと入力信号の特徴量を用いてクリーン音声特徴量の最小二乗誤差推定を行う。この方法によれば、入力信号から効果的に音響歪みの影響を取り除いて、入力信号を強調することが可能となる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】P. J. Moreno, “Speech Recognition in Noisy Environments,” PhD thesis, Carnegie Mellon University, 1996.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、従来の特徴量を用いた音声強調方法では、音響歪みパラメータ推定に空間情報を用いる考えが無かったので、入力信号が１チャネルであることが通常であった。その結果、パラメータ推定の精度が不十分である課題があった。
【０００７】
この発明は、このような課題に鑑みてなされたものであり、入力信号を多チャネル化することで空間情報を利用可能とし、十分なパラメータ推定精度が得られる特徴量領域で動作する音声強調装置と、その方法とプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
この発明の音声強調装置は、特徴量抽出部と、クリーン音声ガウス混合分布記憶部と、音響歪みパラメータ推定部と、クリーン音声特徴量推定部と、を具備する。特徴量推定部は、多チャネル音響信号を観測信号とし、それぞれのチャネルの音響信号の特徴量を抽出する。クリーン音声ガウス混合分布記憶部は、クリーン音声の混合ガウス分布を記憶する。音響歪みパラメータ推定部は、多チャネルの観測信号の特徴量と、クリーン音声ガウス混合モデルを入力として、上記観測信号に含まれる加法性雑音成分とチャネル応答歪みに関する音響歪みパラメータを最尤推定する。クリーン音声特徴量推定部は、多チャネルの観測信号の特徴量と、音響歪みパラメータ推定部で推定した音響歪みパラメータと、クリーン音声ガウス混合モデルを入力として、観測信号に含まれるクリーン音声を最小二乗誤差推定してクリーン音声信号の特徴量を推定する。
【発明の効果】
【０００９】
この発明の音声強調装置によれば、チャネル間情報（空間情報）を用いることで、クリーン音声の推定精度を向上させることが出来る。評価実験で確認した具体的な効果については後述する。
【図面の簡単な説明】
【００１０】
【図１】この発明の音声強調装置１００の機能構成例を示す図。
【図２】音声強調装置１００の動作フローを示す図。
【図３】特徴量抽出部１０の動作フローを示す図。
【図４】音響歪みパラメータ推定部３０の機能構成例を示す図。
【図５】音響歪みパラメータ推定部３０の動作フローを示す図
【図６】クリーン音声特徴量推定部４０の機能構成例を示す図。
【図７】クリーン音声特徴量推定部４０の動作フローを示す図。
【図８】従来の雑音除去装置８００の機能構成例を示す図。
【発明を実施するための形態】
【００１１】
以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。実施例の説明の前に、各信号についてモデル化と定義を行う。
【００１２】
〔モデル化と定義〕
観測信号の特徴量を、つまり観測信号を、対数メルスペクトル領域で式（１）に示すようにモデル化する。
【００１３】
【数１】
0005731929.tif 000002
【００１４】
Ｙｎ，ｔ（ｐ）はｎ番目のマイクロホンでの観測信号特徴量、Ｓｔ（ｐ）はクリーン音声特徴量べクトルのｐ番目の要素、Ｖｎ，ｔ（ｐ）はｎ番目のマイクロホンで観測される加法性雑音の成分、Ｑｎ，ｔ（ｐ）はｎ番目のマイクロホンと話者間の室内伝達関数に対応するチャネル応答成分である。ｔは時間フレームのインデックスである。また、ｆ（ａ，ｂ，ｃ）は式（２）で定義されるものである。
【００１５】
【数２】
0005731929.tif 000003
【００１６】
観測信号ｙｔ、雑音信号ｖｔ、チャネル応答成分ｑ、クリーン音声ｓｔについて以下のようにベクトルと行列表現を用いる。なお、観測信号ｙｔは全チャネルを表し、ｙｎ，ｔはマイクロホン番号ごとの観測信号である。この関係は雑音信号ｖｔとチャネル応答成分ｑについても同様である。
【００１７】
【数３】
0005731929.tif 000004
【００１８】
クリーン音声を用いた事前学習で得られるガウス混合モデルを式（４）に示すように定義する。
【００１９】
【数４】
0005731929.tif 000005
【００２０】
ここでＫは混合数を表し、ｃｋはｋ番目のガウス分布に対する混合重みを表す。平均μｓ，ｋ＝[τｓ，ｋ（１）．．．τｓ，ｋ（Ｐ）]Ｔ、共分散行列Σｓｓ，ｋ、混合重みｃｋは、すべて事前学習時にクリーン音声から学習される。また、共分散行列Σｓｓ，ｋとしては、対角成分以外の成分はゼロである対角共分散を仮定した。
【００２１】
式（１）を用いれば、観測信号について精度の高いモデル化が行われるが、この非線形な観測モデルをそのまま用いると、音響歪みパラメータの推定が非常に複雑になる。複雑なパラメータ推定を回避するために、１次のテーラー展開を用いて式（１）を近似する。
【００２２】
はじめに、加法性雑音成分ｖｎを単一ガウス分布と仮定し、分散Σｖｖ及び平均μｖ＝[μＴｖ１．．．μＴｖＮ]と仮定する。ここでμｖｎはμｖｎ＝[τｖｎ（１）．．．τｖｎ（Ｐ）]Ｔである。これらの定義を用いると、（μｖ，μｓ，ｋ，ｑ０）における観測信号ｙｔの１次のテーラー展開は式（５）のように表される。
【００２３】
【数５】
0005731929.tif 000006
【００２４】
ここでＩＮＰ×ＰはＮＰ×Ｐ次元の行列であり、そのｎ番目（ｎ＝１，…，Ｎ）の行列内のブロックはＰ×Ｐ次元の単位行列からなる。ＩＮＰ×Ｐの次元に注目すると、Ｐ×ＰのＮ倍の次元であることが分かり、すべてのマイクロホン信号が考慮されたモデル化が行われていることが分かる。クリーン音声ｓに関する１次のテーラー展開係数Ｄ（ｓ）ｋもＮＰ×Ｐ次元の構造を持つ。チャネル応答成分ｑに関する１次のテーラー展開係数Ｄ（ｑ）ｋと、雑音信号に関する１次のテーラー展開係数Ｄ（ｖ）ｋは、ＮＰ×ＮＰ次元のブロック対角行列である。ｇｋは補正項であり、式（６）で定義される。
【００２５】
【数６】
0005731929.tif 000007
【００２６】
この実施例では、雑音に関する項の共分散行列については、周波数間での相関はゼロと仮定し、その対角要素のみを考慮した。対角要素については後述する。対角成分を考慮することで、効果的にチャネル間情報を用いることが可能となる。
【実施例１】
【００２７】
図１に、この発明の音声強調装置１００の機能構成例を示す。その動作フローを図２に示す。音声強調装置１００は、特徴量抽出部１０と、クリーン音声ガウス混合分布記憶部２０と、音響歪みパラメータ推定部３０と、クリーン音声特徴量推定部４０と、制御部５０と、を具備する。音声強調装置１００の各部の機能は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。
【００２８】
特徴量抽出部１０は、多チャネル音響信号を観測信号とし、それぞれのチャネルの音響信号の特徴量を抽出する（ステップＳ１０）。クリーン音声ガウス混合分布記憶部２０は、クリーン音声の混合ガウス分布を記憶する。
【００２９】
音響歪みパラメータ推定部３０は、特徴量抽出部１０が出力する多チャネルの観測信号の特徴量と、クリーン音声ガウス混合分布記憶部２０に記憶されたクリーン音声ガウス混合モデルを入力として、観測信号に含まれる加法性雑音成分とチャネル応答歪みに関する音響歪みパラメータを最尤推定する（ステップＳ３０）。
【００３０】
クリーン音声特徴量推定部４０は、特徴量抽出部１０が出力する多チャネルの観測信号の特徴量と、音響歪みパラメータ推定部３０で推定した音響歪みパラメータと、クリーン音声ガウス混合分布記憶部２０に記憶されたクリーン音声ガウス混合モデルを入力として、観測信号に含まれるクリーン音声を最小二乗誤差推定してクリーン音声信号の特徴量を推定する（ステップＳ４０）。制御部５０は、上記した各部間の時系列的な動作等を制御するものである。
【００３１】
以上述べたように動作することで、音声強調装置１００は、チャネル間情報を用いたクリーン音声特徴量の推定精度を向上させることが出来る。
【００３２】
以降において、音声強調装置１００の各部の機能を更に詳しく説明する。
【００３３】
〔特徴量抽出部〕
特徴量抽出部１０は、クリーン音声に雑音とチャネル歪みが重畳した観測信号を、複数（Ｎ個）のマイクロホンで収音した多チャネルの音響信号を入力として、それぞれの音響信号から対数スペクトルを抽出するものであり、マイクロホンの数に対応した複数の特徴量抽出部１０１〜１０Ｎで構成される。その動作フローを図３に示す。
【００３４】
観測信号は、例えば３０ｍｓ程度の短時間ハミング窓で窓かけされる（ステップＳ１０ａ）。それぞれ窓かけされた観測信号は離散フーリエ変換を経てパワースペクトルに変換される（ステップＳ１０ｃ）。パワースペクトルに変換された観測信号は、その後、各周波数で対数スペクトルの観測信号特徴量Ｙ１，ｔ（ｐ）〜ＹＮ，ｔ（ｐ）に変換される（ステップＳ１０ｄ）。
【００３５】
〔音響歪みパラメータ推定部〕
音響歪みパラメータ推定部３０は、チャネル応答成分ｑと、加法性雑音成分ｖｎの平均μｖと、その共分散Σｖｖを、期待値最大化法を用いて最尤推定する。加法性雑音成分の共分散Σｖｖには、複数チャネル間の相互関係を表す空間情報が含まれている。空間情報とは、式（７）の行列中のσｎ，ｍ（ｎ≠ｍ）を指す。
【００３６】
【数７】
0005731929.tif 000008
【００３７】
期待値最大化法（ＥＭアルゴリズムとも称する）では、一般的に初期パラメータλ＝｛μｖ，Σｖｖ，ｑ}を基に、￣λを変化させ尤度関数を最大化することを行う。そして、この尤度関数の最大化は、以下の補助関数Ｑを繰り返し最大化することで行う。
【００３８】
【数８】
0005731929.tif 000009
【００３９】
ここで、補助関数Ｑは、初期パラメータλが固定という仮定のもとでの最適化対象￣λの関数であることを表している。また、ＳとＶは、時間フレーム１〜Ｔまでのクリーン音声と加法性雑音それぞれの特徴量からなる。Ｔは各発話のフレーム数であり、Ｋはガウス混合モデルのインデックスの集合を表す。Ｋｓは混合数を表す。
【００４０】
加法性雑音とチャネル応答成分に関する項は、最終的にはＥＭアルゴリズムの中で一緒に推定されるものではあるが、ここでは説明の都合上、各要素の推定に関して別々に説明を行う。
【００４１】
まず、加法性雑音に関するパラメータ推定について説明する。補助関数Ｑの計算のために、加法性雑音に関する項としては観測信号に関する事後確率ｐ（ｋ|ｙｔ，λ）、雑音の確率分布ｐ（Ｖｔ|￣Σｖｖ，￣μＶ）、雑音の事後分布ｐ（Ｖｔ|ｙｔ，ｋ，λ）の計算が必要になる。これらの項の計算を行うことで、加法性雑音に関する最適パラメータ￣μｖ０、￣Σｖｖ０を推定することが可能となる。以下に、加法性雑音に関する項を計算するための式の導出を行う。
【００４２】
はじめに、観測信号に関する確率密度関数ｐ（ｙｔ|ｋ，λ）は、平均μｙ，ｋ、共分散Σｙｙ，ｋを持つガウス分布であることを利用する。そうすることで、観測信号に関する事後確率ｐ（ｋ|ｙｔ，λ）は次式で求めることができる。
【００４３】
【数９】
0005731929.tif 000010
【００４４】
ここで、ｋはすべてのチャネル間で共通のクリーン音声に関するパラメータであることに注意すると、複数のマイクロホンを用いることで、上記事後確率ｐ（ｋ|ｙｔ，λ）の推定に用いることのできる情報量が増えることが分かる。より多くの情報量に基づき事後確率の推定が行われるため、事後確率の推定精度を向上させる効果が期待できる。
【００４５】
次に、雑音の確率分布ｐ（Ｖｔ|￣Σｖｖ，￣μＶ）もガウス分布であることを考慮すると、雑音の事後分布ｐ（Ｖｔ|ｙｔ，ｋ，λ）もガウス分布であることが分かる。このガウス分布の平均と分散の計算のためには、結合分布[ｙｔＴｖｔＴ]Ｔの平均と分散が、以下のように与えられることを利用する。
【００４６】
【数１０】
0005731929.tif 000011
【００４７】
ここで、Σｙｙ，ｋは式（１１）で表され、Σｖｙ，ｋは式（１２）で表せる。
【００４８】
【数１１】
0005731929.tif 000012
【００４９】
上記の結合分布を考慮すると、雑音に関する事後分布ｐ（Ｖｔ|ｙｔ，ｋ，λ）は、以下の平均と分散を持つガウス分布となる。
【００５０】
【数１２】
0005731929.tif 000013
【００５１】
非特許文献１では〜Σｙｙ，ｋの逆行列計算が必要となるが、この行列はランクＰとなり、１ch処理（つまり、Ｎ＝１）の場合のみにフルランクとなる。しかし、この実施例では多チャネル（Ｎ＞１）での定式化を行っているため、この行列はランク落ちとなり、逆行列計算が困難となる。
【００５２】
上記した２つの式は、非正則行列の逆行列計算を伴わないため、多チャネル処理により適した定式化である。
【００５３】
ここでｐ（ｙｔ|ｖｔ，ｋ，￣ｑ）とｃｋは、￣Σｖｖと￣μｖとは独立であるため、雑音に関する最適パラメータ￣μｖｏ、￣Σｖｖｏは式（１５）、式（１６）のようにそれぞれ求めることができる。式（１５）と式（１６）は、補助関数Ｑ（λ，￣λ）をそれぞれの変数に関して偏微分し、勾配をゼロとすることで導出される。
【００５４】
【数１３】
0005731929.tif 000014
【００５５】
次に、チャネル応答に関する項に関するパラメータ推定について説明する。チャネル応答パラメータの最適値￣ｑｏを求めるためには、観測の事後分布ｐ（ｙｔ|ｖｔ，ｋ，￣ｑ）が以下の平均と共分散〜Σｙｙ，ｋを持つガウス分布であることを利用する。
【００５６】
【数１４】
0005731929.tif 000015
【００５７】
ここで共分散行列〜Σｙｙ，ｋは非正則であるため、チャネル応答パラメータの最適値￣ｑは、補助関数Ｑを￣ｑついて最大化するだけでは、一意に求めることはできない。そこで、チャネル応答パラメータの最適値￣ｑｎｏの推定には、各チャネルごとに補助関数を補助関数Ｑと同様の形で定義し、以下の式を導出した。ここで、￣ｑｎｏは各チャネルごとのチャネル応答パラメータの推定値である。
【００５８】
【数１５】
0005731929.tif 000016
【００５９】
ここで、〜Σｙｎｙｎ，ｋは、以下の可逆な行列となる。
【００６０】
【数１６】
0005731929.tif 000017
【００６１】
また、〜μｖｎ，ｋ（ｙｎ，ｔ，λ）は次式で定義される。
【００６２】
【数１７】
0005731929.tif 000018
【００６３】
図４に、音響歪みパラメータ推定部３０の機能構成例を示す。その動作フローを図５に示す。音響歪みパラメータ推定部３０は、雑音成分分解手段３１と、チャネル応答成分分解手段３２と、クリーン音声成分分解手段３３と、期待値計算手段３４と、最大化手段３５と、を具備する。
【００６４】
最初に、音響歪みパラメータの更新された加法性雑音成分の平均ベクトル￣μｘの初期値を雑音成分分解手段３１に設定する。と共に、更新されたクリーン音声特徴量ベクトル￣ｑの初期値をチャネル応答成分分解手段３２に設定する。雑音に関する項μｘとΣｙｙの初期値は、観測信号中の最もエネルギーの小さい部分から推定した。また、ｑについては、ランダムな初期値を与える（ステップＳ３０）。
【００６５】
雑音成分分解手段３１は、更新された加法性雑音成分の平均ベクトル￣μｘを、マイクロホン毎の特徴量領域のスカラー量τｖｎ（ｐ）（μｖｎ＝[τｖｎ（１）．．．τｖｎ（Ｐ）]Ｔ）に分解する。ｎは１〜Ｎ、ｐは１〜Ｐである。チャネル応答成分分解手段３２は、更新されたクリーン音声特徴量ベクトル￣ｑを、ｎ番目のマイクロホンと話者間の室内伝達関数に対応するチャネル応答成分Ｑｎ（ｐ）に分解する。クリーン音声成分分解手段３３は、クリーン音声ガウス混合分布記憶部２０に記憶されたクリーン音声ガウス混合分布の平均ベクトルμｓ，ｋを、特徴量領域のスカラー量τｓ，ｋ（ｐ）（μｓ，ｋ＝[τｓ，ｋ（１）．．．τｓ，ｋ（Ｐ）]Ｔ）に分解する（ステップＳ３１〜Ｓ３２）。
【００６６】
期待値計算手段３４は、雑音成分分解手段３１とチャネル応答成分分解手段３２とクリーン音声成分分解手段３３の出力する特徴量領域のそれぞれのスカラー量を入力として、クリーン音声の特徴量と加法性雑音の特徴量とチャネル応答成分の特徴量とでモデル化した観測信号を、テーラー展開したそれぞれの特徴量に関する１次のテーラー展開係数Ｄｋ（ｓ），Ｄｋ（ｑ），Ｄｋ（ｖ）と観測信号に関する事後確率ｐ（ｋ|ｙｔ，λ）の期待値を計算する（ステップＳ３３）。事後確率ｐ（ｋ|ｙｔ，λ）は、上記した式（９）で計算する。
【００６７】
クリーン音声ｓに関する１次のテーラー展開係数Ｄｋ（ｓ）は、ＮＰ×Ｐ次元の構造を持つ、ｎ番目の行列内のブロックであるＰ×Ｐ次元の行列Ｄｎ，ｋ（ｓ）の中のｐ番目（ｐ＝１，…，Ｐ）の対角要素は、式（２１）で与えられる。
【００６８】
【数１８】
0005731929.tif 000019
【００６９】
ここで、Ｑ0ｎ（ｐ）は、テーラー展開の展開点のチャネル応答成分である。
【００７０】
チャネル応答成分ｑに関する１次のテーラー展開係数Ｄｋ（ｑ）と加法性雑音成分μｖに関する１次のテーラー展開係数Ｄｋ（ｖ）は、ＮＰ×ＮＰ次元のブロック対角行列であり、ｎ番目のブロック対角要素はＰ×Ｐ次元の対角行列Ｄｎ，ｋ（ｑ），Ｄｎ，ｋ（ｖ）であり、その中のｐ番目（ｐ＝１，…，Ｐ）の対角要素は、式（２２）と式（２３）で与えられる。
【００７１】
【数１９】
0005731929.tif 000020
【００７２】
ここで、ｆ（・）は各要素ごとに作用する関数である。また、以下の仮定を用いている。
【００７３】
【数２０】
0005731929.tif 000021
【００７４】
期待値計算手段３４の処理は、全てのガウス分布ｋ（混合数Ｋ）について行われる。
【００７５】
最大化手段３４は、期待値計算手段３３で計算された１次のテーラー展開係数Ｄｋ（ｓ），Ｄｋ（ｑ），Ｄｋ（ｖ）と事後確率ｐ（ｋ|ｙｔ，λ）を入力として、雑音に関する最適パラメータ￣μｖｏ、￣Σｖｖｏを上記した式（１５）と式（１６）を用いて更新する。それと同時に、チャネル応答パラメータの最適値￣ｑｎｏも上記した式（１８）を用いて更新する（ステップＳ３４０）。
【００７６】
更新されたパラメータ￣μｖ、￣ｑｎ、￣Σｖｖ、は、ベクトル成分分解手段３１と３２と、期待値計算手段３４に出力（帰還）され、補助関数の値が十分に最大化され、パラメータが最適値（￣μｖｏ、￣Σｖｖｏ、￣ｑｎｏ）に十分に近づくまで（ステップＳ３４１の収束）、ステップＳ３１〜Ｓ３４０の処理が繰り返される。
【００７７】
なお、１次のテーラー展開係数を用いる例で説明を行ったが、より高次のテーラー展開係数を用いても良い。計算は複雑になるが、パラメータの推定精度の向上が期待できる。
【００７８】
〔クリーン音声特徴量推定部〕
図６に、クリーン音声特徴量推定部４０の機能構成例を示す。その動作フローを図７に示す。クリーン音声特徴量推定部４０は、音声強調フィルタ算出手段４１と音声強調フィルタ処理手段４２を備える。
【００７９】
音声強調フィルタ算出手段４１は、特徴量抽出部１０が出力する観測信号の特徴量Ｙ１，ｔ（ｐ）〜ＹＮ，ｔ（ｐ）と、音響歪みパラメータ推定部３０が出力する音響歪みパラメータ￣μｖｏ，￣Σｖｖｏ，￣ｑｎｏと１次のテーラー展開係数Ｄｋ（ｓ），Ｄｋ（ｑ），Ｄｋ（ｖ）と、クリーン音声ガウス混合分布記憶部２０にされたクリーン音声の統計量μｓ，ｋ,Σｓｓ，ｋとを、入力として特徴量領域の多チャネルウィナーフィルタＨｋを次式を用いて算出する（ステップＳ４１）。
【００８０】
【数２１】
0005731929.tif 000022
【００８１】
ここで〜Σｙｙ，ｋは式（２９）で計算される。補正項ｇｋは上記した式（６）で計算される。
【００８２】
【数２２】
0005731929.tif 000023
【００８３】
音声強調フィルタ処理手段４２は、ウィナーフィルタＨｋと、観測信号の特徴量Ｙ１，ｔ（ｐ）〜ＹＮ，ｔ（ｐ）と、１次のテーラー展開係数Ｄｋ（ｓ），Ｄｋ（ｑ），Ｄｋ（ｖ）と、クリーン音声ガウス混合分布記憶部２０にされたクリーン音声の統計量μｓ，ｋとを、入力としてクリーン音声特徴量の最小二乗誤差推定値＾ｓｔを音声強調済み特徴量として計算する（ステップＳ４２）。
【００８４】
クリーン音声特徴量の最小二乗誤差推定値＾ｓｔは式（３０）で表せる。
【００８５】
【数２３】
0005731929.tif 000024
【００８６】
ここで、クリーン音声特徴量ｓｔの分布はガウス混合モデルで与えられることを考慮すると、クリーン音声特徴量の最小二乗誤差推定値＾ｓｔは次式で与えられる。
【００８７】
【数２４】
0005731929.tif 000025
【００８８】
ここで、μｙ，ｋは式（２５）のように計算される。
【００８９】
この実施例では、空間情報を明示的に含むパラメータΣｖｖが、多チャネルウィナーフィルタＨｋを計算するために用いるパラメータΣｙｙ，ｋの計算に用いられるため、ウィナーフィルタによるクリーン音声推定精度が向上する。さらに、式（３１）に使われているｐ（ｋ|ｙｔ）も、音響歪みパラメータ推定部３０で空間情報を用いてより精度良く推定されているため、クリーン音声特徴量推定の精度が向上する。
【００９０】
〔評価実験〕
この発明の音声強調装置１００の性能を評価する目的で評価実験を行った。実験条件は次の通りとした。
【００９１】
評価には、ＴＩ-Digitデータベースを用いた数字認識実験を用いた。標本化周波数は8kHzとした。音響モデルの学習には、ＴＩ-Digitデータベースから得られるクリーン音声8440文を用いた。音響モデルは話者非依存とし、各単語について18状態からなる隠れマルコフモデルを用いた。各状態でのガウス混合モデルの混合数は3とした。特徴量としては、13次のメル周波数ケプストラム（ＭＦＣＣ）にそのΔ成分とΔΔ成分を加えた39次元のＭＦＣＣ特徴量を用いた。これらの設定は一般的な実験で広く用いられている設定に倣ったものである。
【００９２】
この発明の音声強調方法は、特徴量領域で行うが、特徴量領域としては対数メルスペクトル領域を用いた。事前学習でのガウス混合モデルの学習には、音声認識の音響モデル学習に用いたデータと同じＴＩ-Digitデータベースから得られるクリーン音声8440文を用いた。ガウス混合モデルの混合数は、Ｋ＝256とした。音声強調後の処理音声は対数スペクトル領域の信号であるため、処理後の音声は、音声認識の事前学習時と同様の処理手順を用いて、39次元のＭＦＣＣ特徴量に変換した。音響歪みパラメータ推定部３０のＥＭアルゴリズムの繰り返し回数は最大１０回とした。
【００９３】
２チャネルの評価用観測信号の作成には、学習で用いられていないＴＩ-Digitデータベースの評価用クリーン音声1001文を用いた。これらのクリーン音声を、実測されたＲＷＣＰデータベースの２種類の室内インパルス応答（それぞれ残響時間０秒と、０．３１秒）に畳み込み、２つの残響条件を模擬し、その後、この残響音声に、ＡＵＲＯＲＡ-２データベースに含まれるノイズ区間、若しくは定常白色雑音を、いくつかのＳＮＲ条件（0，5，10，15，20dB）で足し合わせた。実験条件としては、合計２０種類（２残響条件×２雑音条件×５ＳＮＲ条件）の異なる雑音残響環境を模擬した。
【００９４】
表１〜４に、各雑音、残響条件での実験結果（単語正解精度）を示した。表中のベースラインは、音声強調処理を行わずに観測信号をそのまま認識した場合の単語正解精度である。従来法１及び２は、各々のマイク観測信号に異なる従来法を適用して音声強調を行い、処理信号を認識した場合の単語正解精度である。
【００９５】
チャネル間情報（空間情報）を用いるこの発明の音声強調方法が高い認識性能を示し、この発明の有効性を確認することが出来た。
【００９６】
【表１】
0005731929.tif 000026
【００９７】
【表２】
0005731929.tif 000027
【００９８】
【表３】
0005731929.tif 000028
【００９９】
【表４】
0005731929.tif 000029
上記した音声強調装置１００における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
【０１００】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）/ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【０１０１】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【０１０２】
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
0005731929.tif 000030
【図２】
0005731929.tif 000031
【図３】
0005731929.tif 000032
【図４】
0005731929.tif 000033
【図５】
0005731929.tif 000034
【図６】
0005731929.tif 000035
【図７】
0005731929.tif 000036
【図８】
0005731929.tif 000037