(57)【要約】【課題】  この発明は、音響条件が変動する環境下においても、目的音声のみを高精度に抽出できる音声強調装置を提供することを目的とする。【解決手段】  複数のマイクロホンを備えたマイクロホンアレーと、マイクロホンアレーによって得られる複数のマイクロホン信号から、目的の音声信号が強調された信号を生成する適応ビームフォーマと、適応ビームフォーマの出力信号上の雑音を抑圧する雑音低減装置とを備えており、適応ビームフォーマとして、固定ビームフォーマ、適応ブロッキング行列および適応外乱キャンセラを備え、固定ビームフォーマおよび適応外乱キャンセラが入力信号のＳＮＲに応じて適応制御されるロバスト一般化サイドローブ・キャンセラが用いられており、雑音低減装置として、ＧＭＭに基づくウイナーフィルタを用いて、雑音を抑圧する単一チャンネル雑音低減装置が用いられている。【選択図】  図３
2007093630.tif 000002
【特許請求の範囲】
【請求項１】
複数のマイクロホンを備えたマイクロホンアレーと、マイクロホンアレーによって得られる複数のマイクロホン信号から、目的の音声信号が強調された信号を生成する適応ビームフォーマと、適応ビームフォーマの出力信号上の雑音を抑圧する雑音低減装置とを備えており、
適応ビームフォーマとして、固定ビームフォーマ、適応ブロッキング行列および適応外乱キャンセラを備え、固定ビームフォーマおよび適応外乱キャンセラが入力信号のＳＮＲに応じて適応制御されるロバスト一般化サイドローブ・キャンセラが用いられており、
雑音低減装置として、ＧＭＭに基づくウイナーフィルタを用いて、雑音を抑圧する単一チャンネル雑音低減装置が用いられていることを特徴とする音声強調装置。
【請求項２】
雑音低減装置は、
適応ビームフォーマから送られてくる入力音声信号に対してフレーム毎にメルフィルタバンク分析を行なうことにより、入力音声信号に対応する対数メルスペクトルを求める第１手段、
第１手段によって得られた、入力音声信号に対応する対数メルスペクトルのフレーム番号が所定値以上であるか否かを判別する第２手段、
第１手段によって得られた、入力音声信号に対応する対数メルスペクトルのフレーム番号が所定値未満である場合には、第１手段によって得られた、入力音声信号に対応する対数メルスペクトルに基づいて、雑音に対応する対数メルスペクトルを推定するための処理を行なった後、第１手段による次のフレーム処理に移行させる第３手段、
第１手段によって得られた、入力音声信号に対応する対数メルスペクトルのフレーム番号が所定値以上である場合には、第３手段によって得られた雑音に対応する対数メルスペクトルとＧＭＭとを用いることにより、ＧＭＭの要素分布毎にウイナーフィルタを設計した後、得られた複数のウイナーフィルタを加重平均する第４手段、ならびに
第４手段によって得られた、加重平均されたウイナーフィルタをインパルス応答に変換し、得られたインパルス応答を入力音声信号に畳み込むことによって推定クリーン音声信号を得た後、第１手段による次のフレーム処理に移行させる第５手段、
を備えていることを特徴とする請求項１に記載の音声強調装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音声強調装置に関する。
【背景技術】
【０００２】
近年、ラップトップ・パソコン、ゲーム機、携帯情報端末（ＰＤＡ）、携帯電話等のモバイル・プラットホームへのマイクロホンアレーの一体化に対し、関心が高まっている。数十年の研究の後でも、特に、急速に増大するインターネット電話や音声制御の用途への需要があるため、このようなプラットホーム上のマイクロホンアレー技術は、未開拓の能力を備えている（文献〔１〕参照) 。
【０００３】
文献〔１〕：M.S.Brandstein and D.B.Ward, Eds.,Microphone Arrays: Signal Processing Techniques and Applications, Springer,Berlin, 2001.
【０００４】
このようなプラットホーム上のマイクロホンアレーは、ハンズフリー通信システムにとっては随意と思われるとしても、雑音にロバストな自動音声認識にとっては大変効果的である。しかしながら、このような用途に対する主要な諸問題の１つは、雑音の種類、雑音レベル、残響時間、話者の頭を基準としたモバイル・プラットフォームの動きなどの音響条件の高変動性である。
【特許文献１】特開２００４−１１２７０１号公報
【特許文献２】特開平１１−５２９８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
この発明は、音響条件が変動する環境下においても、目的音声のみを高精度に抽出できる音声強調装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明は、複数のマイクロホンを備えたマイクロホンアレーと、マイクロホンアレーによって得られる複数のマイクロホン信号から、目的の音声信号が強調された信号を生成する適応ビームフォーマと、適応ビームフォーマの出力信号上の雑音を抑圧する雑音低減装置とを備えており、適応ビームフォーマとして、固定ビームフォーマ、適応ブロッキング行列および適応外乱キャンセラを備え、固定ビームフォーマおよび適応外乱キャンセラが入力信号のＳＮＲに応じて適応制御されるロバスト一般化サイドローブ・キャンセラが用いられており、雑音低減装置として、ＧＭＭに基づくウイナーフィルタを用いて、雑音を抑圧する単一チャンネル雑音低減装置が用いられていることを特徴とする。
【０００７】
請求項２に記載の発明は、請求項１に記載の発明において、雑音低減装置は、適応ビームフォーマから送られてくる入力音声信号に対してフレーム毎にメルフィルタバンク分析を行なうことにより、入力音声信号に対応する対数メルスペクトルを求める第１手段、第１手段によって得られた、入力音声信号に対応する対数メルスペクトルのフレーム番号が所定値以上であるか否かを判別する第２手段、第１手段によって得られた、入力音声信号に対応する対数メルスペクトルのフレーム番号が所定値未満である場合には、第１手段によって得られた、入力音声信号に対応する対数メルスペクトルに基づいて、雑音に対応する対数メルスペクトルを推定するための処理を行なった後、第１手段による次のフレーム処理に移行させる第３手段、第１手段によって得られた、入力音声信号に対応する対数メルスペクトルのフレーム番号が所定値以上である場合には、第３手段によって得られた雑音に対応する対数メルスペクトルとＧＭＭとを用いることにより、ＧＭＭの要素分布毎にウイナーフィルタを設計した後、得られた複数のウイナーフィルタを加重平均する第４手段、ならびに第４手段によって得られた、加重平均されたウイナーフィルタをインパルス応答に変換し、得られたインパルス応答を入力音声信号に畳み込むことによって推定クリーン音声信号を得た後、第１手段による次のフレーム処理に移行させる第５手段を備えていることを特徴とする。
【発明の効果】
【０００８】
この発明によれば、音響条件が変動する環境下においても、目的音声のみを高精度に抽出できるようになる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照して、この発明の実施例について説明する。
【実施例１】
【００１０】
〔１〕マイクロホンアレー
【００１１】
図１は、携帯情報端末（ＰＤＡ）にマイクロホンアレーユニットが取り付けられた状態を示している。
【００１２】
図１において、１はマイクロホンアレーユニットであり、２は携帯情報端末（小型ＰＣ）である。なお、２１は、携帯情報端末２の前面に設けられた表示部である。この明細書においては、携帯情報端末２の背面側から前面側に向かう方向を前方ということにする。      
【００１３】
マイクロホンアレーユニット１は、矩形板上の基部１００と、基部１００の上端部に前方突出状に設けられた横長の第１マイクロホン保持部１０１と、基部１００の右端部に前方突出状に設けられた縦長の第２マイクロホン保持部１０２とを備えている。
【００１４】
マイクロホンアレーユニット１の基部１００上に携帯情報端末２が載置された状態で、携帯端末２にマイクロホンアレーユニット１が取り付けられている。携帯情報端末２にマイクロホンアレーユニット１が取り付けられた状態では、携帯情報端末２の上端面に沿って第１マイクロホン保持部１０１が配置され、携帯情報端末２の右側面に沿って第２マイクロホン保持部１０２が配置されている。マイクロホンアレーユニット１と携帯情報端末２とは、ＵＳＢ接続されている。
【００１５】
図２は、マイクロホンアレーユニット１におけるマイクロホンの配置形態を示している。
【００１６】
この例では、マイクロホンアレーユニット１には８個のマイクロホンＭ１〜Ｍ８が設けられている。マイクロホンＭ５は、第１マイクロホン保持部１０１と第２マイクロホン保持部１０２の接続部に設けられている。マイクロホンＭ１〜Ｍ４は第１マイクロホン保持部１０１に設けられ、マイクロホンＭ６〜Ｍ８は第２マイクロホン保持部１０２に設けられている。
【００１７】
マイクロホンＭ１〜Ｍ５は、等間隔Ｄ１をおいて横方向に並んで前向きに配置されている。マイクロホンＭ５〜Ｍ８は、等間隔Ｄ２をおいて縦方向に並んで前向きに配置されている。間隔Ｄ１はこの例では、２ｃｍに設定されており、間隔Ｄ２はこの例では、４ｃｍに設定されている。各マイクロホンＭ１〜Ｍ８としては、無指向性コンデンサマイクロホンが用いられている。
【００１８】
〔２〕音声認識システム
【００１９】
図３は、音声認識システムの構成を示している。
【００２０】
音声認識システムは、マイクロホンアレーユニット１が装着された携帯情報端末（ＰＤＡ）２と、携帯情報端末２と無線ＬＡＮによって接続される音声認識装置３とからなる。      
【００２１】
マイクロホンアレーユニット１内には、各マイクロホンＭ１〜Ｍ８によって受音された音声信号をデジタル信号に変換するためのマルチチャンネルＡ／Ｄ変換器１１を備えている。マイクロホンアレーユニット１内のマルチチャンネルＡ／Ｄ変換器１１によって得られたマルチチャンネル音声信号ｘ１（ｔ）〜ｘ８（ｔ）は、携帯情報端末２を介して、無線ＬＡＮにより、音声認識装置３に送信される。
【００２２】
音声認識装置３は、適応ビームフォーマ３１、単一チャンネル雑音低減装置３２および音声認識部３３を備えている。
【００２３】
適応ビームフォーマ３１としては、適応ブロッキング行列（文献〔４〕、特許文献２参照）を用いたロバスト一般化サイドローブ・キャンセラ（ＲＧＳＣ：robust generalized sidelobe canceller)（文献〔２〕，〔３〕参照））が用いられている。このＧＳＣは、雑音を高度に抑制しながら話者の動きや残響による信号の削除に対して高いロバスト性が得られるよう設計されている。
【００２４】
文献〔２〕：W.Herbordt,H.Buchner,S.Nakamura, and W.Kellermann,"Application of a double-talk resilient DFT-domain adaptive filter for bin-wise stepsize controls to adaptive beamforming," Proc.IEEE-EURASIP Workshop on Nonlinear Signal and Image Processing, May 2005.
文献〔３〕：W.Herbordt, H.Buchner, S.Nakamura, and W.Kellermann,"Outlier-robust DFT-domain adaptive filtering for bin-wise stepsize controls, and its application to a generalized sidelobe canceller," Proc.Int. Workshop on Acoustic, Echo, and Noise Control, Septemnber 2005．
文献〔４〕：O.Hoshuyama, A. Sugiyama, and A. Hirano, "A robust adaptive beamformer for microphone arrays with a blocking matrix using constrained adaptive filters," IEEE Trans. on Signal Processing , vol. 47, no. 10, pp. 2677-2684, October 1999. 
【００２５】
単一チャンネル雑音低減装置３２は、適応ビームフォーマ３１と従続接続され、適応ビームフォーマ３１の出力上の残留ノイズを除去する。この雑音低減装置３２は、クリーンな音声の混合正規分布モデル（ＧＭＭ：Gaussian mixture model) （文献〔５〕，〔６〕参照）を用いたメル対数スペクトル・エネルギー係数の最小平均２乗誤差（ＭＭＳＥ: minimum mean-squared error) ）推定器を基盤にしている。
【００２６】
文献〔５〕：J.C.Segura, A. de la Torre, M.C.Benitez, and A.M. Peinado,"Model-based compensation of the additive noise for continuous speech recognition. experiments using AURORA II database and tasks,"Proc. Eurospeech, vol. l,pp.221-224, September 2001. 
【００２７】
文献〔６〕：M.Fujimoto and Y. Ariki,"Combination of temporal domain svd based speech enhancement and gmm based speech estimation for ASR in noise-evaluation on the AURORA2 tasks,"Proc. Eurospeech, pp.1781-1784, September 2003.
【００２８】
単一チャンネル雑音低減装置３２によって雑音が低減された音声信号は、音声認識部３３に送られ、音声認識が行なわれる。音声認識部３３としては、例えば、本出願人が開発したバージョン３．３のＡＴＲＡＳＲ大語彙音声認識システムのような公知の音声認識システムが用いられる。
【００２９】
本願発明の特徴は、ロバスト一般化サイドローブ・キャンセラからなる適応ビームフォーマ３１と、ＧＭＭに基づくウイナーフィルタを用いて雑音を抑圧する単一チャンネル雑音低減装置３２とを組み合わせた点にある。上記適応ビームフォーマ３１では比較的周波数の高い雑音を効果的に除去できるが周波数の低い雑音が残る。上記単一チャンネル雑音低減装置３２は、周波数の低い雑音を効果的に除去できる。したがって、これらを組み合わせることにより、広範囲の周波数帯の雑音を除去できる。
【００３０】
〔３〕適応ビームフォーマについての説明
【００３１】
図４は、適応ビームフォーマ３１の構成を示している。
【００３２】
適応ビームフォーマ３１は、固定ビームフォーマ４１、適応ブロッキング行列４２、適応外乱キャンセラ４３および適応制御部４４を備えている。
【００３３】
〔３−１〕固定ビームフォーマ
固定ビームフォーマ４１には、携帯情報端末２から送られてくるマルチチャンネル音声信号（各マイクロホンＭ１〜Ｍ８の信号ｘ１（ｔ）〜ｘ８（ｔ））が入力する。固定ビームフォーマ４１は、マルチチャンネル音声信号ｘ１（ｔ）〜ｘ８（ｔ）から、目的の音声信号が強調され、目的音声信号以外の信号が減衰された信号を生成する。
【００３４】
固定ビームフォーマ４１は、携帯情報端末２から送られてくるマルチチャンネル音声信号ｘ１（ｔ）〜ｘ８（ｔ）に基づいて目的方向を推定し、この推定結果を用いて目的の音声信号を得る。この方向推定処理としては、例えば、特許文献１に開示された方法を使用することができる。特許文献１では、正三角形の頂点に配置された３つのマイクロホンの信号に基づいて方向推定を行なっている。この３つのマイクロホンの信号として、例えば、Ｍ３、Ｍ５、Ｍ６の信号ｘ３（ｔ），ｘ５（ｔ），ｘ６（ｔ）を用いることが可能である。
【００３５】
推定された目的方向を用いて目的の音声信号を得る方法としては、例えば、遅延和ビームフォーマ方式が用いられる。つまり、各マイクロホンによって受音された信号それぞれに遅延を付加して目的信号を同相化した後、これらを加算する。各マイクロホンに付加する遅延量は、推定された目的方向に基づいてそれぞれ求められる。
【００３６】
〔３−２〕適応ブロッキング行列
適応ブロッキング行列４２は、適応信号処理によって目的の音声信号が減衰され、目的音声信号以外の信号が強調された信号を生成する。
【００３７】
携帯情報端末２から送られてくるマルチチャンネル音声信号ｘ１（ｔ）〜ｘ８（ｔ）は、それぞれ減算器５１〜５８に送られる。一方、固定ビームフォーマ４１の出力信号は、適応フィルタ６１〜６８に送られる。各適応フィルタ６１〜６８の出力信号は、対応する減算器５１〜５８に送られる。各減算器５１〜５８は、対応するマイクロホンの信号ｘ１（ｔ）〜ｘ８（ｔ）から対応する適応フィルタ６１〜６８の出力信号を減算する。各減算器５１〜５８の出力信号は、適応外乱キャンセラ４３に送られるとともに、各適応フィルタ６１〜６８のフィルタ係数更新のために対応する適応フィルタ６１〜６８に送られる。      
【００３８】
各適応フィルタ６１〜６８では、対応する減算器５１〜５８の出力信号電力が最小化されるように、フィルタ係数の更新を行なう。この結果、減算器５１〜５８の出力信号は、目的信号が減衰された信号となる。なお、後述するように、各適応フィルタ６１〜６８は適応制御部４４によって制御される。
【００３９】
〔３−３〕適応外乱キャンセラ
適応外乱キャンセラ４３は、固定ビームフォーマ４１の出力信号から、適応ブロッキング行列４２の出力信号群に相関がある成分を除去する。適応ブロッキング行列４２の出力信号は、多チャンネル適応フィルタ７１に送られる。多チャンネル適応フィルタ７１の出力（多チャンネル適応フィルタを構成する各適応フィルタの出力の総和）は減算器７２に送られる。この減算器７２には、固定ビームフォーマ４１の出力信号が送られている。減算器７２は、固定ビームフォーマ４１の出力信号から多チャンネル適応フィルタ７１の出力信号を減算する。減算器７２の出力信号ｚ（ｔ）は、適応ビームフォーマ３１の出力信号として単一チャンネル雑音低減装置３２に送られるとともに、多チャンネル適応フィルタ７１のフィルタ係数更新のために多チャンネル適応フィルタ７１に送られる。
【００４０】
多チャンネル適応フィルタ７１では、減算器７２の出力信号電力が最小化されるように、フィルタ係数の更新を行なう。この結果、減算器７２の出力信号は、目的信号以外の信号（干渉信号および雑音信号）が大きく減衰された信号となる。なお、後述するように、多チャンネル適応フィルタ７１は適応制御部４４によって制御される。
【００４１】
〔３−４〕適応制御部
上記文献〔４〕で指摘されているように、ブロッキング行列４２は、ＳＮＲ（信号対雑音比）が高いときに適応させるべきである。つまり、ＳＮＲが高いときにブロッキング行列４２内の各適応フィルタ６１〜６８の係数の更新を行なうべきである。一方、適応外乱キャンセラ４３は、ＳＮＲが低いときに適応させるべきである。つまり、ＳＮＲが低いときに適応外乱キャンセラ４３内の多チャンネル適応フィルタ７１の係数の更新を行なうべきである。
【００４２】
そこで、適応制御部４４は、音声のみが検出された場合にブロッキング行列４２を適応させる。また、雑音のみが検出された場合に適応外乱キャンセラ４３を適応させる。いわゆるダブルトーク中は、全ての適応を停止させる。適応制御部４４は、それぞれの周波数帯でのＤＦＴ領域において、これら３つの状態、”目的音声のみ”、”雑音のみ”および”ダブルトーク”を常時検出する。
【００４３】
図５は、適応制御部４４の構成を示している。
【００４４】
固定ビームフォーマ２０１は、上記固定ビームフォーマ４１と同様にマルチチャンネル音声信号ｘ１（ｔ）〜ｘ８（ｔ）から、目的の音声信号が強調され、目的の音声信号以外の信号が減衰された信号を生成する。
【００４５】
固定ビームフォーマ２０１の出力信号ｙ（ｔ）が目的信号の推定値とみなされるように、固定ビームフォーマ２０１は雑音と比較して目的信号を高める。マルチチャンネル音声信号ｘ１（ｔ）〜ｘ８（ｔ）は、それぞれ減算器２１１〜２１８に送られる。これらの減算器２１１〜２１８には、固定ビームフォーマ２０１の出力信号ｙ（ｔ）が送られる。
【００４６】
各減算器２１１〜２１８は、対応する音声信号ｘ１（ｔ）〜ｘ８（ｔ）から目的信号の推定値ｙ（ｔ）を減算することにより、雑音の推定値ｃ１（ｔ）〜ｃ８（ｔ）を算出する。
【００４７】
固定ビームフォーマ２０１の出力信号ｙ（ｔ）は、離散フーリエ変換器（ＤＦＴ：Discrete Fourier Transformer) ２２０によってＤＦＴ領域に変換され、ＰＳＤ推定器２３０によってそのパワースペクトラム密度（ＰＳＤ）が推定される。ｙ（ｔ）のＰＳＤはＳＹＹ（ｎ，ｔ）で表される。ｎ＝１…Ｎであり、ＤＦＴの周波数帯のインデックスである。ｔは時間のインデックスである。
【００４８】
各雑音の推定値ｃ１（ｔ）〜ｃ８（ｔ）は、それぞれ対応するＤＦＴ２２１〜２２８によってＤＦＴ領域に変換され、ＰＳＤ推定器２３１〜２３８によってそのパワースペクトラム密度（ＰＳＤｓ）が推定される。ｃ１（ｔ）…ｃ８（ｔ）のパワースペクトラム密度（ＰＳＤｓ）は、加算器２３９において平均化される。平均化されたパワースペクトラム密度はＳｃｃ（ｎ，ｔ）で表される。
【００４９】
ＳＹＹ（ｎ，ｔ）とＳｃｃ（ｎ，ｔ）とは、それぞれ、目的音声のパワースペクトラム密度の推定値および雑音のパワースペクトラム密度の推定値として、みなすことができる。除算器２４１では、Ｒ（ｎ，ｔ）＝ＳＹＹ（ｎ，ｔ）／Ｓｃｃ（ｎ，ｔ）の演算を行なう。Ｒ（ｎ，ｔ）は、マイクロホンのＳＮＲの周波数帯による推定値となる。Ｒ（ｎ，ｔ）の最大値は高いＳＮＲに対応し、Ｒ（ｎ，ｔ）の最小値は低いＳＮＲに対応している。      
【００５０】
決定ユニット２４２では、Ｒ（ｎ，ｔ）の最大値と最小値とが検出される。決定ユニット２４２は、Ｒ（ｎ，ｔ）の最大値が検出された場合には、ブロッキング行列４２のみを適応させるために、Ｄｂ（ｎ，ｔ）＝１，Ｄｉ（ｎ，ｔ）＝０とする。一方、Ｒ（ｎ，ｔ）の最小値が検出された場合には、適応外乱キャンセラ４３のみを適応させるために、Ｄｂ（ｎ，ｔ）＝０，Ｄｉ（ｎ，ｔ）＝１とする。その他の場合には、ブロッキング行列４２および適応外乱キャンセラ４３の適応を停止させるために、Ｄｂ（ｎ，ｔ）＝０，Ｄｉ（ｎ，ｔ）＝０とする。
【００５１】
〔４〕単一チャンネル雑音低減装置についての説明
【００５２】
単一チャンネル雑音低減装置３２は、ＧＭＭに基づくWienner filterを用いて雑音を抑圧するものである。以下、ＧＭＭ  に基づくWienner filterの設計法と、雑音抑圧法について説明する。
【００５３】
〔４−１〕ＧＭＭ  に基づくWienner filterの設計
まず、クリーンな音声信号をｓ（ｔ）、雑音をｎ（ｔ）とすると、雑音が重畳した音声信号ｚ（ｔ）は、次式（１）により表現される。
【００５４】
【数１】
2007093630.tif 000003
【００５５】
次に、上記式（１）に対して離散フーリエ変換（ＤＦＴ）およびメルフィルタバンク分析を適用することにより、メルスペクトルを求める。メルスペクトル上での雑音重畳音声、クリーン音声、雑音の関係は、次式（２）のように表される。
【００５６】
【数２】
2007093630.tif 000004
【００５７】
上記式（２）において、Ｚb lin （ｉ），Ｓb lin （ｉ），Ｎb lin （ｉ）は、それぞれ雑音重畳音声、クリーン音声、雑音のメルスペクトルを示しており、ｂはメルフィルタの番号を、ｉはフレーム番号を示している。
【００５８】
以上のような定義のもと、Wienner filterにより、Ｚb lin （ｉ）からＳb lin （ｉ）を推定する。Wienner filterによる推定は、次式（３）により行なわれる。
【００５９】
【数３】
2007093630.tif 000005
【００６０】
上記式（３）の右辺第２項がWienner filterであり、Wienner filterのパラメータのうち、雑音のメルスペクトルＮb lin （ｉ）は、定常的な信号であり、入力された雑音重畳音声の開始１０フレームには雑音信号のみが存在すると仮定して次式（４）により推定する。
【００６１】
【数４】
2007093630.tif 000006
【００６２】
次に、Wienner filterのパラメータＳb lin （ｉ）は、クリーン音声のメルスペクトルであり、これはフィルタ設計時には未知のパラメータである。よって、事前に正規分布を用いて、クリーン音声の確率モデルを作成しておき、正規分布の平均値μb S,lin をWienner filterのパラメータＳb lin （ｉ）として代用する。この結果、上記式（３）は次式（５）で表される。
【００６３】
【数５】
2007093630.tif 000007
【００６４】
以上はメルスペクトル上の定式化であるが、メルスペクトルは、時間変化量（ダイナミックレンジ）が大きいパラメータであるため、クリーン音声の確率モデルを作成する際のモデリングのパラメータとしては相応しくない。よって、対数関数によりダイナミックレンジを平滑化した対数メルスペクトル上でモデリングを行ない、Wienner filterの設計も同様に対数メルスペクトル上で行なう。これにより、次式（６），（７），（８）が得られる。
【００６５】
【数６】
2007093630.tif 000008
【００６６】
また、クリーン音声の確率モデルに正規分布を用いるが、単一の正規分布ではモデリングの性能が低い。そのため、次式（９）のように、複数の正規分布を有するＧＭＭによりモデリングを行なう。
【００６７】
【数７】
2007093630.tif 000009
【００６８】
上記式（９）において、Ｐk は要素分布ｋの重みであり、Ｋは要素分布の総数である。また、Ｓ（ｉ）はＳb （ｉ）を要素に持つベクトル、μk S は要素分布ｋにおける平均値μb,k S を要素に持つベクトル、Σk S は要素分布ｋにおける分散値σb,k S を要素に持つ対角行列である。
【００６９】
上記式（９）のＧＭＭを用いることにより、次式（１０）で示すように、要素分布ｋごとにWienner filterを設計することができる。
【００７０】
【数８】
2007093630.tif 000010
【００７１】
最終的に、複数設計されたWienner filterを次式（１１）の加重平均により１つのフィルタとしてまとめる。
【００７２】
【数９】
2007093630.tif 000011
【００７３】
上記式（１１）のＰk,i は加重平均に用いる重みであり、これには次式（１２）で与えられる雑音重畳音声の雑音重畳音声ＧＭＭに対する事後確率を用いる。本手法において事前に用意できるＧＭＭは、クリーン音声のＧＭＭのみであるので、次式（１３），（１４）を用いて、雑音重畳音声ＧＭＭのパラメータを近似的に生成する。
【００７４】
【数１０】
2007093630.tif 000012
【００７５】
上記式（１２）において、Ｐk はクリーン音声ＧＭＭのパラメータをそのまま使用する。また、Ｚ（ｉ）はＺb （ｉ）を要素に持つベクトル、μk Z は要素分布ｋにおける平均値μb,k Z を要素に持つベクトル、Σk Z は要素分布ｋにおける分散値σb,k Z を要素に持つ対角行列である。
【００７６】
本手法では、ＧＭＭのパラメータを用いて複数のWienner filterを設計しておき、重み付け平均により最終的なフィルタを得る。重みＰk,i は短時間フレーム毎に計算するので、本手法で得られるフィルタは時間方向に対して可変なフィルタとなる。
【００７７】
〔４−２〕Wienner filterの適用
上記式（１１）で設計されたWienner filterを雑音重畳音声に対して適用する。まず、得られるフィルタは対数メルスペクトル上で設計されているので、次式（１５）にように指数関数を用いてメルスペクトル上のフィルタに変換する。
【００７８】
【数１１】
2007093630.tif 000013
【００７９】
次に、＾Ｇb lin （ｉ）に対して逆ＤＣＴを適用して、インパルス応答に変換する。ここで、＾Ｇb lin （ｉ）はメル周波数上でのWienner filterであるので、従来の逆ＤＣＴでは時間領域のパラメータ（インパルス応答）に変換できない。よって、メル周波数を線形周波数にマッピングして変換を行なうMEL-warped  ＩＤＣＴ( 文献〔７〕参照）を用いる。これにより、次式（１６）が得られる。
【００８０】
文献〔７〕：ETSI ES 202 050 V1.1.3," Speech Processing, Transmission and Quality Aspects (STQ); Distributed Speech Recognition; Advanced Front-end Feature Extraction Algorithm; Compression Algorithms, " Nov.2003.
【００８１】
【数１２】
2007093630.tif 000014
【００８２】
上記式（１６）において、ξb,t はMEL-warped  ＩＤＣＴの係数である。
【００８３】
最終的に、得られたインパルス応答を次式（１７）のように雑音重畳音声信号ｚ（ｔ）に畳み込むことにより、推定クリーン音声信号＾ｓ（ｔ）を得る。
【００８４】
【数１３】
2007093630.tif 000015
【００８５】
〔４−３〕単一チャンネル雑音低減装置３２の処理手順
図６は、単一チャンネル雑音低減装置３２の処理手順を示している。
まず、適応ビームフォーマ３１から送られてくる雑音重畳音声信号ｚ（ｔ）に対してメルフィルタバンク分析を行ない、対数メルスペクトルＺb （ｉ）を得る（ステップＳ１）。
【００８６】
そして、ｉが１０以上であるか否かを判別する（ステップＳ２）。ｉが１０未満であれば（ｉ＜１０）、上記式（８）に基づいて雑音＾Ｎb の推定を行なう（ステップＳ３）。そして、ｉを１だけインクリメントして（ステップＳ４）、ステップＳ１に戻り、次のフレーム処理に移行する。
【００８７】
上記ステップＳ２において、ｉが１０以上であれば（ｉ≧１０）、上記式（１０）に基づいて、ＧＭＭの要素分布毎にWienner filter  Ｇb,k （μb,k S ，＾Ｎb ）を設計する（ステップＳ５）。次に、上記式（１１）〜（１４）に基づいて、重みＰk,i の計算を行なうとともに、Wienner filter  Ｇb,k （μb,k S ，＾Ｎb ）の加重平均を行なう（ステップＳ６）。次に、上記式（１５），（１６）に基づいて、加重平均されたWienner filter  ＾Ｇb （ｉ）をインパルス応答ｇ（ｔ）に変換する（ステップＳ７）。そして、上記式（１７）に基づいて、インパルス応答ｇ（ｔ）を雑音重畳音声ｚ（ｔ）に畳み込み、推定クリーン音声信号＾ｓ（ｔ）を得る（ステップＳ８）。ｉを１だけインクリメントして（ステップＳ４）、ステップＳ１に戻り、次のフレーム処理に移行する。
【００８８】
〔５〕システム評価
【００８９】
音声認識部３３として、本出願人が開発したバージョン３．３のＡＴＲＡＳＲ大語彙音声認識システムを使用した。特徴ベクトルは、１６ＫＨｚのサンプルレートで記録されたデータを１０ｍｓでフレーム・シフトする２０ｍｓのフレームから抽出した１２次元ＭＦＣＣ、１２次元ΔＭＦＣＣおよびΔ対数パワーからなる。さらにケプストラム平均減算（ＣＭＳ）を適用した。クリーンな音声の日本語性別依存音響モデルを、本出願人が作成した旅行手配業務の対話音声コーパスから５時間の音声データと、２５時間の音素出現バランスが考慮された文章の読み上げ音声とを使って学習した。ここで、ＭＤＬ−ＳＳＳアルゴリズム（文献〔８〕参照）より生成される２０８６の状態を持つ音素ＨＭＭを使用した。
【００９０】
文献〔８〕：T.Jitsuhiro, T.Matsui, and S.Nakamura," Automatic generation of non-uniform HMM topologies based on the MDL criterion," IEICE Trans. on Information and Systems, vol. E87-D, no.8, pp. 2121-2129, August 2004.
【００９１】
この音声認識システムは、多重クラス複合バイグラム言語モデル( 文献〔９〕参照）およびリスコアリングのための単語トライグラム言語モデルを使用している。言語モデルは、総計６３０万語( 文献〔１０〕参照）の、自然発話データベース（ＳＤＢ）、言語データベース（ＬＤＢ）および口語データベース（ＳＬＤＢ）で学習される。辞書サイズは、５万５千語である。
【００９２】
文献〔９〕：H.Yamamoto, S.Isogai, and Y.Sagisaka," Multi-class composite N-gram language model," Speech Communication, vol. 41, no. 2-3, pp. 369-379, October 2003. 
文献〔１０〕：T.Takezawa, T.Morimoto, and Y.Sagisaka," Speech and language databases for speech translation research in ATR," Proc. Int. Workshop on East-Asian Language Resources and Evaluation(EALREW), PP. 148-155, May 1998. 
【００９３】
雑音低減システムを試験するために、ＰＤＡマイクロホン・アレー（図１のマイクロホンアレーユニット１）と、参考として接話型マイクロホンとを用いて２つの音響環境、すなわち、ＡＴＲのデモンストレーション・ルームとカフェテリアで、小型のデータベースを記録した。２名の男性話者と２名の女性話者が各環境において、基本旅行表現コーパス（ＢＴＥＣ）テストセット−０１（文献〔１１〕参照）から１０２の発話文を読み上げた。
【００９４】
文献〔１１〕：T.Takezawa, E.Sumita, F.Sugaya, and H.Yamamoto," Towards a broad-coverage bilingual corpus for speech translation of travel conversations in the  real world," Proc. Int. Conference on Language Resources and Evaluation, vol. 1, pp. 147-152, May 2002. 
【００９５】
全ての発話者の位置は同じである。ＰＤＡ２は、見台上に置いた。話者は、見台上のＰＤＡの隣に置かれた読み上げ原稿を読むとき、頭を動かすことが許された。デモンストレーション・ルームとカフェテリアの残響時間は、それぞれ約Ｔ60＝２５０ｍｓとＴ60＝１ｓである。話者の頭とＰＤＡとの距離は、ほぼ５０ｃｍであるので、高い直接音対残響音比が得られる。デモンストレーション・ルームにおいては、数台のパソコンのファンやエアコンの騒音があった。カフェテリアでは、台所ノイズ、話し声、エアコンや冷蔵庫の騒音かあった。デモンストレーション・ルームとカフェテリアでの各話者の平均ＳＮＲを、それぞれ表１、表２に示す。
【００９６】
表１はデモンストレーション・ルームでの実験結果を示し、表２はカフェテリアでの実験結果を示している。
【００９７】
【表１】
2007093630.tif 000016
【００９８】
【表２】
2007093630.tif 000017
【００９９】
表１、２において、”Ｆ１”、”Ｆ２”は女性話者を表し、”Ｍ１”、”Ｍ２”は、男性話者を表している。話者全員の総平均は、線形領域で計算した。周波数帯域は５０Ｈｚ〜８ｋＨｚの範囲である。
【０１００】
また、表１、２において、”Close-talk" とは、接話型マイクロホンによって得られた音声信号を直接音声認識部に入力させて、音声認識を行なった場合の平均単語正解精度〔％〕を示している。”Baseline" とは、マイクロホンアレーの各マイクロホン毎に、そのマイクロホンによって得られた音声信号を直接音声認識部に入力させて音声認識を行なった場合のマイクロホン全ての平均単語正解精度〔％〕を示している。
【０１０１】
"ＭＭＳＥ" とは、マイクロホンアレーの各マイクロホン毎に、そのマイクロホンによって得られた音声信号を、ＭＭＳＥ( 単一チャンネル雑音低減装置３２) を介して音声認識部に入力させて音声認識を行なった場合のマイクロホン全ての平均単語正解精度〔％〕を示している。
【０１０２】
"ＲＧＳＣ" とは、マイクロホンアレーによって得られたマルチチャンネル音声信号をＲＧＳＣ( 適応ビームフォーマ３１）によってビームフォーミングした後に、音声認識部によって音声認識を行なった場合の単語正解精度〔％〕を示している。
【０１０３】
"ＲＧＳＣ＋ＭＭＳＥ" とは、マイクロホンアレーによって得られたマルチチャンネル音声信号をＲＧＳＣ( 適応ビームフォーマ３１）によってビームフォーミングするとともにＭＭＳＥ( 単一チャンネル雑音低減装置３２) によって雑音を低減させた後に、音声認識部によって音声認識を行なった場合の単語正解精度〔％〕を示している。ＳＮＲは線形領域で平均化される。
【０１０４】
〔５−２〕音声認識性能
【０１０５】
〔５−２−１〕デモンストレーション・ルーム
表１は、デモンストレーション・ルームでの実験結果を示している。全話者の平均ＳＮＲは、２４．９ｄＢである。接話型マイクロホンに対する全話者の平均単語正解精度（”Close-talk" の平均単語正解精度）は９６．７４％である。ＳＮＲが高く、残響時間も比較的短いので、”Baseline" の平均単語正解精度は９３．２５％である。 "ＭＭＳＥ" または "ＲＧＳＣ" は、双方とも”Baseline" に比べて１％の改善を示している。 "ＲＧＳＣ＋ＭＭＳＥ" では、単語正解精度が９５．５７％となり、接話型マイクロホンの性能に近くなっている。
【０１０６】
〔５−２−２〕カフェテリア
表２は、カフェテリアでの実験結果を示している。”Baseline" の平均単語正解精度は７９．４２％であり、カフェテリアでは雑音レベルが高く残響時間が長いため、デモンストレーション・ルームでの結果に比べて著しく低くなっている。 "ＭＭＳＥ" または "ＲＧＳＣ" では、単語正解精度はデモンストレーション・ルームと同様に改善されている。 "ＲＧＳＣ＋ＭＭＳＥ" では、接話型マイクロホンの性能に近くなっている。
【０１０７】
〔５−２−３〕可変ＳＮＲ
可変ＳＮＲ用のＡＳＲシステムの性能を研究するため、カフェテリアで記録した音声データを使用し、レベルが可変のカフェテリア雑音を追加した。雑音は、音声録音を行なった所と同じ場所で見台に置いたＰＤＡマイクロホン・アレーで別途記録した。結果を表３に示す。括弧内の値は、マイクロホン全ての単語正解精度の標準偏差である。
【０１０８】
【表３】
2007093630.tif 000018
【０１０９】
"ＭＭＳＥ" の方が、 "ＲＧＳＣ" より僅かに良好であるのがわかる。しかしながら、 "ＲＧＳＣ＋ＭＭＳＥ" は、ＲＧＳＣおよびＭＭＳＥが相互に補い合って、それぞれの単独の場合（ "ＭＭＳＥ" または "ＲＧＳＣ" ）や、”Baseline" の場合よりも、単語正解精度に対して高い改善が得られている。
【図面の簡単な説明】
【０１１０】
【図１】携帯端末にマイクロホンアレーユニットが取り付けられた状態を示す斜視図である。
【図２】マイクロホンアレーユニット１におけるマイクロホンの配置形態を示す平面図である。
【図３】音声認識システムの構成を示すブロック図である。
【図４】適応ビームフォーマ３１の構成を示すブロック図である。
【図５】適応制御部４４の構成を示すブロック図である。
【図６】単一チャンネル雑音低減装置３２の処理手順を示すフローチャートである。
【符号の説明】
【０１１１】
１  マイクロホンアレーユニット
２  携帯情報端末
３  音声認識装置
３１  適応ビームフォーマ
３２  単一チャンネル雑音低減装置
３３  音声認識部
Ｍ１〜Ｍ８  マイクロホン
【図１】
2007093630.tif 000019
【図２】
2007093630.tif 000020
【図３】
2007093630.tif 000021
【図４】
2007093630.tif 000022
【図５】
2007093630.tif 000023
【図６】
2007093630.tif 000024