JP 5070591 B2 2012.11.14(57)【特許請求の範囲】【請求項１】
雑音が発生する環境下での目的音声の観測により得られる観測信号における雑音の成分を抑圧するための雑音抑圧装置であって、前記観測信号について所定周期ごとにフレーム化された所定時間長のフレームよりそれぞれ抽出される特徴量を受け、複数のパーティクルを有するパーティクルフィルタを用いて、予め準備された、複数個の要素分布からなる、クリーン音声のための音響モデルに基づき、前記雑音を表す確率分布の推定パラメータを前記フレームごとに逐次生成するための雑音推定手段と、
前記雑音推定手段によりパラメータが推定された雑音の確率分布にしたがって、前記音10響モデルを雑音に適応化するための手段と、前記雑音に適応化された前記音響モデルと、観測信号の特徴量とを用いて、前記フレー
ムごとに前記目的音声の推定特徴量をＭＭＳＥ推定法により算出するための目的音声推定
手段とを含み、
前記複数個の要素分布は、予め複数個のクラスタに分類されており、
前記目的音声推定手段は、前記ＭＭＳＥ推定法において、クリーン音声の特徴量を推定するための、各パーティクルにおける前記雑音に適応化された前記音響モデルの各要素分
布のための重みを、前記複数個のクラスタのうち、前記観測信号の特徴量に対応する点に音響空間において最も近い代表点を持つクラスタに含まれる要素分布のみを用いて算出することを特徴とする、雑音抑圧装置。

20

(2)

JP 5070591 B2 2012.11.14【請求項２】
前記音響モデルは、前記複数個の要素分布からなるガウス混合分布である、請求項１に記載の雑音抑圧装置。
【請求項３】
前記複数個の要素分布のうちいずれか二つの要素分布の分散は互いに異なっている、請求項２に記載の雑音抑圧装置。
【請求項４】
前記複数個の要素分布は、互いに等しい分散を有する、請求項２に記載の雑音抑圧装置。
【請求項５】
前記目的音声推定手段は、前記ＭＭＳＥ推定法において、クリーン音声の特徴量を推定す10るための、各パーティクルにおける前記雑音に適応化された前記音響モデルの各要素分布のための重みを、前記複数個のクラスタのうち、前記観測信号の特徴量に対応する点に音響空間において最も近い代表点を持つ単一のクラスタに含まれる要素分布のみを用いて算出することを特徴とする、請求項１〜請求項４のいずれかに記載の雑音抑圧装置。
【請求項６】
前記複数個のクラスタに含まれる要素分布の数は互いに等しい、請求項１〜請求項５のいずれかに記載の雑音抑圧装置。
【請求項７】
前記複数個の要素分布のいずれかは、前記複数個のクラスタのうち、２個以上に属することを特徴とする、請求項６に記載の雑音抑圧装置。

20【請求項８】
前記複数個のクラスタの各々において、前記代表点は当該クラスタに属する要素分布の重心である、請求項１〜請求項７のいずれかに記載の雑音抑圧装置。
【請求項９】
コンピュータにより実行されると、当該コンピュータを請求項１〜請求項８のいずれかに記載の雑音抑圧装置として動作させる、コンピュータプログラム。
【請求項１０】
請求項１〜請求項８のいずれかに記載の雑音抑圧装置と、前記雑音抑圧装置により算出される前記目的音声の推定特徴量を受けて、前記音響モデ
ルと、認識対象言語に関する所定の言語モデルとを用いて、前記目的音声に関する音声認30

識を行なうための音声認識手段とを含む、音声認識システム。
【発明の詳細な説明】【技術分野】【０００１】
本発明は、雑音が発生する実環境下での音声認識技術に関し、特に、非定常的な雑音が発生する環境下での音声認識率を改善するための雑音抑圧装置及びそれを使用した音声認識システムに関する。
【背景技術】【０００２】

40

人間にとって容易かつ自然なヒューマンマシンインタフェースを実現するための技術として、音声認識技術が研究されている。近年では、大規模な音声・テキストデータベースと統計確率的な音声認識手法とにより、高い認識率での音声認識が実現されるようになった。今日ではさらに、人間と機械とが接する実環境下において、高速にかつ高い認識率で音声認識を実現するための応用技術開発が進められている。
【０００３】
実環境が実験室等の環境と大きく異なる点の一つに、雑音の存在がある。雑音は、無視できない音量で、絶え間なく、かつ不規則に発生し、時間の経過とともに変動する。雑音は、音声認識を行なう際の妨げとなる。雑音が発生する実環境下での音声認識率を改善す
ることは、音声認識の応用技術開発を行なう上で、早急に解決されるべき問題である。

50

(3)

JP 5070591 B2 2012.11.14【０００４】
雑音が発生する環境下での音声認識率を改善するための技術の一つに、時間の経過に対し定常的な性質を持つ雑音について、音声認識の前処理の段階で雑音を推定し抑圧する技術がある。
【０００５】
後掲の非特許文献１には、定常的な雑音の一般的な抑圧方法であるスペクトルサブトラ
クション法が開示されている。この方法では、発話の前の区間において観測された雑音の振幅スペクトルと発話中の区間における雑音の振幅スペクトルとが同じであると仮定する。そしてこの仮定に基づき、発話時に観測された音声信号の振幅スペクトルから、発話直10前に観測された雑音の振幅スペクトルを減算して、雑音を抑圧する。
【０００６】
後掲の非特許文献２には、分散型音声認識における雑音抑圧方法が開示されている。この方法では、発話直前に観測された雑音の振幅スペクトルを用いて、ウィナフィルタ理論に基づく雑音の抑圧を行なう。
【０００７】
音声認識の前処理の段階において雑音を逐次的に推定し抑圧する技術もある。後掲の非特許文献３には、逐次ＥＭ（Expectation

Maximization）アルゴリズムを適用して雑音の最尤推定値を逐次的に求める方法が開示されている。逐次ＥＭアルゴリズムを用いて逐次的に雑音を推定する方法では、雑音の時間変動に対処しつつ高精度に雑音の推定及び抑20圧を行なうことができる。
【０００８】
後掲の非特許文献４及び非特許文献５に開示された、カルマンフィルタを用いて雑音の推定値を逐次的に求める方法も一般的に用いられている。この方法では、一期先予測とフィルタリングとを交互に行なうことによって、雑音を逐次的に推定し抑圧する。
【０００９】
また、雑音環境下での音声認識率を改善するための技術として、雑音を考慮した確率モ
デルを用いて適応的に音声認識を行なう技術がある。例えば後掲の特許文献１には、パーティクルフィルタと呼ばれる逐次推定法を用いて、雑音パラメータの推定と、ＨＭＭ（Hidden

Markov

Model：隠れマルコフモデル）を構成する隠れ状態の時間的成長とを行な
30い、当該ＨＭＭに基づく音声認識を行なう音声認識システムが開示されている。
【００１０】【非特許文献１】Ｓ．Ｆ．ボル：「スペクトルサブトラクションを用いた、音声内の音響
ノイズの抑圧」、ＩＥＥＥ

Ｔｒａｎｓ．

ＡＳＳＰ、Ｖｏｌ．２７、Ｎｏ．２、１１３−１２０頁、１９７９年（S.F.Boll:

Suppression

of

h

IEEE

ASSP,

Using

Spectral

113‑120,

Subtraction,

Trans.

Acoustic
Vol.

27,

in

No.

2,

Speec
pp.

1979）

【非特許文献２】欧州電気通信標準化機構（ＥＴＳＩ：European
Standards

Noise

Institute）勧告

ＥＳ

２０２

０５０

Telecommunications

Ｖ１．１．３

音声の処理、伝送、及び品質の局面（ＳＴＱ），分配型音声認識：上級フロントエンド

特徴抽出アルゴ

リズム；圧縮アルゴリズム

V1.1.3,Spe

Distributed

Spee、２００３年１１月（ETSI

ech

Processing,TransmissionchRecognition:

Advancedion

Algorithms,

Nov.

and

Quality

Front‑end

ES

Aspects

Feature

202

050(STQ),

Extraction

Algorithm;

40

Compress

2003.）【非特許文献３】Ｍ．アフィフィ、Ｏ．シオアン：「ロバスト音声認識のための最適な忘却による逐次推定」、ＩＥＥＥ

Ｔｒａｎｓ．

−２６頁、２００４年（M.Afify,

O.Siohan:alForgetting

for

2,

No.1,

19‑26,

pp.

RobustSpeech

ＳＡＰ、Ｖｏｌ．１２、Ｎｏ．１、１９Sequential

Recognition,

Estimation

IEEE

Trans.

with

SAP,

Optim

Vol.

1

2004）

【非特許文献４】有本卓：「カルマンフィルター」、産業図書【非特許文献５】中野

道雄

監修、西山

清

著：「パソコンで解くカルマンフィルタ

50

(4)

JP 5070591 B2 2012.11.14」、丸善【非特許文献６】Ａ．Ｍ．ペイナド他、「分散音声認識のための、ＭＭＳＥによるチャネ
ル誤りの緩和」、ユーロスピーチ２００１
ション及びテクノロジーA

sed

Channel

Error

eech

2001

Scandinavia

nandTechnology),

音声コミュニケー

ヨーロッパ大会）予稿集、ｐｐ．２７０７−２７１０、２００

１年（Peinado‑M,

スカンジナビア（第７回

SanchezV,

Mitigation(7th

Segurafor

J

Europeanpp.2707‑2710,

C,

Distributed

Perez‑Cordoba
SpeechConference

on

J

L,

"MMSE‑Ba

Recognition,"
SpeechEurospCommunicatio

2001）【特許文献１】特開２００７−４１４９９号公報【発明の開示】

10【発明が解決しようとする課題】【００１１】
非特許文献１及び非特許文献２に記載の技術はいずれも、雑音が定常的なものであるという前提のもとで雑音の推定及び抑圧を行なう技術である。しかし、実環境において雑音の多くは非定常である。すなわち、雑音の音響的特徴は時間の経過に伴い変動する。そのため、非特許文献１及び非特許文献２に記載の技術では、雑音の時間変動に対応できず、高精度に雑音を抑圧することができない。
【００１２】
非特許文献３に記載の技術では、逐次ＥＭアルゴリズムが用いられている。逐次ＥＭア
ルゴリズムで雑音を推定する場合、観測された音声信号のフレーム毎に、そのフレームに20おけるパラメータが尤度関数の局所最適値に収束するまで反復計算を行なう必要がある。
そのため、雑音が変動する度に膨大な量の計算が必要となり、計算に時間を要する。よって、この手法により実時間で雑音を推定し抑圧するのは困難である。
【００１３】
非特許文献４及び非特許文献５に記載の技術では、カルマンフィルタを用いて雑音を推定する。この推定方法は、一期先予測とフィルタリングとを交互に行なう方法であり、逐次ＥＭアルゴリズムのような反復計算を必要とはしない。しかし、カルマンフィルタを用いた手法は、雑音の事後確率分布が単一正規分布であるものとして確率分布を推定する。
真の事後確率分布が混合分布であった場合には、単一正規分布で近似される。そのため、精度が劣化する。

30【００１４】
特許文献１に記載の音声認識システムでは、雑音を考慮したモデルを用いて音声認識を行なうため、音声認識の精度が高くなるという効果が得られている。しかし、パーティク
ルフィルタを用いているために計算量が大きく、計算資源の限られた装置でこのシステム
を高速に動作させるのは困難である。
【００１５】
それゆえに、本発明の目的は、非定常雑音が発生する環境下での音声認識率を改善し、かつ限られた計算資源を用いて雑音を短時間で抑圧することができる雑音抑圧装置を提供することである。
【００１６】

40本発明の他の目的は、非定常雑音が発生する環境下での音声認識率を改善し、かつ計算量を削減しながら雑音を短時間で抑圧することができる雑音抑圧装置を提供することである。
【課題を解決するための手段】【００１７】
本発明の第１の局面に係る雑音抑圧装置は、雑音が発生する環境下での目的音声の観測により得られる観測信号における雑音の成分を抑圧するための雑音抑圧装置である。この
雑音抑圧装置は、観測信号について所定周期ごとにフレーム化された所定時間長のフレー
ムよりそれぞれ抽出される特徴量を受け、複数のパーティクルを有するパーティクルフィ
ルタを用いて、予め準備された、複数個の要素分布からなる、クリーン音声のための音響

50

(5)

JP 5070591 B2 2012.11.14

モデルに基づき、雑音を表す確率分布の推定パラメータをフレームごとに逐次生成するための雑音推定手段と、雑音推定手段によりパラメータが推定された雑音の確率分布にしたがって、上記音響モデルを雑音に適応化するための手段と、雑音に適応化された音響モデ
ルと、観測信号の特徴量とを用いて、フレームごとに目的音声の推定特徴量をＭＭＳＥ（
最小平均２乗誤差：Minimum

Mean

SquareError）推定法により算出するための目的音

声推定手段とを含む。複数個の要素分布は、予め複数個のクラスタに分類されている。目的音声推定手段は、ＭＭＳＥ推定法において、各パーティクルにおける雑音に適応化された音響モデルのための重みを、複数個のクラスタのうち、観測信号の特徴量に対応する点に音響空間において最も近い代表点を持つクラスタに含まれる要素分布のみを用いて算出することを特徴とする。

10【００１８】
ＭＭＳＥ法の詳細については、非特許文献６に開示されている。
【００１９】
なお、本明細書では、雑音抑圧装置に与えられる音声（観測音声）は、雑音のない目的
音声と雑音とが重畳した音と考える。このように考えたときの目的音声を「クリーン音声」と呼ぶ。
【００２０】ＭＭＳＥ推定法においては、非定常雑音に対応するために、各パーティクルにおいて、雑音に適応化された音響モデルのための重みを算出する必要がある。従来はこの算出において、音響モデルの全ての要素分布を用いていた。これに対し本雑音抑圧装置では、予め

20

音響モデルを構成する要素分布をクラスタに分類しておき、音響モデルが雑音に適応化された後に、その代表点を定める。観測信号の特徴量が与えられると、音響空間においてその特徴量に対応する点に最も近い代表点を持つ１又は複数のクラスタが選択され、そのクラスタに含まれる混合分布のみについて、重みが算出される。他のクラスタに含まれる混合分布に対する重みを算出する必要はない。この結果、要素分布の重みを算出する、という計算量の大きな処理を一部の要素分布のみに対して行なえばよくなり、計算量が削減される。その結果、非定常雑音が発生する環境下での音声認識率を改善することが可能で、かつ限られた計算資源を用いて雑音を短時間で抑圧することができる雑音抑圧装置を提供することができる。
【００２１】

30

音響モデルは、複数個の要素分布からなるガウス混合分布でもよい。
【００２２】
ガウス混合分布を用いると、クリーン音声の特徴量が複雑な分布をしていても、それを統計的にモデル化することが容易になる。
【００２３】
複数個の要素分布のうち、いずれか二つが、互いに異なる分散を持つようにしてもよい。
【００２４】
通常、要素分布は音声サンプルに対する学習により統計的に得られるので、その分散は互いに異なることが多い。

40【００２５】
複数個の要素分布が、互いに異なる平均と、互いに等しい分散とを有するようにしてもよい。
【００２６】
このようにすると、雑音推定手段における計算において分布を考慮する必要が事実上なくなり、計算量がさらに削減される。その結果、処理をより早くすることができる。その結果、非定常雑音が発生する環境下での音声認識率を改善することが可能で、かつ限られた計算資源を用いて雑音を短時間で抑圧することができる雑音抑圧装置を提供することができる。
【００２７】50

(6)JP 5070591 B2 2012.11.14

好ましくは、目的音声推定手段は、ＭＭＳＥ推定法において、各パーティクルにおける雑音に適応化された音響モデルのための重みを、複数個のクラスタのうち、観測信号の特徴量に対応する点に音響空間において最も近い代表点を持つ単一のクラスタに含まれる要素分布のみを用いて算出することを特徴とする。
【００２８】
クラスタとして、複数のクラスタではなく単一のクラスタのみを用いる。複数のクラス
タに含まれる混合分布の重みを算出する場合と比較して、重み算出のための計算量をさらに削減できる。その結果、定常雑音が発生する環境下での音声認識率を改善し、かつ計算量を削減しながら雑音を短時間で抑圧することができる雑音抑圧装置を提供できる。
【００２９】

10

より好ましくは、複数個のクラスタに含まれる要素分布の数は互いに等しい。
【００３０】
各クラスタに含まれる要素分布の数を互いに等しくすることで、選択されたクラスタによって算出する重みの数を変化させる必要がない。その結果、重みの算出のための計算を単純化することができ、計算量をさらに削減できる。
【００３１】
さらに好ましくは、雑音抑圧装置においては、複数個の要素分布のいずれかは、複数個のクラスタのうち、２個以上に属することを特徴とする。
【００３２】
クラスタ間に重なりを許容することで、重み算出の対象となる要素分布の範囲を広く採20ることができる。その結果、定常雑音が発生する環境下での音声認識率を改善し、かつ計算量を削減しながら信頼性高く雑音を短時間で抑圧できる雑音抑圧装置を提供できる。
【００３３】
複数個のクラスタの各々において、代表点は当該クラスタに属する要素分布の重心であってもよい。
【００３４】
本発明の第２の局面に係るコンピュータプログラムは、コンピュータにより実行されると、当該コンピュータを上記したいずれかの雑音抑圧装置として動作させる。
【００３５】
本発明の第３の局面に係る音声認識システムは、上記したいずれかの雑音抑圧装置と、

30

この雑音抑圧装置により算出される目的音声の推定特徴量を受けて、目的音声に関する所
定の音響モデルと、認識対象言語に関する所定の言語モデルとを用いて、目的音声に関す
る音声認識を行なうための音声認識手段とを含む。
【発明を実施するための最良の形態】【００３６】［第１の実施の形態］
以下、図面を参照しつつ、本発明の一実施の形態について説明する。なお、以下の説明に用いる図面では、同一の部品には同一の符号を付してある。それらの名称及び機能も同一である。したがって、それらについての詳細な説明は繰返さない。以下の説明のテキス
ト中で使用する記号「＾」等は、本来はその直後の文字の直上に記載すべきものであるが40、テキスト記法の制限により当該文字の直前に記載する。式中では、これらの記号等は本来の位置に記載してある。また以下の説明のテキスト中では、ベクトル又は行列について
は多くの場合、例えば「ベクトルＸt」、「行列ΣW」等のように直前に「ベクトル」、「行列」等を付した通常のテキストの形で記載するが、式中ではいずれも太字で記載する。
【００３７】〔構成〕〈音声認識システム全体の構成〉
図１に、本実施の形態に係る音声認識システム１００全体の構成を示す。図１を参照して、この音声認識システム１００は、音源１０２が発生する音１２２から音声認識に用いる音声の特徴を表す特徴量ベクトル１２６を抽出するための前処理部１０４と、前処理部

50

(7)

JP 5070591 B2 2012.11.14

１０４に接続され、音声の特徴と音素との関係を表す確率モデル（音響モデル）を準備す
るための前処理用音響モデル部１０６と、認識対象の言語における単語の連接確率等を表す確率モデル（言語モデル）を準備するための言語モデル部１０８と、言語モデル部１０
８の言語モデル及び所定の音響モデルを用いて、前処理部１０４から出力された特徴量に対応する単語等を探索するための探索部１１０と、探索部１１０に接続され、探索部１１０による探索に用いられる音響モデルを準備するための認識用音響モデル部１０９とを含む。
【００３８】
音声認識システム１００はさらに、前処理部１０４による特徴量ベクトル１２６の抽出に用いられ、後述する状態空間モデルにおける拘束条件を定めるための係数からなる、拘10束条件パラメータ１３８を含む。
【００３９】
音源１０２は、認識されるべき音声（目的音声）１２０を発話する話者１１６と、話者
１１６の周囲で雑音１２１を発生する雑音源１１８とを含む。音源１０２が発生し前処理部１０４により収録される音１２２は、話者１１６の発話により発生する雑音のない目的
音声１２０と雑音１２１とが重畳した音となる。本明細書では、前述したように、雑音を含まない目的音声１２０を「クリーン音声」と呼ぶ。これに対して、前処理部１０４に到達し、前処理部１０４により収録される音１２２、すなわち、クリーン音声１２０と雑音
１２１とが重畳した音１２２を、「雑音重畳音声」と呼ぶ。
20【００４０】
前処理部１０４は、雑音重畳音声１２２を収録し、その結果得られる観測信号に所定の信号処理を施すことにより、観測信号に関する所定の特徴量ベクトル（以下、この特徴量ベクトルを単に「観測信号の特徴量」と呼ぶことがある。）１２４を抽出するための計測部１１２と、計測部１１２により抽出された観測信号の特徴量１２４に含まれる雑音の成分を、前処理用音響モデル部１０６により準備される音響モデルと拘束条件パラメータ１
３８とを用いて抑圧するための雑音抑圧部１１４とを含む。
【００４１】
計測部１１２は、観測信号を、フレーム間隔１０ミリ秒、時間長が数１０ミリ秒のフレームごとに対数メルフィルタバンク分析し、得られる対数メルスペクトルを要素とするベ30

クトルを観測信号の特徴量１２４として出力する。
【００４２】
雑音抑圧部１１４は、前処理用音響モデル部１０６により準備される音響モデルと拘束
条件パラメータ１３８とを用いて、観測信号の特徴量１２４を基に、クリーン音声１２０の特徴量ベクトルをフレームごとに逐次推定する機能を持つ。そしてこの逐次推定によって得られる特徴量ベクトルを、音声認識に用いる音声の特徴量ベクトル１２６として探索
部１１０に出力する。この際、まず雑音１２１の特徴量ベクトルを推定し、その結果を基にクリーン音声１２０の特徴量ベクトルを推定する。なお、本明細書では、特徴量ベクト
ル１２６によって表される音声を「推定クリーン音声」と呼ぶ。また、特徴量ベクトル１２６を「推定クリーン音声の特徴量」と呼ぶ。

40【００４３】
探索部１１０は、推定クリーン音声の特徴量１２６を用いて、認識用音響モデル部１０
９により準備された音響モデルと、言語モデル部１０８により準備された言語モデルとを基に、適合する目的言語の単語等を探索し、その結果を認識出力１２８として出力する。
【００４４】〈前処理用の音響モデル〉
以下に、前処理用音響モデル部１０６により準備される音響モデルについて説明する。
図１に示す前処理用音響モデル部１０６は、クリーン音声１２０に対する音響モデルとして、ガウス混合モデル（ＧＭＭ：Gaussian

MixtureModel）１３０を準備し保持する。

前処理用音響モデル部１０６は、予め用意されたクリーン音声１２０に関する学習データを記憶するための学習データ記憶部１３２と、学習データ記憶部１３２内の学習データを

50

(8)

JP 5070591 B2 2012.11.14

用いてＧＭＭ１３０に対する学習を行なうためのモデル学習部１３４と、モデル学習部１３４による学習で得られるＧＭＭ１３０を記憶するためのＧＭＭ記憶部１３６とを含む。
【００４５】
図２に、ＧＭＭ１３０の概念を模式的に示す。図２を参照して、ＧＭＭ１３０は、時系
列信号を、一つの定常信号源（状態）によりモデル化した確率モデルである。このＧＭＭ
１３０においては、クリーン音声１２０の特徴量ベクトルとして出力される可能性のあるベクトルと、そのベクトルが出力される確率（以下、単に「出力確率」と呼ぶ。）とが定義される。出力確率は混合正規分布１４０によって表現される。ＧＭＭ１３０における混合正規分布１４０は、複数の要素分布１４８Ａ，１４８Ｂ，…，１４８Ｋを含む。これらの要素分布１４８Ａ，１４８Ｂ，…，１４８Ｋはいずれも単一正規分布である。例えば、

10

混合正規分布１４０に含まれるある要素分布１５０をｋtとする。要素分布ｋtは、単一正規分布であり、多次元を考えると、分布の平均ベクトルμS,kt（以下単に「平均」と呼ぶ。）と共分散行列ΣS,kt（以下単に「分散」と呼ぶ。）とにより表現される。これらはいずれも予め様々な音声サンプルに基づいて統計的に学習（算出）される。この要素分布ｋt１５０にしたがった確率で出力されるパラメータのベクトルをベクトルＳkt,tとする。

以下の説明では、ＧＭＭ１３０から出力されるパラメータベクトルＳkt,tを、「（ＧＭＭ
１３０の）出力パラメータ」と呼ぶ。
【００４６】
なお、本実施の形態では、後述するように、観測音声用に適応化された後のＧＭＭ１３０を参照する際の計算量を削減するために、ＧＭＭ１３０の要素分布はクラスタ化される

20。図３にその状態を示す。
【００４７】
図３を参照して、音響空間において、ＧＭＭ１３０は要素分布の集合１６１を形成している。図３では、図を簡略にするために、要素分布を構成する要素のうち、第１フィルタ
バンク係数と第２フィルタバンク係数とからなる音響空間での要素分布の分布を示している。実際の音響空間の次元数は特徴ベクトルの次元数と同じである。
【００４８】
本実施の形態では、ＧＭＭ１３０は５１２個の要素分布を含む。図３において、要素分
布は実線の楕円で示されている。これら要素分布は、１２８個のクラスタ１６２，１６４，１６６，…にクラスタ化されている。各クラスタは６４個の要素分布を含む。したがっ30て、クラスタ１６６に属する要素分布１７０のように一つのクラスタのみに属する要素分
布もあれば、クラスタ１６２及び１６４に属する要素分布１７２のように複数のクラスタに属する要素分布もある。このように、ある要素分布が二つ以上のクラスタに属することを許容することで、後述するＭＭＳＥ推定における重み演算のときに、演算対象となる要素分布の数を多くすることができ、その結果、精度が落ちることを防止できる。
【００４９】
クラスタ化のための手法としては、例えばボトムアップクラスタリング法、Ｋ−平均法
等、既知の手法を用いることができる。クラスタリングの方法としては、要素分布間の距離の関係を保存できるものであればどのようなものでもよい。すなわち、ある要素分布ク
ラスタについて、そのクラスタに属する要素分布の重心としてそのクラスタの代表点を定40めたときに、その中心点とそのクラスタに属する要素分布との間の距離は、その中心点とそのクラスタに属さない要素分布との間の距離のいずれよりも小さい。なお、本実施の形
態では、距離としては、各要素分布の平均ベクトルの間のユークリッド距離を使用するものとする。
【００５０】〈状態空間モデル〉
以下に、状態空間モデルについて説明する。状態空間モデルは、観測信号の生成過程を表した観測方程式と、処理の対象の変化する過程（以下、この過程を「状態遷移過程」と呼ぶ。）を表した状態方程式とからなる動的モデルである。図４に状態空間モデル１６０を模式的に示す。

50

(9)JP 5070591 B2 2012.11.14【００５１】
時刻ｔのフレーム（以下、単に「第ｔフレーム」と呼ぶ。）における観測信号の特徴量
１２４（図１参照）をＸtとする。観測信号の特徴量Ｘtは、上記のとおり雑音重畳音声１２２から得られる対数メルスペクトルを要素に持つベクトルである。この観測信号の特徴
量Ｘtは、クリーン音声１２０と雑音１２１とが重畳した音の対数メルスペクトルを要素に持つ。ここに、第ｔフレームにおけるクリーン音声１２０の対数メルスペクトルを要素に持つベクトルをクリーン音声の特徴量ベクトルＳtとする。また、雑音１２１の対数メ
ルスペクトルを要素に持つベクトルを雑音の特徴量ベクトルＮtとする。ベクトルＸt、Ｓt、及びＮtの次元数は同一である。なお、以下に説明する処理はこれらベクトル及び行列の要素についてそれぞれ行なわれるが、以下の説明では、簡単のために各要素を特に区別10

して言及することはしない。
【００５２】
まず、状態空間モデル１６０における観測信号の生成過程について説明する。観測信号の特徴量Ｘtは、計測によって得られる既知のベクトルである。これに対し、クリーン音
声の特徴量ベクトルＳtと雑音の特徴量ベクトルＮtとはいずれも、計測によっては得ることのできない未知のベクトルである。
【００５３】
ここで、クリーン音声１２０の出力過程がＧＭＭでモデル化できるものと仮定する。すなわち、第ｔフレームにおけるクリーン音声の特徴量ベクトルＳtが、ＧＭＭ１３０内のある要素分布ｋt１５０（図２参照）にしたがって出力される出力パラメータベクトルＳk

20t,tにより表現されるものと仮定する。ただし、クリーン音声の特徴量ベクトルＳtと出力

パラメータベクトルＳkt,tとの間には誤差が存在する。この誤差もまたベクトルである。
この誤差を誤差ベクトルＶtとする。誤差ベクトルＶtは、次の式に示すように、平均が０で分散がΣS,ktの単一正規分布で表現される確率分布にしたがう値を要素に持つものとする。
【００５４】【数１】

ただし、この式においてΣS,ktはＧＭＭ１３０内のある要素分布ｋt１５０より得られる30

パラメータの共分散行列を表し、記号「〜」は左辺の値が右辺に示される確率分布にしたがうことを示す。すなわち、左辺の値が右辺に示す確率分布にしたがったサンプリングにより推定できることを示す。また、この式において、「Ｎ（μ，Σ）」は、平均がμで分散がΣの単一正規分布を表す。
【００５５】
上記の仮定に基づき、観測信号の特徴量Ｘt１２４の生成過程は、雑音の特徴量ベクト
ルＮt、ＧＭＭ１３０からの出力パラメータベクトルＳkt,t、及び誤差ベクトルＶtを用いて、次の式（１）に示す観測方程式により表現されるものとする。
【００５６】【数２】

40

なお、式（１）でＩは単位ベクトルを表す。また、ベクトルの対数、ベクトルの指数演算はそれぞれ、ベクトルの各要素について対数をとり、又は指数計算し、その結果を成分とするベクトルを表すものとする。
【００５７】
次に、状態空間モデル１６０における処理対象の状態遷移過程について述べる。状態空間モデル１６０においては、雑音の特徴量ベクトルＮtが処理の対象になる。ここで、雑

50

(10)

JP 5070591 B2 2012.11.14

音の特徴量ベクトルＮtがランダムウォーク過程にしたがって変化するものと仮定する。
すなわち、第ｔ−１フレームにおける雑音の特徴量ベクトルＮt‑1が第ｔフレームにおける雑音の特徴量ベクトルＮtとの間に、ランダムな変化が生じるものと仮定する。このランダムな変化を表すベクトルをランダムガウス雑音ベクトルＷtとする。ランダムガウス
雑音ベクトルＷtは、平均が０で分散がΣwの単一正規分布で表現される確率分布にしたがう値を要素に持つランダムガウス雑音であるものとする。
【００５８】【数３】
10
ただし、この式においてΣWは、ランダムガウス雑音ベクトルＷtの共分散行列を表す。
【００５９】
上記の仮定に基づき雑音の特徴量ベクトルＮtの状態遷移過程を表現する状態方程式を定義すると、状態方程式は、次の式（２）のようになる。
【００６０】【数４】

しかし、ランダムウォーク過程に基づく上記の仮定では、雑音の特徴量ベクトルＮtの変化をランダムガウス雑音ベクトルＷtで規定している。そのため、式（２）に示す状態方

20

程式では、雑音の特徴量ベクトルＮtの時間変化を正確に表現することはできない。そこ
で、本実施の形態では、図１に示す拘束条件パラメータ１３８を用いて、雑音の特徴量ベ
クトルＮtの変化に対し、拘束条件を設ける。拘束条件及びそのための拘束条件パラメー
タ１３８の詳細については、後述する。
【００６１】〈雑音抑圧部１１４の構成〉
図５に、雑音抑圧部１１４（図１参照）の構成をブロック図で示す。図５を参照して、
雑音抑圧部１１４は、観測信号の特徴量Ｘt１２４、ＧＭＭ１３０、及び拘束条件パラメータ１３８を用いて、雑音の特徴量ベクトルＮtの出力される確率を表す確率分布（以下、「雑音確率分布」と呼ぶ。）をフレームごとに逐次的に推定し、雑音確率分布を表すパ30

ラメータ（以下、このパラメータを「雑音確率分布の推定パラメータ」と呼ぶ。）を生成するための雑音確率分布推定部２００を含む。雑音抑圧部１１４はさらに、雑音確率分布
推定部２００により出力された雑音確率分布の推定パラメータ２０６及びＧＭＭ１３０を基に、観測信号の特徴量Ｘt１２４の出力される確率を表す確率分布（以下、「観測信号分布」と呼ぶ。）を推定し、観測信号確率分布を表すパラメータ２０８（以下、このパラメータを「観測信号分布のパラメータ」と呼ぶ。）を生成するための観測信号分布推定部
２０２と、雑音確率分布の推定パラメータ２０６、観測信号分布のパラメータ２０８、及びＧＭＭ１３０を基に、推定クリーン音声の特徴量１２６を生成するためのクリーン音声
推定部２０４とを含む。
【００６２】
雑音確率分布推定部２００は、雑音確率分布をフレームごとに逐次推定し、雑音確率分
布の推定パラメータ２０６を出力する機能を持つ。ここに、観測信号の特徴量Ｘ0，…，
Ｘtからなるベクトルの系列を系列Ｘ0:t＝｛Ｘ0，…，Ｘt｝とし、雑音の特徴量ベクトル
Ｎ0，…，Ｎtからなるベクトルの系列を系列Ｎ0:t＝｛Ｎ0，…，Ｎt｝とする。観測信号
ベクトルの系列Ｘ0:tが与えられた時の系列Ｎ0:tの事後確率分布ｐ（Ｎ0:t｜Ｘ0:t）は、
１次マルコフ連鎖を用いて、次の式（３）のように表される。
【００６３】40

(11)JP 5070591 B2 2012.11.14【数５】【００６４】
したがって雑音の特徴量ベクトルＮtの確率分布を逐次推定する問題は、観測信号ベク
トルの系列Ｘ0:tが与えられた時の事後確率ｐ（Ｎ0:t｜Ｘ0:t）を最大にするような系列
Ｎ0:tを推定する問題に帰着する。雑音確率分布推定部２００は、観測信号の特徴量Ｘt１
２４と、ＧＭＭ１３０と、状態空間モデル１６０と、雑音の状態遷移に関する上記の拘束

10

条件パラメータ１３８とに基づきこの推定を行なう。その際、雑音確率分布推定部２００
は、パーティクルフィルタと呼ばれる手法を用いる。この推定法は、ある状態空間モデル
により表現される状態空間内に、局限された状態空間（パーティクル）を多数生成して各パーティクルにおいてパラメータの確率分布を推定し、そして各パーティクルを用いて、状態空間内におけるパラメータの確率分布を近似的に表現する手法である。
【００６５】
観測信号分布推定部２０２は、観測信号分布のパラメータ２０８として、各パーティク
ルにおける観測信号分布の平均ベクトル及び共分散行列を算出する機能を持つ。観測信号
分布のパラメータ２０８の算出には、例えば、ＶＴＳ（Vector

TaylorSeries）法と呼ばれるＨＭＭ合成法が用いられる。

20【００６６】
クリーン音声推定部２０４は、フレームごとに、各パーティクルにおけるクリーン音声のパラメータを推定し、推定クリーン音声の特徴量１２６を、それら推定されたパラメー
タの重み付き和によって算出する機能を持つ。推定クリーン音声の特徴量１２６の算出には、例えば、ＭＭＳＥ推定法が用いられる。クリーン音声推定部２０４はさらに、雑音確率分布推定部２００に、次のフレームへの移行に関する要求２１０を発行する機能を持つ。
【００６７】〈パーティクルフィルタ〉
以下に、パーティクルフィルタについて説明する。この手法では、多数のパーティクル

30

における初期的なパラメータを、ランダムなサンプリングにより、又は当該パラメータの初期的な状態を表す確率分布からのサンプリングにより決定する。そして、以下の処理をフレームごとに行なう。すなわち、あるフレームに対応して各パーティクルにおいてパラメータが決定されると、まず、各パーティクルのパラメータを当該フレームに後続するフレームに対応するものに更新する。続いて、更新の尤度に応じて各パーティクルに対して重みを付与する。続いて、更新後のパーティクルにおけるパラメータの確率分布にしたがい、当該後続のフレームに対応する各パーティクルのパラメータを再サンプリングする。
続いて、再サンプリングされたパラメータを基に、当該後続のフレームに対応する各パー
ティクルのパラメータを決定する。以上の処理をフレームごとに行なうことにより、逐次的に各パーティクルにおけるパラメータを決定する。
【００６８】
パーティクルフィルタにおいて、状態空間モデル１６０におけるパラメータはそれぞれ、パーティクルにおけるパラメータの重み付き和によって近似的に表現される。ここに、パーティクルの数をＪ個とし、第ｔフレームでの、ｊ（１≦ｊ≦Ｊ）番目のパーティクル
における雑音の特徴量ベクトルをベクトルＮt(j)とする。さらに、第ｔフレームにおけるｊ番目のパーティクルに対する重みをｗt(j)とする。式（３）に示す事後確率分布ｐ（Ｎ0:t｜Ｘ0:t）は、次の式（４）に示すモンテカルロサンプリングにより近似的に表現される。
【００６９】40

(12)JP 5070591 B2 2012.11.14【数６】

なお、この式においてδ（）は、Dirac‑delta関数を表す。

10【００７０】
ｊ番目のパーティクルにおける雑音の特徴量ベクトルの系列Ｎ0:t(j)を出力する確率分
布をｑ（Ｎ0:t(j)｜Ｘ0:t）とすると、パーティクルに対する重みｗt(j)は、次の式（５）により与えられる。
【００７１】【数７】20
確率分布ｑ（Ｎ0:t(j)｜Ｘ0:t）は、次の式（６）に示す連鎖モデルで表現されるものとする。
【００７２】【数８】

また、上記の式（３）の事後確率分布ｐ（Ｎ0:t｜Ｘ0:t）は、ベイズ則により次の式（７）のように表現できる。
【００７３】

30【数９】

したがって、式（５）、式（６）、及び式（７）より、パーティクルに対する重みｗt(j)は、式（８）によって与えられることになる。
【００７４】【数１０】

ここで、ｐ（Ｎt(j)｜Ｎt‑1(j)）＝ｑ（Ｎt(j)｜Ｎ0:t‑1(j)，Ｘ0:t）と仮定すると、式（８）より、式（９）が得られる。
【００７５】40

(13)JP 5070591 B2 2012.11.14【数１１】

式（９）のｐ（Ｘt｜Ｎt(j)）は、次の式（１０）に示す確率密度関数によりモデル化される。
【００７６】【数１２】
10【００７７】
雑音確率分布推定部２００は、雑音確率分布の推定パラメータ２０６として、パーティ
クルｊ（１≦ｊ≦Ｊ）ごとに、パーティクルにおける雑音の特徴量ベクトルＮt(j)に関する式（４）における確率密度関数ｐ（Ｎ0:t(j)｜Ｘ0:t）のパラメータと、そのパーティ
クルに対する重みｗt(j)とを、図４に示す状態空間モデル１６０に基づいて逐次的に算出する。確率密度関数ｐ（Ｎ0:t(j)｜Ｘ0:t）のパラメータは、そのパーティクルにおける雑音の特徴量ベクトルＮt(j)の平均ベクトル＾Ｎt(j)と共分散行列ΣNt(j)とを含む。以下、確率密度関数ｐ（Ｎ0:t｜Ｘ0:t）の平均ベクトル＾Ｎt(j)と共分散行列ΣNt(j)とを

20、「（ｊ番目の）パーティクルにおける雑音のパラメータ」と呼ぶ。
【００７８】〈状態遷移過程に対する拘束条件〉
上記のとおり、式（２）に示す状態方程式では、雑音の特徴量ベクトルＮtの時間変化を正確に表現することはできない。そこで、本実施の形態では、各パーティクルにおける雑音の特徴量ベクトルＮt(j)（１≦ｊ≦Ｊ）の変化に対し、次の式（１１）に示す状態方程式を導入する。
【００７９】【数１３】30

この状態方程式（１１）において第１項と第２項とは、第ｔ＋１フレームにおけるパーテ
ィクルの散らばりを抑制するための拘束条件である。以下この拘束条件を第１の拘束条件と呼ぶ。また、状態方程式（１１）において第３項は、ｊ番目のパーティクルにおける雑音の特徴量ベクトルの時間推移に対する拘束条件である。以下、この拘束条件を第２の拘束条件と呼ぶ。
【００８０】
状態方程式（１１）においてαは忘却係数であり、βは第２の拘束条件に対するスケー
リング係数である。

40【００８１】
第１の拘束条件において、ベクトル＾Ｎtは、第ｔフレームの各パーティクルにおける雑音の特徴量ベクトルＮt(1)，…，Ｎt(J)の加重平均であり、次の式（１２）により与えられる。
【００８２】
【数１４】

50

(14)

JP 5070591 B2 2012.11.14

すなわち、第１の拘束条件により、各パーティクルにおける雑音の特徴量ベクトルは、加重平均ベクトル＾Ｎtに近づくよう補正される。
【００８３】
第２の拘束条件において、ベクトルμNt(j)は、ｊ番目のパーティクルにおける過去Ｔ
フレーム分の雑音の特徴量ベクトルＮt‑T+1(j)，…，Ｎt(j)の平均（Polyak

Average）

であり、次の式（１３）により与えられる。
【００８４】【数１５】10

すなわち、第２の拘束条件により、パーティクルにおける雑音の特徴量ベクトルにそれぞれ、そのパーティクルにおけるPolyak

AverageベクトルμNt(j)がフィードバックされる。本実施の形態では、式（１１）に示す状態方程式の忘却係数α及び第２の拘束条件に対するスケーリング係数βと、式（１３）におけるフレーム数Ｔとが、図１に示す拘束条件
パラメータ１３８として与えられる。
【００８５】
雑音確率分布推定部２００は、観測方程式（１）と上記の状態方程式（１１）とにより20表される状態空間モデルに基づくパーティクルフィルタを用いて、雑音確率分布の逐次推定を行なう。
【００８６】〈雑音確率分布推定部２００の構成〉
図６に、雑音確率分布推定部２００の構成をブロック図で示す。図６を参照して、雑音確率分布推定部２００は、クリーン音声推定部２０４からの要求２１０を受けて、観測信号の特徴量１２４から処理対象となるフレームを選択し、当該フレームに対応する観測信号の特徴量１２４をフレームに応じた出力先に与えるためのフレーム選択部２２０を含む。
【００８７】

30

雑音確率分布推定部２００はさらに、フレーム選択部２２０から観測信号の特徴量１２
４を受けて、初期的な状態における雑音を表す確率分布（以下、「雑音初期分布」と呼ぶ。）を推定し、多数（Ｊ個）のパーティクルについて、ｔ＝０のフレーム（以下、このフレームを「初期フレーム」と呼ぶ。）における雑音確率分布の推定パラメータ２０６を決定するための雑音初期分布推定部２２２と、フレーム選択部２２０から観測信号の特徴量
１２４を受け、各パーティクルについて、ｔ（ｔ≧１）番目のフレームにおける雑音確率分布の推定パラメータ２０６を、逐次的に算出するための逐次計算部２２４とを含む。
【００８８】
フレーム選択部２２０は、要求２１０が与えられる度に、処理対象のフレームを順次選択する。フレーム選択部２２０は、処理対象として初期フレームを選択すると、観測信号

40の特徴量Ｘt１２４のうち最初の所定フレーム分（例えば１０フレーム分）を、雑音初期分布推定部２２２に与える。またフレーム選択部２２０は、処理対象としてその他（ｔ≧１）のフレームを選択すると、そのフレームにおける観測信号の特徴量Ｘt１２４を逐次計算部２２４に与える。
【００８９】
雑音初期分布推定部２２２は、雑音初期分布のパラメータを、以下のようにして推定する。
【００９０】
すなわち、雑音初期分布推定部２２２は、雑音初期分布が、単一正規分布であるものとみなして、雑音初期分布を推定する。雑音の初期値ベクトルをベクトルＮ0とし、雑音初

50

(15)

JP 5070591 B2 2012.11.14期分布をｐ（Ｎ0）とする。雑音初期分布ｐ（Ｎ0）における平均ベクトルをμNとし、共分散行列を行列ΣNとすると、雑音初期分布ｐ（Ｎ0）は次の式（１４）のように表される。
【００９１】【数１６】

雑音初期分布推定部２２２は、最初の所定フレーム分の区間の観測信号の特徴量Ｘt１２
４が雑音１２１の成分のみからなるものとみなし、式（１４）に示す雑音初期分布ｐ（Ｎ0）の平均ベクトルμNと共分散行列ΣNとを推定する。例えば、０≦ｔ≦９の１０フレー

10ム分の区間が雑音１２１の成分のみからなる区間に該当する場合、雑音初期分布推定部２
２２は、平均ベクトルμNと共分散行列ΣNとをそれぞれ、次の式（１５）と式（１６）とによって算出する。ただし、式（１６）においてベクトルの右肩に付した「Ｔ」は転置を表す。
【００９２】【数１７】

20

そして雑音初期分布推定部２２２は、初期フレーム（ｔ＝０）でのｊ番目のパーティクル
における雑音のパラメータであるベクトルＮ0(j)と共分散行列ΣN0(j)とを、それぞれ、
式（１７）及び式（１８）のように設定する。
【００９３】【数１８】30すなわち、雑音初期分布推定部２２２は、ｊ番目のパーティクルにおける雑音の特徴量ベ
クトルＮ0(j)を、初期分布ｐ（Ｎ0）からのサンプリングによって生成し、共分散行列ΣN(j)を、初期分布ｐ（Ｎ0）の共分散行列ΣNに設定する。雑音初期分布推定部２２２は、0

式（１７）と式（１８）とに示す設定をパーティクルｊ（１≦ｊ≦Ｊ）ごとに行なう。
【００９４】

40

逐次計算部２２４は、ＧＭＭ１３０から出力パラメータ２４０をサンプリングするためのＧＭＭサンプリング部２２６を含む。逐次計算部２２４はさらに、観測信号の特徴量１２４を受けて、各パーティクルにおける雑音のパラメータを更新するための更新部２３０と、更新後のパーティクルに対する重みを算出するための重み算出部２３２と、算出された重みに基づき、パーティクルにおける雑音のパラメータを再サンプリングするための再サンプリング部２３４と、再サンプリングされた各パーティクル及び第ｔ−１フレームにおける各パーティクルに基づき、各パーティクルにおける雑音のパラメータを決定し、雑音確率分布の推定パラメータ２０６を生成するための推定パラメータ生成部２３６とを含む。
【００９５】50

(16)JP 5070591 B2 2012.11.14

ＧＭＭサンプリング部２２６は、パーティクルｊ（１≦ｊ≦Ｊ）ごとに、ＧＭＭ１３０（図２参照）内の混合分布１４０から、パーティクルに対応する要素分布ｋt(j)を、その混合重みに基づいてサンプリングする。ＧＭＭサンプリング部２２６はさらに、出力パラメータベクトルＳ(j)kt(j),tを、要素分布ｋt(j)からサンプリングして、更新部２３０に与える。ここにＧＭＭ１３０における要素分布１４８Ａ，…，１４８Ｋの混合重みをＰS,(j)ktとすると、要素分布ｋtは、混合重みＰS,ktを出力確率とする確率分布にしたがう。

すなわち、ＧＭＭ１３０から次の式（１９）に示すサンプリングによって得られる。
【００９６】【数１９】10

要素分布ｋt(j)の平均ベクトルをベクトルμkt(j)とし、要素分布ｋt(j)の共分散行列を行列ΣS,kt(j)とすると、ｊ番目のパーティクルにおけるＧＭＭ１３０の出力パラメータベクトルＳ(j)kt(j),tは、要素分布ｋt(j)から、次の式（２０）に示すサンプリングによって得られる。
【００９７】【数２０】20
なお、フレーム選択部２２０はさらに、ＧＭＭサンプリング部２２６に対し、第ｔフレー
ムにおけるＧＭＭの出力パラメータのサンプリングを要求する機能を持つ。
【００９８】
更新部２３０は、上記の観測方程式（１）及び状態方程式（１１）からなる動的モデル
を状態空間モデルとする拡張カルマンフィルタによって、第ｔ−１フレームに対応する各
パーティクルにおける雑音のパラメータを、第ｔフレームに対応するものに更新する機能を持つ。この際、拘束条件パラメータ１３８と、状態空間モデル１６０（図４）と、ＧＭ
Ｍサンプリング部２２６によりサンプリングされた出力パラメータＳ(j)kt(j),tとを基にパラメータの更新を行なう。なお、拡張カルマンフィルタは、観測方程式（１）に示すよ30

うに非線形項を含む状態空間モデルに対応したカルマンフィルタである。
【００９９】
図７に、更新部２３０の構成をブロック図で示す。図７を参照して、更新部２３０は、
第ｔ−１フレームの雑音確率分布の推定パラメータ２０６を基に、第ｔ−１フレームについて、状態方程式（１１）の上記した第１の拘束条件に係る加重平均ベクトル＾Ｎt‑1を
上記の式（１２）を用いて算出するための加重平均算出部２５０を含む。
【０１００】
更新部２３０はさらに、第ｔ−１フレーム以前の各フレームについて、各パーティクル
における雑音のパラメータを、パーティクルごとに蓄積するためのバッファメモリ部２５２と、バッファメモリ部２５２に蓄積された雑音のパラメータ及び拘束条件パラメータ１

40

３８により定められるフレーム数Ｔを基に、各パーティクルについて、第ｔ−１フレームにおける、上記の式（１３）に示すＴフレーム分のPolyak

AverageベクトルμNt‑1(j)を算出するためのPolyak

AverageベクトルμNt‑1(j)とAverage算出部２５４と、Polyak

第ｔ−１フレームにおける雑音確率分布の推定パラメータ２０６とを基に、状態方程式（
１１）の第２の拘束条件におけるフィードバック分に対応するベクトルを算出するための、フィードバック部２５６とを含む。フィードバック部２５６は、Polyak(j)

トルμNt‑1

Averageベクと第ｔ−１フレームにおける平均ベクトル＾Ｎt‑1(j)との差分μNt‑1(j)−

(j)

＾Ｎt‑1

を算出する。

【０１０１】
更新部２３０はさらに、観測方程式（１）と状態方程式（１１）とからなるモデルを状

50

(17)

JP 5070591 B2 2012.11.14

態空間モデルとする拡張カルマンフィルタを用いて、第ｔ−１フレームに対応するパーテ
ィクルにおける雑音のパラメータを、第ｔフレームに対応するものに更新するための拡張
カルマンフィルタ部２５８とを含む。拡張カルマンフィルタ部２５８は、ｊ番目のパーティクルにおける雑音のパラメータの更新に、第ｔフレームにおける観測信号の特徴量Ｘt
１２４と、ｊ番目のパーティクルにおけるＧＭＭ１３０（図２参照）の出力パラメータベ
クトルＳ(j)kt(j),tと、拘束条件パラメータ１３８として与えられる忘却係数α及びスケーリング係数βと、加重平均ベクトル＾Ｎt‑1と、差分μNt‑1(j)−＾Ｎt‑1(j)とを用いる。
【０１０２】
本実施の形態における拡張カルマンフィルタの分布更新式を、以下の式（２１）〜式（

10

２６）に示す。なお、これらの数式において第ｔ−１フレームに対応するパラメータから予測される第ｔフレームにおけるパラメータについては添え字として「t￨t‑1」を付してある。
【０１０３】
【数２１】

20

30

ただし、行列ΣWは、前述したとおり、第ｔ−１フレームから第ｔフレームへの状態変化の際に雑音の特徴量ベクトルＮtに生じるランダムガウス雑音ベクトルＷt‑1の共分散行列を表す。
【０１０４】
再び図６を参照して、重み算出部２３２は、第ｔフレームでの観測信号の特徴量ベクト
ルＸt１２４と、第ｔフレームの各パーティクルにおけるＧＭＭ１３０の出力パラメータ40

ベクトルＳ(j)kt(j),tと、当該フレームの当該パーティクルにおける雑音のパラメータである平均ベクトル＾Ｎt(j)及び共分散行列ΣNt(j)と、第ｔ−１フレームのパーティクル
に対する重みｗt‑1(j)とを基に、上記の式（９）及び式（１０）に示す算出方法を用いて、第ｔフレームのパーティクルに対する重みｗt(j)を算出する機能を持つ。なお、重みｗ(j)t（１≦ｊ≦Ｊ）は、Σj=1〜Jｗt(j)＝１となるように正規化される。

【０１０５】
再サンプリング部２３４は、パラメータが更新されたパーティクルにおける雑音の確率分布にしたがい、第ｔフレームに対応する各パーティクルにおける雑音のパラメータを再サンプリングする機能を持つ。この際、再サンプリング部２３４は、微小な重みｗt(j)しか与えられていないパーティクルにおける雑音の確率分布からは、雑音のパラメータの再

50

(18)

JP 5070591 B2 2012.11.14

サンプリングを行なわない。一方、大きな重みｗt(j)が与えられているパーティクルにおける確率分布からは、重みｗt(j)の大きさに応じた回数再サンプリングを行ない、得られた雑音のパラメータをそれぞれ、当該再サンプリングの回数と同数のパーティクルに割当てる。ただし再サンプリングの全回数及びパーティクルの全数は一定（Ｊ）である。このようにするのは、各パーティクルに割当てられる重みが、上記の式（９）から分かるように観測信号の特徴量Ｘt１２４の尤度に対応しているからである。
【０１０６】
推定パラメータ生成部２３６は、マルコフ連鎖モンテカルロ法のMetropolis‑Hastings
アルゴリズムにより、第ｔフレームに対応するパーティクルを再生成する機能を持つ。図８に、推定パラメータ生成部２３６の構成をブロック図で示す。図８を参照して、推定パ10

ラメータ生成部２３６は、第ｔ−１フレームに対応する各パーティクルにおける雑音のパラメータを、第ｔフレームに対応するものに再更新するための再更新部２６２を含む。再更新部２６２は、再サンプリング部２３４による再サンプリングで得られた各パーティク
ルにおける雑音のパラメータを用いて、状態空間モデル１６０における雑音確率分布を生成する。そして、当該生成した確率分布と拘束条件パラメータ１３８とに基づき、図７に示す更新部２３０と同様の手法を用いて、上記の式（２１）〜式（２６）に示す分布更新式により表される拡張カルマンフィルタによって、各パーティクルにおける雑音のパラメ
ータの再更新を行なう。
【０１０７】
推定パラメータ生成部２３６はさらに、再更新されたパーティクルに対する重み（これ

20

*(j)

を以下「ｗt」とする。）を上記の式（９）及び式（１０）に示す算出方法を用いて算出するための重み再計算部２６４を含む。
【０１０８】
推定パラメータ生成部２３６はさらに、再サンプリングされたパーティクルに対する重みｗt(j)及び再更新されたパーティクルに対する重みｗt*(j)から、再更新された雑音のパラメータを許容するか否かの判定に用いる許容確率νを算出するための許容確率算出部
２６６と、所定の乱数発生方法により０から１までの閉区間内の乱数ｕを発生させるための乱数発生部２６８と、許容確率νと乱数ｕとに基づき、第ｔフレームに対応するパーテ
ィクルにおけるパラメータとして、再サンプリングされたパーティクルにおける雑音のパラメータと、再更新されたパーティクルにおける雑音のパラメータとの一方を選択するた

30

めのパラメータ選択部２７０とを含む。
【０１０９】
許容確率算出部２６６は、重みｗt(j)及び重みｗt*(j)から次の式（２７）にしたがって、許容確率νを算出する機能を持つ。
【０１１０】【数２２】

パラメータ選択部２７０は、乱数ｕが許容確率ν以下であれば、当該パーティクルにお40ける雑音のパラメータ及びその重みを再更新で得られた新たなパラメータ及びその重みに変更する機能を持つ。
【０１１１】〈コンピュータによる実現〉
以下の説明からも明らかなように、図１に示す音声認識システム１００の前処理部１０
４、前処理用音響モデル部１０６、及び探索部１１０は、いずれもコンピュータハードウ
ェアと、その上で実行されるプログラムと、コンピュータハードウェアに格納されたデータとにより実現可能である。図９に、前処理部１０４（図１参照）に含まれる雑音抑圧部
１１４が行なう雑音抑圧処理を実現するコンピュータプログラムの制御構造をフローチャートで示す。

50

(19)JP 5070591 B2 2012.11.14【０１１２】
図９を参照して、雑音抑圧処理が開始されると、ステップ２８２において、初期状態における雑音の特徴量Ｎ0の各要素の値に対応する初期分布を推定する。すなわち、上記の式（１５）及び式（１６）に示す算出方法により、式（４）に示す雑音初期分布ｐ（Ｎ0）のパラメータである平均ベクトルμN及び共分散行列ΣNを算出する。さらに、式（１７）及び式（１８）にしたがい雑音初期分布ｐ（Ｎ0）からベクトルＮ0(j)（ｊ＝１，…，
Ｊ）をサンプリングし、初期フレームの各パーティクルにおける雑音のパラメータを推定する。
【０１１３】
ステップ２８４では、雑音抑圧の対象となるフレームを次のフレームに移行させる。以10下の説明では、移行後のフレームが第ｔフレームであるものとする。ステップ２８６では、パーティクルフィルタを用いて、処理対象のフレームについて、各パーティクルにおける雑音のパラメータを推定する。すなわち、確率密度関数ｐ（Ｎ0:t(j)｜Ｘ0:t）のパラメータである平均ベクトル＾Ｎt(j)及び共分散行列ΣNt(j)を推定し、さらに、各パーテ
ィクルに対する重みｗt(j)を定めて、雑音確率分布の推定パラメータ２０６を生成する。
このステップでの処理については、図１２を用いて後述する。
【０１１４】
ステップ２８８では、観測信号分布のパラメータ２０８を推定する。すなわち、ステッ
プ２８６で定めた各パーティクルの雑音のパラメータ＾Ｎt(j)、及びΣNt(j)を用いて、各パーティクルにおける観測信号の特徴量Ｘt１２４の確率分布を推定する。さらに、Ｇ20

ＭＭ１３０を構成する要素分布ｋ（１≦ｋ≦Ｋ）ごとに、パーティクルにおける観測信号の特徴量Ｘt１２４の確率分布の平均ベクトルμXkt(j),tと、共分散行列ΣXk,t(j)とを算出する。
【０１１５】
図１０を参照して、この処理により、クリーン音声ＧＭＭを構成する要素分布の集合１６１内の各要素分布が、音響空間内で背景雑音の予測量に応じて移動されることで、観測音声のために適応化された新たな要素分布の集合３００が得られたことになる。
【０１１６】
この後、ＭＭＳＥ推定法により、第ｔフレームにおける推定クリーン音声の特徴量１２６を算出する。すなわちまず、ステップ２８６及びステップ２８８の処理で得られたパラ30

メータを用いて、ＭＭＳＥ推定法によって、ＭＭＳＥ推定値ベクトル＾Ｓtを算出し、推定クリーン音声の特徴量１２６（図１参照）として出力する。
【０１１７】【数２３】

40

この式において、Ｐ（ｋ｜Ｘt，（ｊ））は、ｊ番目のパーティクルにおける、ＧＭＭ１
３０内の要素分布ｋに対する混合重みを表す。混合重みＰ（ｋ｜Ｘt，（ｊ））は、特許
文献１では、次の数式により算出されている。
【０１１８】

(20)

JP 5070591 B2 2012.11.14【数２４】

しかしこの処理には非常に大きな計算量が伴う。しかも、要素の分布Ｋ＝５１２、フレーム間隔１０ミリ秒のレートという設定で音声認識処理を行なう場合には、この計算を毎秒１００回、合計５１２×１００回行なう必要がある。これでは、計算コストが高く、計10算機の性能が高い場合はともかく、計算資源の乏しい装置では実現がむずかしい。
【０１１９】
そこで、本実施の形態では、ＧＭＭ１３０を予めクラスタ化しておき、このクラスタを用いて次のような一種の近似処理を行なうことにより、この処理を高速化する。
【０１２０】
まず、ステップ２９０において、図１１に示すように、ＧＭＭ１３０を構成する、雑音による適応化後の各クラスタ１６２Ａ，１６４Ａ，１６６Ａ，…内の要素分布の平均ベク
トルの音響空間内における位置（ステップ２８８で算出される）に基づき、各クラスタの代表点３０２，３０４，３０６，…を算出する。代表点としては、前述したとおり、クラスタに属する要素分布の重心を採用する。

20【０１２１】
ステップ２９２において、上記した観測信号の特徴量Ｘt１２４と、ステップ２９０で算出された１２８個の要素分布クラスタの代表点と、観測信号の特徴量Ｘt１２４に対応する音響空間内の点との間の距離を算出する。特徴量Ｘt１２４の音響空間における位置に最も近い代表点を持つクラスタをクラスタＣＬとして選択する。クラスタＣＬに含まれる６４個の要素分布のみを用い、以下の式（３２）にしたがい、混合重みＰ（ｋ｜Ｘt，（ｊ））（ただし要素分布（ｋ）∈ＣＬ）が算出される。他の要素分布については無視する。
【０１２２】【数２５】30

すなわち、５１２個の要素分布の内、６４個のみをＰ（ｋ｜Ｘt,(j)）の算出に使用する。この場合の式（３２）による計算量は、こうした方式を使用しない場合の６４／５１
２＝１／８となる。各クラスタの代表点（１２８個）と観測信号の特徴量Ｘt１２４との間の距離を算出する必要があるため、実際には必要な計算量は目安として（６４＋１２８40）＝１９２となるが、それでもこうした方式を使用しない場合と比較して計算量は１９２／５１２＝３／８となる。その結果、計算量が格段に削減され、音声認識処理が高速化できる。又は、計算機の性能が低くなっても同等の性能を維持することができる。
【０１２３】
なお、高速化という目的を達成するためには、ＧＭＭ１３０を構成する要素分布の数をＣＭ、クラスタの数をＮＶ、クラスタ内の要素分布の数をＮＤとして、ＣＭ＞ＮＶ＋ＮＤが成立する必要がある。
【０１２４】
このようにして算出された混合重みを用い、ステップ２９４において、ＭＭＳＥ推定法
によって、式（２８）〜式（３０）にしたがってＭＭＳＥ推定値ベクトル＾Ｓtを算出し

50

(21)

JP 5070591 B2 2012.11.14、推定クリーン音声の特徴量１２６（図１参照）として出力する。
【０１２５】
続いて、ステップ２９６では、終了判定を行なう。すなわち第ｔフレームが最終のフレームであれば雑音抑圧処理を終了する。さもなければステップ２８４に戻る。
【０１２６】
図１２に、ステップ２８６（図９参照）において行なわれる雑音確率分布の推定パラメータ２０６の生成処理を実現するプログラムの制御構造をフローチャートで示す。図１２を参照して、雑音確率分布の推定パラメータの生成処理が開始されると、ステップ３２０
において、拡張カルマンフィルタによる更新を行なう際の雑音１２１の状態遷移過程に対する第１及び第２の拘束条件に係るパラメータベクトルを算出する。すなわち、第ｔ−１

10

フレームのパーティクルでの雑音のパラメータの加重平均ベクトル＾Ｎt‑1を式（１２）を用いて算出する。そして、パーティクルの各々において、過去Ｔフレーム分の当該パー
AverageベクトルμNt‑1(j)を算出し、平ティクルにおける雑音のパラメータからPolyak(j)

均ベクトル＾Ｎt‑1(j)−＾Ｎt‑1(j)を算出する。

との差分μNt‑1【０１２７】
ステップ３２２では、式（２１）〜式（２６）に示す拡張カルマンフィルタを用いて、
第ｔ−１フレームのパーティクルにおける雑音確率分布から、第ｔフレームの各パーティ
クルにおける雑音のパラメータを推定する。
【０１２８】
ステップ３２４では、第ｔフレームの各パーティクルに対する重みｗt(j)を、式（９）

20

(j)

及び式（１０）によって算出する。そして、重みｗtを正規化する。ステップ３２６で(j)は、各パーティクルに対する重みｗtを基に、各パーティクルからの再サンプリングの回数を決定し、当該パーティクルにおける雑音確率分布に基づいてパラメータを再サンプ
リングする。ステップ３２８では、Metropolis‑Hastingsアルゴリズムを用いて第ｔフレームのパーティクルを再生成する。
【０１２９】
図１３にステップ３２８（図１２参照）における処理の詳細をフローチャートで示す。
図１３を参照して、ステップ３２８における処理が開始されると、ステップ３４０において、図１２に示すステップ３２０と同様に、加重平均ベクトル＾Ｎt‑1を、式（１２）に示す算出方法で算出する。そして、パーティクルの各々において、過去Ｔフレーム分の当該パーティクルにおける雑音のパラメータからPolyak(j)

し、平均ベクトル＾Ｎt‑1との差分μNt‑1

(j)

30

(j)

AverageベクトルμNt‑1

を算出

(j)

−＾Ｎt‑1を算出する。

【０１３０】
続くステップ３４２では、ステップ３２６（図１２参照）での再サンプリングで得られた各パーティクルにおける雑音パラメータにより表現される雑音確率分布を用いて、式（
２１）〜式（２６）に示す拡張カルマンフィルタにより、各パーティクルにおける雑音のパラメータの再更新を行なう。すなわち、第ｔフレームのパーティクルを新たに準備し、ステップ３２２（図１２参照）での処理と同様の処理により、第ｔ−１フレームのパーテ
ィクルに対応するパラメータから、第ｔフレームのパーティクルに対応するパラメータへの再更新を行ない、準備したパーティクルのパラメータに設定する。ステップ３４４では

40

*(j)

、ステップ３４２で準備したパーティクルに対する重みｗtを、図１２に示すステップ３２４の処理と同様の処理で算出し正規化する。
【０１３１】
ステップ３４６では、ステップ３２４の処理で算出された重みｗt(j)と、ステップ３４４で算出された重みｗt*(j)との比較により、ステップ３４２で準備されたパーティクルの許容確率νを定める。ステップ３４８では、区間［０，１］の値からなる一様な集合Ｕ[0,1]の中から任意の値を選択することにより乱数ｕを発生する。ステップ３５０では、

ステップ３４８で発生した乱数ｕの値と、ステップ３４６で定めた許容確率νの値とを比較する。ｕが許容確率の値以下であれば、ステップ３５２へ進む。さもなければステップ
３５４に進む。ステップ３５２では、ステップ３４２で準備されたパーティクルを許容す

50

(22)

JP 5070591 B2 2012.11.14

る。すなわち、ステップ３２６での再サンプリングで得られたパラメータを、準備されたパーティクルのパラメータで置換して処理を終了する。ステップ３５４では、ステップ３
４２で準備されたパーティクルを棄却する。すなわち、準備されたパーティクル及びそのパラメータを棄却し、処理を終了する。
【０１３２】〔動作〕
本実施の形態に係る音声認識システム１００は以下のように動作する。
【０１３３】
まず、図６に示す雑音確率分布推定部２００が、初期フレーム（ｔ＝０）における雑音
確率分布の推定パラメータ２０６を生成する動作について説明する。図１に示す計測部１

10

１２が、音源１０２から雑音重畳音声１２２を受け、観測信号の特徴量Ｘt１２４を抽出する。抽出された特徴量Ｘt１２４は、雑音抑圧部１１４の図６に示す雑音確率分布推定部２００に与えられる。図６を参照して、雑音確率分布推定部２００のフレーム選択部２
２０は、特徴量Ｘt１２４のうち最初の１０フレーム分を、雑音初期分布推定部２２２に与える。雑音初期分布推定部２２２は、上記の式（１４）〜式（１６）に示す処理により雑音初期分布ｐ（Ｎ0）を推定する。さらに、雑音初期分布ｐ（Ｎ0）から、上記の式（１７）及び式（１８）に示すサンプリングをＪ回行なう。このサンプリングによって、各パーティクルにおける雑音の初期的なパラメータであるベクトルＮ0(j)及び共分散行列ΣN0(j)が決定される。雑音確率分布推定部２００は、これらのパラメータを、初期フレーム
20における雑音確率分布の推定パラメータ２０６として出力する。
【０１３４】
次に、雑音確率分布推定部２００の逐次推定部２２４が、第ｔフレーム（ｔ≧１）における雑音確率分布の推定パラメータ２０６を生成する動作について説明する。図６を参照
して、次のフレームの処理の開始要求２１０に応答して、フレーム選択部２２０は、ＧＭ
Ｍサンプリング部２２６に、第ｔフレームにおけるＧＭＭの出力パラメータのサンプリン
グを要求するとともに、観測信号の特徴量Ｘt１２４を更新部２３０に与える。
【０１３５】
ＧＭＭサンプリング部２２６は、ＧＭＭ１３０から、出力パラメータベクトルＳ(j)kt(
j),tのサンプリングを行なう。例えば、ｊ番目のパーティクルにおいて、ＧＭＭサンプリ

ング部２２６が、図２に示すＧＭＭ１３０内の混合正規分布１４０の中から、混合重みに(j)

したがった確率で要素分布ｋt

30

(j)

のサンプリングを行なう。その結果、要素分布ｋtとして、要素分布１５０がサンプリングされたものとする。ＧＭＭサンプリング部２２６はさらに、要素分布ｋt(j)により表される出力確率の分布にしたがい、出力パラメータベク
トルＳ(j)kt(j),tをサンプリングする。ＧＭＭサンプリング部２２６は、総数Ｊの各パー
ティクルにおける出力パラメータベクトルＳ(j)kt(j),tをそれぞれ、以上の手順でサンプ
リングし、図６に示す更新部２３０に与える。
【０１３６】
図１４に、逐次計算部２２４によるパラメータの更新、及び再サンプリングの概要を模式的に示す。図１４においては、ある雑音のパラメータが左右方向に分布し、時間が上から下に進行する。また、図１４においては、パーティクルを白抜きの丸印と黒塗りの丸印

40

(j)

とによって模式的に示す。例えば、白抜きの丸印で示すパーティクルが重みｗtの値の微小なパーティクルであり、黒塗りの丸印で示すパーティクルが重みｗt(j)の値の大きなパーティクルであるものとする。
【０１３７】
図１４を参照して、第ｔ−１フレームに対応するパーティクルにより状態空間４２０が近似的に表現されているものとする。更新部２３０は、以下のようにして、状態空間４２０内の各パーティクルにおける雑音のパラメータを、第ｔフレームに対応する状態空間４３０内の各パーティクルにおける雑音のパラメータに更新する。
【０１３８】
まず、図７に示す更新部２３０の拡張カルマンフィルタ部２５８は、第ｔ−１フレーム

50

(23)

JP 5070591 B2 2012.11.14の各パーティクルにおける推定確率分布の推定パラメータ２０６を取得する。取得された推定確率分布の推定パラメータ２０６は、加重平均算出部２５０、バッファメモリ２５２、及びフィードバック部２５６に与えられる。なお、この時点で、バッファメモリ２５２には、少なくとも第ｔ−１フレーム以前のＴフレーム分について、推定確率分布の推定パ
ラメータ２０６が格納されている。
【０１３９】
図７に示す加重平均算出部２５０は、推定確率分布の推定パラメータ２０６が与えられると、式（１２）に示す加重平均ベクトル＾Ｎt‑1を算出する。この加重平均ベクトル＾
Ｎt‑1に基づき、式（１１）に示す状態方程式における第１の拘束条件を導入して、雑音の平均ベクトルを補正すると、補正後の雑音確率分布における雑音のパラメータは、補正

10前の平均ベクトル＾Ｎt‑1(j)より、加重平均ベクトル＾Ｎt‑1に近づく。したがって、パーティクルの散らばりが抑制される。
【０１４０】
新たな推定確率分布の推定パラメータ２０６がバッファメモリ部２５２に蓄積されると、Polyak

Average算出部２５４は、バッファメモリ部２５２に蓄積されているＴフレー

ム分の推定確率分布のパラメータ２０６を用いて、各パーティクルにおける式（１３）にAverageベクトルμNt(j)を算出する。算出したPolyak

示すPolyakAverageベクトルμN

(j)
t‑1

は、フィードバック部２５６に与えられる。フィードバック部２５６は、各パーテ
AverageベクトルμNt‑1(j)と、平均ベクトル＾Ｎt‑1(j)との差ィクルにおいて、Polyak(j)

分μNt‑1(j)−＾Ｎt‑1を算出する。なお、バッファメモリ部２５２に推定確率分布の推定パラメータ２０６がＴフレーム分蓄積されていない場合、Polyak

20

Average算出部２

５４は、バッファメモリ部２５２に蓄積されているだけのフレーム分の雑音確率分布の推定パラメータ２０６を用いて、Polyak

AverageベクトルμNt(j)を算出する。

【０１４１】
図１５に、Polyak

Average及びフィードバックの概念を模式的に示す。図１５（Ａ）
AverageベクトルμNt(j)及び（Ｂ）はいずれも、ｊ番目のパーティクルにおけるPolyakとそのパーティクルに対応する雑音の特徴量ベクトルＮt‑4(j)，…，Ｎt+1(j)との関係を表している。なお、図１５（Ａ）は、雑音の特徴量ベクトルの時間遷移が緩やかである場合を示し、図１５（Ｂ）は、時間遷移が激しい場合を示す。これらの図において、時間は左から右に進行し、雑音の特徴量は上下方向に変化する。図１５（Ａ）及び図（Ｂ）においては、第ｔフレームにおけるPolyak

30

(j)

AverageベクトルμNt

を、白抜きの丸印で示す。なお、この図に示すPolyak(j)AverageベクトルμNtにおいては、Ｔ＝５フレーム分であるものとする。
【０１４２】
図１５（Ａ）を参照して、第ｔ−１フレームにおける雑音の特徴量Ｎt‑1(j)と、Polyak
AverageベクトルμNt(j)との間には、差分μNt(j)−Ｎt(j)が生じる。図１５（Ｂ）に示すような時間遷移の激しい場合においても同様に、雑音の特徴量Ｎt(j)と、Polyak(j)erageベクトルμNt(j)との間には、差分μNt

Av

−Ｎt

(j)

が生じる。図１５（Ａ）における雑音の特徴量ベクトルＮt‑4(j)，…，Ｎt(j)の変動に比べて、図１５（Ｂ）における雑音の特徴量ベクトルＮt‑4(j)，…，Ｎt(j)の変動は大きい。すなわち図１５（Ａ）におけ(j)

る雑音の特徴量ベクトルＮt‑4

40

(j)

，…，Ｎt

同士の差異は、図１５（Ｂ）における当該それらの差異より小さい。
【０１４３】
AverageベクトルμNt(j)は、Ｎt‑4(j)，…，Ｎt(j)の平均である。そのため、PolyakPolyakAverageベクトルμNt(j)のとり得る範囲は、Ｎt‑4(j)，…，Ｎt(j)の最小から最大までの範囲である。したがって、図１５（Ａ）に示すように、これらの特徴量ベクトル同士の差異が小さければ、その分Polyak(j)

くなる。差分μNt‑1

AverageベクトルμNt‑1(j)のとり得る範囲は狭

−Ｎt‑1

(j)

の変動幅は自ずから小さくなる。これに対して、図１５（Ｂ）に示すように雑音の特徴量ベクトル同士の差異が大きければ、その分Polyak
erageベクトルμNt(j)のとり得る範囲は広くなる。差分μNt

(j)

−Ｎt

(j)

Av

の変動幅も自ず50

(24)JP 5070591 B2 2012.11.14

から大きくなる。すなわち、差分μNt(j)−Ｎt(j)は、過去Ｔフレーム分の雑音の変化を反映する。この差分に基づき、次のフレームにおける雑音の特徴量ベクトルＮt+1(j)を予測すると、過去Ｔフレーム分の雑音の変化が反映された特徴量ベクトルが得られる。
【０１４４】
拡張カルマンフィルタ部２５８（図７参照）は、加重平均ベクトル＾Ｎt‑1と、差分ベ
クトルμNt‑1(j)−Ｎt‑1(j)と、拘束条件パラメータ１３８により定められる忘却係数α及びスケーリング係数βと、観測信号の特徴量Ｘt１２４と、出力パラメータ２４０とを基に、式（２１）〜式（２６）により示す拡張カルマンフィルタによって各パーティクルの更新を行なう。
【０１４５】

10

この更新において、式（２１）に示す、雑音の一期先予測パラメータＮt￨t‑1(j)においては、＾Ｎt‑1(j)の散らばりが抑制される。また、過去Ｔフレーム分のパラメータの変動がフィードバックされる。すなわち、過去の変動が大きかった場合には、一期先予測パラ
メータＮt￨t‑1(j)の変動も大きくなる。反対に過去の変動が小さかった場合には、一期先予測パラメータＮt￨t‑1(j)の変動も小さくなる。したがって、パラメータの時間推移に対する拘束条件が、過去のパラメータの変動によって強化される。
【０１４６】
以上のようにして、各パーティクルの更新を行なわれることにより、図１４に示す状態
空間４２０内の各パーティクルは更新され、パラメータが更新されたパーティクルにより第ｔフレームに対応する状態空間４３０が表現される。

20【０１４７】
これに応答して、重み算出部２３２が、状態空間４３０内の各パーティクルに対する重みｗt(j)を、式（２２）及び式（２３）によって算出する。再サンプリング部２３４は、
重みｗt(j)に基づき、パーティクルにおける雑音のパラメータを再サンプリングする。この際、再サンプリング部２３４はまず、状態空間４３０内の各パーティクルからの再サン
プリングの回数を、パーティクルに対する重みｗt(j)に応じてパーティクルごとに設定する。白抜きの丸印で表される重みの微小なパーティクルからのサンプリングの回数を０に設定する。また、黒塗りの丸印で表される重みの大きなパーティクルからのサンプリングの回数を、重みの大きさに応じて１〜３に設定する。続いて、状態空間４３０内のパーティクルにおける雑音確率分布に基づき、設定された回数ずつ、雑音のパラメータの再サン

30

プリングを行なう。このようにして、第ｔフレームに対応する新たな状態空間４４０を表現するパーティクルがそれぞれ形成される。
【０１４８】
再サンプリング部２３４によるこのような再サンプリングが繰返し行なわれると、あるフレームに対応するパーティクルの多くにおける雑音のパラメータが、それ以前の時点のフレームに対応する少数のパーティクルにおける雑音のパラメータの確率分布からサンプ
リングされたものとなるおそれがある。そこで、推定パラメータ生成部２３６は、Metropolis‑Hastingsアルゴリズムを用いて、新たに第ｔフレームに対応するパーティクルにおけるパラメータを生成することにより、このような事態を防止する。図８に示す再更新部
２６２は、状態空間４４０における雑音確率分布にしたがい、第ｔ−１フレームに対応す40

る状態空間４２０内のパーティクルにおける雑音のパラメータを再更新する。重み再計算
部２６４は、再更新されたパーティクルに対する重みｗt*(j)を算出する。許容確率算出
部２６６は、再更新されたパーティクルに対する重みｗt*(j)と、再サンプリングされたパーティクルに対する重みｗt(j)とを基に、許容確率νを算出する。パラメータ選択部２
７０は、許容確率νと、乱数発生部２６８が発生した［０，１］の区間の乱数ｕとを比較し、乱数ｕが許容確率ν以下であれば、再サンプリングされたパーティクルにおけるパラメータを、再更新されたパーティクルにおけるパラメータで置換する。さもなければ、再更新されたパーティクルにおけるパラメータを棄却する。
【０１４９】
以上のような動作をフレームごとに繰返すことにより、各フレームに対応して、各パー

50

(25)

JP 5070591 B2 2012.11.14

ティクルにおける雑音のパラメータである、平均ベクトル＾Ｎt(j)及び共分散行列ΣNt(j)

が推定される。各パーティクルにおける雑音のパラメータである平均ベクトル＾Ｎt(j)及び共分散行列ΣNt(j)と、各パーティクルに対する重みｗt(j)とが、雑音確率分布の推定パラメータ２０６となる。雑音確率分布推定部２００は、雑音確率分布の推定パラメー
タ２０６と観測信号の特徴量ベクトルＸt１２４とを、フレームごとに、図５に示す観測
信号分布推定部２０２に与える。
【０１５０】
図５を参照して、観測信号分布推定部２０２は、観測信号分布のパラメータ２０８として、ＶＴＳ法によって、第ｔフレームに対応する各パーティクルにおける観測信号分布の
平均ベクトル及び共分散行列を生成する。これにより、各パーティクルにおいて雑音の確10率分布と観測信号の確率分布とが推定されたことになる。
【０１５１】
クリーン音声推定部２０４は、ＭＭＳＥ推定法により、第ｔフレームに対応する各パー
ティクルにおいて、クリーン音声１２０のＭＭＳＥ推定値ベクトル＾Ｓt(j)を算出する。
さらに、ＭＭＳＥ推定値ベクトル＾Ｓt(j)と重みｗt(j)とを用いて、第ｔフレームにおける推定クリーン音声の特徴量ベクトル＾Ｓt１２６を算出し、図１に示す探索部１１０に出力する。
【０１５２】ＭＭＳＥ推定値ベクトル＾Ｓt(j)を算出するにあたり、クリーン音声推定部２０４は、得られた観測信号分布のＧＭＭにおいて、要素分布のクラスタごとに代表点を定める。そ20

して、観測信号の特徴量Ｘt１２４が与えられると、その特徴量により音響空間内に定められる点に最も近い代表点を持つクラスタを決定し、そのクラスタに含まれる要素分布のみを用い、式（３２）によって混合重みを算出する。
【０１５３】
したがって本実施の形態では、全ての要素分布（５１２個）に対して式（３１）の計算を行なう必要はない。このための計算は、観測信号の特徴量Ｘt１２４により音響空間内に定まる観測点と各クラスタの中心点との間の距離の算出（１２８回）、及び観測点に最も近い中心点を持つクラスタに含まれる６４個の要素分布を用いて混合重みを算出するだけである。その結果、この処理における計算量は（１２８＋６４）／５１２＝３／８となり、５／８に相当する計算量を削減することができる。

30【０１５４】
図１に示す探索部１１０は、推定クリーン音声の特徴量ベクトル＾Ｓt１２６を用いて、認識用音響モデル部１０９に保持された音響モデルと、言語モデル部１０８に保持された言語モデルとを基に、適合する目的言語の単語等を探索し、その結果を認識出力１２８として出力する。
【０１５５】［変形例］
上記実施の形態では、クリーン音響モデルとして、予めサンプル音声に対する統計処理（学習）により準備したガウス混合分布を用いている。ガウス混合分布は、各次元ごとに複数の要素分布を含む多次元の分布である。事前の学習により、要素分布ごとにその平均40と分散とが算出される。したがって多くの場合、要素分布ごとにその平均と分散とは異なっている。そのため、複雑な分布でも統計的にモデル化することができる。この場合、二つの要素分布の平均が一致していたり、二つの要素分布の分散が一致したりしていることはあり得るが、両者が一致することは通常はないと考えられる。
【０１５６】
しかし、本発明による雑音抑圧を実現するためには、学習によって得られた要素分布をそのまま使用しなくてもよい。例えば、上記した実施の形態において、要素分布の平均のみを用い、分散は全ての要素分布において等しいものと仮定しても、上記実施の形態と全く同様の仕組みを用いて雑音抑圧を行なうことができる。この場合には、音響モデルとしては各要素分布の平均のみを記憶しておけばよい。クラスタの分類も、要素分布の平均の

50

(26)

JP 5070591 B2 2012.11.14

みを使用して予め行なっておくことができる。
【０１５７】
さらに、要素分布の平均の算出にあたって、特徴量を連続的な値として算出してもよい
し、特徴量を予め離散的なものに定めておき、計算により得られた特徴量を、最も近い離散的特徴量により置換することで量子化してもよい。
【０１５８】
なお、上記実施の形態では、高速化という目的を達成するためには、ＧＭＭ１３０を構成する要素分布の数をＣＭ、クラスタの数をＮＶ、クラスタ内の要素分布の数をＮＤとして、ＣＭ＞ＮＶ＋ＮＤが成立するようにしている。しかし、これは上記したように、一つのクラスタのみを用いたＭＭＳＥによる雑音除去をする場合についてのみいえることであ10る。例えば、与えられた観測信号の特徴量Ｘt１２４の音響空間における位置に最も近い代表点を持つ二つのクラスタＣＬ１とＣＬ２とを採用し、これらのいずれかに属する要素
分布のみを用い、前述の式（３２）にしたがい、混合重みＰ（ｋ｜Ｘt，（ｊ））（ただし要素分布（ｋ）∈（ＣL1∪ＣL2）を算出するようにしてもよい。この場合には、ＣL1∪
ＣL2に属する要素分布の数をＮＤとして、ＣＭ＞ＮＶ＋ＮＤが成立するようにすればよい。採用するクラスタの数が３以上の場合も同様である。
【０１５９】
また、上記実施の形態では、各クラスタに属する要素分布の数は互いに等しい。しかし
本発明はそのような実施の形態には限定されない。各クラスタに属する要素分布の数が互いに異なっていても良い。ただしこの場合、精度を維持するためには各クラスタに属する

20要素分布の数は所定の数以上であることが望ましく、計算の高速化を行なうためには、各クラスタに属する要素分布の数は所定の上限以下であることが望ましい。
【０１６０】
上記実施の形態では、代表点としてクラスタに属する要素分布の重心を採用した。しかし本発明はそのような実施の形態には限定されない。クラスタに属する要素分布との距離の和が最小となるような点をクラスタの代表点としてもよい。
【０１６１】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内で30のすべての変更を含む。
【図面の簡単な説明】【０１６２】【図１】本発明の一実施の形態に係る音声認識システム１００の構成を示す概略図である。
【図２】ＧＭＭ１３０の概念を示す概略図である。
【図３】ＧＭＭ１３０のクラスタ化を模式的に示す図である。
【図４】観測信号の状態空間モデル１６０の概念を示す概略図である。
【図５】雑音抑圧部１１４の構成を示すブロック図である。
【図６】雑音確率分布推定部２００の構成を示すブロック図である。

40【図７】更新部２３０の構成を示すブロック図である。
【図８】推定パラメータ生成部２３６の構成を示すブロック図である。
【図９】雑音抑圧処理の制御構造を示すフローチャートである。
【図１０】ＧＭＭ１３０の雑音による適応化を示す図である。
【図１１】雑音により適応化されたＧＭＭ１３０のクラスタとその代表点との例を示す図である。
【図１２】雑音確率分布の推定パラメータ２０６の生成処理の制御構造を示すフローチャートである。
【図１３】Metropolis‑Hastingsアルゴリズムによるサンプリング処理の制御構造を示す
フローチャートである。

50

(27)

JP 5070591 B2 2012.11.14【図１４】パーティクルフィルタによる処理の概要を示す図である。
【図１５】Polyak

Average及びフィードバックの概念を示す模式図である。示す図である。
【符号の説明】【０１６３】
１００

音声認識システム

１０２

音源

１０４

前処理部

１０６

前処理用音響モデル部

１０８

言語モデル部

１０９

認識用音響モデル部

１１０

探索部

１１２

計測部

１１４

雑音抑圧部

１１６

話者

１１８

雑音源

１２０

クリーン音声

１２１

雑音

１２２

雑音重畳音声１２４

観測信号の特徴量

１２６

推定クリーン音声の特徴量

１３０

ＧＭＭ

１３２

学習データ記憶部

１３４

モデル学習部

１３６

ＧＭＭ記憶部

１３８

拘束条件パラメータ

１６０

状態空間モデル

２００

雑音確率分布推定部

２０２

観測信号分布推定部

２０４

クリーン音声推定部

２２０

フレーム選択部

２２２

雑音初期分布推定部

２２４

逐次計算部

２２６

ＧＭＭサンプリング部

２３０

更新部

２３２

重み算出部

２３４

再サンプリング部

２３６

推定パラメータ生成部

２４０

出力パラメータ

２５０

加重平均算出部

２５２

バッファメモリ部

２５４

Polyak

２５６

フィードバック部

２５８

拡張カルマンフィルタ部

２６２

再更新部

２６４

重み再計算部

２６６

許容確率算出部

２６８

乱数発生部

２７０

パラメータ選択部

Average算出部

10

20

30

40

(28)
【図１】

【図２】

【図３】

【図４】

JP 5070591 B2 2012.11.14

(29)
【図５】

【図６】

【図７】

【図９】

【図８】

JP 5070591 B2 2012.11.14

(30)
【図１０】

【図１２】

【図１１】

【図１３】

【図１４】

JP 5070591 B2 2012.11.14

(31)
【図１５】

JP 5070591 B2 2012.11.14

(32)JP 5070591 B2 2012.11.14

フロントページの続き
審査官 山下 剛史(56)参考文献 特開２００６−２４３２９０（ＪＰ，Ａ）
特開２００６−２０１２８７（ＪＰ，Ａ）
特開昭６１−７３１９９（ＪＰ，Ａ）
特公平２−５２２７８（ＪＰ，Ｂ２）(58)調査した分野(Int.Cl.，ＤＢ名)
Ｇ１０Ｌ

１５／００−１５／２８，２１／０２

10