(57)【要約】【課題】複数種類の変動する雑音や未知の雑音の重畳された音声から、雑音を除去する雑音抑圧装置を提供する。【解決手段】訓練用の音声や雑音の音響モデルである音声雑音音響モデルが複数記憶される音声雑音音響モデル記憶部１４、二種以上の音声や雑音が合成された音響モデルである合成音響モデルが記憶される合成音響モデル記憶部１５、音声と雑音の種類のラベルと音響モデルを対応付ける辞書情報が記憶される辞書情報記憶部１７、雑音重畳音声データを受け付ける受付部１９、音響モデル、辞書情報を用いて、雑音重畳音声データに対応するラベルを認識するラベル認識部２０、認識されたラベルに応じた音響モデルからパーティクルをサンプリングし、そのサンプリングしたパーティクルを更新することによってクリーン音声データを生成するパーティクルフィルタ雑音抑圧部２１を備える。【選択図】図１
2009139894.tif 000002
【特許請求の範囲】
【請求項１】
訓練用の音声データと訓練用の雑音データとを含む訓練データに含まれる一種類の音声データまたは一種類の雑音データの音響モデルである音声雑音音響モデルが複数記憶される音声雑音音響モデル記憶部と、
前記訓練データに含まれる音声データと雑音データのうちの二種類以上が合成された音響モデルである合成音響モデルが記憶される合成音響モデル記憶部と、
前記訓練データにおいて重畳されている音声と雑音の種類を識別する情報であるラベルと前記音声雑音音響モデルまたは前記合成音響モデルとを対応付ける情報である辞書情報が記憶される辞書情報記憶部と、
雑音の重畳されている音声データである雑音重畳音声データを受け付ける受付部と、
前記音声雑音音響モデル、前記合成音響モデル、前記辞書情報を用いて、前記雑音重畳音声データに対応するラベルをフレームごとに認識するラベル認識部と、
前記ラベル認識部が認識したラベルに応じた音響モデルからパーティクルをサンプリングし、当該サンプリングしたパーティクルを更新することによって、前記雑音重畳音声データの雑音が抑圧されたクリーン音声データを生成するパーティクルフィルタ雑音抑圧部と、を備えた雑音抑圧装置。
【請求項２】
前記パーティクルフィルタ雑音抑圧部は、
前記雑音重畳音声データのフレームごとに特徴量を抽出する特徴量抽出手段と、
前記雑音重畳音声データに対応する特徴量と、前記ラベル認識部が認識したラベルに応じた音声雑音音響モデルまたは合成音響モデルとを用いて、前記ラベル認識部が認識したラベルに応じた音響モデルから複数のパーティクルをサンプリングし、当該サンプリングした複数のパーティクルを更新し、当該更新された各パーティクルの重みを算出するパーティクルフィルタ手段と、
前記パーティクルフィルタ手段が更新したパーティクルと、前記パーティクルフィルタ手段が算出した重みを用いて、フレームごとに雑音成分を算出する雑音成分算出手段と、
前記雑音重畳音声データから、前記雑音成分算出手段が算出した雑音成分を除去し、クリーン音声データを取得する雑音抑圧手段と、を備えた、請求項１記載の雑音抑圧装置。
【請求項３】
請求項１または請求項２記載の雑音抑圧装置と、
音声認識の対象となる音声データに関する音響モデルが記憶される音声認識用音響モデル記憶部と、
音声認識で用いる音声認識用辞書情報が記憶される音声認識用辞書情報記憶部と、
音声認識の認識対象言語に関する言語モデルが記憶される言語モデル記憶部と、
前記雑音抑圧装置が生成したクリーン音声データを、前記音響モデル、前記音声認識用辞書情報、及び、前記言語モデルを用いて音声認識する音声認識部と、
前記音声認識部による音声認識結果を出力する出力部と、を備えた音声認識装置。
【請求項４】
雑音の重畳されている音声データである雑音重畳音声データを受け付ける受付ステップと、
訓練用の音声データと訓練用の雑音データとを含む訓練データに含まれる一種類の音声データまたは一種類の雑音データの音響モデルである音声雑音音響モデルが複数記憶される音声雑音音響モデル記憶部で記憶されている音声雑音音響モデル、前記訓練データに含まれる音声データと雑音データのうちの二種類以上が合成された音響モデルである合成音響モデルが記憶される合成音響モデル記憶部で記憶されている合成音響モデル、前記訓練データにおいて重畳されている音声と雑音の種類を識別する情報であるラベルと前記音声雑音音響モデルまたは前記合成音響モデルとを対応付ける情報である辞書情報が記憶される辞書情報記憶部で記憶されている辞書情報を用いて、前記雑音重畳音声データに対応するラベルをフレームごとに認識するラベル認識ステップと、
前記ラベル認識部が認識したラベルに応じた音響モデルからパーティクルをサンプリングし、当該サンプリングしたパーティクルを更新することによって、前記雑音重畳音声データの雑音が抑圧されたクリーン音声データを生成するパーティクルフィルタ雑音抑圧ステップと、を備えた雑音抑圧方法。
【請求項５】
コンピュータを、
雑音の重畳されている音声データである雑音重畳音声データを受け付ける受付部と、
訓練用の音声データと訓練用の雑音データとを含む訓練データに含まれる一種類の音声データまたは一種類の雑音データの音響モデルである音声雑音音響モデルが複数記憶される音声雑音音響モデル記憶部で記憶されている音声雑音音響モデル、前記訓練データに含まれる音声データと雑音データのうちの二種類以上が合成された音響モデルである合成音響モデルが記憶される合成音響モデル記憶部で記憶されている合成音響モデル、前記訓練データにおいて重畳されている音声と雑音の種類を識別する情報であるラベルと前記音声雑音音響モデルまたは前記合成音響モデルとを対応付ける情報である辞書情報が記憶される辞書情報記憶部で記憶されている辞書情報を用いて、前記雑音重畳音声データに対応するラベルをフレームごとに認識するラベル認識部と、
前記ラベル認識部が認識したラベルに応じた音響モデルからパーティクルをサンプリングし、当該サンプリングしたパーティクルを更新することによって、前記雑音重畳音声データの雑音が抑圧されたクリーン音声データを生成するパーティクルフィルタ雑音抑圧部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、雑音を抑圧する雑音抑圧装置等に関する。
【背景技術】
【０００２】
従来、雑音重畳音声の認識のために、多くの耐雑音音声認識手法が提案されてきた。定常雑音に対しては、ＳｐｅｃｔｒａｌＳｕｂｔｒａｃｔｉｏｎ（例えば、非特許文献１参照）や、Ｐａｒａｌｌｅｌ  Ｍｏｄｅｌ  Ｃｏｍｂｉｎａｔｉｏｎ（ＰＭＣ）（例えば、非特許文献２参照）がある。Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ（ＧＭＭ）を用いたＭｉｎｉｍｕｍ  Ｍｅａｎ−Ｓｑｕａｒｅｄ  Ｅｒｒｏｒ（ＭＭＳＥ）に基づく手法（例えば、非特許文献３参照）は、フレーム同期で処理を行うことで、入力音声に対する変動に対応できる。さらに、最近では、非定常的な雑音に対する研究が盛んになっている（例えば、非特許文献４，５参照）。これらの手法は一般に一種類の雑音のみを考慮し、一つのモデルで雑音をモデル化できるという仮定がある。しかし，実環境下では、定常的な雑音だけでなく、突発的な雑音も多い。また、その他に、どのように入力から実際の雑音を推定するかという問題もある。
【０００３】
これまでに、本件出願に関する発明者らは、複数モデル合成を用い、マルチパス探索で最尤ラベル系列を得て、複数雑音モデルにより雑音抑圧を行う手法（ＭＭ−ＮＳ：Ｍｕｌｔｉ−Ｍｏｄｅｌ  Ｎｏｉｓｅ  Ｓｕｐｐｒｅｓｓｉｏｎ）を提案してきた（例えば、非特許文献６，７参照）。学習データから得られた雑音モデル、及びそれらを組み合せた合成モデルを用い、マルチパス探索による雑音ラベル認識により雑音ラベル系列を得て、それを元にＧＭＭを用いたＭＭＳＥ雑音抑圧手法（例えば、非特許文献３参照）を複数合成モデルへ拡張した手法により、雑音抑圧を行う。雑音重畳音声モデルを学習ではなく、モデル合成により得ることで、学習データにはないＳＮＲでの音声と雑音の合成された分布をも作成できるメリットがある。さらに、ＧＭＭによるＭＭＳＥ雑音抑圧手法により、入力音声に対する事後確率により各分布に重み付けされ、雑音が推定される。したがって、入力雑音重畳音声を反映した雑音モデルで雑音抑圧処理が行われることになる。ただし、各雑音モデルの混合分布数を増加することで性能向上を図ることができることから、各雑音モデルの持つ粒度は詳細なほどよいことになる。
【非特許文献１】Ｓ．Ｆ．Ｂｏｌｌ，「Ｓｕｐｐｒｅｓｓｉｏｎ  ｏｆ  ａｃｏｕｓｔｉｃ  ｎｏｉｓｅ  ｉｎ  ｓｐｅｅｃｈ  ｕｓｉｎｇ  ｓｐｅｃｔｒａｌ  ｓｕｂｔｒａｃｔｉｏｎ」、ＩＥＥＥ  Ｔｒａｎｓ．Ａｃｏｕｓｔ．Ｓｐｅｅｃｈ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓ．，ｖｏｌ．２７，ｎｏ．２７，ｐ．１１３−１２０，１９７９
【非特許文献２】Ｍ．Ｆ．Ｊ．Ｇａｌｅｓ，「Ｍｏｄｅｌ−ｂａｓｅｄ  ｔｅｃｈｎｉｑｕｅｓ  ｆｏｒ  ｎｏｉｓｅ  ｒｏｂｕｓｔ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ」、ＰｈＤ  ｔｈｅｓｉｓ，Ｕｎｉｖｅｒｓｉｔｙ  ｏｆ  Ｃａｍｂｒｉｄｇｅ，１９９５
【非特許文献３】Ｊ．Ｃ．Ｓｅｇｕｒａ，Ａ．ｄｅ  ｌａ  Ｔｏｒｒｅ，Ｍ．Ｃ．Ｂｅｎｉｔｅｚ，Ａ．Ｍ．Ｐｅｉｎａｄｏ，「Ｍｏｄｅｌ−ｂａｓｅｄ  ｃｏｍｐｅｎｓａｔｉｏｎ  ｏｆ  ｔｈｅ  ａｄｄｉｔｉｖｅ  ｎｏｉｓｅ  ｆｏｒ  ｃｏｎｔｉｎｕｏｕｓ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ．Ｅｘｐｅｒｉｍｅｎｔｓ  ｕｓｉｎｇ  ｔｈｅ  ＡＵＲＯＲＡＩＩ  ｄａｔａｂａｓｅ  ａｎｄ  ｔａｓｋｓ」、Ｐｒｏｃ．ｏｆ  ＥＵＲＯＳＰＥＥＣＨ２００１，ｖｏｌ．１，ｐ．２２１−２２４，２００１
【非特許文献４】Ｋ．Ｙａｏ，Ｋ．Ｋ．Ｐａｌｉｗａｌ，Ｓ．Ｎａｋａｍｕｒａ，「Ｎｏｉｓｅ  ａｄａｐｔｉｖｅ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ  ｂａｓｅｄ  ｏｎ  ｓｅｑｕｅｎｔｉａｌ  ｎｏｉｓｅ  ｐａｒａｍｅｔｅｒ  ｅｓｔｉｍａｔｉｏｎ」、Ｓｐｅｅｃｈ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ，ｖｏｌ．４２，ｎｏ．１，ｐ．５−２３，２００４
【非特許文献５】Ｍ．Ｆｕｊｉｍｏｔｏ，Ｓ．Ｎａｋａｍｕｒａ，「Ａ  ｎｏｎ−ｓｔａｔｉｏｎａｒｙ  ｎｏｉｓｅ  ｓｕｐｐｒｅｓｓｉｏｎ  ｍｅｔｈｏｄ  ｂａｓｅｄ  ｏｎ  ｐａｒｔｉｃｌｅ  ｆｉｌｔｅｒｉｎｇ  ａｎｄ  Ｐｏｌｙａｋ  ａｖｅｒａｇｉｎｇ」、ＩＥＩＣＥ  Ｔｒａｎｓ．Ｉｎｆ．&Ｓｙｓｔ．，ｖｏｌ．Ｅ８９−Ｄ，ｎｏ．３，２００６
【非特許文献６】實廣，鳥山，小暮，「複数の雑音合成モデルを用いた探索に基づく雑音抑圧手法」、信学技報，ｖｏｌ．ＳＰ２００７−１６，ｐ．４９−５４，２００７
【非特許文献７】實廣，鳥山，小暮，「複数雑音合成モデルによるマルチパス探索に基づく雑音抑圧手法」、音講論，ｐ．１５１−１５４，２００７
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、複数モデル合成を用い、マルチパス探索で最尤ラベル系列を得て、複数雑音モデルにより雑音抑圧を行う手法（ＭＭ−ＮＳ）では、学習データから推定された雑音モデルをベースにしているため、学習データに存在しない未知の雑音に対して近い分布が利用される可能性はあるが、厳密な対処は難しいという問題があった。すなわち、入力雑音の変動、さらには未知雑音へのより積極的な対応が課題となっていた。
【０００５】
本発明は、この課題を解決するためになされたものであり、複数種類の雑音の重畳された音声から、雑音を適切に除去することができると共に、変動する雑音も除去しうる雑音抑圧装置等を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明による雑音抑圧装置は、訓練用の音声データと訓練用の雑音データとを含む訓練データに含まれる一種類の音声データまたは一種類の雑音データの音響モデルである音声雑音音響モデルが複数記憶される音声雑音音響モデル記憶部と、前記訓練データに含まれる音声データと雑音データのうちの二種類以上が合成された音響モデルである合成音響モデルが記憶される合成音響モデル記憶部と、前記訓練データにおいて重畳されている音声と雑音の種類を識別する情報であるラベルと前記音声雑音音響モデルまたは前記合成音響モデルとを対応付ける情報である辞書情報が記憶される辞書情報記憶部と、雑音の重畳されている音声データである雑音重畳音声データを受け付ける受付部と、前記音声雑音音響モデル、前記合成音響モデル、前記辞書情報を用いて、前記雑音重畳音声データに対応するラベルをフレームごとに認識するラベル認識部と、前記ラベル認識部が認識したラベルに応じた音響モデルからパーティクルをサンプリングし、当該サンプリングしたパーティクルを更新することによって、前記雑音重畳音声データの雑音が抑圧されたクリーン音声データを生成するパーティクルフィルタ雑音抑圧部と、を備えたものである。
【０００７】
このような構成により、ラベル認識を行うことによって、どのような雑音が雑音重畳音声データに含まれているのかを知ることができるため、雑音重畳音声データに突発的に入ってきた新たな種類の雑音に対しても、適切な雑音抑圧を行うことができる。また、パーティクルフィルタを用いて雑音抑圧を行うため、雑音が変動していく場合にも、適切な雑音抑圧を行うことができる。
【０００８】
また、本発明による雑音抑圧装置では、前記パーティクルフィルタ雑音抑圧部は、前記雑音重畳音声データのフレームごとに特徴量を抽出する特徴量抽出手段と、前記雑音重畳音声データに対応する特徴量と、前記ラベル認識部が認識したラベルに応じた音声雑音音響モデルまたは合成音響モデルとを用いて、前記ラベル認識部が認識したラベルに応じた音響モデルから複数のパーティクルをサンプリングし、当該サンプリングした複数のパーティクルを更新し、当該更新された各パーティクルの重みを算出するパーティクルフィルタ手段と、前記パーティクルフィルタ手段が更新したパーティクルと、前記パーティクルフィルタ手段が算出した重みを用いて、フレームごとに雑音成分を算出する雑音成分算出手段と、前記雑音重畳音声データから、前記雑音成分算出手段が算出した雑音成分を除去し、クリーン音声データを取得する雑音抑圧手段と、を備えてもよい。
【０００９】
このような構成により、ラベル認識結果を用いて、音声データにどのような雑音成分が重畳されているのかを知ることができ、その雑音の種類に応じた音響モデルからパーティクルをサンプリングすることができ、雑音重畳音声データから雑音成分を除去することができる。
【００１０】
また、本発明による雑音抑圧装置では、前記ラベルの言語モデルであるラベル言語モデルが記憶されるラベル言語モデル記憶部をさらに備え、前記ラベル認識部は、前記音声雑音音響モデル、前記合成音響モデル、前記ラベル言語モデル、前記辞書情報を用いて、前記雑音重畳音声データに対応するラベルをフレームごとに認識してもよい。
このような構成により、ラベル言語モデルを用いることによって、ラベルの認識の精度を向上させることができうる。
【００１１】
また、本発明による雑音抑圧装置では、前記訓練データが記憶される訓練データ記憶部と、前記訓練データに対応するラベルの時系列に沿った情報である訓練ラベル情報が記憶されるラベル記憶部と、前記訓練データ記憶部で記憶されている訓練データから、前記訓練ラベル情報を用いて音声雑音音響モデル及び合成音響モデルを生成し、前記音声雑音音響モデル記憶部、及び前記合成音響モデル記憶部にそれぞれ蓄積するモデル生成部と、前記ラベル記憶部で記憶されている訓練ラベル情報を用いて、ラベルのラベル言語モデルを生成し、前記ラベル言語モデル記憶部に蓄積すると共に、前記辞書情報を生成して前記辞書情報記憶部に蓄積するラベル言語モデル生成部と、をさらに備えてもよい。
【００１２】
このような構成により、ラベルの認識で用いる音声雑音音響モデルや合成音響モデル、辞書情報、ラベルのラベル言語モデルを生成することができ、その生成したモデル等を用いて、ラベルの認識を行うことができる。
【００１３】
また、本発明による音声認識装置は、前記雑音抑圧装置と、音声認識の対象となる音声データに関する音響モデルが記憶される音声認識用音響モデル記憶部と、音声認識で用いる音声認識用辞書情報が記憶される音声認識用辞書情報記憶部と、音声認識の認識対象言語に関する言語モデルが記憶される言語モデル記憶部と、前記雑音抑圧装置が生成したクリーン音声データを、前記音響モデル、前記音声認識用辞書情報、及び、前記言語モデルを用いて音声認識する音声認識部と、前記音声認識部による音声認識結果を出力する出力部と、を備えたものである。
【００１４】
このような構成により、雑音の抑圧されたクリーン音声データを用いて音声認識を行うため、受け付けられた雑音重畳音声データからの音声認識を精度よく行うことができうる。
【発明の効果】
【００１５】
本発明による雑音抑圧装置等によれば、二種類以上の雑音が重畳された音声から、それらの雑音を効果的に除去することができると共に、変動する雑音をも効果的に除去することができる。その結果、音声認識等の処理における精度を向上させることもできうる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明による雑音抑圧装置、音声認識装置について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。
【００１７】
（実施の形態１）
本発明の実施の形態１による雑音抑圧装置について、図面を参照しながら説明する。
図１は、本実施の形態による雑音抑圧装置１の構成を示すブロック図である。本実施の形態による雑音抑圧装置１は、訓練データ記憶部１１と、ラベル記憶部１２と、モデル生成部１３と、音声雑音音響モデル記憶部１４と、合成音響モデル記憶部１５と、ラベル言語モデル生成部１６と、辞書情報記憶部１７と、ラベル言語モデル記憶部１８と、受付部１９と、ラベル認識部２０と、パーティクルフィルタ雑音抑圧部２１と、蓄積部２２とを備える。
【００１８】
訓練データ記憶部１１では、訓練データが記憶される。ここで、訓練データは、音声データと雑音データを含んでいる。この音声データと雑音データとは、両者ともにモデルの学習に用いられる訓練用のものである。音声データとは、雑音ではないデータであり、例えば、人間の発声した音声のデータである。雑音データとは、ビープ音や、マシンノイズ等の雑音のデータである。この訓練データを用いて、後述するモデル生成部１３によるモデルの学習が行われる。
【００１９】
訓練データ記憶部１１に訓練データが記憶される過程は問わない。例えば、記録媒体を介して訓練データが訓練データ記憶部１１で記憶されるようになってもよく、通信回線等を介して送信された訓練データが訓練データ記憶部１１で記憶されるようになってもよく、あるいは、マイクロフォン等の入力デバイスを介して入力された訓練データが訓練データ記憶部１１で記憶されるようになってもよい。訓練データ記憶部１１での記憶は、外部のストレージデバイス等から読み出した訓練データのＲＡＭ等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。訓練データ記憶部１１は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。
【００２０】
ラベル記憶部１２では、訓練データに対応するラベルの時系列に沿った情報である訓練ラベル情報が記憶される。この訓練ラベル情報によって、訓練データ記憶部１１で記憶されている訓練データにおける音声データや雑音データの種類がラベルされることになる。例えば、ラベル「ｂｅｅｐ」「ｔａｒｇｅｔ」「ｂｅｅｐ．ｔａｒｇｅｔ」によって、訓練データに、ビープ音、目的発声、ビープ音と目的発声の重畳されたデータが含まれることが示されることになる。目的発声とは、所望の発声、すなわち、処理や聞き取り等の目的となる発声のことであり、例えば、音声認識を行う場合には、その音声認識の対象となる発声のことである。この訓練ラベル情報は、時系列に沿ったラベルの情報であるため、例えば、訓練データの時間に関する情報（例えば、タイムコードなど）を含んでおり、その情報によって、ラベルに対応する訓練データの期間を特定できるようになっていてもよい。
【００２１】
ラベル記憶部１２に訓練ラベル情報が記憶される過程は問わない。例えば、記録媒体を介して訓練ラベル情報がラベル記憶部１２で記憶されるようになってもよく、通信回線等を介して送信された訓練ラベル情報がラベル記憶部１２で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された訓練ラベル情報がラベル記憶部１２で記憶されるようになってもよい。ラベル記憶部１２での記憶は、外部のストレージデバイス等から読み出した訓練ラベル情報のＲＡＭ等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。ラベル記憶部１２は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。
【００２２】
モデル生成部１３は、訓練データ記憶部１１で記憶されている訓練データから、訓練ラベル情報を用いて音声雑音音響モデル及び合成音響モデルを生成し、音声雑音音響モデル記憶部１４、及び合成音響モデル記憶部１５にそれぞれ蓄積する。音声雑音音響モデルとは、訓練データに含まれる一種類の音声データまたは雑音データの音響モデルである。音声データの種類とは、例えば、「目的発声」や、「他の発声」等である。また、雑音データとは、例えば、「ビープ音」や、「マシンノイズ」等である。音声データの音響モデルとは、例えば、目的発声の音声データの音響モデルや、他人の発声の音声データの音響モデル等であってもよい。また、雑音データの音響モデルとは、例えば、ビープ音の音響モデルや、マシンノイズの音響モデル等であってもよい。合成音響モデルとは、訓練データに含まれる音声データと雑音データのうちの二種類以上が合成された音響モデルである。「音声データと雑音データのうちの二種類以上」とは、例えば、二種類以上の音声データであってもよく、一種類以上の音声データと一種類以上の雑音データとであってもよく、二種類以上の雑音データであってもよい。なお、合成音響モデルにおける音声データと雑音データのうちの二種類以上の組合せは、訓練データに含まれる一種類の音声データまたは雑音データのすべての組合せであってもよく、あるいは、一部の組合せであってもよい。前者であっても、組合せの最大の個数が決まっていることが好適である。また、後者の場合には、例えば、一種類の音声データまたは雑音データの組合せのうち、訓練データに含まれる組合せであってもよく、それ以外の組合せであってもよい。また、モデル生成部１３が生成する音声雑音音響モデルや合成音響モデルは、話者適応したものであってもよく、あるいは、そうでなくてもよい。
【００２３】
モデル生成部１３は、訓練ラベル情報を用いることによって、訓練データから所望の音声データの区間や、所望の雑音データの区間、あるいは、所望の音声の雑音の重畳されている区間等を抽出することができる。したがって、例えば、モデル生成部１３がビープ音の音声雑音音響モデルを生成する場合には、訓練ラベル情報を用いて訓練情報からビープ音に対応する雑音データの区間を抽出し、そのビープ音の雑音データを用いて、ビープ音の音声雑音音響モデルを生成する。モデル生成部１３は、一般にＧＭＭ（Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ）でモデル化を行うが、ＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）でモデル化を行ってもよい。本実施の形態では、ＧＭＭでモデル化を行う場合について説明する。
【００２４】
モデル生成部１３が、訓練データから音声雑音音響モデルを生成する方法は、すでに公知であり、その説明を省略する。なお、ＧＭＭでのモデル化の際に、混合分布数を音声データや、雑音データの種類ごとに変えてもよい。例えば、目的発声の場合には、混合分布数を２００として、ビープ音の場合には、混合分布数を４としてもよい。
【００２５】
また、モデル生成部１３は、訓練データから直接、合成音響モデルを生成してもよく、あるいは、訓練データから音声雑音音響モデルを生成し、その生成した音声雑音音響モデルを２以上合成することによって合成音響モデルを生成してもよい。本実施の形態では、モデル生成部１３は、音声雑音音響モデルを生成すると共に、その音声雑音音響モデルを２以上合成することによって合成音響モデルを生成するものとする。なお、例えば、２個の音声雑音音響モデルを合成した場合には、その合成音響モデルの混合分布数は、その２個の音声雑音音響モデルのそれぞれの混合分布数を掛け合わせた数となる。例えば、混合分布数「３」の音声雑音音響モデルと、混合分布数「２」の音声雑音音響モデルとを合成した合成音響モデルの混合分布数は、２×３＝６となる。なお、モデル合成の方法については、例えば、モデルパラメータ上でＰＭＣ（Ｐａｒａｌｌｅｌ  Ｍｏｄｅｌ  Ｃｏｍｂｉｎａｔｉｏｎ）と同様のモデル合成を行う方法が知られており、その詳細な説明を省略する。ＰＭＣを用いたモデル合成の方法については、例えば、前述の非特許文献２に記載されている。
【００２６】
ここで、音声雑音音響モデルを合成することによって合成音響モデルを生成するメリットについて簡単に説明する。
まず、訓練データは有限であるため、合成音響モデルに必要な該当する雑音や音声が重畳された区間のサンプルが少ない可能性がある。したがって、訓練データから直接、合成音響モデルを生成するよりも、訓練データから音声雑音音響モデルを生成し、その音声雑音音響モデルを２以上合成することによって合成音響モデルを生成する方が、精度が高いと考えられる。また、音声雑音音響モデルを合成することによって合成音響モデルを生成する場合には、それぞれ単独のモデルを学習し、それぞれの混合分布の組合せで合成音響モデルを生成することによって、訓練データに含まれていない、雑音と音声の組合せのパターンも含ませることができうる。そのため、モデルが表現できる範囲を、学習から直接得られるモデルより広くすることができる。また、一般に、データから音響モデルを生成するよりは、音響モデルを合成することによって合成音響モデルを生成する方が早いと考えられる。したがって、合成音響モデルを生成する時間を短縮する観点からも、音声雑音音響モデルを２以上合成することによって合成音響モデルを生成する方が適切であると考えられる。さらに、訓練データにおいて、音声と雑音が重なり合う区間や、２種類以上の雑音の重なり合う区間を適切に特定することは困難である。したがって、より特定の簡単な音声のみの区間や、雑音のみの区間を特定し、それらの区間に対応する音響モデルを合成する方が、より精度の高いモデルになると考えられる。
【００２７】
また、モデル生成部１３は、後述するように、雑音重畳音声データに含まれる背景雑音の音声データを受け付けて、その背景雑音に対応する音響モデルを生成してもよい。
【００２８】
音声雑音音響モデル記憶部１４では、訓練用の音声データと雑音データを含む訓練データに含まれる一種類の音声データまたは雑音データの音響モデルである音声雑音音響モデルが複数記憶される。音声雑音音響モデル記憶部１４は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。
【００２９】
合成音響モデル記憶部１５では、訓練データに含まれる音声データと雑音データのうちの二種類以上のデータが合成された音響モデルである合成音響モデルが記憶される。合成音響モデル記憶部１５は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。
【００３０】
ラベル言語モデル生成部１６は、ラベル記憶部１２で記憶されている訓練ラベル情報を用いて、ラベルのラベル言語モデルを生成し、ラベル言語モデル記憶部１８に蓄積すると共に、辞書情報を生成して辞書情報記憶部１７に蓄積する。ここで、ラベル言語モデルは、例えば、ラベルのＮグラムモデルであってもよく、あるいは、文法であってもよい。文法は、例えば、ネットワーク文法や、ＣＦＧ（Ｃｏｎｔｅｘｔ  Ｆｒｅｅ  Ｇｒａｍｍａｒ）、あるいは、それらの文法において確率を用いるものであってもよい。Ｎグラムモデルや文法については、自然言語処理や、音声認識において公知のものであり、詳細な説明を省略する。本実施の形態では、ラベル言語モデルがＮグラムモデルである場合について説明する。また、辞書情報とは、ラベルと音声雑音音響モデルまたは合成音響モデルとを対応付ける情報である。辞書情報は、例えば、ラベルを識別する情報と、音声雑音音響モデルを識別する情報または合成音響モデルを識別する情報とを対応付けて有する情報であってもよい。ラベルを識別する情報は、ラベルそのものであってもよく、音声雑音音響モデルを識別する情報や合成音響モデルを識別する情報は、そのモデルの名称であってもよい。したがって、辞書情報は、例えば、ビープ音のラベルを識別する情報である「ｂｅｅｐ」と、ビープ音に対応する音声雑音音響モデルを識別する情報である「ｂｅｅｐ」とを対応付ける情報であってもよい。なお、ラベル言語モデル生成部１６は、このラベル言語モデルや辞書情報を生成する際に、モデルを識別する情報を取得するために、音声雑音音響モデルや、合成音響モデル等を参照してもよい。
【００３１】
なお、ラベル言語モデル生成部１６がラベル言語モデルを生成する方法は、通常のＮグラム言語モデルを生成する方法や、文法を生成する方法と同じであり（このたびは、言語モデルの単語等がラベルとなっただけである）、その説明を省略する。また、ラベル言語モデル生成部１６がＮグラムモデルを生成する場合に、その生成するラベルのＮグラムモデルのＮの値は、あらかじめ決められているものとする。Ｎは、例えば、２（バイグラム）であってもよく、３（トライグラム）であってもよく、その両方であってもよい。
【００３２】
辞書情報記憶部１７では、訓練データにおいて重畳されている音声と雑音の種類を識別する情報であるラベルと、音声雑音音響モデルまたは合成音響モデルとを対応付ける情報である辞書情報が記憶される。辞書情報記憶部１７は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。
【００３３】
ラベル言語モデル記憶部１８では、訓練データにおいて重畳されている音声と雑音の種類を識別する情報であるラベルのラベル言語モデルが記憶される。ラベル言語モデル記憶部１８は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。なお、ラベル言語モデルが文法を含む場合に、その文法の一部または全部は、ラベル言語モデル生成部１６によって生成されたものでなくてもよく、例えば、人手によって生成されたものであってもよい。その場合には、ラベル言語モデルの一部または全部が、外部から入力され、ラベル言語モデル記憶部１８に蓄積されてもよい。
【００３４】
受付部１９は、雑音の重畳されている音声データである雑音重畳音声データを受け付ける。受付部１９は、例えば、入力デバイス（例えば、マイクロフォンなど）から入力された雑音重畳音声データを受け付けてもよく、有線もしくは無線の通信回線を介して送信された雑音重畳音声データを受信してもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリなど）から読み出された雑音重畳音声データを受け付けてもよい。なお、受付部１９は、受け付けを行うためのデバイス（例えば、モデムやネットワークカードなど）を含んでもよく、あるいは含まなくてもよい。また、受付部１９は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。なお、受付部１９が受け付けた雑音重畳音声データを一時的に記憶しておく図示しない記録媒体が存在してもよい。
【００３５】
ラベル認識部２０は、音声雑音音響モデル記憶部１４で記憶されている音声雑音音響モデル、合成音響モデル記憶部１５で記憶されている合成音響モデル、辞書情報記憶部１７で記憶されている辞書情報、ラベル言語モデル記憶部１８で記憶されているラベル言語モデルを用いて、受付部１９が受け付けた雑音重畳音声データに対応するラベルを認識する。この認識は、音声認識における単語がラベルとなり、音素ごとのモデルが音声データや雑音データまたはそれらの混合ごとのモデルとなる以外、音声認識と同様にして行われる。したがって、このラベル認識部２０としては、音響モデル、言語モデル、辞書を用いた従来の音声認識処理を行う構成要素を用いることができ、その詳細な説明を省略する。
【００３６】
このラベル認識の結果、雑音重畳音声データに対応するラベルが時系列に沿って特定されることになる。例えば、雑音重畳音声データの１フレームから５０フレームまでにはラベル「ｂｅｅｐ」が対応付けられされ、５１フレームから２００フレームまではラベル「ｂｅｅｐ．ｔａｒｇｅｔ」が対応付けられることになる。この認識されたラベルを示す情報は、図示しない記録媒体において記憶されるものとする。
【００３７】
なお、ラベル認識部２０は、ビーム探索、あるいは複数のモデルを切り替えて探索するマルチパス探索を行うことによって、最尤ラベル系列を取得してもよい。例えば、第１パスで音声雑音音響モデルや合成音響モデルとバイグラムを用いた探索を行い、第２パスでトライグラムによるリスコアリングを行ってもよい。
【００３８】
パーティクルフィルタ雑音抑圧部２１は、ラベル認識部２０が認識したラベルに応じた音響モデルからパーティクルをサンプリングし、そのサンプリングしたパーティクルを更新することによって、雑音重畳音声データの雑音が抑圧されたクリーン音声データを生成する。なお、パーティクルフィルタ雑音抑圧部２１は、特徴量空間において雑音抑圧を行ってもよく、あるいは、音声信号に対して雑音抑圧を行ってもよい。前者の場合には、パーティクルフィルタ雑音抑圧部２１の出力は雑音成分の除去された特徴量となるが、後者の場合には、パーティクルフィルタ雑音抑圧部２１の出力は、雑音成分の除去された音声信号となる。
【００３９】
図２は、本実施の形態によるパーティクルフィルタ雑音抑圧部２１の詳細な構成を示すブロック図である。パーティクルフィルタ雑音抑圧部２１は、特徴量抽出手段３１と、パーティクルフィルタ手段３２と、雑音成分算出手段３３と、雑音抑圧手段３４とを備える。
【００４０】
特徴量抽出手段３１は、雑音重畳音声データのフレームごとに特徴量を抽出する。特徴量抽出手段３１は、例えば、雑音重畳音声データをフレームごとにメルフィルタバンク分析することによって、雑音重畳音声データに対応する対数メルスペクトルを生成するものであってもよい。また、特徴量抽出手段３１は、その他の特徴量を抽出するものであってもよい。
【００４１】
パーティクルフィルタ手段３２は、雑音重畳音声データに対応する特徴量と、ラベル認識部２０が認識したラベルに応じた音声雑音音響モデルまたは合成音響モデルとを用いて、ラベル認識部２０が認識したラベルに応じた音響モデルから複数のパーティクルをサンプリングし、そのサンプリングした複数のパーティクルを更新し、その更新された各パーティクルの重みを算出する。この処理の具体的な式等については、後述する。
【００４２】
雑音成分算出手段３３は、パーティクルフィルタ手段３２が更新したパーティクルと、パーティクルフィルタ手段３２が算出した重みを用いて、フレームごとに雑音成分を算出する。この処理の具体的な式等については、後述する。
【００４３】
雑音抑圧手段３４は、雑音重畳音声データから、雑音成分算出手段３３が算出した雑音成分を除去し、クリーン音声データを取得する。この雑音成分の除去は、例えば、推定された雑音成分からウィナーフィルタを構成し、フィルタ処理による雑音抑圧にて時間領域での音声波形を得てもよく、または、対数メルスペクトル領域での雑音成分の減算を行ってもよい。前者の場合には、対数メルスペクトル領域におけるウィナーフィルタを構成することができ、フィルタ処理とすることで、入力された雑音重畳音声データから音声波形を推定することができる。一方、後者の場合には、対数メルスペクトル領域における雑音成分の除去となり、雑音成分の除去されたクリーン音声データは、対数メルスペクトルとなる。本実施の形態では、前者の場合について説明する。
【００４４】
蓄積部２２は、パーティクルフィルタ雑音抑圧部２１によって雑音の抑圧されたクリーン音声データを、所定の記録媒体に蓄積する。この記録媒体は、例えば、半導体メモリや、光ディスク、磁気ディスク等であり、蓄積部２２が有していてもよく、あるいは蓄積部２２の外部に存在してもよい。また、この記録媒体は、クリーン音声データを一時的に記憶するものであってもよく、そうでなくてもよい。
【００４５】
なお、本実施の形態では、雑音抑圧装置１において、雑音抑圧後のクリーン音声データが蓄積される場合について説明するが、雑音抑圧装置１は、蓄積部２２に代えて、雑音抑圧後のクリーン音声データを出力する出力部を備えてもよい。その出力は、例えば、所定の機器への通信回線を介した送信でもよく、スピーカによる音声出力でもよく、記録媒体への蓄積でもよい。なお、その出力部は、出力を行うデバイス（例えば、スピーカや通信デバイスなど）を含んでもよく、あるいは含まなくてもよい。また、その出力部は、ハードウェアによって実現されてもよく、あるいは、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
【００４６】
また、訓練データ記憶部１１、ラベル記憶部１２、音声雑音音響モデル記憶部１４、合成音響モデル記憶部１５、辞書情報記憶部１７、ラベル言語モデル記憶部１８、蓄積部２２がクリーン音声データを蓄積する図示しない記録媒体のうち、任意の２以上の記録媒体は、同一の記録媒体によって実現されてもよく、別々の記録媒体によって実現されてもよい。前者の場合には、例えば、訓練データを記憶している領域が訓練データ記憶部１１となり、訓練ラベル情報を記憶している領域がラベル記憶部１２となる。
【００４７】
次に、本実施の形態による雑音抑圧装置１で用いる雑音抑圧手法について説明する。
対数メルスペクトル領域において、第ｔフレームでの雑音重畳音声データに対応する特徴量ベクトルをｘｔ、クリーン音声データに対応する特徴量ベクトルをｓｔ、Ｎ種類の雑音データのうち、第ｎ番目の雑音データに対応する特徴量ベクトルをｎｔ（ｎ）とする。なお、ｘｔ、ｓｔ、ｎｔ（ｎ）を、単に、雑音重畳音声、クリーン音声、雑音と呼ぶこともある。そして、これらの状態空間モデルを定義する。観測モデルは、次のように表される。
【００４８】
【数１】
2009139894.tif 000003
【００４９】
ここで、ｎｔは、第ｔフレームでのすべての雑音を含む合成雑音である。ｇ（ｓｔ，ｎｔ）は、クリーン音声ｓｔと、雑音重畳音声ｘｔとのミスマッチ成分である。ｖｔは、観測ノイズを示し、Σｘは、ｘｔの共分散行列である。
【００５０】
本実施の形態による雑音抑圧装置１では、フレームごとにラベル認識を行うため、音声区間（目的発声を含む区間）と、そうでない区間とを区別することができる。したがって、雑音抑圧を各区間に対して別々に行うことができる。各混合分布に対するミスマッチ成分を、次のように定義することができる。
【００５１】
【数２】
2009139894.tif 000004
【００５２】
ここで、μｘ、ｌは、雑音重畳音声データに対応する音響モデルの混合分布における第ｌ番目の平均ベクトルであり、目的発声の区間に対して、クリーン音声データに対応する音響モデルの混合分布における第ｌ番目の平均ベクトルμｓ、ｌと、推定された雑音データに対応する音響モデルにおける雑音成分との合成で生成される。どの雑音成分の合成であるのかについては、認識されたラベルによって知ることができる。なお、他の区間におけるμｘ，ｌは雑音成分のみが合成されている。また、εは小さい正の値で、雑音抑圧後の残差信号パワーを調整するためのものである。
【００５３】
さらに、雑音ｎｔ（ｎ）に対応する音響モデルの第ｌ番目の混合分布ｎｔ，ｌ（ｎ）のシステムモデルがランダムウォーク仮定で次ぎのようにモデル化できると仮定する。
【数３】
2009139894.tif 000005
【００５４】
ここで、ｕｔ（ｎ，ｌ）はシステムノイズであり、Σｕｔ（ｎ，ｌ）＝Σｎ（ｎ），ｌは、雑音ｎｔ，ｌ（ｎ）の共分散行列である。
【００５５】
状態空間モデルを、式（２）、（５）で表し、前述の非特許文献５と同様にパーティクルフィルタを定義して、本実施の形態による雑音抑圧装置１での雑音抑圧に統合する。
【００５６】
本実施の形態による雑音抑圧装置１では、同様に、拡張カルマン・パーティクルフィルタ、リサンプリング（ｒｅｓｉｄｕａｌ  ｓａｍｐｌｉｎｇ）、及びマルコフ鎖モンテカルロ（ＭＣＭＣ：Ｍａｒｋｏｖ  Ｃｈａｉｎ  Ｍｏｎｔｅ  Ｃａｒｌｏ）を用いる。雑音抑圧装置１では、認識されたラベルに対応する音響モデルの混合分布を、各パーティクルの事前分布として用いる。
【００５７】
図３は、本実施の形態による雑音抑圧装置１でのパーティクルフィルタリングの概要を説明するための図である。はじめに、雑音分布に対するパーティクルを、背景雑音の音響モデルからサンプリングする。この音響モデルは、例えば、背景雑音のみの区間のデータから生成されたものである。この段階では、前述の非特許文献５と同様である。次に、ラベル認識により時刻ｔにおいて新たな雑音「雑音１」が検出されたフレームでは、あらかじめ学習データから作成され、音声雑音音響モデル記憶部１４，あるいは合成音響モデル記憶部１５で記憶されている「雑音１」の音響モデルから、新たなパーティクルをサンプリングする。次のフレームでは、「雑音１」が継続して検出されているので、同じような分布を持つ雑音が存在していると考えられ、時刻ｔの「雑音１」パーティクルから推定しやすいと考えられる。そこで、時刻ｔ＋１の「雑音１」パーティクルは、従来法と同様に、拡張カルマンフィルタを用いて推定される。時刻ｔ＋２において、「雑音１」が検出されなくなったときに、そのパーティクルも推定に用いるパーティクルから外す。このように、本実施の形態による雑音抑圧装置１では、認識されたラベルに応じた音響モデルからパーティクルをサンプリングすることによって、突発的な雑音を扱うことが可能となる。また、各フレームでパーティクルフィルタリングを行う際に、雑音重畳音声とより近いものを推定するために、クリーン音声と雑音間のパーティクルの組合せを考慮し、推定に用いることで、推定精度の向上を図る。
【００５８】
次に、パーティクルフィルタについて説明する。
ここでは、Ｓｅｑｕｅｎｔｉａｌ  ｉｍｐｏｒｔａｎｃｅ  ｓａｍｐｌｉｎｇと呼ばれるパーティクルフィルタを定義する。状態空間モデルが、式（２）、（５）であるとき、事後確率密度関数は、次のようになる。
【００５９】
【数４】
2009139894.tif 000006
【００６０】
ここで、ｎ０：ｔ＝｛ｎ０，...，ｎｔ｝、ｘ０：ｔ＝｛ｘ０，...，ｘｔ｝である。パーティクルフィルタでは、この事後確率密度関数は、次のように近似される。
【数５】
2009139894.tif 000007
【００６１】
ここで、（ｋ）はパーティクル番号であり、Ｋはパーティクルの総数である。δ（・）は、ディラック・デルタ関数であり、ｗｔ（ｋ）は、時刻ｔでの第ｋパーティクルに対する重み（ｉｍｐｏｒｔａｎｃｅ  ｗｅｉｇｈｔ）を示す。ｐ（ｎ０：ｔ｜ｘ０：ｔ）自体からのサンプリングは困難であるため、ｉｍｐｏｒｔａｎｃｅ  ｄｅｎｓｉｔｙと呼ばれるｑ（ｎ０：ｔ｜ｘ０：ｔ）を導入する。すると、各パーティクルの重みは、次のように表すことができる。
【数６】
2009139894.tif 000008
【００６２】
ここで、ｐ（ｎｔ（ｋ）｜ｎｔ−１（ｋ））＝ｑ（ｎｔ（ｋ）｜ｎ０：ｔ（ｋ），ｘ０：ｔ）と仮定することによって、（９）式を次式のように簡略化できる。
【数７】
2009139894.tif 000009
【００６３】
パーティクルフィルタにおいて、クリーン音声の音響モデルと、雑音の音響モデルからのサンプリングを行う。雑音の音響モデルについては、初期フレームでは受け付けられた雑音重畳音声データの開始から短時間分のデータを用いて推定した背景雑音の音響モデルを用い、途中、ラベル認識で雑音が検出された場合には、その認識されたラベルに応じた雑音の音響モデルを用いる。それぞれのモデルからのサンプリングを次のように定義する。
【００６４】
［クリーン音声の音響モデルからのサンプリング］
【数８】
2009139894.tif 000010
【００６５】
ここで、μｓ、ｌ、Σｓ、ｌは、それぞれクリーン音声データに対応する音響モデルの混合分布における第ｌ番目の平均ベクトル、共分散行列である。Ｌｓは、その混合分布における混合数である。
【００６６】
［雑音の音響モデルからのサンプリング］
【数９】
2009139894.tif 000011
【００６７】
ここで、μｎ（ｎ）、ｌ、Σｎ（ｎ）、ｌは、それぞれそのフレームにおいて認識されたラベルに対応する雑音（単一の雑音であってもよく、合成された雑音でもよい）データに対応する音響モデルの混合分布における第ｌ番目の平均ベクトル、共分散行列である。Ｌｎ（ｎ）は、その混合分布における混合数である。
【００６８】
このようにサンプリングされた音声のパーティクルと、雑音のパーティクルの合成によって、雑音重畳音声のパーティクルの組を作成する。次に、拡張カルマンフィルタを用い、各パーティクルを更新し、ｎｔ（ｋ）の平均＾ｎｔ（ｋ）と、分散＾Σｎｔ（ｋ）とを推定する。ここで、＾Ａは、Ａの上部にハット（＾）が付されたものを示すものとする。
【００６９】
【数１０】
2009139894.tif 000012
ここで、ｔ｜ｔ−１は、第（ｔ−１）フレームから予測された第ｔフレームのパラメータであることを示す。
【００７０】
パーティクルフィルタリングの後に、前述の非特許文献５と同様に、ｒｅｓｉｄｕａｌ  ｒｅｓａｍｐｌｉｎｇ、及びＭＣＭＣ（Ｍｅｔｒｏｐｏｌｉｓ−Ｈａｓｔｉｎｇ  ｓａｍｐｌｉｎｇ）を行う。
【００７１】
また、このような手法を用いることによって、現在の雑音分布を推定することができ、その雑音分布を示す単一分布が得られる。従来のラベル認識を行う雑音抑圧手法では、雑音の音響モデルも混合分布で示されていたため、混合分布の計算が必要であったが、この手法では、そのような計算の必要がなく、計算量が削減されることになる。例えば、クリーン音声の音響モデルの混合数が２００である場合について具体的に考える。雑音の音響モデルが、混合数が４の混合分布で示される場合には、雑音重畳音声の音響モデルの混合数は、２００×４＝８００となり、８００の混合数のすべてについて計算を行うことになる。一方、雑音の音響モデルが単一分布（混合数＝１）であれば、雑音重畳音声の音響モデルの混合数は、２００×１＝２００となり、２００の混合数について計算を行えばよいこととなり、計算量が削減されていることが分かる。
【００７２】
なお、上記の説明では、パーティクルフィルタの前段に拡張カルマンフィルタ（ＥＫＦ：Ｅｘｔｅｎｄｅｄ  Ｋａｌｍａｎ  Ｆｉｌｔｅｒ）を用いる場合について説明したが、それに代えて、Ｕｎｓｃｅｎｔｅｄカルマンフィルタ（ＵＫＦ：Ｕｎｓｃｅｎｔｅｄ  Ｋａｌｍａｎ  Ｆｉｌｔｅｒ）を用いてもよい。ＥＫＦは、非線形モデルをテーラー展開の１次近似で導出されたものであるが、より精度の高い近似法として、Ｕ変換（Ｕｎｓｃｅｎｔｅｄ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を用いたＵＫＦが提案されている。それを用いれば、２次の項まで近似することができる。ＥＫＦをＵＫＦに置き換えるだけで、本実施の形態による雑音抑圧手法にＵＫＦを導入することが可能である。
【００７３】
ＵＫＦについては、次の文献を参照されたい。
文献：Ｓ．Ｊ．Ｊｕｌｉｅｒ，Ｊ．Ｋ．Ｕｈｌｍａｎｎ，「Ａ  ｎｅｗ  ｅｘｔｅｎｓｉｏｎ  ｏｆ  ｔｈｅ  Ｋａｌｍａｎ  ｆｉｌｔｅｒ  ｔｏ  ｎｏｎｌｉｎｅａｒ  ｓｙｓｔｅｍｓ」、Ｐｒｏｃ．ＡｅｒｏＳｅｎｃｅ：Ｉｎｔ．Ｓｙｍｐ．Ａｅｒｏｓｐａｃｅ／Ｄｅｆｅｎｓｅ  Ｓｅｎｓｉｎｇ，Ｓｉｍｕｌ．ａｎｄ  Ｃｏｎｔｒｏｌｓ，Ｏｒｌａｎｄｏ，ＦＬ，１９９７
【００７４】
文献：谷萩隆嗣，「カルマンフィルタと適応信号処理」、コロナ社，２００５
【００７５】
文献：山北昌毅，「ＵＫＦ（Ｕｎｓｃｅｎｔｅｄ  Ｋａｌｍａｎ  Ｆｉｌｔｅｒ）って何？」、システム／制御／情報，ｖｏｌ．５０，ｎｏ．７，ｐ．２６１−２６６，２００６
【００７６】
また、ＵＫＦを用いたパーティクルフィルタについては、次の文献を参照されたい。
文献：Ｒ．ｖａｎ  ｄｅｒ  Ｍｅｒｗｅ，Ａ．Ｄｏｕｃｅｔ，Ｎ．ｄｅ  Ｆｒｅｉｔａｓ，Ｅ．Ｗａｎ，「Ｔｈｅ  ｕｎｓｃｅｎｔｅｄ  ｐａｒｔｉｃｌｅ  ｆｉｌｔｅｒ」、Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ  ＣＵＥＤ／ＦＩＮＦＥＮＧ／ＴＲ  ３８０，Ｃａｍｂｒｉｄｇｅ  Ｕｎｉｖｅｒｓｉｔｙ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｄｅｐａｒｔｍｅｎｔ，２０００
【００７７】
次に、パーティクルフィルタに基づく雑音抑圧手法について説明する。すなわち、前述の定義を用いて、ＧＭＭに基づく雑音抑圧を行うまでの手順について説明する。
【００７８】
（Ｉ）初期化（フレーム番号ｔ＝０について）
各パーティクルｎ０（ｉ）（ｉ＝０，...，Ｉ）を背景雑音の音響モデルからサンプリングする。
【００７９】
（ＩＩ）各フレーム（ｔ＝１，２，...，Ｔ）について
（ＩＩ−１）Ｉｍｐｏｒｔａｎｃｅ  ｓａｍｐｌｉｎｇ  ｓｔｅｐ（パーティクルフィルタ）：
【００８０】
認識されたラベルによって、そのフレームに目的発声が含まれることが示されるのであれば、（１１）式によって、クリーン音声の音響モデルから音声パーティクルｓｔ（ｉ）をサンプリングする。
認識されたラベルによって、そのフレームに新たな雑音ｎ（ｎ）が検出されたら、（１２）式により、雑音パーティクルをサンプリングする。
ｓｔ（ｉ）とｎｔ−１（ｊ）との合成で雑音重畳音声パーティクルの組を作成する。ここで、総パーティクル数は、Ｋ＝Ｉ×（Ｊ＋１）となる。
【００８１】
ｋ＝１，...，Ｋについて、拡張カルマンフィルタにより、各パーティクルを更新する。すなわち、（１３）、（１４）式により、ｎｔ（ｋ）の平均＾ｎｔ（ｋ）と、分散＾Σｎｔ（ｋ）とを推定する。
【００８２】
ｋ＝１，...，Ｋについて、重みｗｔ（ｋ）∝ｗｔ−１（ｋ）ｐ（ｘｔ｜ｎｔ（ｋ））を計算する。ｗｔ−１（ｋ）は、１フレーム前で計算した値を用いる。また、ｐ（ｘｔ｜ｎｔ（ｋ））は、推定した平均＾ｎｔ（ｋ）と、分散＾Σｎｔ（ｋ）とを用いて計算することができる。
【００８３】
ｋ＝１，...，Ｋについて、計算したｗｔ（ｋ）を正規化して、正規化重み＾ｗｔ（ｋ）を計算する。正規化重み＾ｗｔ（ｋ）は、ｗｔ（ｋ）を、ｋについて和をとったｗｔ（ｋ）で除算することによって算出できる。
【００８４】
（ＩＩ−２）Ｒｅｓｉｄｕａｌ  ｓａｍｐｌｉｎｇ  ｓｔｅｐ：
高／低ｉｍｐｏｒｔａｎｃｅ  ｗｅｉｇｈｔを持つパーティクルを増殖／抑圧する。このｒｅｓｉｄｕａｌ  ｓａｍｐｌｉｎｇの方法は、すでに公知であり、詳細な説明を省略する。
【００８５】
（ＩＩ−３）ＭＣＭＣ  ｓｔｅｐ：
Ｍｅｔｒｏｐｏｌｉｓ−Ｈａｓｔｉｎｇｓ  ｓａｍｐｌｉｎｇを適用する。この方法についてもすでに公知であり、詳細な説明を省略する。
【００８６】
（ＩＩ−４）雑音事後分布の推定：
パーティクルから事後分布を次のように推定する。
【数１１】
2009139894.tif 000013
ここで、μ＾ｎｔ、Σ＾ｎｔは、それぞれ雑音の音響モデルの推定平均ベクトルと、共分散行列である。
【００８７】
（ＩＩ−５）クリーン音声のＧＭＭに基づくラベルを用いた雑音抑圧：
ミスマッチ成分を用いて、クリーン音声の推定を次式のように行う。
【数１２】
2009139894.tif 000014
【００８８】
ここで、μｘ、ｌ、Σｘ、ｌは、それぞれ各フレームのラベルに対応する音響モデルの平均ベクトル、共分散行列である。これらは、１次テーラー級数展開（次文献参照）により、適宜、クリーン音声と推定された雑音の音響モデルＮ（μ＾ｎｔ，Σ＾ｎｔ）から推定される。
【００８９】
文献：Ｐ．Ｊ．Ｍｏｒｅｎｏ，「Ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ  ｉｎ  ｎｏｉｓｙ  ｅｎｖｉｒｏｎｍｅｎｔｓ」、ＰｈＤ  ｔｈｅｓｉｓ，Ｃａｒｎｅｇｉｅ  Ｍｅｌｌｏｎ  Ｕｎｉｖｅｒｓｉｔｙ，Ｐｉｔｔｓｂｕｒｇｈ，Ｐｅｎｎｓｙｌｖａｎｉａ，１９９６
【００９０】
次に、本実施の形態による雑音抑圧装置１の動作について、図４のフローチャートを用いて説明する。
（ステップＳ１０１）モデル生成部１３は、モデルを生成するタイミングであるかどうか判断する。そして、モデルを生成するタイミングである場合には、ステップＳ１０２に進み、そうでない場合には、ステップＳ１０６に進む。モデル生成部１３は、例えば、モデルを生成する指示を雑音抑圧装置１が受け付けた場合に、モデルを生成するタイミングであると判断してもよく、訓練データが訓練データ記憶部１１に蓄積され、訓練ラベル情報がラベル記憶部１２に蓄積された場合に、モデルを生成するタイミングであると判断してもよく、あるいは、その他のタイミングで、モデルを生成するタイミングであると判断してもよい。
【００９１】
（ステップＳ１０２）モデル生成部１３は、ラベル記憶部１２で記憶されている訓練ラベル情報を用いて、一種類の音声データの区間、あるいは、一種類の雑音データの区間を特定し、その区間に対応する音声雑音音響モデルをそれぞれ生成し、音声雑音音響モデル記憶部１４に蓄積する。なお、蓄積の際に、訓練ラベル情報の示すラベル（例えば、「ｂｅｅｐ」等）を、音声雑音音響モデルに対応付けて蓄積してもよい。
【００９２】
（ステップＳ１０３）モデル生成部１３は、音声雑音音響モデル記憶部１４で記憶されている２以上の音声雑音音響モデルを読み出し、それらを合成することによって合成音響モデルを生成して合成音響モデル記憶部１５に蓄積する
【００９３】
また、前述のように、音声雑音音響モデルのすべての組合せを網羅するのではなく、ラベル記憶部１２で記憶されている訓練ラベル情報で示される組合せに対応する合成音響モデルを生成するようにしてもよい。また、合成音響モデルの蓄積の際に、その訓練ラベル情報の示すラベル（例えば、「ｂｅｅｐ．ｔａｒｇｅｔ」等）を、合成音響モデルに対応付けて蓄積してもよい。
【００９４】
（ステップＳ１０４）ラベル言語モデル生成部１６は、ラベル記憶部１２で記憶されている訓練ラベル情報を用いて、ラベル言語モデルを生成し、ラベル言語モデル記憶部１８に蓄積する。
【００９５】
（ステップＳ１０５）ラベル言語モデル生成部１６は、辞書情報を生成し、辞書情報記憶部１７に蓄積する。そして、ステップＳ１０１に戻る。なお、この辞書情報は、前述のように、ラベルと、音声雑音音響モデルまたは合成音響モデルとを対応付けるものである。したがって、例えば、辞書情報は、音響モデルに対応付けられているラベルの情報と、ラベルの名称とを対応付ける情報であってもよい。その場合には、例えば、音響モデルに対応付けられているラベルの情報「ｂｅｅｐ」と、ラベルの名称「ｂｅｅｐ」とが辞書情報において対応付けられることになる。
【００９６】
（ステップＳ１０６）受付部１９は、雑音重畳音声データを受け付けたかどうか判断する。そして、受け付けた場合には、ステップＳ１０７に進み、そうでない場合には、ステップＳ１０１に戻る。
【００９７】
（ステップＳ１０７）ラベル認識部２０は、音声雑音音響モデル、合成音響モデル、ラベル言語モデル、辞書情報を用いて、雑音重畳音声データに対応するラベルを認識する。そして、その認識結果を図示しない記録媒体に蓄積する。
【００９８】
（ステップＳ１０８）パーティクルフィルタ雑音抑圧部２１は、認識されたラベルを用いて、雑音重畳音声データの雑音が抑圧されたクリーン音声データを生成する。この処理の詳細については、図５のフローチャートを用いて後述する。
【００９９】
（ステップＳ１０９）蓄積部２２は、雑音抑圧後のクリーン音声データを図示しない記録媒体に蓄積する。そして、ステップＳ１０１に戻る。
なお、図４のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【０１００】
図５は、図４のフローチャートにおける雑音抑圧（ステップＳ１０８）の処理の詳細を示すフローチャートである。
（ステップＳ２０１）モデル生成部１３は、まず、受け付けられた雑音重畳音声データから背景雑音の音響モデルを生成し、その背景雑音の音響モデルを音声雑音音響モデル記憶部１４に蓄積する。パーティクルフィルタ雑音抑圧部２１は、その背景雑音の音響モデルからのサンプリングを行う。背景雑音は、ラベル認識部２０がラベルを何も認識していない状態でバックグラウンドに含まれる雑音である。したがって、ビープ音やマシンノイズ、目的発声等の含まれていない雑音重畳音声データ、例えば、入力初期の雑音重畳音声データの所定数のフレームを用いて音響モデルを生成し、その音響モデルから前述の「（Ｉ）初期化」で説明したように背景雑音のサンプリングを行う。なお、モデル生成部１３は、背景雑音の音響モデルと、他の音響モデルや合成音響モデルとを合成した合成音響モデルを適宜、生成してもよい。
【０１０１】
（ステップＳ２０２）パーティクルフィルタ雑音抑圧部２１は、カウンタｔを１に設定する。
（ステップＳ２０３）パーティクルフィルタ雑音抑圧部２１は、雑音重畳音声データのフレームｔに対応するラベルを取得する。このラベルは、ラベル認識部２０によって認識されたラベルであり、パーティクルフィルタ手段３２、及び雑音成分算出手段３３において用いられるものである。
【０１０２】
（ステップＳ２０４）特徴量抽出手段３１は、雑音重畳音声データのフレームｔの特徴量を抽出する。本実施の形態では、特徴量抽出手段３１は、雑音重畳音声データのフレームｔをメルフィルタバンク分析することによって、対数メルスペクトルを生成する。
（ステップＳ２０５）パーティクルフィルタ手段３２は、フレームｔの特徴量に対して、パーティクルフィルタの処理を実行する。
【０１０３】
具体的には、取得されたフレームｔに対応するラベルが、目的発声の含まれることを示す場合には、音声データの音響モデルから、（１１）式のように音声パーティクルをサンプリングする。また、取得されたフレームｔに対応するラベルが、雑音の含まれることを示す場合には、その雑音に対応する音響モデルから、（１２）式のように雑音パーティクルをサンプリングする。また、音声パーティクルと、雑音パーティクルの両方をサンプリングした場合には、パーティクルフィルタ手段３２は、その両者を合成した雑音重畳音声パーティクルの組を生成する。その場合の総パーティクル数Ｋは、Ｋ＝Ｉ×Ｊ＋Ｉとなる。ここで、Ｉは音声パーティクルの個数で、Ｊは雑音パーティクルの個数である。また、右辺第２項の「Ｉ」は、背景雑音のパーティクルの個数である。
【０１０４】
また、パーティクルフィルタ手段３２は、すべてのパーティクルについて、拡張カルマンフィルタを用いた更新を行う。すなわち、パーティクルフィルタ手段３２は、各パーティクルについて、ｎｔ（ｋ）の平均＾ｎｔ（ｋ）と、分散＾Σｎｔ（ｋ）とを推定する。
【０１０５】
また、パーティクルフィルタ手段３２は、すべてのパーティクルについて、重みｗｔ（ｋ）∝ｗｔ−１（ｋ）ｐ（ｘｔ｜ｎｔ（ｋ））を計算する。ｗｔ−１（ｋ）は、１フレーム前で計算した値を用いる。また、ｐ（ｘｔ｜ｎｔ（ｋ））は、推定した平均＾ｎｔ（ｋ）と、分散＾Σｎｔ（ｋ）とを用いて計算することができる。また、パーティクルフィルタ手段３２は、その計算した重みｗｔ（ｋ）を正規化する。
【０１０６】
その後、パーティクルフィルタ手段３２は、Ｒｅｓｉｄｕａｌ  ｓａｍｐｌｉｎｇや、Ｍｅｔｒｏｐｏｌｉｓ−Ｈａｓｔｉｎｇｓ  ｓａｍｐｌｉｎｇを適用する。
【０１０７】
なお、このパーティクルフィルタの処理において、ステップＳ２０３で取得されたラベルが、１個前のフレーム、すなわち、フレーム（ｔ−１）のラベルと一致する場合には、パーティクルフィルタ手段３２は、音声パーティクルや雑音パーティクルのサンプリングを行わなくてもよい。すなわち、この場合には、パーティクルフィルタ手段３２は、１個前のフレームでの推定結果を用いて、パーティクルフィルタリングの処理を行うことになる。一方、ステップＳ２０３で取得されたラベルが、１個前のフレームのラベルと一致しない場合には、パーティクルフィルタ手段３２は、それまでのパーティクルを破棄して、前述のように（１１）式や（１２）式のように音声パーティクルや雑音パーティクルを適宜サンプリングして、パーティクルのサンプリングの処理を行うことになる。
【０１０８】
（ステップＳ２０６）雑音成分算出手段３３は、パーティクルフィルタ手段３２によって推定された各パーティクルの平均＾ｎｔ（ｋ）と、分散＾Σｎｔ（ｋ）と、各パーティクルの重みと、クリーンな音声データに応じた音声雑音音響モデルとを用いて、フレームｔに対応する雑音成分を算出する。
【０１０９】
具体的には、雑音成分算出手段３３は、（１５）式を用いて、雑音の事後分布を推定する。パーティクルフィルタ手段３２が算出した、正規化重み＾ｗｔ（ｋ）や、平均＾ｎｔ（ｋ）、分散＾Σｎｔ（ｋ）を用いることにより、雑音成分算出手段３３は、（１５）式の中央の式を求めることができる。
【０１１０】
次に、雑音成分算出手段３３は、（１７）式を算出する。（１７）式のうち、ｗｓ、ｌは、音声データに対応する音響モデルから得られる。また、μｘ、ｌ、Σｘ、ｌは、それぞれ各フレームのラベルに対応する音響モデルの平均ベクトル、共分散行列である。雑音については、（１５）式で算出しているため、ラベル認識部２０が認識したラベルによって、目的発声が含まれていないことが示される場合には、μｘ、ｌ、Σｘ、ｌは、（１５）式で算出した雑音の平均ベクトル、共分散行列に等しいことになる。一方、ラベル認識部２０が認識したラベルによって、目的発声が含まれることが示される場合には、（１５）式で算出した雑音モデルと、音声雑音音響モデル記憶部１４で記憶されている目的発声に対応する音響モデルとの合成モデルの平均ベクトル、共分散行列を算出する。その算出した平均ベクトル等がμｘ、ｌ、Σｘ、ｌとなる。
【０１１１】
また、雑音成分算出手段３３は、ラベル認識部２０が認識したラベルに応じた（４）式を用いて、ｇ（ｓｔ，ｌ，ｎｔ，ｌ）を算出する。（４）式右辺のμｘ、ｌについては、前述のようにして算出できる。また、（４）式右辺のμｓ、ｌは、目的発声に対応する音響データを用いて算出できる。このようにして、雑音成分算出手段３３は、（１６）式の右辺第２項を算出することができる。
【０１１２】
なお、図２において、雑音成分算出手段３３に音声雑音音響モデルが入力されるように記載しているが、厳密には、雑音成分算出手段３３が使用するのは、目的発声に対応した音響モデルのみである。
【０１１３】
なお、本実施の形態では、雑音成分を音声信号から除去する場合について説明するので、雑音成分算出手段３３は、算出した（１６）式の右辺第２項をインパルス応答（時間領域のパラメータ）に変換する。雑音成分算出手段３３は、例えば、メルスペクトルを線形スペクトルにマッピングして変換を行うＭＥＬ−ｗａｒｐｅｄ  ＩＤＣＴを用いてもよい（例えば、次の文献参照）。
【０１１４】
文献：Ｗ．Ｈｅｒｂｏｒｄｔ，Ｔ．Ｈｏｒｉｕｃｈｉ，Ｍ．Ｆｕｊｉｍｏｔｏ，Ｔ．Ｊｉｔｓｕｈｉｒｏ，Ｓ．Ｎａｋａｍｕｒａ，「Ｈａｎｄｓ−ｆｒｅｅ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ  ａｎｄ  ｃｏｍｍｕｎｉｃａｔｉｏｎ  ｏｎ  ＰＤＡｓ  ｕｓｉｎｇ  ｍｉｃｒｏｐｈｏｎｅ  ａｒｒａｙ  ｔｅｃｈｎｏｌｏｇｙ」、Ｐｒｏｃ．ｏｆ  ＡＳＲＵ２００５，ｐｐ．３０２−３０７、２００５
【０１１５】
（ステップＳ２０７）雑音抑圧手段３４は、雑音成分算出手段３３の算出した雑音成分を雑音重畳音声データから除去することにより、クリーン音声データを得る。例えば、雑音成分がインパルス応答で与えられる場合には、雑音抑圧手段３４は、そのインパルス応答を雑音重畳音声データのフレームｔに畳み込むことにより、クリーン音声データのフレームｔを得ることができる。このクリーン音声データのフレームｔは、蓄積部２２に渡されてもよく、あるいは、蓄積部２２に渡されるまで、図示しない記録媒体において一時的に記憶されていてもよい。
【０１１６】
（ステップＳ２０８）パーティクルフィルタ雑音抑圧部２１は、カウンタｔを１だけインクリメントする。
（ステップＳ２０９）パーティクルフィルタ雑音抑圧部２１は、雑音重畳音声データにフレームｔが存在するかどうか判断する。そして、存在する場合には、ステップＳ２０３に戻り、そうでない場合には、図４のフローチャートに戻る。
【０１１７】
なお、図４のフローチャートでは、雑音抑圧を行った後に、クリーン音声データを蓄積する場合について示しているが、図５のフローチャートで示されるように雑音抑圧の処理を行う場合には、雑音抑圧後のクリーン音声データのフレームを順次、蓄積部２２が蓄積するようにしてもよい。
【０１１８】
次に、本実施の形態による雑音抑圧装置１の動作について、具体例を用いて説明する。
図６は、ラベル記憶部１２で記憶されている訓練ラベル情報の一例を示す図である。この訓練ラベル情報は、ラベルと、そのラベルに対応する訓練データの時間とを対応付けて有する情報である。時間は、始端と終端が含まれている。図６における単位は秒である。この訓練ラベル情報によって、例えば、訓練データの０．５秒から０．８秒まではビープ音であり、訓練データの０．８秒から１．０秒まではビープ音と目的発声とが重畳されていることが示されている。
【０１１９】
訓練データ記憶部１１に訓練データが記憶されており、ラベル記憶部１２に訓練ラベル情報が記憶されている状況において、ユーザが図示しない入力デバイス（例えば、マウスやキーボード等）を操作することによって、モデルを生成する指示を雑音抑圧装置１に入力したとする。すると、モデル生成部１３は、モデルを生成するタイミングであると判断する（ステップＳ１０１）。そして、モデル生成部１３は、ラベル記憶部１２を参照しながら、一種類の音声データまたは一種類の雑音データに対応するラベルを特定する。そして、その特定したラベルに対応する時間を訓練ラベル情報から取得することにより、一種類の音声データの区間や、一種類の雑音データの区間を特定する。その後、モデル生成部１３は、その特定した区間に対応する音声雑音音響モデルをそれぞれ生成し、音声雑音音響モデル記憶部１４に蓄積する（ステップＳ１０２）。モデル生成部１３は、この蓄積の際に、音声雑音音響モデルに対応するラベルの名称に対応付けて、その音声雑音音響モデルを蓄積する。
【０１２０】
また、モデル生成部１３は、ラベル記憶部１２を参照しながら、二種類以上の音声データや雑音データに対応するラベルを特定する。そして、その特定したラベルに含まれる音声データや雑音データを特定し、その特定した音声データや雑音データにそれぞれ対応する音声雑音音響モデルを音声雑音音響モデル記憶部１４から読み出す。その後、モデル生成部１３は、その読み出した複数の音声雑音音響モデルを合成することによって、その特定したラベルに対応する合成音響モデルを生成し、合成音響モデル記憶部１５に蓄積する（ステップＳ１０３）。モデル生成部１３は、この蓄積の際に、合成音響モデルに対応するラベルの名称に対応付けて、その合成音響モデルを蓄積する。
【０１２１】
ラベル言語モデル生成部１６は、ラベル記憶部１２で記憶されている訓練ラベル情報を用いて、ラベルのＮグラムモデルを生成し、ラベル言語モデル記憶部１８に蓄積する（ステップＳ１０４）。また、ラベル言語モデル生成部１６は、訓練ラベル情報を用いて辞書情報も生成し、辞書情報記憶部１７に蓄積する（ステップＳ１０５）。この辞書情報は、図７で示されるようになる。図７において、辞書情報は、ラベルを識別する情報であるラベルの名称と、音響モデルを識別する情報とを対応付けて有する情報である。なお、音響モデルを識別する情報として、この具体例では、ラベルの名称を用いているため、両者は同じ情報となっている。
【０１２２】
次に、マイクロフォンで集音された雑音の重畳された音声が図示しないＡ／Ｄ変換器によってデジタル信号に変換されて蓄積され、その蓄積された一連の雑音重畳音声データが受付部１９で受け付けられたとする（ステップＳ１０６）。すると、ラベル認識部２０は、音声雑音音響モデル、合成音響モデル、辞書情報、ラベル言語モデル、すなわち、Ｎグラムモデルを用いて、音声認識と同様の手法によって、ラベル認識を行う（ステップＳ１０７）。例えば、図８で示されるように、ビープ音（ｂｅｅｐ）や、マシンノイズ（ｍａｃｈｉｎｅ  ｎｏｉｓｅ）、目的発声（ｔａｒｇｅｔ  ｕｔｔｅｒａｎｃｅ）等が重畳された雑音重畳音声データが受け付けられた場合には、「ｂｅｅｐ」や「ｂｅｅｐ．ｍａｃｈｉｎｅ」、「ｍａｃｈｉｎｅ」等のラベルが雑音重畳音声データの各区間に対して付与されることになる。なお、ラベル認識は、図９で示されるように、認識したラベルの名称と、そのラベルの時間とを対応付けて有する情報である認識ラベル情報を構成し、その認識ラベル情報を図示しない記録媒体において一時的に記憶してもよい。図９で示される認識ラベル情報における時間の単位は、フレームの番号である。
【０１２３】
次に、パーティクルフィルタ雑音抑圧部２１による雑音を抑圧する処理について説明する。まず、モデル生成部１３は、図８で示される一番左のビープ音よりも以前の区間の雑音重畳音声データから背景雑音の音響モデルを生成して、音声雑音音響モデル記憶部１４に蓄積する。また、パーティクルフィルタ雑音抑圧部２１は、その生成された音響モデルからのサンプリングを行う。次に、雑音成分算出手段３３は、フレーム１に対応するラベルの名称「ｂｅｅｐ」を、ラベル認識部２０が生成した認識ラベル情報から取得する（ステップＳ２０２，Ｓ２０３）。また、特徴量抽出手段３１は、雑音重畳音声データのフレーム１に対応する対数メルスペクトルを生成して、パーティクルフィルタ手段３２に渡す（ステップＳ２０４）。パーティクルフィルタ手段３２は、ビープ音に対応する音声雑音音響モデルを用いて、その音響モデルからのサンプリングを行う。この場合には、目的発声が含まれないため、目的発声に対応する音響モデルからのサンプリングは行われない。そして、パーティクルフィルタ手段３２は、背景雑音のパーティクルと、ビープ音のパーティクルとについて、拡張カルマンフィルタを用いた更新を行う。また、各パーティクルについて重みを算出して正規化する。その後、パーティクルフィルタ手段３２は、Ｒｅｓｉｄｕａｌ  ｓａｍｐｌｉｎｇや、Ｍｅｔｒｏｐｏｌｉｓ−Ｈａｓｔｉｎｇｓ  ｓａｍｐｌｉｎｇを適用する。
【０１２４】
次に、雑音成分算出手段３３は、パーティクルフィルタ手段３２によって推定された各パーティクルの平均＾ｎｔ（ｋ）と、分散＾Σｎｔ（ｋ）と、各パーティクルの重みと、クリーンな音声データに応じた音声雑音音響モデルとを用いて、雑音成分を算出する。この際に、このフレーム１には目的発声が含まれないため、（４）式の下側の式を用いて雑音成分を算出する（ステップＳ２０６）。また、その算出した雑音成分を、前述のようにＭＥＬ−ｗａｒｐｅｄ  ＩＤＣＴを用いることによって、インパルス応答に変換して、雑音抑圧手段３４に渡す。雑音抑圧手段３４は、雑音重畳音声データのフレーム１にインパルス応答を畳み込むことによって、クリーン音声データのフレーム１を生成して蓄積部２２に渡す（ステップＳ２０７）。このように、パーティクルフィルタ雑音抑圧部２１は、順次、各フレームに対するパーティクルフィルタを用いた雑音抑圧の処理を実行することになる（ステップＳ１０８，Ｓ２０３〜Ｓ２０９）。
【０１２５】
蓄積部２２は、パーティクルフィルタ雑音抑圧部２１から受け取ったクリーン音声データの各フレームを順次、図示しない記録媒体に蓄積していく（ステップＳ１０９）。このようにして、雑音重畳音声データに対する雑音抑圧の処理が行われて、クリーン音声データを得ることができる。このクリーン音声データは、例えば、ユーザが聞くために用いられてもよく、あるいは、後述する実施の形態２で説明するように、音声認識の処理のために用いられてもよく、あるいは、他の処理のために用いられてもよい。
【０１２６】
以上のように、本実施の形態による雑音抑圧装置１によれば、複数モデル合成を用いて雑音重畳音声データの最尤ラベル系列を取得し、そのラベル系列に応じて複数モデル合成に拡張した雑音抑圧処理を行うことによって、突発的に新たな種類の雑音が入力された場合にも、認識されたラベルによって、その突発的な雑音の種類を特定することができ、その突発的に入力された雑音も適切に抑制することができる。これは、パーティクルフィルタのみを用いた雑音抑制手法では、実現できなかったことである。また、パーティクルフィルタを用いることによって、入力された雑音重畳音声データから得られる情報をも用いて動的に雑音推定を行うことができるため、雑音の変動にも対応することができるようになる。これは、前述の非特許文献６，７で示される従来の雑音抑制手法では、実現できなかったことである。このように、本実施の形態による雑音抑圧装置１は、突発的な新たな雑音の入力と、雑音の変動に適切に対応することができる。なお、具体的な実験結果については、実施の形態２において説明する。
【０１２７】
（実施の形態２）
本発明の実施の形態２による音声認識装置について、図面を参照しながら説明する。本実施の形態による音声認識装置は、実施の形態１による雑音抑圧装置を備え、その雑音抑圧装置による雑音抑圧後のクリーン音声データに対して、音声認識処理を行うものである。
【０１２８】
図１０は、本実施の形態による音声認識装置２の構成を示すブロック図である。本実施の形態による音声認識装置２は、実施の形態１による雑音抑圧装置１の各構成要素に加えて、音声認識用音響モデル記憶部４１と、言語モデル記憶部４２と、音声認識用辞書情報記憶部４３と、音声認識部４４と、出力部４５とを備える。このように、本実施の形態による音声認識装置２は、実施の形態１による雑音抑圧装置１を含んでいることになる。なお、音声認識用音響モデル記憶部４１、言語モデル記憶部４２、音声認識用辞書情報記憶部４３、音声認識部４４、出力部４５以外の構成及び動作は、実施の形態１と同様であり、その説明を省略する。
【０１２９】
音声認識用音響モデル記憶部４１では、音声認識の対象となる音声データに関する音響モデルが記憶される。なお、この音響モデルは、音声認識用のものである。音声認識用の音響モデルは、すでに公知であり、その詳細な説明を省略する。音声認識用音響モデル記憶部４１に音響モデルが記憶される過程は問わない。例えば、記録媒体を介して音響モデルが音声認識用音響モデル記憶部４１で記憶されるようになってもよく、あるいは、通信回線等を介して送信された音響モデルが音声認識用音響モデル記憶部４１で記憶されるようになってもよい。
【０１３０】
音声認識用音響モデル記憶部４１での記憶は、外部のストレージデバイス等から読み出した音響モデルのＲＡＭ等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。音声認識用音響モデル記憶部４１は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。
【０１３１】
言語モデル記憶部４２では、音声認識の認識対象言語に関する言語モデルが記憶される。この言語モデルは、音声認識用のものであり、例えば、バイグラムの言語モデルや、トライグラムの言語モデル等である。音声認識用の言語モデルは、すでに公知であり、その詳細な説明を省略する。言語モデル記憶部４２に言語モデルが記憶される過程は問わない。例えば、記録媒体を介して言語モデルが言語モデル記憶部４２で記憶されるようになってもよく、あるいは、通信回線等を介して送信された言語モデルが言語モデル記憶部４２で記憶されるようになってもよい。
【０１３２】
言語モデル記憶部４２での記憶は、外部のストレージデバイス等から読み出した言語モデルのＲＡＭ等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。言語モデル記憶部４２は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。
【０１３３】
音声認識用辞書情報記憶部４３では、音声認識で用いる音声認識用辞書情報が記憶される。音声認識用辞書情報は、例えば、音素列と単語とを対応付ける情報である。音声認識用の辞書情報は、すでに公知であり、その詳細な説明を省略する。音声認識用辞書情報記憶部４３に情報が記憶される過程は問わない。例えば、記録媒体を介して音声認識用辞書情報が音声認識用辞書情報記憶部４３で記憶されるようになってもよく、あるいは、通信回線等を介して送信された音声認識用辞書情報が音声認識用辞書情報記憶部４３で記憶されるようになってもよい。
【０１３４】
音声認識用辞書情報記憶部４３での記憶は、外部のストレージデバイス等から読み出した音声認識用辞書情報のＲＡＭ等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。音声認識用辞書情報記憶部４３は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。
【０１３５】
なお、訓練データ記憶部１１、ラベル記憶部１２、音声雑音音響モデル記憶部１４、合成音響モデル記憶部１５、辞書情報記憶部１７、ラベル言語モデル記憶部１８、蓄積部２２がクリーン音声データを蓄積する図示しない記録媒体、音声認識用音響モデル記憶部４１、言語モデル記憶部４２、音声認識用辞書情報記憶部４３のうち、任意の２以上の記録媒体は、同一の記録媒体によって実現されてもよく、別々の記録媒体によって実現されてもよい。
【０１３６】
音声認識部４４は、雑音抑圧装置１が生成したクリーン音声データを、音響モデル、音声認識用辞書情報、及び、言語モデルを用いて音声認識する。この音声認識の処理は、すでに公知であり、その詳細な説明を省略する。音声認識の処理については、例えば、次の文献を参照されたい。
文献：鹿野清宏、河原達也、山本幹雄、伊藤克亘、武田一哉、「ＩＴ  Ｔｅｘｔ  音声認識システム」、オーム社、２００１年
【０１３７】
出力部４５は、音声認識部４４による音声認識結果を出力する。この音声認識結果は、例えば、テキストデータである。ここで、この出力は、例えば、表示デバイス（例えば、ＣＲＴや液晶ディスプレイなど）への表示でもよく、所定の機器への通信回線を介した送信でもよく、プリンタによる印刷でもよく、記録媒体への蓄積でもよく、他の構成要素への引き渡しでもよい。なお、出力部４５は、出力を行うデバイス（例えば、表示デバイスやプリンタなど）を含んでもよく、あるいは含まなくてもよい。また、出力部４５は、ハードウェアによって実現されてもよく、あるいは、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
【０１３８】
次に、本実施の形態による雑音抑圧装置の動作について、図１１のフローチャートを用いて説明する。なお、図１１のフローチャートにおいて、ステップＳ３０１〜Ｓ３０３以外の処理は、実施の形態１の図４のフローチャートと同様であり、その説明を省略する。
【０１３９】
（ステップＳ３０１）音声認識部４４は、音声認識処理を行うタイミングかどうか判断する。そして、音声認識処理を行うタイミングである場合には、ステップＳ３０２に進み、そうでない場合には、ステップＳ１０１に戻る。
【０１４０】
（ステップＳ３０２）音声認識部４４は、音声認識用音響モデル記憶部４１で記憶されている音響モデル、言語モデル記憶部４２で記憶されている言語モデル、音声認識用辞書情報記憶部４３で記憶されている音声認識用辞書情報を用いて、蓄積部２２が蓄積したクリーン音声データに対する音声認識処理を行う。
【０１４１】
（ステップＳ３０３）出力部４５は、音声認識部４４が音声認識処理を行った音声認識結果を出力する。そして、ステップＳ１０１に戻る。
なお、図１１のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【０１４２】
また、音声認識処理の具体例は、すでに公知であり、音声認識処理以外の具体例は実施の形態１と同様であるため、音声認識装置２の動作の具体例の説明を省略する。
【０１４３】
次に、本実施の形態による音声認識装置２の実験例について説明する。この実験例では、ある病院において看護師が実作業を行いつつ録音したデータを、訓練データ、及び雑音重畳音声データとして用いた。具体的には、初日分のデータを雑音重畳音声データとし、２日目分をモデル学習のために用いる訓練データとした。なお、訓練データに対応する訓練ラベル情報は、訓練データをもとに人手によって作成したものである。
【０１４４】
図１２は、詳細な実験条件を示す表である。訓練データ、及び雑音重畳音声データに含まれるデータは、１０秒間の長さであり、目的発話を含むものである。そのデータは、病院にてサンプリング周波数３２ｋＨｚ、１６ｂｉｔで収録後、１６ｋＨｚにダウンサンプリングした。勤務シフトの関係で、訓練データの評価話者は女性８名となった。音声認識器などのツールには、ＡＴＲ音声言語コミュニケーション研究所で開発されたＡＴＲＡＳＲ大語彙音声認識システムＶｅｒ．３．６を用いた。雑音抑圧で用いる特徴量の抽出やＧＭＭの学習にはＨＴＫ  Ｖｅｒ．３．３を用いた。特徴量としては、２４次対数メルフィルタバンクの出力（ＦＢＡＮＫ）を用いた。雑音ラベル認識には、ＦＢＡＮＫモデルから変換して得たＭＦＣＣモデルを用いた。クリーン音声モデルとして、話者適応ＧＭＭを用いた。その他の音声や雑音モデルには、４，８，１２混合分布を持つＧＭＭを用いた。共分散行列として、すべて対角共分散行列を用いた。学習データから３２種類の雑音モデルが得られ、合成モデルも含むモデルの合成数は１９４であった。合成モデルにおいて、一つのモデルに合成されたモデルの数は最大３個であった。また、背景雑音は、各雑音重畳音声データに対して推定され、すべてのモデルに合成された。これら１９４モデルをマルチラベル辞書のエントリーとした。未知マルチラベル率は、３．７７％であった。
【０１４５】
また、パーティクルフィルタに関して、従来法（前述の非特許文献５参照）では、３００パーティクルを用い、本実施の形態による手法では１１０パーティクルを用いた。これは雑音抑圧処理がほぼ同程度となる設定である（Ｉｎｔｅｌ  Ｐｅｎｔｉｕｍ（登録商標）−Ｄ３．２ＧＨｚでの計測でＲｅａｌ  Ｔｉｍｅ  Ｆａｃｔｏｒが約２．５である）。本実施の形態による手法では、雑音ラベル認識の処理時間も含んでいる。音声認識器などのツールには、ＡＴＲ音声言語コミュニケーション研究所で開発されたＡＴＲＡＳＲ大語彙音声認識システムＶｅｒ．３．６を用いた。音声認識用音響モデルの構造学習には、ＭＤＬ−ＳＳＳ（次の文献１参照）を用いた。この実験では話者が女性だけのため、再学習で作成した５混合分布の女声モデルのみを用いた。話者適応手法として、音声認識系音響モデルにはＭＡＰ−ＶＦＳ（次の文献２参照）を用いた。
【０１４６】
文献１：Ｔ．Ｊｉｔｓｕｈｉｒｏ，Ｔ．Ｍａｔｓｕｉ，Ｓ．Ｎａｋａｍｕｒａ，「Ａｕｔｏｍａｔｉｃ  ｇｅｎｅｒａｔｉｏｎ  ｏｆ  ｎｏｎ−ｕｎｉｆｏｒｍ  ＨＭＭ  ｔｏｐｏｌｏｇｉｅｓ  ｂａｓｅｄ  ｏｎ  ｔｈｅ  ＭＤＬ  ｃｒｉｔｅｒｉｏｎ」、ＩＥＩＣＥ  Ｔｒａｎｓ．ｏｎ  Ｉｎｆｏｒｍａｔｉｏｎ  ａｎｄ  Ｓｙｓｔｅｍｓ，ｖｏｌ．Ｅ８７−Ｄ，ｎｏ．８，ｐ．２１２１−２１２９，２００４
【０１４７】
文献２：Ｍ．Ｔｏｎｏｍｕｒａ，Ｔ．Ｋｏｓａｋａ，Ｓ．Ｍａｔｓｕｎａｇａ，「Ｓｐｅａｋｅｒ  ａｄａｐｔａｔｉｏｎ  ｂａｓｅｄ  ｏｎ  ｔｒａｎｓｆｅｒ  ｖｅｃｔｏｒ  ｆｉｅｌｄ  ｓｍｏｏｔｈｉｎｇ  ｕｓｉｎｇ  ｍａｘｉｍｕｍ  ａ  ｐｏｓｔｅｒｉｏｒｉ  ｐｒｏｂａｂｉｌｉｔｙ  ｅｓｔｉｍａｔｉｏｎ」、Ｃｏｍｐｕｔｅｒ  Ｓｐｅｅｃｈ  ａｎｄ  Ｌａｎｇｕａｇｅ，ｖｏｌ．１０，ｐ．１１７−１３２，１９９６
【０１４８】
図１３は、ラベル認識を行う雑音抑制手法（ＭＭ−ＮＳ法）で用いた雑音抑圧用モデルの総分布数の評価話者に対する平均を示している。図１３から、分布数は各雑音モデルの混合数に対して指数関数的に増加することが分かる。この実験例で用いた音声認識用の音響モデルに含まれる総分布数が１０，４６０であることを考えると、それぞれ大変大きな分布数であるといえる。
【０１４９】
図１４に従来法と、本実施の形態による手法の単語認識率を示す。「ＳＭ−ＮＳ」は雑音モデルとして単一分布を用いた「Ｓｉｎｇｌｅ−Ｍｏｄｅｌ  Ｎｏｉｓｅ  Ｓｕｐｐｒｅｓｓｉｏｎ」手法を示す。この単一分布としては各入力音声の開始１００ｍｓから推定されたものを用いた。「ＰＦ」はパーティクルフィルタを用いた従来法（非特許文献５参照）を示す。この方法は、このタスクではｂａｓｅｌｉｎｅよりよい精度を得られなかった。多くの挿入エラーが生じたためであり、突発的な雑音に対して追跡することが困難であると考えられる。「ＰＦ−ＭＭ−ＮＳ（４ｍｉｘ．）」、「ＰＦ−ＭＭ−ＮＳ（８ｍｉｘ．）」、「ＰＦ−ＭＭ−ＮＳ（１２ｍｉｘ．）」は、それぞれ提案法において、各雑音モデルの混合分布数が４、８、１２である場合を示す。これらのパターンは同じモデルを用いた従来法のＭＭＮＳ、「ＭＭ−ＮＳ（４ｍｉｘ．）」、「ＭＭ−ＮＳ（８ｍｉｘ．）」、「ＭＭ−ＮＳ（１２ｍｉｘ．）」、それぞれの精度を１％程度、上回った。「ＰＦ−ＭＭ−ＮＳ（１２ｍｉｘ．）」はｂａｓｅｌｉｎｅに対し、１２．３％のエラー改善率を得た。また、「ＰＦ−ＭＭ−ＮＳ（４ｍｉｘ．）」と「ＭＭ−ＮＳ（８ｍｉｘ．）」、あるいは、「ＰＦ−ＭＭ−ＮＳ（８ｍｉｘ．）」と「ＭＭ−ＮＳ（１２ｍｉｘ．）」との比較では、本実施の形態による手法が同程度の性能を少ない分布数（それぞれ、２８％、４６％）で得られることが分かった。
【０１５０】
次に、より詳細に提案法の効果を見るために、中間的な処理パターンを２つ評価した。１つは、ラベル認識を行う雑音抑圧手法における音声区間検出だけの効果を見るために、ラベル認識による音声区間検出を行い、音声区間以外では雑音抑圧処理を行うが、音声区間では何もしない、つまり、雑音抑圧を行わない場合「ＭＭ−ＮＳ（４ｍｉｘ．、ＶＡＤ  ｏｎｌｙ）」である。もう１つは、本実施の形態による手法「ＰＦ−ＭＭ−ＮＳ（４ｍｉｘ．）」のパーティクルフィルタにおいて、雑音に応じたパーティクルを用いない、すなわち、背景雑音モデルから得たパーティクルのみで逐次雑音を推定・抑圧する場合「ＰＦ（ＢＧ）−ＭＭＮＳ（４ｍｉｘ．）」である。なお、このときのパーティクル数は提案法「ＰＦ−ＭＭ−ＮＳ（４ｍｉｘ．）」と同じ１１０とした。
【０１５１】
図１５に、それぞれのパターンに対する単語認識率を示す。上記の２つ以外は図１４に含まれるものと同じ結果である。「ＭＭ−ＮＳ（４ｍｉｘ．、ＶＡＤ  ｏｎｌｙ）」では、音声区間検出を行うことで「Ｂａｓｅｌｉｎｅ（ｗ／ｏ  ＮＳ）」からの改善があったが、雑音抑圧処理を行う「ＭＭＮＳ（４ｍｉｘ．）」よりは精度が低かった。複数モデルによる雑音抑圧の効果があることがわかる。「ＰＦ（ＢＧ）−ＭＭ−ＮＳ（４ｍｉｘ．）」は逐次雑音推定を行うことで、「ＭＭ−ＮＳ（４ｍｉｘ．）」に若干上回る精度を得たが、提案法「ＰＦ−ＭＭ−ＮＳ（４ｍｉｘ．）」には及ばなかった。パーティクルフィルタにおいて、雑音種類に応じたモデルをパーティクルの事前分布として用いる効果があるといえる。
【０１５２】
このように、従来提案されてきた複数モデル雑音抑圧手法（Ｍｕｌｔｉ−Ｍｏｄｅｌ  Ｎｏｉｓｅ  Ｓｕｐｐｒｅｓｓｉｏｎ、ＭＭ−ＮＳ）では、実環境で音声データと同時に収録される複数種類の雑音を扱うことが可能である。しかし、あらかじめ学習データから得られた雑音モデルやその組合せで得られる合成モデルを元に雑音抑圧をするため、学習データで得られない組合せや未知の雑音分布に対して対応することができなかった。そこで、本実施の形態による手法では、パーティクルフィルタに基づく複数モデル雑音抑圧手法を提案した。そのパーティクルフィルタを用いることにより、入力された雑音重畳音声データから雑音分布を推定することができる。ただし、突発的な雑音に対応するために、ラベル認識結果を利用し、新たな雑音が検出されたら、その雑音モデルを事前分布として新たなパーティクルをサンプリングする。同じ種類の雑音が継続するうちは拡張カルマンフィルタにより推定し、検出できなくなったら、そのパーティクルは消去する。これにより、学習データから得られた先験的知識を利用し、かつ、雑音重畳音声データから得られる情報を用い、動的に雑音推定を行うことが可能になる。実験結果から、本実施の形態による手法は、同じ雑音モデルを用いた従来型のラベル認識を行う雑音抑圧手法より高い精度を得ることができることがわかった。また、詳細な比較実験により、ラベル認識を行う雑音抑圧手法での音声区間検出による効果、複数雑音モデルを用いる効果、パーティクルの事前分布として雑音に応じたモデルを用いる効果を示すことができた。
【０１５３】
以上のように、本実施の形態による音声認識装置２によれば、実施の形態１で説明した雑音抑圧装置１によって雑音を抑圧したクリーン音声データを用いて音声認識を行うため、より高い単語認識率を得ることができる。
【０１５４】
なお、本実施の形態において、音声認識装置２が蓄積部２２を備えた構成について説明したが、音声認識装置２は、蓄積部２２を備えず、雑音抑圧されたクリーン音声データを音声認識部４４に直接渡してもよい。
【０１５５】
また、上記各実施の形態において、雑音抑圧装置１や音声認識装置２は、訓練データ記憶部１１、ラベル記憶部１２、モデル生成部１３、ラベル言語モデル生成部１６を備えていなくてもよい。雑音抑圧装置１等がそれらの構成要素を含まない場合には、例えば、装置外部において訓練データや訓練ラベル情報に基づいて、音声雑音音響モデルや合成音響モデルや、合成音響モデル、ラベル言語モデル、辞書情報が生成され、その生成されたモデル等が音声雑音音響モデル記憶部１４や合成音響モデル記憶部１５、辞書情報記憶部１７、ラベル言語モデル記憶部１８に蓄積されるものとする。各記憶部にモデル等が記憶される過程は問わない。ただし、合成音響モデルの生成は、雑音抑圧装置１等において行われてもよい。その場合には、雑音抑圧装置１等はモデル生成部１３を備えており、そのモデル生成部１３は、音声雑音音響モデル記憶部１４で記憶されている音声雑音音響モデルを合成することによって、合成音響モデルを生成し、合成音響モデル記憶部１５に蓄積する処理を行うことになる。また、ラベル言語モデルの一部または全部は、前述のように、人手によって生成されたものであってもよい。
【０１５６】
また、上記各実施の形態において、ラベル言語モデルを用いてラベルの認識を行う場合について説明したが、ラベル言語モデルを用いないでラベルの認識を行ってもよい。いわゆる、「ノー・グラマー（Ｎｏ  Ｇｒａｍｍａｒ）」と呼ばれる方法である。その場合には、雑音抑圧装置１や音声認識装置２は、ラベル言語モデル記憶部１８を備えていなくてもよく、ラベル認識部２０は、ラベル言語モデルを用いないでラベルの認識を行ってもよい。
【０１５７】
また、上記各実施の形態では、雑音抑圧装置１や音声認識装置２がスタンドアロンである場合について説明したが、雑音抑圧装置１や音声認識装置２は、スタンドアロンの装置であってもよく、サーバ・クライアントシステムにおけるサーバ装置であってもよい。後者の場合には、出力部や受付部は、通信回線を介して入力を受け付けたり、画面を出力したりすることになる。
【０１５８】
また、上記各実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、あるいは、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。
【０１５９】
また、上記各実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりした情報や、各構成要素が処理で用いるしきい値や数式、アドレス等の情報等は、上記説明で明記していない場合であっても、図示しない記録媒体において、一時的に、あるいは長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、あるいは、図示しない蓄積部が行ってもよい。また、その図示しない記録媒体からの情報の読み出しを、各構成要素、あるいは、図示しない読み出し部が行ってもよい。
【０１６０】
また、上記各実施の形態において、雑音抑圧装置１や音声認識装置２に含まれる２以上の構成要素が通信デバイスや入力デバイス等を有する場合に、２以上の構成要素が物理的に単一のデバイスを有してもよく、あるいは、別々のデバイスを有してもよい。
【０１６１】
また、上記各実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。なお、上記実施の形態における雑音抑圧装置１を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、雑音の重畳されている音声データである雑音重畳音声データを受け付ける受付部と、訓練用の音声データと訓練用の雑音データとを含む訓練データに含まれる一種類の音声データまたは一種類の雑音データの音響モデルである音声雑音音響モデルが複数記憶される音声雑音音響モデル記憶部で記憶されている音声雑音音響モデル、前記訓練データに含まれる音声データと雑音データのうちの二種類以上が合成された音響モデルである合成音響モデルが記憶される合成音響モデル記憶部で記憶されている合成音響モデル、前記訓練データにおいて重畳されている音声と雑音の種類を識別する情報であるラベルと前記音声雑音音響モデルまたは前記合成音響モデルとを対応付ける情報である辞書情報が記憶される辞書情報記憶部で記憶されている辞書情報を用いて、前記雑音重畳音声データに対応するラベルをフレームごとに認識するラベル認識部と、前記ラベル認識部が認識したラベルに応じた音響モデルからパーティクルをサンプリングし、当該サンプリングしたパーティクルを更新することによって、前記雑音重畳音声データの雑音が抑圧されたクリーン音声データを生成するパーティクルフィルタ雑音抑圧部として機能させるためのものである。
【０１６２】
なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を受け付ける受付部や、情報を出力する出力部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には少なくとも含まれない。
【０１６３】
また、このプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭなどの光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。
【０１６４】
また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【０１６５】
図１６は、上記プログラムを実行して、上記実施の形態による雑音抑圧装置、音声認識装置を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現される。
【０１６６】
図１６において、コンピュータシステム１００は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）ドライブ１０５、ＦＤ（Ｆｌｅｘｉｂｌｅ  Ｄｉｓｋ）ドライブ１０６を含むコンピュータ１０１と、キーボード１０２と、マウス１０３と、モニタ１０４とを備える。
【０１６７】
図１７は、コンピュータシステムを示す図である。図１７において、コンピュータ１０１は、ＣＤ−ＲＯＭドライブ１０５、ＦＤドライブ１０６に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１１２と、ＣＰＵ１１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク１１４と、ＣＰＵ１１１、ＲＯＭ１１２等を相互に接続するバス１１５とを備える。なお、コンピュータ１０１は、ＬＡＮへの接続を提供する図示しないネットワークカードを含んでいてもよい。
【０１６８】
コンピュータシステム１００に、上記実施の形態による雑音抑圧装置、音声認識装置の機能を実行させるプログラムは、ＣＤ−ＲＯＭ１２１、またはＦＤ１２２に記憶されて、ＣＤ−ＲＯＭドライブ１０５、またはＦＤドライブ１０６に挿入され、ハードディスク１１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ１０１に送信され、ハードディスク１１４に記憶されてもよい。プログラムは実行の際にＲＡＭ１１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ１２１やＦＤ１２２、またはネットワークから直接、ロードされてもよい。
【０１６９】
プログラムは、コンピュータ１０１に、上記実施の形態による雑音抑圧装置、音声認識装置の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム１００がどのように動作するのかについては周知であり、詳細な説明は省略する。
【０１７０】
また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【０１７１】
以上より、本発明による雑音抑圧装置等によれば、雑音が重畳された音声から雑音を除去することができ、雑音抑圧装置や音声認識装置等として有用である。
【図面の簡単な説明】
【０１７２】
【図１】本発明の実施の形態１による雑音抑圧装置の構成を示すブロック図
【図２】同実施の形態による雑音抑圧装置のパーティクルフィルタ雑音抑圧部の構成を示すブロック図
【図３】同実施の形態による雑音抑圧装置のパーティクルフィルタリングの概要を説明するための図
【図４】同実施の形態による雑音抑圧装置の動作を示すフローチャート
【図５】同実施の形態による雑音抑圧装置の動作を示すフローチャート
【図６】同実施の形態における訓練ラベル情報の一例を示す図
【図７】同実施の形態における辞書情報の一例を示す図
【図８】同実施の形態におけるラベル認識について説明するための図
【図９】同実施の形態におけるラベル認識の結果の一例を示す図
【図１０】本発明の実施の形態２による音声認識装置の構成を示すブロック図
【図１１】同実施の形態による音声認識装置の動作を示すフローチャート
【図１２】同実施の形態における実験条件の一例を示す図
【図１３】同実施の形態における雑音モデルでの平均総分布数について説明するための図
【図１４】同実施の形態における単語認識率の結果の一例を示す図
【図１５】同実施の形態におけるＰＦ−ＭＭ−ＮＳ法の効果の比較について説明するための図
【図１６】同実施の形態におけるコンピュータシステムの外観一例を示す模式図
【図１７】同実施の形態におけるコンピュータシステムの構成の一例を示す図
【符号の説明】
【０１７３】
１  雑音抑圧装置
２  音声認識装置
１１  訓練データ記憶部
１２  ラベル記憶部
１３  モデル生成部
１４  音声雑音音響モデル記憶部
１５  合成音響モデル記憶部
１６  ラベル言語モデル生成部
１７  辞書情報記憶部
１８  ラベル言語モデル記憶部
１９  受付部
２０  ラベル認識部
２１  パーティクルフィルタ雑音抑圧部
２２  蓄積部
３１  特徴量抽出手段
３２  パーティクルフィルタ手段
３３  雑音成分算出手段
３４  雑音抑圧手段
４１  音声認識用音響モデル記憶部
４２  言語モデル記憶部
４３  音声認識用辞書情報記憶部
４４  音声認識部
４５  出力部
【図１】
2009139894.tif 000015
【図２】
2009139894.tif 000016
【図３】
2009139894.tif 000017
【図４】
2009139894.tif 000018
【図５】
2009139894.tif 000019
【図６】
2009139894.tif 000020
【図７】
2009139894.tif 000021
【図８】
2009139894.tif 000022
【図９】
2009139894.tif 000023
【図１０】
2009139894.tif 000024
【図１１】
2009139894.tif 000025
【図１２】
2009139894.tif 000026
【図１３】
2009139894.tif 000027
【図１６】
2009139894.tif 000028
【図１７】
2009139894.tif 000029
【図１４】
2009139894.tif 000030
【図１５】
2009139894.tif 000031