(57)【特許請求の範囲】
【請求項１】
音声信号と雑音信号とが混合された観測信号の時系列データを入力として、各時刻及び各周波数の観測時間周波数成分を表す観測スペクトログラムを出力する時間周波数展開部と、
前記時間周波数展開部により出力された前記観測スペクトログラム、予め学習された音声信号の各基底及び各周波数におけるパワースペクトルを表す基底スペクトル、及びケプストラム空間で定義される、予め学習された音声信号のケプストラム特徴量の確率分布を表わすパラメータに基づいて、
各時刻及び各周波数の観測時間周波数成分と、前記音声信号の基底スペクトル、及び前記音声信号の各時刻におけるパワーを表すアクティベーションパラメータから求められる各時刻及び各周波数の時間周波数成分、並びに前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータから求められる各時刻及び各周波数の時間周波数成分の和との距離、及び
前記音声信号のケプストラム特徴量の確率分布に基づく、前記音声信号の前記基底スペクトル及び前記アクティベーションパラメータから求められる各時刻及び各周波数の時間周波数成分のケプストラム特徴量の尤もらしさを表す正則化項
を用いて表される規準を小さくするように、前記音声信号の前記アクティベーションパラメータと、前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータとを推定するパラメータ推定部と、
を含む信号解析装置。
【請求項２】
前記規準は、以下の式で表わされる請求項１記載の信号解析装置。
【数１】
0006521886.tif 000061
ただし、Ｕ(s)は、前記音声信号の前記アクティベーションパラメータを表し、Ｈ(n)は、前記雑音信号の前記基底スペクトルを表し、Ｕ(n)は、前記雑音信号の前記アクティベーションパラメータを表し、Ｙは、前記観測スペクトログラムであり、Ｘは、前記音声信号の前記基底スペクトル及び前記アクティベーションパラメータＵ(s)から求められる各周波数の時間周波数成分Ｘ(s)、並びに前記雑音信号の基底スペクトルＨ(n)及び前記アクティベーションパラメータＵ(n)から求められる各周波数の時間周波数成分の和を表し、
【数２】
0006521886.tif 000062
は、前記観測スペクトログラムＹと前記和Ｘとの距離を表し、
【数３】
0006521886.tif 000063
は、前記音声信号の基底スペクトル及び前記アクティベーションパラメータＵ(s)から求められる各周波数の時間周波数成分Ｘ(s) のケプストラム特徴量の尤もらしさを表し、λは、正則化パラメータである。
【請求項３】
前記パラメータ推定部は、
前記規準の上界関数である補助関数を小さくするように、前記音声信号の前記アクティベーションパラメータと、前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータとを更新するパラメータ更新部と、
予め定められた収束条件を満たすまで、前記パラメータ更新部による更新を繰り返させる収束判定部と、
を含む請求項１又は２記載の信号解析装置。
【請求項４】
時間周波数展開部と、パラメータ推定部とを含む信号解析装置における信号解析方法であって、
前記時間周波数展開部が、音声信号と雑音信号とが混合された観測信号の時系列データを入力として、各時刻及び各周波数の観測時間周波数成分を表す観測スペクトログラムを出力し、
前記パラメータ推定部が、前記時間周波数展開部により出力された前記観測スペクトログラム、予め学習された音声信号の各基底及び各周波数におけるパワースペクトルを表す基底スペクトル、及びケプストラム空間で定義される、予め学習された音声信号のケプストラム特徴量の確率分布を表わすパラメータに基づいて、
各時刻及び各周波数の観測時間周波数成分と、前記音声信号の基底スペクトル、及び前記音声信号の各時刻におけるパワーを表すアクティベーションパラメータから求められる各時刻及び各周波数の時間周波数成分、並びに前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータから求められる各時刻及び各周波数の時間周波数成分の和との距離、及び
前記音声信号のケプストラム特徴量の確率分布に基づく、前記音声信号の前記基底スペクトル及び前記アクティベーションパラメータから求められる各時刻及び各周波数の時間周波数成分のケプストラム特徴量の尤もらしさを表す正則化項
を用いて表される規準を小さくするように、前記音声信号の前記アクティベーションパラメータと、前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータとを推定する
信号解析方法。
【請求項５】
前記規準は、以下の式で表わされる請求項４記載の信号解析方法。
【数４】
0006521886.tif 000064
ただし、Ｕ(s)は、前記音声信号の前記アクティベーションパラメータを表し、Ｈ(n)は、前記雑音信号の前記基底スペクトルを表し、Ｕ(n)は、前記雑音信号の前記アクティベーションパラメータを表し、前記Ｙは、前記観測スペクトログラムであり、Ｘは、前記音声信号の前記基底スペクトル及び前記アクティベーションパラメータＵ(s)から求められる各周波数の時間周波数成分Ｘ(s)、並びに前記雑音信号の基底スペクトルＨ(n)及び前記アクティベーションパラメータＵ(n)から求められる各周波数の時間周波数成分の和を表し、
【数５】
0006521886.tif 000065
は、前記観測スペクトログラムＹと前記和Ｘとの距離を表し、
【数６】
0006521886.tif 000066
は、前記音声信号の基底スペクトル及び前記アクティベーションパラメータＵ(s)から求められる各周波数の時間周波数成分Ｘ(s) のケプストラム特徴量の尤もらしさを表し、λは、正則化パラメータである。
【請求項６】
前記パラメータ推定部が推定することでは、
パラメータ更新部が、前記規準の上界関数である補助関数を小さくするように、前記音声信号の前記アクティベーションパラメータと、前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータとを更新し、
収束判定部が、予め定められた収束条件を満たすまで、前記パラメータ更新部による更新を繰り返させることを含む請求項４又は５記載の信号解析方法。
【請求項７】
請求項１〜請求項３の何れか１項に記載の信号解析装置の各部としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号解析装置、方法、及びプログラムに係り、特に、パラメータを推定する信号解析装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
本発明は音声信号から雑音を抑圧する問題を扱う。音声信号に混入する雑音は音声通信の品質を劣化させるだけでなく音声認識や音声変換などのさまざまな音声処理の性能低下を招く。この問題を解決するためこれまでさまざまな音声強調手法が提案されてきた。
【０００３】
音声強調手法は教師なしアプローチ、教師ありアプローチ、半教師ありアプローチに大別される。
【０００４】
教師ありアプローチは対象音声と対象雑音のサンプルが事前に得られる状況、半教師ありアプローチは対象音声のサンプルのみが事前に得られる状況、教師なしアプローチはいずれも得られない状況をそれぞれ想定した音声強調手法である。また、強調する対象が信号（またはスペクトル）の場合と特徴量の場合とでも大別される。教師あり特徴量強調アプローチの代表例としてはVector Taylor Series (VTS)法、Stereo Piecewise Linear Compensation for Environment (SPLICE)、Denoising Autoencoder (DAE)を用いた手法などがある。
【０００５】
VTS法は、音声と雑音の線形な重畳過程を特徴量空間で１次近似することにより雑音あり音声特徴量からクリーン音声特徴量への変換関数を構成する手法である。
【０００６】
SPLICEは，雑音あり音声とクリーン音声の特徴量の同時確率密度関数を混合正規分布 (Gaussian Mixture Model: GMM)でモデル化し、学習サンプルを用いて学習したGMMパラメータにより雑音あり音声特徴量からクリーン音声特徴量への変換関数を構成する手法である。
【０００７】
DAE法は、雑音あり音声特徴量を入力、クリーン音声特徴量を出力とした深層ニューラルネットワークにより入出力間の変換関数を構成する手法である。これら教師あり音声強調アプローチは、識別モデルや識別的規準に基づくため、既知の雑音環境下では極めて強力であるが、未知の雑音環境下では必ずしも有効ではない。ただし、学習データの音声または雑音がテスト時のものと異なる場合にそのミスマッチを補償する方法も多く提案されている。
【０００８】
一方、半教師あり信号強調アプローチの代表例である半教師あり非負値行列因子分解(Semi-supervised Non-negative Matrix Factorization: SSNMF)に基づく手法（非特許文献１）は、未知の雑音環境下における強力な音声強調法として近年注目されている。この手法は、各時刻の観測スペクトルを事前学習した音声の基底スペクトルと雑音の基底スペクトルの非負結合でフィッティングすることで音声と雑音のパワースペクトルを推定することが可能となる、という原理に基づく。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】P. Smaragdis, B. Raj, and M. Shashanka, “Supervised and semi-supervised separation of sounds from single-channel mixtures,” in Proc. Independent Component Analysis and Signal Separation, pp. 414-421, 2007.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかし、音声の基底スペクトルで雑音スペクトルを説明できてしまう場合やその逆の場合には推定したスペクトルが実際の音声スペクトルに対応しない可能性がある。このため、音声スペクトルと雑音スペクトルの分解の不定性を解消するためには音声スペクトルが満たすべきより強い制約が必要である。また、SSNMF法では信号は強調できたとしても特徴量を強調できる保証はないため、強調処理が音声認識や音声変換など音声特徴量に基づく音声処理の性能向上に直結するとは限らない。
【００１１】
本発明では、上記事情を鑑みて成されたものであり、雑音を抑制し、音声信号を強調すると共に、ケプストラム特徴量を強調することができる信号解析装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明に係る信号解析装置は、音声信号と雑音信号とが混合された観測信号の時系列データを入力として、各時刻及び各周波数の観測時間周波数成分を表す観測スペクトログラムを出力する時間周波数展開部と、前記時間周波数展開部により出力された前記観測スペクトログラム、予め学習された音声信号の各基底及び各周波数におけるパワースペクトルを表す基底スペクトル、及びケプストラム空間で定義される、予め学習された音声信号のケプストラム特徴量の確率分布を表わすパラメータに基づいて、各時刻及び各周波数の観測時間周波数成分と、前記音声信号の基底スペクトル、及び前記音声信号の各時刻におけるパワーを表すアクティベーションパラメータから求められる各時刻及び各周波数の時間周波数成分、並びに前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータから求められる各時刻及び各周波数の時間周波数成分の和との距離、及び前記音声信号のケプストラム特徴量の確率分布に基づく、前記音声信号の前記基底スペクトル及び前記アクティベーションパラメータから求められる各時刻及び各周波数の時間周波数成分のケプストラム特徴量の尤もらしさを表す正則化項を用いて表される規準を小さくするように、前記音声信号の前記アクティベーションパラメータと、前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータとを推定するパラメータ推定部と、を含んで構成されている。
【００１３】
本発明に係る信号解析方法は、時間周波数展開部と、パラメータ推定部とを含む信号解析装置における信号解析方法であって、前記時間周波数展開部が、音声信号と雑音信号とが混合された観測信号の時系列データを入力として、各時刻及び各周波数の観測時間周波数成分を表す観測スペクトログラムを出力し、前記パラメータ推定部が、前記時間周波数展開部により出力された前記観測スペクトログラム、予め学習された音声信号の各基底及び各周波数におけるパワースペクトルを表す基底スペクトル、及びケプストラム空間で定義される、予め学習された音声信号のケプストラム特徴量の確率分布を表わすパラメータに基づいて、各時刻及び各周波数の観測時間周波数成分と、前記音声信号の基底スペクトル、及び前記音声信号の各時刻におけるパワーを表すアクティベーションパラメータから求められる各時刻及び各周波数の時間周波数成分、並びに前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータから求められる各時刻及び各周波数の時間周波数成分の和との距離、及び前記音声信号のケプストラム特徴量の確率分布に基づく、前記音声信号の前記基底スペクトル及び前記アクティベーションパラメータから求められる各時刻及び各周波数の時間周波数成分のケプストラム特徴量の尤もらしさを表す正則化項を用いて表される規準を小さくするように、前記音声信号の前記アクティベーションパラメータと、前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータとを推定する。
【００１４】
また、本発明のプログラムは、コンピュータを、上記の信号解析装置を構成する各部として機能させるためのプログラムである。
【発明の効果】
【００１５】
以上説明したように、本発明の信号解析装置、方法、及びプログラムによれば、各時刻及び各周波数の観測時間周波数成分と、前記音声信号の基底スペクトル、及び前記音声信号の各時刻におけるパワーを表すアクティベーションパラメータから求められる各時刻及び各周波数の時間周波数成分、並びに前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータから求められる各時刻及び各周波数の時間周波数成分の和との距離、及び前記音声信号のケプストラム特徴量の確率分布に基づく、前記音声信号の前記基底スペクトル及び前記アクティベーションパラメータから求められる各時刻及び各周波数の時間周波数成分のケプストラム特徴量の尤もらしさを表す正則化項を用いて表される規準を小さくするように、前記音声信号の前記アクティベーションパラメータと、前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータとを推定することにより、雑音を抑制し、音声信号を強調すると共に、ケプストラム特徴量を強調することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施の形態に係る信号解析装置の機能的構成を示すブロック図である。
【図２】本発明の実施の形態に係る信号解析装置における学習処理ルーチンを示すフローチャート図である。
【図３】本発明の実施の形態に係る信号解析装置におけるパラメータ推定処理ルーチンを示すフローチャート図である。
【図４】実験結果を示す図である。
【図５】実験結果を示す図である。
【図６】実験結果を示す図である。
【図７】実験結果を示す図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１８】
＜発明の概要＞
まず、本実施の形態における概要について説明する。本実施の形態においては、上述したSSNMF法の問題を解決するため、スペクトルだけでなく特徴量の事前情報も活用することで音声スペクトルを推定する手がかりをより多く与えるとともに特徴量の歪みを生じにくくするSSNMFの正則化法を提案する。
【００１９】
＜本実施の形態の原理＞
次に、本実施の形態の原理について説明する。
【００２０】
＜問題の定式化＞
観測信号の振幅スペクトログラムまたはパワースペクトログラム（以後、観測スペクトログラム）をＹω,tとする。ただし、ωとtは周波数、時刻のインデックスである。スペクトルの加法性を仮定し、各時刻の音声スペクトルX(s)ω,tおよび雑音スペクトルX(n)ω,tをそれぞれKs個の基底スペクトル
【数１】
0006521886.tif 000002
とKn個の基底スペクトル
【数２】
0006521886.tif 000003
の非負結合
【数３】
0006521886.tif 000004
で表せるものとする。
【００２１】
SSNMF法は、クリーン音声の学習サンプルから事前学習した
【数４】
0006521886.tif 000005
を用いて、観測スペクトルYω,tに
【数５】
0006521886.tif 000006
をフィッティングすることで観測スペクトログラムに含まれる音声の成分と雑音の成分を推定する方法である。このようにして求まる音声スペクトルと雑音スペクトルの推定値からWienerフィルタなどにより観測信号から音声信号を得ることができる。このアプローチでは事前学習した音声の基底スペクトルが音声と雑音の分離の手がかりとなるが、音声の基底スペクトルで雑音スペクトルを説明できてしまう場合やその逆の場合がありえるため、Yω,tとXω,tの誤差を小さくできたとしてもX(s) ω,tとX(n) ω,tが実際の音声スペクトルと雑音スペクトルに対応するとは限らない。このため、同じXω,tを与えるX(s)ω,tとX(n) ω,tの不定性を解消するためには音声スペクトルが満たすべきより強い制約が必要である。今、もしX(s) ω,tが音声スペクトルに対応しているならX(s)ω,tは特徴量空間においても音声が実際にとりうる範囲内に分布するはずである。そこで、本実施の形態では、ケプストラム特徴量に着目し、ケプストラム空間で定義される確率分布に基づいてX(s) ω,tに対する正則化項を考え，これと、Yω,tとXω,tの誤差規準との和を規準としたパラメータ最適化アルゴリズムを提案する。
【００２２】
Yω,tとXω,tの誤差は二乗誤差、Iダイバージェンス、板倉齋藤距離などで測ることができるが、ここではIダイバージェンス
【数６】
0006521886.tif 000007
を用いる。ただし、すべての基底スペクトルは
【数７】
0006521886.tif 000008
のような制約を満たしているものとする。次に、X(s)ω,tに対し、
【数８】
0006521886.tif 000009
のような規準を考える。ただし、
【数９】
0006521886.tif 000010
はX0,t,...,XΩ-1,tのメル周波数ケプストラム係数(Mel-Frequency Cepstrum Coefficients:MFCC)であり、fl,ωはl番目のメルフィルタバンク係数、
【数１０】
0006521886.tif 000011
は離散コサイン変換の係数である。式(5)は、
【数１１】
0006521886.tif 000012
がパラメータ
【数１２】
0006521886.tif 000013
の混合正規分布から生成される確率の対数を表す。ただし、
【数１３】
0006521886.tif 000014
は、m番目の正規分布の平均と分散と重みを表す。クリーン音声の学習サンプルのMFCC系列からこの混合正規分布のパラメータθを学習することで、
【数１４】
0006521886.tif 000015
を、Ｘ(s)ω,tが MFCC空間においてできるだけ学習サンプルと同様に分布する場合に高いスコアを与える規準とすることができる。提案法は、式(3)と式(5)の二つの規準を考慮した
【数１５】
0006521886.tif 000016
のような規準を最小化することが目的である。ただし、λは正則化パラメータである。以上のようにこの最適化問題はスペクトルのモデルをケプストラム距離規準でソフトな制約を課す問題となっており、これまで発明者らはこの枠組により楽音分離と音色クラスタリングを同一最適化規準の下で行う手法を提案している。
【００２３】
本実施の形態の手法はこの枠組により音声の信号強調と特徴量強調を同時に実現することを目指した手法であり、「ケプストラム正則化 SSNMF」と呼ぶ。
【００２４】
＜パラメータ推定アルゴリズム＞
【数１６】
0006521886.tif 000017
を最小化する U(s)、H(n)、U(n)を解析的に得ることはできないが、当該最適化問題の局所最適解を探索する反復アルゴリズムを補助関数法に基づき導くことができる。補助関数法による、目的関数F(θ)の最小化問題の最適化アルゴリズムでは、まず補助変数αを導入し、
【数１７】
0006521886.tif 000018
を満たす補助関数F+(θ,α)を設計する。このような補助関数が設計できれば、
【数１８】
0006521886.tif 000019
と
【数１９】
0006521886.tif 000020
を交互に繰り返すことで、目的関数F(θ)を局所最小化するθを得ることができる。以下で、
【数２０】
0006521886.tif 000021
の補助関数とそれに基づく更新式を導く。
【００２５】
【数２１】
0006521886.tif 000022
については、負の対数関数が凸関数であることを利用し、Jensenの不等式により
【数２２】
0006521886.tif 000023
のような上界関数が立てられる。ただし、＝cはパラメータに依存する項のみに関する等号を表す。
【００２６】
またHとUは、ここでは
【数２３】
0006521886.tif 000024
としている。ζk,ω,tはζk,ω,t≧０、Σkζk,ω,t＝１を満たす変数であり、式 (8)の等号は
【数２４】
0006521886.tif 000025
のとき成立する。
【００２７】
次に、
【数２５】
0006521886.tif 000026
の上界関数を設計する。式(8)と同様、負の対数関数が凸関数であることを利用し、Jensenの不等式より
【数２６】
0006521886.tif 000027
のような不等式が立てられる。式(14)の等号は
【数２７】
0006521886.tif 000028
のとき成立する。続いて
【数２８】
0006521886.tif 000029
の上界関数を導く。二次関数は凸関数なので、Jensenの不等式より
【数２９】
0006521886.tif 000030
のような不等式が立てられる。ただし、
【数３０】
0006521886.tif 000031
である。 βl,n,m,tはΣlβl,n,m,t＝１を満たす任意の正の定数、
【数３１】
0006521886.tif 000032
は
【数３２】
0006521886.tif 000033
を満たす変数であり、式(16)の等号は
【数３３】
0006521886.tif 000034
のとき成立する。式(16)と式(14)より、
【数３４】
0006521886.tif 000035
がいえる。ただし、
【数３５】
0006521886.tif 000036
である。Al,tは非負値である点に注意し，次に (log Gl,t)2の上界関数を考える。(log Gl,t)2の上界は不等式を用いて
【数３６】
0006521886.tif 000037
で与えることができる。ただし、
【数３７】
0006521886.tif 000038
0006521886.tif 000039
であり、式 (21)の等号は
【数３８】
0006521886.tif 000040
のとき成立する。さらに、fl,ωHk,ωUk,tが非負値であること、逆数関数が正領域で凸関数であることから、Jensenの不等式より
【数３９】
0006521886.tif 000041
が成り立つ。ただし、ρl,k,ω,tはρl,k,ω,t＞0、Σω,kρl,k,ω,t＝１を満たす変数であり、
【数４０】
0006521886.tif 000042
のとき式 (26)の等号は成立する。続いて Bl,t log Gl,tの項の上界を考える。 Bl,tは非負値であるとは限らないので、Bl,tの符号に応じて別種の不等式を立てる。まず、対数関数が凹関数であるため、Bl,t≧０のとき、
【数４１】
0006521886.tif 000043
のような不等式を得る。φl,tは正の変数であり，
【数４２】
0006521886.tif 000044
のとき式 (28)の等号は成立する。一方 Bl,t＜0のとき、負の対数関数は凸関数よりJensenの不等式により
【数４３】
0006521886.tif 000045
がいえる。ただし、νk,l,ω,tはνk,l,ω,t＞０、Σk,ωνk,l,ω,t＝１を満たす変数であり、
【数４４】
0006521886.tif 000046
のとき式 (30)の等号は成立する。まとめると、
【数４５】
0006521886.tif 000047
0006521886.tif 000048
と書ける。ただし、δxは条件xを満たす場合に 1、満たさない場合に 0となる指示関数である。以上より、
【数４６】
0006521886.tif 000049
の上界関数
【数４７】
0006521886.tif 000050
を得ることができる。この不等式を導いたことのポイントは、右辺を最小にする HやUを解析的に得ることができる点にあり、
【数４８】
0006521886.tif 000051
と合わせることにより更新式を閉形式で与える補助関数を設計することができる。この補助関数より、各パラメータの更新式
【数４９】
0006521886.tif 000052
を得る。ただし，
【数５０】
0006521886.tif 000053
0006521886.tif 000054
である。
【００２８】
また、βl,n,m,tは任意の正の定数なので、βl,n,m,t ＞０、Σlβl,n,m,t＝１を満たす範囲であればどのように与えてもアルゴリズムの収束性は保証される。従って例えば、反復計算の各ステップで
【数５１】
0006521886.tif 000055
と更新してもアルゴリズムの収束性は保証される。これは補助関数をβl,n,m,tに関して最小にする更新である。
【００２９】
＜本発明の実施の形態に係る信号解析装置の構成＞
次に、本発明の実施の形態に係る信号解析装置の構成について説明する。図１に示すように、本発明の実施の形態に係る信号解析装置１００は、ＣＰＵと、ＲＡＭと、後述する学習処理ルーチン及びパラメータ推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することができる。この信号解析装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部９０と、を含んで構成されている。
【００３０】
入力部１０は、他の音源が混じっていないクリーンな音声信号（以後、クリーン音声信号）の時系列データを受け付ける。また、入力部１０は、音声信号と雑音信号とが混じっている音響信号（以後、観測信号）の時系列データを受け付ける。
【００３１】
演算部２０は、時間周波数展開部２４と、特徴量抽出部２６と、基底スペクトル学習部２８と、基底スペクトル記憶部３０と、特徴量モデル学習部３２と、特徴量モデル記憶部３４と、パラメータ推定部３６と、音声信号生成部３８と、を含んで構成されている。
【００３２】
時間周波数展開部２４は、クリーン音声信号の時系列データに基づいて、各時刻における各周波数の時間周波数成分を表す振幅スペクトログラム又はパワースペクトログラムを計算する。なお、第１の実施の形態においては、短時間フーリエ変換やウェーブレット変換などの時間周波数展開を行う。
【００３３】
また、時間周波数展開部２４は、観測信号の時系列データに基づいて、各時刻ｔにおける各周波数ωの観測時間周波数成分Ｙω,tを表す振幅スペクトログラム又はパワースペクトログラムである観測スペクトログラムＹを計算する。
【００３４】
特徴量抽出部２６は、時間周波数展開部２４によって計算された、クリーン音声信号の各時刻における各周波数の時間周波数成分に基づいて、各時刻のケプストラム特徴量を抽出する。
【００３５】
基底スペクトル学習部２８は、時間周波数展開部２４によって計算された、クリーン音声信号の各時刻における各周波数の時間周波数成分に基づいて、従来技術であるＮＭＦを用いて、クリーン音声信号の各基底ｋ及び各周波数ωにおけるパワースペクトルを表す基底スペクトル
【数５２】
0006521886.tif 000056
を推定する。
【００３６】
基底スペクトル記憶部３０は、基底スペクトル学習部２８によって推定された、クリーン音声信号の各基底ｋ及び各周波数ωにおけるパワースペクトルを表す基底スペクトル
【数５３】
0006521886.tif 000057
を記憶している。
【００３７】
特徴量モデル学習部３２は、特徴量抽出部２６によって抽出された各時刻のケプストラム特徴量に基づいて、ケプストラム空間で定義される、ケプストラム特徴量の確率分布を表すパラメータを学習する。具体的には、当該確率分布を、混合正規分布とした場合の、混合正規分布のパラメータθを学習する。
【００３８】
特徴量モデル記憶部３４は、特徴量モデル学習部３２によって学習された、混合正規分布のパラメータθを記憶している。
【００３９】
パラメータ推定部３６は、時間周波数展開部２４により出力された観測スペクトログラムＹ、基底スペクトル記憶部３０に記憶された音声信号の各基底及び各周波数における基底スペクトル、及び特徴量モデル記憶部３４に記憶されているケプストラム特徴量の確率分布を表すパラメータθに基づいて、各時刻及び各周波数の観測時間周波数成分Ｙと、音声信号の基底スペクトル、及び音声信号のアクティベーションパラメータから求められる各時刻及び各周波数の時間周波数成分Ｘ(s)、並びに雑音信号の基底スペクトル及びアクティベーションパラメータから求められる各時刻及び各周波数の時間周波数成分Ｘ(n)の和Ｘとの距離
【数５４】
0006521886.tif 000058
、及び音声信号のケプストラム特徴量の確率分布に基づく、各時刻及び各周波数の時間周波数成分Ｘ(s)のケプストラム特徴量の尤もらしさ
【数５５】
0006521886.tif 000059
を表す正則化項を用いて表される上記（７）式に示す規準を小さくするように、音声信号の基底スペクトルＨ(s)及びアクティベーションパラメータＵ(s)と、雑音信号の基底スペクトルＨ(n)及びアクティベーションパラメータＵ(n)とを推定する。
【００４０】
具体的には、パラメータ推定部３６は、初期値設定部４０、補助変数更新部４２、パラメータ更新部４４、及び収束判定部４６を備えている。
【００４１】
初期値設定部４０は、音声信号の基底スペクトルＨ(s)の初期値として、基底スペクトル記憶部３０に記憶された音声信号の各基底及び各周波数における基底スペクトルを設定する。また、初期値設定部４０は、音声信号のアクティベーションパラメータＵ(s)と、雑音信号の基底スペクトルＨ(n)及びアクティベーションパラメータＵ(n)とに初期値を設定する。
【００４２】
補助変数更新部４２は、特徴量モデル記憶部３４に記憶されているケプストラム特徴量の確率分布のパラメータθと、初期値である、又は前回更新した、音声信号の基底スペクトルＨ(s)及びアクティベーションパラメータＵ(s)と、雑音信号の基底スペクトルＨ(n)及びアクティベーションパラメータＵ(n)とに基づいて、上記（１３）式、（１５）式、（２４）式、（２７）式、（２９）式、（３１）式、（３７）式に従って、各基底ｋ、各周波数ω、及び各時刻ｔに対するζk,ω,t、各正規分布ｍ及び各時刻ｔに対するαm,t、各メルフィルタバンク係数ｌ及び各時刻ｔに対するξl,t、φl,t、各メルフィルタバンク係数ｌ、各基底ｋ、各周波数ω、及び各時刻ｔに対するρl,k,ω,t、νk,l,ω,t、各メルフィルタバンク係数ｌ、各正規分布ｍ、各メル周波数ケプストラム係数ｎ、及び各時刻ｔに対するβl,m,n,tを更新する。
【００４３】
パラメータ更新部４４は、時間周波数展開部２４により出力された観測スペクトログラムＹと、補助変数更新部４２によって更新された各基底ｋ、各周波数ω、及び各時刻ｔに対するζk,ω,t、各正規分布ｍ及び各時刻ｔに対するαm,t、各メルフィルタバンク係数ｌ及び各時刻ｔに対するξl,t、φl,t、各メルフィルタバンク係数ｌ、各基底ｋ、各周波数ω、及び各時刻ｔに対するρl,k,ω,t、νk,l,ω,t、、各メルフィルタバンク係数ｌ、各正規分布ｍ、各メル周波数ケプストラム係数ｎ、及び各時刻ｔに対するβl,m,n,tに基づいて、上記（３３）式〜（３６）式に従って、音声信号の各基底ｋ及び各周波数ωの基底スペクトルＨ(s)k,ω、並び各基底ｋ及び各時刻ｔのアクティベーションパラメータＵ(s)k,tと、雑音信号の各基底ｋ及び各周波数ωの基底スペクトルＨ(n) k,ω及び各基底ｋ及び各時刻ｔのアクティベーションパラメータＵ(n) k,tとを更新する。
【００４４】
収束判定部４６は、収束条件を満たすか否かを判定し、収束条件を満たすまで、補助変数更新部４２における更新処理と、パラメータ更新部４４における更新処理とを繰り返させる。
【００４５】
収束条件としては、例えば、繰り返し回数が、上限回数に到達したことを用いることができる。あるいは、収束条件として、上記（７）式の規準の値と前回の規準の値との差分が、予め定められた閾値以下であることを用いることができる。
【００４６】
音声信号生成部３８は、パラメータ推定部３６において取得した音声信号の各基底ｋ及び各周波数ωの基底スペクトルＨ(s)k,ω、並び雑音信号の各基底ｋ及び各周波数ωの基底スペクトルＨ(n)k,ωに基づいて、ウィーナーフィルタに従って、音声信号を生成し、出力部９０から出力する。
【００４７】
＜本発明の実施の形態に係る信号解析装置の作用＞
次に、本発明の実施の形態に係る信号解析装置１００の作用について説明する。まず、入力部１０においてクリーン音声信号の時系列データを受け付けると、信号解析装置１００は、図２に示す学習処理ルーチンを実行する。
【００４８】
まず、ステップＳ１００では、入力部１０において受け付けたクリーン音声信号の時系列データに基づいて、クリーン音声信号の各時刻における各周波数の時間周波数成分を計算する。
【００４９】
次に、ステップＳ１０２では、ステップＳ１００において取得したクリーン音声信号の各時刻における各周波数の時間周波数成分に基づいて、各時刻のケプストラム特徴量を抽出する。
【００５０】
次に、ステップＳ１０４では、上記ステップＳ１００において取得したクリーン音声信号の各時刻における各周波数の時間周波数成分に基づいて、従来技術であるＮＭＦにより、クリーン音声信号の各基底ｋ及び各周波数ωにおけるパワースペクトルを表す基底スペクトル
【数５６】
0006521886.tif 000060
を推定し、基底スペクトル記憶部３０に格納する。
【００５１】
ステップＳ１０６では、上記ステップＳ１０２で抽出した各時刻のケプストラム特徴量に基づいて、ケプストラム特徴量の確率分布を表す混合正規分布のパラメータθを学習し、特徴量モデル記憶部３４に格納して、学習処理ルーチンを終了する。
【００５２】
次に、入力部１０において、音声信号と雑音信号とが混在した観測信号の時系列データを受け付けると、信号解析装置１００は、図３に示すパラメータ推定処理ルーチンを実行する。
【００５３】
まず、ステップＳ１２０では、入力部１０において受け付けた観測信号の時系列データに基づいて、観測スペクトログラムＹを計算する。
【００５４】
ステップＳ１２２では、音声信号の基底スペクトルＨ(s)の初期値として、基底スペクトル記憶部３０に記憶された音声信号の各基底及び各周波数における基底スペクトルを設定する。また、音声信号のアクティベーションパラメータＵ(s)と、雑音信号の基底スペクトルＨ(n)及びアクティベーションパラメータＵ(n)とに初期値を設定する。
【００５５】
ステップＳ１２４では、特徴量モデル記憶部３４に記憶されているケプストラム特徴量の確率分布のパラメータθと、上記ステップＳ１２２で初期値が設定された、又は後述するステップＳ１２６で前回更新した、音声信号の基底スペクトルＨ(s)及びアクティベーションパラメータＵ(s)と、雑音信号の基底スペクトルＨ(n)及びアクティベーションパラメータＵ(n)とに基づいて、上記（１３）式、（１５）式、（２４）式、（２７）式、（２９）式、（３１）式、（３７）式に従って、各基底ｋ、各周波数ω、及び各時刻ｔに対するζk,ω,t、各正規分布ｍ及び各時刻ｔに対するαm,t、各メルフィルタバンク係数ｌ及び各時刻ｔに対するξl,t、φl,t、各メルフィルタバンク係数ｌ、各基底ｋ、各周波数ω、及び各時刻ｔに対するρl,k,ω,t、νk,l,ω,t、各メルフィルタバンク係数ｌ、各正規分布ｍ、各メル周波数ケプストラム係数ｎ、及び各時刻ｔに対するβl,m,n,tを更新する。
【００５６】
次に、ステップＳ１２６では、上記ステップＳ１２０で得られた観測スペクトログラムＹと、上記ステップＳ１２４で更新された各基底ｋ、各周波数ω、及び各時刻ｔに対するζk,ω,t、各正規分布ｍ及び各時刻ｔに対するαm,t、各メルフィルタバンク係数ｌ及び各時刻ｔに対するξl,t、φl,t、各メルフィルタバンク係数ｌ、各基底ｋ、各周波数ω、及び各時刻ｔに対するρl,k,ω,t、νk,l,ω,t、各メルフィルタバンク係数ｌ、各正規分布ｍ、各メル周波数ケプストラム係数ｎ、及び各時刻ｔに対するβl,m,n,tに基づいて、上記（３３）式〜（３６）式に従って、音声信号の各基底ｋ及び各周波数ωの基底スペクトルＨ(s)k,ω、並び各基底ｋ及び各時刻ｔのアクティベーションパラメータＵ(s)k,tと、雑音信号の各基底ｋ及び各周波数ωの基底スペクトルＨ(n) k,ω及び各基底ｋ及び各時刻ｔのアクティベーションパラメータＵ(n) k,tとを更新する。
【００５７】
次に、ステップＳ１２８では、収束条件を満たすか否かを判定する。収束条件を満たした場合には、ステップＳ１３０へ移行し、収束条件を満たしていない場合には、ステップＳ１２４へ移行し、ステップＳ１２４〜ステップＳ１２８の処理を繰り返す。
【００５８】
ステップＳ１３０では、上記ステップＳ１２６で最終的に更新された音声信号の各基底ｋ及び各周波数ωの基底スペクトルＨ(s)k,ω、並び雑音信号の各基底ｋ及び各周波数ωの基底スペクトルＨ(n)k,ωに基づいて、ウィーナーフィルタに従って、音声信号を生成し、出力部９０から出力して、パラメータ推定処理ルーチンを終了する。
【００５９】
＜実験例＞
ATR音声データベース 503文の音声データとRWCPの雑音データ（ white noise, babble noise, museum noise, background music noiseの４種類）を用いて上述した実施の形態の手法による雑音抑圧効果を検証する評価実験を行った。比較対象は従来の SSNMF法とし、処理前と処理後の信号対歪み比(SDR)およびケプストラム歪みの改善値を評価した。テストデータはクリーン音声に各雑音をさまざまな SNRで重畳させて作成した。テストデータのすべての音響信号はサンプリング周波数16kHzのモノラル信号で、フレーム長 32ms、フレームシフト 16msで短時間Fourier変換を行い、観測スペクトログラム Yω,tを算出した。学習においては 10名（うち女性 4名、男性 6名）の話者の計450文の音声を用いてH(s)k,ωとMFCCのGMMパラメータθの学習を行った。 MFCCの次元は13としGMMの混合数は 30とした。テストにおいては、学習で得られた H(s)k,ωとθとを固定し、λ＝1としてU(s)k,t、H(n)k,ω、U(n)k,tの推定を行った。推定後、X(s)ω,tとX(n)ω,tを用いて Wienerフィルタにより音声信号の推定値を算出した。提案法アルゴリズムの初期値は従来の SSNMFにより得た。
【００６０】
以上の条件下での提案法と従来法によって得られたケプストラム歪みおよびSDRの改善値を図４〜７に示す。
【００６１】
図４は、提案法と従来法によって得られたケプストラム歪みの改善値を示す。図４上が雑音の種類が白色雑音の場合を示し、図４下が、雑音の種類がバブル雑音の場合を示す。図５は、提案法と従来法によって得られたケプストラム歪みの改善値を示す。図５上が雑音の種類が実環境雑音の場合を示し、図５下が、雑音の種類が背景音楽雑音の場合を示す。図６は、提案法と従来法によって得られたSDRの改善値を示す。図６上が、雑音の種類が白色雑音の場合を示し、図６下が、雑音の種類がバブル雑音の場合を示す。図７は、提案法と従来法によって得られたSDRの改善値を示す。図７上が、雑音の種類が実環境雑音の場合を示し、図７下が、雑音の種類が背景音楽雑音の場合を示す。いずれの評価尺度においてもほとんどの場合において提案法の方が高い改善値を得られていることが確認できた。
【００６２】
以上説明したように、本発明の実施の形態に係る信号解析装置によれば、各時刻及び各周波数の観測時間周波数成分と、予め推定された音声信号の基底スペクトル、及び音声信号のアクティベーションパラメータから求められる各時刻及び各周波数の時間周波数成分、並びに雑音信号の基底スペクトル及びアクティベーションパラメータから求められる各時刻及び各周波数の時間周波数成分の和との距離、及び音声信号のケプストラム特徴量の確率分布に基づく、音声信号の基底スペクトル及びアクティベーションパラメータから求められる各時刻及び各周波数の時間周波数成分のケプストラム特徴量の尤もらしさを表す正則化項を用いて表される規準を小さくするように、音声信号のアクティベーションパラメータと、雑音信号の基底スペクトル及びアクティベーションパラメータとを推定し、音声信号を生成することにより、雑音を抑制し、音声信号を強調すると共に、ケプストラム特徴量を強調することができる。
【００６３】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００６４】
例えば、音声信号の基底スペクトル及び音声信号のケプストラム特徴量の確率分布を表すパラメータを学習する処理と、観測信号から基底スペクトル及びアクティベーションパラメータを推定するパラメータ推定とを別々の装置で行うように構成してもよい。
【００６５】
また、更新するパラメータの順番には任意性があるため、上記の実施の形態の順番に限定されない。
【００６６】
また、音声信号のアクティベーションパラメータ、雑音信号の基底スペクトル、及びアクティベーションパラメータと同様に、音声信号の基底スペクトルも更新する場合を例に説明したが、これに限定されるものではなく、音声信号の基底スペクトルを更新せずに、予め推定された音声信号の基底スペクトルに固定してもよい。
【００６７】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。
【符号の説明】
【００６８】
１０   入力部
２０   演算部
２４   時間周波数展開部
２６   特徴量抽出部
２８   基底スペクトル学習部
３０   基底スペクトル記憶部
３２   特徴量モデル学習部
３４   特徴量モデル記憶部
３６   パラメータ推定部
３８   音声信号生成部
４０   初期値設定部
４２   補助変数更新部
４４   パラメータ更新部
４６   収束判定部
９０   出力部
１００ 信号解析装置
【図１】
0006521886.tif 000067
【図２】
0006521886.tif 000068
【図３】
0006521886.tif 000069
【図４】
0006521886.tif 000070
【図５】
0006521886.tif 000071
【図６】
0006521886.tif 000072
【図７】
0006521886.tif 000073