(57)【要約】【課題】雑音を抑制し、高品質な音声信号を強調することができる。【解決手段】パラメータ推定部３６は、観測スペクトルと、声道スペクトル系列及び音源スペクトル系列から求められるスペクトル、並びに雑音信号の基底スペクトル及びアクティベーションパラメータから求められるスペクトルの和との距離、声道スペクトル系列に対応した混合ガウス分布モデルでの最尤スペクトル系列との距離、音源スペクトル系列に対応した混合ガウス分布モデルでの最尤スペクトル系列との距離、及び雑音信号の基底スペクトル及びアクティベーションパラメータから求められるスペクトルとの距離を用いて表される規準を小さくするように、雑音信号の基底スペクトル及びアクティベーションパラメータと、声道スペクトル系列と、音源スペクトル系列と、雑音信号の観測スペクトルとを推定する。【選択図】図１
2018036410.tif 000002
【特許請求の範囲】
【請求項１】
音声信号と雑音信号とが混合された観測信号の時系列データを入力として、各時刻及び各周波数の観測スペクトルを表す観測スペクトログラムを出力する時間周波数展開部と、
前記時間周波数展開部により出力された前記観測スペクトログラム、及び予め学習された音声信号の混合ガウス分布モデルのパラメータに基づいて、
各時刻及び各周波数の観測スペクトルと、前記音声信号の声道スペクトル系列及び音源スペクトル系列から求められる各時刻及び各周波数のスペクトル、並びに前記雑音信号の各基底及び各周波数におけるパワースペクトルを表す基底スペクトル及び各時刻におけるパワーを表すアクティベーションパラメータから求められる各時刻及び各周波数のスペクトルの和との距離、
前記音声信号の声道スペクトル系列と、前記声道スペクトル系列に対応した前記混合ガウス分布モデルでの最尤スペクトル系列との距離、
前記音声信号の音源スペクトル系列と、前記音源スペクトル系列に対応した前記混合ガウス分布モデルでの最尤スペクトル系列との距離、及び
前記雑音信号の各時刻及び各周波数の観測スペクトルと、前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータから求められる各時刻及び各周波数のスペクトルとの距離、
を用いて表される規準を小さくするように、前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータと、前記音声信号の声道スペクトル系列と、前記音声信号の音源スペクトル系列と、前記雑音信号の各時刻及び各周波数の観測スペクトルとを推定するパラメータ推定部と、
を含む信号解析装置。
【請求項２】
前記規準は、以下の式で表わされる請求項１記載の信号解析装置。
【数１】
2018036410.tif 000092
ただし、α1、α2、α3は予め定められた重み係数を表し、
2018036410.tif 000093
は、前記観測スペクトログラムＹと前記和Ｘとの距離を表し、
2018036410.tif 000094
は、前記音声信号の声道スペクトル系列Ｆと、前記声道スペクトル系列に対応した前記混合ガウス分布モデルの一つの状態からなる系列ｓが与えられた下での前記最尤スペクトル系列との距離を表し、
2018036410.tif 000095
は、前記音声信号の音源スペクトル系列Ｅと、前記音源スペクトル系列に対応した前記混合ガウス分布モデルの一つの状態からなる系列ｑが与えられた下での前記最尤スペクトル系列との距離を表し、
2018036410.tif 000096
は、前記雑音信号の各時刻及び各周波数の観測スペクトルＸ(N)と、前記雑音信号の前記基底スペクトルＨ(N)及び前記アクティベーションパラメータＵ(N)から求められる各時刻及び各周波数のスペクトルとの距離を表す。
【請求項３】
前記パラメータ推定部は、
前記規準の上界関数である補助関数を小さくするように、前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータと、前記音声信号の声道スペクトル系列と、前記音声信号の音源スペクトル系列と、前記雑音信号の各時刻及び各周波数の観測スペクトルとを更新するパラメータ更新部と、
予め定められた収束条件を満たすまで、前記パラメータ更新部による更新を繰り返させる収束判定部と、
を含む請求項１又は２記載の信号解析装置。
【請求項４】
時間周波数展開部と、パラメータ推定部とを含む信号解析装置における信号解析方法であって、
前記時間周波数展開部が、音声信号と雑音信号とが混合された観測信号の時系列データを入力として、各時刻及び各周波数の観測スペクトルを表す観測スペクトログラムを出力し、
前記パラメータ推定部が、前記時間周波数展開部により出力された前記観測スペクトログラム、及び予め学習された音声信号の混合ガウス分布モデルのパラメータに基づいて、
各時刻及び各周波数の観測スペクトルと、前記音声信号の声道スペクトル系列及び音源スペクトル系列から求められる各時刻及び各周波数のスペクトル、並びに前記雑音信号の各基底及び各周波数におけるパワースペクトルを表す基底スペクトル及び各時刻におけるパワーを表すアクティベーションパラメータから求められる各時刻及び各周波数のスペクトルの和との距離、
前記音声信号の声道スペクトル系列と、前記声道スペクトル系列に対応した前記混合ガウス分布モデルでの最尤スペクトル系列との距離、
前記音声信号の音源スペクトル系列と、前記音源スペクトル系列に対応した前記混合ガウス分布モデルでの最尤スペクトル系列との距離、及び
前記雑音信号の各時刻及び各周波数の観測スペクトルと、前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータから求められる各時刻及び各周波数のスペクトルとの距離、
を用いて表される規準を小さくするように、前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータと、前記音声信号の声道スペクトル系列と、前記音声信号の音源スペクトル系列と、前記雑音信号の各時刻及び各周波数の観測スペクトルとを推定する
信号解析方法。
【請求項５】
前記規準は、以下の式で表わされる請求項４記載の信号解析方法。
【数２】
2018036410.tif 000097
ただし、α1、α2、α3は予め定められた重み係数を表し、
2018036410.tif 000098
は、前記観測スペクトログラムＹと前記和Ｘとの距離を表し、
2018036410.tif 000099
は、前記音声信号の声道スペクトル系列Ｆと、前記声道スペクトル系列に対応した前記混合ガウス分布モデルの一つの状態からなる系列ｓが与えられた下での前記最尤スペクトル系列との距離を表し、
2018036410.tif 000100
は、前記音声信号の音源スペクトル系列Ｅと、前記音源スペクトル系列に対応した前記混合ガウス分布モデルの一つの状態からなる系列ｑが与えられた下での前記最尤スペクトル系列との距離を表し、
2018036410.tif 000101
は、前記雑音信号の各時刻及び各周波数の観測スペクトルＸ(N)と、前記雑音信号の前記基底スペクトルＨ(N)及び前記アクティベーションパラメータＵ(N)から求められる各時刻及び各周波数のスペクトルとの距離を表す。
【請求項６】
前記パラメータ推定部が推定することでは、
パラメータ更新部が、前記規準の上界関数である補助関数を小さくするように、前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータと、前記音声信号の声道スペクトル系列と、前記音声信号の音源スペクトル系列と、前記雑音信号の各時刻及び各周波数の観測スペクトルとを更新し、
収束判定部が、予め定められた収束条件を満たすまで、前記パラメータ更新部による更新を繰り返させることを含む請求項４又は５記載の信号解析方法。
【請求項７】
請求項１〜請求項３の何れか１項に記載の信号解析装置の各部としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号解析装置、方法、及びプログラムに係り、特に、パラメータを推定する信号解析装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
本発明は音声信号から雑音を抑圧する問題を扱う。音声信号に混入する雑音を抑制する技術は音声強調技術と呼ばれている。音声強調技術は、高品質な音声通信や音声認識の前処理などで用いられる。
【０００３】
音声強調手法は主に３つのアプローチがある。教師なしアプローチは、対象とする音声および雑音ともに、その音響的特性について事前に情報が得られない状況を、半教師ありアプローチでは、対象音声について、同じ話者の別の音声が事前に得ることができる状況を、教師ありアプローチは、音声に加えて、対象雑音と同じ特性の雑音が事前に得ることができる状況をそれぞれ想定した音声強調手法である。本発明が解決しようとする課題は半教師ありアプローチに類される。半教師ありアプローチの一つとして、非負値行列因子分解(Semi-supervised Non-negative Matrix Factorization: SSNMF)に基づく手法が提案されている（非特許文献１）。この手法では、各時刻の観測スペクトルを事前学習した音声の基底スペクトルと雑音の基底スペクトルの非負結合でフィッティングすることで音声と雑音のパワースペクトルを推定することが可能となる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】P. Smaragdis, B. Raj, and M. Shashanka, “Supervised and semi-supervised separation of sounds from single-channel mixtures,” in Proc. Independent Component Analysis and Signal Separation, pp. 414-421, 2007.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記非特許文献１の手法は未知雑音環境下においても高い信号対雑音比の強調音声を得られる一方で、残留雑音成分からなるミュージカルノイズ（時間周波数平面に点在する雑音成分）が原因で必ずしも聴感的に品質の良い音声とならない場合が多い。また、この手法では音声のスペクトルの時間変化の自然さを保証しないため、強調音声のスペクトルが不連続になりがちであり、これもまた強調音声の聴感上の品質を下げる原因となっている。
【０００６】
本発明では、上記事情を鑑みて成されたものであり、雑音を抑制し、高品質な音声信号を強調することができる信号解析装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明に係る信号解析装置は、音声信号と雑音信号とが混合された観測信号の時系列データを入力として、各時刻及び各周波数の観測スペクトルを表す観測スペクトログラムを出力する時間周波数展開部と、前記時間周波数展開部により出力された前記観測スペクトログラム、及び予め学習された音声信号の混合ガウス分布モデルのパラメータに基づいて、各時刻及び各周波数の観測スペクトルと、前記音声信号の声道スペクトル系列及び音源スペクトル系列から求められる各時刻及び各周波数のスペクトル、並びに前記雑音信号の各基底及び各周波数におけるパワースペクトルを表す基底スペクトル及び各時刻におけるパワーを表すアクティベーションパラメータから求められる各時刻及び各周波数のスペクトルの和との距離、前記音声信号の声道スペクトル系列と、前記声道スペクトル系列に対応した前記混合ガウス分布モデルでの最尤スペクトル系列との距離、前記音声信号の音源スペクトル系列と、前記音源スペクトル系列に対応した前記混合ガウス分布モデルでの最尤スペクトル系列との距離、及び前記雑音信号の各時刻及び各周波数の観測スペクトルと、前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータから求められる各時刻及び各周波数のスペクトルとの距離、を用いて表される規準を小さくするように、前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータと、前記音声信号の声道スペクトル系列と、前記音声信号の音源スペクトル系列と、前記雑音信号の各時刻及び各周波数の観測スペクトルとを推定するパラメータ推定部と、を含んで構成されている。
【０００８】
本発明に係る信号解析方法は、時間周波数展開部と、パラメータ推定部とを含む信号解析装置における信号解析方法であって、前記時間周波数展開部が、音声信号と雑音信号とが混合された観測信号の時系列データを入力として、各時刻及び各周波数の観測スペクトルを表す観測スペクトログラムを出力し、前記パラメータ推定部が、前記時間周波数展開部により出力された前記観測スペクトログラム、及び予め学習された音声信号の混合ガウス分布モデルのパラメータに基づいて、各時刻及び各周波数の観測スペクトルと、前記音声信号の声道スペクトル系列及び音源スペクトル系列から求められる各時刻及び各周波数のスペクトル、並びに前記雑音信号の各基底及び各周波数におけるパワースペクトルを表す基底スペクトル及び各時刻におけるパワーを表すアクティベーションパラメータから求められる各時刻及び各周波数のスペクトルの和との距離、前記音声信号の声道スペクトル系列と、前記声道スペクトル系列に対応した前記混合ガウス分布モデルでの最尤スペクトル系列との距離、前記音声信号の音源スペクトル系列と、前記音源スペクトル系列に対応した前記混合ガウス分布モデルでの最尤スペクトル系列との距離、及び前記雑音信号の各時刻及び各周波数の観測スペクトルと、前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータから求められる各時刻及び各周波数のスペクトルとの距離、を用いて表される規準を小さくするように、前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータと、前記音声信号の声道スペクトル系列と、前記音声信号の音源スペクトル系列と、前記雑音信号の各時刻及び各周波数の観測スペクトルとを推定する。
【０００９】
また、本発明のプログラムは、コンピュータを、上記の信号解析装置を構成する各部として機能させるためのプログラムである。
【発明の効果】
【００１０】
以上説明したように、本発明の信号解析装置、方法、及びプログラムによれば、観測スペクトルと、声道スペクトル系列及び音源スペクトル系列から求められるスペクトル、並びに雑音信号の前記基底スペクトル及び前記アクティベーションパラメータから求められるスペクトルの和との距離、声道スペクトル系列と、声道スペクトル系列に対応した混合ガウス分布モデルでの最尤スペクトル系列との距離、音源スペクトル系列と、音源スペクトル系列に対応した混合ガウス分布モデルでの最尤スペクトル系列との距離、及び雑音信号の各時刻及び各周波数の観測スペクトルと、雑音信号の前記基底スペクトル及び前記アクティベーションパラメータから求められる各時刻及び各周波数のスペクトルとの距離を用いて表される規準を小さくするように、雑音信号の前記基底スペクトル及び前記アクティベーションパラメータと、声道スペクトル系列と、音源スペクトル系列と、前記雑音信号の観測スペクトルとを推定することにより、雑音を抑制し、高品質な音声信号を強調することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態に係る信号解析装置の機能的構成を示すブロック図である。
【図２】本発明の実施の形態に係る信号解析装置における学習処理ルーチンを示すフローチャート図である。
【図３】本発明の実施の形態に係る信号解析装置におけるパラメータ推定処理ルーチンを示すフローチャート図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１３】
＜発明の概要＞
まず、本実施の形態における概要について説明する。音声合成では聴感的に高品質な音声を合成することが目的であり、特にスペクトルだけでなく知覚に大きな影響を与えるスペクトルの時間微分量の統計分布を用いて最適な音声スペクトル系列を生成する方式がとられる。音声通信のための音声強調においても、いかに聴感的に高品質な音声にできるかが重要となるため、音声合成のモデルや手法が有用となる可能性がある。本発明では、未知雑音環境下における半教師あり音声強調の問題に対し、SSNMF法の音声強調方式にパラメトリック音声合成モデルとして提案されたトラジェクトリ隠れマルコフモデルを利用した手法を提案する。
【００１４】
＜本実施の形態の原理＞
次に、本実施の形態の原理について説明する。
【００１５】
＜問題の定式化＞
観測信号の振幅スペクトログラムまたはパワースペクトログラム（以後、観測スペクトログラム）をＹω,tとする。ただし、ωとtは周波数、時刻のインデックスである。スペクトルの加法性を仮定し、各時刻の音声スペクトルX(s)ω,tおよび雑音スペクトルX(n)ω,tをそれぞれＬS個の基底スペクトル
【数１】
2018036410.tif 000003
とＬN個の基底スペクトル
2018036410.tif 000004
の非負結合
【００１６】
【数２】
2018036410.tif 000005
【００１７】
で表せるものとする。
【００１８】
ＳＳＮＭＦ法は、クリーン音声の学習サンプルから事前学習した
2018036410.tif 000006
を用いて、観測スペクトルYω,tに
2018036410.tif 000007
をフィッティングすることで観測スペクトログラムに含まれる音声の成分と雑音の成分を推定する方法である（非特許文献１）。このようにして求まる音声スペクトルと雑音スペクトルの推定値からWienerフィルタなどにより観測信号から音声信号を得ることができる。このアプローチでは事前学習した音声の基底スペクトルが音声と雑音の分離の手がかりとなるが、音声の基底スペクトルで雑音スペクトルを説明できてしまう場合やその逆の場合がありえるため、Yω,tとXω,tの誤差を小さくできたとしてもX(S)ω,tとX(N)ω,tが実際の音声スペクトルと雑音スペクトルに対応するとは限らない。また、この方式では、音声スペクトルの推定において音声スペクトルの時間変化量の統計を活用できる仕組みになっておらず、このことがミュージカルノイズの発生や不連続なスペクトル変化を許す一因になっていたと考えられる。そこでより高品質な音声強調を実現するためには音声スペクトルの時間変化の傾向を考慮し、同じXω,tを与えるX(S)ω,tとX(N) ω,tの不定性を解消するより強い制約が必要である。
【００１９】
音声の知覚において、音声の対数スペクトルおよびその時間微分量が大きな影響を与えることが知られており、音声合成では聴感的に高品質な音声を合成することが目的として対数スペクトルだけでなく対数スペクトルの時間微分量の統計分布を用いて最適な音声スペクトル系列を生成する方式がとられる（非特許文献２、３参照）。
【００２０】
[非特許文献２]：T. Yoshimura, K. Tokuda, T. Masuko, T. Kobayashi, T. Kitamura,"Simultaneous modeling of spectrum, pitch and duration in HMM-based speech synthesis," in Proc. European Conference on Speech Communication and Technology (EUSIPCO 1999), vol. 5. pp. 2347-2350, 1999.
【００２１】
[非特許文献３]：H. Zen, K. Tokuda, T. Kitamura, "Reformulating the HMM as a trajectory model by imposing explicit relationships between static and dynamic feature vector sequences," Computer Speech and Language, vol. 21, pp. 153-173, 2007.
【００２２】
この方式を隠れマルコフモデル(Hidden Markov Model; HMM)音声合成という。音声通信のための音声強調においても、いかに聴感的に高品質な音声にできるかが重要となるため、音声合成のモデルや手法が有用となる可能性がある。そこで本発明では、音声の対数スペクトルを声道スペクトルと声帯振動スペクトルの成分に分解し、各成分および各成分の時間微分量の確率分布に基づいて X(S)ω,tに対する正則化項を設計し、雑音の対数スペクトルに対しては、従来型のNMFによる正則化項を与え、これらの正則化項とY(S)ω,tとX(S)ω,tの誤差規準の和を最適化規準とするパラメータ最適化アルゴリズムを提案する。
【００２３】
Yω,tとXω,tの誤差はSSNMF法においては二乗誤差、Iダイバージェンス、板倉齋藤擬距離などで測ることが多いが、本発明では対数スペクトル距離
【００２４】
【数３】
2018036410.tif 000008
【００２５】
を用いる。ただし、ω、tは周波数と時刻のインデックスを表す。次に、音声信号のスペクトルX(S)ω,tを、音声のソースフィルタ理論に基づき、
【００２６】
【数４】
2018036410.tif 000009
【００２７】
のように声道スペクトルＦω,tと音源スペクトルＥω,tの積として表す。そして、これらに対してそれぞれ
【００２８】
【数５】
2018036410.tif 000010
【００２９】
のような規準を考える。ここで、
2018036410.tif 000011
および
2018036410.tif 000012
はそれぞれ声道スペクトル系列と音源スペクトル系列に対応した異なるHMMの状態系列を表し、
2018036410.tif 000013
および
2018036410.tif 000014
は状態系列が与えられた下での最尤スペクトル系列
【００３０】
【数６】
2018036410.tif 000015
【００３１】
に対応する。これはHMM音声合成におけるパラメータ生成方式（上記非特許文献２、３参照）と同形で、
【００３２】
【数７】
2018036410.tif 000016
【００３３】
で与えられる。ただし、
2018036410.tif 000017
は状態系列
2018036410.tif 000018
が与えられた下での各々のHMMの状態出力分布の平均系列、
2018036410.tif 000019
は状態系列
2018036410.tif 000020
が与えられた下での各々のHMMの状態出力分布の分散を対角成分に並べた対角行列である。また、
2018036410.tif 000021
は、パラメータの時系列が格納されたベクトルをそれ自身とその時間数値微分系列を結合したベクトルに変換する行列である。また、
2018036410.tif 000022
は平均がμ、分散共分散行列がΣの正規分布を表す。従って式(7)、(8)は所与の状態系列と状態出力分布によって決まるスペクトル系列とその時間微分系列の両確率分布を規準とした最尤スペクトル系列を意味していることが分かる。ここで、それぞれのHMMの各状態の出力分布の平均と分散はクリーンな音声の声道スペクトル系列と音源スペクトル系列から事前学習した定数とする。
【００３４】
本発明の実施の形態では、ＨＭＭの特殊なケースとして混合ガウス分布モデルを用いるため、状態系列
2018036410.tif 000023
は、声道スペクトル系列と音源スペクトル系列に対応した異なる混合ガウス分布モデルの一つの状態を並べた系列を表し、
2018036410.tif 000024
は、各々の混合ガウス分布モデルの出力分布の平均系列、
2018036410.tif 000025
は、各々の混合ガウス分布モデルの出力分布の分散を対角成分に並べた対角行列である。
【００３５】
さらに、X(N)ω,t に対し、
【００３６】
【数８】
2018036410.tif 000026
【００３７】
のような規準を考える。提案法では、式(3)、(5)、(6)、(11)の4つの規準の重みつき和
【００３８】
【数９】
2018036410.tif 000027
【００３９】
を最小化することが目的である。ただし、α1、α2、α3は重みづけ係数である。
【００４０】
以上のようにこの最適化問題は、観測スペクトル系列の中に埋もれた音声スペクトル系列を、HMM音声合成の生成モデルと同形のモデル（式(9)、(10)）でどれだけ良く説明できるかを手がかりにしながら推定する問題となっている。
【００４１】
＜パラメータ推定アルゴリズム＞
2018036410.tif 000028
を最小化するF、E、H(N)、U(N)を解析的に得ることはできないが、当該最適化問題の局所最適解を探索する反復アルゴリズムを補助関数法に基づき導くことができる。
【００４２】
補助関数法による、目的関数F(θ)の最小化問題の最適化アルゴリズムでは、まず補助変数ξを導入し、
2018036410.tif 000029
を満たす補助関数
2018036410.tif 000030
を設計する。このような補助関数が設計できれば、
2018036410.tif 000031
を交互に繰り返すことで、目的関数F(θ)を局所最小化するθを得ることができる。以下で、
2018036410.tif 000032
の補助関数とそれに基づく更新式を導く。
【００４３】
2018036410.tif 000033
については、
【００４４】
【数１０】
2018036410.tif 000034
2018036410.tif 000035
【００４５】
のように展開し、式(14)右辺の各項に対し、補助関数を設計する。まず第一項に関して、以下の不等式が成り立つことを利用する。
【００４６】
x>0、ξ>0において
【００４７】
【数１１】
2018036410.tif 000036
【００４８】
が成り立ち、等号はx=ξのときのみ成立する。
【００４９】
以上の不等式から、任意のξω,t>0について
【００５０】
【数１２】
2018036410.tif 000037
【００５１】
が言え、さらに逆関数が凸関数であることを利用して、Jensenの不等式により
【００５２】
【数１３】
2018036410.tif 000038
【００５３】
が成り立つ。ただし、λ(S) ω,t、λ(N) ω,tは
【００５４】
【数１４】
2018036410.tif 000039
【００５５】
を満たす補助変数である。これらをまとめると、
【００５６】
【数１５】
2018036410.tif 000040
【００５７】
を得る。なお、式(21)の等号成立条件は
【００５８】
【数１６】
2018036410.tif 000041
【００５９】
である。
【００６０】
次に、式(14)の第二項の補助関数を設計する。LogＹω,tは正と負の符号をとりうるので、logＹω,tの符号に応じてlogＸω,tに対し別の不等式を立てる。負の対数関数は凸関数なのでJensenの不等式により
【００６１】
【数１７】
2018036410.tif 000042
【００６２】
を得る。ただし、θ(S)ω,t、θ(N)ω,tは
【００６３】
【数１８】
2018036410.tif 000043
【００６４】
を満たす非負の変数である。また、正の対数関数は凹関数なので
【００６５】
【数１９】
2018036410.tif 000044
【００６６】
が成り立つ。ただし、φω,tは任意の実数である。これらの不等式は、
【００６７】
【数２０】
2018036410.tif 000045
【００６８】
のときに等号成立する。以上をまとめると、
【００６９】
【数２１】
2018036410.tif 000046
【００７０】
が言える。ただし、δxは条件xを満たす場合に1、満たさない場合に0となる指示関数である。
【００７１】
次に、
2018036410.tif 000047
の補助関数を設計する。まず、
【００７２】
【数２２】
2018036410.tif 000048
【００７３】
と展開し、式(31)の右辺第一項については、式(15)、(16)、(17)を用いると任意のηω,t>0について
【００７４】
【数２３】
2018036410.tif 000049
【００７５】
が成り立ち、等号は
【００７６】
【数２４】
2018036410.tif 000050
【００７７】
のとき成り立つ。以上から、
【００７８】
【数２５】
2018036410.tif 000051
【００７９】
が成り立つ。同様にして、
2018036410.tif 000052
の補助関数は任意のζω,t>0を用いて
【００８０】
【数２６】
2018036410.tif 000053
2018036410.tif 000054
【００８１】
により設計できる。なお、等号は
【００８２】
【数２７】
2018036410.tif 000055
【００８３】
のとき成り立つ。
【００８４】
最後に、
2018036410.tif 000056
については
【００８５】
【数２８】
2018036410.tif 000057
【００８６】
と書くことができ、式(37)の右辺第一項を式(15)、(16)、(17)を用いると任意のνω,t>0について
【００８７】
【数２９】
2018036410.tif 000058
【００８８】
が成り立ち、等号は
【００８９】
【数３０】
2018036410.tif 000059
【００９０】
のとき成り立つ。次に、第二項の補助関数を設計する。logＸ(N)ω,tは正と負の符号をとりうるので、logＸ(N)ω,tの符号に応じてlogΣlH(N)ω,tU(N)ω,tに対し別の不等式を立てる。負の対数関数は凸関数なのでJensenの不等式により
【００９１】
【数３１】
2018036410.tif 000060
【００９２】
を得る。ただし、ψω,l,tは
【００９３】
【数３２】
2018036410.tif 000061
【００９４】
を満たす非負の変数である。また、正の対数関数は凹関数なので
【００９５】
【数３３】
2018036410.tif 000062
【００９６】
が成り立つ。ただし、πω,tは任意の実数である。これらの不等式は、
【００９７】
【数３４】
2018036410.tif 000063
【００９８】
のときに等号成立する。
【００９９】
第三項については、式(15)、(16)、(17)を用いると任意のεω,t> 0について
【０１００】
【数３５】
2018036410.tif 000064
【０１０１】
が成り立ち、さらに、Jensenの不等式により
【０１０２】
【数３６】
2018036410.tif 000065
【０１０３】
となる。ただし、σω,tは任意の実変数、τω,l,tは
【０１０４】
【数３７】
2018036410.tif 000066
【０１０５】
を満たす任意の非負変数である。これらをまとめると、
【０１０６】
【数３８】
2018036410.tif 000067
【０１０７】
を得る。なお、式(51)の等号は
【０１０８】
【数３９】
2018036410.tif 000068
【０１０９】
のとき成り立つ。
【０１１０】
以上をまとめると、
【０１１１】
【数４０】
2018036410.tif 000069
2018036410.tif 000070
【０１１２】
が成り立ち、右辺を
2018036410.tif 000071
の補助関数とすることができる。以上の補助関数を足し合わせることで
2018036410.tif 000072
の補助関数が得られる。この補助関数を最小にする各パラメータの更新式は
【０１１３】
【数４１】
2018036410.tif 000073
【０１１４】
のように閉形式で得られる。ただし、
【０１１５】
【数４２】
2018036410.tif 000074
【数４３】
2018036410.tif 000075
【０１１６】
である。
【０１１７】
＜本発明の実施の形態に係る信号解析装置の構成＞
次に、本発明の実施の形態に係る信号解析装置の構成について説明する。図１に示すように、本発明の実施の形態に係る信号解析装置１００は、ＣＰＵと、ＲＡＭと、後述する学習処理ルーチン及びパラメータ推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することができる。この信号解析装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部９０と、を含んで構成されている。
【０１１８】
入力部１０は、雑音が混じっていないクリーンな音声信号（以後、クリーン音声信号）の時系列データを受け付ける。また、入力部１０は、音声信号と雑音信号とが混じっている音響信号（以後、観測信号）の時系列データを受け付ける。
【０１１９】
演算部２０は、時間周波数展開部２４と、ＧＭＭパラメータ学習部３２と、ＧＭＭパラメータ記憶部３４と、パラメータ推定部３６と、音声信号生成部３８と、を含んで構成されている。
【０１２０】
時間周波数展開部２４は、クリーン音声信号の時系列データに基づいて、各時刻における各周波数のスペクトルを表す振幅スペクトログラム又はパワースペクトログラムを計算する。なお、第１の実施の形態においては、短時間フーリエ変換やウェーブレット変換などの時間周波数展開を行う。
【０１２１】
また、時間周波数展開部２４は、観測信号の時系列データに基づいて、各時刻ｔにおける各周波数ωの観測スペクトルＹω,tを表す振幅スペクトログラム又はパワースペクトログラムである観測スペクトログラムＹを計算する。
【０１２２】
ＧＭＭパラメータ学習部３２は、時間周波数展開部２４によって計算された、クリーン音声信号の各時刻における各周波数のスペクトルに基づいて、音声の声道スペクトルと声帯振動スペクトルに対して、その対数および対数の一次差分量の混合ガウス分布モデルのパラメータを学習する。具体的には、混合ガウス分布モデルの出力分布の平均系列
2018036410.tif 000076
、混合ガウス分布モデルの出力分布の分散を対角成分に並べた対角行列
2018036410.tif 000077
を学習する。
【０１２３】
ＧＭＭパラメータ記憶部３４は、ＧＭＭパラメータ学習部３２によって学習された、混合ガウス分布の出力分布の平均系列
2018036410.tif 000078
、混合ガウス分布モデルの出力分布の分散を対角成分に並べた対角行列
2018036410.tif 000079
を記憶している。
【０１２４】
パラメータ推定部３６は、時間周波数展開部２４により出力された観測スペクトログラムＹ、及びＧＭＭパラメータ記憶部３４に記憶されている混合ガウス分布モデルのパラメータに基づいて、各時刻及び各周波数の観測スペクトルＹと、音声信号の声道スペクトル系列Ｆ及び音源スペクトル系列Ｅから求められる各時刻及び各周波数のスペクトルＸ(S)、並びに前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータから求められる各時刻及び各周波数のスペクトルＸ(N)の和Ｘとの距離
2018036410.tif 000080
、音声信号の声道スペクトル系列Ｆと、声道スペクトル系列に対応した混合ガウス分布モデルの一つの状態を並べた系列が与えられた下での最尤スペクトル系列との距離
2018036410.tif 000081
、音声信号の音源スペクトル系列Ｅと、音源スペクトル系列Ｅに対応した混合ガウス分布モデルの一つの状態を並べた系列が与えられた下での最尤スペクトル系列との距離
2018036410.tif 000082
、及び雑音信号の各時刻及び各周波数の観測スペクトルＸ(N)と、雑音信号の基底スペクトルＨ(N)及びアクティベーションパラメータＵ(N)から求められる各時刻及び各周波数のスペクトルとの距離
2018036410.tif 000083
、を用いて表される上記（12）式に示す規準を小さくするように、雑音信号の基底スペクトルＨ(N)及びアクティベーションパラメータＵ(N)と、音声信号の声道スペクトル系列Ｆと、音声信号の音源スペクトル系列Ｅと、雑音信号の各時刻及び各周波数の観測スペクトルＸ(N)とを推定する。
【０１２５】
具体的には、パラメータ推定部３６は、初期値設定部４０、補助変数更新部４２、パラメータ更新部４４、及び収束判定部４６を備えている。
【０１２６】
初期値設定部４０は、音声信号のアクティベーションパラメータＵ(S)と、雑音信号の基底スペクトルＨ(N)及びアクティベーションパラメータＵ(N)と、音声信号の声道スペクトル系列Ｆと、音声信号の音源スペクトル系列Ｅと、雑音信号の各時刻及び各周波数の観測スペクトルＸ(N)とに初期値を設定する。また、状態系列
2018036410.tif 000084
に一つの状態を並べた系列を設定すると共に、ＧＭＭパラメータ記憶部３４に記憶されている混合ガウス分布モデルのパラメータに基づいて、最尤スペクトル系列
2018036410.tif 000085
を設定する。
【０１２７】
補助変数更新部４２は、初期値である、又は前回更新した、音声信号の声道スペクトル系列Ｆと、音声信号の音源スペクトル系列Ｅと、雑音信号の各時刻及び各周波数の観測スペクトルＸ(N)とに基づいて、上記（２２）式、（２３）式、（２７）式、（２８）式、（３３）式、（３６）式、（３９）式、（４３）式、（４４）式、（４９）式、（５０）式に従って、各周波数ω及び各時刻ｔに対するζω,t、λ(S)ω,t、λ(N)ω,t、θ(S)ω,t、θ(N)ω,t、φω,t、ηω,t、ζω,t、νω,t、πω,t、σω,t、各基底ｌ、各周波数ω、及び各時刻ｔに対するψl,ω,t、τω,l,t、雑音信号の各基底ｌ及び各周波数ωの基底スペクトルＨ(N)ω,l及び各基底ｌ及び各時刻ｔのアクティベーションパラメータＵ(N)l,tを更新する。
【０１２８】
パラメータ更新部４４は、時間周波数展開部２４により出力された観測スペクトログラムＹと、補助変数更新部４２によって更新された各周波数ω及び各時刻ｔに対するζω,t、λ(S)ω,t、λ(N)ω,t、θ(S)ω,t、θ(N)ω,t、φω,t、ηω,t、ζω,t、νω,t、πω,t、σω,t、各基底ｌ、各周波数ω、及び各時刻ｔに対するψl,ω,t、τω,l,tと、初期値である、又は前回更新した、音声信号の声道スペクトル系列Ｆと、音声信号の音源スペクトル系列Ｅと、雑音信号の各時刻及び各周波数の観測スペクトルＸ(N)と、雑音信号の基底スペクトルＨ(N)及びアクティベーションパラメータＵ(N)と、状態系列
2018036410.tif 000086
、最尤スペクトル系列
2018036410.tif 000087
とに基づいて、上記（５２）式〜（５６）式に従って、雑音信号の各基底ｌ及び各周波数ωの基底スペクトルＨ(N)ω,l及び各基底ｌ及び各時刻ｔのアクティベーションパラメータＵ(N)l,t、音声信号の声道スペクトル系列Ｆと、音声信号の音源スペクトル系列Ｅと、雑音信号の各時刻ｔ及び各周波数ωの観測スペクトルＸ(N)ω,tとを推定する。
【０１２９】
収束判定部４６は、収束条件を満たすか否かを判定し、収束条件を満たすまで、補助変数更新部４２における更新処理と、パラメータ更新部４４における更新処理とを繰り返させる。
【０１３０】
収束条件としては、例えば、繰り返し回数が、上限回数に到達したことを用いることができる。あるいは、収束条件として、上記（12）式の規準の値と前回の規準の値との差分が、予め定められた閾値以下であることを用いることができる。
【０１３１】
音声信号生成部３８は、パラメータ推定部３６において取得した音声信号の声道スペクトル系列Ｆと、音声信号の音源スペクトル系列Ｅと、雑音信号の各時刻ｔ及び各周波数ωの観測スペクトルＸ(N)ω,tと、観測スペクトログラムＹとに基づいて、Ｗｉｅｎｅｒフィルタに従って、音声信号を生成し、出力部９０から出力する。例えば、パラメータ推定部３６において取得した音声信号の声道スペクトル系列Ｆと、音声信号の音源スペクトル系列Ｅとから求められる、音声信号の各時刻ｔ及び各周波数ωの観測スペクトルＸ(Ｓ)ω,tと、パラメータ推定部３６において取得した雑音信号の各時刻ｔ及び各周波数ωの観測スペクトルＸ(N)ω,tと、観測スペクトログラムＹとから、Ｗｉｅｎｅｒフィルタにより、音声信号を生成する。
【０１３２】
＜本発明の実施の形態に係る信号解析装置の作用＞
次に、本発明の実施の形態に係る信号解析装置１００の作用について説明する。まず、入力部１０においてクリーン音声信号の時系列データを受け付けると、信号解析装置１００は、図２に示す学習処理ルーチンを実行する。
【０１３３】
まず、ステップＳ１００では、入力部１０において受け付けたクリーン音声信号の時系列データに基づいて、クリーン音声信号の各時刻における各周波数のスペクトルを計算する。
【０１３４】
ステップＳ１０６では、上記ステップＳ１００において取得したクリーン音声信号の各時刻における各周波数のスペクトルに基づいて、音声の声道スペクトルと声帯振動スペクトルに対して、その対数および対数の一次差分量の混合ガウス分布モデルのパラメータを学習する。具体的には、混合ガウス分布モデルの出力分布の平均系列
2018036410.tif 000088
、混合ガウス分布モデルの出力分布の分散を対角成分に並べた対角行列
2018036410.tif 000089
を学習し、ＧＭＭパラメータ記憶部３４に格納して、学習処理ルーチンを終了する。
【０１３５】
次に、入力部１０において、音声信号と雑音信号とが混在した観測信号の時系列データを受け付けると、信号解析装置１００は、図３に示すパラメータ推定処理ルーチンを実行する。
【０１３６】
まず、ステップＳ１２０では、入力部１０において受け付けた観測信号の時系列データに基づいて、観測スペクトログラムＹを計算する。
【０１３７】
ステップＳ１２２では、音声信号のアクティベーションパラメータＵ(S)と、雑音信号の基底スペクトルＨ(N)及びアクティベーションパラメータＵ(N)と、音声信号の声道スペクトル系列Ｆと、音声信号の音源スペクトル系列Ｅと、雑音信号の各時刻及び各周波数の観測スペクトルＸ(N)とに初期値を設定する。
【０１３８】
ステップＳ１２４では、初期値である、又は後述するステップＳ１２５で前回更新した、音声信号の声道スペクトル系列Ｆと、音声信号の音源スペクトル系列Ｅと、雑音信号の各時刻及び各周波数の観測スペクトルＸ(N)とに基づいて、上記（２２）式、（２３）式、（２７）式、（２８）式、（３３）式、（３６）式、（３９）式、（４３）式、（４４）式、（４９）式、（５０）式に従って、各周波数ω及び各時刻ｔに対するζω,t、λ(S)ω,t、λ(N)ω,t、θ(S)ω,t、θ(N)ω,t、φω,t、ηω,t、ζω,t、νω,t、πω,t、σω,t、各基底ｌ、各周波数ω、及び各時刻ｔに対するψl,ω,t、τω,l,t、雑音信号の各基底ｌ及び各周波数ωの基底スペクトルＨ(N)ω,l及び各基底ｌ及び各時刻ｔのアクティベーションパラメータＵ(N)l,tを更新する。
【０１３９】
次に、ステップＳ１２５では、上記ステップＳ１２０で得られた観測スペクトログラムＹと、上記ステップＳ１２４で更新された各周波数ω及び各時刻ｔに対するζω,t、λ(S)ω,t、λ(N)ω,t、θ(S)ω,t、θ(N)ω,t、φω,t、ηω,t、ζω,t、νω,t、πω,t、σω,t、各基底ｌ、各周波数ω、及び各時刻ｔに対するψl,ω,t、τω,l,tと、初期値である、又は前回更新した、音声信号の声道スペクトル系列Ｆと、音声信号の音源スペクトル系列Ｅと、雑音信号の各時刻及び各周波数の観測スペクトルＸ(N)と、雑音信号の基底スペクトルＨ(N)及びアクティベーションパラメータＵ(N)と、状態系列
2018036410.tif 000090
、最尤スペクトル系列
2018036410.tif 000091
とに基づいて、上記（５２）式〜（５６）式に従って、雑音信号の各基底ｌ及び各周波数ωの基底スペクトルＨ(N)ω,l及び各基底ｌ及び各時刻ｔのアクティベーションパラメータＵ(N)l,t、音声信号の声道スペクトル系列Ｆと、音声信号の音源スペクトル系列Ｅと、雑音信号の各時刻ｔ及び各周波数ωの観測スペクトルＸ(N)ω,tとを推定する。
【０１４０】
次に、ステップＳ１２８では、収束条件を満たすか否かを判定する。収束条件を満たした場合には、ステップＳ１３０へ移行し、収束条件を満たしていない場合には、ステップＳ１２４へ移行し、ステップＳ１２４〜ステップＳ１２５の処理を繰り返す。
【０１４１】
ステップＳ１３０では、上記ステップＳ１２５で最終的に更新された音声信号の声道スペクトル系列Ｆと、音声信号の音源スペクトル系列Ｅと、雑音信号の各時刻ｔ及び各周波数ωの観測スペクトルＸ(N)ω,tと、観測スペクトログラムＹとに基づいて、Ｗｉｅｎｅｒフィルタに従って、音声信号を生成し、出力部９０から出力して、パラメータ推定処理ルーチンを終了する。
【０１４２】
＜実験例＞
NTT-AT多言語音声データベース2002の音声データとRWCPの雑音データ(white noise, museum noise, babble noise, background music noiseの 4種類)を用いて上述の手法による雑音抑圧効果を検証する評価実験を行った。比較対象は従来のSSNMF法とし、処理前と処理後の信号対雑音比(SNR) およびメル周波数ケプストラム係数距離の改善値を評価した。テストデータはクリーン音声に各雑音をさまざまなSNRで重畳させて作成した。テストデータはすべてサンプリング周波数16kHzのモノラル信号で、フレーム長32ms、フレームシフト16msで短時間Fourier変換を行い、観測スペクトログラムYω,tを算出した。学習においては10名(うち女性5名、男性5名)の話者の計500文の音声を用いてH(S)ω,lを学習し、音声の声道スペクトルと声帯振動スペクトルに対して、その対数および対数の一次差分量のＧＭＭパラメータの学習を行った。ＧＭＭの混合数は３２とした。テストにおいては、学習で得られたH(S)ω,lとＧＭＭパラメータを固定し、α1=1、α2＝10、α3=1としてFω,t、Eω,t、H(N)ω,l、U(N)l,tの推定を行った。推定後、X(S)ω,tとX(N)ω,tを用いてWienerフィルタにより音声信号の推定値を算出した。提案法アルゴリズムの初期値は従来のSSNMFにより得た。
【０１４３】
以上の条件下での提案法と従来法によって得られたケプストラム歪みおよびSNRの改善値を比較したところ、いずれの評価尺度においてもほとんどの場合において提案法の方が高い改善値を得られていることが確認できた。
【０１４４】
以上説明したように、本発明の実施の形態に係る信号解析装置によれば、観測スペクトルと、声道スペクトル系列及び音源スペクトル系列から求められるスペクトル、並びに雑音信号の基底スペクトル及びアクティベーションパラメータから求められるスペクトルの和との距離、声道スペクトル系列と、声道スペクトル系列に対応したＧＭＭでの最尤スペクトル系列との距離、音源スペクトル系列と、音源スペクトル系列に対応したＧＭＭでの最尤スペクトル系列との距離、及び雑音信号の各時刻及び各周波数の観測スペクトルと、雑音信号の基底スペクトル及びアクティベーションパラメータから求められる各時刻及び各周波数のスペクトルとの距離を用いて表される規準を小さくするように、雑音信号の基底スペクトル及びアクティベーションパラメータと、声道スペクトル系列と、音源スペクトル系列と、雑音信号の観測スペクトルとを推定することにより、雑音を抑制し、高品質な音声信号を強調することができる。
【０１４５】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１４６】
例えば、ＧＭＭパラメータを学習する処理と、観測信号から音声信号を推定するパラメータ推定とを別々の装置で行うように構成してもよい。
【０１４７】
また、更新するパラメータの順番には任意性があるため、上記の実施の形態の順番に限定されない。
【０１４８】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。
【符号の説明】
【０１４９】
１０ 入力部
２０ 演算部
２４ 時間周波数展開部
３２ ＧＭＭパラメータ学習部
３４ ＧＭＭパラメータ記憶部
３６ パラメータ推定部
３８ 音声信号生成部
４０ 初期値設定部
４２ 補助変数更新部
４４ パラメータ更新部
４６ 収束判定部
９０ 出力部
１００ 信号解析装置
【図１】
2018036410.tif 000102
【図２】
2018036410.tif 000103
【図３】
2018036410.tif 000104