(57)【要約】【課題】従来技術と比べ、高雑音下等において、精度良く雑音抑圧を行うことができる雑音抑圧装置等を提供する。【解決手段】雑音抑圧装置は、雑音抑圧対象の音声データの音声特徴量Otを算出する特徴量算出部と、音声と雑音とからなる状態と、非音声と雑音とからなる状態とから構成される混合数K個のガウス分布で表現された観測信号モデルの各状態の事後確率bj,N_t(Ot)を用いて、音声特徴量Otから雑音抑圧対象の音声データに含まれる雑音成分を推定する雑音推定部と、雑音成分の推定値を用いて、雑音抑圧対象の音声データから雑音成分を抑圧した雑音抑圧音声データを求める雑音抑圧部とを含み、事後確率bj,N_t(Ot)は、DNNの出力である各状態、各分布の事後確率pj,kをガウス分布の出力の重みとして得られる値であり、DNNは出力層がガウス混合モデルの各状態での各分布に対応する。【選択図】図１
2018159756.tif 000002
【特許請求の範囲】
【請求項１】
雑音抑圧対象の音声データの音声特徴量Otを算出する特徴量算出部と、
音声と雑音とからなる状態と、非音声と雑音とからなる状態とから構成される混合数K個のガウス分布で表現された観測信号モデルの各状態の事後確率bj,N_t(Ot)を用いて、音声特徴量Otから雑音抑圧対象の音声データに含まれる雑音成分を推定する雑音推定部と、
雑音成分の推定値を用いて、雑音抑圧対象の音声データから雑音成分を抑圧した雑音抑圧音声データを求める雑音抑圧部とを含み、
前記事後確率bj,N_t(Ot)は、DNNの出力である各状態、各分布の事後確率pj,kをガウス分布の出力の重みとして得られる値であり、前記DNNは出力層がガウス混合モデルの各状態での各分布に対応する、
雑音抑圧装置。
【請求項２】
請求項１の雑音抑圧装置であって、
前記DNNは、学習用音声データの特徴量と、学習用音声データに重畳させる学習用の雑音からなる音声データの特徴量とを学習データとして構築したものであり、
前記雑音推定部は、1つ以上前の時刻における前記雑音成分の推定値の特徴量と、前記音声特徴量Otとを用いて、前記DNNの出力である各状態、各分布での事後確率pj,kを算出する、
雑音抑圧装置。
【請求項３】
雑音抑圧対象の音声データの音声特徴量Otを算出する特徴量算出ステップと、
音声と雑音とからなる状態と、非音声と雑音とからなる状態とから構成される混合数K個のガウス分布で表現された観測信号モデルの各状態の事後確率bj,N_t(Ot)を用いて、音声特徴量Otから雑音抑圧対象の音声データに含まれる雑音成分を推定する雑音推定ステップと、
雑音成分の推定値を用いて、雑音抑圧対象の音声データから雑音成分を抑圧した雑音抑圧音声データを求める雑音抑圧ステップとを含み、
前記事後確率bj,N_t(Ot)は、DNNの出力である各状態、各分布の事後確率pj,kをガウス分布の出力の重みとして得られる値であり、前記DNNは出力層がガウス混合モデルの各状態での各分布に対応する、
雑音抑圧方法。
【請求項４】
請求項３の雑音抑圧方法であって、
前記DNNは、学習用音声データの特徴量と、学習用音声データに重畳させる学習用の雑音からなる音声データの特徴量とを学習データとして構築したものであり、
前記雑音推定ステップは、1つ以上前の時刻における前記雑音成分の推定値の特徴量と、前記音声特徴量Otとを用いて、前記DNNの出力である各状態、各分布での事後確率pj,kを算出する、
雑音抑圧方法。
【請求項５】
請求項１または請求項２の雑音抑圧装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された音声信号に重畳する雑音成分を抑圧する雑音抑圧装置、その方法、及びプログラムに関する。
【背景技術】
【０００２】
音声認識などの音声入力を伴うアプリケーションやサービスにおいて、入力音声に雑音が重畳している場合、その精度に悪影響を及ぼす。入力音声に重畳する雑音成分を抑圧する(雑音抑圧する)ことで後段の精度劣化を防ぐことができる。雑音抑圧手法としては、クリーン音声と雑音を確率的なモデルで表現し、入力音声に重畳する雑音成分を推定し、抑圧する確率モデルベースの方式の有効性が広く知られている(非特許文献１参照)。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Fujimoto, "A VOICE ACTIVITY DETECTION BASED ON THE ADAPTIVE INTEGRATION OF MULTIPLE SPEECH FEATURES AND A SIGNAL DECISION SCHEME", Proc. ICASSP ’08, pp.4441-4444.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、高雑音下等において、精度良く雑音抑圧を行うことができない場合がある。
【０００５】
本発明は、従来技術と比べ、高雑音下等において、精度良く雑音抑圧を行うことができる雑音抑圧装置、その方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の一態様によれば、雑音抑圧装置は、雑音抑圧対象の音声データの音声特徴量Otを算出する特徴量算出部と、音声と雑音とからなる状態と、非音声と雑音とからなる状態とから構成される混合数K個のガウス分布で表現された観測信号モデルの各状態の事後確率bj,N_t(Ot)を用いて、音声特徴量Otから雑音抑圧対象の音声データに含まれる雑音成分を推定する雑音推定部と、雑音成分の推定値を用いて、雑音抑圧対象の音声データから雑音成分を抑圧した雑音抑圧音声データを求める雑音抑圧部とを含み、事後確率bj,N_t(Ot)は、DNNの出力である各状態、各分布の事後確率pj,kをガウス分布の出力の重みとして得られる値であり、DNNは出力層がガウス混合モデルの各状態での各分布に対応する。
【０００７】
上記の課題を解決するために、本発明の他の態様によれば、雑音抑圧方法は、雑音抑圧対象の音声データの音声特徴量Otを算出する特徴量算出ステップと、音声と雑音とからなる状態と、非音声と雑音とからなる状態とから構成される混合数K個のガウス分布で表現された観測信号モデルの各状態の事後確率bj,N_t(Ot)を用いて、音声特徴量Otから雑音抑圧対象の音声データに含まれる雑音成分を推定する雑音推定ステップと、雑音成分の推定値を用いて、雑音抑圧対象の音声データから雑音成分を抑圧した雑音抑圧音声データを求める雑音抑圧ステップとを含み、事後確率bj,N_t(Ot)は、DNNの出力である各状態、各分布の事後確率pj,kをガウス分布の出力の重みとして得られる値であり、DNNは出力層がガウス混合モデルの各状態での各分布に対応する。
【発明の効果】
【０００８】
本発明によれば、従来技術と比べ、高雑音下等において、精度良く雑音抑圧を行うことができるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】第一、二実施形態に係る雑音抑圧装置の機能ブロック図。
【図２】第一、二実施形態に係る雑音抑圧装置の処理フローの例を示す図。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、テキスト中で使用する記号「^」等は、本来直後の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直前に記載する。式中においてはこれらの記号は本来の位置に記述している。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
【００１１】
＜第一実施形態のポイント＞
音声・非音声の特徴量分布が混合ガウス分布に従うと仮定したうえで、深層学習により各ガウス分布の事後確率を学習し、学習したDNN(deep neural network)の出力値を各ガウス分布の重みとして利用することで、より精度よく音声・非音声の特徴量を捉えることができる。
【００１２】
＜第一実施形態＞
図１は第一実施形態に係る雑音抑圧装置の機能ブロック図を、図２はその処理フローを示す。
【００１３】
雑音抑圧装置１００は、雑音抑圧対象の音声データを入力とし、音声データに含まれる雑音を抑圧して、雑音抑圧音声データを求め、出力する。
【００１４】
雑音抑圧装置１００は、CPUと、RAMと、以下の処理を実行するためのプログラムを記録したROMを備えたコンピュータで構成され、機能的には次に示すように構成されている。
【００１５】
雑音抑圧装置１００は、音声モデル学習部１０１と、特徴量算出部１０２と、雑音推定部１０３と、雑音抑圧部１０４とを含む。
【００１６】
＜音声モデル学習部１０１＞
入力音声データに重畳する雑音成分を推定するために、事前に学習可能な音声・非音声の確率密度関数を混合ガウス分布（GMM）で表現する。
【００１７】
例えば、音声モデル学習部１０１は、雑音抑圧処理に先立ち、音声・非音声の識別が可能なラベル(以下、音声識別ラベルともいう)が短時間フレーム毎に付与された学習用音声データが入力される。音声モデル学習部１０１は、学習用音声データの音声特徴量OH,tを算出する。音声特徴量OH,tとしては、L次元のフィルタバンク出力値等を用いることができる。l次元のフィルタバンク出力値をOH,t,lとすると、OH,t={OH,t,1,OH,t,2,…,OH,t,L}である。ただし、Hは学習データであることを表すインデックスであり、tはフレーム時刻を示すインデックスである。
【００１８】
音声モデル学習部１０１は、音声特徴量OH,tと音声識別ラベルとを用いて、EMアルゴリズムなどにより、GMMの最適なパラメータ値(例えば、平均ベクトルと共分散行列)を推定する。
【００１９】
さらに、本実施形態では、音声モデル学習部１０１は、構築したGMMを用いて、出力層がGMMの各状態での各ガウス分布に対応するようDNNも合わせて構築する。DNNは事前に構築したGMMの状態数J、混合数Kに合わせており、出力層での出力数はJ×K個となる。例えば、j=0,1,…,J-1とし、J=2とし(つまり、j=0,1)、j=0は非対話、j=1は対話を示すラベルである。DNNは、音声特徴量を入力とし、各状態での各ガウス分布の事後確率を出力とするモデルであり、音声特徴量OH,tと構築したGMMの事後確率から学習する。
【００２０】
音声モデル学習部１０１は、雑音抑圧処理に先立ち、構築したGMMとDNNとを雑音推定部１０３に出力する。
【００２１】
＜特徴量算出部１０２＞
特徴量算出部１０２は、雑音抑圧対象の音声データを入力とし、その音声特徴量Otを算出し（Ｓ１０２）、出力する。なお、音声特徴量の種類、算出方法は、音声モデル学習部１０１で用いたものと同じものを用いる。
【００２２】
＜雑音推定部１０３＞
雑音推定部１０３は、雑音抑圧処理に先立ち、GMM及びDNNを受け取る。
【００２３】
雑音推定部１０３は、音声特徴量Otを入力とし、雑音抑圧対象の音声データに含まれる雑音成分を推定し（Ｓ１０３）、出力する。例えば、確率モデルに基づく公知の雑音推定方法(参考文献１参照)を用いて、時刻tにおける雑音成分を推定する。
(参考文献１)Fujimoto, "Noise Robust Voice Activity Detection Based on Switching Kalman Filter", IEICE Trans. on Info. & and Syst., Vol. E91-D,No.3, pp.467-477, March 2008.
【００２４】
時刻tでの正規化確率を用いて加重平均した雑音成分の推定値^Nt,lは以下の形式で与えられる。
【数１】
2018159756.tif 000003
【００２５】
ここで、l=1,2,…,L、^Nt=(^Nt,1,^Nt,2,…,^Nt,L)、Nt,j=(Nt,j,1,Nt,j,2,…,Nt,j,L)、Nt,j,lは時刻tかつ状態jにおける推定雑音成分Nt,jのl次元のフィルタバンク出力値であり、bj,N_t(Ot)(ただし、下付き添え字N_tはNtを意味する)は、音声と雑音(j=0)、非音声と雑音(j=1)の2状態から構成される混合数K個のガウス分布で表現された観測信号モデル(Ot)の各状態の事後確率であり、以下のように表される。
【数２】
2018159756.tif 000004
【００２６】
ここでμO_t,j,k、ΣO_t,j,k(ただし、下付き添え字O_tはOtを意味する)はそれぞれ観測音モデルの各状態j(j=0,1)、各正規分布k(k=1,2,…,K)、時刻tでの平均ベクトル、共分散行列である。これらの値は音声モデル学習部１０１で学習したGMMに基づき求めることができる。
【００２７】
また公知の技術(参考文献１参照)では、wS_j,k(ただし、下付き添え字S_j,kはSj,kを意味する)は、事前に学習した音声・非音声の2状態からなる混合数K個のGMMの混合重みである。本実施形態では、音声モデル学習部１０１で構築したDNNの出力である各状態、各状態の事後確率pj,kを重みwS_j,kとして利用する。つまり、
【数３】
2018159756.tif 000005
である。
【００２８】
＜雑音抑圧部１０４＞
雑音抑圧部１０４は、雑音抑圧対象の音声データと雑音成分の推定値^Nt,lとを入力とし、雑音成分の推定値^Nt,lを用いて、雑音抑圧対象の音声データから雑音成分を抑圧した雑音抑圧音声データを求め（Ｓ１０４）、出力する。例えば、まず、雑音成分の推定値^Nt,lを用いてフィルタゲインを求める。次に、フィルタゲインをインパルス応答に変換する。そして、インパルス応答を雑音抑圧対象の音声データに畳み込み、雑音抑圧音声データを求め、出力する。
【００２９】
例えば、Wiener filterに基づく手法を用いて、雑音抑圧を行う(参考文献２)
(参考文献２) Segura, "Model-based compensation of additive noise for continuous speech recognition. experiments using AURORA II database and tasks", Proc. of Euro Speech ’01, Vol.1, pp.221-224.
【００３０】
一般に時刻tでのWiener filterのフィルタゲインGt,lは以下のように表され、St,lは事前に学習した音声・非音声の確率モデルの平均値を用い、Nt,lは雑音推定部１０３で推定した推定値^Nt,lを用いることで算出が可能である。
【数４】
2018159756.tif 000006
フィルタゲインを算出後は、Mel-warped DCTなどを用いてインパルス応答に変換し、入力信号波形に畳み込むことで、雑音抑圧音声データを得ることができる。
【００３１】
＜効果＞
以上の構成により、従来技術と比べ、高雑音下等において、精度良く雑音抑圧を行うことができる。
【００３２】
＜変形例＞
本実施形態では、音声モデル学習部１０１を雑音抑圧装置１００内に設けたが、別装置として構成してもよい。
【００３３】
＜第二実施形態＞
第一実施形態と異なる部分を中心に説明する。
【００３４】
雑音抑圧装置１００は、音声モデル学習部２０１と、特徴量算出部１０２と、雑音推定部２０３と、雑音抑圧部１０４とを含む。音声モデル学習部２０１と雑音推定部２０３の処理内容が第一実施形態とは異なる。
【００３５】
＜音声モデル学習部２０１＞
本実施形態におけるDNNは、学習用音声データの特徴量と、学習用音声データに重畳させる学習用の雑音からなる音声データの特徴量とを学習データとして構築したものである。
【００３６】
まず、音声モデル学習部２０１は、第一実施形態と同様にGMMを構築する。さらに本実施形態では、学習用音声データに意図的に雑音を重畳させ、その雑音成分(以下、学習用雑音ともいう)の特徴量（たとえば、音声と同様にL次元のフィルタバンク出力）を入力特徴量としてさらに学習データとして与え、DNNを構築する。つまり、GMMは、L次元の学習用音声データの特徴量を用いて学習し、DNNは学習用音声データの特徴量＋学習用雑音の特徴量の2L次元の特徴量を用いて学習する。DNNは、音声特徴量OH,tと学習用雑音の特徴量とを入力とし、各状態での各ガウス分布の事後確率を出力とするモデルでり、音声特徴量OH,tと学習用雑音の特徴量と、構築したGMMの事後確率から学習する。
【００３７】
音声モデル学習部２０１は、雑音抑圧処理に先立ち、構築したGMMとDNNとを雑音推定部２０３に出力する。
【００３８】
＜雑音推定部２０３＞
雑音推定部２０３は、雑音抑圧処理に先立ち、GMM及びDNNを受け取る。
【００３９】
雑音推定部２０３は、音声特徴量Otを入力とし、雑音抑圧対象の音声データに含まれる雑音成分を推定し（Ｓ２０３）、出力する。本実施形態では、1つ以上前の時刻における雑音成分の推定値^Nt-n,lの特徴量と音声特徴量Otとを用いて音声モデル学習部２０１で構築したDNNの出力である各状態・各分布での事後確率pj,kを算出し、混合重み重みwS_j,kとして利用する。nは1以上の整数の何れかである。推定値^Nt,lは、
【数５】
2018159756.tif 000007
により求める。
【００４０】
なお、推定値^Nt,lを求める際には、事後確率pj,kが必要となる。ここで、事後確率pj,kの算出においては、例えば、ひとつ前の時刻t-1時点での推定値^Nt-1,lを利用して算出を行う。また、推定値^Nt-1,lが得られないt=0時点では、推定値^Nt-1,lを0とすることや音声特徴量Otを推定値^Nt-1,lとすることなどで代用すると良い。
【００４１】
＜効果＞
このような構成とすることで、第一実施形態と同様の効果を得ることができる。さらに、事前に音声の特徴量だけではなく、雑音特徴量についても学習することでより雑音環境下でおいても頑健に音声／非音声の事後確率算出が可能となり、精度よく雑音抑圧を行うことができる。
【００４２】
＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【００４３】
＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【００４４】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００４５】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
【００４６】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００４７】
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2018159756.tif 000008
【図２】
2018159756.tif 000009