(57)【要約】【課題】従来よりも分離精度の高い音源分離技術装置を提供する。【解決手段】音源分離装置は、観測信号から拡散性雑音音響信号の推定値を除去し、除去済信号を求める拡散性雑音除去部と、除去済信号をモデル化した確率分布と、伝達関数をモデル化した確率分布と、を組み合わせることでフィルタを得るフィルタ設計部と、フィルタにより観測信号から、少なくとも第一音響信号と干渉性雑音音響信号を含む雑音成分の推定値とを分離する音源分離部と、を有する。【選択図】図４
2019193073.tif 000002
【特許請求の範囲】
【請求項１】
スピーカから発せられた所定の音響信号をマイクロホンで収録した観測信号から所望の音響信号を取得する音源分離装置であって、
前記観測信号は、前記所定の音響信号と前記スピーカと前記マイクロホンとの間の空間特性を表現した関数である伝達関数とに基づく第一音響信号と、干渉性雑音である干渉性雑音音響信号と、拡散性雑音である拡散性雑音音響信号と、を含んでおり、
前記観測信号から前記拡散性雑音音響信号の推定値を除去し、除去済信号を求める拡散性雑音除去部と、
前記除去済信号をモデル化した確率分布と、前記伝達関数をモデル化した確率分布と、を組み合わせることでフィルタを得るフィルタ設計部と、
前記フィルタにより前記観測信号から、少なくとも前記第一音響信号と前記干渉性雑音音響信号を含む雑音成分の推定値とを分離する音源分離部と、を有する、
音源分離装置。
【請求項２】
請求項１の音源分離装置であって、
ω={1,2,…,Ω}とτ={1,2,…,Τ}をそれぞれ周波数と時間のインデックスとし、前記伝達関数の推定値を^Aωとし、前記干渉性雑音音響信号の推定値を^Nω,τとし、前記所定の音響信号をSω,τとし、前記除去済信号をYω,τとし、_A:=[^Aω]∈RΩ、_N:=[^Nω,τ]∈RΩ×Τ、_S:=[Sω,τ]∈RΩ×Τ、_Y:=[Yω,τ]∈RΩ×Τ、_α:=[αω]∈RΩとし、前記除去済信号をモデル化した確率分布は前記除去済信号に関する尤度関数p(_A_N|_S,_Y)であり、前記伝達関数をモデル化した確率分布は前記伝達関数に関する事前分布p(_A|_α)であり、前記フィルタ設計部は、同時確率
L=p(_A,_N|_S,_Y)p(_A|_α) 
を最大化するようにパラメータを推定し、推定したパラメータから前記フィルタを得る、
音源分離装置。
【請求項３】
請求項２の音源分離装置であって、
前記観測信号をXω,τとし、前記所定の音響信号と前記干渉性雑音音響信号の振幅スペクトルの基底の推定値をそれぞれ^Wω,rSと^Wω,kNとし、前記所定の音響信号と前記干渉性雑音音響信号の振幅スペクトルの基底に対応する強度の推定値をそれぞれ^Hr,τSと^Hk,τNとし、前記所定の音響信号と前記干渉性雑音音響信号の振幅スペクトルの基底数をそれぞれRとKとし、
前記フィルタ設計部は、
【数２２】
2019193073.tif 000024
により、
または、
Tは転置、_EはΩ×Τで要素が全て1の行列であり、行列の除算は要素毎の除算であり、_Z=[_Z(S),_W(N)]、_H=[(_H(S))T,(_H(N))T]T、_Z(S):={^Aω^Wω,rS}∈RΩ×R、_W(N):={^Wω,kN}∈RΩ×K、_H(S):={^Hr,τS}∈RR×Τ、_H(N):={^Hk,τN}∈RK×Τとし、
【数２３】
2019193073.tif 000025
により、λr,ω,τ、^Wω,τN、^Hω,τN、^Aωを更新することで、前記同時確率の最大化するようにパラメータを推定する、
音源分離装置。
【請求項４】
請求項３の音源分離装置であって、
前記拡散性雑音音響信号の推定値を^Dω,τとし、前記フィルタ設計部は、所定の条件を満たすまで更新処理を繰り返し、更新終了時のパラメータを用いて、前記フィルタを
【数２４】
2019193073.tif 000026
として得る、
音源分離装置。
【請求項５】
スピーカから発せられた所定の音響信号をマイクロホンで収録した観測信号から所望の音響信号を取得する音源分離方法であって、
前記観測信号は、前記所定の音響信号と前記スピーカと前記マイクロホンとの間の空間特性を表現した関数である伝達関数とに基づく第一音響信号と、干渉性雑音である干渉性雑音音響信号と、拡散性雑音である拡散性雑音音響信号と、を含んでおり、
前記観測信号から前記拡散性雑音音響信号の推定値を除去し、除去済信号を求める拡散性雑音除去ステップと、
前記除去済信号をモデル化した確率分布と、前記伝達関数をモデル化した確率分布と、を組み合わせることでフィルタを得るフィルタ設計ステップと、
前記フィルタにより前記観測信号から、少なくとも前記第一音響信号と前記干渉性雑音音響信号を含む雑音成分の推定値とを分離する音源分離ステップと、を有する、
音源分離方法。
【請求項６】
請求項５の音源分離方法であって、
ω={1,2,…,Ω}とτ={1,2,…,Τ}をそれぞれ周波数と時間のインデックスとし、前記伝達関数の推定値を^Aωとし、前記干渉性雑音音響信号の推定値を^Nω,τとし、前記所定の音響信号をSω,τとし、前記除去済信号をYω,τとし、_A:=[^Aω]∈RΩ、_N:=[^Nω,τ]∈RΩ×Τ、_S:=[Sω,τ]∈RΩ×Τ、_Y:=[Yω,τ]∈RΩ×Τ、_α:=[αω]∈RΩとし、前記除去済信号をモデル化した確率分布は前記除去済信号に関する尤度関数p(_A_N|_S,_Y)であり、前記伝達関数をモデル化した確率分布は前記伝達関数に関する事前分布p(_A|_α)であり、前記フィルタ設計ステップは、同時確率
L=p(_A,_N|_S,_Y)p(_A|_α) 
を最大化するようにパラメータを推定し、推定したパラメータから前記フィルタを得る、
音源分離方法。
【請求項７】
請求項６の音源分離方法であって、
前記観測信号をXω,τとし、前記所定の音響信号と前記干渉性雑音音響信号の振幅スペクトルの基底の推定値をそれぞれ^Wω,rSと^Wω,kNとし、前記所定の音響信号と前記干渉性雑音音響信号の振幅スペクトルの基底に対応する強度の推定値をそれぞれ^Hr,τSと^Hk,τNとし、前記所定の音響信号と前記干渉性雑音音響信号の振幅スペクトルの基底数をそれぞれRとKとし、
前記フィルタ設計ステップは、
【数２５】
2019193073.tif 000027
により、
または、
Tは転置、_EはΩ×Τで要素が全て1の行列であり、行列の除算は要素毎の除算であり、_Z=[_Z(S),_W(N)]、_H=[(_H(S))T,(_H(N))T]T、_Z(S):={^Aω^Wω,rS}∈RΩ×R、_W(N):={^Wω,kN}∈RΩ×K、_H(S):={^Hr,τS}∈RR×Τ、_H(N):={^Hk,τN}∈RK×Τとし、
【数２６】
2019193073.tif 000028
により、λr,ω,τ、^Wω,τN、^Hω,τN、^Aωを更新することで、前記同時確率の最大化するようにパラメータを推定する、
音源分離方法。
【請求項８】
請求項１から請求項４の何れかの音源分離装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、雑音環境下において、既知の音響信号をマイクロホンに与えた際(例えば、既知の音響信号を再生し、再生音をマイクロホンで収録した際)に得られた観測信号と、既知の音響信号から、観測信号に含まれる音声成分と雑音成分を分離する音源分離装置に関する。
【背景技術】
【０００２】
マイクロホンの音声認識性能を評価する場合、マイクロホンで収録した観測信号からSN比を推定し、SN比推定値と音声認識率の比較を行うものがある。例えば、SN比推定値の異なる２つ以上の観測信号に対して１台の音声認識装置で音声認識を行うことで、各SN比推定値に対するその音声認識装置の音声認識率を比較することができる。
【０００３】
このような手法を利用することで、観測信号が人間にとって認識してほしいと感じるか否か、という推定ができ（例えば、SN比が高い観測信号であれば聞き取りやすく認識して欲しいと感じると推定できる）、ユーザー体感値に近い認識性能の評価が可能となる。言い換えると、SN比が高い(音声成分に対して雑音成分が少なく聞き取りやすい)と音声認識の認識精度が高くなり、SN比が低い(音声成分に対して雑音成分が多く聞き取りづらい)と音声認識の認識精度が低くなるという点を考慮した認識性能の評価が可能となる。
【０００４】
上記のような性能評価のためのデータは、一般的に予め図示しない音声信号データベースを用意し、図１のようにスピーカ７１から目的音stを再生し、スピーカ７２から干渉性雑音ntを再生し、マイクロホン７３で収録した観測信号xtを用い、SN比推定部７４でSN比を推定する。なお、観測信号xtには拡散性雑音dtも含まれる。tは時刻を示すインデックスである。
【０００５】
従来のSN比推定技術は、図２のように目的音(元の音響信号であり、源音源または源信号ともいう)stから得られる発話区間情報を参考に、発話区間(図２中のTs0〜Ts1)から音声成分を、非発話区間(図２中のTn0〜Tn1)から雑音成分を求める（非特許文献１参照）。
【０００６】
しかし、非定常な雑音が存在すると、SN比の推定値とユーザー体感値（実感値）との間に差が生じる。例えば、図２Ａを非定常な雑音が存在しない状態とし、図２Ｂでは非発話区間(図２中のTn0〜Tn1)を含む区間に非定常な雑音が存在しSN比がユーザー体感値よりも低く推定され、図２Ｃでは発話区間(図２中のTs0〜Ts1)を含む区間に非定常な雑音が存在しSN比がユーザー体感値よりも高く推定される。
【０００７】
そこで、図３のように、音源分離部８４において観測信号xtの音声成分と雑音成分とを分離し、SN比推定部８５において分離した信号からSN比を推定する手法を提案する。ここでは、目的音sω,τ∈C(Cは複素数の全体の集合)と干渉性雑音nω,τ∈Cや拡散性雑音dω,τ∈Cが以下のように重畳した観測信号xω,τ∈Cから、観測信号xω,τに含まれる目的音由来の成分(音声成分)aωsω,τと、雑音由来の成分(雑音成分)nω,τ+dω,τを推定する問題を扱う。
xω,τ=aωsω,τ+nω,τ+dω,τ        (1)
ここで、xω,τ、sω,τ、nω,τ、dω,τはそれぞれ時間領域の信号xt、st、nt、dtを周波数領域の信号に変換したものであり、ω∈{1,…,Ω}とτ∈{1,…,Τ}は周波数と(フレーム)時間のインデックス、aωは目的音位置(目的音の発生位置)から観測位置までの伝達特性(伝達関数ともいう)である。以降、表記の簡単のために、|xω,τ|=Xω,τのように複素数の絶対値を各小文字に対応する大文字で表記する。特に断りのない限り、小文字の変数は複素数、大文字の変数は実数とする。拡散性雑音としては、空調の音などを含む背景雑音等の定常的な雑音が想定される。干渉性雑音としては、本来、収録対象としていない人の発話やTVの音声、突発的な物音等の非定常な雑音が想定される。
【０００８】
観測信号xω,τから音声成分aωsω,τと雑音成分nω,τ+dω,τとを推定する代表的な手法に、非線形フィルタリングがある。この方法では、非線形フィルタを以下の式で設計し、
【０００９】
【数１】
2019193073.tif 000003
【００１０】
各信号（成分）を以下のように推定する。
^aω^sω,τ=Gω,τxω,τ        (3)
^nω,τ+^dω,τ=(1-Gω,τ)xω,τ        (4)
このように各信号（成分）を推定することで、例えば式(5)で定義されるような各時間フレームのSNRであるsSNR（segmental-SNR）を推定できる。
【００１１】
【数２】
2019193073.tif 000004
【００１２】
式(2)において、非線形フィルタGω,τを推定するためには、伝達特性Aω、目的音Sω,τ、干渉性雑音Nω,τ、拡散性雑音Dω,τを推定する必要がある。本問題設定では、目的音Sω,τは既知であると仮定しているため、観測信号Xω,τから伝達特性Aω、干渉性雑音Nω,τ、拡散性雑音Dω,τを推定することで、非線形フィルタGω,τ及びSNRの推定が可能である。
【００１３】
上記の音源分離問題における従来手法の多くでは、振幅領域での各音源の瞬時混合、および伝達特性の振幅領域での乗法性を仮定している。今、上記の仮定が成り立つとすると、観測信号Xω,τは以下のように記述できる。
Xω,τ=AωSω,τ+Nω,τ+Dω,τ        (6)
このモデルの下で、各成分を推定する手法には様々なものがある。拡散性雑音Dω,τを推定する手法で代表的なものは、拡散性雑音Dω,τが定常雑音であると仮定し、観測信号Xω,τの期待値とすることである。
【００１４】
しかし、この方法だけでは、雑音成分のうち拡散性雑音Dω,τしか推定できず、干渉性雑音Nω,τを推定することができない。干渉性雑音Nω,τを推定する方法として、半教師付非負値行列因子分解（NMF: non-negative matrix factorization）がある。半教師付NMFでは観測信号Xω,τに関して以下のようなモデルを置く。
【００１５】
【数３】
2019193073.tif 000005
【００１６】
ここでWSω,rとWNω,kはそれぞれ、目的音と干渉性雑音の振幅スペクトルの基底、HSr,τとHNk,τはそれぞれ、目的音と干渉性雑音の振幅スペクトルの各基底に対応する強度（アクティベーション）であり、RとKはそれぞれの基底数である。本問題設定では、目的音Sω,τが既知であるため、基底WSω,rと強度HSr,τを、目的音Sω,τと
【００１７】
【数４】
2019193073.tif 000006
【００１８】
の間の一般化KL情報量などの目的関数を最小化するように学習し、次いで、観測信号Xω,τと式(7)の間の一般化KL情報量などの目的関数を最小化するように基底WNω,kと強度HNk,τを学習する（非特許文献２参照）。
【先行技術文献】
【非特許文献】
【００１９】
【非特許文献１】"G.160 : Revised Appendix II - Objective measures for the characterization of the basic functioning of noise reduction algorithms", International Telecommunication Union
【非特許文献２】D. Kitamura, N. Ono, H. Saruwatari, Y. Takahashi, and K. Kondo, "DISCRIMINATIVE AND RECONSTRUCTIVE BASIS TRAINING FOR AUDIO SOURCE SEPARATION WITH SEMI-SUPERVISED NONNEGATIVE MATRIX FACTORIZATION", in Proc., IWAENC 2016.
【発明の概要】
【発明が解決しようとする課題】
【００２０】
しかしながら、式(7)では伝達特性Aωと拡散性雑音Dω,τを考慮していないため、観測信号Xω,τからの目的音由来の成分aωsω,τと雑音由来の成分nω,τ+dω,τの分離精度が低く、これを適用しただけではSNRを精緻に推定することは困難である。
【００２１】
本発明は、従来よりも分離精度の高い音源分離技術装置を提供することを目的とする。
【課題を解決するための手段】
【００２２】
上記の課題を解決するために、本発明の一態様によれば、音源分離装置は、スピーカから発せられた所定の音響信号をマイクロホンで収録した観測信号から所望の音響信号を取得する。観測信号は、所定の音響信号とスピーカとマイクロホンとの間の空間特性を表現した関数である伝達関数とに基づく第一音響信号と、干渉性雑音である干渉性雑音音響信号と、拡散性雑音である拡散性雑音音響信号と、を含んでおり、音源分離装置は、観測信号から拡散性雑音音響信号の推定値を除去し、除去済信号を求める拡散性雑音除去部と、除去済信号をモデル化した確率分布と、伝達関数をモデル化した確率分布と、を組み合わせることでフィルタを得るフィルタ設計部と、フィルタにより観測信号から、少なくとも第一音響信号と干渉性雑音音響信号を含む雑音成分の推定値とを分離する音源分離部と、を有する。
【発明の効果】
【００２３】
本発明によれば、従来よりも分離精度が高いという効果を奏する。さらに、分離した各成分を用いることで従来よりもSN比の推定精度が高いという効果を奏する。
【図面の簡単な説明】
【００２４】
【図１】SN比を推定する従来技術を説明するための図。
【図２】図２Ａは非定常な雑音が存在しない状態を示す図、図２Ｂは非発話区間を含む区間に非定常な雑音が存在する状態を示す図、図２Ｃは発話区間を含む区間に非定常な雑音が存在する状態を示す図。
【図３】SN比を推定する従来技術を説明するための図。
【図４】第一実施形態に係るSN比推定装置の機能ブロック図。
【図５】第一実施形態に係るSN比推定装置の処理フローの例を示す図。
【発明を実施するための形態】
【００２５】
以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、テキスト中で使用する記号「^」等は、本来直後の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直前に記載する。また、テキスト中で使用する記号「_」等は、本来直後の文字の真下に記載されるべきものであるが、テキスト記法の制限により、当該文字の直前に記載する。式中においてはこれらの記号は本来の位置に記述している。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
【００２６】
＜第一実施形態のポイント＞
本実施形態では、半教師付NMFを拡張することで、観測信号Xω,τから、伝達特性Aω、干渉性雑音Nω,τ、拡散性雑音Dω,τを推定し、SN比を推定する手法を提供する。本実施形態のポイントは、
・半教師付NMFを、式(1)や式(6)のような実環境における観測モデルに適応するための拡散性雑音を事前に推定して観測信号から除去し、
・除去後の信号に基づき確率モデル化された半教師付NMF（非特許文献２参照）に伝達特性Aωに関する項を組み込み、事後確率最大化（MAP: maximum-a-posteriori）推定に基づく最適化を行う
アルゴリズムを提供することである。このような構成により、実環境においても観測信号から目的音由来成分と雑音由来成分を高精度に分離し、SN比を推定することができる。
【００２７】
まず、観測信号をどのようにモデル化にするかについて説明する。
【００２８】
＜観測信号のモデル化＞
式(6)に即して観測信号をモデル化するために、まず、観測信号Xω,τを以下のように近似する。
【００２９】
【数５】
2019193073.tif 000007
【００３０】
ここで拡散性雑音Dω,τの推定に関する既存技術を拡張し、拡散性雑音Dω,τが、ある一定の時間フレームの間では定常雑音であると仮定する。また目的音Sω,τと干渉性雑音Nω,τが時間的に疎な信号であると仮定することで、拡散性雑音Dω,τを以下のように推定する。
^Dω,τ←Υ・min[Xω,τ-F_wd,Xω,τ-F_wd+1,…,Xω,τ+B_wd]        (8)
ここでF_wdとB_wdはDω,τが定常的である時間フレーム数を規定するパラメータであり、チューニングにより求めることができる。例えば、それぞれ20程度に設定すればよい。また、Υは所定の値である。すると、拡散性雑音Dω,τを除去した観測信号（以下、「除去済信号」ともいう）Yω,τは以下のように記述することができる。
【００３１】
【数６】
2019193073.tif 000008
【００３２】
ここで目的音の振幅スペクトルの基底WSω,rと強度HSr,τは、従来の半教師付NMFの枠組み（非特許文献２参照）を利用することで推定できる。以降では、除去済信号Yω,τから、干渉性雑音の振幅スペクトルの基底WNω,kと強度HNk,τおよび伝達特性Aωを推定する手法を述べる。なお、WSω,r、HSr,τ、WNω,k、HNk,τ、Aωの推定値をそれぞれ^WSω,r、^HSr,τ、^WNω,k、^HNk,τ、^Aωと表記する。
【００３３】
伝達特性Aωは元々物理的なパラメータであり、部屋の形状や、観測環境などの音響的な事前知識を組み込むことで、推定精度の向上が見込まれる。これを実現するために、本実施形態では、各パラメータをMAP推定で推定する。具体的には、除去済信号Yω,τに関する尤度関数p(_A,_N|_S,_Y)と、伝達特性Aωに関する事前分布p(_A|_α)を設計し、以下の式(11)の同時確率Lを最大化するように各パラメータ_A、_N、_αを推定する。
L=p(_A,_N|_S,_Y)p(_A|_α)        (11)
_A:=[^Aω]∈RΩ
_N:=[^Nω,τ]∈RΩ×Τ
_S:=[Sω,τ]∈RΩ×Τ
_Y:=[Yω,τ]∈RΩ×Τ
_α:=[αω]∈RΩ
_αは伝達特性^Aωに関する事前分布をモデル化する際に用いられるパラメータの集合である。ここで尤度関数には、一般化KL情報量を確率的に解釈した確率分布である、ポアソン分布を適用する。また伝達特性Aωに関しても、伝達特性Aωは非負の変数であるため、ポアソン分布を適用する。すると各分布は以下のように記述できる。
【００３４】
【数７】
2019193073.tif 000009
【００３５】
ここで各分布は指数分布族であるため、同時確率Lの最大化は、両辺に対数をとった対数同時分布を最大化する方が、数値計算上効率的である。ここで各分布に対数をとると、以下のように記述できる。
【００３６】
【数８】
2019193073.tif 000010
【００３７】
ゆえに最大化すべき目的関数は
【００３８】
【数９】
2019193073.tif 000011
【００３９】
となる。この目的関数J(Θ)を最大化することは、同時確率Lを最大化することを意味する。
【００４０】
＜更新式の導出＞
式(18)を最大化するように基底の推定値^WNω,k、強度の推定値^HNk,τおよび伝達特性の推定値^Aωを推定するアルゴリズムを述べる。式(18)を直接最大化することは困難なため、本実施形態では補助関数法を利用した更新アルゴリズムを述べる。また、問題の簡単のために、R=Kとする。いま対数和の不等式より、λr,ω,τ≧0かつ
【００４１】
【数１０】
2019193073.tif 000012
【００４２】
とすると、以下の不等式が成り立つ。
【００４３】
【数１１】
2019193073.tif 000013
【００４４】
すると目的関数J(Θ)は、以下のJ'(Θ)で下から抑えることができる。
【００４５】
【数１２】
2019193073.tif 000014
【００４６】
補助関数法によれば、まずJ'(Θ)をλr,ω,τに関して最大化し、そのλr,ω,τの下で各変数を最大化する処理を繰り返すことで、目的関数J(Θ)を単調増加するようにパラメータを推定できる。補助関数法に基づく更新アルゴリズムは以下のようになる。
【００４７】
【数１３】
2019193073.tif 000015
【００４８】
なお、行列計算ライブラリを用いて計算する際は、上記アルゴリズムの近似として、式(22)(23)を以下のような更新則に変更してもよい。
【００４９】
【数１４】
2019193073.tif 000016
【００５０】
また、Tは転置、_EはΩ×Τで要素が全て1の行列であり、行列の除算は要素毎の除算を表す。また_Z=[_Z(S),_W(N)]、_H=[(_H(S))T,(_H(N))T]T、_Z(S):={^Aω^Wω,rS}∈RΩ×R、_W(N):={^Wω,kN}∈RΩ×K、_H(S):={^Hr,τS}∈RR×Τ、_H(N):={^Hk,τN}∈RK×Τである。
【００５１】
また_Z(S)と_H(S)を更新させないために、各更新毎に_Z(S)と_H(S)を事前学習した値へと置き換える。
【００５２】
＜第一実施形態に係るSN比推定装置＞
図４は第一実施形態に係るSN比推定装置の機能ブロック図を、図５はその処理フローの例を示す。
【００５３】
SN比推定装置１００は、初期化部１０２、拡散性雑音除去部１０３と、フィルタ設計部１０４と、音源分離部１０５と、信号対雑音比推定部１０６とを含む。
【００５４】
SN比推定装置１００は、スピーカ７１で再生する時間領域の目的音stを周波数領域の信号に変換した目的音sω,τ、マイクロホン７３で収録した時間領域の観測信号xtを周波数領域の信号に変換した観測信号xω,τ、各種パラメータを入力とする。ここでいう各種パラメータとは、例えば、式(8)のΥ、基底R,K(例えば、R=K=10程度に設定できる)、伝達特性の推定値^Aの初期値(例えば、^Aω=1)等である。なお、本実施形態では、周波数領域の目的音sω,τ、観測信号xω,τが入力されるものとして説明しているが、時間領域の目的音st、観測信号xtが入力される構成としてもよい。ただし、tは時刻のインデックスである。この場合、SN比推定装置１００において、周波数領域の信号に変換する処理を行う。例えば、周波数変換には高速フーリエ変換などを利用すればよく、フーリエ変換長は256点、シフト点数は128点などにすればよい。
【００５５】
SN比推定装置１００は、目的音sω,τ、観測信号xω,τを利用して、観測信号xω,τに含まれる音声成分と雑音成分とを分離して信号対雑音比を求め、出力する。
【００５６】
SN比推定装置は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。SN比推定装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。SN比推定装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。SN比推定装置の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。SN比推定装置が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。ただし、各記憶部は、必ずしもSN比推定装置がその内部に備える必要はなく、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置により構成し、SN比推定装置の外部に備える構成としてもよい。
【００５７】
以下、各部について説明する。
【００５８】
＜初期化部１０２＞
初期化部１０２は、目的音sω,τと観測信号xω,τと各種パラメータとを入力とする。
【００５９】
初期化部１０２は、観測信号xω,τとΥとを用いて、式(8)により、拡散性雑音Dω,τを推定し、推定値^Dω,τを出力する。
^Dω,τ←Υ・min[Xω,τ-F_wd,Xω,τ-F_wd+1,…,Xω,τ+B_wd]        (8)
初期化部１０２は、例えば、目的音sω,τと基底数Rを用いて、一般化KL情報量最小化などに基づく既存のNMFの枠組み(非特許文献２参照)で、基底の推定値^WSω,rと強度の推定値^HSr,τとを求め、出力する。例えば、目的音Sω,τが既知であるため、基底の推定値^WSω,rと強度の推定値^HSr,τを、目的音Sω,τと
【００６０】
【数１５】
2019193073.tif 000017
【００６１】
の間の一般化KL情報量などの目的関数を最小化するように学習する（非特許文献２参照）。また、基底の推定値^WNω,kと強度の推定値^HNk,τは非負の乱数などで初期化する。
【００６２】
初期化部１０２は、例えば、上述の方法により、推定値^Dω,τ、基底の推定値^WSω,r、強度の推定値^HSr,τ、基底の推定値^WNω,k、強度の推定値^HNk,τの初期値を求め（Ｓ１０２）、出力する。なお、伝達特性の推定値^Aω,k、基底の推定値^WNω,k、強度の推定値^HNk,τは本実施形態において繰り返し更新される値だが、推定値^Dω,τ、基底の推定値^WSω,r、強度の推定値^HSr,τは１つの利用環境に対して一度設定すれば初期値をそのまま利用してもよい。
【００６３】
＜拡散性雑音除去部１０３＞
拡散性雑音除去部１０３は、観測信号xω,τと拡散性雑音Dω,τの推定値^Dω,τとを入力とし、式(9)により観測信号xω,τから拡散性雑音Dω,τの推定値を除去し、除去済信号Yω,τを求め（Ｓ１０３）、出力する。
【００６４】
【数１６】
2019193073.tif 000018
【００６５】
＜フィルタ設計部１０４＞
フィルタ設計部１０４は、基底の推定値^WSω,r、強度の推定値^HSr,τ、基底の推定値^WNω,k及び強度の推定値^HNk,τの初期値、並びに、除去済信号Yω,τ、拡散性雑音Dω,τの推定値^Dω,τ、観測信号xω,τ、基底数K,Rを含む各種パラメータを入力とする。フィルタ設計部１０４は、除去済信号Yω,τをモデル化した確率分布と、伝達特性Aωをモデル化した確率分布と、を組み合わせることで非線形フィルタGω,τを得（Ｓ１０４）、出力する。例えば、除去済信号Yω,τに関する尤度関数p(_A,_N|_S,_Y)と、伝達特性Aωに関する事前分布p(_A|_α)とを組み合わせた式(11)の同時確率Lを最大化するように各パラメータ_A、_N、_αを推定する。
L=p(_A,_N|_S,_Y)p(_A|_α)        (11)
この処理は、次の目的関数J(Θ)を最大化するように各パラメータ（基底の推定値^WNω,k、強度の推定値^HNk,τ、伝達特性の推定値^Aω）を推定する処理に相当する。
【００６６】
【数１７】
2019193073.tif 000019
【００６７】
例えば、式(21)〜(24)または式(21),(25),(26),(24)により、基底の推定値^WNω,k、強度の推定値^HNk,τ、伝達特性の推定値^Aωを更新する（Ｓ１０４−１）ことが同時確率Lを最大化し、各パラメータ_A、_N、_αを推定することを意味する。
【００６８】
【数１８】
2019193073.tif 000020
【００６９】
【数１９】
2019193073.tif 000021
【００７０】
ただし、_Z=[_Z(S),_W(N)]、_H=[(_H(S))T,(_H(N))T]T、_Z(S):={^Aω^Wω,rS}∈RΩ×R、_W(N):={^Wω,kN}∈RΩ×K、_H(S):={^Hr,τS}∈RR×Τ、_H(N):={^Hk,τN}∈RK×Τであり、式(21),(25),(26),(24)により更新する場合には、_Z(S)と_H(S)を更新させないために、各更新毎に_Z(S)と_H(S)を事前学習した値へと置き換える。
【００７１】
フィルタ設計部１０４は、所定の条件を満たす場合に（Ｓ１０４−２）、更新を終了し、終了時の基底の推定値^WNω,k、強度の推定値^HNk,τ、伝達特性の推定値^Aωを用いて、次式で表される非線形フィルタGω,τを求め（Ｓ１０４−３）、出力する。
【００７２】
【数２０】
2019193073.tif 000022
【００７３】
フィルタ設計部１０４は、所定の条件を満たすまで更新処理Ｓ１０４−１を繰り返す。所定の条件としては、(i)Ｓ１０４−１を所定回数（例えば100回）繰り返すこと、(ii)更新量が所定の値よりも小さくなること等が考えられる。要は、基底の推定値^WNω,k、強度の推定値^HNk,τ、伝達特性の推定値^Aωの更新量が所望のレベルまで収束すればよい。
【００７４】
＜音源分離部１０５＞
音源分離部１０５は、観測信号xω,τとフィルタGω,τとを入力とし、フィルタGω,τにより観測信号xω,τから、少なくとも音声成分の推定値^aω^sω,τと干渉性雑音nω,τを含む雑音成分の推定値とを分離する。例えば、次式により音声成分の推定値^aω^sω,τと雑音成分の推定値^nω,τ+^dω,τとを分離し（Ｓ１０５）、出力する。
^aω^sω,τ=Gω,τxω,τ        (3)
^nω,τ+^dω,τ=(1-Gω,τ)xω,τ        (4)
【００７５】
＜信号対雑音比推定部１０６＞
信号対雑音比推定部１０６は、音声成分の推定値^aω^sω,τと雑音成分の推定値^nω,τ+^dω,τを入力とし、信号対雑音比を求め（Ｓ１０６）、出力する。例えば、次式によりsSNRを求める。
【００７６】
【数２１】
2019193073.tif 000023
【００７７】
＜効果＞
このような構成により、雑音環境下の発話をマイクロホンで収録した観測信号から、音声成分と雑音成分を分離できるため、非定常な雑音が存在する環境でも、発話区間内のSN比を高精度に推定することができる。得られたSN比推定値を用いることで、以下のようなアプリケーションへの応用が可能となる。
・マイクロホン間の雑音抑圧性能の比較：例えば、雑音環境下の発話を2台以上のノイズキャンセル機能付きのマイクロホンで収録した観測信号からSN比推定値を求めることで、マイクロホンの雑音抑圧性能を比較できる。
・マイクロホンが接続する音声認識システム間の音声認識性能の比較：例えば、雑音環境下の発話をマイクロホンで収録した観測信号からSN比推定値を求めるとともに、2台以上の音声認識システムで音声認識処理を行い、SN比推定値と音声認識結果から、音声認識システム毎のSN比推定値に対する音声認識性能を比較できる。
・マイクロホンの観測信号とユーザー体感認識率との比較:例えば、雑音環境下の発話をマイクロホンで収録した観測信号からSN比推定値を求めるとともに、その観測信号に対するユーザの体感認識率を求め、SN比推定値とユーザの体感認識率とを比較できる。
・マイクロホンの観測信号と音声認識エンジンの認識性能との比較：例えば、SN比推定値の異なる２つ以上の観測信号に対して１つの音声認識エンジンで音声認識を行うことで、各SN比推定値に対するその音声認識エンジンの音声認識性能を比較できる。
【００７８】
＜変形例＞
本実施形態では、信号対雑音比を装置の出力としているが、音源分離部１０５の出力値である音声成分の推定値^aω^sω,τと雑音成分推定値^nω,τ+^dω,τとを装置の出力とし、信号対雑音比推定部１０６を設けない構成としてもよい。この場合、音源分離装置という。なお、SN比推定装置は、音源分離装置を含んでいるとも言える。
【００７９】
本実施形態では、音源分離部１０５において、フィルタGω,τにより観測信号xω,τから、少なくとも音声成分の推定値^aω^sω,τと雑音成分の推定値^nω,τ+^dω,τとを分離しているが、SN比を推定する際に必ずしも観測信号から拡散性雑音dω,τを分離する必要はないため、雑音成分の推定値として^nω,τのみを分離してもよい。なお、この場合、拡散性雑音を考慮せずにフィルタを設計すればよい。
【００８０】
＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【００８１】
＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【００８２】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００８３】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
【００８４】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００８５】
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2019193073.tif 000029
【図２】
2019193073.tif 000030
【図３】
2019193073.tif 000031
【図４】
2019193073.tif 000032
【図５】
2019193073.tif 000033