1-1-3
時間領域低ランクスペクトログラム近似法に基づくマスキング音声の欠損成分復元 ∗◎関翔悟（名大），亀岡弘和（NTT），戸田智基，武田一哉（名大）

1

はじめに

3

音声強調は雑音もしくは非目的音声の重畳した混合音から目的音を抽出し分離する技術であり，音声認識における前段処理等で利用される．その有効な手法の一つとして，時間周波数マスクに基づく手法がある．この手法では，混合音のスペクトログラムの各時間周波数点においてどの音源が最も優勢であるかを識別することで，同一音源に属するとみなされた時間周波数点の成分のみを通過させるような時間周波数マスクを構成する．例えば，深層ニューラルネッ
トワークに基づく手法 [1] を用いることで高い信号対雑音比 (Signal to Noise Ratio; SNR) が得られる音声強調処理が可能である．一方で，強調音声のスペクトログラムは，雑音源が優勢であるとみなされた時間周波数点の成分が欠損したものとなるため，しばしば後段で用いられる音声情報処理の性能劣化を招く．
したがって，欠損があるスペクトログラムからいかにして欠損した成分を復元するかが重要課題となる．
スペクトログラムの欠損成分を復元する手法として非負値行列因子分解 (Non-negative Matrix Factorization; NMF) に基づく方法が提案されている [2]．この方法は，非負値行列とみなせる振幅スペクトログラ
ムを，二つの非負値行列の積で非欠損箇所において近似することにより欠損箇所の成分を補完しようというものである．これは，振幅スペクトログラムが低ランクな行列で近似できるという仮定を手がかりとしていることに相当する．この方法では欠損箇所における振幅成分しか推定されないため，信号を構成するためには別手法で位相成分も推定する必要がある．
本稿では，時間周波数マスキングにより生じた音声スペクトログラムにおける欠損成分の復元を目的とし，時間領域低ランクスペクトログラム近似法 (Timedomain Spectrogram Factorization; TSF) [6] に基づく欠損成分復元法を提案する．提案法では，従来法で考慮される振幅スペクトログラムの低ランク構造の仮定の下，• 時間周波数表現が時間領域信号の冗長表現であることより導かれる各時間周波数点の振幅成分および位相成分の局所的な制約条件• 目的音源のケプストラム特徴量の事前情報[2] では，NMF により振幅スペクトログラムを二つの非負値行列の積（低ランクな非負値行列）で近似できると仮定し，|Yk,m | を非欠損箇所 Γ においてXk,m =L∑

Hk,l Ul,mで表すことで，Xk,m を欠損成分の推定値とする方法が提案されている．これは各フレームの振幅スペクト
ル Xk,m を L 個の基底振幅スペクトル Hk,1 , . . . , Hk,Lと非負係数 U1,m , . . . , UL,m による線形和で表現することに相当する．
NMF に基づく欠損成分復元手法は，対象とする振幅スペクトログラムの大域的な構造（すなわち低ランク構造）に関する仮定を手がかりに欠損成分を補完しようとするものである．推定された振幅スペク
トログラムに対して位相復元手法 [4] による後段処理を行うことで，複素スペクトログラムを復元する．

4提案法：TSF に基づく欠損成分復元

提案法では欠損成分が復元された複素スペクトログラムに対応する時間領域信号 s ∈ RN （N は全サンプル点数）を直接推定する．s の時間周波数表現（短時間 Fourier 変換やウェーブレット変換など）は一般
Nに ψHk,m s と表される．ここで，ψ k,m ∈ C は中心周波数が ωk の複素正弦波に対して，時間フレーム tmに対応する時間窓を掛けあわせたものである．
複素スペクトログラム ψ Hk,m s は，N < KM の場
合には s の冗長表現になることから，非欠損箇所のYk,m の振幅および位相を，周辺の欠損箇所の振幅・位相成分を推定する手がかりとすることができる．また，対象スペクトログラムのケプストラム特徴量の事前情報が得られる場合には，その統計分布も欠損成分を補完するための手がかりとなりうる．以上より一部欠損したスペクトログラムから時間領域信号を直接構成する問題は∑2|ψ HI(θ) =k,m s − Yk,m |(k,m)∈Γ

+ λ1

∑

(D·|ψ Hk,m s| |k,m+ λ2問題設定∑∑(D·|Yk,m | |(k,m)∈Γ

一部の時間周波数点の成分が欠損した複素スペクトログラムを Y ∈ CK×M とし，その各要素を Yk,m と表す．ただし，k ∈ {1, . . . , K} 及び m ∈ {1, . . . , M }はそれぞれ周波数ビン，時間フレームを表すインデックスである．非欠損箇所の集合を Γ とすると，Y は欠損箇所においてYk,m = 0, ((k, m) ∈/ Γ)(1))
Hk,l Ul,ml∑)
Hk,l Ul,ml− λ3 K (X )(3)を最小化する最適化問題として定式化することができる．ただし，λ1 , λ2 , λ3 は正則化パラメータ，θ ={s, H, U } は推定したい未知パラメータの集合であり，H = {Hk,l }，U = {Ul,m } である．D· は誤差関数であり，ここでは Euclid 距離（二乗誤差）

DEU (x|y) = (y − x)2となっているものとする．
∗(2)

l=1のいずれかまたは両方を新たな手がかりとして考慮し，欠損成分が復元された時間領域信号を直接推定する．理想バイナリマスクに基づく音声スペクトログラムを対象とした実験的評価により，提案法の有効性を示す．

2

従来法：NMF に基づく欠損成分復元(4)

Missing Component Restoration for Masked Speech Signals Based on Time-domain Spectrogram Factorization by SEKI, Shogo (Nagoya University), KAMEOKA, Hirokazu (NTT), TODA, Tomoki, TAKEDA,Kazuya (Nagoya University)

日本音響学会講演論文集- 421 -2017年3月

Table 1: Experimental condition
サンプリング周波数 16 kHz
フレームサイズ
32 ms
シフトサイズ
16 ms
NMF 基底数30
更新回数
100 回
フィルタバンク
20 次
MFCC
0–13 次GMM 混合数3030

SNR [dB]20

y− (y − x)x-20(5)-20を用いる．音源の時間領域信号 s とその振幅スペクトログラムの低ランク表現 {H, U } を推定する枠組み
は時間領域低ランクスペクトログラム近似法 (Timedomain Spectrogram Factorization; TSF) [6] と同様である．
式 (3) の第一項は観測複素スペクトログラムと s の複素スペクトログラムの非欠損領域における二乗誤差，第二項は式 (2) と s の振幅スペクトログラムの誤差の大きさ，第三項は式 (2) と観測振幅スペクトログ
ラムの誤差の大きさを表す．第四項は以下で与えられる正則化項である．
∏∑∏ ()
2K (X ) = log
wp
N Xq,m ; µp,q , σp,q(6)Xq,m =∑mpcq,r logr∑-10-505101520IBM Level [dB]Fig. 1: Experimental result: SNRIBM
EU-NMF
KL-NMF w/o Reg.
KL-NMF w/ Reg.
EU-TSF
KL-TSF w/o Reg.
KL-TSF w/ Reg.

MFCC distance [dB]

4fr,k Xk,m(7)3210k

合ガウス分布 (Gaussian Mixture Model; GMM) の対数尤度を表し，ケプストラム距離正則化項として知Tられている [5]．ただし，wp ，µp = (µp,1 , . . . , µp,Q ) ，)
( 22は p 番目のガウス分布のΣp = diag σp,1 , . . . , σp,Q重み，平均及び分散を表す．
TSF に基づく欠損成分の推定では，NMF に基づく従来法と同様に観測スペクトログラムの大域的制約を考慮するのに加えて，観測複素スペクトログラムの欠損成分と周囲の成分の依存関係に基づく局所的制約，音声の事前情報がある場合は音声の特徴量空間上での分布に対する制約を考慮することができる．

実験的評価

理想バイナリマスク (Ideal Binary Mask; IBM) によりマスキングされた音声に対して，提案法の有効性を調査する．音素バランス 503 文 A セットの男性
話者 1 名による計 10 発話に対して，Babble ノイズをSNR を変化させて重畳し，各発話に対して理想バイナリマスクを適用することで，マスキング音声を作成する．提案法として式 (3) に対して Euclid 二乗誤差規準（EU-TSF），ケプストラム距離正則化項の有無を考慮した KL-divergence 規準（KL-TSF w/o Reg.，
KL-TSF w/ Reg.）の場合を評価する．また従来法として，式 (3) における第三項，第四項で表されるNMF に基づく欠損成分復元手法 [2] を，提案法と同様の場合（EU-NMF，KL-TSF w/o Reg.，KL-TSFw/ Reg.）について評価する．ただし，位相復元アルゴリズム [4] についての更新回数は 100 回とする．評価尺度は発話音声に対する復元音声の SNR 及び発話音声と復元音声間の MFCC 距離を用いる．実験条件

日本音響学会講演論文集-15q

ただし Xq,m はメル周波数ケプストラム係数（MelFrequency Cepstrum Coeﬃcients; MFCC）であり，fr,k は r(∈ {1, . . . , R}) 番目のメルフィルタバンク係数，{cq,r }0≤q≤Q−1,1≤r≤R は逆離散コサイン変換係数{}である．式 (6) はパラメータ wp , µp , Σp 1≤p≤P の混

50-10または Kullback-Leibler (KL) ダイバージェンス

DKL (x|y) = y log

10IBM
EU-NMF
KL-NMF w/o Reg.
KL-NMF w/ Reg.
EU-TSF
KL-TSF w/o Reg.
KL-TSF w/ Reg.

-20

-15-10-50

510

1520

Target-to-masker ratio [dB]Fig. 2: Experimental result: MFCC distanceを Table. 1 に示す．ケプストラム距離正則化項における GMM パラメータは同一話者の異なる計 100 発話から学習する．
実験結果を Figs. 1, 2 に示す．それぞれ SNR，MFCC 距離の結果であり理想バイナリマスクによる結果 (IBM) についても示されている．実験結果より，
TSF に基づく提案法が NMF に基づく従来法に比べ高性能であることが確認される．また，提案法では理想バイナリマスクと同様に高い SNR を満たす一方で，欠損成分により生じる MFCC 距離の改善が確認される．

6

おわりに

本稿ではマスキング音声に対するスペクトログラ
ムの欠損成分復元について，TSF に基づく欠損成分復元手法を提案した．欠損成分の復元において，従来法で考慮される観測スペクトログラムの低ランク表
現に基づくスペクトログラムの大域的構造に加えて，時間周波数領域表現がもつ冗長性に基づく欠損成分周囲とのの局所的な依存関係や，目的音声がもつ特徴量の事前情報を考慮することが可能である．実験的評価により，TSF に基づく提案法が NMF に基づく従来法より高性能であることが確認されたとともに，提案法では理想バイナリマスクと同様の SNR をもつ一方，特徴量上での歪みを改善することを確認した．

参考文献[1] Hershey, et al., ICASSP, 31–35, 2016.
[2] Smaragdis, et al., JSPS, 65(3), 361–370, 2010.
[3] Smaragdis, et al., WASPAA, 177–180, 2003.
[4] Griﬃn & Lim, IEEE TASSP, 32(2), 236–243,1984.
[5] Li et al., Interspeech, 3753–3757, 2016.
[6] Kameoka, ICASSP, 86–90, 2015.

- 422 -

2017年3月