雑音環境下音声を用いた DNN 音声合成のための雑音生成モデルの敵対的学習 ∗☆宇根 昌和（徳山高専／東京大学），齋藤 佑樹，高道 慎之介，北村 大地（東大院・情報理工），宮崎 亮一（徳山高専），猿渡 洋（東大院・情報理工）1

はじめに高品質な Deep Neural Network (DNN) 音声合成
システム [1] の構築には，スタジオ等の理想的な環境で収録された音声データの利用が不可欠であるため，音声合成の学習に利用可能な音声データは非常に限定される．本稿では，雑音環境下音声から高品質な音声合成を構築する方法を提案する．通常，そのような音声を用いる場合，spectral subtraction (SS) 等のパラメトリック雑音抑圧を施した後に通常の音声合成の学習を行うが，その雑音抑圧による音声歪みは，音声合成の学習時に増幅されて合成音声品質を悪化させる．本稿では，敵対的学習アルゴリズム [2] によFig. 1 提案法の DNN アーキテクチャ．雑音生成モり学習される雑音生成モデルを用いた，ボコーダフ
デル Gn (·) は，観測雑音を確率的に生成する．
リー音声合成の学習法を提案する．雑音生成モデルは，観測雑音スペクトルの統計量を持つように学習測する音声合成モデルを Gs (·) とする．ここで，入力され，雑音スペクトルを確率的に生成する．音響モ⊤ ⊤⊤コンテキスト系列を x = [x⊤デル（本稿では音声合成モデルと呼ぶ）は，生成雑音
1 , · · · , xt , · · · , xT ] とする．Gs (·) のモデルパラメータは，生成される対数を加算した後のスペクトルが雑音環境下音声のスペ(SS)クトルに一致するように学習される．提案法は雑音
振幅スペクトル ŷ s = Gs (x) と y ns の平均二乗誤差
加算過程を考慮して音声合成モデルを学習するため， （MSE: Mean Squaed Error）を最小化するように学従来生じていた品質低下を低減できる．実験的評価習される．その損失関数は，次式で示される．
())⊤ ()により，提案法の有効性を示す．
1(LMSE ŷ s , y (SS)=ŷ s − y (SS)ŷ s − y (SS)nsnsns
T2 従来法(3)
SS [3] は ，観 測 雑 音 の パ ワ ー ス ペ ク ト ル のこの学習手順は，雑音抑圧により生じた音声歪み
分 布 を 期 待 値 で 近 似 し て ，雑 音 環 境 下 音 声（例えば musical noise [4]）を増幅させてしまう．のパワースペクトルから減算する手法である ．こ こ で ，観 測 雑 音 の 対 数 振 幅 ス ペ ク ト
3 提案法
⊤⊤⊤
ル 系 列 を yn=
[y ⊤n,1 , · · · , y n,t , · · · , y n,Tn ] ，提案法の DNN アーキテクチャを Fig. 1 に示す．音雑音環境下音声の対数振幅スペクトル系列⊤⊤⊤
声合成モデルGs (·) に加え，雑音生成モデル Gn (·)
を y ns=[y ⊤,···,y,···,y]とす
ns,tns,1ns,Tを導入する．
Gn (·) は，既知の事前分布を観測雑音のる ．Tn と T は そ れ ぞ れ ，観 測 雑 音 の フ レ ー
ム 数 と 雑 音 環 境 下 音 声 の フ レ ー ム 数 で あ る ． 分布に変形する役割を持ち，雑音スペクトルを確率的に生成する．Gs (·) は，その雑音スペクトルを加算⊤
y n,t = [yn,t (1) , · · · , yn,t (f ) , · · · , yn,t (F )] とした後のスペクトルが雑音環境下音声のスペクトル⊤y ns,t = [yns,t (1) , · · · , yns,t (f ) , · · · , yns,t (F )] は， に一致するように学習される．予備実験において，雑フレーム t における観測雑音及び雑音環境下音声の対音環境下音声を用いた Gs (·) と Gn (·) の同時学習を数振幅スペクトルである．f は周波数ビンのインデッ試みたが，雑音抑圧効果が低かった．故に本稿では，
クス，F は周波数ビン数である．ただし，y n は，y ns
まず，y n を用いて，その分布を表現する Gn (·) を事の非音声区間に対応する．Spectral subtraction 後の前学習し，その後，Gn (·) のモデルパラメータを固(SS)定し，雑音環境下音声を用いて Gs (·) の学習を行う．
対数振幅スペクトル y ns は，次式で与えられる．
Gn (·) の学習には，敵対的学習アルゴリズム [2] を使√用する．
2 exp{yns,t (f )} − β ȳn,t (f )(SS)
exp{yns,t (f )} =if exp{yns,t (f )}2 > β ȳn,t (f )3.1 敵対的学習による雑音生成モデルの学習
0 otherwise
Gn (·) の入力は，既知の事前分布からランダム生成⊤ ⊤⊤(1)
された変数 n = [n⊤1 , · · · , nt , · · · , nTn ] である．nt
Tnは，フレーム t において，事前分布からランダム生成1 ∑されたベクトルである．Gn (·) は，観測雑音スペクト
exp{yn,t (f )}2(2)ȳn,t (f ) =Tn t=1ル y n と生成雑音スペクトル ŷ n = Gn (n) を識別す
る雑音識別モデル D n (·) と交互に更新される．Gn (·)
ただし，β は減算係数であり，観測信号から観測雑音(G)(D)の損失関数 LGAN (·) と，D n (·) の損失関数 LGAN (·)
をどの程度減算するかを決めるパラメータである．
入力コンテキストから音声の対数振幅スペクトルを予∗Generative Approach Using the Noise Generation Models for DNN-based Speech Synthesis Trained
from Noisy Speech, by UNE Masakazu (NIT Tokuyama College and Univ. of Tokyo), SAITO Yuki,
TAKAMICHI Shinnosuke, KITAMURA Daichi (Univ. of Tokyo), MIYAZAKI Ryoichi (NIT Tokuyama
College), and SARUWATARI Hiroshi (Univ. of Tokyo)

は，それぞれ次式で示される．
Tn1 ∑(G)LGAN (ŷ n ) = −log Dn (ŷ n,t )Tn

SS+MSEβ =0.5

0.368

0.632

β =1.00.312

0.688

β =2.00.312

0.688

(4)

t=1(D)

LGAN (y n , ŷ n ) = −−Tn∑1log Dn (y n,t )Tn t=1Tn()
1 ∑log 1 − Dn (ŷ n,t ) (5)Tn t=1β =5.0 0.253
0.747
0.00
0.50
0.75
0.25
1.00
Preference score

Fig. 2

音質に関する主観評価結果 (SNR = 0 dB)

この学習は，y n と ŷ n の分布間の近似 JensenShannon divergence を最小化する．

SS+MSEβ =0.5

0.292

0.708

3.2 雑音生成モデルを用いた音声合成モデル学習
音声と雑音の位相情報を無視して，振幅ドメインにおける加法性が成り立つと仮定する．学習済みのGn (·) を用いて，次式の損失関数を最小化するように，音声合成モデル Gs (·) を学習する．
1⊤
LMSE (ŷ ns , y ns ) = (ŷ ns − y ns ) (ŷ ns − y ns ) (6)Tŷ ns = log (exp ŷ s + exp ŷ n )(7)

β =1.0

0.320

0.680

β =2.00.3230.677

ただし，ここでの ŷ n の系列長は T であることに注意する．生成時には，ŷ s = Gs (x) を，合成音声の対数振幅スペクトルとする．
提案法は，明示的な確率分布を定義せず，その経験分布を Generative Adversarial Network の枠組みで表現するため，従来の音声歪みを軽減できる．

4

主観評価実験

4.1 実験条件
利用する音声データは，無響室にて収録された，日本人女性 1 名による約 3000 文である．雑音環境下音声は，この収録音声データに対して白色雑音を人工的に加算したものとする．評価データは ATR 音素バ
ランス 503 文， J セット 53 文である．音声合成モデ
ル及び雑音生成モデルは，動的特徴量を含まない 257次元の対数振幅スペクトルを予測する．コンテキスト
特徴量は 444 次元のベクトルであり，439 次元の言語特徴量，3 次元の継続長特徴量，連続対数 F0 ，及び有声無声ラベルである．雑音生成モデルに入力される nt は各フレーム毎に 100 次元ベクトルであり，各次元の値は一様分布からランダムに生成される．音
声合成モデル，雑音生成モデル，雑音識別モデルは，それぞれ Feed-Forward neural network で記述され，従来法と提案法で同様の音声合成モデルを使用する．
各モデルの隠れ層数は 3，隠れ層の素子数は 512，隠れ層の活性化関数は，leaky ReLU である．音声合成
モデルと雑音生成モデルの出力層の活性化関数は，線形関数である. 雑音識別モデルの出力層の活性化関数
は，sigmoid 関数である.
4.2 主観評価結果
実験的評価では，以下の 2 手法を比較する．
• SS+MSE: SS を施した後，平均二乗誤差最小化により音声合成モデルを学習• Proposed: 提案法
雑音環境下音声の SN 比は，0dB，5dB，10dB とし，SS における減算係数 β を，0.5, 1.0, 2.0, 5.0 に設定する．β の値が小さいほど音声歪みは小さく，β の値が大きいほど音声歪みは大きい．評価として，各 SN比，各 β の設定において，合成音声の自然性に関するプリファレンス AB テストを実施する．評価者には，より不快でなく，かつ，より自然な音声を選択さ

Proposed

Proposed

β =5.0 0.216
0.784
0.00
0.50
0.75
0.25
1.00
Preference score

Fig. 3

音質に関する主観評価結果 (SNR = 5 dB)

SS+MSEβ =0.50.268

0.732

β =1.00.292

0.707

β =2.00.256

0.744

Proposed

β =5.0 0.288
0.712
0.00
0.50
0.75
0.25
1.00
Preference score

Fig. 4

音質に関する主観評価結果 (SNR = 10 dB)せた．評価人数は各評価に対して 25 人，計 300 人である．
Fig. 2 から Fig. 4 に評価結果を示す．全設定において提案法のスコアが従来法のスコアを上回り，そのp 値は 10−6 より小さいため，提案法の有効性が示される．

5まとめ

本稿では，雑音環境下音声を用いた高品質音声合成のために，雑音を確率的に生成する雑音生成モデ
ルを導入し，雑音加算過程を考慮した音声合成モデ
ル学習法を提案した．実験的評価では， 提案法による音質改善効果を示した．
今後の予定として，nonnegative matrix factorization のアクティベーション行列などによる時間変動のモデリングや，雑音混入強度の導入などが挙げられる．また，ボコーダを使用する合成方式との比較，クリーン音声を用いた適応学習を行う．
謝辞: 本研究の一部は，セコム科学技術支援財団の助成を受け実施した．

参考文献[1] H. Zen et al., Proc. ICASSP, vol. 51, no. 11, pp.
7962–7966, Vancouver, Canada, May, 2013.
[2] I. Goodfellow et al., Proc. NIPS, pp. 2672–2680,2014.
[3] S. F. Boll, IEEE Transactions on Acoustics,Speech and Signal Processing, vol. 27, no. 2,pp. 113–120, 1979.
[4] R. Miyazaki et al., IEEE Transactions on Audio, Speech, and Language Processing, vol. 20,
no. 7, pp. 2080–2094, 2012.