多様なカートシスを持つ雑音に対応した
低ミュージカルノイズ DNN 音声強調 ∗◎溝口 聡，齋藤 佑樹，高道 慎之介，猿渡 洋（東大院・情報理工）1

はじめに音声通信において，音声信号に重畳される環境雑音は，話者間のコミュニケーションを阻害する要因として望ましくないものである．特に，単一のマイクロフォンしか用いることができない状況でのハンズフリーな音声通信では，話者とマイクの位置関係の特定が難しく，単一チャネル信号処理による音声強調技術が必須である．スペクトル減算法 [1] やウィーナ
フィルタに代表される従来の単一チャネルの音声強調技術では，非線形な信号処理に由来する人工的な歪みが生じ，聴覚的な印象を大きく損なうことが知られている．この人工的な歪みをミュージカルノイズと呼ぶ [2, 3]．ミュージカルノイズの知覚の度合いと大きな相関を持つ数値としては，音声強調前後での非音声区間のカートシス比（kurtosis ratio）[4] がよく知られ，これをミュージカルノイズの発生量の指標とすることが多い．
一方，近年は，事前学習を必要とするが強力な手段として，ディープニューラルネットワーク（DeepNeural Network: DNN）による音声強調技術も多数提案されている（例えば，[5, 6, 7, 8]）．特に，[8] はソフトマスクベースの DNN 音声強調であり，これらは DNN の高い表現能力を利用した強力な雑音抑圧性能を誇る有力な手法である．著者らは，単一種類の雑音に対して低ミュージカルノイズな DNN 雑音抑圧の手法を提案している [9]．しかし，この手法は雑音が多様なカートシスを持つ場合には対応していない．
これに対し本稿では，Scaled Kurtosis Discrepancy（SKD）による正則化，カートシスマッチングを導入することで，多様なカートシスを持つ雑音を含む音声に対してミュージカルノイズ発生量が小さい DNN音声強調の手法を提案する．提案手法における DNN
は，観測された音声信号の振幅スペクトログラムを入力とし，ソフトマスクを出力とする．この DNN は，通常用いられる，クリーンな音声のスペクトログラムとの誤差の最小化に加え，マスクにより得られた非音声区間における音声強調前後のカートシス比が1 になるように学習される．提案法では，カートシスマッチングによりミュージカルノイズの発生を抑えるため，主観的音質の高い音声強調が可能になると期待される．実験的評価により，提案手法が多様な雑音を含む音声に対して雑音抑圧性能を保持しつつ，カートシスの上昇を避けられることを示す．

2

ソフトマスクによる DNN 音声強調 [8]観測信号の短時間フーリエ変換によって得られた振幅スペクトログラムを X とする．これを入力とす
る DNN のパラメータを Θ とし，その出力を S =f (X; Θ) とおく．また，ターゲットであるクリーンな音声信号の振幅スペクトログラムを Y とする．こ∗のとき，損失関数をL0 (X, Y ; Θ) := ∥S ◦ X − Y ∥1,1(1)によって定義する．ただし，∥ · ∥1,1 は L1,1 ノルムであり，行列の各成分の絶対値を表すものである．また，◦ は行列のアダマール積であり，要素ごとに積をとるものである．この損失関数の訓練データに関する標本期待値について最小化を行う．すなわち，Θ̂ = argmax E[L0 (X, Y ; Θ)](2)Θとする．このようにして得られる Θ は，観測信号 Xの雑音を抑圧し，音声信号を抽出するマスクを生成するように学習される．最後に，DNN より出力されるソフトマスクをかけた観測信号の振幅スペクトロ
グラム S ◦ X に，観測信号の位相スペクトログラムをかけて短時間逆フーリエ変換を行うことで，所望の強調音声を推定する．

3提案手法

3.1 動機従来の DNN 音声強調においては，非線形処理によるミュージカルノイズの発生が考慮されていない．そこで，ソフトマスク推定に基づく DNN 音声強調の強力な雑音抑圧を達成し，尚且つミュージカルノイズの発生が少ないような音声強調法を提案する．具体的には，先述のソフトマスクによる DNN 雑音抑圧において，損失関数にカートシスマッチングを実現するような正則化項を加えることでミュージカルノイズの発生を低減させる．提案手法の概要は Fig. 1 である．
3.2 カートシスマッチングを考慮した DNN 学習
3.2.1 カートシス
一変数確率変数 W は正実数値の標本カートシスを∑T
W41(3)
κW = (∑ t=1 t )2TT
2t=1 Wtによって定義する．
音声強調前後におけるパワースペクトログラムのカートシスの上昇は，ミュージカルノイズの発生と強い相関があることが知られている [4]．本稿では，振幅スペクトログラムのカートシスの上昇について考えるが，カートシスが外れ値の多さを反映する統計量であることから，ミュージカルノイズ発生量と相関があると考えて議論する．

3.2.2 SKD
本稿では，DNN の損失関数にカートシスの変化が発生しないような項を組み込むために，SKD を定義する．
観測信号の振幅スペクトログラム X の行列成分を
Xk,t ，強調後の音声信号の振幅スペクトログラム Z

Low-Musical-Noise DNN-Based Speech Enhancement Applied to Noise with Various Kurtosis, by MIZOGUCHI, Satoshi, SAITO, Yuki, TAKAMICHI, Shinnosuke and SARUWATARI, Hiroshi (The University of Tokyo)

!"#$%&$'(()*()*%

0DVNORVV¼#$%&'の行列成分を Zk,t = Sk,t Xk,t（ただし，Sk,t は S の行列成分）とする．ここで，k ∈ K := {1, · · · , K} は周波数サブバンドのインデックス，t ∈ T := {1, · · · , T }は時間フレームのインデックスである．また，周波数サブバンドのインデックス集合の分割を Ki :={ki , · · · , ki+1 −1}（ただし，i = 1, · · · , N −1，k1 = 0，
kN = K + 1）とし，非音声区間の時間フレームインデックスの集合を T ′ ⊂ T とする．と書くことにする．このとき，非音声区間の Kurtosis Discrepancy（KD）をN∑t∈T ′t∈T ′(Xk,t ) − Kk∈K
(Zk,t )
KD(X, Z) :=Kk∈Kii!""+,(-.&$'(()*/0-12(03¼.XUWRVLVPDWFKLQJ(+#,-./0,*1-2(,)34%$-%
51$6,*1-2

¼

i=1

(4)
t∈T ′で定義する [9]．ここで，Kk∈K(Xk,t ) は，行列 X のi成分のうち，添え字が集合 Ki × T ′ の元であるものについての全要素での標本カートシス（すなわち，非音声区間における当該サブバンドの標本カートシス）であり，式 (3) によって計算する．
式 (4) によって定義される KD は，学習におけるカートシスの上昇度の評価がその絶対値に依存するという問題がある．その場合，異なるカートシスを持った雑音を混在させて学習すると，カートシスの絶対値が低い雑音の抑圧時にカートシスの上昇を抑制できない．実際，予備実験を行った結果，そのような事象が観測された．そこで，乖離度を適切に評価するために，SKD を
Nt∈T ′t∈T ′∑Kk∈K(Xk,t ) − Kk∈K(Zk,t )ii
SKD(X, Z) :=t∈T ′Kk∈Ki (Xk,t )i=1(5)
によって定義する．これは，[4] におけるカートシス比と 1 の距離に対応している．

3.2.3 DNN 学習
ソフトマスクを出力とするような雑音抑圧の DNNを考える．このとき，損失関数に KD を正則化項として加えることで，ミュージカルノイズの発生を回避することを期待する．すなわち，損失関数を，L(X, Y ; Θ):= L0 (X, Y ; Θ) + λSKD(X, f (X; Θ) ◦ X) (6)とし，DNN のパラメータをΘ̃ = argmax E[L(X, Y ; Θ)](7)
Θとして推定する．ただし，λ はカートシスマッチングの重みを表すハイパーパラメータである．
学習にあたって，非音声区間はターゲットの音声より決定する．また，K の分割 Ki を任意に固定する．
最終的に得られた強調後の振幅スペクトログラム
S ◦ X に観測信号の位相スペクトログラムを乗じ，短時間逆フーリエ変換をして所望の強調音声を得る．

4

実験的評価

提案手法の有効性の検証のために，音声強調実験を行った．

4.1 実験条件
訓練データには JNAS [10] より任意に選んだ新聞読み上げ音声 31896 文の前後に非音声区間を付与しFig. 1 提案手法の概要．Hard mask は clean speechより直接決定する非音声区間判定マスクである．この hard mask を用いて，非音声区間のみの SKD を雑音抑圧の損失関数に加えて学習を実行する．Maskloss は式 (1)，kurtosis matching は式 (5) にそれぞれ対応する．
Table 1

実験に用いた雑音の種類とカートシスの一覧
ラベル
雑音の種類
カートシス
GA
GAUSS
3.00
PSTATION
5.56
PS
PR
PRESTO
12.1
NFIELD
13.3
NF
SPSQUARE
29.8
SP
TB
TBUS
35.8

たデータを 24 個の集合に分け，それぞれ入力 Signalto-Noise Ratio（SNR）が −5 dB，0 dB，5 dB，10dB となるような 6 種類の雑音を加えたパラレルデー
タを作成した．6 種類の雑音の内約は，ガウス性雑音 (GAUSS) と DEMAND [11] よりカートシスの大きく異なる 5 種類の雑音 PSTATION，NFIELD，PRESTO，TBUS，SPSQUARE とした．そのカー
トシスの一覧を Table 1 に示す．音声のサンプルレー
トは 16 kHz であった．また，短時間フーリエ変換の窓関数には窓長 1024 の Hanning 窓を用い，ホップサ
イズは 80 とした．また，テストデータには JSUT [12]より任意に選んだ発話音声の前に 6.25 秒の非音声区間を付与した 200 文に対し，入力 SNR が −5 dB，0dB，5 dB，10 dB となるような先述の 6 種類の雑音を加えたものを用意した．
DNN のアーキテクチャには，中間層 12 層の U-Net[13] を用いた．U-Net の構造は [14] と同様とした．学習にはミニバッチ法を適用し，バッチサイズは 32 とした．また，パッチ長は 256 とした．本稿で示したハイパーパラメータは，N = 4，K1 = {1, · · · , 127}，
K2 = {128, · · · , 255}，K3 = {256, · · · , 383}，K4 ={384, · · · , 512}，λ = 1 × 10−4 とした．勾配にはAdam [15] を用い，ステップサイズは 0.01 とした．
そして，エポック回数を 30 として学習を行った．

4.2 雑音抑圧性能と音声歪みの評価
従来手法と提案手法について，テストデータを入力として得られた強調音声の Signal-to-Distortion Ratio（SDR）改善量を Fig. 2 に，22 次までのケプストラム歪み（Cepstral Distortion: CD）を Fig. 3 に示す．
まず，雑音抑圧性能（Fig. 2）に関して述べる．いGAUSS

3025SDR improvement [dB]

PSTATIONPRESTONFIELDSPSQUARE

TBUS

methodconventional
proposed

20
151050-50510-50510-50510-50510-50510-50510Input SNR [dB]Fig. 2 従来手法と提案手法における SDR 改善量の箱ひげ図．この値が大きいほど雑音抑圧性能が良いことを表している．
GAUSS14PSTATIONPRESTONFIELDSPSQUARE

TBUS

Cepstral distortion [dB]

121086method
conventional
proposed

42-50510-50510-50510-50Input SNR [dB]510-50510-50510Fig. 3 従来手法と提案手法におけるケプストラム歪みの箱ひげ図．この値が小さいほど強調音声における音声歪み発生量が小さく，品質が良いことを表している．
ずれの種類の雑音，いずれの入力 SNR についても，SDR 改善量の差は従来手法と提案手法の間でわずかである．したがって，提案手法が雑音抑圧性能を低下させることは少ないと考えられる．
次に，音声歪み発生量（Fig. 3）について述べる．
いずれの種類の雑音，いずれの入力 SNR についても，従来手法に比べて提案手法では，CD の有意な差は見られないか，あるいはわずかに増加していることがわかる．したがって，提案手法は，わずかに音声歪み発生量を増大させると考えられる．

4.3 ミュージカルノイズ発生量の客観評価
強調音声の非音声区間の振幅スペクトログラムのカートシス比を Fig. 4 に示す．この値が 1 になるときに，強調前後でカートシスが不変であることを表す．振幅スペクトログラムの非音声区間のカートシス比は，いずれの雑音・入力 SNR の場合も，従来手法に比べて提案手法では有意に小さくなっている．これは，提案手法がミュージカルノイズの発生の抑圧を達成していることを示唆している．
4.4 ミュージカルノイズ発生量の主観評価
提案手法と従来手法の強調後のミュージカルノイズ発生量を比較するため，24 人の参加者に，強調後の信号の冒頭 6.25 秒の非音声区間の対を聴いて，どちらの雑音が自然である（人工的に聴こえない）と感じたかの回答を求めた．なお，この評価は雑音の各種類，各 SNR と対して別々に実施した．その結果

Table 2 雑音の自然性の評価スコアと p-値．p-値が10−3 を下回る場合を有意とし，そのときの評価が良い方のスコアを太字によって示す
ラベル
GAPS

PR

NF

SPTB

入力 SNR
−5 dB
0 dB
5 dB
10 dB
−5 dB
0 dB
5 dB
10 dB
−5 dB
0 dB
5 dB
10 dB
−5 dB
0 dB
5 dB
10 dB
−5 dB
0 dB
5 dB
10 dB
−5 dB
0 dB
5 dB
10 dB

従来法
0.688
0.804
0.725
0.863
0.408
0.417
0.404
0.271
0.517
0.421
0.354
0.483
0.250
0.221
0.200
0.192
0.367
0.383
0.225
0.250
0.238
0.258
0.167
0.238

提案法
0.313
0.196
0.275
0.138
0.592
0.583
0.596
0.729
0.483
0.5790.646
0.517
0.750
0.779
0.800
0.808
0.633
0.617
0.775
0.750
0.763
0.742
0.833
0.763

p-値
< 10−10< 10−10< 10−10< 10−105.34 × 10−5
2.45 × 10−4
2.36 × 10−5
< 10−10
4.66 × 10−1
4.98 × 10−4
< 10−10
4.66 × 10−1
< 10−10< 10−10< 10−10< 10−102.94 × 10−92.34 × 10−7
< 10−10< 10−10< 10−10< 10−10< 10−10< 10−10

GAUSS

10080
Kurtosis ratio

PSTATIONPRESTONFIELDSPSQUARE

TBUS

methodconventional
proposed

60
4020
0-5

0510-50510-50510-50Input SNR [dB]510-50510-50510Fig. 4 従来手法と提案手法における非音声区間のカートシス比の箱ひげ図．この値が 1 に近いほどミュージカルノイズの発生量が小さく，品質が良いことを表している．と，二群の t-検定による p-値を Table 2 に示す．この結果により，GAUSS 以外の場合，すなわち自然環境に存在する雑音の場合は提案法が有意にミュージカルノイズ発生量を抑えていることが示唆される．

5結論

多様なカートシスを持つ雑音に対応した低ミュージカルノイズな音声強調を，SKD による正則化を利用した DNN によるソフトマスク雑音抑圧によって定式化した．また，実験的評価によって提案手法が雑音抑圧性能と音声の歪みの発生量をある程度維持したままカートシスの上昇率を低減させることを確認し，その有効性を示した．さらに，主観評価によって提案手法が残留雑音の自然性を保つことを示した．今後の課題として，音声区間の残留雑音を考慮した損失関数の検討や，より直接的にミュージカルノイズの発生量を定量化できる手法の探求が挙げられる．
謝辞: 本研究の一部は，セコム科学技術振興財団の助成を受け実施した．

参考文献[1] S. Boll, “Suppression of acoustic noise in speechusing spectral subtraction,” IEEE Transactions on
Acoustics, Speech, and Signal Processing, vol. 27,
no. 2, pp. 113–120, Apr. 1979.
[2] O. Cappé, “Elimination of the musical noise phenomenon with the ephraim and malah noise suppressor,” IEEE Transactions on Speech and Audio
Processing, vol. 2, no. 2, pp. 345–349, Apr. 1994.
[3] Z. Goh, K.-C. Tan, and B. Tan, “Postprocessing method for suppressing musical noise generated by spectral subtraction,” IEEE Transactions
on Speech and Audio Processing, vol. 6, no. 3, pp.
287–292, Mar. 1998.
[4] Y. Uemura, Y. Takahashi, H. Saruwatari,K. Shikano, and K. Kondo, “Automatic optimization scheme of spectral subtraction based onmusical noise assessment via higher-order statistics,” in Proceedings of International Workshop forAcoustic Echo and Noise Control 2008, Seattle,W.A., U.S.A., Sep. 2008.
[5] Y. Xu, J. Du, L.-R. Dai, and C.-H. Lee, “A regression approach to speech enhancement based on
deep neural networks,” IEEE/ACM Transactions
on Audio, Speech and Language Processing, vol. 23,no. 1, pp. 7–19, Jan. 2015.
[6] X. Lu, Y. Tsao, S. Matsuda, and C. Hori, “Speechenhancement based on deep denoising autoen-coder,” in Proceedings of INTERSPEECH 2013,Lyon, France, Aug 2013, pp. 436–440.
[7] S.-W. Fu, Y. Tsao, and X. Lu, “SNR-aware convolutional neural network modeling for speech enhancement,” in Proceedings of INTERSPEECH,San Francisco, U.S.A., Sep. 2016, pp. 3678–3772.
[8] Z. Chen, Y. Huang, J. Li, and Y. Gong, “Speech enhancement based on deep denoising autoencoder,”in Proceedings of INTERSPEECH 2017, Stockholm, Sweden, Aug 2017, pp. 3632–3636.
[9] 溝口聡, 齋藤佑樹, 高道慎之介, and 猿渡洋, “カートシスマッチングと深層学習に基づく低ミュージカルノイズ音声強調,” 日本音響学会 2018 年秋季研究発表会
講演論文集, pp. 177–180, 2018.
[10] “新聞記事読み上げ音声コーパス（JNAS）,” http://
www.mibel.cs.tsukuba.ac.jp/ 090624/jnas/.
[11] J. Thiemann, N. Ito, and E. Vincent, “Musicalnoise-free speech enhancement based on optimized
iterative spectral subtraction,” in Proceedings of21st International Congress on Acoustics, Montreal, Canada, Jun. 2013.
[12] R. Sonobe, S. Takamichi, and H. Saruwatari,“JSUT corpus: free large-scale japanese speech
corpus for end-to-end speech synthesis,” arXiv
preprint, 1711.00354, 2017.
[13] O. Ronneberger, P. Fischer, and T. Brox, “Unet: Convolutional networks for biomedical imagesegmentation,” in Proceedings of The 18th International Conference on Medical Image Computing
and Computer Assisted Intervention, Munich, Germany, Oct. 2015, pp. 234–241.
[14] N. Jansson, E. J. Humphrey, N. Montecchio, R. Bittner, A. Kumar, and T. Weyde, “Singing voice separation with deep u-net convolutional networks,” inProceedings of The 18th International Society forMusic Information Retrieval Conference, Suzhou,China, Oct. 2017, pp. 745–751.
[15] D. Kingma and J. Ba, “Adam: A method forstochastic optimization,” in Proceedings of International Conference on Learning Representations,Banﬀ, Canada, Dec. 2014.