カートシスマッチングと深層学習に基づく低ミュージカルノイズ音声強調 ∗☆溝口 聡，齋藤 佑樹，高道 慎之介，猿渡 洋（東大院・情報理工）1

はじめに音声通信において，音声信号に重畳される環境雑音は，話者間のコミュニケーションを阻害する要因として望ましくないものである．特に，単一のマイクロフォンしか用いることができない状況でのハンズフリーな音声通信では，話者とマイクの位置関係の特定が難しく，単一チャネル信号処理による音声強調技術が必須である．スペクトル減算法（SpectralSubtraction: SS）[1] やウィーナフィルタ（WienerFiltering: WF）に代表される従来の単一チャネルの音声強調技術では，非線形な信号処理に由来する人工的な歪みが生じ，聴覚的な印象を大きく損なうことが知られている．この人工的な歪みをミュージカルノイズ（musical noise）と呼ぶ [2, 3]．
近年，ミュージカルノイズを考慮した，事前学習不要の音声強調技術が盛んに研究されている [2, 3, 4, 5, 6]．
ミュージカルノイズの知覚の度合いと大きな相関を持つ数値としては，音声強調前後での非音声区間の尖度比（kurtosis ratio）[6] がよく知られ，これをミュージカルノイズの発生量の指標とすることが多い．SSや WF において，雑音のパワーがガンマ分布に従うと仮定したときに，幾つかの近似のもとで音声強調前後の雑音のパワーの尖度比が不変となるパラメータが発見されている [4, 5]．このようなパラメータが与えるミュージカルノイズが発生しない状態をミュージカルノイズフリーと呼ぶ．ミュージカルノイズフ
リーな SS や WF は雑音抑圧としての性能が低いた
め，反復して用いることで所望の雑音抑圧率（NoiseReduction Rate: NRR）を達成する．
一方，近年は，事前学習を必要とするが強力な手段として，ディープニューラルネットワーク（DeepNeural Network: DNN）による音声強調技術も多数提案されている（e.g., [7, 8, 9, 10]）．特に，[10] はソフトマスクベースの DNN 音声強調であり，これらは DNN の高い表現能力を利用した強力な雑音抑圧性能を誇る有力な手法であるが，強調処理後の信号にミュージカルノイズを発生させないという保証はない．
これに対し本稿では，尖度の乖離度（Kurtosis Discrepancy: KD）による正則化（カートシスマッチング; kurtosis matching）を導入することで，ミュージカルノイズ発生量の小さい DNN 音声強調法を提案する．提案手法における DNN は，観測された音声信号の振幅スペクトログラムを入力とし，ソフトマスクを出力とする．この DNN は，通常用いられる，クリーンな音声のスペクトログラムとの誤差の最小化に加え，マスクにより得られた非音声区間における音声強∗調後のカートシスが，音声強調前の同区間のカートシスと一致するように学習される．提案法では，カートシスマッチングによりミュージカルノイズの発生を抑えるため，主観的音質の高い音声強調が可能になると期待される．実験的評価により，提案手法が雑音抑圧性能を保持しつつ，尖度の上昇を避けられることを示す．

2

ソフトマスクによる DNN 音声強調 [10]観測信号の短時間フーリエ変換によって得られた振幅スペクトログラムを X とする．これを入力とする DNN のパラメータを Θ とし，その出力を S =f (X; Θ) とおく．また，ターゲットであるクリーンな音声信号の振幅スペクトログラムを Y とする．このとき，損失関数を

L0 (X, Y ; Θ) := ∥S ◦ X − Y ∥1,1(1)によって定義する．ただし，∥ · ∥1,1 は L1,1 ノルムであり，行列の各成分の絶対値を表すものである．また，◦ は行列のアダマール積であり，要素ごとに積をとるものである．この損失関数の訓練データに関する標本期待値について最小化を行う．すなわち，Θ̂ = argmax E[L0 (X, Y ; Θ)](2)Θとする．このようにして得られる Θ は，観測信号 Xの雑音を抑圧し，音声信号を抽出するマスクを生成するように学習される．最後に，DNN より出力されるソフトマスクをかけた観測信号の振幅スペクトロ
グラム S ◦ X に，観測信号の位相スペクトログラムをかけて短時間逆フーリエ変換を行うことで，所望の強調音声を推定する．

3提案手法

3.1

動機

従来の DNN 音声強調においては，非線形処理によるミュージカルノイズの発生が考慮されていない．そこで，ソフトマスク推定に基づく DNN 音声強調の強力な雑音抑圧を達成し，尚且つミュージカルノイズの発生が少ないような音声強調法を提案する．具体的には，先述のソフトマスクによる DNN 雑音抑圧において，損失関数にカートシスマッチングを実現するような正則化項を加えることでミュージカルノイズの発生を低減させる．提案法の概要は Fig. 1 である．

Low-musical-noise speech enhancement based on DNNs and kurtosis matching, by MIZOGUCHI, Satoshi,SAITO, Yuki, TAKAMICHI, Shinnosuke and SARUWATARI, Hiroshi (The University of Tokyo)

3.2
3.2.1

カートシスマッチングを考慮した DNN 学習尖度（kurtosis）

一変数確率変数 W は実数値をとり，確率分布 p(w)に従うとする．また，その平均を µ とする．このとき，確率変数 w の尖度とは，∫(w − µ)4 p(w)dw
KW := (∫ w∈R(3))
2 p(w)dw 2(w−µ)
w∈Rで定義される統計量であり，確率分布の裾の重さ，すなわち，外れ値の多さを表している．また，標本尖度は式 (3) のモンテカルロ積分より∑T(Wt − µ)41
κW = (∑ t=1(4))2T
T2(W−µ)tt=1によって計算できる．正規分布における尖度は 3 であり，尖度が 3 より大きな分布を優ガウス的であるといい，小さな分布を劣ガウス的であるという．
一般に，自然界に発生する雑音をサンプリングして得られる経験分布は，正規分布に近い形状をしているとされる．対して，ミュージカルノイズのような人工的な歪みは正規分布から乖離しており，優ガウス的である．

3.2.2

尖 度 の 乖 離 度（Kurtosis Discrepancy:KD）

本稿では，DNN の損失関数に尖度の変化が発生しないような項を組み込むために，KD を定義する．本
定義は kernelized discrepancy を損失とする GMMN
[11] に着想を得たものであるが，本定義における discrepancy はカーネル化されておらず，その点で意味が異なる．本稿では，以降に述べるように，非音声区間の振幅スペクトログラムにおける周波数サブバンド毎の KD を用いる．
観測信号の振幅スペクトログラム X の行列成分をXk,t ，強調後の音声信号の振幅スペクトログラム Zの行列成分を Zk,t = Sk,t Xk,t（ただし，Sk,t は S の行列成分）とする．ここで，k ∈ K := {0, · · · , K} は周波数サブバンドのインデックス，t ∈ T := {1, · · · , T }は時間フレームのインデックスである．また，周波数サブバンドのインデックス集合の分割を Ki :={ki , · · · , ki+1 −1}（ただし，i = 1, · · · , N −1，k1 = 0，kN = K + 1）とし，非音声区間の時間フレームインデックスの集合を T ′ ⊂ T とする．と書くことにする．このとき，非音声区間の KD を

KD(X, Z) :=N∑′′t∈Tt∈T(Xk,t ) − Kk∈K(Zk,t )αi Kk∈Kiii=1(5)′t∈Tで定義する．ここで，Kk∈K(Xk,t ) は，行列 X の成i分のうち，添え字が集合 Ki × T ′ の元であるものについての全要素での標本尖度（すなわち，非音声区間における当該サブバンドの標本尖度）であり，式 (4)によって計算する．ただし，α = [α1 , · · · , αN ] は周波数サブバンドの分割ごとの KD の重みを決めるパラメータである．

3.2.3

DNN 学習ソフトマスクを出力とするような雑音抑圧の DNNを考える．このとき，損失関数に KD を正則化項として加えることで，ミュージカルノイズの発生を回避することを期待する．すなわち，損失関数を，L(X, Y ; Θ) :=L0 (X, Y ; Θ)+ λKD(X, f (X; Θ) ◦ X)

(6)とし，DNN のパラメータをΘ̃ = argmax E[L(X, Y ; Θ)](7)

Θとして推定する．ただし，λ はカートシスマッチングの重みを表すハイパーパラメータである．
学習にあたって，観測信号の振幅スペクトログラムから音声信号の振幅スペクトログラムのみを抽出するような DNN を式 (2) によって事前学習する．事前学習した DNN のパラメータを初期値として用いることで，学習の効率化が期待できる．また，事前学習によって得られた教師データ Xk,t を入力とする DNNの出力，すなわちソフトマスク Sk,t から，教師データの非音声区間のみを判定する．すなわち，∑1
Sk,t < βk+ − k− + 1k+(8)k=k−なる t の集合を T ′ として固定する．ここで，β ∈ (0, 1]
は音声区間判定のための閾値，{k− , k+ } は音声成分が集中する周波数サブバンドを指定する閾値の集合であり，任意に設定する．また，K の分割 Ki と α も任意に固定する．
最終的に得られた強調後の振幅スペクトログラム
S ◦ X に観測信号の位相スペクトログラムを乗じ，短時間逆フーリエ変換をして所望の強調音声を得る．

4

実験的評価

提案手法の有効性の検証のために，音声強調実験を行った．

4.1

実験条件

訓練データには JNAS [12] より任意に選んだ女性と男性の発話音声それぞれ 25 文の前後に非音声区間を付与した 50 文に対し，入力 Signal-to-Noise Ratio（SNR）が 0 dB，5 dB，10 dB となるようなガウス性雑音を加えたパラレルデータを作成し，計 150 組の音声を用いた．音声のサンプルレートは 16 kHz であった．また，短時間フーリエ変換の窓関数には窓長1024 の Hanning 窓を用い，ホップサイズは 80 とした．また，テストデータには JSUT [13] より任意に選んだ発話音声の前後に 1.25 秒の非音声区間を付与した 100 文に対し，SNR が 0 dB，5 dB，10 dB となるようなガウス性雑音を加えたものを用意した．

Maskloss×

DNN

20

Clean speech(target)××

Fig. 1 提案法の概要．事前学習によって得られたDNN に雑音を含む観測データを入力し，出力である時間周波数ソフトマスクから雑音区間のみを抽出するハードマスクを生成．このハードマスクを用いて，雑音区間のみの KD を損失関数に加えて学習を実行する．Mask loss は式 (1)，T inverse hard mask は式(8)，kurtosis matching は式 (5) にそれぞれ対応する．
DNN のアーキテクチャには，中間層 12 層の U-Net[14] を用いた．U-Net の構造は [15] と同様とした．学習にはミニバッチ法を適用し，バッチサイズは 32 とした．また，パッチサイズは 256 とした．本稿で示したハイパーパラメータは，N = 6，K1 = {0, · · · , 7}，
K2 = {8, · · · , 127}，K3 = {128, · · · , 255}，K4 ={256, · · · , 383}，K5 = {384, · · · , 495}，K6 ={496, · · · , 512}，α = [0, 0.01, 1, 1, 1, 0]，β = 0.2，k− = 10，k+ = 74，λ = 3 × 10−5 とした．勾配には Adam [16] を用い，ステップサイズは 0.01 とした．
まず，損失を式 (2) に設定してエポック回数を 100として事前学習した後，損失を式 (2) に固定したものと，提案手法である式 (6) に変更したものでそれぞれさらにエポック回数を 100 として学習を行った．
4.2

雑音抑圧性能と音声歪みの評価

従来手法と提案手法について，テストデータを入力として得られた強調音声の Signal-to-Distortion Ratio（SDR）を Fig. 2 に示す．
いずれの入力 SNR についても両手法の SDR が変化がほとんど変化していないか，あるいは上昇していることから，提案手法が雑音抑圧性能を低下させることやと音声の歪みを増大させることは少ないと考えられる．

4.3

12

KD 及び尖度の評価

強調音声の非音声区間の振幅スペクトログラムのKD を Fig. 3，強調音声の非音声区間の時間領域での尖度を Fig. 4 に示す．また，入力 SNR が 5 dB のときの強調音声の一つについて，両手法の対数振幅スペクトログラムを Fig. 5 に示す．
まず，周波数領域での尖度の変化について述べる．

0 dB

Fig. 2
図．

5 dB
input SNR [dB]

10 dB

従来手法と提案手法における SDR の箱ひげ200

methodconventional
proposed175
time-frequency-domain KD

T inverse
hard mask

1614

Kurtosismatching
T-F soft mask

methodconventional
proposed18
SDR [dB]

Freq.

Noisy speech
Time150
125
100
7550
25
00 dB

5 dB
input SNR [dB]

10 dB

Fig. 3 従来手法と提案手法における振幅スペクトロ
グラムの非音声区間における KD の箱ひげ図．
振幅スペクトログラムの非音声区間の KD は，いずれの入力 SNR の場合も，従来手法に比べて提案手法
では有意に小さくなっている．これは，提案手法がミュージカルノイズの発生の抑圧を達成していることを示している．
次に，時間領域における尖度の変化について述べる．時間領域における非音声区間の尖度は，いずれの入力 SNR の場合でも提案手法の方が低くなり，正規乱数の理論値である 3 に極めて近い値をとっている．
これは，時間領域で見たときの雑音の従う分布が，四次統計量の意味で正規分布に近くなっていることを示唆している．
最後に，従来手法においては強調音声のスペクトログラム上の中高域の部分に斑状に見える雑音が見られるが，提案手法においては比較的に目立たない．
この縞状の雑音は，DNN によって音声として誤特定されたことで残留したミュージカルノイズであると考えられる．特に興味深いのは，損失関数において考慮されていなかった音声区間の中高域においても，この雑音が抑圧されていることである．

10method
conventional
proposedtime-domain kurtosis

987654320 dB

5 dB
input SNR [dB]

10 dB

Fig. 4 従来手法と提案手法における時間領域での尖度の箱ひげ図．尖度は非音声区間について計算した．点線で表した値は正規乱数の理論的な尖度の値である．

Fig. 5 両手法における入力 SNR が 5 dB のときの強調音声の対数振幅スペクトログラムの一つ．従来手法では高域に縞状の雑音が散見されるが，提案手法では目立たない．

5結論

ミュージカルノイズの発生量が低く雑音抑圧性能が高い音声強調を，カートシスマッチングを反映したDNN によるソフトマスク雑音抑圧によって定式化した．また，実験的評価によって提案手法が雑音抑圧性能と音声の歪みの発生量を維持したまま尖度の上昇率を低減させることを確認し，その有効性を示した．
今後の課題として，雑音の種類を増やした実験や，より直接的にミュージカルノイズの発生量を定量化できる手法の探求が挙げられる．
謝辞: 本研究の一部は，セコム科学技術支援財団の助成を受け実施した．

参考文献[1] S. Boll, “Suppression of acoustic noise in speechusing spectral subtraction,” IEEE Transactions onAcoustics, Speech, and Signal Processing, vol. 27,no. 2, pp. 113–120, Apr. 1979.
[2] O. Cappé, “Elimination of the musical noise phenomenon with the ephraim and malah noise sup-pressor,” IEEE Transactions on Speech and Audio
Processing, vol. 2, no. 2, pp. 345–349, Apr. 1994.
[3] Z. Goh, K.-C. Tan, and B. Tan, “Postprocessing method for suppressing musical noise generated by spectral subtraction,” IEEE Transactions
on Speech and Audio Processing, vol. 6, no. 3, pp.
287–292, Mar. 1998.
[4] R. Miyazaki, H. Saruwatari, T. Inoue, Y. Takahashi, K. Shikano, and K. Kondo, “Musical-noisefree speech enhancement based on optimized iterative spectral subtraction,” IEEE Transactions
on Audio Speech And Langage Proceeding, vol. 20,
no. 7, pp. 2080–2094, Sep. 2012.
[5] R. Miyazaki, H. Saruwatari, K. Shikano, andK. Kondo, “Musical-noise-free speech enhancement
based on iterative Wiener filtering,” in Proceedingsof The 12th IEEE International Symposium on Signal Processing and Information Technology, Ho Chi
Minh City, Vietnam, Dec. 2012.
[6] Y. Uemura, Y. Takahashi, H. Saruwatari,K. Shikano, and K. Kondo, “Automatic optimization scheme of spectral subtraction based onmusical noise assessment via higher-order statistics,” in Proceedings of International Workshop for
Acoustic Echo and Noise Control 2008, Seattle,W.A., U.S.A., Sep. 2008.
[7] Y. Xu, J. Du, L.-R. Dai, and C.-H. Lee, “A regression approach to speech enhancement based on
deep neural networks,” IEEE/ACM Transactions
on Audio, Speech and Language Processing, vol. 23,no. 1, pp. 7–19, Jan. 2015.
[8] X. Lu, Y. Tsao, S. Matsuda, and C. Hori, “Speechenhancement based on deep denoising autoencoder,” in Proceedings of INTERSPEECH 2013,Lyon, France, Aug 2013, pp. 436–440.
[9] S.-W. Fu, Y. Tsao, and X. Lu, “SNR-aware convolutional neural network modeling for speech enhancement,” in Proceedings of INTERSPEECH,San Francisco, U.S.A., Sep. 2016, pp. 3678–3772.
[10] Z. Chen, Y. Huang, J. Li, and Y. Gong, “Speech enhancement based on deep denoising autoencoder,”in Proceedings of INTERSPEECH 2017, Stockholm, Sweden, Aug 2017, pp. 3632–3636.
[11] Y. Li, K. Swersky, and R. zemel, “Generative moment matching networks,” in Proceedings of The
32th International Conference on Machine Learning, vol. 37, Lille, France, Jul. 2015, pp. 1718–1727.
[12] “新聞記事読み上げ音声コーパス（JNAS）,” http://www.mibel.cs.tsukuba.ac.jp/ 090624/jnas/.
[13] R. Sonobe, S. Takamichi, and H. Saruwatari,“JSUT corpus: free large-scale japanese speech
corpus for end-to-end speech synthesis,” arXivpreprint, 1711.00354, 2017.
[14] O. Ronneberger, P. Fischer, and T. Brox, “Unet: Convolutional networks for biomedical imagesegmentation,” in Proceedings of The 18th International Conference on Medical Image Computing
and Computer Assisted Intervention, Munich, Germany, Oct. 2015, pp. 234–241.
[15] N. Jansson, E. J. Humphrey, N. Montecchio, R. Bittner, A. Kumar, and T. Weyde, “Singing voice separation with deep u-net convolutional networks,” inProceedings of The 18th International Society forMusic Information Retrieval Conference, Suzhou,China, Oct. 2017, pp. 745–751.
[16] D. Kingma and J. Ba, “Adam: A method forstochastic optimization,” in Proceedings of International Conference on Learning Representations,Banﬀ, Canada, Dec. 2014.