1-4-17
ゲート付き CNN を用いた深層クラスタリングによる音源分離 ∗1◎李 莉 1,2 , 亀岡 弘和 1
日本電信電話株式会社 NTT コミュニケーション科学基礎研究所
2
筑波大学
ためには通常ネットワークの多層化が必要となるが，1はじめに多層化により勾配消失問題が生じやすくなる点が課題

本稿では，モノラルの複数音声分離問題を扱う。複数の音声信号が混じる混合信号から各音声信号を分離する音声分離技術は音声認識や補聴器などを高精度化するために重要となる技術である。近年の深層学習の発展により，いくつかニューラルネットワーク（NeuralNetwork: NN）を用いた強力な音声分離手法が提案されており [1–5]，特に教師ありタスクにおいて従来のモデルベースの音声分離手法を凌駕する性能を発揮することが報告されている。深層クラスタリング [4] はそであった。これに対しゲート付き CNN は，LSTM と同様に線形出力を変調させるゲート構造を CNN に導入することにより各層で通過させたい情報の制御を可能にしつつ勾配消失を防ぐことができる特長を有している。本稿では，以上のゲート付き CNN の特長に着目し，埋め込みベクトルへの写像をゲート付き CNNでモデル化した深層クラスタリングを提案する。

深層クラスタリング

2C 個の音源からなる混合信号の時間周波数表の代表例である。
深層クラスタリングでは，混合信号のスペクトログ

現（ ス ペ ク ト ロ グ ラ ム ）を ベ ク ト ル 化 し た も の を

ラムの時間周波数点ごとに埋め込みベクトルを考え，が互いに近接するように時間周波数点特徴から埋め込

x = [x1 , . . . , xn , . . . , xN ]T ∈ RN とする。ただし，n は時間周波数点 (f, t) に対応するインデックスを表し，N は時間周波数点の総数 F × T である。深

みベクトルへの写像を NN を用いて学習することで，層クラスタリングではまず，スペクトログラムの各テスト時に埋め込みベクトルにクラスタリングを行

点 xn ごとにノルムが 1 の D 次元埋め込みベクトルうことにより各音源の時間周波数マスクを推定する方

vn = [vn,1 , . . . , vn,D ] を考え，同一音源が支配的な時法である。従来，埋め込みベクトルへの写像関数とし間周波数点の埋め込みベクトルが互いに接近するようて，時系列データを扱う再帰型 NN（Recurrent NN:に線形写像 V = gΘ (x) を学習することが目標であRNN）の一種である双方向長・短期記憶（Bidirectional
long short-term memory: BLSTM）ネットワークが用いられている。LSTM では入力ゲート，忘却ゲーる。ただし，V = [v1 ; . . . ; vN ] ∈ RN ×D である。従来の深層クラスタリングでは，gΘ は BLSTM によりトと出力ゲートと呼ぶ三つの制御ゲートを用いることの各時間周波数点 n で支配的な音源ラベルを示したで，従来の RNN の勾配消失問題を解決し，入力と出力の長期依存関係を学習することが可能になった。そone-hot ベクトル（行ベクトル）を yn ∈ {0, 1}1×C とし，Y = [y1 ; . . . ; yN ] ∈ {0, 1}N ×C とすると，深層クの優れた性能は今まで数多くのタスクにおいて示されラスタリングでは同一音源が支配的な時間周波数点の埋め込みベクトルモデル化されており，Θ はそのパラメータを表す。xいた。しかしながら，一般に BLSTM を含む RNN に

J (V) = ||VVT − YYT ||2F

は，多層になるほど過学習が生じやすくなる点や学習(1)に多大な計算コストを要する点などの問題点があるこを最小化するように Θ を学習する。ただし，|| · ||2F はとが知られている。の長期依存関係を効率的に捉えることが可能で，入力Frobenius ノルムを表す。YYT は，n 行 n′ 列目の要素が時間周波数点 n と n′ において同一音源が支配的のときに 1，そうでないときに 0 であるような N × Nのバイナリ行列で，類似度行列と呼ぶ。パラメータ Θの学習完了後，入力信号のスペクトログラム x に対しV を算出し，V の各行ベクトルをデータベクトルとしてクラスタリング（k 平均クラスタリングなど）を行う

文章における後続単語を予測する言語モデルとしてのことで，同一音源が支配的な時間周波数点の集合を得能力が LSTM を凌駕することが報告されている。通ることができる。これにより，音源分離を行うための常の CNN を用いてデータの長期依存関係を学習する各音源の時間周波数マスクを構成することができる。

一方，畳み込み NN（Convolutional NN: CNN）はRNN に比べ過学習を起こしにくい点，並行計算に向いている点などの利点を有することから，近年時系列データを扱うモデルとしても注目が高まっている。最近提案された「ゲート付き CNN」[6] は，時系列データ∗Multi-speaker separation using deep clustering with gated CNN, Li Li (NTT Communication Science
Laboratories/University of Tsukuba), Hirokazu Kameoka (NTT Communication Science Laboratories)

日本音響学会講演論文集- 453 -2018年3月

従来，NN を適用した音声分離法としては入力スペクトログラムに対し各時間周波数点の音源ラベルを直接予測するアプローチ（例えば [1–3]）が主流であったが，このアプローチでは，教師データを用意する際，各スペクトログラム間で音源ラベルが一貫していない
場合，性能低下に直結する点に課題があった。例えば，
音源 A と音源 B からなる混合信号のスペクトログラ
ム A とスペクトログラム B を学習データとして，ス
ペクトログラム A では音源 A にラベル [1, 0]，音源 B

Fig. 1にラベル [0, 1] が付与され，逆にスペクトログラム Bゲート付き CNN のアーキテクチャ

では音源 A にラベル [0, 1]，音源 B にラベル [1, 0] が付与されていたとすると，このような学習データで学

dilate = 1

習された識別器は，テストデータのスペクトログラムdilate = 2の各点で音源 A と音源 B を識別する能力をもちえない。このため，教師データを準備する際は，各スペク

dilate = 3

dilate = 4

トログラム間で一貫したラベルを慎重に付与する必要があり，利用場面によっては難点となりえる。これにFig. 2異なる dilate 数における 1 次元 dilated CNN。

対し深層クラスタリングは教師データとして，各時間周波数点に付与される音源ラベル Y は必要とせず，代わりに，各スペクトログラムの時間周波数点のペアごとに支配的な音源が同一かどうかを示す類似度行列

YYT を用いる手法となっている。このようなラベルの付与にかかる労力は，全データ間で一貫した音源ラベルを付与する労力に比べて小さく済むため，実用上のメリットが大きい。

3

LSTM を超える単語予測性能を発揮することが報告されている。図 1 にはゲート付き CNN のアーキテクチャを示す。第 l − 1 層目の出力を Hl−1 で表すものとし，ゲート付き CNN では，第 l 層目の出力 Hl はHl = (Hl−1 ∗ Wlf + bfl ) ⊗ σ(Hl−1 ∗ Wlg + bgl ) (2)で与えられる。ただし，⊗ と σ は要素ごとの積とシ グ モ イ ド 関 数 を 表 し ，Wlf ∈ RDl ×Dl−1 ×Ñl ×M̃l ，提案手法
従来の深層クラスタリング法では，埋め込みベクトルへの写像関数 gΘ として RNN の一種である BLSTMネットワークが用いられていたが，RNN ベースのネットワークは多層になると学習が安定しない，学習に時

Wlg ∈ RDl ×Dl−1 ×Ñl ×M̃l ，bfl ∈ RDl ×Nl ×Ml と bgl ∈RDl ×Nl ×Ml が推定すべきパラメータとなる。式 (2)を要素ごとに表記するとHl,d,n,m =( Dl−1 −1 Ñ −1 M̃ −1ll
∑ ∑∑間がかかる，過学習しやすい，などの問題が生じるこd′ =0とが知られている。そこで本稿では，CNN の特長に着目し，gΘ を CNN でモデル化した深層クラスタリング

×σn′ =0 m′ =0( Dl−1 −1 Ñ −1 M̃ −1ll
∑ ∑∑d′ =0を提案する。更に，複数音声分離タスクに対する適切なネットワークアーキテクチャについて検討する。具)ff′ ,n−n′ ,m−m′ Hl−1,d′ ,n′ ,m′ + bl,d,n,mwl,d,d)ggwl,d,d′ ,n−n′ ,m−m′ Hl−1,d′ ,n′ ,m′ + bl,d,n,mn′ =0 m′ =0となる。第二項のような非線形活性化関数を Gated体的には，（1）1 次元 CNN or 2 次元 CNN；（2）ゲート

Linear Unit (GLU) と呼ぶ。

付き CNN；（3）Dilated CNN；
（4）Strided CNN；
（5）（3）Dilated CNN

スキップアーキテクチャを組み合わせたネットワーク

Dilated CNN は，畳み込みする際にフィルタの隣接する点の間に 0 を埋めることによりパラメータ数を増えずに受容野の範囲を広げる CNN である。図 2 には異なる dilate 数における 1 次元 dilated CNN を示す。
dilate 数が１の時には通常の CNN で，dilate 数が増アーキテクチャを用いる。
（1）1 次元 CNN or 2 次元 CNN

1 次元 CNN は，入力 x を F チャンネルのサイズが1 × T の画像と見なし，出力 V を F × D チャンネルのサイズが 1 × T の画像と見なす場合，2 次元 CNN
は，入力 x を 1 チャネルのサイズが F × T の画像と見なし，出力 V を D チャネルのサイズが F × T の画像と見なす場合にそれぞれ相当するものとする。

えれば増えるほど大きなフィルタが作成され，受容野を広げることができる。
（4）Strided CNN

ゲート付き CNN は，元々単語列の予測モデルとしStrided CNN は，フィルタの畳み込みの適用間隔を 1以外にすることを許容した CNN である。ストライド
幅が 2 のときは畳み込みの出力のサイズは 1/2 になて最初に導入された CNN の一種で，同条件の実験でる。

（2）ゲート付き CNN

日本音響学会講演論文集- 454 -

2018年3月

Table 1

実験で採用した CNN のアーキテクチャ。 1D と 2D は 1 次元 CNN と 2 次元 CNN， B はボト

ルネックアーキテクチャ， DC は dilated CNN， w/o skipとw/ skip はスキップアーキテクチャのありなしを表す。表中の表記 Ñl × M̃l , Dl , α, β は各層のフィルタサイズ’Ñl × M̃l ，出力チャンネル数 Dl ，stride，dilation を表す。ただし，”64/128” はそれぞれ 5.5 時間および 30 時間の学習データのときに設定したチャネル数を表す。また，全層においてバッチ正規化層を含めた。

l2D, B, w/o skip

2D, B, w/ skip

2D, DC, 5L

2D, DC, 8L

1D, DC1234
56
785×5, 64/128, 1, 14×4, 64/128, ↓ 2, 13×3, 64/128, 1, 14×4, 64/128, ↓ 2, 13×3, 64/128, 1, 14×4, 64/128, ↑ 2, 14×4, D, ↑ 2, 15×5, 64/128, 1, 14×4, 64/128, ↓ 2, 13×3 ,64/128, 1, 14×4, 64/128, ↓ 2, 13×3, 64/128, 1, 1
4×4, D, ↑ 2, 14×4, D, ↑ 2, 1

3×3, 64/128, 1, 13×3, 64/128, 1, 2
3×3, 64/128, 1, 33×3, 64/128, 1, 4
3×3, D, 1, 53×3, 64, 1, 13×3, 128, 1, 13×3, 256, 1, 23×3, 256, 1, 43×3, 256, 1, 83×3, 256, 1, 16
3×3, 128, 1, 1
3×3, D, 1, 1

1×3, 512, 1, 1
1×3, 1024, 1, 2
1×3, 2048, 1, 3
1×3, 4096, 1, 41×3, 4096, 1, 41×3, 2048, 1, 41×3, FD, 1, 4

させ，2 話者と 3 話者の混合信号を 5 時間ずつ作成した。ただし，学習データとテストデータには同一の話者の音声を含まないようにした。提案手法が少量の学習データでも過学習を起こさず動作するかどうかを確認するため，小規模の学習データ（約 5.5 時間分）とFig. 3 ス キ ッ プ ア ー キ テ ク チ ャ を 用 い た strided
CNN。

検証データ（約 0.5 時間分）を作成した。
すべての音声信号は 8kHz にダウンサンプリングし，フレーム長 254 サンプル点，フレーム間隔 127 点のハニング窓を用いて Fourier 変換を行い，周波数ビン数は F = 128 の対数振幅スペクトログラムを算出した。

（5）スキップアーキテクチャ
スキップアーキテクチャは，入力または第 l 層の出力を第 l + 1 層以外にも第 l + l′ 層 (l′ > 1) の入力とする NN のアーキテクチャをさす。それにより，strided

CNN のストライド幅が 1 以上の場合に失った入力や低次特徴量の情報を深い層での高次特徴量を計算するときに用いることが可能になる。例として，図 3 はスキップアーキテクチャと strided CNN を用いた提案手法のアーキテクチャを示している。

4モノラル音声分離実験

4.1

実験条件

さの入力に対応できるようにしたが，誤差逆伝播の勾配を計算する時間を節約するため，学習時においては，入力対数振幅スペクトログラムを T = 128 フレームごとにセグメンテーションを行い，その中の任意の 4 セグメントを用いて勾配を計算した。また，エネルギーが小さい時間周波数点（無音区間など）はどれの音源においても支配的ではないため，学習を不安定に導く可能性がある。この問題を防ぐため，従来研究と同様に誤差逆伝播の勾配を計算する際には，振幅が-40dB以下の時間周波数点を考慮しないことにした。埋め込
みベクトルの次元は 20 または 40 にした。NN のパ提案手法の有効性を確認するため，Wall Street Jour-nal （WSJ0）コーパスを用いて従来の BLSTM を用いた深層クラスタリングとの比較実験を行った。評価は処理前と処理後の信号対歪み比 (signal-to-distortionratios: SDR)[10] の改善値を用いた。学習データ、検証データとテストデータは従来の研究 [4, 8] に従って[9] のプログラムで作成した。NN を学習するための学習データ 30 時間と検証データ 10 時間は WSJ0 デー
タベースの si tr s フォルダーから任意の話者二人の音声を [0, 10]dB の範囲内で任意に選んだ信号対雑音比で重畳させて作成した。テストデータは si dt 05と si et 05 フォルダーから任意の話者の音声を重畳

日本音響学会講演論文集

提案手法に採用した CNN アーキテクチャは任意の長ラメータ学習は Adam optimizer を用いて行った。表1 に本実験で提案法として採用した CNN の具体的なアーキテクチャを示す。全てのアーキテクチャにおいて全層でバッチ正規化を行い，GLU を活性化関数として用いった。

4.2

実験結果

比較実験のため従来の BLSTM ベースの深層クラスタリング法も実装したが，[4, 8] に報告された性能と同等の性能を達成できなかったので，下記，公平を期するため文献中の類似条件での結果を比較対象とする（我々の実装の結果も参考として一部併記する）。提案- 455 -

2018年3月

Table 2 埋め込みベクトル次元が D = 20 のときの，30 時間および 5.5 時間の学習データの下での従来手法と提案手法による平均 SDR 改善値 [dB]。
学習データモデル

提案手法

従来手法

2D, B w/o skip
2D, B w/ skip
2D, DC, 5L
1D, DCBLSTM（我々の実装）
BLSTM [4]分離結果を示す。いずれのアーキテクチャも従来手法より高い分離性能が得られた。

まとめ55.5h30h

本稿では，CNN が有する利点に着目し，深層クラ3.90
3.78
5.78
3.94
1.57-

5.49
5.23
6.78
6.36
2.46
5.7

スタリングにおける時間周波数点から埋め込みベクトルへの写像をゲート付き CNN でモデルする手法を提案した。複数音声分離タスクにおいて適切な CNNアーキテクチャについて検討し，実験により提案法が BLSTM を用いた従来法より高性能であることが確認できたとともに 2 次元/Dilated CNN/ゲート付きCNN を用いた場合に少量の学習データでも過学習をTable 3 埋め込みベクトル次元が D = 40 のときの，30 時間および 5.5 時間の学習データの下での従来手法と提案手法による平均 SDR 改善値 [dB]。
学習データ

モデル

2D, DC, 5L
2D, DC, 8L
1D, DCBLSTM[4]BLSTM[8]

提案手法

従来手法

Table 4

5.5h

30h

6.77
-

6.71
8.326.39
6.0
9.4

3 音源の音声分離実験における従来手法と提案手法による平均 SDR 改善値 [dB]。
モデル
提案手法
従来手法

2D, DC, 5L
2D, DC, 8L
1D, DCBLSTM [4]SDRi [dB]
3.14
2.43
2.48
2.2

手法の各アーキテクチャが 2 音源分離タスクで埋め込
みベクトル次元が 20 の場合に得られた SDR 改善量平均値を表 2 に示す。提案手法においてすべて 30 時間の学習データの下で，すべてのアーキテクチャで従来手法 [4] と同等以上の性能が得られた。2 次元/Dilated/ゲート付き CNN を用いた場合には BLSTM を用いた場合をはるかに超える性能が得られることを確認した。その上，少量の学習データでも過学習を起こさず動作できることを確認した。埋め込みベクトルの次元を 40 に増やした実験結果は表 3 のとおりである。表2 と比べ，2 音源分離問題に対して埋め込みベクトルの次元数を 20 から 40 に増やすことは大きな性能改善をもたらせないことが分かった。2D/Dilated/ゲート付
き CNN を用いたアーキテクチャのの層数を増やしても少量のデータに対して過学習を起こさず 1.6 dB 程起こさず従来法と相当する性能が得られることを確認した。

参考文献[1] P. S. Huang, M. Kim, M. Hasegawa-Johnson, andP. Smaragdis, “Deep learning for monaural speechseparation.”, In Proc. ICASSP, pp. 1562–1566,
2014.
[2] Y. Wang, A. Narayanan, and D. Wang, “Ontraining targets for supervised speech separation.”,IEEE/ACM Trans. ASLP, vol. 22, no. 12, pp. 1849–1858, 2014.
[3] Y. Xu, J. Du, L.-R. Dai, and C.-H. Lee, “An experimental study on speech enhancement based on deepneural networks.”, IEEE Signal Processing Letters,
vol. 21, no. 1, pp. 65–68, 2014.
[4] J. R. Hershey, Z. Chen, J. L. Roux, and S.
Watanabe, “Deep clustering: Discriminative embeddings for segmentation and separation.”, In
Proc. ICASSP, pp. 31–35, 2016.
[5] M. Kolbak, D. Yu, Z. H. Tan, and J. Jensen, “Multitalker speech separation with utterance-level permutation invariant training of deep recurrent neural networks.”, IEEE/ACM Trans. ASLP, vol. 25,no. 10, pp. 1901–1913, 2017.
[6] Y. N. Dauphin, A. Fan, M. Auli, and D. Grangier, “Language modeling with gated convolutionalnetworks,” arXiv:1612.08083, 2016.
[7] F. Yu, and V. Koltun, “Multi-scale context aggregation by dilated convolutions,” arXiv:1511.07122,
2015.
[8] Y. Isik, J. L. Roux, Z. Chen, S. Watanabe, andJ. R. Hershey, “Single-channel multispeaker separation using deep clustering,” In Proc. Interspeech
pp. 545-549, 2016.
[9] Avaliable online: http://www.merl.com/demos/deepclustering[10] E. Vincent, R. Gribonval, and C. Fevotte, “Performance measurement in blind audio source separation,” IEEE Trans. ASLP, vol. 14, no. 4, pp. 14621469, 2006.

度の性能改善が得られた。多層化にすることにより更なる性能向上が期待できる。更に表 4 に 3 音源の音声

日本音響学会講演論文集- 456 -

2018年3月