1-1-14
深層学習に基づく間引きインジケータ付き周波数帯域補間手法による音源分離処理の高速化 ∗☆渡辺瑠伊，北村大地（香川高専），中村友彦，猿渡洋（東大），高橋祐，近藤多伸（ヤマハ）
はじめに

Frequency

1

Microphone 1

Frequencydomain MASS

Source 1

∗

Freq.
Freq.

Frequency

Frequency

Frequency

Separation filter
多チャネル音源分離（multichannel audio source
Separation filter
TimeTime
Microphone2
Source 2
Separation filter
separation: MASS）とは，複数のマイクロフォンにSeparation filter
よって得られる観測信号から，混合前の信号を推定する技術である．有名な周波数領域 MASS 手法の一TimeTime(a)つに多チャネル非負値行列因子分解（multichannel
Source 1(fullband)
Microphone 1
nonnegative matrix factorization: MNMF）[1] があ
Source 1(low-freq. band)
る．MNMF では，混合系を音源と周波数毎の空間
FrequencyDNN-based
domain MASS
共分散行列でモデル化し，更に，各音源の時間周波TimeTime
frequency
Source 2 Timecomponent(fullband)
Microphone 2
Separation filter
prediction
数構造を非負値行列因子分解（nonnegative matrix
Source 2
Separation filter(low-freq. band)
factorization: NMF）でモデル化している． そして，推定された空間モデルと音源モデルを用いて周波数TimeTimeTime(b)毎の分離フィルタを推定している．MNMF は，事前
Fig. 1 (a) Full-band frequency-domain MASS and
情報無しで高品質な音源分離が可能であるが，パラ(b) proposed MASS frameworks using DNN-based
メータの推定に膨大な計算コストが必要である．
frequency component prediction.
深層学習（deep neural networks: DNN）は音響信号処理においても一般的となり，単一チャネル音源分
離 [2, 3] や音源分離を目的とした音響帯域拡張 [4] といった様々な課題解決に利用されている．また著者らは，Fig. 1(b) に示すような，DNN に基づく音響帯域拡張によって音源分離処理を高速化するフレームワー
ク [5, 6] を提案している．この手法では，前段では低周波帯域に周波数領域 MASS が適用され，各分離信号が推定される．後段では，得られた低周波帯域の分離信号及び高周波帯域の混合信号の二つを用いて，DNN が混合前の音源の高周波帯域を予測する．DNNの予測の計算コストが周波数領域 MASS の計算コストよりも十分小さい場合，本手法によって全体の計算コストを削減できる．
Fig. 2 Frequency decimations: (a) even-interval
後段の DNN における周波数成分の予測は，分離信and (b) uneven-interval decimations.
号の帯域拡張問題に対応するため，分離信号の周波数成分の外挿に等しく，比較的難しい推論が要求され数ビンであるとみなして分割する．この時，DNN はる．そこで著者らは，DNN の予測が内挿となるよう間引かれた周波数ビンの分離信号成分を予測しなけに周波数ビンを間引く分割手法を新たに提案した [7]．
ればならないため，どこを間引いたかを表すインジ
この手法では，Fig. 2 に示すような方法で周波数領ケータを新たに設け，DNN の入力情報として用いた．
域 MASS を適用する周波数ビンと DNN で予測する周波数ビンを分割する．これらの分割手法を前述の2 従来手法：音源分離フレームワーク
音源分離フレームワーク [5, 6] に適用し，音源分離性能を評価したところ，Fig. 2 (b) のように不等間隔に2.1 定式化間引くことで，高精度な音源分離を達成することがN 及び M をそれぞれ音源数及びマイクロフォン数可能となった．以上の知見から，前段の音源分離処理とすると，短時間フーリエ変換（
short-time Fourierに有効な周波数ビンを上手く選択することで，高精transform:STFT）で得られる多チャネル音源信号
度な DNN の予測，延いては高品質な音源分離が可能（ソースイメージ）及び混合信号の複素成分は次のよになると考えられる．
うに表される．
そこで，本稿では任意の周波数ビンの間引き方（分割手法）に対応可能な音源分離フレームワークを提sijn = (sijn1 , · · · , sijnm , · · · , sijnM )T ∈ CN (1)
案する．本手法では，混合信号のスペクトログラムに(2)xij = (xij1 , · · · , xijm , · · · , xijN )T ∈ CM
対し，パワーが大きい帯域が音源分離に有効な周波Fast audio source separation based on deep-neural-network-based frequency component interpolation
with decimation indicator. By Rui WATANABE, Daichi KITAMURA (NIT Kagawa), Tomohiko NAKAMURA, Hiroshi SARUWATARI (UTokyo), Yu TAKAHASHI, and Kazunobu KONDO (Yamaha).

日本音響学会講演論文集- 155 -

2021年9月

している．混合信号の間引き周波数成分行列 M (Q)(P)
及び各音源の非間引き周波数成分行列 Yn の時間フレーム j におけるベクトルはそれぞれ次のように表される．
(Q)

mj()T′(Q)(Q)(Q)= m1j , · · · , mf ′ j , · · · , m|F′ |j∈ C|F |(P)

((P)

(P)

(P)

ynj = yn1j , · · · , ynf j , · · · yn|F|j(Q))T(3)∈ C|F|

(4)

(P)

(P)

ここで，mf ′ j 及び ynf j はそれぞれ M (Q) 及び Ynの要素である．DNN が各音源の時間 j における非間引き周波数成分を予測する場合，j 周辺の成分も重要である．そこで，式 (3) 及び (4) の隣接時間フレームを連結し1 ，以下のようなベクトルを定義する．
(Q)
mj =(5)
()TT
T
(P)
(P)
(P) T
(P)
y nj = yn(j−2c) , · · · , ynj , · · · , yn(j+2c)

Fig. 3 Input vector of DNN, where N = 2, I = 6,
and J = 11.
ここで，i = 1, 2, . . . , I ，j = 1, 2, . . . , J ，n =1, 2, . . . , N ，及び m = 1, 2, . . . , M はそれぞれ，周波数ビン，時間フレーム，音源，及びマイクロフォンのインデクスである．また，式 (1) 及び (2) のスペクトログラムをそれぞれ，Snm ∈ CI×J ，Xm ∈ CI×Jと定義する．また，観測された多チャネルの混合信号∑は xij = n sijn と仮定する．

2.2

DNN に基づく周波数成分予測

リファレンスチャネル mref の音源信号のスペクトログラムを Yn = Snmref とし，混合信号のスペクトログラムを M = Xmref と定義する．今，前段の周波数領域 MASS に入力される周波数ビンの集合を F ⊂{i|i = 1, 2, · · · , I} とし，逆に間引く周波数ビンの集合を F′ ⊂ {i|i = 1, 2, · · · , I} と定義する（F′ は F の補集合となる）[7]．さらに，F 及び F′ の要素のインデク
スをそれぞれ f = 1, 2, · · · , |F| 及び f ′ = 1, 2, · · · , |F′ |とする．これらの集合を用いて，混合信号 M の全周波数ビンの内，前段の周波数領域 MASS に入力する周波数ビンだけをまとめた行列を M (P) ∈ C|F|×J と定義する．さらに，前段の周波数領域 MASS には入力しない（間引く）周波数ビンだけをまとめた行列を′M (Q) ∈ C|F |×J と定義する．同様に，音源信号 Yn′(P)(Q)
も Yn ∈ C|F|×J 及び Yn ∈ C|F |×J に分割される．
DNN は，集合 F に属する周波数ビンをまとめた全(P)(P)(P)
音源信号の行列 Y1 , Y2 , · · · , YN と集合 F′ に属する周波数ビンをまとめた混合信号の行列 M (Q) を入力とし，集合 F′ に属する周波数ビンをまとめた全(Q)(Q)(Q)
音源信号の行列 Y1 , Y2 , · · · , YN （前段の周波数領域 MASS で分離せずに間引いた成分）を予測す(Q)る．より具体的には，DNN は M (Q) から Yn を得るようなソフトマスクを予測し出力する．
N = 2 における DNN モデルの入力ベクトルをFig. 3 に示す．但し，F = {i|i = 1, 3, 5} 及び F′ ={i|i = 2, 4, 6} として等間隔に分割した場合の図を示

日本音響学会講演論文集()T(Q) T(Q) T(Q) T
mj−2c , · · · , mj
, · · · , mj+2c(bj =(Q) Tmj(P) T, y 1j(P) T, · · · , y nj

(P) T(6)), · · · , yN j′∈ C(2C+1)(|F |+N |F|) (7)
ここで，c = 0, 1, . . . , C は，隣接時間フレームのインデクスである．この bj の各要素の振幅値を取ったベ
クトル |bj | が DNN の入力ベクトルとなる．ここで，ベクトルや行列に対する絶対値記号 | · | は，要素毎の振幅値を取ったベクトルや行列である．

2.3

DNN の出力と学習

本稿で用いる DNN の構造は文献 [7] と同様である．
DNN で予測される各音源のソフトマスクは，周波数毎の音源に関する和が 1 となる必要があるため，周波数毎の Softmax 関数を適用する．n 番目の音源信(Q)号の間引き周波数成分行列の振幅値 |Yn | を推定す
|F′ |×Jるためのソフトマスクを Wn ∈ R[0,1] とし，次式のように表す．

|Yn(Q) | ≈ Wn ⊙ |M (Q) |(8)ここで，⊙ は要素毎の積を表す．DNN の出力ベクトル w̃j は，全音源のソフトマスク W1 , · · · , WN の時
間フレーム j におけるベクトルを連結したものである．

( T)
N |F′ |TT T(9)w̃j = w1j
, · · · , wnj, · · · , wN
∈ R[0,1]j()T|F′ |wnj = wn1j , · · · , wnf ′ j , · · · , wn|F′ |j ∈ R[0,1](10)
ここで，wnf ′ j は Wn の要素であり，出力層の Soft∑max 関数により， n wnf ′ j = 1 ∀f ′ , j である．全音源
1 時間フレームを j − 2, j, j + 2 のようにスキップするのは，STFT をハーフオーバーラップで行うことにより隣接する時間フレームに冗長成分が含まれるためである．

- 156 -

2021年9月

Table 1

Song names of dry source in test dataset

Song ID
12
3
4Song namedev1 bearlin-roads
dev2 another dreamer-the ones we lovedev2 fort minor-remember the namedev2 ultimate nz tour

Fig. 4 Calculation of decimation indicator basedon frequency-wise observed power values.

Dr.の非間引き周波数成分の正解ベクトルは次式となる．
()T
(Q)
(Q)
(Q)
|ỹj | = |y1j |T , · · · , |ynj |T , · · · , |yN j |T

E2A impulse 20
response
T60 = 300 ms

N |F′ |

∈ R≥0()T′(Q)
(Q)
(Q)
(Q)
ynj = yn1j , · · · , ynf ′ j , · · · , yn|F′ |j∈ C|F | (12)
(Q)

(Q)

ここで，ynf ′ j は Yn の要素である．DNN モデルは，次式の平均二乗誤差が最小となるように学習される．

3提案手法

3.1

観測パワーに基づく周波数ビンの選択手法

Fig. 1 (b) の前段処理において，音源分離処理に有効な周波数ビンを選択することで，高精度な音源分離が期待できる．しかし，音源毎にヒューリスティックに選択を行うのは現実的ではない．そこで，混合信号の振幅スペクトログラムに対し，時間方向の L2 ノルムを取った際にパワーの大きい周波数ビンが，高精度な音源分離に有効であると仮定する．Fig. 4 のように混合信号の各周波数ビンに対して，以下のような時間方向の L2 ノルムを算出したベクトルを g とする．
()T
∈ RI≥0 (13)g = ∥m̃1 ∥, ∥m̃2 ∥, · · · , ∥m̃I ∥m̃i = (mi1 , mi2 , · · · , miJ )T ∈ CJ(14)ベクトル g は周波数ビン毎の観測パワー値に対応するため，g の要素を降順にソートし，上位 K の要素の周波数ビンインデクスを F の要素と定義することで，パワーの大きい周波数ビンだけに周波数領域 MASSを適用できる．上位 K 以外の周波数ビンインデクスは F′ の要素（即ち，間引かれる周波数ビン）となる．
Fig. 4 は間引き率 1/2 の場合（K = ⌊I/2⌋）を示している．ここで，⌊·⌋ は床関数である．

3.2

インジケータを用いたモデル学習提案手法では，前節の方法に基づいて間引かれる周波数ビンが決まるため，DNN が分離信号を予測する帯域は観測信号毎に異なる．そこで，間引いた周波数ビンを明示的に示すインジケータを作成し，新たな DNNの入力に用いる．このインジケータを d ∈ {0, 1}I とし，音源分離処理を行う帯域（F の要素）を 1，DNNによって予測を行う帯域（F′ の要素）を 0 とする．

d = [d1 , d2 , · · · , dI ]T{1 (if i ∈ F)
di =0 (otherwise)

(15)
(16)

このベクトル d を式（7）に結合し，これを DNN の入力とする．

日本音響学会講演論文集

Fig. 5(11)

4

実験

4.1

条件

2mSignal length [s]14.025.0
24.0
18.0

Vo.

40 Mic. spacing
5.66 ms

Impulse responses used in experiment.

本実験では，Table 1 の信号に，Fig. 5 に示す
RWCP [10] の E2A インパルス応答を畳み込むことで，2 チャネル（N = M = 2）で観測した Dr. 及
び Vo. の混合信号を生成した．比較手法として，全周波数ビンで MNMF を適用する手法（フルバンド
MNMF），低周波帯域及び高周波帯域に分割（但しF = {i|i = 1, 2, · · · , ⌊I/2⌋}）するフレームワーク[5, 6]，等間隔間引き及び不等間隔間引きを行うフレー
ムワーク [7]，及び時間方向のパワーを基に分割し間引きインジケータを用いる提案フレームワークの 5 手法を用いた．提案フレームワークの DNN の学習デー
タは文献 [5, 6, 7] と同様である．MNMF の基底数は30 本とした．音源の分離性能の指標として，分離の度合いと音質の両方を示す source-to-distortion ratio（SDR）[9] の改善量を用いた．MNMF の計算には，Intel Core i7 8700 CPU，DNN の予測には NVIDIA
GeForce GTX1660Ti GPU を用いた．

4.2

結果

各手法において，異なる乱数値を用いて 5 回実験を行った際の平均 SDR 改善量及び平均処理時間を Fig. 6に示す．なお，提案手法の処理時間には，DNN の予測にかかる時間が含まれるが，その時間は 0.1 s 以下である．また，提案手法では MNMF の反復回数（L）を，L = 20, 40, · · · のように設定し，各条件においてDNN の予測を行ったため， Fig. 6 の提案手法は L の設定毎に SDR 値をプロットしている．低周波帯域と高周波帯域に分割する手法では，周波数領域 MASSに入力する行列の周波数ビン数が全体の 1/2 に削減されており，等間隔，不等間隔，パワーに基づく間引き手法ではおよそ 1/3 に削減されている．従って，計算時間もこれらの比率に応じて短縮されることを期待している．
結果を見ると，多少のオーバーヘッドが生じることから，提案フレームワークの手法の計算時間はフルバ
ンド MNMF の 1/2 倍又は 1/3 倍までは削減されなかったが，それでもより短い時間で高い SDR 改善量を実現していることが分かる．Song ID1〜3 に対しては，パワーに基づく分割手法が他の分割手法に比べ高精度の音源分離を達成している．これは，パワーの大きい周波数帯域を前段の音源分離処理に入力す- 157 -

2021年9月

Song ID: 1

64
Fullband MNMF
Low- and high-frequency splitting
Even-interval decimation
Uneven-interval decimataion
Power-based decimataion

201450100

150200

Average elapsed time [s]250

6Fullband MNMF
Low- and high-frequency splitting
Even-interval decimation
Uneven-interval decimataion
Power-based decimataion

4250100

150200250

300

Average elapsed time [s]Fig. 6350

01850

100

150200250

300

Average elapsed time [s]

350

400

Song ID: 416141210
8
6Fullband MNMF
Low- and high-frequency splitting
Even-interval decimation
Uneven-interval decimataion
Power-based decimataion

420050

100

150

200

250

Average elapsed time [s]

300

350

Average SDR improvements and their elapsed times for each song.

おわりに

本稿では，音源分離に有効な周波数ビンを任意に選択し分割する手法を提案し，従来の音源分離フレームワークに適用した．実験結果より，従来の各分割手法と比較して分離性能が向上したことが明らかとなった．従って，パワーの大きい周波数帯域が前段処理である，周波数領域 MASS に有効であるという裏付けとなる．このように，音源分離フレームワークの性能が向上するような分割の指標を調査する事が今後の課題である．
謝 辞 本 研 究 の 一 部 は JSPS 科 研 費 19K20306，19H01116，及び NVIDIA GPU Grant の助成を受けた．

参考文献[1] H. Sawada, H. Kameoka, S. Araki, and N. Ueda, “Multichannel extensions of non-negative matrix factorization
with complex-valued data,” IEEE Trans. ASLP, vol.
21, no. 5, pp. 971–982, 2013.

日本音響学会講演論文集

Fullband MNMF
Low- and high-frequency splitting
Even-interval decimation
Uneven-interval decimataion
Power-based decimataion

2400ることで，高精度な分離信号が得られ，DNN の予測精度向上に寄与していると考えられる．また，SongID4 について，低周波帯域と高周波帯域に分割する手法及びパワーに基づく間引き手法は，他の間引き手法と比べ性能が高いことから，Song ID4 は低周波帯域に信号のパワーが集中していると考えられる．従って，低周波帯域をより多く間引く等間隔及び不等間隔間引き手法の性能が低下したと推測される．

54208060Song ID: 310Song ID: 28300

120Average SDR improvement [dB]80Average SDR improvement [dB]

10Average SDR improvement [dB]

Average SDR improvement [dB]

10[2] P.-S. Huang, M. Kim, M. H.-Johnson, andP. Smaragdis, “Joint optimization of masks anddeep recurrent neural networks for monaural source
separation,” IEEE/ACM Trans. ASLP, vol. 23, no. 12,
pp. 2136–2147, 2015.
[3] J. R. Hershey, Z. Chen, J. Le Roux, and S. Watanabe,“Deep clustering: discriminative embeddings for segmentation and separation,” Proc. ICASSP, pp. 31–35,2016.
[4] 渡辺瑠伊, 北村大地, “音源分離のための深層学習に基づく音響帯域拡張” 日本音響学会 2020 年春季研究発表会講演論文集, pp. 221–224, 2020.
[5] 渡辺瑠伊, 北村大地, 猿渡洋, 高橋祐, 近藤多伸, “深層学習に基づく音響帯域拡張による音源分離処理の高速化” 日本音響学会 2020 年秋季研究発表会講演論文集, pp. 131–134,2020.
[6] R. Watanabe, D. Kitamura, H. Saruwatari, Y. Takahashi, and K. Kondo, “DNN-based frequency component prediction for frequency-domain audio source separation,” Proc. EUSIPCO, pp. 805–809, 2020.
[7] 渡辺瑠伊, 北村大地, 猿渡洋, 高橋祐, 近藤多伸, “深層学習に基づく周波数帯域補間手法による音源分離処理の高速化” 日
本音響学会 2021 年春季研究発表会講演論文集, pp. 213–216,2021.
[8] P. Ramachandran, B. Zoph, and Q. V. Le,“Searching for activation functions,” arXiv preprint,
arXiv:1710.05941, 2017.
[9] E. Vincent, R. Gribonval, and C. Févotte, “Performancemeasurement in blind audio source separation,” IEEE
Trans. ASLP, vol. 14, no. 4, pp. 1462–1469, 2006.
[10] S. Nakamura, K. Hiyane, F. Asano, T. Nishiura, andT. Yamada, “Acoustical sound database in real environments for sound scene understanding and hands-freespeech recognition,” Proc. LREC, pp. 965–968, 2000.

- 158 -2021年9月