2-1-3
深層学習に基づく周波数帯域補間手法による音源分離処理の高速化 ∗☆渡辺瑠伊，北村大地（香川高専），猿渡洋（東大），高橋祐，近藤多伸（ヤマハ）
はじめに

Frequency

1

Microphone 1

Frequencydomain MASS

Source 1∗Freq.
Freq.

Frequency

Frequency

Frequency

Separation filter
多チャネル音源分離（multichannel audio source
Separation filter
TimeTime
Microphone 2
Source 2
Separation filter
separation: MASS）とは，複数のマイクロフォンにSeparation filter
よって得られる観測信号から，混合前の信号を推定する技術である．有名な周波数領域 MASS 手法の一Time
Time(a)つに多チャネル非負値行列因子分解（multichannel
Source 1(fullband)
Microphone 1
nonnegative matrix factorization: MNMF）[1] があ
Source 1(low-freq. band)
る．MNMF では，混合系を音源と周波数毎の空間
FrequencyDNN-based
domain MASS
共分散行列でモデル化し，更に，各音源の時間周波TimeTime
frequency
Source 2 Timecomponent(fullband)
Microphone 2
Separation filter
prediction
数構造を非負値行列因子分解（nonnegative matrix
Source2
Separation filter(low-freq. band)
factorization: NMF）でモデル化している．そして，推定された空間モデルと音源モデルを用いて周波数TimeTimeTime(b)毎の分離フィルタを推定している．MNMF は，事前
Fig. 1 (a) Full-band frequency-domain MASS and
情報無しで高品質な音源分離が可能であるが，パラ(b) proposed frameworks using DNN-based freメータの推定に膨大な計算コストが必要である．
quency component prediction.
一方で，深層学習（deep neural networks: DNN）
は音響信号処理においても一般的となり，単一チャネtransform: STFT）で得られる多チャネル音源信号
ル音源分離 [2, 3] や音源分離を目的とした音響帯域拡（ソースイメージ）及び混合信号の複素成分は次のよ
張 [4] といった様々な課題解決に利用されている．まうに表される．
た著者らは，Fig. 1(b) に示すような，DNN に基づく音響帯域拡張によって音源分離処理を高速化するフ
sijn = (sijn1 , · · · , sijnm , · · · , sijnM )T ∈ CN (1)レームワーク [5, 6] を提案している．この手法では，
xij = (xij1 , · · · , xijm , · · · , xijN )T ∈ CM
(2)
信号を低周波帯域と高周波帯域の二つに分けることを考える．前段では，低周波帯域に周波数領域 MASS
ここで，i = 1, 2, . . . , I ，j = 1, 2, . . . , J ，n =が適用され，各分離信号が推定される．後段では，得1, 2, . . . , N ，及び m = 1, 2, . . . , M はそれぞれ，周られた低周波帯域の分離信号及び高周波帯域の混合波数ビン，時間フレーム，音源，及びマイクロフォン信号の二つを用いて，DNN が混合前の音源の高周波のインデクスである．また，式 (1) 及び (2) のスペク帯域を予測する．DNN の予測の計算コストが周波数トログラムをそれぞれ，
Snm ∈ CI×J ，Xm ∈ CI×J
領域 MASS の計算コストよりも十分小さい場合，本と定義する．また，観測された多チャネルの混合信号手法によって全体の計算コストを削減できる．
Pは xij = n sijn と仮定する．
後段の DNN における周波数成分の予測は，分離信号の帯域拡張問題に対応するため，（混合信号の高周2.2 DNN に基づく周波数成分予測波帯域を用いてはいるが）分離信号の周波数成分のリファレンスチャネル（mref とする）の音源信号外挿に等しく，比較的難しい推論が要求される．しかのスペクトログラムを Yn = Snmref とし，混合信し，Fig. 1(b) のフレームワークは，低周波帯域と高号のスペクトログラムを M = Xmref と定義する．
周波帯域の分割に限らず，任意の周波数ビンの組み合
今，前段の周波数領域 MASS に入力される周波数ビわせを，周波数領域 MASS（前段）と DNN に基づくンの集合を F ⊂ {i|i = 1, 2, · · · , I} とし，逆に間引周波数成分予測（後段）で分担できる．従って，後段
く周波数ビンの集合を F′ ⊂ {i|i = 1, 2, · · · , I} と定の DNN に基づく周波数成分予測が内挿（補間）とな義する（F′ は F の補集合となる）．さらに，F 及びるように間引く周波数ビンを選択する方が，より高F′ の要素のインデクスをそれぞれ f = 1, 2, · · · , |F|精度な推論が可能であると考えられる．
及び f ′ = 1, 2, · · · , |F′ | とする．これらの集合を用い本稿では，上記のアイデアに基づき，Fig. 1(b) のて，混合信号 M の全周波数ビンの内，前段の周波提案フレームワークにおける周波数ビンの間引き方法
数領域 MASS に入力する周波数ビンだけをまとめたを二種類提案する．これらの手法が，音源分離フレー行列を M (P) ∈ C|F|×J と定義する．さらに，前段のムワークに与える影響を実験により明らかにする．
周波数領域 MASS には入力しない（間引く）周波数′ビンだけをまとめた行列を M (Q) ∈ C|F |×J と定義
2 提案手法：音源分離フレームワーク(P)する．同様に，音源信号 Yn も Yn ∈ C|F|×J 及び(Q)|F′ |×J
Yn ∈ Cに分割される．文献 [5, 6] で提案し2.1 定式化
た Fig. 1(b) に示すような，低周波帯域と高周波帯域
N 及び M をそれぞれ音源数及びマイクロフォン数に分割する間引き方法は F = {i|i = 1, 2, · · · , ⌊I/2⌋}とすると，短時間フーリエ変換（short-time Fourier

Fast audio source separation based on deep-neural-network-based frequency component interpolation. By
Rui WATANABE, Daichi KITAMURA (NIT Kagawa), Hiroshi SARUWATARI (UTokyo), Yu TAKAHASHI, and Kazunobu KONDO (Yamaha).

日本音響学会講演論文集- 213 -

2021年3月

を連結し1 ，以下のようなベクトルを定義する．
(Q)mj =T(Q) T(Q) T(Q) T
mj−2c , · · · , mj
, · · · , mj+2c(5)
TTT(P)(P)(P) T(P)y nj = yn(j−2c) , · · · , ynj , · · · , yn(j+2c)
bj =(Q) Tmj(P) T, y 1j(P) T, · · · , y nj

(P) T(6), · · · , yN j′∈ C(2C+1)(|F |+N |F|) (7)Fig. 2

ここで，c = 0, 1, . . . , C は，隣接時間フレームのインデクスである．この bj の各要素の振幅値を取ったベ
クトル |bj | が DNN の入力ベクトルとなる．ここで，ベクトルや行列に対する絶対値記号 | · | は，要素毎の振幅値を取ったベクトルや行列である．

Input vector of DNN, where N = 2.

DNN の出力と学習

2.3

Fig. 3

DNN の構造を Fig. 3 に示す．4 層の隠れ層は全て全結合層であり，出力層と同じ次元数となっている．
また，隠れ層の活性化関数として，Swish [7] を使用している．出力層では，各音源のソフトマスクの和が周波数毎に 1 となる必要があるため，周波数毎にSoftmax 関数が適用される．
n 番目の音源信号の間引き周波数成分行列の振幅(Q)
値 |Yn | を推定するためのソフトマスクを Wn ∈DNN architecture, where N = 2.

|F′ |×J

及び F′ = {i|i = ⌊I/2⌋+1, ⌊I/2⌋+2, · · · , I} と表される．ここで，⌊·⌋ は床関数である．
DNN は，集合 F に属する周波数ビンをまとめた全(P)(P)(P)
音源信号の行列 Y1 , Y2 , · · · , YN と集合 F′ に属する周波数ビンをまとめた混合信号の行列 M (Q) を入力とし，集合 F′ に属する周波数ビンをまとめた全(Q)(Q)(Q)
音源信号の行列 Y1 , Y2 , · · · , YN （前段の周波数領域 MASS で分離せずに間引いた成分）を予測す(Q)る．より具体的には，DNN は M (Q) から Yn を得るようなソフトマスクを予測し出力する．
N = 2 における DNN モデルの入力ベクトルをFig. 2 に示す．但し，F = {i|i = 1, 2, · · · , ⌊I/2⌋} 及び F′ = {i|i = ⌊I/2⌋+1, ⌊I/2⌋+2, · · · , I} として低周波帯域と高周波帯域に分割した場合の図を示している．混合信号の間引き周波数成分行列 M (Q) 及び各(P)
音源の非間引き周波数成分行列 Yn の時間フレーム
j におけるベクトルはそれぞれ次のように表される．
(Q)

mj


T′
(Q)
(Q)
(Q)
= m1j , · · · , mf ′ j , · · · , m|F′ |j∈ C|F |

(P)
ynj =

(P)
(P)
(P)
yn1j , · · · , ynf j , · · · yn|F|j

T(3)∈ C|F|

R[0,1]とし，次式のように表す．

|Yn(Q) | ≈ Wn ⊙ |M (Q) |(8)ここで，⊙ は要素毎の積を表す．DNN の出力ベクトル w̃j は，全音源のソフトマスク W1 , · · · , WN の時
間フレーム j におけるベクトルを連結したものである．
TTTw̃j = w1j, · · · , wnj, · · · , wNj

TN |F′ |∈ R[0,1](9)′
T|F |
wnj = wn1j , · · · , wnf ′ j , · · · , wn|F′ |j ∈ R[0,1](10)
ここで，wnf ′ j は Wn の要素であり，出力層の SoftP
max 関数により， n wnf ′ j = 1 ∀ f ′ , j である．全音源の非間引き周波数成分の正解ベクトルは次式となる．

T

(Q)
(Q)
(Q)
|ỹj | = |y1j |T , · · · , |ynj |T , · · · , |yN j |TN |F′ |(Q)∈ R≥0(Q)

(Q)

(Q)

ynj = yn1j , · · · , ynf ′ j , · · · , yn|F′ |jT(11)′∈ C|F | (12)

(4)
(Q)

(Q)
(P)
(P)
ここで，mf ′ j 及び ynf j はそれぞれ M (Q) 及び Yn(Q)

ここで，ynf ′ j は Yn の要素である．DNN モデルは，次式の平均二乗誤差（mean squared error: MSE）がの要素である．DNN が各音源の時間 j における非間引き周波数成分を予測する場合，j 周辺の成分も重要である．そこで，式 (3) 及び (4) の隣接時間フレーム
1 時間フレームを j − 2, j, j + 2 のようにスキップするのは，STFT をハーフシフトで行うことにより隣接する時間フレームに冗長成分が含まれるためである．

日本音響学会講演論文集- 214 -2021年3月

Dr.

E2A impulse 20
response
T60 = 300 ms

Fig. 5

Fig. 4 Proposed frequency decimations: (a) eveninterval with D = 3 and (b) uneven-interval decimations.
Table 1Song names of dry source in test dataset

Song ID
12
3
4Song namedev1 bearlin-roads
dev2 another dreamer-the ones we lovedev2 fort minor-remember the namedev2 ultimate nz tour

Signal length [s]
14.0
25.0
24.0
18.0

最小となるように学習される．
21MSE(|ỹj |, w̃j ⊙ |m̃j |) =|ỹj | − w̃j ⊙ |m̃j |′N |F |
2(13) (Q) T(Q) T m̃j = mj, · · · , mj
|{z}
N′

∈ CN |F | (14)3

DNN の予測が内挿となる間引き方法

文献 [5, 6] では，低周波帯域と高周波帯域に分割するような間引き方法で周波数領域 MASS に係る計算コストを削減していた．DNN に基づく周波数成分予測の精度を向上するために，本稿では DNN の予測が内挿となる新しい間引き方法を提案する．

3.1

等間隔間引き手法

等間隔に周波数ビンを間引く手法を，Fig. 4(a) に示す．これは，周波数領域 MASS に入力される周波数ビンの集合を F = {i|i = 1, D + 1, 2D + 1, 3D + 1, · · · }と定義することと等価である（F′ は F の補集合とする）．ここで，D は等間隔間引きにおける間引き率の逆数である．即ち，間引き後の周波数ビン数と間引き前の周波数ビン数の関係は |F| = I/D となる．このように等間隔に周波数ビンを間引くことで，後段の間引かれた周波数の分離信号成分の予測は内挿となり，従来の高周波帯域予測（外挿）よりも高精度になることが期待される．

3.2

不等間隔間引き手法

前節の間引き手法では，全ての周波数において等間隔の間引き処理を行っている．しかしながら，人間

日本音響学会講演論文集

2mVo.

40 Mic. spacing
5.66 ms

Impulse responses used in experiment.の聴覚の認知は周波数に対して対数的に変化することから，低周波帯域はほとんど間引かず，高周波帯域ほど間引き数を増やす方が妥当である可能性がある．
そこで，Fig. 4(b) のように，不等間隔に周波数ビンを間引く手法を提案する．
本手法では，基準となる周波数ビン F を定め，0 ∼F の区間では，全周波数ビンを周波数領域 MASS に入力し，F ∼ 2F の区間では，周波数ビンを一つ飛ばしで間引く．更に，2F ∼ 4F の区間は二つ飛ばし，4F ∼ 8F の区間では三つ飛ばしのように，高周波帯域になるにつれ間引き間隔を増やしていくことで，不等間隔の間引きを実現する．

4実験

4.1

条件

本実験では，Table 1 の信号に，Fig. 5 に示す
RWCP [9] の E2A インパルス応答を畳み込むことで，2 チャネル（N = M = 2）で観測した Dr. 及
び Vo. の混合信号を生成した．比較手法として，全周波数ビンで MNMF を適用する手法（フルバンドMNMF），低周波帯域及び高周波帯域に分割（但しF = {i|i = 1, 2, · · · , ⌊I/2⌋}）する提案フレームワーク[5, 6]，等間隔間引き及び不等間隔間引きを行う提案
フレームワークの 4 手法を用いた．提案フレームワー
クの DNN の学習データは文献 [5, 6] と同様である．
MNMF の基底数については，全手法において音源分離性能が高くなる基底数をあらかじめ実験的に調べ，最適であった 30 本に設定した．MNMF の空間相関行列の初期値は単位行列とし，他の MNMF パラメータは乱数で初期化した．音源の分離性能の指標として，分離の度合いと音質の両方を示す source-to-distortionratio（SDR）[8] の改善量を用いた．MNMF の計算には，Intel Core i7 8700 CPU，DNN の予測にはNVIDIA GeForce GTX1660Ti GPU を用いた．

4.2

結果

Table 1 で示した 4 曲に対し，フルバンド MNMF，低周波帯域と高周波帯域に分割する従来手法，等間隔間引き手法，及び不等間隔間引き手法で実験を行った．各手法において，異なる乱数値を用いて 5 回実験を行った際の平均 SDR 改善量及び平均処理時間をFig. 6 に示す．なお，提案手法の処理時間には，DNNの予測にかかる時間が含まれるが，その時間は 0.1 s以下である．また，提案手法では MNMF の反復回数（L）を，L = 10, 20, · · · のように設定し，各条件において DNN の予測を行ったため， Fig. 6 の提案手法は L の設定毎に SDR 値をプロットしている．低周波帯域と高周波帯域に分割する手法では，周波数領域 MASS に入力する行列の周波数ビン数が全体の- 215 -

2021年3月

8642

Fullband MNMF
Low- and high-frequency splitting
Even-interval decimation
Uneven-interval decimataion

0Average SDR improvement [dB]01250

100150200

Average elapsed time [s]25010864
Fullband MNMF
Low- and high-frequency splitting
Even-interval decimation
Uneven-interval decimataion

00100

200

300

Average elapsed time [s]Fig. 664
Fullband MNMF
Low- and high-frequency splitting
Even-interval decimation
Uneven-interval decimataion

20

17.5

100

200

300

400

Average elapsed time [s]Song ID: 4

15.0
12.5
10.0
7.5
5.0

Fullband MNMF
Low- and high-frequency splitting
Even-interval decimation
Uneven-interval decimataion

2.50.0
050

100

150

200250

Average elapsed time [s]

300

350

Average SDR improvements and their elapsed times for each song.

おわりに

本稿では，周波数ビンを間引くことで全体の計算コストを削減する音源分離フレームワークにおいて，等間隔及び不等間隔の周波数間引き方法を新たに提案した．実験結果より，不等間隔間引きを行う手法は，低周波帯域及び高周波帯域に分割する手法とおおよそ同程度の性能を保ちながら，計算コストに削減できることが分かった．
謝 辞 本 研 究 の 一 部 は JSPS 科 研 費 19K20306，19H01116，及び NVIDIA GPU Grant の助成を受けた．

日本音響学会講演論文集

80400

1/2 に削減されており，等間隔及び不等間隔間引き手法ではおよそ 1/3 に削減されている．従って，計算時間もこれらの比率に応じて短縮されることを期待している．
結果を見ると，多少のオーバーヘッドが生じることから，提案フレームワークの手法の計算時間はフル
バンド MNMF の 1/2 倍又は 1/3 倍までは削減されなかったが，それでもより短い時間で高い SDR 改善量を実現していることが分かる．Song ID1 及び Song
ID3 の結果では，低周波帯域と高周波帯域に分割する手法と比較し，不等間隔間引き手法は高精度な音源分離が達成され，これは提案フレームワークの DNNの予測が内挿となった効果と予想される．しかし，等間隔間引き手法では性能改善が得られておらず，上記の要因は内挿か外挿かではなく，間引き方法の違いによって生じた可能性も残る．

5Song ID: 2300

Song ID: 3

2

Average SDR improvement [dB]Song ID: 1

Average SDR improvement [dB]

Average SDR improvement [dB]

10

参考文献
[1] H. Sawada, H. Kameoka, S. Araki, and N. Ueda, “Multichannel extensions of non-negative matrix factorization
with complex-valued data,” IEEE Trans. ASLP, vol.
21, no. 5, pp. 971–982, 2013.
[2] P.-S. Huang, M. Kim, M. H.-Johnson, andP. Smaragdis, “Joint optimization of masks anddeep recurrent neural networks for monaural source
separation,” IEEE/ACM Trans. ASLP, vol. 23, no. 12,
pp. 2136–2147, 2015.
[3] J. R. Hershey, Z. Chen, J. Le Roux, and S. Watanabe,“Deep clustering: discriminative embeddings for segmentation and separation,” Proc. ICASSP, pp. 31–35,2016.
[4] 渡辺瑠伊, 北村大地, “音源分離のための深層学習に基づく音響帯域拡張” 日本音響学会 2020 年春季研究発表会講演論文集, pp. 221–224, 2020.
[5] 渡辺瑠伊, 北村大地, 猿渡洋, 高橋祐, 近藤多伸, “深層学習に基づく音響帯域拡張による音源分離処理の高速化” 日本
音響学会 2020 年秋季研究発表会講演論文集, pp. 131–134,
2020.
[6] R. Watanabe, D. Kitamura, H. Saruwatari, Y. Takahashi, and K. Kondo, “DNN-based frequency component prediction for frequency-domain audio source separation,” Proc. EUSIPCO, pp. 805–809, 2020.
[7] P. Ramachandran, B. Zoph, and Q. V. Le,“Searching for activation functions,” arXiv preprint,
arXiv:1710.05941, 2017.
[8] E. Vincent, R. Gribonval, and C. Févotte, “Performancemeasurement in blind audio source separation,” IEEE
Trans. ASLP, vol. 14, no. 4, pp. 1462–1469, 2006.
[9] S. Nakamura, K. Hiyane, F. Asano, T. Nishiura, andT. Yamada, “Acoustical sound database in real environments for sound scene understanding and hands-freespeech recognition,” Proc. LREC, pp. 965–968, 2000.

- 216 -2021年3月