1-1-7
深層学習に基づく音響帯域拡張による音源分離処理の高速化 ∗☆渡辺瑠伊，北村大地（香川高専），猿渡洋（東大），高橋祐，近藤多伸（ヤマハ）

2

周波数領域 MASS

2.1 定式化
N 及び M をそれぞれ音源数及びマイクロホン数とすると，短時間フーリエ変換（short-time Fouriertransform: STFT）で得られる多チャネル信号及び混合信号の複素成分は次のように表される．
sijn = (sijn1 , · · · , sijnm , · · · , sijnM )T ∈ CN

(1)

xij = (xij1 , · · · , xijm , · · · , xijN )T ∈ CM

(2)

Source 1

Frequencydomain MASS
Separation filter

Time

Frequency

Microphone 2

Separation filter

Source 2

Separation filter

Time

Separation filter

TimeTime(a) Conventional MASS

Source 1(fullband)
Source 1(low-freq. band)

Frequencydomain MASSTime

Microphone 2

Separation filter
Separation filter

TimeTime

Source 2(low-freq. band)

DNN-basedfrequency
component
prediction

Freq.

Microphone 1

Source 2 Time(fullband)
Freq.

Frequency

音源分離（audio source separation: ASS）とは，観測された混合信号から特定の信号を推定する技術である．スマートスピーカなどの代表的なオーディオデバイスにはマイクアレイが搭載されており，多チャネル ASS（multichannel ASS: MASS）が適用されている．有名な MASS 手法の一つに多チャネル非負値行列因子分解（multichannel nonnegative matrix factorization: MNMF）[1] がある．MNMF は，混合系を音源と周波数毎の空間共分散行列（spatial covariance matrix: SCM）[2] でモデル化し，更に各音源の時間周波数構造を非負値行列因子分解（nonnegativematrix factorization: NMF）[3] でモデル化する．そして，推定された空間モデルと音源モデルを用いて周波数毎の分離フィルタを計算する．MNMF は，事前情報無しで高品質な音源分離が可能であるが，パラメータの推定に膨大な計算コストを必要とする．
近年は深層学習（deep neural networks: DNN）が様々な課題解決に利用されており，DNN に基づく単一チャネル ASS の研究が盛んである [4, 5]．多チャネ
ル信号に対しても，DNN に基づく MASS [6] が提案されているが，ネットワーク構造が大きくなりがちであるため，製品への実装コストが高い問題がある．
本稿では，各音源の周波数成分を予測する DNN [7]を既存の周波数領域 MASS のポスト処理を用いた低コストかつ効率的な MASS フレームワークを提案する．このフレームワークは，Fig. 1 に示すように，(a)狭帯域（限られた数）の周波数に周波数領域 MASS を適用する処理及び (b) スモールサイズの DNN を用いて MASS を適用しなかった周波数の音源成分を予測する処理の二つで構成される．(a) の処理で MASS を適用する周波数のビン数を減らすことができるため，(b) の処理の DNN の予測が効率的であれば，音源分離全体の計算コストを削減でき，エッジコンピューティングデバイス等への実装が可能となる．本稿では，ASS の一例として MNMF [1] のみを扱うが，提案フレームワークでは，周波数毎に音源を分離するASS（例えば [8, 9] 等）であれば，いかなる手法にも適用可能である．

Microphone 1

Frequency

はじめにFrequency

1Time(b) Proposed MASS framework

Time

Fig. 1 Frameworks of (a) conventional and (b) proposed frequency-domain MASS.
ンデクスである．また， 式 (1) 及び (2) のスペクトログラムをそれぞれ，Snm ∈ CI×J ，Xm ∈ CI×J と定義する．多チャネル信号 sijn はソースイメージと呼ばれる．また，観測された多チャネルの混合信号はソー∑
スイメージの総和 xij = n sijn であると仮定する．

2.2 MNMF
MNMF [1] では，ソースイメージに対して次のような生成モデルを仮定している．
sijn ∼ N (0, σijn Hin )∑σijn =zkn tik vkj

(3)
(4)

k

ここで，N (0, σijn Hin ) は，共分散行列 σijn Hin を持つ平均ゼロの多変量複素ガウス分布である．また，
tik ≥ 0 及び vkj ≥ 0 は，NMF のパラメータ（基底とアクティベーション）であり，k = 1, 2, . . . , K は NMFの基底のインデクス，zkn ∈ R[0,1] は基底 K を N 個の音源にクラスタリングする潜在変数である．共分散行列が時変成分 σijn と時不変行列 Hin ∈ CM×M で定義され，前者は NMF による音源モデル及び後者はSCM [2] と呼ばれる空間モデルに対応する．これらのパラメータを推定することで，多チャネルの音源分離が可能となる．各パラメータは最尤推定で求められるが，Hin の更新式は，次式のように各時間周波数スロットにおいてサイズ M の行列の逆行列演算を含むため，膨大な計算コストが必要である．
()1/2−1/2
1/2
1/2−1/2
Hin ← Rin
Rin Ain Rin
Rin
(5)
∑−1
Rin =
zkn tik vkj Dij(6)
j,kDij =∑σijn Hin ,(7)n

こ こ で ，i = 1, 2, . . . , I ，j = 1, 2, . . . , J ，n =1, 2, . . . , N ，及び m = 1, 2, . . . , M はそれぞれ，周波数ビン，時間フレーム，音源の数，及びマイク数のイ∗
∑
−1−1
 Hin
Ain = Hin σijn Dij xij xHij Dij(8)

jFast audio source separation using bandwidth expansion based on deep neural networks. By Rui WATANABE, Daichi KITAMURA (NIT Kagawa), Hiroshi SARUWATARI (UTokyo), Yu TAKAHASHI, andKazunobu KONDO (Yamaha).

日本音響学会講演論文集- 131 -2020年9月

推定されたパラメータを用いて，次式のマルチチャ
ネル Wiener フィルタを構成することで，分離された
ソースイメージ ŝijn が得られる．
−1ŝijn = (σijn Hin ) Dijxij

(9)

提案手法

3

3.1 動機MNMF を含む周波数領域 MASS は比較的高精度な音源分離が可能であるが，アルゴリズムの複雑さから製品への実装コストが高い．また大規模な DNNは，メモリに制限のある小型デバイスでのエッジコンピューティングには適していない．
この問題を解決するために，周波数領域 MASS とスモールサイズの DNN を組み合わせた新たなフレームワークを提案する．このフレームワークは， Fig. 1に示すように，限られた数の周波数（低周波帯域）にのみ MASS を適用し，他の周波数（高周波帯域）の分離信号は DNN で予測する．このとき，DNN の入力データは (a) 狭帯域の分離信号及び (b) その他の周波数の混合信号であり，この両者からその他の周波数帯域の分離信号を予測する．(a) だけでなく (b) も入力データとして予測に利用するため，小規模な DNNであっても，高精度な予測が可能となる．
簡単のため，本稿では 2 音源の場合（N = 2）のみを扱うが，提案フレームワークは後述の DNN モデルを拡張するだけで，3 音源以上にも適用できる．また，Fig. 1 のように低周波帯域と高周波帯域を分割する例だけを扱うが，他の分割方法にも一般化できる．
3.2 DNN の入力情報
I×J
Y1 ∈ RI×J≥0 及び Y2 ∈ R≥0 を 2 音源の振幅スペクト
I×J
ログラム，M ∈ R≥0 を混合信号の振幅スペクトログラムとする．音源信号や観測信号は多チャネルである
場合，Y1 ，Y2 ，及び M は基準マイクロホンを用いてY1 = abs(S11 )，Y2 = abs(S21 )，及び M = abs(X1 )と定める．ここで，abs(·) は要素毎の絶対値を表す．
高周波帯域と低周波帯域に分割した際の境界の周波数を i = I ′ とすると， Fig. 1 のように，Yn は低周波′(I−I ′ )×J(H)(L)
帯域 Yn ∈ RI≥0×J 及び高周波帯域 Yn ∈ R≥0に分けられる．同様に，M の低周波帯域と高周波帯′(I−I ′ )×J
域は M (L) ∈ RI≥0×J 及び M (H) ∈ R≥0となる．
(L)

(L)

DNN は，2 音源の低周波帯域 Y1 及び Y2 と混合信号の高周波帯域 M (H) から，2 音源の高周波帯域成分（MASS で分離しなかった成分）を予測する．
(H)(H)
正確には，DNN は M (H) から Y1 及び Y2 を得るような 2 音源分のソフトマスクを出力する．
DNN モデルの入力ベクトルを Fig. 2 に示す．時間フレーム j における混合信号の高周波帯域及び 2 音源の低周波帯域のベクトルは次のように表される．
()T(H)(H)(H)
I−I ′= m1j , m2j , · · · , m(I−I ′ )j
∈ R≥0(10)()T′(L)(L)(L)(L)
ynj = yn1j , yn2j , · · · , ynI ′ j∈ RI≥0(11)
(H)

mj

(H)

(L)

(L)

ここで，mij 及び ynij はそれぞれ M (H) 及び Ynの ij 要素である．DNN が各音源の時間 j における高周波帯域成分を予測する場合，j 周辺の成分も重要である．そこで， 式 (10) 及び (11) の隣接時間フレー

日本音響学会講演論文集

Fig. 2

Input vector of DNN.

Fig. 3

DNN architecture.

ムを連結し1 ，以下のようなベクトルを定義する．
()T(H)(H) T(H) T(H) Tmj = mj−2c , · · · , mj
, · · · , mj+2c((L)(bj =(L)

T(L) T(H) T(L) T(L) Tyn(j−2c) , · · · , ynj

y nj =mj, y 1j, y 2j(L), · · · , yn(j+2c)

T(12))T(13))(2C+1)(I+I ′ )

∈ R≥0

(14)
ここで，c = 0, 1, . . . , C は，隣接時間フレームのインデクスである．さらに，DNN の学習を安定化するために，bj を次式のように正規化する．このとき，正規化係数も連結して入力ベクトル dj が構成される．
()T1(2C+1)(I+I ′ )+1
dj =bT,∥b∥∈ R≥0(15)j 2j∥bj ∥2
ここで，∥ · ∥2 は L2 ノルムを表す．

3.3 DNN の出力と学習
DNN の構造を Fig. 3 に示す．4 層の隠れ層は全て全結合層であり，出力層と同じ次元数となっている．
また，隠れ層の活性化関数として，Swish [10] を使用している．出力層では，各音源のソフトマスクの和が周波数毎に 1 となる必要があるため，周波数毎にSoftmax 関数が適用される．
高周波帯域の n 番目の音源を得るためのソフトマ(I−I ′ )×J
スクを Wn ∈ R[0,1]とし，次式のように表す．
Yn(H) ≈ Wn ⊙ M (H)(16)

1 時間フレームを j − 2, j, j + 2 のようにスキップするのは，STFT をハーフシフトで行うことにより隣接する時間フレームに冗長成分が含まれるためである．

- 132 -

2020年9月

Table 1
Song ID1234

Song names of dry source in test dataset
Song namedev1 bearlin-roads
dev2 another dreamer-the ones we lovedev2 fort minor-remember the namedev2 ultimate nz tour

Signal length [s]
14.0
25.0
24.0
18.0のとき，P (H) 及び P (L) は混合前の音源信号の振幅スペクトログラムである．また，入力ベクトル qj と正解ベクトル p(H) はそれぞれ次のようになる．

(qj =ここで，⊙ は要素ごとの積を表す．DNN の出力ベク
トル w̃j は，時間フレーム j における各音源のソフト
マスク W1 及び W2 を連結したものである．

((L)pj)( T2(I−I ′ )T T∈ R[0,1], w2j(17)w̃j = w1j()T′wnj = wn1j , wn2j , · · · , wn(I−I ′ )j ∈ RI−I
[0,1] (18)
ここで，wnij は∑Wn の要素であり，出力層の Softmax関数により， n wnij = 1 ∀ i, j である．2 音源の高周波帯域の正解ベクトルは次式となる．
()T(H) T(H) T2(I−I ′ )(19)ỹj = y1j , y2j∈ R≥0()T′(H)(H) (H)(H)
ynj = yn1j , yn2j , · · · , yn(I−I ′ )j
∈ RI−I
(20)
≥0(H)

(H)

ここで，ynij は Yn の要素である．DNN モデルは，次式の平均二乗誤差（mean squared error: MSE）が最小となるように学習される．

1∥ỹj − w̃j ⊙ m̃j ∥222(I − I ′ )(21))(TT(H)
2(I−I ′ )(H)
, mj
∈ R≥0m̃j = mj

MSE(ỹj , w̃j ⊙ m̃j ) =(22)3.4

分離信号の時間領域への再構成
(L)

(L)

DNN では，分離信号の低周波帯域 Y1 及び Y2 ，及び混合信号の高周波帯域 M (H) を入力とし，ソフ
トマスク w̃j を予測する．推定された高周波成分は 式(H)(L)(16) で求められる．得られた Yn 及び Yn を周波数方向に連結することで，フルバンドの振幅スペク
トログラム Yn が得られる．
(H)
Yn を時間信号に戻す際に，Yn の位相を復元する必要がある．提案手法では，混合信号 M (H) の位相(H)(H)を Y1 及び Y2 に付与して逆 STFT を適用する．

4実験と結果提案フレ ームワ ー クの妥 当性を確認するため，(a) DNN に基づく周波数成分の予測性能比較，及び(b) ドラム (Dr.) とボーカル (Vo.) の混合音源を用いた MASS の 2 つの実験を行った．

4.1 周波数成分の予測性能の比較実験
4.1.1 実験条件
まず提案フレームワークの妥当性を実証する予備実験として，DNN に基づく音源毎の周波数成分の予測性能が，混合信号の高周波帯域 M (H) の有無によってどの程度変化するかを評価した．即ち，M (H) を入力する DNN と入力しない DNN の 2 つを用意しDNN は単純に音源信号た．混合信号を入力しない′の低周波帯域 P (L) ∈ RI≥0×J のみを用いて高周波帯域(I−I ′ )×JP (H) ∈ R≥0

日本音響学会講演論文集を予測するモデル [11] である．こ=1pT , ∥pj ∥2∥pj ∥2 j(L)T)T(L) Tp(j−2c) , · · · , pj

(2C+1)I ′ +1

∈ R≥0(L), · · · , p(j+2c)

T()T′(L)(L) (L)(L)
pj = p1j , p2j , · · · , pI ′ j∈ RI≥0()T(H)(H) (H)(H)
I−I ′pj = p1j , p2j , · · · , p(I−I ′ )j
∈ R≥0(L)(23))T
(24)
(25)
(26)

(H)

ここで，pij 及び pij はそれぞれ P (L) 及び P (H) の要素である．P (H) の位相復元には Griﬃn–Lim（GL）
アルゴリズム [12] を用いた．混合信号を入力しない
DNN では，入力は 1 音源のみとなるため，Dr. 及びVo. に対してそれぞれ専用の DNN を用意した．一(L)(L)
方，混合信号を入力する DNN は，Y1 ，Y2 及び(H)M (H) を入力として，ソフトマスクを予測し，Y1(H)及び Y2 を求める．なお，条件を揃えるため，こ(H)の実験では混合信号を入力する DNN も Yn の位相を GL アルゴリズムで復元する．さらに本実験では，(L)(L)
Y1 及び Y2 に，完全分離音源を用いている．
DNN の学習には，SiSEC2016 [13] の MUS の Dr.
及び Vo. を 100 曲分使用した．STFT におけるハミング窓長は 128 ms，シフト長は 64 ms とした．また，
I = 1025（8 kHz）とした．入力ベクトル及び正解ベクトルとして，混合信号を入力しない DNN では qj(H)及び pj ，混合信号を入力する DNN では，dj 及びỹj を作成し，混合信号 M は 2 音源のドライソースの時間領域和とした．高周波帯域と低周波帯域の境界周波数を I ′ = 512（4 kHz）とし，隣接時間フレーム数は C = 2 とした．DNN の最適化法には Adam を使用し，そのパラメータは ε = 1.0×10−8 , β1 = 0.9,β2 = 0.999, 及び η = 0.001 とした．また，エポック数を 1000，ミニバッチサイズを 128 に設定した．
Dr. 及び Vo. のテストデータとして，SiSEC2011[14] 内の Table 1 に示す 4 曲を使用した．再構成された時間信号について，人工的な歪みを評価するために，sources-to-artifacts ratio (SAR) [15] を使用した．

4.1.2 結果
各 DNN モデルで予測された信号の SAR を Table 2に示す．この結果より，混合信号を入力する DNN の性能が，混合信号を入力しない DNN の性能よりも優れている．これは，混合信号の高周波帯域を DNN に入力する提案フレームワークの妥当性を示している．
4.2 音楽信号の混合信号を用いた MASS 実験
4.2.1 条件
本実験では， Table 1 の信号に，Fig. 4 に示す
RWCP [16] の E2A インパルス応答を畳み込むことで，2 チャネル（N = M = 2）で観測した Dr. 及び Vo.の混合信号を生成した．MNMF では，音源分離性能が高くなる基底数をあらかじめ実験的に調べ，最適であった K = 13 に設定した．SCM の初期値は単位行列とし，他の MNMF パラメータは乱数で初期化した．音源の分離性能の指標として，分離の度合いと- 133 -2020年9月

Table 2

SARs of predicted fullband source signal
Song ID

DNN w/o mixtureDr.: 21.1 dB
Vo.: 21.8 dB

DNN w/ mixtureDr.: 28.0 dB
Vo.: 31.5 dB

2

Dr.: 22.0 dB
Vo.: 12.7 dB

Dr.: 21.8 dB
Vo.: 19.6 dB

3

Dr.: 15.0 dB
Vo.: 11.2 dB

Dr.: 20.4 dB
Vo.: 18.5 dB

4Dr.: 11.0 dB
Vo.: 10.4 dB

Dr.: 18.2 dB
Vo.: 15.3 dB

1Dr.

E2A impulse 20response
T60 = 300 ms2m

Vo.

40 Mic. spacing
5.66 ms

Fig. 4 Impulse responses used in experiment.
音質の両方を示す source-to-distortion ratio（SDR）[15] を用いた．MNMF の計算には，AMD Ryzen72700X CPU，DNN の予測には NVIDIA GeForce
RTX2080Ti GPU を用いた．

4.2.2 結果
両手法において，異なる乱数値を用いて 10 回実験を行った際の，全周波帯域の MNMF 及び提案フレームワークの平均 SDR と処理時間の関係を Fig. 5に示す．提案手法の処理時間には，DNN の予測にかかる時間が含まれるが，その時間は 0.1 s 以下である．また，提案手法では MNMF の反復回数（L）を，
L = 10, 20, . . . のように設定し，各条件において DNNの予測を行ったため， Fig. 5 の提案手法は L の設定毎に SDR 値をプロットしている．また，L = 300 での平均 SDR も矢印で示している．これらの結果から，提案手法では，全周波帯域の MNMF と比較し計算コストを半分近く削減できることが確認できる．例として， Fig. 5 (d) では，全周波帯域の MNMF が 120 sで 13 dB に達するのに対して，提案手法では 50 s 以下で 13 dB を達成している．これは，MNMF の周波数が I = 1025 から I −I ′ = 512 へと削減されたためである．また，収束点において，提案手法は Fig. 5(a)，(b)，及び (d) の 3 曲で全周波帯域 MNMF よりも優れていることが確認できる．これは，提案手法のDNN が 100 曲分のデータを学習したことで，高精度なソフトマスクを推定できたためと推測される．

5まとめ

本稿では，既存の ASS 手法と DNN に基づく周波数成分予測を組み合わせた，低コストな音源分離フレームワークを提案した．本手法では，周波数を間引いて音源分離を行い，間引かれた周波数の分離音源成分を DNN で予測することで，計算コストを削減している．実験結果から，全周波帯域での MASS 手法と比較して，提案手法がより高速に同程度の音源分離を達成できることを確認した．今後の課題として，低周波帯域と高周波帯域という分割方法ではなく，音源分離に有効な周波数にのみ ASS を適用する手法に拡張すること等が挙げられる．
謝 辞 本 研 究 の 一 部 は JSPS 科 研 費 19K20306，19H01116，及び NVIDIA GPU Grant の助成を受けたものである．

日本音響学会講演論文集

Fig. 5

Average SDRs and their elapse times.

参考文献[1] H. Sawada, H. Kameoka, S. Araki, and N. Ueda, “Multichannel extensions of non-negative matrix factorization
with complex-valued data,” IEEE Trans. ASLP, vol. 21,
no. 5, pp. 971–982, 2013.
[2] N. Q. K. Duong, E. Vincent, and R. Gribonval, “Underdetermined reverberant audio source separation using a fullrank spatial covariance model,” IEEE Trans. ASLP, vol.
18, no. 7, pp. 1830–1840, 2010.
[3] D. D. Lee and H. S. Seung, “Learning the parts of objects
by non-negative matrix factorization,” Nature, vol. 401, pp.
788–791, 1999.
[4] P.-S. Huang, M. Kim, M. H.-Johnson, and P. Smaragdis,“Joint optimization of masks and deep recurrent neural networks for monaural source separation,” IEEE/ACM Trans.
ASLP, vol. 23, no. 12, pp. 2136–2147, 2015.
[5] J. R. Hershey, Z. Chen, J. Le Roux, and S. Watanabe,“Deep clustering: discriminative embeddings for segmentation and separation,” Proc. ICASSP, pp. 31–35, 2016.
[6] S. Araki, T. Hayashi, M. Delcroix, M. Fujimoto, K. Takeda,and T. Nakatani, “Exploring multi-channel features fordenoising-autoencoder-based speech enhancement,” Proc.
ICASSP, pp. 116–120, 2015.
[7] 渡辺瑠伊, 北村大地, “音源分離のための深層学習に基づく音響帯域拡張” 日本音響学会 2020 年春季研究発表会講演論文集,pp. 221–224, 2020.
[8] H. Sawada, S. Araki, and S. Makino, “Underdeterminedconvolutive blind source separation via frequency binwise clustering and permutation alignment,” IEEE Trans.
ASLP, vol. 19, no. 3, pp. 516–527, 2010.
[9] D. Kitamura, N. Ono, H. Sawada, H. Kameoka, andH. Saruwatari, “Determined blind source separation unifying independent vector analysis and nonnegative matrix
factorization,” IEEE/ACM Trans. ASLP, vol. 24, no. 9,pp. 1626–1641, 2016.
[10] P. Ramachandran, B. Zoph, and Q. V. Le, “Searching foractivation functions,” arXiv preprint, arXiv:1710.05941,
2017.
[11] K. Li and C.-H. Lee, “A deep neural network approach tospeech bandwidth expansion,” Proc. ICASSP, pp. 4395–4399, 2015.
[12] D. Griﬃn and J. Lim, “Signal estimation from modified
shorttime Fourier transform,” IEEE Trans. ASSP, vol. 32,
no. 2, pp. 236–243, 1984.
[13] A. Liutkus, F.-R. Stöter, Z. Rafii, D. Kitamura, B. Rivet,
N. Ito, N. Ono, and J. Fontecave, “The 2016 signal separation evaluation campaign,” Proc. LVA/ICA, pp. 323–332,
2012.
[14] S. Araki, F. Nesta, E. Vincent, Z. Koldovský, G. Nolte,A. Ziehe and A. Benichoux, “The 2011 signal separation evaluation campaign (SiSEC2011):-audio source separation,” Proc. Latent Variable Analysis and Signal Separation, pp. 414–422, 2012.
[15] E. Vincent, R. Gribonval, and C. Fevotte, “Performancemeasurement in blind audio source separation,” IEEE
Trans. ASLP, vol. 14, no. 4, pp. 1462–1469, 2006.
[16] S. Nakamura, K. Hiyane, F. Asano, T. Nishiura, and T. Yamada, “Acoustical sound database in real environments forsound scene understanding and hands-free speech recognition,” Proc. LREC, pp. 965–968, 2000.

- 134 -

2020年9月