1-1-23
音源分離のための深層学習に基づく音響帯域拡張 ∗☆渡辺瑠伊, 北村大地 (香川高専)

1

はじめにブライ ンド 音源 分離 (blind source separation:BSS) とは，複数の音源が混合した観測信号から，混合系に関する事前情報を用いることなく混合前の音源信号を推定する技術である．BSS の手法として，独立ベクトル分析 (independent vector analysis: IVA) [1]や独立低ランク行列分析 (independent low-rank matrix analysis: ILRMA) [2, 3], 多チャネル非負値行列因子分解 (multichannel nonnegative matrix factorization: MNMF) [4] などが提案されている．これらの手法はいずれも，混合信号を短時間フーリエ変換（short-time Fourier transform: STFT）して得られる時間周波数行列（スペクトログラム）に対して，周波数毎の時不変混合系または時不変分離系を推定する技術である．比較的高品質な BSS が可能である反面，パラメータ推定には逆行列演算等を含む反復計算が必要であり，実際の応用においては計算時間が問題になることが多い．
一方，音響帯域拡張 [5–7] とは，対象となる音源の低周波帯域から高周波帯域を復元するような技術である．近年では深層学習 (deep neural networks: DNN)に基づく手法 [8, 9] が数多く提案されている．DNN に基づく手法では通常，帯域拡張の対象となる音響信号のスペクトログラム (あるいはその振幅やパワー) をDNN に入力し，帯域拡張された音響信号のスペクトログラムを予測するようなモデルを学習する．音響
帯域拡張は，ナイキスト周波数以上の成分を外挿することとなるため，高精度な推定は通常難しい問題である．
本稿では，より効率的な音源分離を目的とし，先に挙げた周波数領域の BSS 手法と DNN に基づく音響帯域拡張を組み合わせる新しい音源分離フレームワークを提案する．また，実験を通して，提案手法の妥当性について調査する．

2

提案手法

2.1

動機

Proposed framework.

波帯域の情報が強力な手がかりとなる．結果として，BSS で分離する周波数成分を減らすことができ，また DNN による予測を専用のエッジコンピューティン
グデバイス等で高速化できるならば，全体的な計算時間の短縮ができる．また，マイクロホンアレイを用いる BSS では，空間エイリアシングにより高周波数帯域において分離が困難な帯域が存在する問題があるが，提案フレームワークではこれを解決できる可能性がある．
なお，本稿では音源数が 2 個の状況のみを対象とするが，次節以降で説明する DNN の学習法を拡張することで，任意の音源数にも適用できる．

2.2

定式化

本稿では，混合信号と 2 つの音源信号の計 3 種類の信号を取り扱う．混合音源及び 2 つの音源信号に対して STFT を適用し，要素毎に絶対値をとった振幅ス
I×J
ペクトログラムをそれぞれ M ∈ RI×J
≥0 ，S1 ∈ R≥0 ，I×J
及び S2 ∈ R≥0 とおく．この時，i = 1, ..., I 及び
j = 1, ..., J はそれぞれ全周波帯域の周波数ビン及び時間フレームのインデクスである．また，高周波帯域と低周波帯域の境界となる周波数ビンインデクスをI ′ （但し 1 ≤ I ′ < I ）と定義し，DNN は I ′ + 1〜Iの範囲の周波数ビンにおける分離信号（高周波帯域）(H)(I−I ′ )×J(H)(I−I ′ )×J
S1 ∈ R≥0, S2 ∈ R≥0を推定する．また，混合信号の低周波帯域及び高周波帯域をそれぞれ(I−I ′ )×J
I ′ ×J
M (L) ∈ R≥0
及び M (H) ∈ R≥0とおき，2 つ′の音源信号の低周波帯域を Sn ∈ RI≥0×J とおく．ここで，n = 1, 2 は音源のインデクスである．従って，
M (L) と M (H) の 2 つの行列を行方向に結合すると，(L)(H)M に一致する．Sn と Sn についても同様である．
(L)

本稿で提案する音源分離フレームワークの概要をFig. 1 に示す．提案手法では，前段として，混合信号の低周波帯域のみに BSS を適用し，分離信号の低周波帯域を推定する．次に，後段として，DNN に基づく音響帯域拡張によって，分離信号の高周波帯域を予測し，分離信号の全周波数成分を得る．この時，後段の DNN に基づく音響帯域拡張では，既存の音響帯域拡張とは異なり，混合信号の高周波帯域を追加の入力情報として用いることができる．この情報は音響帯域拡張の外挿問題に対して強力な手がかりであり，これによって分離信号の高周波帯域の高精度な予測が実現できる．あるいは，後段の DNN は，混合信号の高周波帯域の音源分離器として解釈することもできるが，その場合にも，あらかじめ分離されている低周∗Fig. 1

2.3

DNN の入力情報

提案手法の DNN は，分離信号の高周波帯域の予測を時間フレーム毎に行うモデルである．DNN の入力ベクトル及び予測ベクトルを Fig. 2 に示す．まず，時間フレーム j における混合信号の高周波帯域及び分離信号の低周波帯域を次式で表す．
()T
(H)
(H)
(H)
(H)
mj
=
m1j , m2j , · · · , m(I−I ′ )j
(1))T
((L)
(L)
s(L)
=s(L)
(2)
nj
n1j , sn2j , · · · , snI ′ j

Bandwidth expansion based on deep neural networks for audio source separation by Rui Watanabe(NIT Kagawa) and Daichi Kitamura (NIT Kagawa).

日本音響学会講演論文集- 221 -

2020年3月

Fig. 2Pre-processing of input vector for DNN.

(H)

(L)

(L)

ここで，mij は M (H) の ij 要素であり，snij は，Sn(H)の ij 要素を表す．即ち，mj(L)及び snj はそれぞれ(L)M (H) 及び Sn の時間フレーム j 近傍の周波数ベクトルを結合したベクトルである．時間フレーム j に対する高周波帯域を予測する際，DNN の入力として与える情報は j, j ± 2, j ± 4 のように j 近傍の時間フレームの列ベクトル (式 (1) 及び式 (2)) を結合したベクトルとする1 ．これを xj とおくと，次式のように構成される．
((H)T(H)T(H)T(H)T(H)T
xj = mj−4 , mj−2 , mj , mj+2 , mj+4 ,)T
(L)T
(L)T
(L)T(L)T
s1j−4 , · · · , s1j+4 , s2j−4 , · · · , s2j+4 (3)なお，DNN の学習を容易にするため，xj に対し L2ノルムが 1 となる正規化を施す．このとき，xj の大きさ（音量）の情報を保持するため，正規化係数のス
カラー値を 1 次元として新たに加えたベクトルを x′jとし，これが DNN の入力ベクトルとなる．具体的には次式のようになる．

x′j(=1xT , ∥xj ∥T2∥xj ∥2 j

Fig. 3)T(4)

を yj とすると次のように表せる．

(

ここで，∥ · ∥2 は L2 ノルムを表す．

2.4

DNN の学習法

DNN の中間層（隠れ層）は，全結合層 4 層で構成され，各隠れ層及び出力層の活性化関数には rectiﬁedliner unit（ReLU）を用いた．また，各隠れ層の次元数は全て出力層と同じ次元数とした．
DNN が出力する各音源信号の高周波帯域の予測を(H)(I−I ′ )×JŜn ∈ R≥0とすると，時間フレーム j に対応(H)

yj=ŝ(H)nj=((H)(H)Tŝ1j(H)T)T, ŝ2j(5)

(H)
(H)
ŝ(H)
n1j , ŝn2j , · · · , ŝn(I−I ′ )j(H)

ここで，ŝnij は Ŝn)T(6)の ij 要素を表す．
(H)

(H)

また，予測ベクトル ŝ1j 及び ŝ2j に対する正解ラ
(H)

(H)

ベルはそれぞれ s1j ，s2j であり，これらを結合したベクトルを zj とすると，次式で表される．

((H)

する出力層の予測ベクトルは，Ŝ1 , Ŝ2 の列ベクト(H)(H)
ル ŝ1j 及び ŝ2j を結合したものが出力される．これ

zj=(H)Ts1j(H)T)T, s2j(7)

従って DNN は，次式で示す yj と zj 間の平均二乗誤差（mean squared error: MSE）を最小化するように学習する．

1 ここで近傍の時間フレームを 1 つ置きに採用している理由は，
STFT において短時間のシフト幅を窓長の半分に設定した場合を想定しているためであり，実際には STFT の条件に応じて選択の余地がある．

日本音響学会講演論文集

DNN architecture.

- 222 -MSE(yj , zj ) =1
∥zj − yj ∥222(I − I ′ )(8)

2020年3月

Table 1

STFT conditions

FFT length
Shift length
Window function

Table 264 ms32 ms
Hamming window

Number of units for each layer in DNN
Input layer
All hidden layers
Output layer

3846 units
514 units
514 units

･･･

3実験

3.1

実験条件

･･･

本実験では，提案するフレームワークにおいて，混･･･
合信号の高周波帯域の入力情報がどの程度帯域拡張の精度を向上させるかについて実験的に確認する．即
ち，前段の BSS から完全に分離された音源信号（低Fig. 4 Training datasets of vocals, drums, and周波帯域のみ）が得られたという仮定の下で，後段のtheir mixture.
DNN に基づく音響帯域拡張の精度について，混合信号の高周波帯域を用いる場合と用いない場合の差を確認する．
実験では，データセットに SiSEC2016 [10] の音楽
信号データセット DSD100 を使用し，ドラム (Dr.) とボーカル (Vo.) の 2 音源を用いた．100 曲の音源か
ら，DSD100 の dev データにある no. 51〜100 の 50
曲と test データにある no. 26〜50 の 25 曲の計 75 曲を DNN の学習データとし，残りの test データにあるno. 1〜25 の 25 曲を評価データとした．また，学習用音源 75 曲のうち，ランダムに選んだ 15 曲を学習時の検証データとして用い，学習の early stopping を行う目安とした．さらに，全ての音源をサンプリング周
波数 16 kHz へリサンプルし，無音時間が少ない区間として適当な 60 秒を全曲切り取った信号を学習及びFig. 5 Convergence behaviors of training and valiテストデータとした．なお，学習データは Fig. 4 にdation loss values.
示すようにスペクトログラムを 75 曲全て時間フレーム方向に統合して作成した．
(H)
本実験では，低周波帯域を 0〜4 kHz，高周波帯域周波帯域のスペクトログラム Ŝn には混合信号の高を 4〜8 kHz とした．従って，境界となるインデクス
周波帯域のスペクトログラム M (H) の位相をそのま′は I = ﬂoor(I/2) となる．ここで，ﬂoor(·) は小数点ま用いた．このようにして作成された分離信号は逆以下切り捨てを表す．
STFT を経て時間領域に変換される．
DNN の最適化法には Adam [11] を用いハイパーパ
客観評価尺度には，音響帯域拡張の前後の sourcesラメータはそれぞれ ε = 1.0 × 10−8 , β1 = 0.9, β2 =to-artifacts ratio (SAR) [12] を用いた．SAR は信号0.999 及び学習率 η = 0.001 とした．その他の学習パ処理によって生じた歪みの少なさを表したものであ
ラメータについては，ミニバッチサイズを 1024，エり，高周波帯域が失われたことによる歪みをどの程度ポック数を 1000 として誤差逆伝搬学習を行った．ま復元できるかという尺度として用いている．
た，過学習防止のため early stopping を設け，50 エ最後に，本実験では，入力データに混合信号の高周ポックの内に評価データに対する精度向上が見られ波帯域 M (H) を用いない場合の DNN による高周波なかった場合学習を打ち切るように設定した．その他帯域の予測結果を比較する．このとき，DNN の構造の実験条件は Tables 1 及び 2 に示す．
や学習データ，その他の条件等は全て統一し，純粋にDNN によって予測された分離信号の高周波帯域の「混合信号の高周波帯域 M (H) が，分離信号の帯域拡(H)スペクトログラム Ŝn は，DNN の入力に用いた低張の精度をどの程度向上させるか」を比較している．
(L)
周波帯域のスペクトログラム Sn と結合することで， 即ち，Fig. 1 に示す提案フレームワークの妥当性の一全周波帯域の分離信号のスペクトログラムを得られ部を検証する実験である．
る．但し，本稿の DNN は振幅スペクトルだけを予測し，位相スペクトルは推定しないため，分離信号の高日本音響学会講演論文集- 223 -

2020年3月

Table 3ments

Average SAR values and their improve-(a) Narrow-band signal(b) Full-band signal predictedby using only narrow-band sources(c) Full-band signal predictedby using both narrow-band sources
and high-frequency mixture(b) - (a)Improvement(c) - (a)(a) Input signals

Dr.
22.1 dBVo.
20.5 dB

22.1 dB

20.6 dB

23.6 dB

23.7 dB

0.0 dB
1.5 dB

0.1 dB
3.2 dB

離信号の高周波帯域を高精度に予測できることを実験的に示した．提案フレームワークの妥当性をさらに確認するために，提案フレームワークが，全周波帯域に BSS を適用する場合よりも (a) 短い計算時間となるか，(b) 分離精度は同程度以上となるか，の 2 点について今後さらに確認する必要がある．

(b) Predicted signals

謝辞 本研究の一部は JSPS 科研費 19K20306 及びNVIDIA GPU Grant の助成を受けたものである．

参考文献(c) Oracle signals

Fig. 6 Spectrograms of (a) input, (b) predicted,and (c) oracle signals.
3.2

結果

3.1 節の条件で学習させた提案手法の DNN の MSEの収束結果を Fig. 5 に示す．エポックを重ねるごとに学習データ及び評価データに対する MSE が減少していることから DNN は適切に学習出来ていることが分かる．また，early stopping により，804 エポックの時点で学習は打ち切られた．
Fig. 6 は，提案手法の音響帯域拡張の一例として，入力データ，提案手法の DNN の予測結果から復元した全周波帯域の分離信号，及び正解の分離信号のスペクトログラムをそれぞれ示している．Fig. 6 より，ドラム及びボーカル音源のそれぞれの特徴を DNN が学習し，高周波帯域を高精度で復元していることが分かる．また，test データ no. 1〜25 の平均 SAR 値及び平均 SAR 改善値を Table 3 に示す．ここで，Table 3（b）及び（c）の違いは，入力データに混合信号の高周波帯域を与えるか否かである．これらの値からも，Dr. と Vo. の両音源において，高周波帯域の復元によって SAR が大きく改善していることが分かる．特に，混合信号の高周波帯域を DNN に与えない場合と提案手法の差は大きく，Fig. 1 に示す提案フレームワークの妥当性の一部が実験的に示されている．

4まとめ

本稿では，音源分離のコスト削減を目的とした DNNに基づく音響帯域拡張を提案し，混合信号の高周波帯域と各分離信号の低周波帯域の入力情報から，分

日本音響学会講演論文集[1] T. Kim, H. T. Attias, S.-Y. Lee, and T.-W. Lee,“Blind source separation exploiting higher-orderfrequency dependencies,” IEEE Trans. ASLP, vol.
15, no. 1, pp. 70–79, 2006.
[2] D. Kitamura, N. Ono, H. Sawada, H. Kameoka, and
H. Saruwatari, “Determined blind source separation unifying independent vector analysis and nonnegative matrix factorization,” IEEE/ACM Trans.
ASLP, vol. 24, no. 9, pp. 1622–1637, 2016.
[3] D. Kitamura, N. Ono, H. Sawada, H. Kameoka, andH. Saruwatari, “Determined blind source separation with independent low-rank matrix analysis,”in Audio Source Separation, pp. 125–155. 2018.
[4] H. Sawada, H. Kameoka, S. Araki, and N. Ueda,“Multichannel extensions of non-negative matrix
factorization with complex-valued data,” IEEE
Trans. ASLP, vol. 21, no. 5, pp. 971–982, 2013.
[5] P. Ekstrand, “Bandwidth extension of audio signals by spectral band replication,” in Proc. MPCA,
2002.
[6] P. Smaragdis and B. Raj, “Example-driven bandwidth expansion,” in Proc. WASPAA, 2007, pp.
135–138.
[7] F. Nagel and S. Disch, “A harmonic bandwidthextension method for audio codecs,” in Proc.
ICASSP, 2009, pp. 145–148.
[8] Y. Wang, S. Zhao, W. Liu, M. Li, and J. Kuang,“Speech bandwidth expansion based on deep neuralnetworks,” in Proc. ISCA, 2015.
[9] K. Li and C.-H. Lee, “A deep neural network
approach to speech bandwidth expansion,” inICASSP, 2015, pp. 4395–4399.
[10] A. Liutkus, F.-R. Stöter, Z. Raﬁi, D. Kitamura,
B. Rivet, N. Ito, N. Ono, and J. Fontecave, “The2016 signal separation evaluation campaign,” inProc. LVA/ICA. Springer, 2017, pp. 323–332.
[11] D. P. Kingma and J. Ba, “Adam: A methodfor stochastic optimization,”
arXiv preprint
arXiv:1412.6980, 2014.
[12] E. Vincent, R. Gribonval, and C. Févotte, “Performance measurement in blind audio source separation,” IEEE Trans. ASLP, vol. 14, no. 4, pp.
1462–1469, 2006.

- 224 -

2020年3月