3-1-16
調波打撃音分離の時間周波数マスクを用いた線形ブラインド音源分離 ∗☆大藪宗一郎，北村大地（香川高専），矢田部浩平（早稲田大）

1

はじめにブラインド音源分離（blind source separation:BSS）とは，マイクや音源の位置等の事前情報が無いという条件下で，複数の信号源が混合した混合音から，混合前の分離音を推定する技術である．観測マイク数が元の音源数以上となる優決定条件下での分離音推定には，音源信号の統計的独立性の仮定に基づく手法が広く用いられている．例えば，独立成分分析（independent component analysis: ICA）[1]を周波数領域で適用した周波数領域 ICA（frequencydomain ICA: FDICA）[2] や，FDICA での周波数毎の分離後に発生するパーミュテーション問題を分離と同時に解決するために提案された独立ベクトル分
析（independent vector analysis: IVA）[3, 4]，IVAと非負値行列因子分解 [5] を融合させた手法である独立低ランク行列分析（independent low-rank matrixanalysis: ILRMA）[6, 7] 等が提案されている．
上記の BSS は音源信号に関する事前知識（音源モデル）に基づいてパーミュテーション問題を解決しており，音源モデルの妥当性によって手法の良し悪しが特徴づけられていると解釈できる．例えば，IVA は同一音源の全周波数成分が同時に強いパワーを持つことを仮定しており，ILRMA は同一音源の時間周波数構造が低ランクになることを仮定している．即ち，より良い音源モデルを BSS に導入できれば，より高品質な分離音源が得られる可能性がある．これを探求するには異なる音源モデルの比較が重要であり，幅広い音源モデルに対応できる最適化アルゴリズムが存在するならば音源モデルの比較のコスト緩和に繋がる．
この最適化アルゴリズムの必要性に応じて，近接分離最適化法 [8]–[11] を用いて幅広い音源モデルを統一的に扱える BSS アルゴリズムが提案された [12]．この手法では，近接作用素が計算できる音源モデルであればどのようなモデルでも扱うことができる．そして，この近接作用素は多くの有用な音源モデルにおいて閾値処理として与えることができ，時間周波数マスキングとして再解釈可能である．この解釈に基づく BSS が時間周波数マスキングに基づく優決定 BSS（time-frequency-masking-based determinedBSS: TFMBSS）[13] であり，これまで簡便な応用例として IVA の音源モデルにスパース性を追加したス
パース IVA の効果が検証されている．なお，TFMBSSと類似する手法として，補助関数に基づく IVA の分散に時間周波数パワーの推定値を用いるモデルベース
IVA [14] が提案されているが，TFMBSS は (a) 最適化に近接分離法を用いる点，及び (b) 独立性最大化という統計的枠組みを超える点の 2 点で大きく異なる．
TFMBSS は，時間周波数マスクに基づいて線形の（歪みの少ない）多チャネル音源分離が可能である．こ∗の利点を活かして，本稿では時間周波数マスクの一例
として調波打撃音分離（harmonic/percussive source
separation: HPSS）[15] を用いた TFMBSS を提案する．これは，HPSS に基づいていることから，調波音と打撃音の多チャネル音源分離に利用可能であり，音楽信号の解析（コード・テンポ・音階等の推定）等に応用できる．また，提案手法では，TFMBSS の反復最適化に時間周波数マスクのスムージングを新たに導入することで，より安定した音源分離が可能となることを示す．

2

従来手法

2.1

定式化

音源数と観測チャネル数をそれぞれ N 及び M とし，各時間周波数における音源信号，観測信号，分離信号をそれぞれ

sij = (sij1 , · · · , sijN )T ∈ CN

(1)

xij = (xij1 , · · · , xijM ) ∈ C

M

(2)

N

(3)

T

yij = (yij1 , · · · , yijN ) ∈ CTと表す．ここで，i = 1, · · · , I は周波数インデクス，j =1, · · · , J は時間インデクス，n = 1, · · · , N は音源インデクス，m = 1, · · · , M はチャネルインデクスを示し，·T は転置を表す．また，各信号の複素スペクトログラ
ムを Sn ∈ CI×J ，Xm ∈ CI×J ，及び Yn ∈ CI×J で表す．
これらの行列の要素はそれぞれ sijn ，xijm ，及び yijn
である．混合系が線形時不変であり，時間周波数領域での複素瞬時混合で表現できると仮定すると，周波数毎の時不変な複素混合行列 Ai = (ai1 , · · · , aiN ) ∈CM×N （ここで ain = (ain1 , · · · , ainM )T は各音源のステアリングベクトル）が定義でき，観測信号と音源信号の関係を次式で表現できる．

xij = Ai sij(4)この混合モデルは，時不変混合系の残響時間が短時間フーリエ変換（short-time Fourier transform: STFT）の窓長よりも十分短い場合に近似的に成立する．このとき，M = N かつ Ai が正則であれば，分離ベク
トル win = (win1 · · · winM )T で構成される分離行列
HN ×NA−1が存在し，分i = Wi = (wi1 · · · wiN ) ∈ C
離信号は次式で与えられる．

yij = Wi xij(5)

ここで，·H はエルミート転置を示す．優決定条件 BSS
では，式 (5) 中の分離行列 Wi を全周波数において推定することが最終的な目標となる．本稿では，以後常に決定的な系（M = N ）を考える．

Linear blind source separation using time-frequency mask obtained by harmonic/percussive source separation. By Soichiro OYABU, Daichi KITAMURA (NIT Kagawa), and Kohei YATABE (Waseda Univ.).

日本音響学会講演論文集- 313 -

2020年3月

関数を H 及び P に関して最小化する．
∑{ ()2
γH |hi(j+1) |0.5 − |hij |0.5
J(H, P ) =Algorithm 1 TFMBSS[1][1]

Input: X, w , y , µ1 , µ2 , α
Output: w[k+1]
1: for k = 1, · · · , K do[]
e = proxµ1 I w[k] − µ1 µ2 X H y[k]2:w
e − w[k] )3:z = y[k] + X(2we = z − M(z) ⊙ z
4:y5:y[k+1] = αey + (1 − α)y[k][k+1]
e + (1 − α)w[k]6:w= αw
7: end for
2.2i,j()2 }+ γP |p(i+1)j |0.5 − |pij |0.5

(6)

ここで，hij 及び pij はそれぞれ H 及び P の要素であり，γH 及び γP は各項への重み係数である．この時，γH > 0 及び γP > 0 である．なお，式 (6) の最小化においては，次に示される拘束条件が課せられている．

|bij | = |hij | + |pij |(7)

arg bij = arg hij = arg pij(8)

TFMBSS

文献 [12] では，FDICA に音源モデルを導入してパーミュテーション問題を回避する BSS（IVA や ILRMA 等）を統一的に解釈し，音源モデルを plug-andplay で活用できる新しい音源分離フレームワークが提案されている．本手法では，近接分離最適化法 [8]–[11] と呼ばれる最適化アルゴリズムを適用しており，例えば IVA で仮定される音源モデルを用いた BSS では，従来の IVA と同程度の音源分離を高速に達成している．
さらに文献 [13] では，上記の音源分離フレームワー
ク中の音源モデルに依存する箇所が時間周波数マスクキングとして解釈できることに着目し，時間周波数マスクで表現される音源モデルを plug-and-play で活用可能な BSS を新たに提案している．本手法のアルゴリ
ズムを Algorithm 1 に示す．ここで，Algorithm 1 中の X は多チャネル観測信号の複素スペクトログラム（X1 , · · · , XM ）から構成される複素行列であり，wは全周波数の分離行列（W1 , · · · , WI ）をベクトル化した複素ベクトルである．また，⊙ は要素毎の積を表す．これらを含む Algorithm 1 中の各変数・演算の詳細な定義は文献 [12, 13] に詳しい．また，Algorithm 1の 4 行目の M(z) が，TFMBSS で用いられる時間周波数マスクである．このアルゴリズムでは，中間変数z を引数とし分離をさらに促進するような時間周波数マスクを返す関数 M を音源モデルとして活用することで，そのモデルに即した音源分離が達成される．これは，マスクの情報 M(z) を事前分布においた事後確率最大化推定法としても解釈できる [13]．従って，
TFMBSS では，音源分離を促進するような時間周波数マスクを返す関数 M(z) を自由に入れ替えることで，様々な音源モデルを導入した BSS が実現される．

モノラル信号の音源分離手法である HPSS では，調波音と打撃音を良く分離することができる反面，非線形な音源分離であることに起因する音質の劣化が問題となる．例えば，音源分離の誤差成分が局所的に残留することによりミュージカルノイズ等の人工的な歪みが発生する場合がある．一方，観測信号が多チャネルである場合は，IVA や ILRMA のように線形な空間分離フィルタ（分離行列 Wi ）を推定することで，歪みの少ない自然な音源分離が可能となる．そこで本稿では，HPSS による調波打撃音分離を利用しつつ，線形な音源分離を達成する手法として，TFMBSS の時間周波数マスク関数 M に HPSS を導入した音源分離手法を新たに提案する．

2.3

3.2

HPSS

HPSS とは，調波楽器及び打楽器の音の振幅スペクトログラムの特徴に着目して，混合音を調波音と打撃音に分離する手法である．具体的には，振幅スペクトログラムが調波音は時間方向に滑らかであり，打撃音は非定常的でかつ周波数方向に滑らかである，という点に着目して分離を行う．ここで，モノラルの混合信号，分離された調波信号，分離された打撃信号の複素スペクトログラムをそれぞれ B ∈ CI×J ，H ∈ CI×J ，及び P ∈ CI×J と表す．文献 [15] の HPSS では，混合信号 B から H と P を推定するために，次式の目的

日本音響学会講演論文集

次式の反復更新式を計算することで式 (6) の最小化問
題を解く．
(γH |h(i+1)j |0.5 + |h(i−1)j |0.5 ) bij |0.5√
|hij |0.5 =(9)(H)(P )cij + cij(γP |pi(j+1) |0.5 + |pi(j−1) |0.5 ) bij |0.5
0.5√
|pij | =(H)(P )cij + cij
(H)

cij

= γH

(2|h(i+1)j |0.5 + |h(i−1)j |)0.5 2()2(P )cij = γP 2 |pi(j+1) |0.5 + |pi(j−1) |0.5

3

提案手法

3.1

動機

(10)
(11)
(12)

提案手法の概要

提案手法の処理のブロック図を Fig. 1 に示す．本
手法では，TFMBSS の最適化反復中に，中間変数 zに対して HPSS を適用し，その結果から新たな時間周波数マスクを生成して再び TFMBSS で利用することを繰り返す．即ち，時間周波数マスクを決める関数
M(z) が HPSS となっている．
より具体的には，まず中間変数 z 中の調波音と打撃音に対応する要素をそれぞれ HPSS の変数 H 及びP の初期値とし，式 (9) 及び (10) を反復的に計算する．次に，得られた H と P の推定結果から時間周波数マスクを作成する．さらに，1 反復前で用いた時間- 314 -

2020年3月

Mask
HPSS

Smoothing

Smoothedmask

Smoothing

Mask (old)Observed signal

Percussive estimate
STFT

Maskingbased
BSS

Backprojection

ISTFT
Harmonic estimate

Fig. 1 Block diagram of proposed method, where zH and zP are parameters that corresponds to harmonicand percussive components, respectively.
周波数マスクとのスムージングを施し，これを新たな時間周波数マスクとして TFMBSS に返す．なお，
TFMBSS も IVA や ILRMA と同様に分離信号のス
ケールの推定はできない為，プロジェクションバック
法 [16] を用いて周波数毎のスケールを復元する．その後，逆 STFT（inverse STFT: ISTFT）を用いて，分離信号を時間信号に変換する．

3.3

Table 1

Window function in STFT
Window length in STFT
Shift length in STFT
Parameters in HPSS
# of iterations in HPSS
Parameters inmasking-based BSS# of iterations in BSS

HPSS による時間周波数マスクの生成

中間変数 z 中の調波音と打撃音に対応する要素を
変数 H 及び P の初期値とした HPSS を行い，推定された H と P から次の時間周波数マスクを生成する．

|hij |[MH ]ij =|hij | + |pij ||pij |[MP ]ij =|hij | + |pij |

(13)
(14)

4

実験

4.1

実験条件

時間周波数マスクのスムージング

TFMBSS では，時間周波数マスク M が反復毎に大きく変動する場合，安定した音源分離ができない場合がある．提案手法においても，反復毎に HPSS でマスクの再生成を行うことから，マスクが大幅に変動しており，安定性に欠ける可能性がある．
この問題に対処するために，本稿ではマスクを生成する度に，1 反復前のマスクとのスムージングを施すことで，TFMBSS の最適化を安定させる．このマスクのスムージング処理は次式で表される．
M = Mβ ⊙ Mold βold

(15)

ここで，Mold は 1 反復前の時間周波数マスクであり，
β 及び βold はそれぞれスムージング度合いを決定するパラメータである．式 (15) の処理を MH 及び MPのそれぞれに施すことで，スムージングを行う．ス
ムージング後のマスクは TFMBSS に返され，中間変日本音響学会講演論文集

Hann window
128 ms64 ms
γH = 1.02
γP = 1.01
15 times
α = 0.25µ1 = µ2 = 1.0
500 times

数 z 中の調波音と打撃音に対応する要素にそれぞれ適用される．

ここで，MH 及び MP はそれぞれ調波音と打撃音の成分を強調する時間周波数マスクであり，[M]ij はマ
スク M の ij 要素（スカラー）を表す．上記のマス
ク生成は，TFMBSS での反復毎に行う．

3.4

Experimental conditions

提案手法の有効性を確認するために，音楽信号中のドラムとそれ以外の楽器音の音源分離実験を行った．
本実験では，SiSEC2016 [17] の DSD100 データセッ
ト中のドラム音源（drums）とその他の音源（other）を 20 曲選んだ．これらのドライソースを，文献 [18]に記載のマイク間隔 5.66 cm 及び音源方位 50◦ &130◦の E2A インパルス応答 [19]（残響長 300 ms）で畳み込み，多チャネル混合信号を作成した．その他の実験
条件は Table 1 に示す．評価指標には，信号対歪み比（source-to-distortion ratio: SDR）[20] を用いた．

4.2

実験結果

提案手法の βold 及び β のみを変えた場合の各反復ごとの SDR 改善量の一例を Fig. 2 に示す．β を高く設定した場合，SDR の推移が安定せず収束点も低くなることが観測された．一方，βold を高く設定した
場合，推移は安定するが収束が遅れることが観測された．SDR 推移の安定と収束速度はトレードオフであるためこの点を考慮したパラメータ設定が必要となる．
次に，データセット中の 3 曲を例にとって，各従来手法と比較した結果を Fig. 3 に示す．ここで，- 315 -2020年3月

SDR improvement [dB]

15Table 213Method
HPSSIVAILRMA
HPSS+TFMBSS

11975 = 0.45/old = 0.05
 = 0.25/old = 0.25
 = 0.125/old = 0.375
 = 0.05/old = 0.45

31-1-3
100

200

300

400

Number of iterations in BSS [times]

Fig. 2 Example of convergence behaviors of proposed method with various βold and β.
HPSS
IVA
ILRMA
HPSS+TFMBSSSDR improvement [dB]20151050Song No. 1Song No. 2Song No. 3Fig. 3 Example of SDR improvements of ILRMA,IVA, conventional HPSS, and proposed method.
HPSS+TFMBSS が提案手法を示す．Fig. 3 での βold及び β はそれぞれ 0.125 及び 0.375 である．提案手法
では HPSS によって作成されたマスクを元に分離するため，従来の HPSS の得手不得手が反映されているものの，線形分離化されたことによる恩恵は十分に見受けられる．ILRMA や IVA の SDR 改善量が振るわない楽曲であっても高い性能を出す例が存在した．
Table 2 は，データセット 20 曲全てにおける各従来手法との SDR 改善量の平均値の比較である．従来手法の HPSS と比較すると音質の向上は明らかであるが，調波音と打撃音の区別がはっきりとした楽曲以外には弱く他の従来法には平均スコアでは下回った．

5まとめ

本稿では，調波音と打撃音の BSS を目的とし，HPSS に基づく時間周波数マスクを TFMBSS に利用した音源分離手法を新たに提案した．また，TFMBSSの最適化を安定化させるために，時間周波数マスクのスムージングを導入した．実験結果より，線形分離化された提案手法によって，従来の HPSS より音質が向上したことを実験的に示した．そして，各反復間のマスクが大きく変動するため SDR の推移が安定しない問題を適当なパラメータ設定によってスムージングすることで解決出来ることも実験的に示した．
謝辞 本研究の一部は JSPS 科研費 19K20306 の助成を受けたものである。

日本音響学会講演論文集

Average SDR [dB]
4.68
7.09
8.56
6.97

参考文献

-50

Average SDR for each method[1] P. Comon, “Independent component analysis, a new concept?,” Signal Processing, vol. 36, no. 3, pp. 287–314, 1994．
[2] P. Smaragdis, “Blind separation of convolved mixtures inthe frequency domain,” Neurocomputing, vol. 22, pp. 21–34, 1998．
[3] T. Kim, H. T. Attias, S.-Y. Lee, and T.-W. Lee, “Blindsource separation exploiting higher-order frequency dependencies,” IEEE Trans. ASLP, vol. 15, no. 1, pp. 70–79,
2007．
[4] N. Ono, “Stable and fast update rules for independent vector analysis based on auxiliary function technique,” Proc.
WASPAA, pp. 189–192, 2011.
[5] D. D. Lee, and H. S. Seung, “Learning the parts of objects
by non-negative matrix factorization ,” Nature, vol. 401,no. 6755, pp. 788–791, 1999．
[6] D. Kitamura, N. Ono, H. Sawada, H. Kameoka, andH. Saruwatari, “Determined blind source separation unifying independent vector analysis and nonnegative matrix
factorization,” IEEE/ACM Trans. ASLP, vol. 24, no. 9,pp. 1626–1641, 2016.
[7] D. Kitamura, N. Ono, H. Sawada, H. Kameoka, andH. Saruwatari, “Determined blind source separation withindependent low-rank matrix analysis,” In Audio Source
Separation, S. Makino, Ed., pp. 125–155, Springer, Cham,2018．
[8] P. L. Combettes and J. C. Pesquet, Proximal Splitting
Methods in Signal Processing, pp. 185–212, Springer, 2011.
[9] N. Parikh and S. Boyd, “Proximal algorithms,” Found.
Trends Optim., vol. 1, no. 3, pp. 127–239, 2014.
[10] N. Komodakis and J. C. Pesquet, “Playing with duality:
An overview of recent primal-dual approaches for solving
large scale optimization problems,” IEEE Signal Process.
Mag., vol. 32, no. 6, pp. 31–54, 2015.
[11] M. Burger, A. Sawatzky, and G. Steidl, First Order Algorithms in Variational Image Processing, pp. 345–407,
Springer, 2016.
[12] K. Yatabe and D. Kitamura, “Determined blind source separation via proximal splitting algorithm,” Proc. ICASSP,
pp. 776–780, 2018．
[13] K. Yatabe and D. Kitamura, “Time-frequency-maskingbased determined BSS with application to sparse IVA,”
Proc. ICASSP, pp. 715–719, 2019．
[14] A. R. López, N. Ono, U. Remes, K. Palomäki, and M. Kurimo, “Designing multichannel source separation based on
single-channel source separation,” Proc. ICASSP, pp. 469–473, 2015.
[15] N. Ono, K. Miyamoto, J. Le Roux, H. Kameoka, andS. Sagayama, “Separation of a monaural audio signal into
harmonic/percussive components by complementary diﬀusion on spectrogram,” Proc. EUSIPCO, 2008.
[16] N. Murata, S. Ikeda, and A. Ziehe, “An approach to blindsource separation based on temporal structure of speech
signals,” Neurocomputing, vol. 41, no. 1–4, pp. 1–24, 2001.
[17] A. Liutkus, F.-R. Stöter, Z. Rafii, D. Kitamura, B. Rivet,
N. Ito, N. Ono, and J. Fontecave, “The 2016 signal separation evaluation campaign,” Proc. LVA/ICA, pp. 323–332,
2017.
[18] D. Kitamura, N. Ono, and H. Saruwatari, “Experimentalanalysis of optimal window length for independent low-rankmatrix analysis,” Proc. EUSIPCO, pp. 1210–1214, 2017.
[19] S. Nakamura, K. Hiyane, F. Asano, T. Nishiura, and T. Yamada, “Acoustical sound database in real environments forsound scene understanding and hands-free speech recognition,” Proc. LREC, pp. 965–968, 2000.
[20] E. Vincent, R. Gribonval and C. Fevotte, “Performancemeasurement in blind audio source separation,” IEEE
Trans. ASLP, vol. 14, no. 4, pp. 1462–1469, 2006.

- 316 -

2020年3月