2-R2-11
調波打撃音分離の排他的マスキングに基づくブラインド音源分離 ∗☆大藪宗一郎，北村大地（香川高専），矢田部浩平（早稲田大）

1

クスを示し，·T は転置を表す．また，各信号の複素スペクトログラムを Sn ∈ CI×J ，Xm ∈ CI×J ，及びYn ∈ CI×J で表す．
混合系が線形時不変であり，時間周波数領域での複素瞬時混合で表現できると仮定すると，観測信号と音源信号の関係を次式で表現できる．

はじめに

ブラインド音源分離（blind source separation:BSS）とは，マイクロホンや音源の位置等の事前情報を用いずに，複数の音源が混合した観測信号から，混合前の音源信号を推定する技術である．観測チャネ
ル数が音源数以上となる優決定条件での BSS には，独立成分分析（independent component analysis: ICA）
xij = Ai sij(4)[1] に基づく手法が広く用いられている．例えば，独立ベクトル分析（independent vector analysis: IVA）
ここで，Ai ∈ CM ×N は周波数毎の混合行列である．
[2, 3] 及び独立低ランク行列分析（independent lowこの混合モデルは，残響時間が STFT の窓長よりもrank matrix analysis: ILRMA）[4, 5] 等が提案され十分短い場合に近似的に成立する．以後，決定的な系ている．これらの手法では，音源信号に関する事前（M = N ）を考える．Ai が正則であれば，逆行列を知識（音源モデル）に基づいてパーミュテーション用いて分離信号を次式で推定できる．
問題 [6] を解決している．このとき，音源モデルが混yij = Wi xij(5)合前の音源信号に適合しているか否かで性能が左右される．より良い音源モデルを BSS に導入できれば，より高品質な分離信号が得られる可能性があるため， ここで，Wi = [wi1 · · · wiN ]H ∈ CN ×N は周波数毎の分離行列であり，·H はエルミート転置である．優決
種々の音源モデルを用いた BSS で性能を比較するこ
定条件 BSS では，式 (5) 中の分離行列 Wi を全周波とが重要である．
数 (i = 1, · · · , I) において推定することが最終的な目
この目的に対し，幅広い音源モデルを統一的に扱標となる．式 (5) で求まる分離信号 yij は，混合信号
える BSS アルゴリズムとして，時間周波数マスキxij に対する線形フィルタリングであり，自然性の高ングに基づく優決定 BSS（time-frequency-maskingbased determined BSS: TFMBSS）[7] が提案された． い音源分離が可能な利点がある．
TFMBSS は，時間周波数マスクで表される音源モデ2.2 HPSS
ルを用いて，線形の（歪みの少ない）多チャネル音
HPSS は，振幅スペクトログラムの時間方向及び周源分離が可能である．文献 [8] では，調波打撃音分離
波数方向の滑らかさに基づき，調波音及び打撃音を分（harmonic/percussive source separation: HPSS）[9]離する．モノラルの混合信号，分離調波信号，分離打に基づく時間周波数マスクを TFMBSS の音源モデル
撃信号の複素スペクトログラムをそれぞれ B ∈ CI×J ，として用いた手法を新たに提案し，その性能を調査しH ∈ CI×J ，及び P ∈ CI×J と表すと，文献 [9] の HPSSた．本手法は HPSS に基づいていることから，調波
では，混合信号B から H と P を推定するために，音と打撃音の多チャネル音源分離に利用可能であり，式(6)の目的関数をH 及び P に関して最小化する
音楽信号の解析（コード・テンポ・音階等の推定）等に応用できる．本稿では，この手法の時間周波数マスXn2クの生成方法を改良し，より排他的な（他音源を抑J(H, P ) =γH |hi(j+1) |0.5 − |hij |0.5
圧するような）時間周波数マスクが得られる処理をi,j o
TFMBSS の内部に導入する．また，従来手法と提案
0.5
0.5 2+γ|p|−|p|(6)Pij(i+1)j
手法の両方において，HPSS の最適化の反復回数やマスクのスムージングパラメータについて実験的に調
ここで，hij 及び pij はそれぞれ H 及び P の要素で査し考察する．
あり，γH > 0 及び γP > 0 は重み係数である．式 (6)の最小化問題は，次の制約条件が課せられている．
2 従来手法：HPSS に基づく TFMBSS

2.1 定式化
音源数と観測チャネル数をそれぞれ N 及び M とし，多チャネル時間信号を STFT して得られる時間周波数毎の音源信号，観測信号，及び分離信号をそれぞれ
sij = [sij1 , · · · , sijn , · · · , sijN ]T ∈ CN
xij = [xij1 , · · · , xijm , · · · , xijM ] ∈ C
Tyij = [yij1 , · · · , yijn , · · · , yijN ] ∈ C
T(1)
MN(2)
(3)と表す．ここで，i = 1, 2, · · · , I ，j = 1, 2, · · · , J ，n =1, 2, · · · , N ，及び m = 1, 2, · · · , M はそれぞれ周波数
ビン，時間フレーム，音源，及びチャネルのインデ∗|bij | = |hij | + |pij |(7)

式 (6) を最小化する hij 及び pij は，次の反復更新式
で推定できる [9]．
γH |h(i+1)j |0.5 + |h(i−1)j |0.5 |bij |0.5
q(8)|hij |0.5 =(H)(P )cij + cijγP |pi(j+1) |0.5 + |pi(j−1) |0.5 |bij |0.5
0.5q|pij | =(9)(H)(P )cij + cij2(H)cij = γH 2 |h(i+1)j |0.5 + |h(i−1)j |0.5(10)
(P )
0.5
0.5 22(11)cij = γP |pi(j+1) | + |pi(j−1) |Blind source separation based on exclusive mask obtained by harmonic/percussive source separation. By
Soichiro OYABU, Daichi KITAMURA (NIT Kagawa), and Kohei YATABE (Waseda Univ.).

日本音響学会講演論文集- 283 -

2020年9月

Algorithm 1 TFMBSS
Input: X, w[1] , y[1] , µ1 , µ2 , α
Output: w[k+1]
1: for k = 1, · · · , K do
e = proxµ1 I w[k] − µ1 µ2 X H y[k]2:w
e − w[k] )3:z = y[k] + X(2we = z − M(z) ⊙ z
4:y5:y[k+1] = αey + (1 − α)y[k]e + (1 − α)w[k]6:w[k+1] = αw
7: end for

Mask (old)Smoothing

Smoothedmask

HPSS
Smoothing

Mask

Back
projection
Observed signalHarmonic estimate
STFT

TFMBSS

Backprojection

ISTFT
Percussive estimate

2.3 TFMBSSTFMBSS [7] とは，時間周波数マスクで表現される音源モデルに基づく BSS である．TFMBSSのアルゴリズムを Algorithm 1 に示す．ここで，X は多チャネル観測信号の複素スペクトログラム（X1 , · · · , XM ）から構成される行列，w は全周波数の分離行列（W1 , · · · , WI ）をベクトル化した変数，⊙ は要素毎の積を表す（詳細な定義は文献 [7] 参照）．
Algorithm 1 の 4 行目の M(z) が，TFMBSS で用いられる時間周波数マスクである．中間変数 z を引数とし分離をさらに促進するような時間周波数マスクを返す関数 M を音源モデルとして活用する．従って，TFMBSS では，M(z) を自由に入れ替えることで，様々な音源モデルを導入した BSS が実現される．
2.4 HPSS に基づく TFMBSS
文献 [8] では，HPSS で算出される時間周波数マスクを TFMBSS に導入した BSS が提案された．本手法のブロック図を Fig. 1 に示す．本手法では，TFMBSSの最適化反復中に，中間変数 z に対して HPSS を適用する．その結果から新たな時間周波数マスクを生成し，再び TFMBSS で最適化することを繰り返す．
中間変数 z を，調波音成分及び打撃音成分のスペクトログラムのサイズに整形した変数をそれぞれ ZH ∈CI×J 及び ZP ∈ CI×J と表記すると，HPSS の分離信号の初期値は次式で与える．
|H| = |ZH |,|P | = |ZP |(12)

ここで，行列に対する演算 | · | は要素毎の絶対値を示す．HPSS の観測信号 |B| は式 (7) で定義される．
式 (12) を用いて，式 (8) 及び (9) を反復的に計算することで，中間変数 z を初期値とした HPSS が可能となる．得られた H と P の推定結果から，次式のWiener フィルタを構築し，これを新たな時間周波数マスクとする．
 12

|hij |2(13)[MH ]ij =|hij |2 + |pij |2
 12|pij |2[MP ]ij =(14)|hij |2 + |pij |2I×J
ここで，MH ∈ RI×J
[0,1] 及び MP ∈ R[0,1] はそれぞれ調波音と打撃音の成分を強調する時間周波数マスクであり，[M]ij はマスク M の ij 要素を表す．
TFMBSS では，時間周波数マスク M が反復毎に大きく変動する場合，安定した音源分離ができない場合がある．この問題に対処するために，マスクを生成する度に，次式で 1 反復前のマスク Mold とのスムージングを施す．

M = Mβ ⊙ Mold βold日本音響学会講演論文集

Fig. 1 Block diagram of conventional HPSS-based
TFMBSS.

HPSS
Smoothing

Smoothedmask

Smoothing
HPSS

Backprojection
Observed signal

Harmonic estimate
STFT

TFMBSS

Backprojection

ISTFT
Percussive estimate

Fig. 2 Block diagram of proposed HPSS-based
TFMBSS.
ここで，β 及び βold はそれぞれスムージング度合いを決定するパラメータであり，β + βold = 1 を満たす．
式 (15) の処理を MH 及び MP のそれぞれに施す．ス
ムージング後のマスクは TFMBSS に返され，Algorithm 1 の 4 行目として，中間変数 z 中の調波音成分と打撃音成分にそれぞれ適用される．なお，TFMBSS
も IVA や ILRMA と同様に分離信号のスケールを推定できない為，TFMBSS から HPSS に変数を引き渡すタイミングで中間変数 ZH 及び ZP に対してプロジェクションバック法 [10] を適用し，周波数毎のスケールを補正している．

3

提案手法

3.1 動機
従来手法では，中間変数 ZH 及び ZP をそれぞれH と P の初期値とし，さらに ZH + ZP を観測とする HPSS を用いて，調波音及び打撃音をそれぞれ強調する時間周波数マスクを生成していた．一方で，HPSS による音源強調をフィルタとして捉え，調波音成分 ZH の中に残留する打撃音成分や，逆に打撃音成分 ZP の中に残留する調波音成分を取り除く排他的な時間周波数マスクを求めるアプローチを考えることもできる．この場合，従来の時間周波数マスクよりも，残留する干渉音成分を抑圧する能力が高いことが期待できる．本稿では，上記のアルゴリズムを構築し，従来手法と比較することで，提案手法の優位性を確認する．

(15)- 284 -

2020年9月

HPSS の 排 他 的 マ ス キ ン グ に 基 づ くTFMBSS
本稿における提案手法のブロック図を Fig. 2 に示す．提案手法では，2.4 節で述べた従来手法と同様に，TFMBSS の時間周波数マスクを HPSS で生成することを考える．但し，式 (13) 及び (14) によるマスクの生成方法ではなく，より排他的な（他音源を抑圧するような）時間周波数マスクを生成する手法を用いる．
具体的には，Fig. 2 に示すように，TFMBSS で得られる中間変数 ZH 及び ZP を，2 つの独立な HPSS に観測信号として |B (ZH ) | = |ZH | 及び |B (ZP ) | = |ZP |のように与える．また，それぞれの HPSS における初期値は次式で与える．

Table 1

3.2

ZH
H= P=2ZP
H (ZP ) = P (ZP ) =2(ZH )

(ZH )

(16)
(17)

即ち，ZH 中の調波音成分 H (ZH ) と打撃音成分 P (ZH )及び ZP 中の調波音成分 H (ZP ) と打撃音成分 P (ZP )の 4 種類の信号を推定する．調波音成分と打撃音成分の時間周波数マスクはそれぞれ次式で定義する．

! 12(Z )[MH ]ij =|hij H |2(Z )(Z )[MP ]ij =(Z )

(18)

(Z )

|hij H |2 + |pij H |2|pij P |2(Z )! 12(Z )|hij P |2 + |pij P |2(Z )

(Z )

(Z )

(19)

ここで，hij H ，pij H ，hij P ，及び pij P はそれぞれ H (ZH ) ，P (ZH ) ，H (ZP ) ，及び P (ZP ) の要素である．従って，中間変数 ZH 内に残留する打撃音成分をさらに抑圧し，同様に中間変数 ZP 内に残留する調波音成分をさらに抑圧するような排他的なマスクを生成できる．
このようにして求まる時間周波数マスクに対し，従来手法と同様に式 (15) によるスムージングを施す．
これを新たな時間周波数マスクとして TFMBSS に返す．従来手法と同様に，HPSS を行う前にはプロジェクションバック法を適用し，ZH 及び ZP のスケールを補正している．

Experimental conditions

Window function in STFT
Window length in STFT
Shift length in STFT
Parameters in HPSS
Parameters in TFMBSS# of iterations in BSS

Hann window
128 ms64 ms
γH = 1.02
γP = 1.01
α = 0.25µ1 = µ2 = 1.0500

Table 2 Average SDR improvement for convention
and proposed methods with various HPSS iterations# of iterationsin HPSS
13579111315

Average SDR improvement [dB]
Conventional method Proposed method
7.58
8.29
7.40
10.40
7.31
10.87
7.25
10.98
7.22
11.08
7.20
10.79
7.20
11.09
7.19
11.29

計算している．このときの HPSS の反復回数を変化させることによる SDR 改善量の変化を調査した．
従来手法と提案手法における全 20 曲の平均 SDR 改善量を Table 2 に示す．ここで，表における両手法のスムージングパラメータは βold = 0.75 及び β = 0.25であり，これはアルゴリズムの安定性と分離性能のバランスが良い設定値である（次節の実験結果に基づく）．従来手法では HPSS の反復回数が少ないほど高い性能を示したが，提案手法では逆に HPSS の反復回数が多いほど高い性能を示した．提案手法は，HPSSで求めるべき変数 H 及び P が毎回式 (16) 及び (17)で初期化されるため，従来手法と比較して HPSS での十分な反復計算が必要になる．以降の実験では，この結果に基づき，従来手法の HPSS の反復回数を 1回，提案手法の HPSS の反復回数を 15 回と設定する．

4.3 スムージングパラメータに対する性能の変化
次に，提案手法におけるスムージングの有効性を検証する．従来手法及び提案手法において，βold 及び β のみを変化させた場合の反復毎の SDR 改善量の例（song no. 18）をそれぞれ Figs. 3 及び 4 に示す．
但し，常に βold + β = 1 である．さらに，従来手法及び提案手法における全 20 曲の平均 SDR 改善量を
4 実験
Table 3 に示す．両手法共に βold を低く設定した場合（スムージングを弱くした場合），SDR 改善量の推移
4.1 実験条件が安定せず収束値も低くなる．一方，βold を高く設定
提案手法の有効性を確認するために，音楽信号中のした場合（スムージング強くした場合），推移は安定
ドラムとそれ以外の楽器音の音源分離実験を行った． するが収束が遅れている．従来手法と提案手法を比本実験では，SiSEC2016 [11] の DSD100 データセッ
較すると，従来手法では βold の値を小さく設定してト中のドラム音源（drums）とその他の音源（other）も比較的安定した推移が見られるが，提案手法と比を 20 曲選んだ．これらのドライソースを，文献 [12]べて収束値が低い．提案手法では，βold の値が低いに記載のマイク間隔 5.66 cm 及び音源方位 50◦ &130◦と安定しないが，収束値は従来手法よりも高い．最の E2A インパルス応答 [13]（残響長 300 ms）で畳み終的な収束値と安定性のトレードオフを考慮すると，込み，多チャネル混合信号を作成した．評価指標に
両手法共に βold = 0.75 及び β = 0.25 が最適である．
は，音源対歪み比（source-to-distortion ratio: SDR）
4.4 種々の BSS との性能比較[14] の改善量を用いた．その他の実験条件を Table 1に示す．
最後に，HPSS 単体（単一チャネル），IVA，及びILRMA との性能比較を行う．但し，HPSS に基づく
4.2 HPSS の反復回数に対する性能の変化
TFMBSS は従来手法及び提案手法ともに βold = 0.75
従来手法及び提案手法では，TFMBSS を 1 回反復及び β = 0.25 としている．これらの手法の実験条件する毎に，HPSS の更新式（式 (8) 及び (9)）を反復を Table 4 に示す．Table 5 は，データセット 20 曲全

日本音響学会講演論文集- 285 -

2020年9月

SDR improvement [dB]

10

Table 3 Average SDR improvement for conventional and proposed methods with various βold andβ8642old=0
old=0.50

old=0.75
old=0.875-2

old=0.9375-40100200300

400500

Number of iterations in BSSFig. 3 Example of convergence behaviors of conventional method with various βold and β (song no.
18).

SDR improvement [dB]

161412108
6

old=04old=0.52

old=0.75
old=0.9375-20100200300400

Window function in STFT
Window length in STFT
Shift length in STFT
# of iterations in simple HPSS
# of iterations in IVA# of iterations in ILRMA# of bases in ILRMA500

Simple HPSSIVA
ILRMAConventional method
Proposed methodてにおける全手法の平均 SDR 改善量の比較である．
これを見ると，提案手法は他のどの手法よりも高い性能を示しており，調波音と打撃音の多チャネル音源分離に特化した高性能な BSS であることが確認できる．

まとめ[6]

本稿では，HPSS の音源モデルに基づく TFMBSSとして，より排他的な時間周波数マスクを求めるアルゴリズムを新たに提案した．HPSS の反復回数及びマスクのスムージング度合いに対する性能の変化を実験的に確認し考察した．提案手法は，従来の BSS手法よりも大幅な性能改善が得られることを示した．

[7]

[8]

[9]

謝辞 本研究の一部は JSPS 科研費 19K20306 の助成を受けたものである。
[10]

参考文献
[1] P. Comon, “Independent component analysis, a new concept?,” Signal Processing, vol. 36, no. 3, pp. 287–314, 1994．
[2] T. Kim, H. T. Attias, S.-Y. Lee, and T.-W. Lee, “Blindsource separation exploiting higher-order frequency dependencies,” IEEE Trans. Audio, Speech, and Language Processing, vol. 15, no. 1, pp. 70–79, 2007．
[3] N. Ono, “Stable and fast update rules for independent vector analysis based on auxiliary function technique,” Proc.
Workshop on Applications of Signal Processing to Audioand Acoustics, pp. 189–192, 2011.
[4] D. Kitamura, N. Ono, H. Sawada, H. Kameoka, andH. Saruwatari, “Determined blind source separation unifying independent vector analysis and nonnegative matrix
factorization,” IEEE/ACM Trans. Workshop on Applications of Signal Processing to Audio and Acoustics, vol. 24,no. 9, pp. 1626–1641, 2016.
[5] D. Kitamura, N. Ono, H. Sawada, H. Kameoka, andH. Saruwatari, “Determined blind source separation with

日本音響学会講演論文集

[11]

[12]

[13]

[14]- 286 -Hann window
256 ms
128 ms1530
10030

Average SDR improvement for each
MethodNumber of iterations in BSS
Fig. 4 Example of convergence behaviors of proposed method with various βold and β (song no. 18).

5

Average SDR improvement [dB]
Conventional method Proposed method
8.14
7.40
7.55
10.14
7.58
11.29
7.36
11.27
6.82
11.01

Table 4 Experimental conditions for other BSSmethods

Table 5method

old=0.875

0Parameter
βold
0
0.5
0.75
0.875
0.9375

Average SDR
improvement [dB]
5.92
7.92
9.20
7.58
11.3

independent low-rank matrix analysis,” In Audio Source
Separation, S. Makino, Ed., pp. 125–155, Springer, Cham,
2018．
H. Sawada, R. Mukai, S. Araki, and S. Makino, “A robustand precise method for solving the permutation problem offrequency-domain blind source separation,” IEEE Trans.
SAP, vol. 12, no. 5, pp. 530–538, Sep. 2004.
K. Yatabe and D. Kitamura, “Time-frequency-maskingbased determined BSS with application to sparse IVA,”
Proc. International Conference on Acoustics, Speech, andSignal Processing, pp. 715–719, 2019．
大藪宗一郎, 北村大地, 矢田部浩平, “調波打撃音分離の時間周波数マスクを用いた線形ブラインド音源分離,” 日本音響学会 2020年春季研究発表会講演論文集, pp. 313–316, 2020．
N. Ono, K. Miyamoto, J. Le Roux, H. Kameoka, andS. Sagayama, “Separation of a monaural audio signal into
harmonic/percussive components by complementary diﬀusion on spectrogram,” Proc. European Signal Processing
Conference, 2008.
N. Murata, S. Ikeda, and A. Ziehe, “An approach to blindsource separation based on temporal structure of speechsignals,” Neurocomputing, vol. 41, no. 1–4, pp. 1–24, 2001.
A. Liutkus, F.-R. Stöter, Z. Raﬁi, D. Kitamura, B. Rivet,
N. Ito, N. Ono, and J. Fontecave, “The 2016 signal separation evaluation campaign,” Proc. 13th International Conference on Latent Variable Analysis and Signal Separation, pp. 323–332, 2017.
D. Kitamura, N. Ono, and H. Saruwatari, “Experimentalanalysis of optimal window length for independent low-rankmatrix analysis,” Proc. EUSIPCO, pp. 1210–1214, 2017.
S. Nakamura, K. Hiyane, F. Asano, T. Nishiura, and T. Yamada, “Acoustical sound database in real environments forsound scene understanding and hands-free speech recognition,” Proc. Language Resources and Evaluation Conference, pp. 965–968, 2000.
E. Vincent, R. Gribonval and C. Fevotte, “Performancemeasurement in blind audio source separation,” IEEE
Trans. Audio, Speech, and Language Processing, vol. 14,
no. 4, pp. 1462–1469, 2006.

2020年9月