2-1Q-18
メディアン型 HPSS を用いた時間周波数マスクに基づくブラインド音源分離∗☆大藪宗一郎，北村大地（香川高専），矢田部浩平（早稲田大）

1

はじめにぞれsij = [sij1 , · · · , sijn , · · · , sijN ]T ∈ CN
(1)
ブラインド音源分離（blind source separation:
TMBSS）[1] とは，マイクロホンや音源の位置等の事前
xij = [xij1 , · · · , xijm , · · · , xijM ] ∈ C(2)
情報を用いずに，複数の音源が混合した観測信号かTN
yij = [yij1 , · · · , yijn , · · · , yijN ] ∈ C(3)ら，混合前の音源信号を推定する技術である．観測チャネル数が音源数以上となる優決定条件での BSS にと表す．ここで，i = 1, 2, · · · , I ，j = 1, 2, · · · , J ，n =は，独立成分分析（independent component analysis:
1, 2, · · · , N ，及び m = 1, 2, · · · , M はそれぞれ周波数ICA）[2] に基づく手法が広く用いられている．例えビン，時間フレーム，音源，及びチャネルのインデば，独立ベクトル分析（independent vector analysis:
クスを示し，·T は転置を表す．また，各信号の複素IVA）[3, 4] 及び独立低ランク行列分析（independent
スペクトログラムを Sn ∈ CI×J ，Xm ∈ CI×J ，及びlow-rank matrix analysis: ILRMA）[5, 6] 等が提案
Yn ∈ CI×J で表す．
されている．これらの手法では，音源信号に関する事混合系が線形時不変であり，時間周波数領域での複前知識（音源モデル）に基づいてパーミュテーション
素瞬時混合で表現できると仮定すると，観測信号と問題 [7] を解決している．このとき，音源モデルが混音源信号の関係を次式で表現できる．
合前の音源信号に適合しているか否かで性能が左右xij = Ai sij(4)される．より良い音源モデルを BSS に導入できれば，より高品質な分離信号が得られる可能性があるため， ここで，Ai ∈ CM ×N は周波数毎の混合行列である．
種々の音源モデルを用いた BSS で性能を比較するここの混合モデルは，残響時間が STFT の窓長よりもとが重要である．
十分短い場合に近似的に成立する．以後，決定的な系
この目的に対し，幅広い音源モデルを統一的に扱（M = N ）を考える．Ai が正則であれば，逆行列をえる BSS アルゴリズムとして，時間周波数マスキ用いて分離信号を次式で推定できる．
ングに基づく優決定 BSS（time-frequency-maskingyij = Wi xij(5)
based determined BSS: TFMBSS）[8] が提案された．
TFMBSS は，時間周波数マスクで表される音源モデ
ここで，Wi = [wi1 · · · wiN ]H ∈ CN ×M は周波数毎のルを用いて，線形の（歪みの少ない）多チャネル音分離行列であり，·H はエルミート転置である．優決源分離が可能である．文献 [9] では，調波打撃音分
定条件 BSS では，式 (5) 中の分離行列 Wi を全周波離（harmonic/percussive source separation: HPSS）
数 (i = 1, · · · , I) において推定することが最終的な目[10] に基づく時間周波数マスクを TFMBSS の音源モ標となる．式 (5) で求まる分離信号 yij は，混合信号デルとして用いた手法を新たに提案し，その性能をxij に対する線形フィルタリングであり，自然性の高調査した．さらに，文献 [11] では，時間周波数マスい音源分離が可能な利点がある．
クの生成方法に改良を加え，より排他的な（他音源を2.2 HPSS抑圧するような）時間周波数マスクが得られる処理を新規に導入した．これらの手法は，HPSS に基づく
HPSS [10] は，振幅スペクトログラムの時間方向音源モデルを活用していることから，調波音と打撃及び周波数方向の滑らかさに基づき，調波音及び打音の多チャネル音源分離に利用可能であり，音楽信号撃音を分離する．モノラルの混合信号，分離調波信の解析（コード・テンポ・音階等の推定）等に応用で号，分離打撃信号の複素スペクトログラムをそれぞれきる．
B ∈ CI×J ，H ∈ CI×J ，及び P ∈ CI×J と表すと，文献
本稿では，音源モデルを plug-and-play で変更でき[10] の HPSS では，混合信号 B から H と P を推定
る TFMBSS の利点を活かし，別の調波打撃音分離手するために，次式の目的関数を H 及び P に関して法であるメディアン型 HPSS [12] に基づく TFMBSS最小化する．
を新たに提案する．メディアン型 HPSS は，時間方Xn
2J(H, P ) =γH |hi(j+1) |0.5 − |hij |0.5
向と周波数方向のそれぞれにメディアンフィルタをi,j適用することで，調波打撃音分離を行うモノラル音
2 o源分離手法である．また，提案手法においてフィル+ γP |p(i+1)j |0.5 − |pij |0.5
(6)
タサイズやスムージングパラメータについて実験的に調査し考察する．そして，従来の HPSS に基づく
ここで，hij 及び pij はそれぞれ H 及び P の要素でTFMBSS と性能比較し有用性の検討を行う．
あり，γH > 0 及び γP > 0 は重み係数である．式 (6)の最小化問題は，次の制約条件が課せられている．

2

従来手法

2.1 定式化
音源数と観測チャネル数をそれぞれ N 及び M とし，多チャネル時間信号を STFT して得られる時間
周波数毎の音源信号，観測信号，及び分離信号をそれ∗|bij | = |hij | + |pij |(7)

ここで，bij は B の要素である．式 (6) を最小化する
hij 及び pij は，次の反復更新式で推定できる [10]．
γH |h(i+1)j |0.5 + |h(i−1)j |0.5 |bij |0.5
0.5
q(8)|hij | =(H)(P )cij + cij

Blind source separation based on time-frequency mask using median-type HPSS. By Soichiro OYABU,Daichi KITAMURA (NIT Kagawa), and Kohei YATABE (Waseda Univ.).

日本音響学会講演論文集- 411 -

2021年3月

Algorithm 1 TFMBSS

Initialize

Input: X, w[1] , y[1] , µ1 , µ2 , α
Output: w[k+1]
1: for k = 1, · · · , K do
e = proxµ1 I w[k] − µ1 µ2 X H y[k]2:we − w[k] )3:z = y[k] + X(2we = z − M(z) ⊙ z
4:y5:y[k+1] = αey + (1 − α)y[k]e + (1 − α)w[k]6:w[k+1] = αw
7: end forγP |pi(j+1) | + |pi(j−1) |q(H)(P )cij + cij
0.5

|pij |0.5 =0.5

HPSS-based mask-generating functionin the fourth line of Algorithm 1Smoothing

Smoothedmask

Smoothing
HPSS

InitializeandMask

with
Mask (old)Back projection
Back projection
Harmonic estimate|bij |

0.5

STFT

(9)

TFMBSS

Backprojection

Inverse
STFT
Percussive estimate

Observed signal

(10)
(11)

2.3 TFMBSSTFMBSS [8] とは，時間周波数マスクで表現される音源モデルに基づく優決定条件 BSS である．
TFMBSS のアルゴリズムを Algorithm 1 に示す．ここで，X は多チャネル観測信号の複素スペクトログラム（X1 , · · · , XM ）から構成される行列，w は全周波数の分離行列（W1 , · · · , WI ）をベクトル化した変数，⊙ は要素毎の積を表す（詳細な定義は文献 [8] 参照）．Algorithm 1 の 4 行目の M(z) が，TFMBSS で用いられる時間周波数マスクである．中間変数 z を引数とし分離をさらに促進するような時間周波数マスクを返す関数 M を音源モデルとして活用する．従って，TFMBSS では，M(z) を自由に入れ替えることで，様々な音源モデルを導入した BSS が実現される．

提案手法

3.1 動機文献 [9, 11] では，調波信号と打撃信号の高品質なBSS を目的として，TFMBSS の時間周波数マスク
M(z) に，式 (6) で定式化される HPSS [10] を導入した手法を提案した．この手法のブロック図を Fig. 1 に示す．本手法では，TFMBSS の最適化で得られる中間変数の z から調波信号と打撃信号の時間周波数成分（ZH ∈ CI×J 及び ZP ∈ CI×J ）を抽出し HPSS を適用することで，各信号をさらに強調する時間周波I×J数マスク（MH ∈ RI×J
[0,1] 及び MP ∈ R[0,1] ）を生成している．また，TFMBSS の最適化の安定性を向上させるために，過去の時間周波数マスクとのスムージング処理を導入している．
一方で，メディアンフィルタに基づく HPSS [12] も提案されており，比較的少ない計算量で高い性能が得られることが実験的に示されている [13]．本稿では，更なる分離性能向上を目指して，Fig. 1 中の HPSS のブロックをメディアン型 HPSS に変更した BSS を提案し，従来手法 [11] と実験的に比較する．
3.2 メディアン型 HPSSHPSS は，式 (6) の目的関数で表現される通り，スペクトログラムの時間方向及び周波数方向に滑らかな成分に分離することで調波信号と打撃信号を推定する．式 (6) の最小化とは異なる方法で，同様の原理に基づいて調波打撃音分離を達成した手法として，メディアン型 HPSS [12] が提案されている．本手法は，

日本音響学会講演論文集

withHPSS

2(H)cij = γH 2 |h(i+1)j |0.5 + |h(i−1)j |0.5
2(P )
cij = γP 2 |pi(j+1) |0.5 + |pi(j−1) |0.5

3andFig. 1

Block diagram of TFMBSS based on HPSS.

スペクトログラムの時間方向及び周波数方向にそれぞれメディアンフィルタを適用する．メディアンフィ
ルタは，フィルタを適用する方向のスパイク状の成分を除去できるため，非線形かつ強力な平滑化が施される．従って，時間方向及び周波数方向の滑らかさを強調した信号を推定することができ，調波信号及び打撃信号が得られる．
メディアン型 HPSS は，フィルタサイズ 2L + 1 のメディアンフィルタをシフト長 1 点でずらしながら適用する．メディアンフィルタを適用するベクトルは，次式のように混合信号 B の行及び列の一部となる．

(r)bij = |bi(j−L) |, |bi(j−L+1) |, · · · , |bi(j+L) | ∈ R2L+1≥0(12)
(c)2L+1bij = |b(i−L)j |, |b(i−L+1)j |, · · · , |b(i+L)j | ∈ R≥0(13)これらのベクトルにメディアンフィルタを適用することで，hij 及び pij が推定できる．

|hij | = median(bij )

(r)

(14)

(c)
|pij | = median(bij )(15)

ここで，median(·) は入力されたベクトルの中央値のみをスカラーとして返す関数である．

3.3 メディアン型 HPSS に基づく TFMBSS
本稿における提案手法は，Fig. 1 の HPSS ブロックを，前節のメディアン型 HPSS に置き換えたものとなる．ここで，中間変数 z を，調波音成分及び打撃音成分のスペクトログラムのサイズに整形した変数をそれぞれ ZH 及び ZP と表記している．従来手法 [11]のアルゴリズムを踏襲し，TFMBSS の反復最適化途中で得られる中間変数 ZH 及び ZP のそれぞれに対して，独立なメディアン型 HPSS を適用する．即ち，メディアン型 HPSS による音源強調をフィルタとして考え，調波音成分 ZH の中に残留する打撃音成分や，打撃音成分 ZP の中に残留する調波音成分を取り除く排他的な時間周波数マスクをそれぞれ生成している．
具体的には，Fig. 1 に示すように，TFMBSS で得られる中間変数 ZH 及び ZP を次式のように 2 つの- 412 -

2021年3月

独立なメディアン型 HPSS の観測信号とする．

Table 1|B (ZH ) | = |ZH |(16)|B (ZP ) | = |ZP |(17)

ここで，B (ZH ) ∈ CI×J 及び B (ZP ) ∈ CI×J は調波音成分及び打撃音成分用のメディアン型 HPSS の観測信号である．また，行列に対する演算 | · | は要素毎の絶対値処理を示す．|B (ZH ) | 及び |B (ZP ) | にそれぞれメディアン型 HPSS を適用するため，ZH 中の調波音成分 |H (ZH ) | と打撃音成分 |P (ZH ) | 及び ZP 中の調波音成分 |H (ZP ) | と打撃音成分 |P (ZP ) | の合計 4 種類の信号を推定することとなる．ここで，ZH 中の打撃音成分 |P (ZH ) | と ZP 中の調波音成分 |H (ZP ) | が分離途中の混合信号における残留成分に該当する．そして，得られた調波音成分と打撃音成分のパワースペクトログラムから，次式の Wiener フィルタを構築し，これを新たな時間周波数マスクとする．

[MH ]ij =(Z )(Z )|pij P |2(Z )

(Z )

(Z )

(19)

(Z )

ここで，hij H ，pij H ，hij P ，及び pij P はそれぞれH (ZH ) ，P (ZH ) ，H (ZP ) ，及び P (ZP ) の要素である．
さらに，MH 及び MP はそれぞれの観測信号中の残留成分を抑圧する時間周波数マスクであり，[M]ij はマスク M の ij 要素を表す．これより，排他的な時間周波数マスクを生成し，TFMBSS を反復最適化するアルゴリズムとなっている．
TFMBSS では，時間周波数マスク M が反復毎に大きく変動する場合，安定した音源分離ができない場合がある．この問題に対処するために，マスクを生成する度に，次式で 1 反復前のマスク Mold とのスムージングを施す．

M = Mβ ⊙ Mold βold

(20)

ここで，β 及び βold はそれぞれスムージング度合いを決定するパラメータであり，β + βold = 1 を満たす．式 (20) の処理を MH 及び MP のそれぞれに施す．これを新たな時間周波数マスクとして TFMBSSに返され，Algorithm 1 の 4 行目として，中間変数 z中の調波音成分と打撃音成分にそれぞれ適用される．
なお，TFMBSS も IVA や ILRMA と同様に分離信号のスケールを推定できない為，TFMBSS からメディ
アン型 HPSS に変数を引き渡すタイミングで，中間変数 ZH 及び ZP に対してプロジェクションバック法[14] を適用し，周波数毎のスケールを補正している．

4実験

4.1 実験条件
提案手法の有効性を確認するために，音楽信号中のドラムとそれ以外の楽器音の音源分離実験を行った．
本実験では，SiSEC2016 [15] の DSD100 データセッ
ト中のドラム音源（drums）とその他の音源（other）を 20 曲選んだ．これらのドライソースを，文献 [16]に記載のマイク間隔 5.66 cm 及び音源方位 50◦ &130◦の E2A インパルス応答 [17]（残響長 300 ms）で畳み

日本音響学会講演論文集

Number of iterations in BSS

Hann window
128 ms64 ms
α = 0.25µ1 = µ2 = 1.0500

Table 2 Average SDR improvements of proposed
method with various ﬁlter sizes
Filter size357
9111315171921! 12|hij P |2 + |pij P |2(Z )Parameters in TFMBSS

(18)

(Z )

|hij H |2 + |pij H |2(Z )[MP ]ij =Window function in STFT
Window length in STFT
Shift length in STFT

! 12(Z )|hij H |2Experimental conditions

Average SDR improvement [dB]
7.28
10.33
11.44
11.67
11.80
11.97
11.96
12.04
12.02
12.00

込み，多チャネル混合信号を作成した．評価指標には，音源対歪み比（source-to-distortion ratio: SDR）
[18] の改善量を用いた．その他の実験条件を Table 1に示す．

4.2 メディアンフィルタサイズに対する性能の変化提案手法では，メディアンフィルタのサイズ 2L + 1を設定してから推定を行う．このときのフィルタサイズを変化させることによる SDR 改善量の変化を調査した．
提案手法における全 20 曲の平均 SDR 改善量を Table 2 に示す．ここで，時間方向と周波数方向のフィルタサイズは同一に固定した．また，本実験におけるスムージングパラメータは βold = 0.75 及び β = 0.25であり，これはアルゴリズムの安定性と分離性能のバランスを考慮した最適な設定値である（次節の実験結果に基づく）．Table 2 の結果より，本実験条件では，フィルタサイズは 17 点が最適であることが確認された．スムージングパラメータを変更した際，最適な数値が変動することも実験的に確認しているが，おおよそ 17 点周辺の値であった．以降の実験では，この結果に基づき，提案手法のフィルタリングサイズを 17点と設定する．
4.3 スムージングパラメータに対する性能の変化
次に，提案手法におけるスムージングの有効性を検証する．提案手法において，βold 及び β のみを変化させた場合の反復毎の SDR 改善量の一例（song no. 20）を Fig. 2 に示す．但し，常に βold + β = 1 である．さらに，提案手法における全 20 曲の平均 SDR 改善量をTable 3 に示す．Fig. 2 の βold = 0 と βold = 0.5 のように低く設定すると，極端に分離性能が下がる瞬間が所々で存在する．従って，最終的な分離結果の性能が極端に下がってしまう可能性がある．一方，βold を高く設定した場合（スムージング強くした場合），SDR改善量の推移は安定するが，収束速度が遅くなるため，より多い反復最適化が要求される．また，収束時の SDR 改善量値も βold = 0.75 の例と比較すると低下していることが分かる．以上より，最終的な収束値- 413 -

2021年3月

た．さらに提案手法におけるパラメータの検討として，フィルタサイズ及びマスクのスムージング度合
いにおいて比較実験を行い，性能の変化を確認した．
提案手法は，従来の HPSS に基づく TFMBSS よりも性能改善かつ高速化を達成できることを示した．

SDR improvement [dB]

14121086

old = 04

old = 0.52old = 0.75

謝辞 本研究の一部は JSPS 科研費 19K20306 の助成を受けたものである。

old = 0.875

0old = 0.9375-20100200300

Number of iterations

400500Fig. 2 Example of convergence behaviors of proposed method with various βold and β (song no. 20).
Table 3 Average SDR improvements of proposed
method with various smoothing parameters β andβoldAverage SDR improvement [dB]

β1
0.5
0.25
0.125
0.0625

βold
00.5
0.75
0.875
0.9375

Average SDR improvement [dB]
11.58
11.77
12.04
11.73
10.94

1210
8
64Conventonal method

2Proposed method
0020

4060

80

100120140

Elapsed time [s]Fig. 3 Average convergence behaviors of SDR improvements in conventional and proposed methods
in terms of elapsed time.と安定性のトレードオフを考慮すると，βold = 0.75及び β = 0.25 が最適であることが分かる．これらの傾向は，従来手法 [11] と同様であり，音源モデルには依存しないことが確認された．

4.4 従来手法との性能比較
最後に，従来手法 [11] と提案手法の性能比較を行う．但し，従来手法のパラメータは文献 [11] での実験結果における最適パラメータを用いる．これは，提案手法の最適パラメータと全く同一である．Fig. 3 は，計算に要する経過時間に対する，データセット 20 曲全ての平均 SDR 改善量の比較である．この結果より，提案手法は従来手法よりも分離性能が若干向上し，分離に要する時間は半分以下であることが確認された．
よって調波音と打撃音の分離において従来手法よりも高速かつ高性能な多チャネル BSS であることが確認できる．

5

まとめ

本稿では，新たにメディアン型 HPSS の音源モデルに基づいて，マスクを生成する TFMBSS を提案し

日本音響学会講演論文集

参考文献[1] H. Sawada, N. Ono, H. Kameoka, D. Kitamura, andH. Saruwatari, “A review of blind source separation methods: Two converging routes to ILRMA originating fromICA and NMF,” APSIPA Transactions on Signal and Information Processing, vol. 8, no. e12, pp. 1–14, 2019.
[2] P. Comon, “Independent component analysis, a new concept?,” Signal Processing, vol. 36, no. 3, pp. 287–314,1994．
．
[3] T. Kim, H. T. Attias, S.-Y. Lee, and T.-W. Lee, “Blindsource separation exploiting higher-order frequency dependencies,” IEEE Trans. Audio, Speech, and Language Processing, vol. 15, no. 1, pp. 70–79, 2007．
[4] N. Ono, “Stable and fast update rules for independent vector analysis based on auxiliary function technique,” Proc.
Workshop on Applications of Signal Processing to Audioand Acoustics, pp. 189–192, 2011.
[5] D. Kitamura, N. Ono, H. Sawada, H. Kameoka, andH. Saruwatari, “Determined blind source separation unifying independent vector analysis and nonnegative matrix
factorization,” IEEE/ACM Trans. Workshop on Applications of Signal Processing to Audio and Acoustics, vol. 24,no. 9, pp. 1626–1641, 2016.
[6] D. Kitamura, N. Ono, H. Sawada, H. Kameoka, andH. Saruwatari, “Determined blind source separation withindependent low-rank matrix analysis,” In Audio Source
Separation, S. Makino, Ed., pp. 125–155, Springer, Cham,2018．
[7] H. Sawada, R. Mukai, S. Araki, and S. Makino, “A robust
and precise method for solving the permutation problem offrequency-domain blind source separation,” IEEE Trans.
SAP, vol. 12, no. 5, pp. 530–538, Sep. 2004.
[8] K. Yatabe and D. Kitamura, “Time-frequency-maskingbased determined BSS with application to sparse IVA,”
Proc. International Conference on Acoustics, Speech, andSignal Processing, pp. 715–719, 2019．
[9] 大藪宗一郎, 北村大地, 矢田部浩平, “調波打撃音分離の時間周波数マスクを用いた線形ブラインド音源分離,” 日本音響学会 2020年春季研究発表会講演論文集, pp. 313–316, 2020．
[10] N. Ono, K. Miyamoto, J. Le Roux, H. Kameoka, andS. Sagayama, “Separation of a monaural audio signal into
harmonic/percussive components by complementary diﬀusion on spectrogram,” Proc. European Signal Processing
Conference, 2008.
[11] 大藪宗一郎, 北村大地, 矢田部浩平, “調波打撃音分離の排他的マスキングに基づくブラインド音源分離,” 日本音響学会 2020 年
秋季研究発表会講演論文集, pp. 283–286, 2020．
[12] D FitzGerald, “Harmonic/percussive separation using median ﬁltering,” Proc. International Conference on Digital
Audio Eﬀects (DAFx), vol. 13, 2010．
[13] Y. Masuyama, K. Yatabe, and Y. Oikawa, “Phase-aware
harmonic/percussive source separation via convex optimization,” Proc. International Conference on Acoustics,Speech, and Signal Processing, pp. 985–989, 2019.
[14] N. Murata, S. Ikeda, and A. Ziehe, “An approach to blindsource separation based on temporal structure of speech
signals,” Neurocomputing, vol. 41, no. 1–4, pp. 1–24, 2001.
[15] A. Liutkus, F.-R. Stöter, Z. Raﬁi, D. Kitamura, B. Rivet,N. Ito, N. Ono, and J. Fontecave, “The 2016 signal separation evaluation campaign,” Proc. 13th International Conference on Latent Variable Analysis and Signal Separation, pp. 323–332, 2017.
[16] D. Kitamura, N. Ono, and H. Saruwatari, “Experimental
analysis of optimal window length for independent low-rankmatrix analysis,” Proc. EUSIPCO, pp. 1210–1214, 2017.
[17] S. Nakamura, K. Hiyane, F. Asano, T. Nishiura, and T. Yamada, “Acoustical sound database in real environments forsound scene understanding and hands-free speech recognition,” Proc. Language Resources and Evaluation Conference, pp. 965–968, 2000.
[18] E. Vincent, R. Gribonval and C. Fevotte, “Performancemeasurement in blind audio source separation,” IEEE
Trans. Audio, Speech, and Language Processing, vol. 14,
no. 4, pp. 1462–1469, 2006.

- 414 -2021年3月