2-P-38
ユーザーからの補助情報を用いるインタラクティブ音源分離システム ∗☆中野将生, 北村大地 （香川高専）
本稿では，ILRMA に基づく BSS に対してユーザとのインタラクションを導入することで，高精度な音源分離を達成するシステムを新たに提案する．具体
的には，ILRMA の最適化の途中で現状の分離結果をユーザに提示し，ブロックパーミュテーション問題が生じていた場合はユーザによるアノテーション情報を利用することで，パーミュテーション不整合を修正しつつ最適化を続けるアルゴリズムを構築する．

Block permutation

2

従来手法

2.1

定式化

音源数と観測チャネル数をそれぞれ N 及び M とし，各時間周波数における音源信号，観測信号及び分離信号をそれぞれFig. 1 Example of block permutation.

sij = (sij,1 · · · sij,N ) ∈ CN ×1
T

1

はじめにブラインド音源分離（blind source separation:BSS）とは，複数の音源が混合された観測信号から混合系に関する事前情報を用いず混合前の音源を推定する技術である．観測チャネル数が音源数以上となる優決定条件では，音源信号間の独立性を利用して音源分離を行う独立成分分析（Independent componentanalysis: ICA）[1] に基づく手法が盛んに研究されている．特に，音響信号の混合時に生じる残響の影響を考慮するため，時間周波数領域での線形時不変な瞬時混合を仮定して周波数ビン毎に ICA を適用する周波数領域 ICA（frequency-domain ICA: FDICA）[2]が提案されている．
FDICA では，周波数毎に独立な ICA による推定が行われることから，分離信号の順番が周波数毎にばらばらになってしまう問題がある．これはパーミュテーション問題 [3] と呼ばれ，これまでに様々なパーミュテーション解決法が提案されてきた [3–5]．近年では，パーミュテーション問題を極力起こさずに音源分離を行う手法として，同一音源の分散（パワー）が全周波数ビンで共起性を持つことを仮定する独立ベクトル分
析（independent vector analysis: IVA）[6, 7] や，同一音源の時間周波数の共起性が低ランク構造を持つことを仮定する独立低ランク行列分析（independentlow-rank matrix analysis: ILRMA）[8, 9] が提案されている．特に ILRMA は，音源の時間周波数構造の低ランク性仮定が良く合致する音楽信号において，頑健かつ高精度な BSS を実現しているが，音声信号の分離問題においては IVA と同程度の性能となる場合も多く [10]，実用においては課題が残る．
IVA や ILRMA が音声信号の BSS において分離に失敗する主な原因は，ブロックパーミュテーション問題と呼ばれる現象が起こることである [6, 11, 12]．これは，Fig. 1 のように，隣接する周波数ビン間でのパーミュテーション問題が解決されているにもかかわらず，まとまった周波数帯域がブロックとしてパーミュテーション不整合を起こす問題である．
∗T

M ×1

TN ×1xij = (xij,1 · · · xij,M ) ∈ Cyij = (yij,1 · · · yij,N ) ∈ C(1)(2)(3)と表す．ここで，i = 1, · · · , I は周波数インデックス，
j = 1, · · · , J は時間インデックス，n = 1, · · · , N は音源インデックス，m = 1, · · · , M はチャネルインデッ
クスを示し，T は転置を表す．また，各信号の複素スペクトログラム行列を Sn ∈ CI×J ，Xm ∈ CI×J ，Yn ∈ CI×J で表す．これらの行列の要素はそれぞれ
sij,n ，xij,m ，yij,n である．混合系が線形時不変であり，時間周波数領域での複素瞬時混合で表現できると仮定すると，周波数毎の時不変な複素混合行列 Ai =T(ai,n · · · ai,N ) ∈ CM ×N （ai,n = (ai,n1 · · · ai,nM )は各音源のステアリングベクトル）が定義でき，観測信号を次式で表現できる．

xij = Ai sij(4)

この混合モデルは，時不変混合系の残響時間が短時間フーリエ変換（short time fourier transform: STFT）の窓長よりも十分に短い場合に成立する．この時，
M = N かつ Ai が正則であれば，分離ベクトルTwi,n = (wi,n1 · · · wi,nM ) で構成される分離行列
HA−1≈ Wi = (wi,1 · · · wi,N ) ∈ CN ×M が存在し，i
分離信号は次式で与えられる．

yij = Wi xij(5)

ここで，H はエルミート転置を表す．線形時不変を仮定する優決定条件下での BSS では，この分離行列 Wiを求めることが目標である．本稿では，観測チャネル数と音源数が等しいと仮定（M = N ）する．

2.2

ILRMA の生成モデルと更新式

FDICA におけるパーミュテーション問題を避けるため，IVA では同一音源の全周波数ビンのパワーの共起性を仮定しつつ，複数音源間の独立性を最大化している．このような音源モデル（同一音源の時間周波数

Interactive audio source separation informed by user annotation by Masaki Nakano and Daichi Kitamura(NIT Kagawa).

日本音響学会講演論文集- 421 -2020年3月

構造に関する仮定）をより一般化するため，IVA の音源モデルに非負値行列因子分解（nonnegative matrix
factorization: NMF）[13] を導入した手法が ILRMA[8, 9] である．
ILRMA では次式の複素ガウス分布を音源信号の生成モデルとして仮定する．
Yp(Y1 , · · · , Yn ) =p(Yn )n=Yp(yij,n )

n,i,j=

|yij,n |21
exp −πrij,nrij,nn,i,jY(6)

ここで，rij,n は音源 n の時間周波数毎のパワーであり，rij,n = E[|yij,n |2 ] である．さらに，rij,n を要素に持つ時間周波数行列を Rn ∈ RI×J
≥0 とおくと，この分散行列が次式のように NMF でモデル化される低ランク構造を持っていることを仮定する．

Rn = Tn Vn
Xrij,n =tik,n vkj,n(8)K×J
ここで，Tn ∈ RI×K
はそれぞれ音≥0 及び Vn ∈ R≥0
源 n の分散行列をモデル化する非負行列（基底行列及びアクティベーション行列）であり，tik,n 及び vkj,nはこれらの要素である．また，k = 1, · · · , K は基底行列 Tn 中の基底ベクトルのインデクスである．従って ILRMA では，同一音源の分散の時間周波数構造が高々K 個の基底で表される低ランク構造を持つことが仮定されている．
ILRMA では，式 (6) の生成モデルに基づいて，変数 Wi ，Tn ，及び Vn の最尤推定を行う．式 (6) の負対数尤度は次式となる．
XX  |yij,n |2+ log rij,nL = −2Jlog | det Wi | +rij,ni,j,n(9)ILRMA では，分離信号のパワースペクトログラム|Yn |.2 （ここで，行列に対する演算 | · |.2 は，要素毎に絶対値を取って二乗した行列を返す演算を表す）を低ランク分散行列 Rn （ランク K 行列）でモデル化し，その時間周波数の共起性を加味しながら分離行列Wi を推定する．混合前の音源のパワースペクトグラ
ム |Sn |.2 が低ランクであれば，混合信号のパワース
ペクトグラム |Xn |.2 のランクは基本的に増加することから，ILRMA は分離信号を低ランクに誘導することでパーミュテーション問題を避けつつ，互いに独立となる分離信号を推定している．
LRMA の最尤推定問題は式 (9) の最小化問題と等価である．分離行列 Wi は，その行ベクトルである wi,nを次に示す反復射影法（iterative projection: IP）[7]で全ての n について更新することで最適化される．
1X 1xij xH(10)
Ui,n =ijJ j rij,nwi,n ← (Wi Ui,n )−1en

Hwi,n ← wi,n wi,nUi,n wi,n

日本音響学会講演論文集

H
yij,n ← wi,nxij(11)
− 12(12)(13)

分散行列の更新式は板倉斎藤擬距離 [14] に基づく
NMF [15] と同様に，乗算型反復更新式で最適化できる．
vPuPu j |yij,n |2 vkj,n ( k′ tik′ ,n vk′ j,n )−2ttik,n ← tik,nP
P−1′′j vkj,n (k′ tik ,n vk j,n )(14)P−22′ tik ′ ,n vk ′ j,n )i |yij,n | tik,n (PP k−1′′i tik,n (k′ tik ,n vk j,n )(15)

sPvkj,n ← vkj,nTn 及び Vn の更新後は，推定分散を次式で更新する．
R n ← T n Vn

(7)

ki×1
ここで，en ∈ RN
{0,1} は n 番目の要素が 1，それ以外が 0 となるようなベクトルである．分離ベクトル更新後の分離信号は次式で更新する．

3

提案手法

3.1

動機

(16)

IVA や ILRMA で複数音声を分離する場合，Fig. 1に示すようなブロックパーミュテーション問題が発生する場合がある．これは，音声信号の周波数帯域間の高次相関を推定する際に，共起性や低ランク性を仮定しても誤った局所最適解に陥り，別の音源の成分を同一音源の成分とみなす事が主な原因と考えられる．
このため，最適化の途中でブロックパーミュテーション問題が生じた場合，そのまま反復計算による最適化を継続しても，ブロック帯域内での分離は進むものの，ブロックパーミュテーションが解決されることは殆どない．
しかし，Fig. 1 からも確認できるように，音声信号や音楽信号等のブロックパーミュテーションは（各周波数ビンで音源が十分分離できていれば）分離信号のパワースペクトログラムに対する目視で確認・判別できる可能性が高い．そこで本稿では，web フロントエンドを用いたインタラクティブなアノテーション付与機能を作成し，ユーザからのアノテーション情報をILRMA にフィードバックするシステムを構築する．
3.2

アノテーションの種類と指定方法

Fig. 2 は，音源数 N = 2 の場合の Web フロントエ
ンドのインターフェース画面を示している．ユーザはスペクトログラム上をマウスでドラッグすることで部分的な領域を指定することができる．Fig. 2 では，ブロックパーミュテーション問題が生じている周波数ビンのみを含むような領域指定をしている．また，指定した領域が何番目の音源に属すかをテキストボッ
クスに記述できる．最後に，画面下部の Frequencyのラジオボタンをクリックし submit を押すことで，ILRMA にブロックパーミュテーション問題が生じている周波数ビンの情報が送信される．また，提案するインターフェースでは，周波数の範囲だけでなく時間の範囲指定も可能である．例えば，2 人の話者の内一方しか発話していない時間範囲を指定し，画面下部の Time のラジオボタンをクリックし submit を押- 422 -

2020年3月

すことで，ILRMA に 1 音源のみ沈黙している時間範囲の情報が送信される（この場合テキストボックスの内容は破棄される）．なお，いずれのスペクトログラ
ムも play ボタンを押すことで分離音を聞くことができ，ユーザが領域を指定する際の参考にできる．

Mixtureブロックパーミュテーションの周波数帯の直接指定

No. 3

3.3Table 1
No. 1
No. 2

Sources used in experiment.

Source signals
dev1 female3 synthconv 130ms 5cm sim 1
dev1 female3 synthconv 130ms 5cm sim 2
dev1 male3 synthconv 130ms 5cm sim 1
dev1 male3 synthconv 130ms 5cm sim 2
dev1 male3 synthconv 130ms 5cm sim 1
dev1 female3 synthconv 130ms 5cm sim 2

今，パーミュテーションが誤っている周波数範囲の開始点 i = p と終了点 i = q （ここで 0 ≤ p < q ）及び領域指定中の音源インデクス n = b と正しいパーミュテーションとなる交換先の音源インデクス n = c（ブロックの移動先）がユーザから与えられた状況を考える．この場合，以後の ILRMA の更新では該当周波数ビンの分離フィルタ wi,n と基底成分 tik,n について入れ替え処理を行えばよいので，次式のような処理を行う．

wp,b · · · wq,b ⇔ wp,c · · · wq,c(17)tpk,b · · · tqk,b ⇔ tpk,c · · · tqk,c ∀k(18)

Annotation of block
permutation by user

ここで，⇔ は入れ替えを意味する．式 (17) 及び (18)で成分を入れ替えた後は，一度全ての n について分散行列を式 (16) で更新し，ILRMA の反復最適化を再開する．

3.4

1 音源が沈黙している時間範囲の指定

今，n 番目の音源のみ沈黙している時間範囲の開始
点 j = p と終了点 j = q （ここで 0 ≤ p < q ）がユーザから与えられた状況を考える．この場合，以後のILRMA の更新では，次式のように，該当時間フレームのアクティベーション成分 vkj,n に非常に小さな値を乗じる処理を行う．

vkp,n · · · vkq,n ← εvkp,n · · · εvkq,n ∀k(19)

ここで，ε は適当に定めた微小な値である．式 (19) の更新後は，一度全ての n について分散行列を式 (16)で更新し，ILRMA の反復最適化を再開する．

4実験

4.1

実験条件

比較のための信号には SiSEC2011 [16] の UND タス
クの 6 信号を用いた．Table. 1 に信号名を示す．STFT
は 128 ms のハミング窓を 64 ms のシフトで行った．
比較対象及び提案手法での NMF 部分の基底数は，ILRMA の基底数は全て K = 4 とした．提案手法の式(19) 中の ε は 10−15 とした．評価値には source-todistortion ratio（SDR）[17] の改善量を用いた．実験では ILRMA を 50 回反復した後，従来手法ではそのまま残りの 50 回反復を継続し，提案手法ではユーザからのアノテーション情報を与えた上で同様に 50 回反復を継続した．

4.2

実験結果

Fig. 2 の状態において，ブロックパーミュテーションの周波数範囲を指定し ILRMA を 50 回反復したときの結果が Fig. 3 である．これを見ると，ブロックパーミュテーション問題を起こしていた周波数帯域が修復されている様子が分かる．Fig. 4 にブロックパーミュテーションを直接指定した場合の SDR 改善量の日本音響学会講演論文集

Fig. 2User interface (before annotated).

推移を示す．Nos. 1 及び 2 の混合音源において，アノテーションを用いた補正後に SDR が改善する現象が確認できる．とくに no. 2 の例の改善量は大きく，提案システムが上手く動いた例といえる．一方で，従来の ILRMA ですでに十分な SDR 改善量を達成している no. 1 の混合音源については，アノテーション情報を用いても大きな変化は得られなかった．また，実際に本システムを利用した印象として，STFT の窓長が長くなるとブロックパーミュテーションの境界線が目視で確認しづらくなった．従って，残響の長い環境での混合信号の場合は，周波数範囲指定よりも沈黙時間範囲の指定の方が幾分容易と思われる．
Fig. 5 は，沈黙時間範囲を指定した場合の SDR 改善量の推移である．アノテーションによる補正後にSDR が上昇する例も確認できるが，全体的に大きな変化は見られなかった．今回用いた音源では 2 人の話者が継続的に発話しているため，今後は通常の会話のように沈黙時間が明確に存在する例での効果を確認する必要がある．

5まとめ

本稿では，ユーザーとのインタラクションを利用した音源分離手法として，ILRMA に対してアノテーション情報を与えるシステムを提案した．本システ
ムでは，ブロックパーミュテーション問題が生じる帯域や特定の音源が沈黙している時間範囲をアノテーションとして与えることができる．実験の結果，音源分離精度の向上に一定の効果があることを確認した．

- 423 -

2020年3月

SDR improvement [dB]108642ILRMA w/ annotation (no. 1)
ILRMA only (no. 1)
ILRMA w/ annotation (no. 2)
ILRMA only (no. 2)
ILRMA w/ annotation (no. 3)
ILRMA only (no. 3)

020Fig. 5

Fig. 3 Spectrograms of block-permutation-ﬁxed estimated signals.

Fig. 4

SDR improvement by ﬁrst method.

一方で，アノテーションの作成難度が残響長に依存する問題が残るため，より適切なユーザインタフェースを作成することが課題となった．
謝辞 本研究の一部は JSPS 科研費 19K20306 の助成を受けたものである

参考文献[1] P. Comon, “Independent component analysis, a newconcept?” Signal Process., vol. 36, no. 3, pp. 287–314,1994.
[2] P. Smaragdis, “Blind separation of convolved mixturesin the frequency domain,” Neurocomputing, vol. 22,no. 1, pp. 21–34, 1998.
[3] H. Sawada, R. Mukai, S. Araki, and S. Makino, “A robust and precise method for solving the permutation
problem of frequency-domain blind source separation,”
IEEE Trans. SAP, vol. 12, no. 5, pp. 530–538, 2004.
[4] N. Murata, S. Ikeda, and A. Ziehe, “An approach toblind source separation based on temporal structure of

日本音響学会講演論文集

204060Iteration [times]

80100

SDR improvement by second method.

speech signals,” Neurocomputing, vol. 41, no. 1, pp. 1–24, 2001.
[5] H. Saruwatari, T. Kawamura, T. Nishikawa, A. Lee, andK. Shikano, “Blind source separation based on a fastconvergence algorithm combining ICA and beamforming,” IEEE Trans. ASLP, vol. 14, no. 2, pp. 666–678,
2006.
[6] T. Kim, H. Attias, S.-Y. Lee, and T.-W. Lee, “Blindsource separation exploiting higher-order frequency dependencies,” IEEE Tran. ASLP, vol. 15, no. 1, pp. 70–79, 2007.
[7] N. Ono, “Stable and fast update rules for independentvector analysis based on auxiliary function technique,”in Proc. WASPAA, 2011, pp. 189–192.
[8] D. Kitamura, N. Ono, H. Sawada, H. Kameoka, andH. Saruwatari, “Determined blind source separation unifying independent vector analysis and nonnegative matrix factorization,” IEEE Trans. ASLP, vol. 24, no. 9,
pp. 1622–1637, 2016.
[9] K. Daichi, O. Nobutaka, S. Hiroshi, K. Hirokazu, and
S. Hiroshi, “Determined blind source separation withindependent low-rank matrix analysis,” in Audio Source
Separation, 2018, pp. 125–155.
[10] D. Kitamura, N. Ono, and H. Saruwatari, “Experimentalanalysis of optimal window length for independent lowrank matrix analysis,” in Proc. EUSIPCO, 2017, pp.
1170–1174.
[11] Y. Liang, S. Naqvi, and J. Chambers, “Overcoming
block permutation problem in frequency domain blindsource separation when using auxiva algorithm,” Electronics Letters, vol. 48, no. 8, pp. 460–462, 2012.
[12] Y. Mitsui, D. Kitamura, N. Takamune, H. Saruwatari,
Y. Takahashi, and K. Kondo, “Independent low-rankmatrix analysis based on parametric majorizationequalization algorithm,” in Proc. CAMSAP, 2017, pp.
1–5.
[13] D. D. Lee and H. S. Seung, “Learning the parts of objects
by non-negative matrix factorization,” Nature, vol. 401,no. 6755, pp. 788–791, 1999.
[14] F. Itakura and S. Saito, “Analysis synthesis telephonybased on the maximum likelihood method,” Proc. ICA,
pp. C–17–C–20, 1968.
[15] C. Févotte, N. Bertin, and J.-L. Durrieu, “Nonnegativematrix factorization with the itakura-saito divergence:With application to music analysis,” Neural Comput.,vol. 21, no. 3, pp. 793–830, 2009.
[16] S. Araki, F. Nesta, E. Vincent, Z. Koldovsky, G. Nolte,
A. Ziehe, , and A. Benichoux, “The 2011 signal separation evaluation campaign (sisec2011):-audio source separation,” in Proc. LVA/ICA, 2012, pp. 414—-422.
[17] E. Vincent, R. Gribonval, and C. Févotte, “Performancemeasurement in blind audio source separation,” IEEE
Trans, ASLP, vol. 14, no. 4, pp. 1462–1469, 2006.

- 424 -

2020年3月