2-R2-13
スペクトログラム無矛盾性を用いた独立低ランク行列分析 ∗☆豊島直, 北村大地 (香川高専), 矢田部浩平 (早稲田大)

1

はじめに音源分離とは，複数の音源が混合した観測信号から，混合前の音源を推定する技術である．特に，音源位置やマイクロホン位置等が未知の条件で音源分離を達成する技術はブラインド音源分離（blind sourceseparation: BSS）と呼ばれる．観測信号のチャネル数（マイクロホン数）と混合されている音源数が等しい条件下では，独立成分分析（independent componentanalysis: ICA）[1] に基づく BSS として，周波数領域 ICA（frequency-domain ICA: FDICA）[2]，独立ベクトル分析（independent vector analysis: IVA）
[3, 4]，及び独立低ランク行列分析（independent lowrank matrix analysis: ILRMA）[5, 6] 等が提案されてきた．これらはいずれも，FDICA におけるパーミュテーション問題 [7]（周波数毎に得られる分離信号の順序を整列する問題）を解決するための FDICA の拡張である．IVA や ILRMA は，その分離性能の高さや初期値に対する頑健性等の利点から，数多くの改良手法や一般化手法へと発展している（例えば [8] 等）．
一方，多くの音響信号処理で用いられる短時間フーリエ変換（short-time Fourier transform: STFT）では，窓関数とそのオーバーラップにより近傍時間周波数グリッドに共起性が生じる（文献 [9] の Fig. 1 参照）．これは時間周波数表現された信号が根本的に有している性質であり，スペクトログラム無矛盾性と呼ばれる [10, 11]．近年，このスペクトログラム無矛盾性を FDICA や IVA に導入した BSS が提案され，分離行列最適化時のパーミュテーション問題の解決をアシストする新しい基準となることが示された [9]．その原理は，分離信号のパーミュテーションが近傍周波数で異なる場合に，スペクトログラム無矛盾性（隣接周波数の共起関係等）が大きく損なわれるという性質に基づいている（文献 [9] の Fig. 2 参照）．
本稿では，文献 [9] で示された結果に基づき，より高精度な BSS 達成を目的として，スペクトログラム無矛盾性を ILRMA に導入したアルゴリズムを提案する．また，音楽信号と音声信号の BSS 実験を通して，ILRMA においてもスペクトログラム無矛盾性が分離性能の向上に貢献することを示す．

ネル），及び離散時間のインデクスであり，·T は転置を表す．BSS では，音源信号 s に近い分離信号 y を，観測信号 x から推定することが目的となる．
FDICA，IVA，及び ILRMA 等の周波数領域 BSS
では，信号を時間周波数領域で取り扱う．STFT における窓長とシフト長をそれぞれ Q 及び τ とおくと，信号 z[l] の j 番目の短時間セグメントは次式となる．
[z [j] = z[(j − 1)τ + 1], z[(j − 1)τ + 2],]T· · · , z[(j − 1)τ + Q][]T= z [j] [1], · · · , z [j] [q], · · · , z [j] [Q] ∈ RQ
ここで，j = 1, 2, · · · , J 及び q = 1, 2, · · · , Q はそれ
ぞれ短時間セグメント及びセグメント内サンプルのインデクスを表す．セグメント数は（必要に応じて信号に零詰めを行ったうえで）J = L/τ となる．信号z = [ z[1], · · · , z[l], · · · , z[L] ]T ∈ RL の STFT を

Z = STFTω (z) ∈ CI×Jと表し，Z の (i, j) 要素は次式で与えられる．

zij =Q∑ω[q] z [j] [q] e−ı2π(q−1)(i−1)/F

ここで，i = 1, 2, · · · , I は周波数ビンのインデクス，
F は ⌊F/2⌋ + 1 = I を満たす整数，⌊·⌋ は床関数，ı
は虚数単位，及び ω は解析時の窓関数を表す．合成時の窓関数を ω̃ とおくとき，逆 STFT を ISTFTω
e (·)と表記する．本稿では，ω と ω̃ のペアが次式の完全再構成条件を満たすことを仮定する．

∀z ∈ RLz = ISTFTωe (STFTω (z))

2.1 STFT 及び BSS の定式化
離散時間信号の l 番目のサンプルを x[l] のように表記し，N 個の音源信号が M 個のマイクロホンで観測される状況を考える．多チャネルの音源信号，観測信号，及び分離信号をそれぞれ次式で表す．
[]T∈ RNs[l] = s1 [l], · · · , sn [l], · · · sN [l][]Tx[l] = x1 [l], · · · , xm [l], · · · xM [l]∈ RM[]Ty[l] = y1 [l], · · · , yn [l], · · · yN [l]
∈ RN

(1)
(2)
(3)

T

sij = [ sij1 , · · · , sijn , · · · sijN ]xij = [ xij1 , · · · , xijm , · · · xijM ]

T

∈ CN

(7)

∈CM

(8)

∈ CN

(9)

また，式 (7)–(9) の時間周波数行列をそれぞれ Sn ∈CI×J ，Xm ∈ CI×J ，及び Yn ∈ CI×J と定義する．
周波数領域 BSS では，次式の瞬時混合を仮定する．

xij = Ai sij(10)

ここで，Ai ∈ CM ×N は周波数毎の混合行列である．
式 (10) は，混合系の残響時間が窓長よりも十分短い場合に近似的に成立する．
以後，決定的な系（M = N ）を考える．この場合，
BSS は Ai の逆行列を推定する問題となる．この逆行列を Wi ≈ A−1
i とすると，分離信号は次式となる．

ここで，n = 1, 2, · · · , N ，m = 1, 2, · · · , M ，及びl = 1, 2, · · · , L はそれぞれ音源，マイクロホン（チャ∗(6)各チャネルに STFT を適用して得られる音源信号，観測信号，及び分離信号のスペクトログラムの (i, j)番目の要素をそれぞれ次式で表す．

yij = [ yij1 , · · · , yijn , · · · yijN ]BSS とスペクトログラム無矛盾性

(5)

q=1

T2

(4)

yij = Wi xij(11)

Independent low-rank matrix analysis based on spectrogram consistency. By Nao TOSHIMA, Daichi
KITAMURA (NIT Kagawa), and Kohei YATABE (Waseda Univ.).

日本音響学会講演論文集- 291 -2020年9月

ここで，Wi = [wi1 , · · · , win , · · · , wiN ]H ∈ CN ×M
は分離行列と呼ばれ，·H はエルミート転置を表す．
ICA に基づく BSS では，分離音源のスケールや順序が不定であるため，次式の任意性が存在する．

ŷij = Ŵi xij(Ŵi = Di Pi Wi )(12)

ここで，Di ∈ CN ×N 及び Pi ∈ {0, 1}N ×N はそれぞれ任意の対角行列及びパーミュテーション行列である．周波数毎のスケールの任意性についてはプロジェ
クションバック法 [13] によって解析的に復元可能であるが，周波数毎の分離信号の順序の整列はパーミュテーション問題と呼ばれ，大きな課題である．

2.2

スペクトログラム無矛盾性に基づくパーミュテーション解決 [9]

文献 [9] では，スペクトログラム無矛盾性と呼ばれる STFT の性質を用いてパーミュテーション問題が解決できる可能性が示されている．スペクトログラム
は本来，時間周波数表現における不確定性原理より，近傍の時間周波数成分が共起関係を持つ．スペクト
ログラム Z において，この共起関係が崩れている状態を矛盾と呼び，逆 STFT はその矛盾した成分を無矛盾な状態に復元する．即ち，Z の無矛盾性はE(Z) = Z − STFTω (ISTFTωe (Z))(13)のノルム ∥E(Z)∥ によって特徴付けられ，それが 0 となるスペクトログラムを無矛盾と呼ぶ．大雑把に言えば，逆 STFT はスペクトログラムの時間及び周波数方向への滲みがない成分に対して，スムージングをかけるような処理となる（文献 [9] の Fig. 1 参照）．
文献 [9] の Fig. 2 のように，パーミュテーション問題が生じている分離信号のスペクトログラムは，隣接周波数の不連続性に起因して無矛盾性が大きく損なわれている．従って，FDICA や IVA における Wiの反復最適化の過程で STFTω (ISTFTωe (Yn )) を作用させることで，周波数毎の音源成分が正しく整列された（パーミュテーション問題が解決された）状態に少しずつ誘導できることが示されている．本稿では，より高い分離性能を発揮できる ILRMA においても，上記のスペクトログラム無矛盾性を反復毎に担保するアルゴリズムが性能向上に貢献することを実証する．

3

提案手法

3.1 スペクトログラム無矛盾性に基づく ILRMAILRMA は次式の目的関数を最小化する [6]．
∑L = −2J| det Wi |i+∑i,j,n(∑|wH x |2∑ in ij+ logtikn vkjn
k tikn vkjn)(14)k

ここで，tikn 及び vkjn は非負行列 Tn ∈ RI×K
≥0 及びK×J
Vn ∈ R≥0 の要素であり，k = 1, 2, · · · , K は Tnの列ベクトルのインデクスである．式 (14) の最小化
は，ICA に基づく分離信号間の独立性の最大化と非負値行列因子分解（nonnegative matrix factorization:NMF）[12] に基づく分離信号の低ランク近似 |Yn |2 ≈Tn Vn を同時に行うことに対応する．但し，行列に対する | · |2 は要素毎の絶対値二乗を表す．これは即ち，

日本音響学会講演論文集

混合前の音源信号 Sn が低ランク時間周波数構造を有することを仮定し，分離信号 Yn を NMF でモデル化しながら分離行列 Wi を最適化することで，パーミュテーション問題が生じない Wi を推定している．
提案手法では，スペクトログラム無矛盾性を担保する処理を ILRMA の最適化アルゴリズムに組み込む．
従来の ILRMA の分離行列の反復最適化計算 [4]11∑∑xij xH(15)
Uin ←ijJk tikn vkjn
j−1win ← (Wi Uin ) en( H)− 1win ← win win
Uin win 2(16)

Hyijn ← win
xij

(18)

(17)

及び NMF 音源モデルの反復最適化計算v∑
u∑u j |yijn |2 ( k′ tik′ n vk′ jn )−2 vkjn
ttikn ← tikn∑ ∑−1′′vkjn
j(k′ tik n vk jn )(19)∑−22tikn′ tik ′ n vk ′ jn )i |yijn | (∑ ∑ k−1′′tikni(k′ tik n vk jn )(20)√∑vkjn ← vkjn

において，Yn ← STFTω (ISTFTωe (Yn ))(21)

なる演算を挿入することで，毎回の反復においてスペクトログラム無矛盾性を担保する．ここで，en ∈{0, 1}N は n 番目の要素のみが 1 の単位ベクトルである．式 (21) は，分離信号のスペクトログラム Yn を無矛盾スペクトログラムの集合へと射影していることに対応する．そのため，もし Yn が無矛盾であれば式 (21) は何もしておらず，Yn に矛盾があれば時間及び周波数の両方向にスムージングがかかる．

3.2 反復毎のプロジェクションバック法の適用
ILRMA の推定は FDICA や IVA と同様に，式 (12)に示す任意性がある．とくに，任意の対角行列 Di に起因する周波数毎のスケール不定性は，それ自身がスペクトログラム無矛盾性を崩してしまう．提案手法では，Di に起因する矛盾成分の影響を最小限に抑えるため，毎回の反復計算において式 (21) を行う直前に，次式のプロジェクションバック法 [13] を適用する．
ỹijn = Wi−1 (en ◦ yij ) = yijn λin ,(22)ここで，ỹijn = [ ỹijn1 , · · · , ỹijnm , · · · , ỹijnM ]T ∈CM はスケール補正後の分離信号の (i, j) 番目の成分，λin = [ λin1 , · · · , λinm , · · · , λinM ]T ∈ CM はス
ケール補正係数，及び ◦ は要素毎の積を表す．また，
式 (22) によって目的関数 (14) の値が変動することを防ぐために，他の変数も次のように補正する．

win ← win λinmref(23)

Hyijn ← win
xijtikn ← tikn |λinmref |(24)2(25)

ここで，mref はプロジェクションバック法で用いるリファレンスチャネルのインデクスである．
これらをまとめると，提案手法は Algorithm 1 に示すアルゴリズムによって実現される．

- 292 -

2020年9月

Algorithm 1 Consistent ILRMA
Input: {xij }I,J
i=1,j=1 , maxIter
Output: {yij }I,J
i=1,j=1NI
1: Initialize {Tn }N
n=1 , {Vn }n=1 , {Wi }i=1
2: for iter = 1, 2, · · · , maxIter do
3:
Ensure consistency by (21) ∀n
4:
Update Wi by (15)–(18) ∀i, j, n5:Update Tn and Vn by (19), (20) ∀i, j, k, n
6:
Apply back projection by (22) ∀i, j, n7:Update parameters by (23)–(25) ∀i, j, k, n
8: end forTable 15

Experimental conditions

Window function
Window length
Window shift length
Number of bases K foreach source in ILRMA
Initialization ofparameters
Number of iterations
Number of trials
Reference channel mref

4Fig. 1 Normalized energy of the inconsistent components of proposed method, where window andshift lengths were 256 ms and 32 ms, respectively.

Hann window
64, 128, 256, 512, 768, 1024 ms
1/16 or 1/2 of window length
10 for music signals
and 2 for speech signals
Wi : identity matrix
Tn and Vn : random matrices
100
5 with diﬀerent random seeds
1BSS 実験

4.1 実験条件
提案手法の有効性を確認するために，BSS 性能を従来の ILRMA と比較した．ここで，従来手法は提案手法から式 (21) の演算のみを省いたものとし，その他の条件は全て提案手法と統一している．実験には，
文献 [14] と同じ音楽信号 4 種と音声信号 4 種及び混合系（インパルス応答）を用いた．本稿ではインパルス応答 JR2（T60 = 470 ms）の結果のみを示すが，文献[15] には網羅的な実験結果が示されているので参照されたい．評価値は音源対歪み比（source-to-distortion
ratio: SDR）[16] の改善量を用いた．その他の実験条
件は Table 1 に示す通りである．
4.2 実験結果
Fig. 1 は，提案手法の各反復における矛盾成分のエネルギー値の例である．ここで，縦軸 ∥E(Y)∥22 /∥X∥22
中の X 及び Y はそれぞれ X = [X1 , X2 ] 及び Y =[Y1 , Y2 ] を表し，E の定義は式 (13) に示されている．
矛盾成分のエネルギー値は反復初期において大きく増加するものの，反復後半では一定の値に収束している．このことから，提案手法の最適化ができるだけ無矛盾な解へと誘導する様子を確認できる．
Fig. 2 は，各窓長及びシフト長での平均 SDR 改善量の比較を示している．図中のラベル Conv. 及び Prop.
はそれぞれ従来手法と提案手法に対応しており，異なる初期値に対する試行や 4 種類の信号に対する結果を全てまとめて箱ひげ図で示している．この結果より，
式 (10) が成立しやすい長い窓長において ILRMA は高い性能を発揮することが確認できる．また提案手法は，従来手法の分離性能が比較的高い条件において性能が向上する傾向が確認でき，場合によっては 2〜3 dB 程度の改善が見られた．これは，音源分離が成功するほど，分離信号 Yn は本来の音源信号 Sn に近づき，提案手法においてスペクトログラム無矛盾性を担保する効果が高くなるためと推測される．

日本音響学会講演論文集

おわりに

本稿では，反復最適化の中でスペクトログラム無矛盾性を担保する ILRMA を提案し，その有効性を実験的に確認した．今後の課題として，スペクトログラム無矛盾性を陽に加味した新しい音源モデルの導入や目的関数の設計等が挙げられる．
謝辞 本研究の一部は JSPS 科研費 19K20306 の助成を受けたものである．

参考文献[1] P. Comon, “Independent component analysis, a new concept?,” Signal Process., vol. 36, no. 3, pp. 287–314, 1994.
[2] P. Smaragdis, “Blind separation of convolved mixtures in
the frequency domain,” Neurocomputing, vol. 22, pp. 21–34, 1998.
[3] T. Kim, H. T. Attias, S.-Y. Lee, and T.-W. Lee, “Blindsource separation exploiting higher-order frequency dependencies,” IEEE Trans. ASLP, vol. 15, no. 1, pp. 70–79,2007.
[4] N. Ono, “Stable and fast update rules for independent vector analysis based on auxiliary function technique,” Proc.
WASPAA, pp. 189–192, 2011.
[5] D. Kitamura, N. Ono, H. Sawada, H. Kameoka, andH. Saruwatari, “Determined blind source separation unifying independent vector analysis and nonnegative matrix
factorization,” IEEE/ACM Trans. ASLP, vol. 24, no. 9,
pp. 1626–1641, 2016.
[6] D. Kitamura, N. Ono, H. Sawada, H. Kameoka, andH. Saruwatari, “Determined blind source separation withindependent low-rank matrix analysis,” in Audio Source
Separation, S. Makino, Ed., pp. 125–155. Springer, Cham,
2018.
[7] H. Sawada, R. Mukai, S. Araki, and S. Makino, “A robustand precise method for solving the permutation problem offrequency-domain blind source separation,” IEEE Trans.
SAP, vol. 12, no. 5, pp. 530–538, Sep. 2004.
[8] K. Yatabe and D. Kitamura, “Time-frequency-maskingbased determined BSS with application to sparse IVA,”
Proc. ICASSP, pp. 715–719, 2019.
[9] K. Yatabe, “Consistent ICA: Determined BSS meets spectrogram consistency,” IEEE Signal Process. Lett., vol. 27,
pp. 870–874, 2020.
[10] J. Le Roux and E. Vincent, “Consistent Wiener filtering
for audio source separation,” IEEE Signal Process. Lett.,
vol. 20, no. 3, pp. 217–220, 2013.
[11] K. Yatabe, Y. Masuyama, T. Kusano, and Y. Oikawa,“Representation of complex spectrogram via phase conversion,” Acoust. Sci. & Tech., vol. 40, no. 3, pp. 170–177,
2019.
[12] C. Févotte, N. Bertin, and J.-L. Durrieu, “Nonnegativematrix factorization with the Itakura-Saito divergence.
With application to music analysis,” Neural Computation,
vol. 21, no. 3, pp. 793–830, 2009.
[13] K. Matsuoka and S. Nakashima, “Minimal distortion principle for blind source separation,” Proc. ICA, pp. 722–727,
2001.
[14] D. Kitamura, N. Ono, and H. Saruwatari, “Experimentalanalysis of optimal window length for independent low-rankmatrix analysis,” Proc. EUSIPCO, pp. 1210–1214, 2017.
[15] D. Kitamura and K. Yatabe, “Consistent independent lowrank matrix analysis for determined blind source separation,” arXiv:2007.00274, 2020.
[16] E. Vincent, R. Gribonval, and C. Févotte, “Performancemeasurement in blind audio source separation,” IEEE
Trans. ASLP, vol. 14, no. 4, pp. 1462–1469, 2006.

- 293 -2020年9月

Fig. 2 SDR improvements for (a) music with 1/16 window shifting, (b) music with 1/2 window shifting, (c)speech with 1/16 window shifting, and (d) speech with 1/16 window shifting, where “Conv.” and “Prop.”
respectively indicate conventional and proposed methods.

日本音響学会講演論文集- 294 -

2020年9月