3-10-11
過決定条件 BSS におけるランク 1 空間制約の緩和 ∗◎北村大地 (総研大), 小野順貴 (NII/総研大), 澤田宏 (NTT), 亀岡弘和 (東大/NTT), 猿渡洋 (東大)1 はじめにブラインド音源分離 (blind source separation: BSS)とは，音源位置や混合系が未知の条件で観測された信号のみから混合前の元信号を推定する信号処理技術である．過決定条件 (音源数 ≤ 観測チャネル数) における BSS では，独立成分分析 (independent componentanalysis: ICA) [1] に基づく手法が主流であり，盛んに研究されてきた [2]．一方，モノラル信号等を対象とした劣決定条件 (音源数 > 観測チャネル数) 下では，非負値行列因子分解 (nonnegative matrix factorization:NMF) [3] を応用した手法が注目を集めている．BSSは一般的に，話者分離や雑音抑圧が目的であるが，音楽を対象とした音源分離の研究も増加している [4]．
劣決定条件にも対応可能な BSS 技術として，従来の NMF を多チャネル信号用に拡張した多チャネルNMF (multichannel NMF: MNMF) [5] が提案されている．MNMF は，音源の空間情報に相当するチャネル間相関を用いて，推定したスペクトル基底を音源毎にクラスタリングすることで分離信号を得る．しかし，
MNMF は音源の空間推定とスペクトル推定を同時に行う最適化であり，そのモデルの複雑さから計算コストが極めて高いうえ，初期値依存性が強く，分離精度が安定しない問題がある．
一 方 ，過 決 定 条 件 に お け る 周 波 数 領 域 ICA(frequency-domain ICA: FDICA) や ICA の 多変 量モデルである独立ベクトル分析 (independent vectoranalysis: IVA) [6] では，時間周波数領域での線形時不変混合を仮定する．しかし，収録環境の残響が長い場合には，混合系を線形時不変モデルで表現できず分離性能が劣化してしまう．著者らが近年提案したランク 1 空間モデル制約付き MNMF [7, 8] においても，推定する空間相関行列をランク 1 近似することで線形時不変混合系を仮定しているため，高残響下では同様の問題が生じる．
本稿では，残響等の影響で線形時不変混合仮定が成り立たない場合における分離精度劣化の問題を解決するために，過決定条件における余剰な観測チャネ
ルを，各音源の残響成分の推定に活用するアルゴリズムを新たに提案する．また，提案するアルゴリズムによって，ランク 1 空間モデル制約付き MNMF の利点である高い計算効率を保ったまま，分離精度の劣化を回避できることを実験的に示す．

2 従来手法2.1 線形時不変混合仮定
音源数と観測チャネル数をそれぞれ N, M とし，各時間周波数の多チャネルの音源信号，観測信号，分離信号をそれぞれ，
si j = (si j,1 · · · si j,N )T(1)

xi j = (xi j,1 · · · xi j,M )T(2)

yi j = (yi j,1 · · · yi j,N )(3)Tス，n = 1, · · · , N は音源インデックス，m = 1, · · · , M
はチャネルインデックスを示し，T は転置を表す．
混合系が線形時不変と仮定すると，各時間フレームにおいて周波数毎の複素混合行列 Ai = (ai,1 · · · ai,N )(ai,n は各音源のステアリングベクトル) を定義でき，観測信号を次式で表現できる．

x i j = Ai s i j

この混合系を Fig. 1 (a) に示す．線形時不変混合系では，全ての時間フレームが他の時間フレームと独立し，互いに影響を及ぼさないことを意味している．しかし残響が多い場合は，Fig. 1 (b) のように前の時間フレームの残響成分が現在の時間フレームに漏れ出すため，Ai だけでは表現できなくなる．従って，このような線形時不変混合仮定は，各音源から各マイクロフォンまでのインパルス応答が，短時間フーリエ変換 (short-time Fourier transform: STFT) の窓関数と比べて十分に短い場合に成立する．
線形時不変混合系において M = N とすれば，分離ベクトル wi,n で表現される分離行列 Wi = (wi,1 · · · wi,N )Hが存在し，分離信号を次式で表現できる．

yi j = Wi xi j(5)但し，H はエルミート転置を表す．

2.2 事前処理に主成分分析を用いる BSS
従来の FDICA や IVA による音源分離では，過決定条件 N < M の場合に，事前処理として主成分分析(principle component analysis: PCA) による次元圧縮を行い，N = M とすることが一般的である．これは，観測信号中の残響成分が PCA によって主成分に射影されることを期待しており，多少の残響が存在する場
合においても前述の線形時不変混合仮定が成り立つようにする為である．しかしながら，音楽信号や高雑音下での話者分離等のように，各音源の混合パワーが著しく偏っている場合では，パワーの弱い音源の主成分が PCA によって除かれてしまう危険がある．また，残響が強い場合は，PCA を施しても十分な残響抑圧の効果が得られず，線形時不変混合が成立せずに音源分離精度が劣化する．
線形時不変混合仮定は，STFT における窓関数を長くすることで成立しやすくなる．しかし，FDICA やIVA では，長すぎる窓関数を用いると，極めて狭帯域な信号間の独立性を分離尺度に利用することになるため，音源分離が困難となってしまう．従って，窓関数の長さに関しては，線形時不変混合仮定と音源の独立性という二つの観点から，音源分離性能がトレードオフになることが知られている．
2.3 ランク 1 空間モデル制約付き MNMF
MNMF では，観測信号は次式のようにチャネル間相関行列 Xi j で表現される [5]．と表す (要素はすべて複素数) ．ここで，i = 1, · · · , I は
周波数インデックス， j = 1, · · · , J は時間インデック∗(4)

Xi j = xi j xHij

(6)

Relaxation of rank-1 spatial model in overdetermined BSS by Daichi Kitamura (SOKENDAI), Nobutaka Ono(NII/SOKENDAI), Hiroshi Sawada (NTT), Hirokazu Kameoka (The University of Tokyo/NTT), Hiroshi Saruwatari(The University of Tokyo)

日本音響学会講演論文集- 629 -

2015年3月

(a) Observed spectrogram

Source signal
Observed signal
MixingsystemSourcesignals

Spatialcovariance Latent
Separated matrices variablesignals

Demixing
systemBases andactivations

FrequencyMixingsystem

Observed
signalsTime(b) Observed spectrogram

Fig. 2

Source signal
Observed signal
MixingsystemConceptual model of MNMF (N = M = 2).

(a)Observed
signals

Frequency

Primarysources
Leakedcomponents

MixingDimensionreduced signals
PCA

Separated
signals

BSS

Time

Fig. 1 Mixing system of each spectrogram slot when
N = M = 2; (a) holds linear time-invariant mixing systemand there is no reverberation, (b) has some leaked components from previous frame because of reverberation.
この Xi j を近似する MNMF の分解モデル X̂i j は次式で定義される．
∑ (∑)
Xi j ≈ X̂i j = k n Hi,n znk tik vk j
(7)
ここで，k = 1, · · · , K は NMF における基底 (スペクトルパターン) のインデックスを示し，Hi,n は周波数 iにおける音源 n の空間相関行列を表す M × M のエルミート半正定値行列である．また，znk ∈ R≥ 0 は k 番目の基底を∑ n 番目の音源に対応付ける潜在変数に相当し， n znk = 1 であり，znk = 1 のとき，k 番目の基底はn 番目の音源のみに寄与する．さらに，tik ∈ R≥ 0 及びvk j ∈ R≥ 0 はそれぞれ単一チャネル NMF の基底行列 T及びアクティベーション行列 V の要素と等価である．
MNMF のモデルの概念を Fig. 2 に示す．劣決定条件
においては，Fig. 2 に示す分離行列 Wi は求まらないが，MNMF では各音源に一意に対応する空間相関行列 H と全音源のスペクトル成分 T V を潜在変数 z でクラスタリングすることで，分離信号 y を得る．Xi jと X̂i j 間の板倉斎藤擬距離はQMNMF =∑ [i, j−1tr(Xi j X̂i j ) + log det X̂i j](8)で表され，これを最小化する変数 H, Z, T 及び V を求める問題となる．しかしながら，この最適化は極めて高い計算コストを必要とし，分離精度は各変数の初期値に強く依存する問題がある．
式 (8) の効率的な最適化手法として，Hi,n がランク1 となる制約条件を導入したモデル [7, 8] では，過決定条件の線形時不変混合を仮定することで，IVA の高速な最適化更新式 [9] と単一チャネル NMF の最適化更新式の交互反復で全変数の最適化が可能となる．
N = M のとき，IVA の更新式は次式となる [9]．
∑(9)ri j,n = k til,n vl j,n1∑ 1xi j xH
(10)
Vi,n =ijJ j ri j,n()
wi,n ← Wi Vi,n −1 en(11)()− 12
Hwi,n ← wi,n wi,nVi,n wi,n(12)Hyi j,n = wi,nxi j

日本音響学会講演論文集(b)

Observed
signals

Primarysources
MixingVirtually separated
signals

Separated
signals

BSS

Reconstruction

Fig. 3 Algorithms of (a) conventional and (b) proposed
methods (N = 2, M = 4, P = 2).
但し，en は n 番目の要素のみが 1 の単位ベクトルを示す．さらに，NMF の更新式は次式で与えられる．
vuuut ∑ |y |2 v (∑ ′ t ′ v ′ )−2l j,nj i j,nl il ,n l j,ntil,n ← til,n(14)(∑)−1∑′′vtv′j l j,nl il ,n l j,nvu(u∑ut |y |2 t ∑ ′ t ′ v ′ )−2i i j,n il,nl il ,n l j,nvl j,n ← vl j,n(15)(∑)−1∑′,n vl′ j,ntt′il,nilil
ここで，l = 1, · · · , L はある一つの音源に関する基底のインデックスであり，til,n 及び vl j,n は音源 n を表現する基底とアクティベーションである．式 (8) のように，潜在変数を用いて全 K 本の基底を各音源に適応的に割り当てるモデルへの拡張も可能である [7, 8]．
ランク 1 空間モデル制約付き MNMF では，非常に高速に全変数 Wi , T 及び V を最適化でき，制約無しの MNMF と同程度の分離性能を達成することが可能である．しかし，残響の影響が強くなると，ランク 1空間モデルの近似が成り立たなくなるため，分離精度は著しく劣化する．制約無しの MNMF では，フルランクの Hi,n の推定が成功すれば，多少の残響が存在していても比較的高い精度で分離できる．

3 提案手法
3.1 過決定条件における余剰観測チャネルを用いた
ランク 1 制約の緩和
従来手法のランク 1 空間モデル制約 (線形時不変混合仮定) を緩和するために，過決定条件における余剰な観測チャネルを残響成分のモデル化に活用する手法を新たに提案する．今，N 個の音源の P 倍の観測チャ
ネル M(= PN) が得られる場合を想定する．従来の過決定条件 BSS では，Fig. 3 (a) に示すように，PCA による次元圧縮を行い M = N とするが，提案手法ではFig. 3 (b) のように，仮想的に M 個の分離信号を推定(13)- 630 -

2015年3月

する．提案手法での推定音源を次式で表す．
()Tỹi j = ỹi j,11 · · · ỹi j,1P ỹi j,21 · · · ỹi j,2P · · · ỹi j,NP (16)∑yi j,n = p ỹi j,np(17)

ここで，A (∈ R≥I×J0 ) 及び B (∈ R≥I×J0 ) はパワースペクト
ログラムであり，ai j , bi j はそれぞれ A, B の要素を示す．τ は考慮する時間フレーム遅れであり，遅れ無し(τ = 0) から τ = 2 フレームまでの遅れを考慮する．このように時間フレーム遅れを考慮する理由は，ある音源の残響成分が実際に直接音成分から 1 フレーム程度遅れて生じるためであり，これを考慮しなければクラスタリングが失敗する危険がある．

3.3 基底共有 MNMF によるクラスタリング
ランク 1 空間モデル制約付き MNMF に，余剰チャネルによる制約緩和を適用する場合，同じ音源の直接音成分と残響成分を一つの基底セットで表現する制約を導入することで，音源のクラスタリングを行いながら分離信号を推定することができる．即ち，ある成分 ỹi j,n1 · · · ỹi j,nP を同じ基底セット ti1,n · · · tiL,n で表現することで，同じ音源の直接音成分と残響成分が推定される仕組みである．このとき，アクティベーションは共有せず vl j,np として個別に与えることで，直接音成分と残響成分は，同じスペクトルで異なる時間変化を持つという音源にモデル化できる．この基底共有を導入した場合のランク 1 空間モデル制約付きMNMF のコスト関数は下記のようになる．
[|ỹi j,np |2∑ ∑Q = i, j n,p ∑− 2 log | det Wi |l til,n vl j,np]∑∑+ n,p log l til,n vl j,np (19)
式 (19) を最小化する Wi の更新式は式 (9)–(13) において N ← M = NP とした場合と同様であり，NMF 変数の更新式は下記のようになる．
vu(∑)−2uut ∑ |y |2 v
l j,npl′ til′,n vl′ j,npj,p i j,nptil,n ← til,n(20)(∑)−1∑′′vtv′l il ,n l j,npj,p l j,npv
u()−2u∑∑ut |y |2 tl′ til′,n vl′ j,npi i j,np il,n(21)vl j,np ← vl j,np(∑)−1∑′′ttv′l il ,n l j,npi il,n

日本音響学会講演論文集

Direct soundof source B
Reverberant soundof source B…

3.2 スペクトルの相互相関によるクラスタリング
仮想分離信号 ỹi j の各信号が，どの音源の直接音成分及び残響成分かを定めるために，各信号のパワースペクトルの時間フレーム遅れを考慮した相関を全信号間で計算し，相関が高いものから順にマージしてゆくクラスタリングを用いる (Fig. 4 参照)．但し，処理後のクラスタ数は音源数 N であり，要素の少ないクラスタを優先してマージする特殊な階層的クラスタリングを行う．時間フレーム遅れを考慮した相関値
C は下記のように計算される．
})({∑C(A∥B) = max(18)i, j ai j bi j+τ |τ = 0, 1, 2

Direct soundof source A

Sorted indescending order
1.
Merge and .
2.
is already merged.
3.
is already merged.
4.
Merge and .
…

仮想的な分離信号 ỹi j は，各音源の直接音に加え，Fig. 1 (b) に示すような，前の時間フレームから漏れる残響成分が新たな別の音源として推定されることを期待している．しかし，BSS 後に出力される信号の順番は一意に定まらないため，直接音成分と残響成分をクラスタリングして音源毎にまとめる必要がある．
最終的に，クラスタリングされた信号を式 (17) のように足し合わせることで最終的な分離信号を得る．

Reverberant soundof source A

Fig. 4 Atypical hierarchical clustering using correlation C (N = 2, M = 4, P = 2).
JR2 impulse
response from
RWCP database
Reverberationtime: 470 ms

Source 1
Source 22m

Microphoneinterval: 2.83 cm
80Fig. 5

60

Recording condition of room impulse response.

しかし，基底数 L や初期値によっては，共有基底が一つの音源を表現せずに，複数音源の直接音成分のみ，あるいは複数音源の残響成分のみを表現してしまう場合がある．これを避けるため，本稿では M = NP チャ
ネルの IVA (PCA を事前に用いない IVA) の推定分離
行列 Wi を先に求め，前述の階層的クラスタリングによって分離ベクトルを正しい順序 (一つの基底セットに同じ音源の直接音成分及び残響成分が対応する順序) に並び替えた Wi を初期値として与える．

4 評価実験
4.1 実験条件
提案手法の有効性を確認するために，音楽信号を対象とした分離評価実験を行った．実験では，音源数
N = 2，観測チャネル数 M = 4 の過決定条件の観測信号を作成するために，RWCP [10] に収録されているインパルス応答 (JR2，Fig. 5 参照) を各音源信号に畳み込んだ．音源信号は Table 1 に示すように，SiSEC [11] の3 種の音楽データ，各 2 楽器を選択した．比較手法は，
PCA を事前処理に用いる IVA (PCA+IVA)，PCA を事前処理に用いるランク 1 空間モデル制約付き MNMF
(PCA+Rank1 MNMF)，ランク 1 制約緩和を行い 3.2
節の手法で信号を再構成する IVA (Proposed IVA)，ランク 1 制約緩和を行い式 (20), (21) を用いる基底共有型ランク 1 空間モデル制約付き MNMF (ProposedRank1 MNMF) である．但し，Proposed Rank1 MNMFの Wi の初期値は，Proposed IVA で推定された wi,m を正しい順序に並び替えたものを与える．さらに，従来の制約無し MNMF [5] も比較対象に含める．推定された空間相関行列から SN 比最大化ビームフォーマ [12]を構成する線形時不変フィルタとしての分離 (MNMF
w/o MWF)，多チャネル Wiener フィルタを適用する
手法 (MNMF+MWF) の 2 つを比較する．最後に参考値として，各音源の真の空間相関行列の時間平均を用いた理想的な SN 比最大化ビームフォーマ (Optimallinear filter) の精度とも比較する．MNMF+MWF 以外の手法は全て projection back [13] をかけ，信号を正しいスケールに戻す必要がある．その他の実験条件はTable 2 に示す．Figure 5 に示す 470 ms のインパルス応答に対し，128 ms の解析窓を用いており，ランク1 空間モデルが成立しない条件である．分離精度を示す客観評価値には signal-to-distortion ratio (SDR)[14]を用いた．SDR は，非目的音の除去性能と人工歪みの少なさを含む総合的な分離性能である．

- 631 -

2015年3月

Songbearlin-roads snip 85 99
fort minor-remember the name snip 54 78
ultimate nz tour snip 43 61

Source (1/2)
acoustic guit main/piano
drums/vocals
guitar/vocals

Experimental conditions

4.2 実験結果
Figure 6 は，各手法において各変数の初期乱数を変えて 10 回試行した際の平均と標準偏差を楽曲毎に示している．いずれの楽曲に対しても，PCA を事前処理に用いる従来手法は低い精度となっており，ランク
1 空間モデル (線形時不変混合仮定) を用いた推定があまりできていないことを示している．一方，Proposed
Rank1 MNMF は線形分離手法であるにもかかわらず良好な分離を達成しており，提案手法の有効性が確認できる．特に，Fig. 6 (b), (c) においては，Optimallinear filter の値を上回っており，線形時不変混合仮定の限界精度を超える結果となった．この事実からも，提案手法がランク 1 空間モデル制約をうまく緩和し，分離精度を向上させていることがわかる．MNMF
w/o MWF は強い初期値依存性と低い分離精度を示しており，制約の無いフルランク MNMF の空間相関行
列 H の推定の困難さが伺える．しかし，MNMF の基底による時変音源モデルと非線形ポスト処理により，MNMF+MWF の分離精度は非常に高い結果となった．
Table 3 は ID3 の楽曲に対する各手法の実行時間を示している．計算は Intel Core i7-4790 (3.60 GHz) のCPU が搭載された PC で，MATLAB 8.3 (64 bit) 上で行った．また，Proposed Rank1 MNMF に関しては，初期値の Wi を求める事前処理 (Proposed IVA) を含んだ計算時間を示している．この結果から，提案手法は高い計算効率を保ったまま，MNMF+MWF と同程度の分離精度を達成していることがわかる．

5 おわりに本稿では，過決定条件 BSS において，線形時不変混合仮定が成立しない場合における分離精度の向上を目標とし，余剰な観測チャネルを用いて残響成分を別の音源としてモデル化することで，ランク 1 空間モデル制約を緩和する手法を新たに提案した．提案手法は従来の PCA を事前に用いる手法と比較して，より高精度な分離が可能であることが確認された．
謝辞 本研究の一部は JSPS 特別研究員奨励費 26 ·10796 の助成を受けたものである．

References[1] P. Comon, “Independent component analysis, a new concept?,” Signal processing, vol.36, no.3, pp.287–314, 1994.
[2] H. Saruwatari, T. Kawamura, T. Nishikawa, A. Lee andK. Shikano, “Blind source separation based on a fastconvergence algorithm combining ICA and beamforming,”
IEEE Trans. ASLP, vol.14, no.2, pp.666–678, 2006.
[3] D. D. Lee and H. S. Seung, “Algorithms for non-negative
matrix factorization,” Proc. Advances in Neural Information Processing Systems, vol.13, pp.556–562, 2001.
[4] H. Kameoka, M. Nakano, K. Ochiai, Y. Imoto, K. Kashino
and S. Sagayama, “Constrained and regularized variants

日本音響学会講演論文集

SDR improvement [dB]Down sampled from 44.1 kHz to 16 kHz
128 ms
64 ms
L = 15 (K = 30)
200

SDR improvement [dB]

Table 2
Sampling frequency
FFT length
Window shift
Number of bases
Number of iterations

SDR improvement [dB]

Table 1 Music sources
ID
12312(a)10864
20
Source 1-2
Source 2-4 PCA+IVA PCA+
Rnak1
MNMF

Proposed Proposed MNMF MNMF+ Optimal
IVA
Rank1 w/o MWF MWF linear filter
MNMF

Rnak1
MNMF

Proposed Proposed MNMF MNMF+ Optimal
IVA
Rank1 w/o MWF MWF linear filter
MNMF

Rnak1
MNMF

Proposed Proposed MNMF MNMF+ Optimal
IVA
Rank1 w/o MWF MWF linear filter
MNMF

12(b)
1086420Source 1-2Source 2-4 PCA+IVA PCA+

16(c)1412Source 1
Source 2
10864
20 PCA+IVA PCA+

Fig. 6 Average SDR improvements for (a) ID1 song,(b) ID2 song, and (c) ID3 song.
Table 3PCA+IVA
23.4

Computational times for separation of ID3 (s)PCA+Rnak1
MNMF
29.4

Proposed
IVA
60.1

Proposed
Rank1 MNMF
143.9

MNMF+MWF
3611.8of non-negative matrix factorization incorporating musicspecific constraints,” Proc. ICASSP, pp.5365–5368, 2012.
[5] H. Sawada, H. Kameoka, S. Araki and N. Ueda, “Multichannel extensions of non-negative matrix factorization
with complex-valued data,” IEEE Trans. ASLP, vol.21,no.5, pp.971–982, 2013.
[6] T. Kim, H. T. Attias, S.-Y. Lee and T.-W. Lee, “Blindsource separation exploiting higher-order frequency dependencies,” IEEE Trans. ASLP, vol.15, no.1, pp.70–79, 2007.
[7] D. Kitamura, N. Ono, H. Sawada, H. Kameoka and
H. Saruwatari, “Eﬃcient multichannel nonnegative matrix factorization with rank-1 spatial model,” Proc. Autumn
Meeting of ASJ, pp.579–582, 2014 (in Japanese).
[8] D. Kitamura, N. Ono, H. Sawada, H. Kameoka and
H. Saruwatari, “Eﬃcient multichannel nonnegative matrix factorization exploiting rank-1 spatial model,” Proc.
ICASSP, 2015 (in press).
[9] N. Ono, “Stable and fast update rules for independent vector analysis based on auxiliary function technique,” Proc.
WASPAA, pp.189–192, 2011.
[10] S. Nakamura, K. Hiyane, F. Asano, T. Nishiura and T. Yamada, “Acoustical sound database in real environments forsound scene understanding and hands-free speech recognition,” Proc. LREC, pp.965–968, 2000.
[11] S. Araki, F. Nesta, E. Vincent, Z. Koldovsky, G. Nolte,
A. Ziehe and A. Benichoux, “The 2011 signal separation
evaluation campaign (SiSEC2011):-audio source separation,” Proc. Latent Variable Analysis and Signal Separation, pp.414–422, 2012.
[12] H. L. Van Trees, “Detection, Estimation, and Modulation
Theory, Optimum Array Processing (Part IV),” Wiley Interscience, 2002.
[13] N. Murata, S. Ikeda and A. Ziehe, “An approach to blindsource separation based on temporal structure of speech
signals,” Neurocomputing, vol.41, no.1, pp.1–24, 2001.
[14] E. Vincent, R. Gribonval and C. Fevotte, “Performancemeasurement in blind audio source separation,” IEEETrans. ASLP, vol.14, no.4, pp.1462–1469, 2006.

- 632 -2015年3月