1-1-2
時間領域低ランクスペクトログラム近似法による音源分離 ∗☆鏡 英章 1 , 亀岡弘和 2 , △湯川正裕 1(1 慶應大・総合デザイン工, 2 NTT CS 研)

1

はじめにれる複素スペクトログラムは時間領域信号の冗長表

混合音に含まれる各音源に対応する信号を分離抽出する問題を音源分離という。モノラル信号の音源分離を可能にするためには一般に何らかの仮定が必要である。混合音の各時刻における振幅（またはパワー）スペクトルが L 種類のスペクトルテンプレートの線形結合で表せるものとすると，混合音の振幅（あるいはパワー）スペクトログラムを二つの非負値行列の積で表現することができる。従って混合音の振幅スペクトログラムを二つの非負値行列の積で近似することにより，L 個のスペクトルテンプレートとともに各時刻でそれぞれのスペクトルテンプレートがどれくらい優勢であるかを推定することができる。
この考え方に基づく音源分離手法を非負値行列因子分解 (Non-negative Matrix Factorization; NMF) 法と呼ぶ [1]。このアプローチは，振幅（またはパワー）スペクトルは加法的であるという必ずしも正確でない仮定に基づいている。この問題を解決するため，上述のアイディアを加法性が成り立つ複素スペクトログラムの表現に拡張した複素 NMF と呼ぶ枠組みが提案されている [2, 3]。複素 NMF のアイディアのポイントは，混合音の各時刻の複素スペクトルをスペクトルテンプレートに時変の位相スペクトルを乗じたものの和により表現する点にある。また，同様の動機から，混合音の複素スペクトログラムの生成モデルが提案されている [4, 5]。混合音の構成音の複素スペクトログラムの各要素が平均 0 の複素正規分布に従うと仮定できる場合，各構成音のパワースペクトログラムの最尤推定問題は板倉齋藤距離を規準として観測スペクトログラムを構成音のパワースペクトロ現になっているからである。例えば STFT では信号の短時間フレームごとの Fourier 変換を連結して複素スペクトログラムを得る。フレーム間に重複区間がある場合は，それぞれの複素スペクトルは，重複区間における波形が無矛盾になるという条件を満たさなければならない [7]。複素 NMF や IS-NMF ではこのような制約が考慮されていなかったため，推定される複素スペクトログラムは時間領域信号に対応するとは限らず，時間領域信号に変換する際はできるだけ矛盾のない信号に近似する必要があった。
これまで我々は，複素 NMF のコンセプトを時間領域に拡張し，各構成音の時間領域信号をパラメータとした最適化問題として定式化した時間領域スペクトログラム近似法 (Time-domain Spectrogram Fac-torization; TSF) と呼ぶ枠組を提案している [9]。[9]では大きな行列の逆行列計算を含む最適化アルゴリズムが提案されているが，本稿では補助関数法と射影勾配法を用いてこれを回避する効率的なアルゴリズムを提案する。

非負値行列因子分解法

2

周波数と時刻に対応するインデックスを k=1, . . . , K, m = 1, . . . , M とし，観測信号の複素スペクトログラムを Yk,m ∈ C，Yk,m の絶対値またはその絶対値二乗を Zk,m = |Yk,m |α ∈ R+ (α = 1, 2) とする。NMF 法は観測振幅（またはパワー）スペクト
K×M
ログラム Z = (Zk,m )K×M ∈ R+を非負値行列
K×L
L×M
H ∈ R+ , U ∈ R+の積 Z の各要素を∑Zk,m ≃
Hk,l Ul,m(1)グラムの和でフィッティングする最適化問題と等価とlなる。従って，各構成音のパワースペクトログラムにで近似することで，L 個のスペクトルテンプレー

ランク 1 行列の構造を仮定することで，この問題はト Hk,1 , . . . , Hk,L と各時刻のアクティベーション

板倉斎藤擬距離規準の NMF に帰着する。この枠組をU1,m , . . . , UL,m を同時推定する手法である [1]。式 (1)は各構成音の振幅スペクトログラムをランク 1 の行
列 (Hk,l Ul,m )K×M でモデル化していることに相当する。式 (1) の分解表現が得られれば，例えば Wiener
フィルタ

IS-NMF と呼ぶ。複素正規分布を複素 Cauchy 分布に置き換えた同様の生成モデルも提案されている [6]。
複素 NMF や IS-NMF では位相スペクトログラムの各要素が独立なパラメータ（もしくは潜在変数）として扱われるが，実際には互いに依存関係にある。これ
は，短時間 Fourier 変換 (Short-time Fourier Transform; STFT) やウェーブレット変換などにより得ら∗(Hk,l Ul,m )2/α
X̂l,k,m = Yk,m ∑( l Hk,l Ul,m )2/α

(2)Time-domain spectrogram factorization for sound source separation. by Hideaki Kagami (Keio University), Hirokazu Kameoka (NTT Communication Science Laboratories), Masahiro Yukawa (Keio University).

日本音響学会講演論文集- 417 -2017年3月

るだけランク１構造に近くなるように y を sl の和y=L∑sl ,(5)l=1に分解する方法である [9]。ψ k,m ∈ CN を時間 m，周波数 k の時間周波数成分を得るための基底関数（図 1）とすると，sl の振幅スペクトログラムは |ψ H
k,m sl | と表される。ただし，(·)H はベクトルの複素共役転置を表Fig. 1

信号の時間周波数表現す。式 (5) を満たしながら |ψ H
k,m sl | ≃ Hk,l Ul,m となるように S = {sl }l , H = {Hk,l }k,l , U = {Ul,m }l,mにより各構成音の複素スペクトログラム X̂l,k,m を得ることができる。
式 (1) の分解表現を得る問題は Z と HU の誤差の規準を用いた最適化問題として定式化することがを求める問題は，minimize J (θ)
subject to y =できる。誤差規準としては各行列要素の Euclid 距離（二乗誤差），I ダイバージェンス，板倉齋藤距離，βJ (θ) :=ダイバージェンスなどの和が用いられる。以上の目的∑∑(6)
sl ,(7)lH(|ψ k,m sl | − Hk,l Ul,m )2

βl,k,ml,k,m+ R(U ) (8)関数を停留点へ収束させる H, U は補助関数法に基のような最適化問題として定式化できる。ただし，づく反復アルゴリズムにより探索することができる

θ = {H, U , S, β}, β = {βl,k,m } であり，βl,k,m は∑l βl,k,m = 1 を満たす正値変数とする。βl,k,m の重要性については後述する。J (θ) の一つ目の項は振幅
スペクトログラム S が完全にランク１構造を有した
とき 0 になる。複素 NMF と同様，このモデルでは要素ごとに値を相殺することができるため U をスパースに誘導するための正則化項が必要になる。R(U ) はこのために導入した項であり，ここでは ℓp ノルム∑pR(U ) = 2λ|Ul,m |(9)[8, 10, 11]。
2.1補助関数法

θ に関して最小化したい目的関数を F (θ) とすると，F (θ) = min F + (θ, θ̄)

(3)

θ̄

を満たす F + (θ, θ̄) を F (θ) の補助関数，θ̄ を補助変数と呼ぶ。このとき，次の定理が成り立つ。

←argminθ̄ F + (θ, θ̄) と θ←+argminθ F (θ, θ̄) を 交 互 に 繰 り 返 す こ と で 目 的関数 F (θ) は停留点に収束する。
定理 1 θ̄複素 NMF

3

複素 NMF は，複素スペクトログラムが加法的である点に着目し，Yk,m をスペクトルテンプレート

Hk,l ，アクティベーション Ul,m ，時変の位相スペク
トル cl,k,m の積の和∑Yk,m ≃
Hk,l Ul,m cl,k,m(4)lで近似する方法である [2, 3]。[2] では二乗誤差規準，[3] では KL ダイバージェンス規準の最適化アルゴリズムが補助関数法に基づきそれぞれ導出されている。

4

時間領域低ランクスペクトログラム近似

4.1問題の定式化

観測信号を y = (y[1], . . . , y[N ])T ∈ RN とする。

l,mを用いる。ただし，λ > 0 は正則化項の寄与の大きさを決める正則化パラメータである。U が有界で 0 <p < 2 のとき，R(U ) は U をスパースに誘導する働きをもつ項となる。U を有界にするため，∑2Hk,l=1(10)kとする。

4.2p

目的関数 J (θ) は |ψ Hk,m sl | と |Ul,m |(0 < p < 1)に関して微分不可能な点を含むため J (θ) を最小化す
る sl ，Ul,m は解析的に求まらないが，補助関数法により停留点への収束が保証された最適化アルゴリズ
ムを導くことができる。以下に示す不等式 (14), (15)を用いることで J (θ) の補助関数∑12J + (θ, θ̄) =ψ H sl − Hk,l Ul,m cl,k,mβl,k,m k,ml,k,m∑{}2+λp|Vl,m |p−2 Ul,m+ (2 − p)|Vl,m |p , (11)

TSF は，各構成音 sl の振幅スペクトログラムができ

日本音響学会講演論文集J の補助関数- 418 -l,m

2017年3月

を得ることができる。ただし，θ̄ = {c, V }，c ={cl,k,m }，V = {Vl,m } である。補助変数 C ，V をH
cl,k,m = ψ Hk,m sl /|ψ k,m sl |,(12)

Vl,m = Ul,m .

(13)∑k,m Re[ψ k,m ·] は逆 STFT に対応しており，式 (20)の初項は 2ψ Hk,m sl /βl,k,m の逆 STFT である。同様に
式 (18) の dl は 2Hk,l Ul,m cl,k,m /βl,k,m の逆 STFT である。よって sl の勾配計算には高速 Fourier 変換を活用できるため，勾配法による更新則と置いたとき J + (θ, θ̄) = J (θ) となる。

sl ← sl − γ∇sl J + (sl ),(21)

補題 1 任意の複素数 z ，|c| = 1 を満たす複素数 c には効率的に計算することができる。ただし，γ ∈ついて次式が成り立つ。

(0, 2/κ) はステップサイズである。ここで，κ > 0 は
勾配 ∇sl J + の Lipschitz 定数であり，行列 Ψl の最大固有値から得られるが，本稿では次の式で得られる γ をステップサイズとして用いる。
2γ := ∈ (0, 2/κ),(22)ρ∑∑ ∑ 2{w(n − αm )}2
ρ :=tr (Ψl ) =, (23)βl,k,m− |z| ≤ −Re[c∗ z].

(14)

等号は c = z/ |z| のとき成立する。
補題 2 0 < p < 2 のとき，任意の実数（または複素数）x について次式が成り立つ。
22 |x| ≤ p |v|p−22p|x| + 2 − p |v| .

(15)

l

等号は v = x のとき成立する。

5射影勾配法を用いた TSF アルゴリズム
上記の補助関数を最小化する sl は，Lagrange の未定乗数法を用いて

sl = Ψ−1l (dl − µ),となることが示せる。ただし，∑ 2Re[ψ k,m ψ Hk,m ]Ψl =,βl,k,m(16),βl,k,m( ∑ )−1 ( ∑)µ=ΨlΨl−1 dl − y ,dl =式 (5) の制約を満たすように sl を更新するため，本稿では射影勾配法を用いる。まず，
s1
 . LN. s̃ :=  . ∈R ,sLG := [I N · · · I N ] ∈ RN ×LN ,(19)を定義する。このときアフィン空間 V への射影はPV (s̃) = s̃ − GT (GGT )−1 (Gs̃ − y),である。式 (16) を sl の更新式としたアルゴリズムは停留点への収束性が保証されるが，この更新式は大きな行列の逆行列計算を含む。[9] では β1,k,m = · · · =βL,k,m (i.e., ∀l, βl,k,m = 1/L) という特定の条件で Ψlが単位行列になることを利用し，逆行列計算を回避する方法をとったが，β を固定することが音源分離性能に限界を与えていたことが検討の結果明らかになった。そこで，本章では射影勾配法を用いて当該逆行列計算を回避する効率的なアルゴリズムを提案する。
提案するアルゴリズムの H と U の更新式は [9] と同様のため，ここでは sl の更新についてのみ考える。
そのため，J + を S の関数とし，J + (S) と表記する。
J + (S) の sl に関する偏微分は(20)で与えられる。式 (20) の各項は効率的に計算可能である。例えば ψ k,m が STFT を算出する基底関数（フレーム m の窓掛けされた複素正弦波）の場合，ψ Hk,m sl は sl の STFT による複素スペクトログラムの (k, m) 成分である。また，式 (17) の日本音響学会講演論文集

(25)

(18)

l

∇sl J + (S) = Ψl sl − dl(24)を定義する。ここで，I N は N × N の単位行列であ∑る。線形制約 y = l sl は y = Gs̃ と書ける。また{}
V := s̃ ∈ RLN | Gs̃ = y ,(26)k,ml

フトの割合である。

(17)k,m∑ 2Re[cl,k,m ψ k,m ]Hk,l Ul,ml,n k,m

ただし，w(n) は STFT の窓関数，αm はフレームシとなる。さらに GGT = LI N ，
I N I N ... I N
 I N I N ... I N LN ×LN
,GT G = ..
∈R

.

(27)

(28)

I N I N ... I Nであることを用いると1[PV (s̃)]l = sl −L( L∑)sl′ − y ,(29)l′ =1が得られる。実際は ρ の上界が κ であるため式(22)(23) で得られる γ は γ ∈ (0, 2/κ) を満たす。従って，式 (21), (29) を交互に繰り返すことにより，線形制約の下で J + を最小化する値に収束することが保証される。
H と U の更新式は [9] と同様に得られる。まず，Uに関して J + の偏微分を 0 と置くことで更新式∑Hk,l |ψ Hk,m sl |/βl,k,mUl,m = ∑ k2,(30)p−2k Hk,l /βl,k,m + λp|Vl,m |- 419 -2017年3月

が得られる。また H ，β については Lagrange の未定乗数法を用いることで∑H
m Ul,m |ψ k,m sl |/βl,k,m,Hk,l = √∑ ∑H2(U|ψ
s|/β)
l,ml
l,k,mk,mk
mβl,k,m = ∑|ψ Hk,m sl | − Hk,l Ul,ml|ψ Hk,m sl | − Hk,l Ul,m,(31)(32)

が得られる。全体の更新式は次のようになる。

Fig. 2

1. Initialize H, U and S.
2. Update c and V using (12), (13).
3. Update S and γ using (20), (22)–(23), (29).
for t = 1 : iteration()
(t+1)
(t)
(t)
sl= PV sl − γ∇sl J + (sl )end
4. Update U , H and β using (30)–(32).

6

実験を行い，既存の TSF(β1,k,m = · · · = βL,k,m )，複素 NMF(CNMF-EUC)，I ダイバージェンス規準

NMF(NMF-KL)，二乗誤差規準 NMF(NMF-EUC)，
板倉斎藤擬距離規準 NMF(NMF-IS) による各音源のSignal to Noise Ratio (SNR) 改善値を比較した。2 にその結果を示す。提案手法が他手法に比べて高い改善値を得られていることが確認できる。

複素 NMF との関係

k,ml+2λ∑p|Ul,m | ,おわりに

8

複素 NMF は Hk,l ， Ul,m ， cl,k,m に関して∑∑2I(θ) =Yk,m −Hk,l Ul,m cl,k,mSNR improvements.

本稿では、時間領域で音源分離を行う効率的な TSFアルゴリズムを提案した。TSF の利点は、（i）時間領(33)l,mを最小化する最適化問題として定式化され，[2] では∑
12
I + (θ, θ̄) =Xl,k,m −Hk,l Ul,m ejϕl,k,mβl,k,ml,k,m∑[]2+λp|Vl,m |p−2 Ul,m+ (2 − p)|Vl,m |p , (34)

域信号の加法性と（ii）異なる時間周波数点における位相/振幅成分の相互依存性を利用することである。
提案された反復アルゴリズムは、射影勾配法を利用した補助関数最小化に基づいて得られた。シミュレー
ション結果では、提案された TSF アルゴリズムが既存法に比べ高い性能を比べて高い音源分離性能を得られることを確認した。

l,mが I の補助関数として用いられている。ただし，θ̄ ={β, X} が補助変数であり，β = {βl,k,m } ， X =∑{Xl,m } である。また，βl,k,m は l βl,k,m = 1 を満∑たす正の数であり，Xl,k,m は Yk,m = l Xl,k,m を満たす。Xl,k,m は l 番目の構成音の複素スペクトログラムを表す。
(11) と (34) を比べると，複素 NMF の補助関数における Xl,k,m と ejϕl,k,m が TSF の補助関数におけるsl と cl,k,m に対応していることがわかる。複素 NMFの一つの問題は Xl,k,m が複素スペクトログラムが時間領域信号に対応する条件が考慮されいない点にある。一方，提案手法では l 番目の複素スペクトログラ
ム ψHk,m sl を手がかりに，適切な解空間の中で時間領域信号 sl を推定することができる。

7

謝辞

本研究は JSPS 科研費 15K06081, 15H02757,26730100 の助成を受けて行われた。

参考文献[1] Smaragdis et al., Proc. ICA, 414–421, 2007.
[2] Kameoka et al., Proc ICASSP, 3437–3440, 2009.
[3] 鏡他, 音講論 (秋), 1-P-5, 433–436, 2016.
[4] Parry & Essa, Proc. ICA, 536–543, 2007.
[5] Févotte et al., Neural Computation, 21(3), 793–830, 2009.
[6] Liutkus et al., Proc. WASPAA, 2015.
[7] Le Roux et al., Proc. DAFx, 397–403, 2010.
[8] Lee & Seung, Adv. NIPS, 556–562, 2000.

実験結果[9] Kameoka, Proc. ICASSP, 86–90, 2015.
提案手法の有効性を確認するため，SiSEC 2013

Database の”professionally produced music recordings”（5 音源からなるポピュラー音楽の音響信号）を用いて 3 分割交差検証による教師あり音源分離

日本音響学会講演論文集[10] 亀岡他, 情処研報, 2006-MUS-66-13, 77–84, 2006[11] M. Nakano et al., Proc. MLSP, 283–288, 2010.

- 420 -2017年3月