1-Q-29
時間チャネル非負値行列因子分解を用いた被り音抑圧における初期値頑健性の比較 ∗☆溝渕悠朔, 北村大地 (香川高専), 中村友彦, 猿渡洋 (東大), 高橋祐, 近藤多伸 (ヤマハ)1

はじめに音楽の生演奏を録音する場合，各音源に近接するようにマイクロホンを配置することが一般的である．
この配置は，各音源のみの音響信号（以後，目的音源と呼ぶ）を得ることを目的としているが，実際には他の音源からの音も少なからず混入してしまう．これは一般に被り音と呼ばれており，ミキシングの品質や演奏の質を下げる原因の 1 つである．
複数のマイクロホンで観測された信号に対する被り音の抑圧を行う手法として，Togami らは，多チャネル観測信号の周波数毎の時間チャネル行列に非負値行列因子分解（nonnegative matrix factorization: NMF）[1] を適用する時間チャネル NMF（timechannel NMF: TCNMF）を提案している [2]．TCNMF では，周波数ビン毎に非負混合行列と各音源のアクティベーションを推定しており，自明解を避ける正則化の導入（以後，従来 TCNMF と呼ぶ）によって，マイクロホン間隔が空間的に離れている（空間エイリアシング問題が生じる）観測信号に対しても音源を分離できることが確認されている [3]．この利点が被り音抑圧においても有効であることに着目し，我々は被り音の相対的なゲインに事前分布を導入する新しい手法（以後，提案 TCNMF と呼ぶ）を提案
した [5]．
提案 TCNMF はその定式化の都合上，従来 TCNMF よりも最適化変数の初期値に対して被り音抑圧の性能が頑健となることが予想される．本稿では，
従来 TCNMF と提案 TCNMF のそれぞれにおいて，最適化変数の初期値に対する被り音抑圧性能の頑健性を実験的に調査する.

る．なお，i，j ，m，及び n をそれぞれ周波数，時間，チャネル，及び音源の整数インデクスとし，これらの最大値を I ，J ，M ，及び N と表す．従って，式 (1)のように観測信号 {Xi }Ii=1 から音源信号 {Si }Ii=1 を推定できれば，音源分離や被り音抑圧が可能となる．
Ai 及び Si の推定は，次の最適化問題となる．
∑∑min
DKL (Xi |Ai Si ) + µ∥sij ∥0.5
A,STCNMF の定式化と最適化問題

2.1

従来 TCNMF

TCNMF は時間周波数の振幅値のみを用いる音源分離手法であり，文献 [2–4] では音声強調や音声分離に適用されている．TCNMF は周波数毎の時間チャネル行列 Xi を次のように分解する．
Xi ≈ Ai Si ∀i∗(2)

ここで，DKL (·|·) は次式のように定義される．
∑(ximj
DKL (Xi |Ai Si ) =ximj log ∑n aimn sinjm,j)∑− ximj +aimn sinj
(3)n

また，A 及び S はそれぞれ {Ai }Ii=1 及び {Si }Ii=1 の集合，ximj ，aimn ，及び sinj はそれぞれ Xi ，Ai ，及び Si の要素，µ は正則化のための重み係数，∥ · ∥0.5は L0.5 ノルムである．
式 (2) の第 2 項はスパース正則化項であり，決定系（M = N ）における自明解（全ての i に対して Aiが単位行列）の回避のために導入される [2]．これは，時間周波数領域における W-disjoint-orthogonality [7]仮定に基づいており，音声の混合信号には妥当だが，時間周波数領域で複数の音源成分が重なり合う音楽信号では成立しづらい．従って，従来 TCNMF は，音楽信号の場合には音質を低下させる可能性がある．
提案 TCNMF

提案 TCNMF は，従来 TCNMF を音楽信号の被り音抑圧のために改良した手法である [5]．本手法では，ゲイン行列 Ai に次の事前分布生成モデルを導入する．
{δ(aimn − 1)
(m = n)aimn ∼(4)
G(aimn ; k, θ) (m ̸= n)G(a; k, θ) =(1)×J
ここで，Xi = [xi1 · · · xij · · · xiJ ] ∈ RM
は観測
≥0
信号の周波数 i における全チャネル全時間の振幅値を×Nまとめた行列，Ai ∈ RM
は周波数 i における各音≥0
源から各マイクへのゲインをまとめたゲイン行列，及×J
び Si = [si1 · · · sij · · · siJ ] ∈ RN
は周波数 i に≥0
おける音源毎の全時間の振幅値をまとめた行列であi,js.t. aimn , sinj ≥ 0 ∀i, m, n, j

2.22i1ak−1 e−a/θΓ(k)θk(5)ここで，δ(a) は Dirac のデルタ関数であり，Ai の対角成分を 1 に固定する役割を持つ．また G(a; k, θ) は確率変数 a ≥ 0，形状母数 k > 0，及び尺度母数 θ > 0から成るガンマ分布であり，形状母数を k > 1 とすると，Ai の非対角要素が 0 になることを防ぐことができ，Ai の自明解を回避できる．一方，Si には

Robustness comparison of initialization for bleeding sound reduction using time-channel nonnegative
matrix factorization. By Yusaku MIZOBUCHI, Daichi KITAMURA (NIT Kagawa), Tomohiko NAKAMURA, Hiroshi SARUWATARI (The University of Tokyo), Yu TAKAHASHI, and Kazunobu KONDO(Yamaha Corporation).

日本音響学会講演論文集- 351 -2022年9月

明示的な構造を仮定せず，非負制約事前分布のみを導入する．このガンマ事前分布の導入は，Cemgil のBayesian NMF [6] に基づいている．
これらの事前分布を用いて Ai と Si を最大事後確率推定で求めることは，次の問題と等価である．
∑∑minR(aimn ; k, θ)
DKL (Xi |Ai Si ) +A,Sii,m,n̸=ms.t. aimn , sinj ≥ 0 ∀i, m, n, j and aimn = 1 ∀m = n(6)Fig. 1 SDR improvements for simulated training
data obtained by conventional TCNMF.

ここで，正則化項 R(aimn ; k, θ) は次式となる．
[]1R(aimn ; k, θ) = −(k − 1) log aimn + aimn (7)θ
また，本手法では，観測信号に次の前処理を施す．
αx̃[t] ← x̃[t] ∀t(8)v ()v = max {abs(x̃[t])}Tt=1(9)ここで，x̃[t] ∈ RM は時間領域の多チャネル観測信号，t は離散時間インデクス（最大値は T ），max(·)
は入力集合の最大値，ベクトルに対する abs(·) は要素毎の絶対値である．信号のダイナミックレンジに相当する α ≥ 0 は正則加項の重み係数と等価となる [5]．

2.3

従来 TCNMF と提案 TCNMF は，補助関数法 [1] による反復最適化アルゴリズムが提案されている [2,5]．
これは，Ai 及び Si を非負乱数で初期化したうえで反復することで，最適化コスト関数が単調に減少（又は非増加）するアルゴリズムである．式 (2) 及び式 (6)はいずれも非凸最適化問題であるため，アルゴリズムの収束点として求まる解は通常，最適化変数の初期値に依存して異なる結果になることが一般的である．

最適化変数の初期値頑健性の調査

3.1

動機

シミュレーション信号の被り音抑圧実験
実験条件

ドライソースには，実楽器の音楽データセット
DSD100 [8] からランダムに 20 曲を選出し，開発デー
タ 10 曲とテストデータ 10 曲に分割して，60〜90 秒の範囲でトリミングした信号を用いた．混合前の音
源信号は，vocals，bass，drums，other の 4 種類とし，M = N = 4 となるように観測信号の複素スペクトログラム X ∈ CI×J×M を作成した．このとき，被り音を含む観測信号の模擬のため，周波数毎の非負混×N
合行列 Ai ∈ RMを用いて，音源信号の複素スペ≥0
クトログラム S ∈ CI×N ×J を次式のように混合した．

xij = Ai sij

TCNMF の コ ス ト 関 数 に は ，式 (3) の 一 般 化
Kullback-Leibler（KL）ダイバージェンスが用いられている．KL ダイバージェンスに基づく NMF（KLNMF）では，2 変数 Ai 及び Si のいずれか片方を定数とみなすと凸最適化となりユニークな解が存在するという良い性質がある [1]．しかし，従来 TCNMF は式 (2) のように L0.5 ノルムの正則化項を追加したことで，この性質は失われている．一方提案 TCNMF
は，式 (4) に示すように，KLNMF の生成モデル（ポアソン分布）の共役事前分布（ガンマ分布）を仮定しているため，前述の性質が引き継がれており，式 (6)の最適化問題も 2 変数のいずれかが定数であれば，凸最適化となると考えられる．さらに，提案 TCNMF
では式 (4) の事前分布により，変数 Ai の対角成分を1 に固定していることから，初期値頑健性が大幅に改善されることが予想できる．本章では，上記の予想を検証するために，従来 TCNMF と提案 TCNMF のそれぞれにおいて，最適化変数の初期値に対する被り音抑圧性能の頑健性を実験的に調査する.

日本音響学会講演論文集

3.2
3.2.1

最適化アルゴリズム

3Fig. 2 SDR improvements for simulated training
data obtained by proposed TCNMF.

(10)

ここで，xij ∈ CM 及び sij ∈ CN はそれぞれ，X 及びS の周波数 i，時間 j におけるチャネルベクトル及び音源ベクトルである．Ai の対角要素は 1 とし，非対角要素は (0, 0.2) の範囲の一様分布から生成される乱数に設定した．但し，開発データには 10 種類の異なる擬似乱数を用い，10 種類の観測信号を作成した．最適化変数 Ai 及び Si の初期値は別の 10 種類の擬似乱数を用いて 10 種類作成した．信号の標本化周波数は44.1 kHz，短時間 Fourier 変換の窓関数は Blackman
窓，窓長は 92.9 ms，シフト長は 46.5 ms とした．最適化アルゴリズムの反復回数は 200 回とした．被り
音抑圧性能の客観評価には source-to-distortion ratio（SDR）[9] を用いた．本稿の実験では，観測信号のSDR からの改善量を音源毎に求めた．

3.2.2

最適なハイパーパラメータの調査

従来 TCNMF 及び提案 TCNMF のハイパーパラメータの最適値は開発データを用いて実験的に求めた．
Figs. 1 及び 2 は，従来 TCNMF 及び提案 TCNMF の- 352 -

2022年9月

Table 1

Mean and SD values [dB] for simulated test data over 100 parameter initializations

Music no.
MethodSimple
TCNMF
Conventional
TCNMF
Proposed
TCNMF

MeanSD
MeanSD
Mean
SD

4519203470717779991.370.02
3.49
0.09
3.80
2.05×10−8

1.31
0.02
4.53
0.20
5.60
1.08×10−7

1.31
0.07
6.88
0.39
8.17
1.14×10−7

1.49
0.03
4.35
0.14
4.64
5.49×10−8

1.36
0.11
4.23
0.17
5.12
5.22×10−7

1.72
0.06
3.33
0.29
4.72
1.18×10−7

1.84
0.05
5.74
0.28
5.88
1.02×10−7

2.01
0.23
6.63
0.44
9.30
1.16×10−7

1.43
0.05
5.72
0.27
6.51
1.17×10−7

1.34
0.06
4.99
0.24
6.02
3.77×10−74
1.0 m

Source 1
Auratone 5c

1.0 m

3
3.3 m

Microphone 3
SHURE SM572Source 1Auratone 5c

Conventional TCNMF

Proposed TCNMF

Monitor loudspeaker
GENELEC 1031A

10710643210510104-1-20204060

80

100120140160

180

SDR improvement [dB]

5Conventional TCNMF (cost function, left axis)
Proposed TCNMF (cost function, left axis)
Conventional TCNMF (SDR imp., right axis)
Proposed TCNMF (SDR imp., right axis)-3
200

Number of iterations

Fig. 4 Example behaviors of cost function values
and SDR improvements for simulated test data withmusic no. 70.
各ハイパーパラメータにおける被り音抑圧性能の変化をそれぞれ示す．但し，各改善量の値は，10 種類の曲，10 種類の混合行列 Ai ，及び 4 種類の音源全ての平均である．これらより，従来 TCNMF は µ = 1.047，提案 TCNMF は k = 1.22，θ = 0.46，及び α = 0.00027
が学習データに対する最適値となった．

3.2.3

被り音抑圧の性能及び初期値頑健性の比較

前述の最適なハイパーパラメータを用いて，テストデータの被り音抑圧性能を比較した．テストデー
タを生成するための非負混合行列 Ai は，開発データとは異なる擬似乱数 1 種類を用いた．初期値頑健性の確認のため，Ai 及び Si の乱数初期値を 100 種類作成し反復最適化アルゴリズムを計算した．
Table 1 は，100 種類の初期値に対する曲毎の音源平均 SDR 改善量の平均と標準偏差（standard deviation: SD）を求めた結果である．また，Fig. 3 に曲番号 70 のデータにおける手法毎のバイオリン図を示す．
但し，図中の Simple TCNMF は従来 TCNMF における µ = 0 に対応する．バイオリン図中の色のついた点はひとつの初期値に対する結果（1 標本），中央の白い点は中央値，グレーの縦棒は四分位範囲，曲線はカーネル密度推定分布を表す．Table 1 及び Fig. 3 より，提案 TCNMF の被り音抑圧性能は従来 TCNMFと比較して，最適化変数の初期値の影響をほぼ受けていないことがわかる．3.1 節で述べた通りの理由に

日本音響学会講演論文集

Fig. 5
data.

0.7 m

Microphone 2SHURE SM57

1.0 m

Simple TCNMF

Microphone 4SHURE SM57

Fig. 3 Violin plots of SDR improvements for simulated test data with music no. 70.

103

Microphone 1SHURE SM58

0.7 m1

Value of cost function

Source 3Auratone 5c

1.0 m

0.7 m

3.4 m

1.0 m

SDR improvement [dB]

5Digital mixer
O1V96

AD/DA
Steinberg UR824

Equipment� AD/DA
Steinberg UR824
� Loudspeaker/amp
Auratone 5c/Yamaha A100a
� Monitor loudspeaker
GENELEC 1031A
� Digital mixer
Yamaha O1V96
� Microphones
SHURE SM57 or SM58

Recording environment for producing realより，提案 TCNMF の頑健性が確認できる．
最後に，反復回数とコスト関数の値及び SDR 改善量の関係を Fig. 4 に示す．いずれの TCNMF も SDR
改善量の収束速度は同程度である．

3.3
3.3.1

実収録混合信号の被り音抑圧実験
実験条件

より現実的な観測信号を用いた実験について示す．
この実験では，被り音を含む観測信号を再現するた
めに，各音源の時間信号 s̃n [t] と，各音源位置から各マイクロホンまでのインパルス応答 r̃mn [t] を用いて次式のように混合した．
∑x̃m [t] =s̃n [t] ∗ r̃mn [t](11)nここで，x̃m [t] は x̃[t] の要素，∗ は時間領域における畳込み演算を表す．このインパルス応答 r̃mn [t] は Fig. 5に示す環境下で録音した．この録音環境では，マイクロホン 1 で観測された音がミキサに入力され，モニタースピーカで再生される．従って，マイクロホン 1の目的音源は，他のマイクロホンに強く被り音として混入する．その他の条件は 3.2.1 項と同様である．

3.3.2

最適なハイパーパラメータの調査

3.2.2 項と同様に開発データを用いて手法毎のハイパーパラメータの最適値を求めた．Figs. 6 及び 7 は，従来 TCNMF 及び提案 TCNMF の各ハイパーパラメータにおける被り音抑圧性能の変化をそれぞれ示す．これらより，従来 TCNMF は，µ = 0.0749，提案
TCNMF は，k = 1.02，θ = 2.15，及び α = 0.0008
が学習データに対する最適値となった．
3.3.3

被り音抑圧の性能及び初期値頑健性の比較

3.2.3 項と同様に各手法の初期値頑健性を調査した．
各手法のハイパーパラメータは 3.3.2 項にて決定した値を用いた．Table 2 は，100 種類の初期値に対する曲- 353 -

2022年9月

Table 2
Music no.
MethodSimple
TCNMF
Conventional
TCNMF
Proposed
TCNMF

MeanSD
MeanSD
Mean
SD

Mean and SD values [dB] for real test data over 100 parameter initializations
4519203470717779

990.150.08−0.15
0.231.23
5.33×10−7

−0.58
0.50
−0.95
0.51
2.33
1.83×10−6

−2.46
0.97
−1.93
1.16
1.61
1.42×10−4

−0.29
0.54
−0.18
0.61
2.25
7.66×10−6

−3.03
0.73
−3.19
0.78
0.52
6.82×10−6

0.004
0.26
−0.32
0.49
2.34
3.57×10−5

−0.30
0.82
−0.19
0.81
2.98
8.71×10−7

−4.34
1.22
−5.02
1.36
1.97
1.09×10−3

−2.16
0.65
−2.52
0.84
1.69
1.22×10−6

−5.29
0.66
−4.15
0.56
0.72
2.94×10−3

SDR improvement [dB]310-1-2Simple TCNMF

Conventional TCNMF

Proposed TCNMF

Fig. 8 Violin plots of SDR improvements for realtest data with music no. 70.
Value of cost function

107421060Conventional TCNMF (cost function, left axis)
Proposed TCNMF (cost function, left axis)
Conventional TCNMF (SDR imp., right axis)
Proposed TCNMF (SDR imp., right axis)

105

104-2-4-6-8-10

103

020

40

60

80

100

120

140

160

180

SDR improvement [dB]Fig. 6 SDR improvements for real training dataobtained by conventional TCNMF.

2-12200

Number of iterations

Fig. 7 SDR improvements for real training dataobtained by proposed TCNMF.
毎の音源平均 SDR 改善量の平均と標準偏差を求めた結果である．また，Fig. 8 に曲番号 70 のデータにおける手法毎のバイオリン図を示す．Table 2 及び Fig. 8より，シミュレーション信号の被り音抑圧実験と同様に，提案 TCNMF の被り音抑圧性能の初期値頑健性が確認できる．実収録混合信号においても，3.1 節で述べた理由により，提案 TCNMF の初期値頑健性が示されている．
最後に，反復回数とコスト関数の値及び SDR 改善量の関係を Fig. 9 に示す．Fig. 4 と比較すると，提案 TCNMF の SDR 改善量は従来 TCNMF よりも早く収束しており，優位性が確認できる．

4まとめ

本稿では，従来 TCNMF 及び提案 TCNMF の被り音抑圧性能の最適化変数初期値に対する頑健性を調査した．実験結果より，提案 TCNMF の被り音抑圧性能は従来 TCNMF と比較して，最適化変数の初期値の影響をほぼ受けないことが確認された．これは，KLNMF の良い性質と，提案 TCNMF の推定パラメータの少なさに起因していると推測される．

謝辞
本研究の一部は，科研費 19H01116 及び 22H03652の助成を受けた．

日本音響学会講演論文集

Fig. 9 Example behaviors of cost function values
and SDR improvements for real test data with music
no. 70.

参考文献[1] D. D. Lee and H. S. Seung, “Algorithms for non-negative
matrix factorization” Proc. NeurIPS, pp. 556–562, 2000.
[2] M. Togami, Y. Kawaguch, H. Kokubo, and Y. Obuchi,“Acoustic echo suppressor with multichannel semi-blind
non-negative matrix factorization,” Proc. APSIPA ASC,
pp. 522–525, 2010.
[3] H. Chiba, N. Ono, S. Miyabe, Y. Takahashi, T. Yamada,and S. Makino, “Amplitude-based speech enhancementwith nonnegative matrix factorization for asynchronous
distributed recording,” Proc. IWAENC, pp. 203–207,2014.
[4] Y. Murase, H. Chiba, N. Ono, S. Miyabe, Y. Takahashi, T. Yamada, and S. Makino, “On microphone arrangement for multichannel speech enhancement basedon nonnegative matrix factorization in time-channel domain,” Proc. APSIPA ASC, 2014.
[5] Y. Mizobuchi,
D. Kitamura,
T. Nakamura,
H. Saruwatari, Y. Takahashi, and K. Kondo, “Priordistribution design for music bleeding-sound reduction
based on nonnegative matrix factorization,” Proc.
APSIPA ASC, 2021.
[6] A. T. Cemgil, “Bayesian inference for nonnegative matrix factorisation models,” Comput. Intell. Neurosci.,
vol. 2009, no. 785152, 2009.
[7] O. Yılmaz and S. Rickard, “Blind separation of speech
mixtures via time-frequency masking,” IEEE Trans.
Signal Process., vol. 52, no. 7, pp. 1830–1847, 2004.
[8] A. Liutkus, F. R. Stöter, Z. Raﬁi, D. Kitamura, B. Rivet,
N. Ito, N. Ono, and J. Fontecave, “The 2016 signal separation evaluation campaign,” Proc. LVA/ICA, pp. 323–332, 2017.
[9] E. Vincent, R. Gribonval, and C. Févotte, “Performancemeasurement in blind audio source separation,” IEEE
Trans. Audio, Speech, Lang. Process., vol. 14, no. 4,
pp. 1462–1469, 2006.

- 354 -2022年9月