1-1-21
車室内コミュニケーション用低遅延音源分離手法の検討 ∗☆上田哲也，井上翔太，牧野昭二，松本光雄，山田武志（筑波大学）

1

はじめにれているため，STFT の窓長に対して観測信号の残情報通信技術 (Information and CommunicationsTechnology) が急速に発展しており，近年では情報通信技術を車室内に活用したサービスの提供が検討されている [1, 2]．車室内では各座席が同じ方向を向いており，エンジン音や他の話者の話し声といった複数の非目的音が存在することから，特に前方の座席と後部座席間での会話が成り立ちにくくなる．そこで我々は運転手の音声を強調して，離れた同乗者に遅延なく提示することで会話を補助する車室内コミュニケーションの実用化を検討している．これを実現する有効なアプローチの一つにブラインド音源分離（BSS）がある．BSS とは観測された信号のみから個々の信号を推定する技術であり，音源に関する情報や音源とマイクロホン間の伝達関数等の事前情報を必要としない利点を持つ．
マイクロホンの数が音源数を上回る優決定条件下の BSS においては，音源信号間の独立性を最大化するように分離フィルタを推定する独立成分分析 (In-

響時間が長い条件下においては分離性能が低下する．
一般に車室内の残響時間は短いが，STFT の窓長を短くした場合，その影響は無視できなくなる．この影響は STFT の窓長を大きくすることで緩和できるが，STFT の待機遅延が生じ，低遅延での動作が困難となる．
一方，長い残響環境下を想定した BSS 手法として，周波数領域における畳み込み混合近似に基づいた IL-RMA が提案されている [8]．本稿ではこの手法を畳み込み混合に基づく ILRMA と呼ぶ．[8] では音源分離実験によって，残響時間が STFT の窓長を上回る状況においての周波数領域の畳み込み混合近似の有効性が示されている．本研究ではこのアプローチを特に車室内の短い残響環境下での音源分離に適用することで，低遅延化を図る．

2

畳み込み混合に基づく ILRMA

2.1

瞬時混合近似に基づいた定式化

dependent Component Analysis: ICA) [3] が有用で

I 個のマイクロホンで J 個の音源から到来する信あることが知られており，近年では周波数領域での号を観測する場合を考える．i 番目のマイクロホンで分離手法が数多く提案されている [4–6]．これらの手観測される信号と j 番目の音源信号の時間周波数成法は，周波数領域で成立する音源に関する様々な仮分をそれぞれ xi (f, n) と sj (f, n) とする．ただし，f定やマイクロホンアレーの周波数応答に関する仮定と n は周波数と時間フレームのインデックスである．

を有効に活用できるという利点がある．例えば，独以下では優決定条件下において I = J とする．

立低ランク行列分析 (Independent Low-Rank Matrix

まず，音源とマイクロホンの間の室内インパルス応

Analysis: ILRMA) [5,6] は，各音源信号のパワースペ

答長が STFT における窓長よりも短い場合を考える．

クトログラムを非負値行列とみなし，非負値行列因子

音源信号 s(f, n) = [s1 (f, n)，. . . ，sJ (f, n)]T ∈ CJ と分解 (Non Negative Matrix Factorization: NMF) [7]

観測信号 x(f, n) = [x1 (f, n)，. . . ，xI (f, n)]T ∈ CI ので近似表現する手法である．これは，各時間フレーム

関係性は瞬時混合系を用いるとにおけるパワースペクトルを時間的に変化する振幅によってスケーリングされた基底スペクトルの線形s(f ，n) = W H (f )x(f ，n),(1)和で近似することに相当する．

W H (f ) = [w1 (f )，. . . ，wI (f )] ∈ CI×I

(2)

周波数領域での分離手法は，観測信号が入力されてからその信号が短時間フーリエ変換 (STFT) されるまでの待機遅延が不可避である．待機遅延は STFTの窓長に依存して生じる遅延であり，CPU の高性能化やアルゴリズム改善により削減不可能である．周波数領域での分離手法の車室内コミュニケーションへの適用には低遅延が要求されるため，STFT の窓と表せる．ここで，W H (f ) は分離フィルタを表し，(·)T は行列の転置であり，(·)H はエルミート転置である．
次に，観測信号が生成されるプロセスを生成モデルにより記述する．音源 j の複素スペクトログラム

sj (f, n) を長を短くする必要がある．一方で，ILRMA は周波数領域において瞬時混合近似に基づいた定式化がなさ∗

sj (f, n) ∼ NC (sj (f, n)|0, vj (f, n))(3)

Low-latency blind source separation for in-car communication by Tetsuya Ueda, Shota Inoue, Shoji
Makino, Mitsuo Matsumoto, Takeshi Yamada (University of Tsukuba).

日本音響学会講演論文集- 213 -2020年3月

のように平均が 0，分散が vj (f, n) = E[|sj (f, n)|2 ] のフィルタ {W H (f, n′ )}f,n′ の次数である．W H (f ，0)

複素正規分布に従う確率変数と仮定する．各音源がを正則な行列であると仮定すると，残響除去後の観統計的に独立である場合，s(f, n) は測信号 y(f ，n) = [yi (f, n), . . . , yI (f, n)]T ∈ CI と音
源信号 s(f, n) はs(f, n) ∼ NC (s(f, n)|0, V (f, n))(4)′y(f, n) = x(f, n) −に従う．ここで，V (f, n) は v1 (f, n), . . . , vI (f, n) をン行列 U = {uj,k (n)}j,k,n の二つの非負行列の積で表せると仮定すると vj (f, n) はvj (f, n) =K∑(9)s(f, n) = W H (f, 0)y(f, n)(10)の よ う に 書 き 直 せ る ．こ こ で ，D H (f, n′ )−1−(W (f, 0))H′

W (f, n ), 1 ≤ n
H′=′≤ N である．式 (9) は観測信号 x(f, n) に含まれる残響成分をhj,k (f )uj,k (n)(5)

k=1のように表せる．ここで，k = 1, ..., K は NMF の基底インデックスを表す．式 (1) と式 (4) より，観測信号 x(f, n) は除去するプロセスに相当し，D = {D H (f, n′ )}f,n′ は長さ N ′ の残響除去フィルタと見なせる．式 (10) は残響を除去した信号 y(f, n) に対して，周波数ごとの音源分離を行うプロセスとして解釈できる．この関係式に 2.1 節の S = {sj (f, n)}j,f,n の生成モデルを組み込むことで，分離行列 W ，残響除去フィルタ D−1

x(f, n) ∼ NC (x(f, n)|0, (W (f ))H−1

V (f, n)W (f ))(6)に従う．従って，観測信号 X = {x(f ，n)}f,n が与えられたときの分離行列 W = {W (f ，0)}f 及び各音源のパワースペクトログラム V = {H ，U } についてのの尤度関数を得ることができる．観測信号 X が与えられたときの残響除去フィルタ D，分離行列 W 及び各音源のパワースペクトログラム V の尤度関数は以下のように記述できる．

尤度関数は以下のように記述できる．

c

I(D, W, V|X ) = −2N log det W H (f )X|wjH (f )y(f, n)|2+log vj (f, n) +vj (f, n)
f,n,jcI(W ，V|X ) = −2N log det W H (f )X |wjH (f )y(f, n)|2+log vj (f ，n) +vj (f ，n)(7)

f ，n，jc

ここで，= はパラメータに依存しない項を除いた等号を表す．
この瞬時混合近似に基づいた手法は STFT の窓長が残響時間より十分に長い必要がある．そのため，この手法を用いて STFT の窓長を短くすると瞬時混合近似の仮定を十分に満たさなくなり分離性能が低下

2.3

去フィルタ D，分離行列 W 及び各音源のパワースペ
クトログラム V についての対数尤度関数 (11) を最小化するアルゴリズムについて述べる．この最適化問
題の大域最適解は解析的に求めることはできないが，局所最適解は畳み込み混合近似に基づいた定式化

い環境下を想定した BSS 手法として畳み込み混合近よって分離性能の向上が示されている [8, 9]．音源信号と観測信号の関係は次式のような有限インパルス応答フィルタの形式として記述できる．
′s(f, n) =H′′′′W (f, n )x(f, n − n )(8)n′ =0′V̂ ← argmin I(D，W ，V|X ),(12)

Ŵ ← argmin I(D，W ，V|X ),(13)

D̂ ← argmin I(D，W ，V|X )

(14)

W

周波数領域での瞬時混合近似が十分に成り立たなN∑

最適化アルゴリズム

V

似に基づいた手法が提案されており，音源分離実験に

ここで，W (f, n ), 0 ≤ n ≤ N は I × I 行列の分離フィルタであり，音源分離とともにフレーム外に及ぶ(11)

本節では，観測信号 X が与えられた下で，残響除する．

2.2

D H (f ，n′ )x(f, n − n′ ),n′ =1対角成分に持つ対角行列である．さらに，分散 vj (f, n)を基底行列 H = {hj,k (f )}j,k,f 及びアクティベーショN
XDを繰り返すことで数値探索することができる．

V の更新は以下の通りである．
vPu
u n |sj (f, n)|2 uj,k (n)vj−2 (f, n)
hj,k (f ) = hj,k (f )t,P−1n uj,k (n)vj (f, n)
vPuu f |sj (f, n)|2 hj,k (f )vj−2 (f, n),uj,k (n) = uj,k (n)tP
−1
f hj,k (f )vj (f, n)

(15)

(16)

W の更新には反復射影法 (Iterative Projection: IP)残響成分を除去する役割を担ったパラメータである．

W H (f, 0) は式 (1) の分離フィルタに対応する．N ′ は

日本音響学会講演論文集- 214 -

2020年3月

それに対し [8] では，上述の手法を用いることで窓長を超える残響成分を含む信号の分離精度が向上する

wj (f ) ← (WH (f )Σj (f ))−1 ej ,wj (f ) ← √wj (f )

(17)

ことが示されている．我々はこの点に注目し，STFT(18)に起因する待機遅延の低減への応用を検討する．本稿

wHj (f )Σj (f )w j (f )では，特に車室内の短い残響環境下の音源分離アプ

を 用 い る こ と が で き る ．た だ し ，Σj (f )=∑ x(f,n)xH (f,n)
1
で あ り，ej は I × I の 単 位
nNvj (f,n)
行列 I の第 j 列のベクトルである．

D の更新は D(f, n′ ) の第 i 列のベクトルを di (f, n′ )としてローチとして周波数領域での畳み込み混合を用いる．

3

評価実験

3.1

実験の概要

車室内環境下で畳み込み混合に基づく ILRMA を低遅延化に適用した手法の有効性を評価するために，

d(f ) = vec({D(f, n′ )})音源分離実験を行った．STFT の窓長が残響時間を下T
T
T= [dT
1 (f, 1), . . . , dI (f, 1), d1 (f, 2), . . . , dI (f, 2),2′T′ T
I N. . . , dT
1 (f, N ), . . . ., dI (f, N )] ∈ C′

回る条件での分離性能の変化を確認するため，STFT(19)の窓長 L，残響除去フィルタ長 N ′ ，分離性能の関係のようにベクトル形式に変形することで解析的に求を調査した．実験に用いた多チャンネルの観測信号∗

は実測の車室内インパルス応答とドライソースを畳めることができ，d (f ) の更新式として(∗d (f ) ←∑to-distortion ratio (SDR) [10] を用いる．SDR は値

X (f, n)Σw/v(f,n) X(f, n)

n×み込むことで生成した．分離性能の評価には，signal-)−1H(∑が高い程高い分離性能を示す．

)
X H (f, n)Σw/v(f,n) x(f, n)(20)nwj (f )wjH (f )jvj (f,n) でI ⊗ xT (f, n − N ′ )] ∈ CI×I N′(21)である．I と ⊗ はそれぞれ I × I の単位行列とクロネッカー積を表す．の男性 6 話者，女性 4 話者計 10 話者分のデータを使た 2 人の異なる話者の発話に対し，実測の車室内インパルス応答を畳み込むことで，2 チャンネルの観測信号を 10 パターン作成した．観測信号のサンプリン
グ周波数は 8 kHz とした．インパルス応答は車室内

従って，各変数の最適化までの流れは以下のようにまとめられる．

で録音した時間引き延ばしパルス（Time-StretchedPulse: TSP）を用いて測定した．音源を自動車の運転席と助手席に配置し，マイクロホンを車室内前方の1. V ，W と D を初期化する．
2. 各 j ，f ，n について下記の更新を繰り返す．
(a) 式 (15)，(16) を用いた hj,k (f ), uj,k (n) の更新．

2.4

ト B に収録されている，全 503 文の音素バランス文用した．このデータセットの中からランダムに選択しX(f, n) = [I ⊗ xT (f, n − 1), I ⊗ xT (f, n − 2), . . . ,2

実験条件

本実験では，ATR デジタル音声データベースのセッ∑が得られる．ここで，Σw/v(f,n) =あり，(·)∗ は複素共役を表す．また，

3.2

マップランプに取り付けて TSP 信号を録音した．音源とマイクロホンの配置を Fig．1 に示す．車室内の残響時間（T60 ）は 58 ms であった．実験では L を{2，4，8，16, 32} ms とした場合の残響除去フィル(b) 式 (17)，(18) を用いた wj (f ) の更新．

タ長の変化に対する SDR の平均値を評価した．残響(c) 式 (20) を用いた d∗ (f ) の更新．

除去フィルタ長 N ′ を大きくすると残響除去フィルタの更新時間が大きくなるため本実験では 0 ≤ N ′ ≤ 10

残響除去手法の低遅延化の応用とした．N ′ = 0 の場合は瞬時混合に基づく ILRMA

車室内コミュニケーションでは，発話者音声の観測を用いた場合と等価である．また，窓長 L が残響時信号が入力されてから分離信号が出力されるまでの間に比べて十分に長い条件での比較対象として，L =間で遅延時間が生じ，その時間が 12 ms より大きい

128 ms での瞬時混合モデルに基づく ILRMA を用いと発話者音声と分離音声が反響音声に聞こえ，音声た場合の SDR の平均値も示す．畳み込み混合に基聴取に影響を与えることが示されている [2]．その為，づく ILRMA を用いる際に，STFT の移動長は窓長STFT の窓長を短くする必要があるが，窓長を短くの 4 分の 1 とした．また，反復更新を 50 回行った．

すると瞬時混合近似の仮定を十分に満たさなくなり

ILRMA での音声信号分離では基底数が多い場合に分分離性能が低下する．

離性能が劣化することが確認されているため [6]，基日本音響学会講演論文集- 215 -2020年3月

SDR [dB]

L = 2 ms
L = 4 ms
L = 8 ms
L = 16 ms
L = 32 ms
L = 128 ms (instantaneous)(a) Plan view

dereverberation filter length N' [frame]

Fig. 2: Average SDR according to STFT frame
length L and dereverberation ﬁlter length N ′(b) Side viewing an in-car communication system,” in Proc.
Fig. 1: Sound source and microphone layout in experiment

Speech Prosody, pp. 479–483, 2016.
[2] A. Theiss et al., “Instrumental evaluation of
in-car communication systems,” in Proc. ITG,底数を 1 とした．

3.3

pp. 1–4, 2014.
[3] A. Hyvärinen et al., “Independent component

実験結果と考察

各窓長 L における残響除去フィルタ長 N ′ の変化

analysis,” Wiley, 2001.
[4] N. Ono, “Stable and fast update rules forに対する SDR の平均値を Fig．2 に示す．図より，残independent vector analysis based on auxil-

響除去フィルタ長 N ′ を適切に選択することで，いずれの L においても SDR の向上が確認できる．特に，iary function technique,” in Proc. WASPAA,

4 ≤ L ≤ 32 ms において SDR の平均値が L = 128

pp. 189–192, 2011.
[5] H. Kameoka et al., “Statistical model of speech

ms 及び N ′ = 0 の場合を上回る結果となった．以上

signals based on composite autoregressive sys-より，周波数領域での畳み込み混合モデルに基づく

tem with application to blind source separa-

ILRMA を車室内における音源分離に用いることで，

tion,” in Proc. LVA/ICA, pp. 245–253, 2010.
[6] D. Kitamura et al., “Determined blind source
separation with independent low-rank matrix

SDR を維持しつつ，STFT に起因する待機遅延の削減が可能であることが示された．

analysis,” Audio Source Separation, Springer,

まとめ4

本稿では，畳み込み混合に基づく ILRMA の車室

pp. 125–155, 2018.
[7] D. D. Lee et al., “Algorithms for non-negative

内環境下での低遅延な音源分離への応用を検討した．

matrix factorization,” in Proc. NIPS, pp. 556–

実測のインパルス応答を用いた音声の分離実験を実施

562, 2001.
[8] H. Kagami et al., “Joint separation and dere-

し，車室内において分離性能を維持しつつ STFT にverberation of reverberant mixtures with deter-

起因する待機遅延の削減が可能であることを示した．
謝辞

本研究は科研費 19H04131，SECOM 科学技術振興財団，サポインの助成を受けた．

mined multichannel non-negative matrix factorization,” in Proc. ICASSP, pp. 31–35, 2018.
[9] T. Yoshioka et al., “Blind separation and dereverberation of speech mixtures by joint optimization,” in IEEE Trans. ASLP, vol. 19, no. 1,

参考文献[1] R. Landgraf et al., “Can you hear me now? re-pp. 69–84, 2010.
[10] E. Vincent et al., “Performance measurement

ducing the lombard eﬀect in a driving car us-

in blind audio source separation,” IEEE Trans.
ASLP, vol. 14, no. 4, pp. 1462–1469, 2006.

日本音響学会講演論文集- 216 -

2020年3月