2-1-13
話者分類と SN 比最大化ビームフォーマに基づく会議音声強調∗○荒木 章子, 澤田 宏, 牧野 昭二 (NTT 研究所)
はじめに

1

具体的には近年会議録プロジェクトが国内外で検討されているが [1, 2]、話者音声のオーバーラップを積極的に扱う例はまだ少ない。一方、音声のオーバーラップを解決すべき課題とする音源分離 (e.g., [3]) では、全ての音源が区間中話し続けているシナリオが主で、話者の交代等についてはあまり議論がなされてこなかった。
本稿では、話者が交代で発話するが自然なオーバーラップも生じる、という会議環境における話者音声強調手法を提案する。

問題設定

2

N 人の話者音声が M 個のマイクにて観測されるとする。マイク j による観測信号 xj は、xj (t) =PN

k=1

P∞

l=1 hjk (l)sk (t − l + 1) + nj (t)(j = 1, · · · , M )とモデル化される。ここで sk は話者 k の音声であり、各話者は断続的な発話をする。人数 N は未知とする。
また hjk は話者 k とマイク j 間のインパルス応答、nj (t) はマイク j におけるノイズである。本稿の目的は、観測信号 x1 , · · · , xM から、それぞれの話者音声を強調することである。
本稿では、時間領域での観測信号 xj (t) (j =1, . . . , M ) に 短 時 間 フ ー リ エ 変 換 (STFT) を 適
用 し 、時 間 周 波 数 領 域 に て 信 号 を xj (f, t) ≈∑N
k=1 hjk (f )sk (f, t) + nj (f, t) と し て 扱 う。ま たx(f, t) = [x1 (f, t), . . . , xM (f, t)]T を観測信号ベクトルとする。

3提案手法

本稿では、話者 k 毎に SN 比最大化ビームフォーマ
wk (f )[4] を構成し、yk (f, t) = wkH (f )x(f, t)(1)にて強調音声を得る方法を提案する。SN 比最大化
ビームフォーマは、出力信号 yk (f, t) 中の目的話者 k
信号 (信号成分) とノイズおよび他話者信号 (ノイズ成分) とのパワー比を最大化するよう求められる。SN 比最大化ビームフォーマは、適応ビームフォーマ (e.g.,[1]) におけるステアリングベクトルを必要としないため、残響下でもロバストな動作が期待される一方、信号成分およびノイズ成分の推定を要する。本章では、信号成分およびノイズ成分の推定方法と、SN 比最大化ビームフォーマの構成方法を順に説明する。
[STEP1] ノイズ区間推定：まず、誰も発話していないノイズ区間 PN を推定する。これは、後の話者分類で、ノイズによる誤分類が生じることを避けるためである。ここでは [5] による音声区間検出を用いた。
∗Λ(t) =1 ∑{γ(f, t) − log γ(f, t) − 1}
|F|(2)

f ∈Fをフレーム毎に計算し、この値 Λ(t) が閾値 η より小さければノイズ区間 PN 、大きければ音声区間 PS と判定する。ここで F は考慮する周波数の集合、|F| は|x (f,t)|2その集合の要素数、γ(f, t) = Jσ(f ) は事後 SN 比、σ(f ) はノイズパワーの推定値である。
[STEP2] 話者分類：次に、音声区間 PS における観測信号ベクトルを、各話者の発話区間に分類する。本稿では、マイク間の信号の到来時間差をフレーム毎に推定し、これを分類する。
マイク j とマイク j ′ に関する信号の到来時間差 τjj ′は、GCC-PHAT[6] により以下のように推定できる。
∑ xj (f, t)x∗j ′ (f, t)
τjj ′ (t) = argmaxτ
eȷ2πf τ (3)|xj (f, t)x∗j ′ (f, t)|f

これをある基準マイク j ′ とその他のマイク j について求め、それらを並べた縦ベクトルを τ (t) とする。
次に、各フレーム t ∈ PS における到来時間差 τ (t)を、オンラインクラスタリング [7] にて話者別に分類する。オンラインクラスタリングは、クラスタリングを 1 クラスタから始め、既存のクラスタのセントロイドからある閾値以上離れたデータが観測された時に、そのデータをセントロイドとした新たなクラスタを生成する手法であり、発話者数が未知である場合にも対応することができる。各クラスタが各話者に対応している。以降フレーム t がクラスタ k に分類された
時 C(t) = k と書くことにする。
[STEP3] 音声強調：最後に、検出された各話者 k 毎に SN 比最大化ビームフォーマ wk (f ) を構成する。
SN 比最大化ビームフォーマは前述の通り、出力信号
yk (f, t) 中の話者 k の区間信号と、ノイズおよび他話者区間の信号のパワーの比
PC(t)=k |yk (f, t)|λ(f ) = P

22C(t)̸=k |yk (f, t)|=kwkH (f )RT(f )wk (f )(4)kH
wk (f )RI (f )wk (f )を最大化するビームフォーマとして設計される。こ∑Hk
こで RkT (f ) =C(t)=k x(f, t)x (f, t)、RI (f ) =∑H
C(t)̸=k x(f, t)x (f, t) である。
式 (4) を wk (f ) で微分し 0 とおくと、

RkT (f )wk (f ) = λ(f )RkI (f )wk (f )(5)という関係が得られる。最大の SN 比 λ(f ) は、(5) で与えられた一般化固有値問題における最大固有値となり、その最大固有値に対応する固有ベクトル e(f )が話者 k に関する SN 比最大化ビームフォーマの係数

Speech enhancement in a meeting situation with speaker clustering and maximum SNR beamformers
by ARAKI Shoko, SAWADA Hiroshi, and MAKINO Shoji (NTT Communication Science Laboratories,NTT Corporation).

日本音響学会講演論文集−571−

2007年3月

AislePartition
Microphones

Screen140 cm90cm

4 cm
DeskProjector

110 cm

PC1

Source 1 (- 40o)White Board

270 cmSource 2 (- 120o)

cm

Wall

11090cm

Wall2S1 0−202S2 0−202S3 0−202X1 0−20

305 cmSource 3 (60o)Aisle

PC2Partition

Fig. 1

実験環境 (残響時間 350 ms)を最小にする補正フィルタ∑ ∗Rx (f )wk (f )t yk (f, t)x(f, t)
a(f ) = ∑= H
2wk (f )Rx (f )wk (f )t |yk (f, t)|(7)に て ビ ー ム フォー マ wk (f ) を 補 正 す る 。こ こ で∑HRx (f ) =t x(f, t)x (f, t) は観測信号の全時間区間における相関行列である。ビームフォーマの補正は、a(f ) のある任意の J 番目の要素 aJ (f ) を用い(8)により行う。
この補正されたビームフォーマを用い、(1) にて話者 k に関する強調音声 yk (f, t) を得る。

実験と結果

図 1 に示す環境で実験を行った。混合信号は、図 2に例示するタイミングで発話される英語音声および、図 1 の環境で計測したインパルス応答とノイズを用いて作成した。信号長は 30 秒間である。サンプリング周
波数は 16kHz、STFT フレーム長 L は 2048、フレームシフトは 256 である。性能を signal-to-interferenceplus noise-ratio (SINR) と signal-to-distortion-ratio(SDR) にて評価した。比較方法としては、適応ビー
ムフォーマ[Rk (f )]−1 vk (f )wk (f ) = H I kvk (f )[RI (f )]−1 vk (f )を用いた。ここで vk (f ) は話者 k に関するステアリングベクトルであり、STEP2 で得られたセントロイドで与えられる到来時間差を用いて求めた。
強調音声の例を図 3 に、SINR と SDR の値を表 1に示す。提案法では、比較法よりも高い性能にて、それぞれの話者音声を強調することができている。また、補正フィルタにより SDR 値も改善されたことが日本音響学会講演論文集

152025305101520253051015202530

5101520time (sec.)

2530

201−202y2 0−202y 0
3−20ywk (f ) = e(f ).
(6)
尚、SN 比最大化ビームフォーマは、ゲインに関して不定性を持つため、これをこのまま音声信号のような広帯域信号に適用すると、出力が wk (f ) の周波数特性により歪む [8]。これをここでは、観測信号とビームフォーマ wk (f ) の出力信号との誤差∑2G(a(f )) =t ||x(f, t) − a(f )yk (f, t)||∑H
2=t ||x(f, t) − a(f )wk (f )x(f, t)||

410Fig. 2 原音声 (s1 〜s3 ) と混合音声 (x1 ) の例を与える。

wk (f ) ← aJ (f )wk (f )551015202530

51015202530

5101520time (sec.)

2530

Fig. 3 強調音声の例
Table 1. 強調結果。SDR’: 補正フィルタ (8) 無し。
比較法
提案法

SINR[dB]
7.0
9.0

SDR[dB]
11.5
12.6

SDR’[dB]
3.8分かる。
また我々は、図 1 と同じ環境で話者 4 名による会話を収録し、本手法を適用した。30 秒間の収録全体では 4 名全ての発話が含まれたため、マイク 3 個の本システムではあまり良い強調はできなかったが、収録音声を 5 秒ブロックに区切ることで、各ブロックではほぼ 3 話者以下の発話に限ることができ、良い強調音声を得ることができた。講演要旨に例を示している。

参考文献[1] 浅野他, “会議収録データにおける発話イベントの構造化と分離について”, 音講論 2006 年秋, pp. 29–30.
[2] http://www.nist.gov/speech/test beds/mr proj/[3] S. Makino, et al., ”Blind source separation of convolutive mixtures of speech in frequency domain,”
IEICE Trans. Fundamentals, vol. E88-A, no. 7, pp.
1640-1655, 2005.
[4] H. L. Van Trees, ed., Optimum Array Processing,Wiley, 2002.
[5] J. Sohn, et al., “A statistical model-based voice activity detection,” IEEE SP Letters, vol. 6, no. 1, pp.
1–3, 1999.
[6] C. H. Knapp and G. C. Carter, “The generalized correlation method for estimation of time delay,” IEEE
Trans. ASSP, vol. 24, no. 4, pp. 320–327, 1976.
[7] R. O. Duda, et al., Pattern Classiﬁcation, 2nd ed.,Wiley, 2000.
[8] E. Warsitz and R. Haeb-Unbach,“Controllingspeech distortion in adaptive frequency-domain principal eigenvector beamforming,” in Proc. IWAENC
2006, 2006.

−572−

2007年3月