2-Q4-8
スマートポスターボードにおける実環境を想定した複数話者分離∗◎中井駿介，宮崎亮一，猿渡洋，中村哲 (奈良先端大)，井上昂治，若林佑幸，河原達也 (京大)

1

はじめに

Camera array
Kinect

筆者らはポスター発表における会話に焦点をおいたマルチモーダルなセンシングシステム（スマートポスターボード）を提案している [1]．スマートポス
ターボードの目標は人間同士のインタラクションに関する信号センシングとより高いレベルの認識であり，これにより音声アーカイブに対する新たなインデキシングの枠組みを提供することが期待される．例えば，ポスター発表が終わった後でどういう質疑が行われたか，どこが聴衆にとって分かりづらかったか，といった要求に応えることができる．本研究では，スマートポスターボードのための音源分離手法について検討を行う．
先行研究において我々は，拡散性雑音が存在する実環境において有効な音源分離手法として，ブラインド空間的サブトラクションアレー（blind spatialsubtraction array: BSSA） [2] を提案している．これは，独立成分分析（independent component analysis:ICA） [3, 4] が，拡散性雑音の多い環境下では音声信号より拡散性雑音の推定精度が高いという性質に着目した手法である．BSSA では，遅延和法（delayand sum: DS）により目的音声を強調した信号から，ICA により推定した雑音をスペクトル減算（spectralsubtraction: SS） [5] する事で目的信号を抽出する．
これにより，ICA のみを用いた場合よりも高精度な雑音抑圧が可能となる．
しかし，従来の BSSA には，複数話者が存在する場合に分離性能が低下するという問題があった．ス
マートポスターボードでは発表者および聴衆が同時に存在しているため，従来の BSSA のみで音源分離を行うことは困難である．そこで，我々はスマートポスターボードのための音源分離手法として BSSA をマルチモーダル環境向けに拡張した手法を提案している [6]．しかし，先行研究では，実際のポスター発表における音源分離性能の評価は行われていない．そこで，本稿では，スマートポスターボードにおける実環境を想定した音源分離性能の評価を行う．

2収録システム

スマートポスターボードにおける音収録システムの概要を Fig. 1 に示す．本収録システムにはマイクロホンアレー，カメラ，リアプロジェクタが設置されており，リアプロジェクタにポスタを表示してディスカッションを行っている様子をマイクロホンアレーとカメラを用いて収録する事が可能である． マイクロホンアレーには 19 チャネルのオクターブアレーを採用している．マイクロホンアレーの設計図を Fig. 2 に示す．また我々は，簡易にポスター発表の収録を行う
ため，Kinect のみを用いたシステムも構築している．
Kinect は，Microsoft 社から販売されているマイクロホンアレーおよび画像センサを搭載したマルチモー∗

Microphone array

Projector(for poster display)

Fig. 1

System conﬁguration.

Microphone array

12

19…

0.5-1 kHz subarray

102.0 cm

1-2 kHz subarray
2-4 kHz subarray
4-8 kHz subarray

17.0 cm
8.5 cm
4.25 cm: Microphone

2.125 cm

Fig. 2

Design of 19-ch microphone array.

12150 mmFig. 33440 mm 40 mm

Design of Kinect microphone array.

ダルセンサである．Kinect のマイクロホンアレーの設計図を Fig. 3 に示す．

3

マルチモーダル音源分離

3.1

BSSA [2]3.1.1 概要
ICA は，拡散性雑音条件下において，点音源で近似される目的信号を推定するよりも雑音信号を推定する方が優れているという事が知られている．これに基づき，高精度に目的音声を抽出する手法として，
BSSA が提案されている．BSSA における処理は，DSによる目的音強調を行う主パス，ICA による雑音成”Multiple source separation for smart posterboard in real environment,” by Shunsuke Nakai, Ryoichi
Miyazaki, Hiroshi Saruwatari, Satoshi Nakamura, (Nara Institute of Science and Technology), Koji Inoue,
Yuko Wakabayashi and Tatsuya Kawahara (Kyoto University).

日本音響学会講演論文集- 133 -2014年3月

Primary pathx1(f,τ)F x2(f,τ)FT xJ(f,τ)∑θU+yDS(f,τ)

yBSSA(f,τ)
spectralsubtraction

q(f, τ ) = [o1 (f, τ ), . . . , oU −1 (f, τ ), 0,-θUo1(f,τ)FD- o2(f,τ)

0

ICA oK(f,τ)

PBq^ 1(f,τ)q^ 2(f,τ)q^ J(f,τ)oU +1 (f, τ ), . . . , oK (f, τ )]TθU∑ z(f,τ)(7)

次に射影法（projection back: PB）によって，利得の正規化を行う．この処理は以下の式によって与えられる．
+(f )q(f, τ )(8)q̂(f, τ ) = WICA

θUReference path

Fig. 4クトルから，目的音推定信号 oU (f, τ ) を以下のように取り除いた信号ベクトル q(f, τ ) を得る．

Block diagram of BSSA.

分推定を行う参照パスおよび主パス出力から参照パス出力をパワースペクトル上で減算するポスト処理部から構成される（Fig. 4 参照）．

ここで，M + は行列 M の Moore-Penrose 型一般逆行列を表す．最後に，下式のように，主パスと同様にDS を適用し，推定雑音 z(f, τ ) を得る．

3.1.2 主パスでの目的音強調
時間周波数領域における観測信号は，以下のように表す事ができる．

Tz(f, τ ) = gDS(f )q̂(f, τ )x(f, τ ) = h(f )s(f, τ ) + n(f, τ )(1)

ここで，x(f, τ ) = [x1 (f, τ ), . . . , xJ (f, τ )]T は観測信号ベクトル，h(f ) = [h1 f ), . . . , hJ (f )]T は，目的音源から各マイクロホンへの伝達関数ベクトル，s(f, τ )は目的信号，n(f, τ ) = [n1 (f, τ ), . . . , nJ (f, τ )]T は加法性の雑音信号ベクトル，J はマイクロホン数を表す．ただし，f は周波数ビン，τ は時間フレームインデックスを表す．
主パスにおける目的音強調は DS に基づいて行われる．DS により目的音を強調した主パス出力 yDS (f, τ )は以下のように表される．

yDS (f, τ ) = gDS (f )T x(f, τ )
(DS)

(2)
(DS)

gDS (f ) = [g1 (f ), . . . , gJ (f )]T
(3)
1(DS)
gj (f ) = exp (−i2π(f /M )fs dj sin θU /c) (4)J
ここで，gDS (f ) は DS のフィルタ係数ベクトル，θUは目的音方位，fs はサンプリング周波数，dj (j =1, · · · , J) はマイクロホン位置を示す．また，M はDFT 点数，c は音速である．

3.1.3 参照パスでの雑音推定参照パスでは，ICA により雑音を動的に推定する．
ICA は目的音信号と推定雑音信号が互いに独立になるように分離フィルタの最適化を行う．ICA による観測信号の分離は以下のように表される．
o(f, τ ) = WICA (f )x(f, τ )(5)

ここで o(f, τ ) = [o1 (f, τ ), . . . , oK (f, τ )]T は分離信号ベクトル，K は出力音源数，WICA (f ) は分離行列を表す．また，ICA に基づく分離行列は以下の更新式に基づいて反復的に求められる．
[p+1]

[p]

WICA (f ) =µ[I − ⟨φ(o(f, τ ))oH (f, τ )⟩τ ] · WICA (f )[p]+ WICA (f )(6)

ここで p は更新回数，µ は更新係数，M H は行列 Mの複素共役転置，I は単位行列，⟨⟩τ は時間平均，φ(·)
は非線形関数ベクトルを表す．
参照パスでは雑音の推定を行うため，分離信号ベ

日本音響学会講演論文集(9)

3.1.4 ポスト処理による目的音強調
ポスト処理部ではスペクトル減算法を用いることで，目的音声の抽出が行われる．ポスト処理部にスペクトル減算法を用いた場合の BSSA の最終出力[SS]yBSSA (f, τ ) を以下に示す．
[SS]

yBSSA (f, τ ) = √ |yDS (f, τ )|2 − β · |z(f, τ )|2 ei arg(yDS (f,τ ))(if |yDS (f, τ )|2 − β · |z(f, τ )|2 > 0)
0 (otherwise)(10)
ここで，β は減算係数である．

3.2 ICA パーミュテーション解決器
3.2.1 概要BSSA においては，ICA に基づく雑音推定部が高精度に雑音を推定することができるため，その音源分離精度が非常に高い．しかし，ICA にはパーミュテーション問題が発生し，雑音推定精度が劣化するという問題がある．また，スマートポスターボードは複数人の音声と背景に拡散性雑音を含む環境が想定されるため，それぞれの音声と雑音の分離を行うことが求められる．よって，ICA の分離信号に対するパーミュテーション解決器もそれに対応するものでなければならない．
本研究では，はじめに信号の確率密度関数（probability density function: PDF）に基づく拡散性雑音のパーミュテーション解決を行い，その後に音源の到来方位（direction of arrival: DOA）推定に基づく音声のパーミュテーション解決を組み合わせることで，高精度なパーミュテーション解決を行う．また，
DOA 推定による音声信号のパーミュテーション解決を行う際，画像情報から得た話者方位を DOA によるパーミュテーション解決のセントロイドとして用いることで，簡易かつ高精度にパーミュテーション解決を行う．
3.2.2

拡散性雑音のパーミュテーション解決

まず，拡散性雑音のパーミュテーション解決を行うため，信号をガンマ分布にによるモデリングを行う [7]．一般に，ガンマ分布はパワースペクトル領域の音声信号や実環境の雑音信号を表現可能であると言われている．また，ガンマ関数に基づく分布である- 134 -

2014年3月

ので，数学的に有用な性質が多く，分布の高次統計量を容易に求めることができるという特徴を持つ．ガ
ンマ分布の PDF は以下の P (x) で表すことができる．

(11)

...

xα−1 exp(−x/σ)σ α Γ(α)∫ ∞Γ(α) =tα−1 exp(−t)dt

P (x) =

Microphonearray(12)0

ここで α は形状母数，σ は尺度母数，Γ(α) はガンマ関数であり，α > 0 かつ σ > 0 である．
ガンマ分布によるモデリングは，観測される生のデータサンプルから，形状母数 α と尺度母数 σ を推定することで行われる．これらの母数は，以下のように最尤推定法に基づき推定される．
√3 − ω + (ω − 3)2 + 24ωα̂(ok ) =(13)12ωE[ok ]σ̂(ok ) =(14)α̂(ok )

ω = log (E [ok ]) − E [log ok ](15)

推定された α̂ の値が小さい程，元の信号は優ガウス性が高い分布形状となり，α̂ ≃ 1 のとき，ガウス性の分布形状となる．一般に音声の PDF は優ガウス性の分布形状であり，拡散性雑音の PDF はガウス性の分布形状であると言われている．よって，それぞれの分離信号を用いて α̂ の値を求め，0 < α̂ ≪ 1 である分離信号は音声信号，α̂ ≃ 1 である分離信号は雑音信号であると判定し，それぞれの分離信号の α̂ の大小を比較することによってパーミュテーション問題を解決することができる．
拡散性雑音のパーミュテーション解決においては，
式 (13) に基づき α̂ が最大値をとる ICA の分離信号のインデックス Unoise を次式のように決定する．

Unoise = argmax α̂ (ok (f, τ ))

(16)

k

3.2.3 音声のパーミュテーション解決
次に，話者間のパーミュテーション解決を DOA 推定に基づき行う．ICA の分離フィルタ WICA (f ) を用いて DOA 推定を行うと，次式のように音声の到来方位 θi が求められる [8]．
([[ −1]] )−1
arg WICA(f ) ji / WICA(f ) kiθijk = cos−1
2πf c−1 |dj − dk |(17)
ここで，i は音源のインデックス，j, k はマイクロホンのインデックス，dj はマイクロホン j の位置である．
通常の DOA 推定を用いたパーミュテーション解決
では，音響信号のみの情報から何らかの方法により推定した到来方位をクラスタリングする必要がある．
しかし，マルチモーダルシステムにおいては，画像情報を用いることにより，マイクロホンアレーと目的話者の相対的な物理的位置が特定可能である．よって，(image)
画像情報から得た話者 l の方位 θlを DOA によるパーミュテーション解決のセントロイドとして用いる．式 (17) で得た DOA 推定結果を，画像情報か

日本音響学会講演論文集

Fig. 5

Setting of ICA learning section.

(image)ら得た θlに近い順にソートして話者のパーミュテーション解決を行う．
(image)Ul = argmin |θli

− θi |(18)

3.3 ICA 学習区間設定
ICA による雑音推定は，音源が移動するとその精度が大きく劣化する．そこで本研究では，画像情報により話者の移動が検出された場合は ICA の学習区間を区切り，新たな区間で再度 ICA の分離行列を求める（Fig. 5 参照）．本図に示すように，いずれかの話者位置が ICA の学習開始時の話者方向 θ◦ から ± ϕ◦以上移動した場合に学習区間を区切り，パラメータの初期化を行う．

4評価実験

4.1

実験条件

本節では提案システムの実環境での音源分離性能を確認する．実環境でのでの音源分離性能を確認するため，実際のポスター発表の会場で Kinect を用いたシステムにより約 1 分間のポスター発表を収録した．この収録データを用いて提案手法により音源分離を行い，ダイアライゼーション精度により音源分離性能を評価する．ダイアライゼーションは，分離音を 1 秒毎に区切ってパワーを計算し，パワーが一定以上であればその区間を発話区間として検出する．
そして，あらかじめ用意した話者ごとの発話区間の正解と比較して，検出された発話区間推定の結果がどれだけ正解に近かったかを評価する．詳細な実験条
件を Table 1 に示す．これらの条件の下で，以下の 2つの手法を用いて実験を行った．

• 従来法（Conventional method）
・パーミュテーション解決はガンマ分布モデリン
グと DOA 推定を併用
・DOA のセントロイドは固定値
・ICA 学習区間は固定長の一定時間毎区切り• 提案法（Proposed method）
・パーミュテーション解決はガンマ分布モデリン
グと DOA 推定を併用
・画像情報による DOA のセントロイド決定
・画像情報による ICA 学習区間設定
また，音源分離は発表者，質問者，拡散性雑音の 3音源分離問題であり，ICA による雑音推定にはマイクロホンアレー中央の 3 チャネルを用いた．ただし，BSSA の DS による目的音声強調では全チャネル分を使用した．

- 135 -

2014年3月

Table 1Analysis conditions of signal separation

Sampling frequency
Frame length
Frame shift
Window
Number of ICA iterations
Step size parameter

16 kHz1024 samples
256 samples
Hanning window
300
0.05

1.0

Conventional method
Proposed method

F-measure

0.9
0.8

5

0.7

0.5

Presenter

4.2

Questioner

Experimental results of dialization accuracy.
評価指標

本実験ではダイアライゼーションの評価値として次式で定義される F 値を用いる．

F =

2P R
P +R

検出された正解点の数検出された点の総数検出された正解点の数
R=
実際の正解点の数

参考文献

(19)

(20)
(21)

適合率 P は正確性の指標であり，誤検出点が少ないほど値が高くなる．また，再現率 R は網羅性の指標であり，未検出点が少ないほど値が高くなる．P と Rはトレードオフの関係にあるため，本稿では P と Rの調和平均である F 値を用いる．この F 値は値が大きいほど検出精度が高い事を示す．

4.3 実験結果
実験結果を Fig. 6 に示す．本図より，提案手法ではダイアライゼーション精度が高くなっていることが分かる．しかし一方で，発表者の F 値は改善量が僅かであることが分かる．これは発表者の発話はパワーが大きく，発話区間と非発話区間の差が明瞭であり，音響情報のみで十分にダイアライゼーション精度が高いためである．これに対し，質問者では画像情報を併用することで F 値が大きく改善することが確認できる．
4.4

ブラウザ実装分離音声を提示するため，Fig. 7 に示すようにブラウザを実装した．このブラウザは収録したポスター発表の音声と動画を同期して再生することができる．
またブラウザでは，ダイアライゼーション結果および聴衆の視線検出結果も表示しており，ポスター発表の中で議論の盛り上がっていた場面や聴衆の質問があった場面を容易に検出することができる．

日本音響学会講演論文集

まとめ

謝辞 本研究の一部は，科学技術振興機構・戦略的創造研究推進事業（CREST）の支援を受けた．

ここで P は適合率，R は再現率を示し，それぞれ次のように定義される．

P =Developed browser of proposed system.

本稿では，実環境においてスマートポスターボードのためのマルチモーダル音源分離手法の評価を行った．実験結果より，画像情報を併用することで実環境におけるダイアライゼーション精度が改善することが確認できた．

0.6

Fig. 6

Fig. 7- 136 -[1] T. Kawahara, “Smart posterboard: multimodal sensing and analysis of poster conversations,” APSIPA, plenary overview talk, 2013.
[2] Y. Takahashi, T. Takatani, K. Osako,
H. Saruwatari, K. Shikano, “Blind spatial subtraction arry for speech enhancement in noisyenvironment,” IEEE Trans. Audio, Speech andLanguage Processing, vol.17, no.4, pp.650–664,2009.
[3] P. Comon, “Independent component analysis, a new concept,” Signal Processing, vol.36,
pp.287–314, 1994.
[4] P. Smaragdis, “Blind separation of convolved
mixtures in the frequency domain,” Neurocomputing, vol.22, pp.21–34, 1998.
[5] S. F. Boll, “Suppression of acoustic noisein speech using spectral subtraction,” IEEE
Transaction on Acoustic, Speech, Signal Processing, vol.27, no.2, pp.113–120, 1979.
[6] S. Nakai, R. Miyazaki, H. Kawanami,
H. Saruwatari, S. Nakamura, “Semi-blind
multiple speech extraction under diﬀuse noise
condition for smart posterboard,” Proc. RISPInternational Workshop on NCSP, in press
2014.
[7] H. Saruwatari, N. Hirata, T. Hatta, R. Wakisaka, K. Shikano, T. Takatani, “Semi-blindspeech extraction for robot using visual information and noise statistics,” Proc. IEEE ISSPIT, pp.238–243, 2011.
[8] H. Sawada, R. Mukai, S. Araki, S. Makino, “Arobust and precise method for solving the permutation problem of frequencu-domain blindsource separation,” IEEE trans. Speech andAcoustic Processing, vol.12, no.5, pp.530–538,
2004.

2014年3月