オープンハウス２００９ 研究講演

２００９年６月５日

人と人との会話を解き明かす
コミュニケーションを科学する
映像音声技術ＮＴＴコミュニケーション科学基礎研究所
メディア情報研究部
大 塚 和 弘講演の流れ• なぜ，「会話」なのか？
• 実時間会話シーン分析システム– 全方位センサによる会話の観察– 画像系技術– 音響系技術• 会話構造の推定• 未来– アプリケーション– 技術課題など

なぜ，「会話」なのか？
現状のTV会議システム
障壁

コミュニケーションの障壁を克服したい 3

研究の目的• コミュニケーション科学– メッセージを分析し、人間同士の自然なコミュニケーションを自動的に理解する

メッセージ

メッセージ

メッセージ

非言語行動・非言語メッセージ
対面コミュニケーションにおいて重要な役割を持つ
音響的情報

発 話
韻 律
視 線
頭部ジェスチャ

視覚的情報

顔の表情
手のジェスチャ
姿勢......

クロスモーダル・インタラクション
送り手の行動受け手の行動

発 話

発 話

韻 律

韻 律

視 線

視 線

頭部ジェスチャ

頭部ジェスチャ

顔の表情

顔の表情

手のジェスチャ

手のジェスチャ姿勢

姿勢......

......

複数のモダリティー間のインタラクションが鍵を握る

会話シーン分析の問題設定(非)言語行動を画像・音声信号として観測し，そこから会話の６W１Hを自動的に認識する
when where who whom what

how

why

いつ？ どこで？ 誰が？ 誰と？ 何を？ どのように？ 何故？
例題 ・誰が誰に向かって話し掛けているか？ who-to-whom
・誰が誰に対してどのように反応しているか？who-whom-how
・誰が何を話しているのか？

who-what

・何故，彼／彼女は怒っているのか？

who-how-why

実時間会話シーン分析システム
2008.5～

デモシステムのターゲット
発 話

・誰がいつ話しているか？

話者ダイアリゼーション（Ｓｐｅａｋｅｒ Ｄｉａｒｉｚａｔｉｏｎ）の問題+

・誰がいつ誰（どこ）を見ているか？
視覚的注意の焦点（Ｖｉｓｕａｌ Ｆｏｃｕｓ ｏｆ Ａｔｔｅｎｔｉｏｎ）
視 線「いつ誰が誰に向かって話しているか？」when who whom
いつ？ 誰が？
誰と？
「いつ誰が注目を集めているか？」本システムの構成と特徴
頑健かつ高速に顔方向を追跡
全方位カメラマイクシ

顔画像追跡による顔の位置・方向推定

視線方向の推定可視化

音声区間検出＋
音声到来方向推定

話者の特定

ノイズや同時発話状況に頑健リアルタイム動作する
多人数マルチモーダル会話シーン分析システムは世界初!!

本システムの構成と特徴
頑健かつ高速に顔方向を追跡
全方位カメラマイク

顔画像追跡による
顔の位置・方向推定

視線方向の推定可視化

音声区間検出＋
音声到来方向推定

話者の特定

ノイズや同時発話状況に頑健リアルタイム動作する
多人数マルチモーダル会話シーン分析システムは世界初!!

ミーティングルーム

ミーティングシーン

全方位カメラマイク

全方位カメラ光

入射角度

2つの魚眼レンズ搭載カメラによりほぼ全周を撮影

マイクロフォンアレー
3本のマイクによりマイクアレーを構成

120度

３本のピンマイク音デモ：全方位カメラによる撮影画像とその表示方法

本システムの構成と特徴
頑健かつ高速に顔方向を追跡
全方位カメラマイクシ

顔画像追跡による
顔の位置・方向推定

視線方向の推定可視化

音声区間検出＋音声到来方向推定

話者の特定

ノイズや同時発話状況に頑健

リアルタイム動作する
多人数マルチモーダル会話シーン分析システムは世界初!!

デモ：顔方向追跡

顔方向追跡：初期化
疎テンプレート追跡法
顔領域の検出

注目点集合
顔テンプレートの状態

位置
姿勢
明るさ
大きさ
形状モデル

顔方向追跡：追跡顔テンプレートの状態（位置と姿勢）の分布をパーティクルフィルタを用いて求める
ＧＰＵで実行
全方位カメラパノラマ
画像

次時刻の分布を予測

予測
更新
現在の画像を用いて状態分布を更新する

ＧＰＵで実行
顔の位置と姿勢メモリーベース・パーティクルフィルタ
新しいパーティクルフィルタの枠組みを提案
・過去の状態履歴を活用することで「予測」を向上
・効果１：複雑な動きへの対処
・効果２：追跡失敗からの復旧性能の向上
提案法：過去の長期的な動きの性質を利用

t
従来法：直近の情報のみ利用
Mikami, Otsuka, Yamato: “Memory-based particle filter for face pose tracking
robust under complex dynamics”, Proc. IEEE CVPR2009

ムービー：Ｍ－ＰＦ

本システムの構成と特徴
頑健かつ高速に顔方向を追跡
全方位カメラマイクシ

顔画像追跡による顔の位置・方向推定

視線方向の推定可視化

音声区間検出＋
音声到来方向推定

話者の特定

ノイズや同時発話状況に頑健

リアルタイム動作する
多人数マルチモーダル会話シーン分析システムは世界初!!

音響信号処理各人の発話区間の検出と声の到来方位角の推定
音源数
時間周波数 同時発話を推定領域で処理 に頑健ＳＴＦＴ
マイクアレー

到来方向推定クラスタリング

音声区間検出

周期・非周期成分比 人の声と＋ダイナミクスモデル 雑音を区別閾値処理

音声到来方向＆時間区間

S. Araki, et al. A DOA based speaker diarization system forreal meetings. In Proc. HSCMA2008, pages 29–32, 2008

デモ：音声区間検出

本システムの構成と特徴
頑健かつ高速に顔方向を追跡
全方位カメラマイクシ

顔画像追跡による顔の位置・方向推定

視線方向の推定可視化

音声区間検出＋
音声到来方向推定

話者の特定

ノイズや同時発話状況に頑健リアルタイム動作する
多人数マルチモーダル会話シーン分析システムは世界初!!

デモ：可視化
ダイアグラム表示
音声強調

本システムの特徴（まとめ）• 全方位カメラ・マイクシステム• 画像上での高速・頑健な顔方向追跡• 頑健な音声区間検出• リアルタイム性• ３次元可視化• 音声強調when where who whom what

how

why

いつ？ どこで？ 誰が？ 誰と？ 何を？ どのように？ 何故？

会話構造の推定

when where who whom what

how

why

いつ？ どこで？ 誰が？ 誰と？ 何を？ どのように？ 何故？

会話モデルのコンセプト
推定の対象

会話の構造：参加者間でのメッセージ伝達のパターン「誰が誰に話し掛けているか？」「誰が誰の話を聞いているか？」“who is talking to whom?” “who is listening to whom?”

視線パターン（視線の方向） インタラクション構造「誰が誰を見ているか？」“who is looking at whom?”「誰が誰に反応するか？」“who responds to whom?”

観測の対象

発話の有無 頭部方向 頭部ジェスチャ
会話構造と非言語行動との関係を確率的にモデル化階層的モデル構造
ベイジアンネット表現されたモデル

High Level

隠れ変数

レジームレイヤー(モノローグ, ダイアローグ)

インタラクションレイヤー

行動レイヤー
Low Level

S
視線X
パターン

H
頭部方向
観測可能

会話構造
インタラクション構造
EU
発話区間

G
頭部
ジェスチャ

頭部ジェスチャによるインタラクション

頭部ジェスチャは，話し手・聞き手，双方にとって重要な手掛かり
話し手の頭部ジェスチャ
話し掛け行動問い掛け-リズムとり-強調

明示的に他者からの応答を要求する

聞き手の頭部ジェスチャ
傾聴行動
Back-channel
response
相槌，頷き

話し掛けー傾聴返答
明示的に態度を表明e.g. 同意，否定

問い掛けー応答推定結果の可視化例：空間的な表示
顔追跡の結果をワイヤーフレームにて表示

矢印：視線の方向

直線：顔向き頷き（他者への反応）
色付きの同心円：頷き（反応以外）
白い円：中心人物（話者など）を表す

未来へ
Future Directions

今後の方向性• もっと高性能・頑健に– 顔追跡の頑健性向上，– 発話検出の精度向上，残響除去• もっとマルチモーダル– 顔表情や韻律から感情を推定– 視線の方向を直接計測– 音声認識による言語情報の利用– マルチモーダル統合による上位の会話の状態の推定• もっと見せる／使える– アプリケーション開発

アプリケーション• 遠隔映像会議– リアルタイムの分析結果を用いた映像生成• 会議アーカイブ構築– 会話の状態をキーとした検索・閲覧• 心理学研究，心理カウンセリング，人物評価– 個人の特性の評価，グループの特性の定量化

動画像からの表情認識技術

平常怒り

悲しみ

驚き喜び

顔向き変動に対してロバストな表情認識手法を開発
Kumano, et al. “Pose-Invariant Facial Expression Recognition
Using Variable-Intensity Templates”, Int. Journal of Computer Vision, 2008

演技的な表情から会話中の微細な自然表情へ会話の中の微笑・哄笑
上段：
人間の判定
下段：
認識結果

対人感情の推定
誰が誰にどれくらい微笑んでいたか？

視線方向と表情の組み合わせで対人関係がわかる

音声認識

研究メンバー
画像系

大塚和弘

三上 弾

熊野史朗

大和淳司

音声系

荒木章子

石塚健太郎

藤本雅清

大庭隆伸

ご視聴ありがとうございました
NTT CS研 オープンハウス２００９
オンラインサイト
http://www.kecl.ntt.co.jp/openhouse/
2009/theme/b1/index.html