テレプレゼンス

情報と人間を結ぶコミュニケーション科学

会話シーン分析

コミュニケーション科学特集

動くディスプレイで会話が伝わる

本稿では，複数の人物が会話を行う場面を異なる地点において再現するシステムを紹介します．このシステムは，顔画像を投影するスクリーンの姿勢おおつかを物理的に制御し，人物の頭の動きを補強して提示する表現方式に特徴があ

大塚 和弘

かずひろ

ります．視線方向などが分かりやすく，また高い存在感を感じることができ

NTTコミュニケーション科学基礎研究所るなどの効果が期待できます．

しました．その第一弾として，ある場を認識・理解するという技術分野を会所で行われた複数人物の会話の様子を話シーン分析と名付けました．この会

別の地点で再現するという課題に焦点

話シーン分析の目標は，入力情報から人と人とが対面で行う会話は，私を当て，新しい表現方法を提案し，そ会話の６W１Hの記述を自動的に得るたちのもっとも基本的なコミュニケーの検証システムの構築を進めています．

ことと考えています．６W１Hとは，ションの形態です．日常会話や打合

本稿では，このシステムの概要，およW h e n （ いつ）， W h e r e （ どこで），せ，会食などを行うことで，情報の伝び関連する会話シーン分析の研究に

W h o （ 誰 が）， W h o m （ 誰 に対 し達・共有や他者の意図・感情の理解，ついて紹介します．て），What（どのようなメッセージ

コミュニケーションの科学とその応用に向けてグループでの意志決定など，さまざまなコミュニケーションが行われていま

会話シーン分析の進展を），How（どのような振る舞いによって），Why（なぜ）そのような振る舞す．これまで遠隔地間におけるコミュ

対面状況の会話において，人は言語いが起こったのか，ということを指し，ニケーションを支援する技術として映的な情報だけでなく，さまざまな非言会話シーン分析は，個人の行動から二像会議システムなどが利用されていま語情報の交換を行っています．このよ者間のインタラクション，グループのすが，いまだ多くの場面で対面の会話

うな非言語情報には，視線や顔の表状態までさまざまな課題を対象としてほどのスムーズなコミュニケーションを情，ジェスチャ，身振り・手振り，声います．

実現するには至っていません．のトーンなどが含まれており，これらがこれまで会話シーン分析の例として，こうした時間や距離に伴うコミュニ総合的に作用することでさまざまな情NTTコミュニケーション科学基礎研究

ケーションの障壁を解消するためには，報が伝達・交換されています．我々所では，ダイアライゼーションと呼ば人と人との間で行われるコミュニケーは，このような会話の場面をカメラやれる「誰がいつ話したか」 を自動検出ションの原理や仕組みをより深く理解マイクなどを用いて観測し，そこからする手法や，「誰が誰を見ているか」することが重要であると考えています．

得られた画像・音声情報を計算機をという視覚的注意の推定，「誰が誰にこの考えの下，NTTコミュニケーショ使って分析することで，会話において向かって話しているか」「誰が誰の話

ン科学基礎研究所は，これまで複数人人が交わしている非言語情報や，それを聴いているか」という会話構造の推物 が対 面 で行 う会 話 を対 象 とした，を用いてどのようにコミュニケーション定，「誰が誰に応答しているか」「誰の「会話シーン分析」の研究を進めてきが展開していくか，そのプロセスを明

どの行動が他者のどのような反応を引ました．現在，我々はこれまでの分析らかにすることができると期待していき起こしたか」という相互作用の構造研究を発展させ，将来の遠隔コミュニます．

推定，「誰と誰がいつ共感・反感をもっケーションシステムの設計に活かせる

我々は，このような画像や音声などたか」という対人感情推定，「誰が何よう，会話の表現に関する研究に着手の情報に基づいて自動的に会話の状況を話したか」という会話音声認識のNTT技術ジャーナル 2012.927

情報と人間を結ぶコミュニケーション科学問題に対して，それぞれ自動的な検ディスプレイ），およびその検証シス

まな非言語情報が交わされていますが，出・推定・認識の方法を提案してきテム（M M - S p a c e ）を提案していま

遠隔コミュニケーション環境では，こ（1）, （2 ）（4）

れらの非言語情報が十分に伝達されな

また，対面の状況で人と人とが会話

本研究では，時間・空間を隔てたいことが，その不自然さの一因であるする場面を，自動的かつ実時間で分析会話の状況を，あたかもその場にいると考えられます．そこで，我々はこれできるシステムとして，「マルチモーダかのように観測できるシステムの実現を何らかの手段で補い提示することがル会話シーン分析システム」を世界にを目指し，会話者の顔画像をスクリー重要だと考え，さまざまな非言語情報先駆けて開発してきました ．このシンに投影しつつ，その人物の頭部運動の中でも，頭部の姿勢や運動に着目しステムは，８人程度までの比較的小規をスクリーンの物理的な運動として補たのがMM-Spaceです．頭部の姿勢模のミーティングを想定して，テーブ強して提示するという表現方法の提案

や運動として表出される情報の１つにル上に置かれたコンパクトな全方位カに特徴があります．本システムでは，は「誰が誰を見ているか」という視線メラ・マイク統合システムにより画像

会話者の配置に合わせて，別地点に複方向（視覚的注意の焦点とも呼ばれ情報，音響情報を収集し，その情報数のプロジェクタ，および透過型スクる）があります．この視線には，他者を処理・統合することで会話の状況をリーンが配置され，各スクリーンに等のモニタリング，自身の態度・意図の分析し，その結果をディスプレイ上に身大の人物像（顔画像）が投影され表出，会話の流れの調整といった機能表示するシステムです．初期システム

ます．スクリーンにはアクチュエータががあります．人は，興味の対象を視野

では，「誰がいつ話したか」「誰が注目接続され，計測された会話者の頭部姿の中心にとらえることから，対象とのを集めているか」などが推定され，リ勢と同期して，スクリーンの姿勢が動位置関係に応じた頭部姿勢（顔向き）アルタイムに表現されます ．さらに，的に制御されます．人物の頭部運動にとして視線方向が表出されます．我々最新のシステムでは，「誰が何を話しは，視線方向の遷移に伴う首振りや頷の過去の研究によると，４人の会話にたか」が準リアルタイムに出力されまきが含まれ，このスクリーンの物理的おいて対人視線方向を推定する問題にな運動と画像運動との相乗効果によついて，眼球の方向の情報を用いず，り，会話者の動作がより明確に観測者頭部方向（と発話の有無）のみの情報により知覚されることが期待されます．

からでも，６〜７割程度正しく推定でさらに枠なし透明スクリーンへの背景きることが示唆されています．

ました

す．

（3）

（3）

（2 ）

す ．

頭部運動の物理的補強表現に基づく会話場再構成．

現在，我々は，これまでの会話シーなし人物像の投影により，高い存在感また，頷き，首振り，傾げといったン分析の研究をさらに発展させて，将の醸成も期待できます．これまでの実頭部ジェスチャも重要な非言語情報で来の遠隔映像通信システムの設計・開験により，このスクリーンの動きの効す．話し手の頭部ジェスチャは，話し発に活かすことを念頭として，対面状果として，会話者の視線方向がより分かけ・問いかけや発話の強調のサイ況のみならず遠隔状況での会話を対象かりやすく，かつ話し手の話しかけるンであり，また，聞き手の頭部ジェスとした分析技術の研究開発を進めてい相手がより正確に理解されるという仮チャは，傾聴や承認，同意・不同意，ます．その要素技術として，ある地点説の妥当性が示唆されています．

理解の程度を表すサインとして機能すで行われた複数人物の会話の場を別のこのシステムで提案している頭部運ることが知られています．MM-Space地点において再構成するという課題を動の物理的補強という表現のアイデア

では，会話者の頭部の動きを物理的な設定し，その１つの解として，頭部運は，会話における非言語情報の重要性運動として，画像上に加えて提示する動の物理的補強表現と呼べる新しい表への着眼に端を発しています．前述のことで，より存在感をもって遠隔の会現方式，表示デバイス（ダイナミック

とおり，対面会話においては，さまざ話の状況を観測できるようになると期

28

NTT技術ジャーナル 2012.9

特集

観測者は，聴覚的にも話者の位置をリル板に光線拡散物質が配合されたもこの頭部運動の物理的補強表現は，特定することが可能です．なお，現在ので，その背後には，背面投射用の「バイオロジカルモーション」と呼ばれのシステムは，頭部運動の物理的補強LCDプロジェクタが設置されます．各る，人の視覚の性質にも関係していま表示の効果を検証するため，オフライ

スクリーンは，その下部よりアクチュす．それによると人間には，光点や図ンの再生に特化した初期システムであエータにより支持されます．このアク形の動きを人や生物の動きに見立て，り，今後，実時間・双方向システム

チュエータは，鉛直軸周りの回転運動

その原因を対象の心的状態や社会的文への拡張が予定されています．

（パン），および水平軸周りの回転運動待しています．

脈に帰属させて解釈する傾向があるとMM-Spaceのスクリーン，プロジェ（チルト）を生成する２つのユニットかされます．この性質により正方形スククタ，およびアクチュエータの外観をら構成されます．以後，これをパンチリーンという単純形状であっても，人図２に示します．スクリーンは，アクルトユニット（PTU）と呼びます．こ間の頭部運動に近い動きで動かせば，観測者はスクリーン平面を顔面と見立て，その動きから会話の様子をある程度，読み取ることができると期待されます．また，人間の視覚は，周辺視野においても動きに対する感度が高いことが知られていますので，周囲に位置する人物も含めて，スクリーンの動きからその場全体の様子を感じ取ることができるものと期待されます．
（a） 会話を再現した空間■MM-Spaceの構成（b） 基になった実際の会話場面

MM-Spaceの全体像を図１に示し
図１

ます．図１（a）には会話が再現される

MM-Space の外観様子，図１（b）には基になった会話が行われた場面を示します．実際に会話を行う空間では，各会話人物の顔画像スクリーンや音声が各人物ごとに個別のカメラ，マイクによって取得されます．また，会話を再現する空間では，会話者の配置に合わせて，複数のプロジェクタ，透過型平面スクリーン，アクチュエータ，プロジェクタアクチュエータ（パンチルトユニット）スピーカが配置されます．各スクリーンへは，各人の顔画像が投射され，そのスクリーンの姿勢が人物の頭部運動スピーカと同期して制御されます．また，各人物の音声は，各々のスクリーンの前方

図２

MM-Space の機器構成に設置されたスピーカより再生され，NTT技術ジャーナル 2012.929

情報と人間を結ぶコミュニケーション科学

会話との違いなどコミュニケーション
入力部

処理部
背景除去

カメラ

出力部
画像写像

LCDプロジェクタ

制御信号生成パンチルトユニットのさまざまな側面を明らかにしていきます．

顔位置・姿勢追跡センサ
マイクロホン

スピーカ

図３

MM-Space の処理ブロック図のパンチルトユニットによりスクリーンた．この仮説を検証するため，会話者の姿勢が動的に制御されます．このよの視線方向，および受け手の同定のうな物理的に姿勢が変化するディスプ

正確さと分かりやすさの観点からスクレイを我々はダイナミックディスプレイ

リーンの動きありと，動きなしの２つと名付けました．の表示条件を対比した被験者実験をMM-Spaceのブロック図を図３に示行いました．その結果を抜粋すると，します．処理部では，顔位置・姿勢追被験者の印象としては，動くスクリー跡，背景除去，制御信号生成，画像ンによって視線方向が分かりやすくな写像が実行されます．顔位置・姿勢追ることがアンケートによって示唆されま跡部では，撮影された画像から各人物した．また，短い会話の場面を複数提の顔の位置と姿勢が推定されます．な

示して，そのときの話し手の話しかけ

お，頭部の姿勢計測のためモーションる相手（受け手）が誰かを問う実験にキャプチャなどのセンサを利用することより，受け手の同定の正確さの点におもできます．背景除去部では，入力画いて，動くスクリーンがより優位であ像から背景領域を除去し，人物領域ることが示唆されています．

のみの画像が生成されます．制御信号生成部では，計測された人物の頭部姿

今後の展望勢に基づいて，スクリーンの姿勢を制MM-Spaceは，今後多地点間の複御するための制御信号が生成されます．

数人物による実時間コミュニケーショ

画像写像部では，スクリーンの姿勢とンシステムへの発展が期待されます．

連動して，歪みのない投影像を得るた

その過程で，遠隔の人と視線が一致しめ，入力画像（または背景除去後のないという問題について，本システム画像）に写像が施されます．の特徴である物理的補強表現が果たし■MM-Spaceの効果て話しかけられることの知覚に寄与す

動的スクリーンによる頭部運動の物るかどうかの評価が必要です．またカ

理的補強表現の効果として，観測者メラの最適配置や，物理系を駆動するにとって会話者の視線方向，および話際の遅延の問題も合わせて検討が求めし手の話しかける相手（受け手）の理られます．さらに本システムを用いた解が促進されるという仮説を立てまし

遠隔状況での人の会話を分析し，対面30

NTT技術ジャーナル 2012.9■参考文献（1） K. Otsuka： Conversation Scene Analysis，IEEE Signal Processing Magazine，Vol.28，No.4，pp.127-131，2011．
（2） T. Hori，S. Araki，T. Yoshioka，M. Fujimoto，
S. Watanabe，T. Oba，A. Ogawa，K. Otsuka，
D. Mikami，K. Kinoshita，T. Nakatani，
A. Nakamura，and J. Yamato： Low-Latency
Real-Time Meeting Recognition andUnderstanding Using Distant Microphones
and Omni-Directional Camera， IEEE Trans.
on Audio，Speech & Language Processing，
Vol.20，No.2，pp.499-513，2012．
（3） 大塚・荒木・石塚・藤本・大和： 多人数会
話シーン分析に向けた実時間マルチモーダル
システムの構築〜マルチモーダル全方位センサを用いた顔方向追跡と話者ダイアリゼー
ションの統合〜， 信学技法，MVE2008-68，
Vol.108，No.328，pp.55-62，2008．
（4） 大 塚 ・ 熊 野 ・ 三 上 ・ 松 田 ・ 大 和 ： M M Space：動的投影を用いた頭部運動の物理的補強表現に基づく会話場再構成， インタラ
クション2012，pp.33-40，2012．

大塚 和弘
私たちは，人と人との会話という現象を情報科学と人文科学の両側面からより深く理解し，そこで得られた知見を活かし，より豊かなコミュニケーション環境の実現に向けて研究開発を進めていきます．

◆問い合わせ先
NTTコミュニケーション科学基礎研究所
メディア情報研究部
コミュニケーション環境研究グループ
TEL 046-240-3639
FAX 046-240-4707
E-mail otsuka.kazuhiro lab.ntt.co.jp
URL http://www.kecl.ntt.co.jp/rps/index-j.html