情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2B33
2018/3/5

ユーザの身体動作から興味を推定する
マルチモーダル対話システム
小関健†1

小坂哲夫†1

概要：近年，音声認識・音声合成の技術向上に伴い，ヒトとマシンが音声によってインタラクションを行う対話システムが急速に普及してきた．しかし，利便性の低さや魅力の無さを理由として，これらの対話システムの使用を避けるユーザが存在している．本研究ではこのような使用欲求低下の問題を解決することをねらい，ユーザの音声のみでなく，身体動作も考慮する対話システムを開発してきた．本稿では，ユーザの顔面の向きから興味を推定することで対話エージェントが適切に話題選択を行うシステムを構築し．対話実験を通じてその機能の効用について検証する．
実験より，エージェントがユーザの興味を推定して話しかけを行うことは対話をより行き詰まりにくくする効果があることが示唆された．

1. 概要
近年は音声認識技術の向上に伴い，Siri や Google Home

局面で検証する．

2. 提案システムの構築のように音声対話をインタフェースとしたシステムが普及

本研究が提案する，ジェスチャと音声によるマルチモーしてきている．
しかし，システムの音声認識の精度の低さ，ダル対話システムの概要を図 1 に示す．提案システムは応答の機械っぽさ，魅力の無さなどを理由として，ユーザMMDAgent によって構築される音声対話アプリケーショがシステムの使用を避けることがある．本研究ではこれをンと，Kinect によるジェスチャ認識アプリケーションによ

ユーザが音声対話システムに対して感じている心理的距離って構成される．これら 2 つのアプリケーションは並列的と名付け，それを解消することを目標としている．に動作しつつ，プロセス間通信によってジェスチャ認識の心理的距離の改善のためにはシステムをより人間らしい結果を文字列として送受する．

ものにすることが有効であるという知見[1][2]から，本研究

2.1 音声対話アプリケーション

でも擬人化エージェントの使用，および身体動作による内音声対話アプリケーションは提案システムの根幹となる部状態表現を検討してきた．しかし，対話エージェントが部 分 で あ り ， MMDAgent[6] を 用 い て 構 築 さ れ る ．

ユーザに身体動作を示すシステムが検討される一方，ユー

MMDAgent は名古屋工業大学国際音声研究所によって開ザがシステムに対して示す身体動作を取り扱う仕組みの有発された，音声インタラクションシステム構築のためのオ用性については，まだ十分に検討されていない．現在はープンソースツールキットである．MMDAgent によって構CeVIO[3]が開発する対話型デジタルサイネージ「CeVIO

築されるシステムでは画面上に表示される 3D キャラクタ

Vision」や，Live2D 社[4]が提供するタッチパネルアプリなーをエージェントとして音声インタラクションを行うこと

どにおいても Kinect センサーによる簡易的なジェスチャ認が可能で，音声入力のための大語彙連続音声認識エンジン

識機能が実装されており，音声とジェスチャの両方を利用Julius，合成音声出力のための生成エンジン OpenJTalk が搭したヒト－マシン間インタラクションへの需要・関心は高載されている．ユーザの音声を認識したり，各種の入力にまってきているといえる．またユーザのノンバーバル行動応じてシステムの応答を制御することが音声対話アプリケを巧みに利用した対話を実現することは，システムとの会ーションの役割となる．

話の自然性の向上や，情報・意思伝達の円滑化などによっ

2.2 ジェスチャ認識アプリケーションて，ユーザのシステムに対する心理的距離を軽減することが期待できる．

ジェスチャ認識アプリケーションでは，Xbox One Kinect
センサー(以下単に Kinect センサーと呼ぶ)を用いてユーザ前研究では，ヒトとコンピュータのより自然な（ヒト同の身体情報を取得する．Kinect ではセンサーに映った人体士のコミュニケーションに近い）音声対話を実現することから骨格情報などを取得し，その姿勢や連続的な動きをジをねらい，対話中のユーザの身体の動きをヒト－マシン間ェスチャという形で認識することができる．またユーザのインタラクションに導入するためのシステムを構築した

顔面を認識し，口角の位置から笑顔であるかどうかを判別[5]．本稿ではこのシステムを利用することで，音声インタしたり，センサーに対する Yaw，Pitch，Roll 角を取得する

ラクションに身体動作を導入することの効用を，実用的なことができる．

†1 山形大学
Yamagata University© 2018 Information Processing Society of Japan646

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2B332018/3/5ている．
本研究では提案システムの機能のうち顔認識の機能を活用し，山倉が述べたような知見をヒト対システムのインタラクションにおいて検証する．山倉や千葉[8]など人間同士の対話を分析することによってヒト対システムのインタラクションについての展望が得られたという報告はあるが，人対システムにおいてそれらの知見が有用であるかを検証していきたい．
ユーザの視線を利用した興味推定の概要は図 2 に示す．
システムは対話中のユーザの顔情報を取得し，センサーに対するユーザの顔面の角度を測定する．センサーと物体の位置関係を予め設定しておくことで，ユーザがどの物体に視線を向けているかを算出し，ユーザがどの話題に関心を図 1 提案システムの概要図
センサーから得られた骨格・姿勢などの体幹に関わる情報は，予め作成されたジェスチャ認識器を通してジェスチャが行われたかどうかを判定する．また，ユーザの顔面の情報は数値化された状態で出力され，これらの数値を基にユーザがどの方向を向いているかなどを判定する．
ジェスチャ認識アプリケーションによる判定の結果は音声対話アプリケーション内の対話制御モジュールに文字列として送信される．音声対話アプリケーションが文字列の示しているかを推定するのである．エージェントが発話する間，ユーザが話題に関連する物体かエージェントを見ているようであれば，ユーザは現在の話題に興味があるか，エージェントと対話する意思を持っているとみなすことができる．逆にエージェントが話す内容と関係のない物体を見ているようであれば，ユーザは現在の話題に関心がないといえる．提案システムによる視線検出は，ユーザがセンサーの右上・左上・右下・左下のうちどの方向を向いているかを 80%超の精度で認識可能である[5]．これらを踏まえ，後述するような実験を設計・実施した．

受信をトリガーとして対話を制御することによって，ユーザは音声とジェスチャの両方を通じて提案システムとインタラクションを行うことができる．
ユーザの身体動作からの興味推定
本研究では，対話システムを使用中のユーザが示す身体動作を「ジェスチャ」と呼ぶことにする．これにはユーザが情報提示やコマンド入力のために意識的に行うものを含んでいることはもちろん，うなずきや腕組み，視線移動のための頭部動作などの無意識的に実行されるものも含む．
本研究では特に無意識的に行われるジェスチャに注目する．
対話中の人間のジェスチャからは，多くの情報が読み取れると期待している．例えばシステムの前で腕組みをして首をかしげるユーザがいた場合，システムに対してどう話しかければいいのか迷っているのかもしれないと推測できる．また，システムがユーザに対して何かを説明しているとき，ユーザが何度もうなずくようであれば，ユーザはその話を理解できていると考えられる．

図 2

提案システムによるユーザの興味推定の概要

ユーザの身体動作から関心を推定する手法については，山倉の研究[7]でその知見が述べられている．山倉によれば，

3. 対話実験

人対人の対話においては聞き手の顔の向き・うなずきの有提案システムの評価，またヒト対システムの対話におけ無・上半身の動きを捉えることで，話題への関心の有無はるユーザの身体動作を考察するために，提案システムを用70.5%の精度で推定が可能である．うなずきが多く検出さいた対話実験を実施した．実験に使用されたシステムおよれたり，顔が話し手や話題に関連した物体の方向を向いてび実験室の構成を図 3，図 4 に示す．

いる場合に，聞き手は話題に対して関心があると述べられ© 2018 Information Processing Society of Japan647情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2B33
2018/3/5

ような場合には，エージェントは「それとも××のほうがお好きですか？」のように話題を切り替えることができる．
また，被験者がエージェントを眺めているような場合には，エージェントは「気になる旅行先の名前を教えてください」のように被験者に話しかける．

図 3 実験で使用される対話システム
3.1 実験の概要
対話実験では，被験者とシステムは「旅行へ行くとすればどこか？」について議論する．エージェントは架空の旅行代理店の店員を演じ，被験者に対して様々な旅行先の情報提示や推薦を行う．システムが話題として扱うことのできる旅行先の情報は，実験室に配置される 4 枚のポスターにそれぞれ記載されている．
被験者はポスターを眺めたり，システムとの対話を通じて，自身が最も興味のある土地一つを旅行先として決定する．
3.2 実験室の構成
実験室は対話エージェントを表示するためのディスプレイと，被験者の音声・身体情報を入力するためのマイクロフォン・Kinect センサー，さらにそれぞれ 2 枚のポスターが掲示された左右 2 つのパネルによって構成される．センサーは被験者の胸ほどの高さに設置し，ポスターはセンサーと同じ高さに 2 枚，それよりも高い位置に 2 枚が左右に分けて配置される．また，実験の様子を収録するために後方にカメラを設置している．
3.3 対話システムの機能実験で用いる対話システムでは，被験者の顔面がセンサーに対してどの角度を向いているかを Kinect センサーで計測することにより，被験者がどのポスターを見ているかを推定することができる．また，エージェントを眺めている状態（センサーに対して正面を向いている状態）も取り扱う．
被験者が一定時間同じポスターを眺め続けているような場合にはその旅行先に興味があるものとみなす．もし被験者が音声入力をせず，いずれかのポスターを眺め続けているのならば，エージェントが被験者に対して「○○に興味があるのですか？」のように話しかけ，「○○は△△な場所です．いかがですか」と旅行先の推薦を行う．エージェントによる推薦の途中で被験者が他のポスターを眺めている© 2018 Information Processing Society of Japan

図 4

実験室の俯瞰図

3.4 評価方法とその尺度
提案システムを評価するために，Kinect センサーを用いた顔面角度測定を行うもの（視線推定あり）と行わないもの（視線推定なし）の 2 条件を比較する．「視線推定なし」
における対話の分岐は，「視線推定あり」において被験者がエージェントを眺めている状態と同一のものが使用される．
したがってエージェントによる旅行先の推薦は行われず，その代わり一定時間ごとに「旅行先を教えてください」と被験者に話しかける．
システムを評価するために設定した尺度を表 1 に示す．
“話しやすさ”，“対話の充足度”，“継続使用欲求”，“情報提供の貢献度”は被験者による主観評価項目であり，エージェントによる適切な話題の切り替え，興味にあった旅行先の推薦などによって，システムの使用に対する印象を問う項目である．2 条件のシステムのうち 1 つと対話を終えるたびにアンケートによって聴取し，1~10 の 10 段階で評価する．
“対話時間”は実験開始から旅行先の決定までに要した時間であり，タスク解決のスムーズさを問う客観評価として用意された項目である．被験者には「ポスターを眺めたりエージェントとの対話を通して旅行先を 1 つだけ選び，そこを旅行先として決定する旨をエージェントに伝える」ことを課題として対話に臨んでもらい，「『旅行先を決定しました』とエージェントが発話すること」を対話の終了条件とした．また，被験者には「急いで課題を解決しようとせず，自身の満足のいくように旅行先を決定してもら648

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2B33
2018/3/5

いたい」と伝えている．

きなかった．被験者の自由記述から得た意見としては，「そ2 条件のシステムは 4 種×2 セットのポスターを被験者ごの土地に関するより詳細な情報（『グルメ』など）を訊ねよとに使用順とポスターの配置を変更しながら用いた．
また，うとしたが，システムはそれを教えてくれなかった」とい

被験者には 2 条件のシステムについて，ポスターが変更さうものがあった．実際，すべての被験者は「どのくらい遠れたことのみを伝えている．

いの？」など，エージェントが返答することのできない入力を行っていた．話しやすさ・対話の充足度の評価はこれ

表 1 実験で用いる評価尺度
評価項目によって低くなっているものと考えられる．
対話継続欲求は 1 名の被験者のみが評価に差をつけた．

内容

話しやすさ

この対話システムは話しやすさを感じさせるものであったか？

対話の充足度

興味のある旅行先について十分に対話することができたか？

継続使用欲求今後同一のタスクを行うとしてこのシステムを引き続き使用したいか？

回答した．また，ポスターを眺めて地名の読みがわからず情報提供の貢献度

エージェントによる情報提供は旅行先の決定に貢献したか？に困っていた際にエージェントから「○○に興味がありま

対話時間

対話開始から，旅行先決定までに要した時間

その被験者はどのように入力すべきかためらい，エージェントを眺めていた際に「気になる地名を教えてください」とエージェントから話しかけられたことが好印象であるとすか？」と話しかけられ，対話が滞りにくい印象があったと回答している．
情報提供の貢献度についてはすべての被験者が 2 条件間

表 2

被験者
A

被験者
B

被験者
C

で異なる評価をした．エージェントによる旅行先について実験から得られた各評価項目のスコアの説明の内容は 2 条件間で変わらないが，対話時間が長い話しやすさ対話の充足度

継続使
用欲求

情報提供の貢献度

対話時間場合に情報提供が役に立ったと評価される傾向があった．

推定あり

54463:16

被験者が旅行先の決定により長い時間をかけるようなとき，

推定なし

674

74:22

推定
あり

44774:25

ジェントの説明が役立ったと感じられたのだと考察する．

推定なし

34562:58

くなるのか，短くなるのかは使用順とは関係性がないよう

推定あり

55543:37

推定なし

53554:31

既に説明を受けた旅行先について，再度エージェントに説明を求めていた．旅行先をよく吟味しようとする時にエー
対話時間は 2 条件の間で 1 分以上の差が生じていた．長に思えるが，ポスターの内容が変更されることで被験者が地名の読み方に戸惑ったり，意思決定に要する時間が変動したと考えている．
総評として，実験中では被験者によるポスターへの視線

4. 実験結果と考察はほとんど出現しなかったものの，被験者の視線をきっかけとした話しかけは被験者のシステムに対する印象に影響

20 代の男性 3 名を対象として実験を実施した．
結果を表 2を与えたと考える．用意した評価尺度では有意な影響や明に示す．またアンケートへの回答によれば被験者は全員，確な傾向は観察できなかったものの，被験者からの聴取に両条件において「自身の意思通りに旅行先を決定することよって条件間で印象に差があることが示されたため，評価ができた」としている．

尺度として適切なものを再検討していきたい．

まず実験全体を通して，被験者はほとんどポスターを眺めたり読みふけるようなことがなく，地名を確認する程度

5. まとめに視線を向けたのち，すぐに対話システムに音声入力をし本稿では，ユーザの音声のみでなく身体動作をも入力とた．実験のために用意したシステムでは 3 秒程度の持続的して取り扱うことができるようなマルチモーダル対話シスな視線を検出することを想定していたが，それほど長時間テムを提案し，その構築と評価実験について報告した．提の視線をポスターに向ける被験者がおらず，今回の実験に案システムは音声対話システム構築ツールキット

おいてはエージェントの推薦発話はほとんど実行されなか

MMDAgent とジェスチャ認識デバイス Kinect センサーを用った．視線検出機能の有無によってシステムを十分に比較いることで構築され，Kinect によって取得されたユーザのするためには，より短い時間の視線を検出するように修正

身体動作を対話制御モジュールに伝送することによって実するか，長時間の視線を誘発するようなポスターを設置す現した．

る必要がある．

ユーザの視線から話題に対する興味を推定し，システム主観評価については，どちらのシステムに対して高い評が応答をリアルタイムに制御するようなシステムの印象評

価をするのかは被験者ごとに異なり，明確な傾向は観察で価実験を実施したが，被験者は主にシステムの方を眺め続© 2018 Information Processing Society of Japan649

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2B33
2018/3/5

け，話題に関連する物体に向けられる視線が発生しにくかった．今後，視線が重要となる対話についての構想を深めていく必要がある．被験者の視線に基づくエージェントの話しかけ機能の有無は主観評価に有意な差を生じさせるものではなかったが，ユーザがポスターに書かれた漢字の読みがわからずにいたり，システムに対してどのように話しかければよいか悩んでいるような状況では対話を滞らせない効果があることが示唆された．
今後はユーザが持続的な視線を生じさせやすい環境を構築し，さらにより掘り下げた話題に対応できるような対話を設計した上で再度同様の実験を実施したい．また，今回は視線のみを用いたが，ユーザのうなずきや上半身の動作を認識することによる興味推定機能の開発を検討していきたい．

参考文献
[1]

[2]
[3]
[4]
[5]

[6]
[7]

[8]

深山篤ほか. 視線分析に基づく擬人化エージェントのユーザ
ビリティ評価の検討. 電子情報通信学会技術研究報告.HIP,
ヒューマン情報処理, 2004, vol. 103, no. 743, p. 53-58.
大澤博隆. 人工知能はどのように擬人化されるべきなのか？.
人口知能, 2014, vol. 29, no. 2, p. 182-189.
“CeVIO Official Web”. http://cevio.jp/.
“Live2D”. http://www.live2d.com/ja/.
Takeru, K. and Tetsuo, K.. Multimodal Spoken Dialog System
Using State Estimation by Body Motion. IEEE 6th Global
Conference on Consumer Electronics. 2017, p. 348-351.
“MMDAgent - Toolkit for building voice interaction systems -”.
http://www.mmdagent.jp/.
山倉和樹. 身体動作に基づいた対話時の話題に対する聞き手の関心の推定. 千葉工業大学情報科学部卒業論文. 2016.
http://www.imai.cs.it-chiba.ac.jp/files/2015/yamakura.pdf.
千葉祐弥, 伊藤彰則. ユーザの対話意欲推定のための人対人対話データの分析と WOZ システムの検討. 電子情報通信学
会技術研究報告:信学技報, 2015, vol. 115, no. 346, p. 117-122.

© 2018 Information Processing Society of Japan650