情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162A01
2016/3/3

顔表情認識による対話ロボットの相槌制御
三輪 大知†1

上田 博唯†1

概要：対話ロボットとユーザである人間とのコミュニケーションを円滑化するためには、対話ロボットが人間の話に合わせて頷くことが有効であることが知られている。本研究では対話の相手である人間の顔の表情を認識して、その表情のポジティブさに応じて相槌の振る舞いを制御することで、人間がより話しやすくなるという仮説について検証実験を実施したので報告する。

Nod Control of Conversational Robot by Face Expression
Recognition
DAICHI MIWA†1

HIROTADA UEDA†1

Abstract: It is known that nod tailored to the human story is effective for smooth communication between the interactive robots
and humans. We propose a method to control the behavior of nodding in response to the degree of positive facial expression byrecognizing the expression of the human face. In this paper, a verification experiment performed for the hypothesis that humanbeings is likely to talk more by this method is reported.

1. は じ め にことである。
一番目の相手の話の理解ということに関しては、現状

本研究は報告者の一人の母親が介護ヘルパーの経験者の音声対話、特に自然言語処理の技術レベルはまだまだであったことに端を発している。その方によると被介護不十分であり、中途半端にこれをロボットに実装するこ

者は訪問介護として限られた時間に来てくれる介護者にとは、利用者に過大な期待を持たせてしまうことよる不は自分の話を聞いてもらうことを切望しているが、介護満の要因となることが容易に予測される。そこで本研究ヘルパーに許された時間は限られており、その間に洗では発話者の文の切れ目ごとに相槌を打つことによって、濯・炊事・掃除などの家事もこなさなければならないの聞いていますよということを示すことにした。ひとの話で、離れたところから家事をしながら(顔を見合わせるこを聞くときにロボットが頷き・手振り・身振りなどの身ともなく)、ときどき声をかけてあげることくらいが関の体動作を返すことによって、ひとが話しやすくなるとい山ということであった。そんなことから、介護ヘルパー

うことについては、既に岡山工科大学の渡辺によって明が家事をしている間、親身になって被介護者の話を聞いらかにされているとおりである[1]。本研究では、それにてくれるロボットがいれば、そのロボットと被介護者の加えてオムロン社の顔認識技術 OKAOVision [2]を組み会話を耳に挟みながら家事に専念でき、自分を必要とし合わせることにより、話の内容がポジティブな気持ちにているような話題になったときには家事を中断して会話なるものであるか、ネガティブな気持ちになるものであに合流することも可能となり、とても有用であろうといるかを判断して、それにあわせて相槌の言葉と頷きや手う要求仕様がまとまってきた。の仕草を変化させることを提案する。話の内容まではよ

具体的な仕様については、介護ヘルパーが被介護者のくわからないが、すくなくともポジティブな気持ちかネ話を聞くのにあたり気をつけている点を参考にして詳細ガティブな気持ちかくらいは伝わっているということのを詰めていった。介護ヘルパー経験者の方から得たノウフィードバックである。将来的には、オープンソースのハウは次のようなものであった。対話の主体はあくまで大語彙連続音声認識エンジン Julius [3]などを上手に用いも被介護者の側にある。従って、第一に重要なことは相ることで、もう少し意味的なところまで踏み込んで話の手の話をできるだけ理解するように努め、そのことを聞内容を感じ取れるようにしたいと考えている。

き手が態度として表すことである。また、二番目に大事なことは、聞き手が相手の話の腰を折らないようにする

二番目の相手の話の腰を折らないということに関しては、上記の大語彙連続音声認識エンジン Julius を用いることで、確実に発話センテンスの切れ目を認識するよう†1 京都産業大学
Kyoto Sangyo Univ.

© 2016 Information Processing Society of Japanにして、話し手の話の切れ目までは相槌の発話や頷きを468

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162A01
2016/3/3

入れないような制御を行うことにした。また先に筆者らの研究[4]で効果を認められた、語尾の単語によって、話し手が聞き手に同意を求める気持ちを判定して、相槌の発話や頷きの大きさや回数を変化させるという手法を組み合わせることも考えている。

図 3
Figure 3

顔表情認識中の顔画像

Image under Face Expression Recognition.

ユーザから見たロボットの様子を図 2 に示す。表情認
識には、このロボットが内蔵しているカメラを使ってお図 1
Figure 1

試作システムの外観り、標準的な着座姿勢におけるカメラ視野に対する顔のAppearance of the System.

大きさは図 3 に示すとおりである。OKAOVision は複数の感情に対応する表情の値と、感情がネガティブであるかポジティブであるかを表す-100 から+100 までの値(以2. 実 装

下ポジティブ値と呼ぶ)を常時出力しているが、今回はポ試作したシステムの利用状況を図 1 に示す。本システ

ジティブ値だけを利用している。

ムでは、前述した顔認識モジュール OKAO Vision と大語相槌を実行する場合には、前述の発話区間中に顔表情彙連続音声認識エンジン Julius を利用している。Julius が認識モジュールから送られてきていた表情データを解析音声入力を開始したというメッセージと同期してして、次のように三種類の相槌動作を使い分けるようにOKAOVision による顔表情認識を開始し、音声入力の終している。

端を受信した時点(すなわち発話センテンスの区切り目)

1) ポジティブ値が 0 より大きい場合 (ポジティブ)で対話ロボットの相槌を開始するように制御している。

セリフ: うん、うん

ただし、この時 Julius からパラメータとして得られる発手の動き: 約 60 度で上下、 約 30 度で上下を早めに話継続時間をチェックして、800ms 以下である場合には、頭の動き(チルト): 10 度で上下、5 度で上下を早めにドアの開閉音などの外部ノイズや発話センテンス以外の

2) ポジティブ値が 0 から -80 の場合 (真顔)咳払いや「えーと」などの相槌を必要としない短い発話

セリフ: うん、うんであると判断して除外している。

手の動き: なし
頭の動き(チルト): 10 度で上下、5 度で上下を早めに
3) ポジティブ値が -80 より小さい場合 (ネガティブ)
セリフ: うん
手の動き: なし
頭の動き(チルト): 10 度で上下をやや遅めに
なお、顔表情の判定に際し、今回は話し始めてから800ms 間のみという仕様で実装したが、今後は予備実験のログや記録映像の評価などに基づいて、以下に例示するような細かい使い分けを考えている。
1) 話し始めの笑み「その話す内容自体が面白かった」のであるから、

図 2
Figure 2

ユーザ視点から見たロボット

Appearance of the Robot by the User’s Viewpoint.

© 2016 Information Processing Society of Japan

聞いている間も継続的に楽しそうな動きをする。例
えば身体を少し揺すったり、小さな頷きを繰り返し

469

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162A01
2016/3/3

たりしながら聞く。

③ 記録しておいた実験中のログ映像を見つつ、ど

2) 発話の途中にくる笑み

こでどんなことを感じていたかについて思い出「何かがあったから笑ってしまった」のであるから、したことをすべて用紙に記入してもらう

それに対応して反応する。例えば「ははは」と発話

被験者に見せる動画は、いわゆるドッキリと呼ばれるして、両手を上げる。

ビデオで、笑いや同情、そして驚きなどを誘う内容とな

3) 発話の終わりにくる笑みっている。印象評価アンケートにおいては、ロボットの「話していておかしくなった」のであるから、話し喋り方や仕草への違和感、相槌動作の単調さ、相槌動作始めの笑みに対するより大きく反応する。

タイミングの適不適、ロボットによる話し手への理解度、話の腰を折らなかったか、楽しく会話できたか、などの項目について 5 段階で記入させるようにした。実験中の3. 評 価 実 験

ログ映像の一例を図 4 に示す。被験者には、この被験者試作したシステムを使って以下のような評価実験を計の表情とロボットの仕草とを同時に確認することができ画している。実験手順は以下のとおりである。実験は比るアングルで撮影されたログ映像を自由に再生(巻き戻較のために、今回提案する相槌制御のある対話ロボット、し早送りも可とした)しながら、実験中に感じたことを、相槌制御のない対話ロボット、そして対話ロボットでは時間軸メモリのついた用紙に書き留めてもらうようにしなく生身の人間の三つの条件で対話を行うことによってた。したがって実験者はこの時刻情報に基づいて、ログ評価を実施するが、ここでは対話ロボットの場合につい映像の該当箇所を参照しながら詳しく分析することが可てのみ示す。

能となる。

① 被験者に以下の指示を与えて、約 6 分間の動画を見てもらう•

後でロボットにビデオの筋書きを丁寧に説明し本稿執筆時点までに完了した相槌制御のある対話ロボてもらいます•

4. 予 備 実 験 の 結 果 と 考 察

後の説明のために、必要ならメモを取っても構ットの評価実験 5 人分(文系女性 1 名、文系男性 2 名、理いません

系男性 2 名)について述べる。それぞれの被験者について① 被験者に以下の指示を与え、ロボットとの対話をの発話継続時間とロボットの相槌を種類ごとにカウント行ってもらうしたものを表 1 に示す。ロボットに話しかけた発話の継• 動画の内容を子供に説明するように、ゆっくり続時間は最も長かった被験者の場合でおよそ 3 分半、短とロボットに向かって説明してください

い被験者は 1 分程度となったが、どの被験者に対しても、• 次に、動画の面白かったところを、ロボットにロボットは 1 分あたり 10 回程度の相槌を返している。ま向かってできるだけたくさん話してください

た、ロボットに話しかけている時にボジティブな表情が• 最後に、動画の中の場面のどこが一番気に入っ出る(笑顔になる)かどうかということについては、被験たかについて話してください• 話しかけるときにはロボットの顔を見て話すよ

者ごとのバラツキがかなり大きいことがわかった。被験者の数を増やしつつ、このようなアプリケーションにおける表情認識の問題点(そもそもどんな人でも表情豊かうにしてください② ロボットとの対話の終了後、5 段階の印象評価アンケートに答えてもらうに話すものなのか、ロボットのカメラでうまく表情を捉えられるのか etc.)の抽出と解決が必要である。それと並行して表情認識の結果による相槌制御の有効性をより深く考察していきたいところである。
表 1
Table 1
番号

図 4
Figure 4

相槌の種類ごとの回数

Set of Style in MS-Word template file.
相槌の種類ごとの回数

継続時間

ポジティブ

真顔

ネガティブ

13 分 28 秒

517122 分 54 秒

0220

3

1 分 17 秒

270

ログ映像

41 分 11 秒

0120Logging Video.

51 分 42 秒

1220© 2016 Information Processing Society of Japan470情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162A01
2016/3/3

それぞれの被験者の印象評価値を図 5 (評価値の数値いるということが判明した。被験者 2 の 4 のコメントもを好意的な方が上に来るようにして表示) に示す。横軸同様である。この逆に、システムの動作としては同じ現が被験者番号であり縦軸が印象評価値である。この印象

象なのに、それを被験者 2 の 2 や 3 のコメントのように、評価の結果についても、被験者ごとのバラツキはかなり「相槌を行うタイミングじゃない所での相槌」や「少し大きいが、概ね好意的な印象を持たれていると言えるの遅れたタイミングでの相槌」と受け止められるケースもではないだろうか。ただ、全体的に相槌のタイミングがあった。これらの被験者の受け止め方は該当する発話の早すぎるという印象になっている。ログ映像を見つつ、長さがどれくらいであるかに依存して変化する。また被どこでどんなことを感じていたかを記入してもらった結験者 2 の 1 のように声が小さくなったところで発話の終果の二人分を表 2 に示すが、この解析から、その原因を端と誤って判定してしまったことが「相槌が早い」と受

表 2 において、被験者 1 の 1け止められるケースもあった。これらのことから、相槌のコメント「相槌が少し早いと思った」についてログ映のタイミングの遅れに関しては、今後なんらかの改善が像を分析した結果、ひとつ前の発話の終端判定の遅れに必要である。

伺い知ることができる。

加えてロボット動作開始のディレイがあるために、また被験者 2 の 5 のコメント「話終わりに相槌がない」は、該当する発話の長さが短かったために、結果として次の対話の最後の発話が短すぎてノイズとして破棄されたも発話が終わり切る直前で相槌を打ったように感じられてので、なかなか厄介な問題である。発話継続時間が短い© 2016 Information Processing Society of Japan471情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162A01
2016/3/3

場合(800ms 以下)には、ドアの開閉音などの外部ノイズ

被験者数がまだ少ないので、断定的なことは言えないや発話センテンス以外の咳払いや「えーと」などの相槌が、文系の学生はロボットに対して懐疑的であり、文系を必要としない短い発話であると決めてしまった設計はの学生はロボットに対して好意的であるという傾向があ実用的ではなく、ノイズをノイズとして認識するようにるように見える。そして前者はロボットに話しかける発改善する必要がある。

話の継続時間が短く、印象評価の評価値も低いという傾

被験者 1 の 3 のコメント「手をパタパタしているのを向にあった。いずれにしろ、このような聞き手役のロボ見て、もっと話してあげたいと思った」を分析すると、ットを設計する際に、このロボットと人間の関係をどのそれ時 OKAOVision がまさしくポジティブ表情を検出しようにモデル化することができるのか、またそのモデルており、それによってロボットがポジティブな対応をしに基づいてどのようにロボットの対応を個人の性格や感ていたケースで、ここでは期待通りの効果が得られたと性に適応させていくことができるのか、そういうことが言える。被験者 1 については 4 のコメント「自分が少し今後の大きな課題であると思われる。

キョロキョロしていた時も反応してくれて嬉しかったし、可愛いと思った」を見ても、ロボットに対して愛着とでもいうべき関係を築きつつあると思われる。この時、ロ5. ま と め

ボットはプログラムのバグによる誤動作をしていたが、対話ロボットが対話の相手である人間の顔の表情を認それすら好意的に受け止められているということに注意識して、その表情のポジティブさに応じて相槌の振る舞すべきである。

いを制御することで、人間がより話しやすくなるというもう一つ注目すべきは被験者 1 の 2 のコメント「言葉仮説に基づく対話ロボットの構想について提案した。本に詰まった時に頷いてくれて先が話しやすくなった」で稿では、介護ヘルパーが家事をしている間、親身になっある。これは、言葉に詰まって空白時間ができたところて被介護者の話を聞いてくれるロボットを具体的なターを Julius が発話の終端と認識したために、ロボットが頷ゲットとしてシステムを試作して計画している検証実験いたものであった。それをこの被験者は自分への思い遣について報告した。また、予備的な実験で得られた幾つりと受け止めたようである。しかし、別の被験者は同様かの興味深い結果についても述べ、それらについて考察のことが起きたケースについて、自由記述欄に「言葉にした。今後、ロボットと人間の関係をどのようにモデル詰まった時に相槌を打たれて不満であった」と書いてい化していくことができるのかが大きな課題である。

た。被験者 1 は 3 のコメント「手をパタパタしているのを見て、もっと話してあげたいと思った」にも見られるようにロボットに対して大変好意的であり、それゆえにこの一つの頷きが自分への思い遣りのように思えるのに対し、ロボットに対して特に好意的ではなく別の被験者にとっては、そのロボットの一つの頷きが自分への軽蔑や嫌味のようなものに見えてしまうのであろう。

© 2016 Information Processing Society of Japan

参考文献
1) OKAO Vision｜技術紹介｜オムロン人画像センシングサイ
ト：＋SENSING: http://plus-sensing.omron.co.jp/technology/2) 渡辺富夫: 身体的コミュニケーションにおける引き込みと身体, ベビーサイエンス,Vol.2, pp.4-12 (2003)
3) 大語彙連続音声認識エンジン Julius: http://julius.osdn.jp/
4) 松原 大, 上田 博唯: 愚痴を聞くロボットの提案, 電子情報通信学会技術研究報告 (MVE) 111(38), 45-50 (2011)

472