HAI シンポジウム 2017
Human-Agent Interaction Symposium 2017G-2

非言語情報表出を促進する
ヒューマノイドロボットの表出デザイン
The Interacton Design of Humanoid Robot Encourage theExpression of Non-verbal Information
大廻佳代 1∗
Kayo Osako1

山田誠二 2,3
Seiji Yamada2,3

東京工業大学 情報理工学院 情報工学系 知能情報コース
1
Tokyo Institute of Technology
2
国立情報学研究所
2
National Institute of Informatics
3
総合研究大学院大学
3
the Graduate University for Advanced Studies(SOKENDAI)
1

Abstract: Non-verbal information in communication enables more detailed information thanlanguage information, such as supplementing / emphasizing language information. However, theexpression of non-verbal information is up to the sender and a method to promote it from thereceiver has not yet been established. In this research, we examine the Interaction Design of ahumanoid robot that encourage useful non-verbal information from humans. For that purpose,
we develop a home electronics operating system that used by language such as “Turn on air conditioner” or “Reduce the sound of TV” and non-verbal information. And mount it on a small
humanoid robot NAO (developed by Aldebaran). In addition, we also mount it on the Amazon
Echo (developed by Amazon.com). In addition, we evaluate and compare the reaction from human. Finally, we propose the interaction design, which encourage the expression of non-verbal
information from people.

1

はじめにコミュニケーションにおける非言語情報は，言語情報では伝えきれない詳細な情報の教授を可能とし，コミュニケーションを円滑化する．例えば，とても暑いときは手で顔を扇ぎながら大きな声で「エアコン付けて」と発話するだろう．ここでは手で顔を扇ぐ動作と声の大きさという非言語情報が「エアコン付けて」という言語情報を補足・強調することで，対話相手との意思の疎通を円滑化させている．また，非言語情報の使用による利点はコミュニケーションの円滑化に限らない．例えば，空間的な記憶能力向上 [Ching et al. 14] や初等数学の概念の記憶保持率向上 [Cook, Mitchel & Goldin-Meadow 08]など，様々な分野で良い影響を及ぼすことが確認されている．しかし，そのような非言語情報の表出は，送∗ 連絡先：東京工業大学 情報理工学院 情報工学系

知能情報コース〒 266-8503 神奈川県横浜市緑区長津田町 4259
E-mail: osako.k.ab@m.titech.ac.jp

信側の意思にゆだねられており，受信者側から促進する手法は確立されていない．
また，ロボットと人間のコミュニケーションを取り巻く環境としては近年，Amazon Echo (Amazon 社製)など家庭内で使用するロボットの開発が進んでおり，人間とロボットがコミュニケーションを取る機会はさらに増加すると考える．これらのロボットと人の関係性は，従来開発されてきた産業用ロボットとは異なるため，これらのロボットと人が心地よくかかわる手法を新たに提案する必要がある．
よって本研究では，人間から有益な非言語情報を引き出すようなヒューマノイドロボットの表出デザインの指針を提案することを目的とする．これにより，ヒューマノイドロボットが人間とのコミュニケーションにおいて，有益な非言語情報を任意に引き出し利用することができるため，互いに快適な関係が築けると考える．
そのために本研究では，家電を音声コマンドで操作できる家電操作システムを開発し，ヒューマノイドロボットに搭載する．これにより，人間が家電を操作する際に言語・非言語情報の表出を観察することができる．また表出デザインに必要な要素の探索のため，家電操作システムの UI (ユーザインタフェース) と動きを変えて，人間からの反応を比較する．

2

本研究で取り扱う非言語情報

非言語情報には様々な役割があるが，その中でも本研究では，言語情報を強調・補完するような非言語情報の利用に着目する．さらにその中でも，スピーチコマンドという人間が音声によって行う情報家電への操作命令において用いられる非言語情報の役割に着目する．
本研究で扱う非言語情報の概念図を図 1 に示す．これはスピーチコマンドにおける非言語情報の役割をベクトルとして考えたものである．スピーチコマンドをベクトルに置き換えた場合，ベクトルの向きが操作の方向 (例：エアコンの温度を上げる/下げる) であり，これは言語情報から決定される．そして，ベクトルのスカラーが情報家電を操作する量にあたるが (例：エアコンの温度を 5 度上げる)，これは人が言語情報で指示するのは煩雑で人の負担となるため，言語情報からの決定が困難である．そのため，本研究では操作量として言語情報に付随して言語情報を強調・補完するような非言語情報から決定することを考える．

図 1: 本研究で取り扱う非言語情報

3

家電操作システム

本研究で提案する家電操作システムの構成は図 2 のようになっており，最終的には小型ヒューマノイドロボットによる家電操作システムの実現を目指す．本節
では，図 2 に従って具体的な構成を説明する．

UI よりもはるかに豊かで有益なユーザの非言語情報を引き出せる UI を設計する．マイクに入力された音声をMicrosoft Azure Bing Speech API により認識することで言語情報を取得し，家電操作命令を取得する．そして赤外線リモコンデバイス Future Home Controller(株式会社 rti 技研 社製) により家電を制御する．このとき，家電操作システムは，参加者のジェスチャ，表情，音声強度などのマルチモーダルな表出を Kinect v2(マイクロソフト社製) で計測し，非言語情報の認識を行う．今回の実験では非言語情報は操作に反映されず，分析のみに使用される．将来的には本研究で得た知見をもとに，非言語情報によって操作の大きさ等を変化させユーザの快適さを向上させることを考える．

図 2: 家電操作システム構成

3.2

非言語情報を促進する UI の設計

また，非言語情報の表出を促進する UI の設計であるが，本研究では設計指針として「親和性 (familiarity)」を操作することを考える．これは，一般的に人が親しみを感じる相手に対して非言語情報を出しやすいと考えられるからであり，ロボットにそういった親和性の高まるような UI を設計することで，非言語情報の表出を促進すると考える．

4

評価実験

本研究では，提案した家電操作システムを用いて参加者実験を行い，実際に音声コマンドによる家電の操作を行ってもらう．本実験では家電操作システムの UIの条件を変えて実験を行い比較することで，(1) 見た目の親しみやすさはユーザの非言語情報の表出に影響する

3.1

システム概要ロボット UI として，ユーザが擬人化しやすい外見をもつ小型ヒューマノイドロボット (NAO，アルデバラン社製) を用いる．このロボット UI にユーザの非言語情報表出を促進するようなジェスチャや動きを実行させることにより，Amazon Echo のような単純な円筒(2) 表出の親しみやすさはユーザの非言語情報の表出に影響するという 2 つの仮説を検証する．
実験では，参加者に実験装置 (NAO 又は AmazonEcho) の前に置いた椅子に座ってもらう．実験の具体的な条件や手段について以下で説明する．

4.1

操作命令対象実験で参加者に行ってもらう家電への操作命令を以下に示す．操作命令対象の家電は計 3 つあり，また，3つの家電に対してそれぞれ 2 つの操作命令が存在する．

4.3

本実験の手順を以下に示す．参加者は以下の手順を，NAO を使った条件の内から 1 つと Echo 条件の合計 2つの条件に対して行う．

1. fNAO 条件の場合は，参加者は NAO とコミュニケーションを取る

テレビ 音量を調節，チャンネルを変更
扇風機 電源をつける/消す，風量を調節

2. 6 つの受付操作の内 1 つを提示し，1 分間自由に操作してもらう

デスクライト 明るさを調節，色温度を調節

4.2

3. 6 回分繰り返す

実験条件

本実験は，実験装置とその表出によって以下の 3 条件に分けられる．実験装置による表出のタイミングは．
NAO を使った条件 (fNAO 条件と NAO 条件) と Echo
条件を比較することで本節の冒頭で述べた仮説の (1)を検証し，fNAO 条件と NAO 条件を比較することで仮説の (2) を検証する．

• fNAO 条件：ロボット UI として NAO(アルデバラン社製) を使用．ロボットの親和性が高くなるよう，事前のインタラクションと表出を加えたもの．
インタラクションとしては，Softbank Robotics
Store で公開されている，Touch My Head というアプリケーションを利用した．これは，NAO が音声で指示した身体の部位にユーザが触れるというゲームで，ゲームが一回終わるごとに，ゲームを続行するかどうかをユーザが音声で指示する．
そのため，このゲームにおいて，身体と言語によるインタラクションを行うことになる．また，表出においても親和性を高めるために，次の 3 つを実装した．
– 常時呼吸のような横揺れをする– 参加者の顔と，音のする方向へ視線を向ける– 参加者の操作命令に対して，7 種類の動きと 7 種類の返答をランダムに組み合わせた応答を返す• NAO 条件：ロボット UI として NAO(アルデバラン社製) を使用．NAO が音声のみ表出• Echo 条件：Amazon Echo(Amazon 社製) を使用．
Amazon Echo が音声のみ表出する．
なお，今回の実験参加者は男性 2 名女性 3 名の計 5名である．NAO を使った条件における学習を防ぐため，参加者は Echo 条件と fNAO 条件と NAO 条件のいず
れか 1 つの計 2 つの条件に対して実験を行う．

実験手順

各条件終了後に，7 段階 22 形容詞対 (表 1) からなる質問紙の回答を得た．形容詞対の選択には，ロボットに親和性行動を導入した際の人からの評価についての既存研究 [山本, et al. 06] を参考にした．

4.4

取得データと評価項目取得したデータは以下である．

• ビデオビデオ映像から，OpenPose[Hidelgo et al. 17]により骨格データを算出し，身体の各部位の移動量の平均を条件ごとに比較する．
• 7 段階 22 形容詞対 (表 1) からなる質問紙因子分析を行い，主要な因子と因子得点を算出し，条件ごとに比較する

5

結果

まず，各関節の，x 軸方向への移動量の平均を図 3，y 軸方向への移動量の平均を図 4 に示す．NAO を使った条件と Echo 条件を比較すると，鼻や手首など，上半身の部位は NAO を使った条件の方が上昇しているのに対し，足首や太ももなど，下半身の部位においては Echo 条件の方が上昇している傾向があることが分かる．また，NAO を使った条件内においては，x 軸方向，y 軸方向共に，NAO 条件よりも fNAO 条件の方が移動量の平均値が上昇していることが分かる．
次に，質問紙の形容詞対を因子分析した結果，第 1因子の寄与率が 64.46%，第 2 因子が 15.75%，第 3 因子以下は 6.236%となった．第 1 因子は，“堅苦しい・うちとけた”，“つまらない・面白い”，“冷たい・暖かい” の順に負荷が高く，人との親和性を表す “親和性因子” と名付ける．また，第 2 因子は，“のろい・すばやい”，“遅い・速い”，“鈍感な・俊敏な” の順に負荷が負の方向に高く，システムの操作のしやすさを表す “操作性因子” と名付ける．親和性因子における因子得点を図 5 に示す．Echo 条件と比較して NAO を使った

条件は両方とも親和性が上昇していることが分かるが，fNAO 条件よりも NAO 条件の方が親和性が上昇している．また操作性因子における因子得点を図 6 に示す．
fNAO 条件，NAO 条件．Echo 条件の順で，負の方向に上昇している．

図 3: 身体の各部位の x 軸方向への移動量の平均図 4: 身体の各部位の y 軸方向への移動量の平均6

表 1: 評価形容詞対及び因子分析の結果
形容詞対F actor1 F actor2
感じの悪い・感じのよい
0.25550.0386
親しみにくい・親しみやすい
0.27990.1985
退屈な・興味深い
0.26750.02059
つまらない・面白い
0.3288-0.1313
堅苦しい・うちとけた
0.34090.1836
使いにくい・使いやすい
0.1256-0.0555
反抗的な・従順な0.1515-0.1115
冷たい・暖かい
0.29390.2140
飽きやすい・飽きにくい
0.2896-0.1819
鈍感な・敏感な
0.1321-0.3497
暗い・明るい0.2066
0.0531
にくらしい・かわいらしい
0.20560.1719消極的な・積極的な0.1951-0.1798
愚かな・賢い0.0828-0.1753
ふまじめな・まじめな
0.1207-0.2567
機械的な・人間的な0.27390.2805
わかりにくい・わかりやすい
0.1930-0.1224
のろい・すばやい
0.0928-0.4079
遅い・速い
0.0512-0.3682
地味な・派手な
0.24180.1440
危険な・安全な
0.0786-0.2270
複雑な・単純な
0.0391-0.2486
寄与率0.64460.1575
作が，参加者の非言語情報表出に影響した可能性があると考えられる．因子分析において，親和性因子では，NAO を使った条件が Echo 条件よりも上昇しており，見た目における親和性の操作が参加者のロボットへの親しみやすさに影響したと考えられる．また，fNAO 条
件よりも NAO 条件の方が親和性因子が上昇していることに関しては，性別など個人の属性を踏まえて今後分析を行う．操作性因子に関しては，fNAO 条件，NAO条件，Echo 条件の順で負の方向に上昇しており，見た目と表出が親しみやすいと操作をしやすく感じる可能性がある．

考察

身体の部位の移動量に関して，NAO を使った条件とEcho 条件を比較して，上半身の部位の移動は NAO を使った条件の方が Echo 条件よりも上昇しており，下半身の部位の移動は Echo 条件の方が NAO を使った条件よりも上昇していたため，見た目の親和性の操作により，表出された非言語情報の種類に変化が生じた可能性があると考えられる．また，NAO を使った条件内において NAO 条件よりも fNAO 条件の方が移動量の平均が上昇していることから，表出における親和性の操7

まとめ

本研究では，人間から有益な非言語情報を引き出すようなヒューマノイドロボットの表出デザインについて検討する．そのために，言語情報と非言語情報を利用する家電操作システムを開発して小型ヒューマノイドロボットに搭載し，小型ヒューマノイドロボットに様々な表出をさせ，参加者の身体の移動量の平均と，ロボットへの印象に関する質問紙への得点を算出し比較・評価した．

ホームロボットインタフェース: 音声誤認識を許容する親和行動. ヒューマンインタフェース学会
論文誌 8.2: 247-253 (2006).

[Hidelgo et al. 17] Gines Hidalgo, Zhe Cao, Tomas Simon, Shih-En Wei, Hanbyul Joo & Yaser Sheikh.
Currently OpenPose https://github.com/CMUPerceptual-Computing-Lab/openpose, (2017).

図 5: 親和性因子

図 6: 操作性因子
今後は，実験映像をアノテーションすることで，非言語情報の種類と回数を分析し，今回得られた結果への考察や，表出される非言語情報の特徴づけを行う．また，より多くの参加者データを比較・分析することで，非言語情報を促進するヒューマノイドロボットの表出デザインの具体化を検討する．

参考文献[Ching et al. 14] So, W.C., Ching, T. H.W., Lim,P.E., Cheng, X. & Ip, K. Y.: Producing gestures facilitates route learning, PLOS ONE, 9,e112543(2014).
[Cook, Mitchel & Goldin-Meadow 08] Cook, S. W.,
Mitchell, Z. & Goldin-Meadow, S. Gesturingmakes learning last, Cognition, 106(2), 10471058(2008).
[山本, et al. 06] 山本大介, 土井美和子, 松日楽信人, 上田博唯, 木戸出正継. 親和行動導入による実用的