HAI シンポジウム2014
G-3

Human-Agent Interaction Symposium 2014

コミュニケーションロボットの皮膚上に起こるクロスモーダル不随意表現の検討
Investigation of involuntary crossmodal expressions on the skin of acommunication robot
孟 暁順 1 ∗Xiaoshun MENG1

吉田 直人 1
Naoto YOSHIDAI1

米澤 朋子 1
Tomoko Yonezawa1

1

1

関西大学
KansaiUniversity

Abstract: In this paper, we introduce a unique combination of multiple involuntary expressions,such as goose bumps, sweats, and shivers, on the skin of a robot that represents instinctive fears.
Humans express not only voluntary but involuntary modalities including physiologic reactions.
These involuntary expressions are expected to realize the life-like or human-like presence of therobot. The unique expression of a strong fear is represented not only by the facial expressions
but also by the combination of involuntary goose bumps, sweats, and shivers, and so on. Our
proposed method adopts multiple thin rods under the robot’s skin for generating the goose bumps.
A vibration motor and a water tank with a balloon are also attached to the system to create
combined expressions.

1

はじめにし, 汗, 鳥肌を用いて本能的な強い感情や身体状況の表現を試みてきた. 本稿では, 特定の状況での体の震え,発汗, 鳥肌という 3 つのモダリティの組み合わせによって形成された恐怖のニュアンスについて実験を行った.
実験ではロボットが表出した感情の表現に対して, そのニュアンスがどのようなものであるかを被験者に評価させた.

近年, ロボットは商品化やメディアへの登場により人間の身近な存在となってきた. しかし, 人間の社会に馴染み, 人間と共存できるようになるためには, 様々な環境に応じた人間の反応を理解し, 適切にふるまうことのできるコミュニケーション能力が必要である. 会話を中心としてその他にも非言語情報など, より豊かな表現を実現するために様々な研究 [1] が行われている. さらに人間と密接に関わるロボットに関して, 歩行などの動作や, 会話の際に表出する表情についての研究など, より細かい表現に関する研究が行われている. しかしながら, 人間同士のコミュニケーションでは, 会話や動作, 表情だけではなく, 不随意に生じる生理現象も重要な役割を持っている. また, 同じ感情表現でも, 感情のニュアンスにより組み合わせの行動パターンが異なる. 例えば,恐怖を感じた場合, 目を丸くすることにより形成した恐怖感は, 膝が震えて立っていられないことにより形成した恐怖感と程度が異なっている.
そこで本研究では, ロボットに表情や身体動作などの非言語的な表現を行わせ人間との円滑なコミュニケーションを実現することをねらいとする [2][3][4][5][6]. 我々はこれまでにロボットの不随意表現として, 皮膚に着目

2

関連研究

加藤 [7] は, 会話を通じたロボットとのコミュニケーションが, ユーザに心的作用をもたらすことを示した.
ユーザが発話した音声から感情を推定し, その結果ごとに異なる出力を行う. さらに, ロボットに気分の概念を持たせ, ロボットの性格付けや個性化の実現を目指した.
ロボットの内的な状態設定とそれに応じた表出機構は,人間らしいロボットの実現に必要不可欠である. そのため本研究では, 視覚情報や聴覚情報の他に触覚情報を与え, ロボットの内部状態をユーザに伝えることを目的とする. 人間の生理現象である鳥肌や汗, 身体の震えをロボットに実装した.
人型ロボット PETMAN1 は皮膚部分で化学物質の漏れを検出するだけでなく, 温度などの状況に応じた発∗ 連絡先：関西大学総合情報研究科知識情報学専攻〒 564-8680 大阪府吹田市山手町 3-3-35
E-mail: k568121@kansai-u.ac.jp

1 http://www.army-technology.com/projects/petman/

17

汗を再現し, 防護服としての性能を評価するために用いられている. また,The Loathsome Stench Of Robot
Sweat2 は発汗表現によって芸術表現を試みた. このようにロボットに発汗表現等の生理現象を実現することで, 人間とのコミュニケーションを自然にするために有効であると考え.
我々はこれまでに不随意表現として鳥肌および発汗の表現をそれぞれ取り上げ, ロボットの擬人化表現の有効性を確かめてきた [8][9]. そして鳥肌と発汗と震えを組み合わた冷や汗・恐怖の表現に着目し, 実装したシステムを提案した. 不快な状態の表現方法として, 顔表情の変化が有効であることが想定できたが, それに加え,鳥肌の擬人化表現の効果に関する実験で, 身体的な不快の表現として鳥肌を模したシステムを実装し, 不快感を表現することができた. また, 恐怖という生命危機の感覚を感情的に示すことを狙いとした実験では, 鳥肌による恐怖の表現の有効性が示された. さらに, 汗の表現に関する実験では, 生理的表現として暑さを人間に伝達する有効性を示した. また, 我慢や焦りといった感情表現においても, 発汗表現の有効性が示された.
しかし, 感情には様々な強度があり, その適切な表現方法を確定することは難しい [10]. また, 感情の強度の違いや, ニュアンスの違いについて着目すると, 様々なモダリティの追加や, 組み合わせを検討するべきであることがわかる. 例えば,「fear(恐れ)」は「terror(強い恐れ)」よりも感情強度が弱いと考えられる. また,fear, fright,terror, horror, dread, alarm 等, 恐怖の種類やニュアンスの違いも存在する [11]. そこで, 本稿では,fear, fright,terror, horror, dread, alarm を評価項目に取り込み, ロボットを用いた皮膚上におけるクロスモーダル不随意表現の鳥肌, 発汗, 震えの組み合わせにより, 恐怖のニュアンスを表現するシステムを提案する.

図 1: システムのフロー

図 2: 発汗駆動装置

3システム構成3.1

システム概要プによって空気量をコントロールする. 汗の表現を行う
際は, 空気ポンプを動作させペットボトルに空気を入れる. これにより, ペットボトル内の水圧を上昇させ, 外へとつないだチューブに水を押し出す. チューブの先, 水を少しずつ染み出させることが可能である. 汗駆動装置を図 3 に示す. 水槽は空気ポンプにより空気量が制御されている. 汗を出す場合は, 空気ポンプを動作させる. これにより, 水槽の中の水圧を上昇させ, チューブを通して水槽内の水を押し出す.

本研究では人間らしい反応をするロボットの実現のために, 震え・鳥肌・発汗の反応を行う状況の設定した.
本稿では恐怖状態を設定し, それに対応するそれぞれの表現を表出させる機構を実装した. システムフローを図1 に示す.

3.2

発汗モジュールシステム

発汗システムを図 2 に, 汗を表現するための簡易な構造を図 3 に示す. 水の入ったペットボトルの外からポン

3.3

鳥肌表出モジュールシステム

システムを図 4 に示す.4 × 4 列中空の鉄管を並べ,モータで中空で直径 60MM の鉄パイプの上下を制御す

2 http://thecreatorsproject.vice.com/blog/the-loathsome-stench-of-robot-sweat

18図 5: 鳥肌表現の制御構造

図 3: 発汗機構の構造
る. 中空の鉄パイプ内は発汗システムのチューブを通す, 表面はシリコンで覆い, 人肌の触感を模倣した. 鳥肌を表出する際のシステムの動作の外観を図 4(b) に, 内部動作の簡易な構造を図 5 に示す. 鳥肌を表出する際は, 中空の鉄パイプをまとめた板に結びつけられた糸をモータが引っぱり, 鉄パイプを上昇させる.

(a) 構造の側面からの様子(b) モジュールの外観

図 6: 恐怖を表現するシステム装置
時に表現することができる. また, 状況によってはそれぞれの表現を時間差を付けて表出させることも出来る.

4(a) 正面

実験の目的: ロボットの発汗・鳥肌・震えの表現の組
み合わせにより恐怖の独特のニュアンスを表現することが理解できるかを検証する.
実験の仮説: 鳥肌や汗, 震えを表現することで, 恐怖を表すことができる. また, 恐怖表現システムの配置場
所によって, 恐怖の強度を変化させる効果を示す. これらの組み合わせにより, 恐怖の異なるニュアンスが表現できる.
実験の条件: 以下の 4 つの要因を考え, 合計 36 条件の被験者内実験計画とし, ランダム順で反復測定することでカウンタバランスをとった.
要因 A:鳥肌 (A1:有/A2:無)要因 B:汗 (B1:多/B2:少/B3:無)要因 C:震え (C1:有/C2:無)要因 D:システムの配置 (D1:額/D2:背/D3:腕)
評価項目: 本実験における評価方法として主観評価(MOS3 法) を用いた. 用語については表 1 に示す.
項目 1. ロボットは [alarm] と感じている.
項目 2. ロボットは [dread] と感じている.
項目 3. ロボットは [fear] と感じている.
項目 4. ロボットは [fright] と感じている.

(b) 横面図 4: 鳥肌モジュールシステム

3.4

震え表出モジュールシステム

システムを図 6(a) に示す. 鳥肌表出装置で使用した箱の側面に振動モータを設置した. 振動モータが動作することによってロボットの身体の震えを表現した. 震えの表現は 1 回あたり 150[ms] とした, 体の震えとして知覚されるよう,RF300 モータ (回転速度 2830r/min,22g)を用いている.

3.5

実験恐怖表現モジュールシステム

3.2 3.4 節で紹介したそれぞれのシステムを組み合わせることで, 恐怖の表現を行うシステムを実現する. システムの外観を図 6(b) に示す. 鳥肌表出装置をベースとし, 箱の内部に震え表出装置や発汗装置のチューブを組み込んだ. 恐怖の表現の際は, 発汗・鳥肌・震えを同

3 Means Opinion Score19表 2: 交互作用における単純主効果(a) 実験設定

A(b1)
A-C
B(c1)
A(b1,c1)
A(b1,c2)
A(b2,c1)
A(b3,c1)
B(a1,c1)
B(a2,c1)
C(a1,b1)
C(a2,b2)
BC(a1)A-B-D(b) ロボットの全景

図 7: 実験風景

評価項目
alarm
dread
fear
frighthorrorfear
terror

表 1: 評価項目の説明
説明
突然に危険を察知した時の恐怖
高所恐怖症のような極度の恐怖
一時的な激しい恐怖
恐れや不安の感情
嫌悪感を伴うぞっとする恐怖
一時的な激しい恐怖
身がすくむような恐怖

A:(a1:goose bumps,a2:no goosebumps)
B:(b1:profuse sweat,b2:sweat,B3:no sweat)
C:(c1:body shivering,c2:no body shivering)
D:(d1:forehead,d2:back of robot,d3:arm)
alarm dread fear fright horror panic◯◯
×◯◯◯◯◯◯◯◯
××◯◯◯◯
◯
×
◯
×◯◯◯◯
◯
×××
◯
×××××◯◯
×××◯
××◯◯◯◯◯×◯◯◯◯×××◯◯◯◯◯◯×◯◯◯◯×××◯×××◯×××terror×◯◯×××◯◯◯◯◯◯×

個別の要因をみると, 発汗・鳥肌・震えは全ての評価項目で有意差が得られたが, 恐怖表現モジュールシステムの配置による違いでは有意差が得られなかった. 多重比較をみると, 発汗の主効果について評価項目で有意差が得られた. 相互作用から得られた結果より要因の組み合わせから表現できる, 恐怖のニュアンスとして交互作用の結果を表 2 に示す.

項目 5. ロボットは [horror] と感じている.
項目 6. ロボットは [panic] と感じている
項目 7. ロボットは [terror] と感じている.
実験の環境: ユーザはロボットの前に座る. 実験の環境を図 7 に示す.
実験の手順: ユーザをロボットの前に座らせ, ロボットの様子を確認させた後, まず, 評価項目の用語を理解させる. 次にロボットとユーザに対し「あなたの後ろ, 鬼がいます」という音声を流す. その音声を聞いてロボッ
トは恐怖を感じ, 発汗・鳥肌・震えで反応を示す. そして, ユーザはロボットの様子をまず視覚的に確認し, 次に手で触って確認した後, アンケートに答えてもらう.
アンケートが終わったら, ユーザにはロボットが見えない場所で待機してもらい, その間ロボットの恐怖表現
モジュールシステムの配置場所を変える. 配置場所にモジュールを設置するだけではなく, 他の条件における配置場所にダミーのモジュールを設置する.
被験者: 実験に参加したのは情報学部に通う大学生
男女合わせて 25 名の被験者である.
実験結果: 本研究の恐怖に関する評価項目のデータを分析した. 順序交差した反復測定分散分析の結果を図 8に示す. また 4 要因分散分析の結果を表 3 に示す. 結果
として, 発汗・鳥肌・震えの 3 要因をどのように組み合わせても, 評価項目 alarm, dread, fear, fright, horror,terror で有意差が得られた. また, その中でも発汗・震えの組み合わせたでは全ての恐怖の評価項目で有意差が得られた.

5

考察

評価項目 [alarm] の実験結果では,A(b1c2)(鳥肌・汗多い・震えなし),Ab1(鳥肌・汗多い) により表現できると示唆された. alarm は突然に危険を察知した時, 驚いて急いで逃げている恐怖と意味する. またその際鳥肌と多量の発汗などの表状が出る場合が多い, そして実験の結果から見るとロボットの多量の発汗が出ることにより alarm 特徴が表現できると考えられる, そこで, 多量の発汗と鳥肌がある特徴の条件 A(b1)(鳥肌・汗多い)と A(b1c2)(鳥肌・汗多い・震えなし) の組み合わせにより alarm の特徴が表現できると考えられる.
評価項目 [fright] の実験結果では,B(a1c1)(汗・鳥肌あり・震えあり),a2Bc1(鳥肌なし・汗・震えあり),C(a1b1)(震えなし・鳥肌あり・汗多い),C(a2b2)(震え・鳥肌なし・汗少ない) により表現できると示唆された. fright は一時的な激しい恐怖と意味する. またその際汗と震えなどの表状が出る場合が多い, そして実験の結果から見るとロボットの汗・震えの組み合わせにより fright の特徴が表現できると考えられる, そこで, 汗と震えがある特徴の条件 Ba1c1(汗・鳥肌あり・震えあり),Ba2c1(汗・鳥肌なし・震えあり), また Ca1b1(震え・鳥肌あり・汗多い),Ca2b2(震え・鳥肌なし・汗少ない) の組み合わせにより fright の特徴が表現できると考えられる.
評価項目 [panic] の実験結果では,A(b2c1)(鳥肌・汗少し・震えあり),AC(鳥肌・震え) が表現できると示唆

20

表 3: 主観評価の分散分析
A:goose bumps
fpalarm

dread

fear

frighthorror

42.17166.76

45.99934.482114.292

<0.01

<0.01

<0.01

<0.01<0.01

B:sweatfp

45.098<0.01

145.889 <0.01

148.018

57.567189.931

<0.01

<0.01

<0.01

C:vibrated
fp118.878<0.01

219.608 <0.01

156.625138.241232.739

<0.01

<0.01

<0.01

D:place
fp

0.303

0.936

1.594

1.283

0.431

多重比較 (B)

交互作用

ALL

(b1,b3)-A,(a1,b2)-B,(c1,c2)-A(a1,a2)-C,(c2)-B,(b1,b2,b3)-C(c2)-AB,(b3)-AC,(a1,a2)-BC(b1+c2,b3+c2,b3+c1)-A(a1+c2,a2+c2)-B(a1+b2,a1+b3,a2+b1,a2+b2,a2+b3)-CALL(b1,b3)-A,(a1,b2)-B,(c1,c2)-A(a1,a2)-C,(c1,c2)-B,(b1,b2,b3)-C(c2)-AB,(b3)-AC,(a2)-BC(b1+c1,b1+c2,b3+c2)-A(a1+c1,a1+a2,a2+c1,a2+c2)-B(a1+b2,a1+b3,a2+b1,a2+b2,a2+b3)-CALL(b3)-A,(a1,b2)-B,(c1,c2)-A(a1,a2)-C,(c1,c2)-B,(b1,b2,b3)-C(c2)-AB,(b3)-AC,(a2)-BC(b3+c2)-A(a1+c1,a1+a2,a2+c1,a2+c2)-B(a1+b1,a1+b2,a1+b3,a2+b1,a2+b3)-C(d1,d2,d3)-AB,(b3)-AD(b3+d1,b3+d2,b3+d3,b1+d1)-A(a1+d1,a1+d3,a2+d1,a2+d2,a2+d3,a1+d2)-B)(a1+b3)-DALL(b1,b3)-A,(a1,b2)-B,(c1,c2)-A(a1,a2)-C,(c1,c2)-B,(b1,b2,b3)-C(c2)-AB,(b3)-AC,(a1,a2)-BC(b1+c2,b3+c2,b3+c1)-A(a1+c1,a1+a2,a2+c1,a2+c2)-B(a1+b1,a1+b2,a1+b3,a2+b1,a2+b2,a2+b3)-CALL(b1,b3)-A,(a1,b2)-B,(c1,c2)-A(a1,a2)-C,(c1,c2)-B,(b1,b2,b3)-C(c2)-AB,(b3)-AC,(a1,a2)-BC(b1+b1,b3+c2,b3+c1)-A(a1+c1,a1+a2,a2+c1,a2+c2)-B(a1+b1,a1+b2,a1+b3,a2+b1,a2+b2,a2+b3)-C

0.73

0.39

0.21

0.28

0.65

panic

35.962<0.0162.72<0.01

209.415

<0.01

0.08

0.92

ALL

(b1,b3)-A,(a1,b2)-B(c1+c2)-B,(b1,b2,b3)-C(c2)-AB,(b3)-AC,(a2)-BC(b1+c1,b1+c2,b3+c2,b2+c1)-A(a1+c1,a1+a2,a2+c2)-B(a1+b1,a1+b2,a1+b3,a2+b1,a2+b2,a2+b3)-C

terror

64.657<0.01

173.727<0.01204.165

<0.01

1.114

0.33

ALL

(b3)-A,(a1,b2)-B,,(c1,c2)-A(a1,a2)-C,,(c1,c2)-B,(b1,b2,b3)-C(c2)-AB,(b3)-AC,(a1,a2)-BC(b3+c2,b3+c1)-A(a1+c1,a1+a2,a2+c1,a2+c2)-B(a1+b1,a1+b2,a1+b3,a2+b1,a2+b2,a2+b3)-Cされた. panic は群衆に感染する突然の恐怖, 恐慌状態に陥ることを意味する. またその際強い恐怖では冷や汗などの表状が出る場合が多い. そして実験の結果から見るとロボットの b2(汗少し) において冷や汗は適切にpanic の特徴が表現できると考えられる. そこで, 汗少しがある特徴の条件 A(b2c1)(鳥肌・汗少し・震えあり)の組み合わせにより panic の特徴が表現できると考えられる. また, 以上の結果みると, 冷や汗がない特徴の条件 AC(鳥肌・震え) の組み合わせは panic の特徴が表現できないと考えられる.
D(システムの配置) によって恐怖の表現が変わるという仮説 d について, 単独では有意差が得られなかったが,ABD(鳥肌・汗・システムの配置) の組み合わせでは,評価項目 3[fear] において有意差が得られた. よって仮説 d を成り立たせるためには、システムの単なる配置だけではなく, 恐怖表現をいかに組み合わせることが重要であると考えられる.
鳥肌・汗・震え・システムの配置の 4 要因の組み合わせにより独特のニュアンスの恐怖の評価項目を表現できることが示唆された. よってロボットの感情ニュアンスを用いた感情表出は可能であると考えられる. また今後は, 人間同士のような自然で円滑なコミュニケーションを実現するために, 不随意表現モダリティの更なる増加も検討すべきだと考えられる.

6

おわりに

本稿では, 人間の無意識的かつ不随意な表現として,皮膚上に現れる「鳥肌」,「発汗」,「震え」をロボットに実装し, ロボットのモダリティによる恐怖感の表出システムを提案した. 人間の感情は, 意識的な表現, 無意識的な表現, 随意的な表現と不随意的な表現により表出される. 特にその中の不随意的な表現に対して, 生理的な反応が含まれるため, ロボットに不随意のモダリティを搭載することでロボットの擬人化されたリアリティの向上が可能と考えられる. しかし, 今まで生理的な反応が含まれる不随意的な表現を対象とした研究は盛んでなかった. そこで, 本研究では擬人化ロボットのリアリティ向上を目指し皮膚上における不随意表現に着目した.
実験を通して, ロボットにも様々な恐怖反応を表現させることできる可能性が示唆された. 今後は, 不随意表現モダリティの増加により, ロボットに豊かな感情を付

21

図 8: 主観評価の結果与し, 人間らしいロボットの実現を目指す.

[6] Masayuki Kamasima,Takayuki Kanda,MichitaImai,Tetuo Ono,Daisuke Sakamoto, Hiroshi
Ishiguro,Yuichiro Anzai, ”Embodied Cooperative Behaviors by an Autonomous Hu- manoid
Robot ”,IEEE/RSJ International Conference onIntel- ligent Robots and Systems (IROS2004),
pp.2506-2513, 2004.

謝辞
本研究は一部科研費 24300047 および科研費 25700021の助成を受け実施したものである．

[7] 加藤:感性コミュニケーションロボットのための感情 制御と感情生成; 立石科学技術振興財団助成研究成果 集 17 号 pp48-52(2008)

参考文献[1] D. Perzanowski,A.C. Schultz, W. Adams, E.
Marsh, M. Bugajska, Building a multimodal
human-robot interface, Intelligent Systems,
IEEE vol.16, no.1, pp.16-21, 2001.

[8] Tomoko
Yonezawa,Xiaoshun
Meng,NaotoYoshida,Yukari Nakatani:nvoluntary Expression of Embodied Robot Adopting Goose
Bumps(HRI2014).

[2] C. Kidd and C. Breazeal. Eﬀect of a Robot onUser Percep- tions, Proc. IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS2004), 2004.

[9] 孟暁順，中谷友香梨，吉田直人，吉田侑矢，米澤朋
子：発汗による無意識的表現を用いたコミュニケーションロボットの提案；電子情報通信学会 2014.
[10] Tomoko Yonezawa, Noriko Suzuki, Kenji Mase,
Kiyoshi Kogure, ”Crossmodal Coordination ofExpressive Strength between Voice and Gesturefor Personified Media,” ACM ICMI2006, pp.4350, 2006.

[3] H. Ogawa and T. Watanabe: InterRobot:
speech-driven em- bodied interaction robot, Advanced Robotics, Vol. 15, No. 3, pp. 371-377,
2001.
[4] Akira Ito, Shunsuke Hayakawa and Tazunori Terada:Why Robots Need Body for Mind Communication - An Attempt of Eye-Contact between Human and Robot - ,RO-MAN 2004: 13TH IEEE
INTERNATIONAL WORKSHOP ON ROBOTAND HUMAN INTERACTIVE COMMUNICATION, PROCEEDINGS,pp 473-478[11] De Silva, R; Kleinsmith, A; Berthouze, N; Towards Unsupervised Detection of Aﬀective Body
Posture Nuances. In: Tao, J and Tan, T and Picard, R, (eds.) Lecture Notes in Computer Science. (pp. 32 - 39). Springer: Berlin / Heidelberg.(2005)[12] 孟暁順，中谷友香梨，吉田直人，吉田侑矢，米澤朋子：皮膚上におけるクロスモーダル不随意表現を行うコミュニケーション；第 108 回ヒューマンインタフェース学会研究会 2014.

[5] 尾形 哲也，菅野 重樹:身体性に基づくロボットと人間のコミュニケー ション，Bit 別冊「身体性とコンピュータ」，岡田 美智男，三嶋博之，佐々木正人編，共立出版，2000.

22