情報処理学会 インタラクション 2017
IPSJ Interaction 201717INT005
2017/3/2

ロボットの Non-Duchenne Smile による人との社会的結合の強化
小山 直毅†1†2

田中 一晶†1

小川 浩平†1†2 石黒 浩†1†2

概要：人とインタラクションを行うこれまでのロボットは，感情状態に基づいて振る舞うか，相手や状況に応じて社会的に振る舞うか，目的に合ったいずれか一方の感情表現が実装されてきた．本研究では，
これらを情動的感情表現，社会的感情表現と定義し，両方を組み合わせた新しい感情表現手法を提案す
る．人間の表情では，感情によって不随意に変化する目元の表情筋と，随意に制御可能な口元の表情筋によって，目は笑っていないが，口元は社会的に微笑んでいる Non-Duchenne Smile のような複数の感情表現が行われている．この表情をロボットの顔で再現し，人との対話実験において一方の感情表現しか行わないロボットと比較した．その結果，人間らしい印象には情動的感情表現が，社会的印象には社会的感情表現が寄与しており，提案手法は両方の印象を同時に与えられる可能性が示唆された．そして，
人に親密な印象を与える上で，友達になるなど，社会的結合を強める初期の段階では社会的感情表現が有効に働くが，一緒に生活するなど，より社会的結合を強めた段階では，情動的感情表現も必要である
ことも示唆された．

Robot’s Non-Duchenne Smile Enhances Social Bonding
with Human Partners
NAOKI KOYAMA†1†2 KAZUAKI TANAKA†1
KOHEI OGAWA†1†2 HIROSHI ISHIGURO†1†2
Abstract: The robots interacting with humans has been implemented either the emotional expression based on robot’s emotion
or based on sociality corresponding to the interlocutor and the situation. In this study, we define these as the social emotional
expression and the affective emotional expression, and propose the new method of emotional expression combined both. Facialmuscles around eyes can change involuntary by emotion and ones around mouth can change voluntary so that we can express
complex facial expression such as Non-Duchenne Smile. We reproduce that smile in the robot’s face, and compare the robot
expressing either of one of the social emotional expression and the affective emotional expression. The result indicated that theaffective emotional expression contributes to human likeness of robot, the social emotional expression contributes to sociality ofrobot and our proposed method contributes to both. In terms of giving an intimate impression on humans, the result suggested
that the social emotional expression is effective in the early stage to strengthen the social bond, i.e., becoming a friend. On theother hand, in the stage after strengthening the social bond, i.e., living together, the affective emotional expression may beeffective.

1. はじめにと対話する実験において，被験者は，遠隔操作ロボットの挨拶には応じるが，自律ロボットの挨拶を無視する傾向が

近年，人の仕事を代替する存在としてロボットが日常生あることが報告されている[19]．これらの実験結果から，

活に普及し始めた．しかし，人間はロボットに対して，人人は一般的にロボットを社会的存在として扱わない傾向がと同じような社会的存在として扱わないという問題がある．

うかがえる．ロボットを人間と同じように社会的存在とし

例えば，お菓子を提供する自律ロボットをオフィス環境にて認める社会になれば，ロボットが人と友人関係を築くこ導入した実験では，初期のインタラクションにおいてロボとや，教師や警察官など，相手と対等以上の立場でなけれットに対して強い命令口調で接する，ロボットの発話を遮ば成立しない仕事をロボットが代替することができるようるなど，初対面の人には行わないような非社会的行動が見になる可能性がある．

られている[14]．また，自律ロボットや遠隔操作ロボット

我々は，ロボットの感情表現が，ロボットを社会的存在であると人に感じさせる要因の 1 つになり得るのではない†1 大阪大学大学院基礎工学研究科
Graduate School of Engineering Science Osaka University†2 科学技術振興機構, ERATO
ERATO, Japan Science Research Institute International© 2017 Information Processing Society of Japanかと考えた．人と人とのコミュニケーションでは，非言語表現が情報伝達に活用されており，特に顔の表情に基づく
情報は全体の約 55%を占めると言われている[17]．そのた

35

情報処理学会 インタラクション 2017
IPSJ Interaction 201717INT005
2017/3/2

め，多様な表情を表出できるロボットが数多く提案されてと，感情の変化をそのまま表情に出しているということにおり，そのようなロボットは，感情状態等を分かりやすい

なり，状況によっては社会性が無い人という印象を相手にかたちで伝達するために，その状態に対応した表情を表出

与えかねない．

するものが多い[1][2][7][11]．一方，販売員ロボットのよう人間は必ずしも自分の感情をそのまま表出しているわ

な，その場で求められる接客マナーや態度といった社会性

けではなく，社会的な状況や立場に応じた表情を選択してに基づいて振る舞う必要があるロボットの場合，感情状態

おり，意図的に笑顔を表出することは社交的で知性的であとは無関係に，状況に応じた社会的な表情を表出することると判断され，コミュニケーションを円滑にする働きがあが適切である[9][21]．

ること[16]や，初対面の人に対して親近感を与えることがロボットの感情表出は，感情状態と社会的状況のいずれ明らかになっている[4]．受付ロボットや接客ロボットといか一方に基づいてデザインされてきた．しかしながら，人った，実社会で人間が行う業務を代替する目的のロボット

間同士のコミュニケーションでは，これら両方に基づいたは，上記の手法とは異なり，感情とは無関係にその時々の感情表出が行われている．例えば，嫌いな相手と会話する

状況に応じた社会的な行動が設計されていることが多い．

際，あからさまに不快な表情で接する場合もあるが，自分

例えば，SAYA[9]は人間に酷似した外見のヒューマノイドの立場や状況などの社会性を考慮して，あえて偽の笑顔でロボットで，人間に近い豊かな表情を表出することができ，接する場合もある．このような，快感情に基づいていない

2004 年 の 愛 知 万 博 で 受 付 嬢 と し て 活 躍 し た ． ま た ，

偽の笑顔は Non-Duchenne Smile（以下 NDS と呼ぶ）と呼ばGeminoid も人間に近い外見のヒューマノイドロボットでれている．この NDS と快感情に基づく本当の笑顔 Duchenne

あり，実際に百貨店の洋服販売員として用いられ，人の販

Smile（以下 DS と呼ぶ）とは，目元の表情筋の収縮の有無

売員と同等以上の売り上げを記録した[21]．このようなロで区別が可能であるとされており[6]，人間の表情には随意

ボットは，受付や接客など目的に応じた社会的な表情のみ的に制御できる部分と，感情が不随意に表れる部分があるを表出するため，表情の変化が乏しくロボットらしい印象

ことが分かっている．

を与えてしまう可能性がある．

本研究では，社会性に基づいた随意的な表情と，感情に以上のように現在のロボットは，その役割に応じて，情基づいた不随意的な表情を組み合わせることで人間に近い動的な感情表現と社会的な感情表現がそれぞれ独立して考感情表現を再現する手法を提案し，それを用いたロボット

えられていると言える．これに対し，本研究では，ロボッの感情表現システムを実装する．社会的に振る舞う必要がトが置かれた状況に応じた社会的な表情に NDS のようなある状況を具体的に設定してロボットの印象評価実験を実

感情に応じた不随意な表情変化を加えることで．社会的で施し，人との社会的関係性に与える影響について調査した．

かつ感情の存在を感じることのできる感情表出手法を提案

2. 関連研究する．
本研究では，女性型のヒューマノイドロボットを用いる．

ロボットに感情を設定し，それに基づいた表情を表出さ

このロボットは，顔面に前頭筋，皺眉筋，眼輪筋，大頬骨せることは人間とロボットのコミュニケーションにおいて筋の 4 つに相当する軸を有しており，これらを変化させる

有効な手段であると考えられており，多様な表情を表出でことで多様な表情を表出することが可能となっている．そきるロボットが数多く存在する．例えば，撫でる，叩くな

して，各軸が感情に対して随意／不随意に制御されるかを

どの，相手からの刺激に対応した表情を表出するもの[1][2]

決定することによって，口元は笑っているが目元は笑ってや，漫画的な表情表出を用いることにより，内部状態を人いないといった，人間のような複雑で曖昧な感情表出が可に分かりやすく伝達し，人間と円滑なコミュニケーション

能になる．ロボットにこのような曖昧表情を持たせた先行を行うもの[7]，表情をはじめとする複雑な感情表出機構を研究として，ディスプレイ上に漫画的な表情を表出するロ持ち，自らの感情を表現しながら会話を行うもの[11]など

ボットを用いて，ロボットの曖昧表情が人間とのコミュニが挙げられる．このようなロボットは，あらかじめ設定さケーションにどのような影響を及ぼすかを調査したものがれた複数の表情と，感情状態が対応付けられており，外部ある[18]．その結果，ロボットの曖昧表情は人間とのコミからの刺激による感情状態の変化に応じて表情を変化させュニケーションにおいて肯定的に働き，ロボットに対するているものが多い．このような手法はロボットの内部状態

親しみを喚起させることを示した．この研究では，ロボッ（感情）を表情というモダリティによってわかりやすく人

トの表情は漫画的で記号的なデザインで表現されているが，に伝達することに重点が置かれており，相手やその時々の本研究では，人の表情筋の随意性/不随意性に基づいて設計状況に応じて表情を変えるという社会性は考慮されていな

し，NDS のような人に近い感情表出をロボットに実装する

い．この手法はペットロボットのような動物型のロボットことによる効果を実験的に明らかにした．

においては適切かもしれないが，人間にあてはめて考える© 2017 Information Processing Society of Japan36

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

Arousal17INT005
2017/3/2

ArousalPleasant

Pleasant

社会的感情表現
図1
Figure 1

皺眉筋

眼輪筋

大頬骨筋

情動的感情表現感情表出モデルの概念図

Conceptual diagram of our emotional
expression model

3. 感情表出モデルとロボットの表情
3.1 情動的・社会的感情表現
人による感情表現はジェスチャ等の身体動作など表情には限定されないが，次節で説明するように感情が随意／不

図2

ロボットの顔面モダリティ

Figure 2

Our robot’s facial modality

なければならないような状況の表情を再現すると図 4 中のNDS のようになり，随意な感情表現として口元は微笑んでいるが，不随意な感情表現として眉間に皺が寄っていることが確認できる．
3.4 仮説

随意に表れる部位が明らかになっている表情を本研究では

人の表情のうち，微笑みは社交的に振る舞う場面におい対象とする．感情に基づく不随意な表情を情動的感情表現，てよく見られる表情の 1 つである．人は表情をコントロー

社会性に基づく随意な表情を社会的感情表現と定義し，図ルすることで他者に影響を及ぼそうとするが，その中でも1 に示すように，Russel の感情円環モデル[10]を参考に快－微笑みが重要な役割を果たすと言われている[6]．このこと

不快，覚醒－眠気の 2 次元平面に表情筋の動きに相当するから本研究では，社会的表情として微笑みをロボットが表

モータコマンドをマッピングした．本研究では，これを感出する状況を想定した．まず，ロボットの情動的感情表現

情表出モデルと呼ぶ．

と社会的感情表現が，対話者にそれぞれどのような印象を

3.2 表情筋の随意性・不随意性

与えるか考えた．

現在までに，感情と表情の関係性を調査した研究は数多貶されたから怒る，褒められたから微笑むといった状況

く行われており[3][5][6][20][23]，肯定的な感情で大頬骨筋と一致した情動的感情表現は，適切な反応であるため人間の働きが活発となり，否定的な感情で皺眉筋の働きが活発らしい印象を与えると思われる．様々な表情を表出できるになることが明らかになっている[20]．また，眼輪筋・大ロボットのほとんどは，感情と表情が一致していることを頬骨筋・口角拳上筋の働きを強めることで喜びの表情を，前提に，このような感情表現を行うものが多い[1][2][7][11]．

皺眉筋の活動を強めることで怒りや悲しみなど不快な表情

このことから，状況と一致した感情表現を行うことは人間を表現することも分かっている[23]．このことから，一般

らしい印象を与えると考え，次の仮説 1 を立てた．

的にポジティブな感情では顔下部の筋が活発になり，ネガ
ティブな感情では顔上部の筋が活発になるとされている．
また，表情の意図的な制御についての研究によると，人

仮説 1：不快な状況に一致した目元と口元の不快表情は人間らしい印象を与える．

間が表情を制御しようとするとき，眼・瞼あるいは眉・額

初対面の相手との対話や接客など，社会的に振る舞うこの辺りよりも口と唇の辺りの制御をより意識的に行うとさとが求められる状況では，褒められても貶されても微笑んれている．そして，一般に表情の偽装は顔の下部で行われ，だ表情で接することが妥当であると思われる．接客ロボッ

眉・額が用いられるのはまれであると言われている[6]．そトや受付ロボットは，このような社会的感情表現を行うこ

こで，本研究では，大頬骨筋を随意な，眉皺筋・眼輪筋をとが望ましい[9][21]．3.2 節で述べたように，人間の場合，

不随意な表情筋とし，これらの筋肉の働きをロボットの顔

感情が不随意に表れる目元の表情を制御することは難しく，で再現した．

口元の制御によって表情の偽装を行うとされている．この

3.3 ロボットへの実装

ことから，目元の表情の快不快に関わらず，状況に不一致

感情表出モデル（3.1 節）をロボットに実装するにあたり，ロボットの顔面における各軸と人間の表情筋を対応付

な口元の表情は社会的な印象を与えると考え，次の仮説 2を立てた．

けた（図 2）．これにより，情動的感情表現が不快で社会的感情表現が快，つまり内心では不快だが，社交的に微笑ま仮説 2：目元の表情の快不快に関わらず，不快な状況に不一致な口元の快表情は社会的な印象を与える．

© 2017 Information Processing Society of Japan37

情報処理学会 インタラクション 2017
IPSJ Interaction 201717INT005
2017/3/2

社会的感情表現なし

Experiment environment

Neutral

DS

NS

NDS

あり

Figure 3

実験環境

情動的感情表現

図3

ロボット

なし

対話者

被験者

あり

微笑みは，人同士のコミュニケーションを円滑に進める役割を果たすこと[16]，初対面などの状況において自身への親近感を喚起すること[4]が知られている．このことから，
図4

初対面の状況における微笑みは，対話相手に親密な印象をFigure 4

与えると考え，次の仮説 3 を立てた．

ロボットの表情

Our robot’s facial expression

仮説 3：初対面の状況において，目元と口元の快表情は親た．一方，対話者は常に肯定的な意見を述べ，ロボットは密な印象を与える．

感情に基づいた情動的感情表現と社会性に基づいた社会的4. 実験

感情表現が一致した表情を表出した．これは，被験者に最4.1 タスク
前章の仮説を検証するため，2 人の人間がロボットと対話するタスクを設定した．2 人の内 1 人が被験者であり，
もう 1 人は実験者が務めた．以降，この実験者を対話者と呼ぶ．被験者と対話者およびロボットは初対面であると被験者に説明しており，社会性が求められる状況を想定した．
ロボットは被験者・対話者に対して自己紹介をした後，両者に対して「私の髪型についてどう思いますか？」「私の化粧についてどう思いますか？」「私の服装についてどう思いますか？」というロボット自身の見た目の印象についてたずねる 3 つの質問を行った．これらの質問に対して，対話
者，被験者の順に回答する．対話者が先に回答することで，ロボットがどのように質問するのか，どのように回答すれば良いのかを被験者に例示した．詳しい手順については 5.5
節で述べる．
ロボットにとって不快な状況として，ロボットの質問に対し，被験者には，「服が似合っていない」等の否定的な意見を述べてもらった．人間の女性の場合，外見について貶
されると，怒りや悲しみ等の感情になることが予想される．
このことから，本研究では，Russel の円環モデル[10]において不快度の高い範囲に属するこれらの感情を不快感と定義し，被験者がロボットを貶すタスクを設定した．このタスクにおいてロボットが図 4 中の NS の表情を表出する予備実験を実施したところ，ロボットの感情が怒り，悲しみ
等の不快感であるという印象を被験者が持つことを確認し© 2017 Information Processing Society of Japan

初に提示するロボットの表情変化を条件間で統制するためである．その後，被験者に否定的意見を述べてもらい，ロ
ボットの感情が不快になった際の表情変化を提示した．
4.2 実験環境
図 3 に実験の様子を示す．ロボットからみて左側の人物が被験者で，右側の人物が対話者である．お互いの間に仕切りを設け，直接顔が確認できないようにした．これは，被験者の注意を対話者ではなくロボットに向けさせるためである．
4.3 実験条件
前章の仮説に基づいて，被験者が否定的な意見を述べた
ときのロボットの表情の違いを実験条件とした．情動的・社会的感情表現の有無によって実験条件をデザインすると，
図 4 に示すように 4 種類になるが，感情表現を持たずに常に同じ表情を表出し続ける Neutral 条件は不自然であり他の条件と比較する上で不利であることが明確であったため，
この条件を省いた 3 条件を比較することとした．実験は被験者間計画で実施した．
NDS（Non-Duchenne Smile）条件：情動的感情表現と社
会的感情表現に基づいて，3.3 節で示した眉間に皺が寄った微笑み（NDS）を表出する．
DS（Duchenne Smile）条件：情動的感情表現を行わず，社会的感情表現のみに基づいて微笑み（DS）を表出する．
DS とは本来，快感情に基づいた真の笑顔であるが，その表出技術には個人差があるものの[8]，感情とは無関係に意
図的に表出することも可能であることが近年の研究で明ら

38情報処理学会 インタラクション 2017
IPSJ Interaction 2017

かになっている[13]．常に微笑んで応対する接客ロボット

17INT005
2017/3/2

NS（Non-Smile）条件：社会的感情表現を行わず，情動

的感情表現のみに基づいて，眉間に皺を寄せた表情を表出する．
仮説 1 は NS と NDS が DS よりも人間らしい印象を与えると予想するものである．仮説 2，3 は NDS と DS が NS
よりも社会的な，親密な印象を与えると予想するものである．これらの条件を人間に当てはめて考えてみると，DS
条件は貶されても自分の感情をまったく表出せず，常に社
交的に微笑んでいるような人であり，NS 条件は全く社会的に振る舞おうとせず，不快感をそのまま顕わにするような人である．一方，NDS 条件は社会的に微笑もうとしているが不快感が不随意に目元に表れており，一般的な人に当てはまるかもしれない．自己紹介や質問を行っている際には図 4 中の Neutral の表情を表出し，実験者の肯定的な意
見に対しては，どの条件でも DS と同じ微笑みを表出するものとした．
4.4 被験者
実験には本学の学部生 37 人が被験者として参加した．
これらの被験者には当研究室のメンバは含まれていない．
実験は被験者間計画であり，NS 条件には 13 人（女：6，
男：7），NDS 条件には 12 人（女：6，男：6），DS 条件には 12 人（女：6，男：6）をそれぞれ割り当てた．
4.5 手順
実験は，被験者のほかに対話相手役の実験者（対話者），
被験者に教示を行う実験者（教示者），ロボットの発話，頭の向きや表情を操作する実験者（操作者）で実施した．対
話者は予めロボットの前に座らせた．また，ロボットが操作されていることを被験者に知られないように，操作者は被験者から見えない位置からロボットを操作した．被験者

教示後，被験者には対話者と対面することのないように入室してもらう．このとき，教示者は同室後方で，対話終了まで待機しておく．入室が完了し被験者が着席した時点
で操作者の操作によってロボットが発話を開始する．5.1
節で述べた通り，最初に被験者に提示するロボットの表情変化を条件間で統制すると共に，ロボットとの受け答えを例示するため，ロボットの質問に対し，実験者（対話者）
から回答し，以降，実験者・被験者の順で 3 回繰り返す．3
回の質問において，まず，ロボットは被験者と対話者の方向を交互に見ながら質問を行う，その際の表情は図 4 中のNeutral である．そして，対話者の方を向いて「あなたはどうですか」という音声で回答を求め，対話者の回答後に図4 中の DS を表出する．そして，被験者に対しても対話者と同様の手順で回答を求め，被験者の回答後に 5.3 節で述べた条件によって異なる表情を表出した．ロボットの台詞は全て音声合成で再生した．対話は約 120 秒であり，終了
後，教示者の案内によって被験者を退出させ，別の部屋で
次節のアンケートを実施した．
4.6 アンケート
ロボットとの対話の終了後に，被験者は，下記の項目について 9 段階のリッカート尺度で回答し，その回答理由を自由記述した．
4.6.1 表情の認識・快不快の程度
仮説を検証するにあたり，ロボットの表情が適切に認識されたことを確認し，実験の有効性を判断するため，被験者がロボットの表情をどのように認識したかを自由記述するアンケートを実施した．


（1 つ前の質問について）ミナミはなぜそのような表

あなたがミナミについて意見しているとき，ミナミは情をしていると思いましたか．

提示しながら下記の説明を行った．この説明時，ロボットを「ミナミ」と呼称し，ロボットという表現を避けた．


名前はミナミという．



ミナミはあなたと友達になりたいと思っている．
次に，タスクについて以下の説明を行った．



もう一人の被験者がミナミに意見しているとき，ミナ
ミはどのような表情をしていましたか．

には，人と同じ社会的存在としてロボットと接してもらいやすいように，ロボットと対面する前にロボットの写真を

それらの質問に対して，「服が似合っていない」など，すべて否定的な意見を述べてもらう．

する．感情モデルに基づく感情をそのまま表情として表出する先行研究のロボット[1][2][7][11]の表情はこれに相当

ミナミから 2 人に対して，ミナミ自身の印象について
いくつか質問を行う．

[21]や受付ロボット[9]の表情はこれに相当する．

どのような表情をしていましたか．
（1 つ前の質問について）ミナミはなぜそのような表情をしていると思いましたか．
更に，被験者が表情から感じたロボットの快・不快の程

この部屋の中にはもう１人の対話者がおり，ミナミと度と，自分がロボットの立場に立ったときの快・不快の程1 対 2 の対話をしてもらう．

度を確認した．人は他者の心的状態を推測する際，まず自もう 1 人の対話者との間には仕切りがあり，互いに顔分が相手の立場であった時の心的状態を推測し，相手も同は見えない．

じ心的状態であると推論すると言われている[22]．このこ

あなたともう 1 人の対話者は，互いにミナミと初対面とから，自分がロボットの立場に立ったときの快・不快のである．

程度と，表情から感じたロボットの快・不快の程度が乖離© 2017 Information Processing Society of Japan39

情報処理学会 インタラクション 2017
IPSJ Interaction 201717INT005
2017/3/2

第 1 因子

第 2 因子話を聞いてもらいたい

.990

.118

友達になりたい

.541

.126

話を聞きたい.372.160

低社会的結合項目
自宅に招きたい

.169

.498

一緒に生活したい.054
高社会的結合項目.996

連絡先を交換したい

.474

.353

（第 1，2 因子の負荷量が比較的近いため除外）にあり，これらに限定されるものではないが，学部生の被験者が女性型のロボットと性別に関わらず行うことが容易に想像できる行為としてこれら 6 つを選定した．


友達になりたい．



話を聞いてもらいたい．



話を聞きたい．



連絡先を交換したい．



自宅に招きたい．



一緒に生活したい．
まず，これらの項目と親密さの度合いとの関係を明らかにするため，事前調査として当研究室のメンバ 23 人に，人図5Figure 5

親密さに関する評価項目の因子分析
Factor analysis of the items of intimacy

していると，被験者がロボットの表情に欺瞞性を感じているのではないかと考え，以下の項目を設定し，9 段階のリ
ッカート尺度で回答させた．


で回答してもらった．そのアンケートについて因子分析を行った結果を図 5 に示す．第 1 因子の負荷量が高かったのは「話を聞きたい」「友達になりたい」「話を聞いてもらいたい」であり，第 2 因子の負荷量が高かったのは「一緒に生活したい」「自宅に招きたい」「連絡先を交換したい」であなたが否定的な意見を述べたとき，ミナミの快・不あった．
「連絡先を交換したい」については，第 1 因子の因快の程度はどのくらいだったと思いますか．

子負荷量が 0.353，第 2 因子の因子負荷量が 0.474 であり，

もしあなたがミナミの立場であったら，快・不快の程他の項目に比べて第 1 因子と第 2 因子の間で近い因子負荷度はどのくらいであったと思いますか．

量を示した．そこで，第 1 因子負荷量が高い「話を聞きた

5.1 節で述べたように，被験者の意見に対するロボットの感情として怒りや悲しみ等の不快感を想定しており，ロボットの感情を快－不快軸で評価することとした．
4.6.2 人間らしさの評価
仮説 1 を検証するため，ロボットの表情が人間らしい反応であったかを評価する下記の項目を設定した．
とそうしたいと思うために必要な親密さの度合いを 9 段階い」「友達になりたい」「話を聞いてもらいたい」の 3 項目を低社会的結合項目，「連絡先を交換したい」を除き，第 2因子負荷量が高い「一緒に生活したい」「自宅に招きたい」の 2 つの項目を高社会的結合項目と名付け，親密さを評価することとした．つまり，低社会的結合項目で社会的結合を強める初期の段階を想定した際に親密さを感じる表情を，
高社会的結合項目で社会的結合を強めた段階を想定した際人間として，ミナミの表情は適切であったと思いまに親密さを感じる表情をそれぞれ調査した．

すか．

5. 結果

4.6.3 社会性の評価

アンケート結果を，図 6～10 に示す．グラフは各項目に

仮説 2 を検証するため，初対面という社会性が求められおける評価の平均値を示し，エラーバーは標準誤差を示す．

る状況において，ロボットの表情が適切であったかを評価

人間らしさ・社会性・親密さについては NS，NDS，DS のする下記の項目を設定した．

3 条件の比較を対応なし 1 要因分散分析で行い，TukeyHSD



法を用いて多重比較を行った．多重比較の結果を図中に示

初対面の人に対するものとして，ミナミの表情は一般的に適切であったと思いますか．

す．
5.1 表情の認識・快不快の程度

4.6.4 親密さの評価

ロボットの表情から感じられる快／不快の程度と，自分仮説 3 を検証するため，親密な関係の人と行う行為をロがロボットの立場に立ったときの快／不快の程度について，

ボットと行いたいと思うかどうかでロボットに対して感じ立場要因（ロボット／自分，対応あり）×実験条件要因（NSる親密さを評価しようと考えた．1 章で述べたように，本／NDS／DS，対応なし）の 2 要因分散分析を行った．その研究の最終目的は，ロボットを社会的存在にすること，つ結果，立場要因の主効果が有意であった（F(1,34)=6.962,

まり，人と友人関係を築ける，人と対等な立場でインタラ

p=.012 ）． ま た ， 交 互 作 用 が 有 意 傾 向 で あ っ た がクションを行えるようにすることである．そのような社会（F(2,34)=3.221, p=.052）， TukeyHSD 法で単純主効果の検を想定し，ロボットと行う上である程度の親密さが必要な定を行ったところ，ロボットの快／不快の程度について，行為として下記の項目を設定した．そのような行為は無数

NS 条件と NDS 条件の差が有意傾向であった （p=.086）（図© 2017 Information Processing Society of Japan40

情報処理学会 インタラクション 2017
IPSJ Interaction 201717INT005
2017/3/2

：自分

7

p<.05

8
7

6

p=.0685

親密さ

快・不快度（数値が低いほど不快）

：ロボット

8

6

p=.10

5

4

4

3

3

2

2

1

NS

図6

NDS

1

DS

ロボット／自分の立場での快不快の度合

Figure 6NS
図9Degree of pleasure in the place ofrobot/subject

9

Figure 9

NDSDS

低社会的結合項目の評価
Evaluation of weak Social Boning

9

p=.068

8

7

7

親密さ

人間らしさ

8
6
5

p=.078

6
5
4

4
3

3

2

2

1

p<.05

9

9

NDS

NS
図7
Figure 7

DS

1

NS
図 10

人間らしさの評価

Figure 10

Evaluation of human likeness

NDS

DS

高社会的結合項目の評価
Evaluation of strong Social Boning

ロボットの立場であったときの快／不快の程度の間にも有意傾向が見られた（p=.100）．前述の通り自由記述において，
9

不快感を取り繕ったような表情という回答が得られていた

p<.05

8

ことから，ロボットの表情から感じられる不快感の度合い

社会性

7

が自分の立場で考えた不快感の度合いと乖離していたこと

6から，NDS の表情が欺瞞であると認識された可能性が考え

5

られる．

4

DS 条件においては立場要因，実験条件要因共に有意差3は認められなかった．この条件では，対話者と被験者に対2
1するロボットの表情は全く同じであったが，自由記述によ

NS

NDS
図8

Figure 8

DS

社会性の評価Evaluation of sociality

6）．つまり，NS 条件では NDS 条件に比べて，ロボットがより不快に感じているという印象を与えた可能性がある．
実際，表情に関する自由記述によると， NS 条件では，13人全ての被験者が不快そうな表情であると回答していたがNDS 条件では眉間に皺を寄せているが，被験者 12 人中 1
人が，そこまで不快そうではない表情と回答し，6 人が不快な感情を取り繕ったような表情と回答していた．
NDS 条件において，ロボットの快／不快の程度と自分が© 2017 Information Processing Society of Japanると，ロボットの対話者に向けた表情は微笑みと正しく認識されている一方で，意外なことに，被験者に向けた表情
は，NS 条件や NDS 条件と同様に不快そうな表情と認識されていた．この認識は DS 条件の被験者 12 人全てに共通するものであった．実験後に改めてロボットの DS の表情を確認してもらったところ，対話者に対する笑顔であると認識し，自身にも同じ表情を向けられていたことに驚いていた．表情の表出理由として，全ての被験者が，自分が否定的な意見を述べたことに言及しており，タスクの文脈が表情の認識に影響を与えていたと思われる．被験者の表情認識による実験結果への影響については，7 章で考察する．

41

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

5.2 人間らしさ

17INT005
2017/3/2

そうな表情と認識していたが（6.1 節），その不快感の程度

人間らしさの評価（図 7）について分散分析を行った結の認識は条件によって異なる傾向があった．被験者が感じ

果，3 つの条件間の差は有意傾向であったが（F(2,34)=2.673,

たロボットの不快感について，差は有意ではなかったが NS

p=.083）多重比較を行ったところ，NS 条件は DS 条件より条件が他の 2 条件よりも高く，NS 条件は NDS 条件に比べも評価が高い傾向があった（p=.068）．これは，不快な状況てロボットが強い不快感を持っていたように感じられる傾で状況に一致した目元と口元の不快表情を表出することは，向があったことから，口元の不快表情の有無に基づいてロ

快表情を表出するよりも人間らしい印象を与える傾向があ

ボットの不快感が評価されていた可能性が考えられる．一ることを意味しており，有意傾向ではあるが仮説 1 を支持

方，スマイリーのような記号的な表情の意味（嬉しい／悲する結果と言える．

しい）においては，日本人は口よりも目の形状から判断し

5.3 社会性やすいことが報告されている[12][15]．この差はリアルな表

社会性の評価（図 8）について分散分析を行った結果，3

情と記号的表情に対する人の認識の違いであると考えられつの条件間の差は有意であり（F(2,34)=7.176, p<.05），多重る．ロボットのデザインの抽象度と人の快／不快表情認識比較を行ったところ，NDS 条件は NS 条件よりも評価が有の関係を検証することで，ロボットの感情表現を設計する

意に高いことが分かった（p<.05）．これは，不快な状況に上で興味深い知見が得られることが期待できる．

おいて，目元は不快表情だが，口元は状況に不一致な快表

NS 条件では，ロボットの表情から判断する不快感と，情を表出する NDS 条件は社会的な印象を与えることを意

自分がその立場に立った時の不快感がほぼ同じであるため，味している．一方，目元も口元も快表情を表出する DS 条

不快感を隠そうとせずそのまま表情に出す短気な印象を与件は NS 条件よりも平均値は高いことが見受けられるが，えた可能性がある．実際，NS 条件を体験した被験者に，有意な差は得られなかった．したがって，これらは仮説 2

ロボットについてどのような印象を受けたか尋ねたところ，を限定的に支持する結果と言える．

「人間で例えると，感情が顔に出やすい人」や「喜怒哀楽

5.4 親密さが激しい人」などの回答が得られた．これに対し，NDS 条

低社会的結合項目・高社会的結合項目については，各項

件では，ロボットの表情から判断する不快感よりも，被験目のスコアの平均値を算出し，それを各条件間で比較した．

者自身がその立場に立ったときの不快感の方が高い傾向がその結果を図 9，図 10 に示す．

見られたことから，ロボットは自分よりも寛容であると感

低社会的結合項目について分散分析を行った結果，3 つじた可能性がある．情動的感情表現を行わず，完全に微笑の条件間差が有意であり（F(2,34)=5.427, p<.01），多重比較

んでいた DS 条件では，この傾向がより顕著に表れるものを行った結果，NDS 条件と DS 条件が共に NS 条件に比べと予想されるが，統計的有意差は見られなかった．インタて評価が有意に高いことが分かった（共に p<.05）．これは，ビューによると，DS 条件を体験した被験者 12 人中 3 人は目元の表情の快不快に関わらず，口元の快表情が親密な印

ミナミが何を考えているかわからないと述べており，DS象を与えることを意味しており，仮説 3 を限定的に支持す条件でも不快そうな表情と認識されていたものの，実際にる結果と言える．

は微笑んでいたため，その不快感の度合いの見積もりは他

次に，高社会的結合項目について分散分析を行った結果，の条件よりも困難であったと思われる．このような意見は

3 つの条件間の差は有意傾向であったが（F(2,34)=2.741,

NS 条件や NDS 条件では一切得られなかった．NDS 条件に

p=.079），多重比較を行った結果，NDS 条件は DS 条件と比おける情動的感情表現である眉間の皺は，社会的感情表現

較して評価が高い傾向があった（p=.071）．これは，口元がによる口角の変化よりも小さいものであったため，被験者

快表情のとき，状況に一致した目元の不快表情を表出するの意識には残りにくかったと思われるが，表情認識においと親密な印象を与えることを意味している．また，有意なて不快感を決定する潜在的な手がかりになっていた可能性

差は得られていないが，平均値においては目元も口元も状が考えられる．

況に一致した不快表情である NS 条件の方が DS 条件より

このように，被験者による表情の認識には条件間で明確も高評価であることが見受けられる．仮説 3 の通り，目元

な違いがあったわけでは無かったが，ロボットの表情からも口元も快表情を表出する DS 条件が親密な印象を与える

判断される不快感の度合い，そこから判断される性格的なと予想したが，高社会的結合項目においては，むしろ状況

印象が，ロボットの人間らしさ，社会性，親密さの評価にに一致した目元の不快表情が親密な印象を与える傾向が見影響を与えていた可能性がある．以下ではそれらの評価にられた．

ついてそれぞれ考察する．

6. 考察
6.1 表情の認識・快不快の程度
被験者はすべての条件において，ロボットの表情を不快© 2017 Information Processing Society of Japan

6.2 人間らしさ
NS 条件は DS 条件と比べて人間らしい印象を与える傾向があることが分かった．前述のとおり，NS 条件の表情から感じられる不快感と，被験者自身がロボットの立場であ42情報処理学会 インタラクション 2017
IPSJ Interaction 201717INT005
2017/3/2

ったときに感じると思われる不快感の度合はほぼ一致し，見られなかった．より多様な表情を表出できるロボットを自分と同じように腹を立てるという点から，人間らしい印

用いる，または同様の実験を人間でも行うことで NDS のよ

象を持った可能性が考えられる．一方，DS 条件においてうな複雑な表情であっても認識されやすくなり，本研究のは，不快度の見積りが困難であったことから，人間らしい

仮説がより明確に支持される結果が得られる可能性がある．

印象が低下したと考えられる．
6.3 社会性数名の被験者は，ロボットに対する興味関心を動機として実験に参加していた．被験者のロボットに対する興味関

社会性については，NDS 条件が NS 条件と比べて高く評

心が実験結果に影響を与えた可能性があるが，本研究の実価された．NDS 条件では，ロボットの表情から感じられる

験ではその影響を分離できていない．日常生活でロボット

不快感よりも，被験者自身がロボットの立場であったときと親しくしたいと思っているかなど，被験者のパーソナリに感じると思われる不快感の方が高く，感情をそのまま表

ティを考慮した精緻な分析を実施することは，興味深い知情に出さない寛容な印象を持った可能性があり，短気な印見が得られる可能性がある．

象の NS 条件よりも社会性があるように感じたと思われる．

人がロボットを社会的存在と認識する上で，ロボットが人間らしさについては NS 条件が最も高かったものの， 平

意思を持って自律的に動作しているという信念を人が持っ均値は NDS 条件とほぼ同等であった．さらに，社会性につていることは前提条件であると言える．本研究の実験では，いても NDS 条件が最も高かったことから，情動的・社会的ロボットが自律的に対話していると被験者が信じたかどう

感情表現を行うことができるロボットは人間らしく社会的かは確認できていない．インタビューでは，被験者がロボな印象を与えることができると考えられる．

ットの性格に言及することや，ロボットをミナミと呼称す

6.4 親密さることが少なからずあったことからロボットを自律的な存

初対面という社会性が求められる状況で快表情を表出

在として捉えていた可能性はあるが，その信念の度合いとするという社会的感情表現が親密な印象を与えると予想しロボットの感情表現との関係を明らかにすることは今後のていたが，低社会的結合項目と高社会的結合項目で異なる課題である．

傾向が見られた．低社会的結合項目は「友達になりたい」

本研究では，人の表情筋の随意／不随意に基づいてロボなどの社会的結合を強める初期の段階を想定した親密さをットの情動的感情表現と社会的感情表現をデザインするた

評価するものであり，口元の快表情を表出するという社会

め，人間に酷似した外見を持ち，表情筋に対応する多様な的感情表現を行う NDS，DS 条件の評価が NS 条件に比べアクチュエータを頭部に備えたロボットを使用した．このて高かった．DS 条件のみならず NDS 条件においても高いロボットでは，情動的・社会的感情表現を両方用いること評価を得たことから，本研究で設定したタスク（初対面ので人に親密な印象を与えられることが示唆されたが，この状況）などの社会性を必要とする状況では，目元の情動的成果を既存のロボット全てに適応できるわけでは無い．例

感情表現に関わらず口元の社会的感情表現が，親密な印象

えば，子供型のロボットやペットロボットの場合，社会的を与えると考えられる．

感情表現よりも情動的感情表現を優先した方が良い印象を一方で，高社会的結合項目では，NDS 条件の評価が DS与えることが予想される．ロボットの外見や用途に応じて条件の評価に比べて高い傾向が見られた．また，有意な差どのように感情表現を使い分けるべきか明らかにすることは無かったが DS 条件よりむしろ NS 条件の方が親密さのは今後の課題である．

評価は高かった．DS 条件に対して何を考えているか分か

感情表現は表情に限定されるものでは無い．声の韻律，

らないという印象を持った被験者の中には，親密さの評価

ジェスチャ，視線など，感情が随意／不随意に表れる様々においてもこの印象が影響したと述べた者もいた．高社会なモダリティが考えられる．情動的・社会的感情表現を異的結合項目は「一緒に生活したい」などの社会的結合を強なるモダリティにおいて行った場合でも，NDS のような効めた段階を想定した親密さを評価するものであり，情動的果が得られるか明らかにすることも今後の課題である．

感情表現を一切行わず社交的な笑みを浮かべる DS 条件は，表情から内心を窺い知ることができないため深い付き合いはできないという印象を与えたのかもしれない．

7. まとめ本研究では，社会的存在として受け入れられるロボット

以上の結果から，親密さの評価においても低社会的結合を目指し，感情に基づいた不随意な表情（情動的感情表現）

項目，高社会的結合項目共に NDS 条件の評価が最も高く，と社会性に基づいた随意な表情（社会的感情表現）を組み表情において情動的・社会的感情表現が行えるロボットは合わせた新たな感情表現を提案した．そして，初対面といどちらか一方の感情表現しか行わないロボットよりも人にう社会性が求められる状況を設定し，提案手法による感情

親密な印象を与えやすいと考えられる．

表現を行うロボットと，どちらか一方の感情表現しか行わ

6.5 制限事項と今後の課題

ないロボットの印象を評価する被験者実験を行った．実験

被験者による表情の認識において，条件間で大きな差は© 2017 Information Processing Society of Japan

の結果，人間らしい印象には情動的感情表現が，社会的な43

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

印象には社会的感情表現がそれぞれ寄与しており，両方の感情表現を行う提案手法はどちらの印象においても高い評価を得ることができた．また，人に親密な印象を与える上で，友達になるなど，社会的結合を強める初期の段階では社会的感情表現が有効であるが，一緒に生活するなど，より社会的結合を強めた段階では，情動的感情表現も必要である可能性が示唆された．
人とインタラクションを行う既存のソーシャルロボッ
トは，いずれか一方の感情表現のみを用いている場合がほ
とんどであるが，本研究の結果は，ロボットが人と社会的なインタラクションを行うためには，感情表現を相手や状況に応じて適切に使い分ける必要があることを示唆するものである．これは「空気を読む」機能と言えるものであり，ロボットが社会的存在として受け入れられるためには必要な機能であると考えられる．本研究によってロボットの感情表現に関する研究が活発化され，ソーシャルロボットの社会進出が促進されることを期待する．
謝辞

実験に協力いただいた竹之内孝太氏，車谷広大氏に感謝する．本研究の一部は科研費基盤研究(S)(25220004)の助成を受けた．

参考文献
[1]
[2]

Allman, T.: The Nexi Robot (2009).
Breazeal, C. and Brian, S.: A context-dependent attention system
for a social robot, 1999 International Joint Conference on Artificial
Intelligence, pp.1254-1259 (1999).
[3] Cacioppo, J.T., Petty, R.E., Losch, M.E. and Kim, H.S.:
Electromyographic activity over facial muscle regions candifferentiate the valence and intensity of affective reactions,
Journal of personality and social psychology, vol.50, No.2
pp.260-268 (1986).
[4] Campos, B., Schoebi, D., Gonzaga, G. C., Gable, S. L. and Keltner,
D.: Attuned to the positive? Awareness and responsiveness toothers’ positive emotion experience and display, Motivation andEmotion, vol.39, No.5, pp.780-794 (2015).
[5] Ekman, P.: Facial expression and emotion, American psychologist,
vol.48, No.4, pp.384-392 (1993).
[6] Ekman, P., Friesen, W. V., 工藤力(訳).: 表情分析入門 (2003).
[7] Endo, N., Momoki, S., Zecca, M., Saito, M., Mizoguchi, Y., Itoh,K., and Takanishi, A.: Development of whole-body emotion
expression humanoid robot, Robotics and Automation(ICRA 2008),
pp.2140-2145 (2008).
[8] Gunnery, S. D., Judith, A. H. and Mollie, A. R.: The deliberate
Duchenne smile: Individual differences in expressive control,
Journal of Nonverbal Behavior, vol.37, No.1, pp.29-41 (2013).
[9] Hashimoto, T., Senda, M. and Kobayashi, H.: Realization ofrealistic and rich facial expressions by face robot: Robotics andAutomation, Vol.2, pp.1123-1128 (2004).
[10] Russel, J.A.: Circumplex Model of Affect, Journal of Personality
and Social Psychology, Vol.39, No.6, pp.1161-1178 (1980).
[11] Kanoh, M., Kato, S., and Itoh, H.: Facial expressions using
emotional space in sensitivity communication robot" Ifbot",
Intelligent Robots and Systems(IROS2004), Vol.2, pp.1586-1591(2004).
[12] Koda, T., Ruttkay, Z., Nakagawa, Y., and Tabuchi, K.:
Cross-cultural study on facial regions as cues to recognize© 2017 Information Processing Society of Japan

17INT005
2017/3/2

emotions of virtual agents Culture and computing. Springer Berlin
Heidelberg, Vol.6259, pp.16-27 (2010).
[13] Krumhuber, E. G. and Antony, SR.M.: Can Duchenne smiles befeigned? New evidence on felt and false smiles, Emotion, vol.9,
No.6, pp.807-820 (2009).
[14] Lee, M. K., Kiesler, S., Forlizzi, J. and Rybski, P.: Ripple effects
of an embedded social agent: a field study of a social robot in theworkplace, the SIGCHI Conference on Human Factors in
Computing Systems. ACM, pp. 695-704 (2012).
[15] Masaki, Y., Maddux, W. W. and Masuda, T.: Are the windows to
the soul the same in the East and West? Cultural differences inusing the eyes and mouth as cues to recognize emotions in Japanand the United States, Journal of Experimental Social Psychology
Vol.43, No.2, pp.303-311 (2007).
[16] Matsumoto, D. and Ekman, P.: American-Japanese culturaldifferences in intensity ratings of facial expressions of emotion,
Motivation and Emotion, vol.13, No.2, pp.143-157 (1989).
[17] Mehrabian, A., 西田司, 津田幸男, 岡本輝人, 山口常夫(訳):
非言語コミュニケーション (1986).
[18] Takahashi, H., Terada, K., Moriya, T., Suzuki, S., Haji, T., Kozima,
H., Yoshikawa, M., Matsumoto, Y., Omori, T., Asada, M. andNaito, E.: Different impressions of other agents obtained throughsocial interaction uniquely modulate dorsal and ventral pathway
activities in the social human brain, cortex, vol.58, pp.289-300(2014).
[19] Tanaka, K., Yamashita, N., Nakanishi, H. and Ishiguro, H.:
Teleoperated or Autonomous?: How to Produce a Robot Operator's
Pseudo Presence in HRI, The Eleventh ACM/IEEE International
Conference on Human Robot Interation. IEEE Press, pp.133-140(2016).
[20] Teasdale, J.D., and Rezin, V.: Effects of thought-stopping on
thoughts, mood and currugrator EMG in depressed patients,
Behavior Research and Therapy, vol.16, No.2, pp97-102 (1978).
[21] Watanabe, M., Ogawa, K. and Ishiguro, H.: Can Androids Be
Salespeople in the Real World?, the 33rd Annual ACM Conference
Extended Abstracts on Human Factors in Computing Systems.
ACM, pp.781-788 (2015).
[22] 池田謙一, 唐沢穣, 工藤恵理子, 村本由紀子.: 社会心理学(New Liberal Arts Selection) (2010).
[23] 山口真美.: 表情の筋電図による分析: 演劇経験者と非演劇経験者での違い, 社会心理学研究, vol.7, No.3, pp.180-188(1992).

44