情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19005
2019/3/6

人の振る舞いへの気付きの表出によるロボットのソーシャルプレゼンスの強化岩﨑雅矢†1 周剣†1 池田瑞†1 小池祐輝†1
大西裕也†1 河村竜幸†2 中西英之†1
概要：日常生活において，接客ロボットやガイドロボットなどのロボットが普及してきているが，ロボットの発言はそのソーシャルプレゼンスの弱さのために，人々に無視されることが多い．この問題を解決するには，ロボットの振る舞いは人々の注意を引き付け，頷きや返答をしてもらえるようなものである必要がある．本研究では，このような振る舞いを調査するために 2 つの実験を行った．まず，聞き手がロボットを見ている時に見返すロボットの動作によって，聞き手が自分の動作をロボットに認知されているという感覚になるのかを定量的に調べる実験室実験を行った．次に，実際の店舗においてロボットと訪問者の自然なインタラクションを調べる実験を実施し，さらにそのデータをもとに開発した社会的応答モデルの実環境での有効性を検証した．その結果，人とロボットとのインタラクショ
ンの初めにおいて，ロボットが人の行動を認識して行動できることを表現することが，聞き手の感じるロボットに見られている感覚を向上させ，ロボットの発言に対する返答の促進に有効であると分かった．

1. はじめに考えられる．これらのロボットの振る舞いは人々の注意をロボットへ誘導し，その人々にロボットの発言を注意深く

コミュニケーションロボットと呼ばれる会話を行うこと

聞いてもらえるものであるべきである．過去の我々の論文ができるロボットは多くの場面で用いられている．例えば，

で，ロボットと訪問客とのインタラクションが双方向にな博物館のガイドロボット[1][2]や教育[3]，店舗において訪ることによって，接客ロボットが訪問客により人のように問客を応対することを目的としたロボットも存在している．

扱われるということを示した．そして，そのような双方向

そんな中で，ロボットのある特定の行動がロボットの印象の会話を行うためには，訪問客にロボットの最初の発言にに対して効果的であるという研究[4][5][6]や，ある特定の返答してもらうことが重要であり，それらのインタラクシ

行動や発話方法によって人の注意をロボットに向けること

ョンの初期におけるロボットの印象がその後の会話に大きができるというような研究がなされてきた[7][8][9]．しかく影響していると結論付けた[10]．そこで本研究では，そのし，これらのロボットにおいて，共通の行動がすべての目最初の発言に返答してもらうためには具体的にどのような的に対して必ずしも効果的というわけではなく，それぞれタイミングでロボットがどのような行動をするべきなのかの目的に沿って行動する必要がある．本研究ではこれらのを調査することを目的とする． まず本論文では，実験室実

コミュニケーションロボットの中で接客ロボットに着目す験において，聞き手がロボットを見た瞬間にロボットが聞る．近年外国人観光客は増えているが，店員が外国語を話

き手を見返すことによって，ロボットが自分の行動を認識せずコミュニケーションがとれない店舗がある．このようしているという感覚を向上させるかどうかを調べる．しかな店舗に対して接客ロボットを置くことは，外国語での客し，実験室実験のみではそこで得られた統計的な結論が本を呼び込みや商品説明を行うことを可能にさせる．また，

当に実際の環境においても同じであるかはわからない．し顔認識機能や購入情報などの顧客データをもとに，商品のたがって，この実験室実験の評価に加えて実際の店舗にお購入の頻度や嗜好などに応じてサービスを提供することがけるロボットを訪問客と会話させる実験を行う．その訪問できる．さらに，人の販売員は人であるために警戒されて客の言語情報だけでなく非言語情報も含めたマルチモーダ

しまうかもしれないが，ロボットは気を使う必要がなく，ル会話分析を行うことで，訪問客がロボットの話を聞き，客から関心を持って近づく可能性もある． このような理由

それに対して返事をするために必要な接客ロボットの設計から，接客ロボットは様々な店舗に急速に配備されてきた．

指針を得る．そして，我々はこのフィールド実験のデータ

しかし，どのような行動が販売に有効かはまだわかっていに基づいて，ロボットが社会的に反応するモデルを開発すない．接客ロボットの発言は，ロボットの社会的プレゼンる．

スの弱さが原因となり人に無視される可能性があると考え
ら れ ， こ れ を 解 決 する た めに 様 々 な 研 究 が さ れて き た

2. 関連研究[8][9][19]．ロボットは発言を無視されると，商品紹介など

2.1 フィールドにおける実験を行うことができず，ロボット本来の目的を果たせないとロボットと人間の自然な相互作用を研究するために，実†1 大阪大学大学院 工学研究科 知能・機能創成工学専攻†2 京都イノベーション株式会社© 2019 Information Processing Society of Japan38

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19005
2019/3/6

際に多くの実験が既に行われている．たとえば，博物館[2]ラクションが双方向になることが必要であり，そのために[8][11][12][13]と教室[3]で行われた実験がある．また，ロボは，訪問客にロボットの最初の発言に返答してもらうこと

ットをさまざまな目的でロボット販売員として使用する実が重要であるということが示された [10]．そこで本章では，験もある[14][15][16]．このロボット販売員の実験の中には，人とロボットのインタラクションの初期に着目し，より詳

ショッピングモールで実施されたものもある[17][18]．これ

細に分析を行うため，まずは実験室実験を行う．

ら 2 つの実験のうち，前者はロボットを用いて顧客との関

3.1 仮説係を構築するものであり，後者はロボットを用いて商品の従来研究に，博物館のガイドロボットが，ロボットの発売り上げを向上させるクーポンを提供したものである．し話の切れ目において，観客の方へ振り返ることで，頷きなかし，これらの実験では，ロボットは顧客に直接商品を紹

どの反応を観客に促すことを示したものが存在する[8] [11]．

介していない．また，商業施設で直接商品を紹介するロボ

これらの研究では，ロボットの発話の適切なタイミングでットの研究開発，店舗のオーナーに対する社会的受容性を振り返りを入れている．しかし，これらはガイドロボット

調査した研究も存在している[28]．しかし，具体的にどのよであるためにロボットが一方的に話す場合が多く，ロボッ

うな行動が販売促進に有効であるかは未だに不明である．

トの発言内容に合わせてロボットを行動させている．しかそこで，本研究では，実際の店舗でロボットが商品を紹介し，接客ロボットの場合は客がロボットに対して話す場合する際のロボット販売員の有効な行動を調査する．

も多く存在し，このような方法では対応できない可能性が2.2 顧客の注意を引くロボット

考えられる．そこで，我々はロボットの発言を含む初期動

客の注意を引く実験も多く存在する．博物館でのロボッ作を被験者の動きに反応して行わせる．具体的には，被験トの頭部動作が客の注目を集めるという研究がある[8][9]．

者がロボットの方を振り返った瞬間に，ロボットもそれにしかし，ここでロボットは自律行動を行っているため，客応じて被験者の方に振り返り話し始めるという動作を行わと自然に会話を行うことはできていない．さらに，インフせる．ロボットがこのような行動をすることで，ロボットォメーションセンターにロボットを設置し，客をロボットの動作をプログラムであらかじめ時間を指定して行わせてとの会話に引き付けるようにした研究もある[19]．ただ，そいるのではなく，被験者の動きをロボットが理解して行いのデータ数は十分なものではない． また，街角で移動しつ始めたという印象を聞き手に与えることができるのではな

つ顧客に声をかけ，ロボットの発言に応答してもらうため

いかと考えた．そこで以下の 2 つの仮説を立てる．

の，話しかけ行動モデルの開発に取り組んだ研究がある

仮説 1[27]．これには，人の移動方向を予測してロボットが人に気トの言動を開始することで，被験者の感じるロボ

付かれやすいように近づいて声をかける手法が使われている．しかし，小さい店舗などでロボットが使用される場合，安全にロボットが移動を行うことができない場合も存在す
る．本研究では，そのような場合においても使用できる方法を調査する．さらに，ロボットの視線制御による対話相

被験者がロボットに視線を向けた瞬間に，ロボッ
ットに見られている感覚が向上する．

仮説 2

被験者がロボットに視線を向けた瞬間に，ロボットの言動を開始することで，聞き手はロボットの発言に対して相槌や返答を行うようになる．

3.2 実験条件

手の行動変化に関する研究も行われてきた[29][30]．しかし，前述した仮説を検証するため，発話開始時における聞き

実際の環境ではどのように働くのかは明確になっていない．

手の振り返り動作に応じたロボットの見返し動作を要因と2.3 人の注意を誘導するデジタルサイネージ

し，以下に示す実験条件を設定した．

デジタルサイネージにおいても，人々の注意を誘導する

見返し動作なし条件：被験者が実験室に入室した時から，試みが数多くなされている． Kinect を用いて，ディスプレ

絶え間なく，ロボットは，あらかじ

イの前を通る歩行者の視点位置を検出し，その位置に応じめ決められた原稿を一定の間を取て，情報を正対表示するシステムを提案したもの[20]や，デりながら，繰り返し発言する．

ィスプレイ前の人の位置移動に基づいて，提示する情報を見返し動作あり条件：ロボットは，被験者が実験室に入室変化させることで，人々に提示情報を認知させることがでした時には，「見返し動作なし条件」

きるというものがある[21]．しかし，これらのシステムは，と同様に，発言を行っているが，被そもそも音声を発さないシステムである上に，視覚的な情験者が席に着くタイミングで，発言報提示がメインであるため，人間とシステム間の言語的，を止め，被験者がロボットの方に視

非言語的なやり取りは見られていない．

線を向けたタイミングで，ロボット

3. 実験室における実験先行研究で，接客ロボットが人のように扱われ，適切にも被験者を見返し，発言を再開する．
今回は条件順序によって被験者のロボットに対する印象に影響が出ることが予想されるため被験者間実験を行った．

その役目を果たすためには，ロボットと訪問客とのインタ© 2019 Information Processing Society of Japan39

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19005
2019/3/6にはロボットの近くにカメラを設置し，実験者が被験者の3.3 実験環境
図 1 に実験中の様子を，図 2 に被験者側の部屋の実験環様子を観察し遠隔操作を行えるようにした．また，音声が境を示す．被験者との距離は 100cm 離れており，ロボット

ロボットから発せられていると被験者に示すため，ロボッ

は被験者がロボットを確認する際に振り返りを行わなけれ

ト は 発 言 中 頭 部 と 腕を 用 いた ラ ン ダ ム な 動 作 を行 う ．

ばならないように被験者の左斜め後ろに設置した．

図 1２本の糸を接続

実験室における実験中の様子(a) 腕用モータ

被験者の視線

図 3

監視用カメラ

ロボット

100cm

(b)首用モータ
ロボットの構造

3.4 タスク呼び鈴

本実験では，被験者のロボットに対する自然な振る舞いを観察するため，被験者にロボットの話を聞くことがタスク

椅子

数独
シート

であると思われないように，被験者には 9×9 の数独を解いてもらうこと，数独の開始の合図はロボットから行われることの 2 点を事前案内で伝えた．以下に，実験の流れを

入
口

被験者
待機用マット

270cm

ボール
ペン
机

示す．被験者が案内人と共に実験室に入室する時，既にロ
ボットは発言を始めている．その発言中に，被験者は図 2に示す待機マットの上で立って待機し，案内人からの事前

図 2

実験環境

説明を受ける．案内人からの説明が終わると，被験者は席

図 1 からわかるように，このロボットは顔に目や鼻，口のに座り，ロボットから数独の解答を開始する合図を待つ．

ような感覚器を有していない．このようなロボットを採用

このとき，見返し動作なし条件では，事前説明終了後もロした理由は，ロボットの表情が構成され，聞き手のロボッ

ボットの発言は絶え間なく続いていく．一方で，見返し動トに対する印象に影響を与えることを防止するためである．

作あり条件では，事前説明終了後，被験者が椅子に座るタ

また，ロボットは図 5 のような方向を向かせて設置した理イミングでロボットは一度発言を止め，被験者がロボット

由は，見返し動作あり条件の話し始めで，被験者の方を振に視線を移した瞬間にロボットが被験者の方を見返し，発り返るロボットの動作以外の場面で，被験者とロボットと言を再開する．この見返し動作あり条件において，被験者の間で顔が向かい合う状況を作らないようにするためであが椅子に座るタイミングでロボットが一度発言を止めた理

る．このロボットの肩関節の自由度は図 3(a)に示すように，

由としては，被験者にロボットの方へ振り返らせるためで

2 自由度となっており，前方及び後方の挙上動作と側方のあり，被験者がロボットの方へ振り返りを行わない限り，

外転及び内転の動作を行うことができる．図 3(b)に示すよ

見返し動作を行うことができずこの条件が成り立たないか

うに，ロボットの首関節の自由度は 1 自由度となっており，らである．以降はロボットが数独に関する話を約 4 分間話

頸部の左右方向の旋回運動を行うことができる．ロボットし続けた後，ロボットが数独の解答開始の合図を行い，被の背中部分にサーボモーターを取り付け，そこから 2 本の

験者は数独の解き始める．数独を解き終えた被験者は机の糸を伸ばして，ロボットの首元と接続する．これら 2 本の上に置かれているベルを鳴らし，案内人を呼んだところで糸をサーボモーターで引っ張ることによって，頸部の左右実験は終了となる．図 4 に各条件での実験の流れを示す．

方向の旋回運動を実現した．次に，ロボットの発話を遠隔

3.5 参加者操作するためのインターフェースについて説明する．ロボ

関西圏在住の 18 歳から 24 歳の大学学部生 20 名（男性 10ットの発話内容は，あらかじめ決められており，PC 上でボ

名，女性 10 名）に対して実験を行った．

タンをクリックすることで，所定の発話が開始されるよう

3.6 評価方法になっている．発話が開始されると，一文ごとに一定の間(1)を取りながら，発話を続けるように設定を行った．実験時© 2019 Information Processing Society of Japan

行動評価

本実験では，まず．ロボットの発言に対して，相槌を行

40

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19005
2019/3/6

見返し動作あり条件

被験者がロボットを見る

ロボットが被験者を見返す

見返し動作なし条件

ロボットは話し続ける

図4

各条件における実験の流れったかどうかをカウントすることで評価した．これは仮説結果を図 6 に示す．図の箱は各項目のスコアの平均値を表２に対応する．相槌をカウントするルールに関して，被験し，棒は標準誤差を表す．分析は対応のない t 検定を用い者がロボットの発話に対して，「はい」，「そうですね」のよた．まず，図 5 に示すアンケートによる印象評価の結果でうな発声を伴う返答を行った場合，もしくは，声には出さは，音声の質を問う項目では，各条件間で有意な差は見らないが頷きを入れた場合に相槌行動を 1 回としてカウントれなかったため，ロボットの発話の質による被験者の行動

した．会話初期における「こんにちは」や「よろしくお願及び，ロボットの発話に対する印象の結果には影響がない

いします」は「見返し動作あり条件」では，実験者が被験ことを確認した．また，Q2 のロボットに観察されている感

者の動きを観察しながら，被験者が振り向いたタイミング

覚では，見返し動作あり条件が見返し動作なし条件より有や，返事をしたタイミングを見計らって発言がされる．一

意にスコアが高くなった（t(18)=2.11, p<.05）．したがって，方で，「見返し動作なし条件」では，一文の発言ごとに一定

仮説 1 は支持され，ロボットがタイミングよく見返すことの間隔をおいて発言がされる．発言と発言の間が開くほど，によって，被験者に対してロボットに見られている感覚を

相槌を打ちやすくなる可能性が考えられるため，分析は両与えられているということが確認できた．アンケートのそ

条件間で各発言後の間隔が両条件で統制されている区間にの他の項目に関しては，条件間でスコアの差は見られなか

おいて，相槌回数やロボットに視線を向けた秒数の行動評った．次に，図 6 に示す行動評価の結果について，相槌の価を行った．被験者がロボットに視線を向けている時間は，回数に関しては，見返し動作あり条件の方が見返し動作な

図 2 に示す視線監視用カメラで撮影した映像を確認して行し条件に比べて，有意に相槌の回数が多くなる傾向が得らった．
「見返し動作あり条件」は被験者がロボットの方を振れた（t(18)=1.86, p<.1）．また，声に出して返答を行った回

り向かないと条件として成り立たない．そこで，どうして数に関しては，条件間で有意差は見られなかった．しかし，もロボットの方を振り向かない被験者の場合は，「こっちをロボットに視線を向けた時間に関しては，見返し動作あり

向いてください」とロボットに発話させることにした．し条件が見返し動作なし条件よりも有意に時間が長くなった

かし，この言葉をかけることで，意図的に被験者をロボッ（t(11)=2.92, p<.05）．さらに，「こっちを向いてください．」

トの方へ向かせてしまっている可能性が考えられる．そこと被験者に声をかけたデータを除いた場合においても，見で，実験結果を示す際には，全ての被験者データを含めた返し動作あり条件の方が見返し動作なし条件よりも有意にものに加えて，「こっちを向いてください」と被験者に声を時間が長くなった（t(11)=2.49, p<.05）．図 7 に両条件におかけたデータを除いた場合のものも示すこととする．

ける，ロボットの各発言に対して，相槌を打たれた回数を(2)表したヒストグラムを示す．図の箱は，ロボットの各発言

アンケート評価

ロボットに対する主観的な印象を尋ねるために，アンケに対して打たれた相槌の数を表しており，薄い灰色で示さートを採用した．実験後，被験者に対して 7 段階のリッカれたグラフは，ロボットが話す原稿の文の数を 4 分割にし，ート尺度を用いたアンケートを取った．全尺度をそれぞれ各パートで打たれた相槌の合計を示したものである．4 分

1：全くあてはまらない， 4：どちらともいえない， 7：非割とした理由としては，全原稿を発言するためにかかる時

常によくあてはまる，に対応させた．アンケートの質問項

間がおよそ 4 分間であったため，4 分割にすることで，お目に加えて，自由記述欄を設け，アンケート記述後にスコ

よそ 1 分毎の相槌の総数を区切りよく集計することができアをつけた理由，実験中取った行動の根拠を尋ねるインタ

るからである．以降，ロボットの発言の 3~13 番目の発言をビューを行った．

第 1 パート，14～24 番目の発言を第 2 パート，25~35 番目

3.7 結果アンケートによる印象評価の結果を図 5 に，行動評価の© 2019 Information Processing Society of Japan

の発言を第 3 パート，36～45 番目の発言を第 4 パートと呼ぶことにする．図 7 の縦軸は，話し始めから話し終わりま41情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19005
2019/3/6

でのロボットの発言を示す．また，グラフに示された横軸

見返し動作なし条件
見返し動作あり条件*p<.05は，ロボットの各発言に対して打たれた相槌の平均回数とパート毎の相槌の平均回数を示している．図 7 を見ると，どちらの条件においても，ロボットの話が進むにつれて，相槌の回数が減っている傾向が読み取れる．また，第 1 パ
ートが最も各条件間で，相槌の回数に差があると分かる．
そこで，各パートで行われた相槌の回数に条件間で差が見られるか，分析を行った．その結果，図 8 に示すように，
第 1 パートにおける相槌の回数は，見返し動作あり条件が見返し動作なし条件に比べて，有意に相槌の回数が多くな
る結果となった（t(18)=2.47, p<.05）．また，第 2 パートにおける相槌の回数は，見返し動作あり条件が見返し動作なし条件に比べて，有意に相槌の回数が多くなる傾向が得られた（t(18)=1.77, p<.1）．第 3 パート，第 4 パートでは，条件間に相槌の回数で有意な差は見られなかった．したがって，仮説 2 はロボットの発言の序盤部分（第 1 パート）に着目すると支持された．
3.8 考察

2

1

3

6

7

た．
Q2. ロボットに観察されていると感じた．
Q3. ロボットがあなたの返答を待っていると感じた．
Q4. ロボットの言動が人らしく感じた．
Q5. ロボットの発言を聞かなければならないと感じた．
Q6. ロボットの発言に対して返答しなければならないと感じた．

22.491Q7. ロボットがあなたの行動に反応していると感じた．

図5

アンケート結果察されている感覚において，見返し動作あり条件が見返し

見返し動作なし条件
見返し動作あり条件†p<.1, *p<.05

これは，ロボットが被験者の振り返りに対して見返す行為

0が直接的に働いたためであると考えられ，被験者に対してしっかりと観察されている感覚を与えることができたとい5

Q1. 音声は十分に聞き取れ

まずはアンケート評価について考える．Q2 のロボットに観動作なし条件よりも有意にスコアが高くなる結果となった．

4

5

10

15

20

30

25

(a) 相槌の回数†

うことが確認できる．実験後のインタビューにおいて，「はじめに後ろを振り向くと，ロボットと目が合った」という見が得られた．したがって，ロボットが被験者の行動や態度を理解して行動できるのではないかと被験者が感じてい50

意見や，「振り向くと，こっちを見返してきた．」という意

1510(b) 声に出して返答した回数ると考えられる．また，ここでのロボットの行動が不自然だというコメントは得られなかった．

0

50

100

150

200

250

300

次に行動評価について考える．ロボットに視線を向けた
時間で差が見られた理由としては，被験者のロボットに見(c) ロボットに視線を向けた
時間 [sec]*

られている感覚が向上することで，行動や態度を理解できるロボットなのではないかと被験者が感じるようになり，
そのロボットに対して話をしっかり聞いていることを態度

見返し動作なし条件：10 人
見返し動作あり条件：10 人
0で示そうとしたためであると考えられる．実験後のインタ
ビューにおいて，「ロボットに話を聞いているアピールをしたかった．」という意見が多く得られた．さらに，見返し動作あり条件では，顔だけロボットの方へ向けるのではなく，体ごとロボットの方へ向いて話を聞く様子が多く見られた．
また，相槌行動に関しては，ロボットの発言全てに対する相槌の回数で有意な傾向が示された．有意差までは得ら

50

100

150

200

250

(d) ロ ボ ッ ト に 視 線 を 向 け
た時間 [sec]300*※「こっちを向いてください」と問いかけたデータを除く
見返し動作なし条件：10 人
見返し動作あり条件：6 人

図6

行動評価結果れなかった理由としては，話し始めに被験者の振り返り動の数を 4 分割したグラフにおける相槌の回数がロボットの作に合わせて行ったロボットの見返り動作の印象が時間の話が進むにつれて減少傾向にあることからも読み取ること

経過とともに薄れていき，行動や態度を理解できないロボができる．また，行動分析においては前半のみ条件間で相ットであるという印象を与えたためであると考えられる．

槌の回数に有意な差が見られたが，アンケート評価においこれは，図 7 に示されるように，ロボットが話す原稿の文て Q5 や Q6 には見られなかった原因としても，アンケー© 2019 Information Processing Society of Japan42

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19005
2019/3/6

各発言における相槌の平均回数
見返し動作なし条件
見返し動作あり条件

話し始め
0*p<.05

2

4

6

8

10

第 1 パート
第1パートにおける相槌の回数

第 2 パート
ロボットの
各発言

*

0

†p<.1

2

4

6

8

10

第2パートにおける†相槌の回数
第 3 パート

図8

第 1，第 2 パートにおける相槌の平均回数返した被験者にその理由を聞くと，「返事をしないとロボッ
トに申し訳ないと思った」という意見が多くの被験者から第 4 パート得られた．また，「相槌を返さないとロボットが悲しみそう」
だと答えた被験者も，見受けられた．したがって，
「無視さ

話し終わり

れた」ということをロボットに感じさせてしまうことに，被験者は罪悪感のようなものを覚え，相槌を返してくれる各パートにおける相槌の平均回数ようになったのではないかと考えられる．以上のことから，(a)

見返し動作なし条件

人の行動や状態をロボットがわかっているということを表出することで，そのロボットに見られている感覚が向上し，各発言における相槌の平均回数

人はロボットに対して話をしっかり聞いていることを態度話し始めで示そうとすると考えられる．
第 1 パート

本実験ではロボットが聞き手の行動を理解しているということを示す動作として見返しを採用したが，どのような動作が適切であるかは調査していない．また，本実験では見返る動作は会話の冒頭のみで行われていたが，この動第 2 パート
ロボットの各発言

作の印象が後半で薄れたのではなく，単に被験者が飽きた可能性もある．さらに，会話の最中に同様の振る舞いを行うことでソーシャルプレゼンスを高い状態のまま維持できる可能性がある．これらの調査は今後の課題である．

第 3 パート

4. 実際の店舗における実験
前章の実験室実験の結果より，実際の店舗においてもこの結論が成り立つのかを調査する．
4.1 実験環境

第 4 パートている．本研究では，京都の商店街にある七味専門店「ぢ話し終わりんとら」において実験を行った．図 9 はその実験の様子を各パートにおける相槌の平均回数(b)
図7

この実験は，本大学の研究倫理委員会の承認を得て行われ見返し動作あり条件

ロボットの各発言に対する相槌数

トは実験後に行われるため，実験後半の印象が強かったためであると考えられる．実験後のインタビューで「話が進むにつれて印象が薄れていったが，始めのうちは見返されたこともあり，こっちの行動が見られていると感じた．」という意見が得られた．また，見返し動作あり条件で相槌を示している．この店内に接客ロボットとして Pepper を置き，訪問客と会話をさせる実験を行った．Pepper を使用した理由は，Pepper には多くのセンサーが搭載されているため，顧客からのリアルタイムデータを簡単に取得でき，さらにそれらを用いた安全装置が搭載されているからである．この実験では，ロボットを遠隔操作するために Wizard of Oz
法[22]を用いた．そのため，我々はリモートコントローラを開発し，あらかじめ Pepper に様々な言動をインストールした．ロボットの主要な行動には，会話の他に，握手，試食© 2019 Information Processing Society of Japan43

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19005
2019/3/6の勧誘，店員を呼ぶなどがある．ロボットの背後に会話用(P=ロボット, C1=男性, C2=女性)

カメラを設置し，実験者は店舗の前にある商店街の通路の1((入店))

向かい側に立ち，カメラと肉眼の両方を用いて店内の状況

2((商品を見る))を観察し，ロボットが次に行うべき行動を判断し選択した．
訪問客の顔を見えないようにピントをずらした 3 つの不鮮

3

PWould you like to try a sample? You can taste here.

明カメラを正面側，側面側，背面側に設置し使用した．ま4

た，顔を認識可能な映像を映した鮮明カメラも側面側に設

5P

Welcome. Please feel free to watch the products.

置し，訪問客から撮影の同意が与えられた場合のみ映像を

6

P

Are you troubled to select?

取得した．さらに，実験の情報を記載したハンドアウトを

7

P

May I shake hand with you?

ロボットの体に設置した．

(3.3)

トランスクリプト 1：ロボットと会話をしなかった組

4.2 実験結果（8 月 16 日 00:16:07-00:18:54）.

実験は 2017 年 4 月 10 日 15:15-16:22，13 日 15:21-16:22，
14 日 16:01-17:21，2017 年 8 月 14 日 16:21-17:58，15 日
15:20-16:22，16 日 14:15-15:58 の 2017 年 11 月 27 日 16:0817:34，12 月 02 日 14:07-16:58，04 日 14:05-17:13，05 日
14:13-16:45 の 10 日間行った．164 組，360 人の訪問客が実験中に店舗に訪れ，各組の平均人数は 2.2 人であった．

(P=ロボット, C1=男性, C2=女性)
1((入店))

2((商品を見る))

3P

4May I help you?
((C1 は振り向いてロボットを見る)) (0.5)

5PHello!

6

C2 Hello↑!

7

C1 Hi::!

8P

My name is Pepper.

トランスクリプト 2：ロボットと会話をした組（4 月 10 日 00:37:45-00:42:30）.

図 9

実際の店舗における実験の様子

4.3 分析と考察
ここでは，ロボットと訪問客とのインタラクションの初期部分に着目する．まず訪問客がロボットと会話を開始しなかった組と会話を開始した組の比較を行う．ただし，トランスクリプト中の括弧内の数字は沈黙の時間の秒数を示している．トランスクリプト 1 はロボットと会話をしなかった組の会話の例を示している．この組は，ロボットは訪問
客に試食の提案を行った（3 行目）．しかし，訪問客は商品を見ており，ロボットに反応しなかった．この理由として，訪問客はロボットが誰に話しかけているかを理解していなかったことが考えられる．次に，トランスクリプト 2はロボットと会話をした組の会話の例を示している．この組は，図 10 のように訪問客がロボットの方に振り返り，
見ているときに（4 行目），ロボットは「こんにちは」と発言した（5 行目）．すると訪問客はロボットに返答した（6行目）．訪問客がロボットに返答したのは，訪問客がロボットを見たときにロボットが挨拶をしたからであると考えられる．つまり，訪問客はロボットが自分に話しかけてい© 2019 Information Processing Society of Japan図 10

ロボットの方に振り向く訪問客ることを理解し，相互に認識しあった状態になったため返答を得ることができたと考えられる．
以上を踏まえて，訪問客がロボットを見ている時であればいつ挨拶をしても効果があるのかを調べる必要がある．
トランスクリプト 3 は，訪問客がロボットを見ている時に挨拶をしたが返答しなかった組の会話の例である．この組
では，訪問客がロボットの方に振り向いたとき，ロボット
はすぐに挨拶をしなかった．訪問客はロボットの方に振り返った後，訪問客はロボットを 3.6 秒間見ていた（4 行目）．
しかし，ロボットはこの間，何も行動をしなかった．その結果，訪問客は製品を見始めた（5 行目）．したがって，訪問客がロボットを見たときにロボットはすぐに挨拶をする必要があると考えられる．そうしなければ，訪問客はす

44

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19005
2019/3/6(P=ロボット, C1=女性)

トに対する反応や姿勢などからも重要な情報を得ることが1((入店))

でき[7][24]，ロボットと人との間の距離も重要な要因であMay I help you?

る[25][26]．

2

P

3

((C1 は振り向いてロボットを見る))

4

(3.6)

5

P

((C1 は商品を見始める))

6

P

Nice to meet you!

以上から，エンゲージメントの値を計算するのに用いる要因として，アイコンタクト，アイコンタクトの継続時間，
距離，接近，笑いという 5 つの非言語要因を選択した．
5.2 社会的応答モデル開発のためのデータ分析
この応答モデルの開発には前章で説明した実際の店舗にトランスクリプト 3: ロボットを見るが返答しない訪問客

おける実験のデータを用いる．この実験では 164 組の訪問

（8 月 16 日 01:32:27-01:35:49）.

客のデータを得た．しかし，このデータの中には訪問客か

表1

ロボットの発言時における訪問客の状態と反応

ら話しかけたものとロボットから話しかけたものが混在すロボットに返答

ロボットに返答

る．ここではロボットの最初の発言に対する訪問客の反応した組しなかった組の有無について調査する必要があるため，164 組の内，ロ

78

20

8

58

ロボットを
見ていた組
ロボットを見ていなかった組

ぐにロボットへの興味を失ってしまう．
以上から，訪問客がロボットを見たときが，ロボットが挨拶をする最適なタイミングである．このタイミングでロボットが挨拶をすることで，訪問客に，ロボットは自分が振り向いたという行動を理解して話しかけていると感じさせることができる．すべての訪問客について，ロボットのボットが最初に発言を行った 153 人の訪問客について，ロ
ボットが最初の発言を行うまでの訪問客の行動を記録した
動画をデータとして使用する．そして，実験者がこの動画からロボットが最初の発言を行う前の 5 つの非言語要因を取得する．また，以下の変数を定義した．
Y: エンゲージメント，訪問客がロボットの発言に反応すれば 1，しなければ 0 となる．
X1: アイコンタクト，ロボットが訪問客に挨拶をしたときに訪問客がロボットを見ていた場合 1，見ていなければ0 となる．
X2: アイコンタクトの継続時間，訪問客が入店してからロ発言に返答したかどうかを調査した結果を表 1 に示す．表

ボットが挨拶するまでに測定されたアイコンタクトの

1 から，ロボットに返答した訪問客の大部分は，ロボット

時間（秒）．

が挨拶したときにロボットを見ていたことがわかる．

5. 社会的応答モデル

X3: 距離，ロボットが訪問客に挨拶をしたときのロボットと訪問客との距離（メートル）．
X4: 接近，ロボットが挨拶をしたときにその訪問客がロボ

これまでの章から，訪問客に対してロボットが自分の振ットに近づいてきていれば 1，そうでなければ 0．

り向いたという行動を理解して話しかけていると感じさせ

X5: 笑い，ロボットが挨拶をしたときに訪問客が笑っていることで返答してもらえるということが明らかとなった．
したがって，ロボットは訪問客の非言語的な行動から判断できる相手の状況に応じて適切な行動をすることが必要である．本章ではロボットが訪問客にそのような印象を持たせることができるような社会的応答モデルを開発する．
5.1 エンゲージメントの識別と非言語要因

れば 1，そうでなければ 0．
表2

Y と各変数の相関

X1
X2
X3
X4
X5
Y との相関
0.65
0.69
0.54
0.36
0.38
表 2 はこの実験データから得られた Y と各変数の相関を示している．各相関係数の値は 0 から 1 であり，値が 1 に人がどれほどロボットに興味を持っているかを示す値と近い場合相関が強いことを示す．この表 2 からアイコンタ

して，エンゲージメントがある．本章ではロボットはこのクトおよびアイコンタクトの継続時間はエンゲージメント

値を用いて次の行動を選択する応答モデルを開発する．エの最も重要な要因であることが分かる．そして，距離もまンゲージメントの広く認知された明確な定義は未だ提案さた重要な要因であると言える．

れていないが，先行研究からエンゲージメントをモデル化

5.3 社会的応答モデルの開発するのに有用な非言語要因の候補を収集することは可能でデータを分析するため，機械学習のモデルの 1 つであるある．先行研究によると，一般的な要因の 1 つはアイコン

ロジスティック回帰を用いる．ロジスティック回帰を使用

タクトであり，これは相手に注意を向けていることを表す

する理由は二値分類問題を解くための簡単なモデルである

強力なサインである[7][23]．さらに，アイコンタクトをすからである．以下の式 5.1 と 5.2 にロジスティック回帰モることによって相手が笑顔なのか顔をしかめているのかな

デルを示す．ここでの W は重み，b はバイアスである．こどという表情も分析することが可能である．また，ロボッ

れらの式を用いた実験データの分析結果を表 3 に示す．

© 2019 Information Processing Society of Japan45

情報処理学会 インタラクション 2019
IPSJ Interaction 2019𝑌=

INT19005
2019/3/6

1(5.1)

1+𝑒 −𝑧𝑇(5.2)

Z=𝑊 𝑋+𝑏

本店舗の入り口がロボットから約 2m であることから，約2m 以内に近づいた時にロボットが挨拶する組における訪問客の返答率を比較して調査した．その結果，このモデル

コスト関数を最小化することにより，最適化された重みを用いて最初の挨拶に反応した組は 20 組中 15 組で 75.0％，を得ることができる．また，バイアスのパラメータは-0.20

ロボットから約 2m 以内に近づいた時のロボットの挨拶にである．我々はモデルを検証するために 5 分割交差検証を反応した組は 19 組中 11 組で 57.9％であった．ここでは，用いた． 5 分割交差検証はデータ全体を 5 つのパートに分

訪問客から会話を開始した 5 組は除いた．これらを比較す

け，4 つのパートを使用してモデルをトレーニングし，1 つるとこのモデルを用いた方が訪問客の返答率が高いことがをテストするための有効な方法である． 交差検証から，訪分かる．また，前章の 2017 年に行った実験における訪問客

問客のエンゲージメントを予測するのに十分であると考えの返答率は 153 組中 75 組で 49.0％であった．したがって，られる 88.9％の精度が得られた．
表3

これと比較してもモデルを用いた方が訪問客の返答率が高いことが分かった．このように，実環境において 75.0％の重みのパラメータ

要因
アイコンタクト
アイコンタクトの継続時間
距離
接近
笑い

重み
0.53
1.35
-0.99
0.17
1.20

5.4 実環境における社会的応答モデルの有効性

訪問客がロボットの挨拶に対して返答を行ったことや，これまでの実験や距離のみを制限した場合よりも高い返答率が得られたことからこの応答モデルは実環境においても有効であると推測される．今回高い返答率が得られた理由として以下のことが考えられる．手動で人が遠隔操作する場
合，離れた場所をカメラや肉眼で観察することになるが，ここまではモデル作成のためのデータ収集について述べその場合，距離はある程度判断できても，訪問客の視線のたが，本章ではこのモデルを実環境において用いる場合に方向までは正確に判断できない．しかし，このモデルを用

つ い て 述 べ る ． ロ ジス テ ィッ ク 回 帰 の 方 程 式 と重 み をいることで，訪問客がロボットに視線を向けたかどうかを

Pepper にインストールし，Pepper の頭のカメラで訪問客の適切に判別でき，さらには挨拶を行うべきタイミングにお顔を認識し，ロボットとアイコンタクトを行うかどうか，いて，遠隔操作による遅延がなく，すぐに反応をすること笑っているかどうかを判断する．また，Pepper の足に搭載ができる．今回は七味専門店内の狭いスペースでの実験のされたレーザセンサを使用し，訪問客とロボットとの距離ため，Pepper の移動機能は使用しなかった．しかし，自らを測定し，その変化量から接近中かどうかを検知する．こ対話相手へ近づく動作を行いながら話しかけ動作を行うこのようにロボットが訪問客の非言語情報を 0.5 秒ごとに測とで，より高い返答を得られる可能性もある．そのような定し，自動的に出力を計算するように設定した．ロジステ

検討は今後の課題である．

ィック関数は 0 から 1 の値を取り，単調増加であるため，

6.

今回はロジスティック関数の値が 0.33 以上 0.66 未満の場
合，ロボットは「ねえねえ」あるいは「Hey」と訪問客に呼びかけ，0.66 以上の場合は「こんにちは」あるいは「Hello」と挨拶をするという社会的応答モデルを開発した．例えば，2m 離れて 0.6 秒間ロボットを見て接近している訪問客の場合は x1=1, x2=0.6, x3=2, x4=1, x5=0，y=0.33 となり，1.8m
離れて 0.7 秒間ロボットを見ながら笑顔で立っている訪問
客は x1=1, x2=0.7, x3=1.8, x4=0, x5=1, y=0.66 となる．
今回作成したモデルの有効性を検証するため，実店舗において再び実験を行った．実験の設定は前述した実店舗における実験と同様である．実験は 2018 年 9 月 10 日 15:2117:28，9 月 11 日 14:20-17:04，9 月 20 日 14:17-17:17，9 月
21 日 13:52-17:08 の 4 日間行った．44 組の訪問客が実験中に店舗に訪れた．本実験ではこのモデルの有効性を検証するため，この応答モデルを用いてロボットから会話を開始
した組において，ロボットの最初の発言に対して訪問客が返答を行ったかどうかについて調査する．具体的には，この社会的応答モデルを用いてロボットが挨拶をする組と，© 2019 Information Processing Society of Japan

おわりに
本論文では，インタラクションの初期時のロボットの行動を調査することによって，接客ロボットの最初の発言に対して訪問客に返答してもらうためには具体的にどのようなタイミングでロボットがどのような行動をするべきなのかを調査することを目的とし，フィールド実験と実験室実
験の二つの実験を行った．まず，聞き手がロボットを見た
瞬間にロボットが聞き手を見返すことによって，ロボット
が自分の行動を認識しているという感覚を向上させるかどうかを調査する実験室実験を行った． 次に，実店舗でのロボットと訪問者の自然な相互作用を調べるためのフィール
ド実験を行った．そして，実際の店舗における実験のデー
タをもとに社会的応答モデルを開発した．その結果，接客ロボットと訪問客との間のインタラクションの初めにおいて，ロボットが人の行動を認識して行動できることを表現することが，聞き手の感じるロボットに見られている感覚を向上させ，ロボットの発言に対する返答の促進に有効であると分かった．本研究から得た最も重要な知見は，人の状態をロボットがわかっているということを表出すること46

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

が人とロボットの間の会話において重要であるということである．このような行動をロボットが行うことで，人はそのロボットが自分の行動を理解していると思い，話を聞いているというアピールをするために返答しうなずくようになる．我々はこの研究によってロボットと人の会話が促進され，ロボットがより効果的に使われることを期待する．
謝辞

本研究を遂行するにあたり，京七味専門店ぢんとらの皆様には実験場所の提供および実験における多大な協力を頂きました．Michelle Geilenberg 氏，金 延儒氏には実験にご協力頂きました．心より厚く御礼申し上げます．

参考文献
[1]

M. Shiomi, T. Kanda, H. Ishiguro, and N. Hagita, 2006. Interactive
humanoid robots for a science museum. In Proceedings of the 1st
ACM SIGCHI/SIGART conference on Human-robot interaction.
ACM, 305–312.
[2] R. Gehle, K. Pitsch, and S. Wrede, 2014. Signaling trouble inrobot-togroup interaction. emerging visitor dynamics with amuseum guide robot. In Proceedings of the second international
conference on Human-agent interaction. ACM, 361–368.
[3] F. Tanaka, K. Isshiki, F. Takahashi, M. Uekusa, R. Sei, and K.
Hayashi, 2015. Pepper learns together with children: Developmentof an educational application. In Humanoid Robots (Humanoids),
2015 IEEE-RAS 15th International Conference on. IEEE, 270–275.
[4] C. L. Sidner, C. D. Kidd, C. Lee, and N. Lesh, 2004. Where to
look: a study of human-robot engagement. In Proceedings of the
9th international conference on Intelligent user interfaces. ACM,
78–84.
[5] T. Kanda, H. Ishiguro, and T. Ishida, 2011. Psychological analysis
on human-robot interaction. In Robotics and Automation, 2001.
Proceedings 2001 ICRA. IEEE International Conference on, vol. 4.
IEEE, 4166–4173.
[6] C. L. Sidner, C. Lee, C. D. Kidd, N. Lesh, and C. Rich, 2005.
Explorations in engagement for humans and robots. Artificial
Intelligence, vol. 166, no. 1-2, 140–164.
[7] M. L. Knapp, J. A. Hall, and T. G. Horgan, 2003. Nonverbal
communication in human interaction. Cengage Learning.
[8] A. Yamazaki, K. Yamazaki, Y. Kuno, M. Burdelski, M.
Kawashima, and H. Kuzuoka, 2008. Precision timing in humanrobot interaction: coordination of head movement and utterance. In
Proceedings of the SIGCHI Conference on Human Factors in
Computing Systems. ACM, 131–140.
[9] K. Yamazaki, A. Yamazaki, M. Okada, Y. Kuno, Y. Kobayashi, Y.
Hoshi, K. Pitsch, P. Luff, D. vom Lehn, and C. Heath, 2009.
Revealing gauguin: engaging visitors in robot guide’s explanationin an art museum. In Proceedings of the SIGCHI conference onhuman factors in computing systems. ACM, 1437–1446.
[10] M. Iwasaki, J. Zhou, M. Ikeda, T. Kawamura, H. Nakanishi, 2018.
A Customer’s Attitude to a Robotic Salesperson Depends on Their
Initial Interaction. In Proceedings of the 27th IEEE International
Conference on Robot and Human Interactive Communication.
IEEE.
[11] Y. Kuno, K. Sadazuka, M. Kawashima, K. Yamazaki, A. Yamazaki,
and H. Kuzuoka, 2007. Museum guide robot based on sociologicalinteraction analysis. In Proceedings of the SIGCHI conference on
Human factors in computing systems. ACM, 1191–1194.
[12] M. Bennewitz, F. Faber, D. Joho, M. Schreiber, and S. Behnke,2005. Towards a humanoid museum guide robot that interacts withmultiple persons. In Humanoid Robots, 2005 5th IEEE-RAS© 2019 Information Processing Society of Japan

INT19005
2019/3/6

International Conference on. IEEE, 418–423.
[13] 川ロ ー画，葛岡 英明，鈴木 祐也，中尾 誉，山下 淳，カローラピッチ，山崎 敬一: ロボットの発話途中の沈黙と言い直しによる人の注意誘導, 日本バーチャルリアリティ学会
論文誌, Vol. 14 No. 3. pp. 257-264, 2009.
[14] K. Nakagawa, M. Shiomi, K. Shinozawa, R. Matsumura, H.
Ishiguro, and N. Hagita, 2013. Effect of robots whispering
behavior on peoples’ motivation. International Journal of Social
Robotics, vol. 5, no. 1, 5–16.
[15] M. Niemela, A. Arvola, and I. Aaltonen, 2017. Monitoring theaccep-¨ tance of a social service robot in a shopping mall: first
results. In Proceedings of the Companion of the 2017 ACM/IEEEInternational Conference on Human-Robot Interaction. ACM,
225–226.
[16] M. Niemela, P. Heikkil¨ a, and H. Lammi, .A social service robot¨
in a shopping mall: Expectations of the management, retailers andconsumers. In the Companion of the 2017 ACM/IEEEInternational Conference on Human-Robot Interaction. ACM,
227–228.
[17] T. Kanda, M. Shiomi, Z. Miyashita, H. Ishiguro, and N. Hagita,
2010. A communication robot in a shopping mall. IEEE
Transactions on Robotics, vol. 26, no. 5, 897–913.
[18] M. Shiomi, K. Shinozawa, Y. Nakagawa, T. Miyashita, T.
Sakamoto, T. Terakubo, H. Ishiguro, and N. Hagita, 2013.
Recommendation effects of a social robot for advertisement-use
context in a shopping mall. International Journal of Social
Robotics, vol. 5, no. 2, 251–262.
[19] M. K. Lee, S. Kiesler, and J. Forlizzi, 2010. Receptionist or
information kiosk: how do people talk with a robot? In
Proceedings of the 2010 ACM conference on Computer supported
cooperative work. ACM, 31–40.
[20] 小玉駿，須藤翔太，渋沢進. デジタルサイネージに向けた情報を正対表示させ歩行者を引き付けるシステム，研究報告エンタテインメントコンピューティング（EC），2014, 2014EC-31, no.4, pp.1-8.
[21] 木原民雄，横山正典，渡辺浩志. 人の位置移動による状況即応型デジタルサイネージの構成法，情報処理学会論文誌.
2012, vol.53, no.2, pp.868-878[22] J. F. Kelley, “An iterative design methodology for user-friendly
natural language office information applications.” ACM
Transactions on Information Systems (TOIS), Vol. 2 No. 1, pp. 2641, 1984[23] G. Castellano, I. Leite, A. Pereira et al, 2014. Context-Sensitive
Affect Recognition for a Robotic Game Companion. ACM
Transactions on Interactive Intelligent Systems, vol. 4, no. 2, 1–25.
[24] H. Yanco, 2012. Personalization in HRI: A Longitudinal Field
Experiment. In Proceedings of the seventh annual ACMIEEE
international conference on Human-Robot Interaction, 319–326.
[25] M. P. Michalowski, S. Sabanovic, and R. Simmons, 2006. A
Spatial Model of Engagement for a Social Robot. Advanced
Motion Control, 9th IEEE International Workshop on, 762-767.
[26] 神田 崇行，“ロボットメディアによる人間情報処理研究: 4.
コミュニケーションロボットと人間との距離．” 情報処理，Vol. 49 No.1, pp. 24-29, 2008.
[27] Satake, Satoru, et al. (2013)"A robot that approaches pedestrians."
IEEE Transactions on Robotics 29.2: 508-524.
[28] 石超, 佐竹聡, 神田崇行, 石黒浩. (2017) "客引きロボット導入に向けた社会実験." 日本ロボット学会誌 35.4: 334-345.
[29]Andrist, Sean, et al. (2014) "Conversational gaze aversion forhumanlike robots." Proceedings of the 2014 ACM/IEEE
international conference on Human-robot interaction. ACM.
[30]Admoni, Henny, and Brian Scassellati. (2017) "Social eye gaze inhuman-robot interaction: a review." Journal of Human-Robot
Interaction 6.1: 25-63.

47