立石科学技術振興財団

助成研究成果集(第30号) 2021

［ 研究助成 (C) ］

エンゲージメント推定によって場の雰囲気を読む
接客ロボットのフィールド研究
Field Research for a Robotic Salesperson that can Understand Social Cues Using
the Engagement Estimation2207002

研究代表者

大阪大学大学院

博士後期課程岩﨑雅

矢ことを考えた。これまでの研究では，ロボット[研 究 の 目 的］のソーシャルプレゼンスを改善するための会話
実店舗における接客ロボットは人による接客の開始方法に関する戦略を得た (Iwasaki et al.

では実行不可能な部分を補える可能性があると2020)。そこで本研究では，まず実際の店舗にいう理由から，様々な店舗に配備されてきた。

おいてロボットが訪問客に接客を行う実験から

しかし，このようなロボットでは社会的プレゼ得られたインタラクションデータについて，そンスの弱さが原因で多くの場合人に無視されやの言語情報だけでなく非言語情報も含めたマルすいということが問題になる。また，ロボット

チモーダル会話分析を行うことで，これまでのが自律的に実際の環境で起こる全ての出来事に研究の方法と組み合わせて訪問客の購買活動を適切に対応することは現在の技術では困難であ促進するのに役立つ接客ロボットの一連の行動る。これらの問題は人がロボットを遠隔操作すを探索した。

ることによって解決可能であるが，操作者がロロボットと客のインタラクションの各段階はボット操作に関する経験やロボットの使用環境インタラクションの状態として定義できる。そ

に関する知識を豊富に有している必要がある。

してそれぞれの状態に対して，適切なロボット

そこで本研究では，そのような経験や知識のなの行動パターンを決めることができる。そこで，

い初心者ユーザによる操作でも簡単にロボット

このような行動を決定するため，七味専門店の社会的プレゼンスの改善と訪問客の購買活動「ぢんとら」においてロボットが訪問客と会話の促進ができるような接客ロボット遠隔操作シをする実験を行い (図 1)，得られたインタラステムを開発することを目的とした。
[研究の内容，成果］
初心者ユーザによる接客ロボット操作を可能とするためには，ユーザがあらかじめ決められた規則に沿って操作するだけのシステムが望ましい。そこで，典型的なロボットと客のインタラクションを状態遷移モデルとして単純化する
― 1 ―

図1

実験の様子

立石科学技術振興財団

クションデータについて言語情報だけでなく非手の要求を行った際，それに応じた組は 128 組

言語情報も含めたマルチモーダルな会話分析を中 117 組であり約 91% が握手に応じていた。

行うことで，客とロボットとのインタラクショ

したがって，握手はすでに会話を開始した訪問ンを状態遷移モデル化する。

客との会話を継続するための行動として有用で実環境において接客ロボットが求められる振あると考えられる。

る舞いとして大きく分けて次の 3 つがあると考えた。
1．訪問客と対話を始める
2．訪問客と対話を継続する
3．訪問客の興味を商品に誘導する
まず訪問客との対話を開始し，訪問客の注意
図2を引くことで訪問客にロボット自体に興味を集

握手要求時の動作め，ロボットの発言を聞いてもらうことを考える。そして，その次にその対話を継続して行う(3) 訪問客の興味を商品に誘導することで自然な流れで商品説明を行うことで初め

本研究では一度ロボットに集めた訪問客の注にロボットに引き付けた訪問客の注意を商品へ意を商品へとシフトさせるため，試食の提案とと誘導することを考えた。

いう行動を用いた。ロボットが訪問客に試食を提案する際は，「試食してみませんか？

(1) 訪問客と対話を始める

こちらで試食できます」あるいは，「Would you

ロボットは訪問客との対話を始める際，訪問

like to try a sample? You can taste here!」と言客の非言語的な行動から判断できる相手の状況

いながらロボットは図 3 のように手と視線をに応じて適切なタイミングで挨拶をする必要が使って試食の場所を示す。試食販売に関して，ある。そこで，訪問客に対してロボットが自分人が他人から何らかの施しを受けた場合に何かの振り向いたという行動を理解して話しかけてお返しをしなければならないと感じる返報性のいるという印象を持たせることができるような原理や，人は自身の行動，発言，態度，信念な社 会 的 応 答 モ デ ル を 用 い る。(Iwasaki et al.

どに対して最初のそれを最後まで貫き通したい2020)という感情が働くという一貫性の原理などの心理作用が働く可能性がある。

(2) 訪問客と対話を継続するロボットに追加した機能の一つとして，握手の要求がある。握手の要求では，ロボットが図2 のように手を伸ばしながら「僕と握手しませんか？」，もしくは「May I shake hands withyou?」と握手を求める。握手は対人コミュニ

図 3 握手要求時の動作

ケーションにおいて典型的な挨拶の 1 つである。
人の店員にとっては訪問客との握手という行為

しかし，試食提案をしても訪問客がその要求はあまりありふれたものではないが，接客ロに応じてくれるとは限らない。ロボットが他のボットのそれは訪問客の注意を引くのに有用で店員を呼び，客に試食用のサンプルを手渡すよあると考えた。本実験において，ロボットとすうに要請を行うという機能を実装した。この時，でに会話を開始している訪問客の組に対して握ロボットは「すみません。こちらのお客様に試― 2 ―Tateisi Science and Technology Foundation

かった。
次に実験中に試食の提案を行った 96 組について，ロボットの試食提案時の訪問客の視線に注目すると，図 6 のような結果が見られた。試食提案時ロボットを見ていた 42 組中 39 組がその後サンプルを見ており，ロボットを見ていなかった 54 組中 8 組が試食提案後サンプルを見
図4た。この結果に対してカイ二乗検定を行ったと

ロボット操作インタフェース

ころ，試食提案時にロボットを見ている訪問客
食用の七味を渡してあげてください」あるいのほうがロボットを見ていない訪問客よりも，は，「Excuse me. Please give them a sample.」

試食提案後に試食用サンプル見る割合が有意にと言いながら図 4 のように手を挙げて店員を呼高いことが分かった。したがって，訪問客を試ぶ。

食に誘導するには，訪問客がロボットを見てい実験において，試食をした組としなかった組を比較すると，試食提案時，店員への協力要請る時に試食提案をすることが重要であるということがわかる。

時の訪問客の視線に違いがあることがわかった。
まず，ロボットが店員に協力要請をして試食をさせようと試みた 16 組に関して，協力要請時のそれぞれの訪問客の視線に注目すると，図 5のような結果が見られた。

図6

試食提案後にサンプルを見た組の割合

これらの実験結果から，訪問客と接客ロボッ
トとのインタラクションの状態遷移モデルは，大きく分けて挨拶パート，握手パート，商品説
図5

明パートによって構成できる。まず，訪問客の協力要請後に試食した組の割合

エンゲージメント推定を行い，その訪問客のロ協力要請前サンプルを見ていた 7 組の訪問客

ボットへの注意の度合いが高くなった時に挨拶はロボットの協力要請後，店員から試食用サンを行う。また，訪問客のエンゲージメントがロプルを受けとり試食をした。一方で，試食をしボットが挨拶を行うのに十分な値を超えないまなかった 8 組はロボットの協力要請前に試食用

ま，訪問客の入店からある程度時間が経過したサンプルを見ていなかった。この結果に対し

場合，ラップ歌唱を行うことで客の注意を引きFisher の正確確率検定を行ったところ図 5 に付ける。次に，挨拶をした訪問客に対して握手示すように，協力要請時にサンプルを見ているの要求をすることによって会話を継続させる。

客のほうが試食をする割合が有意に高いことがここで訪問客が握手をしない場合にもラップ歌分かった (p<.05)。したがって，訪問客がサ唱を行い，注意を引きつける。

ンプルを見ているときにロボットが店員に協力

そして，訪問客がロボットに注目し続けていを要請しサンプルを渡してもらうことで訪問客る場合，試食の提案を行うことで商品へ注意をに試食をさせることができるということがわ誘導する。その後，訪問客が試食用サンプルに― 3 ―立石科学技術振興財団

注目している場合はさらに試食に関する説明そ移する。

して店員に協力要請をして試食をさらに推薦す

本状態遷移モデルの有効性の検証するため再ることで訪問客の試食を促す，ここで訪問客がび七味専門店「ぢんとら」において実験を行っロボットに注目している場合はロボットへの興た。本研究で作成したインターフェースをロ味があると考えられるため，おすすめの商品のボットの操作経験のある実験者とロボットの操説明を行うことで適切にサービスが提供できる作経験のない 8 名の被験者 (男性 6 名，女性 2と考えた。また，訪問客がそれ以外場所を向い名) が操作し，前実験のデータ (状態遷移モデている場合はその他の商品説明を行う。訪問客ルなし) と比較し，訪問客がロボットの試食提の最終的な状態として試食している状態と試食案に応じたかどうかについて調査した。その結していない状態があるが，前者の場合は七味の果，図 9 に示すように，操作者のロボット操作レシピ紹介，後者の場合はその訪問客は試食で経験のありなしに状態遷移モデルを使用した方きる商品以外に興味がある可能性を考え，そのが使用しない場合よりも円滑に接客を行うこと他の商品を勧める。これらいずれかを行ったとができたため，試食の提案に応じてもらえる割き接客が終了となる。

合が有意に増加した (p<.0167)。したがって，以上のように作成した訪問客とロボットとのインタラクションの状態遷移モデルに基づいてインタラクションの状態遷移図を図 7 に，その接客を行うことで初心者ユーザによる操作で状態遷移モデルをもとに作成した接客ロボット

あってもロボットのソーシャルプレゼンスを改

操作用インターフェースを図 8 に示す。図 7 に善し，訪問客の購買活動を促進できることが分おける矢印は状態の遷移を表し，各矢印に付与かった。

されているトリガーは遷移を引き起こす要因を表し，ロボットのアクションによって状態が遷図 9 試食した訪問客の割合[今後の研究の方向，課題］
図7

インタラクションの状態遷移図

本研究における実験は京都にある七味専門店「ぢんとら」において行った。したがって，訪問客の性別や年齢層，または国籍などが偏っている可能性が考えられる。本実験では，外国人や高い年齢層が多く，特定の人に対してのみ観察を行ったことになる。したがって，今後は様々な場所で実験を行う必要がある。また，訪問客に対してアンケートなどによって訪問客の図8ロボット操作インタフェース

主観評価も行いたい。
― 4 ―Tateisi Science and Technology Foundation【査読なし国内会議】[成果の発表，論文等］[1]【学術論文誌】[1]

MasayaIwasaki,Mizuki

Ikeda,Tatsuyuki

Kawamura and Hideyuki Nakanishi. State-Transition Modeling of Human-Robot Interaction for Easy
Crowdsourced Robot Control. Sensors, vol. 20, no. 22,6529, 2020.

― 5 ―池田瑞，岩﨑雅矢，河村竜幸，中西英之．不特定多数による遠隔操作の実現に向けた接客ロボットと客とのインタラクションの状態遷移モデル化．
HAI シ ン ポ ジ ウ ム 2020, G-11, 2020, [Impressive
Long-paper Award (優秀論文賞 (ロング))]