HAI シンポジウム 2017
Human-Agent Interaction Symposium 2017G-19

実店舗における接客ロボットが会話を開始するタイミングの検討
Consideration on the timing when a customer service robot starts a conversation in areal shop周

剣1

岩﨑 雅矢 1 河村 竜幸 2

中西 英之 1Jian Zhou1, Masaya Iwasaki1, Tatsuyuki Kawamura2, and Hideyuki Nakanishi1
大阪大学大学院工学研究科 知能・機能創成工学専攻
Department of Adaptive Machine Systems, Osaka University
2
京都イノベーション株式会社
2
Kyoto Innovation, Inc.
1

1

Abstract: In recent years, customer service robots have been rapidly deployed. Nevertheless, it is still
unclear what kind of behavior is effective for sale. A conversation cannot be initiated, if the robot is ignored
on trying to speak to visitors. Therefore, in this paper, we focused on the timing to start the conversation.
We conducted an experiment by placing a robot in an actual shop in Kyoto and making it talk to visitors.
As a result, we concluded that an effective timing for the robot to start a conversation, is the moment when
visitors turn their heads and look at the robot.

1. はじめに
近年，音声認識技術が向上し，コミュニケーショ
ンロボットという会話を行うロボットが生まれた．
このコミュニケーションロボットは会話ができるという理由で多くの場面で用いられ研究されている．
例えば，ロボットのある特定の行動がロボットの印
象に対して効果的であるという研究や[1] [2] [6]，ある特定の行動や発話方法によって人の注意をロボットに向けることができるというような研究がある[5] [7] [17]．また，これらは博物館のガイドロボット[4] [10] [15] [16]や教育[8] [14]やフィールド実験のロボット[11] [12] [13]に対しても用いられている．
これらに加えて，店舗において訪問客を応対することを目的としたロボットも存在している．しかし，これらのロボットにおいて，共通の行動がそれぞれの目的に対して有効であるとは限らず，それぞれの目的に応じた行動をする必要がある．
近年，外国人観光客は増えている．しかし，店員
が外国語を話せず，コミュニケーションがとれない店舗がある．このような店舗では外国語で客を呼び込むことができない．さらに，入店してもらえたとしても，店員が外国語での商品説明ができない．そのため，商品が何か分かってもらえず，購入してもらえないという問題も生じている．接客ロボットを置くことでこれらの問題を解決することができると考えられる．また，接客ロボットを置くことで人の手を借りることなくロボットとのコミュニケーショ
ンを通じて訪問客に情報を提供することができる．
このような理由から店頭などに接客ロボットが急速に配備されてきた．しかし，どのような行動が購入に有効であるかまだ明らかになっていない．店舗において接客ロボットが訪問客の購買活動を促進す
ることは，訪問客に入店してもらうこと，そして，
その後商品を購入してもらうことの 2 つの段階が必要である．まずは訪問客にロボットに対する興味を持たせ，入店してもらうことに着目する．そこで，訪問客がロボットとの会話を開始するのに有効なロ
ボットの行動を調査する．また，これらは訪問客の自然な行動を分析することが求められるため，実験室における実験ではなく，実際の店舗において実験を行う必要がある．しかし，実験室とは違い実際の店舗には，他の訪問客の会話や店外からの雑音などの様々な環境音が存在しており，会話面でロボットが自律的に正確な会話を行うことは難しい．さらに，自律的な行動のみでは現実に起こりうる全ての問題に適切に対処することは困難である．したがって，ロボットは人によって遠隔操作される必要がある．
本論文では，人によって遠隔操作されたロボットを実際の店舗に置き，訪問客とのインタラクションを分析する．これにより，接客ロボットが会話を開始するのに有効なタイミングを検討する．

2. システム概要
2.1 Pepper
本実験では接客ロボットとして図 1 に示される
Pepper を用いた．Pepper は，2014 年にソフトバンク
モバイル株式会社が開発した人型パーソナルロボッ
トである．顧客サービスロボットだけでなく，介護や教育にもペッパーを使用したいくつかの研究がある[8]．

2.2 実験場所
京都の商店街にある七味専門店「ぢんとら」において実験を行った．図 2 は実験を行った店舗を上から見た図である．本実験では，三つの訪問客の顔を見えないようにピントをずらしたカメラを使用した．
1 つ目はロボットの正面側から映したもの，2 つ目はロボットの背面側から映したもの，3 つ目は全体の様子を側面側から映したものである．また，顔を認識可能な映像を映したカメラも側面側に設置し，訪問客から撮影の同意が与えられた場合のみ映像を取得した．さらに，実験者が実験中に店内の様子を観察するために，ビデオ通話をつないだタブレットを店内のロボットの後方に置いた．実験者は店舗の前にある道の反対側立ち，ロボットと訪問客との間のインタラクションを目視とビデオ通話の映像によって確認した．

図2
図1

接客ロボット（Pepper）

Pepper を採用した１つ目の理由は Pepper の大きさ
は，設置しても商品を購入することの妨げにならず，
客とコミュニケーションする際にはロボット搭載のタブレットを用いて商品の説明や紹介ができるということである．２つ目の理由は Pepper には赤外線センサー，ソナーセンサーなどの多くのセンサーを用いた安全装置が搭載されており，非常に安全であるからである．実験をする際，Pepper は関節駆動用モーターの出力が最小限度となっており，周辺にいる人との衝突を回避する機能が備わっている．したがって，至近距離に人がいる場合，手振り身振りの動
作における腕の軌道が自動的に変化するようになっている．３つ目の理由はその頭を動かすことによって視線を制御することができ，その腕を使ってジェスチャーとポイントを行うことができるからである．
一般販売向けの Pepper は日本語と英語を話すことができ，実験では接客にこの 2 ヶ国語を用いた．

店舗を上から見た図

2.3 Wizard of OZ 法
現実に起こりうる予測不能な様々な問題すべてに対して適切に対処するため，ロボットの行動や発言
は，Wizard of OZ 法を使用して，人間のオペレータ
ーによって行われる必要がある[3]．Wizard of OZ 法とは，対話システムの開発において効果的なシミュ
レーション手法である．システムのふりをした人がシステムのかわりにユーザーと会話をする．このとき，ユーザーは自分がシステムと会話していると思っている．この手法はシステムに必要な要求や起こりうる問題をあらかじめ知ることができるという利点がある．この方法を用いる上で，システムと会話をするという虚偽の教示をユーザーに言わなければならない．しかし，フィールド実験での Wizard of OZ
法では，ユーザーはロボットが操作されているかど
うかは気にしておらず，実験の結果にも変化が無い
ため問題ないことが示されている[9]．したがって，
本実験ではロボットの動作の一部は人によって遠隔操作されているという内容をロボットの体に掲示した．

2.4 ユーザーインターフェース
本研究において，WoZ 法を用いるにあたって，
Pepper は遠隔操作される必要がある．そこで我々はスマートフォンを使って遠隔操作できるアプリケー
ションを開発した．Pepper の OS は NAOqiOS と呼ばれている．API が NAOqi の中にある．それを使うことで Pepper に装備されている各種デバイスやメモリの状態の取得や制御ができるようになっている．
JavaScript を用いてその API を利用すれば，ブラウザ
を使って Pepper を操作することができ，スマートフ
ォン上のブラウザからも操作することができる．
QiMessaging JavaScript ラ イ ブ ラ リ を 使 う こ と でJavaScript を用いて Pepper の API を使うことができる．このアプリケーションはスマートフォンを
Pepper と同じ無線 LAN 内に接続していれば，Pepperにあらかじめインストールされた行動をとり，入力した言葉を話させることができる．図 3 はそのアプ
リケーションを示したものである．実験中，Pepper を操作する際にすべての言葉を入力すると，時間がか
かり沈黙ができてしまい会話が成り立たなくなる．
そこでよく使う一連の言動をあらかじめ Pepper にインストールした．それらの行動は，Pepper のアプリ
ケーションを開発できるソフトウェアである
Choregraphe を用いて開発した．

図3

ロボット操作用ユーザーインターフェース

2.5 ロボットの行動
ロボットの行動の決定や会話面のほとんどは，人間のオペレーターによって行われるが，一部は自動的に行われている．挨拶，自己紹介，簡単な質問と七味紹介などの対話行動はあらかじめ Pepper に実装されており，それらの選択は遠隔操作によって行うが，それらの発言の際の不規則な動きのジェスチャー，ロボットの顔追従とセンサーによる障害物の検知は自動的に行われる．また，不規則な動きのジェスチャーでは機能しないような行動はあらかじめ腕の角度などのロボットの姿勢を決定し，インストー
ルした．そのような行動として握手の要求と試食の提案がある．ロボットが握手を求める動作を図４（a），
ロボットが試食を提案する動作を図４（b）に示す．
大人が手を差し出す際の高さやロボットの隣にある
商品棚の高さを考慮して，腕の角度を調整，決定した．

（a）握手を求める動作 （b）試食を提案する動作
図 4 ロボットの動作

2.6 倫理問題
大阪大学大学院工学研究科人を対象とした研究倫
理委員会の承認の下，実験を行った．実験中，ピン
トをずらすことによって訪問客の顔画像を不明瞭にしたカメラを用いて，ロボット周辺の録画を継続的に行った．ロボットに訪問客が接近した時点でロボット搭載のタブレット PC がタッチ操作によって回答可能な同意書を表示した．同意が得られた場合のみ顔を認識可能な映像を取得した．さらにロボットの体に実験内容の概略，実験責任者の氏名，電話番号を掲示した．また，それと同様の内容が記載されたハンドアウトをケースに入れロボットの体に設置
し，訪問客が自由に持ち帰ることができるようにした．実験では安全を確保するために，人との対話を目的として設計された製品のみをロボットとして用い，ロボットの移動機能は OFF にして，転倒しないように設置場所に固定した．万一の場合に備え，実験スタッフが近くに待機し，何か問題が起こればすぐに対応できるようにした．このように，遠隔操作であることはハンドアウトや掲示によって十分に知らされている．

3. 分析方法
訪問客のインタラクションの中には秩序ある構造やパターンがある．そして，その行動や言葉はそれらに基づいて成立している．インタラクション分析をする際にはそのような構造やパターンを観察・分析するために，取得した録画映像と，それらから会話を詳細に書き起こしたトランスクリプトを用いた．
そのトランスクリプトの記述方式には，一般的な劇の台本のような時系列に並んだ方式を用い，会話だ
けでなく，発話のタイミングや身体動作，視線も詳細に記述した．またトランスクリプトには様々な記号が使われる．表 1 は今回作成したトランスクリプ
トの中で用いた記号の意味を示す．トランスクリプ
トのキャプションの括弧内は，トランスクリプトに示す一連の行動の開始時における実験開始からの経
過時間と終了時における実験開始からの経過時間を
表す．
表1

図5

訪問客と握手するロボット

図6

試食を提案するロボット

トランスクリプトの中で用いた記号の意味

記号

意味

。または.

下降調のイントネーション?

上昇調のイントネーション

、または,
！
↑
↓
下線
:
h

平らなイントネーション
生き生きとした調子
記号直後の音調が上がっている
記号直後の音調が下がっている
比較的大きな音
音が伸ばされている状態
呼吸音，笑いなど
二人以上の会話の重なりが始まる箇所
0.1 秒単位で数えた沈黙の長さ
聞こえない声
補足説明・話者の行動

[
(数字)
(？)
(())

4. 実験
実験は，2017 年 4 月 10 日 15:15-16:22，13 日 15:2116:22，14 日 16:01-17:21，2017 年 8 月 14 日 16:2117:58，15 日 15:20-16:22，16 日 14:15-15:58 の 6 日間行った．実験では 66 組がこの店舗を訪れた．この 66
組のうち 29 組が商品を購入した．1 組の最大人数の平均は 2.3 人であり，約 156 人の訪問客が実験中この店舗を訪れた．また，これらの訪問客はロボットと握手をしたり（図 5），試食を提案されたりする（図6）などの場面が観察された．

5. 考察
まず，会話を開始した組と開始しなかった組を比較する．会話を開始しなかった組の会話の例を以下のトランスクリプト１に示す．
P＝ロボット，C1＝男性，C2＝女性
01（
（入店）
）
02（
（商品を見る））
03 P：試食してみませんか？こちらで試食できます．
04（3.3）05 P：いらっしゃいませ．どうぞ，ごゆっくりご覧
ください．
（2）
06 P：お悩みですか？（10）07 P：僕と握手しませんか？
トランスクリプト 1（8 月 16 日 00:16:07-00:18:54）
ロボットは訪問客に試食の提案をした（3 行目）．
しかし，訪問客は商品を見ており，返事をしなかった．これは，訪問客にとって，ロボットが誰に話しているのかが不明瞭であったためであると考えられる．
一方，会話を開始した組の会話の例を以下のトラ

ンスクリプト 2 に示す．
P＝ロボット，C1＝男性，C2＝女性
01（
（入店）
）
02（
（商品を見る））
03 P：May I help you?（1）04（（C1 はロボットの方に振り向く））（0.5）
05 P： Hello!
06 C1：Hello↑!
07 C2：Hi::!
08 P：My name is Pepper.
トランスクリプト 2（4 月 10 日 00:37:45-00:42:30）
これを見ると，C1 がロボットを見た瞬間（3 行目，
図 7），ロボットは挨拶をし（5 行目），そして訪問客はロボットの挨拶に答えた（6，7 行目）ということがわかる．これは，訪問客がロボットを見た瞬間にロボットが挨拶をしたため，訪問客はロボットが自分が振り向いたことを理解し話しかけていることに気付き，相互に認識し合っている状態になったためであると考えられる．したがって，訪問客が接客ロ
ボットと会話を開始するタイミングは訪問客がロボットを見た瞬間であると言える．

訪問客がロボットを見ていた 3.6 秒間，ロボット
は何も反応をしなかった（3，4 行目）．その後，訪問客はすぐに振り返って商品を見始めた（5 行目）．したがって，訪問客がロボットを見たとき，すぐにロボットが反応しなければ，ロボットに対する興味を失うと考えられる．したがって，訪問客がロボットを見たとき，すぐにロボットが適切な反応をする必要があると考えられる．
これまで述べてきた内容はロボットと訪問客が１対１の関係でのみ成り立つことである．そこで，訪問客が複数人のグループであった場合を検討する．
訪問客がグループで入店した組の会話の例を以下のトランスクリプト 4 に示す．
P＝ロボット，C1＝男性 1，C2＝男性 2，C3＝男性 3
01（
（入店）
）
02（
（商品を見る））
03 P：（？）.（1.5）
04（（C1 は振り向いてロボットを見る））（0.3）
05 P：May I help you? （0.8）Hello.
06 C1：Hello↑.（（C2 と C3 は C1 を見る））
（1.2）
07（
（C2 と C3 はロボットを見る））
08 P：My name is Pepper.（１）Nice to meet you.
09 C1: Nice to meet you, too.
（（中略））
10 P：Where are you from?
11 C1：UK.
12 P：What’s your country like?
13 C2：Cold.
トランスクリプト 4（4 月 13 日 00:45:10-00:47:20）

図7

ロボットを見る訪問客

また，訪問客がロボットを見た瞬間にロボットが反応をせず，しばらく時間がたった後反応をした例
を考える．以下のトランスクリプト 3 に，訪問客が振り向いてロボットを見た時，ロボットが反応しな
かった組の会話の例を示す．
P＝ロボット，C1＝女性
01（
（入店）
）
02 P：May I help you?（0.6）
03（（C1 はロボットを見る））
04（3.6）05（（C1 は商品を見る））（2）
06 P：Nice to meet you!
トランスクリプト 3（8 月 16 日 01:32:27-01:35:49）

C1 が振り向いてロボットを見た瞬間にロボット
が「May I help you? Hello.」と発言した（4，5 行目）．
その後，C1 が「Hello」と答えると（6 行目），C2 とC3 は C1 を見たあとすぐにロボットを見た（7，8 行
目，図 8）．これは， C1 がロボットの方を向き，返事をしているのを，C2 と C3 が見たということが原因であると考えられる．また，図 8 に示すように，
最初に会話を開始した C1 はロボットに最も近い位
置に立っていることが分かる．したがって，ロボッ
トがグループ内のロボットに近い距離にいる一人に対して会話を開始することで，そのグループ内の他の人もロボットに注目させ，会話に参加させることができると考えられる．

参考文献[１] Takayuki Kanda, Hiroshi Ishiguro, and Tom Ishida:
Psychological Analysis on Human-Robot Interaction. Proc.
of the IEEE International Conference on Robotics &Automation (ICRA), May, pp. 21-26, (2001)[２] Takayuki Kanda, Hiroshi Ishiguro, Michita Imai, andTetsuo Ono: Body Movement Analysis of Human-Robot
Interaction. IJCAI, pp. 177-182, (2003)[３] John F. Kelley. An iterative design methodology for user-

図8

ロボットを見るグループでの訪問客

friendly natural language office information applications:
ACM Transactions on Information Systems (TOIS), Vol. 2
No. 1, pp. 26-41, (1984)

6. おわりに
本論文では，実際の店舗におけるロボットと訪問
客のインタラクションを分析することによって，接客ロボットが会話を開始するのに有効なタイミングを検討した．その結果，訪問客がロボットを見た瞬
間に，それに対して接客ロボットが適切な反応をすることで，会話が開始されることがわかった．また，訪問客がロボットの方を見てすぐにロボットが反応しなければロボットに対する興味を失い，その後の発言は全て返答されなかった．また，グループ内の一人がロボットの方を向き会話を開始することがそのグループ内の他の訪問客をロボットに注目させ，会話に参加させるということがわかった．
これらより，接客ロボットを改良する方法として，訪問客が振り向き，ロボットの方を見るという行動を検知して，ロボットが自動的に反応できるようにすることが考えられる．複数人のグループである場
合も，そのグループ全ての人の振り向きを検知する必要はなく，一人の振り向きを検知するだけで十分であることが分かった．
しかし，ロボットのどのような行動が訪問客をロボットの方に振り向かせるのか，訪問客の注意を惹くことができるのかはまだ明らかとなっていない．
したがって，ロボットとの会話を開始する前にロボットの方に振り向き，ロボットに視線を送る訪問客
において，ロボットのどのような行動が原因で振り向いたのか，あるいはその振り向き方を観察し，調査することは今後の課題である．

[４] Yoshinori Kuno, Kazuhisa Sadazuka, Michie Kawashima,
KeiichiYamazaki,

Akiko

Yamazaki,and

HideakiKuzuoka: Museum guide robot based on sociologicalinteraction analysis. CHI ‘07 Proceedings of the SIGCHI
Conference on Human Factors in Computing Systems, pp.
1191-1194, (2007)[５] Hideaki Kuzuoka, Karola Pitsch, Yuya Suzuki, Ikkaku
Kawaguchi,

KeiichiYamazaki,

Akiko

Yamazaki,

Yoshinori Kuno, Paul Luff, and Christian Heath: Effect ofrestarts and pauses on achieving a state of mutualorientation between a human and a robot. CSCW ‘08
Proceedings of the 2008 ACM conference on Computer
supported cooperative work, pp. 201-204, (2008)[６] Masahiro Shiomi, Takayuki Kanda, Hiroshi Ishiguro, andNorihiro Hagita: Interactive humanoid robots for a science
museum. HRI ‘06 Proceedings of the 1st ACM
SIGCHI/SIGART conference on Human-robot interaction,
pp. 305-312, (2006)[７] Candace L. Sidner, Christopher Lee, Cory D. Kidd, Neal
Lesh, and Charles Rich: Explorations in engagement forhumans and robots. Artificial Intelligence, Vol. 166 No. 1.
pp. 140-164, (2005)[８] Fumihide Tanaka, Kyosuke Isshiki, Fumiki Takahashi,
Manabu Uekusa, Rumiko Sei, and Kaname Hayashi:
Pepper learns together with children: Development of an
educational application. Humanoid Robots (Humanoids),
2015 IEEE-RAS 15th International Conference on, pp.
270-275, (2015)[９] Fumitaka Yamaoka, Takayuki Kanda, Hiroshi Ishiguro,
and Norihiro Hagita: Interacting with a human or a

謝辞
実験環境を提供していただき，様々なご支援をしていただいたぢんとらの皆様に厚く感謝申し上げます．また，研究に協力していただいた池田瑞氏，Michelle Geilenberg 氏に厚く感謝申し上げます．

humanoid robot? IEEE International Conference onIntelligent Robots and Systems, pp. 2685-2691, (2007)[１０] Akiko Yamazaki, Keiichi Yamazaki, Yoshinori Kuno,
Matthew Burdelski, Michie Kawashima, and Hideaki
Kuzuoka: Precision Timing in Human-Robot Interaction:
Coordination of Head Movement and Utterance. CHI 2008

Proceedings · Human-Robot Interaction, pp. 131-139,(2008)[１１] Kayako

Nakagawa,

Masahiro

Shiomi,Kazuhiko

Shinozawa, Reo Matsumura, Hiroshi Ishiguro, andNorihiro Hagita: Effect of Robot’s Whispering Behavior on
People’s Motivation. International Journal of Social
Robotics, Vol. 5 No. 1, pp. 5-16, (2012)[１２] Marketta Niemelä, Anne Arvola, and Iina Aaltonen:
Monitoring the Acceptance of a Social Service Robot in a
Shopping Mall: First Results. HRI ‘17 Companion, pp.
225-226, (2017)[１３] Marketta Niemelä, Päivi Heikkilä, and Hanna Lammi: A
Social Service Robot in a Shopping Mall – Expectations of
the Management, Retailers and Consumers. HRI ‘17
Companion, pp. 227-228, (2017)[１４] Martin Saerbeck, Tom Schut, Christoph Bartneck, andMaddy D. Janse: Expressive robots in education: Varying
the degree of social supportive behavior of a robotic tutor.
CHI 2010, pp. 1613-1622, (2010)[１５] Raphaela Gehle, Karola Pitsch, and Sebastian Wrede:Signaling

TroubleIn

Robot-To-GroupInteraction.

Emerging Visitor Dynamics With A Museum Guide Robot.
HAI ’14, pp. 361-368, (2014)[１６] Maren Bennewitz, Felix Faber, Dominik Joho, Michael
Schreiber, and Sven Behnke: Towards a Humanoid
Museum Guide Robot that Interacts with Multiple Persons.
Proceedings of 2005 5th IEEE-RAS International
Conference on Humanoid Robots. pp. 418-423, (2005)[１７] 川ロー画, 葛岡英明, 鈴木祐也, 中尾誉, 山下淳, カ
ローラピッチ, 山崎敬一: ロボットの発話途中の沈黙と言い直しによる人の注意誘導, 日本バーチャル
リアリティ学会論文誌 , Vol. 14 No. 3. pp. 257-264,(2009)