公立はこだて未来大学 2019 年度 システム情報科学実習
グループ報告書
Future University Hakodate 2019 System Information Science PracticeGroup Report

プロジェクト名
ロボット型ユーザインタラクションの実用化

Project Name
Practical application of robot-type user interaction

グループ名チャットボットGroup Name
Chatbot
プロジェクト番号/Project No.

8

プロジェクトリーダ/Project Leader
佐藤篤志

Atsushi Sato

グループリーダ/Group Leader
田宮圭祐

Keisuke Tamiya

グループメンバ/Group Member
田宮圭祐

Keisuke Tamiya

高田翔吾

Shogo Takada

鎌田泰一

Taiichi Kamata

指導教員
三上貞芳 鈴木昭二

高橋信行

AdvisorSadayoshi Mikami Sho’ji Suzuki Nobuyuki Takahashi

提出日2020 年 1 月 22 日

Date of Submission
January 22, 2020

概要
近年の日本では，少子高齢化に伴う労働人口の減少などにより小売業やサービス業などの業種
で従業員が不足している．思うように業務を行えない状況のなか，接客や宣伝などの様々な場
面で支援を行うことが可能なサービスロボットへの関心が高まっている．現状，サービスロ
ボットは従業員側と顧客側に対してそれぞれ課題を抱えている．従業員側に対しての課題は，従業員がサービスロボットの動作や発話を編集する時にそれ相応の知識が必要になることである．顧客側に対しての課題は，顧客がサービスロボットに対して違和感や不自然さを覚えてしまうことである．本プロジェクトでは，上記の 2 つの課題を高速ゲートウェイにロボット型のユーザーインターフェースを融合させたプラットフォームである PaPeRo i を活用しながら，拡張および発展させるによって解決を目指した．ゲートウェイとは，コンピュータネット
ワークで通信プロトコル (通信規約) が異なるコンピュータネットワークへのパケットの転送
や異なるコンピュータネットワークからのパケットの受信をするとき，中継する役割を担い通信プロトコルの変換を行うものである．最も一般的な例としてルータのような機能があり，LAN(ローカル・エリア・ネットワーク) をインターネットなどの WAN(ワイド・エリア・ネットワーク) に接続するものである．ユーザーインターフェースとは，ロボットやコンピュータと使用者との間に存在し，使用者の命令をコンピュータに伝達し，コンピュータからの出力結果を使用者に伝達するソフトウェアやハードウェアの総称．ロボットやコンピュータのユーザ
ビリティ (使用性) を決定する大きな要因となる．まず，本プロジェクトのメンバーをエディタ
班，チャットボット班，ハード班の 3 つに班分けを行った．エディタ班は，従業員側に対しての課題を解決するために，従業員がサービスロボットの動作や発話を特別の知識がなくても容易に変更が可能なエディタの提案と開発を行った．チャットボット班とハード班は，顧客側に対しての課題を解決するために，顧客がサービスロボットに対して違和感や不自然さを覚えな
いような外見やインタラクションシステムの提案と開発を行った．インタラクションとは，日本語で相互作用のことで，使用者が何らかの形で操作や行動なのアクションを起こしたとき，
そのアクションが一方通行にならず，ロボットやコンピュータがそのアクションに対応したリアクションを起こすという流れのことである．チャットボット班は，ソフトウェアの観点から顧客側に対しての課題の解決につながる提案を行った．私たちは，この提案の実現をしていく
にあたり下記の 2 つの課題があると考えた．1 つ目の課題は，顧客が問いかけなどのアクションを起こしても，そのアクションが一方通行でありサービスロボットはそのアクションに対応したリアクションをしないことである．2 つ目の課題は，ボタンやタブレットなどを介したイ
ンタラクションは人間同士が行うコミュニケーションの形態ではなく，違和感や不自然さを覚えてしまうことである．これらの課題を解決するために，私たちは人間同士が行うような自然なコミュニケーションが可能な対話インタラクションシステムの作成した．また，シンプルな対話インタラクションシステムも作成した．前者のシステムは複数のライブラリやクラウドサービスを利用している．後者のシステムは活動するにあたって活用した PaPeRo i の機能のみを利用している．私たちは，後期に株式会社キングベークの協力のもとシンプルな対話イン
タラクションシステムの実証実験を行った．実証実験の手法は，株式会社キングベークの店舗に設置されている PaPeRo i に作成した対話インタラクションを組み込み，実際に運用するというものである．今後の展望として，対話インタラクションシステムの音声認識部分の改良やさらなる実証実験の実施が挙げられた．
キーワード

サービスロボット，ロボット型のユーザーインターフェース，PaPeRo i，音声

認識，形態素解析，自然言語処理，Python，Microsoft Azure，Janome，API（※文責：高田翔吾）-i-Abstract
In recent years，Japan has experienced a shortage of workers in the retail and service
industries due to a decrease in the labor force accompanying the declining birthrate andaging population．There is a growing interest in service robots，which can provide support in a variety of situations，such as customer service and advertising，in a situation
where they cannot perform their jobs as expected．Currently，service robots face challenges for both employees and customers．The challenge for employees is that they needto have the appropriate knowledge when they edit the behavior and speech of the service
robot．The problem on the customer side is that the customer feels uncomfortable or
unnatural about the service robot．In this project，we aimed to solve these two problems
by expanding and developing PaPeRo i，a platform that combines a high-speed gateway
with a robotic user interface．A gateway performs conversion of a communication protocol in a role of relaying when a communication protocol in a computer network transfersa packet to a diﬀerent computer network or receives a packet from a diﬀerent computer
network．The most common example is a router-like feature that connects a LAN(local
area network) to a WAN(wide area network)，such as the Internet．A user interface isa general term for software or hardware that exists between a robot or computer and auser，transmits user’s instructions to the computer，and transmits output results fromthe computer to the user．It is a major factor in determining the usability of robots andcomputers．First，the project members were divided into three groups: editor group，chatbot group，and hardware group．The editor team proposed and developed an editor
that enables employees to easily change the behavior and speech of the service robot
without any special knowledge．The chatbot group and the hardware group proposedand developed an appearance and interaction system that would prevent the customer
from feeling uncomfortable or unnatural with the service robot in order to solve problems for the customer．Interaction is a ﬂow in which when a user performs an action ofan operation or action in some form，the action does not become one-way and the robot
or computer reacts in response to the action．The chatbot group made a proposal thatwould lead to the solution of problems for customers from the viewpoint of software．
We thought that there were two challenges in realizing this proposal．The ﬁrst problem
is that even if a customer makes an action such as asking a question，the action is
one-way and the service robot does not respond to the action．The second problem isthat interaction through buttons and tablets is not a form of communication between
people，but rather a form of strangeness and unnaturalness．To solve these problems，
we have developed a dialogue interaction system that enables natural communication
between people．We also created a simple interactive interaction system．The former
system uses multiple libraries and cloud services．The latter system uses only PaPeRo
i’s functions．In the latter term，we conducted a demonstration experiment of a simple
interactive interaction system in cooperation with Kingbake Corporation．The methodof the demonstration experiment is to incorporate the dialogue interaction created in
PaPeRo i installed in the store of King Bake Co．，Ltd．，and to actually operate it．
Future prospects include improvement of the speech recognition part of the interactive
interaction system and further demonstration experiments．
KeywordService robot，Robot-type user interface，PaPeRo i，Speech recognition，Morphological Analysis，Natural language processing，Python，Microsoft Azure，Janome，API（※文責：高田翔吾）- ii -

目次
第1章

はじめに

1

1.1

サービスロボットについて . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

1.2

現状におけるサービスロボットの問題点 . . . . . . . . . . . . . . . . . . . . . . .

1

1.3

使用するロボット. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

1.4

課題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2

プロジェクトの概要

3

2.1

チャットボット班の目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

2.2

プロジェクト学習で行う利点. . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

2.3

地域との関連性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

課題提起と課題解決プロセスの概要

43.1

課題提起 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

3.2

課題解決プロセスの概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

課題解決のプロセスの詳細

64.1

対話インタラクションシステムの開発 . . . . . . . . . . . . . . . . . . . . . . . .

6

4.2

単純な対話インタラクションシステムの開発 . . . . . . . . . . . . . . . . . . . .

6

結果

8

5.1

成果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8

5.2

評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8

5.2.1

中間発表 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8

5.2.2

成果発表会 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

95.3

実証実験概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

10

5.4

実証実験結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

まとめ

12

活動の振り返り . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

6.1.1

本プロジェクトの目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

6.1.2

本グループの目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

6.1.3

本グループの活動 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

6.1.4

本グループの成果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

13

プロジェクトにおける各人の役割 . . . . . . . . . . . . . . . . . . . . . . . . . .

13

6.2.1

田宮圭祐 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

13

6.2.2

鎌田泰一 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

14

6.2.3

高田翔吾 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15

今後の課題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

16

本グループの展望 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

16

第2章

第3章

第4章

第5章

第6章

6.1

6.2

6.3

6.3.1

- iii -

6.3.2
付録 A

他グループが開発した機能との統合

新規習得技術. . . . . . . . . . . . . . . . . . . . .

16
17

参考文献

18

- iv -

Practical application of robot-type user interaction

第 1 章 はじめに
この章ではサービスロボットについての解説，サービスロボットの問題点，使用するロボットについての解説，本プロジェクトで解決すべき課題を述べる．
（※文責：高田翔吾）

1.1

サービスロボットについて

少子高齢化に伴う労働人口の減少などにより従業員が不足して思うように業務を行えない状況にある小売業やサービス業などの業種において，接客や宣伝などの様々な場面で支援を行うことが可能なロボットである．
（※文責：高田翔吾）

1.2

現状におけるサービスロボットの問題点

接客や宣伝などの様々な場面で支援を行うことが可能なサービスロボットは，従業員側と顧客側に対してそれぞれ課題を抱えている．
従業員側に対しての課題は，従業員がサービスロボットの動作と発話を編集する時にそれ相応の知識が必要になることである．顧客側に対しての課題は，顧客がサービスロボットに対して違和感や不自然さを覚えてしまうことである．実際，サービスロボットの動作と発話の編集を外部に委託するということがある．そのため，必要経費や動作と発話の変更に時間が掛かるという課題がある．また，サービスロボットのボタンやタブレットを介したインタラクションは人間同士が行うコ
ミュニケーション形態ではなく違和感を覚えるということや，顧客が問いかけなどのアクションを起こしても，そのアクションが一方通行でありサービスロボットはそのアクションに対応したリア
クションをしないことに不自然さを感じさせることがある．そのため，客足が遠のいたり，不利益を被らせたりしてしまうという課題がある．
（※文責：高田翔吾）

1.3

使用するロボット

PaPeRo i とは，NEC グループの主要子会社である NEC プラットフォームズ株式会社が手掛けた高速ゲートウェイにロボット型のユーザーインターフェースを融合させたプラットフォームである．活動するにあたって活用した PaPeRo i は株式会社エスイーシーから貸していただいた．

PaPeRo i には下記の 7 つの機能が搭載されている．
1. 赤外線を利用した人感センサ
2. 部屋の明るさや温度、湿度を検知するセンサ

Group Report of 2019 SISP

-1-Group Number 8

Practical application of robot-type user interaction
3. 物体の加速度を計測するセンサ
4. 顔認識機能を持ったカメラ
5. 音声認識機能を持ったマイク
6. 人に話しかけるスピーカー
7. 顔面と腹部に感情表現用の LED
また，このロボットは拡張性が高く，機器や機能の追加が容易な設計となっている．
（※文責：高田翔吾）

1.4

課題

1.2 節にて述べたことを前提として，本プロジェクトで解決すべき課題は下記の 2 つである．
1. 従業員がサービスロボットの動作や発話を特別の知識がなくても容易に変更が可能なエディ
タの提案と開発である．

2. 顧客がサービスロボットに対して違和感や不自然さを覚えないような外見やインタラクショ
ンシステムの提案と開発である．
上記の 2 つを前提として，本プロジェクトの課題は，小売業やサービス業などの業種の接客や宣伝などの様々な場面で支援を行うことが可能なサービスロボットの開発である．
（※文責：高田翔吾）

Group Report of 2019 SISP

-2-Group Number 8

Practical application of robot-type user interaction

第 2 章 プロジェクトの概要
この章では 1.4 節にて述べた課題を踏まえた本プロジェクトにおけるチャットボット班の目的，
またプロジェクト学習で行う利点と地域との関連性などのプロジェクト概要について述べる．
（※文責：鎌田泰一）

2.1

チャットボット班の目的

チャットボット班では発話・動作で生じる機械的な対話手段から生じる不自然なコミュニケー
ション形態を解消するために顧客向けにロボット特有のぎこちなさや不安感を取り除くための提案の実現を担当した．この提案の実現をしていくにあたって課題が３つ挙がった．1 つ目は商品の宣伝等を行う時に現状では PaPeRo i から顧客へ一方的に話しかけているということである．2 つ目はタブレット等を介すなどのインタラクションは普段人間同士が行わない不自然なコミュニケー
ション形態のため，人間側に違和感やぎこちなさを感じてしまうということである．3 つ目は実際に店舗で子どもが対話機能が無い PePeRo i に向かって話しかけているということである．これらの課題を解決しつつ顧客が違和感やぎこちなさ，不安感を感じさせないための提案とその提案の実現をしていくことがチャットボット班の目的である．
（※文責：鎌田泰一）

2.2

プロジェクト学習で行う利点

本課題を解決するにあたって，課題の解決方法の検討や課題の解決のための様々な専門知識の勉強や必要な技術習得など一人でやるには作業量や必要な時間がとても多い．そのため，プロジェ
クトで集まった様々な学科の人たちが今まで学んできた技術や知識を生かして課題解決，開発に取り組むことで作業量の分散を可能にする．さらに，プロジェクトメンバーによって教え合ったり補助し合うことで技術習得にかかる時間を短縮することができる．
（※文責：鎌田泰一）

2.3

地域との関連性

今回は地域の様々な企業からの支援をいただいた．特に地域企業である株式会社エスイーシーの協力で PaPeRo i を提供してもらい，プロジェクト内で出てきた PaPeRo i に関する不明点について説明していただいた．株式会社キングベークが実証実験の場を提供してくださり，プロジェク
トを継続するにあたって無くてはならない支援をしていただいた．また，新技術開発サロン情報交換会に参加した際に発表を行って様々な立場・業界からの貴重な意見をたくさんいただいた．
（※文責：鎌田泰一）

Group Report of 2019 SISP

-3-Group Number 8

Practical application of robot-type user interaction

第3章

課題提起と課題解決プロセスの概要

この章では，チャットボット班が取り組む課題とその解決プロセスの概要について述べる．
（※文責：田宮圭祐）

3.1

課題提起

1.2 節で述べたようにサービスロボットが行うコミュニケーションは不自然であり、顧客のアクションに対して十分対応できない場合がある．この一般的なサービスロボットの問題に現状のPaPeRo i を当てはめて考えた時，2.1 節で述べたような 3 つの課題が挙がった．
具体的に述べると，PaPeRo i が顧客へ一方的に話しかけているという問題は顧客からのアクションに対応したリアクションをせず固定されたセリフを発話していることである．これは，PaPeRo

i と顧客の間でインタラクションな情報のやり取りが行われておらず，顧客からのアクションに関係なく一方的に発話しているのはコミュニケーションとは言い難い．また，タブレットを用いたイ
ンタラクションが人間側が感じる違和感やぎこちなさの要因になるということや子どもがリアク
ション機能の無い PaPeRo i に話しかけていることから，サービスロボット及び PaPeRo i は普段人間同士の間で行われるコミュニケーションに近いやり取りをすることを期待されていることがわ
かる．
つまり，現状の PaPeRo i にはインタラクションなやり取りを実現するシステムが必要であり，
そのやり取りは人間同士で行われるコミュニケーション形態を再現したものでなければならない．
そこで本グループは，顧客と PaPeRo i の間で行われるインタラクションを実現するシステムの開発にあたって考えられる課題を以下のように提起した．

1. 顧客から入力される情報
2. 顧客からの情報を入力するためのデバイス
3. 顧客から入力された情報に応じて PaPeRo i の動作・発話するために，入力された情報を変換または解析するシステムの開発

4. 変換・解析された情報に対応した PaPeRo i の動作・発話内容を決定するシステムの開発と動作・発話内容自体の設定（※文責：田宮圭祐）

3.2

課題解決プロセスの概要

課題を提起した後, 私たちはそれらに対応したシステムについて考案した．顧客から入力される情報は，顧客の身長体重や表情，身振り手振り，発話，顧客の移動などが考えられた．その中でも，PaPeRo i が顧客のアクションに対応せず一方的に話しかけていることや子どもが PaPeRo iに話しかけていることから音声情報のやり取りが適していると考えた．音声情報でのやり取りは人間同士の間で行われる会話を再現できるため，入力される情報は顧客の発話に決定した．

Group Report of 2019 SISP

-4-Group Number 8

Practical application of robot-type user interaction
顧客から入力される情報を音声情報に決定したため，これを入力するためのデバイスはマイクに決定した．しかし，どのような機能や性能を持ったマイクを採用するか具体的に考える必要があった．そこで，人間同士で行われる会話と比べた場合に必要となる機能を考えた．入力される情報が音声情報であることから顧客が PaPeRo i に話しかける形になる．人間同士のコミュニケーション
ではどちらかが話しかけて会話が始まる．話しかけられた人間は顔を相手に向け，視線を合わせる．それに合わせて PaPeRo i が顧客が話しかけた際に自身の顔を顧客に向けて視線を合わせるよ
うにすることで，人間同士のコミュニケーションに近づくだけでなく，顧客は PaPeRo i が顧客の発話に反応することがわかる．PaPeRo i が話しかけてきた顧客に対して顔を向けるには話しかけてきた方向を取得する必要がある．そのため，発せられた音の方向を検知することができるマイクを採用することに決定した．
次に，入力された音声情報を変換・解析するシステムと変換・解析した情報に対応した動作・発話を決定するシステムについて考えた．その際，人間と自動対話を行う技術・サービスについて調
査し，チャットボットに注目した．これは自動会話プログラムのことであり，テキストでの双方向のやり取りを意味するチャットとロボットの略であるボットを組み合わせた言葉である．テキスト
でのやり取りであるため文字情報を扱うが，音声情報を文字情報に変換することで PaPeRo i の機能としてチャットボットを活用することができる．よって，音声情報を変換・解析するシステムは音声情報を文字情報に変換するシステムを開発し，変換した情報に対応した動作・発話内容を決定するシステムはチャットボットを開発した．
複数のライブラリや API を用いていたが，顧客が PaPeRo i に話しかけてから返答されるまでにラグがあったため，ラグを解消したシンプルなシステムも開発した．シンプルなシステムでは，入力された音声情報の変換・解析は PaPeRo i に備わっている音声認識システムに変更し，変換した情報に対応した動作・発話内容の決定は特定の文字列を条件に if 分岐を用いて決定するシステムに変更した．

PaPeRo i の動作・発話の内容はキングベーク本店で設置することを踏まえて, 店舗を利用する顧客を想定し接客に関する会話や商品に関する説明を行うような発話内容に設定した. また，子どもが PaPeRo i に話しかけていることから，子どもが話しそうな会話に合わせた返答内容を用意し，簡単な相槌やクリスマスや正月のようなイベントで使う挨拶なども用意した．
（※文責：田宮圭祐）

Group Report of 2019 SISP

-5-Group Number 8

Practical application of robot-type user interaction

第4章

課題解決のプロセスの詳細

この章では，チャットボット班が取り組んだことについて詳細に述べる．
（※文責：高田翔吾）

4.1

対話インタラクションシステムの開発

まず，システムの開発にあたって利用したデバイスやサービスなどについて述べる．
入力となるマイクは，音源の方向の取得も可能な Seeed Technology Co.,Ltd. の ReSpeaker Mic

Array というマイクロホンアレイ用プロセッサが搭載されたデバイスを利用した．
発話の取得及びテキスト化は，ウェイクワードを用いた音声認識が可能な Microsoft Corporationの Microsoft Azure というクラウドプラットフォームのサービスのひとつである Cognitive

Services の API のひとつである Speech Services の Speech to Text という API を利用した．ウェ
イクワードとは，音声認識の開始点として用いられる単語である．待機状態でもウェイクワードは常時認識可能となっており，ウェイクワードを発声し，その後に続く発話文が API に送られることになる．
テキストのわかち書きは，打田智子が開発した Janome という形態素解析エンジンライブラリを利用した．形態素解析とは，人間同士がコミュニケーションのために用いる自然言語の文章データ
から，対象となる自然言語の文法や品詞のデータに基づいて，意味をもつ表現要素の最小単位である形態素の列に分割する作業である．
自然言語処理は，Facebook，Inc. の Wit.ai というクラウドプラットフォームを利用した．
次に，実際のシステムの流れについて述べる．ReSpeaker Mic Array から入力された音源から発話を Speech to Text を使用してテキスト化する．そのテキストを Janome によって分かち書き化する．そのテキストを Wit.ai にかけると単語にタグ付けが行われる．タグに合う返答文を

ReSpeaker Mic Array で得た方向に向けて話す．
（※文責：高田翔吾）

4.2

単純な対話インタラクションシステムの開発

4.1 節で述べた対話インタラクションシステムは，複数のライブラリやクラウドサービスを利用しているため，顧客のアクションに対するリアクションに時間を要する．そこで，発話の取得及びテキスト化を PaPeRo i に備わっている音声認識システムを利用して単純な対話インタラクショ
ンシステムの開発を行った．
音源の方向の取得は引き続き ReSpeaker Mic Array を利用したが，音源の入力となるマイクは

PaPeRo i に備わっているものを利用した．これは，PaPeRo i に備わっている音声認識システムに音源データを渡す方法が存在しないと考えられるためである．したがって，音源の方向の取得するタイミングと音源が入力されるタイミングが同期していないので，リアクションをするときに意図した方向を向かない可能性がある．

Group Report of 2019 SISP

-6-Group Number 8

Practical application of robot-type user interaction
実際のシステムの流れは下記のようになっている．PaPeRo i のマイクから入力された音源から発話を PaPeRo i の音声認識システムを利用してテキスト化する．そのテキストを制御構造に掛け，条件式の評価結果の値が真のときは，発話の内容に合う返答文を ReSpeaker Mic Array で得た方向に向けて話す．偽のときは，用意されたランダムな返答文を ReSpeaker Mic Array で得た方向に向けて話す．条件式の例は，「if 入力テキスト ==や「if 入力テキスト ==ありがとう

こんにちは : speech( こんにちは )」: speech( どういたしまして )」といったものがある．

用意されたランダムな返答文の例として，「ぼくの名前はきんちゃん！よろしくね」や「話しかけてくれてうれしいよ！」といったものがある．
このシステムの特徴として下記の 2 つが挙げられる．

1. 4.1 節で述べた対話インタラクションシステムよりもシンプルな構成であり，顧客のアクションに対するリアクションが早く行えることである．

2. 4.1 節で述べた対話インタラクションシステムは発話文の活用形や並びが異なっていても発話の内容に合う返答を行えるが，このシステムは条件式と同じフレーズでないと発話の内容に合う返答ができないことである．
このシステムの改良点として，上記で述べたリアクションをするときに意図した方向を向かないというものが挙げられる．1.3 節で述べた通り，赤外線を利用した人感センサや温度を検知するセンサ，顔認識機能を持ったカメラという機能が備わっているので，それらの機能を活用することによってリアクションをするときに方向を意図した通りにできると考えられる．
（※文責：高田翔吾）

Group Report of 2019 SISP

-7-Group Number 8

Practical application of robot-type user interaction

第5章

結果

この章では，1 年を通して得た成果や成果物による実証実験の概要，体外発表と学内での発表について述べる．
（※文責：鎌田泰一）

5.1

成果

チャットボット班の成果は，顧客と自然なインタラクションを実現するためにチャットボット
システムの作成である．そのシステムは，4.1 節で述べたように ReSpeaker に対して顧客が発話を行い，入力されたウェイクワードを認識して音声認識を開始する．そして，Speech to Text という API を使用することで発話内容をテキスト化し，形態素解析エンジンを用いてその文字情報を分かち書き化する．その後，Wit.ai という自然言語処理 API にかけて単語にタグ付けを行い，そのタグに対応した返答を行うというシステムが出来上がった．これによって，今までは，商品紹介
を PaPeRo i が行い顧客に対して宣伝を行うという一方的なコミュニケーションだったが，チャットボットシステムを用いて，顧客側と PaPeRo i 側でのインタラクティブなコミュニケーションが実現された．しかし，このシステムは音声情報を取得してから返答するまでに時間を要する．

4.2 節で述べたように，返答時間の問題を解決するためにシステムの構成をよりシンプルなものに変更し，音声情報の取得から返答までの時間を短くしたシステムを作成した．
（※文責：鎌田泰一）

5.2

評価

今回，チャットボット班は様々な場で発表や実証実験を行ってきた．その過程で得られた評価点
や課題点も明確になった．以下にその詳細を示す．
（※文責：鎌田泰一）

5.2.1

中間発表

中間発表では，商品紹介の観点で PaPeRo i を顧客との自然なコミュニケーションの実現に向けて行った活動を発表した．この時，中間発表のアンケート評価として，「プロジェクトの内容を伝えるために，効果的な発表が行われていたか」（図 5.1），「拡張した PaPeRo i は店舗で役に立つか」（図 5.2）という項目でアンケートを行った．プロジェクトの内容効果的な発表が行われていたかの項目の回答者は 44 人であり，平均は 7.2 点であり，拡張した PaPeRo i は店舗で役に立つかの項目では回答者は 27 人であり，平均は 6.4 点であった．その中で，• スライドがわかりやすく，内容とあっていてよかった．
• 宣伝効果があるとおもうGroup Report of 2019 SISP

-8-Group Number 8

Practical application of robot-type user interactionという評価があった．その一方で，• 今のところこれを使うことで得られるメリットが少ない．
といった評価もあった．これを受けて，さらなる顧客との自然なコミュニケーションの実現をするために後期に行っていく活動の一つとしてチャットボットシステムの開発を新たに提案した．

図 5.1

中間発表での発表技術の評価

図 5.2 中間発表での開発した PaPeRo i の実用性についての評価（※文責：鎌田泰一）

5.2.2

成果発表会

成果発表会では後期で開発したチャットボットシステムを組み込んだ PaPeRo i を紹介した．この時に私達はチャットボットシステムを組み込む事になった背景とチャットボットシステムの構成についての説明，デモによるチャットボットシステムの実演，今後の展望について発表した．成果
発表会での評価を得るために，発表を聞きに来た聴衆の方々にアンケート調査の協力をしていただ
いた．
チャットボット班に関連のあるアンケート内容はプロジェクトの内容を伝えるために効果的な発表が行われているか (図 5.3)，違和感なく対話が成立しているか (図 5.4) の 2 つである．プロジェク
トの内容を伝えるために効果的な発表が行われているかの項目は回答者が 44 人，平均点は 7.2 点であった．この時，• スライドが見やすい
Group Report of 2019 SISP

-9-Group Number 8

Practical application of robot-type user interaction• 動画を用意しているのがよかった• アクシデントの対応がよかったといった意見が挙げられた．成果発表会ではアクシデントが起こってデモを行う時にプログラムが正常に動作せず，デモが行えないという場面があった．しかし，予め動画でデモムービーを撮影しておくことで，臨機応変な対応が出来た事が評価点だと言える．一方で，• 声があまり聞こえない• カンペ，資料を読みながらの発表が気になるといった意見もあった．ここから，発表中にただ資料を読み上げるだけの発表を行ってしまったのは発表内容の暗記や理解度が足りなかったり，声が小さいことで聴衆に発表内容が伝わりづらいという課題が出てきた．
違和感なく対話が成立しているかの項目は回答者が 34 人，平均点は 7.6 点であった．この時，• ほぼ違和感が無かった• 人間程度にスムーズではないが，会話が成立してて良いという意見が挙げられた．実際のチャットボットシステムでは音声認識がなされた後に PaPeRo iが返答するという形を取ったがそこで対話を行うという部分にあまり違和感を与えずに自然なコ
ミュニケーションを行っていたように思われたのは評価点であると言える．一方で，• タイムラグが気になる• 対応する速さをあげて短い時間で対応できれば良いなどといった意見も挙げられた．これらから，音声認識から API を通しての処理，そして対応した返答を行うという一連の動作に時間がかかってる部分が気になるという点が課題となった．

図 5.3 効果的な発表が行われているかの評価（※文責：鎌田泰一）

5.3

実証実験概要キングベーク本店へ訪問し，実際にチャットボットシステムを組み込んだ PaPeRo i を設置させていただいた．店舗での商品紹介や商品紹介の間に設けたインターバル時間中に客との対話時間をGroup Report of 2019 SISP

- 10 -

Group Number 8

Practical application of robot-type user interaction

図 5.4 違和感なく対話が行われているかの評価

設け，客から話しかけられた際に返答をする機能を使ってお客さんが PaPeRo i に対してどんな反応を示すかを 2019 年 11 月 20 日水の 12:00 から 13:30 の日時に実証実験を行った．
（※文責：鎌田泰一）

5.4

実証実験結果実験を初めて 40 分間は基本的に常連の方や年配の方が多かった．この時間中は基本的には

PaPeRoi をスルーするして商品を見ている人が多かった．この時，PaPeRo i を見る人は全体の約3 割で PaPeRo i の前で立ち止まった人全体の 1 割にも満たなかった．チャットボット機能による対話はスルーされることが多く，実際に PaPeRo i に話しかけた人も 1 人のみだった．この事態の原因としてはキングベーク本店には前年度の弊プロジェクトによる PaPeRo i が既に設置されていて，PaPeRo i を見慣れているのではないかという意見が挙げられた．また，客には特に告知をせずに PaPeRo i を取り替えたのでチャットボット機能が搭載されていることに気付いてもらえなかった可能性があるとの意見もあった．
後半の 50 分間はチャットボットシステムによる対話機能がある事を認知してもらうために簡易的な説明を紙面で行い，実験を行った．この時間中は客の来店率のピークを過ぎたこともあり，前半の時間に比べると客の総数が減っていた．この時，PaPeRo i に話しかけた人は 0 人になった．
しかし，前半と比べ，PaPeRo i の前に立ち止まる人は全体の約 4 割，PaPeRo i を見た人の割合
は全体の 1 割を超えた．
（※文責：鎌田泰一）

Group Report of 2019 SISP

- 11 -

Group Number 8

Practical application of robot-type user interaction

第6章

まとめ

この章では，活動の振り返り，プロジェクトにおける各人の活動詳細及び今後の展望について述べる．
（※文責：田宮圭祐）

6.1

活動の振り返りこの章では，上記で述べたプロジェクト，グループの目的や活動，成果をまとめる．
（※文責：田宮圭祐）

6.1.1

本プロジェクトの目的

本プロジェクトは人間の業務をサービスロボットに一部代替する上で発生する問題を解決することを目的に活動した．具体的には，店員がサービスロボットの動作・発話内容を編集する上で起こる問題と，顧客がサービスロボットとコミュニケーションをとる上で起こる問題である．
（※文責：田宮圭祐）

6.1.2

本グループの目的

本グループの目的は，顧客がサービスロボットとコミュニケーションをとる上で起こるサービ
スロボットの問題を解消することである．
（※文責：田宮圭祐）

6.1.3

本グループの活動

目的達成にあたってキングベーク本店に設置されている PaPeRo i が現状抱えているコミュニ
ケーション上の課題について，３つの課題が挙がった．1 つ目は商品の宣伝等を行う時に現状では

PaPeRo i から顧客へ一方的に話しかけているということである．2 つ目はタブレット等を介すな
どのインタラクションは普段人間同士が行わない不自然なコミュニケーション形態のため，人間側に違和感やぎこちなさを感じてしまうということである．3 つ目は実際に店舗で子どもが対話機能が無い PePeRo i に向かって話しかけているということである．
本グループはこれらを解決するためにチャットボット機能を提案し，機能実現のための調査・開発を進めた．
（※文責：田宮圭祐）

Group Report of 2019 SISP

- 12 -

Group Number 8

Practical application of robot-type user interaction

6.1.4

本グループの成果

本グループは, 顧客とのインタラクションを実現するためにチャットボットシステムを作成した.
開発したシステムの流れは, はじめにマイクで得た音声情報を音声認識しテキスト化した後に, テ
キストを分かち書きし形態素ごとにタグ付けを行う. その後, タグの組み合わせによって PaPeRoi の動作・発話内容を決定する. これによって, 今までは, 商品紹介を PaPeRo i が行い顧客に対して宣伝を行うという一方的な情報伝達だったが, チャットボットシステム機能の開発によって顧客側と PaPeRo i 側の間でインタラクティブなコミュニケーションが実現された.
しかし, 返答時間にラグがあるため, システムの構成をシンプルにした. 音声情報取得やテキスト化をマイクや API から PaPeRo i に搭載されている機能で行い, テキストの分かち書きやタグ付けをやめた. PaPeRo i の返答内容については, 顧客の挨拶などの特定の発話に対してだけその内容に沿った返答をしてそれ以外にはランダムな返答を行うようにした. これによって返答時間のラグを解消したシステムを完成させた．
本グループが開発したシステムは，顧客が PaPeRo i に話しかけた際に返答するためインタラク
ティブなシステムが実現したと言える．また，顧客と PaPeRo i の間では音声情報だけでやり取りするため，タブレットを介して行うインタラクションと比べて人間同士のコミュニケーションに近づいている．以上のことから，2.1 節で挙げた課題は解決できている．しかし，顧客の特定の発話以外は返答内容がランダムであるため，会話が成立しない可能性がある．この可能性に加えて，

PaPeRo i が発話する際イントネーションがおかしくなることや直線的にしか動作できない首は,人間が PaPeRo i とコミュニケーションを取るうえで不自然さや違和感を覚える要因になると考えた．そのため，2.1 節で挙げた目的は達成できたとは言い難い．
（※文責：田宮圭祐）

プロジェクトにおける各人の役割

6.2

この章では，本プロジェクトにおける本グループのメンバーが行った活動について述べる．
（※文責：田宮圭祐）

6.2.1

田宮圭祐
[5 月] サーバ班に所属し，他のメンバーに教わりながらエディタから PaPeRo i を操作できるようサーバを構築し，外部アクセスを可能にした ．リファレンスを参考に PaPeRo i
シミュレーターを用いて動作・発話コマンドの送信関数を学習した．実際に，実機で動作しどのような制約があるか調査した．また，サーバ班に所属後は前期の間グループリーダーとして週報の記入及び提出も行った．

[6 月] 実機での動作の制約を調査しつつ，中間発表で行うデモ用の動作を作成した．それと並行してハード班の追加に伴いグループの再編成も行い，編成前と同様サーバ班に所属した．中旬で行った新技術開発サロン主催の技術紹介交流会では質疑応答の記録を担当した．
また， 宮本エジソン正教授が開催した TeX 講座に参加し，基礎知識の習得を行った．

Group Report of 2019 SISP

- 13 -

Group Number 8

Practical application of robot-type user interaction[7 月] サーバ機として Raspberry Pi の使用を検討したが，中間発表に向けてノートパソ
コンをサーバ機にすることを優先した．中間発表のデモはエディタから PaPeRo i の動作するため，エディタ班と共同してエディタの機能に合わせた動作内容について話し合った．中間発表では発表スライドに対して他のメンバーとともに修正を行った．

[8 月] オープンキャンパスに参加し開発したロボットを展示し，学外の一般の方々に対して発表を行った．

[9 月] 客とのインタラクティブなやり取りを行うために，チャットボット機能が提案された．その機能を開発するために班の再編成が行われ，私はチャットボット班としてチャット
ボットに利用する API を調査した．また，チャットボット班のグループリーダーとして後期の間週報の記入及び提出も行った．

[10 月] Wit.ai という API を利用することが決定し，私はキングベーク本店で利用されることを想定して Wit.ai で学習させる文章を作成，入力した．担当教員から店舗では子どもが PaPeRo i に話しかけていることを聞き，私は子ども向けのセリフを考えた．Wit.ai
は無料期間を過ぎれば有料になるため，私は chatterbot の利用を提案したが，学習データ
が Wit.ai より多く必要となりスケジュールの都合から断念した．また，11 月に実験をすることを予定しており，昨年から実店舗で置かれている PaPeRo i と比較するために機能を実験用に変更した．実験用のために，私は Raspberry Pi にチャットボット機能を搭載しようとしたが，成果発表の際はノートパソコンをサーバ機として利用するため，実験でもRaspberry Pi ではなくノートパソコンを利用することに決定した．
[11 月] 実験では OS が Linux Mint のノートパソコンを利用するため，私は Linux 上でチャットボットが動作するよう環境構築や設定のし直しを行った．実験では，キングベイ
ク本店で設置作業を手伝い，音声認識が行われることを確認した．実験用に用いた API は

Speech to Text ではなく無料で音声情報をテキスト化できる Google Speech Recognition
だったが API キーの取得ができなくなっており，いつ利用を停止されるかわからないため利用を断念した．また，成果発表に向けて私はハード班への設置台に関する話し合いとプロジェクトリーダーが作成した発表スライドの修正を行い，デモ用のチャットボットの動作確認と撮影を行った．

[12 月] 成果発表では後半でのチャットボット班に関する発表を行った．また，報告書作
成ではフォーマット作成と文責の割り当てを行った．

[1 月] 本提出に向け Tex での入力を担当した．
（※文責：田宮圭祐）

6.2.2

鎌田泰一
[5 月] この時期はサーバー班に所属し，教本やネット上のサイト等による自習や他のメンバーに教わりながら PaPeRo i を一通り操作出来るようにサーバーについての勉強や

Python の勉強を行っていった．その過程で PaPeRo i の動作を行えるようにサーバーを構築し，外部アクセスが出来るようにした．PaPeRo i シミュレーターや実機での動作を通して PaPeRo i の動作にはどのような制約があるのかを調べた．

[6 月] 引き続きシミュレーターや実機での動作を通して PaPeRo i の動作の制約の調査を行っていた．また，中間発表でのデモを行うためのサーバー構築に着手した．また，6 月中旬に行われてた新技術開発サロン主催の技術紹介交流会では質疑応答の担当メンバーの一人Group Report of 2019 SISP

- 14 -

Group Number 8

Practical application of robot-type user interaction
として他の参加者からの質疑応答を担当した．

[7 月] デモやサーバー構築を Rasberry Pi で行おうとしたが，中間発表ではノートパソ
コンの方が動作が安定するため，ノートパソコンのサーバー機化を行った．中間発表で行うデモの内容を考え，実際に他のグループと協力してデモの改善を行いながら発表練習をしていった．中間発表ではエディタと PaPeRo i の間で必要な通信を行うためのサーバーを立てる作業を行った．

[8 月]Python のサーバー構築等，前期で学んだ内容を復習しながら中間発表で得られた意見から後期に取り掛かる活動内容のアイデアを考えた．また，実社会にある人間とロボットが自然なインタラクションをしている実用例を探した．

[9 月] 客とのさらに自然なインタラクションを行うためにチャットボットシステムが提案され，全体でグループメンバーの再編成を行い自分はチャットボット班に所属することになった．チャットボットで使われている API の調査やチャットボットシステムの一連の動作の流れを検討した．

[10 月] 使う API で Wit.AI を採用することが決定した．Wit.ai の仕様等についてグループメンバー間で共有して Wit.ai について理解を深めた．Wit.AI に文章の学習を行い，客の立場に立って PaPeRo i にされると想定される質問を考えた．しかし，Wit.AI は無料で利用出来るのに期間があり，新たな API を探したり新たなチャットボットのシステムの検討を行った．

[11 月] キングベーク本店での実証実験に向けて Wit.ai を用いないチャットボットシステ
ムの開発に着手した．この時に用いた API は無料で音声情報をテキスト化できる Google

Speech Recognition であるが，API キーの取得ができなくなっており，いつ API が使えな
くなってもおかしくない事が分かり，実証実験では用いたが，この先のチャットボットシス
テムには組み込まないことを決めた．

[12 月] 企業などが提供している API を利用せずに，Python ライブラリー等を用いてAPI を極力使わないチャットボットシステムの開発に取り掛かった．また，同時に成果発表に備えて発表練習やデモに使うプログラムの開発も行った．成果発表では所属するチャット
ボット班で行ってきた事の発表の一部を担当した．成果発表が終了した後にチャットボット
班のグループ報告書作成で担当する部分を決定した．

[1 月] 報告書の作成を行い，提出書類の作成や修正，確認を行った．
（※文責：鎌田泰一）

6.2.3

高田翔吾
[5 月] Javascript はオンライン学習サービスなどで学習した．分散型バージョン管理シ

ステムである Git については教本を使って学習した．GitHub の使い方や React，Material

design については勉強会などで学習した．また，シナリオエディタの機能やデザイン決めを行う話し合いを行った．そして，決まった機能の一つであるシナリオ一覧画面の開発を行った．

[6 月] シナリオ一覧画面の開発を完了させた．タイムテーブル画面の開発を引き継いだ．
また，新技術開発サロン主催の技術紹介交流会で企業の方の評価や質問の記録を担当した．

[7 月] タイムテーブル画面の開発を完了させた．シナリオ作成画面のプロトタイプの開発をした．中間発表会では，前半の発表を担当した．

Group Report of 2019 SISP

- 15 -

Group Number 8

Practical application of robot-type user interaction[9 月] プロジェクト全体での後期のスケジュールや新機能，新しいグループの作成・配属に関する話し合いに参加した．新機能として，人間同士が行うような自然なコミュニケー
ションが可能な対話インタラクションシステムの作成の提案をした．そしてそのシステムの開発を行った．

[10 月] 引き続きシステムの開発を行った．
[11 月] 対話インタラクションシステムを完了させた．その後，単純な対話インタラク
ションシステムの開発を行った．

[12 月] 単純な対話インタラクションシステムの開発を完了させた．成果発表会では，対話インタラクションシステムについての発表とそのデモンストレーションを担当した．その後，グループ報告書の執筆を行った．
（※文責：高田翔吾）

6.3

今後の課題

この章では 5 章で述べた成果を受けて今後の展望を述べる．
（※文責：田宮圭祐）

6.3.1

本グループの展望

本グループの展望はチャットボットシステムの改良とデータの収集である．
インタラクションなシステムは実現できたが，ロボット特有の動作・発話のぎこちなさについて解決に至っていないことも今後の課題である．人間と比較した際のロボットのぎこちなさとは何か，ロボットと人間の間で行われる自然なコミュニケーション形態の理想はどのようなものかを調査した上で定義し，チャットボットシステムを改良する必要があると考えた．

5.4 節で述べた実証実験の結果から，実際にロボットに対して話しかけた顧客の人数が少数であるため，顧客が PaPeRo i に対して話しかけている際の音声情報のデータが少ない．PaPeRo i が返答する内容は事前に設定するため，返答内容を顧客のニーズに対応させるためには顧客の発話内
容のデータが多く必要である．データを多く収集するためにより多く顧客に話しかけてもらえるよ
うな時間帯で実験を再度行う必要があると考えた．
（※文責：田宮圭祐）

6.3.2

他グループが開発した機能との統合

展望の 2 つ目は他の機能との統合である．他の機能とは，エディタ機能と試食提供機能，カメラによる年齢判別である．現状これらの機能は個別のプログラムで動作しているため，プログラムの実行順番や動作が定義されていない．他の機能とチャットボットシステムのプログラムに優先度を付け，機能を統合する必要がある．
（※文責：田宮圭祐）

Group Report of 2019 SISP

- 16 -

Group Number 8

Practical application of robot-type user interaction

付録 A

新規習得技術• Python• Wit.ai• Microsoft Azure Cognitive Services Speech Services• Janome• ReSpeaker• PaPeRo iGroup Report of 2019 SISP

- 17 -

Group Number 8

Practical application of robot-type user interaction

参考文献[1] 宮下善太， 神田崇行， 塩見昌裕， 石黒浩， 萩田紀博．来客と顔見知りになる案内ロボット．
ATR 知能ロボティクス研究所， 大阪大学， 情報処理学会シンポジウム論文集， 2008 号: 4
ページ：pp.9-16， 発行年 2008 年 3 月 3 日．

[2] リファレンス PaPeRo i [非公式] Developer Forum(https://smilerobo.com/papero/reference/)[3] Wit.ai(https://wit.ai/)[4] Cloud Speech-to-Text ドキュメント(https://cloud.google.com/speech-to-text/docs/)[5] Python， Janome で日本語の形態素解析，分かち書き（単語分割）(https://note.nkmk.me/python-janome-tutorial/)

Group Report of 2019 SISP

- 18 -

Group Number 8

Practical application of robot-type user interaction

謝辞
本プロジェクトの活動にあたり， 以下の企業にご協力いただいております．心より感謝申し上げます．

•

株式会社エスイーシー•

NEC プラットフォームズ株式会社•

株式会社キングベーク•

函館新技術開発サロン

Group Report of 2019 SISP

- 19 -

Group Number 8