公立はこだて未来大学 2019 年度 システム情報科学実習
グループ報告書
Future University Hakodate 2019 System Information Science PracticeGroup Report

プロジェクト名
ロボット型ユーザインタラクションの実用化

Project Name
Practical application of robot-type user interaction

グループ名
ハード

Group Name
Hardware
プロジェクト番号/Project No.

8

プロジェクトリーダ/Project Leader
佐藤篤志

Atsushi Sato

グループリーダ/Group Leader
西野貴之

Takayuki Nishino

グループメンバ/Group Member
西野貴之

Takayuki Nishino

小枝俊也

Shunya Koeda

筒井康平

Kouhei TsuTsui

指導教員
三上貞芳，鈴木昭二，高橋信行

AdvisorSadayoshi Mikami Sho’ji Suzuki Nobuyuki Takahashi

提出日2020 年 1 月 22 日

Date of Submission
January 22,2020

概要
現在人手不足や人件費の高騰により，飲食店や小売店等の営業が困難になってしまうという問題が生じている．そこで，状況に応じて動作や言葉・感情を表現し，人々の生活の中で宣伝・接客・受付などのサービスを提供するサービスロボットが注目されている．しかし，現状の店
員の代わりに宣伝業務を行うサービスロボットは，店員側と顧客側の二つの側面で問題点が存在する．店員側の問題点は，サービスロボットの動作や発話を変更する際に専門的な知識が必要なことである．顧客側の問題点は，ロボット特有のぎこちなさや違和感が存在することである．そこで本プロジェクトでは PaPeRo i というロボット型インタフェースを用い，店員向けに専門的な知識無しに自分達でロボットの動作や発話内容を柔軟に編集することができるシステムの提案と開発を行い，顧客向けにロボット特有のぎこちなさや違和感を取り除くための提案と開発，またロボットに注目してもらう機能の提案と実現を行った．プロジェクトを遂行するにあたりグループをエディタ班，チャットボット班，ハード班の三つに分け開発を行った．

(※文責：佐藤篤志) 私たちは，本システムを実用化するにあたり二つの課題があると考えた．
一つ目の課題は，PaPeRo i に関心を持たせることである．二つ目の課題は，ユーザーインタ
ラクションを増やすことである．一つ目の課題を解決するため，私たちは外観を変えて試食イ
ンタラクションを行うことによりヒューマンインタフェースの拡張を行った．また，二つ目の課題を解決するため，私たちは対話者の行動に反応するためのセンサを設置した．私たちは，前期に函館の一般企業の方へのプレゼンテーションや中間発表によって意見を伺う機会を設けた．そこで得られた意見を基に新たなセンサの設置を行った．後期に行われた成果発表会においても同様に意見を伺う機会を設けた．評価の結果，拡張した PaPeRo i の実用性に多くの改善点が見られた．今後の展望として，衣装による外観の変更や新たなセンサの処理時間の短縮が挙げられた．(※文責：西野貴之)
キーワード

ロボット型ユーザーインタフェース，サービスロボット，WEB アプリケーショ

ン，JavaScript，Python，チャットボット，Linux，CAD，センサ-i-Abstract
Some restaurants and retail stores are getting diﬃcult to run due to short of manpower
and rising labor costs．Therefore，the service robot is attracting attention．The service
robot is express actions，words，and emotions depending on the situation and provide
services in daily life such as advertising，customer service，reception．However，theservice robot that responsible for public relations instead of shop clerks has problems
in shop clerk side and customer side．A shop clerk’s problem is that would be required
specialized knowledge to change the behavior and the speech of the service robot．A
customer side is that they feel awkwardness and strangeness particular to the robot．
Therefore，we used a robot type interface called ”PaPeRo i” and solved the above
problems．We proposed and developed the system for shop clerk side that someone canedit the robot behavior and speech contents ﬂexibly without specialized knowledge．In
customer side，we proposed and developed a system that removes awkwardness andstrangeness peculiar to robots，and functions that attracted attention from robots．
We divided into three groups，editor group，chatbot group，and hardware group to
carry out the project．We thought that there were two issues in putting this system
into practical use．The ﬁrst，it is necessary to make users feel interest in PaPeRo i．
The second，there is little user interaction with PaPeRo i．To solve the ﬁrst problem，
we extended the human interface by changing the appearance and performing tasting
interaction．To solve the second problem，we installed sensors to respond to the actionsof the interlocutor．In the previous term，we created opportunities to listen to opinions
through presentations to Hakodate general companies and midterm presentations．And，installed new sensors based on various opinions obtained from them．At the resultspresentation held in latter term，we also had the opportunity to ask for opinions．As
a result of the evaluation，many improvements were found in the practicality of the
expanded PaPeRo i．Future prospects include changes in appearance due to costumes
and reduction in processing time for new sensors．
Keyword
Robot-type user interface，Service robot，WEB application，JavaScript，
Python，Chatbot，Linux，CAD，Sensor（※文責：小枝俊也）- ii -

目次
第1章

はじめに

1

1.1

サービスロボットについて . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

1.2

現状におけるサービスロボットの問題点 . . . . . . . . . . . . . . . . . . . . . . .

1

1.3

使用するロボット. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

1.4

課題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2

プロジェクトの概要

3

2.1

ハード班の目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

2.2

プロジェクト学習で行う利点. . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

2.3

地域との関連性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

課題解決のプロセス

5

3.1

PaPeRo i が注目される外観 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

3.2

試食 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

3.3

年齢識別 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

課題解決のプロセスの詳細

6

外観 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6

4.1.1

問題点の把握と解決案 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6

4.1.2

吹き出し型モニターフレームの作製. . . . . . . . . . . . . . . . . . . . .

7

4.1.3

格納箱の作製 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8

4.1.4

腕の作製 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9

試食 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9

4.2.1

試食形態の把握 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

10

4.2.2

使用機器の把握 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

10

4.2.3

素材選定及び試作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

10

4.2.4

センサとの統合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

重量センサ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

4.3.1

機能の検討 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

4.3.2

機器の選定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

4.3.3

センサの実装 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

4.3.4

システムの実装 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

年齢識別 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

13

4.4.1

現状の問題点の把握 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

13

4.4.2

必要な機能の検討 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

13

4.4.3

使用機器の設定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

13

4.4.4

環境構築 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

14

4.4.5

年齢識別機能の実現 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

14

第2章

第3章

第4章

4.1

4.2

4.3

4.4

- iii -

4.5

第5章

5.1

5.2

第6章

6.1

6.2

6.3

機能統合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15

4.5.1

機能全体の構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15

4.5.2

Jetson Nano と Arduino Uno 間のシリアル通信. . . . . . . . . . . . . .

15

4.5.3

Jetson Nano とサーバ間の HTTPS 通信 . . . . . . . . . . . . . . . . . . .

15

結果

16

成果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

16

5.1.1

試食システム . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

16

5.1.2

外箱及び吹き出し . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

16

5.1.3

画像認識システム . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

16

評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

17

5.2.1

新技術開発サロンとの情報交換会への参加 . . . . . . . . . . . . . . . . . .

17

5.2.2

中間発表 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

17

5.2.3

成果発表会 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

19

まとめ

22

活動の振り返り . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

22

6.1.1

本プロジェクトの目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

22

6.1.2

本グループの目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

22

6.1.3

本グループの活動 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

22

6.1.4

本グループの成果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

23

6.1.5

プロジェクトの成果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

23

プロジェクトにおける各人の役割 . . . . . . . . . . . . . . . . . . . . . . . . . .

24

6.2.1

西野貴之 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

24

6.2.2

小枝俊也 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

25

6.2.3

筒井康平 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

25

今後の課題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

26

6.3.1

外観 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

26

6.3.2

換装モジュールの実装 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

27

6.3.3

重量識別ラグの緩和 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

27

6.3.4

感情表現モジュールの追加 . . . . . . . . . . . . . . . . . . . . . . . . . .

27

6.3.5

識別モデル最適化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

27

6.3.6

通信の JSON からフォームの検討 . . . . . . . . . . . . . . . . . . . . . .

28

6.3.7

カメラの配置の変更 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

28

付録 A

新規習得技術29

付録 B

活用した講義

30

参考文献

31

- iv -

Practical application of robot-type user interaction

第 1 章 はじめに
この章ではサービスロボットとその問題点や本プロジェクトで利用した PaPeRo i というロボッ
ト型ユーザーインタフェースについて，サービスロボットの問題点を踏まえ本プロジェクトで解決すべき課題について述べる．
（※文責：佐藤篤志）

1.1

サービスロボットについて

現在，飲食店や小売店では人手不足や人件費の高騰により営業が困難になってしまうという問題が発生している．そこで，状況に応じて動作や言葉・感情を表現し，人々の生活の中で宣伝・接客・受付などのサービスを提供するサービスロボットが注目されている．
（※文責：佐藤篤志）

1.2

現状におけるサービスロボットの問題点

しかし，現状の店員の代わりに宣伝業務を行うサービスロボットは，店員側と顧客側の二つの側面で問題点が存在する．店員側の問題点は，サービスロボットの動作や発話を変更する際に専門的な知識が必要なことである．実際の店舗では，プログラミングの知識がある外部の企業に依頼するというケースが非常に多い．これにより，コストや手間が余計かかることや現場の声がすぐにロボットに反映されないといった問題が生じてしまう．一方で顧客側の問題点は，ロボット特有のぎ
こちなさや違和感が存在することである．ロボットのぎこちなさとは，例として対話可能なロボッ
トでは会話の微妙なニュアンスを理解することができずに動作や話し方が滑らかでないことを指す．またロボットの違和感とは，例として同じ情報を伝えたい際に人間同士では情報を言葉や動作などで伝えるが，人間とロボットではタブレットを用いた文字で情報を伝えるといったしっくりしない感じを指す．サービス業において，相手に違和感を与えてしまうことは売上等に悪影響を及ぼしてしまうため避けたい問題である．
（※文責：佐藤篤志）

1.3

使用するロボット

今回私たちは，NEC プラットフォームズ株式会社が設計・開発したロボット型ユーザーインタ
フェースである PaPeRo i を利用した．PaPeRo i はプロジェクトを行うにあたって株式会社エス
イーシーから借用したものである．PaPeRo i には多数のセンサが搭載されている．例えば，セン
サには人の検出が可能な赤外線センサや，周囲の環境を計測するための温度センサ，加速度センサが搭載されている．カメラは顔を認識するための専用カメラと周囲の状況を撮影するための一般的なカメラを搭載している．また，感情表現用に顔と腹部に LED を備え，人の会話内容を認識する

Group Report of 2019 SISP

-1-Group Number 8

Practical application of robot-type user interaction
ためのマイクや人に話しかけるためのスピーカーを搭載している．これらの搭載されている多様な機能を最大限利用することにした．また，PaPeRo i は機器や機能の追加を前提とした設計がなされており，拡張が容易であるという利点ある．
（※文責：佐藤篤志）

1.4

課題

1.2 節で述べた問題点を踏まえ，本プロジェクトで解決する課題は以下の二点である．一つ目は，店員向けに専門的な知識無しに自分達でロボットの動作や発話内容を柔軟に編集することができるシステムの提案と開発を行うことである．二つ目は，顧客向けにロボット特有のぎこちなさや違和感を取り除くための提案と開発，及びロボットに注目してもらう機能の提案と実現を行うことである．これら二つの問題点を解決し，飲食店や小売店で店員の代わりに宣伝業務を行うサービスロ
ボットを開発することが本プロジェクトの課題である．
（※文責：佐藤篤志）

Group Report of 2019 SISP

-2-Group Number 8

Practical application of robot-type user interaction

第 2 章 プロジェクトの概要
この章ではハード班の目的やプロジェクト学習で実施する利点，及び地域との関連性などプロジェクトの概要について述べる．
（※文責：筒井康平）

2.1

ハード班の目的

ハード班は PaPeRo i 自体により注目してもらうためのハードウェア拡張の提案と開発を担当した．ハードウェア構築において，主軸となる問題点が二つあると考えた．

1. PaPeRo i 単体では真新しさに欠け，集客・宣伝効果が期待できない
サービスロボットは 2015 年頃からサービス業に普及しており，PaPeRo i 単体では真新しさに欠け注目されない可能性がある．その場合，他の班の制作物もその効果が発揮され難くなる．ハードウェア拡張を行い，見た目やセンサを用いた装置により注目させることで集客効果の向上を試みる．

2. ユーザーインタラクションが不足している
PaPeRo i は安価である代わりに各種センサは最低限のものである．そのため，バニラではユーザーインタラクション機能を搭載することは難しく，部分的に高性能なセンサに換装する必要がある．
以上の問題二点を念頭に，サービスロボットに注目してもらい効果的な宣伝を行うためのハード
ウェア拡張を行う．そして，見た目やセンサを用いたユーザーインタラクションにより集客効果の向上を試みることがハード班の目的である．
（※文責：筒井康平）

2.2

プロジェクト学習で行う利点

プロジェクト学習においてこのプロジェクトを行う利点は二つある．一つ目は，学習内容の違う学生が集まることである．プロジェクト学習においては別々のコースからチームが編成される．そのため，特技を生かした開発によりスキルアップや技術の共有を狙える．また，他コースの異なる価値観を持つメンバーでチーム開発を行うことで，授業でのチーム開発以上に実務的な開発環境となり有益な経験となる．二つ目は，地元企業に協力をいただく開発を授業として行うことである．
地元企業相手であるのでフィードバックも早く現地調査も容易である．また，生活環境も同じであるため通常の開発では気が付けない問題点にも気が付ける．そして授業という形式であるため，資金やコネクションといった開発以外の問題をある程度度外視できる．これはハードウェア開発という面では大きな利点となる．
（※文責：筒井康平）

Group Report of 2019 SISP

-3-Group Number 8

Practical application of robot-type user interaction

2.3

地域との関連性

本プロジェクトは，地域の企業及び団体によるご協力のもと進行された．株式会社エスイーシー
より提供された PaPeRo i を用い，実証実験として株式会社キングベークにシステムを設置していただいた．また，システムを新技術開発サロンとの情報交換会でご意見をいただきシステムを改良した．
（※文責：筒井康平）

Group Report of 2019 SISP

-4-Group Number 8

Practical application of robot-type user interaction

第 3 章 課題解決のプロセス
この章では，ハード班が取り組む課題について述べる．ハード班は 2.1 節にて述べた二つの課題解決に取り組む．解決方法は以下の通りである．
（※文責：西野貴之）

3.1

PaPeRo i が注目される外観

PaPeRo i とのインタラクションを増やすために，PaPeRo i が注目される外観となるよう工夫をする．また，後述する試食インタラクションとの違和感を無くすために PaPeRo i に腕を追加する．
（※文責：西野貴之）

3.2

試食

簡易的かつ効果的なインタラクションを実現するために，飲食サービス業にて汎用性の高い，試食を用いたシステムを構築する．
（※文責：筒井康平）

3.3

年齢識別

PaPeRo i とのインタラクションを増やし宣伝効果を向上させるために，カメラによる人体検知
により PaPeRo i からのインタラクションを可能にし，合わせて年齢識別を行うことによりユー
ザーの年齢にあった宣伝を実現する．
（※文責：小枝俊也）

Group Report of 2019 SISP

-5-Group Number 8

Practical application of robot-type user interaction

第4章

課題解決のプロセスの詳細

この章では，ハード班が取り組んだ内容の詳細を述べる．
（※文責：西野貴之）

4.1

外観

この節では PaPeRo i が注目される外観について述べる（※文責：西野貴之）

4.1.1

問題点の把握と解決案

今回私たちが使用する PaPeRo i の外観の特徴は，腕が無く胴体と頭のみである．頭は上下左右への動きが可能である．また，大きさは幅約 20cm，高さ約 30cm，奥行き約 23cm[1] の 2.5 頭身である．PaPeRo i の外観は以下の図 4.1 に示す．

図 4.1 PaPeRo i(NEC プラットフォームズ [1])

私たちは，PaPeRo i が注目されるにはどのような工夫が必要か議論した．結果，工夫すべき点が三つあると判断した．一つ目は，PaPeRo i が発話する内容とモニターに出力する内容の関係である．昨年度からキングベークに展示している PaPeRo i はモニターに出力した文章を話すのみである．私たちは，この状況はモニターから音を出力する場合との差異が無く，PaPeRo i の存在意Group Report of 2019 SISP

-6-Group Number 8

Practical application of robot-type user interaction
義が無いと考えた．そのため，私たちはモニターに画像を出力し，その画像について PaPeRo i が説明するよう変更した．さらに，モニターを設置する吹き出し型モニターフレームを違和感がないように変更した．二つ目は，PaPeRo i の周囲の外観である．今年は他のグループが構築するシス
テムとの連携を容易にするために新たにサーバ機用のノート PC を導入した．この PC は，昨年
外観を整えるために作製した格納箱に収まらない．そのため，新たに格納箱を作製して外観を整えるよう工夫した．三つ目は，試食インタラクションを追加した影響による PaPeRo i の存在意義である．4.2 節で述べるように，PaPeRo i は新たに試食インタラクションを担う．この影響で

PaPeRo i の存在意義を失う可能性がある．そのため，PaPeRo i 用の腕を追加し PaPeRo i の存在意義を高めた．
（※文責：西野貴之）

4.1.2

吹き出し型モニターフレームの作製

昨年の成果として，商品をモニターに出力し商品紹介を行った．その過程で，PaPeRo i が話している内容がモニターに映していた．そして PaPeRo i とモニターの関係を持たせるために吹き出し型モニターフレームを作製した．図 4.2 に示すように会話で用いる吹き出しである．

図 4.2 昨年作製した吹き出し型モニターフレーム

4.1.1 項で述べた通り私たちは，PaPeRo i がモニターに出力された文字を読むのみでは PaPeRoi の存在意義が無いと考えた．そこで，モニターに出力する内容は説明する商品の画像のみに変更
した．これにより PaPeRo i がその商品を想像して発話しているかのようにした．また，4.4 節で述べる画像認識にカメラを用いる．これを露出して設置すると外観を損なう．しかし，吹き出し型
モニターフレームの背面は PaPeRo i の頭ほどの高さにカメラを格納可能なスペースが存在した．
そのため，カメラの設置場所を前述したスペースにしたため，PaPeRo i の顔に近い位置で画像認識が可能であり，かつ外観を損なわず設置した．この変更により，図 4.3 に示すように，想像で用いる吹き出し型モニターフレームを作製した．吹き出し型モニターフレームは 3DCAD で 3D モ
デルを用意し，MDF で作製した．モニターを設置するにあたり，昨年の成果物である二脚看板型
モニターフレームを用いて，作製した吹き出し型モニターフレームを接着した．吹き出し型モニターフレームの下部には協力していただく企業である株式会社キングベークのロゴを刻印した．カ
メラ格納部は図 4.4 に示す．

Group Report of 2019 SISP

-7-Group Number 8

Practical application of robot-type user interaction（※文責：西野貴之）

図 4.3 今年作製した吹き出し型モニターフレーム

図 4.4 吹き出し型モニターフレームのカメラ格納部

4.1.3

格納箱の作製PaPeRo i を展示する上で，PaPeRo i 自身の配線やマイコンを露出すると外観を損ねる．この対策として，昨年は PaPeRo i の配線やマイコンを格納する格納箱を作製した．今年は更なる利便性向上を求めてサーバ機用にノート PC を用いる．しかし，昨年の格納箱は PC より小さいた
め，PC の格納は不可能であった．そのため，私たちは PaPeRo i の外観を保ちつつ PC を格納す
る格納箱を新規作製した．私たちが作製した格納箱は図 4.5 に示す．格納箱内の上部にはマイコンの Jetson Nano と Arduino Uno 本体やその配線，PaPeRo i の配線を格納する．そして下部にはサーバ機となる PC を格納する．また，昨年との変更点として，PaPeRo i が備える台を隠すように設置する．台を隠す目的は，台の上に乗る PaPeRo i が箱の上に乗る状態はおかしいと考え，これを回避するためである．
（※文責：西野貴之）

Group Report of 2019 SISP

-8-Group Number 8

Practical application of robot-type user interaction

図 4.5 格納箱

4.1.4

腕の作製

4.2 節で述べるように，PaPeRo i の仕事に試食インタラクションを追加する．試食インタラク
ションを実施する上で，PaPeRo i の前に台置いているのみでは PaPeRo i の存在意義が無いと考えた．そこで，自身の行動によって PaPeRo i が反応したと対話者が感じるために，PaPeRo i と台を繋ぐ腕を作製した．腕の作製をするにあたり，どのようなデザインがよいか考えた．初めに，ダンボールや発泡スチロールを用いて大まかなイメージを作った．その後，Fusion360 を用いてCAD で腕のデータを作製した．作製した CAD データは 3D プリンタで出力した．作製した腕は図 4.6 に示す．腕は，関節を作ることで可動範囲に余裕を持たせることに成功し，微調整が可能である．また，腕は 5mm の隙間を設けて図 4.6 に示すように皿を持つことが可能である．
（※文責：西野貴之）

図 4.6 腕4.2

試食

この節では，新技術開発サロンとの情報交換会においてご意見いただいた「インタラクティブなシステム」を実現するため，固定ロボットである PaPeRo i が行える実務として実装した試食台について述べる．

Group Report of 2019 SISP

-9-Group Number 8

Practical application of robot-type user interaction（※文責：筒井康平）

4.2.1

試食形態の把握

今日の試食は多様な形態となっており，PaPeRo i に適応する際には最適な形態を検討する必要がある．一般的な試食は，商品を食べやすい大きさ・量にして並べる陳列方式と，店員が客を呼び込み試食を提供すると供に商品アピールを行う販売員方式に大別される．前者は人件費が抑えられるが商品のみでアピールする必要があり，商品の良さが十分に伝わらない．後者は販売員が直接アピールすることにより大きな売上向上効果が望めるが，人件費が掛かる上に販売員の接客スキルにより売り上げが左右される問題点がある．試食をサービスロボットに代行させるのならば，代替させる利点を明確にする必要がある．そのため，二種の試食形態の利点を検討し，サービスロボットに最適な形式とする必要がある．
（※文責：筒井康平）

4.2.2

使用機器の把握

今回使用するロボットは PaPeRo i である．このロボットは小型の固定ロボットであり，機能も限られていることから，完全な人間の代用とはならない．しかし，試食という職務においては必ず
しも機能性を求められない．移動モジュールを備えたロボットであれば，自ら客の場所に移動することによって潜在的顧客の獲得につながる可能性がある．しかし，現在の移動型ロボットは近年画像認識の速度が向上したとはいえ，ロボットに配慮しない移動をされると衝突からなる事故が発生しかねない．また，移動モジュールはハード・ソフト両面において高価であり，また効果が導入まで未知数であることからも，体力に余裕の無い企業では導入は難しい．今回は，PaPeRo i に試食
台及び試食機能を搭載することによって，安価で安定した試食効果を上げることを目的に試食台を作成する．この場合，4.2.1 項で言及した二種の試食形態の中間的な存在となる．PaPeRo i はラン
ニングコストが低く抑えられるため，24 時間稼働させられる上にある程度の集客効果を発揮する．
これは，サービスロボットに求められる潜在的需要を見たす存在となりうる．
（※文責：筒井康平）

4.2.3

素材選定及び試作

試食台は市販の木皿と伝達機構の 2 パーツで構成される．コンセプトの定まっていない初期段階
では，1.5mm 厚の MDF を二枚重ねることで試食台とした．この場合，取り外す際には二枚に分割されてしまい，二枚を接合した場合は汚れが隙間に入ってしまった際の不衛生さが指摘された．
次に市販の木皿を腕に装着する案が出された．この場合，洗浄が容易かつ大きささえ合致すれば使用者が自由に試食台を選択できる．最終的に木皿案を採用，様々な大きさの皿に対応するため支柱
上部に水平板を装着しその上に皿を置く形となった．万が一腕に装着できずとも水平板に固定すれば機能し，水平板を簡易なものにすることで軽量化と改良の容易さを実現した．支柱は初期ではアクリル板を T 形鋼のようにすることで耐久性向上と軽量化を試みた．しかし，T 字ではガイドとの接点が増えることで摩擦が増大し，一定以下の重量を計測できないことが判明した．そのため，支柱を円柱とすれば摩擦が減りスムーズな計測が可能ではないかとの提案が出た．木の端材を利用

Group Report of 2019 SISP

- 10 -

Group Number 8

Practical application of robot-type user interaction
し試作したところ結果は良好であったため，外径 6mm ステンレスパイプを支柱として水平板と接合した．作製した試食台は図 4.7 に示す．
（※文責：筒井康平）

図 4.7 試食台

センサとの統合

4.2.4

センサとの統合にあたり，誤差なく試食台に乗せられた試食の重量を伝達する必要がある．支柱
直下に重量センサを配置することで重量を計測する案で固まっていたため，重量センサの真上に支柱が来るように試食台が配置された．しかし，試食台は完全には固定されておらずセンサの精度が疑問視された．初期では箱から支柱の形にくりぬいた板を二段配置することで安定性を確保した．問題なく重量を検知することができたが，重量減少では少々の誤差が出た．摩擦が原因であると考えられたため，より摩擦を減らすために外径 10mm ステンレスパイプをガイドとして箱に固定した．
（※文責：筒井康平）

4.3

重量センサ

この節では，試食台と連携する重量センサについて述べる．
（※文責：筒井康平）

4.3.1

機能の検討

キングベークを利用する年齢層は特定ではなく，老若男女問わず来客する．このとき，PaPeRo

i 自体に興味を持つのは子供が多いが，試食は客層のすべてが対象となりうる．このため，試食を検知するセンサは対象の身体的特徴に依存するのは確実性に欠ける．また，子供の動作は予想できないものが多く，一定の動作をトリガーにしては誤動作が生まれる可能性が高い．高価なセンサを搭載することで精度面での改善は可能であるが，PaPeRo i は他のサービスロボットに比べ安価であることも長所の一つであると考えると好ましい手段とは言えない．以上から，確実に試食を認識できること．そして，対象の動作にとらわれないことが求められた．

Group Report of 2019 SISP

- 11 -

Group Number 8

Practical application of robot-type user interaction（※文責：筒井康平）

4.3.2

機器の選定

試食を検知するため用いることができるセンサを検討した際に，センサを物理型と非物理型に分類した．物理型は体重計などに用いられるひずみゲージを用いる．確実な計測ができるが，重量計測以外への流用はかなわない．非物理型は赤外線やカメラモジュールを用いることで手や試食品の減少を感知する．応用が利き重量を問わず数量を計測できるが，高度な制御が求められるため処理を外部に要求することとなる．ローカルの場合は電力消費量が増大し，オンラインで処理する場合
はネット環境に依存することとなり汎用性に欠ける．また，大型の物理センサを PaPeRo i の前に設置することで，相手の体重を検知するシステムも提案された．しかし，体重は個人差が大きく，試食を確実に検知することは現実的ではない上に，PaPeRo i が小型である利点を消してしまう．
よって小型の物理型センサを用いることで課題の解決を目指す．
（※文責：筒井康平）

4.3.3

センサの実装初めに，物理型センサとして体重計を流用することが検討された．体重計は身近で安価かつ信頼性のある重量センサであると考えたためである．体重計を分解・改造することで機能をそのまま移植できるとされたが，体重計用に設計されたセンサを流用するのはデッドスペースが生じ無駄が多いことが判明した．体重計はてこの原理を用いている都合上，センサは水平方向に空間を必要とする．また，水平面で利用することが前提であるため，商品が偏る可能性のある試食には適格とは言えない．そこで，ロードセル (SC13320kg) を箱に固定することで小型化と共に軽量化を達成した．ロードセルはひずみを検知して重量を計測する機器である．小型で複雑な機構を備えていないため，将来的には他の用途にも利用できる．今回は重力方向への計測を行うため，ねじで 1．5mmの MDF を用いたスペーサーと共に箱に固定した．
（※文責：筒井康平）

4.3.4

システムの実装

機能実装にあたり Arduino Uno を使用した．Arduino Uno はロードセルからデータを受け取ると重量を保持する．データを保持した状態でデータが送信されると保持しているデータと照合，あらかじめ設定された数値以上の差が出ていればデータの変動量と現在値を送信する．変動量を合わせて送るのはデータ損失に備えるためである．実際，安定した環境で行われたテストでは 30 分に一度程度の割合でデータが送られないことがあった．また，環境によってはデータ送信の要求を出されるまで待機する機能も実装した．これにより，将来的にセンサを増設した場合はデータをまとめて送ることが可能となる．なお，実装にあたり秋月電子通商の Arduino サンプルソース [2] を参考にした．
（※文責：筒井康平）

Group Report of 2019 SISP

- 12 -

Group Number 8

Practical application of robot-type user interaction

4.4

年齢識別

この節では，カメラによる年齢判別について述べる．
（※文責：小枝俊也）

4.4.1

現状の問題点の把握

キングベークを利用している年齢層は子どもからお年寄りまで様々である．これに対して，実際に店舗に設置した PaPeRo i を利用しているユーザーは子どもが圧倒的に多く，大人やお年寄りの利用は少ないという問題がある．また，ハード班で開発した試食システムはユーザーの行動に対する受動的な動作だけである．そのため能動的な動作がなく，PaPeRo i からユーザーとのインタ
ラクションを始めるきっかけを作ることが不可能である．これらの問題を解決するため，カメラと Jetson Nano というシングルボードコンピュータを用いて年齢判別を行い，PaPeRo i からインタラクションの機会を作る．さらに，年齢に合わせた宣伝を行うことを可能とすることで，現在

PaPeRo i の利用が多い子供に対してより子供向けの宣伝を行うことでさらなる利用機会の増加を目指す．そして，利用の少ない大人に対しては，大人向けに判断して PaPeRo i が宣伝行うこと
で，大人の利用客増加による宣伝効果の向上を目指す．
（※文責：小枝俊也）

4.4.2

必要な機能の検討

上記の問題点の解決のために，どのような機能が必要か検討した．検討するに当たり，最初にPaPeRo i を利用するケースを想定した．想定の例として，PaPeRo i を利用している状態では利用者が PaPeRo i の正面に立った状態で対面しており，PaPeRo i や吹き出しのディスプレイに注目している．この状態では，カメラで対面している人の顔を認識し顔を識別した後その人の年齢はいくつであるのかを判別する．そして，対面し PaPeRo i に注目しているうちに判別を終了し，サーバ送信の後宣伝の変更を行う．また，PaPeRo i に注目していない人を想定して宣伝の機会を増やすことに対して，PaPeRo i よりある程度距離が離れている状態でも年齢識別を行い，PaPeRo i から話しかけることで宣伝を行う．これらの想定から，必要な機能は人が PaPeRo i からある程度の距離の範囲で年齢識別ができることと，リアルタイムで年齢識別の処理をおこなうことである．
（※文責：小枝俊也）

4.4.3

使用機器の設定

上記の画像認識や TensorFlow などを用いた機械学習を行うために必要なハードウェアを検討した．最初に，年齢識別を実装するにあたり，使用するコンピュータは CPU だけでなく，並列計算を得意とする GPU を搭載した機器を用いて処理をすることが必要である．しかし，GPU を搭載したノート PC のようなコンピュータを利用した場合，上記の機能要件に対して無駄な機能が多く，消費電力が大幅に増加してしまう．また，PaPeRo i と一体のシステムとして組み込む場合，物理的なスペースを大きく占領してしまう．このため PC を使用することは不可能である．そこGroup Report of 2019 SISP

- 13 -

Group Number 8

Practical application of robot-type user interaction
で，小型のシングルボードである Raspberry Pi を利用することも検討したが，こちらは機械学習などに用いるには性能不足であり，機能要件を満たすことが難しいため使用は不可能である．そこで今回は 2019 年に発売されたばかりの Jetson Nano というシングルボードコンピュータを使用した．Jetson Nano はクアッドコア CPU と 4GB のメモリを搭載し，加えて CUDA コア 128 基のGPU を搭載していた．そのため機械学習などの AI アルゴリズムを Raspberry Pi よりも非常に高速かつ安定して処理することが可能である．また，Raspberry Pi とほぼ同形である 70 x 45mmの小型であることに加え，消費電力も最高で 10 ワット程度に抑えることができるため，今回の機能を実現するにあたって非常に有用である．最後に，HPPTS 通信を用いてサーバ通信を行うために，UBS 接続の無線 LAN 子機を Jetson Nano に接続し使用した．今回使用した Jetson Nano は
図 4.8 に示す．
（※文責：小枝俊也）

図 4.8 Jetson Nano

4.4.4

環境構築

Jetson Nano を用いた年齢識別に必要な環境を構築した．最初に，Jetson Nano に必要な OS を
インストールし，microSD に保存した上で Jetson Nano の起動を行った．次に，年齢識別の深層学習を行うために Python 言語をインストールした．Python のバージョンは 3.6.8 とした．更に，Python を用いた深層学習として，TensorFlow ライブラリをインストールした．TensorFlow のバージョンは 1.3 とした．また，カメラで撮影した画像の処理を行うため OpenCV ライブラリを
インストールした．さらに，顔検出機能を実現するため，dlib ライブラリをインストールした．
（※文責：小枝俊也）

4.4.5

年齢識別機能の実現

今回は年齢識別機能の実現に際して，MIT ライセンスで GitHub にて公開されている Tensor-

Flow の学習済みモデル [2] を用い，Python にて年齢識別機能を実現した．年齢識別の大まかな流れとして，OpenCV を用いて USB カメラモジュールから画像を取得し，数列として処理しやすい形へ変換した後，dlib を用いて顔領域の検出を行う．顔領域が検出された場合，学習済みモデルを用いて顔領域の年齢がいくつであるかを判別，出力する．これにより年齢識別を実現した．

Group Report of 2019 SISP

- 14 -

Group Number 8

Practical application of robot-type user interaction（※文責：小枝俊也）

4.5

機能統合

試食システムに用いた重量センサと Arduino Uno，そして年齢識別を行う Jetson Nano を連携
し，Jetson Nano からサーバに通信を行うことで PaPeRo i の動作を実現した．
（※文責：小枝俊也）

4.5.1

機能全体の構成

現在の構成では，重量センサの値や，Jetson Nano で行った年齢識別の値をサーバに送信し，サーバから PaPeRo i に通信をすることで PaPeRo i が動作する．この通信を実現するため，ハード班での機能統合として大きく二つの接続を行った．最初に，重量センサを制御する Arduino Uno
を Jetson Nano に USB で接続し，Arduino Uno の電源供給とともに，Jetson Nano へ重量セン
サの値をシリアル通信にて送信する．そして，Jetson Nano は Arduino Uno から受け取った重量センサの値と，自身で処理した年齢識別の値の二つを，https 通信を用いてサーバに接続する．
サーバに送信した後は，エディタ班により処理され，PaPeRo i が動作する．
（※文責：小枝俊也）

4.5.2

Jetson Nano と Arduino Uno 間のシリアル通信

Arduino Uno から Jetson Nano へ優先で接続された USB にてシリアル通信を行う．Arduino
Uno は重量センサの生の値と，前回の取得値からの変化量を合計で 5 バイトの形式にして送信す
る．Jetson Nano はこの 5byte を一つのデータの塊として取得し，最初の 1 バイトをヘッダとして，次の 2 バイトを連続したビット列の重量の値として，残りの 2 バイトを最上位ビットを符号とした連続するビット列の重量の変動値として処理する．この処理により，Arduino Uno から

Jetson Nano へ重量値と重量の変動値の通信を実現した．
（※文責：小枝俊也）

4.5.3

Jetson Nano とサーバ間の HTTPS 通信

Arduino Uno から受け取った重量センサの重量値，重量の変化値を Jetson Nano は受け取った後，自身で処理した年齢識別の年齢の値，人数の値とともにまとめて JSON 形式に形成する．

JSON を作成した後，Jetson Nano の無線 LAN を用いて，サーバへ HTTPS 通信を試行し，接続が成功した場合，先程形成した JSON を送信する．
（※文責：小枝俊也）

Group Report of 2019 SISP

- 15 -

Group Number 8

Practical application of robot-type user interaction

第5章

結果

この章では，ハード班の取り組みについての結果を述べる．
（※文責：小枝俊也）

5.1

成果

本プロジェクトにおいてハード班は，PaPeRo i を用いた宣伝効果の向上を目的としてハード
ウェアの拡張を行った．その成果は以下の通りである．
（※文責：小枝俊也）

5.1.1

試食システム

試食台とそれに付随するセンサを用いることにより，ユーザーによる試食行動を検知し，PaPeRo

i が発話を行うシステムを構築した．これにより，試食によるインタラクションを行うことができた．
（※文責：小枝俊也）

5.1.2

外箱及び吹き出し

上記で作成した試食システム，画像認識システムに使用した機器類や，エディタ班が使用するサーバを PaPeRo i と一体化する役割として，外箱を作成した．また，PaPeRo i の宣伝を補助す
る液晶ディスプレイの外観に PaPeRo i との一体感を持たせるため，ディスプレイを覆う吹き出しを作成した．
（※文責：小枝俊也）

5.1.3

画像認識システム

試食による相互作用に加えて，キングベークでは子供から大人まで幅広い世代が利用していることから，ユーザーの年齢に合わせた宣伝を行うことで宣伝効果の向上が期待できる．そのため画像認識による年齢判別を実現した．これにより，子供へおすすめのパンの宣伝や，お年寄りに食べてほしい商品の提案など，ユーザーに合った宣伝を行うことができた．
（※文責：小枝俊也）

Group Report of 2019 SISP

- 16 -

Group Number 8

Practical application of robot-type user interaction

5.2

評価

本プロジェクトでの活動を，新技術開発サロンとの情報交換会，中間発表，成果発表会の場にて発表することができた．
新技術開発サロンとの情報交換会では一部参加企業の方々に対して発表を行った．発表に対し，企業としてビジネス的な視点と技術的な視点から具体的な意見と共に評価を頂くことができた．
中間発表では，学生や教員などに対し本プロジェクトの前期の成果を発表した．そして，発表に対する意見やアンケートを受け，後期の活動に向けてのアイディアやプロジェクトの方向性についての評価を得ることができた．
成果発表会では，学生や教員などに対し本プロジェクトにおけるの活動の成果を発表した．発表を聞いてくださった方の意見や，アンケートの結果より本プロジェクトでの活動と今後の展望について評価を頂くことができた．
（※文責：小枝俊也）

5.2.1

新技術開発サロンとの情報交換会への参加

2019 年 6 月 19 日に行われた新技術開発サロンの参加企業に対し，本プロジェクトの活動内容について発表を行い，様々な評価をいただくことができた．企業の方には，PaPeRo i に自動対話を実装することができれば，対話をリアルにすることができるという意見や，PaPeRo i に内蔵されているカメラを使って人を検知することに対して，重量センサを用いることで大人と子供の識別ができるのではないかといった意見を頂いた．これらの意見を参考に後期の活動では，チャットボッ
ト班による音声認識，自動対話に加えて，ハード班ではセンサによる人体検知機能を実現することができた．
（※文責：小枝俊也）

5.2.2

中間発表

2019 年 7 月 19 日に行われた中間発表会にて，学生や教員などに対し本プロジェクトの前期の成果を発表し，多くの方々からフィードバックを得た．発表と同時にアンケートを実施した．アン
ケートの内容は，発表技術について「プロジェクトの内容を伝えるために，効果的な発表が行われているか」，ハード班の成果について「試食台・腕は PaPeRo i の外観と合致しているか」，そして実用性について「拡張した PaPeRo i は店舗で役に立つか」であった．それぞれの項目に対して 10
段階の評価と，その評価になった理由や感想の記入をして頂いた．
はじめに発表技術について述べる．44 名からの評価をいただき評価の平均値は 7.2 であった．評
価の理由は以下である．

• スライドが分かりやすく，内容とあっていてよかった• 声が大きくて聞き取りやすかったなどの意見が上げられたが一方では• スライドで赤文字が多いページがどこが大切なのか伝わりにくい
Group Report of 2019 SISP

- 17 -

Group Number 8

Practical application of robot-type user interaction• もう少しゆっくり話した方がよかった• ポスターが活かされていないなどの意見も頂いた．事前に担当教員に対し発表練習を十分にした上で発表を行えた点や，発表内
容とスライドの内容を推敲し整合性をもたせたことが評価できたと言える．一方で，発表時間が制限されている中で内容を簡潔に説明できなかったことや，ポスターを発表に用いることができな
かった点が課題である．発表技術の評価について，図 5.1 に示した．横軸は点数であり，縦軸は人
数である．

図 5.1

中間発表会における発表技術についてのアンケート結果

次に PaPeRo i の試食台・腕についての評価を述べる．27 名から評価をいただき評価の平均値は7.3 であった．評価の理由は以下である．
• PaPeRo i が持っている姿はかわいいので人気がでそうなどの意見が挙げられたが一方では• (試食台を支えている) 支柱は見えないようにした方が良いなどの意見も頂いた．3DCAD で設計し装着した腕と試食台の見た目が評価できたと言える．一方で，実際にセンサを載せて試食システムとして機能できていない点や，腕の制作に時間がかかり，腕と台を支え結合する部分が簡素で PaPeRo i には不自然に見えてしまった点が課題である．

PaPeRo i の試食台・腕の評価について，図 5.2 に示した．横軸は点数であり，縦軸は人数である．

図 5.2

中間発表会におけるハードウェア拡張についてのアンケート結果

最後に，実用性ついての評価を述べる．27 人から評価をいただき，平均値は 6.4 点であった．評
価の理由は以下である．

Group Report of 2019 SISP

- 18 -

Group Number 8

Practical application of robot-type user interaction• 見た目は良いのでうまくサービス化できれば人気が出ると思う• 宣伝効果があるとおもうなどの意見が挙げられたが一方で• 今のところこれを使うことで得られるメリット少ない• 人ではなくロボットを使う理由づけが足りないなどの意見も頂いた．ロボットとしての物理的な試食を提案できたことや，視覚での印象を残しや
すい腕をつけたことが評価できたといえる．一方で，現在の成果では試食により反応する機能が実装されていないことで，動く物理的なロボットである必要性が薄れてしまっている点が課題である．実用性の評価について，図 5.3 に示した．横軸は点数であり，縦軸は人数である．

図 5.3 中間発表会における PaPeRo i の実用性についてのアンケート結果

これらの得られた意見をもとに，後期の活動ではロボットとしてインタラクションをするため試食システムへの重量センサ導入，人体認識機能の実現を目標とした．
（※文責：小枝俊也）

5.2.3

成果発表会

2019 年 12 月 6 日に行われた成果発表会にて，学生や教員などの方々に対し，本プロジェクトの成果を発表した．成果発表会では，グループ毎に目的，活動内容，今後の展望を発表した．また，発表の場で聴衆に対しアンケートを実施した．アンケートの内容は，発表技術について「プロジェクトの内容を伝えるために，効果的な発表が行われているか」とハードウェア拡張について「箱と腕のデザインは注意を引きやすいか」であった．それぞれの項目に対して 10 段階の評価と，その評価になった理由や感想の記入をして頂いた．
はじめに発表技術についての評価を述べる．44 名から評価をいただき評価の平均値は 7.1 であった．評価の理由は以下である．

• デモンストレーションがあって良かった• 動画を用意しているのが良かった• スライドが見やすいなどの意見が挙げられたが一方では• 声が聞こえにくいGroup Report of 2019 SISP

- 19 -

Group Number 8

Practical application of robot-type user interaction• 原稿だけを見ている• スライド 1 枚の情報量が多いなどの意見もいただいた．成果物を実際に動かしながら発表を行い発表を行えた点や，発表に対し十分な期間を設け準備することができた点が評価できたと言える．一方で，発表の際に聴講者を見て発表していなかった点や，発声練習等が不十分であった点が課題である．発表技術の評価について，図 5.4 に示した．横軸は点数であり，縦軸は人数である．

図 5.4

成果発表会における発表技術についてのアンケート結果

次にハードウェア拡張についての評価を述べる．33 人から評価をいただき平均値は 7.5 であった．評価の理由は以下である．

• 重量センサで試食の判断をするのはおもしろい• シンプルだがかわいらしく注目を得られるものだと思う• 顔を認識するシステムは良いなどの意見が挙げられたが一方では• 商品の宣伝に効果があるのか疑問• デザイン的に注意はあまり引かれないと感じた• 注意を引きやすいと思わないなどの意見も頂いた．腕とし試食台からなる試食システムに重量センサを搭載したことや，カメラによる年齢識別を実装したことでインタラクションを実現できた点が評価できたといえる．一方で，試食システムや年齢識別が商品の宣伝という点で直接の効果を発揮できなかったことや，箱や腕のデザインに改良の余地がある点が課題である．ハードウェア拡張の評価について，図 5.5 に示した．横軸は点数であり，縦軸は人数である．

図 5.5

成果発表会におけるハードウェア拡張についてのアンケート結果

Group Report of 2019 SISP

- 20 -

Group Number 8

Practical application of robot-type user interaction
これらの得られた意見より，来年度の活動ではより宣伝効果を高められるような腕や箱のデザインの改良に加え，試食システムや年齢識別を宣伝に直接利用できるような改良が必要である．
（※文責：小枝俊也）

Group Report of 2019 SISP

- 21 -

Group Number 8

Practical application of robot-type user interaction

第6章

まとめ

この章では，活動の振り返り，プロジェクトにおける各人の活動詳細及び今後の展望について述べる．
（※文責：西野貴之）

6.1

活動の振り返り

この節では，プロジェクトとグループの目的や活動，成果をまとめる．
（※文責：小枝俊也）

6.1.1

本プロジェクトの目的

本プロジェクトは，人手不足や人件費の高騰により経営が困難になっている飲食店及び小売店向けに，サービスロボットに業務の一部を代行させることで負担を軽減させることを目的に進行された．
（※文責：筒井康平）

6.1.2

本グループの目的

我々ハード班は PaPeRo i のハード面での二つの問題を解決するため活動した．第一にサービス
ロボットはありふれており，集客効果に欠けること．第二にユーザーインタラクションが不足していること．二点を解決しつつ集客効果を高めるハードウェア拡張を行うことを目的に活動した．
（※文責：筒井康平）

6.1.3

本グループの活動

6.1.2 項で述べた問題を解決するには，集客効果向上のためには注目される外観と，PaPeRo i との対話機会の増加が必要と判断した．活動前期に試食システムの導入を決定した．同時に PaPeRo

i に装着する腕と，格納箱の製作に着手した．活動後期ではセンサの導入を決定し，センサの制御やセンサとマイコン，サーバ機であるノート PC との通信を確立した．同時に，吹き出し型モニターフレームの製作と，前期製作した格納箱の修正に取り掛かった．
（※文責：西野貴之）

Group Report of 2019 SISP

- 22 -

Group Number 8

Practical application of robot-type user interaction

6.1.4

本グループの成果

本グループの成果は四つある．一つ目は PaPeRo i が注目されるために吹き出し型モニターフ
レームを作製した．モニターに出力する内容を画像に絞るため，想像に用いる吹き出しを作製した．二つ目は PaPeRo i の外観を整えるために格納箱を作製した．格納箱には PaPeRo i の配線やマイコン，センサ，サーバ機であるノート PC を格納する．同時に，吹き出し型モニターフレー
ムを固定する役割を担う．三つ目は PaPeRo i が注目されるために試食システムの導入をした．試食システムの実現のため試食台と PaPeRo i に装着する腕を作製した．そして試食システムに重量センサを搭載したことにより，試食を通じた利用者と PaPeRo i とのインタラクションを可能にした．四つ目は対話機会を増やすためにカメラによる年齢識別を実施した．年齢識別の結果から

PaPeRo i 宣伝内容を変化させることで集客効果の向上とインタラクションの増加を図った．
（※文責：西野貴之）

6.1.5

プロジェクトの成果

本プロジェクトは三つの班に分かれて 1.2 節に示す課題解決を目指した．各班の成果物の関係は
図 6.1 に示す．

図 6.1

システム構成本プロジェクトにおける私たちハード班の役割は，重量センサやカメラで取得した情報をマイコンで処理し，サーバ機の PC へ信号を送ることである．そしてエディタ班との連携により，サーバ機が受ける信号によって PaPeRo i の会話を変化させることを実装した．また，吹き出し型モニターフレームは図 6.2 に示すように，エディタ班がモニターに映す商品を PaPeRo i が想像するように見える外観にした．
（※文責：西野貴之）

Group Report of 2019 SISP

- 23 -

Group Number 8

Practical application of robot-type user interaction

図 6.2 PaPeRo i

6.2

プロジェクトにおける各人の役割

この節では，本プロジェクトにおける本グループのメンバーが行った活動について述べる．
（※文責：西野貴之）

6.2.1

西野貴之

[5 月] Flask を用いてサーバを立てることや，Python を用いて SQL を操作することを実際に操作することで学んだ．また，PaPeRo i を操作する基礎知識を PaPeRo i のシミュレータなど用いて学び，実際に PaPeRo i を操作した．また，コミュニケーションロボットを用いることの必要性を論文から検討した．ハード班への配属後は，PaPeRo i の内部構造の把握と試食システムの検討を基にハード班の達成目標を決めた．その後，試食システムに用いる腕と台のプロトタイプをダン
ボールで作製し，作製物のイメージをメンバーと共有した．

[6 月] 試食システムの実用性を検討し，実際に作製を開始した．発泡スチロールを用いて腕の各パーツの形状を検討した．その後 3D プリンタを用いて作製することを決定し，3DCAD の操作を様々な 3D モデルを作製する練習を重ねた後，腕パーツの設計を開始した．

[7 月] 3DCAD にて設計した 3D モデルをシミュレータで結合テストを行い，全体の形状の再検討を行った．その後実際に 3D プリンタで実際に出力行い，幾度か形状の修正とパーツのフィッ
ティングを行った後，腕パーツを作製した．また，ディスプレイなどを PaPeRo i と一体として整形するためにそれらを納める箱の作製を行った．中間発表では作製した腕パーツと台の展示を行うとともに，ハード面での質疑応答に対応した．

[8 月] 公立はこだて未来大学のオープンキャンパスに出展し，中間報告同様に作製した腕パーツと台の展示を行うとともに，ハード面での質疑応答に対応した．

[9 月] 後期過程でのプロジェクト全体のスケジュールの共有，ハード班での後期の達成目標の決定を行った．また，試食システムに用いる重量センサであるロードセルの制御基板のはんだづけとスピーカーの接着不良を改善するはんだづけを行った．

[10 月] 試食システムや箱などの拡張に必要な MDF 板やネジ類などの買い出しを行った．また，年齢識別に用いる Jetson Nano の OS インストール作業を行った．以降 Jetson Nano 関係はメンバーに任せた．サーバ機に PC を用いると決定したため，PaPeRo i を格納する箱の修正を

3DCAD で行った．平行してモニターに接着する吹き出しの作製を 3DCAD で行った．
[11 月] 先月に続き，箱の修正を 3DCAD で行い，MDF で作製した．吹き出しは二パターンをGroup Report of 2019 SISP

- 24 -

Group Number 8

Practical application of robot-type user interaction
3D モデルとして用意し，一方を MDF で作製した．モニターを設置するにあたり，昨年の成果物であるモニターを格納する箱を用いて，作製した吹き出しを接着した．これを設置するために

PaPeRo i を格納する箱を修正した．
[12 月] 成果発表会では，ハード班で行ったハードウェア拡張の背景や構成発表とそれらのデモを担当した．その後，ハード班のグループ報告書の執筆を行った．
（※文責：西野貴之）

6.2.2

小枝俊也

[5 月] Flask を用いてサーバを立てることや，Python を用いて SQL を操作することを実際に操作することで学んだ．また，PaPeRo i を操作する基礎知識を PaPeRo i のシミュレータなど用いて学び，実際に PaPeRo i を操作した．また，コミュニケーションロボットを用いることの必要性を論文から検討した．ハード班への配属後は，PaPeRo i の内部構造の把握や，試食システムの検討に加え，試食システムに用いる腕と台のプロトタイプを制作した．

[6 月] 試食システムの実用性を検討し，実際に制作を開始した．発泡スチロールを用いて腕の各パーツの形状を検討することに加え，最終的に 3D プリンターを用いて制作することを決定し，3DCAD の操作を様々な 3D モデルを制作する練習を重ねた後，腕パーツの設計を開始した．
[7 月] 3DCAD にて設計した 3D モデルをシミュレータで結合テストを行い，全体の形状の再検討を行った．その後実際に 3D プリンターで実際に出力行い．幾度か形状の修正とパーツのフィッ
ティングを行った後，腕パーツを作成した．また，ディスプレイなどを PaPeRo i と一体として整形するためにそれらを納める箱の作成を行った．中間発表では作成した腕パーツと台の展示を行うとともに，ハード面での質疑応答に対応した．

[9 月] 後期過程でのプロジェクト全体のスケジュールの共有，ハード班での後期の達成目標の決定を行った．また，試食システムに用いる重量センサであるロードセルの制御基板のはんだづけを行った．

[10 月] 試食システムや箱などの拡張に必要な MDF 板やネジ類などの買い出しを行った．また，
年齢識別に用いる Jetson Nano の OS インストール作業を行った．

[11 月] Jetson Nano に用いるカメラモジュールの USB タイプへの変更，無線 LAN 子機の導入などを行った．また，Jetson Nano の年齢識別に必要な Python ライブラリのインストールや，各種アップデートなどの処理を行った．そして，年齢識別に用いる機械学習の知識を本を用いて学習しつつ，年齢識別の機能を実装した．最後に，重量センサに接続した Arduino Uno との通信，サーバとの HTTPS 通信などの機能を実装し，機能統合を行った．

[12 月] 成果発表会では，ハード班で行ったハードウェア拡張の背景や構成発表とそれらのデモを担当した．その後，ハード班のグループ報告書の執筆を行った．
（※文責：小枝俊也）

6.2.3

筒井康平

[5 月] React を用いて PaPeRo i をエディタから動かすシステムの試作を行った．また，コミュニケーションロボットを用いることの必要性を論文から検討した．エディタ班となった後は GitHub
で連携しつつ，リアルタイム機能，ドラッグ機能の実装を担当した．

Group Report of 2019 SISP

- 25 -

Group Number 8

Practical application of robot-type user interaction[6 月] リアルタイム機能を形にし，他の人員に引き継いだ．その後，新技術開発サロンとの技術交換会に向けて資料制作班に異動．資料制作を行った．

[7 月] 中間発表に向けてポスターの図及び文章を作成した．その際，Google Scholar にてサービ
スロボットについての論文を検索し根拠の補強を行った．また，中間発表用スライドの作成補助及び発表を担当した．

[8 月] 公立はこだて未来大学のオープンキャンパスに出展し，全体的な説明および質問回答を担当した．

[9 月] 後期過程でのプロジェクト全体のスケジュールの共有，ハード班での後期の達成目標の決定を行った．また，試食システムに用いる重量センサであるロードセルの制御基板のはんだづけとスピーカーの接着不良を改善するはんだづけを行った．

[10 月] ロードセルのプログラムを仮制作し，試食台での重量計測のテストを行った．また，ハード班の中枢となる Jetson Nano へのデータ転送テストを成功させたため，箱制作の端材より試食
代からの重量伝達機構を試作した．

[11 月] ロードセルを箱に組み込み重量センサ部を作成．より精度の高い伝達機構の試作と実装を行った．ハード部分の完成後，取得データの通信法の模索とサーバとの HTTPS 通信の試作をした後，Jetson Nano へ本実装した．

[12 月] 成果発表会では，全体に関わる総合的な部分やプロジェクト自体の目的などの発表を担当した．その後，ハード班のグループ報告書の執筆を行った．
（※文責：筒井康平）

6.3

今後の課題

この節では 5 章にて述べた結果を基に今後の展望を述べる．
（※文責：西野貴之）

6.3.1

外観

活動当初は，PaPeRo i の腕を複数のデザインを用意し，必要に応じて換装できる腕の作製を進めた．既に四パターンが 3D モデルとして作製済みだ．しかし，換装するために必要な接合部の強度と精度や 3D プリンタの出力時間が問題になった．結果，腕のバリエーションは一つのみの作製となり，接合部は接着剤によって結合した．同様に，吹き出しも，モニターを格納する箱から取り外し可能にする予定であった．3D モデルとして二パターン作製した．しかし，残り作業時間の関係で換装の実装を断念した．作製した吹き出しはモニターを格納する箱に直接接着した．昨年作製した衣装は，今年は優先順位を下げて着手しなかった．作製するにあたり，昨年の成果物と異なり，腕に干渉しない衣装を新規作製する必要がある．
（※文責：西野貴之）

Group Report of 2019 SISP

- 26 -

Group Number 8

Practical application of robot-type user interaction

6.3.2

換装モジュールの実装

現在の試食機構は PaPeRo i の前方に位置する関係から，箱前方に搭載するスペースを設けている．試食機構が機能している場合は良いが，使用されない場合はデッドスペースとなる．試食機構の取り外しは容易であるため，他の機構を取り付けられないか検討する．具体的には，タッチパネ
ルの増設やアンケートの回収などが挙げられる．伝達機構は配線には十分であるため電子機器の外部装着も可能である．
（※文責：筒井康平）

6.3.3

重量識別ラグの緩和

重量センサは重量が安定するまでに多少の時間を要する．また，安定した後にデータの整形と送信を行うため違和感を生じるには十分なラグが発生している．解決策としては，高性能なものに換装することはもちろん，安定する前に重量変動を感知したことのみを送信することで，正確なデータを要求されない動作を PaPeRo i にしてもらうことがあげられる．
（※文責：筒井康平）

6.3.4

感情表現モジュールの追加

現在の PaPeRo i は表情豊かとは言い難く，ロボット特有の不自然さが残る．ぎこちない動作はかわいいという感情を喚起させるものである．よって，感情表現を補助するモジュールを実装する
ことで，より小動物のような親近感を生み出すことが可能である．例として，耳や尻尾を装着し処理が開始された時点で無条件に動かせば，処理の遅延を考えている時間として表現することができる．瞼を実装することができれば，会話をするときに相手に生き物であるように感じさせることも可能である．
（※文責：筒井康平）

6.3.5

識別モデル最適化

現状の年齢識別に用いている深層学習モデルは TensorFlow を用いて学習したものであり，処理速度が高速ではない上に，10 代以下の低年齢層の識別に誤差が生じている点や，処理速度が遅い点などから，現在の識別モデルを改良する必要がある．改良案としては，TensorFlow での学習からPytorch を用いた学習に変更することや，モデルを TensorRT に対応したものに変換し，Jetson
Nano でより効率的にカメラでの画像処理を行うことが挙げられる．
（※文責：小枝俊也）

Group Report of 2019 SISP

- 27 -

Group Number 8

Practical application of robot-type user interaction

6.3.6

通信の JSON からフォームの検討

本プロジェクトで開発した PaPeRo i を動作させるための Jetson Nano とサーバとの通信は，

HTTPS 通信を用いて JSON 形式で重量センサと年齢識別のデータを送信しているが送信しているデータは JSON 形式にしなければならないほど複雑で大きなデータではないため，JSON では
なく HTTPS 通信の URL にデータを乗せるフォームの形式でサーバ通信をすることも可能である．これによりデータ送信を簡潔にでき，Jetson Nano から PaPeRo i への反応を早くすることが可能となる．
（※文責：小枝俊也）

6.3.7

カメラの配置の変更

現在年齢識別を行うために用いている USB カメラは，吹き出しに納めるようにして設置されているが，現状その向きでは人間の顔を識別するためには背が低く，大人が PaPeRo i に接近した状
態では背をかがめなければカメラの範囲内に入らないという問題がある．そのため今後はカメラを納める場所を改善し大人と子供のどちらが接近した状態であっても正確に識別することができるよ
う変更することが必要である．
（※文責：小枝俊也）

Group Report of 2019 SISP

- 28 -

Group Number 8

Practical application of robot-type user interaction

付録 A

新規習得技術• Computer Aided Design• 3D プリンタ• Adobe Illustrator• レーザーカッター

Group Report of 2019 SISP

- 29 -

Group Number 8

Practical application of robot-type user interaction

付録 B 活用した講義•

画像工学-Python を用いた基礎的な画像処理に活用した
•

センサ工学

-ロードセルなどの各種センサに関する基礎知識を活用し開発を行った•

情報処理演習 II-Arduino によるセンサ操作について活用した• システム管理方法論-本講義で学んだ Linux の基礎知識を基に Jetson Nano の OS インストールと初期設定を行ったGroup Report of 2019 SISP

- 30 -

Group Number 8

Practical application of robot-type user interaction

参考文献[1] NEC プラットフォームズ「PaPeRo i （パペロ アイ）: ソリューション・サービス — NEC プ
ラットフォームズ」(最終閲覧日：2020 年 1 月 24 日)

https://www.necplatforms.co.jp/solution/papero i/[2] Yusuke Uchida「age-gender-estimation」GitHub (最終閲覧日：2020 年 1 月 10 日)
https://GitHub.com/yu4u/age-gender-estimation[3] 秋月電子通商「HX711 使用 ロードセル用 AD コンバータ モジュール基板」(最終閲覧日：2020
年 1 月 21 日)

http://akizukidenshi.com/catalog/g/gK-12370/

Group Report of 2019 SISP

- 31 -

Group Number 8

Practical application of robot-type user interaction

謝辞
本プロジェクトの活動にあたり，以下の企業にご協力いただいております．心より感謝申し上げます．

•

株式会社エスイーシー•

NEC プラットフォームズ株式会社•

株式会社キングベーク•

新技術開発サロン

Group Report of 2019 SISP

- 32 -

Group Number 8