プロジェクト報告書（最終）Project Final Report

提出日 (Date) 2019/01/16

ロボット型ユーザインタラクションの実用化 ー柔らかで，あたた
かく，優しいサービスの実現へー

Practical application of the robot-type interaction
1016219 藤井佐和子 Sawako Fujii
1 背景ができない．セリフを変更する際には，貸出元である株式会社エスイーシーに変更を依頼し変更してもらってい

近年店舗などで人の代行業務をさせるためにロボットる．そのため，キングベークとの PaPeRo i に関する打型ユーザーインタフェースを導入する例が増えている．

ち合わせを行った際に，簡単に PaPeRo i のセリフや挙しかし，現状では，発話などの面において受け手に不安動を変更したいという要望があった．そこでエディタ班感や不自然さを与えることが多い．またロボットの表情

では手軽に PaPeRo i のセリフを変更することができるがほぼ一定なことから，受け手が感情を読み取れず，情アプリケーション「シナリオエディタ」を開発すること報が完全に伝わらないことが多い．また，ロボット操作にした．到達目標としては大きく分けて 3 つある．1 つやプログラミングについて知識がない人にはロボットを

目は情報機器に不慣れな方でも簡単に扱えるシナリオエ制御することが難しい．そのことから，店舗で利用するディタを開発すること．2 つ目はその場に応じた変更を際に，その店舗ごとに合った対応をロボットにさせるの容易にすることができるシナリオエディタの開発するこが非常に難しい．と．最後に，店内内部で変更を可能にすることができる

そこで本プロジェクトでは，PaPeRo i というロボッシナリオエディタの開発をすること．これらの 3 つを目

ト型ユーザーインタフェース通して，以上の問題を解標にシナリオエディタの開発をした．

決しようと考えた．また，実験に協力的なことやすでに

2.2

パペロ班

PaPeRo i が導入されている環境があることから株式会

パペロ班では，プロジェクトの問題解決に向けてロ社キングベーク（以下，キングベークと記す）での使用ボットに関連する技術分野での新規技術の習得，活用を想定して開発を行った．キングベークでは，店員がロを目指した．本年度では，PaPeRo i の動作や発話のプボットを扱うことができず，セリフの変更をするたびログラムの作成や，モニターの制御，ハードウェアの連に，取り扱い企業に頼む必要があり，変更に時間がか携システムの構築によって実現してくことを課題としかってしまうことから，その場で伝えたくなった情報がた．また，技術としては Python，シェルスクリプト，瞬時に伝えられない問題があった．また，ロボットが商MySQL の技術習得を目標とした．

品の紹介を口頭で話しているだけでなく，ロボット自体2.3が小さいために目立たないことからお客さんにもあまり注目されていないという問題点もあった．

2 課題の設定と到達目標

意匠班

キングベークで使用されている PaPeRo i は商品紹介をただ話すだけで感情表現が乏しいなどの理由から，情報伝達面に問題があった．また，ロボット操作やプログラミングについて知識がない人にはロボットを制御する

本プロジェクトでは「柔らかい」「あたたかい」「優しことが難しい．そこで意匠班では以上の課題を，主にデい」をコンセプトとするサービスの実現を目指し、エザイン面からのアプローチによって解決することを目指

ディタ班，パペロ班，意匠班の 3 つのグループに分かれし，本プロジェクトの目標である，「柔らかい」サービ

課題解決に向けて開発を行った．

ス，「あたたかい」サービスを実現することを目的とし

2.1 エディタ班
現状，キングベークに置いてある PaPeRo i ではセリ
フの変更をキングベークの従業員が自由に変更することた．また，．PaPeRo 班とエディタ班との連携に加えて，意匠班独自の制作物によってロボットと人間のコミュニケーションを円滑することに取り組んだ．

3 課題解決のプロセスとその結果
3.1 エディタ班
2.1 で記述した目標を達成できる実装環境や機能につなどの問題点があった．モニターシステムの導入にあたり，PaPeRo i の動作，発話とモニター映像を同期することが必要となった．モニターと PaPeRo i の連携を行うにために以下のようなプロセスを行うシステムの構築を行った．

いての検討を行った．結果，実装環境では情報機器に不慣れな人でも扱いやすいアプリケーションでの実装が決1. Paspberry Pi は PaPeRo i から信号を受け取る．

定した．実装機能は，店舗内で即座に変更が行われるよRaspberry Pi は受け取った信号から PaPeRo i のうにするため，変更の反映が主となる営業時間内と登録発話の有無を判断する．

が主となる時間外の 2 つに分けた．
エディタ班の成果物として情報機器に不慣れなユーザでも簡単に PaPeRo i の発話内容を新規作成，編集，削除できる Web アプリケーションであるシナリオエディ
タの開発を行った．シナリオエディタでは発話内容だけでなく，商品紹介をするパンの値段や宣伝画像，それらを使用する時間帯の登録も行うことができる．またユー
ザ間の共有や管理を容易にするために登録内容にタイトルの設定と備考の情報の登録を行えるようにした．これらの登録内容をまとめてシナリオと名付けた．
シナリオエディタの設計にあたり，情報機器に不慣れなユーザでも扱えるように情報の過多を防いだり，1 つのページで行える機能が多くならないように心がけた．

2. PaPeRo i が発話を終えていた場合，Raspberry Piからモニターへ出力画像の切り替えを行う命令をする．

3. Raspberry Pi から PaPeRo i へ次の動作，発話の命令をする．
上記のモニター出力画像の切り替えと PaPeRo i の動作，発話の切り替えを同時に行うことで，PaPeRo i とモニター映像の同期も同時に行う．
モニターシステムを導入することにより「感情表現」，「ガヤガヤしていても内容が分かる」，「容易に情報が伝わる」といった利点により感情，情報が伝わりやすくし，あたたかいサービスを実現した．

3.2.2

シナリオエディタとの連携

実用面では店舗での利用を想定して業務中はあまり時間前述したモニターシステムとシナリオエディタの同期をかけられないことから営業時間中ではシナリオの適用にあたりサーバーの導入を行った．シナリオエディタと状態の変更を行い，営業時間外ではシナリオの登録管理

はモニターシステムを専門的な知識がなくても扱えるよを行えるようにした．

うにするために作られ Web アプリケーションである．

得られた成果物をもとにキングベークにて実証実験を

シナリオエディタについての詳細はエディタ班のグルー行った．実験内容は簡単なシナリオを作成してもらい，プ報告書を参照するものとする．シナリオエディタをその使用感についてのアンケートを行った．結果とし扱うためにサーバーは Linux 環境で Apache，PHP7，て，キングベークの従業員 3 名に実験を行ったが，3 名MySQL サーバーとして稼働するように構築した． まともとても使いやすいという意見をいただいた．

た，モニターシステムとシナリオエディタの同期を行う

3.2 パペロ班
パペロ班の成果物として，大きくモニターシステムとために以下のようなプロセスを行うシステムの構築を行った．

シナリオエディタ，モニターシステムの連携システムとスピーカー拡張について開発をした．そのそれぞれにつ

1. サーバーはシナリオエディタでデータベースに保存いて以下で解説する．

されたシナリオ群の中から，現在適用中であるもの

3.2.1 モニターシステムを抽出する

あたたかいサービスを実現するために音声だけでは伝2. サーバーは抽出したシナリオ群と現在 Raspberry

わりきらない情報を，モニター映像を用いることによっ

Pi で実行中のシナリオ群を比較し，違いがあれば 3て豊かにするシステムを開発した．モニターシステムのへ，違いがなければ終了

導入理由として，パペロのみの場合だと「つめたい」，

3. サーバーは抽出したシナリオ群を Raspberry Pi の「うるさいと会話が聞こえない」，「意図が伝わりにくい」

Python で実行しやすいように加工し，RaspberryPi へシナリオ群を送信する
4. Raspberry Pi は受け取ったシナリオ群を用いてモニターシステムを稼働させる

ステムのコンテンツ内容のデザインやモニターフレームなどのモニター周りの装飾を担当した．

3.3.1

Web アプリケーションの画面 UI の設計

情報機器に不慣れな人でもロボット操作ができるよう上記システムの開発にあたり，図 1 のような論理ネットワークを構築した．また，上記プロセスの具体的手法について解説する．プロセス 1 のシナリオの抽出については日本時間の現時刻を用いて SQL 文を発行し抽出した．プロセス 2 のシナリオ群の違いの比較はデータベースに保存されたシナリオの主キーのみを保存したテキストファイルを用意し，Linux のコマンド diﬀ を用いて違いがあるか判断を行った．プロセス 3 のシナリ
オの加工はデータベースの情報をテキストファイルにし，画像ファイルは Raspberry Pi の適切なサイズへの変換とプログラムで使用可能なファイル形式への変更を行った．それらのファイルを Linux の scp コマンドを用いて Raspberry Pi に送信した．プロセス 4 では，Raspberry Pi は新規シナリオファイルとして送られてくるファイルの最後のファイルを受け取ると新規シナリオを用いてモニターシステムを稼働させる方式とした．またこれらのプロセスを自動で行うため，Linux のcrontab のシステムを用いて一定間隔でこのプロセスを稼働させるようにした．プロセスの自動化に伴いサーバーと Raspberry Pi 間の通信には公開鍵認証方式を用いて行った．

なアプリケーションの開発をエディタ班と連携して行った．意匠班としては情報機器に不慣れな人でも扱いやすいような画面構造や画面の移り変わりなどの考案を行った．開発後に実際にキングベークで実証実験を行った．
実証実験では実際に開発したシナリオエディタを使用し，3 名の被験者に協力してもらい操作をしている様子の観察とアンケートを行った．実験結果から画面の遷移については，操作する際に遷移で戸惑っている部分があまり見られなかったことから，よかったと言えるが，画面内の詳細な部分に関してはまだ改良が必要な部分が見受けられた．

3.3.2

モニター画面デザイン

画面デザインをするにあたり，条件として，商品名・価格・概要・写真，4 つの情報をモニターに表示するということがあった．当初は，1 つの画面にすべての情報を盛り込むと，かえって見づらくなると考え複数の場面に分けてデザインした．しかし，1 つの商品に複数の画面を作成すると，商品紹介のテンポが悪くなるということが分かった．そのため，すべての情報を盛り込んでも，見やすいように画面をデザインした．商品紹介画面を作成するうえで，工夫した点は．商品の写真を背景に用いこのようなシステムを取ったのは Raspberry Pi にモニターシステム加え，画像処理などを行わさせると処理が遅くなり，レスポンスの悪いシステムとなってしまうため，モニターシステム以外の処理をなるべくサーバーに行わせるほうがよいと考えたからである．これにより，エディタシステムを用いるだけで PaPeRo i を操作できるようにした．

ることで，商品の印象を強く残せるようにしたこと，商品名・価格と商品概要は背景に灰色の透かしを入れることで視認性の向上を図ったことである．なお，デザインした画面の実装は， PaPeRo 班が Tkinter を用いて行なった．

3.3.3

モニター周りの装飾

モニターシステムには黒いモニターを使用した．このモニターを使用したシステムで SEC ソリューション
フェア 2018DX で展示したところ，参加者の方に，モニターが PaPeRo i の雰囲気に合っていないという意見を頂いた．またモニター表面には制作企業のロゴや必要のないボタンがあった．意匠班ではモニターシステム周

図1

ネットワーク構成

辺の装飾やデザインによって全体の統一感を出す必要があると考えた．そして作成したのがモニターフレー

3.3 意匠班
2.3 での課題解決のため，エディタ班の Web アプリ
ケーションの画面 UI の設計や衣装の制作，モニターシムである．PaPeRo i を意識した白いフレームにキングベークのロゴを入れ，背面には配線用の穴をあけるなどの工夫を行った．またフレームの形状は吹き出し型にし店員さんから得られた意見をシステムに反映させたいとた．これにより，PaPeRo i が画面に表示されている内考えている．実際のターゲットユーザに使用してもらい容を喋っていると見えるようにした．最終発表の評価ア得られた意見を元に，実際に使う方が欲しいと思われるンケートではモニターフレームに対する肯定的な意見機能の実装を行っていきたい．

が見られ，システムのデザインを良いものに出来たとい

また，PaPeRo i の装飾についてだが，様々なコスえる．

チュームを身につける際，PaPeRo i の頭の形や可動部3.3.4 衣装の制作分の関係から頭部に装飾をつけるのが困難であることか

PaPeRo i への注目度を上げることで，商品紹介にもら，PaPeRo i の頭部に取り付ける装飾を支えるための興味を持ってもらえると考えた．そのために意匠班でアタッチメントが必要であると考えた．そこで，検討モは PaPeRo i の衣装を作成した．キングベークや株式会デルを CAD で設計し，3D プリンタで作成した．しか社エスイーシーとの対談を重ねた結果，季節に合った，し現状の設計では PaPeRo i の頭部にしっかりと固定さクリスマス衣装の作成をすることを決定した．帽子やせることができなかった．実際に運用するためにはさらジャケットに加えマフラーを作成．折り返し部分には白なる改良が必要だと考えられる．今後，頭部アタッチメのフェルトを使用，ボタンはクルミボタンを採用し，見ントを完成させることで，着用可能な衣装の幅を広げ，た目や質感にこだわった．作成したこれらの衣装は前様々な状況での運用に対応できる様に改良したい．

述の，協力を頂いた企業の方々をはじめ，本学の職員のまた今回は優しいサービスについてほとんど着手でき方々にもよい評価を頂くことが出来た．キングベークでなかったので PaPeRo i の声色を変更できるようにし，行った観察では，意匠の有無でお客さんの PaPeRo i へ

ロボットの音声を聞き取りやすく，親しみやすくするこの反応に違いがみられた．注目度を上げるという課題はとによって，優しいサービスの実現を目指す．

達成できたといえる．

4 今後の課題参考文献
な が た よりのぶ[1] 永田順伸. PHP7+MariaDB/MySQL マスターブ

モニターシステムではモニターに表示させるコンテン

ック:環境構築から実践的なシステム作成まで完全ツとして，営業中の様子から，パンの焼き上がり時間をアナウンスするシーンが必要だと考えた．焼き上がりの習得!. マイナビ出版, 2018.
や ま だ よしひろ

[2] 山田祥寛. JavaScript 逆引きレシピ : 達人が選んアナウンスを流すためには焼きあがるごとに操作することが必要である．そこで，セリフの発話などの制御にだ珠玉の現場ワザ. 翔泳社, 2014.
よしたにあい[3] 吉谷愛. 土日でわかる PHP プログラミング教室 :関して制御用プログラムだけではなくパペロについているボタンから制御をできるようにする必要があると短期集中講座. SB クリエイティブ, 2015.
おおふじみき[4] 大藤幹. よくわかる HTML5+CSS3 の教科書. マ

考えた．ボタンでの操作によってシナリオを作成することで操作の柔軟性を上げ，柔らかいサービスの実現を目

イナビ出版, 2012.
おかだかつし[5] 岡田克司. 10 日でおぼえる JavaScript 入門教室.

指す．他にも，例えば子供向けミニゲームの追加や声や翔泳社, 2008.
ひ る

ま かずや

顔に反応，もしくは認知するようなシステムの作成を行[6] 比留間和也. JavaScript の新しい教科書 : 基礎からい，親しみを持たせることであたたかいサービスの実現

覚える，深く理解できる． = NEW TEXTBOOKを目指す今回はミニゲームとして占いとパンのシルエッ

FOR JavaScript. エムディエヌコーポレーション,トクイズのモックアップを作成したが，実機に写すには2013.

至らなかった．
またエディタシステムでは今回，エディタシステムとPaPeRo i との本格的な連携が実現できなかった．そこで PaPeRo 班と連携しサーバを繋いで実機と連携する方法を模索し，連携の実現を目指す．また，実証実験で[7]

手 作 り 服 と 型 紙 USAKO の 洋 裁 工 房.

http://yousai.net .