Project 9

ロボット型ユーザインタラクションの実用化
Practical application of the robot-type interaction

ー柔らかで，あたたかく，優しいサービスの実現へー-realization of the services which are adaptable, comfortable and hospitable-メンバー

藤井佐和子

櫛部健汰

井嶋佑介

担当教員

三上貞芳

鈴木昭二

高橋信行

Sawako Fujii

Kenta Kushinobe

Sadayoshi Mikami

Yusuke Ijima

Shoʼji Suzuki

磯谷光毅

柴崎凌我

Kouki Isoya

山口大地

Ryouga Shibazaki

Daichi Yamaguchi

成田匠

中村友哉

Takumi Narita

Yuya Nakamura

山村夏喜

宇井さつき

Natsuki Yamamura

Satsuki Ui

Nobuyuki Takahashi

プロジェクト概要
Project overview

これまでロボットは人間の作業を代わりに行うために発展してきた。しかし、コミュニケーションをとることをRobots have been developed to take the place of human work. However, there is still room for

目的とするロボットは音声認識や文脈理解など、依然として改善の余地が大きいと考えられる。そこで、私たち

improvement in communication robots (e.g. voice recognition and understanding context). Therefore

は、PaPeRo i というロボット型インタフェースを「柔らかい」「あたたかい」「優しい」の 3 つの観点から拡張、 we aim at extension and improvement of robot-type interface called "PaPeRo i ". We use three point of
改善を目指すこととした。

view that Adaptable, Comfortable and Hospitable.

開発のコンセプト
Concept of development「ロボット型インタフェースの拡張」の実現のために、「柔らかさ」「あたたかさ」「優しさ」の 3

To realize extension of robot-interface, we deﬁne three point of view that Adaptable,

つの観点を次のように定義する。
「柔らかさ」とは、様々な業務に適応できることを指す。「あたComfortable and Hospitable as follows.

たかさ」とは、あらゆる状況に対しても、快適な場所を作ることを指す。「優しさ」とは、ロボッ"Adaptable" means it can be adjusted to various work. "Comfortable" means it can makeトが人間に配慮した対話を行うことで、人をもてなすことを指す。

cozy places under any circumstances. "Hospitable" means it can talk gently andこの 3 つの観点を組み合わせ、人間とロボットとのコミュニケーションが円滑に行われること

entertain.

を目指す。

We aim at smooth communication by combination of these three point of view.

柔らかいAdaptable

あたたかいあたたかい

Adaptable

柔らかいComfortable

優しいHospitable

優しいComfortable

Hospitable

どんなに便利な機能をもっていたとしても、使い方がわからなければ、ロボットと触れ合おうとしても目線を合わせてくれなかったり、適切な実際に運用することはできない。また、専門的な知識を必要とすると使反応をしないなど、人と接する際に不安感が残る。また、反応の種類が用できる人が限られてしまう。

少なく飽きさせてしまう。

そこで、編集者が PaPeRo i の使い方を一見してわかるようにする。さそこで、感情表現を多彩にし、不安感を取り除き、様々な場面でらに、編集者が自由に内容を変更できるようにする。

PaPeRo i が愛嬌の感じられるロボットにする。

Even if robots have useful function, it is hard to use without

If robots don't have an eye contact and don't react appropriately,

understanding how to use. In addition, if robots require technical

we feel anxiety to robots. And it is boring because variation ofknowledge, people who can use robots are limited.

reactions are not so many.

Thus we make robot-interface easy to understand and free toThus we make "PaPeRo i " express many kinds of emotions andchange for editor.

remove anxiety of communicator. we make it attractive under any

ロボットの声は人間の自然な声に対して、機械的で単調な声で不自然である。また、ロボットと対話をしようとしても話の流れに合ってない返事をするなど、会話が成り立たないことが多い。
そこで、単調な声を改良し、自然で聞き取りやすい親しみのある声色にし、人をもてなせるようにする。
Robots voice is unnatural compared to human voice because it is
ﬂat and monotonous. Also robots would reply without context.
There are many cases that robots can't conversations withhumans.
Thus we make robots voice easy to hear and natural to entertain

circumstances.

humans.

スケジュール
Schedule

5月

6月

7月

8 月 9 月 10 月

PaPeRo i の分析 Analysis of “PaPeRo i “

NECさんを招いて勉強会

夏休み

モニター連携新技術開発サロンのフィールドワーク システム発案
セミナー
Planning of monitor コンセプトの統一 金沢工業大学の訪問 函館ものづくり技術紹介交流会

Lecture of “PaPeRo i “by NEC

Fieldwork seminarlink system

Unity of concept

Visit from KITフィールドワークセミナー

モニター連携システム発案

中間発表

New development technology salon Intermediate Presentation

山路を登りながらNECさんを招いて勉強会

開発と改良

金沢工業大学の訪問

新技術開発サロンの函館ものづくり技術紹介交流会

11 月

12 月

1月

2月

deveropment and improvement

SECソリューションフェア
2018DXへの参加
SEC Solution fair 2018DX

中間発表

キングベークにて実証実験

Experiment at KingBake

成果発表会

Presentation of achievement

SECソリューションフェア
2018DXへの参加

課外成果発表会

Presentation in Akihabara

キングベークにて実証実験

グループ
Group

エディタ班

シナリオの新規作成・編集・削除

make wording editor

エディタ
シナリオの内容データベースに格納し該当するシナリオをまとめる

PaPeRo i
発話・首振りなどの動きの命令

経由地

モニター
モニター映像

PaPeRo 班
Monitor link system

意匠班changing Method

この班では今まで知識がないとできなかった PaPeRo i のこの班では、PaPeRo i とモニターを制御するためのサー

この班では、PaPeRo i があたたかいサービスを提供できるような活動

挙動及びモニタ映像の制御を WEB アプリによって初心者バや Raspberry Pi などの環境構築とプログラムの作成をを行なった。まず、PaPeRo i が愛嬌の感じられるキャラクターにするでも扱えるようにすることで、柔らかいシステムの実現を行なった。また、PaPeRo i の音声の音量に限界があるこため、衣装を作成した。PaPeRo i とモニターの見た目がちぐはぐなも目指した。WEB アプリは HTML, CSS, JavaScript, PHPとから、様々な環境でも聞こえやすい優しいサービスを実のにならないように、モニターに取り付ける吹き出し型のカバーを作で作成した。

現するために、スピーカーの搭載も行なった。

成した。3 つ目に、エディタを使いやすくするための画面 UI を作成した。

This group worked for adaptable systems. So far

This group made program and environment of serverThis group worked for oﬀering comfortable services by "PaPeRocontrolling "PaPeRo i " and monitor images is diﬃcultand Raspberry Pi for controlling "PaPeRo i " andi ". Firstly, we made costumes in order to make "PaPeRo i "without know-how. Thus we made it easy for anyone

monitor. And volume of "PaPeRo i " has limitation.

charming. Secondly, we made balloon shaped covers for monitor

to use by Web application. We created WebThus we made external speaker for hospitable

to ﬁt appearance of monitor to "PaPeRo i ". Lastly, we made UI ofapplication using HTML, CSS, JavaScript and PHP.

services that easy to hear in various situation.

screens for user-friendly editor.

感情・情報を伝わりやすくするシステムの開発
音声だけでは伝わりきらない情報を、モニター映像を用いることによって豊かにするシステムを開発した。また、映像の構成だけではなく、内部システムの環境構築や制御プログラムの作成を行った。さらに衣装の作成によって、PaPeRo i にキャラクター性を持たせた。

モニターシステム
モニターシステムの効果

最終制作物

モニターシステム

ロボットのみの場合
・つめたい・感情表現

・うるさいと発話が・ガヤガヤしていても聞こえない

内容がわかる・意図が伝わりにくい

・容易に情報が伝わる格納箱

モニター映像

箱の中に PC と Raspberry

商品名、価格、概要、写真、これPi を格納することで見たモニターフレーム

目を損なわないようにした。また、触っても倒れないようにモニターと箱を固感情・情報が伝わりやすくなる定するために使用した。

あたたかいサービスの実現

写真は仮

モニターを吹き出し型にすることによって注目度を上げ、実際にしゃべっているようにみせることを目的とした。

らの情報を１つの画面で提示するために、レイアウトや透過率を工夫した。写真を大きく背景に用いることで、商品のインパクトをお客様に残すと同時に、以降の紹介も見たいという気持ちにさせることを効果として期待している。

モニターの内部システム
モニターと PaPeRo i の連携

シナリオエディタとの連携

OS

発話なし

Raspbian

出力画像の切り替え

発話の有無

開発環境

言語

Python(ver 3.4.2)

モニター

Raspberry Pi

次の動作・発話の命令

モニターシステムの導入にあたり、PaPeRo i の動作、発話とモニター映像を同期することが必要となった。そのために、Raspberry Pi は PaPeRo i から信号を受け取る。Raspberry Pi は受け取った信号から PaPeRo i の発話の有無を判断する。
もし PaPeRo i が発話を終えていたら Raspberry Pi からモニターへ出力画像の切り替えをする。Raspberry Pi から PaPeRo i へ次の動作、発話の命令をする。この２つを同時に行うことで、PaPeRo i とモニター映像の同期も同時に行う。

モニター画面と PaPeRo i の連携に加えて、シナリオエディタとの連携にあたり、サーバを導入した。
サーバは現時刻を用いて SQL 文を発行し、適用中のシナリオをデータベースから取得し、Raspberry Pi に送信する。Raspberry Pi はすべてのファイルを受信したのち、そのシナリオファイルを用いて PaPeRo iとモニターの連携を行うプログラムを実行する。サーバは現在 Raspberry Pi が実行中のシナリオと現時刻に適用中のシナリオの違いを判定。違いがあれば、現時刻を用いてデータベースから取得したシナリオを新規シナリオとして Raspberry Pi に送信する。Raspberry Pi は新規シナリオを全て受信したのちに新規シナリオを実行する。

衣装について衣装作製の理由
１つは、ロボットの機械的な動きやボディの固さを衣装によって軽減するためである。より人に近い姿や動きのほうがロボットを利用するユーザに与える印象は良いものになると考えた。2 つ目は、注目を集めるためである。本プロジェクトにおいて
PaPeRo i は商品紹介を行うという役割を担っている。おススメの商品をアナウンスするにあたってお客様に注目してもらうためには、かわいらしいものや季節感のある衣装が効果的ではないかと考えた。

実証実験
制作した衣装サンタさん

パン屋の店員さん

目的

注目度調査

実験日

株式会社キングベーク

場所

11 月 28 日

モニターシステム使用 PaPeRo i

12 月 1 日

モニターシステム使用 PaPeRo i

12 月 5 日

モニターシステム未使用 PaPeRo i

実際の実証実験の様子

時間帯

11:00 ~ 13:00

実験内容

PaPeRo i の前を通った人の数、PaPeRo i を見た人の数、立ち止まった人の数を数えた。
そこから、それぞれの人の割合を出し分析を行う。

実験結果

モニターシステム未使用の PaPeRo i では、PaPeRo i の前を通った人数に対する PaPeRo i を注視した
人数の割合は 0.196 であった。モニターシステム使用の PaPeRo i では、0.462 であった。また、子どもの方が注視する事が多い傾向が見られた。詳しい分析については今後行っていきたいと考えている。

今後の展望
大きな目標として PaPeRo i の声色を変更できるようにすることがある。これは優しいシステムの実現になると考えられる。また、PaPeRo i の頭部に取り付ける装飾を支えるためのアタッチメントが必要であると考えた。
そこで、検討モデルを CAD で設計し、3D プリンタで作成した。しかし現状の設計では PaPeRo i の頭部にしっかりと固定させることができなかった。実際に運用するためにはさらなる改良が必要だと考えられる。
今後、頭部アタッチメントを完成させることで、着用可能な衣装の幅を広げ、様々な状況での運用に対応できる様に改良したい。また、モニターに表示させるコンテンツとして、パンの焼き上がり時間をアナウンスするシーンが必要だと考えた。また制御に関して制御用プログラムだけではなくパペロについているボタンから制御をできるようにする必要があると考えた。ボタンでの操作によってシナリオを作成することで操作の柔軟性を上げ、柔らかいサービスの実現を目指す。他にも親しみを持たせる「あたたかい」要素を加える。例えば子供向けミニゲームの追加や声や顔に反応 ( もしくは認知 ) するようなシステムの作成をする。

PaPeRo i の発話機能を簡単に制御できるシステムの開発
PaPeRo i の発話内容を情報機器の不慣れな人でも変更できるWebアプリケーションの開発に取り組むことで柔らかいサービスの実現を目指す。

発話機能の問題点

改善の提案
PaPeRo i を設置する店舗は発話内容の変変更指示・反映されるまでに時間がかかる→近況に合わせた発話が難しい

セリフを変えたい

発話時間・依頼する手間がかかる
増やしにくい取り扱い企業

提案の実現

変更できるシステム（登録内容：セリフ・モニターに表示する画像・システム

画像エディタ

必要であるため、まずは行った機能の検討

ネイティブアプリケーション

WEB アプリケーション

メリット

メリット

・動作が速く、直感的GUI による操作で変更の・デバイスのセンサなどを利用できる実現を目指した。また、・スマートフォンの普及により親しみやすい

Raspberry Pi の利用にデメリット

親しみがないので、身近な・GUI として動かすためのフレームワークのデバイスからオンラインで習得が必要

操作できるアプリケーショ

情報機器初心者でも扱いやすい

ブラウザから利用可能なアプリケーション

営業時間外

営業時間中ことが重要であるため、アクセスの容易であることやOS を問う必要のないことを踏・OS を考慮する必要がない

まえて Web アプリケーション

・開発者が多いためリソースも多いを選択した。また、開発スケ

・URL がわかればアクセスしやすい

ジュールを考慮するとリソースデメリットの充実差は習得にかかる時間と・複数の言語の習得が必要反比例すると考え、ネイティブ・ネイティブアプリケーションに比べ・リソースが少ないンの開発が決定した。

これらを備えた Web アプリケーションの開発を柔軟な対応ができない

端末にインストールするアプリケーション

プログラミングの知識が・登録した内容を指定した瞬間に発話させる
・情報機器に不慣れな人でも扱える操作性

アプリケーションの選択変更するためには時間・値段など）

セリフを変えたい

セリフ

値段→発話内容のバリエーションを使用企業

・発話内容を取り扱い企業に依頼せずに登録・依頼

更を取り扱い企業に依頼する必要がある。

セリフの変更PaPeRo i の発話内容を

提案内容

背景・現状の問題点

依頼

アプリケーションは開発に動作が遅いかけられる時間が少なくなると判断した。

基本機能の設定

内容登録・編集・削除

発話内容の切り替え

発話内容変更の基本的な操作として、内容の登録、編集、削除の3 つが必須であると考えた。実証実験に向けて利用店舗に聞き込み調査を行ったところ、営業時間中では簡単な操作で内容を切り替えられることが必要であると考えた。そこで上記の発話内容に関する
3 つの機能を営業時間外の操作とし、営業時間内の操作として登録内容の適用状態を切り替える機能の開発を検討をした。

開発過程
エディタ
システムの考案

画面遷移図の作成

機能の洗い出しと開発言語・仕様の決定

設計書の作成画面の UI 設計

全体レビュー

画面遷移の確認と把握のために画面ごとの処理について画面ごとのボタン配置位置やプロジェクトメンバー全員にPHP、HTML、CSS、JavaScript を実際にキングベークの画面遷移図を作成

細かく設定

画面の雰囲気などを決める

見てもらい意見をもとに修正用いて web アプリの開発を行った

店員さんに試してもらう

実証実験
基本データ

実験内容

開発

実証実験

アンケート結果目的作成したエディタの使用感を調査

まず実験者は被験者に情報機器に関する質問を行う。次に「使いやすい」「操作がわかりやすい」といった意見をもらう場所

株式会社キングベーク

実験者は、エディタの各画面の説明を行う。その後、被験者はことが出来た。普段、パソコンを使用しない方も、スムーズに実験日

11月30日

操作方法を記した資料を参考にパン紹介シナリオの新規作成、エディタを操作出来ていた。これらのことから、UI や機能の時間帯

16：00〜17：00

修正と削除を行う。この際、実験者はキーボード入力など、面からみて簡単に扱えるエディタの作成をすることが出来たと

被験者

株式会社キングベーク従業員３名

パソコンの基本操作について被験者から質問があれば対応いえる。一方で「画面の説明を見られるヘルプ画面があると、した。被験者がすべての作業を終了したあと、エディタの従業員間で教えるときに安心できる」という意見もあった。

使用感に関するアンケートに回答してもらい、実験を終了した。

今後の展望
今後は、大きく分けて２つの展望がある。１つは PaPeRo i 実機との本格的な連携である。今回の開発では PaPeRo i 実機との連携が間に合わなかった。PaPeRo 班と連携しサーバを繋いで実機と連携する方法を模索していく。
２つ目は実証実験で得られた意見に関する開発である。実証実験で得られた意見を元に、実際に使う方が欲しいと思われる機能の実装を行っていきたい。