プロジェクト報告書 (最終) Project Final Report

提出日 (Date) 2020/1/22

ロボット型ユーザインタラクションの実用化

Practical application of robot-type user interaction
1017153 佐藤篤志 Atsushi Sato
1 はじめに

2.2

チャットボット班

チャットボット班は，顧客向けの提案であるロボット

人手不足や人件費の高騰により，飲食店や小売店の営特有のぎこちなさや違和感を取り除くためのシステムの業が困難になっている．そこで，サービスロボットが注開発を担当した．私たちは，この提案の実現をしていく目されている．サービスロボットとは，状況に応じて動にあたり以下の 3 つの課題があると考えた．

作や言葉，感情を表現し人々の生活の中で宣伝や接客，受付などのサービスを提供するロボットである．

1. 商品の宣伝等を行う際に PaPeRo i が顧客に向けて一方的に話しかけていること

しかし店員の代わりに宣伝業務を担当するサービスロボットは，店員側と顧客側の 2 つの側面で問題が存在す

2. タブレット等を介すなどのインタラクションは，普段人間同士が行わない不自然なコミュニケーションる．店員側の問題は，店員がサービスロボットの動作や形態のため，人間側に違和感やぎこちなさを感じて発話を変更する際に専門的な知識を必要とすることであしまうことる．一方で顧客側の問題は，顧客がロボットに対してぎこちなさや違和感を抱くことである．

3. 店舗で子どもが対話機能が無い PePeRo i に向かって話しかけていること

2 課題の設定と到達目標
チャットボット班の目的は，これらの課題を解決しつ
私たちは，ロボット型インターフェースである PaP-eRo i を利用し，上記の問題を解決することとした．そこで，チームをエディタ班，チャットボット班，ハード班の 3 つに分けて活動を行った．

2.1 エディタ班
エディタ班は，店員向けの提案である専門的な知識無しに PaPeRo i の動作や発話内容を柔軟に編集できるシステムの開発を担当した．私たちは，本システムを実用化するにあたり以下 3 つの課題があると考えた．

1. 店員が PaPeRo i の動作や発話内容を編集する際につ，顧客に違和感やぎこちなさ，及び不安感を感じさせない対話インタラクションの実現を行うことである．

2.3

ハード班

ハード班は，顧客向けの提案であるロボットに注目してもらう機能の開発を担当した．私たちはハードウェア構築において，主軸となる問題点が 2 つあると考えた．

1. ロボット単体では真新しさに欠け，集客・宣伝効果が期待できないこと

2. 初期から備えているセンサは脆弱であり機能実装において荷が重いこと

専門的な知識を必要とすること

2. 店員が常に PaPeRo i の操作に従事し，本来の業務が疎かになること

3. PaPeRo i が提供する情報が動作や発話だけでは伝わらないこと
エディタ班の目的は，これらの課題を解決しつつ，店員が専門的な知識無しに PaPeRo i の動作や発話内容を柔軟に編集できるシステムの実現を行うことである．

これらの問題点を念頭に、サービスロボットに注目してもらい効果的な宣伝を行うためのハードウェア拡張を行う．そして，見た目やセンサを用いた装置により集客効果の向上を試みることがハード班の目的である．

3 課題解決のプロセスとその結果
3.1 エディタ班
2.1 節にて設定した課題を解決するため，シナリオエディタの開発とモニターとの連携を行った．それらについてそれぞれ以下の項で説明する．

3.1.1 シナリオエディタの開発
店員が専門的な知識無しに PaPeRo i の動作や発話内容を編集できるシステムの実現のため，WEB アプリ
ケーションのシナリオエディタを開発した．シナリオエ
ディタは以下の流れで使用する．まず，使用者は動作，チャットボット班

3.2

2.2 節にて設定した課題を解決するため，対話インタラクションシステムの開発，及び単純な対話インタラクションシステムの開発を行った．それらについてそれぞれ以下の項で説明する．

3.2.1

対話インタラクションシステムの開発

音声テキスト化 API の Speech to Text や，形態素解析分かち書き化を行うライブラリの Janome，及び自然言語処理 API の Wit.ai を利用することで対話インタラクションシステムの実現を行った．対話インタラクショ
ンシステムの機能の流れは以下の通りである．

発話，画像を一つの単位とするシナリオを作成する．その後，作成されたシナリオは，作成したシナリオが一覧

1. 顧客がマイクに対して発話を行う．

として表示されているシナリオ一覧に追加される．次2. Speech to Text を利用し，マイクに入力された音に，使用者はシナリオ一覧からシナリオをタイムテーブルに追加する．最後に使用者はタイムテーブル機能を開始する．タイムテーブル機能は，テーブルに追加したシナリオを上から順に PaPeRo i に伝送し，PaPeRo i にシナリオを実行させるものである．
また，Google が提唱した Material-UI と呼ばれる UIコンポーネントを利用することで，情報機器の操作が苦手な人でも直感的な操作ができるようにした．
さらに株式会社キングベークにて，シナリオエディタの実証実験を行った．
開発したシナリオエディタにより，2.1 節にて述べた1，及び 2 の課題を解決することができた．
3.1.2 モニターとの連携
PaPeRo i の声は機械的であり，さらに実際の店舗では店内が騒がしいため声が聞き取りにくい．以上の理由から，3.1.1 項にて述べたシナリオエディタだけでは，PaPeRo i が提供する情報が動作や発話だけでは伝わらないと考察した．そこで，シナリオエディタとモニターを連携させることで，上記の問題を解決することとした．
モニターは，PaPeRo i が再生しているシナリオの画像と発話の字幕を表示する．これにより，提供したい情報を視覚情報によって補足することができた．モニターとシナリオエディタの連携により，2.1 節にて述べた 3の課題を解決することができた．

声情報を文字情報に変換する．

3. Janome を利用し，文字情報に対して分かち書き化を行う．

4. Wit.ai を利用し，分かち書き化が行われた単語ごとに意味のタグ付けを行う．

5. PaPeRo i がタグに合う返答文を発話する．
対話インタラクションシステムにより，顧客と PaPeRoi の双方向の対話インタラクションが実現された．
3.2.2

単純な対話インタラクションシステムの開発

3.2.1 項にて述べた対話インタラクションシステムは，複数の API を使用しているため，タイムラグが発生する．そこで試験的に，PaPeRo i に備わっている音声認識機能のみを利用した単純な対話インタラクションシス
テムの開発を行った．単純な対話インタラクションシス
テムを使用した PaPeRo i は，設定されたワードに対してのみ特別な返答を行い，それ以外は設定されたランダムな返答を行う．単純な対話インタラクションシステム
は，2 つの特徴が存在する．1 つ目は，3.2.1 項にて述べた対話インタラクションシステムと比べて，音声が入力されてから PaPeRo i が発話するまでのタイムラグが短いことである．2 つ目は，音声情報に対して形態素解析や意味のタグ付けを行わないため，設定されたワードと一字一句同じである場合しか特別な返答を行わないことである．単純な対話インタラクションシステムは 2 つ目の特徴により，PaPeRo i が顧客の発話に対してちぐはぐな返答をしてしまうことが懸念される．

3.3 ハード班

以上の差が出ていればデータの変動量と現在値を2.3 節にて設定した課題を解決するため，注目される

Jetsno Nano に送信する． それ以外の場合，現在外観への改良や試食宣伝機能の開発，及び年齢判別機能の開発を行った．それらについてそれぞれ以下の項で説値を破棄し 1 に戻る．

4. Jetson Nano が値をサーバに送信し，PaPeRo i が明する．

動作や発話を行う．

3.3.1 注目される外観への改良
PaPeRo i に対する注目度の向上，及び後述する試食宣伝機能や年齢判別機能との違和感を無くすため，以下3 つのハードウェア拡張を行った．

試食宣伝機能により，ユーザーによる試食行動を検知し，PaPeRo i が発話を行うシステムを構築することができた．
年齢判別機能の開発

3.3.3• モニターに取り付ける吹き出しの作成

年齢判別機能を実現させるため，シングルボートコン• PaPeRo i の腕の作成

ピュータの Jetson Nano とカメラモジュールの logicool• 配線などを格納する箱の作成C270 を利用した．また，Jetson Nano に Python 言語

モニターに取り付ける吹き出しは，PaPeRo i とモニターの関係を持たせるために作成された．想像で用いる吹き出しを採用することで，PaPeRo i がその商品を想像して発話しているかのようにした．

や画像処理のライブラリである OpenCV，顔検出のライブラリである Dlib，及び深層学習のライブラリである TensrFlow をインストールした．年齢判別機能の流れは以下の通りである．

PaPeRo i の腕は，試食インタラクションと PaPeRo

1. OpenCV によりカメラモジュールから画像を取得

i の違和感を無くすために作成された．腕は 3D プリンし，画像を数列として処理しやい形へ変換する．

タを使用して作成された．腕に関節を作ることで余裕を

2. 変換した画像に Dlib を用いて，顔領域の検出を持たせることに成功し，微調整を楽にすることが可能となった．

行う．

3. 顔領域が検出された場合，TensrFlow の学習済みモ配線などを格納する箱は，PaPeRo i 自身の配線やマイデルを用いて，顔領域の年齢を判別・出力する．

コンによって外観が損なわれることを防ぐために作成さ

4. Jetson Nano が値をサーバに送信し，PaPeRo i がれた．箱は木材をレーザーカッターを使用して作成された．箱内の上部には，Jetson Nano や Arduino Uno，及び配線が格納されている．また，箱内の下部には，サーバ機となる PC が格納されている．
ハードウェア拡張により，PaPeRo i の注目度の向上，及び外観を損なわない装飾を行うことができた．

3.3.2 試食宣伝機能の開発
試食機能を実現させるため，重量センサを備えた試食台の作成を行った．試食台は，支柱である外径 6mm ス
テンレスパイプの上部に水平板を垂直に接合し，水平版の上に市販の木皿を設置したものである．支柱直下に重量センサを配置することで重量を感知する機能を実装した．試食機能の流れは以下の通りである．

1. 重量センサが重量を感知し，現在値を Arduino Unoに送信する．

2. Arduino Uno は，送信された現在値を保持する．
3. 保持された値と次に送信された現在値を比較し，1g

年齢に合った動作や発話を行う．
年齢判別機能により，ユーザーの年齢に合った宣伝を行うことができた．

4 今後の展望4.1

エディタ班

エディタ班では展望としてシナリオエディタのデザインの改善が挙げられた．実証実験の結果，シナリオエ
ディタの System Usability Scale スコアは 55 であり，評価が低かった．そこで，System Usability Scale スコアを向上させるための改善点として，情報機器に不慣れの人でも操作できる UI の作成をすることが挙げられた．

4.2

チャットボット班

チャットボット班では展望として音声認識システムの改良が挙げられた．音声認識システムは，顧客の音声情報をマイクで取得してから PaPeRo i が発話するまでにタイムラグが発生するため，顧客に対して不安感を与えてしまう．そこで，発話するまでのタイムラグを極限まで減らす必要があると考えた．

4.4

全体

グループ全体の展望は，機能の統合である．現在シナ
リオエディタや対話インタラクションシステム，試食宣

また，課題としてロボット特有の動作・発話のぎこち伝機能，及び年齢判別機能は，個別のプログラムで動作なさについて解決していないことが挙げられた．音声認しているため，プログラムの実行順番や動作が保障され識システムの実証実験の結果，実際にロボットに対してていない．そこで，機能ごとに優先度を付け，機能を統話しかけた人数は 1 人であった．そこで，実証実験を繰合する必要があると考えた．

り返すことで顧客層に合わせたシステムへ改良する必要参考文献があると考えた．

4.3 ハード班[1] 宮下善太，神田崇行，塩見昌裕，石黒浩，萩田紀博．

ハード班では展望として，1 つ目に外観の改良が挙げ来客と顔見知りになる案内ロボット．ATR 知能ロられた．昨年度の活動で衣装の作成を行ったが，現在のボティクス研究所，大阪大学，情報処理学会シンポ

腕では衣装に干渉するため，利用することができない．

ジウム論文集，2008 号: 4 ページ：pp．9-16，発行

そこで，腕に干渉しない衣装を新規作成する必要があ

年 2008 年 3 月 3 日．

る．

2 つ目に，展望として重量識別ラグの緩和が挙げられた．試食宣伝機能で利用している重量センサは，重量が[2] Material-UI: A popular React UI framework．
(https://material-ui.com)[3] Nielsen，Jakob，and Landauer，Thomas K．:

A

安定するまでに多少の時間を要する．そこで，重量セン

mathematical model of the ﬁnding of usability

サを高性能なものに換装することや，重量変動感知のproblems

データのみ PaPeRo i に送るという改良をする必要があ

93 Conference (Amsterdam，The Netherlands，

る．

24-29 April 1993)，pp．206-213．

3 つ目に，展望として感情表現モジュールの追加が挙げられた．現在の PaPeRo i は未だにロボット特有の不自然さが残る．そこで，感情表現を補助するモジュールを実装する必要がある．

4 つ目に，展望として識別モデルの最適化が挙げられた．年齢識別に用いている深層学習モデルは，処理速度や精度に問題が生じる場合がある．そこで，Python を用いた学習やモデルを TensorRT に対応したものに変換し，効率的に画像処理を行う必要がある．

5 つ目に，通信の JSON からフォームの検討が挙げられた．現在送信しているデータは，重量センサと年齢識別のデータのため，莫大なデータを処理できる JSON形式を用いる必要性が無い．そこで，HTTPS 通信のURL にデータを乗せるフォームの形式でサーバーと通信し，高速処理を行う必要がある．
最後に，カメラの配置の変更が挙げられた．現在のカメラの位置は子供の顔の高さに設定されているため，大人の顔をカメラで識別することができない．そこで，どちらの場合でも正確に識別できるように，カメラを格納する場所を改善する必要がある．

Proceedings of ACM INTERCHI[4] 山内繁． 福祉用具における SUS．
[5] J．Sauro;

A Przsctical Guide to the System

Usability Scale ，Measuring Usability LLC，2011．
[6] Keras implementation of a CNN network forage and gender estimation:(https://github．

com/yu4u/age-gender-estimation)