Hibikino-Musashi@Home:
ホームサービスロボット開発学生プロジェクトの紹介
18/09/14 ROSCon JP 2018

Hibikino-Musashi@Home
九州工業大学 田向研究室○石田 裕太郎
hma@brain.kyutech.ac.jp

今日紹介するロボット
RoboCup@Homeに参戦するホームサービスロボット

Eix@HSR

HW: 九工大
SW: 九工大

HW: TOYOTA
SW: 九工大

2018年
日本大会優勝2017年
2018年
世界大会優勝©Tamukoh Lab. Kyutech, Japan1

まずは動画で紹介: 食器の片付け

人間の生活環境で，日常生活を手助け©Tamukoh Lab. Kyutech, Japan2

チームの紹介©Tamukoh Lab. Kyutech, Japan3

Hibikino-Musashi@Home
家庭用サービスロボットの開発を行う学生プロジェクト
メンバ

27名（B:4名，M:17名，D:4名，教員2名）

所属

九州工業大学大学院生命体工学研究科

目的

RoboCup@Homeに参加
研究成果を実装するロボットプラットフォームの開発ロボット教育教材の製作©Tamukoh Lab. Kyutech, Japan4

RoboCup@Homeの紹介©Tamukoh Lab. Kyutech, Japan5

RoboCup@Home
家庭用サービスロボットのコンペティションとしては世界最大規模（2018年大会: 31チームの参加）
社会貢献 実用的なホームサービスロボットを実現する
 9つのシチュエーション（タスク）を解決するルール

 タスクは毎年難易度が上がる
 最新の研究トピックが含まれる

タスクの達成度によってスコアがつけられる©Tamukoh Lab. Kyutech, Japan6

重視される点・難しさ重視される点 Human-robot interaction
 Computer vision

 Object manipulation

 Standardization
 Mapping and navigation

 System Integration

難しさ: ロバスト性
 タスクに用いられる環境は標準化されていない

 各タスク1～3回程度しか挑戦できない©Tamukoh Lab. Kyutech, Japan

7

要素技術の紹介©Tamukoh Lab. Kyutech, Japan8

HSR・Exi@の主要機能
音声インタラクション
耳: マイク

音声認識

言語理解

音声合成

画像処理

目: カメラ

人物検出・認識
物体検出
物体認識
人物追跡（Deep Learning）

手: アームロボットアーム制御
ARマーカ認識把持経路設計目: LRF
移動台車制御脚: 移動台車©Tamukoh Lab. Kyutech, JapanSLAM

移動経路設計9

画像処理
Object Recognition
PCL[1]による物体検出
Caffe[2]による物体認識

YOLO[5]によるカテゴリ認識

Plane Detection
Plane Extraction

 自前のデータセットを作成
 ネットワークはGoogLeNet[3] ネットワークの精度は99%[4]Specific Objects[1] Point Cloud Library, http://pointclouds.org/[2] Caffe, http://caffe.berkeleyvision.org/[3] C. Szegedy, et al., arXiv:1409.4842, 2014.
©Tamukoh Lab. Kyutech, Japan 組み込みGPUに実装
Generic Objects[4] Y. Ishida, et al., 第34回日本ロボット学会学術講演会, 2016.
[5] J. Redmon, et al., arXiv:1612.08242, 2016.

10

Deep Learning用データセットを半自動生成
生活雑貨シーン画像データセット (14万枚)
Chroma key

約4時間で学習可能

煩雑な人手によるアノテーションを完全に排除

11ハードウェアアクセラレータとロボットアプリケーション（デジタル回路で効率的に知的処理）©Tamukoh Lab. Kyutech, Japan12

ロボットの演算環境

https://roscon.ros.org/2017/presentations/ROSCon%202017%20Opening%20Remarks.pdf

ROSCon 2017 Opening Remarksより引用求められる性能: 低消費電力 低排熱

求められるアプリケーション
 深層学習（演算量が多い）
 SLAM13

ロボット向けアクセラレータとはFPGA（Field Programmable Gate Array）
・再構成可能なデジタル回路
・高速・低消費電力・低排熱で組み込み向け・知的処理を実装可能（深層学習など[6]）20mm * 20mm

CPU，GPU（Graphics Processing Unit），FPGAの比較[7]演算性能×1(CPU)，×14(GPU)，×228(FPGA) 速度比×1(CPU)，×25(GPU)，×584(FPGA) 単位電力比
開発工数

1 Day(CPU)，45(GPU)，300(FPGA)＊Smith-Waterman algorithm
によるベンチマークテスト

 良い回路には良い職人が必要
 インタフェースを記述するのは煩雑[6] 中原啓貴, 他, リコンフ研究会, 2018. [7] K. Benkrid, Reconfigurable Computing, 2012.

14

提案システム: COMTA（Connective Object for Middleware To Accelerator）(1)15

提案システム: COMTA（Connective Object for Middleware To Accelerator）(2)

知的処理アクセラレータの導入・Objectによる自動統合16

提案システム: COMTA（Connective Object for Middleware To Accelerator）(3)CPU-FPGA通信インタフェース・データ交換機能を提供 17

提案システム: COMTA（Connective Object for Middleware To Accelerator）(4)ロボットミドルウェアから知的処理アクセラレータを構築
18

提案システム: COMTA（Connective Object for Middleware To Accelerator）(5)多数のロボット技術者が単純な設計図で使用可能

19

実験: 人物追跡（概要）検証:
提案システムが高効率（高速・低消費電力）であるか*専用アルゴリズム・高位合成（Vivado 2016.2）

20

実験: 人物追跡（演算性能）
PC
ProposedCore i5-5200U ARM Dual Core
2.2GHz667MHz + FPGA
Frame Rate [fps]

29.06

17.25

Power Consumption
[W]

26

4.7

Frame Rate Per Watt[fpspW]

1.12

3.69

消費電力 約82%削減
単位時間・電力あたりの演算性能 3.3倍向上
22実験: 人物追跡（演算負荷）
従来（PC）

アイドリング状態 約30%

約50ポイント増加
従来（PC）

人物追跡状態 約80%

提案システム（4.7[W]の消費電力増加）で約50ポイントの負荷をオフロード

23

告知

24

ROSの本が出版されます

森北出版「実用ロボット開発のためのROSプログラミング」
10月中に発売予定！
今日発表した内容も少し掲載©Tamukoh Lab. Kyutech, Japan25

World Robot Summit

経済産業省主催

 2018年プレ大会
 2020年本大会
 4つのカテゴリ
 ものづくり サービス 災害
 ジュニア©Tamukoh Lab. Kyutech, Japan

2020年本大会のエントリーまだ間に合います！
World Robot Summitで検索！

26