深層学習のROSロボットへの適用事例
令和元年 月防衛装備庁
先進技術推進センター
防衛技官 丹羽雄一郎
yniwatrdi@gmail.com
1

要点• 深層学習を用いて、障害物検知及び認識をする自律移動ロボットを、ROSを用いて制作• ロボット用フレームワーク Bonnet＊ を活用– 各種ロボットビジョン用CNNネットワークに対応– 推論用C++コード出力• ROSノードの容易な作成• 組込用ネットワーク Nvidia TensorRT対応• Jetson TX2 への容易な実装• 赤外線カメラのROSモジュール作成＊ A.Milioto,C.Stachniss,“Bonnet:An Open-Source Training andDeployment Framework for Semantic Segmentation in Robotics usingCNNS”,ICRA2019，ICRA Workshop2018，arxiv 1802.08960,
github.com/PRBonn/bonnet2

本自律移動ロボットのタスクの定義とアーキテクチャ設計
本自律偵察用ロボットの基本タスク（１）移動可能な領域を認識し移動する（２）壁などの障害物を検知し回避する（３）人を検知し、人の方向から離れる②遮蔽部への移動計画③移動選択
HumanDoorWall

基本タスク実現の方法①赤外画像の領域分割による物体検知及び認識②床領域が移動可能領域として進行、至近の壁領域は障害物として回避、人領域が検知された場合、検知された反対方向へ移動

Floor

①環境認識
・ミッション実行計画
・タスク選択・リスク見積・他ロボットとの協調計画

・環境との相互関係把握・他ロボットとの関係把握

壁

人床①赤外画像からの領域分割技術

壁

人
床

壁

人

・２Ｄマップ生成（グローバル）
・３Ｄマップ生成（グローバル）
・特定物体認識（セグメンテーション）
・ＳＬＡＭ

認知

タスク間状態遷移
全体最適化

・遠距離経路生成・物体把持移動・障害物除去・ドア開閉

タスク間調整第５層、全体最適化制御

床②画像処理のみにおける高速行動生
成

右に示す自律移動ロボットアーキテク
チャの第3層までを実装

・エッジ検出・特徴点抽出・移動可能領域（セグメンテーション）
・２Ｄマップ生成（ローカル）・３Ｄマップ生成（ローカル）・ビジュアルオドメトリ
・カメラ画像とレーザスキャナー情報の融合

・ジャイロ・加速度計
・速度センサ・ＧＰＳ・エンコーダ
・トルクセンサ

・慣性航法
・三角測量
・カルマンフィルタ・ベイジアンフィルタ
・衛星ナビゲーション

・触覚センサ・超音波センサ・可視カメラ・近赤外線カメラ
・遠赤外線カメラ・Lidar・Depthセンサ
・レーダー

タスク内状態
遷移安定化

グローバルな処理

第４層 タスク制御
基本機能
状態安定化

ローカルな処理第３層 基本機能制御
要素機能
状態安定化

状態推定

タスク内プランニング及び制御
基本機能実現のための制御指示
要素機能実現のための制御指示

第２層 要素機能制御
内界センサ

外界センサ

ミッション
センサ

アクチュエータ

第１層 ハードウェアプラットフォーム

サブサンプションアーキテクチャ

・近距離経路生成・障害物回避・サーチアルゴリズム
・凹凸/軟弱路面歩行計画
・マニュピレーション計画
・転倒判断
・転倒制御／転倒回避・不整地歩行計画

・順運動学
・逆運動学
・速度運動学・姿勢制御
・速度制御
・オートバランサ・摩擦制御
・機構制御
・サーボモータ
・油圧アクチュエータ
・電動モータ
・関節機構
・雲台機構
・投光機構

シミュレーション技術(2.3.6)
第１層ハードウェアプラットフォームを模擬するもの

本自律移動ロボット
ロボット
制御装置
演算装置
遠赤外線カメラ
テスト環境（照明無し）

供試体（小型ロボット）

遠赤外線画像深層
ネット
ワーク

領域分割画像

移動ベクトル生成とロボット制御

処理フロー

壁を検知して回避

人を検知して回避
人を検知して回避

暗中の人、障害物の検知並びに回避テスト結果（不可視な近赤外線ライトを照射し、近赤外線カメラで撮影）

4実証実験結果（動画）
暗中の人、障害物の検知並びに回避テス
ト結果（不可視な近赤外線ライトを照射し、近赤外線カメラで撮影）

テスト環境（照明無し） 領域分割画像

5使用するネットワークの選択
DNNフレームワークの利用• 可視領域分割用DNN、赤外領域分割用DNN及び演算補助装置用赤外領域分割用DNNを構築する
ため、セマンティックセグメンテーションのフレームワークであるBonnet*を使用した。
• Bonnetは、ロボットプラットフォームへの実装を想定されており、TensorRT、ROSに対応している。
Bonnetは各種領域分割用DNNを利用できるが、今回は最も高速なERFNetを領域分割用DNNとして選択した。
*A.Milioto,C.Stachniss,“Bonnet:An Open-Source Training and Deployment

ERF-NET（ERF 畳みこみ層を利用したネットワーク）

E.Romera+,”ERFNet: Efficient Residual Factorized ConvNet
for Real-Time Semantic Segmentation”,IEEE Trans.on
Intelligent Transportation Systems, Vol.19,Iss.1,Jan.2018

Framework for Semantic Segmentation in Robotics using CNNS”,ICRA2019⋍ERFNet50 （JetsonTX2)⋍50

ERFNet（JetsonTX2)

Sachin Mehta+, “ESPNet:Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation ” ，1803.06815

自律移動ロボット（ハードウエア構成）⑦移動プラット
フォーム制御⽤PC⑧ポータブルバッテリ⑦

AC100V
Wifi⑥直流安定化
電源④移動プラットフォーム(ルンバ)iRobot

DC12V①⾚外センサ②演算補助装置(ULIS PICO384E(Raspberry Pi 3B)

DC5V
⑤モバイル
バッテリ

RS232C(Jeston TX2)

Ethernet

USB

384×288 波長8～14um NETD 95mK
熱時定数 6.4ms)③移動プラット
フォーム制御装置

iRobotOpen
Interface

③

①
②
⑤

遠赤外線
画像キャ
プチャ等

領域分割
等CNN処
理

移動方向
算出処理

ROSノード

ルンバ制
御

⑧⑥④7

自律移動ロボット（ソフトウエア構成）
可視画像
可視領域分
割用DNNの作成

可視領域分割画像

学習用計算サーバ
可視領域分
割用DNN

赤外画像
赤外領域分
割用DNNの作
成

演算補助装
置への実装

学習サーバ(Docker)

赤外画像

赤外領域分割画像を基にする移動方向算出処理
移動プラットフォー
ムへの搭載

移動ロボット
赤外画像
キャプチャ
ROSノード

赤外領域分
割用DNNの学習データと赤外領域分割画像して利用

赤外領域分割用DNN
変換（Nvidia TensorRT)

赤外領域分割ROSノード演算補助装置用
赤外領域分割用DNN

演算補助装置（Jetson）

移動方向生成ROSノード移動プラットフォーム（Raspberry Pi）

移動プラットフォーム
制御ROSノード

移動プラットフォー
ム（ルンバ）

移動プラットフォーム
8データセットの構築
遠赤外・可視画像データセット

遠赤外線画像可視画像

可視領域分割用DNN学習用SUNデータセット

領域分割

可視画像

・本件624ペア

可視画像

領域分割画像学習

可視領域分割用DNN

床

データセットの可視画像

データセット作成工
数・遠赤外・可視カメラを用いた同時撮
影（ビデオ撮影程度の作業）
・本件65,616ペアをスクリプト処理により切り出し

実験環境データセット

赤外領域分割用DNN
学習用データセット

生成された可視領域分割画像

データセット作成工数
・可視カメラの撮影・領域分割画像作成（アノテーション作業）
・本件217ペア

床遠赤外線画像学習

領域分割画像赤外領域分割
用DNN
遠赤外線画像生成された赤外領域分割画像

9

詳細な内容（既発表資料）• 遠赤外線画像等データセットの作成方法、学習方法
丹羽雄一郎，“GANによる遠赤外線画像による可視画像生成の実用化への検討”，第25回画像センシングシンポジウム（SSII2019）• 本自律移動ロボットに関する内容
丹羽雄一郎，“移動ロボットの遠赤外線画像による物体検知識別と回避”，第37回日本ロボット学会学術講演会
丹羽雄一郎，木村正成，佐藤利鷹理（株式会社Ridge-i） “深層学習を用いた遠赤外線画像の意味論的領域分割”，第37回日本ロボット学会学術講演会• 深層学習のロボットビジョンへの適用に関する考察
丹羽雄一郎，“自律移動ロボット環境認識に必要な深層学習に関する一考察
実環境に適応可能な環境認識技術をめざして”，第22回画像の認識・理解シンポジウム（MIRU2019）10