2021年9月8日（水）第39回日本ロボット学会学術講演会

自律ロボティクス開発ソリューション
~ロボットアームから移動ロボット、ドローンまで~
MathWorks Japan
アプリケーションエンジニアリング部
木川田 亘

自律システムの進化
ロボットアーム

移動ロボット

自動運転

UAV・ドローン

ヒューマノイド2

自律システムのための統合開発環境
ソフトウェア アプリケーション

各種アルゴリズム開発

仮想環境
環境

ロボット

3Dシーン

センサー

シナリオ

ダイナミクスアルゴリズム認知

SLAM/自己位置

経路計画

フュージョン

判断・制御

統合開発プラットフォーム
解析

シミュレー
ション

設計

実装

統合テスト

3

自動運転・自律ロボティクスシステム開発機能の強化
Autonomous Products Map

自動運転

UAV/ドローン

マニピュレーター＆移動ロボット

アプリケーション＆インダストリーベース製品

Automated Driving
Toolbox

UAV Toolbox

Robotics SystemToolbox

詳細度の高いプラントモデル

Vehicle Dynamics
Blockset

Aerospace Blockset

Simscape Multibody

認知

ミドルウェア＆実装フレームワーク

3Dシーン

Navigation
Toolbox

Sensor Fusion &Tracking Toolbox

SENSORS & NAVIGATION
センサー＆ナビゲーション

Computer Vision
ToolboxPhased Array
System Toolbox

AUTOSAR Blockset

RoadRunner

Radar Toolbox

ROS Toolbox

RoadRunner
AssetLibrary

Deep Learning
Toolbox

Lidar Toolbox

DDS Blockset

RoadRunner
Scene Builder
4

自律ロボティクスシステムの開発
認識

経路計画

制御

ロボット・センサーの自律アルゴリズムのモデリングと設計シミュレーション

アプリケーションのテストと実装
5

自律ロボティクスシステムの開発
認識

経路計画

制御

ロボット・センサーの自律アルゴリズムのモデリングと設計シミュレーション

アプリケーションのテストと実装
6

ロボット・センサーのモデリングとシミュレーション
ロボットモデリング手法
高精度モデル

抽象モデル

外部ロボットモデル

センサーモデリング手法
センサーデータ取込センサーシミュレー
ションモデル

外部センサーモデル

タスクに適切な手法を選択

開ループ・
閉ループワー
クフローを実現7

接触・反力を考慮した把持のロボットシミュレーション
CAD
インポート

接触定義

詳細度低軌道計画

制御構築

把持シミュレーションの詳細度

検証確認できる現象

距離

軌道計画の妥当性※厳密形状の考慮の有無

接触反力

詳細度高摩擦力制御※厳密形状の考慮の有無
摩擦起因の把持の失敗※静摩擦動摩擦の考慮の有無

目的に応じた詳細度の検討と適切な環境の選定が必要

Simscape MultibodyTM
8

ロボットモデリング
物理モデル

高抽象度モデル

剛体ツリー

Gazeboモデル

運動学モデル

Robotics System Toolbox

CADモデルインポート
Simscape MultibodyTM

運動方程式モデル
Aerospace Blockset

Gazebo連携
コシミュレーション
Robotics System Toolbox
ROS Toolbox

9

ロボット・センサーのモデリングとシミュレーション
ロボットモデリング手法
高精度モデル

抽象モデル

外部ロボットモデル

センサーモデリング手法
センサーデータ取込センサーシミュレー
ションモデル

外部センサーモデル

タスクに適切な手法を選択

オフライン・
オンラインシミュレーションの実現

10

センサーシミュレーション
センサー
パラメータの設定

altimeterSensor
gpsSensor
imuSensor
rangeSensor

センサーセンサー

シミュレーション

信号処理

高度計のシミュレーションモデル
GPSレシーバーのシミュレーションモデル
IMU(加速度/ジャイロ/地磁気)のシミュレーションモデル
レンジセンサー(2D LiDAR)のシミュレーションモデル

検証

Sensor Fusion and Tracking
Toolbox
Navigation Toolbox11

自律ロボティクスシステムの開発
認識

経路計画

制御

ロボット・センサーの自律アルゴリズムのモデリングと設計
シミュレーション

アプリケーションのテストと実装
12

行動計画・制御ワークフロー
認識ワークフロー
データ収集

環境認知

自己位置推定

マッピング
SLAM

パス追従

アドバンスト制
御行動計画・制御ワークフロー
意思決定ロジック

モーション
プランニング13

データ収集＆環境認知
データ読込

キャリブ
レーション

ラベリング

学習

▪
▪
▪
▪

追尾

SSD（Single Shot Detector）
ネットワークの作成
データの拡張と前処理
SSDのトレーニングと評価
自動コード生成Object Detection Using SSD Deep
Learning
Computer Vision ToolboxTM
Deep Learning ToolboxTM
Parallel Computing ToolboxTM

14

画像処理とディープラーニング
YOLO v3

YOLO v4

Mask RCNNObject Detection Using
YOLO v3 Deep Learning

Pretrained YOLO v4 Network
For Object Detection

Instance Segmentation Using
Mask R-CNN Deep Learning

Computer Vision Toolbox TM
Deep Learning ToolboxTM

Computer Vision ToolboxTM
Deep Learning ToolboxTM

Computer Vision ToolboxTM
Deep Learning ToolboxTM

MATLAB Deep Learning GitHub Group15

ディープラーニング・フレームワークとの柔軟な連携
他のフレームワークでモデルエクスポート

▪

▪

16

再学習

ONNXでエクスポート

他のフレームワー
クで取り込みモデルインポート・エキスポート
––––

▪

インポート

Caffe
Keras
TensorFlow(saved_model.pb)
ONNX

CUDA® / TensorRT
C++ コード生成

Keras importer
Caffe importer

簡潔なコードでの学習済みモデルへのアクセス、パラメタ調整、転移学習への応用
Deep Learning ToolboxTM

16

SLAM (Simultaneous Localization and Mapping)
データの読み込み

マッチング

ポーズグラ
フの生成

ポーズグラフ最適化▪
▪
▪

障害物マップの作成

ループ閉じ込みの検出
ポーズグラフの最適化による軌跡
推定と改善
3D障害物マップの作成と可視化

Perform SLAM Using 3-D Lidar Point
CloudsNavigation ToolboxTM
Computer Vision ToolboxTM

17

SLAMアルゴリズム設計
単眼カメラVisual SLAM
(ORB-SLAM)

ステレオ Visual SLAM

ランドマーク SLAM

Develop Visual SLAM
Algorithm Using Unreal
Engine Simulation

Landmark SLAM Using
AprilTag Markers

実データ

合成データ

Automated Driving ToolboxTM
Computer Vision Toolbox TM
Navigation ToolboxTM

Automated Driving ToolboxTM
Navigation ToolboxTM
Computer Vision ToolboxTM

Navigation ToolboxTM
Computer Vision ToolboxTM

18

行動計画・制御ワークフロー
認識ワークフロー
データ収集

環境認知

自己位置推定

マッピング
SLAM

パス追従

アドバンスト制御

行動計画・制御ワークフロー
意思決定
ロジック

モーションプランニング

19

強化学習による把持動作の獲得
物理モデリング

接触定義

エージェン
ト定義

Reinforcement Learning Toolbox
Deep Learning Toolbox
Simscape Multibody

学習

検証

20

タスク・モーションプランニング
マニピュレータ

モバイルロボット

タスク
スケジューリングHybrid A*、RRT、RRT*

Stateflow（順・逆）運動学・動力学

干渉チェック・
衝突検出

Robotics System Toolbox

UAV / UUV
ガイダンス
モデル

ウェイポイントフォロワー

ダイナミッ
ク経路計画

最適化

Navigation Toolbox

Dubins Path
コネクションセグメント
UAV Toolbox
21

パス追跡とアドバンスト制御
モデル予測制御

強化学習
衝突回避

強化学習ヒューマノイド/四足歩行
Train a Humanoid
WalkerParallel Valet using Nonlinear
Model Predictive Control

Reinforcement
Learning ToolboxTM
Global OptimizationToolbox TM
Simscape Multibody TM

Automated Driving Toolbox TM
Model Predictive Control Toolbox TM
Navigation Toolbox TM

KINOVA Gen3 マニピュレーター
を使用した衝突のない軌跡の計
画と実行
Robotics System Toolbox TM
Model Predictive Control Toolbox TM
Optimization Toolbox TM

Quadruped Robot
Locomotion Using
DDPG Agent

Avoid Obstacles using
Reinforcement Learning forMobile Robots

Reinforcement Learning
Toolbox TM
Simscape Multibody TM

Robotics System ToolboxTM
Reinforcement Learning ToolboxTM22

自律ロボティクスシステムの開発
認識経路計画制御

ロボット・センサーの自律アルゴリズムのモデリングと設計
シミュレーション

アプリケーションのテストと実装
23

アプリケーションのテストと実装
テスト手法
MATLAB
Simulink

外部物理
シミュレータ

検証タスクの自動化

認証

MCU
DSP

FPGA
ASIC

GPU

実装手法
ROS/ROS2

SoC

24

Unreal Engine® 連携による自律無人航空機開発
アルゴリズム設
計

ミッション
プランニング

シナリオ生成Cuboidシミュレーショ

3D シミュレー
ションン

UAV機体モデルの詳細度を上げる

UAV アプリケーション開発のためのワークフロー提供▪
センサー読み込みを含めた閉ループのシミュレーション▪
様々な抽象度で反復設計するためのバリアントサブシステム▪
カスタマイズ可能なコンポーネント
UAV Package Delivery▪

UAV Toolbox
Aerospace Toolbox
Aerospace Blockset
Navigation Toolbox
Stateflow
25

RoadRunner による3Dシーンの構築

道路作成

ガードレール

樹木追加

追加

白線を変更

▪

路面のテクスチャ変更

異なる道路状況に応じたレーン追従アル
ゴリズムの挙動をテストするためにシーンを構築– 陰やカードレール– 区画線、路面テクスチャ– 対象の車両

Highway Lane Following with RoadRunner Scene
RoadRunner
Automated Driving Toolbox TM
26

アプリケーションのテストと実装
テスト手法
MATLAB
Simulink

外部物理
シミュレータ

検証タスクの自動化

認証

MCU
DSP

FPGAASIC

GPU

実装手法
ROS/ROS2

SoC

27

ROS連携による標識検出とライントレースの実装
ROS接続

速度制限
30km/h(減速する)

アルゴリズム開発

Gazeboシミュレーション

ROS Toolbox
Deep Learning Toolbox™
Computer Vision Toolbox™
MATLAB Coder™
GPU Coder™

実機実装

停止(一時停止する)

実機

速度制限50km/h(加速する)
シミュレーション28

ミドルウェア連携
ROS / ROS2連携

DDS 連携AUTOSAR 連携

ROS Toolbox 入門

DDS Blockset Shapes DemoROS Toolbox

DDS Blockset

Create and Configure
AUTOSAR Software
Component
AUTOSAR Blockset

29Gazebo / ROS / ROS2 連携
Gazebo
同期シミュレーションGazebo
ROS / ROS2 連携

ROSによるハードウェア接続

Gazeboでの倉庫内の移動ロボットシミュレーショ
ン

ROSを使用したGazeboでのPick & Place ワークフロー

Send Precomputed Trajectory
to KINOVA Gen3 Robot Arm

Robotics System Toolbox
Computer Vision Toolbox
Deep Learning Toolbox
ROS Toolbox

Simulink
Robotics System Toolbox
ROS Toolbox

Robotics System Toolbox
Navigation Toolbox
Stateflow

30ハードウェアサポート
Kinova® Gen3

NVIDIA® Jetson™
NVIDIA DRIVE™

Connect to KINOVA Gen3
Robot and Manipulate the Arm
Using MATLAB

MATLAB Coder Support
Package for NVIDIA Jetson
and NVIDIA DRIVE Platforms

Robotics System Toolbox ™

MATLAB Coder™
GPU Coder™

PX4 Autopilots

PX4 Autopilots Support fromEmbedded CoderUAV Toolbox
Embedded CoderTM

31

自律ロボティクスシステムの開発
統合開発環境 MATLAB / Simulink を活用し自律システムを効率的に開発

認識

行動計画

制御

ロボット・センサーのモデリングとシミュレーション

自律アルゴリズムの設計

アプリケーションのテストと実装
32

自律移動ロボット関連技術資料のご案内
ホワイトペーパー：
MATLABおよびSimulinkによる自律移動ロボット開発

ROS Toolbox
ROS / ROS2 連携およびC++ ノード生成

認知・判断・制御などの複合領域のアルゴリズムを単一環境で開発検証
自動コード生成によりリアルタイムハードウェアやGPU、組み込みCPUへシームレスに実装▪
▪
▪

30日無料の評価版を試す jp.mathworks.com/trial
製品、サービスのお見積もり jp.mathworks.com/quote
お問合せ jp.mathworks.com/contact33

自律ロボットアーム関連技術資料のご案内▪

ロボティクスおよび自律システム– ロボティクスのアイデアやコンセプトを実世界の環境でシームレスに動作する自律型システムに転換▪

Krones Develops Package-Handling Robot Digital Twin
– Krones社によるロボット内製化および運用におけるSimscape Multibody適用事例

▪
▪

▪
▪

▪

モデルベースデザインではじめる自律型アームロボットの開発
モデルべースデザインで加速する自律型ロボットアーム開発実践
30日無料の評価版を試す jp.mathworks.com/trial
製品、サービスのお見積もり jp.mathworks.com/quote
お問合せ jp.mathworks.com/contact34

関連ツールボックスのご案内 (1/2)
製品名1)基本構成
MATLAB
Simulink
Stateflow
Robotics System Toolbox
ROS Toolbox
UAV Toolbox
Automated Driving Toolbox

説明
全ての基本環境、テクニカルコンピューティング環境
シミュレーションとモデルベースデザインの基本環境
ステートマシンおよび制御ロジックの設計およびシミュレーション
マニピュレーター、モバイルロボット、向けツールとアルゴリズム
ROS連携機能無人航空機開発のためのツールとアルゴリズム
自動運転システムの設計とテスト

2) +モーションプランニング（自己位置推定、マッピング、軌道計画）
Navigation Toolbox
計画および運行向けアルゴリズム、解析ツール
Sensor Fusion and Tracking Toolbox
マルチセンサーのトラッキングとナビゲーションの設計とシミュレーション
3) +軌道追従、制御
Control System Toolbox
System Identification Toolbox
Simulink Control Design
Motor Control Blockset
Simulink Design Optimization
Model Predictive Control Toolbox
Optimization Toolbox
Reinforcement Learning Toolbox

制御システムの設計および解析
ブラックボックスモデリング（システム同定）、グレーボックスモデリング
Simulink 環境上で制御システムを設計、解析
モーター制御アルゴリズムの設計と実装
Simulink モデルパラメータの推定と最適化
モデル予測制御の設計とシミュレーション
標準的および大規模な最適化問題の解決
強化学習アルゴリズムによるポリシーを学習するための機能とブロックを提供
35

関連ツールボックスのご案内 (2/2)
製品名説明

4) +画像処理、物体認識
Image Processing Toolbox
Computer Vision Toolbox
Statistics and Machine Learning Toolbox
Deep Learning Toolbox
Parallel Computing Toolbox
Lidar Toolbox
Image Acquisition Toolbox

画像処理、解析、可視化、アルゴリズム開発
動画処理、画像処理システムの設計およびシミュレーション
統計解析と機械学習のアルゴリズム開発
ディープニューラルネットワークの設計およびシミュレーション
マルチコア、GPUおよびコンピュータクラスタ上での並列処理の実行
Lidar点群処理のアルゴリズム開発検証
業界標準のハードウェアから、静止画像および動画像を取得

5) +詳細プラントモデリング（用途に合わせて）Simscape
Simscape Multibody
Simscape Electrical
Aerospace Toolbox
Aerospace Blockset

マルチドメイン物理システムのモデリングおよびシミュレーション
3 次元メカニカルシステムのモデリングおよびシミュレーション
電気回路、モータ、電力網のモデリングおよびシミュレーション
航空・宇宙、環境モデルおよびダイナミクスパラメータのインポート
航空・宇宙機のモデリングとシミュレーション

6) +コード生成、実装、テスト
MATLAB Coder
Simulink Coder
Embedded CoderGPU Coder
Simulink Real-TimeDDS Blockset
RoadRunner

MATLAB コードからの C コードと C++ コードの生成
Simulink モデルと Stateflow モデルからの C コードと C++ コードの生成
組込みシステム用に最適化された C コードと C++ コードの生成
NVIDIA GPU向けCudaコードの生成
RCPおよびHILシミュレーションの実行
DDSアプリケーションの設計とシミュレーション
自動運転システムのシミュレーションとテストのための 3D シーンを設計
36

© 2021 The MathWorks, Inc. MATLAB and Simulink are registered trademarks of
The MathWorks, Inc. See www.mathworks.com/trademarks for a list ofadditional trademarks. Other product or brand names may be trademarks orregistered trademarks of their respective holders.