自動運転システムにおける高性能計算技術の応用加藤真平
名古屋大学大学院情報科学研究科 准教授

自動運転システムにおける高性能計算技術の応用

自動運転システムにおける高性能計算技術の応用

JAVAD RTK-GNSS (GNSS/GPS)
Velodyne HDL-64e (3D LIDAR)
Velodyne HDL-32e (3D LIDAR)HOKUYO UTM-30LX (LIDAR)

Point Grey Ladybug 5 (Camera)

IBEO LUX 8L (3D LIDAR)
Point Grey Grasshopper3 (Camera)

Laptop PC
Workstation

自動運転システムにおける高性能計算技術の応用

2015年6月16日NHKほっとイブニングより

自動運転システムにおける高性能計算技術の応用

自動運転システムにおける高性能計算技術の応用

始点
イオン守山付近

終点

竜泉寺交差点付近

自動運転システムにおける高性能計算技術の応用

＠小幡緑地公園

自動運転システムにおける高性能計算技術の応用

2013

2014

2015

自動運転システムにおける高性能計算技術の応用

ZMPロボカー

アイサンテクノロジー
高精度地図

自動運転システムにおける高性能計算技術の応用

自動運転システムにおける高性能計算技術の応用

3次元レーザースキャン

Velodyne社製3次元LIDARスキャナ（左から64層、32層、16層）

自動運転システムにおける高性能計算技術の応用

自動運転システムにおける高性能計算技術の応用

3次元レーザースキャンと高精度3次元地図データを重ね合わせて自車位置を推定（SLAM技術）

3次元地図データマッチング

自車位置

3次元レーザースキャン自動運転システムにおける高性能計算技術の応用

位置推定（スキャンマッチング）
Normal Distributions Transform (NDT)– 地図空間をボクセル(立方体)に区切り、ボクセルごとの点の集合を正規分布で近似– 計算量は、スキャンデータの大きさに比例し、地図データの大きさには依存しない(参考: ICPの場合は地図データの大きさにも比例)

E. Takeuchi and T. Tsubouchi
A 3-D Scan Matching using Improved 3-D Normal Distributions Transform for Mobile Robotic Mapping
Proc. of IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 3068—3073, 2006

M. Magnusson and A. Lilienthal and T. Duckett
Scan Registration for Autonomous Mining Vehicles using 3D-NDTJournal of Field Robotics, Vol. 24, No.10, pp. 803—827, 2007

自動運転システムにおける高性能計算技術の応用

自動運転システムにおける高性能計算技術の応用

自動運転システムにおける高性能計算技術の応用

自動運転システムにおける高性能計算技術の応用

自動運転システムにおける高性能計算技術の応用

自動運転システムにおける高性能計算技術の応用

自動運転システムにおける高性能計算技術の応用

物体検出（パターン認識）

入力画像

ルートフィルタ

リサイズ画像ピラミッド

パートフィルタ

HOG特徴量ピラミッド

検出結果

自動運転システムにおける高性能計算技術の応用

物体検出（パターン認識）
Deformable Part Models (DPM)– HOG特徴量を部分的に利用– SVMベースの学習器を利用– 側方，前背面から見た場合でも検出可能– 計算コストが課題

P. Felzenszwalb, D. McAllester, D. Ramanan”A Discriminatively Trained, Multiscale, Deformable Part Model”
IEEE Conference on Computer Vision and Pattern Recognition(CVPR), 2008

自動運転システムにおける高性能計算技術の応用

物体検出（パターン認識）
HOG特徴量#N

max_height

max_widthN

スコア配列を生成

フィルタ
#M

M
スコア＝類似度自動運転システムにおける高性能計算技術の応用

256-core Maxwell GPU
8 CPU cores- 4x ARM Cortex A57- 4x ARM Cortex A53)
60 fps 4K video
1.3 gigapixel of cameras
20nm process

CPUGPU自動運転システムにおける高性能計算技術の応用

物体検出（ディープラーニング）
Regions Convolutional Neural Networks (RCNN)– 最初にセグメンテーションを実行– 各Regionに対してCNNを適用– 複数クラスに対応可能– 計算コストが課題

R. Girshick, J. Donahue, T. Darrel, J. Malik” Rich feature hierarchies for accurate object detection and semantic segmentation”
IEEE Conference on Computer Vision and Pattern Recognition(CVPR), 2014

自動運転システムにおける高性能計算技術の応用

Fast RCNN+KLT Tracking

自動運転システムにおける高性能計算技術の応用

自動運転システムにおける高性能計算技術の応用

問題: 「運転動画からブレーキの判別」
入力: カメラ画像・LIDAR画像
出力・ラベル: ブレーキ信号

Brake

No Brake!

運転データ詳細

Convolutional Neural Network– 運転動画 (40分✕3本)– 画像サイズ(QVGA: 320✕240 )– 制御信号(アクセル, ステアリング角,ブレーキ,…)→ ブレーキ(ON,OFFの２値に変換)自動運転システムにおける高性能計算技術の応用

Real: 実測
Pred: 予測Brake: ON
Brake: OFF

実測(連続)
実測(二値)
予測29

自動運転システムにおける高性能計算技術の応用

自動運転システムにおける高性能計算技術の応用

経路計画

複数経路生成環境予測

経路決定
目的地現在地自動運転システムにおける高性能計算技術の応用

軌跡生成（State Lattice）

自動運転システムにおける高性能計算技術の応用

自動運転システムにおける高性能計算技術の応用

経路追従
Pure Pursuitアルゴリズム[2]1. 推定された自己位置を受け取る
2. 次のWaypointを探索
3. 到達するための角速度を計算
4. 速度、角速度を与え自動車を制御、自己位置を更新
Estimated
Position
Start

Look Ahead
Threshold

Waypoint

Goal

AutoControl[2] R Craig Coulter. "Implementation of the Pure Pursuit Path Tracking Algorithm".
Technical Report CMU-RI-TR-92-01, Robotics Institute, Pittsburgh, PA, January 1992.

自動運転システムにおける高性能計算技術の応用

自動運転システムにおける高性能計算技術の応用

自動運転システムにおける高性能計算技術の応用

自動運転技術のオープンソース実装

82

90MB/sec(SSH, 実測)

db1

db2

fx01

fx02

...

fx08

cx01

10.11.0.1〜8

PostgreSQL(ユーザ権限で実行)

fastslow
newbackup

expire... cx08

cx.cc.nagoya-u.ac.jp

fx.cc.nagoya-u.ac.jp

VoltDB PostgreSQL

cx02

R

10.12.0.1〜8/home:/large:816T/896T
403T/1.4P

expire

query
query

HDFS

query

clientoldInfiniBand / FEFS

自動運転システムにおける高性能計算技術の応用

自動運転システムにおける高性能計算技術の応用

http://github.com/cpfl/autoware

In-memory
DBMS

Distributed
Data Processing

Driver Interface

PedestrianControl
Control
Control
Control

SoC（e.g., Drive PX）

Large-scale
DBMS

ADAS

SafetyMonitoringPerception

Planning

Control

OpenCV
PCL

CUDA

ROS

DriverCAN

Embedded OS

Car

ECU
ECU
ECU
ECU

Many-Core CPUs

Vehicular System

LaptopLinux RTX
GPUs

FPGAs

Camera GNSS
Radar LIDAR

Autonomous Driving System

自動運転システムにおける高性能計算技術の応用

https://github.com/cpfl/autoware

自動運転システムにおける高性能計算技術の応用

自動運転システムにおける高性能計算技術の応用

自動運転システムにおける高性能計算技術の応用

自動運転システムにおける高性能計算技術の応用

株式会社ティアフォー
http://www.tier4.jp

Thank You!

自動運転システムにおける高性能計算技
術の応用