自動運転領域におけるAI、IoT活用事例
Tier IV 技術本部 関谷英爾

2019 © Tier IV, Inc. All rights reserved.

概要● 会社紹介● AI活用事例● IoT活用事例

自己紹介● Tier4 技術本部
○ 関谷 英爾● 経験@eratostennis○ 分析基盤, 機械学習 (レコメンド, 強化学習, 組合せ最適化)○ Tier IV 2018/03～■ データ基盤・機械学習基盤■ FMS開発マネジメント

株式会社ティアフォー (Tier IV, Inc.)● 自動運転ソフトウェア開発 (Autoware*)● 自動運転技術を活用した物流サービスの開発● 近距離低速自動運転サービスの開発* Autowareは、AWFの商標です

CASE

CA

(Connected)(Autonomous)

SE(Shared&Services)(Electric)

自動運転とAI

自動運転OSS Autoware

Retrieved from https://gitlab.com/autowarefoundation/autoware.ai/autoware/wikis/Overview

自動運転OSS Autoware

Retrieved from https://gitlab.com/autowarefoundation/autoware.ai/autoware/wikis/Overview

自動運転に組み込まれているDeep Learning● 検出タスク (2D Bounding Box)
○ Yolov3, etc.

● 検出タスク (3D Bounding Box)
○ VoxelNet, etc.

● 分類タスク (信号色認識)○ DenseNet● etc.

自動運転に組み込まれているDeep Learning● 検出タスク (2D Bounding Box)
○ Yolov3, etc.

● 検出タスク (3D Bounding Box)
○ VoxelNet, etc.

● 分類タスク (信号色認識)○ DenseNet● etc.

3Dの物体検出の特徴● 点群データの特徴○ 3D, Sparse3Dの物体検出
クラスタリング手法

Deep Learningによる手法● サンプリング● 地面除去● Clipping● Clustering● とりあえず前処理はほぼかけずにDeep Learningに食わせる○ Euclidean Cluster○ MV3D○ VoxelNet○ PointPillars

3Dの物体検出
クラスタリング手法

Deep Learningによる手法● サンプリング● 地面除去● Clipping● Clustering● とりあえず前処理はほぼかけずにDeep Learningに食わせる○ Euclidean Cluster○ MV3D○ VoxelNet○ PointPillars

Euclidean Cluster

単純に距離の近いものを同一クラスタとみなす
Euclidean Clusterで障害物検出と十分な計算量削減が可能
ただし、Semantic情報があれば、さらにトラッキング精度なども上がってくる
ちゃんと物体単位で検出したい

3Dの物体検出
クラスタリング手法

Deep Learningによる手法● サンプリング● 地面除去● Clipping● Clustering● とりあえず前処理はほぼかけずにDeep Learningに食わせる○ Euclidean Cluster○ MV3D○ VoxelNet○ PointPillars

3D物体検出の精度評価
Bird’s Eye View (BEV)The KITTI Vision Benchmark Suite. Retrieved from http://www.cvlibs.net/datasets/kitti/eval_object.php?obj_benchmark=bev

3D Bounding Box

The KITTI Vision Benchmark Suite. Retrieved from http://www.cvlibs.net/datasets/kitti/eval_object.php?obj_benchmark=3d

VoxelNet

Yin Zhou, Oncel Tuzel. 2017.
VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection.
arXiv:1711.06396.
Retrieved from https://arxiv.org/abs/1711.06396● 特徴○ 3D 物体検出初のEnd-to-end学習○ Convolution Middle Layersは3D CNNで遅い (4.4Hz)

PointPillars

Alex H. Lang, Sourabh Vora, Holger Caesar, Lubing Zhou, Jiong Yang, Oscar Beijbom. 2018.
PointPillars: Fast Encoders for Object Detection from Point Clouds
arXiv:1812.05784.
Retrieved from https://arxiv.org/abs/1812.05784● 特徴○ 3D CNNを使わずに高速化 (62Hz)○ Single Shot Detectorによる位置の回帰とクラス分類

Performance

Alex H. Lang, Sourabh Vora, Holger Caesar, Lubing Zhou, Jiong Yang, Oscar Beijbom. 2018.
PointPillars: Fast Encoders for Object Detection from Point Clouds
arXiv:1812.05784.
Retrieved from https://arxiv.org/abs/1812.05784

Failure Case

Alex H. Lang, Sourabh Vora, Holger Caesar, Lubing Zhou, Jiong Yang, Oscar Beijbom. 2018.
PointPillars: Fast Encoders for Object Detection from Point Clouds
arXiv:1812.05784.
Retrieved from https://arxiv.org/abs/1812.05784

街路樹を歩行者と分類

歩行者とサイクリストの誤分類

3D物体検出との付き合い方● 精度が上がって来たが、まだまだ3D物体検出単体で使うにはいまいち● 使い方○ 画像とFusionする■ Deep Learningで行う必要はない○ 地図のレーン情報など他に持っているデータも利用する● Trackingの精度向上○ 単純な2Dだけで推測するより距離などは正確○ 物体の運動モデルがだいたい分かっていれば役に立つEdgeでの推論について● エッジのリソース制約○ メモリ、電力● モデルの軽量化● リアルタイム性● テスト手法

Edgeでの推論について● エッジのリソース制約○ メモリ、電力● モデルの軽量化● リアルタイム性● テスト手法

NVIDIA Jetson AGX, Jetson Nano
● NVIDIAが発売した組み込みAI向けデバイス
AGXNanoサイズ

100×87mm

70×45mm

CPU

8-Core ARM v8.2 64-Bit CPU,
8MB L2 + 4MB L3

クアッドコア ARM CortexA57 MP CoreGPU

512-Core Volta GPU with 64
Tensor Cores

NVIDIA Maxwell

メモリ

16GB4GBJetson AGX (Tensor RT, yolov3)

消費電力をあげればあげるほど速度改善
15Wで20Hzとかなり高速で動作Jetson Nano (Tensor RT, yolov3)

Maxwell世代でint8の計算で実行時間が悪化
工夫をしていかなければ10Hz以上の速度がでない運行管理システムとIoT

IoT活用事例● 運行管理・配車サービス● 設備連携 (V2I)● フィールドテスト

Autoware FMS● Autowareで動く自動運転車両の運行管理システム● 機能● モニタリング● スケジューリング
● 経路計画● 運行過去実績管理

Step 1

呼び出し

迎車

Step 2
乗車

Step 3走行

降車配車アプリ

車載アプリコンソール● 位置や車両状態などのモニタリング● エラー・オフライン時の通知● スケジュールの予定・走行実績確認様々なデータの通信● 車両 => FMS○ 車両状態, 速度, バッテリー, 位置情報など● 車両 <= FMS○ ステートコマンド, 経路, 車両操作コマンド

スケジュール実行時の処理の流れ● FMSに登録されている予定をマスターとし、Autowareのス
テートを変化させて行く
MissionInit
WaitOrder

DriveReadyStart

MissionAborted

MissionComplete

Driving

Autoware Drive (遠隔運転の取り組み)

Autoware Drive (遠隔運転の取り組み)● 安全・高速な通信が必要● 様々な検討○ AWS IoT
○ MQTT○ QUIC設備連携● 完全自動運転になると人手を介入させない設計が必要● 例○ 交差点での複数車両調停○ シャッター連携○ エレベータ連携シャッター連携
進行方向

シャッター閉時待機位置

車輌位置

シャッター開要求・状態問合せ区間

シャッター閉要求開始位置

車輌位置

信号機連携

進行方向

交差区間

赤信号時停止位置

青信号要求区間

車輌位置

システム連携フィールドテスト準備● 事前の品質向上○ プログラムのテスト○ シミュレータによるテスト

フィールドテスト● フィールドでしか試せないことがある○ 実車両・走行環境によって様々な調整が必要○ 制御動作の確認, 通信環境の確認● 決められた手順で調整できることが重要Over the Air● プログラムの更新● ログレベルの変更○ テスト時に遠隔から手厚いサポートをする場合に設定を変更● 映像配信ビットレート● 地図データ更新ドラレコデータのリアルタイムアップロード● Autowareが利用しているROSではログデータが大きくなりやすい○ Autowareに異常があった時間に絞ってログを管理○ 機械学習を用いた未知のデータの検出を行う研究開発

今後の取り組み● AIの取り組み○ モデル評価・品質・安全性の取り組み○ デバイスエッジ最適化による省エネ・高速化● IoTの取り組み○ デバイスエッジでのデータ選択・圧縮○ セキュアな環境を素早く構築