第27回 画像の認識・理解シンポジウム MIRU2024

自動運転のためのビジョン技術
佐藤 育郎
デンソーITラボラトリ／東京工業大学

自己紹介： 佐藤 育郎

HPC

最適化

CV Robotics
ML MM

3D

所属

デンソーITラボラトリ
東京工業大学 情報理工学院

略歴

2005年 米メリーランド大にて博士号取得
国立研究所にてポスドク
2008年 デンソーITラボラトリ入社
ADAS関連のCV・ML研究開発
2020年 東京工業大学に兼務出向
2021年 研究室を主宰
2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

DENSO IT LAB 認識・学習
アルゴリズム共研講座

MIRU 2024 チュートリアル

佐藤研究室
2 / 103

ちょっと研究紹介
移動物体検出行動計画

その他（特徴抽出等）

SAM

PoF

IV 20102024/8/6

ICML 2022 他

IV 2018佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

3 / 103

目次

1. 導入
2. ビジョン技術
3. おわりに2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

4 / 103

目次

1. 導入
2. ビジョン技術
3. おわりに2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

5 / 103

自動運転の発展史
2004/3

第１回 DARPA G. C.
完走なし

2007/11

第３回 Urban C.
６台完走

2011/11

Googleテスト走行

2013/8ダイムラー
公道103km完走

newatlas.com

C. Urmson (Carnegie Mellon U.)+, 2007.

IEEE Spectrum

J. Ziegler+, 2014.
2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

6 / 103

自動運転の発展史《深層学習誕生以降》
2014/10テスラ
Autopilot発売

www.tesla.com

2020/12

Waymo レベル４
無人タクシーサービス開始

2021/3-2024/3

レベル３自動運転車両発売
ホンダ、メルセデス、BMW

waymo.com

global.honda

2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

7 / 103

深層学習が可能にしたアプローチ
BEFORE：モジュラー型アプローチ
物体検知

運動予測

モデル A
閉じた最適性

行動計画

モデル B
閉じた最適性

モデル C
閉じた最適性AFTER：End-to-End 型アプローチ
物体検知

運動予測

行動計画
単一モデル
全体最適性

2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

8 / 103

深層学習が可能にしたアプローチ
BEFORE：モジュラー型アプローチ
物体検知

運動予測

行動計画

モデル A
モデル B
閉じた最適性
閉じた最適性おことわり：モジュラー型アプロー
チは今でも有効です。
AFTER：End-to-End
型アプローチ
物体検知

運動予測

モデル C
閉じた最適性

行動計画
単一モデル
全体最適性

2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

9 / 103

モジュラー型アプローチ －ダイムラー社 Birtha を例にステレオ視差2024/8/6

佐藤 育郎

静止物／移動体の Stixel 表現『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

10 / 103

モジュラー型アプローチ －ダイムラー社 Birtha を例に

HOG
特徴抽出

線形
SVM

N. Dalal and B. Trigs, CVPR 2005.

2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

11 / 103

モジュラー型アプローチ －ダイムラー社 Birtha を例に

上：マップ生成時の画像
下：テスト時の画像
2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

12 / 103

モジュラー型アプローチ －ダイムラー社 Birtha を例に
𝑥𝑥 𝑡𝑡

走行軌跡を都度最適化
𝐿𝐿 𝑥𝑥 = �𝑡𝑡𝑜𝑜 +𝑇𝑇

𝑡𝑡02024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

𝐿𝐿𝑜𝑜 𝑥𝑥 + 𝐿𝐿𝑣𝑣 𝑥𝑥 + 𝐿𝐿𝑎𝑎 𝑥𝑥 + ⋯ 𝑑𝑑𝑑𝑑

加速度の絶対値
目標速度からのズレ
左右レーンからのずれ
MIRU 2024 チュートリアル

13 / 103

E2E型アプローチ －UniADを例に
マルチカメラ入力から５タスクを同時最適化
する単一のモデル

後程詳述します2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

14 / 103

モジュラー型 vs E2E型：それぞれの利点
モジュラー型

開発しやすい（体制を分けられる）

End-to-End 型

マルチカメラ統合やセンサーフュージョンをしやすい／その情報を多タスクに活用しやすい
下流タスクの精度を出しやすい

2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

15 / 103

外界を認識するセンサー －カメラ
画像（密な可視光の観測）から高精度なパターン認識が可能

テスラの例）

www.tesla.com

2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

16 / 103

外界を認識するセンサー －LiDAR
周囲の疎な三次元点群を取得可能

IEEE Spectrum

数十個程度の近赤外光パル
スを照射、反射光の到達時
間から距離を計測（ToF(Time-of-Flight) 方式）
2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

blogs.nvidia.co.jp
MIRU 2024 チュートリアル

17 / 103

外界を認識するセンサー －ミリ波レーダー
自車・物体間の距離 𝑅𝑅 と相対速度 𝑉𝑉 を計測可能

FMCW方式

送信ア
ンテナ
受信ア
ンテナ

2024/8/6

𝑉𝑉

送信波

ドッ
プラー

受信波

𝑅𝑅
佐藤 育郎

www.renesas.com『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

18 / 103主なタスク＆評価指標
マッピング

物体追跡

運動予測

IoU(%)↑AMOTA↑

minFDE(m)↓ L2(m)↓, 衝突率(%)↓

Ave. Multi-Obj. Tracking Acc.

𝐹𝐹𝐹𝐹 + 𝐹𝐹𝐹𝐹 + 𝐼𝐼𝐼𝐼 − 1 − 𝑟𝑟 𝑃𝑃𝑜𝑜𝑜𝑜
max 0,1 −𝑟𝑟𝑟𝑟𝑜𝑜𝑜𝑜
2024/8/6

佐藤 育郎

行動計画

min. Final Displacement Error

𝑟𝑟『自動運転のためのビジョン技術』

予測と真の軌跡の終点のL2距離
複数軌跡予測する場合は最良のみ
MIRU 2024 チュートリアル

19 / 103

難しさ －計算時間の制約
Time (s)
0.0

0.2

0.4

歩行者
登場！

0.6

0.8

1.0

Recognition period
Lead time of control

1.2

衝突前に完全停止
する必要！

Braking
Image acquisition=3※ 数字は例です2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

20 / 103

難しさ －消費電力の制約
一般に、電源・廃熱・スペースの制約から消費電力を抑える必要がある

例）

車載SoC (System on Chip)

研究開発用GPU

メーカー

ルネサス

NVIDIA

型

R-Car-V4H

H100

消費電力

2.1W*

≪

700W

*単体として。カタログ値（最大34TOPS、効率16TOPS/W）より算出。
2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

21 / 103

難しさ －バリエーションの多さ
環境光、気象、影、遮蔽、昼夜、スケール差、都市／郊外、etc.

https://xtech.nikkei.com

https://www.gettyimages.co.jp

Zhengxia Zou, 2019.
2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

https://www.taketora.co.jp/koujoublog

22 / 103

難しさ －エッジケース

2024/8/6

youtubehttps://sirabee.com/2016/08/13/151391/

https://www.bengo4.com/c_23/n_9085/

https://trafficnews.jp/post/54477

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

23 / 103

難しさ －セーフティクリティカル！
極めて高い要求精度

理想

物体検知の例）

True Positive Rate

障害物の検出率1.0

ROC curve

ブレーキ掛けすぎ
ブレーキ掛けなさすぎ
False Positive Rate
背景の誤認識率

2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

1.0

24 / 103

本チュートリアルのフォーカス
自動運転のためのビジョン技術を紹介• センサ入力から鳥瞰図表現を生成する方法• 鳥瞰図表現を用いた下流タスク（マッピング、物体追跡、運動予測、行動計画）の学習・推論方法• フォトリアルな運転シーン生成方法

2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

同時最適化による精度改善エッジケースのデータ拡張
25 / 103

目次

1. 導入
2. ビジョン技術
3. おわりに2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

26 / 103

2. ビジョン技術• 鳥瞰図表現• 下流タスク（行動計画等）• 運転シーン生成

2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

27 / 103

2. ビジョン技術• 鳥瞰図表現• 下流タスク（行動計画等）• 運転シーン生成

2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

28 / 103鳥瞰図 (BEV: Bird’s-Eye View) 表現
画像（透視投影）
バックボーン

鳥瞰図表現

座標変換：
透視投影鳥瞰図
ヘッド

出力2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

29 / 103鳥瞰図 (BEV: Bird’s-Eye View) 表現のうれしさ
画像（透視投影）
バックボーン• マルチカメラの統合が容易• マルチタスク化が容易

座標変換：
透視投影鳥瞰図
ヘッド

出力2024/8/6

Z. Li+, ECCV2022.
佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

30 / 103BEVFormer

Z. Li+, ECCV2022; 南京大学、上海AIラボ、香港大学

ヘッド

バック
ボーン

2024/8/6

×6

佐藤 育郎

『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

31 / 103

座標変換

BEVFormer

Z. Li+, ECCV2022; 南京大学、上海AIラボ、香港大学

×62024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

32 / 103

おさらい： 相互注意機構 (Cross-Attention)

𝑘𝑘1 , 𝑣𝑣1 𝑘𝑘2 , 𝑣𝑣2 𝑘𝑘3 , 𝑣𝑣3

𝑘𝑘4 , 𝑣𝑣4 𝑘𝑘5 , 𝑣𝑣5 𝑘𝑘6 , 𝑣𝑣6
𝑘𝑘7 , 𝑣𝑣7 𝑘𝑘8 , 𝑣𝑣8 𝑘𝑘9 , 𝑣𝑣92024/8/6

佐藤 育郎

𝑣𝑣1 𝑣𝑣2 ⋯ 𝑣𝑣9…

𝑞𝑞

𝑘𝑘1 𝑘𝑘2 ⋯ 𝑘𝑘9 ⊤ 𝑞𝑞

softmax『自動運転のためのビジョン技術』…

学習可能パラメタ／
別ソースの特徴

MIRU 2024 チュートリアル…

33 / 103

dim 𝑞𝑞おさらい： 自己注意機構 (Self-Attention)…

𝑘𝑘4 , 𝑣𝑣4 𝑘𝑘5 , 𝑣𝑣5 𝑘𝑘6 , 𝑣𝑣6
𝑘𝑘7 , 𝑣𝑣7 𝑘𝑘8 , 𝑣𝑣8 𝑘𝑘9 , 𝑣𝑣92024/8/6

佐藤 育郎

…

𝑞𝑞1
𝑘𝑘1 , 𝑣𝑣1 𝑘𝑘2 , 𝑣𝑣2 𝑘𝑘3 , 𝑣𝑣3

𝑣𝑣1 𝑣𝑣2 ⋯ 𝑣𝑣9

𝑘𝑘1 𝑘𝑘2 ⋯ 𝑘𝑘9 ⊤ 𝑞𝑞1

softmax『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル…

34 / 103

dim 𝑞𝑞おさらい：Deformable Attention

X. Zhu+, ICLR2021; SenseTime、
中国科学技術大、香港中文大少数の、推論されたオフセットだけずれた位置の Value 𝑣𝑣 を利用

𝑞𝑞𝑝𝑝

オフセット

注意重み

𝑣𝑣 𝑣𝑣 𝑣𝑣

座標 𝑝𝑝

内積2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

35 / 103

次層の
特徴＠𝑝𝑝

（再掲）BEVFormer

Z. Li+, ECCV2022; 南京大学、上海AIラボ、香港大学

×62024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

36 / 103

Spatial Cross-Attention
目的

透視
投影
表現

𝑣𝑣

Z. Li+, ECCV2022; 南京大学、上海AIラボ、香港大学

手順１ BEVクエリを鉛直方向にコ
ピーし、透視投影表現をバリューとするDeformable
Attentionを適用
 ３次元グリッド上の表現

𝑞𝑞2024/8/6

透視投影表現をBEV表現空間
に埋め込む

佐藤 育郎

手順２ 鉛直方向に和を取る
 現時刻BEV表現 𝐵𝐵𝑡𝑡

『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

37 / 103

Spatial Cross-Attention

Z. Li+, ECCV2022; 南京大学、上海AIラボ、香港大学

手順１ BEVクエリを鉛直方向にコ
ピーし、透視投影表現をバリューとするDeformable
Attentionを適用
 ３次元グリッド上の表現
手順２ 鉛直方向に和を取る
 現時刻BEV表現 𝐵𝐵𝑡𝑡2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

𝑞𝑞
MIRU 2024 チュートリアル

38 / 103

Spatial Cross-Attention

Z. Li+, ECCV2022; 南京大学、上海AIラボ、香港大学

手順１ BEVクエリを鉛直方向にコ
ピーし、透視投影表現をバリューとするDeformable
Attentionを適用
 ３次元グリッド上の表現
手順２ 鉛直方向に和を取る
 現時刻BEV表現 𝐵𝐵𝑡𝑡2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

𝑞𝑞
MIRU 2024 チュートリアル

39 / 103

Spatial Cross-Attention

Z. Li+, ECCV2022; 南京大学、上海AIラボ、香港大学

手順１ BEVクエリを鉛直方向にコ
ピーし、透視投影表現をバリューとするDeformable
Attentionを適用
 ３次元グリッド上の表現
手順２ 鉛直方向に和を取る
 現時刻BEV表現 𝐵𝐵𝑡𝑡2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

𝑞𝑞
MIRU 2024 チュートリアル

40 / 103

Spatial Cross-Attention

Z. Li+, ECCV2022; 南京大学、上海AIラボ、香港大学

コピー

手順１ BEVクエリを鉛直方向にコ
ピーし、透視投影表現をバリューとするDeformable
Attentionを適用
 ３次元グリッド上の表現
手順２ 鉛直方向に和を取る
 現時刻BEV表現 𝐵𝐵𝑡𝑡2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

𝑞𝑞
MIRU 2024 チュートリアル

41 / 103

Spatial Cross-Attention

Z. Li+, ECCV2022; 南京大学、上海AIラボ、香港大学

手順１ BEVクエリを鉛直方向にコ
ピーし、透視投影表現をバリューとするDeformable
Attentionを適用
 ３次元グリッド上の表現
手順２ 鉛直方向に和を取る
 現時刻BEV表現 𝐵𝐵𝑡𝑡 レイと画像平
オフセット
2024/8/6

佐藤 育郎

𝑣𝑣

面の接点近傍に問い合わせ『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

𝑞𝑞
42 / 103

Spatial Cross-Attention

Z. Li+, ECCV2022; 南京大学、上海AIラボ、香港大学

手順１ BEVクエリを鉛直方向にコ
ピーし、透視投影表現をバリューとするDeformable
Attentionを適用
 ３次元グリッド上の表現
手順２
鉛直方向に和を取る
オフセットモジュール
 現時刻BEV表現 𝐵𝐵𝑡𝑡 レイと画像平が奥行き推定を暗に
担っている

オフセット
2024/8/6

佐藤 育郎

𝑣𝑣

面の接点近傍に問い合わせ『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

𝑞𝑞
43 / 103

Spatial Cross-Attention

Z. Li+, ECCV2022; 南京大学、上海AIラボ、香港大学

手順１ BEVクエリを鉛直方向にコ
ピーし、透視投影表現をバリューとするDeformable
Attentionを適用
 ３次元グリッド上の表現
手順２ 鉛直方向に和を取る
 現時刻BEV表現 𝐵𝐵𝑡𝑡
３次元グリッド表現

2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

44 / 103

Spatial Cross-Attention

Z. Li+, ECCV2022; 南京大学、上海AIラボ、香港大学

手順１ BEVクエリを鉛直方向にコ
ピーし、透視投影表現をバリューとするDeformable
Attentionを適用
 ３次元グリッド上の表現
手順２ 鉛直方向に和を取る
 現時刻BEV表現 𝑩𝑩𝒕𝒕
３次元グリッド表現

2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

45 / 103

Temporal Self-Attention

Z. Li+, ECCV2022; 南京大学、上海AIラボ、香港大学

目的

一期前のBEV表現の位置を、
現時刻のBEV表現にアラインさせる

手順１ エゴモーションを使い、一期前のBEV表現をSE(2)変換 静止物体のアラインメント
手順２ Deformable Attentionの適用
 移動物体のアラインメント

2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

46 / 103

Temporal Self-Attention
𝐵𝐵𝑡𝑡−1

Z. Li+, ECCV2022; 南京大学、上海AIラボ、香港大学

SE2 𝐵𝐵𝑡𝑡−1 , ego𝑡𝑡−1⇒𝑡𝑡

手順１

𝐵𝐵𝑡𝑡 にアライン
された表現
手順２

静止物体が現時刻の位置に
移動物体の位置が不正確
2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

移動物体の位置が正確

47 / 103

Temporal Self-Attention
𝐵𝐵𝑡𝑡−1

Z. Li+, ECCV2022; 南京大学、上海AIラボ、香港大学

SE2 𝐵𝐵𝑡𝑡−1 , ego𝑡𝑡−1⇒𝑡𝑡

手順１

𝐵𝐵𝑡𝑡 にアライン
された表現
手順２

静止物体が現時刻の位置に
移動物体の位置が不正確
2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

移動物体の位置が正確

48 / 103

Temporal Self-Attention
𝐵𝐵𝑡𝑡−1

Z. Li+, ECCV2022; 南京大学、上海AIラボ、香港大学

SE2 𝐵𝐵𝑡𝑡−1 , ego𝑡𝑡−1⇒𝑡𝑡

手順１

オフセットモジュール
が物体の移動を暗に推定している

𝐵𝐵𝑡𝑡 にアライン
された表現
手順２

アテンション
静止物体が現時刻の位置に

𝑞𝑞
𝑣𝑣
オフセット
移動物体の位置が不正確

移動物体の位置が正確

地点の学習可能クエリ

2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

49 / 103

Temporal Self-Attention
𝐵𝐵𝑡𝑡−1

Z. Li+, ECCV2022; 南京大学、上海AIラボ、香港大学

SE2 𝐵𝐵𝑡𝑡−1 , ego𝑡𝑡−1⇒𝑡𝑡

手順１

𝐵𝐵𝑡𝑡 にアライン
された表現
手順２

静止物体が現時刻の位置に
移動物体の位置が不正確
2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

移動物体の位置が正確

50 / 103

Temporal Self-Attention
𝐵𝐵𝑡𝑡−1

Z. Li+, ECCV2022; 南京大学、上海AIラボ、香港大学

SE2 𝐵𝐵𝑡𝑡−1 , ego𝑡𝑡−1⇒𝑡𝑡

手順１

𝐵𝐵𝑡𝑡 にアライン
された表現
手順２

静止物体が現時刻の位置に
移動物体の位置が不正確
2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

 Spatial
Cross移動物体の位置が正確
Attentionのクエリ
51 / 103

Lift, Splat, Shoot (LSS)
概要

J. Philion & S. Fidler, ECCV2020; NVIDIA、トロント大、Vector Inst.

単眼距離推定に相当するモジュールの利用により、相互注意機構によらない BEV表現の生成方法を提案。
オフセットモジュールを使わない

2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

52 / 103

Lift：透視投影表現(2D)から錘台表現(3D)へ

コピー

透視投
影表現
画像
平面
2024/8/6

z1
佐藤 育郎『自動運転のためのビジョン技術』

z2
MIRU 2024 チュートリアルz3

z4
53 / 103

Lift：透視投影表現(2D)から錘台表現(3D)へ

コピー

確率的デプス

𝑝𝑝

透視投
影表現
画像
平面
2024/8/6

z1
佐藤 育郎『自動運転のためのビジョン技術』

z2
MIRU 2024 チュートリアルz3

z4
54 / 103

Lift：透視投影表現(2D)から錘台表現(3D)へ

コピー

確率的デプス

𝑝𝑝

透視投
影表現
画像
平面
2024/8/6

z1
佐藤 育郎『自動運転のためのビジョン技術』

z2
MIRU 2024 チュートリアルz3

z4
55 / 103

Splat：錘台表現から鳥瞰図(BEV)表現へ

BEV座標上でグリッドを定義
2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

56 / 103

Splat：錘台表現から鳥瞰図(BEV)表現へ
ピラー（柱）
錘台表現を
最近傍のピラーに割り当てる↓
同一ピラー内で平均プーリング

2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

57 / 103

Splat：錘台表現から鳥瞰図(BEV)表現へ錘台表現を
最近傍のピラーに割り当てる↓
同一ピラー内で平均プーリング

BEV表現
2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

58 / 103LIFT: LiDAR Image Fusion Transformer Y. Zeng+, CVPR2022;上海交通大、Alibaba
透視投影座標から鳥瞰図座標への変換

BEVFormer, LSS：
暗黙な単眼測距を利用

LIFT：
三次元点群の奥行き情報を利用
LiDAR点に対応する画像特徴を割り当て、ピラー内の特徴を集約

2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

59 / 103LIFT: LiDAR Image Fusion Transformer Y. Zeng+, CVPR2022;上海交通大、Alibaba
透視投影座標から鳥瞰図座標への変換

BEVFormer, LSS：
暗黙な単眼測距を利用

LIFT：
三次元点群の奥行き情報を利用
LiDAR点に対応する画像特徴を割り当て、ピラー内の特徴を集約

2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

60 / 103

2. ビジョン技術• 鳥瞰図表現• 下流タスク（行動計画等）• 運転シーン生成

2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

61 / 103

UniADY. Hu+, CVPR2023; 上海AIラボ、武漢大学、SenseTime

物体検出＆追跡

運動予測

マップ領域分割（白線、走行領域）
2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

行動計画

二次元格子
占有判定
MIRU 2024 チュートリアル

62 / 103

UniADY. Hu+, CVPR2023; 上海AIラボ、武漢大学、SenseTime

物体検出＆追跡

運動予測

マップ領域分割（白線、走行領域）
2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

行動計画

二次元格子
占有判定
MIRU 2024 チュートリアル

63 / 103

TrackFormer鳥瞰図座標上での物体検出と物体追跡を同時に行うモジュール•

新規に現れた物体の検出用のクエ
リ(Detect Query)•

物体追跡用のクエリ(Track Query)•

自車の追跡用のクエリ(Ego Query) 後述

MOTRを利用新規性を用いた自己注意機構

2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

64 / 103

MOTR

F. Zeng+, ECCV2021; 上海交通大、MEGVIITransformerを用いたMultiple-Object Tracking
ポイント 1/2 物体インスタンスに対応づいたクエリ
新規

追跡2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

65 / 103

MOTR

F. Zeng+, ECCV2021; 上海交通大、MEGVIITransformerを用いたMultiple-Object Tracking
ポイント 2/2 Detect Queryとインスタンスの対応付け[N. Carion+, ECCV2020]

Detect Query※ DETR [N. Carion+, ECCV2020] を踏襲
2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

真値

ハンガリアン法による対応付け
66 / 103

MapFormer

損失

Panoptic SegFormerを利用 [Z. Li+, CVPR2022]

位置情報を持つクエリ
2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

補助
白線など
走行領域
タスク

MIRU 2024 チュートリアル

67 / 103

MotionFormer
物体インスタンス毎に複数通り(6通り)の未来(6秒先まで)の軌跡を返す
自車両および物体毎の特徴

物体毎の未来の軌跡

白線、走行領域毎の特徴

2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

68 / 103

MotionFormer

2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

69 / 103

MotionFormer

自車両および物体毎の特徴
白線、走行領域毎の特徴（マップ特徴）鳥瞰図表現
キー・バリューを提供
2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

70 / 103

MotionFormer
各物体の現在位置

2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

71 / 103

MotionFormer
ハイパラとして与えた複数通りの軌跡(アンカー)を各物体に当てはめたもの

2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

72 / 103

MotionFormer

クエリの生成2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

73 / 103

MotionFormer

物体-物体間、物体-マップ間の注意機構により、特徴を更新

2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

74 / 103

MotionFormer

Deformable Attentionを使い、物体毎の最終位置の近傍でアテンションを取る

2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

75 / 103

MotionFormer
自車両および物体毎の未来の軌跡（６通り）
真値 𝑥𝑥 との間の損失

𝒩𝒩 𝑥𝑥|𝑚𝑚𝑎𝑎 + 𝜇𝜇𝑎𝑎 𝑥𝑥� , Σ 𝑎𝑎 𝑥𝑥� 𝑝𝑝 𝑎𝑎|𝑥𝑥�

アンカーが
持つ軌跡

イロハニホヘ

Y. Chai+, CoRL2020.
2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

76 / 103ここまでのまとめ
物体検出＆追跡

運動予測

マップ領域分割（白線、走行領域）
2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

77 / 103ここまでのまとめ
物体検出＆追跡

Detect Query

損失

Thing/Stuff
Query

運動予測
損失

損失

マップ領域分割（白線、走行領域）
2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

78 / 103

ネットワークを通貫する『自車クエリ』
Ego Query

物体検出＆追跡

運動予測

Detect QueryThing/Stuff
Query
マップ領域分割（白線、走行領域）
2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

79 / 103

ネットワークを通貫する『自車クエリ』
Ego Query

物体検出＆追跡

運動予測

Detect Query

損失

Thing/Stuff
Query
マップ領域分割（白線、走行領域）
2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

80 / 103

Planner

2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

81 / 103

Planner

運転指示（直進・右左折）を埋め込んだベクトル
TrackFormerの自車両クエリ特徴
MotionFormerの自車両クエリ特徴
Plannerのクエリに2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

82 / 103

Planner
鳥瞰図表現

鳥瞰図表現全体のアテンション

2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

83 / 103

Planner𝜏𝜏̂ 𝑡𝑡（補正前）自車両の予測軌跡
損失項１： 真値との誤差

損失項２： 他物体とのIoU

2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

84 / 103

Planner𝜏𝜏 ∗ 𝑡𝑡

占有格子（補正後）自車両の予測軌跡𝜏𝜏 ∗ = arg min 𝜏𝜏̂ − 𝜏𝜏 2 + 𝑓𝑓obs 𝜏𝜏, 𝑂𝑂�
𝜏𝜏

占有格子に
基づく罰則項※テスト時のみ補正
2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

85 / 103

UniAD のポイント
Ego Query

巧みなクエリ渡しによるE2E化

物体検出＆追跡

運動予測

Detect Query

損失

Thing/Stuff
Query
マップ領域分割（白線、走行領域）
2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

86 / 103

PARA-Drive

X. Weng+, CVPR2024; NVIDIA、南カリフォルニア大、スタンフォード大UniAD：

上流／下流タスクの区別あり

PARA-Drive：

全部等しく下流タスク

学習可能クエリ2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

87 / 103

PARA-Drive

X. Weng+, CVPR2024; NVIDIA、南カリフォルニア大、スタンフォード大UniAD：

上流／下流タスクの区別あり

PARA-Drive：

全部等しく下流タスク

タスク間の『クエリ渡し』が不在学習可能クエリ2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

88 / 103

PARA-Drive

X. Weng+, CVPR2024; NVIDIA、南カリフォルニア大、スタンフォード大UniAD：

上流／下流タスクの区別あり

PARA-Drive：

全部等しく下流タスク

タスク間の『クエリ渡し』が不在行動計画のみのテスト
2.77倍高速2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

89 / 103

PARA-Drive

X. Weng+, CVPR2024; NVIDIA、南カリフォルニア大、スタンフォード大UniAD：

上流／下流タスクの区別あり

PARA-Drive：

全部等しく下流タスク

タスク間の『クエリ渡し』が不在行動計画のみのテスト
2.77倍高速2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

UniADに勝る行動計画、
マップ予測、占有予測精度

MIRU 2024 チュートリアル

90 / 103

PARA-Drive

補助タスク

X. Weng+, CVPR2024; NVIDIA、南カリフォルニア大、スタンフォード大の学習が主タスク
PARA-Drive：の精度を改善上流／下流タスクの区別あり
全部等しく下流タスク
UniAD：

タスク間の『クエリ渡し』が不在行動計画のみのテスト
2.77倍高速2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

UniADに勝る行動計画、
マップ予測、占有予測精度

MIRU 2024 チュートリアル

91 / 103

VAD: Vectorized Repr. for AD

B. Jiang+, ICCV2023; 華中科技大学、Horizon Robotics

出力をラスタ型からベクター型へ
ラスタ型

2024/8/6

佐藤 育郎

ベクター型

『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

92 / 103

VAD: Vectorized Repr. for AD

B. Jiang+, ICCV2023; 華中科技大学、Horizon Robotics

出力をラスタ型からベクター型へ
ラスタ型

ベクター型
推論速度
1.0 : 2.5
プラニング精度良

2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

93 / 103

VLP: Vision Language Planning

C. Pan+, CVPR2024; シラキュース大、ボッシュ

言語モデルの汎化能力を利用した鳥瞰図表現の正則化
BB
言語モデル

対比損失

BB内の特徴の空間プーリング鳥瞰図表現
2024/8/6

MLP

佐藤 育郎

『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

94 / 103

VLP: Vision Language Planning

C. Pan+, CVPR2024; シラキュース大、ボッシュ

言語モデルの汎化能力を利用した鳥瞰図表現の正則化
BB

鳥瞰図表現
2024/8/6

UniAD, VADの性能を改善
＠自車軌跡予測、衝突率、物体検出、
物体追跡、マッピング、格子占有予測
自車軌跡予測＆ 衝突率 ⇒
佐藤 育郎

言語モデル

MLP

対比損失

BB内の特徴の空間プーリング『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

95 / 103

2. ビジョン技術• 鳥瞰図表現• 下流タスク（行動計画等）• 運転シーン生成

2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

96 / 103出来（つつあ）ること
仮想視点の車載カメラで撮像された
フォトリアルな動画生成
自車両のふらつき走行やエッジ
ケースなどをシミュレート可能

J. Yang+, EmerNeRF, arXiv 2023
2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

97 / 103

Panacea

Y. Wen+, CVPR2024; 中国科学技術大、MEGVII、Mach Drive

指定したセマンティックマップとシーン記述を反映した任意視点生成

物体位置・
レーンなど

シーン記述

シーン記述

2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

98 / 103

Panacea

Y. Wen+, CVPR2024; 中国科学技術大、MEGVII、Mach Drive

ノイズ付与

※評価では
データ拡張
としての有
効性を実証

潜在拡散モデル

言語特徴
による
条件付け
時系列整合

2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

マップによる条件付け
MIRU 2024 チュートリアル

99 / 103その他の運転シーン生成手法
•

•

•

•
•

X. Zhou+, DrivingGaussian: Composite Gaussian Splatting for Surrounding
Dynamic Autonomous Driving Scenes, CVPR2024.
GSによるエッジケース生成など。
Y. Wang+, Driving into the Future: Multiview Visual Forecasting and Planningwith World Model for Autonomous Driving, CVPR2024.
運転報酬に基づく運転シーン生成。
Y. Wei+, Editable Scene Simulation for Autonomous Driving via LLM-Agent
Collaboration, CVPR2024.
言語指示による運転シーン生成。
A. Tonderski+, NeuRAD: Neural Rendering for Autonomous Driving, CVPR2024.
NeRFで運転シーン生成。移動体のリロケート／消去可能。
J. Yang+, Generalized Predictive Model for Autonomous Driving, CVPR2024.
2000時間の運転動画を収集、言語条件付き拡散モデルによる運転シーン生成。
2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

100 / 103

目次

1. 導入
2. ビジョン技術
3. おわりに2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

101 / 103

まとめ：自動運転のためのビジョン技術を紹介
1a) センサ入力から鳥瞰図表現を生成する方法
1b) 鳥瞰図表現を用いた下流タスク（マッピング、物体追跡、運動予測、行動計画）の学習・推論方法
2) フォトリアルな運転シーン生成方法
1)

同時最適化による精度改善エッジケースのデータ拡張

2)2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

102 / 103

今後発展が望まれること
１．ミリ波レーダーの協調的利用
Q. スパースな反射点情報をどう鳥瞰図に埋め込むか？

２．行動計画における実行可能性の保障
Q. 車両モデルのあてはめと安全を保障する不等式制約をどう組み入れるのか？

３．シーン生成技術を活用した運転方策学習
Q. 生成技術のアーティファクトを乗り越えるには？
2024/8/6

佐藤 育郎『自動運転のためのビジョン技術』

MIRU 2024 チュートリアル

103 / 103