センサー認識弱点評価: AD-URBANプロジェクトによる仮想環境を用いた認識技術の評価

金沢大学 米陀佳祐

本研究は，総合科学技術・イノベーション会議の戦略的イノベーション創造プログラム(SIP)第2期/自動運転(システムとサービスの拡張)「自動運転技術(レベル3, 4)に必要な認識技術等に関する研究」(管理法人: NEDO)によって実施されました金沢大学の自動運転に関するこれまでの取り組み

2015年：一般道での自動運転自動車の実証実験開始

2021年：金沢大学 高度モビリティ研究所設立

2018年：積雪環境での自動運転走行の実現@北海道網走市

2019年~2022：東京臨海部
での実証実験（SIP）

2

金沢大学の自動運転自動車
全方位LiDAR（~200m）

3

全方位カメラ
①
②

⑧

③

⑦④

⑥⑤

全方位ミリ波レーダ(~150m)①
その他
・マイク
・LFM-HDRカメラ（車載向けカラーカメラ）

②

⑨③

⑧④

⑦⑤⑥GNSS/INSDIVP事業との連携, SIP第2期

4 DIVP（Driving Intelligence Validation Platform）との連携⚫ SIP「仮想空間での安全性評価環境の構築」事業◆ 様々な交通環境下での自動運転の安全性評価を可能とするシミュレーションツールを開発

 センサの一致性検証に関する連携活動⚫ 実環境とシミュレーションによる認識の差異を評価◆ LiDAR/Camera等の実証実験での認識不調シーンの共有◆ 仮想環境の再現性についての評価

 認識技術の評価・改善に関する連携活動⚫ 実証実験を通して得られた認識不調シーンを再現することで課題改善を図る⚫ カメラによる認識
認識不調シーンの共有◆ 信号認識◆ 物体認識⚫ LiDARによる認識◆ 物体認識◆ 自己位置推定

認識技術の評価・改善

実環境でのテスト

仮想環境の再現性評価

仮想環境での評価

シミュレーション環境との連携

5

AD-URBAN/DIVP連携

評価対象
センサ機能

信号認識

FY2021(認識観点での評価)

FY2022(システム観点へ)

ステップ①

ステップ②

ステップ③

(事前評価)(不調シーンの再現性評価)(サクセスケースの提示)

評価観点：仮想環境で評価できるレベルになっているのか？

評価観点：実証実験で実際に発生した不調シーンが再現できるのか？

評価観点：仮想空間を活用して自動運転システムを改善可能か？

Semantic Segmentationによる評価(認識クラスの正しさ)
・正しい認識結果となるのか？
・一致しない具体例は何か？

信号灯色の色相･彩度の評価

カメラ

不調シーン例：逆光･隠蔽･背景
同化･夜間など

・比較評価@飛騨エアパーク
距離ごとの物体認識率

物体認識

不調シーン例：逆光･隠蔽･背景
同化･夜間など

・比較評価@JARI特異環
境試験路
http://www.jari.or.jp/tabid/563/Default .aspx

物体認識
LiDAR

地図生成による評価(地図の歪み，路面模様の再現性)・3次元環境が再現できているか？
・反射率がどれぐらい一致するか？
・一致しない具体例は何か？

距離ごとの物体認識率
不調シーン例：隠蔽･背景同化(近接物体)･雨天･反射物など

・比較評価@JARI特異環
境試験路
http://www.jari.or.jp/tabid/563/Default .aspx

自己位置推定状態評価(相関分布,ピーク)

自己位置推定・比較評価@お台場＋
JARI特異環境試験路

不調シーン例：遮熱性塗装路，雨天，高架下，路面表示のかすれなど

周辺環境認識における不調シーンの評価を実施

AD-URBAN/DIVP連携

評価対象
センサ機能

信号認識

FY2021(認識観点での評価)

FY2022(システム観点へ)

ステップ①

ステップ②

ステップ③

(事前評価)(不調シーンの再現性評価)(サクセスケースの提示)

評価観点：仮想環境で評価できるレベルになっているのか？

評価観点：実証実験で実際に発生した不調シーンが再現できるのか？

評価観点：仮想空間を活用して自動運転システムを改善可能か？

Semantic Segmentationによる評価(認識クラスの正しさ)
・正しい認識結果となるのか？
・一致しない具体例は何か？

信号灯色の色相･彩度の評価

カメラ

不調シーン例：逆光･隠蔽･背景
同化･夜間など

・比較評価@飛騨エアパーク
距離ごとの物体認識率

物体認識

不調シーン例：逆光･隠蔽･背景
同化･夜間など

・比較評価@JARI特異環
境試験路
http://www.jari.or.jp/tabid/563/Default .aspx

物体認識LiDAR

地図生成による評価(地図の歪み，路面模様の再現性)
・3次元環境が再現できているか？
・反射率がどれぐらい一致するか？
・一致しない具体例は何か？

距離ごとの物体認識率
不調シーン例：隠蔽･背景同化(近接物体)･雨天･反射物など

・比較評価@JARI特異環
境試験路
http://www.jari.or.jp/tabid/563/Default .aspx

自己位置推定状態評価(相関分布,ピーク)

自己位置推定・比較評価@お台場＋
JARI特異環境試験路

不調シーン例：遮熱性塗装路，雨天，高架下，路面表示のかすれなど

周辺環境認識における不調シーンの評価を実施

カメラに関する不調シーンの再現性検証

8

 カメラによる物体認識おける認識不調の要因を調査⚫ Semantic Segmentationによる道路環境の認識（白線認識など）◆ 太陽による路面の照り返し部の誤認識◆ 影と路面との境界部の誤認識（左下図）⚫ 物体認識（交通参加者，信号機）◆ 逆光による画像飽和（右下図），背景同化，隠れによる誤認識

 実環境での認識の課題を仮想環境で検証

路面の影の影響は局所的な誤認識の要因となる

逆光の影響時では画像内の一部が飽和する

カメラ白線認識: 仮想環境による再現事例

9

影の鮮明さによる誤認識のコントロール

影のレンダリング改善による偽色の改善

実環境で確認された認識不調のシミュレーション環境下での再現

シミュレーション画像の絵作り特有の課題改善による認識再現カメラ信号認識:
仮想環境での一致性評価

10

 シミュレータ環境との接続⚫ 異なる信号点灯パターンによる認識の動作検証（右上） 交差点接近時の認識率の一致性検証⚫ 画像内の信号灯サイズ毎に認識率を評価⚫ 評価データ数の差異があるものの通常シーンで同程度の認識率を確認

実走行データ（通常天候）
対象信号機数=59,101

シミュレーションデータ（通常天候）
対象信号機数=668

カメラ信号認識:
降雨・逆光時の環境不調検証 降雨時の影響の検証

11

実データの雨天画像例⚫ 実環境における雨天時の信号認識◆ フロントガラスの雨滴・ワイパーの遮蔽による不調が懸念◼ 実証実験下の降雨量は数mm/h程度のため影響なし⚫ シミュレーションの雨天データ◆ 激しい降雨による検証が可能◼ 雨滴による遮蔽による未検出，色合いの変化による誤認識を確認 逆光時の影響の検証

検証画像例（黄色信号点灯）⚫ カメラ・信号機の先に太陽がある場合に画像飽和により視認性が低下◆ 逆光の影響を仮想環境で検証することで信号認識の不調シーンの再現を確認
実データでの逆光の影響例

点灯部付近に太陽があると視認困難

DIVPシミュレータでの出力結果

点灯部から太陽が離れると視認可能

信号機と太陽が重なると逆光の影響なし

点灯部と太陽が離れると逆光の影響なし

点灯部付近に太陽があると認識困難

AD-URBAN/DIVP連携

評価対象
センサ機能

信号認識

FY2021(認識観点での評価)

FY2022(システム観点へ)

ステップ①

ステップ②

ステップ③

(事前評価)(不調シーンの再現性評価)(サクセスケースの提示)

評価観点：仮想環境で評価できるレベルになっているのか？

評価観点：実証実験で実際に発生した不調シーンが再現できるのか？

評価観点：仮想空間を活用して自動運転システムを改善可能か？

Semantic Segmentationによる評価(認識クラスの正しさ)
・正しい認識結果となるのか？
・一致しない具体例は何か？

信号灯色の色相･彩度の評価

カメラ

不調シーン例：逆光･隠蔽･背景同化･夜間など・比較評価@飛騨エアパーク
距離ごとの物体認識率

物体認識

不調シーン例：逆光･隠蔽･背景
同化･夜間など

・比較評価@JARI特異環
境試験路
http://www.jari.or.jp/tabid/563/Default .aspx

物体認識
LiDAR

地図生成による評価(地図の歪み，路面模様の再現性)・3次元環境が再現できているか？
・反射率がどれぐらい一致するか？
・一致しない具体例は何か？

距離ごとの物体認識率
不調シーン例：隠蔽･背景同化(近接物体)･雨天･反射物など

・比較評価@JARI特異環
境試験路
http://www.jari.or.jp/tabid/563/Default .aspx

自己位置推定状態評価(相関分布,ピーク)

自己位置推定・比較評価@お台場＋
JARI特異環境試験路

不調シーン例：遮熱性塗装路，雨天，高架下，路面表示のかすれなど

周辺環境認識における不調シーンの評価を実施

LiDAR自己位置推定: 検証環境の構築

13

 LiDARの点群データを用いた自己位置推定⚫ 観測・地図のデータ間のマップマッチングにより車両位置を推定

 自己位置推定用地図（オルソ画像）の作成⚫ 車両状態（位置・姿勢）を用いたLiDAR点群の投影⚫ 両者の精密時刻同期が必要（車両が高速に移動）◆ 自動運転システムの機能検証に向けた動作確認に最適◆ 例）センサフュージョン機能の検証など

 実車同等のオルソ画像を作成可能⚫ 実環境と概ね同等

シミュレーションデータ

実走行データLiDAR自己位置推定: 一致性検証
 LiDARの点群データを用いた自己位置推定◆ 地図: Real/Sim, 観測: Real◆ 相対的な概ね同程度のマッチングの相関値を確認

Map: Sim.
Obs.: Real

相関標準偏差

相関平均値

Map: Real
Obs.: Real

相関最大値

⚫ 観測・地図のデータ間のマップマッチングにより車両位置を推定⚫ 仮想環境のデータを用いてマッチングの傾向を調査

14

LiDAR自己位置推定: 限界性能評価

15

 雨で路面が濡れることによる路面反射率の低下を仮想環境で検証⚫ 濡れの状態を変更しながらシミュレーションにる

画像に出る

白線がほぼ見えない状態（マッチングが困難な状況）
相関分布のピークが正しい位置に現れず位置推定に影響

画像 自己位置推定の限界性能を調査

2つの条件の間に自己位置推定の限界性能⚫ 様々な条件でのシミュレーション◆ 濡れ方の細かい振り分け◆ 路面の舗装材質(アスファルト/遮熱性塗装)
遮熱性舗装：
反射率が高い材質の路面．
白線と路面のコントラストが低くなる．

路面の濡れモデルに出るのる

数のる

AD-URBAN/DIVP連携

評価対象
センサ機能

信号認識

FY2021(認識観点での評価)

FY2022(システム観点へ)

ステップ①

ステップ②

ステップ③

(事前評価)(不調シーンの再現性評価)(サクセスケースの提示)

評価観点：仮想環境で評価できるレベルになっているのか？

評価観点：実証実験で実際に発生した不調シーンが再現できるのか？

評価観点：仮想空間を活用して自動運転システムを改善可能か？

Semantic Segmentationによる評価(認識クラスの正しさ)
・正しい認識結果となるのか？
・一致しない具体例は何か？

信号灯色の色相･彩度の評価

カメラ

不調シーン例：逆光･隠蔽･背景
同化･夜間など

・比較評価@飛騨エアパーク
距離ごとの物体認識率

物体認識

不調シーン例：逆光･隠蔽･背景
同化･夜間など

・比較評価@JARI特異環
境試験路
http://www.jari.or.jp/tabid/563/Default .aspx

物体認識
LiDAR

地図生成による評価(地図の歪み，路面模様の再現性)・3次元環境が再現できているか？
・反射率がどれぐらい一致するか？
・一致しない具体例は何か？

距離ごとの物体認識率
不調シーン例：隠蔽･背景同化(近接物体)･雨天･反射物など

・比較評価@JARI特異環
境試験路
http://www.jari.or.jp/tabid/563/Default .aspx

自己位置推定状態評価(相関分布,ピーク)

自己位置推定・比較評価@お台場＋
JARI特異環境試験路

不調シーン例：遮熱性塗装路，雨天，高架下，路面表示のかすれなど

周辺環境認識における不調シーンの評価を実施

物体認識の一致性検証: カメラ17

 実環境とシミュレーション環境の車両検出に対する一致性検証⚫ 実環境の検出精度と同様に遠方での検出精度低下傾向を再現⚫ 実環境における検出精度低下傾向と多少の差異も存在

 一般的なCGエンジンと比べて実環境に近い傾向の画像を表現可能⚫ CGエンジン：遠方の物体を過剰に検出=>物体の輪郭がはっきりしている⚫ DIVPシミュレータ：実環境と同様の検出傾向 => 輪郭に偽色が発生

物体検出による精度比較
学習データ: 東京都臨海部データセット 21,401枚
評価データ: 約200枚（天候は同一条件のみ）

シミュレーションデータ

輪郭に偽色/ぼやけ 発生→ 実環境に近 傾向の画像 表現可能

(*)

(*)

実環境データ

実環境

シミュレーション環境*)シミュレーション環境でも実環境と同等の検出はできている．正解位置の付け方が正確でないため，誤って検出ミスと判定し，検出精度が低くなっている．

物体認識の一致性検証: LiDAR

18

 仮想環境と連携した環境構築・物体認識の一致性検証を実施⚫ モデル化されている評価対象車両を実際に配置した走行データを計測⚫ 実走行データと対応したシミュレーションシナリオを構築してLiDARの仮想データを生成 LiDARの3次元物体認識にて検出率を評価⚫ 対象物の距離に対して概ね同程度の検出率を確認
LiDAR物体認識における一致性評価結果

実LiDARデータ

仮想LiDARデータ

物体検出例（対象までの距離：約110m，赤丸：認識対象，緑矩形：検出結果）

交差点進入判断における不調シーン
 実環境の走行における交差点進入の意思決定⚫ 周辺車両の交通参加者の存在や死角の状態を認識した
安全確認が重要⚫ 交差点右折の場合◆ 対向車線の右折待ち車両が存在する場合などでは遮蔽により接近車両の存在の認識が困難となる◆ 隠れの程度により見え方の異なる接近車両の認識は重要な課題◼ 仮想環境で異なる隠れによる物体認識の限界性能を評価

死角領域から接近する車両の認識

シミュレーションを活用した不調シーンの評価

20 物体認識における不調シーン検証に利用した車両モデル⚫ LiDAR: 隠蔽, 背景同化, 天候(雨天)など⚫ カメラ: 隠蔽, 背景同化, 天候(雨天), 時間変化(逆光, 夜間)など⚫ シミュレーションで生成可能な範囲で隠蔽・天候・時間変化に注目

 交差点右折時の対向車両認識に注目した
シミュレーションシナリオを構築⚫ 周辺車両による隠蔽が発生する中で遠距離物体の検出が要求されるシーン⚫ 右折待ちトラック・自車・対向車両を配置したシナリオを生成◆ 右折待ちトラックにより対向車両が隠蔽される◆ 位置を変えて3台の異なる相対的な位置関係によって異なる距離・隠れのセンサデータを生成(実環境で類似検証は困難)⚫ 環境条件：日中，夕方，曇り，雨天⚫ 対向車両：9種類の車種を用意◆ 一般車，バス，タクシーなど◆ 異なる色（白・黒・青・黄・赤など）

 対向車両の検出率を評価して認識限界を調査

自車
トラック
対向車両

異なる隠蔽率に対する認識性能:
カメラ21

 シミュレーション環境において，天候，車種の違いによる同一シーン(交差点右折時)での対向車両の隠蔽率に対する認識性能を評価⚫ 雨天時：距離が75m以内であるとき，遮蔽率50%以内であれば認識可能⚫ 車両の種類：距離が75m以内であるとき，遮蔽率75%以内であれば認識可能

検出率

雨天

ta xi

bus

検出率

検出率

Al phard

検出率

検出率
検出率

pri us

曇天

検出率

晴天(夕方)

検出率

晴天(昼)シミュレーション環境の活用で条件 変えた評価 可能であり限界性能の検証 可能（フレーム毎の認識率であり，時系列追跡により更なる能力向上も期待できる）

異なる隠蔽率に対する認識性能:
LiDAR, カメラ

22

 カメラ同様に遮蔽時の認識への影響をLiDARで評価⚫ 遮蔽率50%以下: 150mより遠方から検出率が低下⚫ 遮蔽率が高くても75m以下であれば有効な検出が期待 検出結果の統合によりLiDARの未検出が改善

死角の影響評価（赤枠：正解枠，緑枠：認識結果）⚫ 点群が疎になる遠方の未検出をカメラの認識で補う⚫ 実環境では検証の難しい条件下での限界性能の評価が可能

LiDAR

カメラ

LiDAR/カメラ Fusion

雨天の影響の評価例※遮蔽率の定義:・LiDAR: 3DBoxの不可視面積率
・カメラ：画像矩形枠の不可視面積率

シミュレーション環境を活用した物体認識の安全性評価例
認識性能 シナリオパラメータと評価指標

LiDAR/Camera Fusion 性能評価例例）シナリオパラメータ

評価軸

シナリオパラメータ

パラメータ範囲

遠距離

車間距離~200m

物体識別

ターゲット種類

乗用車、トラック、バス、・・・

ターゲット色白、黒、赤、・・・

降雨

天候条件

晴天、曇天、雨天

夜間日照条件

街灯あり、ヘッドライトの例）評価指標

評価軸

評価指標

物体識別

検出率、クラス誤り、IoU、・・・

距離精度

距離誤差

方位精度

方位誤差

23

遠距離

サイズ

物体認識

距離LiDAR降雨
CameraFusion

シミュレーション環境の活用事例として物体認識における評価シナリオ・評価指標を整理
一般的に各センサで苦手な条件を評価可能か検証

シミュレーションの生成データによる実環境の認識性能改善 実データでの物体認識では出現頻度の少ない物体クラスの認識性能改善
は重要⚫ 例：二輪車・歩行者は自動車と比べて頻度が少ない

 シミュレーションデータを活用した認識改善⚫ 出現頻度の少ない物体・環境条件のデータを作成して学習データに追加→ 実データの認識改善につなげる
データ追加前

データ追加後データ追加前

データ追加後実データで出現頻度の少ない物体の認識性能を改善

24

まとめ
 シミュレーションを活用して認識技術の高度化⚫ 実証実験を通して得られた認識不調シーンを再現して課題改善を図る

 仮想環境下でセンサの不調シーンを再現した検証⚫ カメラSemantic Segmentation◆ 影の影響時の道路環境の誤認識⚫ カメラの信号認識◆ 逆光影響時の未検出の傾向の検証，厳しい雨天時の影響の再現による評価⚫ LiDARの自己位置推定◆ 路面材質・雨天時などの赤外線反射率の不鮮明な影響の検証⚫ カメラ・LiDARの物体認識◆ 遮蔽時の交差点接近車両の認識時の不調要因の再現◆ 異なる車両を用いて異なる環境条件（天候・時間）での不調シーンを評価⚫ 仮想環境の活用に多くの条件での限界性能の検証を効率的に実施可能

25