自動車業界におけるAI Safety動向とデンソーの取り組み
萌芽研究会セッション「AI Safety & Security」

2021年11月26日

中江 俊博
株式会社デンソー
ソフト生産革新部
先端ソフト開発室

Agenda1. 活動概要
2. AIを搭載した自動運転の安全性に関する動向
3. デンソーが考える技術課題

4. デンソーの取り組み

自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

2 / 40

1
活動概要
会社概要、自組織のミッション、背景、戦略

自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

3 / 40

設立

1949年12月16日

資本金1,875 億円

売上収益

連結

4兆 9,367 億円

営業利益連結1,551 億円

従業員数*（就業人員ベース）

連結168,391 人

単独46,272 人

連結子会社数200社 （日本 64、北米 23、欧州 32、アジア 74、その他 7）

持分法適用関連会社数

88社 （日本 24、北米 11、欧州 17、アジア 32、その他 4）* 従業員数は就業人員（連結会社への出向者を除き、連結会社からの出向者を含む）であり、臨時雇用者数は含んでいません。
2021年3月31日現在
自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

4 / 40注力4分野デンソーは新しいモビリティの価値を提供するとともに、FAや農業の工業化に取り組んで、社会・産業界の生産性向上に貢献します。

電動化

先進安全/自動運転

環境負荷の低減と交通事故のない

高効率な

安全な社会と快適で移動の実現

自由な移動の実現

コネクティッド

非車載事業（FA/農業）

クルマ・ヒト・モノが社会・産業界のつながる新たな生産性向上にモビリティ社会の実現

貢献

自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov.
26, 2021© DENSO CORPORATION All Rights Reserved.

5 / 40背景と自組織のミッション[1] Yow, et al., “Iris Recognition System (IRS) Using Deep Learning Technique”, Journal of Engineering Science[2] https://www.vox.com/2017/9/12/16294510/fatal-tesla-crash-self-driving-elon-musk-autopilot【背景】【ミッション】

推論精度が大幅向上⇒ブラックボックス化が加速

お客様に安心してDNのAI製品を使っていただくために全社AI課題を解決する

層の数エラー率

先進技術・事例・学会、研究機関
・航空・宇宙など先進異分野（主にDIAM SVIC連携）

産官学動向

・欧州を中心としたプロジェクト
・国際標準化・国内業界・団体（主にDNDE CRD連携）

社内事例・計画・開発プロセス
・設計評価技術（社内関連部署と連携）

わき道
自転車（女性）危険領域
老人（女性）
車道境界線

Deep Learningの進化 [1]
調査検証

テスラ・Uberの事故⇒AI品質は社会に影響トラックの側面に衝突俯瞰調査【組織体制】

課題認識はあるが対応手法は未確立

・基盤技術 ・プロセス
・渉外戦略

技術移管
適用支援

・先進安全製品
・MaaS など

機能部

渉外活動
仕組み作り

・品質管理 ・法務・技術渉外 ・知財

渉外活動
社外調査

海外拠点
・欧州 ・米国 ・中国

基盤技術開発&業界合意で全社AI課題を解決する

自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

事業部

ソフト生産革新部
先端ソフト開発室AI開発基盤
本取り組み紹介
Tesla Autopilot accident 2016 [2]

全社視点のAI課題

6 / 40AI動向俯瞰
深層学習[1] https://sites.google.com/view/sig-mlse[2] https://www.bosch.co.jp/press/group-2001-02/[3] https://www.youtube.com/watch?v=Q0nGo2-y0xY[4] https://www.youtube.com/watch?v=w2VWAoLrzE0[5] https://www.theverge.com/2016/3/24/11297050/tay-microsoft-chatbot-racist[6] https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai[7] https://www.bosch.com/stories/ethical-guidelines-for-artificial-intelligence/

画像 音声
テキスト
[市場]

深層学習の登場によってAIが様々な領域に浸透[アカデミア][1][Tesla, Uber]
Autopilot
モードでの事故

AIを工学的に扱うための研究が勃興

深層学習の登場でAIの産業応用が加速[GAFA,Bosch,Conti]
AI人材獲得・育成
を加速

[2]

[3]

[6]

[5]

[法規・標準][Bosch, NEC]
各国政府、ISOが 自社のAI倫理ガイド
AIリスク対応に着手 ・品質ガイドを発信[7]

AIの社会受容性に関するルール化の動き

自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

[MS, Google]
人種差別的なAIへの世論の反発

AIのリスクに対する社会の不安[Tesla,Waymo,ME]
MLOps技術によるAI開発の高度化

AIの積極的な活用が競争の鍵[4]

7 / 40①AIそのものの品質課題、②システムで品質をおさえる技術③DNのAIが社会に受容されるための活動 の３層で捉える

AI品質保証活動の戦略
ＡＩ
品
質保証
方針
フ自ァ動ー運ス転ト・タ先ー進
ゲ安
ッ全ト製
品
を社会

⇨ 各国法規・国際標準・他社動向を把握し、相場観を見極める

各国法規: 日米欧中
安全要件、検証方法の業界コンセンサスを 事 例) 欧州AI白書
例
探り開発指針とするシステム

国際標準: 自動運転安全

他社: Tesla, Mobileye

例) SOTIF, SaFAD

例) AI開発プロセス、安全論証方法⇨ システムレベルでAI品質リスクをおさえる考え方・技術を開発する

従来のソフトウェア工学が通用しないソフトウェア工学の考え方・手法をAI搭載システム向けに拡張する動き

プログラ
ミング
新たな考え方・技術が必要

システム品質仕様書

ソースコード例) ブラックボックステスト、冗長化
システム品質

国内
海外

MLSE
QA4AI
AI Safety
SEMLA

機械学習工学研究会
AI品質保証コンソーシアム
AI安全性の研究コミュニティ
AIソフトウェア工学研究グループ

MLOpsAIコンポ ⇨ データ品質・モデル品質・プロセスの観点で、AIの品質課題の解決を目指す
データ品質

能動学習 大量データへのタグ付け作業が大変

タグの仕様の決め方が分からない

モデル品質

機械学習

どれだけタグ付けすればよいのか分からない

データ
大量データに人間がプロセス
正解タグを付与した
データ
学習
データ
作成

評価

パラメータが膨大で判定
結果の説明ができない

学習済モデル

特定のノイズで簡単に間違えてしまう

AI開発プロセス
数億ものパラメータで従来のソフトウェアと構成される判定ロジッ
異なる開発プロセス
クを帰納的に構築

テストの十分性が保証できない

説明性

頑健性

…

…

AI品質保証渉外

取り組みテーマ

自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

8 / 402AIを搭載した自動運転の安全性に関する動向

自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

9 / 40自動運転に応用される機械学習

機械学習ベースの画像認識技術の進歩

物体認識

物体検出

[Krizhevsky+ 2012][Redmon+ 2015]

認知セマンティックセグメンテーション

自動運転技術への応用[Badrinarayanan+ 2015]

判断操作

Perception

PlanningControl

画像認識

強化学習

自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

10 / 40

自動運転システムのアーキテクチャ

DENSO Tech Links Tokyo #7より

自動運転は複数センサやトラッキングなどを組合せた大規模システム
自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

11 / 40

自動車のAIアプリ一覧

CLEPA AIポジションペーパーより抜粋・翻訳

https://clepa.eu/mediaroom/clepa-position-paper-on-artificial-intelligence/
定義

AIのタイプ

人工知能(AI)

機械学習(ML)

教師あり学習(SL)

教師なし学習(UL)

半教師あり学習(SSL)

強化学習(RL)

AIとは、環境を分析し、特定の目標を達成するために、ある程度の自律性を持って行動することにより、知的な行動を示すシステムを指す。AIベースのシステムには、仮想世界で動作する純粋なソフトウェアベースのものと、ハードウェアデバイスにAIを組み込むものがある。

MLとは、「学習データ」と呼ばれるサンプルデータに基づいて数学的モデルを構築し、明示的にプログラムされることなく予測や判断を行うAIのサブセットである。MLのアルゴリズムは、「教師あり学習」「教師なし学習」「強化学習」の3つに大別される。

SLは、人間によってラベル付けされたトレーニングデータを使用するMLのサブセットである。アルゴリズムはこのデータを取り込み、トレーニングセットに含まれていない新しいデータのラベルを正確に再現できるようなモデルを構築する。

ULは、ラベル付けされていない、あるいは関係性が不明な学習データを使用するMLのサブセット。このアルゴリズムは、分類されていない生のデータから、パターン、クラスタ、異常、関係、構造を自動的に識別する。ULは、データに関する新たな知識を発見し、それを他のMLプロセスのトレーニングに利用するために使用される。

SSLは、ラベル付けされたデータと、ラベル付けされていないデータや構造化されていないデータの組み合わせから「学習」する技術である。SSLは、少数の既知の模範例に基づいて構築され、この情報を用いて教師なしの学習を導く。

RLは、データを処理し、外部からの成功／失敗のフィードバックに基づいて行動する反復プロセスに基づくMLのサブセッ
ト。RLは、（外部から設定された）満足のいく性能閾値が達成されるまで、反復ごとに報酬関数を最大化しようとするモデルを開発する。

非安全性機能（例：インフォテイメント、温度制御）

対象外（ハイリスクではない）
アプリケーションの例
・自然言語処理対象外（ハイリスクではない）

対象外（ハイリスクではない）

対象外（ハイリスクではない）

対象外（ハイリスクではない）

自動
運
転機
能認知

対象外（要求事項はAIではなくMLとそのサブセットを対象とすべき）
アプリケーションの例
・AEBS, ACCの道路利用者検知
・LDW, LKASの道路検知

アプリケーションの例*縦断方向制御のための道路利用者検知（例：AEBS、ACC)*縦断方向制御のためのパッシブな道
路インフラ検知（例：LDW、LKAS

アプリケーションの例*データラベリングプロセスの効率化

アプリケーションの例*安全性の低いシステム（例：ISA）のデータラ
ベリングプロセスの合理化

いくつかのメーカーが認知にRLを使い始めているが、将来的には協調的認知にも使える可能性がある

判断対象外（要求事項はAIではなくMLとそのサブセットを対象とすべき）
アプリケーションの例*自己車両位置と他の道路利用者に基づいたFCWとAEBSの作動アプリケーションの例。
*シャドーモードは、制御アルゴリズムのトレーニング用として開発に使用されている。

アプリケーションの例*レーンセンタリングシス
テムやACCシステムでは、システムの学習に必要なコスト／データの削減のためにRLが使用される可能性がある。

操作

対象外（AIを操作で使用しない）

対象外（AIを操作で使用しない）

対象外（AIを操作で使用しない）

対象外（AIを操作で使用しない）

対象外（AIを操作で使用しない）

運転以
外の機能

対象外（要求事項はAIではなく、MLとそのサブセットを対象とすべき）
アプリケーションの例
・運転者の顔を検出してIDを取得

アプリケーションの例*ドライバーの視線／状態を検出するドライバーステータスモニタ（DSM）

アプリケーションの例*CANデータを利用したドライバーの状態の推定-訓練データの記録保持-データの品質（訓練データの十分なスコープと偏りのなさ）-情報の提供-堅牢性と正確性（安全性KPIの達成）- 使用中のモニタリング
により、コンプライアンスが達成されていること、
および車両の寿命期間中に性能のエンベロープが低下していないことを証明する / 40

要求事項

対象外（AIではなく、MLとそのサブセットを対象とすることが望ましい）-訓練データの記録保持-訓練データの記録保持-データの品質（訓練データの十分なス-データの品質（訓練データのコープと偏りのなさ）
十分なスコープと偏りのなさ）-情報の提供-情報の提供-堅牢性と正確性（安全性KPIの達-堅牢性と正確性（安全性自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AISafety & Security」/KPIの達成）
Nov. 26, 2021成）© DENSO CORPORATION All Rights Reserved.

12機械学習システムのリスク
自動運転走行中の事故

2016年 Teslaの事故 (出典:NTSB)

2018年 Uberの事故 (出典:ABC 15)

トラックの側面に衝突

https://static.nhtsa.gov/odi/inv/2016/INCLA-PE16007-7876.PDF横断する歩行者と衝突

https://www.ntsb.gov/investigations/accidentreports/
pages/hwy18mh010-prelim.aspx

オープン環境で使われる機械学習システムの安全担保は重要な課題
自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

13 / 40

自動運転事故に対する米規制当局の対応
米NHTSA、テスラAutopilot調査へ
76万台対象テスラ自動運転、技術誇張と指摘
米議員が調査要求

https://xtech.nikkei.com/atcl/nxt/news/18/10999/

https://www.nikkei.com/article/DGXZQOGN207DJ0Q1A820C2000000/

米運輸省道路交通安全局（NHTSA）は、事故の初期対応現場で発生した米Tesla（テスラ）車の11件の衝突事故を受け、同社の先進運転支援システム（ADAS）「Autopilot」や「TrafficAware Cruise Control」といった機能の調査を開始

完全自動運転であるかのような誤解を招き、事故を多発させているとして一部の米議員が米連邦取引委員会（FTC）に調査を求めた

AIについては直接言及されていないが自動運転の安全性に対して厳しい対応
自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

14 / 40

車載システムの安全性に関する規格

従来の機能安全に加えて性能限界や仕様不十分への対応が必要
自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

15 / 40SOTIF（ISO/DIS 21448）

許容可能なリスクになるまで未知と危険を減らす活動を反復
自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

16 / 40SOTIF（ISO/DIS 21448）
トリガリングコンディションの特定/影響評価とリスク低減のための機能変更を、リスクが許容可能なレベルに低下するまで繰り返す分析による評価

機能およびシステムの仕様

SOTIFに関するハザード
特定とリスク評価

SOTIFリスクを低減するための機能変更
特定したトリガリン
グコンディションは許容可能か？

損害のリスクは許容可能か？

レビュー

トリガリングコンディショ
ンの特定と影響の評価
リスクを許容残存リスクが許容可能ならば運転シナリオ評価に続くトリガリングコンディションの例

N. Becker. The Safety of the Intended Functionality, Report on ISO/TC22/SC32/WG8 activities

トリガリングコンディションの特定と対処を求める
間違いを個別に確認し対策するのは統計的機械学習には無い考え方
自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

17 / 40

自動運転システムにおける難しさ

BDD100K-Drive https://bdd-data.berkeley.edu/

ウォールペイント風のトラック、人の写真を張ったバス、車の陰に隠れる自転車など、実アプリケーションでは様々なパターンに遭遇
自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

18 / 40

認識AIにおける不確実性

開発

運用

F7

F3

(例) 未知の「歩行者」のパターンが存在

F3:シーンの不確実性(例) 遮蔽、霧、夜間、人の重なりなど

F4F1(例) 「歩行者」の定義がぶれる

F2:シナリオのカバレッジの不確実性

シナリオ

F2

F1:コンセプトの不確実性

F4:センサ特性の不確実性(例) ダイナミックレンジ、ノイズ、搭載位置など

F5:ラベルの不確実性(例) クラスの間違い、BBOXのズレ・バラツキ

コンセプト(開発者のが考える真値)

センサデータF5

F6:モデルの不確実性(例) パラメータの初期値、選定する最適化手法

F7:運用時の不確実性

F6(例) データ分布の変化、レアケース

K. Czarnecki and R. Salay. Towards a Framework to Manage Perceptual Uncertainty for Safe Automated Driving. WAISE2018.

認識AIのライフサイクルに入り込む不確実性をおさえることが重要
自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

19 / 40

F1-3の理解イメージ: 物体と環境のゆらぎ
コンセプト＝認識対象の物体シーン
シナリオ＝物体と環境の組合せ＝外乱要因となる環境

自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

20 / 40演繹的に洗い出す[1] https://www.daimler.com/innovation/case/autonomous/safety-first-for-automated-driving-2.html[2] Zendel, et al., “CV-HAZOP: Introducing Test Data Validation for Computer Vision”, ICCV2015

体系化された属性リスト：オントロジーや光学的性質を一般化
システムレベルの要求事項：ODD(運行設計領域)やシステムアーキテクチャ

SaFAD [1]CV-Hazop [2]ドメイン知識を使って洗い出し観点を体系化
自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

21 / 40

[1] https://www.youtube.com/watch?v=hx7BXih7zx8

帰納的に洗い出す[2] https://www.youtube.com/watch?v=Q0nGo2-y0xY

Tesla
デプロイ

Waymo
学習
データ選定

データ収集

ラベリング
学習

ラベリング
データ選定
データ収集

Andrej Karpathy AI for Full-Self Driving at Tesla [1]デプロイ

Drago Anguelov (Waymo) - MIT Self-Driving Cars [2]市場から繰り返しデータを収集しAIの品質を高めている
自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

22 / 40

ISO 26262(機能安全) の適用可能性
ディープラーニングなどの高性能な機械学習のアプ
ローチは、プログラ
ムコードのように人間が直接解釈できない方法
で機能を表現する。

従来の仕様に対するプログラミングとは異なり、機械学習ベースの機能は、完全な仕様ではないデータセットを使用した機械学習アルゴリズムによって生成される。

完全な仕様の欠如

解釈可能性の欠如

R. Salay, R. Queiroz, and K.Czarnecki.
An Analysis of ISO 26262: Machine Learning and Safety in Automotive Software.

機械学習を使用して開発した機能に、ISO 26262で定義された保証方法を適用するには、2つの大きな障害が存在
自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

23 / 40

3
デンソーが考える技術課題

自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

24 / 40従来のソフトウェア開発と機械学習システム開発のギャップ

従来のソフトウェア

設計・実装

実行ファイル

ソース
コード

実行
ファイル

システム
組込

ソースコードからソースコードを記述 明示的に振る舞いが決定される

データ

機械学習

ビルド

学習

学習済
モデル

システム
実行ファイル

演繹的に単体の振る舞いが保証できる前提
システム

組込

学習済モデル

演繹的に単体のデータから帰納的に振る舞いがデータセットを作成
振る舞いが保証できない（テ決定されるストデータに依存）

自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

25 / 40データの課題
データ作成プロセス
収集
データ

データ
収集

課
題

どんなデータ分布を想定すればよいのか

データ
選定

訓練
データ

訓練
データ

テスト
データ

テスト
データ

大量のデータからどのデータを選定するかラベル
付け

ラベル(クラス)をどのように定義すればよいか

学習済
モデル

学習

ラベル付けの品質をどう担保するか

高品質なデータを大量かつ効率的に作成するプロセスが課題
自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

26 / 40

モデルの課題
説明性

頑健性

パンダ
[Selvaraju+ 2016]

テナガザル[Goodfellow+ 2014]

Explainability / Interpretability

Adversarial Examples (敵対標本)どの開発プロセスでどう使うのか???

物理世界で起こり得る問題???

実用において本当に求めている技術
要因A

学習済
モデル

失敗要因を分析

プロセス１

B

プロセス２

C

プロセス３

要因から次のプロセスを導く説明性[Yuille+, Limitations of Deep Learning forVision, and How We Might Fix Them]“snow”
perturbation
size

レアシーンに対する頑健性 自然ノイズに対する頑健性

実用上の課題にフォーカスした研究に期待

自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

27 / 40

システムの課題
 システム全体でリスクを低減する• トラッキング、フィルタリング # 直列型• モデル冗長化# 並列型• 異常検知、Out-of-Distribution検知• 高精度地図の活用

 リスクを分析する、安全性を論証する• FTA/FMEA• STAMP/STPA
• GSN

モデルA

システム

リスクを分析する手法、安全性を論証する手法

モデルB

システム全体のリスクを低減する
仕組み

・不確実性・バイアス・安全性

機械学習だけに頼らず モデルの「外側」でもリスクを抑える
自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

28 / 40

AI安全の技術俯瞰
AI Safetyに関する4ワークショップ WAISE 2018, SafeAI 2019, SafeML 2019, AI Safety 2019を調査

AI（教師あり学習モデル）の安全研究

敵対的例 解釈性 公平性 耐環境 訓練
プライデータ バシーへの対処
攻撃への対処検証

その他

敵対的例(Adversarial Examples) の研究が活発だがシーズの研究が中心で実用ニーズに対応した研究は少ない
自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

29 / 40

3
デンソーの取り組み
認識AIの安全に関する技術紹介

自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

30 / 40認識AIの安全に関するデンソーの技術
 深層学習モデルの推論結果の不確実性を測る手法（東工大との共同研究）
VPBNN (Variance Propagation Bayesian Neural Networks)
高速かつ高精度な不確実性の計算

 認識AIシステムの安全性論証手法（カナダWaterloo大との共同研究）
ISCaP (Integration Safety Case for Perception)
AIの認識性能と自動運転システムの安全性をつなぐ考え方

自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

31 / 40

認識AIの安全に関するデンソーの技術
 深層学習モデルの推論結果の不確実性を測る手法（東工大との共同研究）
VPBNN (Variance Propagation Bayesian Neural Networks)
高速かつ高精度な不確実性の計算

 認識AIシステムの安全性論証手法（カナダWaterloo大との共同研究）
ISCaP (Integration Safety Case for Perception)
AIの認識性能と自動運転システムの安全性をつなぐ考え方

自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

32 / 40

不確実性を表現する技術

不確実性(予測分布)を表現できるベイズやBNNへの関心が高まる
自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

33 / 40

本手法の適用先

能動学習

モニタリング

不確実性の高いデータを設計時や運用時に見つける手法
自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

34 / 40

提案手法：分散伝播BNN(VPBNN)

VP: Variance Propagation

東工大金森敬文教授との共同研究成果

各層で分散も伝播させることで1回のFFで予測分布が得られる
自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

35 / 40

評価およびデモ[1] F. Yu et al., “BDD100K: A Diverse Driving Dataset for Heterogeneous Multitask Learning,” CVPR, 2020.
[2] Y. Gal et al., “Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning,” ICML, 2016.
[3] J. Postels et al., “Sampling-Free Epistemic Uncertainty Estimation Using Approximated Variance Propagation,” ICCV, 2019.
[4] Y. Mae et al., “Uncertainty propagation for dropout-based Bayesian neural networks,” Neural Networks, 2021.

MC積分BNN [2]線形BNN [3]VPBNN [4]（提案手法）

不確実性の計算量✕ (N倍≒100倍)○ (1.x倍～2倍)○ (1.x倍～2倍)

不確実性の近似精度○△○

VPBNNのBDD100Kデータセット[1]での実験結果

未学習のシーンで不確実性が高い
自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

36 / 40

認識AIの安全に関するデンソーの技術
 深層学習モデルの推論結果の不確実性を測る手法（東工大との共同研究）
VPBNN (Variance Propagation Bayesian Neural Networks)
高速かつ高精度な不確実性の計算

 認識AIシステムの安全性論証手法（カナダWaterloo大との共同研究）
ISCaP (Integration Safety Case for Perception)
AIの認識性能と自動運転システムの安全性をつなぐ考え方

自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

37 / 40

認識AIの安全性論証

https://arxiv.org/abs/2108.13294

危険シナリオと危険誤認識の発生確率と、それらによる事故リスクなどを注目して、システムの安全をコンポの安全に分解して論証する方法を開発した。
衝突確率(Mcrach)システムの安全
衝突確率を危険な誤認識パターン(HMP)か否かで分解危険な状況下(HBSS)と見逃し(MP)の観点で条件付き確率に分解

安全目標の分解
見逃しを引き起こす環境条件(PO)に分解

フレーム単位に分解

コンポの安全自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

38 / 40

認識AIシステムの安全性向上

https://arxiv.org/abs/2108.13294①危険シナリオ特定（RSS適切対応の失敗例、NHTSA事故シナリオなどに基づく）②危険誤認識特定（FTA, FMEA, CV-HAZOPなどに基づく）

誤認識を引き起こす
降雪などのパターン④能動学習
近距離に物体（≒危険シナリオ）を重点的に学習し、危険シナリオでの未検知率（危険誤認識）を下げる。

危険シナリオ③誤認識リスク計算

物体までの距離を推定するアルゴリズム

自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

交通シミュレータで計算
危険誤認識

39 / 40まとめ AIを搭載した自動運転システムの安全性
 AIは大規模な自動運転システムの一部である
 仕様不十分や性能限界に関する車載システムの国際標準化と関連

 AIの不確実性をプロセスで押さえることが重要

 デンソーが考える技術課題
 データ、モデル、システムで整理
 ニーズドリブンな研究に期待

 デンソーの取り組み 高速かつ高精度な不確実性の計算するVPBNNの紹介
 AIの認識性能と自動運転システムの安全性をつなぐISCapの紹介

自動車業界におけるAI Safety動向とデンソーの取り組み 萌芽研究会セッション「AI Safety & Security」/ Nov. 26, 2021
© DENSO CORPORATION All Rights Reserved.

40 / 40