機械学習モデルを搭載したセーフティクリティカルなシステムの品質保証
桑島洋、安岡宏俊、中江俊博

株式会社デンソー
東京支社 電子基盤先行開発室
2018年08月31日

1.
背景会社概要
設

立

1949年12月16日

資本金1,874 億円

売上収益

連結

5 兆 1,083 億円

営業利益

連結

4,127 億円

連結168,813 名

単独

39,315 名

従業員数（就業人員ベース）
連結子会社数221 社（国内72・海外149）

持分法適用関連会社数

38 社（国内14・海外24）© DENSO CORPORATION All Rights Reserved.

2018年3月31日現在

2/42

主な製品：自動車分野 1

モビリティシステム

電子システムミリ波レーダ、画像センサ、ドライバ
ステータスモニタ、エアバッグシステム等の自動運転・先進安全製品、テレマティクスコントロールユニット、車車間・路車間通信機、ヘッドアップ
ディスプレイ、メータ、コックピットシステム等のコネクティッド・コックピット製品

車載向けＩＣ・半導体センサ等のマイクロエレクトロニクスデバイス、エンジン制御コンピュータ・ボデー制御
コンピュータ等のエレクトロニクス製品© DENSO CORPORATION All Rights Reserved.

3/42主な製品：自動車分野 2

サーマルシステム

パワトレインシステム

自動車・バス用エアコンシステム、トラック用冷凍機、空調関係製品、ラジエータ等の冷却用製品

ガソリン・ディーゼルエンジン
制御システム、燃料ポンプ、VVT、センサ等のエンジン関係製品、油圧制御バルブ等の駆動関係製品© DENSO CORPORATION All Rights Reserved.

エレクトリフィケーション
システム
ＨＶ・ＥＶなどの電動化システム及び製品、オルタネータ、スタータなどの電源供給・始動システム製品、ワイパシステム、パワーウィンド・エアコン用等のモータ

4/42主な製品:非車載事業
生活関連機器・産業機器

住宅設備機器AUTO-ID関連機器

新事業分野

エネルギーマネジメント

農業（AgTech)

農業（AgTech）［コールドチェーン］

セキュリティ

情報ソリューション

ヘルスケア

バイオ（微細藻類）

橋梁点検・測量サービス

業務用空調機器

FA機器（ロボット）© DENSO CORPORATION All Rights Reserved.

5/42

会社組織監査東京支社
新事業統括

取締役会

Ag Tech推進社長

グローバル戦略本部

グローバル戦略、経営企画

コーポレート基盤本部

情報セキュリティ推進、情報システム、安全衛生環境、品質管理、EDT推進、施設

コーポレートセンター

秘書、原価企画、働き方改革、モータ事業統合推進、経理、広報、渉外、法務、総務、人事、健康推進

技術開発センター

R&D Tokyo 総括、技術企画、技術開発推進、知的財産、デザイン、先端技能開発、基盤技術開発、先進モビリティシステム開発、機械・エネルギ開発、MaaS開発、先端技術研究

生産革新センター

生産革新企画、生産技術、生産技術研究開発、材料技術、計測技術、工機、試作、部品エンジニアリング、生産管理、
FA事業

調達グループ

調達

営業グループ

直納営業、市販営業、海外事業企画、サービス事業グループ（次ページへ続く)

副社長
取締役

2018年6月20日現在© DENSO CORPORATION All Rights Reserved.

6/42

事業グループ（前ぺージの続き）

パワトレインシステム
事業グループ

エンジン制御システムおよび吸気系・燃料噴射系・点火系・後処理系・熱マネジメント系のシステム構成製品の開発・製造。
油圧制御バルブ・シフトバイワイヤ等の駆動系製品の開発・製造。

エレクトリフィケーションシステム
事業グループEV、ハイブリッド車等の電動化システムおよび製品の開発・製造。
オルタネータやスタータ等の電源供給・始動システム製品の開発・製造。
ワイパシステムやスマートモータ等の製品の開発・製造。

電子システム事業グループ

半導体センサ、IC等のマイクロエレクトロニクスデバイス製品の開発・製造。
エンジン制御コンピュータ、ボデー制御コンピュータ等のエレクトロニクス製品の開発・製造および電子基盤技術開発。

サーマルシステム事業グループ

乗用車用エアコンシステム、快適性システムと製品の開発・製造。
パワトレイン冷却システムと製品の開発・製造。

モビリティシステム事業グループ

モビリティ全体電子システム、サービス、プラットフォームの開発・提供。
ミリ波レーダ、画像センサ、ドライバステータスモニタ、エアバッグシステム等の自動運転・先進安全製品の開発・製造。
テレマティクスコントロールユニット、車車間・路車間通信機、ヘッドアップディスプレイ、メータ、コックピットシステム等のコネクティッド・コックピット製品の開発・製造。

2018年6月20日現在© DENSO CORPORATION All Rights Reserved.

7/42

AIとはAI:人間の知的行動をコンピュータ化した技術■ AIの活用分野【現地】高架の橋梁など
不動産査定

質問回答

推論予測に活用

音声認識・言語理解に活用【クラウド】ひび割れ検出、損傷判別 画像診断システム
DeepLeaning学習
画像送信

AIロボット

診断基準に基づく学習データ

DeepLeaning
音声認識・画像認識に活用 による判別
学習済みモデル
損傷判別

ひび割れ検出
診断結果

幅 0.2mm,
長さ 500mm
https://www.ibm.com/watson/jp-ja/assets/img/ibm-watson-jeopardy.jpg

遊離石灰あり!

https://www.ibm.com/watson/jp-ja/assets/img/ibm-watson-jeopardy.jpg

医療・創薬

インフラ点検囲碁将棋

推論予測に活用

画像認識に活用

行動計画に活用

https://www.kaggle.com/c/data-science-bowl-2017© DENSO CORPORATION All Rights Reserved.

http://jpn.nec.com/press/201701/20170131_01.html

8/42

自動車へのAI活用例© DENSO CORPORATION All Rights Reserved.

9/42

AI、機械学習、ディープラーニング

https://blogs.nvidia.co.jp/2016/08/09/whats-difference-artificial-intelligence-machine-learning-deep-learning-ai/© DENSO CORPORATION All Rights Reserved.

10/42

ディープラーニングによるブレークスルー
画像認識の場合
ディープラーニング
以前

https://docs.opencv.org/3.3.0/dc/dc3/tutorial_py_matcher.html
https://www.slideshare.net/MPRG_Chubu_University/ss-32258845

2012年頃

局所的なパターンマッチング

ブレーク~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
スルー

汎化能力の壁

https://d1f5hsy4d47upe.cloudfront.net/35/3
5ce0cedf846f526268298bed40759bb_t.jpeg

特定のドメイン~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
https://www.pakutaso.com/20160953245post-8887.html

ディープラーニング
以後
https://d1f5hsy4d47upe.cloudfront.net/bd/b
d1d318d8f8a0bd6ee4975f5aa96a2d3_t.jpeg

http://sozaing.com/wpcontent/uploads/pizzza480x360.jpg.pagespeed.ce.
AMbUoHvdxZ.jpg

https://publicdomainq.net/images/201710/18s/publi
cdomainq-0014503pxb.jpg

https://www.pakutaso.com/20160953245post8887.html“ピザ”© DENSO CORPORATION All Rights Reserved.

“お好み焼き”11/42

ディープラーニング（深い学習）の汎化能力の秘密

浅い

ブラックボックス化
模様パーツ概念深い
https://www.researchgate.net/figure/A-conceptual-comparison-between-traditional-machine-learning-and-deep-learning_fig8_282203673
http://www.slideshare.net/NVIDIA/visual-computing-the-road-ahead-an-nvidia-ces-2015-presentation-deck/30-30HOW_A_DEEP_NEURAL_NETWORK© DENSO CORPORATION All Rights Reserved.

12/42

層数の増加 → 認識精度向上 → ブラックボックス化加速
1998 LeNet

2012 AlexNet
2014 VGG
2014 GoogleNet
2015 Inception BN2015 Inception V3
http://josephpcohen.com/w/visualizing-cnn-architectures-side-by-side-with-mxnet/

2015 ResNet

https://www.quora.com/Is-wider-or-deeper-convolutional-neural-networks-better-for-computer-vision-tasks
https://www.researchgate.net/figure/Comparison-of-popular-CNN-architectures-The-vertical-axis-shows-top-1-accuracy-on_fig2_320084139© DENSO CORPORATION All Rights Reserved.

13/42

膨大なデータが必要 → 現実的な検証の指針なし
縦軸：必要走行距離(マイル)

自動運転による最大死亡事故率が1.09件/1億マイルであることを信頼度95%で示すために必要な無事故走行距離＝2.75億マイル

人の運転による死亡事故率＝1.09件/1億マイル

横軸：1億マイル当たりの事故件数

https://www.autosafety.org/wp-content/uploads/2016/04/RAND-AV-Report.pdf© DENSO CORPORATION All Rights Reserved.

14/42

AI品質基盤に取り組む背景【進め方】

推論精度が大幅向上⇒ブラックボックス化が加速
層の数エ
ラー率

先進技術・事例

産官学動向

社内事例・計画・学会、研究機関
・航空・宇宙など
先進異分野

・欧州を中心としたプロジェクト
・国際標準化・国内業界・団体

・開発プロセス
・設計評価技術（主にDIAM SVIC連携）（主にDNDE CRD連携）（社内関連部署と連携）
わき道

調査・分析

合意形成

調査・分析

膨大なデータが必要⇒現実的な検証の指針なし

課題打ち上げDeep Learningの進化

調査・俯瞰

自転車
（女性）

危険領域
老人（女性）
車道
境界線

適用・展開

【背景】

AI品質基盤：開発プロセスと基盤技術（AI品質特性、オープンクローズ戦略、・・・）
数億キロ以上の検証が必要

設計

課題認識はあるが対応手法は未確立© DENSO CORPORATION All Rights Reserved.

検証

各種動向をもとに基盤開発、業界合意＆社内適用を狙う
15/42

AI品質基盤の考え方
車両⇨ 業界・標準化動向を把握し、相場観を見極める

欧州: PEGASUS
安全要件、検証方法の業界コンセンサスを 事 車両レベルのシナリオ
例 検証が主体。高速道
探り開発指針とする
Lv3のシーンを9分類

米国: NHTSA

他社: Mobileye

自動運転安全ガイド
ライン発行。12項目の自主報告を推奨

事故責任概念を定式化した独自の安全ポリシー(RSS)とHDマップ(REM)を提唱

システム ⇨ AIをシステムレベルで保証する技術・技法を開発する e.g.AIコンポのブラックボックステスト手法
従来のソフトウェア工学が通用しない

プログラ
ミング
新たな考え方・技術が必要

システム品質ソフトウェア工学の考え方・手法をAI搭載システム向けに拡張する動き

機械学習モデル

仕様書

ソースコード

MLSE
QA4AI
SEMLA
海外
DISE
WAISE
標準化 SOTIF
国内⇨ データ品質・モデル品質の両面から、AIの品質課題の根本的解決を目指す

データ品質

モデル品質

機械学習

パラメータが膨大で判定
結果の説明ができない

どれだけタグ付けすればよいのか分からない

大量データへのタグ付け作業が大変
タグの仕様の決め方が分からない

機械学習工学研究会
AI品質保証コンソーシアム
海外版MLSE ﾓﾝﾄﾘｵｰﾙ工科大中心
ｾｰﾌﾃｨｸﾘﾃｨｶﾙｼｽﾃﾑのためのDL@ICML
AIの安全工学ﾜｰｸｼｮｯﾌﾟ@SafeComp
機能安全の拡張版

特定のノイズで簡単に間違えてしまう

大量データに人間が正解タグを付与した
データ

数億ものパラメータで構成される判定ロジッ
クを帰納的に構築

テストの十分性が保証できない

…

…

データ

学習済モデル

俯瞰に裏打ちされたAI品質の考え方構築・技術開発・仕組み作り・業界打込み© DENSO CORPORATION All Rights Reserved.

16/42

2.
動向

学会の発表動向
AI品質に関連する発表数：

関連WS数 (ICML+IJCAI併設)：•

国際機械学習会議:ICML,•

国際人工知能会議:IJCAI,•

コンピュータ支援検証に関する国際会議:CAV

45

840

735

63025

2016

202017
2018

1554102510

WS

30ICMLIJCAICAV

201620172018

発表総数：ICML→約600件, IJCAI→約700, CAV→約60

アカデミアでのAI品質への関心が見える© DENSO CORPORATION All Rights Reserved.

18/42

論文のタイトルから見るトレンドの変化（ICML2018）【2017年】【2018年】
2.8倍

2.0倍
2.2倍

AIのセキュリティ,頑健性,→ Adversarial example（次項説明）
生成モデル（Generative Adversarial Networks)

強化学習
変分推論などICML2018ベストペーパー
Anish Athalye, Nicholas Carlini, David Wagner, “Obfuscated Gradients Give a False Sense of Security: Circumventing
Defenses to Adversarial Examples” → 新たなAIの脆弱性を発見した研究

新たなモデルの開発競争は少し落ち着き、性質の解明や応用にシフトしつつある© DENSO CORPORATION All Rights Reserved.

19/42

Adversarial exampleとはAdversarial example [Szegedy et al., ICLR’14] :ニューラルネットワークモデルが誤判定するように、微小なノイズを足した入力。

パンダノイズテナガザル[Goodfellow et al., ICLR’15]？

ニューラルネットワークモデルと画像から、AEを作成する攻撃方法が研究されている© DENSO CORPORATION All Rights Reserved.

20/42

自動車に関連する Adversarial example (1/2)
The Nexar traffic light challengeを基にしたAE[Wicker et al., TACAS’18]:[Wicker et al., TACAS’18]

1ピクセル画像を変更することで、信号の判定が失敗する© DENSO CORPORATION All Rights Reserved.

21/42

自動車に関連する Adversarial example (2/2)
German Traffic Sign Recognition Benchmarkを基にしたAE[Huang et al., CAV’17]:

ストップ⇒ 30m速度制限80m速度制限⇒ 30m速度制限

右折指示⇒ 直進指示[Huang et al., CAV’17]

数ピクセル画像を変更することで、交通標識判定が失敗する© DENSO CORPORATION All Rights Reserved.

22/42

機械学習に対するソフト/システム工学 関連会議
Software Engineeringfor Machine Learning Applications

SysML Conference(18/02/15)(18/06/12)

2018/04/01

2018/07/01

2018/10/01

Summit on Machine Learning
meets Formal Methods(18/07/13)

Joint Workshop on Deep (or Machine) Learning
for Safety-Critical Applications in Engineering

Intl. Workshop on Machine Learning
and Software Engineering in Symbiosis(18/07/14)(18/09/03)

アカデミアでのAI品質への関心が見える© DENSO CORPORATION All Rights Reserved.

23/42

 2018年4月 日本ソフトウェア科学会から正式な研究会として発足
 機械学習システムの開発・テスト・運用の方法論の体系化が設立趣旨
 これまでの主な活動と今後の予定
 ５月 キックオフシンポジウム
 ７月 第1回機械学習工学研究会ワークショップ（MLSE2018） ８月 日本ソフトウェア科学会大会
 ８月 機械学習工学研究会 現場を交えた勉強会 #1

青山先生(南山大)
石川先生(NII)

杉山先生(理研AIP)

中島先生(NII)

キックオフシンポジウムの登壇者

工藤氏(アクセンチュア)

有賀氏
久保氏(TIS)© DENSO CORPORATION All Rights Reserved.
(Cloudera)

丸山氏(PFN)

キックオフシンポジウムのスポンサー
24/42

MLSE2018（機械学習工学研究会ワークショップ）
１日目：ポジション発表
 桑島, 安岡, 中江(デンソー), ”セーフティクリティカルな機械学習システムの品質保証の課題”
 石川冬樹(NII), 松野裕(日大),“Continuous Argument Engineering： 機械学習システムにおける議論モデルの活用に向けて” →議論モデルで考慮すべき機械学習固有の不確かさを定義 明神(JAXA), “機械学習応用システムの信頼性に関する一考察” →従来の信頼性の定義をもとに機械学習応用システムで考慮すべき信頼性を考察など、22件の発表
2日目：議論されたテーマ
大分類

テーマ名

テスト手法（４テーマ）

・DNN+画像テスト① ・DNN+画像テスト② ・テスト全般
・ML開発実務者の自動テスト設計ベストプラクティス

評価指標（４テーマ）

・機械学習システムの評価 ・AIと品質特性 R・A・M・S・Sec・不確実性とは？ ・モデル圧縮

データ/開発環境（５テーマ）

・データ管理・こんなデータはゴミだ ・技術的負債
・機械学習の開発・実行基盤・再利用

工数見積もり/運用 (４テーマ)

・工数を見積もる ・MLシステムの運用とヒト・運用容易性 ・サービスレベルと運用保守体制

調査/体系化（８テーマ）

・BOKの検討 ・プロセス ・国からのファンディング ・人材育成組織論 ・調査・コミュニティの作り方 ・「酒屋問題」的な標準例題 ・MLSEのこれからを話そう

機械学習の開発・運用環境，機械学習の評価，体系化/BOK化 が主な関心事© DENSO CORPORATION All Rights Reserved.

25/42

国防高等研究計画局（DARPA）説明可能AI（XAI）
AIシステムの意思決定や行動をユーザに説明できないという問題点を克服し、人工知能をパートナーとして理解し、正しく信用し、効率的に管理するため、説明可能（Explainable）な人工知能＝XAIを開発する。

・なぜその答えか？
・なぜ他の答えが否定されるのか？
・どんな状況だと正しいか？
・どんな状況だと間違うのか？
・どんな状況なら信頼してよいか？
・どうすれば？誤りを訂正できるか

従来の学習プロセス

訓練データ

学習した機能出力

使用者・答えに至った理由がわかる。
・なぜ他の答えが不適切なのかわかる。
・どんな状況なら正答できるかわかる。
・どんな状況なら誤答するかわかる。
・どんな状況で信頼できるかわかる。
・誤答の場合、訂正方法がわかる。

新しい学習プロセス

訓練データ

説明可能モデル 説明インタフェース© DENSO CORPORATION All Rights Reserved.

使用者

https://www.darpa.mil/attachments/XAIProgramUpdate.pdf

26/42

DARPA XAI：プログラムマネージャ・パフォーマーと日程

ルトガス大UCバークレー

チャールズリバーテキサスA&M大UCロサンゼルス

DARPA

UTダラス

レイセオンBBN
スタンフォード研究所

オレゴン州立大

ゼロックス
パロアルト研究所
カーネギーメロン大

プロジェクト期間
キックオフ：2017年5月／Phase 1：～2018年10月／Phase 2：～2021年4月
XAIには主要大学と企業研究所が多数参加© DENSO CORPORATION All Rights Reserved.

27/42

DARPA XAI：Network Dissection（MIT）

ニューラルネットワークの各ノードが検出しているオブジェクトを見える化© DENSO CORPORATION All Rights Reserved.

https://www.darpa.mil/attachments/XAIProgramUpdate.pdf

28/42

DARPA XAI：Selection of Teaching Ex（RUT）

判定結果とともに、根拠（類似事例と非類似事例）を提示© DENSO CORPORATION All Rights Reserved.

https://www.darpa.mil/attachments/XAIProgramUpdate.pdf

29/42

3.
デンソーのAI品質基盤が考える課題

AI品質基盤の考え方（再掲）車両⇨ 業界・標準化動向を把握し、相場観を見極める

欧州: PEGASUS
安全要件、検証方法の業界コンセンサスを 事 車両レベルのシナリオ
例 検証が主体。高速道
探り開発指針とする
Lv3のシーンを9分類

米国: NHTSA

他社: Mobileye

自動運転安全ガイド
ライン発行。12項目の自主報告を推奨

事故責任概念を定式化した独自の安全ポリシー(RSS)とHDマップ(REM)を提唱

システム ⇨ AIをシステムレベルで保証する技術・技法を開発する e.g.AIコンポのブラックボックステスト手法
従来のソフトウェア工学が通用しない

プログラ
ミング
新たな考え方・技術が必要

システム品質ソフトウェア工学の考え方・手法をAI搭載システム向けに拡張する動き

機械学習モデル

仕様書

ソースコードMLSE
QA4AI
SEMLA海外DISE
WAISE
標準化 SOTIF
国内⇨ データ品質・モデル品質の両面から、AIの品質課題の根本的解決を目指す

データ品質

モデル品質

機械学習

パラメータが膨大で判定結果の説明ができない

どれだけタグ付けすればよいのか分からない

大量データへのタグ付け作業が大変
タグの仕様の決め方が分からない

機械学習工学研究会
AI品質保証コンソーシアム
海外版MLSE ﾓﾝﾄﾘｵｰﾙ工科大中心
ｾｰﾌﾃｨｸﾘﾃｨｶﾙｼｽﾃﾑのためのDL@ICML
AIの安全工学ﾜｰｸｼｮｯﾌﾟ@SafeComp
機能安全の拡張版

特定のノイズで簡単に間違えてしまう

大量データに人間が正解タグを付与した
データ

数億ものパラメータで構成される判定ロジッ
クを帰納的に構築

テストの十分性が保証できない

…

…

データ

学習済モデル

俯瞰に裏打ちされたAI品質の考え方構築・技術開発・仕組み作り・業界打込み© DENSO CORPORATION All Rights Reserved.

31/42

課題の位置づけ
設計

検証

運用

走行シナリオのシミュレーション

走行シナリオの継続的収集

要件

走行シナリオの収集プロセス

自動運転
車載システム仕様（従来と同様）統計的性質の記述

アーキテクチャの妥当性の確認

追加ユースケースへの対応

システム
統計的性質を緩和するアーキ
テクチャ

テストデータの性質モデルの品質機能開発

機械学習モデル

自動網羅検証、理解のためのNN可視化

運用データとテス
トデータの一致性確認

モデル構造、学
習データ、学習アルゴリズムの記
述実装
本日紹介するのは、機械学習システムの機能開発における課題（実装の課題はまだ明らかでない）
32/42© DENSO CORPORATION All Rights Reserved.

車両における機械学習システム品質保証の課題
車両レベル→ 物理環境に接する階層理論的（解析的）に保証することは難しく、実験的に獲得した物理環境の統計的性質を反映することが重要。

課題- 自動運転車が走る物理環境の把握- 長距離フィールド実証実験（FOT）に相当するテストの実施

関連する技術領域
統計*、PEGASUS等の業界標準* 人間の運転と比較して安全性を主張する場合

PEGASUS Symposium 2017: 04 Scenario Description https://www.pegasusprojekt.de/en/pegasus-symposium© DENSO CORPORATION All Rights Reserved.

33/42

Test-specification-database - expertise of the scenario approach.
動向：PEGASUSプロジェクト
Initial basis for an international standard in this areaDatasourceデータソースPEGASUSデータベース
PEGASUS– database

Test-specification(s)
テスト仕様

FOT/NDS with
走行環境データをsensingof the含むFOT

driving environment
FOT with (L3)
HAD systems

Logical
論理
シナリオ
Scenario

事故データ

Drivingsimulator
運転シミュレータ

processing
処理（導出）

Accident data

harmonization
協調（統合）

自動運転車FOT

Parameter
パラメータ
空間space
Metricsandメトリクスと合格基準passcriteria
Relevance
関連性Real World test
Driving
テストコース走行
proving ground
PEGASUS Symposium 2017: 04 Scenario Description https://www.pegasusprojekt.de/en/pegasus-symposium

Collect in a harmonized way, archive in a standardized manner, evaluate
uniformly to ensure that standardized test specifications are derived!

© PEGASUS | Symposium | 9th November 201760

PEGASUSは、自動運転を販売するために必要な品質基準／ツール／手法／シナリオを準備© DENSO CORPORATION All Rights Reserved.

34/42

システムにおける機械学習システム品質保証の課題
システム→ トップダウンで設計するシステムと、ボトムアップで訓練する機械学習モデルの境界課題- 機械学習モデルの不確実性への対処- 機械学習モデルのCACE性※への対処※Change Anything Change Everything

関連する技術領域
ソフトウェア工学、システム工学

動向
DOER-CHECKERアーキテクチャ

DOER-CHECKERアーキテクチャ
https://www.ansys.com/about-ansys/advantage-magazine/volume-xii-issue-1-2018/drive-safely© DENSO CORPORATION All Rights Reserved.

35/42

機械学習モデルにおける機械学習システム品質保証の課題
機械学習モデル→ 訓練データからボトムアップで訓練（獲得）エンジニアが設計できる最後のステップとして、機械学習モデルの要件定義が重要。
課題- テストデータ分布の事前設計、事後計測- テストデータ分布と運用データ分布の一貫性確認- テストデータ収集の完了条件- 多角的な品質基準（精度、頑健性、など）- 再現可能でトレーサブルな訓練- 機械学習モデルの故障モードの定義- 機械学習モデルに対応した自動検証手法

次項以降で、機械学習モデルの設計検証プロセスとともに示す。

関連する技術上位機
機械学習、理論計算機科学© DENSO CORPORATION All Rights Reserved.

36/42機械学習モデルの設計検証運用プロセス
想定環境を定義し、それに応じたテストデータ収集が必要
システム要件

要件
設計

環境設計

テストデータ分布と運用データ分布の一貫性確認

テストデータ分布の設計（テスト設計）
環境要件

テストデータ
妥当性

多角的な品質基準（精度、頑健性、など）
機能設計

品質設計

プロパティ
設計

テスト
データ収集

機能要件

品質要件

プロパティ

テストデータ収集の完了条件

運用一貫性
検証
運用データ分布
シフト

運用

テスト
データ確認
テスト
データ

テストデータ分布の事後計測

当初の想定環境とテスト／運用データの一貫性が必要

多角的な品質の計測（精度、頑健性、など）

仕様
設計

モデル
設計
訓練
仕様

テスト

モデル
構造

テスト
結果
プロパティ
検証

検証
検証
結果

機械学習モデルに対応した検証手法

訓練データ
収集

訓練データ
訓練

構成管理された再現可能な訓練© DENSO CORPORATION All Rights Reserved.

成果物
活動

訓練済み
モデル

想定課題

37/42

機械学習モデルに対応した自動検証技術
汎用的な性質の解析

ReLUplex[Katz et al., CAV’17]

Global Safety, Local Safety[Pulina&Tacchella, CAV’10]

検証

計測(δ,ε)-大域頑健性[Katz et al., FVAV’17]

Adversarial frequency,Adversarial Severity

CNN Analyzer[Bastani et al., NIPS’16][Dreossi et al., NFM’17](x,η,Δ)-safe[Huang et al., CAV’17]

Maximum perturbation bound[Cheng et al., ATVA’17]

DeepSafe[Gopinath et al., ATVA’18]
頑健性解析

いくつもの技術が利用可能© DENSO CORPORATION All Rights Reserved.

38/42

機械学習モデルに対応した検証技術の例
ReLUplex [Katz et al., CAV’17]、 大域頑健性 [Katz et al., FVAV’17]：
8642

パンダ

ノイズ

0テナガザル0[Goodfellow et al., ICLR’15]

246

頑健でないニューラルネットワーク

大域頑健性：
少しの入力の変化では、大きく出力が変化しない。

75

ReLUplexは機械学習モデルの頑健性を単体法を応用して検証する。

31

実験例：下記モデルに対する検証時間 ≒ 11時間!
•

入力数:5, 出力数:5, 隠れ層の数:6, ReLUの数:300

モデルの
出力

-1 0モデルの入力

246

頑健なニューラルネットワーク

ニューラルネットの頑健性を網羅的に検証するアプローチ（スケーラビリティが課題）© DENSO CORPORATION All Rights Reserved.

39/42

まとめ
背景
・AI～機械学習～ディープラーニング・ブラックボックス化、検証手法の不在
動向
・人工知能と検証のトップ学会の発表動向
・機械学習に対するソフト／システム工学の学会発足動向
・MLSE2018（機械学習工学研究会ワークショップ）
・DARPA XAI（説明可能な人工知能）
デンソーのAI品質基盤が考える課題
・車両、システム、機械学習モデルにおける品質保証の課題
・機械学習モデルに対応した自動検証技術

セーフクリティカルな目的に機械学習システムを使うためには、品質保証の枠組みの確立が必要です
SWEST参加者の皆様には、組み込み開発の観点から得られる課題・ソリューションの提案を期待します！

© DENSO CORPORATION All Rights Reserved.

40/42