Safety Engineering for Automotive ML-controlled System

SEAMS

Open QA4AI Conference「自律的自動運転の実現を支える人工知能搭載システムの安全性立証技術の研究開発」
2019年5月17日
SEAMS Project
株式会社ヴィッツ 機能安全開発部
森川 聡久

Copyright 2019 by SEAMS project※本資料における「SEAMS」は、「Safety Engineeringfor Automotive ML-controlled System」の略称です。

本発表の概要• SEAMS Projectでは、自動運転などの“セーフティクリティカルなAI搭載システム”に対する安全性立証技術の研究開発を実施しています。
• 本発表では、現時点の研究成果の1つとして、「AI搭載システムの安全設計ガイドライン」（略称：SEAMSガイドライン）を紹介したい。
Open QA4AI Conference

Copyright 2019 by SEAMS project2

本ガイドによって改善できるAIの課題
出典：IPA「2018年度組込み/IoTに関する動向調査」

AI＋機能安全のスキルの底上げ

機能安全規格への準拠方法をガイドOpen QA4AI Conference

Copyright 2019 by SEAMS project3

アジェンダ1. 本研究とSEAMSガイドラインの概要

2. SEAMS Projectが考える安全関連システム
におけるAIの影響
3. AI搭載システムの安全設計パターン
4. AI搭載システムの安全プロセス
5. まとめOpen QA4AI Conference

Copyright 2019 by SEAMS project4

１．本研究とSEAMSガイドラインの概要

Open QA4AI Conference

Copyright 2019 by SEAMS project5

中部経済産業局 平成29年度 戦略的基盤技術高度化支援事業「自律的自動運転の実現を支える人工知能搭載システムの安全性立証技術の研究開発」 ※3ヵ年プロジェクトの最終年度として実施中Open QA4AI Conference

Copyright 2019 by SEAMS project

6

実施体制

Open QA4AI Conference

Copyright 2019 by SEAMS project7

SEAMS ProjectとはSEAMS• SEAMS Project＝本研究プロジェクトの活動名称• SEAM=縫い目、つなぎ目の意味• SEAMSは、人工知能を活用するための「つなぐ」を実現する技術群
Open QA4AI Conference

Copyright 2019 by SEAMS project8現在までの進捗状況

設計完了→今年度に発表予定「SEAMSガイドライン」初版完成（非公開）→今年度：第2版完成予定
FRAM/STPAとSTAMP/STPAによる安全分析の実施と検証を完了

Open QA4AI Conference

Copyright 2019 by SEAMS project9

SEAMSガイドライン 構成・目次■構成物
・本編 Ver1.00（34ページ）（下記目次）
・実施例： Adaptive Crouse Control（ACC）自動運転レベル4システム安全コンセプト（22ページ）、システム安全分析結果■本編 目次Open QA4AI Conference

Copyright 2019 by SEAMS project10

SEAMSガイドラインの位置づけ• 目的：AI技術を搭載したシステムの安全性の示し方をガイド• 想定読者：当該システムの開発者向け– 前提スキル：機能安全開発の知見を保有していること• 手段：機能安全規格への適合方法を提示– 対象製品分野：全て• 分野（例：自動車）や規格（例：IEC61508,ISO26262）を問わず、基本的な考え方・設計方法・開発プロセスを整理• 具体的事例は、 ACC（自動車, ISO26262）を適用– 記載範囲：AIに特化した対応事項に限定• 従来の機能安全開発に従うことは記載を省略
Open QA4AI Conference

Copyright 2019 by SEAMS project11

２．SEAMS Projectが考える
安全関連システムにおけるAIの影響

Open QA4AI Conference

Copyright 2019 by SEAMS project12

AIの分類整理から見たAIの特性• さまざまな文献、AI知見者の意見を踏まえ、AIを分類整理（下図）• AI関連は、多種多様な技術、様々な捉え方があり、整理の仕方に正解は無い• ソフトウェアプログラムの特性：記述通りに動作する（故障除く）• AIの特性：誤判定、非決定的な振る舞いが起こり得る• 統計的AIに限らず、古典的AI（エキスパートシステムなど）にも当てはまる• 複雑すぎるシステムでは、よくある話かも知れない（課題の本質はAIではない）

Open QA4AI Conference

Copyright 2019 by SEAMS project13

AIは機能安全では推奨されない（1/2）• 機能安全規格では、AIの使用は非推奨である。

• 一方、IoTや自動運転システムでは、AIの搭載は必要。
IEC61508-3:2010 Table A.2

技術/手法

IEC61508-7参照

SIL1 SIL2 SIL3 SIL4

人工知能 –故障訂正

C.3.9

－

NR

NR

NR

動的再構成

C.3.10

－

NR

NR

NR

＜手法の目的＞オンラインで安全性や信頼性を分析することで、可能性のある危険事象に非常に柔軟に対応できるようにすること。
＜NRの理由（懸念リスク）＞

静的に動作が決まっておらず、運用時に正しく動作することを保証できない。信頼性が低い機能を安全面で使用するのはリスクが高い。
Open QA4AI Conference

Copyright 2019 by SEAMS project14

AIは機能安全では推奨されない（2/2）• ソフトウェア安全要求仕様の望ましい特性（IEC61508-3:2010 Annex C 引用）– ソフトウェアで対応する安全ニーズの完全性– ソフトウェアで対応する安全ニーズの正確性– 曖昧さの回避を含む、固有仕様フォールトの回避性– 安全要求事項の理解容易性

仕様を明確に定義し、仕様の適切さを検証– ソフトウェアの安全以外の機能が安全機能へ危険な干渉を及ぼさない性質– 適合確認及び妥当性確認の基礎となる対応能力 AIは「仕様を明確に定義する」
ことが困難！
→ テスト困難!!
Open QA4AI Conference

Copyright 2019 by SEAMS project15

仕様を明確に定義するとは？
ルール化でき、誰で■シンプルなシステムの場合：ある「処理（機能）」 について、「入力」 も同じ判断結果になる（正解が一意）に対する「出力」を一意に事前定義可能
入力：生年月日①2000年5月17日②2000年5月18日

処理（機能）：
算出■複雑なシステム（AI含む）の場合：一意に事前定義することは困難
入力：画像ﾃﾞｰﾀ
Open QA4AI Conference

処理（機能）：
物体認識
Copyright 2019 by SEAMS project

出力：現在の年齢①19歳②18歳
人によって判断結果（正解）が異なる
出力：物体16

３．AI搭載システムの安全設計パターン

Open QA4AI Conference

Copyright 2019 by SEAMS project17

AI搭載システムの安全設計パターン（案）AI搭載システムの安全設計に、以下のいずれかのパターンを適用可能
パターン名称(仮)安全設計パターン【方針1】AIコンポーネント自体の安全性を示すパターン
1) 機能安全開発パター AIコンポーネントを機能安全準拠開発する（例えば、ン
IEC61508に準拠した開発）
2) 安全性評価パターン AIコンポーネントについて、機能安全規格適合相当の安全性を示す
3) Proven in useパ
ターン

AIコンポーネントについて、使用実績によって十分な安全性を示す(Proven in use)

【方針2】AIコンポーネント自体は非安全系とし、外部に安全メカニズムを設ける
4) 安全機能パターン

制御（QM）と独立した安全機能（SIL）を搭載

5) 比較パターン

AIコンポーネント（QM）と他の非AIコンポーネント（SIL）による多重化比較

6) 防御設計パターン

動的にロバスト性の確認をするための防御設計（ガード）を搭載※本資料では、QMは機能安全非対応、SILは機能安全対応という意味のイメージ
Open QA4AI Conference

Copyright 2019 by SEAMS project182）安全性評価パターン• 安全センサシステム規格IEC62998の評価方法が参考になりそう• IEC62998の概要– 従来の安全センサ規格（IEC61496、IEC60947-5-2）では未対象のセンサに対応• 新しいセンサ技術(レーダー、超音波)• 新しいセンサ機能(物体認識、物体位置計測)• センサの組み合わせ(フュージョン)– IEC61508（SIL）、ISO13849（PL）に対応– 屋内・屋外の環境に対応（公共の場所での人の保護）• AIとセンサシステムの類似性– 人間の期待値とは異なる情報を出力する可能性がある
Open QA4AI Conference

Copyright 2019 by SEAMS project19

４．AI搭載システムの安全プロセス

Open QA4AI Conference

Copyright 2019 by SEAMS project20

従来開発（機能安全、AutomotiveSPICEなど）• 安全クリティカルシステムの開発では、“機能安全”が必須化• 自動車のECU開発の品質担保と品質説明には、“AutomotiveSPICE” がトレンド• いずれも以下を要求– Vモデル（要求/設計、実装、テスト、検証、etc）– 要求トレーサビリティ– 各種管理（プロジェクト、構成、課題、変更、etc）– 契約関連– 文書化 etc
Open QA4AI Conference

Copyright 2019 by SEAMS project21

AI搭載システム（Deep Learning）の開発プロセス概要
・以下は、AIを非安全系になるようなシステム安全設計を実施した場合の開発の流れ
・QM開発には、AutomotiveSPICE（A-SPICE）をテーラリングして適用

ソフト開発は、従来開発（A-SPICE）を普通に実施すればOKA-SPICE相当の学習品質が必要だろう

Open QA4AI Conference

パーティショニング

Copyright 2019 by SEAMS project

22

AI学習フェーズのAutomotiveSPICEテーラリング• AutomotiveSPICEのエッセンスをAI学習フェーズに注入- プロセス上の押さえ所（リスク対策）- 品質説明（エビデンス）

Open QA4AI Conference

Copyright 2019 by SEAMS project23

５．まとめOpen QA4AI Conference

Copyright 2019 by SEAMS project

24

まとめ
• SEAMS Projectでは、“セーフティクリティ
カルなAI搭載システム” に対する安全性立証
技術の研究成果を「AI搭載システムの安全設計ガイドライン」としてまとめました。
• 本日は、「安全設計パターン」「安全プロセス」の研究成果を一部紹介させていただきました。

Open QA4AI Conference

Copyright 2019 by SEAMS project25

今後の活動予定• 研究事業– SEAMSガイドライン Ver2.00発行（2020年3月完成、公開時期未定）• 各設計パターンを具体的事例に適用・評価• SOTIF、IEC62998の適用• 機能安全対応のAI学習プロセスの検討– QA4AI「品質保証ガイドライン」を参考にFuzzing for AIの開発– ゴルフカートによる研究内容の総括実証実験• 事業化– 自動運転関連支援– 自動車以外の分野への知見の応用• QA4AIの活動とのコラボを希望– QA4AIは “品質”
– SEAMS Projectは “安全” に特化し深堀りOpen QA4AI Conference

Copyright 2019 by SEAMS project26

ご清聴ありがとうございました

本内容の詳細に関しては、以下までご連絡ください。
株式会社ヴィッツ 機能安全開発部
森川 聡久 morikawa@witz-inc.co.jp

SEAMS