Safety Engineering for Automotive ML-controlled System

SEAMS「人工知能搭載システムの安全設計ガイドライン」（SEAMSガイドライン）～ エッセンシャル版 ～2020年4月3日
SEAMS Project

Copyright 2020 by SEAMS Project※本資料における「SEAMS」は、「Safety Engineering
for Automotive ML-controlled System」の略称です。

本書について• 本書は、2017年10月から2020年3月までのSEAMS Projectの研究活動知見や安全設計手順を整理した「人工知能搭載シ
ステムの安全設計ガイドライン 第2版」（略称：SEAMS ガイ
ドライン）の技術ポイントをまとめたエッセンシャル版です。
• 本書は、以下の内容で構成されます。
1.

SEAMS Projectの概要

2.

安全系システムにおけるAIの課題

3.

AI搭載システムの安全設計パターン

4.

AI搭載システムの安全開発プロセス

5.

具体的な適用事例の概要

6.

おわりに

※ SEAMS Project （ https://www.seams-p.jp/ ）平成29年度中小企業庁および中部経済産業局の戦略的基盤技術高度化支援事業の採択事業「自律的自動運転の実現を支える人工知能搭載システムの安全性立証技術の研究開発」
SEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project2

１．SEAMS Projectの概要

SEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project3

SEAMS Projectとは

SEAMS• SEAMS Project＝本研究プロジェクトの活動名称• SEAM=縫い目、つなぎ目の意味• SEAMSは、人工知能を活用するための「つなぐ」を実現する技術群
SEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project4

SEAMS Project 活動概要
中部経済産業局 平成29年度 戦略的基盤技術高度化支援事業 （2017年10月～2020年3月）「自律的自動運転の実現を支える人工知能搭載システムの安全性立証技術の研究開発」
従来技術

新技術

人工知能は万能ではない

人工知能搭載システム
安全ガイドライン「SEAMS」ガイドライン

2016年3月Google社の自動運転車両
が人工知能の認識不備による事故(techradarより引用)

人工知能搭載システムを安全に利用するために、人工知能の利用分類と、利用目的に沿った安全開発工程を明確にする

人工知能への理解不足
人工知能の活用は利益と損益を正確に理解する必要がある(Carbon Blackより引用)

人工知能を安全に利用する方法の実
現が急務

人工知能搭載システム
安全分析手法
人工知能搭載システム全体を俯瞰して分析を行うことで過誤や見過ごし、潜在リスクを見出すための安全分析手法

人工知能搭載システム
安全対策
完全自動化が前提の投資
完全自動化へ投資しているが、実現できなければ市場規模は維持か縮小(EY総研調査より引用)

人工知能搭載システムの不具合や異常動作を未然に検知することで、対象システムを安全な状態に移行させるためのソフトウェ
ア部品を開発し、開発投資を抑える

課題
・人工知能搭載システムへの極度な過信
・潜在リスクの見過ごし
・投資失敗時のサンクコスト

特徴・人工知能搭載システムを安全に利用可能・リスクを予見し事前対策を実施
・投資額を最小限に低減させる

川下企業の課題
・人工知能搭載システムの安全評価ができない
・安全評価の実施コストが計算できない

川下企業のメリット
・人工知能搭載システムの安全性を客観的に立証できる・安全評価のコストを事前に見積もれる

SEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project

SEAMS

自動運転レベル4
リスク評価＆安全策検討
AI搭載システム
安全アーキ設計
安全コンセプト
認証機関レビュー
知見をガイド文書に整理

5

研究実施体制SEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project6

SEAMSガイドライン 位置づけ
• 目的：AI技術を搭載したシステムの安全性の示し方をガイド• 想定読者：当該システムの開発者向け– 前提スキル：機能安全開発の知見を保有していること• 手段：機能安全規格への適合方法を提示– 記載範囲：AIに特化した対応事項に限定• 従来の機能安全開発に従うことは記載を省略– 対象製品分野：全て可• 分野（例：自動車）や規格（例：IEC61508,ISO26262）を問わず、基本的な考え方・設計方法・開発プロセスを整理• 具体的事例は、MaaS、AEBS（自動車, ISO26262）を適用※AEBS： Advanced Emergency Braking System, 衝突被害軽減ブレーキ
SEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project7

SEAMSガイドライン 構成＜構成物＞
・本編 Ver2.00（85ページ）（目次：次ページ）
・実施例： MaaS自動運転レベル4 安全コンセプト文書一式、自動運転レベル4対応AEBS安全コンセプト文書一式
構築済み
機能安全開発プロセス

アドオン
SEAMSガイドライン
Ver.2.0.0(本編)

付録：
具体例として

MaaSシステム
安全コンセプト
Ver.1.0.0

MaaSシステム
分析表
Ver.1.0.0

SEAMSガイドライン エッセンシャル版 2020/04/03

MaaSシステム
ユースケース一覧
Ver.1.0.0

Copyright 2020 by SEAMS Project

AEBS安全コンセプト
Ver.1.0.0

AEBS
安全分析結果Ver.1.0.0

8

SEAMSガイドライン 目次
1. 本ガイドラインについて 1

4.2.5. リスクアセスメント 32

7.2.

1.1.

目的

4.2.6. 参考：シミュレーション環境による自動化 33

7.2.1. ワークフローの概要 58

1.2.

対象範囲

1

4.3.

(3)サービスレベルの安全要求導出 34

7.2.2. ①探索的データ分析（EDA）＆視覚化 59

1.3.

想定読者

1

4.4.

(4)サービスレベルの安全要求割り付け 34

7.2.3. ②ベンチマークや再現性の確立

1.4.

本ガイドラインによって改善できるAIの課題

4.5.

(5)システム単体のアーキテクチャ設計 34

7.2.4. ③手動な、個人的な、まばらな、わかりやすい特徴選択 61

1

1

61

1.5.

本ガイドラインの位置付け

4.6.

(6)システムレベルの安全要求導出 34

7.2.5. ④公平性、プライバシー、セキュリティのための前処理 62

1.6.

QA4AIとの関係 3

4.7.

(7)システム安全分析 35

1.7.

用語集 3

4.8.

(8)初期AIコンポーネント開発 35

7.2.6. ⑤制約された、公平な、解釈可能な、個人的な、シンプルなモ
デル 63

4.9.

(9)AI学習フェーズ 35

2. 背景

2

58

説明可能性の高いAIモデル開発ワークフロー

8

7.2.7. ⑥予測の調整

2.1.

普及するAI搭載システム 8

4.9.1. Automotive SPICEのテーラリング 35

2.2.

AIの分類整理

4.9.2. SOTIFにおけるAI学習ワークフロー 36

2.3.

AIを搭載した安全関連システムの課題認識 129

4.9.3. 説明可能性の高いAIモデルワークフロー

2.3.1. AIの信頼性 12

7.2.9. ⑧説明 65
38

4.10. (10)ハードウェア・ソフトウェア開発 38

2.3.2. 安全に影響のあるAIの特性
2.3.3. AIの構成要素と信頼性

125. 付録 A：AI関連資料の調査

2.3.5. AIの安全立証における課題

5.1.

16

2.3.6. 説明可能性の高いAI 17
3. AI搭載システムの安全設計パターン

18

3.1.

AI搭載システムの安全設計における注意点や課題

3.2.

方針1：AI自体を安全設計する 19

3.2.1. 1a）機能安全開発パターン

18

既存のガイドラインの調査
先行研究の調査 40

AIの研究開発の原則の策定

5.4.

QA4AIガイドラインの概要 43

7.2.17. ⑯反復 70

42

7.2.18. ⑰廃止 70

6.1.

IEC 62998の概要 46

3.2.2. 1b）安全性評価パターン 20

6.2.

IEC 62998の特徴 46

3.2.3. 1c）Proven-in-useパターン 20

6.3.

IEC 62998における開発の流れ 47

3.2.4. 1d）多重化設計パターン 22

6.3.1. 安全関連システム(SRS/SRSS)の定義とハザード分析 47

3.2.5. ソフトウェアの不確かさへの対応 226.3.2. SRS/SRSSの目標パフォーマンスクラス決定 48

3.3.

6.3.3. SRS/SRSSの設計 48

方針2：AIは安全設計せず、外部に安全メカニズムを設ける 24

3.3.1. 2a）機能安全機能パターン
3.3.2. 2b）比較パターン

24

25

7.3.

QA4AIガイドラインの活用 71

8. 付録 D：関連標準の概要 72
8.1.

ISO/PAS 21448 (SOTIF) 72

8.1.1. ISO/PAS 21448のプロセス概要 72
8.1.2. ISO 26262との関係 73
8.1.3. 自動運転Level 3以上への適用 73
8.2.

IEC 62853 (DEOS)

6.3.4. 信頼性情報の評価（あるいは、SRSのパフォーマンスクラスの評価）
49

8.3.

IEC 60721 75

8.4.

国や地域による安全の考え方の違い

9. 付録 E：自動運転と安全 78

54

74
76

3.3.3. 2c）防御設計パターン

25

6.3.5. SRSSのパフォーマンスクラスの評価

3.4.

26

6.3.6. 統合と設置 55

9.1.

SAE J3016で定義されている自動運転のレベル 78

6.3.7. 検証

9.2.

一時故障の影響と対策

自動運転における「安全状態」の例

79

4.1.

(1)サービスレベルのシステム定義 30

6.4.

IEC 62998のAI搭載システムへの応用 56

9.3.

自動運転における「安全時間」の例

81

4.2.

(2)ハザード分析及びリスクアセスメント 30

6.5.

IEC 62998の課題 56

9.4.

自動運転システムの構成要素 81

4.2.1. アクシデント・ハザード・安全制約の決定 31

6.6.

参考情報：IEC 62998を満たしているセンサの例 57

9.5.

自動運転における一般的なセンサ・フュージョン

4.2.2. コントロールストラクチャの作成 31

7. 付録 C：説明可能性の高いAIとは 58

9.6.

自動運転システムにおける環境条件の例

4.2.3. UCAの抽出 31

7.1.

9.7.

自動運転技術のリスクアセスメントの必要性

4. AI搭載システムを用いたサービスの安全開発プロセス

28

55

説明可能なAI（XAI） 58

10. 付録 F：具体的な適用事例

4.2.4. UCAを含めたユースケースでの非安全シナリオ導出 32

SEAMSガイドライン エッセンシャル版 2020/04/03

69

7.2.16. ⑮根本原因分析 70

6. 付録 B：IEC 62998の概要とAI搭載システムへの適合 4620697.2.15. ⑭自動化されたモデル決定のヒューマンアピール

39

5.3.

67

7.2.14. ⑬配備、管理、監視 69

39

5.2.

66

7.2.11. ⑩社会的偏見の考査と修復
7.2.13. ⑫人間のレビューと文書化

4.12. まとめ 38

2.3.4. AIは機能安全規格では非推奨 147.2.10. ⑨モデルデバッグ

7.2.12. ⑪リスクの定量化と計画 68

4.11. (11)システムレベル統合試験 3813647.2.8. ⑦伝統的なモデル評価&診断 64

Copyright 2020 by SEAMS Project

82

83
84

85

9

本ガイドによって改善できるAIの課題
出典：IPA「2018年度組込み/IoTに関する動向調査」

AI＋機能安全のスキルの底上げ

機能安全規格への準拠方法をガイド

SEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project10

2．安全系システムにおけるAIの課題

SEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project11

AIの分類例と、ガイドの対象•さまざまな文献、AI知見者の意見を踏まえ、AIを分類整理（下図）•AI関連は、多種多様な技術、様々な捉え方があり、整理の仕方に正解は無い
AI

汎用的AI
(強いAI)
特化型AI(弱いAI)

統計的AI

正解ラベル付き(解析不可能なAI)

学習データ

教師あり学習学習データに正解ラベルをつけて学習する方法

統計的AIを、本ガイド
ラインでは主対象とす
る

代表例
しかし内容は、古典的AIも含む「複雑すぎるシステム」に対して、ガイドは活用可能
SEAMSガイドライン エッセンシャル版 2020/04/03

正解ラベルなし
学習データ

教師なし学習学習データに正解ラベルをつけないで学習する方法

古典的AI(解析可能なAI)

強化学習
正解を与える代わりに将来の価値を最大化することを学習する方法

Copyright 2020 by SEAMS Project12

AI搭載システムを安全だと主張するには• 機能安全規格に適合するのが最も妥当と考える。
– 理由：電子系システムの安全設計標準は機能安全である。AI搭載システムは電子系システム、AIはソフトであり、機能安全規格が該当する。
• 備考：AIの機能安全規格化は、現在検討が進められている。（ISO/IEC JTC1 SC42など） しかし、まだ完成したものは存在していない。

• 機能安全規格とは– 電子系製品のPL訴訟対策を目的として、安全設計の知見をまとめたものとして標準化された。機能安全に適合することで、「実質的に安全な製品の実現」をするとともに、「安全設計済みであることを第３者へ説明」できることも狙っている。

SEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project13

従来ソフトウェアの機能安全規格適合方法の考え方• A) 機能安全開発による十分な信頼性確認– 十分なホワイトボックス検証• ソースコードレビュー• テストのコードカバレッジ基準– 十分に検証されたソフトウェアの積み重ね• ソフトウェアの設計検証• ソフトウェアの結合テストカバレッジ– 静的に確定した対象に対する網羅的なテスト– 設計/検証だけでなく、管理不足等による不具合リスクの徹底的な回避• B) 使用実績による十分な信頼性確認– 十分な使用実績のエビデンスに基づく評価– 同等条件下での利用に限り、機能安全に活用可能
SEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project14

AIの特性と機能安全規格適合への課題• AI の信頼性低下の要因– バグ、不具合 … ソフトウェアとしての特性– 誤り（誤判定） … 従来のソフトウェアにはない特性• 安全に影響のあるAIの特性– 非透明であること（ブラックボックス）• 内部パラメータの構造や状態は学習の結果である。内部構造をロジカルに説明できない• どうしてその答えを出したか説明できない– 誤りを持つこと（機能安全に不適合）• いかに精巧な構造を持つAIを構築しても、一定割合で誤りが起こる• 誤りの状況が明確化できない（非決定的な振る舞い）– 学習が必要なこと（機能安全では未定義）• 機能安全規格では学習の位置づけが未定義• 機能安全規格の考え方を適用できない

課題：AIを機能安全規格適合する方法が未確立 → 安全説明が困難
SEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project15

AI は機能安全規格では非推奨
ソフトウェア設計及び開発―ソフトウェアアーキテクチャ設計（IEC 61508-3:2010 Table A.2 から一部抜粋）

アーキテクチャ及び設計技法

IEC61508-7
参照先

SIL 1

SIL 2

SIL 3

SIL 4

4a

グレースフルグラデーション

C.3.8

R

R

HR

HR

5

人工知能－フォールト是正

C.3.9

…

NR

NR

NR

6

動的再構成

C.3.10

…

NR

NR

NR

5 人工知能-フォールト是正 NR←

AI は非推奨6 動的再構成 NR ← 学習し改善する特性が該当する

NR
Not Recommended

NR: この安全度水準には、技法又は措置を使用することが積極的には推奨されない。この技法又は措置を使用する場合は、使用する理論的根拠について、附属書C を参照して安全計画時に詳述しなければならず、また評価者と合意することが望ましい

SEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project16

AIの仕様明確化が困難• ソフトウェアの仕様として振舞の明確化が必要
・ 入力に対する結果(出力）が、仕様上明確に決定振る舞いの明確化

・ テストの再現も可能
特性

ソフトウェアで ソフトウェアで 曖昧さの回避を 安全要求事項の含む、固有使用対応する安全対応する安全
フォールトの回 理解容易性
ニーズの完全性 ニーズの正確性
避性

ソフトウェアの安全以外の機能 適合確認及び妥が安全機能へ危 当性確認の基礎
険な干渉を及ぼ となる対応能力
さない性質

IEC 61508-3:2010 Table C.1 決定論的安全度の特性―ソフトウェア安全要求仕様より

機能安全に対応するためには、上記の特性を満たす必要がある。AIでは仕様として振舞を明確にできないため、テストを網羅的に実施できず、信頼性の保証が困難SEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project17シンプルなシステムと複雑なシステムの違いの例• 本質的な課題は、AIではなく“複雑なシステム“

複雑なシステム (AI含む) の場合、システム仕様を明確に定義できな
いため、入力に対する期待値を決定論的に決めることができない
SEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project18

AIでは従来のテスト技術の適用が困難
ひいては、機能安全要求レベルの検証、信頼性担保が困難
テスト種別

テスト手法
要求網羅試験

インタフェース試験

機能試験

境界値試験

同値クラス

限界値試験

ストレス試験
異常時試験
故障注入試験

環境試験

ホワイトボック
ス試験

カバレッジ試験

古典的AI（エキスパートシステム）
統計的AI（機械学習）搭載システムへの適用可否
搭載システムへの適用可否△：明確な仕様定義ができれば適用可。 △：明確な仕様定義ができれば適用可。
機能仕様からトレーサビリティ情報を活用して、網しかし、明確な仕様定義ができない場合、 しかし、明確な仕様定義ができない場
羅的にテスト項目を抽出する。
適用不可。
合、適用不可。
人とシステム間、サブシステム間のインタフェース △：明確な仕様定義ができれば適用可。 △：明確な仕様定義ができれば適用可。
仕様に基づいて、トレーサビリティ情報を活用ししかし、明確な仕様定義ができない場合、 しかし、明確な仕様定義ができない場て、網羅的にテスト項目を抽出する。
適用不可。
合、適用不可。
入力データや状態パラメータが連続値の場合、あ △：明確な仕様定義ができれば適用可。 △：明確な仕様定義ができれば適用可。
る値を境界にシステムの結果が変わる場合、境 しかし、明確な仕様定義ができない場合、 しかし、明確な仕様定義ができない場
界値の前後をテスト項目として抽出する。
適用不可。
合、適用不可。
同じ結果になる入力データや状態パラメータでグ △：明確な仕様定義ができれば適用可。 △：明確な仕様定義ができれば適用可。
ルーピングし、グループの代表値でテストする。 しかし、明確な仕様定義ができない場合、 しかし、明確な仕様定義ができない場
境界値試験とセットで使用することが多い手法。 適用不可。
合、適用不可。
△：明確な仕様定義ができれば適用可。 △：明確な仕様定義ができれば適用可。
入力データや状態パラメータの末端値をテスト項
しかし、明確な仕様定義ができない場合、 しかし、明確な仕様定義ができない場
目として抽出する。
適用不可。
合、適用不可。
時間的（長時間稼働）、空間的（メモリ使用量の限△：明確な仕様定義ができれば適用可。 △：明確な仕様定義ができれば適用可。
界）、処理的（例えば高頻度割り込み）な観点で、
しかし、明確な仕様定義ができない場合、 しかし、明確な仕様定義ができない場
負荷をかけたテスト。確認観点は、機能が正常動
適用不可。
合、適用不可。
作すること。
〇：安全目標、安全状態、安全メカニズム △：安全目標、安全状態、安全メカニズム
機能安全設計時に検討している部品の故障を起を明確に定義することが前提。その上で、 を明確に定義することが前提。例えば、
こし（手作業もしくは模擬的に）、安全メカニズムが内部設計は行っているため、安全設計に ネットワークの重みづけなどの情報を変
設計通り機能し、安全目標を実現できることを確
対する安全分析が実施できるため、故障 更することで、故障注入試験が実施可能
認するテスト。
注入試験も実施可能。
な範囲あり。
温度、湿度、粉塵、振動、EMC などについて、製品仕様に基づいて限界環境において機能保証で △：明確な仕様定義ができれば適用可。 △：明確な仕様定義ができれば適用可。
きることを確認する。
しかし、明確な仕様定義ができない場合、 しかし、明確な仕様定義ができない場
機能安全開発では、故障時の安全メカニズム機 適用不可。
合、適用不可。
能（故障注入試験）についても確認する。
〇：AIのコードは存在するため、ツールによるカバレッジ計測は可能。但し、ネット
ソフトウェアの関数やコードについて、実行文や〇：内部設計を行っているため、内部設計 ワークの重みづけなどはパラメータにすぎ
パスについて、全て実行されているかを確認すが正しいことを前提とすると、適用可。
ない想定とすることと、ブラックボックス試る。ツールで計測するのが一般的。
験を同時実施しているわけではないことを前提とする。
テスト手法の具体的方法

SEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project19

３．AI搭載システムの安全設計パターン

SEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project20

AI搭載システムの安全設計パターン
パターン名称(仮)安全設計パターン【方針1】AIコンポーネント自体の安全性を示すパターン（AIをSIL評価）
1a) 機能安全開発パターン

AIコンポーネントを機能安全準拠開発する（例えば、IEC
61508に準拠した開発）⇒課題：XAIでは準拠可か？

1b) 安全性評価パターン

AIコンポーネントについて、機能安全規格適合相当の安全性を示す ⇒ IEC/TS 62998-1を応用

1c) Proven-in-useパターン

AIコンポーネントについて、使用実績によって十分な安全性を示す(Proven-in-use)

1d) 多重化設計パターン

QM品質相当のコンポーネントを多重化し安全度水準を満たす方法【方針２】AIコンポーネント自体は非安全系とし、外部に安全メカニズムを設ける
2a) 機能安全機能パターン

制御（QM）と独立した安全機能（SIL）を搭載

2b) 比較パターン

AIコンポーネント（QM）と他の非AIコンポーネント（SIL）による多重化比較2c) 防御設計パターン

動的にロバスト性の確認をするための防御設計（ガード）を搭載

SEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project211a) 機能安全開発パターン ～XAIの可能性検討～• 説明可能なAI（XAI：eXplainable AI）– XAIとは• アメリカの国防高等研究計画局（DARPA）の研究プロジェクトでの用語• AIの推定結果（出力）について、説明可能になっているAIや、説明可能にする技術のこと– XAIの目的：「ブラックボックスなAIは信頼できない」という不信の払拭– 参考：大阪大学産業科学研究所 原聡先生 記事•https://www.ai-gakkai.or.jp/my-bookmark_vol34-no4/• XAIのアプローチの大分類– ①大域的な説明 … ブラックボックスモデルを可読性の高い解釈可能なモデルで表現– ②局所的な説明 … 特定の入力に対するブラックボックスモデルの予測の根拠を提示– ③説明可能モデルの設計 …可読性の高い解釈可能なモデルでAIを設計

ギャップ大• 機能安全規格が要求する検証レベル感– 高信頼コンポーネントの積み重ね– ホワイトボックス化（コードレビュー、コードカバレッジ）⇐③で対応可？(検討中)– 検証（設計検証、テスト）の網羅性 ⇐不足感あり（②は特定ケースのみ）– （可能な限り）実システムに対する動作試験実施 ⇐XAIでの机上説明だけでは不十分
SEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project221b）安全性評価パターン• 安全センサシステム規格IEC/TS 62998-1の評価方法を応用できる• SEAMSガイドラインでは、具体的な評価手順を記載• IEC 62998の概要– Safety of machinery – Safety-related sensors used for the protection of persons– 従来の安全センサ規格（IEC 61496、IEC 60947-5-2）では未対象のセンサを対象• レーダー、超音波、物体位置計測、物体認識（AI含む）、etc• センサフュージョン（センサの組み合わせ）– 外部環境の影響を考慮• 屋外も対象（雨、風、太陽光、霧、etc）– 安全関連情報の「不確かさ」の確率を元にした、定量的指標を定義– パフォーマンスクラス（A～F）⇒ IEC 61508（SIL）, ISO 13849（PL）– 参考：http://www.jmf.or.jp/content/files/hyoujunka/syu3109_h03.pdf• AIとセンサシステムには類似性あり– 人間の期待値とは異なる情報（非決定的な情報）を出力する可能性がある• 例）複雑な外部環境の影響を受け、センサの出力値は変化する
SEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project231c）Proven-in-use パターン• 機能安全規格(IEC 61508)が要求する Proven-in-use（使用実績）基準を満たすことによって、十分な安全性があると評する方法– 今回のシステムにおいて、仕様変更せずに使用すること– さまざまなアプリケーションのシステムで実績があること– 少なくとも1年間のサービス履歴があること– 安全度レベルまたは適切な要求数に応じた動作時間; 以下の安全性に関連しない故障率の実証• ① 95%の信頼度で作動要求あたりの失敗率が10^-2以下であることの実証には、300回の作動が必要• ② 99.9%の信頼度で作動要求あたりの失敗率が10^-5以下であることの実証には、690,000回の作動が必要– 上記の基準を満たしていることの文書化（証拠）SEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project241d）多重化設計パターン• QM品質相当のコンポーネントを多重化（冗長）設計することにより、安全度水準を満たす方法– 例えば、ISO 26262では最大二重故障までしか考慮する必要がないため、三重故障はsafe faultとして扱ってよい（参照：ISO 26262-1:2018 3.130
safe fault、ISO 26262-5:2018 Figure B.2 NOTE 1）– 「いずれか2つが故障したとしても安全要求を満たせるように三重化で冗長設計すれば、各コンポーネントはQM品質であっても安全度水準を満たせる」ということである– 三重化設計は、多数決ではなく、冗長化である

SEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project252a）機能安全機能パターン
AIとは独立した機能安全機能（SIL）を搭載することによって、AIが誤った結果を出力したとしても危険にならない設計にする
方法
AIによって、きめ細やか（高品質）な制御量を算出＜パターンの一例＞
センサ【SIL】＜安全機能＞
センサとエンコーダ（モータの回転数等）の状態から異常動作を検知し、リレーをオー
プンし、システムの動作を停止する。（停止は安全状態）

制御(AI）【QM】

アクチュエータ

制御量

監視(非AI）【SIL】
危険な状況を検知して停止制御SEAMSガイドライン エッセンシャル版 2020/04/03

【QM】

停止

制御

エンコーダ

【SIL】

リレー
【SIL】

アクチュエータの状態をフィードバック

Copyright 2020 by SEAMS Project26

2b）比較パターン

AIと非AI（簡易版）による2種類の算出結果を比較し、AIの算出結果が安全範囲かを判断＜パターンの一例＞
センサ【QM】

制御(AI)
【QM】

センサ
【SIL】

制御(非AI)【SIL】

AIによって、きめ細やか（高品質）な制御量を算出
算出結果を比較し、安全な制御
量を出力

制御量

ｱｸﾁｭｴｰﾀ【SIL】＜安全機能＞
センサの状態に応じて、安全範囲の制御量でアクチュエータを制御する。
AIの決定値が安全範囲であれば採用する。
SEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project27

2c）防御設計パターン

動的にロバスト性の確認をするための防御設計（ガード）を搭載する方法＜パターンの一例＞
センサ【SIL】＜安全機能＞
センサの状態を元に、制御量の異常を検知し、リレーをオープンし、システムの動作を停止する。（停止は安全状
態）＜前提条件＞
AIが決定した制御量は、本安
全機能に影響を与えないこと
SEAMSガイドライン エッセンシャル版 2020/04/03

制御(AI)【QM】

ガード(非AI)【SIL】

Copyright 2020 by SEAMS Project

制御量 アクチュエータ
【SIL】

停止
制御

リレー
【SIL】

28

４．AI搭載システムの安全開発プロセス

SEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project29従来の安全開発プロセスの概要• 安全クリティカルシステムの開発では、“機能安全”が必須化• 自動車のECU開発の設計品質担保（リスク対策）と品質説明（エビデンス）には、“AutomotiveSPICE (A-SPICE)” がトレンド• いずれも以下を要求– Vモデル（要求/設計、実装、テスト、検証、etc）– 要求トレーサビリティ

主に技術要求（設計技法や、潜在不具合の検出メカニズムなど）– 各種管理（プロジェクト、構成、課題、変更、etc）– 契約関連– 文書化 etc

A-SPICE

安全上影響の小さいプロセス（測定・プロセス改善など）

機能安全
プロセス

機能安全とA-SPICEの共通項（約9割）

安全開発プロセスのベースはA-SPICEが望ましい（QM開発、機能安全開発、両方向につぶしがきく）
SEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project30

AI搭載システムの安全開発プロセス• AI 搭載システム開発– 前述 “方針２” の場合の開発プロセス– AIはQM開発• 例えばAutomotiveSPICE(A-SPICE)レベル3に準拠– 安全機能は機能安全設計• ISO 26262 に準拠• AIのQM開発– (8)初期AIコンポーネント開発• ベースとなるAIアルゴリズム開発。従来のソフトウェアと同等のため、A-SPICE開発可能。

– (9)AI学習フェーズ• AIモデル開発。品質・安全についての標準化検討は現在進行中。（ISO/IEC JTC1 SC42など）
SEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project31

(9)AI学習フェーズ(QM)（1/3）• Automotive SPICE のエッセンスをテーラリングした学習プロセス
を提案

SEAMSガイドライン エッセンシャル版 2020/04/03

テーラリング結果
Copyright 2020 by SEAMS Project32

(9)AI学習フェーズ(QM)（2/3）• 説明可能性の高いAIモデルワークフロー（下記論文）を参考に、各工程の実施内容を整理
参照元論文：Proposed Guidelines for
the Responsible Use of ExplainableMachine Learning
https://arxiv.org/pdf/1906.03533.p
df

SEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project33

(9)AI学習フェーズ(QM)（3/3）• ISO/PAS 21448:2019（SOTIF） Annex G のワークフ
ローとの対応関係を整理

SEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project34

(11)システムレベル統合試験(機能安全)• ISO 26262 Part.4 システムレベルの製品開発– AIと安全関連系のパーティショニングの検証– フォールトインジェクションテスト
• 安全メカニズムが正しく働くかを確認するために、構成要
素のさまざまな故障を発生させることによるテスト手法• AIにおいては、AIの誤り（誤判定）などの影響について、
本テスト手法で安全性を確認可能

SEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project35

(1)～(3)サービスレベルのハザード分析※特に難易度の高い活動を赤字で記載• (1)サービスレベルのシステム定義– システム概要
各種条件の抽出はノウハウ集。
– 利用条件（条件漏れは分析漏れを招く）– 環境条件– ユースケース
STAMP/STPAは効– 各サブシステムの機能• (2)ハザード分析及びリスクアセスメント

率的な分析手法だ
が、CSの定義が不適切だと、分析漏れが生じる– アクシデント・ハザード・安全制約の決定– コントロールストラクチャ（CS）の作成– UCAの抽出– UCAを含めたユースケースでの非安全シナリオ導出– リスクアセスメント
・膨大な分析量

• (3)サービスレベルの安全要求導出
SEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project

・分析結果の整合（作業分担時）36

シミュレーション環境を用いたリスク評価環境の提案
・網羅シナリオ自動実行 × 自動リスク評価 × 改善ループ・ハイブリッド手法：机上分析（高精度）×シミュレーション（自動＆網羅）™

・WARXSSTMは「Way of Advanced Reality for eXtensible Services Solution」の略称で、株式会社ヴィッツの登録商標です。WARXSS™ソリューションは、単なる3Dバーチャルソリューションではなく、レガシーな資産(制御アプリ等)やサードパーティのシミュレータ、ツールと“繋がる”総合ソリューションです。
・上図 WARXSSTM環境では、シナリオの自動実行シミュレーションだけでなく、実行した結果「どんな条件・状況のときにどのような危害の事故が発生するか」を自動で算出します。結果を机上で把握し素早く安全対策へ反映することができます。
SEAMSガイドライン エッセンシャル版 2020/04/03
Copyright 2020 by SEAMS Project37

【参考】 (株)ヴィッツの「自動運転用リスク評価カタログ」
・400種以上の具体的な環境条件の整理
・シチューエーションの組合せパター
ンの整理

SEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project38

５．具体的な適用事例の概要

SEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project39

具体的な適用事例 システム全体イメージ

SEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project

自動運転レベル4に対応したシステムです40具体的な適用事例 安全対策範囲

SEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project41

MaaSシステム安全コンセプト 目次
1

本文書の概要

1.1 目的

2.5.6 車両のその他の非常停車
11.3 準拠する規格1.4 関連文書

2.5.7 駅での車両乗降

1
3

2.1 MaaSシステム概要

3

19

21

2.5.8 駅以外での車両乗降

1

対象システム定義

4

2.5.5 車両の駅での通常停車 181

1.2 用語定義

2

1

23

ハザード分析及びリスクアセスメント 43

4.1 目的43

4.2 ハザード分析対象

43

4.3 ハザード分析手法

43

2.5.9 車両の駅での通常発車 25

4.3.1 アクシデント・ハザード・安全制約の決定

2.5.10 車両の走行復帰

4.3.2 非安全動作（UCA）の抽出

2.5.11 障害物対応

27

44

2.2 システムの登場人物 4

2.5.12 非常停車対応 31

4.3.3 非安全動作（UCA）を含めたユースケースでのシナリオ導出 44

2.3 システム全体の機能 42.5.13 想定環境逸脱監視 33

4.3.4 従来の手順との差異

2.4 前提条件3

4.4 ハザード分析結果

7

29

43

システムの全体設計 3444

45

2.4.1 自動運転車両 7

3.1 システム全体構成

34

4.4.1 アクシデント・ハザード・安全制約表

2.4.2 走行環境 9

3.2 各構成要素の詳細

34

4.4.2 非安全動作（UCA）の抽出

2.4.3 利用環境 11

3.2.1 管制 35

2.4.4 管制 113.2.2 車両 36

2.4.5 駅

3.2.3 インフラセンサ

122.4.6 インフラセンサ

123.2.4 駅

3.2.5 運用員

39

2.5 ユースケース

13

3.2.6 利用客

39

2.5.1 車両の走行

13

3.2.7 乗客 40

2.5.2 車両の専有路逸脱停車 15

3.2.8 環境(専有路) 40

2.5.3 車両の衝突回避停車

3.2.9 環境(障害物) 41
17

SEAMSガイドライン エッセンシャル版 2020/04/03

38

38

12

2.5.4 車両の乗客操作での非常停車

46

4.4.3 非安全動作（UCA）を含めたユースケースでのシナリオ導出 48

2.4.7 運行前点検

1645

4.5 リスクアセスメント 53

5

安全対策済みシステム定義

62

5.1 安全要求の割り当て 62

3.2.10 環境(その他) 41

Copyright 2020 by SEAMS Project42

６．おわりにSEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project

43

まとめ
• 本書では、SEAMS Projectが開発した「AI搭載システムの安全設計ガイドライン」の技術
ポイントを紹介しました。
• 本書が紹介する技術は、自動運転システムに限らず、安全性を示すのが困難な複雑なシス
テムに、広く応用いただくことが可能です。
• 我々の技術が、IoT社会の安全性実現に貢献
できれば幸いです。
SEAMSガイドライン エッセンシャル版 2020/04/03

Copyright 2020 by SEAMS Project44

ご覧いただきありがとうございました

本内容の詳細に関しては、以下までご相談ください。
株式会社ヴィッツ 機能安全開発部
森川 聡久 morikawa@witz-inc.co.jp
四谷 道夫 m-yotsuya@wiz-inc.co.jp

SEAMS