演習コースⅢ（ＳＴＡＭＰ・アシュアランスケースグループ）
演習コースⅢ

セーフティ＆セキュリティ開発のための技術統合提案と事例作成～STAMP/STPA とアシュアランスケースの統合～

A Proposal of a Technology Integration and Case Studyfor Development of Safety and Security
リーダー：大森 淳夫（パイオニア）
中嶋 良秀（ノーリツ）
研 究 員：西村 伸吾（富士ゼロックス）
久連石 圭（東芝）
柴引 涼（メタテクノ）
邱 章傑（パナソニック）
久木元 豊（ﾃｯｸｽｴﾝｼﾞｿﾘｭｰｼｮﾝｽﾞ）松本 江里加（ダイキン工業）
荒井 文昭（ｷｬﾉﾝｲﾒｰｼﾞﾝｸﾞｼｽﾃﾑｽﾞ）
細谷 雅樹（東光高岳）
神田 圭（日立ｿﾘｭｰｼｮﾝｽﾞ）太郎田 裕介（東京海上日動ｼｽﾃﾑｽﾞ）
主 査 ：金子 朋子 （情報セキュリティ大学院大学）
副主査 ：高橋 雄志（トレドシステム）
アドバイザー：勅使河原 可海（東京電機大学）
研究概要
IoT 時代の開発方法論は，セーフティだけやセキュリティだけを意識したものではいけない．セーフティの考え方では，可用性を重要視するため，機器連携をする際に，情報の機密性が保たれていないことがある．一方セキュリティの考え方では，機密性を重要視するため，利便性や機能性を損なう可能性がある．IoT 時代を迎えるにあたって，これらのバランスの取れた開発方法論が必要である．しかしながら，バランスの取れた方法論は確立されておらず，既存のセーフティにおける開発手法や，セキュリティにおける開発手法
がどの程度バランスの取れた設計手法として使えるのかの検証もされていない．本稿では，セーフティの分野で実績のある STAMP/STPA を，セキュリティの分野とコラボレートさせて，その有効性が検証できたので，セーフティ＆セキュリティ開発のための方法論として提案するものである．
Abstract
The future of design methodology in Internet of Things (IoT) Era should not be
conscious of only safety or security. On one hand, while focusing on the availability
in terms of safety, the confidentiality of information may not be kept when linking
equipment. On the other hand, although focusing on confidentiality is important fromsecurity viewpoint, the convenience and functionality may be impaired at the sametime. As facing the IoT era, these balanced design methodologies are necessary.
However, a well-balanced methodology has not been established, nor has it beenverified whether development methods in existing safety or how to use the development
method in security can be used as a balanced design method. In this paper, we havecollaborated STAMP / STPA, which has been proven in the field of safety, with thefield of security. Since its effectiveness has been verified, we propose it as amethodology for safety and security development.
1. はじめに
IoT（Internet of Things）デバイスの運用と AI 人工知能の発展は急激に普及し，異なる製品やサービスがインターネットを通じてつながり,新たなサービスや価値が提供され
1
－209－
－1－

演習コースⅢ（ＳＴＡＭＰ・アシュアランスケースグループ）
る IoT 時代が実現しつつある．しかし,異なる製品やサービスがつながることで, IoT 機能を喪失すれば，人命に関わる範囲まで，安全性に影響を与える．また，IoT システムが被害に遭うだけではなく，IoT 機器が踏み台になった攻撃も増加している．
「しかしセーフティとセキュリティ設計の必要性を認識しつつも，半数以上の企業では基本方針が設けられていない」など開発上の取り組みは不十分な状態にある[ 1 ]．本稿では，セーフティとは，
偶発的なミス，故障などの悪意のない危険に対する安全を示し，セキュリティとは，悪意をもって行われる脅威に対しての安全を示すものとする．IoT 時代に求められる開発方法
論は，セーフティまたはセキュリティの一方だけを意識したものではなく，両方を意識したものであるべきである．
セーフティとセキュリティの両立において，システムの安全性分析や脅威分析を行い，妥当性をもつリスク管理を実施する．そして，この根拠を示すことは非常に重要である. 例
えば，従来の解析手法である FTA（Fault Tree Analysis）や FMEA（Failure Mode and EffectAnalysis）は単独のシステム・機器の分析をするには向いているが，人的要素を含めた分析が必要な自動運転等複数機器で構成しているシステムの分析には向いてないという指摘がある．そこで，安全性解析手法 STAMP/STPA（Systems–Theoretic Accident Model andProcesses / System–Theoretic Process Analysis）が提案され，更に，セキュリティ面も含めた STPA-Sec も注目されている[ 2 ]．しかし，STPA は，セーフティとセキュリティ両方を考慮したハザード分析までであり，具体的な改善策に至っていないという課題がある[ 3 ]．
本稿では，機器連携サービスの一例として自動車の自動運転サービスを取り上げて，セーフティの分野で実績のある STAMP/STPA を，STAMP/STPA-Sec，STRIDE と連携し，事例作成を行い，改良点や問題点の洗い出しを行った．また，分析結果を，アシュアランスケー
ス[ 4 ]の手法の一つである CC-Case[ 5 ][ 6 ]を参考にし，保証のゴール，前提条件，戦略，手順を定めたうえで，脅威分析とリスク分析の検証，妥当性確認を行い，システムのセーフ
ティとセキュリティの両立が検証できる一連の流れを提案する．
2. 関連技術
本章では，IoT 時代に適応可能な開発方法論として着目している既存技術を紹介し，どのように適応させようと考えているかを示す．
2.1. STAMP/STPA
2.1.1. STAMP/STPA の概要
STAMP とは，システム理論に基づく事故モデルのことであり，その STAMP アクシデント
モデルを前提とし，システムのハザード要因を分析する新しい安全解析手法のことを STPAと呼ぶ[ 7 ]．
STAMP/STPA では前提として，システム事故の多くは，構成要素の故障ではなく，システ
ムの中で安全のための制御を行う制御要素と被制御要素の相互作用が働かない事によって起きるとしている．その前提を持って，要素（コンポーネント）と相互作用（CA：Control
Action）に着目してメカニズムを説明し，アクションが働かない原因が CA の不適切な作用に等しいという視点を持つことで原因を有限化している [ 8 ]．
以下に，STAMP/STPA の手順を示す．
・Step0：
前準備として，対象システムにおいて分析対象となる，アクシデント，アクシデントが潜在している具体的な状態であるハザードを定義し，ハザードを制御するためのシステム
上の安全制約を識別する．その後，対象システムにおいて，安全制約の実現に関係するサブシステム，機器，組織等のコンポーネント，及び，コンポーネント間の CA，フィードバ
ックデータといった相互作用を分析し，制御構造図（CS：Control Structure）を構築する
・Step1：
CS から、CA を識別し，4 種類のガイドワードを適用して，ハザードにつながる非安全な
2
－210－
－2－

演習コースⅢ（ＳＴＡＭＰ・アシュアランスケースグループ）
CA（UCA：Unsafe Control Action）を抽出する
・Step2：
UCA ごとに，関係するコントローラーと被コントロールプロセスを識別して，コントロ
ールループ図を作成し，ヒントワードを適用してハザード要因（HCF：Hazard Causal Factor）
を特定する
2.1.2. STAMP/STPA-Sec
STAMP/STPA-Sec とは STAMP/STPA にセキュリティの要素を込みこんだ安全解析手法であり，従来のセキュリティ要求分析手法であるアタックツリーやミスユースケースのようにどのような脅威があるのかを洗い出す手段（How）ではなく，攻撃から何を守るべきか（What）
を明確にするアプローチである[ 9 ][ 10 ]．
本稿では，相互接続されたシステムに対し安全解析を行う手法として，セキュリティも考慮するために STAMP/STPA-Sec を用いる．ただし STPA-Sec 以外に STPA-SafeSec[ 11 ]も提案されており，STAMP によるセーフティ・セキュリティ分析の枠組みは確定していないた
め， Step2 で STPA-Sec のヒントワードに用いることに留めている．
2.2. STRIDESTRIDE とはマイクロソフト社が定義する脅威モデルである．システムに対するセキュリ
ティ上の脅 威は様々な ものがある が，STRIDE では，Spoofing identity(なり すまし) ，
Tampering(改ざん) ，Repudiation(否認) ，Information Disclosure(情報の暴露) ，Denialof Service(サービス不能) ，Elevation of Privilege(権限の昇格)という 6 つのカテゴリに分類している．名称は各カテゴリの頭文字を現したものである[ 8 ]．
2.1.2 項の HCF を特定するために用いたヒントワードでは網羅性や必要性について十分ではないという問題がある[ 12 ]．本稿では，網羅性や必要十分な HCF が特定できるヒント
ワードを拡張するために，STRIDE を利用することを提案する．そして，その有効性を事例
検証にて確認するものとする．
2.3. アシュアランスケースと GSN
2.3.1. アシュアランスケース
アシュアランスケース(Assurance case)とは，テスト結果や検証結果をエビデンスとしてそれらを根拠にシステムの安全性や信頼性を議論し，システムの認証者や利用者などに保証あるいは確信させるためのドキュメントである[ 13 ]．
アシュアランスケースは，システムや製品の性質など証明したい主張に対して，説明，証拠，前提を用いて，主張の確からしさを説明する．そのため，アシュアランスケースには，構造と対象に，それぞれ最低限の要求がある．構造では，システムや製品の性質に対する主張，主張に対する系統的な議論，この議論を裏付ける証拠，明示的な前提が含まれ，対象では，議論の途中で補助的な主張を用いることにより，最上位の主張に対して，証拠や前提を階層的に結び付けることができる[ 14 ]．
2.3.2. CC-Case
CC-Case とは，アシュアランスケースを拡張し，セキュリティ標準であるコモンクライ
テリア等のプロセスを組み合わせた開発方法論である[ 5 ]．その構成要素の中に STAMP に基づくセーフティ・セキュリティ開発と，工程ごとのアシュアランスケースによる製品，シ
ステムの保証を掲げている[ 6 ]．構成要素として論理モデルと具体モデルという 2 種類にア
シュアランスケースがある．論理モデルとは，システム・機器を保証するための保証全体像を示す論理的プロセスである．各論理モデルのもとに具体モデルを展開する．具体モデ
ルとは，そのシステム・製品ごとの具体的な特性をもったリスクへの検証をするアシュア
ランスケースである．本稿では，CC-Case の論理モデルと具体モデルに分ける考えを採用
し，事例検証を行った．
2.3.3. GSN
GSN とは，欧州で約 10 年前から使用されているアシュアランスケースの代表的な表記方
3
－211－
－3－

演習コースⅢ（ＳＴＡＭＰ・アシュアランスケースグループ）法である[ 15 ]．前提とサブゴールに分けて，戦略を明示することにより論理関係を 明確にした上で，最上位のゴールが成り立つこと を保証する．本稿では，STAMP/STPA-Sec，STRIDE
により脅威と対策を抽出した後に，システムの安全性や正当性を確認するため，表記法として GSN を使用することを提案する．
3. ケーススタディ
今回の例では，自動車の自動運転に焦点を当て，脅威分析から検証の一連の流れ を作成した．まず，STAMP/STPA-Sec，STRIDE で脅威分析を実施後，対策を導出した．そして，GSN
表記に基づいて，結果を表現し検証した．自動運転技術の開発動向と技術課題 [16 ]を参考に規定した自動車のシステムアーキテクチャを 図 1 に示す．
運転する

通知

指示
ハンドル

アクセル
ペダル

ブレーキ
ペダル

人工知能
モジュール

自動運転
解除指示
操舵制御
ステアリン
グシステム

速度制御

エンジン

外部
環境
情報

運転手

速度制御
ブレーキ
システム

クラウド
地図情報

ローカル
ダイナミック
マップ

地図
モジュール

外部環境情報
他車，
路側機
電波
衛星

車速，外部環境情報
センシング
モジュール

外部環境情報

外部環境

自動車

図1

自動車のシステムアーキテクチャ

3.1. 手順-手順1: アシュアランスケースによる保証全体像の決定
CC-Case の論理モデルに基づき，保証全体像を作成し，一連のプロセスを示す．プロセスの概略として，まず，セーフティとセキュリティの観点より分析する．次に， 機能安全で規定している安全性のレベル（ハザード要因の発生頻度，回避可能性，過酷度）ごとに分類する．最後に，対策の評価と選択を行い，残存リスクを提示して，妥当性を確認する．
また，この論理モデルをベースとして，本事例では ,GSN を 2 階層に分割し，1 階層目を手
順 5 で，2 階層目を手順 7 で，それぞれ紹介する．
-手順2: STAMP/STPA の Step0 を実施
手順 1 による絞り込みに基づき，CS の対象範囲の限定を行って CS の作成を実施．
-手順3: STAMP/STPA の Step1 を実施-手順4: STAMP/STPA の Step2 を実施
本事例では，従来の Step2 に加え，STAMP/STPA-Sec と STRIDE によるヒントワードを拡張し，HCF の識別を行った．
-手順5: GSN を用いてハザードと UCA を整理
手順 2 で作成された STAMP/STPA の CS 図に対して，CC-Case の具体モデルに基づき，ブレーキ操作等に関する具体的なハザードと，STAMP/STPA の結果をつき合わせる．
-手順6: ハザード要因ごとに分析・対策立案
手順 5 で整理したハザード要因ごとに，ASIL（Automotive Safety Integrity Level）で分析する[ 17 ]．分析の結果，リスクが高いと判断した事象に対して対策を検討する．リス
クが低いと判断した事象は残存リスクとして管理する．
-手順7: 対策妥当性の確認
手順 6 で検討した対策を，ハザードごとに GSN で論証する．
-手順8: 妥当性確認
手順 5，7 で作成した GSN を統合し，手順 1 で決定した保証全体像に当てはめることによって，保証内容の妥当性を検証する．
4
－212－
－4－

演習コースⅢ（ＳＴＡＭＰ・アシュアランスケースグループ）
3.2. 結果-手順1: アシュアランスケースによる保証全体像の決定保証する範囲を，人命・財産喪失という 重大アクシデントに限定し，保証全体像を示す
論理モデルとして，GSN を決定した．
-手順2: STAMP/STPA の Step0 を実施識別したアクシデント，ハザード，安全制約を表 1，CS を図 2 に示す．
表 1 アクシデント，ハザード，安全制約
アクシデント
ハザード
安全制約(Loss)（Hazard）（Safety Constraints）(A1)自動車が外部環境(歩行 (H1-1) 自動車が，ブレーキ (SC1-1) 自動車が，外部環境者/他の車/周辺物)と衝突/接 をかけても，外部環境の前で と衝突しないようにブレーキ
触する
停止できないをかける(外部環境までの距
離や相対速度を制御する)(H1-2)ブレーキがかからない (SC1-2)運転手と自動車の両方がブレーキをかけられない状態にならない
CA1 ブレーキを踏む

自動運転不能警告
自動運転解除報告

運転手

CA3 自動運転解除指示

ブレーキ
ペダル

車速，外部環境情報
センシング
モジュール

CA5 速度制御

CA4 減速制御

ローカル
ダイナミックマップ

人工知能
モジュール

CA2 減速指示
ブレーキ
システム

クラウド

車体

自動車

車速

コントロールアクション
フィードバック
データなど
外部との作用外部環境

図2

焦点を当てる自動運転機能の CS-手順3: STAMP/STPA の Step1 を実施
手順 2 で識別した CS に基づき識別した UCA のうち運転手に関する CA1 とブレーキペダルに関する CA2 を表 2 に示す．この段階で，状況を明確にするコンテキストを UCA に追加した．例えば，UCA2 にコンテキストとして，ブレーキペダルの踏み込み度合い などを追加した．
表2

運転手とブレーキペダルに関する UCA

�コントロールアクショ
Not Providing
Providing causes hazard
Too early / Too late
Stop too soon / Applying
ン
too long
CA1 運転手がブレーキを (UCA1-N) 運転手がブレーキを (UCA1-P) 運転手が誤った力加 (UCA1-T) 運転手のブレーキが (UCA1-S) 運転手がブレーキを踏む
踏 ま な い と 危 険 回 避 が で き 減でブレーキ操作を行うと、 遅すぎる場合、危険回避がで 踏む時間が短すぎる場合、危ず 、 外 部 環 境 と 衝 突 す る 減速が弱く外部環境と衝突す き ず 、 外 部 環 境 と 衝 突 す る 険回避ができず外部環境と衝(SC1-2)違反る (SC1-1)違反(SC1-1)違反突する (SC1-1)違反(UCA2-N) 運転手がブレーキペ (UCA2-P) 運転手がブレーキペ (UCA2-T) 運転手がブレーキペ (UCA2-S) 運転手がブレーキペダルを踏んでいるのに減速指 ダルを強く踏んでいるのに減 ダルを踏んだタイミングに対 ダルを踏み続けているのに減示を出さないと、外部環境と 速指示が小さいと、外部環境 し減速指示が遅すぎる場合、 速 指 示 の 解 除 が 早 す ぎ る 場
衝突する(SC1-2)違反と衝突する (SC1-1)違反
外部環境 と衝 突す る (SC1-1) 合 、 外 部 環 境 と 衝 突 す る
違反(SC1-1)違反CA2 減速指示-手順4: STAMP/STPA の Step2 を実施
手順 3 の結果より識別した HCF のうち特徴的な部分を表 3 に示す．手順 3 で UCA2 にコンテキストを追加したことによって，ブレーキペダルの踏込具合と減速指示の強弱が感覚的に不一致という具体的な HCF が抽出できた．
表3
UCA(UCA1-N) 運 転 手 が ブ N/A
レーキを踏まないと危険回避ができず、外部環境と衝突する (SC1-2)違反識別した HCF(抜粋)(2)不適切なコントロール
アルゴリズム(T) Tampering
改ざん(D) Denial of Service
サービス不能クラウドからの情報を改ざんし,人工 人工知能モジュールに高負荷を与え知能モジュールに自動運転継続可能 自動運転不能警告を報知できないであると誤認識させる(UCA2-P) 運 転 手 が ブ ブレーキペダルの踏込具合と減速指 N/A
レーキペダルを強く踏ん 示の強弱が感覚的に一致しないでいるのに減速指示が小さいと、外部環境と衝突する (SC1-1)違反

N/A

5
－213－
－5－

演習コースⅢ（ＳＴＡＭＰ・アシュアランスケースグループ）-手順5: GSN を用いてハザードと UCA を整理
手順 2 から 4 の結果を，GSN を用いて整理した．自動運転におけるブレーキ操作に関するアクシデントをハザードと UCA により整理した結果を図 3 に示す．
Goal：G_1「自動運転の衝突回避」に対する洗い出しは妥
当である
Context : C_1
衝突を回避するための手段
・ブレーキ
・ハンドル
・アクセル

Strategy：S_1
衝突回避の手段によって分ける

Goal：G_3
ハンドル操作をする

Goal：G_2
ブレーキ操作をする

Goal：G_4
アクセル操作をする

Strategy：S_2「ブレーキ操作をする」に関するハザードを過酷度クラスによって分ける

Context : C_2
機能安全ASIL決定表

Goal：G_5
S3 生命を脅かす傷害(生存がはっきりしない)

Strategy：S_3(H1-2)ブレーキがかからない.
という,ハザードをUCAが示す振る舞いにより分ける

Context : C_3
・運転手
・人工知能

Evidence：E_2
表：UCAの抽出
UCA2-N
UCA3-N
UCA4-N

Evidence：E_1
表：UCAの抽出
UCA1-N
UCA5-N

図3

Strategy：S_4(H1-1) 自動車が，ブレーキをかけても，外部環境の前で停止できない.
という,ハザードをUCAが示す振る舞いにより分ける

Context : C_4
・運転手
・人工知能

Goal：G_9
ブレーキがかからない

Goal：G_8
ブレーキをかけない

Goal：G_7
S1 軽度および中程度の傷害

Goal：G_6
S2 重度および生命を脅かす傷害(生存の可能性がある)

Goal：G_10
ブレーキをかけるのが遅れる

Goal：G_11
ブレーキをかけたのに,かかるのが遅れる

Evidence：E_3
表：UCAの抽出
UCA1-T
UCA5-T

Goal：G_12
減速制御が弱いEvidence：E_4
表：UCAの抽出
UCA2-T
UCA3-T
UCA4-T

Evidence：E_5
表：UCAの抽出
UCA1-P
UCA2-P
UCA3-P
UCA4-P
UCA5-P

Goal：G_13
減速制御が短いEvidence：E_6
表：UCAの抽出
UCA1-S
UCA2-S
UCA4-S
UCA5-S

GSN によるハザードの整理-手順6: ハザード要因ごとに分析・対策立案
手順 5 で作成した GSN に基づき，UCA ごとに整理したハザード要因に対して，ASIL 分析を行い，レベルごとに対策すべき HCF が整理できた．ブレーキ操作に関する HCF の ASIL
分析結果と対策の一部を表 4 に示す．
表4
アクシデント対象

ブレーキ操作に関する HCF の ASIL 分析結果と対策
評価指標

該当する
UCA

自動車が外部環境 運転手－ブレー UCA1-N(歩行者/他の車/ キペダル間周辺物)と衝突/接
触する

HCF

過酷度
クラス

発生頻度
クラス

回避可能性
クラス

S3

E2

C2

悪天候など外部環境が悪く，運転手が危険察
知しない
運転手が危険を察知したが自動運転を過信して，ブレーキを踏まないブレーキペダルの遊びと認知する値が大きす
ぎて，ブレーキを踏んだと認識しない

ASIL_AS3

E4

C2

ASIL_CS3

E2

C2

ASIL_A-手順7: 対策妥当性の確認
図 4 に示すような GSN をハザードごとに作成した．
Context : C_5
UCA1-N
UCA5-N

Goal：G_8_1「ブレーキをかけない」に対する対策内容が妥当である

Strategy：S_5
UCA毎に,対策内容を確認する

Goal：G_9
UCA1-Nの対策が妥当である

Context : C_6
HCFのASIL分析結果と対策
ASIL_A以上

Context : C_7
一部対策を抜粋
その他対策は「HCFのASIL分析結果と対策」を参照

Goal：G_10
UCA5-Nの対策が妥当である

Strategy：S_6
ASILで選択したHCF毎に,対策を確認する

Goal：G_11「定期的に音声による注意喚起する」対策内容が妥当である

Evidence：E_7
インスペクションによるレビュー実施結果

図4

ブレーキをかけないハザードの GSN
6
－214－
－6－

対策内容

残存
リスク

運転手の注意レベルを監視する-

運転手の注意レベルを監視する
定期的に音声による注意喚起
ユーザビリティ評価を実施し，適切な遊び量に調整する-

演習コースⅢ（ＳＴＡＭＰ・アシュアランスケースグループ）-手順8: 妥当性確認
手順 1 で決定した自動運転に対するセーフティ＆セキュリティ設計は妥当であるというゴールについて，ブレーキを操作するという手段を揺るがすハザードに対して，対策と残存リスクが妥当であることを確認できた．
3.3. 考察
本事例では，従来セーフティの手法である STAMP/STPA に STRIDE をヒントワードとして拡張することで，セーフティとセキュリティの脅威を洗い出すことができた．そして，STAMPの特徴である要素間の相互作用をモデリングすることによって ，運転手と自動車の両方に関わる要因を考慮できた．情報の改ざんや DoS 攻撃によるシステムダウンといったセキュ
リティ要因と運転手の危険察知の遅れやブレーキペダルの欠陥といったセーフティ要因 が，今回の事例では該当する．これらの要因はシステムの安全性とセキュリティ確保を設計時に考慮する場合，有用であると考える．特に，STAMP/STPA のプロセスを複数回繰り返すことや Step の手戻りを実施することでドメイン知識が無くともモデル化できるメリットがあると言える．
本事例では，アクシデントを人命喪失に限定したが，情報漏洩などのセ キュリティ要因
による損失をアクシデントと識別することで，セーフティ以外にセキュリティにも対応できると考える．
従来の STAMP/STPA Step1 の UCA にコンテキストはない．しかし，本事例では，状況を明確にするコンテキストを UCA に追加することにより，具体的な HCF を抽出することが可能となった．
STPA-Sec で追加したヒントワードでは，HCF を 1 件しか抽出できなかったが，STRIDE を
ヒントワードとして拡張することで，HCF を 33 件抽出できた．特になりすましや権限の昇格から導出した HCF は権限設計に活かすことができると考える．また，CS にデータの流れやデータストアを記載することによって，STRIDE による HCF 抽出が容易になると考える．
STAMP/STPA を用いた分析は，Step0 から 2 まで工程を繰り返すことで洗練された CS を作
成できることがわかった．本事例では，ハザードの設定を 2 回，CS の設定を 3 回繰り返した．
本事例では，複数人で分析を行った結果，アクシデント，ハザード，UCA，HCF の整合性や粒度が異なった．分析者の意識統一のため，これらの用語について，当該ドメインの用語に読み替えた具体例を事前に定義することが必要であると考える．例えば， アクシデン
トやハザードの前提条件，HCF のヒントワード等についてである．ただし，多様性を確保するために既存の定義やヒントワードは残しておくべきである．
最後に，アシュアランスケースの考え方で情報を整理することで，STAMP/STPA より得られた結果をそのまま分析する前に，ハザードを整理することができた．そして，GSN でハ
ザードごとに対策を検証することで，対策の妥当性が確認できた．
4. 今後の課題
本稿では，CS を従来の表記法に準ずる形で作成を開始した．しかし，データストアやデータの流れの記載に関するルールがなく，なりすましや情報の改 ざんに関する HCF の洗い出しが困難であるという課題を発見した．そのため，データストアやデータの流れを記載するルールを追加することを今後の課題とする．その結果， STAMP によるセーフティ・セ
キュリティ分析の枠組みは確定できるようになると考える．
また，本稿のように複数人で分析する場合は，各種整合性や粒度が異なるといった課題がある．分析者の意識統一を図るため，前提条件やヒントワードの追加を検討したい．
5. まとめ
本稿では，機器連携サービスの一例として自動車の自動運転システムを取り上げ，事例
7
－215－
－7－

演習コースⅢ（ＳＴＡＭＰ・アシュアランスケースグループ）
作成を通してセーフティとセキュリティの両立した設計の検証・妥当性確認を行った．セーフティの手法である STAMP/STPA（STPA-Sec）に STRIDE のヒントワードを拡張することで，セーフティとセキュリティ両方に関する脅威を洗い出すことができた．そして，STAMPの特徴である要素間の相互作用をモデリングすることによって ，運転手と自動車の両方に関わる要因を考慮した分析結果を得た．また，アシュアランスケースの手法で脅威分析とリスク分析を実施した結果，GSN により図式化した理解しやすい対策を提示できた．
今後，4 章で述べた課題に取り組むと共に，更なる事例作成，普及展開を図る．
参考文献[1] IPA/SEC，セーフティ設計・セキュリティ設計に関する 実態調査結果，2015[2] Haruka Nakao, Masa Katahira, Yuko Miyamoto, Nancy Leveson, Safety Guided Design ofCrew Return Vehicle in Concept Design Phase Using STAMP/STPA, Proceedings of the 5th
IAASS Conference A Safer Space for Safer World,2012[3] 八山 幸司，米国における STAMP（システム理論に基づく事故モデル）研究の最新の動向 ，
JETRO/IPA NewYork，2015[4] T. P. Kelly，Arguing Safety – A Systematic Approach to Safety Case Management ，DPhil Thesis YCST99-05，Department of Computer Science，University of York，UK，1998.
[5] 金子朋子，山本修一郎，田中英彦 ，CC-Case～コモンクライテリア準拠のアシュアランス
ケースによるセキュリティ要求分析・保証の統合手法, 情報処理学会論文誌 55 巻 9 号(2014)[6] 金子朋子，髙橋雄志，勅使河原可海，吉岡信和，山本修一郎，大久保隆夫 ,田中英彦，セキュリティ要求分析・保証の統合手法 CC-Case の有効性評価実験，情報処理学会論文誌 コン
シューマ・デバイス&システム(CDS) Vol.8 No.1，pp.11–26，2018.1[7] システム安全性解析手法 WG，はじめての STAMP/STPA～システム思考に基づく新しい安全性解析手法～，Ver1.0，2016.3[8] 金子朋子・高橋雄志・大久保隆夫・勅使河原可海・佐々木 良一，安全解析手法 STAMP/STPAに対するセキュリティ視点からの脅威分析の拡張提案， Computer Security Symposium 2017，
pp.1273-1279，2017.10[9] システム安全性解析手法 WG，はじめての STAMP/STPA（実践編）～システム思考に基づく
新しい安全性解析手法～，Ver1.0，2017.3[10] William Young Jr，Security Tutorial Part 1 A Systems Approach to Security，5 th STAMP
Workshop in BOSTON[11] Ivo Friedberg, McLaughlin ， Paul Smith, David Laverty ， Sakir SezerKieran ，STPA-SafeSec: Safety and security analysis for cyber-physical systems ， Journal of
Information Security and Applications，2017[12] William Young, Nancy Leveson. Systems Thinking for Safety and Security ，Proceedingsof the 29th Annual Computer Security Applications Conference (ACSAC 2013) ， pp.1-8，
2013[13] 松野裕,高井利憲,山本修一郎，D-Case 入門～ディペンダビリティ・ケースを書いてみよう！～，2012[14] 金子朋子，セキュリティ・バイ・デザインとアシュアランスケース，SEC journal Vol.12，
No.3，28-33，2016[15] Tim Kelly and Rob Weaver, The Goal Structuring Notation – Safety Argument Notation,
Proceedings of the Dependable System and Networks 2004 Workshop on Assurance cases, 2004[16] 須田 義大，青木 啓二，自動運転技術の開発動向と技術課題，情報管理， 57 巻 11 号 p.
809-817，2015[17] 茂野 一彦，自動車用機能安全規格 ISO26262 の紹介，MSS 技法・Vol.23，pp.23-38，2013

8
－216－
－8－

－217－－1－

付録1：図3.2-1 保証全体像

名称

図式要素

STRIDE

STAMP/STPA-sec

STAMP/STPA

Context : C_1

説明

主張や説明が達成できることを示す論拠．

を示す．

まだ具体化できていない主張や説明であることを示す．

主張や説明が必要となる理由としての外部情報

す．下位の主張や説明に分解される．

主張の達成を導くために必要となる説明を示や説明に分かれる．

システムが達成すべき性質を示す．下位の主張識別したHCF一覧

Evidence：E_1

妥当である

るハザード要因の洗い出しはセーフティとセキュリティ観点によ

Goal：G_2※以降GSNの表記はこの凡例に準ずるものとする．

証跡

未定義要素

コンテキスト(前提)

戦略(説明)

ゴール(主張)凡例※図表番号は本文の見出し番号に準ずる．

ティを統一

ASIL基準でセーフティセキュリ

Context : C_2

プロセス毎に確認する

Strategy：S_1

設計は妥当である

Evidence：E_3
対策内容妥当性確認の

GSN

対策

アシュアランスケース

HCFのASIL分析結果とGoal：G_4
対策内容は妥当である

Context : C_3

Evidence：E_2

スク分析は妥当である点によるハザード要因のリ

セーフティとセキュリティ観

Goal：G_3「自動運転」に対するセーフティ&セキュリティ

Goal：G_1

付録2：図3.2-2

コントロールストラクチャに対するCAごとのガイドワードの割り当て

コントローラと制御対象プロセスを示したコントロールループ図と，割り当てたガイドワードを示す．
(1)～(11)がHCF導出のためのガイドワードを示す． （内容はHCFの表を参照）
ここでは部品の劣化を対象外として，「(4)コンポーネントの不具合．経年による変化」の割り当ては省略している．
STRIDEは該当箇所が多いため，コントロールループ図には記載していない．

CA1のガイドワードの割り当て(1)
CA1 ブレーキを踏む

運転手

CA2のガイドワードの割り当て
自動運転不能警告
自動運転解除報告(7)(8)(2)(3)(5)(6)

ブレーキペダル

CA3 自動運転解除指示

人工知能
モジュール

CA2 減速指示
ブレーキシステム

CA1 ブレーキを踏む

クラウド

ローカル
ダイナミックマップ

車体

CA4 減速制御

(11)
自動車

車速

車体

CA4 減速制御

自動車

車速
外部環境

(9),(10),(11)は他のCAで確認するため，ここでは省略

ブレーキペダルへのフィードバックがないため，(5),(6)はなし

CA3のガイドワードの割り当て
CA1のガイドワードの割り当て

CA4のガイドワードの割り当て

(10)

運転手

(1)
(2)(3)

ブレーキペダル

自動運転不能警告(1)
自動運転解除報告

CA2 減速指示
ブレーキ
システム

(9)

(11)

車体

CA4 減速制御

車速

運転手

ペダル

(1)

CA3 自動運転解除指示

CA4 減速制御

センシング
モジュール

車速

(10)

図の凡例
クラウド

コントロー
ラ
制御対象
プロセス

自動車

車速

ローカル
ダイナミックマップ

車速，外部環境情報

(11)

自動車

外部環境

ブレーキシステムへのフィードバックがないため，(5),(6)はなし
自動車

車速

センシング
モジュール

CA5 速度制御

ローカル

人工知能
モジュール

クラウド

センシング
(1)
ダイナミックマップ
モジュール
CA5 速度制御

外部環境

運転手
コントローラ=運転手

車体

CA2 減速指示(7)(8)

制御対象プロセス=自動車 と考えると(9) →クラウド(1)(1) ローカル
CA3 自動運転解除指示
ブレーキ
人工知能 (2)(3)(10) →自動車への外乱
ダイナミックマップ
ペダル
モジュール
CA2 減速指示 (11) →なし(9)(5)(6) 車速，外部環境情報となるが、他で見るので、省略する(7)(8)(11)クラウド

CA4 減速制御

CA5 速度制御

自動運転不能警告
自動運転解除報告

自動運転不能警告
自動運転解除報告

車速，外部環境情報
車体

自動車

CA5のガイドワードの割り当て

ブレーキ
システム

運転手

CA3 自動運転解除指示

人工知能
ブレーキ
(2)(3)(9)
モジュール
システム

CA2 減速指示

ブレーキペダルへのフィードバックがないため，(5),(6)はなし
車体
CA4 減速制御

(10)

ブレーキ
(5)(6)

車速，外部環境情報

ブレーキ
外部環境
システム

CA1 ブレーキを踏む

自動運転不能警告
自動運転解除報告(9) ローカル(2)(3)
ダイナミックマップ

ブレーキ
センシング
モジュール
ペダル

CA5 速度制御

CA1 ブレーキを踏む

クラウド

CA1 ブレーキを踏む

CA3 自動運転解除指示
人工知能(7)(8)(7)(8)
モジュール

ローカル
ダイナミックマップ

センシング
モジュール

外部環境

CA1 ブレーキを踏む

クラウド

車速，外部環境情報(9)
CA5 速度制御

ブレーキ
システム

(10)

人工知能
モジュール

CA2 減速指示(7)(8)

車速，外部環境情報

CA3 自動運転解除指示

ブレーキ
ペダル

(2)(3)

センシング
モジュール

CA5 速度制御

運転手(1)

自動運転不能警告
自動運転解除報告

外部環境

－218－
－2－

－219－－3－

Not Providing

UCAの抽出結果
Providing causes hazard

Too early / Too late

Stop too soon / Applying too long

運転手のブレーキを踏む時間が長すぎる場合，特に問題なし(UCA5-N) 障害物を検知した際に人工知能モジュール (UCA5-P) 障害物を検知した際に人工知能モジュールから速度制御（減速）が与えられない場合，外部環 から誤った速度制御(小さすぎる減速)がある場合，外境と衝突する
部環境と衝突する(SC1-1)違反(SC1-1)違反CA5 速度制御

速度制御(減速)が早すぎる場合，特に問題なし

速度制御(減速)が長すぎる場合，特に問題なし(UCA5-T) 障害物を検知した際に人工知能モジュール (UCA4-S) 障害物を検知した際に人工知能モジュールからの速度制御(減速)が遅すぎる場合，外部環境と衝 からの速度制御(減速)が短すぎる場合，外部環境と衝突する
突する(SC1-1)違反(SC1-1)違反(UCA4-N) ブレーキペダルからの減速指示，または人 (UCA4-P) ブレーキペダルからの減速指示，または人 (UCA4-T) ブレーキペダルからの減速指示，または人工 (UCA4-S) ブレーキペダルからの減速指示，または人
工知能モジュールからの速度制御を受けたのに，車体へ 工知能モジュールからの速度制御を受けた際に，車体へ 知能モジュールからの速度制御を受けた際に， 車体へ 工知能モジュールからの速度制御を受けた際に， 車体
減速制御を行わないと，外部環境と衝突するの減速制御が想定よりも弱いと外部環境と衝突する
減速制御が遅れた場合，外部環境と衝突するへ減速制御の適用が想定よりも短い場合，外部環境と(SC1-1)違反(SC1-1)違反(SC1-1)違反
衝突する(SC1-1)違反
減速制御が想定よりも強い場合は問題なし
減速制御が早すぎる場合，特に問題なし
減速制御の適用が長過ぎる場合，特に問題なし

CA4 減速制御(UCA3-T) 運転手が手動運転に切り替えたにもかかわ (UCA3-S)
らず，自動運転の解除が遅れ，自動運転が継続し， N/A
指示が競合して外部環境と衝突する
自動運転停止命令はあるか無いかの物なので，長すぎ(SC1-1)違反
る/短すぎる適用はなし
自動運転の早すぎる解除はProviding causes
hazardに該当する(UCA2-T) 運転手がブレーキペダルを踏んだタイミングに (UCA2-S) 運転手がブレーキペダルを踏み続けているの
対し減速指示が遅すぎる場合，外部環境と衝突する に減速指示の解除が早すぎる場合，外部環境と衝突する(SC1-1)違反(SC1-1)違反
ブレーキペダルが弱く踏まれているのに減速指示が大きい ブレーキペダルが踏まれたタイミングに対し減速指示が早ブレーキペダルが離されたのに減速指示が長すぎる場場合およびブレーキペダルが踏まれていないのに減速指 すぎる場合，特に問題なし
合，特に問題なし
示を出す場合，特に問題なし(UCA2-N) 運転手がブレーキペダルを踏んでいるのに減 (UCA2-P) 運転手がブレーキペダルを強く踏んでいるのに減速指示が小さいと，外部環境と衝突する
速指示を出さないと，外部環境と衝突する(SC1-1)違反(SC1-2)違反CA3 自動運転解除指 (UCA3-N) 運転手が手動運転に切り替えたにもかかわ (UCA3-P) 運転手が自動運転を解除していないにもか
示
らず自動運転が継続し，指示が競合して外部環境と衝 かわらず，自動運転が解除され，外部環境と衝突する
突する(SC1-2)違反(SC1-1)違反CA2 減速指示

運転手のブレーキが早すぎる場合，特に問題なし

CA1 運転手がブレーキ (UCA1-N) 運転手がブレーキを踏まないと危険回避が (UCA1-P) 運転手が誤った力加減でブレーキ操作を行 (UCA1-T) 運転手のブレーキが遅すぎる場合，危険回 (UCA1-S) 運転手がブレーキを踏む時間が短すぎる場を踏む
できず，外部環境と衝突する
うと，減速が弱く外部環境と衝突する
避ができず，外部環境と衝突する
合，危険回避ができず外部環境と衝突する(SC1-2)違反(SC1-1)違反(SC1-1)違反(SC1-1)違反

コントロールアクション

付録3：表3.2-1

－220－－4－-

・自動運転解 ・運転手がブレーキを踏む時 除報告がブレー
間が短すぎる キを踏んだが，人工知能モ
ジュールへの他の割り込み処理が優先され直ぐに鳴り止むUCA1-S
運転手がブレーキ
を踏む時間が短すぎる場合，危険回避ができず
外部環境と衝突する(SC1-1)違反(5)～(8)で太字で示したガイドワードはSTPA-Secのもの

-

-

-

・自動運転不 ・人工知能モ ・運転手のブ
能警告と自動 ジュールに処理 レーキ操作が運転解除報告 が集中して高 遅れるが同時に鳴る 負荷状態になり自動運転不能警告が遅れて鳴る--・運転手がブ
レーキを弱く踏む・悪天候など外 UCA1-T
運転手のブレーキ 部環境が悪く，運転手のが遅すぎる場合，危険回避が 危険察知が遅できず，外部環 れる境と衝突する(SC1-1)違反

UCA1-P
運転手が誤った
力加減でブレーキ操作を行うと，減速が弱く外部環境と衝突する(SC1-1)違反(7)操作の遅れ
部分的・悪い形状のオペ
レーション

・人工知能モ ジュールで異常を検知したが内部判定ロジックの誤りで自動運転不能警告が報知されない(5)悪い形状・ (6)部分的な
不適切なフィー 情報・不正確
ドバック，ある な情報の供
いはフィードバッ 給，または情報の欠如，測クの喪失，フィードバックの 定の不正確性，フィード遅れ
バックの遅れ・運転手が危 険を察知したが自動運転を過信して，ブレー
キを踏まない(1)コントロール (2)不適切なコ (3)不整合，
入力や外部情 ントロールアルゴ 不完全，または不正確なプ報の誤りや喪 リズム
ロセスモデル，
失不適切な操作・悪天候など外 UCA1-N
運転手がブレーキ 部環境が悪を踏まないと危険 く，運転手が回避ができず， 危険察知しな
外部環境と衝突 いする(SC1-2)違反

UCAx

付録4：表3.2-2：HCFの抽出結果 - UCA1に対するHCF
HCF

-

-

-

-

-

-

-

-

-

-

-

-

-

・クラウドからの 情報を改ざんし人工知能モ
ジュールに自動運転継続可能であると誤認識
させる

-

-

-

-

-

-

-

・人工知能モ ジュールに高負荷を与え自動運転不能警告を遅らせる-

・人工知能モ ジュールに高負荷を与え自動運転不能警告を報知できない(E)
ElevationofPrivilege
権限の昇格(4)コンポーネントの不具合．経年による変化，(12)アクチュエータの動作が不十分，(13)センサの動作が不十分

-

-

-

-

(D)
(I)
(R)
Repudiat Informat Denial ofServiceion
ionDisclosur サービス不能
否認
e
情報の暴
露

コンポーネント間相互作用に注目したいため，故障や経年変化は対象外とし，以下を表から除外している

-

-

-

・ブレーキペダル の遊びと認知する値が大きすぎて，ブレーキが弱い--

・ブレーキペダル の遊びと認知する値が大きすぎて，ブレーキを踏んだと認識しない(T)(8)悪い形状・ (9)コント (10)未確 (11)システ (S)不適切または ロールアク 認，または ムにハザー Spoofing Tampering
ションの衝 範囲外の ドを引き起 identity 改ざん
無効なコント
こすプロセ なりすまし突，プロセ 障害
ロールアクショス入力ン，コントロー ス入力のルアクションの喪 喪失または誤り
失－221－－5－--

UCA2-S
運転手がブレーキペダルを踏み続けているのに減速指示の解除が早すぎる場
合，外部環境と衝突する(SC1-1)違反(5)～(8)で太字で示したガイドワードはSTPA-Secのもの

・ブレーキペダルの欠陥により減速
指示の解除が早すぎる--

・ブレーキペダルの ・ブレーキペダルの 欠陥により減速 踏込を減速指示
指示が遅いに変換する処理が遅い-

・ブレーキペダルの 踏込具合と減速指示の強弱が感覚的に一致しないUCA2-P
運転手がブレーキペダルを強く踏んでいるのに減速指示が小さいと，外部環境と衝突する(SC1-1)違反-

UCA2-T
運転手がブレーキペダルを踏んだタイミングに対し減速指示が遅すぎる場合，外部環境と衝突する(SC1-1)違反

-

-

-

-

-

-

-

-

-

(5)悪い形状・不適 (6)部分的な情報・ (7)操作の (8)悪い形状・不適
切または無効なコント
切なフィードバック， 不正確な情報の供 遅れ
あるいはフィードバック 給，または情報の 部分的・ ロールアクション，コンの喪失，フィードバッ 欠如，測定の不正 悪い形状 トロールアクションの喪
クの遅れ
確性，フィードバック のオペレー 失
ションの遅れ

・ブレーキペダルの 遊びと認知する値が大きすぎて，ブレーキを踏んだと認識しない(1)コント (2)不適切なコン (3)不整合，不ロール入力 トロールアルゴリズ 完全，または不や外部情 ム正確なプロセスモ
報の誤りや
デル，不適切な喪失
操作

UCA2-N
運転手がブレーキペダルを踏んでいるのに減速指示を出さないと，外部環境と衝突する(SC1-2)違反

UCAx

付録5：表3.2-3：HCFの抽出結果 - UCA2に対するHCF

-

-

-

-

-

-

-

-

-

-

-

-

-

-

・人工知能経由で侵入された攻撃者によりブレーキペダルからの指示アルゴリズムを改
ざんされ減速指示の継続限界時間が設定される

・掌握された人工知能モジュールによりブレーキシステムにDoS攻撃がしかけられていると，減速指示の適応が遅延する
・人工知能経由で侵入された攻撃者によりブレーキペダルからの指示アルゴリズムを改
ざんされ一時停止等の不要な処理を組み込まれる

・人工知能経由で侵入された攻撃者によりブレーキペダルからの指示アルゴリズムを改
ざんされ異なる指示にされる・ブレーキシステムを機能停止されると，ブレーキペダルの減速指示が受け付けられない・掌握された人工知能モジュールによりブレーキシステムにDoS攻撃がしかけられていると，減速指示が受け付けられない・人工知能経由で侵入された攻撃者によりブレーキペダルからの指示アルゴリズムを改
ざんされ指示無しにされる(D)(E)
Denial of Elevation of Privilege
Service 権限の昇格
サービス不能(4)コンポーネントの不具合．経年による変化，(12)アクチュエータの動作が不十分，(13)センサの動作が不十分-

・ブレーキペダルの 減速指示による
減速中に人工知
能モジュールの速度制御が衝突し，ブレーキペダ
ルの減速指示が
解除される

-

-

-

(R)
(I)
Repudiat Informationion
Disclosure
否認
情報の暴露

コンポーネント間相互作用に注目したいため，故障や経年変化は対象外とし，以下を表から除外している-

・人工知能モジュールの速度制
御とブレーキペダ
ルの減速指示の優先順位判断が遅れ，ブレーキペ
ダルの減速指示
適用が遅くなる-・人工知能モジュールの速度制
御と合算されてしまい，中途半端な減速制御となる---・人工知能モジュールの速度制御と衝突し，ブレーキペダルの減速指示がブレーキシステムに適用さ
れない

-

(T)
Tampering
改ざんHCF(9)コントロールア (10)未確 (11)システ (S)クションの衝突， 認，または ムにハザー Spoofing
プロセス入力の喪 範囲外の ドを引き起 identity
失または誤り障害
こすプロセ なりすましス入力

－222－－6－

UCA3-Tの(7)のHCFはSTPA-Secから導出したもの(5)～(8)で太字で示したガイドワードはSTPA-Secのもの

-

-

-

UCA3-S
N/A--

・ブレーキシステムの欠陥 ・ブレーキペダルの踏み込 により，ブレーキペダル踏 みを自動運転解除指示
み込み時の自動運転解 に変換する処理が遅い
除指示が遅れる・ブレーキペダルからの誤っ
UCA3-T
運転手が手動運転に た入力情報で，自動運切り替えたにもかかわら 転解除指示が遅れる
ず，自動運転の解除が遅れ，自動運転が継続し，指示が競合して外部環境と衝突する(SC1-1)違反---

・ブレーキシステムの欠陥 により，ブレーキペダル踏
み込みが無くても自動運
転解除指示がある

・ブレーキペダルからの誤った入力情報で，意図しない自動運転解除指示
がある

-

-

・ブレーキシステムの欠陥 により，ブレーキペダル踏
み込み時に自動運転解除を指示しない・ブレーキが踏まれているのにブレーキの遊びと認知する値が大きすぎて，ブレーキを踏んだと認識しな
いUCA3-P
運転手が自動運転を解除していないにもかかわらず，自動運転が解除され，外部環境と衝突する(SC1-2)違反

HCF-

・人工知能モジュールに 大量の入力情報(DoS攻撃)がある中で，自動運転解除指示が送出さ
れる

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

(R)
(T)
Tampering Repudiatio
n
改ざん
否認

-

-

-

-

(E)
Elevation of Privilege
権限の昇格

・ブレーキペダルを掌握して，自動運転中に，故意に自動運転停止命令を送出する
・人工知能モジュールを掌握して，指示がなくても勝手に自動運転解除指示を受け付ける--

・自動運転解除をしようと ・ブレーキペダルを掌握ししたときに，人工知能モ て，手動運転に切り替え
ジュールにDoS攻撃を仕 る際に，自動運転解除
掛け，自動運転停止命 の指示を故意に遅らせる
・人工知能モジュールを掌
令の受信が遅れる
握して，ブレーキペダルから送信された自動運転解除指示の受付を遅らす-

・自動運転解除指示をし ・ブレーキペダルを掌握しようとしたときに，人工知 て，手動運転に切り替え能モジュールにDoS攻撃 る際にも，自動運転解を仕掛け，自動運転停 除指示を送出しない
止命令の受信ができない ・人工知能モジュールを掌握して，ブレーキペダルから送信された自動運転解除指示を受け付けない(D)(I)
Informatio Denial of Service
サービス不能nDisclosure
情報の暴露(4)コンポーネントの不具合．経年による変化，(12)アクチュエータの動作が不十分，(13)センサの動作が不十分

-

-

-

-

(11)システム (S)にハザードを Spoofing
引き起こすプ identity
なりすまし
ロセス入力

コンポーネント間相互作用に注目したいため，故障や経年変化は対象外とし，以下を表から除外している

-

-

-

-

-

-

-

-

-

(9)コントロー (10)未確(8)悪い形(6)部分的な (7)操作の遅れ(1)コントロール入力や外 (2)不適切なコントロール (3)不整合，不完全， (5)悪い形
部情報の誤りや喪失
アルゴリズムまたは不正確なプロセスモ 状・不適切な 情報・不正 部分的・悪い形状のオペ 状・不適切ま ルアクションの 認，またはたは無効なコ 衝突，プロセ 範囲外の障確な情報の レーション
フィードバッデル，不適切な操作
ントロールアク ス入力の喪 害
ク，あるいは 供給，またション，コント 失または誤り
フィードバック は情報の欠ロールアクショ
如，測定の
の喪失，
ンの喪失
フィードバック 不正確性，フィードバックの遅れの遅れ

・ブレーキペダルからの誤っ
UCA3-N
運転手が手動運転に た入力情報で，自動運切り替えたにもかかわら 転解除指示が喪失するず自動運転が継続し，指示が競合して外部環境と衝突する(SC1-1)違反

UCAx

付録6：表3.2-4：HCFの抽出結果 - UCA3に対するHCF

－223－－7－-

UCA4-S・ブレーキペダルからの誤った入力情 ・ブレーキペダルからの減速指示により，車 ブレーキペダルからの減 報により，想定よりも早く減速制御 体への減速制御を行っている際に，ブレー
速指示，または人工知 を解除する
キシステムの欠陥により，想定よりも早く減能モジュールからの速度 ・人工知能モジュールからの誤った 速制御を解除する
制御を受けた際に， 車 入力情報により，想定よりも早く減 ・人工知能モジュールからの減速指示によ
体へ減速制御の適用が 速制御を解除する
り，車体への減速制御を行っている際
想定よりも短い場合，に，ブレーキシステムの欠陥により，想定
外部環境と衝突するよりも早く減速制御を解除する(SC1-1)違反
-

-

-

-

(5)～(8)で太字で示したガイドワードはSTPA-Secのもの--

UCA4-P・ブレーキペダルからの誤った入力情 ・ブレーキペダルからの減速指示を車体へ ブレーキペダルからの減 報により，想定よりも弱い値で車 の減速制御に変換する際に，ブレーキシ
速指示，または人工知 体への減速制御となる
ステムの欠陥により，想定よりも弱い値と能モジュールからの速度 ・人工知能モジュールからの誤った なる制御を受けた際に，車 入力情報により，想定よりも弱い ・人工知能モジュールからの減速指示を車体への減速制御が想定 値で車体への減速制御となる体への減速制御に変換する際に，ブレーよりも弱いと外部環境とキシステムの欠陥により，想定よりも弱い
衝突する
値となる
(SC1-1)違反

UCA4-T・ブレーキペダルからの減速指示が ・ブレーキペダルからの減速指示を，車体 ブレーキペダルからの減 遅く，車体へ減速制御が遅れるへの減速制御に変換する際に，ブレーキ
速指示，または人工知 ・人工知能モジュールからの速度制 システムの欠陥により，車体への通知が遅能モジュールからの速度 御が遅く，車体へ減速制御が遅れ くなる制御を受けた際に， 車 る・人工知能モジュールからの減速指示を，体へ減速制御が遅れた
車体への減速制御に変換する際に，ブ場合，外部環境と衝突
レーキシステムの欠陥により，車体への通する
知が遅くなる(SC1-1)違反-

・ブレーキペダルからの誤った入力情 ・ブレーキシステムの欠陥により，ブレーキ 報で，減速指示が喪失する
ペダルからの減速指示を車体への減速制
・人工知能モジュールからの誤った 御に変換できない
入力情報で，速度制御が喪失す ・ブレーキシステムの欠陥により，人工知る
能モジュールからの速度制御を車体への減速制御に変換できない

UCA4-N
ブレーキペダルからの減
速指示，または人工知
能モジュールからの速度制御を受けたのに，車体へ減速制御を行わな
いと，外部環境と衝突する(SC1-1)違反

HCF

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

(T)
(R)
Tampering Repudiatio
改ざん
n
否認

-

-

-

-

(E)
Elevation of Privilege
権限の昇格

-

-

-

・ブレーキシステム掌握すること
で，車体への減速制御解除を早めに行う

・ブレーキシステム掌握すること
で，車体への減速制御を遅れて行う・ブレーキシステム掌握すること
で，車体への減速制御を想定よりも弱く行う

・（人工知能掌握により）・ブレーキシステム掌握すること
人工知能からブレーキシステム で，車体への減速制御を行わへDoS攻撃を行い，ブレーキシ ない
ステムをダウンさせる(I)(D)
Informatio Denial of Servicen
サービス不能Disclosure
情報の暴露(4)コンポーネントの不具合．経年による変化，(12)アクチュエータの動作が不十分，(13)センサの動作が不十分

-

-

-

-

(S)
Spoofing
identity
なりすましコンポーネント間相互作用に注目したいため，故障や経年変化は対象外とし，以下を表から除外している・ブレーキペダルからの減速指示 と，人工知能からの速度制御の衝突により，車体の減速制御を想定外に解除する・ブレーキペダルからの減速指示 と，人工知能からの速度制御の衝突により，車体の減速制
御が遅れる

・ブレーキペダルと人工知能モ
ジュールから同時に減速指示を受けた際に，人工知能の速度制御を優先してしまい，ブレー
キペダルの想定よりも車体への減速制御が弱くなる

・ブレーキシステムから車体への ・ブレーキペダルからの減速指示 減速制御が欠陥により伝わら と，人工知能からの速度制御
ず，車体の減速制御が失われ の衝突により，車体の減速制る御が与えられない(3)不整合， (5)悪い形(6)部分的な (7)操作の遅 (8)悪い形状・不適切または無 (9)コントロールアクションの衝(10)未確(11)システム
不完全，ま 状・不適切な 情報・不正確 れ効なコントロールアクション，コン 突，プロセス入力の喪失または 認，または範 にハザードをたは不正確な フィードバッ
な情報の供 部分的・悪い トロールアクションの喪失
誤り
囲外の障害 引き起こすプ
プロセスモデ ク，あるいは 給，または情 形状のオペ
ロセス入力
ル，不適切 フィードバック 報の欠如， レーション
な操作
の喪失，
測定の不正
フィードバック 確性，フィーの遅れ
ドバックの遅れ(1)コントロール入力や外部情報の (2)不適切なコントロールアルゴリズム
誤りや喪失

UCAx

付録7：表3.2-5：HCFの抽出結果 - UCA4に対するHCF

－224－
－8－

HCF

-

-

・悪意のある第三者がク ラウドからの情報を改ざんし，外部環境を誤検知した結果，速度制御が遅い

・悪意のある第三者がク ラウドからの情報を改ざんし，外部環境を誤検知した結果，速度制御
が短すぎる

-

・悪意のある第三者がク ラウドの情報を改ざん
し，外部環境を誤検知した結果，誤った速度制御となる

・悪意のある第三者がDoS攻撃などによって人工知能を不能としたため，速度制御が短すぎる--

・悪意のある第三者がDoS攻撃などによって人工知能を不能としたため，速度制御が与えら
れない

(D)
(I)
Informatio Denial of Service
サービス不能nDisclosure
情報の暴露

-

(R)
Repudiation
否認・悪意のある第三者がク ラウドの情報を改ざん
し，外部環境を誤検知した結果，速度制御が与えられない(T)
Tampering
改ざん

・悪意のある第三者が人工知能の制御を掌握（権限の昇格）し，ブ
レーキシステムへの減速
指示を短くする

・悪意のある第三者が人工知能の制御を掌握（権限の昇格）し，ブ
レーキシステムへの減速
指示を遅くする

・悪意のある第三者が人工知能の制御を掌握（権限の昇格）し，ブ
レーキシステムへの減速制御を小さくする

・悪意のある第三者が人工知能の制御を掌握（権限の昇格）し，ブ
レーキシステムへの減速制御を実施させない(E)
Elevation ofPrivilege
権限の昇格(4)コンポーネントの不具合．経年による変化，(12)アクチュエータの動作が不十分，(13)センサの動作が不十分-(S)
Spoofing
identity
なりすましコンポーネント間相互作用に注目したいため，故障や経年変化は対象外とし，以下を表から除外している-

・人工知能の欠陥（= プログラムバグ）があり，
人工知能モジュールからの速度制御が短すぎる

・センシングモジュールの ・ローカルダイナミックマッ 誤りがあり，人工知能モ プに誤りがあり，人工知
ジュールが正しい計算が 能モジュールが正しい計できず，速度制御が短 算ができず，速度制御
が短すぎる
すぎる

・自動運転解除の指示 ・人工知能の欠陥（= UCA5-S
障害物を検知した際に 誤り（解除すべきでない プログラムバグ）があり，
人工知能モジュールから
人工知能モジュールから ときに解除の指示がきの速度制御(減速)が短 た）があり，人工知能 の速度制御が短すぎる
すぎる場合，外部環境 の指示と衝突した結果，速度制御が短いと衝突する(SC1-1)違反(5)～(8)で太字で示したガイドワードはSTPA-Secのもの-

・人工知能の欠陥（= プログラムバグ）があり，
人工知能モジュールからの速度制御が遅い

・センシングモジュールの ・ローカルダイナミックマッ 誤りがあり，人工知能モ プに誤りがあり，人工知
ジュールが正しい計算が 能モジュールが正しい計できず，速度制御が遅 算ができず，速度制御が遅い
い・自動運転解除の指示 ・人工知能の欠陥（= UCA5-T
障害物を検知した際に 誤り（解除すべきでない プログラムバグ）があり，
人工知能モジュールから
人工知能モジュールから ときに解除の指示がきの速度制御(減速)が遅 た）があり，人工知能 の速度制御が遅い
すぎる場合，外部環境 の指示と衝突した結果，速度制御が遅いと衝突する(SC1-1)違反---

・人工知能の欠陥（= プログラムバグ）があり，
人工知能モジュールから誤った速度制御となる・センシングモジュールの ・ローカルダイナミックマッ 誤りがあり，人工知能モ プに誤りがあり，人工知
ジュールが正しい計算が 能モジュールが正しい計
できず，誤った速度制 算ができず，誤った速度
制御となる
御となる

・人工知能の欠陥（= プログラムバグ）があり，
人工知能モジュールから誤った速度制御となる

UCA5-P
障害物を検知した際に人工知能モジュールから誤った速度制御(小さすぎる減速)がある場合，外部環境と衝突する(SC1-1)違反-

・人工知能の欠陥（= ・自動運転解除の指示 プログラムバグ）があり， 誤り（解除すべきでない
人工知能モジュールから ときに解除の指示がき
速度制御が与えられな た）があり，人工知能の指示と衝突した結い果，速度制御が与えられない・センシングモジュールの ・ローカルダイナミックマッ 誤りがあり，人工知能モ プに誤りがあり，人工知
ジュールが正しい計算が 能モジュールが正しい計できず，速度制御がで 算ができず，速度制御ができなかった
きなかった・自動運転解除の指示 ・人工知能の欠陥（= 誤り（解除すべきでない プログラムバグ）があり，
人工知能モジュールからときに解除の指示がきた）があり，人工知能 速度制御が与えられないの指示と衝突した結果，速度制御が与えられない

UCA5-N
障害物を検知した際に人工知能モジュールから
速度制御（減速）が与えられない場合，外部環境と衝突する(SC1-1)違反(11)システム(7)操作の遅 (8)悪い形状・不適切ま (9)コントロールアクション (10)未確
たは無効なコントロール の衝突，プロセス入力の 認，または範 にハザードをれ
囲外の障害 引き起こすプ
部分的・悪い アクション，コントロール 喪失または誤り
ロセス入力
形状のオペ アクションの喪失
レーション(1)コントロール入力や (2)不適切なコントロー
外部情報の誤りや喪失 ルアルゴリズム

UCAx(3)不整合， (5)悪い形状・不適切な (6)部分的な情報・不不完全，ま フィードバック，あるいは 正確な情報の供給，または不正確な フィードバックの喪失， たは情報の欠如，測定の不正確性，フィードプロセスモデ フィードバックの遅れ
バックの遅れル，不適切な操作

付録8：表3.2-6：HCFの抽出結果 - UCA5に対するHCF付録9：表3.2-7：ハザードに至るシナリオ (抜粋)#

ハザードシナリオ

UCA1-Nに至るハザードシナリオ
1-N1

悪天候など外部環境が悪く運転手が危険察知をできず，ブレーキを踏まない

1-N2

運転手が外部環境から危険を察知したが，自動運転を過信してブレーキを踏まない

1-N3

人工知能モジュールで異常を検知したが，内部ロジックの誤りで自動運転不能警告が鳴らず，運転手が自らブレーキを踏まない

1-N4

運転手がブレーキを踏んだがブレーキペダルの遊びと認知する値が大きすぎて，ブレーキを踏んだと認識しない

1-N5

クラウドからの情報を改ざんし，人工知能モジュールに自動運転の継続が可能であると誤認識させると，自動運転不能警告が鳴らず，運転手が自らブレーキを踏まない

1-N6

人工知能モジュールに高負荷を与えると，自動運転不能警告が鳴らず，運転手が自らブレーキを踏まない

UCA1-Pに至るハザードシナリオ
1-P1

運転手が危険を察知した際，自動運転を過信してブレーキを踏む力が弱くなった

1-P2

運転手がブレーキを踏んだがブレーキペダルの遊びと認知する値が大きすぎて，ブレーキが弱く伝わった

UCA1-Tに至るハザードシナリオ
1-T1

悪天候など外部環境が悪く，運転手が危険を察知するのが遅れブレーキを踏むのが遅れた

1-T2

人工知能モジュールからの警告と報告が同時に鳴り，運転手が一瞬戸惑い，ブレーキを踏むのが遅れた

1-T3

人工知能モジュールに異常が発生したが，処理が集中して高負荷になり自動運転不能警告が遅れて鳴ったため，ブレーキを踏むのが遅れた

1-T4

運転手が外部環境から危険を察知したが，自動運転を過信してブレーキを踏むのが遅れた

1-T5

悪意のある第三者が人工知能モジュールに高負荷を与え自動運転不能警告が遅れたため，ブレーキを踏むのが遅れた

UCA1-Sに至るハザードシナリオ
1-S1

運転手が外部環境の危険を察知してブレーキを踏んだが，自動車を過信してブレーキを踏む時間が短すぎた

1-S2

運転手が外部環境からの危険察知や自動運転解除報告を受けてブレーキを踏んだ際，自動運転解除報告が鳴ったが，人工知能モジュー
ルへの他の割り込み処理が優先され直ぐに鳴りやんだため，ブレーキを踏む時間が短くなった#

ハザードシナリオ

UCA2-Nに至るハザードシナリオ
2-N1

ブレーキペダルの遊びと認知する値が大きすぎて，ブレーキを踏んだと認識せず，ブレーキペダルから減速指示が出ない

2-N2

人工知能モジュールの速度制御と衝突し，ブレーキペダルの減速指示がブレーキシステムに伝わらない

2-N3

ブレーキペダルからの指示アルゴリズムを改ざんされ減速指示を無しにされる

2-N4

ブレーキシステムにDoS攻撃がしかけられていると，減速指示が受け付けられない

2-N5

ブレーキシステムを機能停止されると，ブレーキペダルの減速指示が受け付けられない

UCA2-Pに至るハザードシナリオ
2-P1

ブレーキペダルの踏込具合と減速指示の強弱が感覚的に不一致で，ブレーキペダルの減速指示が小さくなる

2-P2

人工知能モジュールの速度制御と合算されてしまい，ブレーキシステムが受ける減速指示が中途半端な値となる

2-P3

ブレーキペダルからの指示アルゴリズムを改ざんされ意図しない減速指示となる

UCA2-Tに至るハザードシナリオ
2-T1

ブレーキペダルの欠陥により減速指示の伝達が遅れる

2-T2

ブレーキペダルの踏込を減速指示に変換する処理が遅く，減速指示が遅れる

2-T3

人工知能モジュールの速度制御とブレーキペダルの減速指示の優先順位判断が遅れ，ブレーキペダルの減速指示が遅くなる

2-T4

ブレーキペダルからの指示アルゴリズムの改ざんにより一時停止等の不要な処理を組み込まれ，減速指示が遅れる

2-T5

ブレーキシステムにDoS攻撃がしかけられていると，減速指示の適応が遅延する

UCA2-Sに至るハザードシナリオ
2-S1

ブレーキペダルの欠陥により減速指示の継続が解除される

2-S2

ブレーキペダルの減速指示による減速中に人工知能モジュールの速度制御が衝突し，ブレーキペダルの減速指示が解除される

2-S3

ブレーキペダルからの指示アルゴリズムの改ざんにより減速指示の継続限界時間が設定され，減速指示が短くなる※UCA3～UCA5のハザードシナリオは省略

－225－
－9－

付録10：図3.2-3：GSNによるUCAの整理結果
Goal：G_1「自動運転の衝突回避」に対する洗い出しは妥当である
Context : C_1
衝突を回避するための手段
・ブレーキ

Strategy：S_1

・ハンドル

衝突回避の手段によって分け・アクセル

Goal：G_2

Goal：G_3

Goal：G_4

ブレーキ操作をする

ハンドル操作をする

アクセル操作をする

Strategy：S_2

Context : C_2「ブレーキ操作をする」に関するハザー

機能安全ASIL決定表

ドを過酷度クラスによって分ける

Goal：G_5

Goal：G_6

Goal：G_7

S3 生命を脅かす傷害(生存S2 重度および生命を脅かす傷害

S1 軽度および中程度の傷害がはっきりしない)

Strategy：S_3

Context : C_3(H1-2)ブレーキがかからない.

・運転手という,ハザードをUCAが示す振・人工知能

る舞いにより分ける(生存の可能性がある)

Strategy：S_4

Context : C_4(H1-1) 自動車が，ブレーキをかけて・運転手

も，外部環境の前で停止できない.

・人工知能という,ハザードをUCAが示す振る舞いにより分ける

Goal：G_8

Goal：G_9

Goal：G_10

Goal：G_11

Goal：G_12

Goal：G_13

ブレーキをかけない

ブレーキがかからない

ブレーキをかけるのがブレーキをかけたのに,減速制御が弱い

減速制御が短い遅れる

かかるのが遅れる

Evidence：E_1

Evidence：E_2

Evidence：E_3

Evidence：E_4

Evidence：E_5

Evidence：E_6

表：UCAの抽出

表：UCAの抽出

表：UCAの抽出

UCA2-N

表：UCAの抽出

表：UCAの抽出

UCA1-N

表：UCAの抽出

UCA1-T

UCA3-N

UCA1-P

UCA1-S

UCA5-N

UCA2-T

UCA5-T

UCA3-T

UCA2-P

UCA2-S

UCA4-T

UCA3-P

UCA4-S

UCA4-P

UCA5-S

UCA4-N

UCA5-P－226－－10－

付録11：表3.2-8：ASIL 評価指標と決定値ルール
評価指標

過酷度クラス

発生頻度クラス

回避可能性クラス

S0（低）

傷害なし

S1

軽度および中程度の障害

S2

重度および生命を脅かす障害（生存の可能性がある）

S3（高）生命を脅かす傷害（生存がはっきりしない）

E0（低）

可能性なし

E1

可能性が非常に低い

E2

可能性が低いE3

可能性が中程度

E4（高）可能性が高いC0（可能）

一般的に回避可能

C1

容易に回避可能C2

通常は回避可能C3（不可能）回避困難または回避不可※ＡＳＩＬ決定値のルール
過酷度クラス，発生頻度クラス，回避可能性クラスの数字部分を点数（例：S2であれば2点）とし，各クラスの合計により以下のようにASIL決定値を定める
ASIL決定値ルール
6点以下

QM（Quality Management）

7点

ASIL_A

8点

ASIL_B

9点

ASIL_C

10点

ASIL_D－227－－11－

－228－
－12－

対象

該当する
UCA

ブレーキペダル－

ブレーキシステム

人工知能モジュールからの誤った入力情報で，速度制御が喪失する

ブレーキシステムの欠陥により，ブレーキペダルからの減速指示を車体への減速制御に変換できない

ブレーキシステムの欠陥により，人工知能モジュールからの速度制御を車体への減速制御に変換できない

ブレーキシステムから車体への減速制御が欠陥により伝わらず，車体の減速制御が失われる

ブレーキペダルからの減速指示と，人工知能からの速度制御の衝突により，車体の減速制御が与えられない

33

34

35

ブレーキペダルからの誤った入力情報で，減速指示が喪失する

32

－車体間

UCA4-N3130

ブレーキペダルの踏み込みを自動運転解除指示に変換する処理が遅い

29

ブレーキペダルからの誤った入力情報で，自動運転解除指示が遅れる

ブレーキシステムの欠陥により，ブレーキペダル踏み込みが無くても自動運転解除指示がある

ブレーキシステムの欠陥により，ブレーキペダル踏み込み時の自動運転解除指示が遅れる

UCA3-T

ブレーキペダルからの誤った入力情報で，意図しない自動運転解除指示がある

28

27

26

UCA3-P

ブレーキが踏まれているのにブレーキの遊びと認知する値が大きすぎて，ブレーキを踏んだと認識しない

ル間

24

25

ブレーキシステムの欠陥により，ブレーキペダル踏み込み時に自動運転解除を指示しない

人工知能モジュー23

ブレーキペダルからの誤った入力情報で，自動運転解除指示が喪失する

ブレーキペダルの減速指示による減速中に人工知能モジュールの速度制御が衝突し，ブレーキペダルの減速指示が解除される

ブレーキペダルの欠陥により減速指示の解除が早すぎる

ブレーキペダル－UCA3-N

UCA2-S

22

21

20

人工知能モジュールの速度制御とブレーキペダルの減速指示の優先順位判断が遅れ，ブレーキペダルの減速指示適用が遅くなる

ブレーキペダルの欠陥により減速指示が遅い

人工知能モジュールの速度制御と合算されてしまい，中途半端な減速制御となるブレーキペダルの踏込具合と減速指示の強弱が感覚的に一致しない

19

UCA2-T

UCA2-P

人工知能モジュールの速度制御と衝突し，ブレーキペダルの減速指示がブレーキシステムに適用されない

ブレーキペダルの遊びと認知する値が大きすぎて，ブレーキを踏んだと認識しない

ブレーキペダルの踏込を減速指示に変換する処理が遅い

間

ブレーキシステム

UCA2-N

自動運転解除報告がブレーキを踏んだが，人工知能モジュールへの他の割り込み処理が優先され直ぐに鳴り止む

運転手がブレーキを踏む時間が短すぎる

18

17

16

15

14

13

12

UCA1-S

運転手のブレーキ操作が遅れる

10

11

人工知能モジュールに処理が集中して高負荷状態になり自動運転不能警告が遅れて鳴る

9

悪天候など外部環境が悪く，運転手の危険察知が遅れる

ブレーキペダルの遊びと認知する値が大きすぎて，ブレーキが弱い

自動運転不能警告と自動運転解除報告が同時に鳴る

UCA1-T

8

7

6

運転手がブレーキを弱く踏む

ブレーキペダルの遊びと認知する値が大きすぎて，ブレーキを踏んだと認識しない

5

人工知能モジュールで異常を検知したが内部判定ロジックの誤りで自動運転不能警告が報知されない

UCA1-P

悪天候など外部環境が悪く，運転手が危険察知しない

運転手が危険を察知したが自動運転を過信して，ブレーキを踏まない

HCF

4

自動車が外部環境 運転手－ブレーキペ UCA1-N(歩行者/他の車/周 ダル間辺物)と衝突/接触する

アクシデント

3

2

1

項番

※表サイズの関係で2ページに分割して記載．(1/2)

付録12：表3.2-9：ASIL 分析結果と対策（セーフティ）-1

S3

S3

S3

S3

S3

S3

S2

S2

S2

S2

S2

S3

S2

S3

S2

S2

S2

S2

S2

S2

S3

S2

S3

S2

S2

S2

S2

S2

S2

S2

S3

S3

S3

S3

S3

過酷度
クラス
E2

E1

E1

E1

E1

E2

E2

E2

E2

E2

E2

E2

E2

E1

E1

E1

E2

E1

E2

E2

E1

E2

E1

E2

E1

E2

E2

E1

E2

E2

E1

E2

E2

E1

E4

C2

C2

C2

C2

C2

C2

C2

C2

C2

C1

C2

C2

C2

C2

C2

C2

C2

C2

C2

C2

C1

C3

C2

C2

C2

C2

C2

C2

C2

C2

C1

C2

C2

C2

C2

回避可能性
クラス

評価指標
発生頻度
クラス

QM

QM

QM

QM

ASIL_A

ASIL_A

QM

QM

QM

QM

QM

ASIL_A

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

ASIL_A

QM

QM

QM

QM

QM

QM

QM

QM

ASIL_AQM

ASIL_C

ASIL_A

ＡＳＩＬ
決定値

-

○

○

○

○

サイドブレーキを使用した緊急停止機能を追
加する

○

○

○

○

○

-

○

○

○

○

○

○

○

○

○

○

-

○

○

○

○

○

○

○

○

-

○

サイドブレーキを使用した緊急停止機能を追加する

ユーザビリティ評価を実施し，適切な遊び量に調整する

ユーザビリティ評価を実施し，適切な遊び量に調整する

ユーザビリティ評価を実施し，適切な遊び量に調整する-

運転手の注意レベルを監視する

残存リスク

運転手の注意レベルを監視する
定期的に音声による注意喚起

対策内容

－229－－13－

人工知能モジュー

UCA5-P

人工知能の欠陥（=プログラムバグ）があり，人工知能モジュールからの速度制御が遅い

65

人工知能の欠陥（=プログラムバグ）があり，人工知能モジュールからの速度制御が短すぎる

センシングモジュールの誤りがあり，人工知能モジュールが正しい計算ができず，速度制御が短すぎる

ローカルダイナミックマップに誤りがあり，人工知能モジュールが正しい計算ができず，速度制御が短すぎる

人工知能の欠陥（=プログラムバグ）があり，人工知能モジュールからの速度制御が短すぎる

67

68

69

70

自動運転解除の指示誤り（解除すべきでないときに解除の指示がきた）があり，人工知能の指示と衝突した結果，速度制御が短い

ローカルダイナミックマップに誤りがあり，人工知能モジュールが正しい計算ができず，速度制御が遅い

64

UCA5-S

センシングモジュールの誤りがあり，人工知能モジュールが正しい計算ができず，速度制御が遅い

63

66

人工知能の欠陥（=プログラムバグ）があり，人工知能モジュールからの速度制御が遅い

62

自動運転解除の指示誤り（解除すべきでないときに解除の指示がきた）があり，人工知能の指示と衝突した結果，速度制御が遅い

人工知能の欠陥（=プログラムバグ）があり，人工知能モジュールから誤った速度制御となる

60

UCA5-T

ローカルダイナミックマップに誤りがあり，人工知能モジュールが正しい計算ができず，誤った速度制御となる

59

61

センシングモジュールの誤りがあり，人工知能モジュールが正しい計算ができず，誤った速度制御となる

58

人工知能の欠陥（=プログラムバグ）があり，人工知能モジュールから誤った速度制御となる

すべきでないときに解除の指示がきた）があり，人工知能の指示と衝突した結果，速度制御が与えられない56

57

人工知能の欠陥（=プログラムバグ）があり，人工知能モジュールから速度制御が与えられない55

センシングモジュールの誤りがあり，人工知能モジュールが正しい計算ができず，速度制御ができなかった

人工知能の欠陥（=プログラムバグ）があり，人工知能モジュールから速度制御が与えられない

ローカルダイナミックマップに誤りがあり，人工知能モジュールが正しい計算ができず，速度制御ができなかった

テム間

ル－ブレーキシス

自動運転解除の指示誤り（解除すべきでないときに解除の指示がきた）があり，人工知能の指示と衝突した結果，速度制御が与え
られない

54

53

52

51

UCA5-N

49

S2

S2

S2

S2

S2

S2

S2

S2

S2

S2

S2

S2

S2

S2

S2

S2

S2

S2

S2

S2

S2

S2

人工知能モジュールからの減速指示により，車体への減速制御を行っている際に，ブレーキシステムの欠陥により，想定よりも早く減速制御を解除する

ブレーキペダルからの減速指示と，人工知能からの速度制御の衝突により，車体の減速制御を想定外に解除する

S2

ブレーキペダルからの減速指示により，車体への減速制御を行っている際に，ブレーキシステムの欠陥により，想定よりも早く減速制御を解除する

48

50

S2

S2

人工知能モジュールからの誤った入力情報により，想定よりも早く減速制御を解除する

ブレーキペダルからの誤った入力情報により，想定よりも早く減速制御を解除する

47

UCA4-S

ブレーキペダルからの減速指示と，人工知能からの速度制御の衝突により，車体の減速制御が遅れる

45

46

S2

人工知能モジュールからの減速指示を，車体への減速制御に変換する際に，ブレーキシステムの欠陥により，車体への通知が遅く
なる

44
S2

S2

ブレーキペダルからの減速指示を，車体への減速制御に変換する際に，ブレーキシステムの欠陥により，車体への通知が遅くなる

43

S2

人工知能モジュールからの速度制御が遅く，車体へ減速制御が遅れる

42

S2

S2

40

ブレーキペダルからの減速指示が遅く，車体へ減速制御が遅れる

ブレーキペダルと人工知能モジュールから同時に減速指示を受けた際に，人工知能の速度制御を優先してしまい，ブレーキペダルの想定よりも車体への減速制御が弱くなる

39

UCA4-T

S2

人工知能モジュールからの減速指示を車体への減速制御に変換する際に，ブレーキシステムの欠陥により，想定よりも弱い値とな
る

41

S2

ブレーキペダルからの減速指示を車体への減速制御に変換する際に，ブレーキシステムの欠陥により，想定よりも弱い値となる

過酷度
クラス
S2

HCF
S2

UCA4-P

該当する
UCA

人工知能モジュールからの誤った入力情報により，想定よりも弱い値で車体への減速制御となる

対象ブレーキペダルからの誤った入力情報により，想定よりも弱い値で車体への減速制御となるアクシデント36 自動車が外部環境 ブレーキシステム(歩行者/他の車/周37 辺物)と衝突/接触す －車体間
る
38

項番

※表サイズの関係で2ページに分割して記載．(2/2)

付録12：表3.2-9：ASIL 分析結果と対策（セーフティ）-2

E1

E1

E1

E1

E1

E1

E1

E1

E1

E1

E1

E1

E1

E1

E1

E2

E2

E2

E2

E1

E1

E1

E1

E1

E1

E1

E1

E1

E1

E1

E1

E1

E1

E2

E2

C2

C2

C2

C2

C2

C2

C2

C2

C2

C2

C2

C2

C2

C2

C2

C2

C2

C2

C2

C2

C2

C2

C2

C2

C2

C2

C2

C2

C2

C2

C2

C2

C2

C2

C2

回避可能性
クラス

評価指標
発生頻度
クラス

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

ＡＳＩＬ
決定値

対策内容

○

○

○

○

○

○

○

○

○

○

○

○

○

○

○

○

○

○

○

○

○

○

○

○

○

○

○

○

○

○

○

○

○

○

○

残存
リスク

－230－
－14－

対象

該当する
UCA

悪意のある第三者が人工知能の制御を掌握（権限の昇格）し，ブレーキシステムへの減速指示を短くする

34

悪意のある第三者がクラウドからの情報を改ざんし，外部環境を誤検知した結果，速度制御が短すぎる

悪意のある第三者が人工知能の制御を掌握（権限の昇格）し，ブレーキシステムへの減速指示を遅くする

悪意のある第三者がクラウドからの情報を改ざんし，外部環境を誤検知した結果，速度制御が遅い

悪意のある第三者がDoS攻撃などによって人工知能を不能としたため，速度制御が短すぎる

UCA5-S

UCA5-T

悪意のある第三者が人工知能の制御を掌握（権限の昇格）し，ブレーキシステムへの減速制御を小さくする

悪意のある第三者がクラウドの情報を改ざんし，外部環境を誤検知した結果，誤った速度制御となる

悪意のある第三者が人工知能の制御を掌握（権限の昇格）し，ブレーキシステムへの減速制御を実施させない

悪意のある第三者がDoS攻撃などによって人工知能を不能としたため，速度制御が与えられない

33

32

31

30

29

28

27

UCA5-P

人工知能モジュール UCA5-N－ブレーキシステム
間

25

26

ブレーキシステム掌握することで，車体への減速制御解除を早めに行う

UCA4-S

24

悪意のある第三者がクラウドの情報を改ざんし，外部環境を誤検知した結果，速度制御が与えられない

レーキシステム掌握することで，車体への減速制御を遅れて行う

UCA4-T23

ブレーキシステム掌握することで，車体への減速制御を行わない

ブレーキシステム掌握することで，車体への減速制御を想定よりも弱く行う

UCA4-P22

21（人工知能掌握により）人工知能からブレーキシステムへDoS攻撃を行い，ブレーキシステムをダウンさせる

人工知能モジュールに大量の入力情報(DoS攻撃)がある中で，自動運転解除指示が送出される

19

20

人工知能モジュールを掌握して，ブレーキペダルから送信された自動運転解除指示の受付を遅らす

18

自動運転解除をしようとしたときに，人工知能モジュールにDoS攻撃を仕掛け，自動運転停止命令の受信が遅れる

人工知能モジュールを掌握して，指示がなくても勝手に自動運転解除指示を受け付ける

ブレーキペダルを掌握して，自動運転中に，故意に自動運転停止命令を送出する

ブレーキペダルを掌握して，手動運転に切り替える際に，自動運転解除の指示を故意に遅らせる

ブレーキシステム－ UCA4-N
車体間

UCA3-T

UCA3-P

17

16

15

14

人工知能モジュールを掌握して，ブレーキペダルから送信された自動運転解除指示を受け付けない

13

自動運転解除指示をしようとしたときに，人工知能モジュールにDoS攻撃を仕掛け，自動運転停止命令の受信ができない

ブレーキペダルを掌握して，手動運転に切り替える際にも，自動運転解除指示を送出しない

ブレーキペダル－人 CA3-N
工知能モジュール間

12

11

S2

S2

S2

S2

S2

S2

S2

S3

S3

S3

S3

S3

S3

S3

S3

S2

S2

S2

S2

S3

S3

S3

S3

S3

S2

S2

10

人工知能経由で侵入された攻撃者によりブレーキペダルからの指示アルゴリズムを改ざんされ減速指示の継続限界時間が設定される

人工知能経由で侵入された攻撃者によりブレーキペダルからの指示アルゴリズムを改ざんされ一時停止等の不要な処理を組み込まれる

UCA2-SS2

掌握された人工知能モジュールによりブレーキシステムにDoS攻撃がしかけられていると，減速指示の適応が遅延する

9

UCA2-T

8

S3

人工知能経由で侵入された攻撃者によりブレーキペダルからの指示アルゴリズムを改ざんされ異なる指示にされる

UCA2-P

S3

S3

S3

S2

S3

S2

過酷度
クラス

7

人工知能経由で侵入された攻撃者によりブレーキペダルからの指示アルゴリズムを改ざんされ指示無しにされる

6

ブレーキシステムを機能停止されると，ブレーキペダルの減速指示が受け付けられない

人工知能モジュールに高負荷を与え自動運転不能警告を遅らせる

人工知能モジュールに高負荷を与え自動運転不能警告を報知できない

クラウドからの情報を改ざんし人工知能モジュールに自動運転継続可能であると誤認識させるHCF掌握された人工知能モジュールによりブレーキシステムにDoS攻撃がしかけられていると，減速指示が受け付けられない

自動車が外部環境 運転手－ブレーキペ UCA1-N(歩行者/他の車/周 ダル間辺物)と衝突/接触する
UCA1-T
ブレーキペダル－ブ UCA2-N
レーキシステム間

アクシデント

5

4

3

2

1

項番

付録13：表3.2-10：ASIL 分析結果と対策（セキュリティ）

E1

E1

E1

E1

E1

E1

E1

E1

E1

E1

E1

E1

E1

E1

E1

E2

E1

E1

E1

E1

E1

E1

E1

E2

E1

E1

E1

E1

E1

E1

E1

E2

E2

E1

C2

C2

C2

C2

C2

C2

C2

C2

C2

C2

C2

C2

C2

C2

C2

C3

C2

C2

C2

C2

C2

C2

C2

C1

C2

C2

C2

C2

C2

C2

C2

C2

C2

C2

回避可能性
クラス

評価指標
発生頻度
クラス

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

ASIL_A

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

QM

ASIL_A

QM

ＡＳＩＬ
決定値

DoS対策を実施する

DoS対策を実施する

対策内容

○

○

○

○

○

○

○

○

○

○

○

○

○

○

○

-

○

○

○

○

○

○

○

○

○

○

○

○

○

○

○

○

-

○

残存
リスク

付録14：図3.2-4：ブレーキをかけないハザードのGSN

Goal：G_8_1

Context : C_5「ブレーキをかけない」に対する対策内

UCA1-N容が妥当である

UCA5-N

Strategy：S_5
UCA毎に,対策内容を確認する

Context : C_6
HCFのASIL分析結果と対策

ASIL_A以上

Context : C_7
一部対策を抜粋
その他対策は「HCFのASIL分
析結果と対策」を参照

Goal：G_9

Goal：G_10

UCA1-Nの対策が妥当である

UCA5-Nの対策が妥当である

Strategy：S_6
ASILで選択したHCF毎に,対策を確認する

Goal：G_11「定期的に音声による注意喚起する」
対策内容が妥当である

Evidence：E_7
インスペクションによるレビュー実施結果－231－－15－