2022.11.24(木) 安全コンセプト記法研究会オープンカンファレンス（SCN-OC 2022）

自動運転⾞の安全性評価

ーシナリオベースの論証体系と国際標準化ー
北島 創(一財)⽇本自動⾞研究所 自動⾛⾏研究部
1

自動運転⾞の安全性評価＝協調領域
安全性評価︓国際競争⼒の確保・強化のための一課題(⾃動⾛⾏ビジネス検討会︓⾃動⾛⾏ビジネス検討会報告書version 6.0)

2

SAKURAプロジェクトについて経緯
・自動⾛⾏ビジネス検討会の協調領域（「Ⅹ.安全性評価」）に対応
・安全性評価戦略WG（2019年度まで安全性評価環境づくり検討WG/戦略SWG）で，2018年度から経済産業省委託事業が開始
・⾃動運転⾞の社会実装に必要な安全性評価手法の確⽴と共に，国際的な制度調和への貢献を目指した取組み
パートナーシップ※SAKURAプロジェクトWebサイトより（2022年11月現在）
https://www.sakura-prj.go.jp/tabid76.html

3本⽇の内容1．自動運転の安全性評価の動向
2．SAKURAプロジェクト概要
3．現在の国際標準化の動向
4．まとめと今後の取組み

4

１. 自動運転の安全性評価の動向（シナリオベースの論証体系︓⽇独の提案手法）

5自動運転⾞の安全性をどう評価するのか︖◆自動運転⾞の安全性評価の課題【公道実⾞⾛⾏テストの徹底的な実施による評価】- 誤作動やテストドライバ介⼊事例を収集・改善して安全性を高める- 実⾞公道試験によるランダムサンプリングでは交通イベントの収集が不⼗分

独PEGASUSプロジェクトにおけるシナリオベースの安全性評価アプローチ
交通イベント データ分析 数値（統計） テストシナリオ
データ収集 （軌跡など） 分布データベース
生成

実交通環境データ（フィールド⾛⾏/テスト⾛⾏/事故データ等）

実交通実態（エビデンス）

テスト実施

シミュレーション等を活用した評価/テスト(H. Weber et al.: A framework for definition of logical scenarios for safety assurance of automated driving, Traffic injury
prevention 20 (sup1), S65-S70)

6自動運転⾞の安全性をどう評価するのか︖◆独PEGASUSプロジェクトにおけるシナリオ定義のための6レイヤーモデル- シミュレーション等によるシナリオベースの安全性評価- 生成したテストシナリオが⼗分であることを⽰す必要性（網羅性の担保）

レイヤー6
レイヤー5

データと通信環境条件

レイヤー4

交通参加者（移動物体）

レイヤー3

道路/交通インフラの⼀時的変更（工事など）

レイヤー2

交通インフラレイヤー1

道路(H. Weber et al.: A framework for definition of logical scenarios for safety assurance of automated driving, Traffic injury
prevention 20 (sup1), S65-S70)

7

国内における安全性評価手法の取組み◆3要素別の網羅的なシナリオ体系と交通外乱シナリオ
認知判断

操作(制御)SAKURAプロジェクト検討着手（2018年度〜）(⽇本⾃動⾞工業会:⾃動運転の安全性評価フレームワークVer2.0)

・シナリオ体系︓認識・判断・操作の各要素で発生しうる危険を構造化
・交通外乱︓自⾞の安全⾛⾏を妨げる自⾞周辺の交通参加者の位置と動作 8

自動運転⾞が満たすべき安全性◆自動運転⾞の安全性に関する基本的な考え⽅
WP29 Revised framework document1) (2019年9月)
Under their ODD/OD, AD shall not cause any traffic accidents resulting ininjury or death that are reasonably foreseeable and preventable．

(出典:UN WP29)

自動運転⾞の安全技術ガイドライン (2018年9月)
⾃動運転⾞が満たすべき⾞両安全の定義を，「許容不可能なリスクがないこと」，すなわち，⾃動運転⾞の運⾏設計領域(ODD)において，⾃動運転システムが引き起こす人身事故であって合理的に予⾒される防⽌可能な事故が生じないことと定める．
(出典:国⼟交通省)

許容不可能なリスクがないこと

・Foreseeable＝予⾒できる・Preventable＝防止できる(⽇本⾃動⾞工業会:⾃動運転の安全性評価フレームワークVer2.0)

自動運転⾞の安全︓合理的に予⾒される防⽌可能な⼈⾝事故が生じないこと 9自動運⾏装置の国際基準(国⼟交通省︓⾃動運⾏装置の国際基準の概要)

自動運転⾞には，注意深く有能な運転者と同等以上の安全性が求められる 10

2．SAKURAプロジェクト概要（自動⾛⾏システムの安全性評価基盤構築に向けた研究開発プロジェクト）

11

SAKURAプロジェクト概略
プロジェクトの目的
国際動向をふまえて自動運転システムの安全性を評価する手法を開発すること
自動運転システムの安全性評価手法（キーワード︓テストシナリオ）
画像認識
機械学習
ローカライゼーション
計測⾞両

交通外乱
データ
（生）

Data Driven Approach
シナリオDB

統計分析(1)

FunctionalScenario(2)

LogicalScenario

軌跡データ（数値データ）
定点観測

統計分布
データ

Search Based Test
Parameter Search Engine

パラメータ

テストケース⾃動生成に向けた取り組み(1) Functional Scenario︓道路構造×⾃⾞動作×他⾞位置×他⾞動作で構造化されたもの(2) Logical Scenario
︓観測データ分布特性から合理的に予⾒可能なパラメータ範囲を⽰したもの(3) Concrete Scenario ︓各パラメータ値の特定の組み合わされて安全性評価テストに活用できるもの(3) Concrete
Scenario

安全性クライテリア（考え⽅の整理）12

テストシナリオ作成に必要なプロセス【Step1】
実交通環境データ収集(計測⾞両・定点観測)【Step2】
交通外乱データ処理(Functional scenario)【Step3】
パラメータ分布作成(Logical scenario)【Step4】
テストシナリオ生成(Concrete Scenario)

シナリオ用パラメータ定義

分析・パラメータ範囲特定

シナリオ生成手法開発

交通外乱データ

Min.

5%

Max.

120

140

12〜14

6〜895%

10〜12

4〜6

8〜10

2〜4

0〜2-2〜0-4〜-2-6〜-4-10〜-8

130〜140

60〜70

24シナリオ120〜1300110〜12050

080〜90100

50
90〜100150

100

100〜110

200

150

70〜80

250

200

50〜60

250

② Vo-Ve0(Relative velocity) [m/s]-8〜-6① Ve0(Ego vehicle velocity) [km/h]
frequency

計測・データ処理

Ve0 (Ego vehicle velocity) [km/h]
020-1540

60

-100

100

0.5

80

-520030

1

100

540

1.5

1050

260

2.5

160

1570

80

33.5

13

計測⾞両による交通外乱データの解析例

14定点観測による交通外乱データの解析例

15

自専道のシナリオ（24パターン）

カットイン

カットアウト

加速

減速(停止)

レーンキープ
本線
レーンチェンジ

レーンキープ合流
レーンチェンジ

レーンキープ分岐レーンチェンジ(⽇本⾃動⾞工業会:⾃動運転の安全性評価フレームワークVer2.0)

16

カットイン事例1（左レーンから他⾞が近づく）
⾞両前⽅映像

鳥瞰図
⻘︓自⾞
桃︓他⾞

パラメータ
① 他⾞減速度(前後)② 相対位置(左右，初期)③ 相対位置(前後，初期)④ 他⾞横速度(最大)⑤ ⾃⾞速度(前後，初期)⑥ 他⾞速度(前後，初期)

No.

⾞両後⽅映像
（ミラー）

[G]
[m]
[m]
[m/s]
[km/h][km/h]

値
0.03
9.6
50.1
4.4
94.5
89.9

17

カットイン事例2（右レーンから他⾞が近づく）
⾞両前⽅映像

鳥瞰図
⻘︓自⾞
桃︓他⾞

パラメータ
① 他⾞減速度(前後)② 相対位置(左右，初期)③ 相対位置(前後，初期)④ 他⾞横速度(最大)⑤ ⾃⾞速度(前後，初期)⑥ 他⾞速度(前後，初期)

No.

⾞両後⽅映像
（ミラー）

値
[G]
-0.07
[m]
3.1
[m]
34.0
[m/s]
1.05
[km/h] 44.5
[km/h] 22.4

18

他⾞カットインの特徴（データ数︓911件）

200

300

12〜1410〜128〜10

6〜84〜62〜40〜2130〜140③ dx0
相対位置(初期)(Initial distance) [m]-2〜00-4〜-2

0-6〜-450-8〜-650② Vo-Ve0
相対速度(初期)(Relative velocity) [m/s]-10〜-8100

120〜130100

110〜120150

100〜110150

90〜100

200

80〜90

200

70〜80

250

60〜70

250

50〜60

frequency① Ve0
自⾞速度(初期)(Ego vehicle velocity) [km/h]⑥ Vy
他⾞横速度(最大)(Lateral velocity) [m/s]

250
150

200
150

100

100
50

50
2.8〜3

2.4〜2.62〜2.2

1.6〜1.8

1.2〜1.4

0.8〜1

0.4〜0.6

0〜0.2

0
5〜10
10〜15
15〜20
20〜2525〜3030〜3535〜40
40〜4545〜50
50〜5555〜60
60〜6565〜70019

パラメータ間の相関関係◆パラメータ同士の関係︓自⾞速度・相対速度・相対位置に相関関係あり
相対位置(初期)② Ve0-Vo (Relative velocity) [m/s]15相関あり
10自⾞速度(初期)

70
相関あり
60

2050-5-10-15

R² = 0.247

020406080 100 120 140 160

50403020100R² = 0.222

0-55608040
200-50-5R² = 0.476-10-15
204060

80

11.5

22.5

3⑥ Vy (Lateral velocity) [m/s]3.5R² = 0.009-150-5R² = 0.009-10-15
15153.52.5
21.5
10.50

R² = 0.023

2040608070
相関なし
6050.5-5③ dx0 (Initial distance) [m]15080 100 120 140 160

21.5
10.500③ dx0 (Initial distance) [m]R² = 0.006② Ve0-Vo (Relative velocity) [m/s]

10080
60
40
20060

3
相関なし

相関なし
10160

40

② Ve0-Vo (Relative velocity) [m/s]

5020

3.5

15

③ dx0 (Initial distance) [m]

140
相関なし
120① Ve0 (Ego vehicle velocity)[km/h]

515③ dx0 (Initial distance) [m]0.560⑥ Vy (Lateral velocity) [m/s]② Ve0-Vo (Relative velocity) [m/s]① Ve0 (Ego vehicle velocity)[km/h]

R² = 0.222

4003
相関なし
2.510相関あり

20

R² = 0.006② Ve0-Vo (Relative velocity) [m/s]

160

100
80
60
40
20
0

21.5
10.50

① Ve0 (Ego vehicle velocity) [km/h]

80

R² = 0.476-1515140
相関あり
120080 100 120 140 160

120② Ve0-Vo (Relative velocity) [m/s]

他⾞横速度(最大)60⑥ Vy (Lateral velocity) [m/s]③ dx0 (Initial distance) [m]① Ve0 (Ego vehicle velocity)[km/h]

R² = 0.247040

相関あり100160-15相対位置(初期)

203.5① Ve0 (Ego vehicle velocity) [km/h]

140
相関あり
120相対速度(初期)

3相関なし
2.580

① Ve0 (Ego vehicle velocity) [km/h]

10080
60
40200

他⾞横速度(最大)⑥ Vy (Lateral velocity) [m/s]相対速度(初期)③ dx0 (Initial distance) [m]自⾞速度(初期)

1.5

22.5

3

⑥ Vy (Lateral velocity) [m/s]

3.580504030
20100

R² = 0.023
00.5

11.5

22.5

33.5

⑥ Vy (Lateral velocity) [m/s]20予⾒可能なパラメータ範囲の特定観測されたデータ(911件)

外挿

相関関係を考慮して特定した範囲観測したパラメータ範囲・相関関係を用いて将来起こり得る範囲へ拡張
21

他⾞カットインのテストシナリオ
⾃⾞速度(初期)︓80[km/h]，他⾞横速度(最大)︓1.72[m/s]相対位置(初期)[m]相対速度(初期)[m/s]

実観測データ

実事故との関係は︖

拡張したテストシナリオに実際に事故が起きるような条件が含まれているのか︖

22

他⾞カットイン事故事例（夜，雨天）
他⾞カットイン事故事例（昼，晴天）

カットイン開始タイミング︓0.00s，衝突タイミング︓2.14s※詳細な事故調査データから推定した暫定的なカットイン条件

23

「注意深く有能な運転者」の考え⽅(1)◆安全に運転するために運転者が⾏っていること【リスク認知】【判断・反応】【減速操作】(WP29 GRVA 4th VMAD IWG: Safety Criteria Study on Innovative Safety Validation Methods of Automated Driving Systems)

運転者のブレーキによる衝突回避⾏動を前提とした安全基準案を検討
3つのステップ (Ⓐリスク認知，Ⓑ判断・反応，Ⓒ減速操作) の構成

24

「注意深く有能な運転者」の考え⽅(2)◆他⾞がカットインするシーンにおける運転者の対応の流れ

危ない!

ブレーキ!
他⾞カットインが始まる 危険と判断する

ブレーキ操作を決める

アクセルペダルから⾜を離す

⾜を動かす

ブレーキペダルを踏みこむ(WP29 GRVA 4th VMAD IWG: Safety Criteria Study on Innovative Safety Validation Methods of Automated Driving Systems)

衝突を避けるための運転者のブレーキ操作を細かく分解して検討25

「注意深く有能な運転者」のブレーキ操作の模擬❺最大減速度❷アクセルペダルを離すまでの時間❸ブレーキ準備の時間❶リスク認知タイミング(TTC=1.9)❹最大減速度に⾄る時間(WP29 GRVA 3rd VMAD IWG: Safety Criteria Study for New Assessment/Test Methods of Automated Driving System)

熟練者のブレーキ操作を表す値を設定し，注意深く有能な運転者を模擬

26

国際基準(UN-R157)のカットインシナリオ◆自動運転⾞が具備すべき安全性評価に活用

境界線

Preventable[Avoidance]
Unpreventable[Best effort](UNECE: Proposal for a new UN Regulation on uniform provisions concerning the approval of vehicles with regards toAutomated Lane Keeping System)

合理的に予⾒可能かつ防⽌可能な境界によって安全性を評価

27

SAKURAシナリオデータベース◆シナリオDB︓網羅的な体系と合理的に予⾒可能で防⽌可能なシナリオを収録

実交通流の実態に即したテストシナリオを出⼒し，評価結果をフィードバック 28

3．現在の国際標準化の動向（ISO3450Xシリーズの動向およびISO21448との関係性）

29

ISO3450Xの策定状況
SC33 “Vehicle dynamics and chassis components” 議⻑・幹事︓ドイツ
WG9 “Test scenarios of automated driving systems” コンビナ︓中国
ISO
文書No

文書タイトル

Scopeの概要

プロジェクトの状況

IS発⾏計画リーダ(サブリーダ)

ISO34501

Terms and definitions oftest scenarios forautomated drivingsystems【用語と定義】

ADレベル3以上の用語と定義の明確化

IS published

22年10月中国

Scenario-based safety
evaluation framework ADシステムの試験シナ
ISO34502 for Automated Driving リオと評価プロセスの技
Systems
術枠組みの規格化【安全性評価シナリオの枠組み】

IS published

22年11月⽇本(ドイツ)

Taxonomy for Operational
ADシステムのODDを定Design Domain for an
義する階層分類の規格
ISO34503
Automated Driving System化【ODDの分類】

DIS

23年4月

イギリス
(⽇本)

CD

23年10月オランダ（ドイツ）

ISO34504

Scenario attributes andcategorization【シナリオの評価】※ISO34505の動向は別途調査中

試験シナリオの属性とカテゴリ分けの定義

30

ISO34502の策定状況︓22/11に発⾏

SC33/WG9(安全性検証シナリオ) 2018年〜
⽇本は⾃動運転安全性の国際的な議論をリード(⾃動⾞技術会: ⾃動⾞の標準化2021)

31

ISO21448とISO34502の関係性

ISO21448(SOTIF)とISO34502は相互に参照する関係

32

ISO34502とSAKURA成果の関係
Annex L →J
Positive riskbalanceTest-scenario based safety evaluation process(Final ISO 34502 Figure 2)
Detailed informative contents

Annex N →L
Traffic data todevelopparameter
rangesAnnex H →G
Scenario DatabaseAnnex F
Definition ofparameter
rangesSAKURApublicationreference[1]Annex G→F
Qualification of
VTP
Annex I → H
Segmentation oftest space

Annex A
Physics principles
scenario-based
approach
Annex B
Traffic related
critical scenario
Annex C
Perception related
critical scenario
Annex D Vehicle
control related
critical scenario

Annex K → I
BSAAnnex J → G+Parametervariation method

Annex E
Criticality analysis
Annex M →K
Identification of
unknown cs[1] THAL, S. et al. Incorporating safety relevance and realistic parameter combinations in test-case generation for automated driving
safety assessment. In 2020 IEEE 23rd International Conference on Intelligent Transportation Systems (ITSC). IEEE, 2020, p. 1-6.

シナリオベースの安全性評価プロセスにプロジェクト成果をインプット

33

国際連携・協調に向けた活動の実施

・シナリオ・論証体系協調

・ARTS・TRB

・欧州内の調和動向把握

・シナリオDB協調

・PEGASUS-WS・ESV・SAKURA-WS
・SIP-adus-WS

・ITS-WC

・北⽶論証データ構築

さまざまな国際学会/会議，bilateral会議/WSなどにより連携・協調を推進 34

4．まとめと今後の取組み

35

まとめ
自動運転⾞に求められる安全性とは・運⾏設計領域において合理的に予⾒可能で防止可能な事故が起きないこと・合理的に予⾒可能な範囲と防止可能な範囲を定められる手法が必要◆ 合理的に予⾒可能な範囲を定めること
・実交通環境データの収集・分析に基づいて将来起こり得る範囲を推測し，⾃動運転⾞の対応⼒を試すテストシナリオを用意◆ 防⽌可能な範囲を定めること
・注意深く有能な運転者によるブレーキ操作と比べることにより，⾃動運転⾞の対応⼒の安全性を判断する基準案を用意
・自専道×本線渋滞×⾞線維持の自動運⾏装置の国際基準に反映された・機能拡大や一般道へ対応するシナリオ・評価基準を引き続き作成する

36

今後の取組み（2022年度〜）
自動運転の安全性評価基盤構築の検討(SIP自動運転と連携)
・DIVP(Driving Intelligence Validation Platform)，⾃動運転技術(L3/L4)に必要な認識技術等に関する研究(AD-URBAN)と連携
安全性評価評価基盤(安全性評価基盤検討合同ワークショップ︓⾃動運転安全性評価合同推進TFの概要)

一般道への安全性評価手法の拡張
・⼀般道のシナリオ体系の開発，交差点評価などについて取組みを推進中
国内の関連プロジェクトと連携して安全性評価基盤/手法を開発中

37

【参考】 安全性評価基盤の現状◆安全性評価評価基盤︓SAKURAシナリオDBとDIVP仮想評価環境が結合

Scenario modeling
Test data generationScenario database
Use case
Knowledge
Data

Virtual environment

Test scenario
Simulation
test data

Simulation

Real world data

Visualize results

Evaluation(S. Taniguchi: A linked scenario database and virtual environment to enhance automated driving safety and development speed）

網羅的な体系に基づいて生成されるシナリオが循環する評価基盤を構築中

38

ご静聴ありがとうございました
https://www.sakura-prj.go.jp/

本講演は，経済産業省 「無人⾃動運転等のCASE対応に向けた実証・支援事業（⾃動⾛⾏システムの安全性評価基盤
39構築に向けた研究開発プロジェクト）」 成果の⼀部をまとめたものであり，関係各位に対してここに謝意を表します．

【参考】 SAKURA project ウェブサイト
プロジェクト概略・対外的な活動を適宜公開 (https://www.sakura-prj.go.jp/）40