日本ソフトウェア科学会第 38 回大会 (2021 年度) 講演論文集

運転挙動の特徴に基づいた自動運転システムのテス
ティング
Paolo Arcaini, Xiao-Yi Zhang, Fuyuki Ishikawa
自動運転システムのテスティングにおいては，シミュレーターにおいて他車の位置や挙動などのシナリオ設定を適切に行い，一定の網羅性をもつテストを行うことで，システムの挙動に対する理解と確信を深めることが重要である．
ここで網羅性の一つの基準として，急ブレーキや急ハンドルなど特徴的な挙動やそれらの組み合わせについても，それらを引き起こすようなテストにより確認ができることが望ましい．しかしそのような挙動には非常に限られたシナリオでしか発生しないものもあり，それらを引き起こすようなテスト設計は困難である．本発表においては，運転挙動の特徴に関するパターンを導入し，パターンやその組み合わせがより顕著であるようなシナリオを自動生成する手法について論じる．産業界から提供された経路計画プログラムのプロトタイプに対して提案手法を適用し，狙ったパターンを引き起こすようなシナリオ設定が可能であることを確認した．

Testing of autonomous driving systems requires proper scenario conﬁgurations of simulators such as positions
and behaviors of other cars. Speciﬁcally, tests with a certain coverage criterion will increase understanding
and conﬁdence on the target system. In this paper, we consider a criterion on the behavior characteristics:
we should have tests that cover speciﬁc behaviors such as strong braking or large steering as well as theircombinations. However, it is diﬃcult to design scenario conﬁgurations that trigger such speciﬁc behaviors.
In this talk, we introduce patterns on driving behaviors and a method for automatically generating scenarios that activate such patterns or their combinations. We applied the proposed technique to a prototype
provided by our industry partner and demonstrated its eﬀectiveness.

きい場合」など特徴的な状況に対するシステムテスト

1 背景を検討する．自動運転システムにおいても同様に，多膨大な環境に対して安全，適切な動作が求められる様な観点からテストの適切性を定めることが重要と自動運転システムに対しては，シミュレーションによ考えられる．基本的な基準として，右折や追い越し，るテストが非常に重要な役割を果たす．この際，テス車線変更といったシナリオ状況ごとのテストを考えトの適切性に対する基準を定めることで，必要なテスることは広く行われてきた．しかし，同じ右折であっトを導出することが必要である．従来のソフトウェアても対向車が来るタイミングなどによって全く異なるプログラムであれば，コードに対するカバレッジ指標

運転挙動がとられることになるため，運転挙動の十分が広く用いられている．他にも要求や設計のモデルにな確認という観点では不十分である．

対するカバレッジや，「入力データサイズが非常に大2 提案手法
Targeting Patterns of Driving Characteristics in Testing Autonomous Driving Systems
Arcaini, Zhang, Ishikawa, 国立情報学研究所, NationalInstitute of Informatics, Japan.
This article is an extended abstract for a talk on work
already published: Targeting Patterns of Driving
Characteristics in Testing Autonomous Driving Systems, ICST 2021

本研究では，自動運転システムのうち，ハンドル角や加減速を決定する経路計画機能を対象としたテストについて論じる．経路計画機能は，多種センサーを含む認識機能から，他車や歩行者の位置などの認識結果を受けて，自車が進むべき方向や速度を継続的に更新し続ける．経路計画機能の出力に基づいて，加減速やステアリングの操作が実行されることになる．
経路計画機能を対象とした場合，その出力となる

表1

運転挙動に関するフラグ列の例

t0 t1 t2 t3 t4 t5 t6 t7 t8 t9 t10 t11 t12

運転挙動に対して「十分に確認を行った」ということ

DC1 F T T F T T T T F T T

TFが重要となる．そのための一つの観点として，運転挙

DC2 T T T F F F F T F F T

T

T

動の特徴に基づいたテストを行うことが考えられる．
経路計画を構成する加減速やステアリングに関する作がなされる場合をテストに含める．

特徴，例えば急ブレーキや急ハンドルといった挙動，運転挙動に関する単独の特徴を確認する場合，対あるいはそれらの組み合わせを意図的に引き起こし，象とするフラグの値がより長く連続して真となると検証を行うということである．しかし，そういった挙き，その特徴がより強く現れたと判断する．つまり，動は，他車や歩行者との位置関係やタイミングの限らあるシミュレーション実行結果において，対象とするれた状況でのみ発生する．テスト設計として，そのよフラグが連続して真となったステップ数の最大値を，うな挙動を引き起こすようなテスト，すなわちシミュテストの評価値として用いる．例えば表 1 におけるレーターのシナリオ設定を得ることは非常に困難でDC1 の場合，ステップ t4 から t7 において真となっある．またパラメーターを一定間隔で変えるグリッドているのが最長である．このテストケースは，運転特方式でのテストや，ランダムテストにおいても，特定徴 DC1 をテスト目標としたとき，関連度は 4 であるの運転挙動はなかなか引き起こされない．ということができる．

そこで本研究においては，特徴的な運転挙動を意図運転挙動の特徴組み合わせを確認する場合，まずは的に引き起こすようにシミュレーター上のシナリオ設二つの特徴に関するフラグ列が重なり合う部分を考定を行うテスト生成を行う手法に取り組んだ．以下にえる．単独の特徴の場合と同様に，二つの特徴に関す提案手法の構成要素を概観する．詳細については [1]るフラグがともに連続して真となる列の長さを関連を参照されたい．

度として考える．票 1 の例の場合，DC1 と DC2 については，ステップ t1 から t2 ，および t1 0 から t1 1

2. 1 シミュレーションログからのフラグ列抽出において両フラグが真になっており，関連度は 2 とし個々のシミュレーション実行結果から，運転挙動のてとらえることができる．

特徴を抽出する．シミュレーション実行結果の各ス

運転挙動の特徴組み合わせについては，二つの特徴

テップにおいて，一定値以上の強さでブレーキがなさに関するフラグが重なり合うことはないが，近接しれたかどうか，一定以上の大きさでステアリング操ているという場合も関連度があると見なす．急加速の作がなされたか，といった二値フラグの値を求める．

直後に急減速を行うような場合である．この場合は，これにより，個々のシミュレーションログから，加速二つの特徴それぞれが真となるステップ間の距離が小や減速，横方向の加速，曲率などの運転特徴ごとのフさく，かつそれぞれの特徴がより長く続くほど関連度ラグ列を抽出できるようにする．

が大きいと見なす．

2. 2 フラグ列に基づくテスト目的との関連度測定

2. 3 Search-Based Testing の適用

個々のシミュレーション実行結果が，テストの目的

Search-Based Testing は，メタヒューリスティックにどれだけ合致しているかを評価する指標を定める．

最適化を用いてテスト生成を行う手法である．テスト

ここでテストの目的としてはまず，一定値以上の強さの目的を最適化の目的関数（効用関数）として設定すでのブレーキがなされるなど，運転挙動に関する単独ることにより，目的に応じたテストを生成することをの特徴を確認することを考える．加えて，それらの組狙う．本研究においては，前述の関連度を目的の一部み合わせを確認することも考える．例えば，一定値以とすることにより，特徴的な運転挙動を示すようなシ上のブレーキと同時に一定値以上のステアリング操ナリオ設定を導出する．

ここで，「やむなく長時間の減速・停止を行う」といった特徴的な振る舞いは，必ずしも衝突直前のようせを狙ってシミュレーション設定を見つけ出すことが可能となった．

な危険な状況ばかりではなく，安全な通常走行中でも本研究の提案技術は，シミュレーターに対する依存起きる可能性がある．このため提案技術では，他車や性は少なく汎用的であると考えられる．今後オープン歩行者との距離が大きく危険度が低いことも目的関

ソースによるシミュレーターなど，他の自動運転シス数に含めるようにしている．

テムに対する適用・評価も進めていきたい．また本研
究にて扱った運転挙動というテスト観点は，自動運転

3 結果と今後の展望システムの安全性を示すための一つの観点であるた

本研究のテスト生成技術は，企業から提供された経め，他の観点についても研究を進めていきたい．

路計画プログラムの研究用プロトタイプに対して適用した．提案手法により，ほとんどの状況において，謝辞

ランダムシミュレーションではなかなか起きないよう

本研究は JST ERATO-MMSD プロジェクト（JP-な，特徴的な振る舞いを生成することに成功した．
例えば，信号がない交差点での右折において，向MJER1603）および JST MIRAI-eAI プロジェクト（JPMJMI20B8）の支援を受けたものである．

かいから来る車と右から来る車のタイミングにより，大きく減速すると同時に大きくハンドルを切るといっ

参 考 文 献た振る舞いや，大きな減速後，大きな加速を行う振る[1] Arcaini, P., Zhang, X.-Y., and Ishikawa, F.: Targeting Patterns of Driving Characteristics in Testing Autonomous Driving Systems, 2021 14th IEEE
Conference on Software Testing, Veriﬁcation andValidation (ICST), 2021, pp. 295–305.

舞いが起きるシミュレーション設定をそれぞれ生成することができた．これまでなら人間が設計することは非常に困難なケースでも，特定の振る舞いの組み合わ