神奈川工科大学 研究推進機構

先進自動車研究所
令和３年度 研究報告資料
運転リスク予測のためのコンテクストセンシングアルゴリズムの研究

先進自動車研究所 井上秀雄
先進自動車研究所 上原健一
株式会社NTTデータ オートモビリジェンス研究所
Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

1目次
1. 既往研究2. 今年度の取組み内容
3. まとめKanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

2

１．既往研究

Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

3

既往研究 概要
コンテクストセンシング

階層型自律移動アーキテクチャ
大域行動(数十秒)
行動最適化

予測行動(～10秒)
静止物・歩行者回避

運転指導員を規範とした無信号交差点通過速度
2012ポンサトーンら(1)

リスクポテンシャルによる経路計画
2015長谷川ら(4)狭路における歩行者の急横断2013林ら(2)セイフティクッション第二報
2019久米ら(5)反射行動(～1秒)衝突回避

コンテクストによる交差点推奨速度2021齊藤ら(6)AEB衝突速度でリスク表現
2016清水ら(3)Risk Estimation
with Learning AI

行動予測
機械学習データベース(DataLake)

ヒヤリハットWAYMOBerkeley

行動決定Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

：4

既往研究 論文
(1) ポンサトーン・ラクシンチャラーンサク, 長谷川大悟, 岩澤一成, 道辻洋平: 無信号交差点における歩行者事故防止のための危険予測運転ドライバモデルの構築, 自動車技術会論文集, Vol.43, No.6, pp.1379-1385, 2012.

(2) 林隆三, 青柳宗一郎, 露木元, 西郷慎太朗, 永井正夫: 狭路における歩行者の急横断に備えた危険予測運転メカニズム,自動車技術会論文集, Vol.44, No.6, pp.1439-1444, 2013.
(3) 清水司, ポンサトーン・ラクシンチャラーンサク, 大桑政幸: 緊急ブレーキを仮定した衝突速度に基づく潜在リスクの定量化, 自動車技術会論文集，Vol.47, No.6, pp.1411-1416, 2016.
(4) 長谷川隆裕, ポンサトーン・ラクシンチャラーンサク, 山崎彬人, 毛利宏, 永井正夫: リスクポテンシャルを考慮した最適制御理論による自律運転知能システムに関する研究,自動車技術会論文集, Vol.46, No.2, pp.497-502, 2015.
(5) 齊藤裕一, 井上秀雄, ポンサトーン・ラクシンチャラーンサク: セイフティクッション：走行環境文脈と運転行動状態に基づく危険度推定モデルの構築（第二報）, 2019年度自動車技術会春季大会学術講演会前刷集, No.51-19, 6 pages, 2019.
(6) 齊藤裕一, 菅谷文男, 井上慎太郎, ポンサトーン・ラクシンチャラーンサク, 井上秀雄: 見通しの悪い交差点における推奨速度を決定するコンテキストアウェアドライバモデルの提案, 2021年度自動車技術会秋季大会学術講演会前刷集, No.94-21, 6 pages,
2021.

Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

5

２．今年度の取組み内容

Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

6

今年度の取組み内容 一覧① リスク要因の認識方法の検討② リスクシナリオの作成③ セイフティクッションによるリスク評価④ 模範ドライバモデルの作成⑤ GARDEN適合性検証
その他
a. カメラHILSを使用した安心感主観評価
b. ヒヤリハットデータベースから歩行者飛出しシーンの自動検出

Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

7

①リスク要因の認識方法の検討
物体検出
【目的】
歩行者，自転車，自動車，信号機の検出【認識方法】
YOLOv5【応答性能】
画像サイズ640x480で30FPS(GPU：GeForce RTX 2060 )

白線検出
【目的】
自車線，他車線の検出【認識方法】
Ultra-Fast-Lane-Detection【応答性能】
画像サイズ640x480で10FPS(GPU：GeForce RTX 2060)

Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

地図【目的】
・交差点位置推定
・道路線形認識・車線数（一部の道路のみ）【認識方法】
Eagleye(GNSS+IMU+車速)による自己位置推定結果(緯度経度)に対応した地図をOpenStreetMapから取得

深度推定
【目的】
・距離推定
・死角の検出【認識方法】
Struct2depth(単眼カメラ画像からディープニューラルネットワークを使用して深度推定)8①リスク要因の認識方法の検討
CarMaker映像もYOLOv5で認識できることを確認システム構成図

YOLOv5CarMaker

ROS1

ROS2
ROS1
ROS2
BridgeストリームをROSイメージに変換して送信

Streaming

CameraSensor※YOLOv5動作環境であるPython3を使用するためにROS2を使用

Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

9

②リスクシナリオの作成
１週4kmのリスクシナリオ評価コースをCarMakerで作成

Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

10

②リスクシナリオの作成
評価コース（４エリア）

Area 1 : 4車線
Area 2 : 3車線
Area 3 : 2車線
Area 4 : 1車線

Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

11

②リスクシナリオの作成
ヒヤリハットデータベースの駐車車両車陰から歩行者飛出しシーンをCarMakerで作成

元動画

Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

12

③セイフティクッションによるリスク評価
既存回帰式(5)を使用して，作成したシナリオのRiskValueを算出した【リスク要因】・歩行者と車両は画像から自動認識
・道路構造等はシナリオに埋め込んだ真値を使用【RiskValue】
・リスク要因を既存回帰式に入力して算出
・回帰式は駐車車両車陰飛出しのものを使用

Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

13

③セイフティクッションによるリスク評価◼ 歩道有無によるRiskValueの増減は感覚と一致している
歩道あり

歩道なし，路側帯あり

歩道なし，路側帯なし

RiskValue:904.3

RiskValue:934.4

RiskValue:960.2

RiskValue:923.2

RiskValue:953.3

RiskValue:979.1

２車線

１車線

Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

14

③セイフティクッションによるリスク評価◼ 駐車車両や歩行者が存在する場合，RiskValueが低下する⇒感覚と不一致
駐車車両なし駐車車両ありRiskValue:914.5

RiskValue:903.7

歩行者なし

歩行者あり

RiskValue:953.3

RiskValue:939.1

Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

15

④模範ドライバモデルの作成
OEMで40年経験を積んだテストドライバにヒアリングして模範ドライバモデルを作成した
40km定常走行

模範ドライバモデルvyKanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

16

④模範ドライバモデルの作成

安 心 感◼ 模範ドライバモデルに対してカメラHILSによる主観評価を行ったところ，安心感が「Excellent」「Good」に集中

KAITカメラHILS（後述）
Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

17

⑤GARDEN適合性検証
GARDEN フレームワーク概要

Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

https://open-garden.github.io/garden/ja/

18

⑤GARDEN適合性検証
GARDENを使用してヒヤリハットデータベースの駐車車両車陰からの歩行者飛出しシーンを作成
RoadEditor

ScenarioExecuter

現在，建物，歩行者を配置できない

Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

19

⑤GARDEN適合性検証
GARDENに対する要件
分 類

要 件

Scenario

歩行者，自転車等を配置し，動作，飛出しタイミング等，自車の動きに合わせて動作できる

EditorScenario Modelerで定義したスキーマやOpen SCENARIO等のスキーマに沿ってシナリオが記述できる
機能シナリオ-論理シナリオ-具体シナリオがシナリオ構成要素単位で連携して記述できる（現状ファイル単位）

Road
Editor

建物，植生，歩道，縁石，信号機，ガードレール，交通標識といったアセットを配置できる
Google Map等から出力したKMLファイルをインポートして道路を自動作成できる
RoadEditorに取り込んだOpen Street Mapの構造物(Fig.1)をScenario Executerで再現できる．その際，Google Mapの衛星画像も構造物のテクスチャとして再現できる

全体

Scenario EditorやRoad Editorで記述したものをすぐにScenario Executerで試せるといっ
た，各ツール群の連携性の向上
Open SCENARIO，Open DRIVE等の国際標準への対応

Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

Fig.1 OpenStreetMap20【参考】 a. カメラHILSを使用した安心感主観評価
カメラHILSにCarMakerによるリスク評価用シナリオを車速（20km,30km,40km）を変えて投影し，評価パネラに安心感を評価してもらう
KAITカメラHILS

ドームスクリーン

評価パネラ
閲覧
リスクを感じたらボタン押下

Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

21

【参考】 a. カメラHILSを使用した安心感主観評価◼ リスク要因

Oncomingvehicle

Pedestrian
direction

Parkedvehicle◼ 評価対象・駐車車両・歩行者

・建物・交差点

Pedestrian

Avoidance
space

Ygapv

Egovehicle

Ygap
Sidewalkv

No
avoidance
space

Egovehicle

Ygap :
リスク対象との横距離v:
車速
Avoidance space :退避スペース有無
Oncoming vehicle : 対向車有無
Sidewalk :歩道有無
Pedestrian direction : 歩行者の向き（正面，背面）
Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

22

【参考】 a. カメラHILSを使用した安心感主観評価
評価パネラによる安心感評価の例• 評価パネラは６名• コース１週あたり27テストケース• 車速を変えてコースを３周(20, 30, 40km/h)• パネラ１名あたり81テストケース

Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

23

【参考】 a. カメラHILSを使用した安心感主観評価
安心感評価結果
Area 1

Unacceptable
Very Poor

Area 2

Area 3

40km/h

Good

安 心 感

Max value

25 Percentile
Min value

ExcellentVery Poor

凡例

75 Percentile
MedianPoor

Unacceptable

Area 430km/h

Average

Poor
Good
Excellent
Unacceptable
Very Poor

評価対象

20km/h

駐車車両

Poor

歩行者

Good

建物

Excellent

Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

交差点24

【参考】 a. カメラHILSを使用した安心感主観評価
パネラ評価結果からリスク要因と安心感の回帰式を構築
駐車車両:

𝑆 = 𝛽0 + 𝛽1 𝑣 + 𝛽2 𝑌𝑔𝑎𝑝 + 𝛽3 𝑂 + 𝛽4 𝐴

建物／交差点:𝑆 = 𝛽0 + 𝛽1 𝑣 + 𝛽2 𝑌𝑔𝑎𝑝 + 𝛽3 𝑂 + 𝛽4 𝐴 +𝛽5 𝑊

歩行者:

𝑆 = 𝛽0 + 𝛽1 𝑣 + 𝛽2 𝑌𝑔𝑎𝑝 + 𝛽3 𝑂 + 𝛽4 𝐴 +𝛽5 𝑊 + 𝛽6 𝐷

𝑆:
安心感𝑣:
自車速
𝑌_𝑔𝑎𝑝: 横方向距離
𝑂: 対向車有無
A:退避スペース有無
𝑊: 歩道有無
𝐷: 歩行者の向き

車速
横距離
対向車

退避スペース
歩道有無
歩行者の向きKanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

回帰係数の大きいもの程寄与が高い25

【参考】 a. カメラHILSを使用した安心感主観評価
回帰係数からみた，各リスク要因の安心感に対する寄与率

既往研究の着目要因と一致
横距離

駐車車両

歩行者

車速と横距離の寄与大

車速と横距離と歩道の寄与大建物
車速と歩道と退避スペースの寄与大

縦距離

交差点
車速

車速と横距離の寄与大緊急ブレーキを仮定した衝突速度に基づく潜在リス
クの定量化,2016,清水ら

横距離
歩道有無
車速
対向車
歩道有無

横距離
退避スペース有無
歩行者の向きKanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

見通しの悪い交差点における推奨速度を決定する
コンテキストアウェアドライバモデルの提案(6)26

【参考】 a. カメラHILSを使用した安心感主観評価
回帰式でリスク要因から計算した安心感と主観評価による安心感の一致性は良好
Unacceptable

Area 1

Area 2

Area 3

Area 4

安 心 感

Very Poor

Poor
回帰式から算出された安心感

評価対象
駐車車両

Good

歩行者
建物

Excellent

模範ドライバモデル主観評価結果

Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

交差点
27【参考】 b. ヒヤリハットデータベースから歩行者飛出しシーンの自動検出
ヒヤリハット動画（歩行者飛出しケース）から画像認識によって危険シーンを自動抽出できるか確認を行った

出典：ヒヤリハットデータ
ベース
https://web.tuat.ac.jp/~smrc/drcent
er.html
Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

28

【参考】 b. ヒヤリハットデータベースから歩行者飛出しシーンの自動検出抽出アルゴリズム◼ 画像認識ソフト：Python, YOLOv5◼ 車両の前に人物を認識した場合に危険と判定

幅25px以上⇒認識BoundingBoxの位置と大きさにより判断✓ BoundingBoxの横方向中心位置が画像内の200px～400px以内に存在✓ BoundingBoxの幅：25px以上， 高

高さ50px以上
横方向中心さ：50px以上

ヒヤリハット動画サイズ 横：640px 縦：400px，480px
Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

29

【参考】 b. ヒヤリハットデータベースから歩行者飛出しシーンの自動検出◼ ヒヤリハットデータ歩行者飛出しケース1967件のうち，499件についてヒヤリハットシーンの検出に成功(成功率25%)◼ 検出失敗：1,468件（997件：ヒヤリハット対象歩行者以外を危険と判断．471件：歩行者を認識できなかった）

人以外を検出

検出結果

正しく横断中の人を危険と判断

検出成功例

Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

危険な歩行者を認識できず危険な歩行者を認識できず検出失敗例（画像認識性能および認識後の評価に課題）30

【参考】 b. ヒヤリハットデータベースから歩行者飛出しシーンの自動検出◼ 昼夜別に検出状況をみると，検出状況に差異は見受けられなかった

Fig.1 ヒヤリハット歩行者飛出し
シーンの昼夜の割合(8:00～16:00を日中と定義)

Fig.2 全体の検出成
功・失敗率

Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

Fig.3 昼間の検出成
功・失敗率

Fig.4 夜間の検出成
功・失敗率

31

３．まとめKanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

32

今年度達成できたこと① リスク要因の認識方法の検討✓ YOLOv5は，実車映像およびCarMaker画像双方に適用できることを確認✓ 緯度経度に応じた地図情報をインターネットから取得できることを確認(広域を一括取得することで性能確保)② リスクシナリオの作成✓ CarMaker上で既往研究のリスク要因となる地物を配置できることを確認✓ CarMaker上でヒヤリハットシーンを再現できることを確認③ セイフティクッションによるリスク評価✓ 既往研究の回帰式では，RiskValueが感覚に一致する場合と不一致になるケースがあることがわかった④ 模範ドライバモデルの作成✓ 複数パネラによる主観評価としても安心感を与える運転モデルを構築できた⑤ GARDEN適合性検証✓ 実際にシナリオを作成し要件抽出を行った
Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

33

今年度明らかとなった課題① リスク要因の認識方法の検討➢ 悪条件下における物標の認識精度➢ 危険な歩行者の判定方法．物体検出では歩行者の存在はわかっても，向きや行動意図はわからない(Fig.1)➢ 駐停車車両判別方法(対象物の速度推定)➢ 車線の認識精度不足➢ シミュレーション環境における地図の利用方法➢ 深度推定は精度があまり高くないため，死角検出には利用できない➢ 地図から交差点位置推定や道路線形認識を行うアルゴリズム② リスクシナリオの作成➢ 歩行者の動作などのリアルさが不足

歩行者(警察官)の意図不明瞭➢ 前提条件やパラメータセッティング等の検討不足

Fig.1 意図不明な歩行者の例

Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

34

今年度明らかとなった課題③ セイフティクッションによるリスク評価➢ 既存回帰式の適用可能性（ヒヤリハットデータの利用法に課題）④ 模範ドライバモデルの作成➢ コンテクストセンシングアルゴリズムへの反映⑤ GARDEN適合性検証➢ 前掲の要件のとおり

Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

35

来年度実施内容① 以下のSTEPでリスクシナリオ作成とコンテクストセンシングシステム開発を推進する➢ STEP1 無信号交差点からの歩行者および自転車飛出し➢ STEP2 直線、カーブ並走歩行者および自転車➢ STEP3 片側２車線信号交差点右左折歩行者および自転車② リスクシナリオの作成➢ 歩行者行動等のリアルさの拡充

Fig.1 リスク要因(6)➢ 車速，横方向距離，歩行者速度，歩行者行動等のパラメータセッティングを精緻化➢ 2021年齊藤ら(6)の研究成果に基づくリスク要因(Fig.1)を作りこむ➢ リアルな映像をもとに危険なところを再現モデル化(どのように要因を入れた道路ユーザーを設定していくか)

Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

36

来年度実施内容③ リスク要因の認識方法の確立➢ 死角や歩道検出の為にセマンティックセグメンテーションを使用する➢ 車線認識精度の向上➢ 駐停車車両の判別方法➢ 交差点、道路線形などの検出を地図利用でシミュレーション環境上で実行する➢ 歩行者行動の認識に関してはRELAIを視野に入れつつ必要に応じて検討④ ドライビングコンテクストセンシングアルゴリズム開発➢ 無信号交差点通過速度に関しては2021年の齊藤らの回帰式を活用

出典：https://jp.mathworks.com/help/mpc/ug/highway-lane-following.html➢ 顕在リスク（歩行者、自転車）対応➢ 模範ドライバの運転と比較・反映⑤ 車両制御システム➢ MathWorksの自動運転モデル(Fig.1)をベースに開発する⑥ シミュレーション環境によるコンテクストセンシングアルゴリズムの検証
Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

Fig.1 Mathworksモデル
37

来年度実施内容
セマンティックセグメンテーション（PaddleSeg）【PaddleSeg】

元画像（東京） 元画像＋出力結果（高得点クラス）

・Baidu(百度)のPaddlePaddleというAIフレームワークによるセマンティックセグメンテーション
・2020年CityScapesデータセットでState-of-the-Art
・右の動画の例では，日本の道路(東京)に対して既存学習済みモデルで認識できている・画像サイズ４Kを640×360に縮小して認識
GPU：RTX3060Tiで9FPS程度

出力結果（全クラス）

CityScapesデータセットクラス定義

出力結果（高得点クラス）

出典：https://www.youtube.com/watch?v=CFFX-aS7IV4

Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

38

来年度実施内容
2021年齊藤らの研究成果(6)の回帰式（無信号交差点からの飛出し）を利用する
交差点通過速度＝※これまでの研究と同様にヒヤリハットデータベースから導出されているが，データ処理方法が改善されている

説明変数（リスク要因；xpi)
LATERAL DISTANCE ： 横方向距離
RESIDENTIAL ： 住宅地

切片(b0)

SIDE１ ： 歩道なし，路側帯なし
SIDE2 ： 歩道なし，路側帯あり

2 LANE ： 対面２車線

回帰係数(bp)

HIGH PV ： 高駐車車両密度（６台以上）
LOW PED ： 低歩行者密度（２人以下）
MID PED ： 中歩行者密度（３～９人）

HIGH TRAF ： 高交通量（１０台以上）

Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

Fig.1 リスク要因と交差点通過速度(6)39コンテクストセンシング概要図【リスク要因】【シミュレーション評価】
各種シナリオとパラメータバリエーションリスク
顕在リスク【車両制御】
・速度・横位置

シナリオ要因および対象物標・歩行者 ・自転車 ・対向車 ・並走車
・オートバイ ・交差点 ・カーブ

【ドライビングコンテクストセンシング】
v
Y

予防行動
決定

距離算出／
行動予測

認識

死角内の歩行者／自転車／車両／オートバイ

回帰式(6)

リスクポテンシャル(4)Mathworksモデル

Kanagawa Institute of Technology, Advanced Vehicle Research Institute (VRI).

潜在リスク

認識

コンテクスト要因
・住宅地 ・歩道／路側帯
・車線 ・駐車車両
・周辺の歩行者数
・周辺の交通量40