DEIM Forum 2019 A7-4

ドライブレコーダデータに基づくヒヤリハット発生予測
瀧本

祥章

田中

佑典

倉島

健

山本

修平

大川

真耶

戸田

浩之

日本電信電話株式会社 NTT サービスエボリューション研究所〒 239–0847 神奈川県横須賀市光の丘 1-1
E-mail: {yoshiaki.takimoto.ar,yusuke.tanaka.rh,takeshi.kurashima.uf,
shuhei.yamamoto.ea,maya.ookawa.af,hiroyuki.toda.xb}@hco.ntt.co.jp
あらまし

現代社会において，自動車は欠かせない移動手段のひとつである．しかし，自動車による交通事故は依然として多く，交通事故の防止は重要な社会課題のひとつである．そこで本研究では，今日普及が進んでいるドライブ
レコーダを用いてヒヤリハットの発生を予測する手法を提案する．ヒヤリハットとは交通事故に繋がりうるような危険な状態であり，この発生を予測し，適切な対処を行うことにより，交通事故発生が予防できると考えられる．具体的な取り組みとしては（1）実データ分析に基づき，ヒヤリハットの発生予測に必要な要素の抽出を行い，（2）生存分析
モデルを基礎として，抽出した要素を効果的に組み込んだモデルを設計する．評価実験では，実際のドライブレコー
ダデータを用いて，ヒヤリハットの発生時刻を正確に予測できるか検証し，従来技術に対して精度が向上することを確認した．
キーワード 生存分析，深層学習，ドライブレコーダ，ヒヤリハット

1 はじめに事故を防ぐためのシステムが求められている．そのようなシステムとして例えば，ドライブレコーダを用いて，予め発生しう

現代社会において，自動車は人々に欠かせない移動手段のひる事故を予測し，運転手へ注意喚起を行い，事故に備えさせる

とつである．しかし，自動車による交通事故は依然として多く，システムが考えられる．ドライブレコーダは約 2,000 円から購

日本においては，平成 28 年度の交通事故による死傷者数は約入できるため非常に安価であり，現在でも約 26%の自家用車に62 万人である [1]．また，交通事故は莫大な経済損失を生み出搭載されている [7]．

す．例えば，交通事故によって引き起こされる渋滞や事故被害

本研究では，交通事故を未然に防ぐため，今日普及が進んで者の労働力の損失，警察などの事故対応に必要な稼働が挙げいるドライブレコーダにより取得できるデータを活用する．しられる．平成 21 年度の調査では，交通事故による経済損失はかし，交通事故の発生は通常の走行時間と比較して希少である

約 6 兆円と言われている [2]．また，業務で車両を運行する法

ため，交通事故を含むようなドライブレコーダデータは少な

人にとっても，運行車両による事故は，車両修理費用や保険料

く [8]，直接交通事故を捉えることは難しい．そこで，数多くの上昇などによる直接的な費用増加に加えて，企業の信用低下やデータが得られるヒヤリハットデータに着目した．ヒヤリハッ

事業継続にも影響を及ぼすことがあり，大きなリスク要因であトとは交通事故には至らなかったものの，その一歩手前の危険る [3]．したがって，交通事故を減らすことは現代社会におけな状態である．例えば，運転手が歩行者との衝突を予測し，急る重要な課題のひとつである．

ブレーキによって回避したといった状態が挙げられる．ハイン

交通事故を減らすための手段として，自動運転車の研究開

リッヒの法則 [9] から，このようなヒヤリハットの積み重ねが，発が盛んである．日本においても，戦略的イノベーション創造

交通事故の発生を招くと考えられる．そのため，ヒヤリハット

プログラム [4] の一環として重点的に研究開発が進められていの発生を防ぐことにより，交通事故の発生を防ぐことができる

る．自動運転車は，運転の自動化の程度に基づいて Society ofと考えられる．そこで本稿では，ヒヤリハットの発生を防ぐこ

Automotive Engineers（SAE） [5] が定めた 6 段階の自動運転とを目的に，ヒヤリハットに発生時刻を予測する手法を提案

レベルによって分類できる．研究開発の観点では，2020 年を目する．

途に緊急時のみ人が運転を行うレベル 3，2025 年に基本的にシ

この実現のため，本稿ではまず実際のドライブレコーダデー

ステムが運転を行うレベル 4 の市場化が目標とされている [4]．

タを分析し，ヒヤリハットの発生予測に有用な要素の抽出を行

しかしその一方で価格などの問題から，普及の観点では，新う．この分析の結果は前方映像によって，周囲の状況やその変

車販売台数に占めるレベル 4 以上の自動運転車は 2025 年には化を捉えることが予測を行うのに必要であることを示唆する一

3%，2035 年においても 23%であると推計されるなど，その普方，時刻や緯度経度などの時空間情報や速度などのセンサデー

及には時間がかかることが示されている [6]．そのため，低価タも重要であることを示唆している．次に，生存分析モデルを格帯のレベル 3 以下の自動車や現行車で容易に実現できる交通基礎として，抽出した複数の要素を効果的に組み込んだモデル

を設計する．ここで生存分析とは，イベントが発生するまでので異なる．また，既存手法が映像のみを活用するのに対し，提時間を推定するフレームワークであり，医療分野において患者案手法は映像のみでなく時空間情報も用いる点でも異なる．

の寿命を推定するのによく用いられる手法である．具体的には，前方映像と時空間情報の 2 つの要素をモデルに組み込む．
しかし，生存分析モデルの代表的な手法である [10] はその仮定から，モデルの表現力や入力に制限があり，その解決を図った [11] においても，時系列情報を扱えない，複数の情報源を扱えないといった課題がある．これに対し，本研究では深層学習（特に RNN）の導入により，前方映像をモデルに組み込み，周囲の状況の変化に基づく発生時刻予測を可能にした．また，前方映像のみでなく，時空間情報も考慮したハザード関数を設計
し，学習することにより，予測精度を向上した．ハザード関数とは生存分析において，ある時刻までイベントが発生していな

2. 2 生存分析
生存分析はある起点から特定のイベントが発生するまでの時間を分析する手法である．特に，機器の故障や患者の寿命，病気の再発など，1 つの観測対象に対し，イベントはたかだか 1 回
しか観測できず，場合によっては観測期間中に観測できない場
合もあることを想定した手法である．具体的な実現方法はパラメトリックな手法，ノンパラメトリックな手法など様々存在す
るが，基本的なアプローチはイベントの発生しやすさを表すハ
ザード関数 h(t) を設計し，最尤推定によってパラメータを求める．その後，ハザード関数と推定したパラメータを元にイベン

いときに，その次の瞬間にイベントが発生する度合を示す関数

ト発生までの時間の推定を行う．代表的な手法として Cox の比である．

例ハザードモデル [10] が存在する．Cox の比例ハザードモデル

評価実験では，実際のドライブレコーダデータを用いて，ヒヤリハットの発生の有無を正確に推定できるか，ヒヤリハット
発生の時刻を正確に推定できるか，という 2 つの観点で技術検証を行った．その結果，従来技術よりも精度が向上すること，
時空間情報がヒヤリハットの予測に有用であることを確認した．
以降の本稿の構成は以下の通りである．まず，2 章で関連研

では，時間によるイベント発生確率の変化そのものは不明であるが，全ての観測対象に対し共通のベースラインハザード関数
が存在し，各観測対象のハザード関数はそれに比例し，各説明
変数は対数線形性を持つという仮定を置く．Cox の比例ハザー
ドモデルは種々の特徴量を考慮して生存分析が可能であるが，その強い仮定からモデルの表現力や入力には制限がある．こ究として危険の発生を推定する既存の技術と生存分析についれに対し，Zhu らは深層学習，特に CNN [14] を導入することて述べる．次に，ヒヤリハット予測に有用な知見を得るためのにより画像を扱えるようにした DeepConvSurv [11] を提案し，データ分析について 3 章で述べた後，4 章で本研究における基本的な概念の定義や問題設定を行う． その後，5 章で提案手法の詳細について述べ，6 章で提案手法を評価するために行った実験を紹介する．最後に 7 章で本稿のまとめと今後の課題について述べる．

医療用画像から高精度に患者の寿命の順序を推定できることを示した．しかし今回対象とするタスクでは，映像（時系列の画像情報）や時空間情報，センサデータなど様々な情報が予測に寄与するため，これらの情報を考慮していない DeepConvSurv
やその拡張 [15, 16] の性能には限界がある．
一方で，時系列データを考慮した手法としては [17] が挙げら

2 関連研究本章では，類似するタスクに取り組んでいる研究と提案手法が基礎として用いる生存分析モデルと，生存分析に深層学習を組み合わせた DeepConvSurv [11] について紹介する．

2. 1 危険発生予測技術
ドライブレコーダを用いてヒヤリハットなどの危険発生を予測する代表的な研究としては，Chan ら [12] の目前で発生する事故を予測する手法や，Suzuki ら [13] のヒヤリハットの発生れる．しかし，データが得られる時刻はイベント時のみであり，映像のように時々刻々と得られることを想定しておらず，今回のタスクには適用できない．
本研究では生存分析の手法に映像（時刻ごとの画像系列）を入力として扱うことを可能にしたことと，時空間情報をモデルに組み込むことにより，相対的なイベントの発生しやすさではなく，具体的なイベントの発生時刻を推定するという点で異なる．これによって，発生までの時間に応じて，注意喚起や減速，急ブレーキなどから適切な対処を選択でき，より安全，かつ，効果的に交通事故の発生が予防できると考えられる．

を予測する取り組みが挙げられる．これらの研究は，危険発生予測をクラス分類問題として定式化をしている．具体的な取り組みとして，Chan らは物体認識の結果を活用して，動的に画

3 実データの分析

像上で soft-attention を考慮することを可能にし，精度向上を

本章では，ヒヤリハットの時刻予測を行うのに有効な特徴の達成した．Suzuki らは更に，ヒヤリハット発生の直前がより特抽出について，まず，3. 1 節で分析対象としたデータについて徴を捉えやすいことに着目し，カリキュラムラーニングの考え述べる．その後，3. 2 節でデータ分析の具体的な狙いについてを組み込むことにより，より早期にヒヤリハット発生を予測で述べ，3. 3 節及び，3. 4 節で実際に行った分析，その結果につきることを示した．しかしこれらの研究は，数秒以内に危険がいて述べる．最後に，得られた知見について 3. 5 節で述べる．

発生するか否かの 2 クラス分類を行う手法であり，危険が発生する時刻は出力できず，予測可能な時間も明確でない．これに対し，提案手法はヒヤリハットが発生する時刻を出力という点

3. 1 データセット
本稿では，ヒヤリハットデータベース [18] を対象に危険が発生する前の特徴について分析を行った．ヒヤリハットデータ

35

表 1: 分析対象データの基本情報
相手車

人 自転車 バイク

単独

中/高レベル

30

合計

レベル

25

高

1

1

0

0

1

3

20

中

5

3

6

0

5

19

15

低

60

2

7

4

5

78

合計

66

6

13

4

11

100

21

18

10

17

10

5

ベースは，タクシーの運転について一定以上の急加減速をトリ
ガに，急加減速の前 10 秒，後 5 秒間の前方映像と速度などのセンサデータ記録しており，約 11 万件の危険を含むデータ（以下，ヒヤリハットデータ）と約 4 万件の危険を含まないデータ（以下，非ヒヤリデータ）で構成される．また，ヒヤリハット
データには自転車や車などのヒヤリハット相手の種別や，実際に事故の発生しやすさ度合を表す 5 段階（反応，低，中，高，事故）のヒヤリハットレベル，速度超過や信号無視などの法令違反の内容など，様々なラベルが付加されている．

3. 2 分析の目的と実施内容

低レベル

5

0
10秒以上前

9
3

2

2

2

10秒前～

7.5秒前～

5秒前～

2.5秒前～

7.5秒前

5秒前

2.5秒前

0秒前

発生後

図 1: ヒヤリハット相手が初めて前方映像に映ったタイミング

3. 4 ラベルデータの分析結果
前述のようにヒヤリハットデータベースには様々なラベル
データが付加されている．本節ではまず，データベースに保存されているラベルについて簡単に紹介する．その後，各ラベルの関係性について，本稿で実際に組み込む時刻情報を中心に述べる．

本分析を行う目的は大きく 2 つ存在する．1 つ目は，ドライ

ヒヤリハットデータベースに含まれるラベルには大きく自ブレコーダデータから得られる前方映像のみでは発生を予測で車の情報，ヒヤリハット相手の情報，周辺環境の情報，ヒヤリきないようなヒヤリハットが存在するのか確認することである．

ハット自体の情報の 4 種類が存在する．自車の情報とは，直進

2 つ目は，予測に有効な特徴は何であるのか，知見を得ること

や右左折，車線変更などの自車の運転動作や漫然運転やわき見である．

運転などの法令違反項目が含まれる．また，ヒヤリハット相手

そこでまず，3. 3 節においてヒヤリハットデータベースからの情報とは，ヒヤリハット相手の種別に加え，自車の同様の情100 件ずつヒヤリハットデータ及び非ヒヤリデータの前方映像報が含まれる．周辺環境の情報は道路形状や種別，信号や標識，を実際に確認した結果について述べる．次に，3. 4 節でヒヤリ

停止線，人通りなどが含まれ，ヒヤリハット自体の情報には危

ハットデータに付加されているラベルに注目し，データベース

険度を表すヒヤリハットレベルや，追突や出合頭などのヒヤリに含まれるすべてのデータに対し統計的な分析を行った結果をハット類型が含まれる．

示す．なお，両方の分析において，一定以上の危険度があり，まず，データベースに含まれる 5 つの都市の内，ヒヤリハッ

かつ，実際には事故が発生していないデータを対象とするため，

トデータ及び，非ヒヤリデータを十分に含んでいる静岡市に注

低，中，高の 3 つのレベルに注目して分析を行った．

目した．次に，静岡市で発生したヒヤリハットの発生位置に対し，k-means [19] によって図 2（a）のように 5 つの地域に分

3. 3 映像データの分析結果割した．その後，地域ごとにヒヤリハットデータ及び非ヒヤリ分析を行ったヒヤリハットデータのヒヤリハット相手の種

データの時刻に基づいてカーネル密度推定した結果を図 2 に示別とヒヤリハットレベル別の件数は表 1 の通りである．なお，

す．これらを比較すると，クラスタごとにその分布が大きく異データの分布には大きな偏りが存在するが，これは実際に発生なっていることがわかる．例えば，クラスタ ID が 1 や 4 の地したヒヤリハットの分布に偏りが存在するためである．ここで，域では，10 時前後にヒヤリハット発生のピークがある一方，ID

ヒヤリハット相手の「単独」は信号無視や縁石との接触など移が 0 や 3 の地域では，18 時前後にピークが存在する．また，ヒ動物体が相手でない場合を表す．

ヤリハットデータと非ヒヤリデータの分布には差異があること

まず，これらのデータに対し，ヒヤリハットデータと非ヒヤ
リデータを観察，比較し，ヒヤリハットの発生の予測に寄与しから，単純に交通量に比例するわけではなく，ヒヤリハットが発生しやすい時間帯が地域ごとに存在することがわかる．

うる特徴を抽出した．その結果，最も有効と考えられるヒヤリ

同様に，ヒヤリハット対象，時間帯，最高速度の関係を示し

ハット相手の状態や行動，位置について，ヒヤリハット発生のたのが，図 3 である．これらの図からヒヤリハット相手がいな

どの程度前から利用可能な情報か確認するため，ヒヤリハット

い単独のヒヤリハットは夜間に多く，速度が大きいときに発生相手が存在する 89 件のデータについて，ヒヤリハット相手をしやすい，夕方に低速でのヒヤリハットの発生件数が多いなど

初めてドライブレコーダで観測できるタイミングを各データを様々な関係性が読み取れる．

目視することにより確認した．その結果は図 1 が示す通りであり，約 70%のケースにおいてヒヤリハット発生の 5 秒前までに観測することはできず，発生の 2.5 秒前に約 57%のケースで，発生時にも 24%のケースで観測できないことが確認された．

3. 5 分析から得られた知見
3. 3 節及び 3. 4 節の分析からヒヤリハットの発生予測を実現するのにあたって，以下のことがいえる．

ID

latitude

35.4
35.2

0.12

記号 意味

0.10
0.08

35.0

0.06
0.04

34.8

0.02

34.6
138.0

138.2

138.4

138.6

longitude

138.8

0.00

0

（a） クラスタリング結果
Near MissNo Near Miss

0.14
0.12

0.08

0.06

0.06

0.04

0.04

0.02

0.02

0.00

0.00

10

time

15

20

Near MissNo Near Miss

0.12

0

0.08

0.06

0.06

0.04

0.04

0.02

0.02
5

10

time

15

20

5

10

time

15

0.00

ヒヤリハットデータベース
前方映像

Iij

前方映像 Vi 中の j 番目の画像

tij

画像 Iij のタイムスタンプEi

ヒヤリハット発生時刻集合

eik

ヒヤリハット発生時刻集合 i の k 個目の時刻∆t

時刻 t と次のヒヤリハット発生時刻又は観測終了時刻の差h(t)ハザード関数んだモデルの構築を行う．

20

4 問題設定及び定式化

Near MissNo Near Miss

0.12
0.10

D
Vi

5 章では，これらの知見から前方映像と時空間情報を組み込

0.14

0.08

0

20

（d） クラスタ ID 2

0.10

0.00

15

Near MissNo Near Miss（c） クラスタ ID 1
0.14

time

0.12

0.08

5

10

0.14
0.10

0

5

（b） クラスタ ID 00.10

表 2: 本稿で用いる記号一覧

Near MissNo Near Miss

0.14

0
1
2
3
4

本章では，1 章で説明した，本研究において取り組むヒヤリ
ハット発生の時刻推定タスクを数学的に定式化する．なお，本稿で用いる記号は表 2 の通りである．

0（e） クラスタ ID 3

5

10

time

15

まず，基本的な概念である前方映像及びヒヤリハット発生時

20

刻集合を以下のように定義する．

（f） クラスタ ID 4

定義 1 前方映像 Vi = [Ii0 , . . . , Ii|Vi | ] は常時撮影型のドライ

図 2: 地域別のカーネル密度推定結果

ブレコーダにより一定の間隔で記録された画像の系列である．
0.06

0.06
0.05

0.05

0.04

0.04

0.03
0.01
0

5

10

time

V<=40km/h
40km/h<V<=50km/h
50km/h<V<=60km/h
60km/h<V<=70km/h
70km/h<V

0.02
0.01

15

0.00

20

（a） 時間帯–ヒヤリハット対象
0.07

0

5

10

15

time

0.05

0.020

0.04

方映像 Vi においてヒヤリハットが発生した時刻の集合を表す．

V<=40km/h
40km/h<V<=50km/h
50km/h<V<=60km/h
60km/h<V<=70km/h
70km/h<V

0.02
0.01
0

5

10

time

15

20

0.010

にヒヤリハットが発生しなかったことを表す．

0.005
0.000

なお，各ヒヤリハット発生時刻集合に含まれるデータ数 |Ei | は
ヒヤリハット発生時刻集合ごとに異なっていても良く，0 以上|Vi | 以下の値をとる．ここで，|Ei | = 0 の場合は前方映像 Vi 中

0.015

0.03

なっていても良いものとする．
定義 2 ヒヤリハット発生時刻集合 Ei = {ei0 , . . . , ei|Ei | } は前

vehiclehumanbicyclemotorcycle
bymyself

0.025

有の識別子であり，各前方映像の長さ |Vi | は前方映像ごとに異20（b） 時間帯–最高速度
0.030

0.06

0.00

スタンプ tij を持つ． なお，i は前方映像ごとに与えられる固

0.03

vehiclehumanbicyclemotorcycle
bymyself

0.02
0.00

前方映像中の各画像 Iij は付加情報として位置座標 loc, タイム

0.07

0.07

0

20

40

km/h

60

80

100

（c） 時間帯–最高速度（非ヒヤリ（d） 最高速度–ヒヤリハット対象
データ）

また，前方映像 Vi 内のある時刻 tij についてヒヤリハット発
生時刻集合 Ei が与えられたとき，猶予時間を以下のように定義する

図 3: 条件別のカーネル密度推定結果•

定義 3 猶予時間 ∆tij は次にヒヤリハットが発生するまでの前方映像から読み取れるヒヤリハット相手の状態や位置な時間，もしくは観測終了までの時間である．

どは有効であると考えられるが，半数以上のヒヤリハット
でその直前まで観測できないことから，それ単体での予測には限界がある•

時刻情報や位置情報などから得られる時空間情報とヒヤリ
ハットの発生とその内容には，交通量のみでは説明できな
い，地域や時間帯特有の性質がある•

速度などのセンサデータから得られる自車の状態と前述の定式化すると以下のようになる．


min{eik ∈ Ei |tij < eik } − tij ,=∆tij =
t−t ,i|Vi |ij| ∅{eik ∈ Ei |tij <= eik } =otherwise

次に学習用のデータセットとしてヒヤリハットデータベース
を以下のように定義する．

時空間情報，ヒヤリハットの発生とその内容には，速ければ危ないといった単純な法則では説明できない，速度や時定義 4 ヒヤリハットデータベース D = {D0 , . . . , D|D| } は過間帯ごとの特有の性質がある

去のヒヤリハットデータの集合であり，各ヒヤリハットデータ

Di は前方映像 Vi とヒヤリハット発生時刻集合 Ei の組を持つ．

𝑉𝑐

推定
𝐼𝑐0

𝐼𝑐|𝑉𝑐|

𝑓(𝑉𝑐 ; 𝜃)

ヒヤリ
ハット
発生

1

FC
# 𝑜𝑓 𝑅𝑁𝑁’𝑠 𝑢𝑛𝑖𝑡𝑠

RNN

Δ𝑡𝑐|𝑉𝑐 |図 4: タスクの概要

RNN# 𝑜𝑓 𝑅𝑁𝑁’𝑠 𝑢𝑛𝑖𝑡𝑠# 𝑜𝑓 𝑅𝑁𝑁’𝑠 𝑢𝑛𝑖𝑡𝑠FCFC

次に，本研究における問題設定を以下のように定義する．
CNN

学習を行う．その後，テストデータとして運転開始から現在までの運転において常時撮影型のドライブレコーダにより記録さ# 𝑜𝑓 𝐹𝐶’𝑠 𝑢𝑛𝑖𝑡𝑠# 𝑜𝑓 𝐹𝐶’𝑠 𝑢𝑛𝑖𝑡𝑠

ヒヤリハットデータベース D を学習データとして，モデルのaときに，猶予時間 ∆tc|Vc | を出力する．ただし，テストデータ

𝑤𝑖𝑑𝑡ℎ × ℎ𝑒𝑖𝑔ℎ𝑡 × 3

𝑤𝑖𝑑𝑡ℎ × ℎ𝑒𝑖𝑔ℎ𝑡 × 3

𝐼𝑐0

れた，前方映像 Vc = [Ic0 , . . . , Ic|Vc | ] を入力として与えられた

CNN

𝐼𝑐|𝑉𝑐|

図 5: ネットワーク構造に対しては観測終了を考慮しない．なお，c は前方映像の識別子である．
入出力の関係を図示すると図 4 のようになる．

素を考慮したモデルを提案する．即ち，前方映像，時空間情報の各要素から推定されるハザード関数（himg (∆t), hst (∆t)）を求め，

h(∆t) = wimg himg (∆t) + wst hst (∆t)

5 提案手法
本章では，提案手法の基本的な 2 つのアイデアを 5. 1 節で述べ，その後，具体的なモデルについて 5. 2 節で述べる．更に，

5. 3 節でパラメータの推定及び 5. 4 節で猶予時間の予測方法について述べる．

(1)のように加重和を計算することにより全体のハザード関数 h(∆t)
を推定し，猶予時間の推定を行う．なお，wimg , wst は各要素をどの程度重要視するかを表す重みである．
まず，前方映像についてのモデル化について述べ，その後時空間情報についてのモデル化について述べる．

5. 1 アイデア

まず，周囲の状況に関するハザード関数 himg (∆t) を推定す提案手法では，生存分析を基礎として，高精度に猶予時間をるモデルについて説明する．入力として，前方映像，即ち，高推定するために，3. 5 節で得られた知見である前方映像と時空次元の時系列情報を用いるため，これらの特徴を適切に捉えら間情報の有用性を踏まえ，以下の 2 つのアイデアを組み込む．

れる深層学習を活用した．具体的には図 5 のように画像から

時系列情報の考慮

特徴量を抽出する CNN 層と時系列情報を捉えるための RNN

生存分析では，本タスクで対象とする映像のような高次元，層，特徴量から RNN 層への入力に次元を変換する Full Con-かつ，時系列情報を持つ入力を想定していない．しかし，正確nect 層，RNN 層の出力をスカラ値（f (V ; θ)）に変換する Fullにヒヤリハットの発生を予測するには，入力映像の時系列変化

Connect 層で構成される．ここで，スカラ値は以降でハザードを考慮することが重要である．なぜなら，時系列変化を捉える

関数 himg (∆t) を算出するのに用いる値である．なお，CNN 層

ことにより，事故に繋がる状況か，否かを判断しやすくなるた

及び RNN 層には任意の VGG [20] や GRU（Gated Recurrent

めである．例えば，歩行者の動きの方向と速度を捉えることにUnit） [21] などの任意のネットワーク構造を用いることができ

より，自車と衝突する可能性の有無とそのタイミングの推定にる．本稿では，ハザード関数の値域は 0 以上であることから，寄与することが期待できる．そこで，RNN を用いて入力の時

himg (∆t) = exp{f (V ; θ)}

系列情報を考慮するとともに，適切な損失関数を設定する．
複数の要素の考慮

3 章で述べたように前方映像のみによる推定には限界がある．
そこで，前方映像からは読み取ることができない，あるいは読み取ることが困難な情報，要素をモデルに組み込む．具体的には 3 章の分析を踏まえ，前方映像に加え，時刻や位置情報などから得られる時空間情報の 2 つの要素を考慮する．

5. 2 モデルのように定義した．ここで，f (V ; θ) は時刻 t までの映像 V を入力，θ をパラメータとするスカラ値を出力とする関数である．
なお簡単のため，himg (∆t) は時刻 t までの観測 V が与えられた条件の下で，時間によらず一定の値をとるものと仮定した．
ただし，∆t > 0 で微積分可能な分布（例えばワイブル分布）を用いれば，時間に対して非定常な関数にも容易に拡張が可能である．

本研究で提案するモデルの全体像は生存分析に基づいてお次に，時空間情報に関するハザード関数 hst (∆t) を推定する

り，生存分析の基本的なアプローチは 2. 2 節で述べたようにハモデルについて説明する．前述のように本稿では時空間情報，

ザード関数 h(∆t) を設計することである．そこで，ハザード関

即ち，緯度と経度，時刻に基づいて危険の発生頻度を考慮し，

数 h(∆t) 内において複数の要素を考慮した立式を行う．具体的モデル化を行った．具体的には，危険の発生箇所の緯度及び経には，3 章の分析を踏まえ，前方映像，時空間情報の 2 つの要度に基づいてクラスタリングし，各クラスタについて発生時刻

のように計算でき，第二項に含まれる積分部分は単位時刻で分に基づいたカーネル密度推定をハザードとみなし，)(
1 ∑t + ∆t − eikhst (∆t) =
K
b |C|
b

割し，その区間内では定常とみなして離散近似を行うと，∫ ∆tijeik ∈Cとした．なお，b はカーネル密度推定におけるバンド幅，tnow∆tij −1hst (t)dt =∑0hst (t)t=0

は現在時刻であり，C は時刻 t + ∆t に自車が属するクラスタ，∆tij −1

K はカーネル関数を表す．

=

∑
t=0

∑
1
K
b |C| e ∈C

(

i′ k

tij + t − ei′ kb)

5. 3 パラメータ推定
次に，5. 2 節で定義したモデルのパラメータ推定について述べる．2. 2 節で述べたように生存分析においては，尤度関数を最大化することにより，それを実現する．しかし，通常の生存分析では 1 つのデータに対し，1 度推定を行うのみであったが，ヒヤリハット発生の時刻推定に適応する場合においては映像が入力となるため，各時刻において予測を行うことが想定される．即ち，前方映像 Vc = [Ic0 , . . . , Ic|Vc | ] に対し，従来は tc|Vc | 時点での推定結果である，∆tc|Vc | のみを算出していたが，各時刻 tcj 時点での予測結果である ∆tcj の算出が求められる．そのため，これに合わせて尤度関数を拡張する必要があとなる．
また，直接尤度関数を最大化することは計算が困難であるため，負の対数尤度として損失関数 Loss(θ) を定義し，これを最小化することにより各パラメータの値を求める．実際に負の対数尤度を計算すると，

Loss(θ) = −|D| |Vi | {∑∑δij log h(∆tij ) −i=0 j=0∫ ∆tij}h(t)dt0となる．

5. 4 猶予時間の推定方法

る．しかし，生存分析で広く用いられる Cox の比例ハザードモ

推定時には，入力 Vc からハザード関数 h(∆t|Vc ) の値が計算

デル [10] の部分尤度関数は，学習データに発生時刻がタイ，即できる．そのため，生存分析の一般的な式から，時間 ∆t 以上

ち，∆tij = ∆ti′ j ′ が存在することを想定していないため，単の間，ヒヤリハットが発生しない確率を表す生存関数 S(∆t|Vc )純に全ての時刻における尤度関数の積は計算できない．複数のを計算できる．具体的な猶予時間 ∆tc|Vc | を得たい場合には，

近似式 [22, 23] やタイを想定した部分尤度関数 [24] が示されてこの生存関数が予め定めた閾値を下回る ∆tc|Vc | を求めればよ

いるが，応用においては，タイが多い場合には誤差が大きいこい．本稿では，具体的な推定時間として生存関数の中央値を用と，計算の困難さから Poisson 回帰モデルが用いられることがいた．

多い [25]．そこで，本稿においても同様に Poisson 回帰モデル
を用い，尤度関数は{ ∫ ∆tij}]∏∏L(θ) =
h(∆tij )δij exp −h(t)dt

6 実験|D| |Vi | [(2)0

i=0 j=0

本章では，提案手法によって，ヒヤリハット発生の時刻予測
がどの程度達成できているか確認するため，実データによる評となる．なお，θ はハザード関数 h(t) 内のパラメータであり，

価実験について述べる．まず，データや実行環境について述べ

深層学習の重みなどが含まれる．また，δij は以下のように定る．次に評価指標について述べ，その後比較手法及び実験結果

義される指示変数である．

1, {eik ∈ Ei |tij < eik } =
| ∅
=
δij =
0, otherwise

について述べる．

6. 1 実験条件
本研究での実験の条件は以下の通りである．

ここで，式 2 の積分部分に注目し，式 1 を代入すると，∫ ∆tij {∫ ∆tij}wimg himg (t) + wst hst (t) dt
h(t)dt =00= wimg∫ ∆tijhimg (t)dt + wst∫ ∆tijマシンの CPU は Xeon E5-2698v4 で GPU は GTX1080Tiを用いた．実装には Python 3.6.3 及び Chainer4.0.0，Chain-

erMN1.3.0 を用い，学習は 8 並列で行い，精度評価には cuDNN
hst (t)dt

0

0

実験環境

を無効化し決定的に評価を行った．
データセット
データセットには 3. 1 節のヒヤリハットデータベースからとなる．ここで，右辺第一項に含まれる積分部分は，∫ ∆tij∫ ∆tijexp{f (Vij ; θ)}dt
himg (t)dt =00∫ ∆tijdt= exp{f (Vij ; θ)}0= exp{f (Vij ; θ)}∆tij

静岡県のタクシーのデータ 3600 件（ヒヤリハットデータ 1800
件，非ヒヤリデータ 1800 件）をランダムに抽出し，そのうちの2520 件（ヒヤリハットデータ 1247 件，非ヒヤリデータ 1273
件）を学習用データ，1080 件（ヒヤリハットデータ 553 件，非ヒヤリデータ 527 件）を検証用データとした．
前処理
本実験では，ヒヤリハット発生時刻をヒヤリハットデータ

ベース収集時のトリガ時刻とし，それに合わせ各データの加工

表 3: 評価結果を行った．具体的には元々のデータの長さが均一となっており，

MAE（秒） PAcc NAcc

トリガまでの時刻が均一であるため，ヒヤリハットデータはラUniform

5.27

0.227

ンダムな開始時刻からトリガの発生時刻までを切り出し，最短

DeepConvSurv

5.57

0.336

0.780
0.862

1 秒から最長 10 秒のデータとし，非ヒヤリデータはデータ全

Proposed1

3.16

0.402

0.854

体から一部分をランダムに抽出し，最短 1 秒から最長 15 秒のProposed2

2.94

0.438

0.838

データを作成した．
表 4: 正解猶予時間ごとの MAE（秒）6. 2 評価指標

正解猶予時間

0 秒台 1 秒台 2 秒台 3 秒台 4 秒台

本稿では，推定したハザード関数から算出される猶予時間のDeepConvSurv

6.51

6.00

5.42

4.35

5.40

精度について，どの程度要件を達成しているか評価するため 3

Proposed1

3.46

3.11

3.07

2.89

3.07

つの評価指標を用いた．具体的には，ヒヤリハットの発生有無

Proposed2

3.06

2.71

2.74

2.67

2.72

の予測精度を表す PAcc 及び NAcc と，猶予時間の推定誤差を表す MAE である．これらの評価指標の詳細は以下の通りである．

PAcc（Positive Accuracy）

表 5: 正解猶予時間ごとの PAcc
正解猶予時間

0 秒台 1 秒台 2 秒台 3 秒台 4 秒台

DeepConvSurv

0.00

0.02

0.17

0.38

0.55

Proposed1

0.03

0.21

0.38

0.45

0.56

Proposed2

0.03

0.25

0.41

0.51

0.61

ヒヤリハットデータについて，正解猶予時間 ∆ttrue 及び各手法によって推定した猶予時間 ∆tpred を比較し，ヒヤリハット発生
時刻以前に発生すると推定できた割合，即ち，∆ttrue > ∆tpredとなった割合を表す．

前述の条件で実験した結果を，表 3，表 4，表 5 に示す．な

NAcc（Negative Accuracy）
非ヒヤリデータについて，猶予時間 ∆tobserve と各手法によって推定した猶予時間 ∆tpred を比較し，観測期間内にヒヤリハッ
トが発生しないと推定できた割合，即ち，∆tobserve < ∆tpredとなった割合を表す．

MAE（Mean Absolute Error）
正解となる正解猶予時間 ∆ttrue と各手法によって推定した猶予時間 ∆tpred の誤差の平均であり，
i=0

true
− ∆tpredij
j=0 δij ∆tij∑|Dtest | ∑|Vi |i=0

お，表中の Uniform は ∆tpred を 0 秒から 15 秒（データの最長の長さ）までの一様分布で決定した場合の結果である．
表 3 の MAE 及び PAcc から，ヒヤリハットデータに対して，提案手法は有効であり，精度が向上していることが読み取れる．
表 3 に注目すると，DeepConvSurv は NAcc が最良となり，
非ヒヤリデータを正しく非ヒヤリデータだと推定できることがわかる．その一方，MAE は Uniform を下回っており，ヒヤ
リハット発生時刻を推定できていないことがわかる．このこと∑|Dtest | ∑|Vi |MAE =6. 4 実験結果

j=0 δij

から，ヒヤリハットが発生しないことは画像 1 枚で十分判別できるものの，具体的な猶予時間の推定は困難であることがわかる．次に，Proposed1 では DeepConvSurv に対し，MAEで計算される．なお，非ヒヤリデータには猶予時間がヒヤリ

及び PAcc について精度が向上しており，NAcc の精度が悪く

ハット発生までの時間を表さないため評価対象とならない．

なっている．このことから，時系列情報を捉えることにより，

6. 3 比較手法
本稿では以下の 3 種の手法について評価を行った．

具体的な猶予時間の推定が可能になったことがわかる．また，Proposed2 では Proposed1 に対し，MAE 及び PAcc について精度が向上しており，NAcc の精度が悪くなっている．このこ•

DeepConvSurv（画像のみ）とから，時空間情報を考慮することにより，映像からでは読み•

Proposed1（映像のみ）

取れない危険を捉えられることが示唆される．その一方で，そ•Proposed2（映像＋時空間情報）のような危険を捉えるため，実際には危険が発生しない状況であっても，危険であると判断し，ヒヤリハットが発生すると予

なお，各手法について CNN にはシーン画像データセットである Places365 [26] で学習済みの VGG [20] を 4 クラス分類タスク（ヒヤリハットレベル低，中，高の 3 段階及び非ヒヤリ）で測してしまう可能性が示唆される．
次に，表 4 及び表 5 に注目するとヒヤリハット発生直前の

MAE 及び PAcc が悪くなっていることが確認できる．これはfine-tuning [27] により，各全結合層を学習させたものを用い，今回のデータ作成の都合上，トリガ時刻以前にブレーキをかRNN には GRU [21] を用いた．また，Proposed2 についてク

け減速するなどの，ヒヤリハットへの対処が始まっており，ヒラスタリングには k-means（クラスタ数 5） [19] を用い，各ハ

ヤリハット発生前の特徴が失われつつあることが原因と考えら

ザードの重みは wimg = wst = 1 とした．その他の k-means 及れる．

びカーネル密度推定の設定は scikit-learn [28] のデフォルトを用いた．

Vol. 34, No. 2, pp. 87–22, 1972.
[11] Xinliang Zhu, Jiawen Yao, and Junzhou Huang. Deep
convolutional neural network for survival analysis with
本稿においては，ヒヤリハットの発生までの猶予時間を推定
pathological images. In Bioinformatics and Biomedicine(BIBM), 2016 IEEE International Conference on, pp. 544–
するタスクに取り組んだ．このタスクを解くため生存分析に注547. IEEE, 2016.
目し，実データの分析から得られた知見を用いて，猶予時間の[12] Fu-Hsiang Chan, Yu-Ting Chen, Yu Xiang, and Min Sun.
推定を可能にすると共に，映像以外の情報を組み込む手法を提Anticipating accidents in dashcam videos. In Asian Conference on Computer Vision, pp. 136–153. Springer, 2016.
案した．また，実データによる評価によって，提案手法の 2 つ[13] Tomoyuki Suzuki, Hirokatsu Kataoka, Yoshimitsu Aoki,のアイデアが猶予時間推定の精度向上に有用であることを示
and Yutaka Satoh. Anticipating traﬃc accidents with
した．
adaptive loss and large-scale incident db. arXiv preprint
arXiv:1804.02675, 2018.
相対的には精度向上を達成することができたが，推定精度向[14] Yann LeCun, Léon Bottou, Yoshua Bengio, and Patrick
上に関してはまだ工夫の余地が多く残されている．例えば，推Haﬀner. Gradient-based learning applied to document
定精度向上へのアプローチとして，時空間情報のリッチ化及びrecognition. Proceedings of the IEEE, Vol. 86, No. 11, pp.
2278–2324,
1998.
前方映像との相互作用の考慮が考えられる．本稿においては時[15] Jiawen Yao, Xinliang Zhu, Feiyun Zhu, and Junzhou Huang.
空間情報として，緯度経度，及び時刻を用いたが，単純に過去
Deep correlational learning for survival prediction frommulti-modality data. In International Conference on Mediの危険発生件数のみを参照しており，それらを過去の危険の内
cal Image Computing and Computer-Assisted Intervention,
容と結びつけられていない．時間帯によってヒヤリハットの相pp. 406–414. Springer, 2017.
手が異なる傾向があることから，発生するヒヤリハットの内容[16] Xinliang Zhu, Jiawen Yao, Feiyun Zhu, and Junzhou
Huang. Wsisa: Making survival prediction from wholeを推定し，その内容に適応した時空間を考慮するハザード関数
slide histopathological images. In The IEEE Conference onststh (t) を加算することや，重み w を適応的に変化させること
Computer Vision and Pattern Recognition (CVPR), Julyが考えられる．
2017.
[17]
How Jing and Alexander J Smola. Neural survival recomまた，推定精度向上への他のアプローチとして，自車の状態
mender. In Proceedings of the Tenth ACM Internationalの組み込みが挙げられる．単純には，速度や加速度を入力としConference on Web Search and Data Mining, pp. 515–524.
て，映像と同様に深層学習を用いて自車の状態を考慮するハACM, 2017.
[18] 東京農工大学大学院 工学研究院スマートモビリティ研究拠点.
ザード関数 hself (t) を推定する手法である．
ドライブレコーダデータセンター. http://web.tuat.ac.jp/~smrc/drcenter.html.
[19] James MacQueen, et al. Some methods for classification
謝辞
and analysis of multivariate observations. In Proceedingsof the fifth Berkeley symposium on mathematical statistics
本研究は，国立大学法人東京農工大学スマートモビリティ研
and probability, Vol. 1, pp. 281–297. Oakland, CA, USA,究拠点の提供する「ヒヤリハットデータベース」を利用した．
1967.
[20] Karen Simonyan and Andrew Zisserman. Very deep convoここに記して謝意を示す．
lutional networks for large-scale image recognition. CoRR,
文
献Vol. abs/1409.1556, , 2014.
[1] 内閣府. 平成 29 年版交通安全白書, 2017.
[21] Kyunghyun Cho, Bart Van Merriënboer, Caglar Gulcehre,[2] 内閣府. 交通事故の被害・損失の経済的分析に関する調査報告
Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and書, 2012.
Yoshua Bengio. Learning phrase representations using rnn[3] NTT ドコモ. 事業用自動車事故と企業の責任 — 交通事故を防encoder-decoder for statistical machine translation. arXiv
ぎ、安全運転を支援する先進技術 — おすすめ情報 — Biz Solupreprint arXiv:1406.1078, 2014.
tion by docomo｜NTT ドコモ. https://www.bizsolution[22] Norman Breslow. Covariance analysis of censored survival
docomo.jp/special/safety/task.html.
data. Biometrics, pp. 89–99, 1974.
[4] 内閣府. 戦略的イノベーション創造プログラム (SIP) 自動走行
[23] Bradley Efron. The eﬃciency of cox’s likelihood function
システム研究開発計画, 2018.
for censored data. Journal of the American statistical As[5] Society of Automotive Engineers. https://www.sae.org/.
sociation, Vol. 72, No. 359, pp. 557–565, 1977.
[6] The Boston Consulting Group. The great mobility tech[24] John D Kalbfleisch and Ross L Prentice. The statistical
race: Winning the battle for future profits. https://www.
analysis of failure time data, 2nd Edition. John Wiley &slideshare.net/TheBostonConsultingGroup/the-great-mobility- Sons, 2002.
tech-race-winning-the-battle-for-future-profits.
[25] 中村剛. 新版 Cox 比例ハザードモデル (医学統計学シリーズ 3).
[7] マクロミル. 【2. 月 1 回以上運転者 1,000 名に聞く、車の運転に
朝倉書店, 2018.
関する意識調査】. https://honote.macromill.com/report/[26] Bolei Zhou, Agata Lapedriza, Aditya Khosla, Aude Oliva,
20180524/.
and Antonio Torralba. Places: A 10 million image database[8] Pongsathorn Raksincharoensak. Drive recorder databasefor scene recognition. IEEE Transactions on Pattern Analfor accident/incident study and its potential for active
ysis and Machine Intelligence, 2017.
safety development. http://web.tuat.ac.jp/~smrc/pdf/[27] Ross Girshick, Jeﬀ Donahue, Trevor Darrell, and Jitendra
Driverecorder.pdf.
Malik. Rich feature hierarchies for accurate object detec[9] Herbert William Heinrich, et al. Industrial accident prevention and semantic segmentation. In Proceedings of the IEEE
tion. a scientific approach. Industrial Accident Prevention.
conference on computer vision and pattern recognition, pp.
A Scientific Approach., No. Second Edition, 1941.
580–587, 2014.
[10] DR COX. Regression models and life-tables. Journal of[28] scikit-learn. https://scikit-learn.org/stable/.
the Royal Statistical Society. Series B (Methodological),

7 まとめと今後の課題