DEIM Forum 2019 A7-3

ドライブレコーダデータに対するヒヤリハット危険度推定
小平美沙季†

山本

修平††

倉島

健††

戸田 浩之††

加藤ジェーン†††† 名古屋大学情報学研究科 〒 464–8601 愛知県名古屋市千種区不老町†† 日本電信電話株式会社 NTT サービスエボリューション研究所 〒 239–0847 神奈川県横須賀市光の丘 1-1††† 立命館大学情報理工学部 〒 525–8577 滋賀県草津市野路東１丁目 1-1
E-mail: †kodaira.misaki@a.mbox.nagoya-u.ac.jp,††{yamamoto.shuhei,kurashima.takeshi,toda.hiroyuki}@lab.ntt.co.jp, †††jien@fc.ritsumei.ac.jp
あらましドライブレコーダで記録されるデータのうち，交通違反や交通事故などの危険な状況が記録された「ヒヤリハット」に関するデータは，ドライバーの安全運転教育や運行管理などに活用されている．ヒヤリハットデータの実用性を高める上で，各データに危険度を表すアノテーションを付与し，危険度に応じたデータの検索ができるようになることが望まれる．本論文では，ドライブレコーダデータに対して，非ヒヤリハットを含めた危険度を推定する手法を提案する．提案手法では，映像とセンサ，及び映像からの物体検出結果を組み合わせて変換を行い，危険度の推定に有用な特徴表現を獲得する．また，クラス分類と回帰を組み合わせたモデルを用いて算出されるスコアに基づいて危険度を推定することで，推定精度の向上を実現する．
キーワード 深層学習，危険度推定，ヒヤリハット，ドライブレコーダ，マルチモーダルデータ

1.

はじめに

ドライブレコーダとは，車内に設置され，前方映像，加速度，
ウインカー操作，ブレーキ操作などの車両運行状況を記録する装置である [1]．全時刻の情報を記録することは，記憶容量などの問題もあるため，実際には加速度に一定の閾値を設け，車両に何らかの衝撃が見られたと考えられるタイミングを検知し，その前後十数秒を記録することが多い．このように記録されたデータを，本論文ではイベントデータと呼ぶ．イベントデータ

図 1 実際のヒヤリハットシーン及び危険度ラベルの例．左図では，飛び出してきた歩行者に対して急ブレーキを踏んで停車している．
右図では，運転者が早い段階で歩行者を認識し，速度を緩めている．右例に比べて左例の方が交通事故に近い危険なヒヤリハッの内，交通違反や交通事故に繋がる危険な状況を記録した「ヒトシーンであり，左例に危険度「高」，右例に危険度「低」など

ヤリハット」に関するデータは，実際にドライバーが視聴して，のラベルを付与したい．

自身の運転行動を省察したり [2]，危険予知訓練を行うなど [3]，安全運転教育に活用されている．また，法人営業車両などを対付加することで，安全運転教育に資するデータを効率良く抽出

象に，走行中の運行車両からヒヤリハットシーンをリアルタイ

したり，ドライバーが危険運転をしているか否かをより正確に

ムに検出し，運行管理者に通知することによって，頻繁に危険判定したりすることが可能となると考えられる．しかしながら，運転をするドライバーの事故を未然に防ぐことにも利用されて収集された膨大なイベントデータについて，人手で危険度を判いる [4]．

定することは，多大な労力や注意力を要することに加え，判定

一方，ドライブレコーダで記録される全てのイベントデータ

者によって危険度の判定に個人差が生じることが問題である．

がヒヤリハットに関するものではない．東京農工大学スマート

したがって，危険度を自動的に判定し，ラベリングをするシス

モビリティ研究拠点の調査によると，例えば，道路の激しい起テムを導入することにより，ラベリングコストを削減し，ドラ伏が原因で車両に大きな衝撃が加えられ記録されたものや，狭イブレコーダデータの実用性を高めることが期待される．そこい道路での方向転換のために行う小刻みな加速が原因で記録さで本論文では，イベントデータの集合に対して，非ヒヤリハッ

れたもの等，非ヒヤリハットに該当するイベントデータも全体

トを含む危険度のラベルを自動的に付与するタスクに取り組むの 70%近く含まれている [5]．

（図 2 参照）．

また，ヒヤリハットに該当するイベントデータにおいても，本論文の提案手法により，実際の活用現場において，ヒヤリ

その危険度は様々である．例えば，図 1 のように，ヒヤリハッ

ハットを自動的に大量に判別できることによるメリットが見込

トの発生対象（歩行者や自転車など）に対して，一定の距離をまれる．ヒヤリハットデータの具体的な活用事例として，多く置いて余裕ある状況で衝突を回避した場合には相対的に危険度の地方自治体で「ヒヤリハットマップ」作成の取り組みが行わが低く，あと僅かで衝突しそうだった場合は相対的に危険度がれている [6–8]．ヒヤリハットマップは，地域住民が個々人の経高いといえる．このため，イベントデータに危険度のラベルを験や知識を基にして，交通の危険箇所を地図に表示することにング手法を提案する．また，課題２に対するアプローチとして，よって作成される [7]．これらは公共機関や各家庭で活用され，危険度を連続値のスコアとして扱い，クラス分類と回帰の手法

危険箇所を人々に周知させることで，交通事故に対する意識をを組み合わせた手法を提案する．また，チューニングデータを向上させ，事故の未然防止，再発防止に貢献している [6]．本用いて，各危険度ラベルが取り得るスコアの範囲を分布として研究で取り組む，ヒヤリハットの有無及び危険度の自動判別を考慮することで，出力されるスコアを適切な危険度ラベルに変利用し，大量のドライブレコーダデータからヒヤリハットの発換する．

生地点を集計することによって，ヒヤリハットマップを自動的

本論文の貢献は以下の３項目である．

に作成することが可能となる．これにより，人手による作業コ（ 1 ） ドライブレコーダによって記録される映像データ，セストを削減できるほか，大量のデータから，より網羅性の高い

ンサデータ及びフレーム画像に対する物体検出結果を効果的に情報を得ることができる．更に，危険度を付加することで，特組み合わせて時系列モデリングを行う危険度推定用フレームに危険な箇所や，未だ事故として現れていない潜在的に危険なワークを提案した．

箇所を把握することが可能となるため，事故の未然防止，再発（ 2 ） 多クラス分類において一部のクラス間に連続性がある防止への有効性が高まることが期待される．

場合に，分類と回帰を組み合わせたフレームワークによって連

著者らは，これまでにドライブレコーダに含まれるセンサと続値のスコアを決定し，クラス毎のスコア分布からクラスラベ

映像からなるマルチモーダルデータを用いた，教師あり深層

ルを決定することで，クラスの持つ特性に沿った分類を実現す

学習に基づくヒヤリハット検出手法 [9] 及びヒヤリハット発生る手法を提案した．

対象分類手法 [10] を提案している．これらの手法では，セン（ 3 ） 上記の２つの提案要素に関して，それぞれの有効性と，サと映像をそれぞれ Fully-Connected Neural Network（FC）

それらを組み合わせたときの有効性を，ヒヤリハット危険度推と Convolutional Neural Network（CNN）[11] で特徴変換し，定タスクを通じて明らかにした．

Recurrent Neural Network（RNN）[12] で時間的な遷移をモ

以下，本論文の構成を示す． 2 章では，ヒヤリハットの危険デル化している．更に [10] では，前方映像からの物体検出結度推定の関連研究について説明する． 3 章では，データとその果をグリッド空間へ埋め込んだ入力特徴量の追加手法と，クラ前処理についての説明，及び本論文で取り組むタスクの定式化

ス間の階層関係を考慮したマルチタスク学習の枠組みを提案しを行う． 4 章では，提案手法について説明する． 5 章では，提ている．実際のイベントデータを用いた評価実験の結果，提案

案手法の評価実験について説明する．最後に， 6 章でまとめを手法が高い精度でヒヤリハット検出（ヒヤリハットの有無の判

述べる．

定）並びにヒヤリハット発生対象の分類ができることを明らかにしている．従来手法 [9] はヒヤリハット危険度を推定するた

2.

関連研究

めの多クラス分類に容易に拡張可能であるが，素朴な拡張では

本章では，ドライブレコーダからのヒヤリハット検出及びヒ精度が低下することが予想される．その理由として，以下の２

ヤリハット危険度推定を扱う関連研究と，ドライブレコーダを項目が挙げられる．

用いたその他の関連研究について述べ，本研究の位置付けを整課題１．ヒヤリハットと非ヒヤリハットの間には，発生対象理する．

が自車の進行方向に存在するか否か，といった見かけ上の明確

ヒヤリハット検出を対象とした研究．ドライブレコーダからな差異があるため，単純な CNN によって推定に必要な特徴量のヒヤリハット検出を対象とする研究として，速度と加速度にを獲得することが可能である．一方で，ヒヤリハットの危険度

経験的にルールを設定し，閾値調整によってヒヤリハットを検を推定する場合，対象物体―自車間の相対的な位置，距離，接出する研究 [13] やセンサデータを適切な特徴量に変換して右近速度及び自車の加速度をそれぞれ関連づけて判断をすること

折時に限定したヒヤリハット発生形態を分析し，右折時のヒヤが求められる．従来手法ではこのような要件を満たす特徴量はリハット検出に取り組む研究 [14] がある．また，前方映像デー得られないため，推定精度が低下すると考えられる．

タを扱ったヒヤリハット検出としては，前方映像から歩行者検課題２．ヒヤリハットの危険度には連続的な関係性がある．

出を行い，自車位置と映像中の検出領域との距離を計算して，一方で，データに対してアノテーションを行う際に，危険度に歩行者とのヒヤリハットを検出する研究 [15] がある．これらの相当する連続値のスコアを人手で判定することは困難である研究では，センサデータや映像データを用いてヒヤリハットをため，{ 高，中，低 } のような離散的なラベルを付与すること検出しているが，本研究が目指すヒヤリハットの危険度推定はが想定される．このようなラベルを教師データとして，従来手扱っていないことから，本研究とは異なる．

法 [9] のように危険度推定を行うための多クラス分類器を学習

ヒヤリハット危険度推定を対象とした研究．ヒヤリハット

した場合，各危険度がそれぞれ独立の関係とみなされることに危険度推定を対象とする研究としては，歩行者検出と危険度

より，推定精度が低下すると考えられる．

推定を同時に学習するモデルを提案している研究 [16] があ

そこで本研究では，課題１に対するアプローチとして，従来る．この研究では，ヒヤリハットの発生対象を歩行者に限定し，手法 [10] で提案されているグリッド特徴量の利用方法を検討し，ResNet [17] ベースのネットワークを利用して，歩行者のバウ

各時刻毎にセンサデータと組み合わせて新たな特徴量に変換す

ンディングボックスの回帰と危険度に関するクラス分類を同時ることで，異なる特徴量同士の関係性を表現するエンコーディに最適化する．入力にはフレーム画像を利用し，各フレーム画

像に対してバウンディングボックス及び危険度の推定を行う．

表 1 本論文で用いる主な記号

しかしヒヤリハットを検出するだけではなく，その危険度を推記号定する場合，対象との位置・距離関係と自車の速度・加速度のC

危険度のクラス数

Itt フレーム目の画像

stt フレーム目のセンサデータ

Gtt フレーム目のグリッド特徴

では歩行者以外の対象にも対応し，映像データに加えて，センT

イベントデータのフレーム数

サデータ及びフレーム画像に対する物体検出結果を落とし込ん

Ntt フレーム目の画像から検出された総物体数

だグリッド特徴量を効果的に組み合わせた特徴量を利用する．

otn , btn , ptn

値，及びそれらの時間的な遷移が重要な意味を持つため，それらの情報を表現可能な特徴を利用することが望ましい．本研究

説明や危険度推定以外にも，ドライブレコーダは様々なタスクで用いられている．センサデータに含まれるドライバの運転操作を

危険度の推定結果を表すラベル y ∈ {0, 1, · · · , C −yて一つの危険度ラベルを付与する．
ドライブレコーダを用いたその他の研究．ヒヤリハット検出

t フレーム目の画像から n 番目に検出された物体の 1-of-K 表現ベクトル，領域ベクトル，検出確率

また，フレーム画像毎ではなく，一つのイベントデータに対し

1}
H ，W

オリジナル画像の縦幅，横幅

Gh ，Gw

物体検出結果を埋め込むグリッド空間の縦，横のグリッド数用いたものでは，ヒヤリハットの起こりやすい潜在リスクを持

ta ，tb2 クラス分類，回帰スコアに対する教師信号

つ道路の推定をする研究 [18, 19] や，ヒヤリハットを起こしや

ya ，yb2 クラス分類，回帰の出力スコア

すい危険運転ドライバーの分類に関する研究がある [20,21]．車

La ，Lbta ，tb に対する出力スコアの誤差

両走行中の前方映像データは，深層学習技術の発展により，自L

La ，Lb の結果を組み合わせた目的関数

動車の自動運転に関する研究で幅広く利用されている．自動運
転タスクでは，前方映像に基づいてハンドルの操舵角を予測す

物体検出結果は N t 個の検出されたオブジェクトを持ち，各オブる研究 [22, 23]，車の直進，左折，右折，車線変更，停止など

ジェクトの ID を総物体種類数 V 次元の 1-of-K 表現で持つベクの運転操作を予測する研究 [24]，同様のタスクに車両映像も用

トル otn ，各オブジェクトの領域情報を持つベクトル btn ，及び各いた研究 [25, 26]，交通事故を回避するため，前方で発生する

オブジェクトの検出確率 ptn ∈ (0, 1] からなる (t = 1, 2, ..., T )．

交通事故を予測する研究 [27] などがある．これらはいずれも

ここで btn は，その左端，上端，右端，下端の 4 つの画像中の深層学習に基づく手法を提案しており，画像解析は CNN，時座標を持つ（btn = {btn .lef t, btn .top, btn .right, btn .bottom}）．

系列モデリングは RNN において有効性の知られている，Long

危険度の数値表現．ヒヤリハットの危険度は，それぞれ整数

Short-Term Memory(LSTM) [28] を用いている．本論文でも値に置き換えて表現する．表 2 に，ヒヤリハット/非ヒヤリハッ

CNN や LSTM を用いたモデル化に取り組むものの，上記タス

トの 2 クラス分類を行う場合，及び高/中/低/非ヒヤリハット

クでは各時刻での運転操作やハンドルの操舵角，交通事故の起の 4 クラス分類を行う場合のそれぞれについて，危険度ラベル

こりやすさを予測することに対して，本研究では入力の最終時と数値の対応付けを示す．

刻でヒヤリハットの発生対象を分類する点で，これらの研究と表 2 危険度ラベルの数値表現

タスクや提案するモデルが異なる．

3.

非ヒヤリハット

問題設定

本章では，本論文で扱うデータとその前処理について説明す2 クラス分類

04 クラス分類0

ヒヤリハット
低

中

1

2

高

1
3

る．また，本論文で扱うタスクの定式化を行う．本論文で用いる主な記号を表 1 に示す．

3. 1

デ

ー

タ

本論文で想定するドライブレコーダで記録されるイベント
データは，衝撃が加わった（加速度に大きな変化が生じた）時点を起点として前 10 秒，後 5 秒の計 15 秒の前方映像及びス
ピード・加速度等のセンサデータから構成される．1 つのイベ
ントデータにつき，1 つの危険度ラベルが付与されており，危険度ラベルは C 段階で表現される．

3. 2

準

備

物体検出の適用．ヒヤリハットの発生対象の自車に対する位置を考慮するため，本論文では，前方映像のフレーム画像に対して物体検出を行い，その結果を利用する．物体検出には，事前学習された YOLOv3 [29] を利用する（注 1）．画像 I t から得られる

3. 3

題

前方映像のフレーム画像 I t (t = 1, 2, ..., T ) と対応する時刻のスピード・縦加速度・横加速度に関するセンサデータ st (t =1, 2, ..., T ) 及び次章で説明するグリッド特徴 Gt (t = 1, 2, ..., T )を入力とし，危険度の推定結果 y ∈ {0, 1, 2, 3} を出力する．

4.

提案手法

本章では，本論文で提案する深層学習を活用したヒヤリハッ
ト危険度の推定手法について述べる．第 4. 1 節では，提案手法における入力から出力までのデータの処理過程を説明する．
第 4. 2 節ではモデルに入力するグリッド特徴量について，第 4. 3
節では回帰を利用した危険度の分類手法について説明する．

4. 1（注 1）：次の URL の実装を用いた．https://pjreddie.com/darknet/yolo/

問

全

体

像

図 2 に提案手法の全体像を示す．提案ネットワークは，画像

< Input >
CNN

Grid

FC

Image
Data
(t = 1)35.111,
137.12211, ...

FC

Sensor

FC
FC

ANet

< Output >
FC

Grid
Data
(t = T)

ObjectDetection

LSTM

FC

ANet

LSTM

SigmoidFC

Calculate likelihood

High
MiddleLow
No near miss

図 2 提案手法の概要図

データ処理ユニット，センサデータ・グリッド特徴処理ユニッ

では系列データの長期的な依存関係を学習することができるた

ト，時系列モデリングユニット，危険度分類ユニットの 4 つのめ，ヒヤリハット危険度推定に必要な特徴量の時間的な変化のユニットから構成される．以下，各ユニットについて説明する．

モデル化を期待できる．

画像データ処理ユニット．画像データは CNN によってエン危険度分類ユニット．LSTM によって獲得した特徴ベクトル

コードする．提案手法の CNN は 3 層の畳み込み層から構成し，hl を全結合層によって 1 次元にエンコードし，危険度スコアを各畳み込み層の後には，学習の高速化や過学習の抑制に効果算出する．このとき，クラス分類と回帰を組み合わせたフレーのある Batch Normalization [30]，情報の圧縮による計算コスムワークを利用する．得られた危険度スコアは，正規分布の対トの低減や位置変化に対する頑健性の向上に効果のある Max

数尤度に基づいて {0, 1, 2, 3} に離散化し，推定結果として出力

Pooling [31] を行う．画像は RGB チャネルを持ち，64 × 64 のする（ 4. 3 節参照 ）．
グリッド特徴解像度にリサイズしたデータを入力することを想定し，畳み込

4. 2

みの Stride はいずれの層でも 1 とし，フィルタサイズは 1 層目

本節では，提案ネットワークに入力するグリッド特徴の詳細

で 7 × 7，2 層目で 5 × 5，3 層目で 3 × 3 とする．Max Poolingについて説明する．なお，この手法は先行研究 [10] の手法を拡は，いずれの層でも Stride を 2，フィルタサイズを 2 × 2 とす張したものである．本論文で取り組むヒヤリハットの危険度推る．また，全ての Batch Normalization と Max Pooling の間定においては，前方映像中に存在する物体の，自車に対する位で用いる活性化関数には ReLU を用いる．CNN によって得ら置・距離を考慮することが重要であると考えられる．そこで本れる特徴マップは全結合層によってエンコードし，特徴ベクト

論文では，適当な縦と横のグリッド数 Gh ，Gw からなる行列

ル hti を得る．

Gt ∈ RGh ×Gw を用意し，物体検出結果をグリッド空間に埋め

センサデータ・グリッド特徴処理ユニット．センサデータ及込むことによって，物体の領域情報を考慮した特徴行列を得る．

びグリッド特徴は，全結合層によってエンコードし，特徴ベクt フレーム目のグリッド特徴行列 Gt の生成手順をアルゴリズ

トル hts ，htg を得る．更に，得られた特徴ベクトルを連結した

ム 1 に示す．

後，再度全結合層によってエンコードすることで，新たな特徴

Gt の生成では，入力として t フレーム目の画像から検出

ベクトル htsg を得る．本ユニットの構成においては，ヒヤリされた特定の物体の検出数 N t と，物体の領域情報の系列

ハットの危険度が「自車速度」，「自車−対象物体間の距離」とt
B t = {btn }N
n=1 ，画像の縦幅 H と横幅 W ，縦と横のグリッド

いう 2 要素の関係に依存して決定されることに着目する．例え数 Gh ，Gw を用いる．出力する行列 Gt を 0 で初期化した後，ば，自車速度が大きく，且つ対象物体との距離が近いときには

ステップ幅 Sh ，Sw を計算する．時刻 t，検出物体 n に関して，危険度が高いといえるが，自車速度が小さいまたは停車していその領域が画像中のどのグリッドに含まれているかを得るため，る状態で，且つ対象物体との距離が近いときには危険度が低く

左端，上端，右端，下端インデックス lef t，top，right，bottom

なる．提案手法では，画像データの特徴ベクトルより前の段階を計算する．また，当該グリッドに埋め込むスコアとして，物でセンサデータ・グリッド特徴の特徴ベクトルを連結し，エン

体領域の画像サイズに対する面積比 r を計算する．これは，物コードすることによって，上述のような 2 要素間の関係性を表

体領域の面積が大きいほど自車に対して物体は近い距離にあり，現する特徴量の獲得が期待できる．

また近い距離にあるほど危険度が高くなる要因となっていると時系列データモデリングユニット．本ユニットでは，画像デー

考え，その特性を考慮したスコアをグリッド空間に埋め込むたタの特徴ベクトル hti とセンサデータ・グリッド特徴の特徴ベめである．そして，対象グリッドについて，縦方向を top から

クトル htsg を連結し，再度全結合層によってエンコードするこ

bottom，横方向を lef t から right の範囲で走査し，該当するとで htisg を得る．このようにして得られる T フレーム分の時グリッドに対してスコア r を gi,j に加算する．

系列データを LSTM を用いてエンコードする（hl ）．LSTM

先行研究 [10] では全時刻の情報を足し合わせて 1 つのグリッ

Algorithm 1 Calculate gridに変換する．ここで，一方ではヒヤリハット/非ヒヤリハット

N t ，B t ，H ，W ，Gの 2 クラス分類スコア，もう一方ではヒヤリハット（高/中/低）Input:

h ，Gw

Output: Gtの回帰スコアを計算する．2 クラス分類スコアの算出において

1: Gt ∈ RGh ×Gw ← 0は，シグモイド関数を適用することによって [0,1] の範囲の値

H
2: Sh ← G

hya に変換する．ya に対する教師信号は ta ∈ {0, 1} とし，ヒヤw

リハット（高/中/低）の場合を ta = 1，非ヒヤリハットの場合

W
3: Sw ← G

4: for each detected object n in 1 to Nt do
bt .lef t

5:

lef t ← ⌈ nS

6:

top ← ⌈

7:

right ← ⌈⌉w
btn .topSh
btn .rightSw
btn .bottom
Shを ta = 0 と定める．誤差 La の計算は式 (1) に示す交差エント
ロピーを用いて行う．

⌉

La = −⌉

1 ∑{ta log ya + (1 − ta ) log(1 − ya )}
D

(1)

d

8:

bottom ← ⌈9:height ← btn .top − btn .bottom

ここで，D はデータ数，d はデータを走査するためのインデッ

10:width ← btn .right − btn .lef t

クスであり，各々の教師信号と推定スコアに付随するが，本論

11:r ← height×width
H×W

文では省略して記述する．

12:

for each vertical grid index i in top to bottom dofor each horizontal grid index j in lef t to right do

13:gi,j ← gi,j + r

14:

end for

15:
16:

⌉

2 クラス分類のスコア ya は，式 (2) のように回帰スコア ycに乗算して利用することにより，ヒヤリハットである場合にのみ値を保持するゲートのような役割を果たす．

end foryb = ya yc

17: end for(2)

最終的に得られる回帰スコア yb に対する教師信号は tb ∈ド特徴を生成している．しかし，危険度推定においては自車―{0, 1, ..., C − 1} とし，危険度が大きいほど，教師信号の値が大対象物体間の距離の時間的遷移や，自車速度との関係が重要できくなるように対応付ける．誤差 Lb の計算は式 (3) に示す二あることから，本論文の提案手法では，各時刻毎にグリッド特乗和誤差を用いて行う．

徴を生成している．

4. 3

Lb =

回帰を利用した危険度分類

1 ∑(tb − yb )2
D

(3)

d

本節では，提案ネットワークにおける回帰を利用した危険度分類の手法について説明する．本論文では，ヒヤリハットの危
険度を C クラスに分類することを想定しているが，本来，ヒ

なお，提案ネットワークを学習する際の目的関数 L は，式 (4)のように Lb と Lb の和をとることによって計算する．

ヤリハットの危険度には自車の速度やヒヤリハットの発生対象

L = La + Lb

(4)との近さなどによって決定される連続的な関係性がある．一方で，非ヒヤリハットシーンには危険な状況が含まれていないこ得られた連続値の回帰スコア yb は，離散的な推定ラベル {とから，ヒヤリハットと非ヒヤリハットの間には，明確な差異

非ヒヤリハット，低，中，高 } に変換して出力する．変換は，が存在することが考えられる．このとき，ヒヤリハット（例：

次の手順にしたがって行う．まずはじめに，学習データの 2 割

高/中/低）と非ヒヤリハットを連続的な関係性として扱うことをチューニングデータとし，チューニングデータの回帰スコは望ましくない．以上の点を考慮して，本論文ではヒヤリハッ

アに対する平均，分散を各ラベル毎に計算することで，µlabel ，ト/非ヒヤリハットの 2 クラス分類と，ヒヤリハットのスコア

2
σlabelを得る．但し，label ∈ {0, 1, 2, 3} である．次に，得られの回帰を組み合わせた危険度分類手法を提案する．

た µlabel と σlabel をパラメータとする正規分布の所属確率が最このとき，提案手法のモデルはマルチタスク学習の枠組みで大となる label の値をモデルの出力 y とする（式 (5)）．

最適化される．深層学習におけるマルチタスク学習は，メインタスクに関連するサブタスクを教師信号として与え，同一のy=arg max√

label∈{0,1,2,3}(yb − µlabel )2
1
exp{−
}
2
2
2σlabel
2πσlabel(5)

ニューラルネットワークで最適化することにより，汎化性能の高いモデルパラメータを学習できることが知られている [32, 33]．
本論文では，メインタスクであるヒヤリハットの危険度推定を，「ヒヤリハット/非ヒヤリハットの 2 クラス分類」「ヒヤリハッ
トのスコアの回帰」という２つの簡単なタスクに切り分け，サ

5.

評価実験

本章では，提案手法の有効性を検証するために，実際のドラ
イブレコーダデータを用いて行った実験について述べる．

5. 1

データセットと設定

ブタスクとして設定する．これらのタスクからなる目的関数を実験に用いるドライブレコーダデータには，東京農工大学

最小化することで，汎化性能の高いモデルパラメータを学習す

スマートモビリティ研究拠点の提供する「ヒヤリハットデータ

ることが期待できる．

ベース」を利用した．このデータセットでは，1 つのイベント提案手法では図 2 に示すように，LSTM の出力を 2 層の並データにつき 1 つの危険度ラベルが付与されており，{ 事故，

列な全結合層によってエンコードし，それぞれ 1 次元のスコア

高，中，低，非ヒヤリハット } の５段階で表現される．本論文

では，画像データとしては，450 フレームから成る１つのイベ

Recall =ントデータのうち，ヒヤリハットシーンが含まれているフレームを中心に分析するため，210 フレーム目から 450 フレーム目
までの中から等間隔に 15 フレームサンプリングして使用した．
画像の解像度は 640 × 400 で提供されているが，CNN で分析するにあたって，各フレーム画像は RGB 形式で 64 × 64 の解像度に線形変換した．物体検出はオリジナル画像に対して直接実行した．また，センサデータとしては，前後加速度，横加速
度，スピードの３種類を使用した．各ラベル毎のデータ件数を表 3 に示す．

F 1 − score =
5. 3

TP
，
TP + FN(7)

2 × P recision × Recall．
P recision + Recall

(8)

実験結果

本節では，実験結果の分析を通じて，提案手法の各要素，及びそれらを組み合わせた場合の有効性を検証する．
検証１．グリッド特徴を入力として追加することにより，危険度推定の性能が向上するか？
ここでは，前方映像に対する物体検出の結果を表現する「グリッド特徴」の使用により，危険度推定の性能が向上するか検証する．なお，グリッド特徴を生成する際には，グリッドの分

表 3 各ラベル毎のデータ件数
訓練

テスト

合計

割 Gh × Gw が細かい設定（64 × 40），粗い設定（6 × 4）の２

高

208

92

300

通りについて実験を行い，それぞれの精度を比較した．また，

中

412

188

600

低

グリッドに埋め込むスコアとして， 4. 2 節に示したように面積

627

273

900

非ヒヤリハット1273

527 1800比を利用する場合に加え，面積比にガウスカーネルを乗算した
場合の影響を検証した．ガウスカーネルを適用することにより，物体領域の中心に近いほど，スコアが大きくなるように重み付提案手法の有効性を確認するため，本研究では，次の２つの比較手法を用意した．

Baseline．Baseline の手法は，ヒヤリハット/非ヒヤリハットの２クラス分類を行う先行研究 [9] のモデルを，危険度推定をけされる．式 (9) に，ガウスカーネルを乗算する場合のスコアの計算式を示す．但し，l は物体領域の中心からの距離を表し，

σ は (検出領域の縦幅)/2 とする．

Improved Dense Trajectories．Improved Dense Trajec-

l2
1
exp 2
rgauss = r × √
2σ
2πσ 2

tories(IDT) は映像中の人物の動作認識タスクに利用される特

図 3 に，面積比のスコアを利用した場合と，面積比 × ガウス

徴表現で，密な点群を追跡し，その軌跡上の局所特徴量に基づカーネルのスコアを利用した場合のそれぞれについて，グリッ

いて高次特徴量を記述する手法である [34]．本論文で扱う危険ド特徴のイメージを示す．

行うため，４クラス分類を行うモデルに拡張したものである．

(9)度推定タスクでは，映像データ中の物体の動きや自車から見た周囲環境の動きを用いるため，IDT の有効性が期待される．

IDT は合計 426 次元の特徴量を映像中の局所特徴毎に抽出する．本論文では IDT で得られた特徴量を K-means でクラスタリングした後，各局所特徴に割り当てられたクラスタ ID の頻度を映像ごとに求める．その頻度分布を映像の特徴ベクトルと
図 3 同一のフレーム画像に対して計算された２種類のグリッド特徴のして，SVM でモデルを学習した後，分類結果を得た．

5. 2

イメージ．スコアが大きい部分ほど，濃い色で表現されている．

評価尺度

ヒヤリハットの危険度推定タスクにおいて，提案手法の有効正確性と，推定結果が全ての正解のうちどれだけ網羅しているかという網羅性の，２つの観点から評価する．本論文では，正確性を適合率（Precision），網羅性を再現率（Recall），またこれらの評価指標の調和平均である F 値（F1-score）によって表し，提案手法の性能を評価する．これらの指標を計算するため，評価データの集合と推定結果の集合に関して，次のような３種類のパラメータを定義する．

TP: 正例に対して推定結果が正であったデータの件数

Classification performance [%]性を議論するため，推定結果がどれだけ正解しているかという
74
72

Precision
Recall
F1-score

70
68
66
unusedFP: 負例に対して推定結果が正であったデータの件数

6x4:ratio

64x40:ratio

64x40:gauss

図 4 グリッド特徴の有無，及びグリッド特徴の計算方法に関する異なFN: 正例に対して推定結果が負であったデータの件数る設定における精度比較

このとき，Precision，Recall，F1-score は次のように計算される．

P recision =TP，
TP + FP

図 4 に検証結果を示す．結果から，グリッド特徴を使用しな(6)い場合（unused）と比較して，グリッド特徴を使用した場合に精度が向上していることが確認できる．また，グリッドの分割

図 6 に検証結果を示す．結果から，工夫点 (1)(2) のいずれ数については，粗い場合（6 × 4: ratio）と比較して，細かい場

かのみを利用した場合（Grid, Cla+Reg）と比較して，工夫点合（64 × 40: ratio）の方が僅かに精度が高いことが確認でき(1)(2) を組み合わせた場合（Proposed）に精度が向上している

る．これは，分割が細かい方が物体の検出位置をより正確に表ことがわかる．このことから，各要素を組み合わせることの有現できるためであると考えられる．グリッドに埋め込むスコア

効性が確認できる．また，比較手法（Baseline, IDT）に対してについては，ガウスカーネルを適用する場合（64 × 40: gauss）

提案手法（Proposed）の精度が高いことから，提案手法の有効と比較して，適用しない場合（64 × 40: ratio）の精度が高い．

性が確認できる．

この結果から，同じ物体の領域は一様に考慮すべきであると結Classification performance [%]論づけられる．
検証２．回帰手法を利用することにより，危険度推定の性能が向上するか？
ここでは，モデルの出力部において回帰手法を利用した場合に，危険度推定の性能が向上するか検証する．なお，検証にあたって，予め次の２つの仮説を立てる．
仮説１．ヒヤリハット｛高・中・低｝と非ヒヤリハットの間には離散的な関係がある．

80
IDT
Baseline
Grid

75

Cla+Reg
Proposed

70

65

60
Precision

仮説２．ヒヤリハット｛高・中・低｝と非ヒヤリハットの間にRecall

F1-score

図 6 比較手法と提案手法の各要素，及びそれらの組み合わせの精度

は連続的な関係がある．

比較仮説３．ヒヤリハットと非ヒヤリハットには明確な差異（離散的な関係）があるが，ヒヤリハット｛高・中・低｝の間には連続的な関係がある．

では，仮説１，２，３のそれぞれに基づくモデルについて比較を行った．このとき，仮説１のモデルでは分類のみ，仮説２のモデルでは回帰のみを利用し，仮説３のモデルでは分類と回帰

100
90
80
70
60
50
40
30
20
10
0

Baseline
Proposed
Recall [%]よって実現される．仮設３は式 (4) によって実現される．実験

Precision [%]仮設１，２はそれぞれ，交差エントロピーと二乗和誤差にHigh

MiddleLow

No miss

100
90
80
70
60
50
40
30
20
10
0

Baseline
ProposedHigh

MiddleLow

No missを利用する．
図 5 に検証結果を示す．結果から，分類のみを利用した場合

Precision
Recall
図 7 ベースラインと提案手法の各クラス別の Precision と Recall（Cla）と比較して，回帰を利用した場合に精度が向上していることが確認できる．また，回帰のみを利用した場合（Reg）と次に，ベースラインの手法と提案手法の性能をクラス別に比比較して，分類と回帰を利用した場合（Cla+Reg）に精度が向較した結果を図 7 に示す．結果から，提案手法ではベースライ上していることから，仮説３が妥当であると結論づけられる．

ンの手法と比較して，特にクラス「高」の適合率，及びクラス

Classification performance [%]「低」の再現率が改善されていることがわかる．
74
72

Precision
Recall
F1-score

6.

ま

と

め

本論文では，ドライブレコーダデータで記録されたイベント
データに対してヒヤリハットの危険度を推定することを目的に，

70

映像とセンサ，物体検出結果を複合的に活用した推定手法を提68案した．提案手法では，ヒヤリハット発生対象の自車に対する位置関係を表現するグリッド特徴，及び危険度の連続性を考慮

66
Cla

Reg

Cla+Reg

する回帰手法を取り入れたモデルを提案し，評価実験においてそれぞれの有効性を確認した．また，双方を組み合わせたとき

図 5 クラス分類，回帰，クラス分類＋回帰の精度比較

検証３．各要素の組み合わせにより，危険度推定の性能が向上するか？
提案手法では，(1) グリッド特徴，(2) 分類＋回帰という２つの工夫を施している．ここでは，(1)(2) を組み合わせた場合の効果を検証する．また，提案手法と他手法を比較することで，提案手法の有効性を検証する．

に，より高精度でヒヤリハットの危険度を推定できることを明らかにした．
今後は，更に推定精度を向上させるため，ヒヤリハット発生
対象の属性に関する情報を活用することを検討している．

謝

辞本研究を遂行するにあたり，国立大学法人東京農工大学ス
マートモビリティ研究拠点の提供する「ヒヤリハットデータ
ベース」を利用した．ここに記して謝意を示す．

文献[1] M. Maeda, T. Uetani, and M. Takagi. Development of drive
recorder (obvious recorder). Fujitsu Ten Technical Journal,
Vol. 27, , 2006.
[2] ド ラ イ ブ レ コ ー ダ ー の 活 用 に つ い て｜警 察 庁 web サ
イ ト. <https://www.npa.go.jp/bureau/traffic/anzen/
drive_recorder.html>, (参照 2018-11-23).
[3] Driving safety promotion center honda motor co. ltd.:
Honda driving safety promotion activities 2016. <http://
www.honda.co.jp/safetyinfo/global/safetyinfo_2016_E.
pdf>, (参照 2018-11-23).
[4] 日本カーソリューションズ株式会社：全国の 38 拠点から安全でエ
コな自動車リースを展開，ntt 技術ジャーナル. <http://www.
ntt.co.jp/journal/1110/files/jn201110040.pdf>, (参照2018-11-23).
[5] Smart mobility research center - research. <http://web.
tuat.ac.jp/~smrc/drcenter.html>, (参照 2018-11-23).
[6] さいたま市／ヒヤリハットマップを作製しました. <http://www.
city.saitama.jp/chuo/001/001/003/p036723.html>, (参照 2018-11-23).
[7] ヒ ヤ リ ハット マップ を つ く り ま せ ん か — 和 歌 山
県. <https://www.pref.wakayama.lg.jp/prefg/031300/
documents/hiyarihatto.html>, (参照 2018-11-23).
[8] 子ども目線の交通安全マップを作製しました 松山市ホームペー
ジ.
<https://www.city.matsuyama.ehime.jp/kurashi/
kurashi/seibi/keikaku/childmap/kodomomesen.html>, (参照 2018-11-23).
[9] 山本修平, 遠藤結城, 戸田浩之. 映像とセンサ信号を用いたドラ
イブレコーダデータからのヒヤリハット検出手法. 情報処理学会
論文誌データベース（TOD）, Vol. 10, No. 4, pp. 26–30, dec
2017.
[10] 山本修平, 倉島健, 戸田浩之. ドライブレコーダデータに対する
ヒヤリハット発生対象分類. In DICOMO, 2018.
[11] K. Fukushima and S. Miyake. Neocognitron: A selforganizing neural network model for a mechanism of visual
pattern recognition. In Competition and cooperation in neural nets, pp. 267–285. Springer, 1982.
[12] T. Mikolov, M. Karafiát, L. Burget, J. Černockỳ, and
S. Khudanpur. Recurrent neural network based language
model. In Eleventh Annual Conference of the International
Speech Communication Association, 2010.
[13] 菊池理人, 日景由華, 御室哲志. ドライブレコーダデータからの自動分別の試み. 計測自動制御学会東北支部第 290 回研究集会,
2014.
[14] 森村哲郎, 悠輔谷澤, 山崎慎也, 井手剛. 統計的機械学習を用いた
プローブカーデータからのヒヤリハット発生形態の推定. 自動車
技術会論文集, Vol. 43, No. 2, pp. 573–578, 2012.
[15] R. Ke, J. Lutin, J. Spears, and Y. Wang. A cost-eﬀective
framework for automated vehicle-pedestrian near-miss detection through onboard monocular vision. In Proceedingsof the IEEE Conference on Computer Vision and Pattern
Recognition Workshops, pp. 25–32, 2017.
[16] T. Suzuki, Y. Aoki, and H. Kataoka. Pedestrian near-missanalysis on vehicle-mounted driving recorders. In Machine
Vision Applications (MVA), 2017 Fifteenth IAPR International Conference on, pp. 416–419. IEEE, 2017.
[17] K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learningfor image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 770–

778, 2016.
[18] S. Ravada, M. Ali, S. Newsam, M. Renz, and G. Trajcevski,
editors. Proceedings of the 24th ACM SIGSPATIAL International Conference on Advances in Geographic Information Systems, GIS 2016, Burlingame, California, USA,
October 31 - November 3, 2016. ACM, 2016.
[19] 豊田正史, 横山大作, 伊藤正彦. 運転状況を考慮したドライブレ
コーダデータからの潜在リスク交差点検知手法. DEIM, 2017.
[20] D. Yokoyama and M. Toyoda. Do drivers’ behaviors reflect
their past driving histories? - large scale examination of vehicle recorder data. In 2016 IEEE International Congress
on Big Data (BigData Congress), pp. 361–368, June 2016.
[21] D. Yokoyama, M. Toyoda, and M. Kitsuregawa. Understanding drivers safety by fusing large scale vehicle recorderdataset and heterogeneous circumstantial data. In PacificAsia Conference on Knowledge Discovery and Data Mining, pp. 734–746. Springer, 2017.
[22] M. Bojarski, D. Del Testa, D. Dworakowski, B. Firner,
B. Flepp, P. Goyal, L. Jackel, M. Monfort, U. Muller,
J. Zhang, et al. End to end learning for self-driving cars.
arXiv preprint arXiv:1604.07316, 2016.
[23] J. Kim and J. Canny. Interpretable learning for self-drivingcars by visualizing causal attention. In ICCV, pp. 2961–
2969, 2017.
[24] H. Xu, Y. Gao, F. Yu, and T. Darrell. End-to-end learning of driving models from large-scale video datasets. arXiv
preprint, 2017.
[25] A. Jain, H. Koppula, B. Raghavan, S. Soh, and A. Saxena.
Car that knows before you do: Anticipating maneuvers via
learning temporal driving models. In Proceedings of theIEEE International Conference on Computer Vision, pp.
3182–3190, 2015.
[26] A. Jain, A. Singh, H. Koppula, S. Soh, and A. Saxena.
Recurrent neural networks for driver activity anticipation
via sensory-fusion architecture. In Robotics and Automation (ICRA), 2016 IEEE International Conference on, pp.
3118–3125. IEEE, 2016.
[27] F. Chan, Y. Chen, Y. Xiang, and M. Sun. Anticipating accidents in dashcam videos. In Asian Conference on Computer
Vision, pp. 136–153. Springer, 2016.
[28] S. Hochreiter and J. Schmidhuber. Long short-term memory. Neural computation, Vol. 9, No. 8, pp. 1735–1780, 1997.
[29] J. Redmon and A. Farhadi. Yolov3: An incremental improvement. arXiv, 2018.
[30] S. Ioﬀe and C. Szegedy. Batch normalization: Accelerating
deep network training by reducing internal covariate shift.
arXiv preprint arXiv:1502.03167, 2015.
[31] D. Scherer, A. Müller, and S. Behnke. Evaluation of pooling
operations in convolutional architectures for object recognition. In Artificial Neural Networks–ICANN 2010, pp. 92–
101. Springer, 2010.
[32] A. Bordes, X. Glorot, J. Weston, and Y. Bengio. Joint learning of words and meaning representations for open-text semantic parsing. In Neil D. Lawrence and Mark Girolami, editors, Proceedings of the Fifteenth International Conferenceon Artificial Intelligence and Statistics, Vol. 22 of Proceedings of Machine Learning Research, pp. 127–135, La Palma,
Canary Islands, 21–23 Apr 2012. PMLR.
[33] R. Collobert, J. Weston, L. Bottou, M. Karlen,
K. Kavukcuoglu, and P. Kuksa. Natural language processing (almost) from scratch. Journal of Machine Learning
Research, Vol. 12, No. Aug, pp. 2493–2537, 2011.
[34] H. Wang and C. Schmid. Action recognition with improved
trajectories. In IEEE International Conference on Computer Vision, pp. 3551–3558, 2013.