平成 27 年度自動車安全運転センター交通安全等に関する調査研究
事業用自動車の安全対策に資するもの

報告書

ドライブレコーダ映像からの映像情報を用いた危険度推定

平成 28 年 5 月

九州工業大学大学院

株式会社 堀場製作所

榎田 修一

石倉 理有

報

告 書 要 旨

近年，交通事故時の映像を記録する機器であるドライブレコーダが，事業用車両，一般用車両問わず普及している．事業用自動車へ本機器を装備する際は，国土交通省自動車交
通局が提供するドライブレコーダによる事故防止マニュアル「映像記録型ドライブレコー
ダ活用手順書」にも示されるように，交通事故の状況把握のみならず安全運転管理への活用が期待される．しかし，加速度センサにより検知した急制動によって映像記録のトリガをかける方式のドライブレコーダにより記録された映像の全てが安全運転の評価に利用できることは少なく，一般的には道路の凹凸などによる車両の大きな振動に起因するトリガにより得られた環境データを多く含む．よって，安全運転管理におけるドラレコ活用の現状は，オペレータによる目視による事故・ニアミス状況の確認が必要であることで莫大なコストを要する．さらに，危険と考えられるいくつかの運転状況，例えば一時停止不履行
や信号無視には急な加減速を含まないものも多く，安全運転管理の現場では常時映像を記録することが要求されている．
本研究では，映像記録型ドライブレコーダが記録した映像情報に対し画像処理技術を活用することで交通状況を自動認識することで運転危険度を推定し，事故類別や運転マナーの確認を効率良く行えるシステムの開発を目指す．平成 27 年度の調査研究においては，目標システムの実現に不可欠となる車両の検出，および道路標識の検出について調査を行った．本報告書では，車両検出には Deformable Part Model（DPM）に基づく物体検出アルゴリズムを適用した．適用対象としては農工大 TLO が提供するヒヤリハットデータ（2013年度，および 2014 年度の約 2 万件）とし，タグ付けされた情報から追突事故に絞り，危険度が中以上の 506 件に対して検証実験を行った．しかし，一般的に利用される DPM アル
ゴリズムでは，ドライブレコーダ映像における車両検出精度が低く，活用にはさらなる改善が必要であることを確認した．本報告書では，著者らにより提案されたアルゴリズムの改善手法について紹介し，車両検出精度が向上したこともあわせて示ししている．道路標
識検出には深層学習（Deep Learning）を用いた．一般に利用される SIFT マッチングに基づく標識検出に比べ，頑健に標識の検出が実現できることを確認した．しかし，一時停止の道路標識への応用を検討した場合，停止すべき場所と一時停止の標識の位置との関係は自由度が高く，標識を検出するだけでは不十分であることも判明した．そこで，本報告書
では，停止すべき交差点映像そのものを Deep Learning により学習することで，上記の問題を解決することを提案し，識別性能を評価した．ただし，後者の手法については，実用にはさらなる精度の向上が望まれることを確認するに留まった．
本報告書では，1 章に背景，2 章にドライブレコーダ記録映像からの車両検出，3 章にドライブレコーダ記録映像からの道路標識検出について述べ，4 章にまとめを述べている．

目次

第 1 章 はじめに

3

第 2 章 ドライブレコーダ記録映像からの車両検出
2.1 Deformable Part Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.1.1 Deformable Part Model における検出スコアの計算 . . . . . . . . . .
2.2 Latent SVM による Deformable Part Model の構築 . . . . . . . . . . . . . .
2.2.1 ルートフィルタの初期化 . . . . . . . . . . . . . . . . . . . . . . . . .
2.2.2 ルートフィルタの更新 . . . . . . . . . . . . . . . . . . . . . . . . . .
2.2.3 パートフィルタの初期化 . . . . . . . . . . . . . . . . . . . . . . . . .
ルートフィルタ内のエッジ強度計算 . . . . . . . . . . . . . . . . . . .
パートフィルタ生成領域の選択 . . . . . . . . . . . . . . . . . . . . .
パートフィルタ内のエッジ強度更新 . . . . . . . . . . . . . . . . . . .
2.2.4 モデルの更新 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.3 拡張 Deformable Part Model を用いた車両検出実験 . . . . . . . . . . . . . .
2.3.1 車両データセットを用いた定量評価実験 . . . . . . . . . . . . . . . .
評価アルゴリズム . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
実験結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.3.2 ドライブレコーダデータを用いた定性評価実験 . . . . . . . . . . . . .
実験環境設定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
実験結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.3.3 ドライブレコーダデータを用いた追突検出実験 . . . . . . . . . . . . .
評価方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
追突検出実験結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.3.4 考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.4 まとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5
5
5
7
8
9
9
10
10
12
15
15
15
16
18
20
20
20
22
22
23
25
25

第 3 章 ドライブレコーダ記録映像からの標識検出
3.1 畳み込みニューラルネットワーク . . . . . . . . . . . . . . . . . . . . . . . .
3.1.1 ニューラルネットワーク . . . . . . . . . . . . . . . . . . . . . . . . .
活性化関数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
ステップ関数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
シグモイド関数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
単純パーセプトロン . . . . . . . . . . . . . . . . . . . . . . . . . . .
多層パーセプトロン . . . . . . . . . . . . . . . . . . . . . . . . . . .

27
27
27
27
27
28
28
29

1

3.2

学習最適化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.1.2 畳み込みニューラルネットワークの概要 . . . . . . . . . . . . . . . .
3.1.3 畳み込み層 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.1.4 プーリング層 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
畳み込みニューラルネットワークを用いた道路標識検出実験 . . . . . . . . .
3.2.1 道路標識の検出実験 . . . . . . . . . . . . . . . . . . . . . . . . . . .
定性評価実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.2.2 一時停止すべきシーンの検出実験 . . . . . . . . . . . . . . . . . . . .
定性評価実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.2.3 考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.2.4 まとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

第 4 章 まとめ

29
30
31
32
33
33
34
35
37
37
38
41

2

第1章

はじめに

近年，交通事故時の映像を記録する機器であるドライブレコーダが，事業用車両，一般用
車両問わず普及している．事業用自動車へ本機器を装備する際は，国土交通省自動車交通局
が提供するドライブレコーダによる事故防止マニュアル「映像記録型ドライブレコーダ活用
手順書」にも示されるように，交通事故の状況把握のみならず安全運転管理への活用が期待される．しかし，加速度センサにより検知した急制動によって映像記録のトリガをかける方
式のドライブレコーダにより記録された映像の全てが安全運転の評価に利用できることは少なく，一般的には道路の凹凸などによる車両の大きな振動に起因するトリガにより得られた環境データを多く含む．よって，安全運転管理におけるドラレコ活用の現状は，オペレータ
による目視による事故・ニアミス状況の確認が必要であることで莫大なコストを要する．さらに，危険と考えられるいくつかの運転状況，例えば一時停止不履行や信号無視には急な加減速を含まないものも多く，安全運転管理の現場では常時映像を記録することが要求されている．ただし，常時記録された長時間の映像を効率良く解析するためには，システムによる自動切り出しが必要であるが，現状では加速度による判断にとどまるため，問題となる上記の危険運転は抽出することが不可能である．
本研究では，映像記録型ドライブレコーダが記録した映像情報に対し画像処理技術を活用することで交通状況を自動認識し，運転危険度を推定したのち事故類別や運転マナーの確認，
安全運転教育を効率良く行えるシステムの開発を目指す（図 1 参照）．本システムでは，常時記録された映像を加速度によるトリガ処理が行われた部分映像と，常時記録された全ての映像データとに分けて処理することを検討している．加速度によるトリガ処理がなされた映像前後では，急制動を引き起こす危険運転がなされたと判断し，回避対象を画像処理により加速度によるトリガ処理

常時記録された全ての映像データ
車両検出技術による車間距離推定
地図から交差点付近の映像を抽出

車両検出技術による追突・出会い頭事故認識

運転行動の自動解析・
定量評価

頻出事故につながる
重点評価する 運転行動を自動検索
運転行動を選択

標識・路面表示検出，信号識別

安全運転管理者（コーディネータ）

具体的な運転行動改善案に基づく安全運転指導

各事業所の頻発
事故類型を把握

一旦停止の履行率，右折時の経路（回転半径）評価，見切りの悪い交差点進入時の減速行動等の選択された運転行動に基づき，模範運転行動との差を具体的に評価し，改善策を検討

図 1.1 ドライブレコーダ記録映像による画像処理を活用した安全運転教育システム

3検出することで事故・ニアミスを自動類別することが可能となると期待される．回避対象
は車両，歩行者等様々あり得るが，本報告書では車両の検出に焦点を当てて自動化の可能性を検討した．第 2 章では，車両検出には Deformable Part Model（DPM）に基づく物体検
出アルゴリズムを適用した．適用対象としては農工大 TLO が提供するヒヤリハットデータ（2013 年度，および 2014 年度の約 2 万件）とし，タグ付けされた情報から追突事故に絞り，危険度が中以上の 506 件に対して検証実験を行った．しかし，一般的に利用される DPM ア
ルゴリズムでは，ドライブレコーダ映像における車両検出精度が低く，活用にはさらなる改善が必要であるため，本報告書では，アルゴリズムの改善手法について紹介し，ドライブレ
コーダ記録映像からの車両検出精度の比較実験を行う．
次に，常時記録された全ての映像データに関する画像解析について検討する．第 2 章で紹介する車両検出の技術を応用することで車間距離の推定が可能となることが期待される．また，道路標識の認識を行うことで，一時停止の履行，不履行も評価可能となる．以上から，
急制動を含まない危険な運転について自動検出が可能となると期待される．第 3 章では道路標識検出には深層学習（Deep Learning）を用いた．一般に利用される SIFT マッチングに基づく標識検出は解像度やダイナミックレンジが高いカメラで記録された映像において高い検出能力を発揮するが，記録映像の質が必ずしも高くないドライブレコーダにより記録された映像からの道路標識検出には性能が不十分であった．そこで，本報告書では道路標識検出に Deep Learning を活用し，頑健な道路標識検出を目指す．しかし，一時停止の道路標
識検出を行った結果，停止すべき場所（停止線や歩道の手前）と一時停止の標識との位置関係は自由度が高く，標識を検出するだけでは停止すべき場所で停止したかの判断には不十分であることも懸念される．そこで，本報告書では，停止すべき交差点映像そのものを Deep
Learning により学習することで，上記の問題を解決することを提案し，識別性能を評価する．
本報告書では，1 章に背景，2 章にドライブレコーダ記録映像からの車両検出，3 章にドライブレコーダ記録映像からの道路標識検出について述べ，4 章にまとめを述べている．

4

第2章

ドライブレコーダ記録映像からの車両検出

安全運転支援システムにおける物体検出の精度向上を目指すためには，主な検出対象として考えられる人や車両に対する検出精度が問題となる．人は様々な姿勢をとることがあり，
車両は車種により形状が異なる．そのような人の姿勢変化や，車両の車種による形状変化に頑健な検出手法として，Deformable Part Model(DPM)[2][3] を用いた物体検出がある．

2.1

Deformable Part Model

Deformable Part Model(DPM) の最大の特徴は，検出対象全体を捉える一つのルートフィ
ルタとルートフィルタ内の特徴的な局所領域を捉える複数のパートフィルタという 2 種類のフィルタによって構成され，検出時にパートフィルタが配置を変えることにより姿勢変化や形状変化に頑健な検出を実現していることである．DPM による人物検出例を図 2.1 に示す．
検出には INRIA Person Dataset[1] を用いた．図 2.1 中の水色矩形がルートフィルタ，黄色
矩形がパートフィルタを表す．

図 2.1 DPM を用いた INRIA Person Dataset[1] における人物検出例

2.1.1

Deformable Part Model における検出スコアの計算

本節では，DPM を用いた検出を行う際に計算するスコアについて詳述する．DPM では
Histograms of Oriented Gradients(HOG) 特徴量 [1] が用いられている．DPM を用いた検出では，パートフィルタはルートフィルタ内の特徴的な局所領域を捉える必要があるため，

5

パートフィルタではルートフィルタの 2 倍の解像度で HOG 特徴量を算出する．そこで，図2.2 に示す HOG ピラミッドを定義する．HOG ピラミッドは，異なる解像度の画像と HOG
特徴量をピラミッドのように並べたもので，上層ほど低い解像度画像，下層ほど高い解像度画像を用いる．

図 2.2 HOG ピラミッド (画像は VOC2007[9] より)

HOG ピラミッドを H ，あるセル配置を p = (x, y, l) とする．l は HOG ピラミッドの階層
レベルを表す．すると，HOG ピラミッド H においてセル配置 p での HOG 特徴ベクトルは
ϕ(H, p)，フィルタ F のスコアは F · ϕ(H, p) と表せる．

6ここで，モデルの n 個のフィルタ配置を z = (p0 , ..., pn ) とし，式 (2.1) に基づき検出スコ
アを計算する．また，式 (2.1) 中の (x̃i , y˜i ) は式 (2.2) により計算される．図 2.3 にパートフィ
ルタの理想位置からの移動量 x̃i ,y˜i を示す．ai はパートフィルタの移動方向，bi は移動距離の係数を表す 2 次元ベクトルである．

score(p0 , ..., pn ) =n∑Fi · ϕ(H, pi ) −

i=0

n
∑

{ai · (x̃i , y˜i ) + bi · (x̃i 2 , y˜i 2 )}

(2.1)

i=1

(x̃i , y˜i ) = vi + (xi , yi ) − 2(x, y)

(2.2)

,

・
( ,

)

の理想位置

,

− 2( , )・・,
図 2.3 パートフィルタの移動量
エッジ最大領域の探索
パートフィルタ配置

エッジ強度更新

図 2.3 から，(x̃i , y˜i ) は Fi の理想位置からフィルタ Fi までのパートフィルタの移動量を示
すベクトルである．ここで，式 (2.3) と式 (2.4) を定義する．

β = (F0 , ..., Fn , a1 , b1 , ..., an , bn )(2.3)

φ = (ϕ(H, p0 ), ..., ϕ(H, pn ), (x˜1 , y˜1 ), (x˜1 2 , y˜1 2 ), ..., (x˜n , y˜n ), (x˜n 2 , y˜n 2 ))(2.4)

パートフィルタ領域の再探索
すると，式 (2.1) は式 (2.3) と式 (2.4) の内積
β · φ(H, z) で表すことができる．

2.2

Latent SVM による Deformable Part Model の構築

本章では，Latent SVM による DPM の構築について詳述する．DPM の構築において，学習用データセットは PASCAL Visual Object Classes の VOC2007[9] が用いられている．各7

学習画像には annotation ファイルが用意されており，画像中にどのようなカテゴリの物体
がどの領域に写っているかという情報が記述されている．annotation ファイルの情報を可視化した学習画像の例を図 2.4 に示す．画像中の物体全体を囲むように bounding box が表示されている．

personperson
horse

train

motorbike

bicyclecarbird

図 2.4 VOC2007[9] の例

2.2.1

ルートフィルタの初期化

ルートフィルタの初期化において，bounding box の情報をもとに学習を行う．まず，学習を行うカテゴリの全ポジティブサンプルの bounding box 情報を取得する．車両カテゴリにおける bounding box の例を図 2.5 に示す．

図 2.5 VOC2007[9] の車両カテゴリにおける bounding box の例

8図 2.6 切り取ったポジティブ画像の例
その後，bounding box の情報から計算されたアスペクト比の統計値により，ルートフィ
ルタのサイズを決定する．次に，潜在変数を用いずに通常の SVM によってルートフィルタの学習を行う．このとき，学習画像から bounding box の領域を切り取った画像をポジティブ画像とし，ポジティブ画像を決定されたルートフィルタのサイズにリサイズしたものを使用する．ネガティブ画像は，ネガティブサンプル画像からランダムに切り取った画像を使用する．学習画像から bounding box の領域を切り取ったポジティブ画像の例を図 2.6 に示す．

2.2.2

ルートフィルタの更新

ルートフィルタの更新では，2.2.1 節により決定されたルートフィルタの再学習を行う．ここではポジティブ画像のリサイズは行わず，リサイズ前のポジティブ画像を用いて学習を
行う．

・

の理想位置
2.2.3

パートフィルタの初期化

パートフィルタの初期化は，以下の (1)〜(3) のステップで行う．p 個のパートフィルタ生
成時には (1)〜(3) を p 回繰り返す．

・(1) エッジ強度の総和が最大となる局所領域を探索(2) (1) で選択された領域にパートフィルタを配置(3) パートフィルタ内のエッジ強度を 0 に更新

・,

パートフィルタの初期化の流れを図 2.7 に示す．
エッジ最大領域の探索

パートフィルタ配置

パートフィルタ領域の再探索

図 2.7 パートフィルタの初期化

9

エッジ強度更新

2.2.3 節ではステップ (1)，2.2.3 節ではステップ (3) における処理手順を詳述する．
ルートフィルタ内のエッジ強度計算

2.2.3 節に示す処理の前準備として，まず学習されたルートフィルタ内のエッジ強度計算を行う．計算結果は学習するアスペクト比ごとに配列として出力され，エッジ強度の強い領域ほど配列要素の値は大きくなる．学習するルートフィルタのサイズが 4×11 セルのとき，
パートフィルタ生成時にはルートフィルタの 2 倍の解像度で HOG 特徴量を計算するため，計算結果は 8×22 セルの配列として出力される．実際に使用された学習画像例と，学習によって計算された初期エネルギーのヒートマップを図 2.8 に示す．

学習画像例
2

4

0.01

初期エネルギーヒートマップ

6

8

0.02

10

12

0.03

14

16

0.04

18

0.05

20

22

0.06

図 2.8 VOC2007[9] の学習画像例と初期エネルギーヒートマップの比較

エッジ強度が強い領域ほど赤に近い色で，エッジ強度が弱い領域ほど青に近い色で表示されている．図 2.8 より，タイヤや屋根付近，フロント部分など，車両として特徴的な領域がヒートマップに反映されている．

パートフィルタ生成領域の選択

2.2.3 節に示した処理が終わると，次はエッジ強度の総和が最大となる局所領域を探索す
る．パートフィルタ生成領域の選択において，エッジ強度の総和が最大となる局所領域を探索するために，ルートフィルタ内の全ての領域に 6×6 セルのフィルタがかけられ，それぞれの領域におけるエッジ強度の総和計算が行われる．従来手法では平均化フィルタが用いら
れ，フィルタ内のエッジ強度の配置によらず同じ重み付けが行われる．提案手法では，従来手法における平均化フィルタをガウシアンフィルタに変更し，フィルタの中心付近に位置す
るエッジ強度ほど大きな重み付けを行った．6×6 セルの平均化フィルタとガウシアンフィル
タのヒートマップを図 2.9 に示す．図 2.9 のガウシアンフィルタの標準偏差 σ は，フィルタ
サイズを s としたとき 1.0s とした．

10

ガウシアンフィルタ (σ = 1.0s)

平均化フィルタ
0

0

0.1

0.2

0.02

0.3

0.04

0.4

0.5

0.06

0.6

0.08

0.7

0.8

0.1

図 2.9 平均化フィルタとガウシアンフィルタのヒートマップ

11

0.9

0.12

1

パートフィルタ内のエッジ強度更新

2.2.3 節で選択された領域においてはパートフィルタが配置され，エッジ強度の更新が行われる．ルートフィルタ内のエッジ強度の座標を x，n 個目のパートフィルタ生成後のルートフィルタ内のエッジ強度 En ，En 内でのエッジ強度の総和最大領域を Rn+1 ，Rn+1 の中心座標を p とすると，従来手法におけるエッジ強度更新は式 (2.5) のように示される．また，
式 (2.6) に示す関数を図 2.10 に示す．
En+1 = W (x; p) × En
0 x ∈ R
n+1
W (x; p) =
1 otherwise

(2.5)

(2.6)

1

0
図 2.10 エッジ強度更新関数 (従来手法)
ここで，6×7 セルのルートフィルタを例とし，初期エネルギーのヒートマップを図 2.11に示す．また，従来手法によるエッジ強度の変化を図 2.12 に示す．

0

0

0.1

0.01

0.2

0.3

0.02

0.4

0.5

0.03

0.04

0.6

0.7

0.05

図 2.11 初期エネルギーの例

12

0.8

0.06

0.9

0.07

1

更新 1 回目

更新 2 回目

更新 3 回目

更新 4 回目

更新 5 回目

更新 6 回目

図 2.12 従来手法でのエッジ強度更新の様子

図 2.12 より，更新 6 回目でルートフィルタ内の全ての領域でエッジ強度が 0 に更新されている．ルートフィルタ内の全ての領域でエッジ強度が 0 に更新されてしまうと，次に生成されるパートフィルタがエッジ強度を考慮できなくなってしまう．そこで，提案手法ではエッジ強度の更新をガウス分布に基づくエッジ強度の削減に変更した．提案手法におけるエッジ
強度更新を式 (2.7) に示す．また，式 (2.9) に示す関数を図 2.13 に示す．

En+1 = W (x; p, σ) × En
G(x; p, σ) x ∈ R
n+1
W (x; p, σ) =1otherwise()(x − p)2
G(x; p, σ) = 1 − exp −
2σ 2

13

(2.7)

(2.8)

(2.9)

1

0
図 2.13 エッジ強度更新関数 (提案手法)
提案手法によるエッジ強度の変化を図 2.14 に示す．このとき使用したガウス分布の標準
偏差 σ は，生成されるパートフィルタのサイズを s としたとき 0.5s とした．

更新 1 回目

更新 2 回目

更新 3 回目

更新 4 回目

更新 5 回目

更新 6 回目

図 2.14 提案手法でのエッジ強度更新の様子

更新 6 回目のエッジ強度を比較すると，従来手法ではルートフィルタ内の全ての領域でエッジ強度が 0 に更新されているのに対し，提案手法ではエッジ強度が残っていることが確認できる．このことから，提案手法におけるエッジ強度更新により，効果的に多くのパート
フィルタが配置されることが期待される．

14

2.2.4モデルの更新モデルの更新で学習するパラメータは，フィルタのスコアに関わる重みベクトル β とパー
トフィルタの配置 z の二つである．この二つのパラメータを同時に学習することはできない
ため以下の手法を用いる．

β を固定し，最もスコアの高いパートフィルタの配置 zi を求める．
zi = max β · ϕ(H(xi ), z)(2.10)z∈Z(xi )

次に，z を固定し，固定された配置で最も高いスコアとなる β を求める．
{
}
n
∑
∗
2
β (D) = arg min λ||β|| +max(0, 1 − yi fβ (xi ))β

2.3(2.11)

i=1

拡張 Deformable Part Model を用いた車両検出実験

本章では，従来手法と提案手法を用いた車両検出における定量評価実験，及び定性評価実験について詳述する．また，実験に用いる従来手法と提案手法を表 2.1 にまとめる．
表 2.1 従来手法と提案手法
エッジ強度の総和計算フィルタ
エッジ強度更新
従来手法

平均化フィルタ

提案手法

ガウシアンフィルタ0 に更新
ガウス分布に基づくエッジ強度削減

提案手法において，ガウス分布の標準偏差 σ は生成されるパートフィルタのサイズを s としたとき，実験的に決定した 0.5s，0.7s，1.0s の 3 通りで評価を行った．表 2.2 に，提案手法で用いる標準偏差 σ ごとの設定をまとめる．
表 2.2 提案手法の設定
手法名
標準偏差 σ提案手法 1

0.5s
0.7s
1.0s

提案手法 2
提案手法 32.3.1

車両データセットを用いた定量評価実験

本節では，車両データセットを用いた定量評価実験について詳述する．評価用のポジティ
ブデータセットとして Stanford cars Dataset[8] を用いた．Stanford cars Dataset の例を図2.15 に示す．

15

図 2.15 Stanford cars Dataset[8] の例
実際のデータセット中には車両が複数台含まれる画像もあるが，本実験では車両が 1 台のみ含まれる画像を評価用ポジティブ画像として用いた．また，評価用ネガティブ画像は VOC
Dataset の VOC2007 から，車両が含まれない画像を用いた．定量評価実験において使用するデータ数は，ポジティブ画像 1,054 枚，ネガティブ画像 1,054 枚とした．

評価アルゴリズムある評価画像 1 枚に対する評価アルゴリズムの流れを図 2.16 に示す．

評価画像に対して検出

複数の検出矩形出力

ネガティブ画像

ポジティブ画像bounding boxと検出矩形の重なり率の 値(
)を検出スコアが高い順に計算

検出矩形の最大スコアを保持①≤ .
② (誤検出と判断)①，②へ

False Positive Rateの計算> .

Detection Rateの計算

図 2.16 評価アルゴリズムの流れ

16評価を行う際，ポジティブ画像においては検出対象を正しく検出できているか確認を行う必要がある．Stanford cars Dataset において，学習画像の VOC2007 と同様に boundingbox の情報が提供されており，出力された検出矩形が正しいものであるか bounding box の情報との照らし合わせを行う．本実験では，検出矩形と bounding box の重なり率を計算することで正しい検出であるか確認を行った．重なり率の計算方法を以下に詳述する．
画像全体，bounding box，検出矩形 (ルートフィルタ)，重なり領域をそれぞれ図 2.17 のように図示すると，検出矩形と bounding box の関係は，図 2.18 に示すようになる．

評価画像全体bounding box

検出矩形(ルートフィルタ)

画像全体
画像全体
画像全体

重なり領域

検出矩形
検出矩形 重なり領域
重なり領域

検出矩形

重なり領域

図 2.17 領域設定

検出矩形

重なり領域

(a) 重なり領域なし(b) 重なり領域あり(c) 特殊な重なり 1(d) 特殊な重なり 2
図 2.18 重なり領域

bounding box と検出矩形の重なりが図 2.18 の (c) または (d) に示すような関係になると，
bounding box，もしくは検出矩形のどちらか一方における重なり率計算だけでは正しい判断ができない場合がある．また，bounding box と検出矩形のサイズが大きく異なる場合，正しく検出が行えたと判断するには不十分であると考える．そこで，bounding box と検出矩17

形のそれぞれにおいて重なり領域が占める割合を計算し，その二つの値の F 値を重なり率とし，重なり率がある閾値 thoverlap より大きければ正しい検出であると判断した．重なり領
域の面積を Soverlap ，bounding box の面積を Sbbox ，検出矩形の面積を Sds とし，重なり領
域が bounding box に占める割合を Obbrate ，重なり領域が検出矩形に占める割合を Odsrateとすると，Obbrate ，Odsrate はそれぞれ式 (2.12) と式 (2.13) により計算される．

Obbrate =Odsrate =Soverlap
Sbbox
SoverlapSds(2.12)(2.13)

また，Obbrate と Odsrate の F 値である Foverlap は式 (2.14) により計算される．

Foverlap =2 · Obbrate · Odsrate
Obbrate + Odsrate(2.14)

評価用ポジティブ画像を用いた検出において，thoverlap = 0.8 とし，Foverlap > 0.8 を満たさない検出矩形は誤検出であると判断した．

実験結果

2.3.1 節に示したアルゴリズムによる評価結果を，生成するパートフィルタ数 Nparts ごと
に示す．
1

0.995

0.99

Detection Rate

0.985

0.98

0.975

0.97

提案手法1
0.965

提案手法2
0.96

提案手法3
従来手法

0.955

0.95
0.03

0.04

0.05

0.06

0.07

0.08

False Positive Rate

図 2.19 定量評価実験結果 (Nparts = 6)

18

0.09

0.1

1

0.995

0.99

Detection Rate

0.985

0.98

0.975

0.97

提案手法1
0.965

提案手法2
0.96

提案手法3
従来手法

0.955

0.95
0.03

0.04

0.05

0.06

0.07

0.08

0.09

0.1

False Positive Rate

図 2.20 定量評価実験結果 (Nparts = 8)

1

0.995

0.99

Detection Rate

0.985

0.98

0.975

0.97

提案手法1
0.965

提案手法2
0.96

提案手法3
従来手法

0.955

0.95
0.03

0.04

0.05

0.06

0.07

0.08

0.09

0.1

False Positive Rate

図 2.21 定量評価実験結果 (Nparts = 10)
提案手法における標準偏差 σ の値によらず，実験を行った Nparts の全てにおいて，検出精度の向上が確認できる．

19

2.3.2

ドライブレコーダデータを用いた定性評価実験

本節では，2.3.1 節によって車両検出の精度向上が確認できた提案手法の定性評価実験について詳述する．評価用データは，農工大 TLO(http://www.tuat-tlo.com/) より提供されたドライブレコーダ記録映像を用いた．また，生成されるパートフィルタ数は 8 個とし，従来手法と表 2.2 の提案手法 1 の比較を行った．

実験環境設定本実験では，ドライブレコーダにより危険であると判断されたトリガー付近での車両検出を行う．検出範囲は，図 2.22 の矩形で囲まれた領域に限定した．

図 2.22 フレーム画像中の検出範囲

実験結果
車両が検出されたフレーム画像に対して，図 2.23 に示すように検出された車両の向きにより検出矩形の色を変化させた．実験結果を図 2.24 に示す．

横向き

斜め向き
図 2.23 検出矩形の描写例

20

正面または後ろ向き

(a) 従来手法による検出例 1(b) 提案手法による検出例 1(c) 従来手法による検出例 2(d) 提案手法による検出例 2(e) 従来手法による検出例 3(f) 提案手法による検出例 3(g) 従来手法による検出例 4(h) 提案手法による検出例 4

図 2.24 定性評価実験結果

21

2.3.3

ドライブレコーダデータを用いた追突検出実験

本節では，2.3.2 節において使用したドライブレコーダ記録映像から追突と分類されたデー
タのみを用いて従来手法と表 2.2 の提案手法 1 の比較を行った．また，生成されるパートフィ
ルタ数は 8 個とした．実験環境設定は 2.3.2 節と同様とした．ドライブレコーダ記録映像の検索画面を図 2.25 に示す．

図 2.25 DR ヒヤリハットデータベース検索画面
図 2.25 より，ヒヤリハットの度合いを示すヒヤリハットレベルは，高，中レベルとした．
ヒヤリハットの類型は今回着目する追突とした．対象は車両とした．自車動作，道路形状，
カメラ，地域についてはすべての場合とした．選定の結果，509 件のデータを取得した．しかし，そのうち 3 件は車両内の映像が映っていたため，対象外のデータとし，結果 506 件のデータを実験対象とした．

評価方法
本実験では従来手法と提案手法を用いて検出を行い，結果の比較を行った．図 2.26 に評価例を示す．

22

ID
36
48
50
77
93
94
110
239
259
288
302

時間帯
昼
夜
夜
昼
夜
昼
昼
昼
夜
夜
昼

天気
晴
晴
晴
晴
晴
晴
曇
晴
晴
晴
曇

先行車検出
○
×
×
×
×
×
○
○
×
×
○

検出比較
○
－
－
－
－
－
○
△
－
－
△

誤検出
○
○
△
△
－
△
○
○
○
－
○

特徴(色/車種)
シルバー/普通黒/軽黒/普通
黒/タクシー黒/タクシーシルバー/軽白/タクシー

図 2.26 評価例
評価データには，ID，時間帯，天気，先行者検出，検出比較，誤検出，特徴の属性を記録する．時間帯は昼，夜，夕のいずれかを記入する．天気は晴，雨，曇，などを記入する．
続いて，トリガー要因となった車両を検出できたかどうかを判定する．先行車検出の欄は，検出できた場合は○，できなかった場合は×とした．このとき，×であった場合は，特徴の欄に対象車両の色や車種を記入する．次に，従来手法と提案手法の検出精度の比較を行う．
従来手法より検出精度が向上した場合は○，同程度の場合は△，精度が落ちた場合は×とした．最後に，誤検出の増減を調べる．従来手法に比べて誤検出が減少した場合は○，変化なしの場合は△，増加した場合は×とした．
追突検出実験結果
時間帯別の評価結果を図 2.27 に示す．検出可能な例について，検出比較と誤検出の項目が共に○であった場合を「向上」，検出比較，誤検出のどちらかが○であり，片方が△であった場合を「一部向上」，どちらも△であった場合を「同精度」として分類を行う．

昼

夜

夕

合計

19

2

0

21

検出比較○
誤検出△

22

11

0

33

検出比較△
誤検出○

51

6

2

59

170

39

7

216

検出不可

68

103

6

177

時間帯別合計

330

161

15

506

向上

検出可

一部向上

同精度

図 2.27 評価結果
また，「向上」として評価されたシーンに対して，検出例を図 2.28 に示す．出力される検出矩形の色は，2.3.2 節の図 2.23 と同様とした．

23

(a) 従来手法による検出例 1(b) 提案手法による検出例 1(c) 従来手法による検出例 2(d) 提案手法による検出例 2(e) 従来手法による検出例 3(f) 提案手法による検出例 3(g) 従来手法による検出例 4(h) 提案手法による検出例 4

図 2.28 追突検出実験結果

24

2.3.4

考察

従来手法と提案手法を用いた車両検出における検出精度について考察する．生成される
パートフィルタ数を 8 個と固定したとき，定量評価実験より従来手法を用いた車両検出における検出精度は，誤り受け入れ率が 10%のとき検出率が 99%以上と高精度であることが確認できる．また，提案手法を用いた車両検出においては，誤り受け入れ率が 10%のとき従来手法と比較して検出精度が約 0.3%向上している．検出率が 99%以上の手法に変更を加え，検出精度の向上が確認できたことは，提案手法において拡張を行ったパートフィルタ生成ア
ルゴリズムが検出精度に関係していることを示す．さらに，定性評価実験より，従来手法を用いた車両検出では検出が確認できなかったフレームにおいても，提案手法を用いると検出が行えたことを確認した．従来手法と提案手法での検出に差が生じた車両の特徴として，車両の隠れや切れが生じていること，設置されたカメラの傾きにより検出対象である車両が傾いて撮影されていること，車両の色が黒であるなどが挙げられる．また，検出時に出力される矩形から，提案手法を用いた検出時に従来手法と比較し，本来検出してほしい車両の向きを正しく判定していることが確認できた．加えて，ドライブレコーダ記録映像を用いた追突検出実験において，全 506 件のデータ中，先行者検出が可能なシーンは 329 件，検出不可なシーンは 177 件となり，全体的な検出率は約 65%となった．分類の結果，「向上」が 21 件，「一部向上」が 92 件となり，検出可能なシーンのうち約 34%において提案手法による検出性能の向上が確認された．以上のことから，定量評価実験においてはわずかな精度向上の確認に留まったが，ドライブレコーダ記録映像の解析においては定量評価実験の結果以上に検出精度の向上が得られていると考えられる．

2.4

まとめ

本章では，DPM におけるパートフィルタ生成条件に注目した拡張 DPM を提案し，生成されるパートフィルタの個数によらず車両検出精度の向上が確認できた．また，ドライブレ
コーダ記録映像を用いた追突検出実験において，多くのシーンで従来手法と比較し検出精度の向上を確認した．今後は，提供されたドライブレコーダ記録映像においての追突検出に関して詳細な解析を進め，追突以外のタグ付けが行われているシーンに対しても同様の解析を進めていきたい．

25

参考文献

[1] N.Dalal，B.Triggs，”Histograms of oriented gradients for Human Detection”，IEEE
Conference on Computer Vision and Pattern Recognition，2005.
[2] P.Felzenszwalb，R.Girshick，D.McAllester，D.Ramanan，”Object Detection with
Discriminatively Trained Part Based Models”，IEEE Transactions on Pattern Analysis and Machine Intelligence，Vol.32，No.9，Sep. 2010.
[3] P.Felzenszwalb，D.McAllester，D. Ramanan，”A discriminatively trained, multiscale,deformable part model”，IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2008.
[4] 山本国起，”Deformable Part Model におけるパラメータ設定の自動化に関する研究”，九州工業大学卒業論文，2015.
[5] Eduard Trulls, Stavros Tsogkas, Iasonas Kokkinos, Alberto Sanfeliu, Francesc
Moreno-Noguer，”Segmentation-aware Deformable Part Models”，IEEE Conference
on Computer Vision and Pattern Recognition (CVPR), 2014, pp. 168-175.
[6] Yicong Tian, Rahul Sukthankar, Mubarak Shah，”Spatiotemporal Deformable Part
Models for Action Detection”，IEEE Conference on Computer Vision and Pattern
Recognition (CVPR), 2013, pp. 2642-2649.
[7] Fidler, Sanja and Sven Dickinson and Urtasun, Raquel，”3D Object Detection andViewpoint Estimation with a Deformable 3D Cuboid Model”，Advances in Neural
Information Processing Systems 25，2012，pp．611-619.
[8] Jonathan Krause，Michael Stark，Jia Deng，Li Fei-Fei，”3D Object Representations
for Fine-Grained Categorization” 4th IEEE Workshop on 3D Representation and
Recognition，at ICCV 2013 (3dRR-13). Sydney，Australia. Dec. 8，2013.
http://ai.stanford.edu/~jkrause/cars/car_dataset.html[9] M.Everingham，L.Van Gool，C.K.I.Williams，J.Winn，A.Zisserman，”The PASCAL
Visual Object Classes Challenge 2007”
http://host.robots.ox.ac.uk/pascal/VOC/voc2007/

26

第3章

3.1

ドライブレコーダ記録映像からの標識検出

畳み込みニューラルネットワーク

畳み込みニューラルネットワーク (CNN) は，画像認識で用いられている多層 NN である．
本章では，CNN の基礎となるニューラルネットワーク (NN) の基本構造を説明し，パーセ
プトロンと CNN の構造や畳み込み層，プーリング層について詳しく説明する．

3.1.1

ニューラルネットワーク

NN とは，人間の情報処理システムの中枢である脳神経系を模擬したアルゴリズムである．NN の研究は 1940 年代に始まり，1950 年代から 60 年代にかけて盛んに研究が行われた．Minsky などの人工知能で有名な人物も脳やニューラルネットワークの研究を行っている．NN の特徴は学習能力であり，学習を繰り返すことで高精度な識別が可能である．NNの基本的な構成であるニューロンモデルについて以下に説明する．ニューロンモデルとは，
ニューロンと呼ばれる神経細胞が，シナプスと呼ばれる結合部位を介して多数結合してできたネットワーク構成である．ニューロンの人工的なモデルのことをユニットと呼び，NN は，ユニットを重みで繋げることによってネットワークを構成する．ユニット間の信号は一方方向で伝わり，入力 x = {x1 , ..., xn } に重み w = {w1 , ...wn } を与え，結合先ユニットに入力される．入力された重みつきの信号 wx の総和を求め，活性化関数 f に与え，出力 y を求める．出力 y は式 (3.1) のように表される．
n∑y = f(
wi x i )

(3.1)

i=1

活性化関数
活性化関数 f には様々な種類があり，ネットワーク構造や入力に応じて用いる活性化関数は異なる．一般的に活性化関数は非線形の関数であり，以下に活性化関数について説明する．

ステップ関数ステップ関数を式 (3.2) に示す．ステップ関数は初期のパーセプトロンの活性化関数として用いられている．式 (3.2) は入力 x に対して，x が 0 以上であれば出力 y は 1 であり，x が27

0 より小さければ出力 y は 0 となるような活性化関数である．
{
1 if x ≧ 0
f (x) =
0 if x < 0(3.2)

シグモイド関数シグモイド関数とは，式 (3.3) に示すような関数である．

f (x) =

1

(3.3)

1 + e−αx

シグモイド関数とは，どのような入力 x に対しても必ず 0 から 1 の値が出力される．式(3.3) の α はゲインと呼ばれ，α はシグモイド関数の曲線の傾きを変更するパラメータである．α の値が大きいほどシグモイド関数の傾きは急になり，逆に α の値が小さいとシグモイド関数の傾きは緩やかになる．シグモイド関数がパーセプトロンの識別性能を大幅に向上させたためパーセプトロンの活性化関数として使用されている．識別性能を向上させた理由は，
式 (3.3) よりシグモイド関数は，微分可能な関数であることが挙げられる．2.5 節で説明する誤差逆伝播法にうまく適用することができることから識別精度の向上につながっている．

単純パーセプトロン
単純パーセプトロンは 1950 年代の終わりに Rosenblatt によって提案されたモデルである．
単純パーセプトロンは，入力層，中間層，出力層の 3 つの層で構成される．本例のネットワークでは，入力層のユニットが xn , 中間層のユニットが am からなり，出力層は 1 つのユニットで構成される．出力層が 1 つのユニットであるため分類できるクラス数は２つである．
単純パーセプトロンでは，入力層と中間層の重み wij を固定の重みとして与える．式 (3.4)に単純パーセプトロンの出力 y を示す．
m∑y = f(
wj aj − θ)

(3.4)

j=1

中間層 a = {a1 , ..., am } に重み w = {w1 , ..., wm } を付与した値の加算値から，バイアス θ の差を出力層のユニットに入力し活性化関数 f を通して出力 y を得る．単純パーセプトロンの学習方法を，式 (3.5) に示す．単純パーセプトロンの出力 y と教師信号 t を用いて学習を行う．

{
wjnew =

wjold if y = t
wjold + η(t − y)xj

if

y ̸= t(3.5)

η は学習係数と呼ばれ，重みの更新量を制御する係数であり，η は 0 < η ≤ 1 とする．単純パーセプトロンの学習は，指定された学習回数，または誤識別率が 0 ％になるまで行われ
る．2 クラス以上のクラス分類を行うために多層パーセプトロンがある．

28

多層パーセプトロン
多層パーセプトロンは，非線形の多クラス識別器である．単純パーセプトロンと同様に入力層，中間層，出力層の 3 種類の層で構成される．多層パーセプトロンと単純パーセプトロ
ンの違いは大きく 2 つある．一つ目に，単純パーセプトロンは中間層と出力層の重みを学習していたが，多層パーセプトロンではネットワーク全体の重みに対して学習を行う．二つ目に，単純パーセプトロンの出力層は 1 つのユニットであったが，多層パーセプトロンは多クラス分類を行うため出力層のユニットを分類したいクラス数だけ用意することである．
入力 x = {x1 , ...xn } に対する出力 z = {z1 , ..., zp } は以下のように示すことができる．

αj =

n
∑

wij xi + θ

(3.6)

i=1

yj = f (αj )(3.7)

中間層の出力 yj を次の層の入力として式 (3.6) に与え，これを中間層の数 N まで繰り返
す．出力層の入出力関数への入力は式 (3.8) となり，活性化関数ではなく式 (3.9) の Softmax関数を使用する．ネットワークの出力結果は式 (3.10) となる．

γk =

l
∑

wjk βj + τ

(3.8)

j=1

exp(γk )g(γk ) = ∑p
a=1 exp(γa )(3.9)

zk = g(γk )(3.10)

wij は，i 番目の入力から中間層の j 番目のユニットへの結合荷重であり，wjk は、中間層 N の j 番目のユニットから出力層の k 番目のユニットへの結合荷重である．θ，ρ，τ は，各中間層のユニットに対するバイアスである．また，f は，活性化関数であり，式 (3.3) のシグモイド関数がよく使われる．出力層のユニットの入出力関数は多項ロジスティック関数
もしくは式 (3.9) の Softmax 関数が使用される．多層パーセプトロンの学習方法は，教師付
き学習による誤差逆伝播法を用いた最急降下法で学習する [2]．
学習最適化
パーセプトロンの学習則の欠点は出力層のユニットへの結合重みしか修正できないことであった．誤差逆伝播法は，出力層以前の中間層のユニットへの結合重みも修正することができる [3]．微分可能な活性化関数 (例として式 (3.3) シグモイド関数) を用いて，出力層での誤差評価 R(W ) への任意の結合重み w の寄与を，偏微分係数 ∂R(W )/∂w として計算できるようにした．これによって最急降下法などの最適化手法により，出力と教師信号との誤差を最小となるように全ての重みを修正可能とした．層の数を N , 第 n 層の第 k 番目のユニッ

29

n+1
トから第 n + 1 層の第 j 番目のユニットへの結合重みを wk,jとしたとき，最急降下法 (確率的降下法) による結合重みの修正を式 (3.11) に示す．

n+1
n+1
wk,j
← wk,j−η∂R(W )

(3.11)

n+1∂wk,j

ここで，誤差評価 R(W ) を式 (3.12) のように二乗誤差であるとする．

R(W ) =

1∑
2(N ) 2(3.12)(n+1) (n)yk

(3.13)(tj − yj)j

この時の具体的な修正規則は式 (3.13) となる．
n+1
n+1
wk,j
← wk,j− ηδj(N )tj は教師信号，yj(n)は第 N 層の第 j 番目のユニットの出力，yk

は第 n 層の第 k 番目のユ

(n+1)
(N )
(N )
ニットの出力とする．δjは合成関数の微分法より，(tj − yj ) から計算される．δj を(n)基準として δk を再帰的に計算することで求める．
(N )

δj

δkn =

(N )

= −(tj − yj


n+1
K∑


(n+1)

δj

(N )

)yj

(n+1)

wk,j

j=1





(n)

(1 − yj )

(N )

yj

(3.14)(n)(1 − yj )(3.15)

この計算過程が，出力層での誤差を前の層に伝播させていく形となっており誤差逆伝播法と呼ばれる．この誤差逆伝播法を用いて多層パーセプトロンの学習を行い，重みとバイアスの値を修正する．

3.1.2

畳み込みニューラルネットワークの概要

CNN は，Fukushima らが提案したネオコグニトロン [4] が基礎となっている．ネオコグ
ニトロンの構造は，S 層 (単純細胞層) と C 層 (複数細胞層) を組合わせた 2 層の神経回路を基本要素とする．この S 層が入力に対して特徴的なパターンを検出する特徴抽出器の役割を担っている．C 層は，受容野内 (S 層の小領域) にある最大値を出力する．この処理は S 層の出力結果を集めて C 層の出力とすることからプーリングと呼ばれる．CNN の構造は，S 層を畳み込み層と C 層をプーリング層として 2 つの層を対に持つ構造をしている．この 2 つの特殊な層を除くと，CNN は順伝播型 NN と同様に扱うことができる．入力画像が与えられたとき，畳み込み層 (C1,C2) とプーリング層 (P1,P2) で入力画像の特徴を取得し，全結合
ネットワーク (F) に取得した特徴を伝え，クラス識別を行う．

30

図 3.1 CNN の構造 (文献 [1] より出典)

3.1.3

畳み込み層

CNN を画像認識で用いる際，畳み込み層は，入力画像に対してフィルタの畳み込みを行う．これは，一般的な画像処理での畳み込みであり，画像をぼかす処理や，エッジを強調する処理と同様である．畳み込み層でのフィルタの値とバイアス値は，学習によって最適化される．フィルタのサイズはネットワーク設計時に決め，学習によって変化しない．畳み込み層の処理を図 3.2 に示す．

図 3.2 i 番目に対する畳み込み処理 (文献 [1] より出典)

31入力を W × W サイズの画像 N 枚とする．この入力を以下では W × W × N とする．入力層では，入力画像がグレイスケールの場合 N = 1 となり，カラーであるなら RGB より
N = 3 となる．これ以降の中間層の数は直前の畳み込み層の出力 (フィルタの総数) と同じである．具体的に畳み込み処理を考える．入力 W × W [pix] 解像度の画像 N 枚に w × w[pix]
サイズのフィルタ N 枚を畳み込む．ここでフィルタを h(p, q, k)(p ∈ [1, ..., w]，q ∈ [1, ..., w]，k ∈ [1, ..., N ]) とし，入力を I(x, y, k)(x ∈ [1, ..., W ]，y ∈ [1, ..., W ]，k ∈ [1, ..., N ])，出力をf (x, y, i) とすると，ある i 番目の出力結果は，式 (2.16) で示される．最後の係数 bi はバイアスである．bi は一般的に bi = bxyi とすることが多い．


N
w
∑
∑

f (x, y, i) =I(x + p, y + q, k)h(p, q, k) + bi
(3.16)
k=1

3.1.4

p,q=1

プーリング層プーリング層は畳み込み層と対になるように使用され，畳み込み層の出力がプーリング層の入力となる．プーリング層の目的は，画像のどの位置でフィルタの応答が強かったかという情報を一部捨てることで, 画像内に現れる特徴の位置や回転等の微小な変化に対する不変性を実現することにある．プーリング層では，畳み込み層と違い，計算内容はネットワーク
設計時に決まっており，学習によって変化することはない．通常，プーリングの処理は画像が持つ情報を間引く処理である．間引く量をスライド s とすると，s = 2 のとき，出力は入力の半分のサイズとなる．スライド幅 s と小領域 w × w によっては隣接する出力ユニットの受容野 Pij が重なり合うこともある．プーリング層の入力 (畳み込み層の出力) の一部の小領域 Pij について，この小領域内部のユニット (p, q) ∈ Pij の出力 ypq を集約し一つの出力とする．図 3.3 に各プーリングアルゴリズムを示す．プーリングのアルゴリズムは複数ある．
最大プーリング (max pooling) とは，式 (3.17) のように Pij に属するユニットの最大値を選択する．
ỹijk = max ypqk
(3.17)(p,q)∈Pij

平均プーリング (average pooling) とは，式 (3.18) のように Pij に属するユニットの出力の平均を選択する．
∑
1ỹijk =
ypqk
(3.18)|Pij|(p,q)∈Pij

Lp プーリングとは式 (3.19) は最大プーリングと平均プーリングの中間的な存在として扱われている．
1∑
1
P
ypqk ) P(3.19)
ỹijk = (|Pij|(p,q)∈Pij

LeCun らの CNN[5] をはじめとする初期の研究では，平均プーリングが主であったが，Serre らの HMAX モデル [6] や Ranzato らの研究 [7] をきっかけに最大プーリングが一般的になった．[8]．

32図 3.3 プーリングのアルゴリズム

3.2

畳み込みニューラルネットワークを用いた道路標識検出実験

本章では，道路標識と，一時停止すべきシーンの二つの検出実験を畳み込みニューラル
ネットワーク（CNN）を用いて行った結果を報告する．

3.2.1

道路標識の検出実験

CNN を用いて一時停止の標識をどの程度識別可能か実験を行った．CNN には一般物体認
識のコンテストである ILSVRC(ImageNet Large Scale Visual Recognition Challenge) で，高い識別率を持つ Network In Network[10] を用いた．学習に用いたデータは，東京農工大
学スマートモビリティ研究拠点より提供して頂いたドライブレコーダー映像から，一時停止の標識を切り出した画像（図 3.4）68,300 枚と，同じくドライブレコーダー映像から切り出した背景画像（図 3.5）72,725 枚枚の合計 141,025 枚を学習画像とした．テスト画像には学習画像と同様に切り出した一時停止画像 10,000 枚と背景画像 10,000 枚の計 20,000 枚を用いてテストを行った．
学習の状況を表したグラフが図 3.6 で，繰り返し回数約 10,000 回を超えた辺りで正答率が 99 ％に収束していることが分かる．この結果から，学習が上手く進んだことが分かった．
また，テストデータに対しての正答率は，学習が収束したモデルを用いて約 98.4 ％という結果になった．テストデータに対しても，高い識別率で識別が可能である事が分かり，CNNを用いた手法が，一時停止標識検出で高精度な検出が可能である事が分かった．

33

図 3.4 学習データ中の一時停止標識画像の例

図 3.5 学習データ中の背景画像の例

定性評価実験
学習済みのネットワークを用いて，実際のドライブレコーダー映像に一時停止標識の検出実験を行った．従来，道路標識検出では SIFT 特徴量 [11] 等の画像特徴量がよく用いられてきた．そこで，実験では，一時停止標識の検出実験において，CNN を用いた手法と，SIFT
特徴量を用いた手法を比較した．

34

図 3.6 一時停止標識学習の結果

CNN を用いた手法と，SIFT 特徴量を用いた手法を比較した結果，図 3.7 と図 3.8 より，十分な大きさで標識が写っている場合はどちらも検出が行えている．しかし，図 3.9 と図 3.10
より，十分な大きさで標識が写っていない場合，SIFT 特徴量を用いた手法は検出が困難であったが，CNN を用いた手法では正しく検出が行える事が分かった．この結果から，CNNを用いた手法では，低解像度画像からも高精度な道路標識検出が行える事が分かった．

3.2.2

一時停止すべきシーンの検出実験

一般的に，公道に設置されている一時停止標識は，標識の位置と停止線が一意に定まっていない事が多い．速度制限や駐車禁止の場合は，標識を認識した区間から注意を払えば良い．しかし，一時停止の場合は，標識を認識してから厳密に一時停止すべき場所を知るため

図 3.8 SIFT 特徴量を用いた検出結果

図 3.7 CNN を用いた検出結果

35

図 3.10 SIFT 特徴量を用いた検出結果

図 3.9 CNN を用いた検出結果

図 3.11 CNN を用いた道路標識検出結果には，標識の認識だけでは不十分である．また，標識を検出する際は，一定の矩形領域をずらしながら画像をラスタスキャンする必要があり，検出のコストが高くなる．そのため，車載カメラ映像中の一定の矩形領域内の映像をそのまま学習させ，道路標識の有無に関わらず，停止すべき位置かどうかの識別を行った．CNN には Network In Network を用い，学習データには，道路標識の検出実験と同じドライブレコーダー映像から一時停止すべきシー
ンを切り出した画像（図 3.12）12,900 枚と、それ以外のシーンを切り出した画像（図 3.13）
52,000 枚の合計 64900 枚を学習画像とした．テスト画像には学習画像と同様に切り出した一時停止画像 500 枚とそれ以外の画像 500 枚の計 1,000 枚を用いてテストを行った．
学習の状況を表したグラフが図 3.14 で，繰り返し回数約 10,000 回を超えた辺りで正答率が 99 ％に収束していることが分かる．この結果から，学習が上手く進んだことが分かった．
また，テストデータに対しての正答率は，学習が収束したモデルを用いて約 99 ％という結果になった．

36

図 3.13 一時停止以外の画像の例

図 3.12 一時停止画像の例

図 3.14 一時停止学習の結果

定性評価実験
学習済みのネットワークを用いて，実際のドライブレコーダー映像に一時停止すべきシーンの検出実験を行った．ネットワークへの入力画像には，ドライブレコーダー映像の中央部
256 × 256[pixel] を用いた．実験の結果は以下のようになった．
図 3.15 と図 3.16 の実験結果では，一時停止すべきシーンと検出された場合は赤い矩形，
それ以外は青い矩形で表示される．二つのドライブレコーダー映像に対して検出を行った結果，一時停止の標識が矩形領域に入っている場合や，標識が写っていない場合でも，道路上の停止線等に反応し，一時停止すべきシーンであると検出される事が分かった．しかし，図3.17 から，一時停止以外の標識や，それ以外のシーンでも一時停止すべきシーンであると検出されてしまう場合がある事が分かった．

3.2.3

考察

一時停止標識の検出実験では，テストデータに対して約 98.4 ％の識別率となり，高精度な一時停止標識検出が可能であることが分かった．定性評価実験では，CNN を用いた手法と37

図 3.15 一時停止すべきシーンの検出結果

図 3.16 一時停止すべきシーンの検出結果

SIFT 特徴量を用いた手法を比較し，低解像度画像から一時停止標識を検出する場合の CNNの有効性を確認した．また，一時停止すべきシーンの検出実験では，テストデータに対して
約 99 ％の識別率となり，定性評価を行い，一時停止すべきシーンの検出が正しく行える事を確認した．しかし，一時停止以外の標識，電柱やミラーなどの柱状物体の影響で誤検出してしまう可能性があり，今後，学習データを増やして再学習することで，より高精度な検出が期待できる．

3.2.4

まとめ

本章では，CNN を用いた一時停止標識の検出実験と，一時停止すべきシーンの検出実験の二つの実験を行った．実験には，Network In Network を用い，ドライブレコーダー映像
から切り出した画像を用いて学習，評価を行った．一時停止標識の検出実験では，高精度な一時停止標識検出が可能であることが分かった．また，一時停止すべきシーンの検出実験で38

図 3.17 一時停止すべきシーン以外での誤検出
は，一時停止すべきシーンの検出が正しく行えるが，誤検出が起きる場合もあるので，今後，他の標識や電柱などを学習データに加え，さらに時系列情報を用いることで，一時停止すべきシーンの推定精度向上を目標とする．

39

参考文献

[1] 岡谷貴之, 画像認識のための深層学習, 人工知能学会誌 28 巻 6 号, pp.962-974，2013.
[2] 麻生英樹, 多層ニューラルネットワークによる深層表現の学習，人工知能学会誌 28 巻 4号, pp.649-659，2013.
[3] Rumalhart，D.E.，Hinton，G.E. and Williams，R.J, Learning representations by backpropagating errors, Nature，Vol.323，No.9，pp.533-536， 1986.
[4] Fukushima，K， Artificial Vision by multi-layered neural networks:Neocognitron andits advances, Neural Netowrks，Vol.337，pp.103-119，2013.
[5] LeCun，Y.，Bottou，L.，Bengio，Y. and Haﬀner，P.，Gradient-based learning applied
to document recognition, Proc. IEEE，1998.
[6] Serre，T.，Wolf，L. and Poggio，T.， Object recogntion with features inspired byvisual cortex， Proc. CVPR，2005.
[7] Ranzato,M.A.,，Bouerau，Y.-L. and LeCun， Y., Sparse feature learning for deepdelief networks, Proc.NIPS, 2007.
[8] Ciresan，D.C.，Meier，U.，Masci，J.，Gambardella，L.M. and Schmidhuber，J. Flexible，high performance convolutional neural networks for image classification， Proc.
CVPR，2012.
[9] D. G. Lowe, Object recognition from local scale-invariant features， Proceedings oftheInternational Conference on Computer Vision-Volume 2 - Volume 2，pp.1150-，IEEE
Computer Society，1999.
[10] Min Lin, Qiang Chen, Shuicheng Yan,arXiv:1312.4400, 2013.

Network In Network， arXiv preprint[11] David G. Lowe, Distinctive image features from scale-invariant keypoints , Journalof Computer Vision, 60, 2 , pp. 91-110, 2004.

40

第4章

まとめ

本研究は，映像記録型ドライブレコーダが記録した映像情報から運転危険度を推定し，事故類別や運転マナーの確認，安全運転教育を効率良く行えるシステムの開発を目標とし実施している．本システムでは，常時記録された映像を加速度によるトリガ処理が行われた部分
映像と，常時記録された全ての映像データとに分けて処理することを検討しており，加速度によるトリガ処理がなされた映像前後では回避対象を画像処理により検出し，事故・ニアミ
スを自動類別する．また，常時記録された全ての映像データに関する画像解析については，
車両検出技術の応用による車間距離推定，道路標識の認識を行うことで，急制動を含まない
危険な運転について自動検出行うことを目標としている．本報告では，これらのモジュールの機能を実現するために必要である車両検出技術，および道路標識技術の調査研究を行った．
車両検出には Deformable Part Model による物体検出を改善，応用し，道路標識検出には深層学習（Deep Learning）を用いた．本報告書で紹介する技術によって，車両検出，および標識検出に関して一般的に活用される技術に対し，性能が改善したことが確認されたが，夜間の映像等，ドライブレコーダが備えるカメラのダイナミックレンジ不足等で検出が困難となる場面については，性能が低下することも確認している．また，一時停止の道路標識については，道路標識の検出結果から一時停止すべき場所で停止したかの確認が困難であると判明した．そこで，一時停止すべき交差点映像自体を Deep Learning によって学習することで，一時停止不履行の検出を行うことを提案した．
今後の課題としては，車両の自動検出結果から事故を類別するアルゴリズムの検討が必要である．また，車両検出結果を車間距離推定に応用する技術の開発も必要である．これらの課題は，車両にあらかじめ取り付けられ十分に校正されたカメラであれば容易に解決可能であるが，ドライブレコーダは車両に後付けされることも多く，取り付け工程での校正作業が省かれるため走行映像からの自己校正技術が必要となる．他の課題としては，一時停止すべき交差点の認識精度向上が挙げられる．本問題は，時系列情報を取り扱い可能な学習器の適用が考えられる．
最後に，これらの技術が社会で活用されるためには，適用技術が実時間処理可能である必要があり，システムに特化したアルゴリズムの改善や情報技術の更なる応用が必要であると考える．また，画像処理技術の精度に特化して報告したが，今後はこれらの技術を活用する立場である企業からの率直な意見を反映し，目標システムに対する必要精度を見積り，処理時間とのバランスや計算機環境の構成を含めプロトタイピングすることで，事業者用自動車の安全対策における早期の実利用を目指す．

41