3 次元情報を用いた危険度予測手法の検討
EP15013 伊藤彰汰
1. はじめに安全な自動運転を実現するには，走行シーンの危険度を予測し，その状況に合わせて制御することが重要である．
Chan らが提案した危険度を予測する手法 [1] では，画像から検出した車やバイク，トラックなどの物体の位置や大きさから危険度を予測している．しかし，人や自動車などの物体がないシーンにおいても壁などの静的物体により危険な場合がある．本研究では，前方の 3 次元情報から現シーンでの危険度を推定する手法を提案する．

2. 提案手法
本研究では，急ブレーキが発生するような危険なシーンを予測するため，フレーム間の速度変化を危険度とする．
また，危険度の予測を実現するにあたり，3 次元情報の入力方法，危険度予測を行うネットワーク構造について検討
する．

{

Ei =

Fully Connect layer
1×28800

128×28800

LSTM

出力結果

2D Convolution
Fully Connect

3 次元情報を用いた危険度予測の有効性を確認する．
データセットは，Velodyne HDL-64e を用いて撮影した走行シーンの 3 次元情報を使用する．本実験では，水平方向の前方-45 度 ∼45 度のデータを使用するため，1 フレームあたり 28,800 点となる．使用するデータ数は学習に 53,222フレーム，テストに 5,985 フレームである．

3.2. 実験結果
ネットワーク，および誤差関数の変更による評価結果を
表 1 に示す．評価結果から誤差関数に MSE を用いた CNN
for DepthMap が最も高精度であった．
ネットワーク

3×5

64×62×446

2×2

64×31×223

3×5

64×29×219

64×15×110

2×2

3×5

128×13×106

1×256

128×7×53

2×2

LSTM

出力結果

3DCNN for DepthMap

CNN for DepthMap(MSE) の学習データに対する推定結果を図 5(a) に，テストデータに対する推定結果を図 5(b)に示す．図 5(b) より，急激に上昇する危険度を予測することが出来ていない．これは，図 6 に示すように危険度が高いにも関わらず前方に物体がないため，危険度の予測が困難であると考えられる．
1.2
1.2
teacher data
output data

Danger Level

0.80.60.4

3×5

2D Convolution
Fully Connect
Max Pooling

3×5

32×62×446

2×2

128×13×106

2×2

32×31×223

3×5

64×29×219

128×7×53

0.6
0.4

0.2

0.201000

2000

3000
frame

4000

5000

(a) 学習データ

6000

0.001000

2000

3000
frame

4000

5000

6000

(b) テストデータ

図 5: 評価結果

CNN for DepthMap
LSTM の代わりに時系列の距離画像 3 フレームを入力とし，図 3 のように CNN に入力することで時間変化を考慮した危険度予測を行うネットワークである．
3×64×450

teacher dataoutput data

1.00.8

図 2: LSTM for DepthMap

DepthMap

0.14460.10230.07810.0876
0.04890.05400.0706
0.0676

CNN for DepthMap

0.0
2D Convolution
Fully Connect
Max Pooling

平均誤差

MSE
LDE
MSE
LDE
MSE
LDE
MSE
LDE

LSTM for DepthMap

1.0

LSTM for DepthMap
距離画像 1 フレームを入力とし，図 2 のように CNN とLSTM から構成されるネットワークである．

誤差関数

LSTM for PointCloud

図 1: LSTM for PointCloud

1×64×450(1)3.1. データセット

Danger Level

Classification layer

1×1 64×28800 1×1 64×28800 1×1 64×28800 1×1128×28800 1×1 1024×28800

DepthMap(ti ≥ 0.5)
(ti < 0.5)

表 1: 危険度予測の誤差結果

3 次元情報の入力は，3 次元点群または，3 次元点群から作成した距離画像とする．ネットワークには，Convolutional Neural Network(CNN)，および時系列情報を考慮する構造として Long Short-Term Memory(LSTM)[3] と3D Convolution を用いる．これらを組み合わせた以下のネットワークを提案する．
LSTM for PointCloud
3 次元点群を入力とし，図 1 のように PointNet[2] をもとにした CNN と LSTM から構成されるネットワークである．LSTM を導入することで前時刻を考慮した予測ができる．
3×28800|ti − oi |2 × (1 + |ti |)|ti − oi |3. 評価実験

2.1. ネットワーク構造

PointCloud

指導教授：山下隆義

2×2

64×15×110

1×1024出力結果

図 6: 最も危険度が高いシーン
図 7(a) に危険度の高いフレームの点群，図 7(b) に危険度の低いフレームの点群を示す．図 7(a) では前方に車両があるため，危険度が高く，図 7(b) は前方に車両がなく，危険度が低くなっていることがわかる．

図 3: CNN for DepthMap
3DCNN for DepthMap
LSTM の代わりに時系列の距離画像 30 フレームを入力とし，図 4 のように CNN に入力し，3D Convolution を行うことで時間変化を考慮した危険度予測を行うネットワー
クである．
DepthMap
1×30×64×450

3D Convolution
Fully Connect
Max Pooling

64×12×29×219
64×4×13×106
64×14×31×223
64×6×15×110
64×28×62×446
64×2×7×53
2×2×2
2×2×2
1×3×5
2×2×2
3×3×5
3×3×51×2×2

128×1×1×11

1024×1×1×21

128×1×3×25

128×1×5×49
1×3×5

1×3×5

1×512

1×2×2

1×256

出力結果

図 4: 3DCNN for DepthMap
2.2. 誤差関数
誤差関数に Mean Squared Error(MSE) と Large Difference Error(LDE) を用いる．LDE は危険度の高い部分の誤差を強調する誤差関数であり，教師ラベルを ti ，出力を oi ，フレーム番号を i とした場合，式 (1) に示す．

(a) 危険度 (高)4. おわりに(b) 危険度 (低)図 7: フレームの可視化例

本研究では，3 次元情報を用いた危険度予測を行う手法を提案した．今後の予定として，データの増加・前処理の導入，またネットワーク構造の調整を検討する．

参考文献[1] F. Chan, et al., “Anticipating Accidents in DashcamVideos”, ACCV, 2016.
[2] C. Qi, et al., “PointNet:Deep Learning on Point Sets for
3D Classification and Segmentation”, CVPR, 2017.
[3] S. Hochreiter, et al., “Long Short-Term Memory”, Neural Computation, vol. 9, no. 8, pp. 1735–1780, 1997.