全方位 LiDAR を対象とした 1D-CNN による歩行者検出に関する研究
指導教授：藤吉弘亘

TP17012 國貞祐貴
1. はじめに車両周辺の物体や歩行者の検出は，自動運転支援において重要な技術である．全方位 LiDAR を用いた歩行者検出には，3 次元情報からハンドクラフト特徴量を抽出して識別する方法 [1] と，歩行者の特徴表現自体を学習する方法 [2] が提案されている．これらの従来法は，歩行者が他の物体に接近している場合や点群数が少ない場合，特徴を抽出できず検出が困難となる．また，全方位 LiDAR から 3 次元情報を抽出してから検出処理を行うため，検出した位置座標にずれが生じる問題がある．本研究では，全方位 LiDAR の回転とともに取得した距離値を 1 次元波形データとみなして，1 Dimensional-Convolutional NeuralNetwork(1D-CNN) に入力する新たな歩行者検出法を提案する．全方位 LiDAR の 3 次元情報は垂直方向にはデータが疎であるため，2 次元カーネルの畳み込み処理による歩行者特徴の抽出は困難である．そこで，提案手法ではデータが密な水平方向に着目し，1 次元カーネルによる畳み込み処理により，レーザごとに歩行者特徴を抽出する．

2.1D-CNN による歩行者検出
提案手法による歩行者検出の流れを図 1 に示す．まず，全方位 LiDAR から取得した距離値を 1 次元波形データとみなし，１次元畳み込み処理を導入した 1D-CNN に入力し，各点群に対して歩行者か否かを判定する．歩行者として判定された点群に対してクラスタリング処理を行う．そして，歩行者領域 (3 次元長方体) を検出する．各処理の詳細を以下に示す．
Scanning

かの識別を行う．これにより，LiDAR の全方位に対する識別処理ができる．

Maxpool : 2x2
Size : nLx35 Conv. : 32x1x4
Act : ReLU

Conv. : 32x1x3 Conv. : 32x1x3
Act : ReLU
Act : ReLUFC layer : 1024
Dropout : 0.5
Softmax

Size : nL
Pedestrian
Background

図 2: 1D-CNN の構造

2.3 クラスタリングによる歩行者領域の検出
1D-CNN により歩行者と判定された点群に対して，クラスタリング処理を行う．点群間の x, y 平面上でのユークリッド距離がしきい値以内であり，点群が 5 つ以上含む場合，歩行者候補とする．しきい値は 0.25m とする．次に，歩行者候補のサイズ条件に基づいて 3 次元長方体を当てはめ，歩行者領域を確定する．歩行者候補のサイズ条件を式(1) に示す．x, y, z は，それぞれ歩行者候補の領域の幅，奥行き，高さを表す．
x < 1.0[m]y < 1.0[m](1)

0.1[m] < z < 2.0[m]3. 評価実験
1D-CNN による歩行者検出の有効性を調査するために評価実験を行う．本実験では，CG 環境と実環境での評価実験を行う．実験条件と評価結果を以下に述べる．

3.1 データセット
LiDAR

Data acquisition

1D waveform data

1D-CNN

データセットには，CG データと KITTI データ [3] を使用する．CG データは 16 本のレーザを搭載した VLP-16 と同じ設定で生成されたデータであり，建物やガードレール，ランダムに配置された歩行者と自動車が存在する．KITTI
データは 64 本のレーザを搭載した HDL-64 で撮影された実環境データであり，Person，City，Campus などのシーンが存在する．使用する各データ数は表 1，各データ例を
図 3 に示す．

Labeling & Clustering

図 1: 1D-CNN による歩行者検出の流れ

DataSet

表 1: データセット枚数
CG(VLP-16) KITTI(HDL-64)

2.1 1 次元波形データの取得

Pedestrian

本研究では，Velodyne 社製の全方位 LiDAR を用いて 1次元波形データを取得する．Velodyne LiDAR は，縦に複数のレーザを搭載し，レーザごとに全方位 1,800 点の 3 次元情報を取得するため，レーザ本数 nL × 1, 800 点のデータが取得できる．全方位 LiDAR から取得した距離値を，レーザごとに繋げることで，各レーザの 1 次元波形データが生成できる．歩行者領域の 1 次元波形データは歩行者の形状に合わせて凹む形状となる．一方で，木や電柱など物体も歩行者に類似する形状となる．そこで，これらを区別する 1D-CNN を学習し，各点群に対して歩行者と背景の識別を行う．
LiDAR には，空や鏡面体など反射光が取得できない場
所 (外れ値) がある．外れ値が含まれる場合，1 次元波形データの分布が歩行者形状と異なってしまう可能性がある
ため，外れ値の内挿を行う．0 度以上のレーザに対する外れ値は，LiDAR の照射上限距離 100m とする．また，0 度未満のレーザは照射角度と設置高さから算出した値とする．

Background

17,2111

106,950

Evaluation

3,000 [Frame]

297 [Frame]

2.2 1D-CNN の構造
1D-CNN の構造を図 2 に示す．1D-CNN は，3 層の畳み込み層と 1 層の全結合層から構成される．1 次元波形デー
タの一定範囲を入力とし，レーザごとに歩行者と背景の確率を出力する．全ての畳み込み層は，レーザごとに 1 次元カーネルの畳み込み処理を行う．入力する一定範囲を走査して処理を繰り返すことで，各点群に対して歩行者か背景

27,889(a) CG データ

32,050(b) KITTI データ

図 3: サンプルデータの可視化

3.2 従来手法との比較提案手法と Kidono らの手法 [1]，PointNet[2] の精度をCG データを用いて比較する．評価指標として，ROC(Receiver Operating Characteristic) 曲線を用いる．ROC 曲線
は，縦軸を検出率 (True positive rate)，横軸を 1 フレー
ムあたりの誤検出数 (False positive per frame) とする．
従来手法との比較結果を図 4(a) に示す．紫色の点群は1D-CNN による識別結果，赤色の直方体は歩行者の検出結果を示す．1 フレームあたりの誤検出数が 0.1 のとき，提案手法は Kidono らの手法と比べて，約 20%検出精度が向上した．提案手法と従来手法の歩行者検出例を図 5 に示す．
Kidono らの手法は，歩行者付近に他の物体が存在する場

0.9
0.8

0.8

0.7

0.7

True positive rate

True positive rate

10.9

0.6
0.5
0.4
0.3
0.2

Proposed method
Kidono method

0.1

PointNet

000.1

0.2

0.3

0.4

0.5

0.60.7

300

290.9

250
2000.60.5

1500.4
10098.9

0.3
0.2

Proposed method

0.1

PointNet

Kidono method5034.9
17.6

Average # of point clouds

00-4m

0.8

4-8m

8-12m

12-16m

9.2

Average # of point clouds

1

016-20m

Distance to pedestrians

False positives per frame(a) 従来手法との比較(b) 各距離の比較

図 4: 評価結果
表 2: 処理時間の比較 (40[km/h] の自動車に搭載した場合)

MethodData acquisition [s]CNN processing [s]Clustering [s]Total [s]Diﬀerence [m]Proposed method0.00190.000640.00130.00380.021 ∼ 0.042

Kidono method

0.1N/A

0.08520.18520.946 ∼ 2.057

PointNet

0.1

0.22939

N/A

0.32932.547 ∼ 3.658

合，誤って同一物体にクラスタリングする．一方，提案手法は先に歩行者点群を識別してからクラスタリング処理を行うため，歩行者付近に他の物体が存在する場合でも検出可能である．また，PointNet は局所特徴以外に全体特徴を使用するため，局所特徴が重要な歩行者検出に対しては検出精度が低下する．
各距離による評価結果と平均点群数を図 4(b) に示す．提案手法は，従来手法と比べて LiDAR から遠い歩行者に対しても高精度で検出可能としている．歩行者の位置が LiDARから遠ざかると，歩行者の点群が少なくなる．そのため，従来手法では歩行者を捉えることが難しくなるため，検出精度が低下している．一方，提案手法では，密となる水平方向の点群に着目しているため，LiDAR から遠い歩行者の検出も可能である．

3.3 実環境による評価
提案手法による実環境 (KITTI データ) での歩行者検出
例を図 6 に示す．提案手法の実環境による数値評価では，1フレームあたりの誤検出数が 0.4 のとき，約 62%の検出精度である．図 6 の歩行者検出例から，前方の歩行者を検出できていることが確認できる．提案手法は全方位 LiDARのレーザ本数の変更および実環境における歩行者の検出が可能である．

3.4 検出時間の比較
全方位 LiDAR の測定開始から検出までの時間に関する比較結果を表 2 に示す．提案手法は全方位 LiDAR の測定から検出までの処理時間を軽減できている．Kidono らの手法や PointNet では，全方位 LiDAR の全 3 次元情報を取得してから処理を行うため，データ取得の時間が余分にかかる．一方，提案手法では，全方位 LiDAR の一定範囲を入力としているため，データ取得を待つ必要がない．そのため，全方位 LiDAR の測定から検出までの処理を高速に行うことが可能である．さらに，40[km/h] で走行する
自動車に搭載した場合，従来手法は取得中に歩行者位置が移動してしまい，検出位置と 1m 以上のずれが発生する．
一方，提案手法では，全方位 LiDAR の回転とともに判定領域を走査することが可能なため，位置ずれを大幅に軽減できている．

4. おわりに本研究では，全方位 LiDAR から取得した距離値を 1 次元波形データとみなし，逐次 1 次元波形データに対する歩行者検出が可能な 1D-CNN を提案した．提案手法は密となる水平の点群に着目することで，高精度な歩行者検出が(a) 正解ラベル(b) 提案手法(c) Kidono らの手法

(d) PointNet

図 5: 提案手法と比較手法の歩行者検出例

図 6: 提案手法の実環境による歩行者検例可能である．今後の課題として，1D-CNN の構造やクラスタリング手法の検討により，更なる検出精度の向上があけられる.

参考文献[1] K. Kidono, et al., “Pedestrian Recognition Using Highdefinition LIDAR”, IV, 2011.
[2] Charles. R. Qi, et al., “PointNet: Deep Learning on Point
Sets for 3D Classification and Segmentation”, CVPR,2017.
[3] A. Geiger, et al., “Are we ready for Autonomous Driving?
The KITTI Vision Benchmark Suite”, CVPR, 2012.

研究業績[1] 國貞祐貴 等, “1 次元畳み込みニューラルネットワーク (1DCNN) による全方位 LIDAR からの歩行者検出”, SSII, 2018.
[2] Y. Kunisada, et al., “Pedestrian-Detection Method basedon 1D-CNN during LiDAR Rotation”, ITSC, 2018.