自車と歩行者の位置関係を入力した LSTM による歩行者の経路予測
指導教授：山下隆義

EP16093 中村郁也
1. はじめに4.2. 実験結果

自動運転において事故を防ぐためには，歩行者等の経路を予測して自車の危険状態を把握し，制御することが重要である．車載カメラ映像を対象とした歩行者の経路予測 [1]では，画像中の位置に関係なく歩行者の移動量を用いて経路を予測する．しかし，画像上の歩行者の位置により歩行者の移動量が異なるため，全ての位置において共通モデルを用いた予測は困難である．そこで，本研究では，この問題を解決するために，自車と歩行者の位置関係を考慮した手法を提案する．

ADE 及び FDE により評価した結果を表 1 に示す．表1 より，入力 4 (歩行者の移動量 + 位置 + スケール) の誤差，分散が最も小さい．これより，車載カメラ映像での経路予測において，歩行者の位置及びスケールが有効であることが分かった．しかし，入力方法の変更による ADE 及び FDE の差はわずかである．これは，1 フレーム目から最終フレームまでの時間が 0.9 秒と短く，入力方法の違いによる差が十分に生じていないためである．
表 1 : 歩行者の経路の予測誤差 [pixel]
入力

2.Long-Term On-Board Prediction
車載カメラ画像を用いた経路予測の手法として，LongTerm On-Board Prediction [1] が提案されている．本手法
は，歩行者の移動量に加えて，車の自己移動量 (速度・ステアリング角度) と車載カメラ画像を用いることで，経路予測を実現している．ネットワーク構造は LSTM を利用した encoder-decoder モデルである．車載カメラ映像から獲得できる歩行者の移動量は，画像上の歩行者の位置やスケールによって異なる．よって歩行者の位置により予測誤差が大きくなる．

3. 提案手法
本研究では，自車と歩行者の位置関係を考慮した経路予測手法を提案する．提案手法は，車載カメラ映像中の歩行者の位置とスケールを自車と歩行者の位置関係として入力に追加する．提案するネットワークの構造を図 1 に示す．
ここで，1 フレーム目から t フレーム目までの歩行者の移動量を dt = (∆xt , ∆yt )，歩行者の位置を pt = (xt , yt )，歩行者のスケールを st ，自車の自己移動量を ot =(speed,steering angle) とする．まず，観測時の {dt , pt , st , ot } を，encoder へ逐次入力する．そして，時系列情報をまとめたベクトル vbbox を獲得する．次に，獲得したベクトルを予測時の自己移動量を結合して decoder へ逐次入力する．これにより，各時刻の移動量 dt と分散 σ t を予測する．学習時はカリキュラム学習を導入し，学習初期は短いフレーム数で学習し，徐々にフレーム数を増加させながら歩行者の経路を学習する．
encoderdt-7 pt-7 st-7 ot-7 dt-6 pt-6 st-6 ot-6 dt-5 pt-5 st-5 ot-5dt pt st ot

FCFC

FC

FC

LSTM

LSTM

LSTM

LSTM

vbbox
ot+1ot+2ot+3ot+m

LSTM

LSTM

LSTM

LSTM

decoderFCFC

dt+1σt+1FCFC

dt+2σt+2FCFC

dt+3σt+3

入力 1 (移動量 (従来手法))
入力 2 (移動量 + 位置)
入力 3 (移動量 + スケール)
入力 4 (移動量 + 位置 + スケール)

ADE (分散)
10.94(3.87)
10.95(3.86)
10.88(3.96)
10.82 (3.77)

FDE (分散)19.44(5.04)
19.61(5.07)
19.39(5.19)
19.09 (4.91)

自車が走行しているシーンにおける歩行者経路の予測誤差を表 2 に示す．ここで，自車の観測時の平均速度が 1 m/s以上のシーンを走行時とし，平均ステアリング角度が 3 度未満を直進，3 度以上を右左折とする．また，歩行者の位置は車載カメラ画像を横に 3 分割した時の，t フレーム目における位置である．表 2 より，直進シーンでは，入力 4の誤差が小さいこと分かる．また，右左折のシーンでは，入力 4 は画像中央の歩行者に対する誤差が小さいことが分かる．また，入力 4 は，右折の時の左側，左折の時の右側の FDE が小さいことが分かる．
表 2 : 走行時の歩行者の経路の予測誤差 [pixel]
ステアリング角度

歩行者の位置

直進
直進
直進
左折
左折
左折
右折
右折
右折

左中
右
左中
右左中
右

入力 1 / 入力 4ADE
FDE
10.67 / 10.56 19.26 / 19.12
8.90 / 8.67
15.04 / 14.54
11.88 / 11.89 21.43 / 21.04
14.99 / 15.61 29.93 / 30.65
13.10 / 12.73 23.65 / 22.91
13.20 / 13.52 24.51 / 23.90
15.57 / 12.19 28.50 / 22.45
14.32 / 12.67 27.67 / 23.84
13.20 / 13.83 25.60 / 26.95

各手法の経路予測例を図 2 に示す．図 2(a) より，歩行者の移動量が小さい場合，真値とほぼ同じ経路を予測できていることが分かる．一方，図 2(b)(c)(d) のように，歩行者の移動量が大きい場合，真値の経路よりもさらに先の時刻の経路を予測していることが分かる．このような場合，いずれも予測 1 時刻目から予測誤差が大きい．これは，encoderから decoder にかけての時系列情報の引き継ぎが適切に行われていないと考えられる．
: 観測値

: 真値

: 変化量 ( 従来手法 ): 変化量 + 位置

: 変化量 + スケール

: 変化量 + 位置 + スケール

FCFC

dt+mσt+m(a)(b)

図 1 : 提案手法のネットワーク構造

4. 評価実験
提案手法の有効性を示すために，歩行者情報の入力を変えて比較する．比較する入力方法は，以下の 4 つである．
• 入力 1 : 歩行者の移動量 (従来手法)• 入力 2 : 歩行者の移動量 + 位置
• 入力 3 : 歩行者の移動量 + スケール
• 入力 4 : 歩行者の移動量 + 位置 + スケール

4.1. 実験概要
評価には Cityscapes Dataset [2] を用いる．本研究では30 フレーム (1.8 秒) で構成される動画を使用し，学習サン
プルは 2,975 サンプル，評価サンプルは 1,525 サンプルである．そして，過去 8 フレームを観測値として encoder に入力し，15 フレーム先までの歩行者の移動量を decoder で予測する．定量的な評価指標として，予測開始フレームから最終フレームまでの各時刻における真値と予測値のユー
クリッド距離の平均 (ADE) と予測の最終フレームにおける真値と予測値のユークリッド距離 (FDE) を用いる．

(c)5. おわりに(d)図 2 : 経路予測の例

本研究では，自動車から見た歩行者の位置関係を考慮した経路予測の手法を提案した．入力として，歩行者の移動量と位置とスケールの全てを考慮することで最も経路予測の誤差が小さくなった．今後は，歩行者の予測結果を入力値として用いる経路予測の評価を検討する．

参考文献[1] A. Bhattacharyya, et al., “Long-Term On-Board
Prediction of People in Traﬃc Scenes under Uncertainty”, CVPR, 2018.
[2] M. Cordt, et al., “The Cityscapes Dataset for Semantic Urban Scene Understanding”, CVPR, 2016.