移動対象の属性と環境情報を導入した LSTM による経路予測
箕浦大晃

平川翼

山下隆義

藤吉弘亘

中部大学

E-mail: himi1208@mprg.cs.chubu.ac.jp
Abstractにおいて歩行者や自動車といった複数種類の対象の経路を同時に予測する場合，従来の予測手法では同一種

経路予測とは，歩行者や自動車などの移動物体が未類の対象として予測しているため，予測対象の種類に来にどのような道筋を移動するかを予測する問題であ応じた経路を予測することが困難である．上記の問題

る．深層学習における経路予測には，歩行者間の相互作を解決するためには，対象の種類毎にモデルを作成し，用を考慮した予測手法や予測対象周囲の動的な環境に予測を行うことが考えられる．しかし，対象の種類が関する特徴を考慮した予測手法が提案されている．し増加するにつれて，扱うモデルの数が増加するため，計かし，これらの手法では，全ての予測対象を単一の種算コストの面から現実的とは言えない．

類として扱っており，予測対象の種類に応じた経路をそこで本研究では，予測対象の種類および対象周囲予測することが困難であるという問題点がある．そこの環境情報を導入した経路予測手法を提案する．具体で本研究では，予測対象の種類に応じた経路予測の実的には，対象の属性，対象周囲の環境，過去の対象の位現を目的とし，対象の属性および予測対象周囲の環境置座標の 3 つの情報を使用する．対象の属性では，歩行情報を導入した経路予測手法を提案する．提案手法で者や自動車といった予測対象の種類を対象が保有するは，対象の過去の移動情報，属性および周囲の環境を属性と見なし，対象の属性情報を one-hot vector とし表現した特徴ベクトルを LSTM に入力する．これによて表現する．環境情報では，セマンティックなシーンり，対象毎に適した経路の予測が可能となる．評価実ラベルを CNN へ入力し，環境に関する特徴ベクトルを

験では，属性および環境に関する特徴を入力すること抽出する．過去の対象の位置情報では，各時刻におけで，対象の移動情報のみを入力する場合と比較して，高る予測対象の座標を抽出する．これらの情報を LSTM精度な予測が実現できることを示す．に入力することで，ネットワークの出力として次の時刻の位置情報を得る．予測時には，ネットワークの出力

1

はじめに
経路予測は歩行者や自動車などの予測対象が未来にどのような経路で移動するかを予測する問題である．経路予測は自動運転による交通事故の防止 [10, 12, 14] やロボットの自律制御 [15, 18, 20, 21] などに応用が期待されており，近年盛んに取り組まれている問題の一つである．すでに様々な予測手法が提案されているが，特に近年では，Convolutional Neural Network (CNN) [3]および Long Short-Term Memory (LSTM) [4] を用いた予測手法が提案されている [1, 2, 5, 6, 7, 15]．
経路を正確に予測するために，従来手法では周囲の歩行者の動きや環境などの情報が導入されている．しかしながら，これらの手法では全ての予測対象を同一種類の予測対象として扱っているという問題がある．現実のシーンでは歩行者だけでなく自動車や自転車などの異なる移動対象が存在する環境下で予測を行う必要がある．その際，対象の種類により移動速度や移動する領域が異なることが考えられる．そのようなシーンを次の時刻の入力として逐次的に入力することで，過去の情報を考慮した予測を実現する．これにより，対象の移動速度の違いや移動する領域の違いを考慮した経路予測を実現する．
さらに，本稿では絶対座標と相対座標の 2 種類の異なる位置情報の入力による精度比較を行う．従来の予測方法では，予測対象の過去の位置情報を表す入力として絶対座標を用いている．一方，提案手法では相対座標，すなわち連続する 2 つの座標の差から得られる方向と大きさを使用する．相対座標を導入することで，予測結果が学習したシーンに依存することを防ぎ、異なるシーンでの経路予測を可能にする．

2関連研究
経路予測は古くから扱われてきた問題であり，現在までに数多くの研究がなされている．代表的なアプローチ
としてベイズモデルに基づく手法がある [10, 12]．Sch-eneider ら [10] は車載カメラに映った車両前方の歩行者の移動経路を予測することを目的として，拡張カルマン

Attribute“Pedestrian”

𝑦𝑥t+1“Bicycle”⋮t⋮+Relative Coord.

∆𝑥#$%∆𝑥# , ∆𝑦#∆𝑦#$%
Pavement+Environment

Sidewalk
Tree
Grass
Building

Scene Label⋮Conv. Layer

図1

LSTM

提案手法のネットワーク構成フィルタに基づいた経路予測手法を提案している．この手法では歩行者の速度や加速度などの対象の移動に

表1
層・処理

提案手法のネットワーク構成の詳細
カーネルサイズ

input
conv1
norm1
pool1
conv2
norm2
pool2
conv3
pool3
concatLSTM
output

関する情報をいくつか変更することで，予測に有効な情報を検討している．また，Kooij ら [12] は Dynamic

Bayesian Network (DBN) [19] を用いて，歩行者が車道を横切る際の移動を予測している．この手法では，歩行者の頭部の向きや車両との距離，縁石までの距離をDBN の観測に使用することで，精度の向上を図っている．一方，提案手法では，対象の種類を対象が保有する情報として導入し，セマンティックな領域ラベルを周囲の情報として導入する．

(5, 5)(2, 2)(5, 5)(2, 2)(5, 5)(2, 2)

出力サイズ(100, 100, 7)(48, 48, 16)(48, 48, 16)(24, 24, 16)(20, 20, 32)(20, 20, 32)(10, 10, 32)(6, 6, 32)(3, 3, 32)
296
1282

備考

ReLU
Batch Norm
MaxPooling
ReLU
Batch Norm
MaxPooling
ReLU
MaxPooling

近年では深層学習，特に LSTM を用いた経路予測手法が提案されている．Alahi ら [1] は，シーン中の複数が異なることを仮定し，シーン中に存在する複数の歩の歩行者の移動経路を予測する手法を提案している．そ行者の移動経路を同時に予測している．この手法ではの際，歩行者同士の衝突を避けるような動きを予測す歩行者のみが存在するシーンで予測を行っており，環るために，Social Pooling (S-Pooling) と呼ばれるプー

境に関する情報は用いられていない．一方，本研究でリング層を提案している．自身の周辺に存在する歩行は，対象の属性および周囲の環境情報を考慮した経路

者の LSTM の中間層出力を S-Pooling に入力し，その予測を行う．

出力を次の時刻の LSTM への入力として用いることで，歩行者同士の衝突を避けるような相互作用を考慮した経路予測を実現している．また，Lee ら [2] は RNN

Encoder-Decoder [13] および Conditional Variational
Auto-encoder [17] を用いた経路予測手法を提案している．この手法では，対象間の相互作用に加えて，周囲の環境情報を考慮することで高い予測精度を実現している．このように LSTM を用いた予測手法では，対象の周囲の環境に関する特徴ベクトルを記述し，活用することで精度の向上を図っている．一方，提案手法では，周囲の環境に加えて対象の属性情報を導入する．
対象の属性を考慮した手法として，Ma ら [11] は歩行者の性別や年齢を考慮した手法を提案している．この手法では，歩行者の年齢および性別によって歩行速度

3

提案手法
本節では，予測対象の種類および対象周囲の環境情報を導入した経路予測手法について述べる．提案手法のネットワーク構成を図 1 に，詳細を表 1 に示す．はじめに，予測対象の属性を表現するために，属性を one-hot

vector で表す．次に，シーン中の予測対象を中心とする静的なシーンラベルを CNN に入力し，予測対象周囲の環境に関する特徴ベクトルを抽出する．これらのベクトルを過去の対象の動きと連結し，LSTM へ入力する．LSTM の出力として，次の時刻の対象の座標を得る．出力される座標は，入力する座標と同一種類である．以下に各入力情報の表現方法，およびネットワークへの入力について説明する．

Attributeone-hotvector“Pedestrian”

𝑦Pedestrian𝑥100“Bicycle”

BicyclePavement“Car”⋮

図2Car⋮：1

Sidewalk
TreeGrass010

Building

Scene Label：0

図3

対象の属性の表現方法．対象の属性が歩行

Label Map

Binary Map

環境に関する特徴ベクトルの抽出者である場合を示す．

3.3

環境情報

予測対象周囲の環境情報を表現するために，本研究で

3.1

属性情報

は，歩道や建物などのシーンに付与されたセマンティッ

複数種類の対象の経路を予測するためには，対象の属クなシーンラベルを用いて環境情報の抽出を行う．環性を表す情報を導入する必要がある．属性情報をネッ

境情報の導入手順を図 3 に示す．まず，シーンラベル

トワークへ入力するために，本研究では対象の属性情から予測対象を中心とする 100 × 100 [pixel] の領域の報を one-hot vector で表現する．図 2 に属性情報の表ラベルを抽出する．次に，ラベルの種類毎に分割した現方法を示す．具体的には，属性の数を Na とし，Naラベルマップを作成する．そして，ラベルマップを 0 ま次元のベクトルを用意する．そして，対象の種類に対たは 1 で表現されたバイナリマップに変換する．作成

応するベクトルの要素を 1，それ以外の要素を 0 とする

したバイナリマップを CNN へ入力することで，環境にことで，予測対象の属性を表現する．予測対象の属性関する特徴量を抽出する．環境情報を導入することで，情報を導入することで，対象の種類に応じた移動速度障害物の有無や対象の属性に応じた領域を考慮する経を考慮した予測が期待できる．また，環境情報との組路予測が可能になる．

み合わせにより対象が移動しやすい領域を考慮することが期待できる．

3.2

移動情報

3.4

ネットワークへの入力方法

上記の属性，移動情報，および環境情報を LSTM へ入力することで次の時刻における対象の位置を予測す

ベイズモデルや LSTM を用いた従来の経路予測手法

る．具体的には，予測対象が実際に移動した真値およ

では，各時刻において予測対象が存在する位置（絶対座び，その座標を中心として抽出したシーンラベル，対標）を用いて予測が行われている．しかしながら，絶象の属性を観測データとして用いる．LSTM にはこれ対座標を用いた経路予測では，複数のシーンで予測をらの観測データを予測開始直前のフレームまで逐次的行うことが困難であるという問題が存在する．複数のに入力する．予測時には LSTM の出力である予測値をシーンの予測を行う場合，予測シーン毎に建物や木な次の時刻の入力として逐次的に入力する．その処理をどの障害物，歩道や車道などの移動領域が異なる．絶予測終了時刻まで行い，予測の実現をする．

対座標を用いた経路予測では，このような領域の情報が暗に考慮されるため，複数のシーンでの予測が困難

評価実験

4となる．
そこで本研究では，移動量，すなわち前後の時刻間で本節では，提案手法の有効性を評価実験により検証の相対的な座標を用いた予測を行う．具体的には，過する．

去から現在の位置情報，すなわち絶対座標の差分から相4.1

対座標 (∆xt , ∆yt ) を求める．求めた相対座標を LSTM

データセットデ ー タ セ ッ ト に は ，Stanford

DroneDatasetへ入力することで，次の時刻における相対座標を得る．

(SDD) [8] を用いる．SDD には bookstore，coupa など

相対座標を用いることで，対象の現在地を常に基点とすの 8 つの異なる予測シーンから構成される．各シーンることができ，建物などの障害物や歩道などの移動領には異なる日時で撮影された動画数が複数含まれてお域の位置情報に依存することなく，複数のシーンでのり，合計で 60 本の動画像から構成される．また，SDD経路の予測を行うことが可能になると考えられる．実は biker，pedestrian，cart，car，bus，skateboarder

験にて，絶対座標および相対座標を入力とした場合のの異なる 6 種類の移動対象と座標データから構成され予測精度の変化を検証する．ている．本実験では，6 種類の異なる属性を使用する．
また，SDD はフレームレート 30 fps で撮影されており，本実験では 20 フレーム毎の座標データを用いて実験を行う．すなわち，予測の 1 ステップは約 0.66 [s]bicycle storage(a) coupa(b) quad(c) bookstore(f) hyang

図4sidewalk
pavement
grasstree
round aboutbuilding(d) deathCircle(g) little(e) gates(h) nexus

SDD に付与したシーンラベルの例．左図は実際のシーン画像，右図は対応するシーンラベルを示す．に対応する．本実験では，5 ステップ (約 3.3 秒) を観表2測として使用し，その後の 8 ステップ (約 5.3 秒) を予測する．
提案手法では，環境情報を表現するために，シーンラベルを入力として用いる．しかし，SDD にはシーンラベルの情報は含まれていないため，全てのシーンに対してattribute

ラベルを付与した．付与したラベルの種類は sidewalk，pavement，grass，bicycle storage，tree，building，round

使用するデータの内訳# of scenes
biker
pedestriancart
carbusskateboarder

train
52
2,369
2,696
7175
17137

test
8545
500
155215about の計 7 種類である．図 4 にシーンラベルの例を示す．予測対象の数は学習用に 5,365，評価用に 1,082

全ステップ間，対象の移動情報として真値を入力する．

を使用する．使用するデータの内訳を表 2 に示す．

深層学習のフレームワークとして Chainer を使用し，4.2

評価指標定量評価のために，本実験では 2 種類の評価指標を用いる．1 つ目は予測の最終フレームにおける真値と予測

NVIDIA Geforce 1080 を用いて end-to-end で学習を行った．

4.4

相対座標を入力とした場合の実験結果

値のユークリッド距離である Final displacement error．

相対座標を使用した場合の予測精度の定量的評価を

2 つ目は各予測フレームにおける真値と予測値のユー

表 3，予測結果例を図 5 に示す．KF では過去の移動情クリッド距離の平均である Average displacement error

報のみを観測として使用しており，線形な移動経路をを用いる．

予測している．また，障害物などの周囲の環境情報をまた，比較手法として，Kalman Filter (KF) [16] を用いる．

4.3

学習条件

学習条件としてバッチサイズを 10 に設定し，エポックを 100 とした．また，最適化手法に RMSprop [9] を用いた．学習時には，観測の開始から予測終了までの用いていないため，図 5(b) に示すような障害物へ衝突するような予測を行なっている．
表 3 より，相対座標に加え，属性情報または環境情報を LSTM に導入することで，予測精度が向上していることがわかる．特に環境情報を導入した場合 (相対座標+環境) では，図 5(h) に示すような障害物を避ける予測が得られる．また，提案手法である相対座標 + 属性

表3

相対座標を入力とする場合の評価結果 (単表4

絶対座標を入力とする場合の評価結果 (単位: pixel)

位: pixel)
入力

KF
相対座標
相対座標＋属性
相対座標＋環境
相対座標＋属性＋環境
observation

Final disp. error
174
196
173
172
109
ground truth

relative coord. + attr.

KF

relative coord. + env.

Avg. disp. error
116
86767653

入力

KF
絶対座標
絶対座標＋属性
絶対座標＋環境
絶対座標＋属性＋環境

relative coord.

observation

relative coord. + attr. + env.

absolute coord. + attr.

Final disp. error
142641
250
293
187
ground truthKF

absolute coord. + env.

Avg. disp. error
93
305
135
136
102
absolute coord.
absolute coord. + attr. + env.

(a) bicycle(b) bicycle(c) bicycle(a) bicycle(b) bicycle(c) bicycle(d) pedestrian(e) pedestrian(f) pedestrian(d) pedestrian(e) pedestrian(f) pedestrian(g) car(h) car(i) car(g) car(h) car(i) car

図5

相対座標を用いた場合の予測結果

図6

絶対座標を用いた場合の予測結果+ 環境は他の手法に比べ，予測精度が向上していることた，絶対座標を用いた LSTM に基づく経路予測手法はがわかる．予測結果を確認した場合でも，真値に近い経絶対座標を用いた KF と比較して精度が低下している．

路を予測していることが確認できる (図 5(a)(b)(c)(g))．

これは，KF が観測された経路から線形に予測を行い，4.5

絶対座標を入力とした場合の実験結果対象が直進する場合に対して頑健な予測結果を得るこ

本節では移動に関する情報として，絶対座標を用いとが可能なためだと考えられる．しかしながら，KF でた場合の実験結果について示す．絶対座標を使用したは図 6(b)(c)(h) のような障害物を考慮した経路の予測場合の予測精度の定量的評価を表 4，予測結果例を図 6は困難である．に示す．表 3 および表 4 より，相対座標を入力とした絶対座標のみを用いた LSTM に基づく予測手法で場合が絶対座標を入力とした場合と比較して，全体的には，予測結果が真値と大きく異なっていることがわか予測精度が向上していることが確認できる．この結果る．図 5(e) では，対象の移動方向は真値と逆向きの予より，LSTM に基づく経路予測には相対座標を用いる測をしている．絶対座標に加えて，属性や環境情報をと大幅な精度の向上が得られることが確認できる．ま導入することでこの問題は改善されている．しかしなobservation

ground truth

relative coord. + attr.

relative coord.

relative coord. + env.

relative coord. + attr. + env.

を CNN に入力することで抽出した環境情報を入力として用いた．また，予測対象の過去の動きでは相対座標を用いた．これらの情報を LSTM へ逐次的に入力することで，予測を実現した．SDD を用いた評価実験により，位置情報のみを入力する場合と比較して属性および環境情報を導入した場合における予測精度が高い結果となった．また，相対座標を用いた場合，絶対座標より予測精度が大幅に向上し，複数シーンでの経路を予測を可能とした．今後の課題として，予測対象間(a) bicycle(b) bicycle(c) carの相互作用，および動的な環境を考慮することが挙げられる．

参考文献(d) cart(e) skateboarder

図7(f) skateboarder

予測結果の失敗例

がら，相対座標の結果と比較して絶対座標では真値と異なる予測をしていることから，複数シーンにおけるLSTM を用いた経路予測では，相対座標を用いることが望ましいと言える．

4.6

予測の失敗例

図 7 に，適切な予測が行えなかった例を示す．移動情報として相対座標を用いた場合の予測結果を示している．図 7(a) より，急激に移動速度が変化する場合では，その速度変化に対応することができず真値と異なる動きを予測している．また，図 7(b) では観測データが直進しているため予測結果も直進した動きを予測している．しかし，実際には対象は右折した移動をしている．
このことから，分岐した経路の予測は困難であると考えられる．図 7(d) では，真値は左折しているが，予測結果は建物方向に直進していることがわかる．図 7(d,e, f) は，cart，および skateboarder の予測結果である．
表 2 に示すように，これらの属性に対応するサンプル数は他の属性に比べて著しく少ないために，正しく学習が行えなかったと考えられる．その結果，誤った経路を予測し，障害物を回避できなかったと考えられる．
したがって，データ数が少ない属性の場合に対する効率的な学習方法の検討が必要だと考えられる．

5

おわりに
本稿では，予測対象の属性，および周囲の環境情報を導入した経路予測手法を提案した．提案手法では，one-hot vector で表現した対象の属性情報とシーンラベル[1] A. Alahi，K. Goel，V. Ramanathan，A. Robicquet，L.
Fei-Fei and S. Savarese, “Social LSTM: Human trajectory prediction in crowded spaces,” CVPR, pp. 961971, 2016.
[2] N. Lee，W. Choi，P. Vernaza，C.B. Choy，P. H. S.
Torr and M.K. Chandraker, “DESIRE: Distant future
prediction in dynamic scenes with interacting agents,”
CVPR, pp. 336-345, 2017.
[3] Y. Lecun，B. Boser，J.S. Denker，D. Henderson，R.E.
Howard，W. Hubbard and L.D. Jackel, “Backpropagation Applied to Handwritten Zip Code Recognition,”
Neural Computation, pp.541-551, 1989.
[4] S.Hochreiter, “LONG SHORT-TERM MEMORY,”
Neural Computation, pp. 1735-1780, 1997.
[5] T. Fernando, S. Denman, A. McFadyen, S. Sridharan,
and C. Fookes, “Tree Memory Networks for Modelling
Long-term Temportal Dependencies,” arXiv preprint
arXiv:1703.04706, 2017.
[6] T. Fernando, S. Denman, S. Sridharan, and C. Fookes,“Soft + Hardwired Attention: An LSTM Frameworkfor Human Trajectory Prediction and Abnormal EventDetection,” arXiv preprint arXiv:1702.05552, 2017.
[7] S. Yi, H. Li, and X. Wang, “Pedestrian behavior understanding and prediction with deep neural networks,”
ECCV, pp.263-279, 2016.
[8] A. Robicquet, A. Sadeghian, A. Alahi, and S. Savarese,“Learning Social Etiquette: Human Trajectory Understanding in Crowded Scenes,” ECCV, pp. 549-565,
2016.
[9] T. Tieleman and G. Hinton, “Lecture 6.5-rmsprop: Divide the gradient by a running average of its recentmagnitude,” COURSERA: Neural networks for machine learning, 2012.
[10] N. Schneider and D.M. Gavrila, “Pedestrian Path
Prediction with Recursive Bayesian Filters: A Comparative Study,” GCPR, pp. 174-183, 2013.
[11] W.C. Ma, D.A. Huang, N. Lee and K.M. Kitani,“Forecasting Interactive Dynamics of Pedestrians withFictitious Play,” CVPR, pp. 774-782, 2017.
[12] J.F.P. Kooij, N. Schneider, F. Flohr, D.M. Gavrila,“Context-Based Pedestrian Path Prediction,” ECCV,
pp. 618-633, 2014.
[13] K. Cho, B. van Merrienboer, C. Gulcehre, F.
Bougares, H. Schwenk, and Y. Bengio. “Learningphrase representations using RNN encoder-decoder
for statistical machine translation,” arXiv preprint
arXiv:1406.1078, 2014.

[14] C.G. Keller and D.M. Gavrila, “Will the pedestriancross? a study on pedestrian path prediction,”IEEETransactions on Intelligent Transportation Systems,
vol.15, no.2, pp494-506, 2014.
[15] A. Vemula, K. Muelling and J. OhSocial, “Attention: Modeling Attention in Human Crowds, ”arXivpreprint, 2017.
[16] R. E. Kalman, “A new approach to linear filteringand prediction problems,” J. basic Eng., vol.82, no.1,
pp.35-45, 1960.
[17] D. P. Kingma, S. Mohamed, D. Jimenez Rezende, andM. Welling. “Semi-supervised learning with deep generative models,” NIPS, pp. 3581-3589, 2014[18] V. Karasev, A. Ayvaci, B. Heisele, and S. Soatto, “Intentaware, long-term prediction of pedestrian motion,” ICRA, pp. 2543-2549, 2016.
[19] J. W. Robinson and A. J. Hartemink. “Nonstationary dynamic bayesian networks, ” NIPS, pp.
1369-1376, 2009.
[20] A. Vemula, K. Muelling and J. Oh, “Modeling cooperative navigation in dense human crowds,” ICRA, pp.
1685-1692, 2017.
[21] B.D. Ziebart, N. Ratliﬀ, G. Gallagher, C. Mertz, K.
Peterson, J.A. Bagnell, M. Hebert, A.K. Dey, andS. Srinivasa, “Planning-based prediction for pedestrians, ICIRS, pp.3931-3936, 2009.