サーベイ論文
Deep Learning を用いた移動物体間のインタラクションを考慮した

経路予測の研究動向
箕浦 大晃† a)

平川翼†† b)

山下隆義†† c)

藤吉 弘亘†† d)

Trajectory Forecasting Considering Interactions between Moving Targets Using Deep
Learning: A Survey
Hiroaki MINOURA† a) , Tsubasa HIRAKAWA†† b) , Takayoshi YAMASHITA†† c) ,and Hironobu FUJIYOSHI†† d)
あらまし 経路予測は，歩行者や自動車などの移動物体が未来にどのような経路を辿るかを過去の軌跡から予測する技術である．経路予測は古くからベイズモデルや Social Force Model を利用して研究されてきたが，Deep
Learning (DL) の発展により Convolutional Neural Network 及び，Recurrent Neural Network を利用した手法に大きく移り変わっている．これらを利用した予測手法は車載カメラ映像視点や俯瞰視点，移動物体の位置情報や物体
情報など様々な要素を組み合わせてモデル化することで高精度な経路を予測できる．特に，移動物体間の衝突を避けるインタラクションを考慮することは，多くのアプリケーションで必要となるため近年盛んに研究されている．そこで，本論文では DL を活用した経路予測手法についてサーベイする．その中でも，インタラクションに着目した予測手法について述べつつ分類する．また，定量的評価のために使用されるデータセット及び，評価指標についても紹介する．更に，代表的なモデルについて複数のデータセットを用いて精度評価を行い，各モデルの精度及び予測結果について議論を行う．
キーワード

Deep Learning，経路予測，移動物体，インタラクション，データセット，評価指標，サーベイ

ションなど，人との接触の可能性があるシーンでは機

1. ま え が き

械が衝突を避ける経路を予測しなければ事故に繋が経路予測とは，人間や自動車などの移動物体が未来る．人間は暗黙的なインタラクションにより，人同士にどのような経路を辿るかを過去の軌跡から予測するが互いに衝突を避けることを考慮するが，それを機械技術である．特に人間の軌跡を予測することは人間とが考慮するためには人間が明示的に与えるか機械自身

機械が共存するために重要な技術になる．例えば，自がモデル化する必要がある．しかし，人間のインタラ動運転車やモバイルロボット，軽犯罪防止のための高クション，特に人同士の衝突を避けるパターンは複雑度な監視カメラシステムなどは人間社会をサポートすであり人間が機械に明示的に与えるのは困難である．

る技術として注目されている．これらの技術におけるこのような背景より，人同士の衝突を避けるインタラ

正確な経路予測のためには，衝突を避ける経路を予測

クションをモデル化する経路予測についてコンピューする必要がある．例えば，自動運転車では飛び出してタビジョン分野で研究が行われている．本論文では，くる人や，モバイルロボットでは群衆の中のナビゲー

固定したカメラ映像内の複数の移動対象同士が相互に† 中部大学大学院工学研究科，春日井市

Chubu University, 1200 Matsumoto, Kasugai-shi, 487–8501 Japan†† 中部大学 AI 数理データサイエンスセンター，春日井市

Chubu University, Kasugai-shi, 487–8501 Japana) E-mail: himi1208@mprg.cs.chubu.ac.jpb) E-mail: hirakawa@mprg.cs.chubu.ac.jpc) E-mail: takayoshi@isc.chubu.ac.jpd) E-mail: fujiyoshi@isc.chubu.ac.jp
DOI:10.14923/transinfj.2021JDR0003

372

電子情報通信学会論文誌 D Vol. J105–D

影響する経路を辿る，つまり衝突を避ける現象のこと
をインタラクションとして定義する．ただし，自己運動を通じてカメラ装着者と単一の対象の 2 者が相互に影響する場合，本論文ではインタラクションと定義しないことに注意されたい．
経路予測は動画像内の予測対象の過去の軌跡をネットワークへ入力し，未来の経路を予測する．その際，No. 5 pp. 372–404 © 一般社団法人電子情報通信学会 2022

サーベイ論文／Deep Learning を用いた移動物体間のインタラクションを考慮した経路予測の研究動向

軌跡にはピクセル座標系またはメートル座標系を用いベースである．Planning ベースは逆強化学習 [48], [49]る．ピクセル座標系は，画像座標系に基づいて画像のやパスプランニング [50] のように予測開始地点と目標

左上画素を原点とした座標系である．メートル座標系

地点を設定するモデルがある．これらのモデルは，予は，ホモグラフィ行列を用いてピクセル座標系から変測開始地点から目標地点までに得られる報酬値や距離

換された座標系である．これらの座標系から，インタなどのコストを最適化することで，尤もらしい経路をラクションをモデル化する経路予測が行われている．

獲得できる．これらのように経路予測は様々なベース経路予測のベースとなる方法は大きく三つに分類さとなる方法がある．本サーベイでは近年，爆発的に増れる．一つ目は Physics ベースである．Physics ベース

え続けている DL ベースの経路予測手法問題についてはカルマンフィルタ [40] や線形予測 [41] のようなベ扱う．

イズモデルがある．ベイズモデルに基づくアプローチ

DL ベースの経路予測で用いられるネットワーク

では，内部状態と呼ばれる変数から，内部状態にノイモデルは，主に Recurrent Neural Network (RNN) とズが付与されたものが予測として現れる確率的モデル

Convolutional Neural Network (CNN) [51] を利用してを定義し時刻間の内部状態を更新することで予測値

いる．RNN による経路予測は，RNN を拡張した Longを逐次推定する [42]〜[44]．また，Physics ベースにはShort-Term Memory (LSTM) [52] 及び，Gated Recurrent

Social Force Model [45] もある．Social Force Model はNetwork (GRU) [53] が主なネットワークモデルとして歩行者間や歩行者と建物のような物体との間に引力と用いられている．RNN や RNN を拡張したモデルは，

斥力のようなエネルギー場があると仮定することで，移動対象の軌跡情報に関する特徴を時間方向に伝播す

物体との衝突を避けるインタラクションを考慮するることで，未来の予測軌跡を取得する．一方，CNN でことができる [46], [47]．二つ目は Deep Learning (DL)は映像内の静的物体情報を予測モデルに組み込むこと

ベースである．DL ベースの経路予測手法では，歩行者で，静的物体との衝突を避ける経路を予測する．また，などの移動物体の過去の軌跡情報から行動パターンを

時間方向へ伝播する CNN [54] により RNN のように学習することで，長期的な予測を実現している．また，未来の予測経路を獲得できる．

DL ベースの経路予測手法は人手で移動対象間の複雑

ここで，DL ベースの経路予測手法を図 1 及び表 1

なインタラクションを明示的にモデル化する必要はなに示す．図 1 は移動対象間の衝突を回避するインタ

く，学習器が自動でモデル化する．三つ目は Planning

ラクションを考慮した経路予測手法の傾向と分類を示

図 1 移動対象間の衝突を回避するインタラクションを考慮した経路予測手法の傾向と分類．インタラクションを考慮した予測手法を桃色の分布，インタラクション以外の課題を扱う手法を青色の分布で示す．黄色の文字はプーリングモデルに基づくアプ
ローチ，赤色の文字はアテンションモデルに基づくアプローチ，緑色の文字はプー
リングやアテンションモデルとは異なる方法でインタラクションを考慮するその他のモデルに基づくアプローチを表す．

373

電子情報通信学会論文誌 2022/5 Vol. J105–D No. 5

アテンション

プーリング

表1
文献
Social LSTM [1]

発表年
2016

モデル
LSTM

DESIRE [2]2017Conv. Social Pooling [3]MX-LSTM [4]Group LSTM [5]Social GAN [6]

その他

映像視点
鳥瞰

対象属性
歩行者

複数経路

環境

GRU Enc.Dec.

鳥瞰

歩行者
自動車

✓

✓

2018
2018
2018

LSTM
LSTM
LSTM

鳥瞰
鳥瞰
鳥瞰

自動車
歩行者
歩行者

✓

2018

LSTM Enc.Dec.

鳥瞰

歩行者

✓
✓

✓

✓

✓

MATF [7]2019

LSTM Enc.Dec.

鳥瞰

歩行者
自動車

Reciprocal network [8]2020

LSTM Enc.Dec.

鳥瞰

歩行者

Social Attention [9]CIDNN [10]

2018
2018

LSTM
LSTM

鳥瞰
鳥瞰

歩行者
歩行者

GD GAN [11]

2018

LSTM

鳥瞰

歩行者

SR LSTM [12]

2019

LSTM

鳥瞰

歩行者

Next [13]2019

LSTM Enc.Dec.

鳥瞰

歩行者

SoPhie [14]2019

LSTM Enc.Dec.

鳥瞰

歩行者

✓

STGAT [15]2019

LSTM Enc.Dec.

鳥瞰

歩行者

✓

Social BiGAT [16]2019

LSTM Enc.Dec.

鳥瞰

歩行者

✓

Trajectron [17]2019

LSTM Enc.Dec.

鳥瞰

2020

LSTM Enc.Dec

鳥瞰EvolveGraph [19]

2020

GRU

鳥瞰

STAR [20]2020Transformer

鳥瞰

歩行者
歩行者
自動車
歩行者
自動車
歩行者

✓

Trajectron++ [18]PECNet [21]2020

LSTM Enc.Dec.

鳥瞰

歩行者

✓

DSCMP [22]2020

LSTM Enc.Dec.

鳥瞰

歩行者

✓

LSTM Enc.Dec.

一人称
鳥瞰

歩行者

✓

FVTraj [23]インタラクション以外の課題を扱うアプローチ

経路予測手法の分類

2020

RGM [24]2019

CNN, LSTM

鳥瞰PRECOG [25]
RSBG [26]Social STGCNN [27]Behavior CNN [28]

2019
2020
2020
2016

CNN, GRU
LSTM Enc.Dec.
CNN
CNN

鳥瞰
鳥瞰
鳥瞰
鳥瞰

Visual Path Prediction [29]

2016

CNN

鳥瞰

FPL [30]

2018

CNN

一人称

歩行者
自動車
自動車
歩行者
歩行者
歩行者
歩行者
自動車
歩行者

OPPU [31]2018

RNN Enc.Dec.

車載

歩行者

Fast and Furious [32]

2018

CNN

鳥瞰

自動車

OASE [33]

2019

LSTM

鳥瞰

歩行者
自動車

✓
✓

✓

✓

✓

ゆう度最大化✓✓ゆう度最大化

✓

MSE
KLD
L2
Regularization
L2

✓

L2

✓

✓

L2

✓
✓
✓

✓
✓

ゆう度最大化L2
負の対数ゆう度
L2

✓
✓

✓

✓
✓

Rule of the Road [34]2019

CNN, GRU

鳥瞰自動車

Future Vehicle Localization [35]
DTP [36]

2019
2019

GRU
CNN

車載
車載

自動車
歩行者

TPNet [37]

2020

CNN

鳥瞰

自動車

✓

✓

Multiverse [38]

2020

CRNN

鳥瞰

歩行者

✓

✓

SimAug [39]

2020

CRNN

鳥瞰

歩行者

✓

✓

したものである．図 1 より，インタラクションを考慮

目的関数
負の対数ゆう度
Reconstruction
KLD
Cross-entropy
Regression
負の対数ゆう度
負の対数ゆう度
負の対数ゆう度Adversarial
L2
Adversarial
Reconstruction
Reciprocal
Adversarial
負の対数ゆう度
L2
Adversarial
L1
L2
Cross-entropy
SmoothL1
L2
Adversarial
L2
L2
Adversarial
L2
KLD
ゆう度最大化

L2
MSE
MSE
KLD
Cross-entropy
SmoothL1
MSE
ゆう度最大化
L2
L2
Cross-entropy
L2
Cross-entropy
SmoothL1
Cross-entropy
SmoothL1

ション以外の課題を扱う手法もある．本論文では，そした手法はプーリングモデルとアテンションモデル及れぞれを次のように定義する．プーリングモデル: 予

びその他のモデルに分類される．一方で，インタラク

測対象を中心として周囲の空間を表現したグリッドを374

サーベイ論文／Deep Learning を用いた移動物体間のインタラクションを考慮した経路予測の研究動向

作成し，これに予測対象周辺の個々の他対象に関する

1. 1 関連するサーベイ論文

時系列特徴を埋め込むアプローチ．アテンションモデ

経路予測手法に関するサーベイは，様々行われて

ル: 予測対象と個々の他対象との関係を Softmax 関数

いる [55]〜[58]．Hirakawa ら [56] は，コンピュータビ

で合計値が 1 となる連続的な重み値で表現し，この重ジョン分野において，提案された動画像を用いた経路

みをそれぞれの他対象の特徴量と乗算するアプローチ．

予測手法についてのサーベイを行っている．このサー

その他のモデル: プーリングやアテンションモデルとベイでは，経路予測手法をベイズモデルやエネルギーは異なる方法でインタラクションを考慮したアプロー

最小化，逆強化学習，深層学習などの基本的なアプロー

チ．インタラクション以外の課題を扱う手法: 周辺環チに基づいて体系的に分類している．また，Andrey

境の読み取りをして建物といった静的な障害物との衝ら [58] は，コンピュータビジョンに限らず，ロボティ

突回避を目的とした経路予測などインタラクション以

クスや自動運転分野における経路予測手法を包括的に

外の課題を扱うアプローチ．

サーベイしており，それらのアプローチ及び使用されまた，これらの経路予測手法は，インタラクション

るコンテクスト情報を階層的に整理している．一方での表現方法だけでなく，様々な基準で分類することが本サーベイでは，近年コンピュータビジョン分野におできる．表 1 より，映像視点は経路を予測する視点

いて提案されている様々な DL ベースの経路予測手法

を表し，鳥瞰視点や車載カメラ視点，1 人称視点に分について，インタラクションのモデル化を中心に整理類できる．対象属性は各予測手法がどの移動物体を対を行う．

象としているかを示す．複数経路は複数の未来の経路を予測する手法を示す．環境は映像内のシーンコンテ
クストやセマンティックラベルを用いた予測手法を示

2. 経路予測問題の定式化とベースモデル
本章では，インタラクションを考慮した経路予測問

す．目的関数は，文献で用いられている損失関数を示

題の定式化を行い，DL ベースに用いられる LSTM 及す．経路予測には周辺環境の読み取り，複数経路の予び CNN について簡潔に説明する．

測，インタラクションなどの様々な課題があるなかで，

2. 1 経路予測問題の定式化

インタラクションの課題に取り組む論文が多いことが
表 1 から読み取れる．
このように，経路予測は DL の発展に伴い，様々な

インタラクションを考慮した経路予測手法の多くが [6], [14] に触発されて研究されている．これらは，シーン内に N 人の歩行者や移動物体がいると想定する．

予測手法が提案されている．特に，移動物体間の衝突

各予測モデルには過去時刻 Tobs = {1, . . . , tobs } の軌跡

を避けるインタラクションを考慮した予測手法が爆発を入力し，未来時刻 Tpred = {tobs + 1, . . . , t pred } の軌的に増え続けている．本サーベイでは，コンピュータ

跡を予測する．ここで，tobs は過去最終時刻，t pred は

ビジョン分野において近年爆発的に増え続けている

未来最終時刻を示す．また，過去時刻で観測される軌DL ベースの経路予測手法について扱う．このとき，跡を Xi o b s = {xit = (xit , yit )}, ∀t ∈ Tobs ，未来時刻で予多くの手法で取り組まれている移動物体間のインタラ

測される軌跡を Ŷi

T

Tpr e d= {ŷit = ( x̂it , ŷit )}, ∀t ∈ Tpred でクションのモデル化のアプローチについて着目し，経表す．ここで，i を予測対象，(x, y) を軌跡情報，( x̂, ŷ)路予測手法を体系的に整理し，説明を行う．

を予測の軌跡情報として表す．各予測モデルはシーン

本論文の構成は以下のとおりである．まず，2. では

内の N 人の歩行者や移動対象に対し，各予測モデル内

経路予測のベースモデルと問題設定について述べる．

でプーリングやアテンションなどで対象同士の関係を

3. ではインタラクションを考慮した経路予測手法につモデル化することで，互いとの衝突を避ける経路を予いて幾つかのカテゴリーに分類し，様々な予測手法に測する．

ついて述べる．4. では経路予測の性能を評価する際に2. 2 LSTM

用いられるデータセットについて述べる．5. では経路

表 1 より，経路予測問題で主に扱われるネットワー

予測で用いられる評価指標について述べる．6. では代

クモデルは LSTM である．経路予測問題における基本

表的なモデルについて複数のデータセットを用いて精的な流れを図 2 に示す．経路予測問題では，過去時刻

度評価を行い，各モデルの精度及び予測結果についての軌跡情報 xiob s を入力層を通じて得た特徴 eio b s を議論する．最後に 7. で本サーベイをまとめる．

tt

LSTM へ入力する．前時刻の LSTM から出力された375

電子情報通信学会論文誌 2022/5 Vol. J105–D No. 5

れぞれメモリセルの値が次時刻でどれだけ保持されるかの調節をする忘却ゲート，メモリセルに加算される値を調節する入力ゲート，メモリセルの値が次の層にどれだけ影響を及ぼすかを調節する出力ゲートがある．
メモリセルと三つのゲートにより，長期の記憶の保持が可能となる．

LSTM の内部について説明する．メモリセル st は，
式 (1) で更新する．式 (1) は，メモリセルにとってど
図2

経路予測問題における基本的な流れの情報が必要になるかを決定する．第 1 項では，前時刻のメモリセル st−1 と忘却ゲートの出力 gF ,t ∈ [0, 1]の乗算した値が出力されるため，gF ,t が 1 に近いと必要な情報とみなし現状態をそのまま記憶，0 に近いと不必要な情報としてリセットされる．第 2 項では，入力特徴 tanh(ut ) と入力ゲートの出力 g I ,t ∈ [0, 1] の乗算した値が出力される．最終的に第 1 項と第 2 項を加算した値がメモリセルに伝播される．

st = gF ,t st−1 + g I ,t tanh(ut )(1)

LSTM への入力 ut は，入力層と前時刻の LSTM の出力から式 (2) で計算される．

ut = Win et + bin + Whid zt−1 + bhid(2)

ここで，et は時刻 t の入力層の出力，zt−1 は前時刻

t − 1 の LSTM の出力 (内部状態)，Win, bin は時刻 tの入力層から時刻 t の LSTM にかかる重みとバイア

図 3 LSTM の内部構成

t

軌跡特徴 ziob s−1ス，Whid , bhid は前時刻 t − 1 の LSTM から時刻 t のLSTM にかかる重みとバイアスを表す．これらの重み(内部状態) を用いて，次段落以降でとバイアスの大きさはハイパーパラメータとして人が詳細を述べる LSTM 内の各ゲートとメモリセルで軌跡決定する．忘却ゲートの出力 gF ,t を式 (3) で求める．

t

特徴 ziob s (内部状態) を求め，次時刻の LSTM と出力

忘却ゲートは入力層の出力 et ，前時刻の LSTM の出力層へ特徴を伝播する．LSTM で抽出された特徴を用い

zt−1 ，前時刻のメモリセルの出力 st−1 を重みが共有さtて，出力層で未来時刻の予測軌跡 ŷiob s+1を出力する．

このとき，過去時刻最後までネットワークに入力されるのは過去時刻の軌跡情報であるが，予測開始時刻すなわち未来開始時刻以降では，ネットワークが出力した予測軌跡を次時刻の入力として使用する．予測軌跡
は過去時刻の軌跡情報同様に入力層を通じて LSTM へ入力される．一連を繰り返し行うのが経路予測問題の基本的な流れである．

LSTM の内部構成を図 3 に示す．LSTM は，系列
データを扱うモデルで過去の情報を記憶する内部状態の働きにより，長期にわたる記憶を可能にしている．

LSTM の内部には，内部状態を記憶するメモリセルと三つのゲートで構成されている．三つのゲートは，そ376

れていない全結合で計算し，活性化関数 f を用いて最終的な値が計算される．

gF ,t = f (WF ,in et + bF ,in + WF ,z zt−1 + bF ,z (3)+ WF ,s st−1 + bF ,s )ここで，式 (3) の WF ,in, bF ,in は時刻 t の入力層の出力にかかる重みとバイアス，WF ,z , bF ,in は前時刻 t − 1の LSTM の出力にかかる重みとバイアス，WF ,s , bF ,sは前時刻 t − 1 のメモリセルの出力にかかる重みとバイアスを表す．入力ゲートの出力 g I ,t は式 (4) で求める．入力ゲートは忘却ゲートと同様に導出される．

g I ,t = f (W I ,in et + b I ,in + W I ,z zt−1 + b I ,z(4)

サーベイ論文／Deep Learning を用いた移動物体間のインタラクションを考慮した経路予測の研究動向+ W I ,s st−1 + b I ,s )ここで，式 (4) の W I ,in, b I ,in は時刻 t の入力層の出力にかかる重みとバイアス，W I ,z , b I ,z は前時刻 t − 1 のLSTM の出力にかかる重みとバイアス，W I ,s , b I ,s は
前時刻 t − 1 のメモリセルの出力にかかる重みとバイア
スを表す．LSTM の出力 zt は式 (5) で求める．LSTMの出力は，後述する出力ゲートの出力 gO,t とメモリセルの出力 st を用いて計算される．

zt = gO,t tanh(st )図 4 CNN による環境情報の抽出例(5)

出力ゲートの出力 gO,t は式 (6) で求める．出力ゲート
も忘却ゲートと同様に導出されるが，出力ゲートのみ
前時刻のメモリセルの出力ではなく，現時刻の出力 stを加算する．

gO,t = f (WO,in et + bO,in + WO,z zt−1 + bO,z (6)+ WO,s st + bO,s )図 5 時間方向に伝播する CNN の例

ここで，式 (6) の WO,in, bO,in は時刻 t の入力層の出力にかかる重みとバイアス，WO,z , bO,z は前時刻 t − 1の LSTM の出力にかかる重みとバイアス，WO,s , bO,sは前時刻 t − 1 のメモリセルの出力にかかる重みとバイアスを表す．各ゲートの値 gF ,t ，g I ,t ，gO,t は活性化関数 f をシグモイド関数にすることで値域を [0, 1]に制約する．メモリユニットの出力 zt は次時刻の三つのゲートを制御する役割の他に，出力層への入力及び，次時刻 t + 1 の LSTM へ入力する役割をもつ．

2. 3 CNN
CNN は主に画像認識に利用されるニューラルネット
ワークで，入力画像に対して畳み込みを複数回行うことで，認識に有効な特徴量を抽出する．経路予測では，周囲の静的環境との衝突を避けるための環境特徴の抽出に用いられている．図 4 に CNN による環境情報の特徴抽出例を示す．CNN には映像内のシーンコンテ
クストや，アノテーションしたセマンティックラベル
を入れ，環境に関する特徴ベクトルを得る．この環境に関する特徴ベクトルが予測対象周辺やシーン全体の環境を表現したベクトルになっている．この特徴ベク
トルと軌跡情報を予測モデルへ入力することで，静的物体との衝突を回避した経路を予測できる [14], [33]．
一連の流れを式 (7) に示す．

v = CN N(I; Wcnn )ここで，I は入力画像，v は CNN で得た環境に関する
特徴ベクトル，Wcnn は CNN の重みパラメータ，x は過去で観測された軌跡情報，ŷ は未来で予測する軌跡
情報， F(·) は予測モデル，WF は予測モデルの重みパ
ラメータを示す．
環境特徴を抽出するために経路予測では CNN が用いられている一方，移動対象の軌跡の時系列特徴を

LSTM ではなく，CNN で捉える方法もある．時系列特徴を CNN で捉える文献は表 1 のモデル欄「CNN」に該当する．時間方向に伝播する CNN [54] の例を図 5に示す．この CNN の利点は，並列計算が可能な点である．RNN は過去時刻の入力特徴を再帰的にモデルへ入力し，未来時刻の特徴を逐次的に出力する必要がある．一方で，時間方向に伝播する CNN は過去時刻の入力をカーネルサイズなどあらかじめ設定したハイパーパラメータに従って，時間方向に対し畳み込みフィルタをかけて系列データの特徴量を抽出する．そして，抽出した特徴量をアップサンプリングして未来
時刻の特徴として出力する．この構造によりモデルの並列処理が可能となる．そのため，RNN と比べて推論速度が速く，モデルパラメータを低減することがで
きる [27]．

(7)ŷ = F(v, x; WF )377

電子情報通信学会論文誌 2022/5 Vol. J105–D No. 5

3. インタラクションを考慮した経路予測
手法に埋め込んだ後，それぞれの予測モデルで異なるプー
リングを用いている．本節ではこのようなプーリング
モデルに基づく予測手法について述べる．

本章では，図 1 や表 1 に記載されている各カテゴ

3. 1. 1 Social LSTM

リーに属する経路予測手法及び，各予測手法の特徴について述べる．

Social LSTM [1] はインタラクションを考慮した DL
ベースの代表的な手法である．Social LSTM の概略図

3. 1 プーリングモデルに基づくアプローチ

を図 8 (a) に示す．この手法では，映像内の複数の歩

プーリングモデルに基づくアプローチの違い及び行者の未来の移動経路を同時に予測することを目的

プーリングの概略図をそれぞれ図 6 と図 7 に示す．

としており，その際に歩行者同士の衝突を避けるた

プーリングモデルに基づくアプローチでは，予測対象

めに Social pooling layer (S-pooling) を提案している．

を中心として周囲の空間を表現したグリッドを作成し，

S-pooling の概略図を図 8 (b)，S-pooling に他対象の特

これに予測対象周辺の個々の他対象に関する特徴を埋徴を埋め込む式は式 (8) で示される．

め込む．このとき埋め込んだ特徴を全結合または畳み

Hti (m, n, :) =込みで特徴抽出を行う．畳み込みの場合は畳み込み処

∑
j ∈Ni

理と maxpool. を繰り返しながら移動対象間のインタ

j

j

j

1mn [xti − xt , yti − yt ]ht−1 .

(8)

ラクションに関する特徴を抽出する方法がある．全結

ここで，i は予測対象のインデックス， j は他対象のイ合の場合は，特定範囲内の他対象のみの特徴を抽出す

ンデックス，t は時刻，mn は特定範囲のグリッドセル，

る方法と，範囲の制限がない，つまりシーン全体にい(x, y) は絶対座標，1mn [x, y] は指示関数， h は LSTM

る他対象の特徴を抽出する方法に分かれている．特定の内部状態，Hti (m, n, :) は他対象の特徴が埋め込まれ範囲内の他対象のみインタラクションを考慮する方法

るグリッドを表す．S-pooling では，指示関数に従い予では，範囲内なら 1，範囲外なら 0 で定義される指示関

測対象 i を中心とした特定範囲内の全他対象 j の特徴

数で明示的にインタラクション対象の情報を考慮して

ht−1 をグリッド Hti (m, n, :) に埋め込んでいる．図 8 (b)jいる．一方で，範囲の制限がない方法では他対象の特徴から maxpool. でインタラクションを考慮している．
予測対象周辺の個々の他対象に関する特徴をグリッド

図6

プーリングモデルに基づくアプローチの違い

図 7 プーリングモデルの概略図．予測対象が黒点を中心に，様々な色で表現されている他対象に関する特徴
を No × No × D で表現したグリッドにそれぞれ埋
め込む

378

図 8 Social LSTM の概略図．文献 [1] より引用及び改変

サーベイ論文／Deep Learning を用いた移動物体間のインタラクションを考慮した経路予測の研究動向の例では，黒点を予測対象としたとき，特定範囲内に

3. 1. 4 MX-LSTM

いる青色，黄色及び橙色の他対象の特徴量を空間 × 次

Hasan ら [4] は，歩行者の軌跡情報に加え，歩行者の元数で表現されたグリッドに特徴を埋め込んでいる．

頭部方向の情報を予測の手がかりとして取り入れた

Social LSTM では，この他対象の特徴が埋め込まれた

MiXing LSTM (MX-LSTM) を 提 案 し て い る ．MX-

グリッド Hti (m, n, :) を式 (9) の全結合層 ϕ へ入力する

LSTM のプーリング方法の概略図を図 9 に示す．MX-

ことで，歩行者間のインタラクションを表現している．

LSTM では，人間が視野角内に存在するものに対して

ati = ϕ(Hti ; Wa ).

着目する点から，頭部の向きを中心とした視野角内に(9)

ここで，ati はインタラクションを表現したベクトル，Wa は全結合層の重みを示す．そして，式 (10) のように，S-pooling 後のベクトル ati と前時刻の LSTM の出
i ，座標情報が embedding された特徴 ei を連結
力 ht−1t
し，連結した情報を LSTM へ入力する．
i, eti , ati ; Wl ).
hti = LSTM(ht−1

いる他対象のみを考慮してプーリング処理を行っている．MX-LSTM のプーリング処理を式 (11) に示す．

Hti (m, n, :) =∑j ∈V FO Ai

j

ht

(11)

ここで，j ∈ V FO Ai は予測対象の視野角内にいる他対象のインデックスを示す．視野角内の他対象の推定方(10)

ここで，Wl は LSTM の重みである．Social LSTM は，
式 (10) より LSTM の内部状態に歩行者同士の空間的関係が保存されるため，衝突を避けるような動きを考慮した経路予測を実現している．

3. 1. 2 DESIRE
Lee ら [2] は，GRU エンコーダ/デコーダによる経路予測手法 Deep Stochastic IOC RNN Encoder-decoder

framework (DESIRE) を提案している．DESIRE は，移動対象間のインタラクションに加え，周囲の環境情報に関する特徴ベクトルをネットワークへ組み込むこと
で交差点や道沿い端の障害物領域を避ける経路を予測している．インタラクションには S-pooling と似た離散グリッドベースが使用されている．また，過去の軌跡に関する特徴を CVAE [59] にエンコードすること
で，周囲の環境に対して尤もらしい複数の経路予測を実現している．更に，予測経路にランキング付けする

ranking module により，経路を反復的に改善すること
で予測精度を更に向上させている．

3. 1. 3 Convolutional Social Pooling
Deo ら [3] は，高速道路上で隣接する自動車同士の法は，予測対象の頭部方向及び，他対象までの距離情報で求めている．最終的に軌跡，頭部方向及び，イン
タラクション情報を一つの LSTM へ入力することで，視線情報内にいる他対象に対して衝突を避けるような経路を予測している．また，視線情報を任意に変更することで，任意方向に向かった経路予測を可能としている．

3. 1. 5 Group LSTMGroup LSTM [5] は友人やカップル，家族などの動きには一貫性があると仮定して運動傾向が類似している歩行者同士をグループとみなし経路を予測している．Group LSTM のインタラクションモデルは Social

LSTM の S-pooling を改良している．S-pooling が予測対象周辺の個々人の情報をグリッドに埋め込んでいるのに対し，Group LSTM は予測対象が属するグループ
以外の個人の情報をグリッドに埋め込むことで，異なるグループとの衝突を避ける経路を予測する．

3. 1. 6 Social GAN
Gupta ら [6] は ，Generative Adversarial Networks(GAN) [60] を用いて実際の経路と予測経路を敵対的に学習させることで，予測経路を徐々に実際の経

インタラクション情報を考慮した自動車の経路予測手法であり，インタラクション情報に空間的意味合いをもつ Convolutional Social Pooling を提案している．Convolutional Social Pooling は，Social LSTM の

S-Pooling の特徴抽出が単一の全結合層で行われているため，空間的な意味合いに関する特徴が欠落してしまう問題があることから，全結合層の部分を CNN に置換することでこの問題を解決している．

図 9 MX-LSTM のプーリング方法の概略図．文献 [4] より
引用

379

電子情報通信学会論文誌 2022/5 Vol. J105–D No. 5路に近似させる Social GAN を提案している．また，いる．MATF の構造を図 11 に示す．MATF では，まこの手法では未来の経路は複数の可能性をもつとしず CNN でシーンコンテクスト情報に関する特徴を得て潜在空間に正規分布を基にしたノイズベクトルをる．次に複数の異なる対象の過去の軌跡に関する特徴

連結することで，複数の経路を予測している．Social

ベクトルを LSTM でエンコードする．その後，対象のGAN の概略図を図 10 に示す．Social GAN は，予測位置情報を埋め込む空間的グリッドに LSTM の出力

経路を生成する Generator (生成器) と実際の経路と予を埋め込む．そして，取得したシーンコンテクスト情

測経路の Real/Fake を判別する Discriminator (識別器)

報と空間的グリッドをチャンネル方向に連結し，CNNの二つのネットワークから構成されている．生成器内で特徴を結合する．最後に結合した特徴とエンコード

では LSTM エンコーダ/デコーダ及び，他対象との衝した LSTM の出力を加算した後，ノイズベクトルと連突を避ける Pooling Module (PM) の二つで構成されて結し Decoder LSTM への入力として用いる．この構造いる．エンコーダでは過去の軌跡情報の特徴抽出を行により，対象の位置情報とシーンコンテクストの空間

う．PM では，単一の全結合層で予測対象と他対象間構造を保持しながら，複数対象とのインタラクションの相対距離に関する特徴ベクトルを取得した後，エンを捉えることができる．

コーダで抽出した特徴とノイズベクトルを連結する．

3. 1. 8 Reciprocal network

連結した特徴をデコーダへ入力し，この処理を反復的

Hao ら [8] は，過去の経路から未来の経路を予測できに繰り返すことで複数の経路を予測する．最後に，生るだけでなく，未来の経路から過去の経路を予測する

成器から出力された予測経路と実際の経路を識別器でことができる点に着目し，Forward Prediction Network

Real/Fake を判別するように敵対的に学習させる．こと Backward Prediction Network の二つのネットワー

こで，Social GAN のプーリング処理を式 (12) に示す．

クを結合した共同学習モデルを提案している．二つ

Pit = max j ∈Ni (ϕ2 ([ϕ1 (x j − xi , y j − yi ); htj ]))(12)のネットワークは同一モデルを使用しており，Social

GAN に実際のシーン画像に関する特徴と深度マップ[; ] は連結記号，ϕ は全結合層，max は maxpool. を示を利用したモデルとなっている．これらはシーン画像

す．式 (12) より，Social GAN のプーリング処理は予におけるコンテクスト情報の重要性と人間の動きが測対象と他対象間の相対距離と他対象の内部状態から，

カメラ位置によって異なるという点から取り入れら

衝突回避に重要な要因となる他対象の特徴のみを抽出れている．また，この手法では学習後の後処理としてしている．

Backward Prediction Network の学習済みモデルを利用

3. 1. 7 MATF

して過去の軌跡から予測経路に敵対的攻撃を行うこと

現実シーンにおける経路予測には，移動物体の過去

で，与えられた入力またはネットワークの出力に一致の動きや数，異なる対象とのインタラクション，シー

するようにネットワークの入力を繰り返し変更する相ンコンテクストの制約などが要因で困難になる．特に互攻撃と呼ばれる新しい予測方法を提案している．

異なる対象とのインタラクションは多様かつ複雑にな

3. 1. 9 プーリングモデルに基づく手法のまとめる．そのため，Zhao ら [7] は異なる対象とのインタラ

プーリングモデルに基づくアプローチでは，S-pooling

クション及びシーンコンテクスト情報を共同でモデルのような離散グリッドに基づくアプローチや予測対象化する Multi-Agent Tensor Fusion (MATF) を提案してが衝突回避に重要な要因となる他対象の特徴を max-

図 10 Social GAN の概略図．文献 [6] より改変

図 11 MATF の構造．文献 [7] より引用及び改変

380

サーベイ論文／Deep Learning を用いた移動物体間のインタラクションを考慮した経路予測の研究動向

pool. で抽出するアプローチが提案されてきた．図 12との関係を Softmax 関数で合計値が 1 となる連続的なにプーリングモデルによる予測結果例を示す．図 12

重み値で表現している．この重みはそれぞれの対象のより，歩行者が相互に影響を与えることで衝突を避け特徴から求められる．求めた重みを用いてそれぞれのるために動きを遅くしたり方向を変えたりするなど，対象の特徴量と乗算を行う．特徴量が重みと乗算され人間に近い動きをした経路を予測していることがわ

るため，重みが大きい対象の特徴が多く含まれ，重みかる．しかしながら，プーリングモデルに基づくアプが小さい対象の特徴がわずかに含まれる．アテンショ

ローチは予測対象周辺のグリッド内の他対象に限定しンモデルでは，モデルが獲得した重みの大小から，予たり，maxpool. が最も特徴が大きい他対象とのイン

測対象が着目またはわずかに考慮する対象をモデル自タラクションしか考慮しない点から，衝突回避に重要身が選択し，それらの対象との衝突を避ける経路予測

な他対象の情報が欠落してしまう問題が挙げられる．

が期待される．アテンションモデルの利点は，移動対また前者について，予測対象を中心とした特定範囲，

象間の複雑なインタラクションをモデル自身が表現でつまりグリッドサイズに関するパラメータをあらかじきることにある．移動対象間のインタラクションは複め人間が定義する必要がある．グリッドサイズは予測

雑で人間が自ら定義するのが困難であるが，これをモ

対象ごとに異なり，複雑になるため致命的な欠点と言デル自身が連続的な数値としてインタラクションを表える．

現できるのが利点である．本節ではこのようなアテン

3. 2 アテンションモデルに基づくアプローチ
アテンションモデルに基づくアプローチの概略図を

ションモデルに基づく予測手法について述べる．

3. 2. 1 Social Attention

図 13 に示す．アテンションモデルに基づくアプロー

Vemula ら [9] は，グラフ理論を基盤として，各ノー

チでは，予測対象と予測対象自身を含む個々の他対象

ドを映像内の対象の位置情報，エッジを対象同士の空間情報と表現し，表現されたグラフを時空間方向に拡張した Spatial-Temporal Graph [61] で将来の経路を予測している．この手法では，Edge RNN，Attention

Module 及び，Node RNN の三つのモデルで構成されている．Edge RNN では，空間的意味をもつエッジ(spatial edge) と，時間方向へ伝播するノード自身のダ
イナミックス (temporal edge) の二つをモデル化する．
図 12

プーリングモデルによる予測結果例．文献 [6] より
引用．横軸は複数の予測結果例で左図は最も真値と似た予測経路を辿った例を示す．縦軸はそれぞれ同
じ目的地に向かう歩行者のシーン，前方の集団との衝突回避シーン及び，歩行者が他の歩行者を追い越すシーンを示す．

各モデルは，単一の全結合層で得た特徴を LSTM へ入力し，空間と時間の二つの特徴ベクトルを取得する．

Attention Module では，Edge RNN の各出力から誰にどの程度着目しているかに関するアテンションを求める．Attention Module の処理を式 (13) に示す．

Hvt =

m
∑

t , ht ))exp(score(hvv
vi
t
hvi
∑m
t
t
j=1 exp(score(hvv , hv j ))
i=1

(13)

m
t
t
where score(hvv, hvt · ) = √ (W1 hvv, W2 hvt · )de
ここで，v は予測対象のインデックス，hvv は temporaledge における LSTM の内部状態，hv · は spatial edge における LSTM の内部状態，Hv は hvt の加重和で計算される出力ベクトル，W は全結合層の重み，m は spatial
図 13 アテンションモデルに基づくアプローチの概略図．
赤線は対象間の関係を表しており，色が濃いほど関係が深いことを意味している．赤線の上部の数値は連続的な重み値であり，各対象の特徴量と乗算することでインタラクションを考慮している．

t , ht )edge の数，d は LSTM の次元数を示す．score(hvvv·

では LSTM の次元数が大きい内積注意をすると，誤差逆伝播する際に勾配値が極小値しか返さなくなり精度が悪化するのを防ぐために，[62] に触発されて

√

dで

381

電子情報通信学会論文誌 2022/5 Vol. J105–D No. 5

内積値にスケーリングを行っている．アテンションを

3. 2. 3 GD GAN

求める際は内積注意 [63] を適用し，Softmax 関数で他

群衆シーンにおける移動対象間のインタラクション

対象に関する重み付けを行う．そして，式 (14) に示す

は，個別や群衆全体ではなくグループレベルで発生すように temporal edge の特徴ベクトルと連結した後にると仮定して，Fernando ら [11] は経路予測とグループ

単一の全結合層 ϕ で固定長のベクトル avt を抽出する．

検出を行う Group Detection GAN (GD GAN) を提案しthavt = ϕ(concat(hvv, Hvt ); Wnode)ている．GD GAN は，モデルから出力された移動対象(14)h
ここで，Wnodeは全結合層 ϕ の重みである．最後に，Node RNN でノード情報と Attention Module の出力を連結し，LSTM へ入力することで時空間のアテンショ
ンを考慮した経路予測を行う．

3. 2. 2 CIDNN
Crowd Interaction Deep Neural Network (CIDNN)[10] は，密集した映像における移動対象の行動による危険度をアテンション機構で推定し，行動の特徴に重み付けしている．CIDNN の概略図を図 14 に示す．CIDNN は予測対象の位置情報をエンコードする

Location Encoder Module，予測対象の移動情報をエンコードする Motion Encoder Module 及び，これらの特徴から将来の軌跡を予測する Displacement Prediction

Module の三つのモジュールから構成される．まず，Location Encoder Module では，映像内の複数対象の過去最終時刻の位置情報から 3 層の全結合層で位置情報に関する特徴量を求める．次に，予測対象 (図 14 中の Sti ) と全他対象に対し内積をとり，Softmax 関数にかけることで他対象の特徴に重み付けを行う．Motion

Encoder Module では，複数対象の過去の軌跡を 2 層の LSTM でエンコードする．Location Encoder Moduleと Motion Encoder Module で得た特徴を連結し，予測対象と他対象に関する加重平均を行う．最後に Dis-の予測経路を特徴抽出器に入れた後，t-SNE [64] で次元圧縮を行う．その後，DBSCAN [65] で近くにいる
歩行者集団に対してグループ検出を行う．

3. 2. 4 SR LSTM
Social LSTM や Social Attention など，既存研究は 1
時刻前のインタラクション情報を LSTM への入力として用いていた．しかし，現時刻のインタラクション情報を用いることが衝突回避に有効ではないかという主張から，LSTM の出力を State refinement module (SR)へ入力することで，現時刻のインタラクションを考慮
する SR LSTM を提案している [12]．SR LSTM の概
略図を図 15 に示す．SR では，予測対象を中心とした近傍サイズ内にいる他対象との衝突を防ぐためのアテンションを求める Pedestrian-aware attention，他対象の動きから有益な情報を受け取り予測対象自身が経路を選択する Motion gate の二つの機構により高精度な経路を予測している．また，SR では LSTM の出力を反復的に更新することで，予測経路の改善を図っている．

Pedestrian-aware attention は式 (15) に示すように，予測対象と他対象の相対距離に関する特徴ベクトル r と

LSTM の出力 ĥ を連結して全結合層で特徴抽出した
後，Softmax 関数で他対象に対する重み付けを行う．

ri,t,lj = ϕr (xit − x tj , yit − y tj ; W r ),placement Prediction Module で次時刻の予測軌跡を出力する．求めた予測軌跡を Location Encoder Moduleと Motion Encoder Module に逐次入力として用いることで，長期的予測を可能としている．

図 14 CIDNN の概略図．文献 [10] より引用

382

図 15 SR LSTM の概略図．文献 [12] より引用

サーベイ論文／Deep Learning を用いた移動物体間のインタラクションを考慮した経路予測の研究動向

行者と周囲の環境物体とのインタラクション情報を取t,la,T t,l t,l t,lui,[ri, j ; ĥ j ; ĥi ],j =wt,lexp(ui,j)

αi,t,lj = ∑t,lk exp(ui,k ).

得する．このとき映像内の歩道や自動車といった物体(15)

ションモデルでシーンラベルを取得し，シーンラベル

ここで，i は予測対象のインデックス， j は他対象のインデックス，t は時刻，l は反復回数，ϕr は全結合層，W r はその全結合層の重み，w は W r と異なる全結合層の重みを示す．Motion gate は式 (16) に示すように，予測対象と他対象の相対距離に関する特徴ベクトルとLSTM の出力から単一の全結合層で求める．
t,lm= δ(W m [ri,t,lj ; ĥt,lgi,m,t,lj ; ĥi ] + b ).
j

情報を事前学習済みのセマンティックセグメンテー
を CNN へ入力することで特徴マップを得る．得た特徴マップに対して，歩行者のクラスラベルでマスク処理を行うことで，歩行者以外の周囲の特徴を取得する．

Person-Object Encoder では歩行者と物体との位置関係
を対数関数で求める．3) Visual Feature Tensor Q では，過去の軌跡情報に関する特徴ベクトルを LSTM エン
コーダで求める．同時に 1, 2 で得た四つのエンコード(16)

ここで，W, b は全結合層の重みとバイアス，δ はシグモイド関数を示す．また，SR LSTM は Pedestrian-aware

attention や Motion gate の導入の有無，近傍サイズなど豊富な Ablation study の結果より提案手法の有効性を示している．

3. 2. 5 Next
人間が未来に何かしらの動作を起こす際，現在の状態に応じて異なる経路を辿ると予想される．例えば，荷物をもっている歩行者が荷物を車に積む際，最短の経路を辿って車のトランクに荷物を積み，自転車に乗っている人は周囲に気を配りながら走行する．このように，歩行者は “自転車に乗っている” や “荷物を運んでいる” など異なる現在の状態によって，それぞれに適した将来の経路を辿ると考えられることから，

Liang ら [13] は現在の状態から将来の経路と動作を同時に予測する Next を提案している．Next の概略図を
図 16 に示す．この手法では，五つのモジュールで構成されており，それぞれ動作情報や周囲の環境とのイン
タラクションについての視覚的情報をエンコードする役割をもつ．1) Person Behavior Module では，Person

Appearance Encoder と Person Keypoint Encoder の二つのエンコーダがあり，映像内の歩行者についての外見情報と骨格情報をそれぞれ事前学習済みモデルでエンコードしている．2) Person Interaction Module では，

Person-Scene Encoder と Person-Object Encoder の二つ特徴をそれぞれの LSTM エンコーダで同じ次元にエンコードした後，全てのエンコーダ特徴量をテンソルとして埋め込みする．4) Trajectory Generation with Focal

Attention では，3 で得たテンソルと 1 時刻前の軌跡情報を LSTM デコーダへ入力することで未来の経路を予測する．5) Activity Prediction では，2 で得たシーンラ
ベルと 3 で得たテンソルを利用して，未来最終時刻での未来の動作を予測する．

3. 2. 6 SoPhie
Sadeghian ら [14] は，歩行者同士のインタラクショ
ンに加え，建物などの障害物特徴を既存の CNN モデ
ルで抽出し静的物体とのインタラクション情報として用いることで，動的と静的環境とのインタラクション
を同時に考慮した SoPhie を提案している．SoPhie の概略図を図 17 に示す．Sophie は Social GAN と同様に

GAN を用いた経路予測手法であるため，生成器で経路を予測，識別器で Real/Fake の経路の判別を行っている．生成器では，過去軌跡に関する特徴ベクトルの抽出に加え，環境との接触を回避する Physical Attention
及び，歩行者同士の衝突を回避する Social Attention の二つのアテンションモデルがある．Physical Attention
では，環境に関する特徴ベクトル及び，未来時刻のデ
コーダの出力を soft-attention [66] に似た構造で特徴を抽出する．Social Attention では，予測対象と他対象とのユークリッド距離から衝突回避のためのアテンショ
ンを取得する．Physical Attention 同様に，soft-attentionのエンコーダがある．Person-Scene Encoder では，歩図 16 Next の概略図．文献 [13] より引用

図 17 SoPhie の概略図．文献 [14] より引用383

電子情報通信学会論文誌 2022/5 Vol. J105–D No. 5に似た構造で特徴を抽出する．各アテンションの出力と連結し，デコーダへ入力することで将来の経路を予と正規分布に従うノイズベクトルを連結しデコーダへ測する．

入力することで，将来の予測経路を導出する．導出された予測経路と実際の経路を識別器へ入力し Real/Fakeを判別するように敵対的に学習させる．

3. 2. 8 Social BiGAT
既存手法 [6] では，エンコーダの出力に対しノイズベクトルを連結することで複数の経路を予測している．
複数の経路を予測できる一方で単純にノイズベクトル

3. 2. 7 STGAT
Ivanovic ら [15] は，歩行者の衝突を避ける空間情報を付与するだけでは，分散の大きい経路を予測してしを時間情報に伝播し，その時空間特徴をエンコードしまう．これはランダムにノイズを生成しているため，

た Spatial-Temporal Attention Network (STGAT) を提案

モデルに予期しないノイズが加わると誤った経路，すしている．STGAT の概略図を図 18 に示す．この手法

なわち分散の大きい経路を予測してしまうためだと考では，過去時刻と未来時刻における軌跡情報と，各過えられる．そのため，Vineet ら [16] は予測した経路と去時刻で得られる空間情報を伝播する三つの LSTM モ

ノイズベクトルとの間の潜在的表現を学習する Social

デルで構成されている．まず，各過去時刻の歩行者のBiGAT を提案している．具体的には，ノイズベクトル

軌跡情報を LSTM へ入力し，軌跡に関する内部状態をから生成した予測経路を LSTM エンコーダへ入れ，元得る．各時刻の LSTM で得られる内部状態から Graphのノイズベクトルと類似するようにマッピングしていAttention Network [67] で，予測対象の他対象に対するる．このようなマッピング方法は Bicycle GAN [68] でアテンションを取得する．STGAT のアテンション処

提案されており，Social BiGAT は Bicycle GAN のマッ

理を式 (17) で示す．

ピング方法を経路予測タスクへ応用した手法となって

αi,t j = f (·)(17)= f (∑

exp(LeakyReLU(aT [Wmit ||Wmtj ]))ttTk ∈Ni exp(LeakyReLU(a [Wmi ||Wmk ])))ここで，α はアテンション重み， || は連結記号，T は転置記号，W ∈ R

F ′ ×Fいる．

3. 2. 9 Trajectron
Huang ら [17] は，映像中の複数対象を動的なグラフ構造によって効率的にモデル化する手法を提案している．Trajectron の概略図を図 19 に示す．Trajectron はは重み行列， F ′ は出力の次元′数， F は mit の次元数，a ∈ R2F は全結合層の重みベ

クトル，m は LSTM の内部状態を示す．各時刻 t のアテンションは予測対象と他対象間の空間情報を表し，
式 (18) に示すように他対象の LSTM の出力と乗算し，全他対象について加算された後に単一の全結合層 σ により空間情報に関する特徴ベクトル m̂ を得る．

m̂it = σ(∑j ∈Ni

αi,t j Wmtj )(18)

得た空間情報に関する特徴ベクトルを時間方向へエンコードする LSTM へ入力することで時空間インタラク
ション情報を捉える．最後に，時空間インタラクショ
ン情報と軌跡に関する特徴ベクトルをノイズベクトル

図 18 STGAT の概略図．文献 [15] より引用

384

図 19 Trajectron の概略図．文献 [17] より引用

サーベイ論文／Deep Learning を用いた移動物体間のインタラクションを考慮した経路予測の研究動向

三つのモジュールで構成されている．Encoding Trajec-

を Query，Key，Value へ拡張し，各歩行者に対し独立

tory History (図 19 中の NHE) では，過去時刻のノーして軌跡を更新する．Spatial Transformer では歩行者ド特徴を LSTM へ入力する．このとき学習時のみ，間の空間的インタラクションを抽出する．具体的にノードの未来の真値の軌跡をエンコードするために，は，予測対象に関する特徴量を Query，他対象に関す

Bi-directional LSTM (BiLSTM) を適用したモデル化をる特徴量を Key と Value とし，Source-target-attention

行う (図 19 中の NFE)．Encoding Dynamics Influenceのような構造で時刻ごとに独立した空間的インタラ

from Neighbors (図 19 中の EE) では，特定の範囲内

クションを抽出する．二つの Transformer で得た情報にいる全ての隣接ノードとエッジ特徴から，アテンを連結し全結合層へ入力する．その後，再度 Spatial

ション機構を用いることで重要度の高い，すなわちTransformer と Temporal Transformer へ入れ特徴量を互いに影響し合うエッジ情報を取得する．Generating

抽出する．抽出した特徴量をノイズベクトルと連結しDistributions of Trajectories (図 19 中の Decoder) では，全結合層へ入れることで次時刻の予測軌跡を出力する．

それぞれで得られた特徴ベクトルから将来の経路を予

そして，求めた予測軌跡を逐次過去軌跡への入力とし測する．このとき CVAE で複数の未来の経路の予測て使うことで，長期的な経路を予測している．結果よ及び，Gaussian Mixture Model で学習が進むごとに予り，Transformer を用いることで LSTM を用いた予測

測経路を洗練する二つの要素を取り入れることで高手法の予測精度を大幅に超えている．

精度な経路予測を実現している．また，Trajectron を

3. 2. 11 PECNet

ベースに自動車のような異種対象及び，セマンティッ

Mangalam ら [21] は，人間が左右前方など様々な経

クな情報を取り入れた Trajectron++ が同研究グループ

路の未来最終地点 (エンドポイント) を予測するのがによって提案されている [18]．その他にも，移動物体重要であること，エンドポイントに向かう際に他対象間のインタラクションを潜在的なグラフ構造で捉えるの軌道が重要なことの 2 点に着目し，長期的な経路予

EvolveGraph [19] など，グラフ構造を取り入れた予測測を支援する Predicted Endpoint Conditioned Network

手法が提案されてきている．

(PECNet) を提案している．PECNet の概略図を図 21

3. 2. 10 STARに示す．ここで，赤線は学習時のみに伝播することを

LSTM を用いたアテンションモデルによる予測手

表す．PECNet では，E past で過去軌跡に関する特徴量

法は，歩行者同士のインタラクションを完全にモデを算出する．次に CVAE 内の Dlatent で Past Encoding

ル化できていないこと，LSTM が複雑な時間依存性の出力とノイズベクトルを連結し，エンドポイントのモデル化が困難 [62] なことの二つの限界がある．

を予測する． Eend で予測したエンドポイントに関すその ため，Transformer [62] を時 間 的 及び 空 間 的なる特徴量を得ると，Past Encoding の出力と連結する

アテンションへ拡張し，経路予測タスクへ応用した(concat encoding)．連結した特徴を Social Pooling 内のSpatio-Temporal grAph tRansformer (STAR) を提案して

g, θ, ϕ の三つのパラメータを求める全結合層へ入力すいる [20]．STAR の概略図を図 20 に示す．Temporalる．θ と ϕ は行列演算した後に Softmax 関数で重み付Transformer では，Transformer と同様に軌跡のシーケ

けし，歩行者が隣接するか否かをバイナリ表現にしたンスを一般化したモデルである．具体的には軌跡情報

歩行者 × 歩行者の Social Mask と乗算する．最後に g

図 20 STAR の概略図．文献 [20] より改変

図 21 PECNet の概略図．文献 [21] より引用

385

電子情報通信学会論文誌 2022/5 Vol. J105–D No. 5と行列演算した後に concat encoding と加算し P f utur e

合，W は全結合層の重みを示す．View-aware Attention

で未来の経路を予測する．

Module は式 (19) と同様の計算がされる．
3. 2. 14 アテンションモデルに基づく手法のまとめ

3. 2. 12 DSCMP
Tao ら [22] は，予測対象と他対象間の空間的及び，時アテンションモデルに基づくアプローチでは，予測間的インタラクションの両方を明示的にモデル化し，将対象と予測対象自身を含む個々の他対象との関係を連来の複数の経路を確率的に予測する Dynamic and Static

続的な重み値で表現し，この重みをそれぞれの対象のContext-aware Motion Predictor (DSCMP) を提案して特徴量と乗算を行うことで，インタラクションを表現いる．DSCMP は他対象の関係性を self-attention [62]している．図 23 にアテンションモデルによる予測結に似た構造で捉える Non-local block [69] で予測対象と果例を示す．図 23 より，予測対象は前方にいる他対

他対象間のインタラクションを考慮している．また，象や対向者に対してアテンション，つまり重みを自動映像中の静的環境との衝突を避ける経路を予測するたで獲得することで，衝突を回避する経路を予測できる．

めに，事前学習された PSPNet [70] を使って映像のセ

また，近年は Transformer がコンピュータビジョンのマンティックラベルを抽出している．

幅広い分野で応用されており，経路予測でも STAR や

3. 2. 13 FVTraj

FVTraj が応用していることから今後爆発的に増える可Bi ら [23] は，First-person View based Trajectory pre-能性がある．

dicting model (FVTraj) と呼ばれる俯瞰視点で撮影され3. 3 その他のモデルに基づくアプローチ

た歩行者の軌跡情報と 1 人称視点の画像を使った経

プーリングモデルでは，予測対象周辺の他対象の特路予測手法を提案している．FVTraj の概略図を図 22

徴を空間を表現したグリッドに埋め込むことでインタに示す．FVTraj は，FvSim と呼ばれるシミュレータ

ラクションを表現している．アテンションモデルでは環境を用いて俯瞰視点で撮影された動画像を 1 人称

モデルが獲得した重みから，予測対象が着目またはわ

視点にレンダリングし，1 人称視点で捉えられるエ

ずかに考慮する対象をモデル自身が選択することでイゴモーションを伴う動的なシーンコンテクストが経

ンタラクションを表現している．一方で，これらに属

路予測に有効なことを示している．また，Multi-Head

さないその他のモデルに基づくアプローチも幾つか提Attention [62] に基づいて，歩行者間のインタラクショ

案されている．本節では，それらについて述べる．

ンをモデル化する Social-aware Attention Module と，

3. 3. 1 RGM

一人称視点画像から過去軌跡と視覚的特徴との関係

Choi ら [24] は，歩行者や自動車などの移動対象間のを捉える View-aware Attention Module を提案してい関係と周辺の静的環境との関係の両方を捉えるために，

る．Social-aware Attention Module で求められるアテ

LSTM 内部のゲート構造に触発された Relation Gate

ンションは式 (19) で表される．

Module (RGM) を提案している．RGM の構造を図 24に示す．RGM は，後述する時空間的特徴と LSTM のiha = (hte,t
Wte,n
),

出力である予測対象の座標値に関する特徴ベクトルを

iHb = (Hte,t
Wte,n
),

abT
i
αte,n
= softmax( √ )b.
dte

用いる．RGM 内では，Sigmoid 関数及び Tanh 関数を(19)通した特徴量間を乗算することで，時空間的特徴から予測対象に有用な情報を伝播するだけでなく，どの程

ここで， hte は Traj-Encoder 内の予測対象 i に関する

LSTM の内部状態，Hte は i に関する内部状態の集

図 23

図 22 FVTraj の概略図．文献 [23] より引用

386

アテンションモデルによる予測結果例．文献 [9] より改変．各図の赤線が予測対象，その他の色が他対
象，各対象の青色の点が現在地，青色の円が予測対象の他対象に対するアテンションの大きさを表し，円が大きい他対象に予測対象の予測経路に強く影響されることを示す．

サーベイ論文／Deep Learning を用いた移動物体間のインタラクションを考慮した経路予測の研究動向

図 25 RSBG の概略図．文献 [26] より引用

3. 3. 2 PRECOG
Rhinehart ら [25] は，複数の予測対象の経路を予測するために，VAE や GAN とは異なりモデルから得られ
るゆう度推論を用いて経路予測する Estimating Social-

forecast Probabilities (ESP) を提案している．また，この手法は推論時に予測対象の “前に進む” や “停止する” などの目標を条件付けする PREdiction Conditioned

on Goals (PRECOG) を提案している．PRECOG により，予測対象と他対象間のインタラクションをモデル化した後，予測対象の目標を条件付けると他対象の予測経路が予測対象の目標に従って変化する．

3. 3. 3 RSBG
図 24 RGM の概略図．文献 [24] より改変

歩行者は同じ目的地や進む方向を考えると，幾つかの類似性をもつ対象が多いことから，Sun ら [26] は歩度重みを与える必要があるかを決定することができる．

行者間の関係を調査するグループベースのインタラ

これは，Sigmoid 関数と Tanh 関数に通す特徴量が同クションによる経路予測手法を提案している．この手じで，それぞれの関数に通した後の値域がそれぞれ [0,法ではグループかどうかを判断するために，人による

1] と [−1, 1] となりこれらを乗算すると，0 に近い場

アノテーションが施されている．またグループのイン合不必要な情報とみなし，1 に近い場合必要な情報とタラクションには Graph Convolutional Neural Network

みなされる．つまり，LSTM の忘却ゲートと似た構造(GCN) [71] を使ってグループ間の関係性を学習していとなっているため，予測対象に有用な情報を伝播し不る．RSBG の概略図を図 25 に示す．この手法は大き

要な情報の伝播を防ぐことができる．時空間的特徴は

く分けて三つのネットワーク表現で構成されている．

移動対象間及び，移動対象と周辺の静的環境とのイン

一つ目は Individual Representation である．ここではタラクションを考慮したものである．時空間的特徴は予測対象の軌跡情報に関する特徴量を BiLSTM で取得

プーリングモデルやアテンションモデルのインタラク

する．同時に，シーン画像から予測対象を中心としたションとは異なり，2D Convolution と 3D Convolution

パッチ領域を取得し，Convolution 層に伝播すること

で各インタラクションに関する特徴量を求めている．

で，静的環境に関する特徴量を取得する．その後，それまず，画像内を行動する移動対象の空間的行動から，ぞれで得た特徴量を連結する．二つ目は Relational So-

移動対象間の衝突回避に関するインタラクション及び，cial Representation である．ここでは，Recursive Social

移動対象と静的物体間のインタラクションに関する特Behavior Graph と呼ばれるモジュールで各人の位置情徴量を 2D Convolution で求める．次にこれを全過去時

報から，グループか否かをバイナリ表現にした隣接行刻で行い，チャンネル方向に各過去時刻で得た特徴量列を作成する．作成した隣接行列と位置情報を GCNを連結した後に 3D Convolution で時空間的特徴を取得

へ入れ，対象間の特徴量を算出する．最後に Individual

する．

Representation と Relational Social Representation の特徴量を連結しデコーダの LSTM へ入力することで将来
387

電子情報通信学会論文誌 2022/5 Vol. J105–D No. 5の経路を予測する．また，経路予測タスクにおいて，や障害物などの存在により，特定のシーン中の位置

未来最終時刻の位置が移動対象の目標を示すのに重要によって異なる歩行者の振る舞いを考慮するために，である点から，損失計算時に未来最終時刻の誤差を強

location bias map と呼ばれるバイアスをエンコーダに調する Exponential L2 Loss を提案することで予測精度よってエンコードされたデータの各チャネルに組み込を更に向上させている．

むで，予測精度を向上させている．

3. 3. 4 Social STGCNN

3. 4. 2 Visual Path Prediction

Mohamed ら [27] は，GCN と Temporal Convolutional

Huang ら [29] は，Spatial Matching Network と呼ばNeural Network (TCN) [54] を組み合わせることで，歩る CNN を提案しており，予測対象が存在しているパッ

行者間の複雑なインタラクションを考慮した時空間グ

チ画像と周辺の微小領域のパッチ画像の類似度を比ラフ化したモデルを提案している．この手法では，映較することで局所的な領域の報酬を推定している．こ

像中の対象間の相対距離値の逆数を隣接行列とし，グの手法では，シーン中の微小領域ごとに推定したコ

ラフのノードと隣接行列から GCN でインタラクショ

ストからシーン全体のコストマップを作成し，Spatial

ンに関する特徴抽出を行った後に TCN で予測分布を

Matching Network で獲得した報酬と組み合わせること出力している．また，従来の LSTM による予測手法でで，衝突の危険が高い領域を回避した経路予測を可能

は経路を予測するためにモデルから出力される予測値としている．

を逐次入力値として繰り返す必要があったが，2.3 に

3. 4. 3 FPL

述べたように TCN は予測経路を並列に出力すること

Yagi ら [30] は，1 人称視点における対面の歩行者から，推論速度や計算コストを大幅に削減できる．

の将来の経路を予測する Future Person Localization in

3. 3. 5 その他のモデルに基づく手法のまとめ

First-Person Videos (FPL) を提案している．Yagi らは

その他のインタラクションを考慮したモデルに基づ

一人称における経路予測の重要な要素として，1) 将来

くアプローチでは，2D や 3D Convolution で時空間的のフレームでの対面の歩行者の位置に影響を与えるエにインタラクションを求める方法や歩行者をグラフとゴモーション，2) 対面の歩行者のスケール，3) 将来のして捉えて GCN でインタラクションを考慮する方法

位置を予測するための歩行者の姿勢や向きが必要だとなどが提案されている．これらは，プーリングやアテ主張している．そのため，これら三つの情報を用いた

ンションモデルに基づくアプローチと比べ発展途上にマルチストリームの Convolution-Deconvolution モデルあるため，移動対象間の関係性を捉える別のアプローを提案している．

チが今後提案されていくと考えられる．

3. 4. 4 OPPU

3. 4 インタラクション以外の課題を扱うアプローチ

Bhattacharyya ら [31] は，車載カメラ映像に映る人

プーリングやアテンションといったモデルでは主にの Bounding Box 情報 (BB) と自車のステアリングやLSTM を用いた手法が多く提案されている．一方で速度といった移動量を用いた予測モデルの On-board

CNN を用いた経路予測手法や上記で説明したモデル

Pedestrian Prediction under Uncertainty (OPPU) を提案に分類されない予測手法，実環境における建物や道路している．この手法では，上記の情報の他に車載カなどのシーンコンテクストを用いた予測手法といったメラ画像をともに用いている．ネットワーク構造は様々な予測手法が提案されている．本節ではそれらにOdometry Prediction Stream と Bayesian Bounding Box

ついて述べる．

Prediction Stream の二つから構成される．まず，Odom-

3. 4. 1 Behavior CNN

etry Prediction Stream より過去の移動量と車載カメラ

Yi ら [28] は過去の軌跡から CNN を用いて予測経画像から，未来の移動量を推定する．その際，Bayesian路を直接出力するような Behavior CNN を提案していBounding Box Prediction Stream より，過去の同時刻のる．Behavior CNN は，歩行者の過去の数フレームのBounding Box と移動量から，現在までの状態を保持

移動座標を各チャネルに格納したスパースな 3D デー

する summary を算出する．その後，summary と推定タを作成し，Behavior CNN への入力とする．その後，した移動量を用いて，未来の Bounding Box とそのば

Convolution 及び maxpool. を適用することで入力デー

らつきを予測する．車載カメラ画像は，CNN を用い

タをエンコードし，Deconvolution を適用しデコードて特徴量を抽出し，Bounding Box や移動量とともにすることで，予測経路を出力している．また，入り口

LSTM へ入力することで経路予測を実現している．

388

サーベイ論文／Deep Learning を用いた移動物体間のインタラクションを考慮した経路予測の研究動向

3. 4. 5 Fast and Furiousの四つで構成されている．Location-Scale Encoding で

Luo ら [32] は，俯瞰視点の 3D 点群データを用いては，他車の BB 情報の特徴を全結合層で抽出した後に自動車の 3D 検出，追跡及び経路予測を同時に推論す

GRU へ入力する．Motion-Appearance Encoding では，るモデルを提案している．この手法では，3D 点群デー

隣接フレーム間の物体の動きをベクトルで表すオプ

タから自動車を検出することに焦点を当てている．一

ティカルフロー画像から他車の BB 領域のみを取り出方で追跡や予測といったタスクには自動車の固定 ID

し，全結合層と GRU を介して他車のダイナミックスなが必要になるため，複数フレームの 3D 点群データを特徴を抽出する．Future Location-Scale Decoding では，使用することでロバストな自動車の検出，追跡及び予

先述した二つの特徴と後述する自車のエゴモーション測を行っている．また，一般的に点群データは本質的を GRU へ入力し，将来のスケールを予測する．Futureに 3D 空間でスパースな特徴表現であり，ネットワー

Ego-Motion Cue では，自車のエゴモーションに関する

クの計算コストを抑えることができるため，リアルタ

特徴を全結合層で抽出した後に，Future Location-Scale

イムでこれらのタスクを同時に計算することができる．

Decoding へ入力する．

3. 4. 6 OASE

3. 4. 9 DTP

既存の予測手法で歩行者や自動車などの異なる移動

Styles ら [36] は，隣接フレーム間の物体の動きをベ

物体の経路を予測する際，異なる対象ごとに予測モデル

クトルで表すオプティカルフローから歩行者の行動特を作成する必要がある．しかしながら，対象の種類が徴を予測する Dynamic Trajectory Predictor (DTP) を提増加するにつれ，扱うモデルの数が増加するため，計算案している．また，この論文では歩行者の位置情報をコストの面から現実的とは言えない．そのため，Object

人手でアノテーションするには人的コストがかかる

Attributes and Semantic Environment (OASE) [33] では

点から，既存の歩行者検出と歩行者追跡手法を利用し歩行者や自動車といった複数対象の種類を対象が保有て歩行者の位置情報を自動でアノテーションし，ラベする属性とみなし，対象の属性情報を one-hot vector

ルのないデータから事前学習を行っている．その後，としてコンパクトに表現した経路予測手法を提案してターゲットのデータセットへ fine-tuning することで，いる．同時に予測シーンに付与されたセマンティック

効率的に学習させている．

ラベルを CNN へ入力することで，予測対象周囲の環

3. 4. 10 TPNet

境に関する特徴を捉えている．これにより，例えば自DL を用いた従来手法は，経路を直接回帰することで動車なら車道を走る，歩行者なら歩道を歩くなど異な将来の経路パターンを学習し，複数経路を予測するこる対象に応じて移動する領域の違いを考慮した経路予とができる．このようなデータドリブンなアプローチ

測を実現している．

では，次の二つの問題点が挙げられる．1) 右左折など

3. 4. 7 Rules of the Road

して移動対象が将来辿る可能性が複数あると合理的なHong ら [34] は，俯瞰視点における自動車の将来の経路の予測が困難なこと．2) 環境情報の考慮する際セ経路を予測するために，車線や信号の状態など含む正マンティックマップがエンコードされるが，交通ルー

確かつ詳細なセマンティックマップをエンコードし，ルに従うための安全性の保証がなく周囲の静的環境を

複雑なシーンコンテクストを考慮する CNN と GRU

効率的に組み込むことが困難なこと．これらを解決すによる経路予測手法を提案している．この手法では，るために，Fang ら [37] は Trajectory Proposal Network

オートエンコーダモデルを適用し，エンコーダは時間，(TPNet) と呼ばれる 2 段階のアプローチを提案してい空間，チャネルの 4D テンソルを幾つかの潜在的内部

る．1 段階目は将来可能性のある経路を削減する目的表現にマッピングし，デコーダではその表現を使用しとして，CNN エンコーダ/デコーダでエンドポイントをて，将来の自動車の予測分布を出力する．

予測し，予測したエンドポイントと過去の経路からカー3. 4. 8 Future Vehicle Localization

ブフィッティングをして将来候補となる経路を生成す

Yu ら [35] は，車載カメラ視点における他車の将来のる．2 段階目は，1 段階目で候補に挙がった各経路にスケールの大きさをマルチストリームな GRU エンコー

対してクラス分類を行い，最良な予測経路を出力する．

ダ/デコーダで予測している．この手法では，Location-

3. 4. 11 Multiverse

Scale Encoding，Motion-Appearance Encoding，Future

この論文では，人が辿る未来の目的地や経路は複数

Location-Scale Decoding 及び，Future Ego-Motion Cue

存在していると仮定し，複数の尤もらしい将来の経路389

電子情報通信学会論文誌 2022/5 Vol. J105–D No. 5を予測する Multiverse を提案している [38]．また，現で空撮したデータセットである．SDD には八つの異実シーンでは単一の目的地や経路しか取得できないこ

なるシーンで撮影されている．また，pedestrian や carとから，CARLA シミュレータ上で現実シーンの情報などの異なる物体クラスが 6 種類含まれている．

をマッピングすることで複数の目的地や経路を取得

4. 1. 3 Argoverse

した The Forking Paths Dataset も提案している．デー

Argoverse [75] は一般道における自動運転用のデー

タセットの詳細は 4. で説明する．また，同著者らはタセットである．このデータセットはアメリカのマイThe Forking Paths Dataset，すなわちシミュレータ環境

アミとピッツバーグの 2 シーンで撮影されており，自で作成した歩行者の軌跡を学習し，それを現実世界

車両に取り付けた LiDAR カメラやステレオカメラでの歩行者の軌跡に転移させて将来の軌跡を予測する

他車両の動きを収集している．鳥瞰視点に変換した軌

SimAug [39] を提案している．

跡情報の以外に車線情報や地図データを含むリッチ

3. 4. 12 インタラクション以外の課題を扱う手法のまとめ
インタラクション以外の課題を扱うアプローチでは，

CNN を用いた予測手法が多く提案されている．特にマップが提供されている他，3D tracking タスク用に
車載カメラ視点における物体の位置情報が公開されている．

4. 1. 4 Lyft Level 5

シーンコンテクストやセマンティックラベルなど，環Lyft Level 5 [76] は交差点や一般道を中心に自動車

境情報を捉える手法が初期から提案されている．今後

や自転車，歩行者などの物体の動きが含まれているは，次章で述べる経路予測のデータセットのリッチなデータセットである．対象数は約 30 億と非常に大規

追加情報より，点群情報やインフラストラクチャなど

模なデータセットで，特に自動車は約 92% のデータを利用した手法が提案されると考えられる．

が含まれている．また，追加情報として道路情報にセ4. 経路予測で用いられるデータセット
経路予測手法を定量的に評価するために，表 2 及び

マンティックラベルがあり，交差点の右左折レーンなど交通状況の視覚化されたマップが提供されている．

4. 1. 5 inD

図 26 のような様々なデータセットが用いられている．

inD dataset [77] は，ドイツの交差点の自動車や歩行本章では，Hirakawa らのサーベイ以降のデータセット

者の動きをドローンで空撮したデータセットである．

の特性について説明する．ただし，ETH/UCY Dataset

このデータセットは四つの地点で撮影されており，歩[72], [73] 及び，Stanford Drone Dataset (SDD) [74] は行者や自動車などの複数対象の物体情報がある．

6. で用いるため，この章で詳細を述べる．
4. 1 鳥 瞰 視 点

4. 1. 6 The Forking Paths
ActEV/VIRAT [78] と ETH/UCY Dataset [72], [73]経路予測で最も用いられるのは，一般道や市街地をを拡張した The Forking Paths Dataset [38] がある．こ固定カメラやドローンなどを用いて鳥瞰視点で撮影，のデータセットは，CARLA シミュレータ上でデータまたは鳥瞰視点に変換したデータセットである．これを作成することで，現実シーンが人間の移動経路を一らのデータセットは広域にわたり様々な対象データやつしか観測できないのに対し，複数の移動経路や目

詳細なマップ情報を取得できるため，大規模なデータ的地の設定が可能になっている．また，データ作成のとなっている．

ツールも公開されているため，新しい環境を自身で作

4. 1. 1 ETH/UCY
ETH/UCY [72], [73] は，市街地や大学構内の歩行者ることができる．

4. 2 車載カメラ視点

を鳥瞰視点で撮影したデータセットである．このデータ

車載カメラ視点は自動車前方を撮影した映像中の歩セットは，現在も多くの手法が使用しており [21], [26]，

行者や自動車の経路を予測することを目的としている．

経路予測の代表的なデータセットとなっている（注 1）．

4. 1. 2 SDD
SDD [74] は，スタンフォード大学構内をドローン

4. 2. 1 PIE
PIE [79] は，一般道における歩行者の動きを撮影したデータセットである．このデータセットは歩行者情報の他に，カメラと同期した on-board diagnostics セン（注 1）：ただし，UCY は 2021 年 5 月現在，リンクが切れているため既存手法 [6] のリンクからダウンロードする必要があることに注意されたい．

390

サーを利用して GPS 座標や正確な速度などの車両情
報と，信号機や横断歩道などのインフラストラクチャ

サーベイ論文／Deep Learning を用いた移動物体間のインタラクションを考慮した経路予測の研究動向
表2
データセット名UCY [73]（注 2）
ETH [72]（注 3）

年代 対象数
2007
0.7K
2009
0.7K

SDD [74]（注 4）

2016

11K

データセットの比較

映像視点
鳥瞰
鳥瞰

シーン数
3
2

鳥瞰

8

Argoverse [75]（注 5）

2019

300K

鳥瞰

113

Lyft Level 5 [76]（注 6）

2019

3B

鳥瞰

170,000

inD [77]（注 7）

2019

13K

鳥瞰

4

The Forking Paths [38]（注 8）

2020

0.7K

鳥瞰，監視カメラ

7

PIE [79]（注 9）

2019

1.8K

車載

53

対象種類
pedestrianpedestrianpedestrian, car, biker
bus, skateboarder, cart
carpedestrian，car，cyclist
pedestrian，car，cyclist
pedestrianpedestrianpedestrian，car，cyclist
pedestrian，car，cyclist

Apolloscape [80]（注 10）

2019

81K

車載

100,000

TITAN [81]（注 11）

2020

645K

車載

700

nuScenes [82]（注 12）

2020

1.4M

車載

1,000

truck, bicycle,car, 20 of others

First-Person Locomotion [30]（注 13） 2018

5K

一人称

87

歩行者

図 26

追加情報
-

車線情報
地図データ
センサー情報
航空画像
セマンティックラベル-

セマンティックラベル
複数経路情報車両情報
インフラストラクチャ-

対象の行動ラベル
歩行者の年齢グループ
センサー情報
地図データ
点群情報
エゴモーション
姿勢情報
エゴモーション

経路予測のデータセット及び，予測結果例．文献 [30], [38], [72]〜[77], [79]〜[82] より引用及び改変（注 2）：https://github.com/agrimgupta92/sgan（注 3）：https://icu.ee.ethz.ch/research/datsets.html（注 4）：https://cvgl.stanford.edu/projects/uav_data（注 5）：https://www.argoverse.org/data.html（注 6）：https://self-driving.lyft.com/level5/prediction（注 7）：https://www.ind-dataset.com（注 8）：https://github.com/JunweiLiang/Multiverse（注 9）：https://github.com/aras62/PIEPredict（注 10）：http://apolloscape.auto/trajectory.html（注 11）：https://usa.honda-ri.com/titan（注 12）：https://www.nuscenes.org（注 13）：https://github.com/takumayagi/fpl

391

電子情報通信学会論文誌 2022/5 Vol. J105–D No. 5の関連要素を提供している．

となっている．このデータセットには，エゴモーショ

4. 2. 2 Apolloscapeン，姿勢及び軌跡データが提供されている．論文中でApolloscape [80] は中国の北京で様々な照明条件とは生の画像データの結果があるが，生の画像データは交通密度を撮影したデータセットであり，車載カメラ

未公開である．そのため，1 人称視点の画像ベースで映像と 3D 点群データ及び，手動でアノテーションさ

経路予測手法を行う際には，自身でデータセットの作れた軌跡情報で構成されている．このデータセットに成を行う必要がある．

は小型車，大型車，歩行者など異なる属性が提供されている．

5. 評 価 指 標
本章では，経路予測手法を定量的に評価するために

4. 2. 3 TITAN
TITAN [81] は東京で撮影されたデータセットである．このデータセットの特徴は軌跡情報の他に歩行者使用される評価指標を簡潔に説明する．

5. 1 Displacement Error

や自動車に関する行動ラベルが付与されている点であインタラクションを考慮した経路予測の評価指標は，る．例えば，歩行者なら “walking” や “closing”，自動Alahi ら [1] が提案した予測対象ごとに未来時刻間に車なら “parking” など各対象が保有する特徴の行動ラおける真値と予測値間のユークリッド距離誤差で評価ベルが付与されている．また，子供や高齢者のようなしている．この評価指標は未来時刻間の平均距離誤差

歩行者の属性情報や，二輪車及び四輪車といった自動の Average Displacement Error (ADE) と未来最終時刻

車の種類に関する情報も提供されている．

の距離誤差の Final Displacement Error (FDE) の二つで

4. 2. 4 nuScenes

評価している．ADE と FDE の概略図を図 27 (a)，算nuScenes [82] は交通量が多いボストンとシンガポー

出式を式 (20)，式 (21) に示す．ここで，予測対象のルを合計 1,000 の運転シーンを 360 度で撮影した大規

インデックスを i ，サンプル内の対象数を N ，時刻を模な自動運転用のデータセットである．nuScenes にt ，未来最終時刻を T ，真値を (x, y)，予測値を ( x̂, ŷ) では，約 140 万の RGB カメラ画像と 3D の BB が含ま示す．

れており，合計 23 種類の物体クラスがアノテーショ
ンされている．また，センサー情報や点群情報などの追加情報も豊富で，経路予測の他に点群データによる物体検出や物体追跡などのタスクに有用なデータが提供されている．

4. 3 一人称視点
一人称視点は，被験者にウェアラブルカメラを装着し，上記の車載カメラのように前方の対象の移動経路

1 ∑∑√ t( x̂i − xit )2 + ( ŷit − yit )2 (20)
NT
N

ADE =

T

i=1 t=1

F DE =1NN √∑( x̂iT − xiT )2 + ( ŷiT − yiT )2

(21)

i=1

5. 2 Minimum Displacement Error
複数経路を予測する評価指標は，Gupta ら [6] が提案している．これは，k 個の複数の経路の中から最良の予を予測することを目的としている．

First-Person Locomotion Dataset [30] は胸部に装着し測経路，すなわち真値と最も似た予測経路で評価するたカメラで，様々な環境で歩き回る歩行者を撮影した方法である．このとき，最良の経路と真値間の評価に

データセットである．撮影された歩行者は約 5,000 人は ADE と FDE が用いられ，これらは Minimum ADE

以上で非常に大規模な 1 人称視点によるデータセット(mADE) 及び，Minimum FDE (mFDE) と呼ばれてい

図 27

392

各評価指標の概略図．文献 [17], [85] より引用

サーベイ論文／Deep Learning を用いた移動物体間のインタラクションを考慮した経路予測の研究動向

る [38]．mADE と mFDE の概略図を図 27 (b)，算出式
を式 (22)，式 (23) に示す．ここで，真値を y = (x, y)，
予測値を ŷ = ( x̂, ŷ)，複数の経路のインデックスを k ，複数の経路数を K で示す．

∑∑
1
min
|| ŷik,t − yit || 2 (22)NT {k=1,...,K }N

mADE =

T

i=1 t=1∑
1
mF DE =min|| ŷik,T − yTi || 2
N {k=1,...,K }∑ ∑動的物体との衝突率 ={ci j =ijc

ij

N (N − 1)

1

jif ||xit − xt ||2 < θ d , ∀t ∈ T0otherwise(24)

式 (24) の i はサンプル内にいる予測対象のインデック
ス，c は衝突回数，t は時刻を表している．式 (24) より，予測対象 ∃i ∈ N+, 2 ≤ i と他対象 j , i の各未来時

N

(23)

i=1

刻 t の予測値 xt = (xt , yt ) が 1 時刻でも距離値 θ d 以内にいる場合に衝突したとみなす．この処理を全サンプ

5. 3 Negative log-likelihood

ルで繰り返し行うことで，動的物体との衝突率を算出

複数経路を予測する場合には，複数の経路を生成しする．

続けるため将来の予測分布とみなすことができる．一複数の経路を予測する際の動的物体との衝突率は，方で，ADE と FDE は単一の予測経路を比較するため

mADE の予測経路を用いて式 (25) として表される．

に有用な指標であるが，複数経路の予測で行う場合に式 (25) の k と l は最良の予測経路のインデックスを

は，Minimum Displacement Error で述べたように真値

示す．

∑ ∑

と最も似た予測経路のみで評価を行うため，複数の経路を予測する利点を無視してしまう問題がある [83]．

動的物体との衝突率 ( 複数経路 ) ={そのため，[17], [84] では図 27 (c) に示す Negative log-

likelihood (NLL) を用いることで予測分布に対して公ci j =

平に評価している．

iij

N (N − 1)

1j,lif ||xi,kt − xt ||2 < θ d , ∀t ∈ T0otherwise(25)

5. 4 Mean Square Error
将来の BB を予測する手法では，Mean Square Errorjc

5. 5. 2 静的物体との衝突率に関する評価指標(MSE) で予測された BB と真の BB の中心座標で精度

静的物体との衝突率では，建物などの障害物と衝突比較を行う [31]．MSE の概略図を図 27 (d) に示す．ま

したか否かを評価する．静的物体との衝突率に関する

た，将来の BB を予測する方法では予測された BB と評価を行うことで，予測経路の正誤の判別が可能にな

真の BB の重なり率から適合率と再現率を容易に求める．静的物体との衝突率は式 (26) となる．

ることができるため，モデルの予測精度を評価する F
値で評価することもある．

静的物体との衝突率 ={5. 5 衝 突 率
Displacement Error では全てのデータに対して平均ic =を求めている．これらの評価指標では予測値が真値に

∑ i
ic
N

1

if xit ∈ o, ∀t ∈ T0otherwise(26)

どれだけ近似できているかを示すことはできるが，衝式 (26) より，未来時刻間の予測対象 i の予測値 x が突回避に関するインタラクション情報がどの予測経路

1 時刻でも障害物領域 o にいる場合に衝突したとみなに効果的なのか正確に評価できない．そのため，箕浦

す．この処理を全サンプルで繰り返し行うことで，静ら [85] は動的物体と静的物体の二つの衝突率に関する的物体との衝突率を算出する．

評価指標を提案しており，本節ではこれらについて説明する．

5. 5. 1 動的物体との衝突率に関する評価指標

複数の経路を予測する際の静的物体との衝突率は，mADE の予測経路を用いて式 (27) として表される．
式 (27) の k は最良の予測経路のインデックスを示す．

動的物体との衝突率は，映像内の他対象と衝突したか否かを評価する．動的物体との衝突率を分析するこ

静的物体との衝突率 ( 複数 ) ={とで，インタラクションの処理が効果的なのかを定量的に確認できる．動的物体との衝突率は式 (24) で求
める．

i

c =

1

if xi,kt ∈ o, ∀t ∈ T0otherwise

∑ i
ic
N
(27)

393

電子情報通信学会論文誌 2022/5 Vol. J105–D No. 5

6. 予測モデルを用いた評価実験
本章では，これまで説明してきた代表的な予測モデ
ルについて，経路予測で主に使われるデータセットを用いて各モデルの精度及び予測結果の傾向について議論を行う．本章では，6.1 で経路予測の評価の問題点を述べる．6.2 で精度比較を行うモデルの詳細とハイ

表 3 精度比較を行うモデル
モデル名
インタラクション 環境
LSTM
RED [86]
Social LSTM（注 16）✓
Social GAN（注 17）✓
STGAT（注 18）✓
Trajectron（注 19）✓
Env LSTM✓✓

データセットETH/UCY, SDD
ETH/UCY, SDD
ETH/UCY, SDD
ETH/UCY, SDD
ETH/UCY, SDD
ETH/UCY, SDD
SDD

パーパラメータの設定を述べる．6.3 で学習及び評価で使用するデータセットや評価方法について述べる．

次元数を 64，LSTM の次元数を 64，入力層と出力層の6.4 及び 6.5 で各データセットによる各予測モデルの次元数を 2 で設定する．エポック数を 300，バッチサ

比較結果を述べる．6.6 で各予測モデルの計算時間とイズを 64，最適化手法を Adam [87]，学習率を 0.001

パラメータの比較を行う．6.7 でプーリングモデルとで設定する．損失関数は予測値と真値間の L2 loss をアテンションモデルの違いについて考察を述べる．

使用する．

6. 1 経路予測の評価の問題点
一般的に経路予測モデルの評価には，Displacement

RED は，Recurrent Encoder-Decoder [86] で構成•されている．エンコーダとデコーダはどちらも LSTM

Error と Minimum Displacement Error が用いられていを使用する．各 LSTM に入れる前の埋め込み層の次元る．しかしながら，これらの評価指標を用いてモデル

数を 64，各 LSTM の次元数を 64，入力層と出力層のを評価すると，元の論文値と異なる結果になることが次元数を 2 で設定する．エポック数を 300，バッチサある．[17] でも述べられているように，[6] と [1] で同イズを 64，最適化手法を Adam，学習率を 0.001 で設じ著者が出した結果が異なるため，経路予測分野で定する．損失関数は予測値と真値間の L2 loss を使用

どのモデルが最先端で矛盾のない公平な評価になっする．

ているかを判断することが困難である．また，[6]（注 14）•

Social LSTM は，周囲の他対象との衝突を避の公開コードの issue で指摘されているよける S-Pooling を導入した予測モデルである．Social

うに，他手法と比較するための評価コードが異なって

LSTM のベースモデルは LSTM であるため，推論時はおりコードを揃えると，結果が他手法の数値未満であ

過去最終時刻まで入出力を行い，予測開始時刻以降は（注 15）

や [27]

ることが確認されている．そのため，本章では公平な出力層で得た軌跡情報を入力層に逐次入れる．LSTM

比較及び，DL ベースの経路予測手法において，インに入れる前の埋め込み層の次元数を 64，LSTM の次

タラクションのモデル化の効果の検証のために，幾つ

元数を 128，プーリング処理内の全結合層の次元数をかの最先端の手法の公開コードを用いて，それぞれの

128，入力層と出力層を 2 で設定する．ETH/UCY とモデルサイズやハイパーパラメータを論文と同じ条件

SDD のどちらも，S-Pooling 内のパラメータの予測対にした元で学習と評価を行う．

象を中心とした周囲の範囲を 32，グリッドサイズを 8

6. 2 精度比較を行うモデルで設定する．エポック数を 200，バッチサイズを 64，使用するモデルを表 3 に示す．DL ベースの経路予最適化手法を RMSprop [88]，学習率を 0.003 で設定す測手法は，用いる映像視点や CNN や LSTM などのネットワークのベースになるアーキテクチャにより様々な条件が異なるため，全ての手法を一様に評価する．損失関数は負の対数尤度 [89] を使用する．

•

Social GAN は，GAN を用いて実際の経路と予測経路を敵対的に学習させる予測モデルである．まることが困難である．本実験では，最も広く用いられた，S-Pooling を改良した PM により周囲の他対象とている LSTM に基づく経路予測の中で代表的な手法をの衝突回避を期待できる．更に，正規分布を基にした用いる．各モデルの詳細とハイパーパラメータの設定

ノイズベクトルを予測モデルに加えることで複数の経は以下である．

•

LSTM は入力層-LSTM-出力層の 3 層のモデルで構成される．推論時は，過去最終時刻まで入出力を行い，予測開始時刻以降は出力層で得た軌跡情報を入力層に逐次入れる．LSTM に入れる前の埋め込み層の394（注 14）：https://github.com/agrimgupta92/sgan/issues/8（注 15）：https://github.com/abduallahmohamed/Social-STGCNN/issues/47（注 16）：https://github.com/quancore/social-lstm（注 17）：https://github.com/agrimgupta92/sgan（注 18）：https://github.com/huang-xx/STGAT（注 19）：https://github.com/StanfordASL/Trajectron

サーベイ論文／Deep Learning を用いた移動物体間のインタラクションを考慮した経路予測の研究動向

路を予測する．Social GAN のベースモデルは RED で入れる．1 層目の CNN のチャネルサイズを 32，カーある．生成器と識別器の各 LSTM に入れる前の埋め込

ネルサイズを 5，ストライドを 2 で設定する．2 層目

み層の次元数を 16，生成器の各 LSTM の次元数を 32，の CNN のチャネルサイズを 32，カーネルサイズを 5，

識別器の LSTM の次元数を 64，プーリング処理内のゼロパディングを 0，ストライドを 1 で設定する．各全結合層の次元数を [48 × 512 × 32]，入力層と出力層

CNN から出た特徴マップは batch normalization と活の次元数を 2 で設定する．ノイズベクトルの次元数を性化関数 ReLU を伝った後に 2 × 2 の maxpool. を行

8 で設定する．エポック数を 200，バッチサイズを 64，

う．最後に，1 次元の特徴ベクトルに変換する．LSTM

最適化手法を Adam，学習率を 0.001 で設定する．損には CNN から出た特徴ベクトルと座標値を連結して失関数は予測値と真値との Adversarial loss 及び，k 個入力する．このとき，LSTM の次元数を 128 で設定すのサンプリングした予測値から真値に最も似た予測値

る．また，出力層の次元数を 2 で設定する．エポック

のみを選択し，その予測値と真値間の L2 loss を用い数を 300，バッチサイズを 64，最適化手法を Adam，る．ここで， k は 20 で設定する．

学習率を 0.001 で設定する．損失関数は予測値と真値•

STGAT は，GAT で得た空間情報を時間方向に伝播することで，時空間特徴をエンコードする予測モデ

間の L2 loss を使用する．

6. 3 学習及び評価の設定ルである．STGAT のベースは RED である．各 LSTM

データセットは経路予測で最も使用される ETH/UCYに入れる前の埋め込み層の次元数を 16，エンコーダのデータセット及び，Stanford Drone Dataset (SDD) [74]

LSTM の次元数を 32，デコーダの LSTM の次元数をを用いる．ETH/UCY は ETH, HOTEL などを含む五64，アテンション処理の次元数を [16 × 32]，入力層とつのシーンがある．学習及び評価には，leave-one-out

出力層の次元数を 2 で設定する．ノイズベクトルの次アプローチを用いる．ETH/UCY で観測された歩行者

元数を 8 で設定する．エポック数を 400，バッチサイの軌跡の可視化を図 28 に示す．図 28 の青色は歩行者

ズを 64，最適化手法を Adam，学習率を 0.001 で設定の移動軌跡を示す．図 28 のように，ETH 以外のシーする．損失関数は k 個のサンプリングした予測値からンは左右に行動する予測対象の割合が多く，ETH は上真値に最も似た予測値のみを選択し，その予測値と真下に行動する予測対象の割合が多い．そのため，ETH

値間の L2 loss を用いる．ここで，k は 20 で設定する．

の x, y 座標を変換した C-ETH を評価に用いる．実験

Trajectron は，シーン内の複数対象を動的なグで使用した ETH/UCY の歩行者のデータ数及び，密度ラフ構造で効率的にモデル化する．Trajectron のベーを表 4 に示す．SDD では bookstore，coupa などを含スは RED である．各 LSTM に入れる前の埋め込み層

む八つのシーンがある．学習や評価，軌跡情報などのの次元数を 8，エンコーダの LSTM の次元数を 32，デ

設定は ETH/UCY と同条件で行う．また，SDD は歩行

コーダの LSTM の次元数を 128，アテンション処理の者以外にも自動車などの複数対象のデータがあるが，次元数を 8，入力層と出力層の次元数を 2 で設定する．

本実験では歩行者のみを対象とする．実験で使用した•ノイズベクトルの次元数を 10 で設定する．Gaussian

SDD の歩行者のデータ数及び，密度を表 5 に示す．

Mixture Model のコンポーネント数を 16 で設定する．

過去約 3.2 秒，未来約 4.8 秒の軌跡情報を各モデルのETH/UCY では，予測対象を中心とした周囲 1.5m 以入出力として用いる．評価指標は Displacement Error，

内の他対象とのグラフを構築する．SDD では，1.5m

Minimum Displacement Error 及び，各衝突率を用いる．

を 40 ピクセルで設定する．反復数を 20,000，バッチ
サイズを 256，最適化手法を Adam，学習率を 0.001 で設定する．損失関数はゆう度最大化損失を用いる．

•

Env LSTM は，予測対象周辺の環境情報を考慮することで，周辺の障害物との衝突回避した経路予測を行うモデルである．Env LSTM のベースは LSTM であるため，推論時は過去最終時刻まで入出力を行い，予測開始時刻以降は出力層で得た軌跡情報を入力層に逐次入れる．予測対象を中心とした周囲 100 × 100 ピク
セルのセマンティックなラベル情報を 2 層の CNN へ

図 28 ETH/UCY で観測された歩行者の軌跡の可視化395電子情報通信学会論文誌 2022/5 Vol. J105–D No. 5

Minimum Displacement Error はサンプリング数を 20

めずに学習と評価を行う．これにより，単一経路の予とする．動的物体との衝突率のしきい値は ETH/UCY

測手法と同様の条件で各評価指標を公平に比較できる．

で 0.1m，SDD で 10 ピクセルとする．静的物体との衝

6. 4 ETH/UCY における精度比較

突率では，各データセットに付与したシーンラベルを

ETH/UCY における予測誤差を表 6 に示す．表 6

用いて予測値が障害物領域の範囲内にいた場合，接触の Single Model は Displacement Error，20 Outputs はしたとみなす．シーンラベルは sidewalk，pavement，

Minimum Displacement Error の結果を示す．また，各grass，bicycle storage，tree，building，roundabout の 7

シーンのスラッシュの左を ADE，右を FDE による評

種類で，そのうち tree，building，roundabout の 3 種類

価結果を示す．表 6 より，ETH/UCY において Single

を障害物領域とする．しかし，Displacement Error 及びModel では，各シーンを平均した ADE で RED と Tra-

各衝突率による評価は単一経路の予測手法と複数経路

jectron，FDE で RED と STGAT が最も予測誤差を低の予測手法で実験条件が異なるため，公平な比較がで減していることがわかる．HOTEL シーンは，歩行者

きない．そのため，複数経路を予測するモデル (Socialの密度が低く線形的な動きになりやすいため，イン

GAN, STGAT, Trajectron) はノイズベクトルなどを含

タラクションを考慮しない LSTM や RED だけで十分な予測精度を得ることができる．一方で，UCY などの歩行者密度が高いとインタラクションを考慮した

表 4 ETH/UCY のサンプル数及び，密度の内訳．密度は1m × 1m の四角形の中点をある歩行者の x, y 座標とし，四角形内に他の歩行者が位置する場合の最大の
密度を記載
シーン名
ETH
HOTEL
UCY
ZARA01
ZARA02

歩行者数
358
389
434
148
204

Trajectron が最も予測誤差を低減していることから，インタラクションを考慮した経路予測は歩行者密度が高いシーンで有効であると言える．また，Social LSTM

密度 [人数/m2 ]の予測誤差が大きいのは，[6], [15] でも述べられている

8
5
8
4
5

ように [89] の負の対数ゆう度関数を最小化するように学習すると，サンプリングプロセスが微分不可能になるため誤差逆伝播が困難になり，より良いパラメータを学習できなかったためだと考えられる．20 Outputs

表 5 SDD の サ ン プ ル 数 及 び ，密 度 の 内 訳 ．密 度 は
50pixel×50pixel の四角形の中点をある歩行者の x, y
座標とし，四角形内に他の歩行者が位置する場合の最大の密度を記載
シーン名bookstore
coupa
deathCircle
gates
hyang
littlenexus
quad

では，各シーンを平均した ADE で STGAT，FDE で

STGAT と Trajectron が最も予測誤差を低減している
ことがわかる．Social GAN の精度が低い要因は，PM

歩行者数 密度 [人数/pixel2 ]
357
8
147
8
346
8
379
8
819
8
93
8
716
8
20
8

が過去最終時刻におけるインタラクションのみを考慮しており，他対象が “近づく” あるいは “遠ざかる” な
どの時間的ダイナミックスを考慮できていないためと考えられる．一方で，STGAT や Trajectron は過去時刻
全てのインタラクションを時間方向にも捉えるため，精度が向上したと考えられる．

表 6 ETH/UCY における予測誤差．単位はメートル

20 Outputs

Single Model

Scene

396

Method

C-ETH

ETH

HOTEL

UCY

ZARA01

ZARA02AVG

LSTM

0.57 / 1.20

0.71 / 1.36

0.21 / 0.38

0.63 / 1.37

0.59 / 1.26

0.42 / 0.84

0.52 / 1.08

RED

0.56 / 1.24

0.67 / 1.36

0.21 / 0.40

0.61 / 1.34

0.52 / 1.19

0.42 / 0.89

0.50 / 1.07

Social LSTM

0.93 / 1.62

1.19 / 2.27

0.49 / 0.97

0.98 / 1.94

1.02 / 1.82

0.71 / 1.38

0.89 / 1.67

Social GAN

0.62 / 1.35

0.73 / 1.59

0.48 / 1.07

0.78 / 1.62

0.62 / 1.36

0.50 / 1.10

0.62 / 1.35

STGAT

0.60 / 1.29

0.61 / 1.24

0.23 / 0.45

0.65 / 1.40

0.52 / 1.11

0.42 / 0.90

0.51 / 1.07

Trajectron

0.58 / 1.27

0.79 / 1.80

0.25 / 0.46

0.58 / 1.28

0.40 / 0.89

0.38 / 0.76

0.50 / 1.08

Social GAN

0.49 / 1.05

0.53 / 1.03

0.35 / 0.77

0.79 / 1.63

0.47 / 1.01

0.44 / 0.94

0.51 / 1.07

STGAT

0.44 / 0.77

0.48 / 0.94

0.16 / 0.29

0.57 / 1.23

0.35 / 0.74

0.31 / 0.67

0.39 / 0.77

Trajectron

0.52 / 1.14

0.68 / 1.34

0.19 / 0.40

0.55 / 1.24

0.35 / 0.82

0.27 / 0.65

0.43 / 0.77

サーベイ論文／Deep Learning を用いた移動物体間のインタラクションを考慮した経路予測の研究動向
表 7 ETH/UCY における動的物体との衝突率．単位は %20 Outputs

Single Model

Scene
Method

C-ETH

ETH

HOTEL

UCY

ZARA01

ZARA02

AVG

LSTM

0.81

0.81

0.44

0.25

0.24

0.28

0.47

RED

0.81

2.41

0.75

0.21

0.15

0.29

0.77

Social LSTM

1.61

4.03

1.34

0.38

0.76

0.69

1.47

Social GAN

0.81

0.81

0.22

0.38

0.34

0.44

0.50

STGAT

0.0

0.81

0.44

0.20

0.19

0.26

0.32

Trajectron

0.81

0.81

0.60

0.20

0.24

0.20

0.48

Social GAN

1.61

0.0

0.60

0.23

0.17

0.26

0.48

STGAT

0.0

0.81

0.44

0.25

0.27

0.24

0.34

Trajectron

1.61

0.0

0.60

0.18

0.15

0.26

0.47

表 8 ETH/UCY における静的物体との衝突率．単位は %20 Outputs

Single Model

Scene
Method

C-ETH

ETH

HOTEL

UCY

ZARA01

ZARA02

AVG

LSTM

1.02

1.97

3.71

3.95

2.88

0.57

2.35

RED

0.17

2.99

2.88

0.46

1.22

0.26

1.33

Social LSTM

1.26

1.63

2.88

2.60

3.19

2.53

2.34

Social GAN

2.04

0.92

0.19

0.32

0.11

0.61

0.70

STGAT

0.46

0.46

0.05

0.13

0.03

0.10

0.21

Trajectron

1.14

2.99

0.11

0.11

0.17

0.46

0.83

Social GAN

1.26

0.92

0.38

0.82

0.30

0.52

0.61

STGAT

0.46

0.92

0.05

0.11

0.03

0.10

0.28

Trajectron

1.14

2.68

0.19

0.11

0.17

0.32

0.77

次に，動的物体との衝突率を表 7，静的物体との衝

中央の並列する歩行者は RED だと衝突の可能性があ

突率を表 8 に示す．表 7 及び表 8 より，どちらの衝突る経路を予測するが，Social GAN などはインタラク

率もほとんどのモデルが約 2% を下回る結果となってションが考慮されているため真値と似た経路を予測いることがわかる．動的物体との衝突率の結果より，している．図 29 (b) は，2 人の歩行者が並行して動く

STGAT が最も衝突率が低いことがわかる．表 6 では

シーン例である．図 29 (b) より，ほとんどの予測手法

RED が最良ではあったが，表 7 では STGAT が最良が真値と似た経路を辿っている．ETH Dataset には，なことから，STGAT は歩行者間の複雑なインタラク

このような線形に動く歩行者のデータが多く含まれるションを捉えるあまり予測誤差が大きくなったと考えため表 6 の LSTM や RED の予測誤差が低下したと考られる．また静的物体との衝突率では，ほとんどのモえられる．図 29 (c) は，対向者との衝突回避のシーン

デルが衝突しないことがわかる．これは ETH/UCY が例である．図 29 (c) より，インタラクションを考慮し複雑な地形をしておらず，障害物が歩行者の前方に存ない予測手法は線形的に予測していることがわかる．

在する状況がないため，衝突率が全体的に減少したと

STGAT や Trajectron などは対向者との衝突を避けるよ考えられる．

うな経路を予測していることがわかる．特に，STGAT

最後に，予測結果例を図 29 に示す．図 29 の緑色のは対向者との衝突を避けるために真値と異なる経路を

実線を過去経路，緑色の波線を真値，赤色の実線を予予測してしまっている．この結果と表 6 及び，表 7 よ測経路として表す．複数経路を予測する手法は，表 6

り，インタラクションを考慮した予測手法は歩行者同の Single Model の予測結果であることに注意された士が互いとの衝突を回避するために，真値に沿わない

い．図 29 (a) は，群衆のシーン例である．図 29 (a) よ経路を予測し予測精度が落ちる一方，動的物体との衝り，Social GAN や STGAT などインタラクションを考突率を減少できることがわかる．

慮する予測手法は真値と似た経路を予測する．特に，
397

電子情報通信学会論文誌 2022/5 Vol. J105–D No. 5

図 29 ETH/UCY における各予測モデルの予測結果例
表 9 SDD における予測誤差．単位はピクセル

20 Outputs

Single Model

Scene
Methodbookstore

coupa

deathCircle

gates

hyang

little

nexus

quad

AVG

LSTM

9.64 / 20.9

10.4 / 22.3

9.24 / 19.6

7.80 / 16.7

10.3 / 21.8

12.3 / 25.8

8.97 / 19.2

8.52 / 18.7

9.65 / 20.6

RED

6.66 / 13.5

7.96 / 16.2

7.42 / 14.8

5.80 / 11.7

9.13 / 17.4

10.9 / 22.9

7.65 / 14.9

5.57 / 9.74

7.64 / 15.1

Social LSTM

22.8 / 47.2

24.1 / 49.3

29.5 / 61.6

24.5 / 49.3

35.4 / 75.9

24.3 / 50.5

22.9 / 45.7

24.1 / 46.6

26.0 / 53.3

Env LSTM

14.3 / 31.5

20.6 / 43.5

16.7 / 34.4

16.2 / 34.4

12.6 / 27.3

12.7 / 26.6

10.9 / 23.8

9.36 / 21.2

14.2 / 30.3

Social GAN

18.4 / 37.2

19.1 / 38.4

18.1 / 36.5

18.1 / 36.5

19.4 / 39.1

20.8 / 42.5

18.6 / 37.4

21.1 / 41.4

19.2 / 38.6

STGAT

7.58 / 14.6

9.00 / 17.4

7.57 / 14.4

6.33 / 11.7

9.17 / 17.9

10.9 / 22.8

7.37 / 14.0

4.83 / 7.95

7.84 / 15.1

Trajectron

8.79 / 19.2

7.24 / 15.5

14.3 / 33.0

6.29 / 13.0

9.55 / 21.6

12.4 / 29.0

6.02 / 12.8

6.80 / 15.1

8.92 / 19.9

Social GAN

5.03 / 8.96

5.39 / 9.57

5.20 / 9.13

4.66 / 8.25

5.74 / 10.2

6.51 / 11.9

5.23 / 9.11

4.08 / 7.15

5.23 / 9.28

STGAT

4.09 / 7.57

4.83 / 9.05

4.59 / 8.43

2.86 / 4.69

5.37 / 10.2

6.25 / 12.1

4.20 / 7.58

2.34 / 3.62

4.32 / 7.91

Trajectron

4.51 / 7.99

5.69 / 9.72

5.12 / 8.87

4.43 / 8.06

5.72 / 10.3

6.38 / 10.8

5.55 / 9.43

2.26 / 4.61

4.96 / 8.72

6. 5 SDD における精度比較

STGAT は歩行者間の複雑なインタラクションを捉えてSDD における予測誤差を表 9 に示す．表 9 より，いると言える．静的物体との衝突率の結果より，Single

Single Model では各シーンを平均した ADE で RED，Model で Env LSTM，20 Outputs で STGAT が衝突率FDE で RED と STGAT の予測誤差が低いことがわかが最も低いことがわかる．Env LSTM の衝突率が低い

る．また，20 Outputs では STGAT の予測誤差が最も低ことから，環境情報を導入することで周囲の障害物といことがわかる．SDD で RED の予測誤差が低くなっの衝突を避ける経路の予測に成功していると言える．

た要因はドローンで撮影した位置に関係があると考え最後に，予測結果例を図 30 に示す．複数経路を予られる．SDD は ETH/UCY に比べ，高所で撮影され測する手法は，表 9 の Single Model の予測結果であている．そのため，歩行者の動きが直線的になり過去ることに注意されたい．図 30 (a) は，線形の経路を辿の動きからインタラクションを考慮せず，線形的に予る歩行者のシーン例である．図 30 (a) より，ほとんど測する RED の予測誤差を低減したと考えられる．

の予測手法は真値に似た経路を予測していることがわ

次に，動的物体との衝突率を表 10，静的物体とのかる．特に，STGAT は歩行者同士が互いとの衝突を

衝突率を表 11 に示す．動的物体との衝突率の結果よ回避した経路を予測している．図 30 (b) は，前方に街り，STGAT が Single model と 20 Outputs の両方で衝灯がある場合のシーン例を示す．図 30 (b) より，環境突率が最も低いことがわかる．ETH/UCY と同様に，情報を考慮した Env LSTM は前方の街灯との衝突を避

398

サーベイ論文／Deep Learning を用いた移動物体間のインタラクションを考慮した経路予測の研究動向
表 10 SDD における動的物体との衝突率．単位は %20 Outputs

Single Model

Scene
Methodbookstore

coupa

deathCircle

gates

hyang

little

nexus

quad

AVG

LSTM

3.62

5.95

39.76

4.48

10.28

3.48

23.21

0.0

11.35

RED

3.62

6.90

41.02

3.96

10.35

2.43

23.96

0.0

11.53

Social LSTM

9.57

14.67

50.75

6.00

16.06

7.20

28.26

0.0

16.56

Env LSTM

4.22

5.69

44.22

5.04

10.82

3.76

25.10

0.0

12.36

Social GAN

3.86

6.12

40.50

4.09

10.96

4.11

24.09

0.0

11.72

STGAT

3.62

5.22

39.76

3.66

10.28

3.66

20.09

0.0

10.79

Trajectron

4.85

9.65

48.87

4.70

12.06

3.32

26.38

0.0

13.73

Social GAN

3.62

5.66

38.26

3.96

10.88

3.96

22.98

0.0

11.17

STGAT

2.85

4.98

36.77

4.57

9.28

3.32

20.09

0.0

10.23

Trajectron

3.62

7.32

44.22

4.70

10.01

3.32

22.98

0.0

12.02

表 11 SDD における静的物体との衝突率．単位は %20 Outputs

Single Model

Scene
Methodbookstore

coupa

deathCircle

gates

hyang

little

nexus

quad

AVG

LSTM

1.90

2.12

5.19

1.83

4.12

3.58

6.78

0.0

3.19

RED

2.44

1.30

5.29

2.27

6.43

2.56

5.67

5.88

3.96

Social LSTM

6.44

5.22

6.70

6.70

4.66

5.06

3.23

2.94

5.12

Env LSTM

2.19

1.79

4.27

1.73

0.90

3.13

1.17

0.0

1.90

Social GAN

3.74

9.44

6.70

8.17

2.06

3.94

3.94

8.59

5.82

STGAT

2.36

1.22

5.30

2.21

7.49

4.58

7.46

0.0

3.83

Trajectron

1.93

2.77

4.63

2.21

5.57

3.35

5.87

2.94

3.66

Social GAN

3.74

6.55

5.30

7.66

2.06

3.94

3.13

2.94

4.42

STGAT

2.36

1.22

4.63

1.98

6.43

3.94

6.78

0.0

3.42

Trajectron

1.93

2.12

4.63

4.28

5.57

3.13

5.87

2.94

3.81

図 30 SDD における各予測モデルの予測結果例

ける経路を予測していることがわかる．図 30 (c) は，論したように，負の対数ゆう度関数を最小化するよう混雑した十字路のシーン例である．図 30 (c) より，ほに学習すると，サンプリングプロセスが微分不可能に

とんどの予測手法が真値と似た経路を予測している一なるため誤差逆伝播が困難になり，良いパラメータを方，Social LSTM は真値と離れている経路を予測して学習できなかったため予測に失敗したと考えられる．

いる．Social LSTM は図 30 の全シーンで真値と離れ6. 6 各モデルの計算時間とパラメータの比較た経路を予測している．これは ETH/UCY の結果で議最後に，モデルの計算時間とパラメータ数を表 12399電子情報通信学会論文誌 2022/5 Vol. J105–D No. 5
表 12

各モデルの計算時間及びパラメータ比較．計算時間
はシーンに歩行者が 10 人・50 人・100 人・1,000 人いた場合の結果である．実験環境は GPU が Quadro
RTX 8000，CPU が Intel Xeon Gold 6226，動作クロッ
ク 2.7GHz，コア数 12，スレッド数 24，RAM メモ
リ 196GB．

モデル名

計算時間 [sec.]
10 人 50 人 100 人 1,000 人
LSTM
0.067 0.071 0.072
0.076
RED
0.079 0.081 0.085
0.087
Env LSTM
0.250 1.737 2.486
6.864
Social LSTM 0.641 4.308 6.701
24.688Social GAN
0.232 0.479 0.505
0.876
STGAT
0.179 0.239 0.556
0.987
Trajectron
0.115 0.282 0.458
0.897

パラメータ数
8,610
17,154456,930
264,069
60,234
44,630138,164

6. 7 プーリングモデルとアテンションモデルの違いに対する考察
動的物体及び静的物体それぞれとのインタラクショ
ンを表現したモデル化をすることで，予測精度の向上
やそれぞれの物体との衝突率を減少できることが実験より示された．特に，動的物体とのインタラクショ
ンを表現した予測モデルでは，アテンションモデルの方がプーリングモデルより精度が高い．また，アテン
ションモデル同士では STGAT の方が Trajectron より
予測精度の低下及び動的物体との衝突率が低い．これ
らは以下の理由だと考えられる．

•

プーリングモデル：Social LSTM は予測対象をに示す．表 12 のパラメータ数より，動的物体との衝中心に，あらかじめ定めたグリッドサイズに従いグ

突回避に関するインタラクションを考慮するモデル

リッド内の他対象に関する特徴を埋め込むことでイン及び静的環境特徴を抽出する Env LSTM のパラメー

タラクションを表現している．一方で，範囲外の他対

タ数が各インタラクションを考慮しない LSTM，RED

象の特徴は埋め込まれないため，インタラクションをと比べ必然的に多くなっている．動的物体との衝突回十分に表現できず予測精度が低下したと考えられる．

避に関するインタラクションを考慮するモデルでは，Social GAN はグリッドサイズの制限がないため，シーSocial LSTM が最もパラメータ数が多いことがわかる．

ン内の全他対象とのインタラクションを式 (12) で表現

これは，LSTM 及び出力の次元数が他の手法と比べしている．一方で，他対象の特徴から maxpool. で最て多いのが原因と考えられる．LSTM の次元数が 128大の特徴のみを選択するため，衝突回避に重要な他対と多い，Env LSTM，Social LSTM，Trajectron のパラ

象の情報が欠落する．結果，動的物体との衝突率が高メータ数が多いこともわかる．これは，2.2 で述べたくなり，予測精度も低下したと考えられる．

LSTM の内部には重みパラメータが複数あり，これが•アテンションモデル：アテンションモデルは，原因で各モデルのパラメータが多くなっていると考え重みの大小で予測対象と他対象間の関係を表現し，こられる．そのため，経路予測のパラメータ数は LSTMの重みをそれぞれの対象の特徴量と乗算を行うことで，の次元数に大きく依存すると考えられる．プーリング

全ての対象とのインタラクションを表現している．そモデルの Social GAN とアテンションモデルの STGATのため，プーリングモデルより精度が高くなったと考では，Social GAN の方がパラメータ数が多い．これえられる．また，アテンションモデル同士で比較するは，Social GAN のプーリング処理の全結合層の次元と，Trajectron が STGAT と比較してわずかに精度が低数が多いためと考えられる．次に計算時間では，インいことがわかる．これは，Trajectron が過去時刻に予タラクションを考慮するモデルは人数が増加するごと

測対象を中心とした周囲 1.5m または 40pixel 以内の他に計算時間が増加している．Social LSTM 及び，Env

対象とのグラフを構築するため，STGAT と比べ予測

LSTM の時間が他と比べて多いのは，過去と未来の両精度の低下と動的物体との衝突率が高くなったと考え時刻で予測対象を中心としてグリッドの作成や，セマられる．

ンティックラベルを逐次読み込む必要があるためだと考えられる．また，未来時刻に予測対象周囲を見てい7. む す び

ない Social GAN，STGAT，Trajectron は人数が増加し本論文では，Deep Learning をベースとした移動対ても計算時間にわずかな差しかないことがわかる．こ象間のインタラクションを考慮した経路予測手法，評の理由は，過去時刻でそれぞれのインタラクションを価に用いられるデータセット，評価指標について述べ表現しており，Social LSTM のように未来時刻でインた．まず，Deep Learning を経路予測に応用した際の歩

タラクションを逐次表現していないためと考えられる．

行者間のインタラクションを考慮した手法を三つのグループに分割した．一つ目のプーリングモデルでは，予測対象を中心として周囲の空間を表現したグリッド

400

サーベイ論文／Deep Learning を用いた移動物体間のインタラクションを考慮した経路予測の研究動向を作成し，このグリッドに予測対象周辺の個々の他対率に関する評価指標が提案されている．

象に関する位置特徴を埋め込む．その後，maxpool. や

最後に各モデルの精度の検証を行った．歩行者間の特徴抽出など各手法で異なるプーリング処理で他対インタラクションを考慮した手法は歩行者密度が高い

象とのインタラクションを考慮することで，対象同士シーンで予測誤差が低くなることがわかった．また，の衝突を避ける経路の予測が可能になる．一方で，グインタラクションを考慮することで，動的物体との衝

リッドに他対象に関する位置特徴を maxpool. などで突率が低くなることがわかった．一方で，歩行者密度計算すると，衝突回避に関係のない他対象の位置特徴が低いシーンでは，インタラクションを考慮しない予が最大だった場合にその対象のみをプーリング処理

測手法で十分な予測精度を獲得できることがわかった．

してしまうため，衝突回避に重要となる他対象の情報

予測結果より，インタラクションを考慮した手法は移が欠落する場合がある．また，プーリングモデルはグ

動対象同士が互いとの衝突を回避するために，真値にリッドサイズをあらかじめ人間が定義する必要がある

沿わない経路を予測し予測精度が落ちる一方，他対象が，グリッドサイズの適切な大きさは予測対象ごとにとの衝突回避する経路を予測した．また，環境情報を異なり，複雑になり得るため致命的な欠点と言える．

考慮することで，静的物体との衝突率を減少させ，障二つ目のアテンションモデルでは，映像内の予測対象

害物との衝突を避ける経路を予測することを確認した．

と個々の他対象との関係が連続的な重み値で表現され更に，動的物体及び静的物体のそれぞれの衝突回避にている．この重みの大小から，予測対象が着目または関するインタラクションを考慮する方法はパラメータ

わずかに考慮する対象をモデル自身が選択し，それら数や計算時間が増加することを確認した．本論文が，の対象との衝突を避ける経路予測が可能となる．三つ経路予測におけるモデルの選定や，新たなモデルを検目のその他のインタラクションを考慮する方法では，討する上での参考になれば幸いである．

GCN や Convolution で移動対象間のインタラクションを捉えている．また，本論文ではインタラクション以

文[1]

S. Savarese, “Social lstm: Human trajectory prediction in crowded

外の課題を扱う方法についても説明した．この方法のspaces,” Computer Vision and Pattern Recognition, pp.961–971,

多くは CNN をベースとしており，建物といった静的な障害物との衝突回避を目的とした経路予測や 1 人称

献

A. Alahi, K. Goel, V. Ramanathan, A. Robicquet, L. Fei-Fei, and

2016.
[2]

N. Lee, W. Choi, P. Vernaza, C.B. Choy, P.H.S. Torr, and M.

や車載カメラ映像，異なる入力表現など従来とは異なChandraker, “Desire: Distant future prediction in dynamic scenes

る問題設定による経路予測手法を提案している．

with interacting agents,” Computer Vision and Pattern Recogni-

経路予測手法の評価に用いられるデータセットにつtion, pp.336–345, 2017.
[3]

いて調査した．Deep Learning の発展により，経路予測

cle trajectory prediction,” Computer Vision and Pattern Recogni-のために歩行者以外の対象や豊富な追加情報を提供す
るデータセットが増加しつつある．また，シミュレー

tion Workshop, pp.1581–1589, 2018.
[4]

cast trajectories and head poses,” Computer Vision and Pattern

設定が可能になり，現実シーンでは撮影が困難なデー
タ構築が可能である．
現在の経路予測手法で用いられる評価指標について

Recognition, pp.6067–6076, 2018.
[5]

networks,” Computer Vision and Pattern Recognition, pp.2255–
2264, 2018.
[7]

prediction,” Computer Vision and Pattern Recognition, pp.12126–

による評価や NLL による評価を行っている．将来の12134, 2018.
[8]

S. Hao, Z. Zhiqun, and H. Zhihai, “Reciprocal learning networks
for human trajectory prediction,” Computer Vision and Pattern

中心座標から MSE で評価をすることで予測精度の比
タラクション情報の効果を評価できない点から，衝突

T. Zhao, Y. Xu, M. Monfort, W. Choi, C. Baker, Y. Zhao, Y. Wang,
and Y.N. Wu, “Multi-agent tensor fusion for contextual trajectoryに対して公平に評価するために真値に最良な予測経路較を行っている．更に，距離誤差が移動対象間のイン

A. Gupta, J. Johnson, L. Fei-Fei, S. Savarese, and A. Alahi, “Social
gan: Socially acceptable trajectories with generative adversarial

では，真値と予測値との距離誤差で精度比較を行ってBB を予測する方法では，予測された BB と真の BB のN. Bisagno, B. Zhang, and N. Conci, “Group lstm: Group trajectory prediction in crowded scenarios,” eccvw, pp.213–225, 2018.

[6]

調査した．インタラクションを考慮した経路予測手法
いる．複数経路を予測する場合には，複数の予測経路

I. Hasan, F. Setti, T. Tsesmelis, A. Del Bue, F. Galasso, and M.
Cristani, “MX-LSTM: mixing tracklets and vislets to jointly fore-

ション環境を使うことで，複数の移動経路や目的地のタを作成できるため，自身で問題設定に合わせたデー

N. Deo and M.M. Trivedi, “Convolutional social pooling for vehi-

Recognition, pp.7416–7425, 2020.
[9]

A. Vemula, K. Muelling, and J. Oh, “Social attention: Modelingattention in human crowds,” Int. Conf. Robotics and Automation,401電子情報通信学会論文誌 2022/5 Vol. J105–D No. 5
pp.1–7, 2018.
[10]

[26]

Y. Xu, Z. Piao, and S. Gao, “Encoding crowd interaction with deep

trajectory prediction,” Computer Vision and Pattern Recognition,neural network for pedestrian trajectory prediction,” Computer Vision and Pattern Recognition, pp.5275–5284, 2018.
[11]

pp.660–669, 2020.
[27]

stgcnn: A social spatio-temporal graph convolutional neural net-

Generative adversarial networks for trajectory prediction and group

work for human trajectory prediction,” Computer Vision and Pat-

P. Zhang, W. Ouyang, P. Zhang, J. Xue, and N. Zheng, “Sr-lstm:

tern Recognition, pp.14424–14432, 2020.
[28]

State refinement for lstm towards pedestrian trajectory predic2018.

Vision, pp.263–279, 2016.
[29]

Zhuang, “Deep learning driven visual path prediction from a single“Peeking into the future: Predicting future person activities andimage,” IEEE Trans. Image Process., vol.25, no.12, pp.5892–5904,

pp.5725–5734, 2019.

2016.
[30]

ing paths compliant to social and physical constraints,” Computer

Recognition, pp.7593–7602, 2018.
[31]

[16]

Y. Huang, H. Bi, Z. Li, T. Mao, and Z. Wang, “Stgat: Modeling

Vision and Pattern Recognition, pp.4194–4202, 2018.
[32]

end-to-end 3d detection, tracking and motion forecasting with aV. Kosaraju, A. Sadeghian, R. Martín-Martín, I. Reid, H.

single convolutional net,” Computer Vision and Pattern Recogni-

tory forecasting using bicycle-gan and graph attention networks,”

tion, pp.3569–3577, 2018.
[33]

Advances in Neural Information Processing Systems, pp.137–146,
B. Ivanovic and M. Pavone, “The trajectron: Probabilistic multi-

Conf. Computer Vision Theory and Applications, pp.19–26, 2019.
[34]

driving behavior with a convolutional model of semantic interac-Int. Conf. Computer Vision, pp.2375–2384, 2019.

tions,” Computer Vision and Pattern Recognition, pp.8454–8462,
2019.

T. Salzmann, B. Ivanovic, P. Chakravarty, and M. Pavone, “Tra[35]Dariush, “Egocentric vision-based future vehicle localization for2020.

intelligent driving assistance systems,” Int. Conf. Robotics andAutomation, pp.9711–9717, 2019.

J. Li, F. Yang, M. Tomizuka, and C. Choi, “Evolvegraph: Multi[36]Advances in Neural Information Processing Systems, vol.33,
C. Yu, X. Ma, J. Ren, H. Zhao, and S. Yi, “Spatio-temporal graphSymposium, pp.716–721, 2019.
[37]

transformer networks for pedestrian trajectory prediction,” Euro-[22]

Recognition, pp.6797–6806, 2020.
[38]

garden of forking paths: Towards multi-future trajectory predic-

conditioned trajectory prediction,” eccv, pp.759–776, 2020.

tion,” Computer Vision and Pattern Recognition, pp.10508–10518,
2020.

C. Tao, Q. Jiang, L. Duan, and P. Luo, “Dynamic and static context[39]Computer Vision, pp.547–563, 2020.

pean Conf. Computer Vision, pp.275–292, 2020.
[40]

prediction,” European Conf. Computer Vision, pp.576–593, 2020.

[25]

402

E. Kalman, Rudolf, “A new approach to linear filtering and prediction problems,” J. Basic Engineering, vol.82, no.1, pp.35–45,

C. Choi and B. Dariush, “Looking to relations for future trajectory
forecast,” Int. Conf. Computer Vision, pp.921–930, 2019.

J. Liang, L. Jiang, and A. Hauptmann, “Simaug: Learning robust
representations from simulation for trajectory prediction,” Euro-

H. Bi, R. Zhang, T. Mao, Z. Deng, and Z. Wang, “How can i see
my future? fvtraj: Using first-person view for pedestrian trajectory[24]

J. Liang, L. Jiang, K. Murphy, T. Yu, and A. Hauptmann, “Theand A. Gaidon, “It is not the journey but the destination: Endpointaware lstm for multi-agent motion prediction,” European Conf.
[23]

L. Fang, Q. Jiang, J. Shi, and B. Zhou, “Tpnet: Trajectory proposal network for motion prediction,” Computer Vision and Patternpean Conf. Computer Vision, pp.507–523, 2020.
K. Mangalam, H. Girase, S. Agarwal, K.-H. Lee, E. Adeli, J. Malik,

O. Styles, A. Ross, and V. Sanchez, “Forecasting pedestrian trajectory with machine-annotated training data,” Intelligent Vehicles

pp.19783–19794, 2020.

[21]

Y. Yao, M. Xu, C. Choi, J.D. Crandall, M.E. Atkins, and B.

erogeneous data,” European Conf. Computer Vision, pp.683–700,

agent trajectory prediction with dynamic relational reasoning,”[20]

J. Hong, B. Sapp, and J. Philbin, “Rules of the road: Predicting

agent trajectory modeling with dynamic spatiotemporal graphs,”

jectron++: Dynamically-feasible trajectory forecasting with het-[19]

H. Minoura, T. Hirakawa, T. Yamashita, and H. Fujiyoshi, “Pathpredictions using object attributes and semantic environment,” Int.

2019.

[18]

W. Luo, B. Yang, and R. Urtasun, “Fast and furious: Real time

ternational Conference on Computer Vision, pp.6272–6281, 2019.
Rezatofighi, and S. Savarese, “Social-bigat: Multimodal trajec-[17]

A. Bhattacharyya, M. Fritz, and B. Schiele, “Long-term on-board
prediction of people in traﬃc scenes under uncertainty,” Computer

Vision and Pattern Recognition, pp.1349–1358, 2019.
spatial-temporal interactions for human trajectory prediction,” In-

T. Yagi, K. Mangalam, R. Yonetani, and Y. Sato, “Future person
localization in first-person videos,” Computer Vision and Pattern

A. Sadeghian, V. Kosaraju, A. Sadeghian, N. Hirose, H.
Rezatofighi, and S. Savarese, “Sophie: An attentive gan for predict-[15]

S. Huang, X. Li, Z. Zhang, Z. He, F. Wu, W. Liu, J. Tang, and Y.

J. Liang, L. Jiang, J.C. Niebles, A.G. Hauptmann, and L. Fei-Fei,locations in videos,” Computer Vision and Pattern Recognition,[14]

S. Yi, H. Li, and X. Wang, “Pedestrian behavior understanding andprediction with deep neural networks,” European Conf. Computertion,” Computer Vision and Pattern Recognition, pp.12085–12094,[13]

A. Mohamed, K. Qian, M. Elhoseiny, and C. Claudel, “Social-

T. Fernando, S. Denman, S. Sridharan, and C. Fookes, “Gd-gan:
detection in crowds,” Proc. ACCV, pp.314–330, 2018.

[12]

J. Sun, Q. Jiang, and C. Lu, “Recursive social behavior graph for

1960.
[41]

C. Schöller, V. Aravantinos, F. Lay, and A. Knoll, “What the

N. Rhinehart, R. McAllister, K. Kitani, and S. Levine, “Precog:

constant velocity model can teach us about pedestrian motion pre-Prediction conditioned on goals in visual multi-agent settings,” Int.

diction,” Robotics and Automation Letters, vol.5, no.2, pp.1696–

Conf. Computer Vision, pp.2821–2830, 2019.

1703, 2020.

サーベイ論文／Deep Learning を用いた移動物体間のインタラクションを考慮した経路予測の研究動向[42]

A. Møgelmose, M.M. Trivedi, and T.B. Moeslund, “Trajectorysarial nets,” Advances in Neural Information Processing Systems,

analysis and prediction for improved pedestrian safety: Integrated framework and evaluations,” Intelligent Vehicles Sympo-

pp.2672–2680, 2014.
[61]

sium, pp.330–335, 2015.
[43]

[44]

networks: A deep learning framework for traﬃc forecasting,” Int.

A. Elnagar, “Prediction of moving objects in dynamic environments using kalman filters,” Computer Intelligence in Robotics

Joint Conf. Artificial Intelligence, pp.3634–3640, 2018.
[62]

Gomez, L.U. Kaiser, and I. Polosukhin, “Attention is all you need,”

N. Schneider and D.M. Gavrila, “Pedestrian path prediction with

Advances in Neural Information Processing Systems, pp.5998–

ence on Pattern Recognition, pp.174–183, 2013.

6008, 2017.
[63]

D. Helbing and P. Molnar, “Social force model for pedestrian dyG. Ferrer and A. Sanfeliu, “Behavior estimation for a completein Natural Language Processing, pp.1412–1421, 2015.
[64]

framework for human motion prediction in crowded environments,” Int. Conf. Robotics and Automation，pp.5940–5945, 2014.
[47]

[49]

algorithm for discovering clusters in large spatial databases withaware planner (hmbap) for path planning in dynamic human envi-

noise,” Knowledge Discovery and Data Mining, vol.96, pp.226–

K.M. Kitani, B.D. Ziebart, J.A. Bagnell, and M. Hebert, “Activ-

231, 1996.
[66]

R. Zemel, and Y. Bengio, “Show, attend and tell: Neural im-

2012.

age caption generation with visual attention,” Int. Conf. Machine

R. Nicholas and K.K. Makoto, “First-person activity forecasting

Learning, pp.2048–2057, 2015.
[67]

resentations, 2018.
[68]

Wang, and E. Shechtman, “Toward multimodal image-to-image

learning applied to document recognition,” Proc. IEEE, vol.86,

translation,” Advances in Neural Information Processing Systems,

S. Hochreiter and J. Schmidhuber, “Long short-term memory,”

pp.465–476, 2017.
[69]

Neural Computation, vol.9, no.8, pp.1735–1780, 1997.

2018.
[70]

CoRR, 2014.

2890, 2017.
[71]

ing,” CoRR, 2018.
[55]

tions, 2017.
[72]

ios,” Int. Conf. Intelligent Transportation Systems, pp.3105–3112,
T. Hirakawa, T. Yamashita, T. Tamaki, and H. Fujiyoshi, “Survey

Int. Conf. Computer Vision, pp.261–268, 2009.
[73]

on vision-based path prediction,” Int. Conf. Distributed, Ambient,and Pervasive Interactions, pp.48–64, 2018.
[57]

[59]

R. Alexandre, S. Amir, A. Alexandre, and S. Silvio, “Learn-

A. Rasouli and J.K. Tsotsos, “Autonomous vehicles that interact

ing social etiquette: Human trajectory understanding in crowdedwith pedestrians: A survey of theory and practice,” IEEE Trans. In-

scenes,” European Conference on Computer Vision, pp.549–565,

R. Andrey, P. Luigi, H. Michael, M.K. Kris, M.G. Dariu, and O.A.

2016.
[75]

M.-F. Chang, J. Lambert, P. Sangkloy, J. Singh, S. Bak, A. Hartnett,

Kai, “Human motion trajectory prediction: a survey,” International

D. Wang, P. Carr, S. Lucey, D. Ramanan, and J. Hays, “Argoverse:

Journal of Robotics Research, vol.39, no.8, pp.895–935„ 2020.

3d tracking and forecasting with rich maps,” Computer Vision and
Pattern Recognition, pp.8748–8757, 2019.

K. Sohn, H. Lee, and X. Yan, “Learning structured output representation using deep conditional generative models,” Advances in[76]

Neural Information Processing Systems, pp.3483–3491, 2015.
[60]

A. Lerner, Y. Chrysanthou, and D. Lischinski, “Crowds by example,” Computer Graphics Forum, vol.26, no.3, pp.655–664, 2007.

[74]

telligent Transportation Systems, vol.21, no.3, pp.900–918, 2019.
[58]

S. Pellegrini, A. Ess, K. Schindler, and L.V. Gool, “You’ll neverwalk alone: Modeling social behavior for multi-target tracking,”

2018.
[56]

T.N. Kipf and M. Welling, “Semi-supervised classification withgraph convolutional networks,” Int. Conf. Learning Representa-

D. Ridel, E. Rehder, M. Lauer, C. Stiller, and D. Wolf, “A literature
review on the prediction of pedestrian behavior in urban scenar-

H. Zhao, J. Shi, X. Qi, X. Wang, and J. Jia, “Pyramid scene parsing
network,” Computer Vision and Pattern Recognition, pp.2881–

S. Bai, J.Z. Kolter, and V. Koltun, “An empirical evaluation ofgeneric convolutional and recurrent networks for sequence model-

X. Wang, R. Girshick, A. Gupta, and K. He, “Non-local neural networks,” Computer Vision and Pattern Recognition, pp.7794–7803,

J. Chung, C. Gulcehre, K. Cho, and Y. Bengio, “Empirical evaluation of gated recurrent neural networks on sequence modeling,”[54]

J.-Y. Zhu, R. Zhang, D. Pathak, T. Darrell, A.A. Efros, O.

Y. LeCun, L. Bottou, Y. Bengio, and P. Ha ner, “Gradient-based
no.11, pp.2278–2324, 1998.

[53]

P. Veličković, G. Cucurull, A. Casanova, A. Romero, P. Lio, and
Y. Bengio, “Graph attention networks,” Int. Conf. Learning Rep-

S.M. LaValle and J.J. Kuﬀner, “Randomized kinodynamic planning,” Int. J. Robotics Research, vol.20, no.5, pp.378–400, 2001.

[52]

K. Xu, J. Ba, R. Kiros, K. Cho, A. Courville, R. Salakhutdinov,

ity forecasting,” European Conf. Computer Vision, pp.201–214,

Vision, pp.3716–3725, 2017.

[51]

M. Ester, H.-P. Kriegel, J. Sander, and X. Xu, “A density-based

S. Oli, B. L’Esperance, and K. Gupta, “Human motion behaviour

with online inverse reinforcement learning,” Int. Conf. Computer[50]

L. van derMaaten and G. Hinton, “Visualizing data using t-SNE,”
J. Machine Learning Research, vol.9, pp.2579–2605, 2008.

[65]

ronments,” Int. Conf. Robotics and Automation, pp.1–7, 2013.
[48]

M.-T. Luong, H. Pham, and C.D. Manning, “Eﬀective approaches
to attention-based neural machine translation,” Empirical Methods

namics,” Physical Review E, vol.51, no.5, p.4282, 1995.
[46]

A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A.N.

and Automation, pp.414–419, 2001.
recursive bayesian filters: A comparative study,” German Confer[45]B. Yu, H. Yin, and Z. Zhu, “Spatio-temporal graph convolutional

Iglovikov, and P. Ondruska, “One thousand and one hours: Self-

I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. WardeFarley, S. Ozair, A. Courville, and Y. Bengio, “Generative adver-

J. Houston, G. Zuidhof, L. Bergamini, Y. Ye, A. Jain, S. Omari, V.
driving motion prediction dataset,” Conf. Robot Learning, 2020.

[77]

J. Bock, R. Krajewski, T. Moers, S. Runde, L. Vater, and L. Eck-403

電子情報通信学会論文誌 2022/5 Vol. J105–D No. 5
stein, “The ind dataset: A drone dataset of naturalistic road user
trajectories at german intersections,” CoRR, 2019.
[78]

A. George, B. Asad, C. Keith, L. Yooyoung, F. Jonathan, G. Afzad,
J. David, D. Andrew, S. Alan, G. Yvette, K. Wessel, Q. Georges,
M. Joao, S. David, and B. Saverio, “Trecvid 2018: Benchmarking video activity detection, video captioning and matching, video

箕浦 大晃
2020 中部大学大学院博士前期課程情報工学専攻了．2020 中部大学大学院博士後期課程情報工学専攻在学中．コンピュータビ
ジョン，パターン認識の研究に従事．

storytelling linking and video search,” TRECVID, 2018.
[79]

A. Rasouli, I. Kotseruba, T. Kunic, and J.K. Tsotsos, “Pie: A largescale dataset and models for pedestrian intention estimation andtrajectory prediction,” Int. Conf. Computer Vision, pp.6262–6271,
2019.

[80]

Y. Ma, X. Zhu, S. Zhang, R. Yang, W. Wang, and D. Manocha,“Traﬃcpredict: Trajectory prediction for heterogeneous traﬃcagents,” Association for the Advancement of Artificial Intelligence, pp.6120–6127, 2019.

[81]

平川

翼

2017 広島大学大学院博士課程後期課程情報工学専攻了，2017 中部大学研究員．2019
中部大学特任助教．2014 独立行政法人日本学術振興会特別研究員 DC1．コンピュータ
ビジョン，パターン認識，医用画像処理のS. Malla, B. Dariush, and C. Choi, “Titan: Future forecast using ac-

研究に従事．

tion priors,” Computer Vision and Pattern Recognition, pp.11186–
11196, 2020.
[82]

H. Caesar, V. Bankiti, A.H. Lang, S. Vora, V.E. Liong, Q. Xu, A.
Krishnan, Y. Pan, G. Baldan, and O. Beijbom, “nuscenes: A multimodal dataset for autonomous driving,” Computer Vision and
Pattern Recognition, pp.11621–11631, 2020.

[83]

N. Rhinehart, K.M. Kitani, and P. Vernaza, “R2p2: A reparameterized pushforward policy for diverse, precise generative path forecasting,” European Conf. Computer Vision, pp.772–788, 2018.

[84]

O. Makansi, E. Ilg, O. Cicek, and T. Brox, “Overcoming limitations

山下 隆義

（正員）

2002 奈良先端科学技術大学院大学博士前期課程了，2002 オムロン株式会社入社，2011 中部大学大学院博士後期課程了，2014

中部大学講師，2017 中部大学准教授．人の理解に向けた動画像処理，パターン認識・
機械学習の研究に従事．

of mixture density networks: A sampling and fitting framework
for multimodal future prediction,” Computer Vision and Pattern
Recognition, pp.7144–7153, 2019.
[85]

箕浦大晃，平川 翼，山下隆義，藤吉弘亘，“衝突インタ
ラクションを考慮した経路予測における評価指標の提案，”
第 23 回画像の認識・理解シンポジウム (MIRU2020)，2020.

[86]

S. Becker, R. Hug, W. Hübner, and M. Arens, “Red: A simple but
eﬀective baseline predictor for the trajnet benchmark,” European
Conf. Computer Vision Workshop, pp.138–153, 2018.

[87]

D.P. Kingma and J. Ba, “Adam: A method for stochastic optimization,” Int. Conf. Learning Representations, 2015.

[88]

T. Tieleman and G. Hinton, “Lecture 6.5-rmsprop:

Dividethe gradint by a running average of its recent magnitude,”
COURSERA: Neural Networks for Machine Learning, vol.4, no.2,
pp.26–31, 2012.
[89]

A. Graves, “Generating sequences with recurrent neural networks,”
CoRR, 2013.

（2021 年 5 月 31 日受付，10 月 19 日再受付，2022 年 1 月 24 日早期公開）

404

藤吉 弘亘

（正員）

1997 中部大学大学院博士後期課程了，1997 米カーネギーメロン大学ロボット工学研究所 Postdoctoral Fellow，2000 中部大学
工学部情報工学科講師，2004 中部大学准教授，2005 米カーネギーメロン大学ロボット
工学研究所客員研究員 (2006)，2010 中部大学教授，2014 名古屋大学客員教授．計算機視覚，動画像処理，
パターン認識・理解の研究に従事．