DOI:10.14923/transinfj.2018JDR0003
早期公開日:2018/11/01

本PDFは，早期公開版である．本論文を引用する場合には，
電子情報通信学会和文論文誌投稿のしおり(情報・システ
ムソサイエティ)の「８.早期公開」を参照すること．

サーベイ論文
動画像を用いた経路予測手法の分類
平川

翼† a)

山下 隆義† b)

玉木徹†† c)

藤吉 弘亘† d)Survey on Vision-based Path Prediction
Tsubasa HIRAKAWA†a) , Takayoshi YAMASHITA†b) , Toru TAMAKI††c) , and Hironobu
FUJIYOSHI†d)
あらまし 経路予測とは，歩行者や自動車などの予測対象が未来にどのような経路を移動するかを推定する技術である．コンピュータビジョンにおける経路予測問題では，主に動画像のみを入力とするため，移動経路の予測のみならず予測対象の状態や周囲の環境なども動画像から推定する必要がある．予測が行われるシーンの環境理解や予測手法には，これまでに多くのアプローチが提案されている．本稿では動画像を入力とする経路予測手法についてサーベイを行い，動画像からの特徴抽出法と予測手法について体系的にまとめる．また，経路予測手法を定量的に評価するために使用されるデータセットおよび評価指標についても紹介する．
キーワード

経路予測, 行動予測, データセット, サーベイ

ピュータビジョン技術の上に存在する問題となってい

1. は じ め にる．また，動画像を用いた経路予測をはじめとする予経路予測とは歩行者や自動車などのある動画像中の測という問題の難しさは，予測時点での観測が取得で予測対象が未来の時刻にどのような経路で移動する

きないことに大きく起因している．例えば，上記の人かを推定する技術である．動画を用いた経路予測は異物検出や追跡といった問題では，過去から現在までの常行動の検出 [1], [2] や自動車の自動運転技術 [3]〜[5]，観測，すなわち動画像から抽出された情報を用いてそロボットの自律制御 [6]〜[8] などの様々な分野へ応用の時刻に対応する対象の位置を推定する．一方，経路できる可能性を秘めているため，近年盛んに研究が行予測では未来の時刻の対象の位置を推定するため，推われている問題設定の一つである．

定する時刻に対応する情報は与えられない．そのため，動画像を用いた経路予測は他の画像認識の問題と比べて挑戦的な問題設定である．一般的なコンピュータ

現在までの観測に加えて周囲の環境や対象者の行動規則などの事前情報をうまく活用する必要がある．

ビジョンの問題では，画像または動画像のみを入力と経路予測はロボティクスの分野において古くから扱する場合が多い．経路予測も同様に，周囲の環境や予われている．駅や空港などの不特定多数の歩行者が存

測対象の向きなどの情報を動画像から推定する必要が在する公共の場において，周囲の歩行者の動きを妨げある．これらの情報の推定には人物検出 [9], [10] や属

ることなくロボットを自律走行させるために歩行者の性推定 [11]，セマンティックセグメンテーション [12]経路予測が行われており [6]，ロボット自身が周囲のなどの技術が用いられており，経路予測は既存のコン環境を考慮しながら無駄なく移動するための経路を推定する経路計画 [13]〜[15] も経路予測の問題と捉える†

中部大学，春日井市

ことができる．ロボティクスにおける経路予測では，

Chubu University, 1200 Matsumoto, Kasugai, 487-8501
††

Japan

ロボットに搭載されたカメラの映像に加えて，レーザ

広島大学，東広島市

レンジファインダ等で計測されたシーンの 3 次元デー

Hiroshima University, 1-4-1 Kagamiyama, Higashi-Hiroshima,

タを使用することが多い．また，屋内などの限定的な

739-8527 Japana) E-mail: hirakawa@mprg.cs.chubu.ac.jp

環境でロボットを動作させる場合，シーン全体の環境

b) E-mail: takayoshi@isc.chubu.ac.jpが所与とされていることが多い．これを踏まえ，本論c) E-mail: tamaki@hiroshima-u.ac.jpd) E-mail: fujiyoshi@isc.chubu.ac.jp

電子情報通信学会論文誌 X Vol. Jxx–X

文では以下のような経路予測手法をサーベイの対象とNo. xx pp. 1–15 ©（社）電子情報通信学会 xxxx

1

電子情報通信学会論文誌 xxxx/xx Vol. Jxx–X No. xx

図1

経路予測手法の処理の流れ．文献 [20] より改変．

する．

出する．その後，抽出した特徴を用いて予測手法を適（ 1 ） 予測を行うシーンを撮影した動画像，静止画用することで予測結果を出力する．この処理の流れの像，または予測対象が予測開始時点までに存在してい中で重要となるのは，図 1(b) 動画像からの特徴抽出た位置（座標または座標の系列）を入力とする手法．

部と図 1(c) 経路予測部である．特徴抽出部では主に，動画像または静止画像を用いることなく，LIDAR 等

シーンを理解するための環境属性に対する特徴と歩行で計測した 3 次元データのみを入力とする経路予測手者などの予測対象に関する特徴抽出が行われる．経路法 [16] は本サーベイの対象としない．

予測部では様々な手法が提案されているが，基礎とな（ 2 ） 予測結果として予測対象の未来のある時刻でるアプローチに基づき予測手法をベイズモデル，エネの位置（座標）や未来の各時刻に対応する座標の系列，

ルギー最小化，深層学習，逆強化学習の 4 種類に分類

または予測対象がその位置を訪れる可能性を表現したすることができる．

確率分布を出力する手法．

以上を踏まえ，本論文ではコンピュータビジョン分

未来の行動を予測する問題は経路予測だけではな

野における動画像を用いた経路予測手法についてサーい．動画像から人物の動作カテゴリを推定する動作認

ベイを行い，経路予測に用いられる特徴抽出及び予測

識を時間的に遷移させた問題として早期認識と呼ばれのアプローチについて体系的にまとめる（注 1）．また，る問題設定が存在する [17]〜[19]．早期認識は動画像

経路予測手法の実験評価に用いられるデータセットにを入力として，未来の時刻にどのような行動が起こる

ついても調査する．2 章では経路予測に用いられる特かを推定する問題であるが，動作カテゴリなどの離散徴抽出について述べる．3 章では経路を予測する手法

的なラベルを推定する問題設定である．したがって，についていくつかのカテゴリに分類し，各カテゴリの早期認識は経路予測とは異なる問題設定であるため，予測手法の特徴について述べる．4 章にて経路予測の本サーベイの対象としないことに注意されたい．

定量的評価に使用されるデータセットについて述べ，

このように，コンピュータビジョンにおける動画像を用いた経路予測は，従来扱われてきた問題と比較して難しく挑戦的な問題である．この問題を解決するために，様々な予測手法が提案されている．提案されて5 章で経路予測の結果を定量的に評価するための指標を紹介する．6 章にて本サーベイをまとめる．

2. 動画像からの特徴抽出法

いる手法は多岐に渡っているが，処理の流れは一貫し歩行者が移動する際には，周囲の環境や自身の状態ている．図 1 に動画像を用いた経路予測手法の一般的などの何らかの要因が暗に影響しており，その要因にな処理の流れを示す．動画像を用いた経路予測では，

よって歩行経路が決定されると考えられる．動画像を動画像または静止画像とそのシーン中の予測対象の位置または過去の数秒間の移動軌跡を入力とする．まず，入力された動画像から経路予測に有用な特徴を抽

2（注 1）：本論文は文献 [21] の内容について，2018 年 4 月時点までに発表されている経路予測手法および定量的な評価指標を追加したものとなっている．

サーベイ論文／動画像を用いた経路予測手法の分類
表 1 経路予測に用いる特徴抽出法の分類．
抽出対象 特徴の種類
代表的な手法環境
シーンラベルStacked hierarchical labeling [22]Superpixel-based MRF [23]
Fully Convolutional Networks [24], [25]コスト
Bag-of-Visual Words [26]Spatial Matching Network [27]
シーン全体の特徴ベクトル Pretrained AlexNet [28]Siamese Network [29]
予測対象 歩行者の位置
HOG + SVM detector [30]Faster R-CNN [31], [32]
対象の向き
Bayesian orientation estimation [33]Orientation Network [27]
対象の姿勢
OpenPose [34]
身体的属性
AlexNet-based multi-task learning [35]
対象物の特徴ベクトル
Mid-level patch features [36]用いた経路予測においても，移動経路の決定に大きく影響するような情報を用いることで予測精度の向上が期待できる．しかし，動画像のみを入力とする経路予
測では，このような情報を動画像から推定する必要があり，予測の前処理として動画像から何らかの特徴が抽出される．表 1 に経路予測に用いる特徴抽出法を示す．このように様々な特徴が抽出されており，これらは 1) 環境属性と 2) 予測対象に対する特徴抽出に大別することができる．そこで，本章ではシーンの環境属
性及び予測対象の 2 つの特徴抽出について述べる．

2. 1 環境属性に対する特徴抽出
予測対象が移動する際には，その周辺環境が大きく影響している．例えば，歩行者が移動する際にはシーンに存在する建物などの障害物を避けつつ，歩道を移動することが考えられる．また，自動車や自転車が予測対象であれば，交通ルールなどの社会的規範により
車道のみを移動するであろう．このように，予測対象の移動は周囲の環境に依存しており，予測を行うシーンの環境に関する特徴を動画像から抽出する必要がある．

図 2 セマンティックセグメンテーションを用いた環境属性の例．文献 [37] より引用．

動画像からの環境を推定する技術として最も一般的なものはセマンティックセグメンテーションであベクトルの要素として用いることで，シーン全体の特る [37]〜[40]．セマンティックセグメンテーションは徴マップを作成し，予測に用いている．一方，Ballan

画像中の各画素にオブジェクトのクラスを割り当てるら [38] は，微小領域中に含まれるシーンラベルから作技術である．これにより予測対象が移動可能な領域や成したヒストグラムをその領域に対する特徴ベクトル

障害物領域などを推定することが可能である．Kitani

として使用している．

ら [37] は，歩行者の移動経路は車道や歩道，花壇，建歩行経路に影響を与える環境属性を明示的に用いる造物などの物理的環境に大きく影響されていると仮ことなく，予測対象が移動する可能性をコストとし定し，階層的に領域を分割するセグメンテーション手て暗に表現する方法も存在する [27], [41]．この方法で法 [22] を用いて特徴抽出を行なっている．この手法では，シーン中の微小領域毎に推定したコストからシーは，図 2 に示すように，各ラベルの事後確率を特徴

ン全体のコストマップを作成し，経路予測に用いてい3電子情報通信学会論文誌 xxxx/xx Vol. Jxx–X No. xx
表 2 経路予測手法の分類．
分類
Bayesian

EnergyminimizationDL

IRL

Others

文献
Schneider and Gavrila [3]Kooij et al. [5]Ballan et al. [38]Xie et al. [44]Walker et al. [41]Huang et al. [27]
Shuai et al. [45]Alahi et al. [46]Bartoli et al. [47]Fernando et al. [48]Fernando et al. [49]Lee et al. [40]Yagi et al. [50]Kitani et al. [37]Lee and Kitani [51]Bokhari and Kitani [52]Rhinehart and Kitani [53]Ma et al. [35]Rehder et al. [39]
Keller and Gavrila [4]Rehder and Koloeden [54]Park et al. [42]Su et al. [43]Yamaguchi et al. [55]
Robicquet et al. [56]

年代
2013
2014
2016
2013
2014
2016
2016
2016
2017
2017
2017
2017
2018
2012
2016
2016
2017
2017
2017
2014
2015
2016
2017
2011
2016

手法
KF
DBN
DBN
DijkstraDijkstraDijkstra
CNN
LSTM
LSTM
LSTM
LSTM
RNN Enc.-Dec.
CNN
IRL
IRL
IRL
IRL
IRL
IRL
optical flow
Markov process
Data driven
Data driven
Social force
Social force

映像視点 座標系
車載
地上
車載
地上
鳥瞰
画像
監視カメラ 地上監視カメラ 画像
監視カメラ 画像
監視カメラ 画像
鳥瞰
画像
鳥瞰
画像
鳥瞰
地上
鳥瞰
地上
鳥瞰
画像
一人称
画像
監視カメラ 地上
鳥瞰
画像
一人称
地上
一人称
地上
監視カメラ 画像
車載
地上
車載
地上
車載
地上
一人称
地上
一人称
地上
鳥瞰
地上
鳥瞰
地上

入力
座標
動画
動画
動画
動画
画像
座標
座標
座標
座標
座標
動画
動画
動画
動画
動画
動画
画像
動画
動画
動画
動画
動画
動画
動画

出力
座標
座標
座標
確率分布
確率分布
確率分布
座標
座標
座標
座標
座標
座標
座標
確率分布
確率分布
確率分布
確率分布
確率分布
確率分布
座標
座標
座標
座標
座標
座標

特徴抽出
環境 対象
✓
✓
✓
✓
✓

✓

✓

✓

✓
✓
✓
✓
✓
✓
✓
✓
✓
✓
✓

る．Walker ら [41] は，最近傍探索を用いて学習デー
タから類似したテクスチャのパッチを検索し，そのコストを微小領域に割り当てることでシーン全体でのコストマップを作成している．Huang ら [27] は，Spa-tial Matching Network と呼ばれる畳み込みニュー
ラルネットワーク (Convolutional Neural Network;

CNN) を提案しており，予測対象が存在しているパッチ画像と周辺の微小領域のパッチ画像の類似度を比較することで局所的な領域の報酬を推定している．
上記の 2 つのアプローチではシーンの微小領域に対する特徴を抽出していたが，シーン全体を一つの特徴ベクトルとして表現するアプローチも存在する．このアプローチでは，類似したシーンでは類似した経路が予測されると仮定し，シーン全体を表現する特徴ベクトルを抽出する．特徴ベクトルを用いて，類似したシーンを学習データから検索し，検索された学習デー
タの軌跡を予測に用いている．そのため，シーンを効果的に表現する特徴ベクトルを抽出する必要である．

2016 年以降では深層学習の発達の影響を受け，CNNによる特徴抽出が用いられている．Park ら [42] は一図 3 歩行者の頭部の向きの推定例．文献 [5] より引用．

人称視点映像における歩行者の経路予測を行うために，AlexNet [28] を用いて抽出した特徴ベクトルと学

データの中から類似した移動軌跡のデータを予測シー

習データの特徴ベクトルとの類似度を比較し，学習ンに転移させることで予測を実現している．また，Su4

サーベイ論文／動画像を用いた経路予測手法の分類

ら [43] は AlexNet ベースの Siamese Network [29] を用いて類似した学習データを検索している．

2. 2 予測対象に対する特徴抽出
移動経路を決定する要因は周囲の環境などの外的要因だけではない．予測対象自身が保有している内的要因も大きく影響しており，予測対象に対する特徴抽出も様々行われている．具体的には，歩行者の年齢や性別，潜在的要求などの属性情報が移動経路の決定に大きく影響していると考えられる．そこで，以下では予測対象に対する特徴抽出について述べる．
最も頻繁に用いられるのは，予測対象の向きであ図 4 SLDS を導入した DBN のグラフィカルモデル．文献 [5] より引用．

る [5], [27], [35]．対象がどの方向を向いているのかを推定することで，どの方向に移動しようとしているかを考慮することができる．すなわち，経路予測手法を

3. 予 測 手 法

適用する際の移動方向に関する制約を導入すること

動画像から抽出した特徴を用いて経路予測が行われができ，間違った予測を抑制することが可能である．

る．表 2 に経路予測手法の一覧を示す．様々な手法がKooij ら [5] は，車載カメラ映像中の車道を横切る歩

提案されているが，基礎となるアプローチに基づき，行者の移動経路および車道の手前で停止するかどうか

いくつかのカテゴリに分類することができる．そこでを予測することを目的とし，HOG+SVM による歩行

本章では，各カテゴリに属する経路予測手法および，者検出法 [30] による歩行者位置の推定に加えて，歩行それぞれの手法の特徴について述べる．

者の頭の向きを推定している [33]．この時，頭部がカ3. 1 ベイズモデルに基づく手法

メラ方向を向いている場合，歩行者は接近する車両の一つ目の経路予測のアプローチはカルマンフィル

存在に気づいていると仮定し，移動速度を緩めたり，

タ [57] や粒子フィルタ [58], [59] などのベイズモデル

車道の手前で停止する動きの予測を実現している．まに基づく推論によって経路を予測する手法である．こた，Yagi ら [50] は人物の姿勢推定法 [34] を用いておれらの手法では，内部状態および観測と呼ばれる変数

り，対象の向きや動きを考慮した予測を行なっている．

を用いて，内部状態にノイズが付与されたものが観測

年齢や性別などの身体的属性も経路を予測する際のとして現れるという確率的なモデルを定義する．この重要な情報である．不特定多数が行き交うような環境

確率モデルを用いて，時刻間での内部状態を更新するにおいて歩行者の経路を予測する場合，他者との衝突

predict および，観測から内部状態を更新する updateを避けつつ移動を行うため，回避行動を考慮した経路

を繰り返すことで各時刻の内部状態を逐次的に推定す予測を行う必要がある．回避行動を起こす位置や時刻

る．すなわち，内部状態が各時刻での歩行者の存在す

は歩行者の移動速度によって変化する．その際，歩行る座標，観測が人検出法などで動画像から推定した歩者の移動速度は同じではなく，高齢者や若者などの年

行者の座標となる．この処理を過去から現在まで時刻

齢，性別によって異なることが考えられる．Ma ら [35]で行う場合，人物追跡の問題と捉えることができる．

は AlexNet [28] を用いて歩行者の向きに加えて，性別

一方，経路予測では未来の時刻の状態は観測することや年齢の身体的属性をマルチタスク学習の枠組みで推ができないため，predict のみを繰り返すことで歩行定しており，推定した歩行者属性を用いて歩行者毎の者の座標を推定し，推定した座標列を経路予測の結果

移動速度を決定し，経路予測を行なっている．

としている．

Walker ら [41] は教師なし学習での経路予測を目的

Schneider ら [3] は車載カメラ映像に映った車両前とし，上記のような明示的な属性情報ではなく予測対方の歩行者の移動経路を予測している．彼らは拡張カ

象の特徴ベクトルを直接用いており，予測対象が含ま

ルマンフィルタを用いて歩行者の状態を更新することれているパッチ画像から mid-level の特徴ベクトルをで移動経路を予測している．この手法では，歩行者の抽出している [36]．

速度や加速度などの予測に用いる情報をいくつか変更

5電子情報通信学会論文誌 xxxx/xx Vol. Jxx–X No. xx

することで歩行者の移動経路を予測するためにはどの測対象が過去に移動した領域のパッチ画像を用いて各ような情報が有用かを検討している．

微小領域のテクスチャの類似度を求めることで，学習

上記のような逐次ベイズフィルタリングの他に，を行うことなく経路予測を実現している．

動的ベイジアンネットワーク (Dynamic Bayesian

テクスチャなどのシーンの見えに関する情報からコNetowrk; DBN) [60] を用いた予測手法も存在する

ストを推定するだけではなく，シーン中に存在する物[5], [38]．Kooij ら [5] もまた車載カメラ映像からの歩体からコストを作成する方法も存在する．Xie ら [44]行者の経路予測を目的として経路予測を提案していは，歩行者は潜在的な要求 (hunger) によって目的地る．彼らはより限定的なシーンを想定し，車両の前方(food trunk) が決まっていると仮定し，シーン中のオに存在する歩行者が車道を横切る際の移動，すなわちブジェクトに引き寄せられるようなコストマップを作

車道を横断するか停止するかという経路予測を行なっ成し，目的地までの移動経路を予測している．

ており，図 4 に示すような，DBN に Swiching Linear

3. 3 深層学習に基づく手法

Dynamical System (SLDS) を導入したモデルを定義

近年の深層学習の技術の発展により，CNN や再帰型

している．このモデルでは，歩行者の座標に加えて，歩ニューラルネットワーク (Recurrent Neural Network;

行者の頭の向きや車両までの距離，歩行者と縁石（歩RNN), 長期短期記憶 (Long Short-Term Memory;

道と車道の境界）の距離を観測として用いている．こLSTM) を用いた予測手法も存在する．深層学習によれら複数の観測を用いて内部状態を逐次的に更新する

る経路予測手法では，過去の数フレームの移動軌跡をことで，座標のみを観測として用いる場合よりも高精入力とし，その後の数フレームの移動軌跡を出力する

度な予測を実現している．

ネットワーク構造を定義している．そのため，2 章で

3. 2 エネルギー最小化に基づく手法

述べたような明示的な特徴抽出は行われず，特徴抽出

前節のベイズモデルによる予測手法は，各時刻でのと予測が一貫して行われる構造となっている．

歩行者の座標を逐次的に推定するオンライン処理で移動経路は 2 次元座標の系列データであるため，あった．一方で，現在地から目的地までの経路を一度

主に再帰的な構造を持つ RNN や LSTM を用いた経に予測するバッチ処理の予測手法として，エネルギー路予測手法が提案されている．Alahi ら [46] は複数最小化に基づく予測手法が存在する．エネルギー最小

人の歩行者の移動経路を予測しており，歩行者同士化に基づく経路予測では，主に予測を行うシーン，すの衝突を避ける動きを予測するために Social-pooling

なわち動画像フレームを 2 次元の格子状のグラフとし(S-Pooing) Layer を提案している．S-Pooling では，て定義し，動画像から推定した移動コストをグラフの予測対象周辺に存在する歩行者の LSTM の中間層出

エッジに付与する．このグラフを用いて，コストが最力とその空間的関係を保存している．S-Pooling の出小になるようなエッジの組み合わせを推定することで力を次の時刻の LSTM へ入力することにより，衝突経路予測が実現される．すなわち，この問題は最短経を避けるような動きを考慮した経路予測を実現してい路問題であり，ダイクストラ法を用いて経路を推定しる．Bartoli ら [47] は S-Pooling による歩行者間のイている．そのため，コストの作成方法が予測精度に大ンタラクションに加えて，シーンに存在する静的な物

きな影響を与える．

体の位置情報を導入した経路予測手法を提案している．

Huang ら [27] は一枚の静止画像を入力として，そFernando ら [48] も同様に複数人の歩行者が存在するのシーン中の予測対象の移動経路を予測する手法を提ような環境での経路予測を目的としており，Attention

案している．この手法では，まず予測対象を含むパッモデルを用いて自身の周囲の歩行者の情報を抽出してチ画像を抽出する．抽出したパッチ画像から対象の向いる．Lee ら [40] は RNN Encoder-Decoder [61] およきを推定し，さらにパッチ画像とシーン中の他の領域

び Conditional Variational Autoencoder [62] を用いのパッチ画像とのテクスチャを比較することで，対象た予測手法を提案している．この手法では，過去の数がその地点を移動するコストを推定する．このコストフレームの移動軌跡から予測軌跡を生成する．その後，をグラフのエッジの重みとして使用し，さらに予測対周囲の環境や移動物体の情報を用いて生成した軌跡を

象の方向から移動方向に対する制約としてコストを追改善することで，最終的な予測結果を出力している．

加している．Walker ら [41] も同様に微小領域のテク

LSTM を用いて経路予測を行う場合，LSTM の長

スチャを比較することでコストを推定しているが，予期記憶の性能の限界により長期での経路予測すなわち，

6

サーベイ論文／動画像を用いた経路予測手法の分類

図5

強化学習の処理の流れ．文献 [56] より改変．

遠い未来の時刻の予測結果は不十分という問題点があでは撮影者の移動量を入力の一つとして用いることでる．そのため，長期の経路予測を行う際にはさらなるカメラの移動を考慮した予測を実現している．

長期記憶が必要になるという仮定のもと，Fernando

3. 4 逆強化学習に基づく手法

ら [49] はメモリセルに格納された過去の各時刻の情

前述の 3 つのアプローチは主に，教師あり学習また報から階層的に有用な情報を選択する Tree Memory

は教師なし学習として分類することができる．これにNetwork を提案しており，他の LSTM を用いた予測

対して，強化学習の枠組みを用いた経路予測手法が存手法に比べて長期での経路予測を実現している．

在する．強化学習とは，ある環境においてエージェン

経路予測では LSTM が用いられることが多いが，トが現在の状態を考慮し，取るべき行動を選択するよ

CNN を用いて予測結果を直接推定する手法も存在す

うな問題および行動を決定するための方策を学習する

る．Yi ら [45] は過去の移動経路から予測経路を直接ことを指す．通常，強化学習は有限の状態数を持つマ出力するような Behavior-CNN を提案している．こルコフ決定過程として定義され，報酬が最大化するよの手法では，歩行者の過去の数フレームの移動座標をうな行動を取ることができるように最適な方策を試行

各チャネルに保存したスパースな 3 次元データを作成

錯誤しながら学習する．図 5 に示すように，強化学習

し，Behavior-CNN の入力とする．その後，畳み込みの枠組みにおいてエージェントは予測対象，環境は動及び Max Pooling を適用することで入力データを符

画像から観測されるシーン，状態は歩行者の位置，行

号化し，deconvolution を適用し復号化することで，予動は歩行者の移動と捉えることができる．

測結果を出力している．また，入り口や障害物などの強化学習では，エージェントが取った行動の良さの存在により，特定のシーン中の位置によって異なる歩指標として，選択した行動によって遷移した状態に対行者の振る舞いを考慮するために，location bias map

しての報酬を定義する必要がある．しかし，今回の経と呼ばれるバイアスをエンコーダによって符号化され路予測のような問題に強化学習を適用する場合，明示たデータの各チャネルに加えることで，予測精度を向的に報酬を決定することが難しい．このように，強化上させている．Yagi ら [50] は一人称視点映像中の歩学習における報酬を決定する問題を報酬設計問題と呼行者の移動経路の予測手法を提案している．この手法

び，この問題を解決するためのアプローチの一つに逆では，Faster R-CNN [31], [32] によって推定した対象

強化学習が存在する [63]．逆強化学習では，学習で最者の位置と画像中でのスケールに加えて，撮影者自身

適な行動系列のデータから同じような行動を取ることの自己運動量および OpenPose [34] で推定した対象者ができるような報酬を推定し，テスト時にその報酬をの姿勢を入力として用いている．観測開始までの数フ用いてエージェントの行動選択を行う．逆強化学習をレームに対応するこれらの情報を畳み込みによって符経路予測に用いる場合，実際の歩行者の歩行軌跡を最号化し，deconvolution を用いて復号化することで，未適な行動系列として学習に使用し最適な報酬を推定来の時刻での対象者の位置を出力している．一人称視する．

点映像中の歩行者の経路を予測する場合，撮影者が移逆強化学習はロボティクスの分野においてロボット

動することで画像中の対象者の位置が変化するため，の最適な動きを教師データから学習し制御する技術 [6]

カメラ自身の移動量を考慮する必要がある．この手法
7電子情報通信学会論文誌 xxxx/xx Vol. Jxx–X No. xxとして用いられているが，Kitani ら [37] は動画像からの経路予測に逆強化学習を初めて導入した．彼らは対象の位置を求めるのではなく，ある時刻またはある地点で対象が取るであろう行動を推定しており，推定した行動によって遷移した対象の位置を連続して求めることで移動経路を予測している．座標を直接推定する path prediction に対して，彼らはこの問題設定を

図6

一人称視点映像からの経路予測．左: 文献 [42]，右:文献 [43] より引用．

activity forecasting と呼び，コンピュータビジョンにおける新たな問題設定として提案している．Activity

ら [53] はキッチンやバスルーム，ベッドルームなどのforecasting は予測対象や環境に応じて取りうる行動

より広範囲での経路予測を実現している．

を定義し推定できることから，様々な問題に応じた予

3. 5 その他のアプローチ

測を行う可能性を秘めているが，扱うモデルが複雑に多くの経路予測手法が上記の 4 種類のアプローチになるため path prediction に比べて挑戦的な問題設定分類されるが，これらに属さないアプローチもいくつとなっている．

か存在する．

Kitani ら [37] はシーンの物理的環境属性が歩行者

Social Force Model [64] は歩行者間や歩行者と何かの経路に大きく影響していると仮定し，セマンティッ

しらの物体との間に “social force” と呼ばれるエネル

クセグメンテーションによって推定したシーンの環境

ギーが存在していると仮定することで物体とのインタ属性を特徴マップとして用いている．その特徴ベクトラクションを考慮した歩行者の動きのモデルである．

ルと重みベクトルとの一次結合によって各領域でのこの Social Force Model を元にした予測手法として，報酬を定義しており，最適な重みベクトルを学習デー

Yamaguchi ら [55] は歩行者の状態に歩行者の好みのタ，すなわち実際に対象が移動した軌跡データから推速度や，目的地，他の歩行者と一緒に移動しているか定する．テスト時には，予測対象の歩行者の現在地おという状態を追加したモデルを提案している．この研よび目的地を所与として，目的地に到達するまでの究では主に人物追跡の精度向上が目的とされているが，行動系列を生成することにより移動経路を予測する．

提案モデルの妥当性を評価するための実験として経Lee ら [51] は，同様のアプローチを用いて，アメリカ

路予測を行なっている．Robicquet ら [56] は，Social

ンフットボールのプレイ映像におけるプレイヤーの移Force Model に基づき，他の移動物体との衝突を避け

動経路を予測している．また，Ma ら [35] は複数の歩るような動きを考慮した経路予測を提案している．こ行者が衝突を避けつつ目的地へ移動する際の経路をの手法では，予測対象が回避行動を起こし始める距離

予測することを目的として，逆強化学習に仮想プレイ

や回避の動きが異なることを仮定しており，対象毎に(Fictitious Play) と呼ばれるゲーム理論を導入するこ異なる回避行動を予測している．具体的には学習に用とで，複数人の経路を同時に予測している．

いる移動対象毎に “social sensitivity features” と呼前述の逆強化学習に基づく手法では歩行者の目的地

ばれる特徴量を求め，この特徴量に対して K-meansを所与としていたが，Rehder ら [39] は Destination

clustering を適用し回避行動の種類をいくつかのクラ

Network と呼ばれるネットワークを提案しており，過スタに分割し，各クラスタでの平均的な回避行動を求去の数フレームの移動軌跡から対象者の目的地を推定

める．予測時には，対象の social sensitivity features

し，推定した目的地及び FCN [24], [25] で推定した周からどのクラスタに割り当てられるかを決定し，その囲の環境属性を用いて歩行者の経路予測を行なってクラスタの行動軌跡をシーンにマッピングすることでいる．

経路予測を実現している．

このほかの逆強化学習を用いた研究として，Bokhari

Keller ら [4] は車載カメラ映像から抽出したオプティ

ら [52] は一人称視点映像において対象者が把持してカルフローを用いた経路予測手法を提案している．こいる物体やその状態を考慮することで将来の目的地の手法では，予測開始までの過去の数フレームからオを考慮した経路予測を行なっている．この研究では，プティカルフローを抽出し，歩行者の動きの特徴量とキッチンスペース内での移動という非常に狭く限定

して方向ヒストグラムを作成する．この方向ヒストグ的なシーン中での移動を予測していたが，Rhinehart
8

サーベイ論文／動画像を用いた経路予測手法の分類

UCY [65]
ETH [66]
Edinburagh Informatics Forum [67]
Stanford Drone [56]

年代
2007
2009
2009
2016

表 3 データセットの比較．
入手
歩行者数
映像視点
✓（注 2）
786
鳥瞰✓（注 3）
750
鳥瞰✓（注 4） 95,998
鳥瞰✓（注 5） 11,216
鳥瞰

VIRAT [20]2011✓（注 6）

4,021

シーン数 歩行者以外の対象
3
–
2
–
1
–
8
bikers, car,bus, cart,
skateborder
監視カメラ
11
car, bike

Town Centre [68]Grand Central Station [69]Daimler [3]
KITTI [70]

2011
2015
2013
2012

✓（注 7）✓（注 8）✓（注 9）✓（注 10）230
12,600
68
6,336

監視カメラ
監視カメラ
車載
車載

1
1
–
–

–
–
–
car

EgoMotion [42]First-person Continuous Activity [53]First-person Locomotion [50]

2016
2017
2018

–
–
5,000

一人称
一人称
一人称

26
17
–

–
–
–

追加情報
–
–
–
–

物体の座標
行動カテゴリ
頭部の座標–
ステレオカメラステレオカメラ
LIDAR
地図情報
ステレオカメラ
物体情報–

ラムの系列データを用いて学習データから類似した経プレイヤーの動きを予測している．この手法では，先路データを検索し，マッピングすることで経路予測をほどのように AlexNet を用いて類似シーンの移動軌実現している．

跡を複数取得すると同時に，複数の一人称視点映像かRehder ら [54] はマルコフ過程の枠組みに基づき，ら “joint attention” と呼ばれるプレイヤーに共通す

歩行者の状態（位置）及び移動速度をそれぞれ正規分る注目領域を推定している．推定した joint attention

布とフォン・ミーゼス分布を用いて定義し，各時刻でやプレイヤーの位置，取得した複数の軌跡をもとにコこれらの分布の積を取ることで歩行者の状態を逐次的

スト関数を定義し，コストを最小にする各プレイヤーに推定し，経路を予測している．その際，歩行者の目の予測軌跡の組み合わせを求めることで，複数人の経的地をシーンの環境属性から推定した結果を用いるこ

路予測を実現している．

とで，移動方向に対して制約が与えられ，予測精度を向上させている．

4. 経路予測に用いられるデータセット

また，Park ら [42] は図 6 に示すように，一人称視点

経路予測手法を定量的に評価するために，表 3 及び映像から撮影者自身の将来の移動経路を予測すること

図 7 に示すような様々なデータセットが用いられていを目的として，検索ベースのアプローチを取っている．

る．これは，予測を行う際の映像視点やシーンの数，

この手法では，AlexNet で一人称視点映像からシーン経路予測の応用先などの様々な条件によって使用できの特徴量を抽出し，学習データの特徴量と比較するこるデータセットが異なるためであり，全ての手法におとで類似した学習シーンを検索，抽出する．この手法

いて統一的なデータセットを使用し評価することが難では撮影者の頭部に装着した 2 台のウェアラブルカメ

しい．そこで本章では，経路予測に用いられるデータ

ラをステレオカメラとして用いることで深度画像を取セットとその特性について述べる．

得している．さらに，撮影者を中心とした対数極座標4. 1 鳥瞰視点映像のデータセット

表現を用いて地上座標系へと変換し予測を行なってい動画像を用いた経路予測において，最も用いられる

る．これにより，撮影者の頭部の動きや撮影者の違い
によるカメラ位置のオフセットを抑制し，対象者に近い空間に対応する画像情報を考慮した予測を実現している．また，映像中の壁や障害物などで隠された背後に存在する領域を推定することで，オクルージョンが存在する領域に対しても経路の予測を可能としている．

Su ら [43] は Park らの手法を同一シーン中の複数人の経路予測へと発展させ，バスケットボールの試合中の（注 2）：https://graphics.cs.ucy.ac.cy/research/downloads/crowd-data（注 3）：http://www.vision.ee.ethz.ch/en/datasets/（注 4）：http://homepages.inf.ed.ac.uk/rbf/FORUMTRACKING/（注 5）：http://cvgl.stanford.edu/projects/uav\_data/（注 6）：http://www.viratdata.org/（注 7）：http://www.robots.ox.ac.uk/~lav/Papers/benfold_reid_cvpr2011/
benfold_reid_cvpr2011.html（注 8）：http://www.ee.cuhk.edu.hk/~xgwang/grandcentral.html（注 9）：http://www.gavrila.net/Datasets/Daimler_Pedestrian_Benchmark_D/daimler_pedestrian_benchmark_d.html（注 10）：http://www.cvlibs.net/datasets/kitti/

9電子情報通信学会論文誌 xxxx/xx Vol. Jxx–X No. xxのは駅構内や市街地をドローンや監視カメラを用いてVIRAT Video Dataset [20] は監視カメラで撮影さ上部から撮影したデータセットである．これらのデー

れた駐車場の映像からなるデータセットであり，歩行

タセットは主に人物追跡を目的として作成されている者の位置に加えて，自動車やシーン中に存在する物体

が，歩行者の座標列，すなわち移動軌跡が教師ラベルの位置情報が用意されている．さらに，人物の自動車として与えられているため，経路予測の評価実験にもへの乗降りやトランクの開閉などの行動に対するラ

使用されている．本論文ではこのようなデータセット

ベルも付与されている．また，動画像の撮影シーンはのうち，シーンをほぼ真上から撮影したデータセット

11 シーンであり，表 3 に記載した他の鳥瞰視点映像

を鳥瞰視点映像のデータセットと定義し，以下では鳥のデータセットよりも多くのシーンを含んだデータ

瞰視点映像のデータセットについて述べる．

セットとなっている．Town Centre Dataset [68] は移UCY Dataset [65] 及び ETH Dataset [66] は市街地

動物体は歩行者のみであるが，人物の位置を示すバウの歩行者を撮影されたシーンからなるデータセットでンディングボックスに加えて，歩行者の頭の位置に対ある．このデータセットでは，歩行者のみが存在する

するラベルも付与されている．

シーンを撮影した動画像から構成されている．そのたGrand Central Station Dataset [69] は駅構内に設

め，経路予測手法の評価に用いられるデータセットの置された監視カメラで撮影されたデータセットである．

中では比較的シンプルな環境のデータセットとなっ

データセットは図 7(g) に含まれる 1 シーンのみからている．Edinburgh Informatics Forum Pedestrian

構成されているが，多数の歩行者を解析する群集行動

Database [67] はエディンバラ大学構内に設置した定解析を主な目的として作成されており，広範囲を撮影

点カメラによって歩行者を撮影したデータセットであしている．そのため，一度に大量の歩行者が存在してり，UCY Dataset 及び ETH Dataset と類似した環いる非常に複雑なデータセットとなっている．

境で撮影されたデータセットである．このデータセッ
トには，90,000 本以上もの軌跡データが記録されており，非常に大規模なデータセットとなっている．

4. 3 車載カメラ映像のデータセット
自動車の自動運転支援を目的として，車載カメラ映像のデータセットが経路予測に用いられている．車載

上記のデータセットは主に経路予測や群衆行動解析

カメラ映像では，主に自動車の前方を撮影した映像中を目的として作成されたものである．一方，Stanfordの歩行者の移動経路を予測することを目的としている．

Drone Dataset [56] は経路予測を目的として作成され車載カメラ映像のデータセットにはステレオカメラやたデータセットである．このデータセットではスタン

LIDAR などの追加情報が含まれており，これらの情

フォード大学構内の 8 つの地点をドローンに装着した

報を活用してシーンを地上座標系に変換して予測が行

カメラを用いて撮影している．さらに，シーン中の移われる．

動物体は歩行者のみではなく，biker や skateborder,

Daimler Pedestrian Path Prediction Benchmark

car などの複数種類の予測対象の情報が公開されてDataset [3] は車載カメラ映像を用いて作成されたデーいる．

タセットである．このデータセットでは，歩行者が車

4. 2 監視カメラ映像のデータセット

道を横断する際に，立ち止まることなく横断する場合

鳥瞰視点映像と同様にシーンを上部から撮影したや自動車との衝突を避けるために横断しない場合など

データセットとして，監視カメラ映像のデータセットの 4 つのクラスに分類されている．また，動画像はが存在する．これらの分類の違いは映像視点である．

ステレオカメラで撮影されているため，距離情報を用鳥瞰視点映像ではシーンをほぼ真上から撮影しているいることが可能である．このデータセットは車載カメ

が，監視カメラ映像のデータセットは図 7(e, f, g) にラ映像からの経路予測を目的として作成されたデー示すようにシーンを斜め上から撮影している．シーン

タセットである．経路予測の初期に作成されたデータを斜め上から撮影することにより，障害物などのシーセットのため歩行者数は他のデータセットに比べるとンに存在する物体や歩行者の身体的特徴等を動画像か少ないが，車両前方を横切る歩行者の映像が含まれてら推定することが可能である．また，鳥瞰視点映像でいるデータセットである．

は対象の座標として画像座標を用いていたが，監視カ

KITTI Vision Benchmark Suite [70] は高度道路交メラ映像では画像座標系および射影変換によって得ら通システム (Intelligent Transport System; ITS) 向

れた地上座標系を用いる場合が存在する．

けに作成されたデータセットであり，歩行者や車両の10

サーベイ論文／動画像を用いた経路予測手法の分類

図7

経路予測のデータセット及び経路予測結果の例．文献 [5], [35], [37], [40], [42], [45],[46], [49], [50], [53], [56] より引用及び改変．

検出，白線検出などの様々な問題の評価に用いられタオルなどの物体にキッチンやバスルームなどの目的

る．KITTI Vision Benchmark Suite では RGB 画像

地が依存しているとして，日常生活の行動に準じた一に加えてステレオ画像や LIDAR の 3 次元点群デー

人称視点映像データセットを作成している．

タ，GPS を用いた世界座標系での車両の位置や地図

しかし，これらの定量的評価には独自のデータセッ

情報が公開されている．そのため，周囲の環境を理解

トが使用されており，公開されていない．そのため，するための多数のデータが利用可能なデータセットで一人称視点映像での行動予測手法の評価を行うためにある．

は，自身でデータセットの作成を行う必要がある．

4. 4 一人称視点映像のデータセット
一人称視点映像を用いた経路予測も行われている．

5. 定量的な評価指標

Park ら [42] は一人称視点映像の撮影者の移動経路を

経路予測手法を評価するためには，データセットに予測するために，屋内及び屋外を移動する際の一人称加えて統一的な評価指標を用いる必要がある．しかし，視点映像のデータセットを作成している．このデータ

表 2 に示したように，経路予測手法の出力は予測手法セットでは，市街地や店内などの 26 のシーンで合計 9のアプローチに依存して，座標または確率分布の 2 種

時間以上の一人称視点映像を撮影している．これに対類が存在する．そこで，本章では経路予測結果を定量

して，Yagi ら [50] は一人称視点映像中の歩行者の経的に評価するための評価指標について紹介する．

路を予測しており，屋外で長時間撮影した一人称視点

5. 1 座標に対する評価指標

映像のデータセットを作成している．このデータセッ

座標（座標の系列データ）として予測結果を出力

トでは 5,000 人以上の予測対象となる歩行者が観測さする場合に最も用いられる評価指標は displacement

れており，他の一人称視点映像のデータセットと比較

error である．Displacement error は，現在までに取して大規模なデータセットとなっている．Rhinehart

得した観測から次時刻の予測対象の座標を逐次的に出ら [53] はオフィスなどの屋内における人物の経路予測

力する予測手法で主に用いられる．Displacement er-を行うための一人称視点映像のデータセットを作成しror には average displacement error (ADE) と finalている．この際，対象者が把持しているマグカップや

displacement error (FDE) の 2 種類が存在する．こ11

電子情報通信学会論文誌 xxxx/xx Vol. Jxx–X No. xx

こで，yt を時刻 t における予測結果，ŷt を時刻 t にお次のように定義される．

ける真値としたとき，ADE および FDE は次のように定義される．

NLL =1 ∑∥ŷt − yt ∥2
T

(1)

t=1

FDE = ∥ŷT − yT ∥2− log p(ŷt )

(5)

t=1

T

ADE =

T
∑

(2)

これは分布 p(y) のもとで，真値 ŷ を取りうる負の対数尤度を表している．すなわち，NLL の値が小さいほど真値に近い経路が予測されていると見なすことがでADE では，予測を開始する時刻から終了する時刻まきる．MHD は主に逆強化学習に基づく予測手法で主での各時刻の真値と予測値のユークリッド距離の平均に用いられている．

を求めている．一方，FDE では予測終了時刻での真6. お わ り に

値と予測値のユークリッド距離を誤差として算出している．ADE では予測期間全体での精度を評価してい本論文では，動画像を入力とする経路予測手法のるのに対して，FDE では遠い未来の時刻での予測精サーベイ及び，経路予測手法に用いられるデータセッ

度のみを評価している．評価対象となる時刻が異なる

トについて報告した．まず，経路予測に用いられる動ため，これらは同時に評価指標として使用されること

画像からの特徴抽出法について分類した．特徴抽出にが多い．

ついては，シーンの環境に関する特徴抽出及び歩行者

座標に対する別の評価指標として，modified Haus-などの予測対象に関する特徴抽出について述べた．予

dorﬀ distance (MHD) [71] が 存 在 す る ．こ こ で ，測手法については，ベースとなるアプローチに基づき，

A = {a1 , . . . , aNa } および B = {b1 , . . . , aNb } をそ

予測手法を 4 つのグループに大別した．1 つ目のベイ

れぞれ座標の集合とする．座標の集合 A から B までズモデルに基づく手法では，対象物が移動する経路にの有向距離は次のように定義される．

ついての確率モデルを定義し，各時刻での内部状態をd(A, B) =1 ∑Na

逐次的に求めることで経路予測を実現している．2 つd(a, B)(3)a∈A

目のエネルギー最小化に基づく手法では，シーン中の微小領域毎に対象が移動する可能性をコストとして計

ここで，d(a, B) = minb∈B ∥a − b∥2 とする．MHD は算し，2 次元の格子状のグラフを作成したのちに，ダA および B の間の有向距離 d(A, B) と d(B, A) を用

イクストラ法を用いて最短経路を推定することで予測いて次式により定義される．

経路を生成している．3 つ目の深層学習に基づく手法
では，予測開始前の数秒間の対象物の移動軌跡を観測

MHD(A, B) = max (d(A, B), d(B, A))(4)

MHD を経路予測の評価指標として用いる場合，A お
よび B にそれぞれ予測結果の座標列と真値の座標列を用いて計算を行う．MHD は三次元点群で表現された物体間の類似度として提案された指標であるが，経路の座標列を 2 次元の曲線と見なすことで，経路予測の評価指標に用いられている．MHD は上記のdisplacement error に比べて，長期間の経路予測結果
や目的地があらかじめ設定されている経路予測結果に対して使用されることが多い．

5. 2 確率分布に対する評価指標
予測結果が確率分布として出力される場合には，negative log-loss (NLL) が評価指標として広く用いられている．真値の座標列を ŷ = {ŷ1 , . . . , ŷT }，予測手法により生成した分布を p(y) とするとき，NLL は
12としてネットワークに入力し，その後の数秒間の移動経路を出力することで経路を予測している．4 つ目の逆強化学習に基づく手法では，教師データから推定した行動選択の基準となる報酬及び方策を用いて，予測対象の行動を連続して選択することで経路を予測している．また，これらの 4 種類の予測手法は独立して用いられる場合のみではなく，複合的な手法も提案されている [40]．
また，経路予測手法の評価に用いられるデータセッ
トおよび評価指標についても調査した．調査したデー
タセットは主に歩行者検出やトラッキングを目的として構築されている．経路予測を目的としたデータセットとして，Stanford Drone Dataset や Daimler

Pedestrian Path Prediction Benchmark Dataset が存在する．定量的な評価指標として，座標の予測結果に対して displacement error および MHD が広く用

サーベイ論文／動画像を用いた経路予測手法の分類

いられており，確率分布の予測結果に対して NLL がHow, “Motion planning with diﬀusion maps,” Inter-

使用されている．

national Conference on Intelligent Robots and Sys-

謝辞

本研究は科研費 (JP16H06540) の補助を受けたものである．
献

avoidance with deep reinforcement learning,” International Conference on Robotics and Automation,

R. Mehran, A. Oyama, and M. Shah, “Abnormal

pp.285–292, 2017.

crowd behavior detection using social force model,”Computer Vision and Pattern Recognition, pp.935–
[2]

[15]

cially aware motion planning with deep reinforce-

V. Mahadevan, W. Li, V. Bhalodia, and N. Vascon-

ment learning,” International Conference on Intelli-puter Vision and Pattern Recognition, pp.1975–1981,

gent Robots and Systems, pp.1343–1350, 2017.
[16]

diction learned from long-term autonomous mobile
robot deployment data,” International Conference on
Robotics and Automation, pp.5942–5948, 2018.
[17]

cross? a study on pedestrian path prediction,” IEEE

videos,” International Conference on Computer Vision, pp.1036–1043, 2011.
[18]

tion, pp.2863–2870, 2012.
[19]

recognition: Feature, temporal structure, and pre-B.D. Ziebart, N. Ratliﬀ, G. Gallagher, C. Mertz, K.

diction,” International Journal of Computer Vision,
vol.119, no.3, pp.307–328, 2016.
[20]

J.T. Lee, S. Mukherjee, J.K. Aggarwal, H. Lee, L.

and Systems, pp.3931–3936, 2009.

Davis, E. Swears, X. Wang, Q. Ji, K. Reddy, M. Shah,V. Karasev, A. Ayvaci, B. Heisele, and S. Soatto,

C. Vondrick, H. Pirsiavash, D. Ramanan, J. Yuen, A.

“Intent-aware long-term prediction of pedestrian mo-

Torralba, B. Song, A. Fong, A. Roy-Chowdhury, andtion,” International Conference on Robotics and Au-

M. Desai, “A large-scale benchmark dataset for event

tomation, pp.2543–2549, 2016.

recognition in surveillance video,” Computer Vision
and Pattern Recognition, pp.3153–3160, 2011.

A. Vemula, K. Muelling, and J. Oh, “Modeling co[21]T. Hirakawa, T. Yamashita, T. Tamaki, and H. Fu-

ternational Conference on Robotics and Automation,jiyoshi, “Survey on vision-based path prediction,” In-pp.1685–1692, 2017.

ternational Conference on Human-Computer Interaction, 2018.

山内悠嗣，山下隆義，藤吉弘亘，“画像からの統計的学習手法に基づく人検出，” 電子情報通信学会論文誌 D，vol.96，[22]

puter Vision, pp.57–70, 2010.

福井宏，山下隆義，山内悠嗣，藤吉弘亘，“Deep learningを用いた歩行者検出の研究動向，” 電子情報通信学会技術研

D. Munoz, J.A. Bagnell, and M. Hebert, “Stacked
hierarchical labeling,” European Conference on Com-no.9，pp.2017–2040，2013．
[23]

J. Yang, B. Price, S. Cohen, and M.H. Yang, “Con-究報告 (PRMU) 技術報告，vol.116，no.366，pp.37–46，

text driven scene parsing with attention to rare

2016．

classes,” Computer Vision and Pattern Recognition,
pp.3294–3301, 2014.

川西康友，新村文郷，出口大輔，村瀬洋，“画像からの歩行者属性認識，” 電子情報通信学会技術研究報告 (PRMU)[24]

J. Long, E. Shelhamer, and T. Darrell, “Fully convo-

技術報告，vol.115，no.388，pp.117–127，2015．

lutional networks for semantic segmentation,” Com-

H. Zhu, F. Meng, J. Cai, and S. Lu, “Beyond pixels:

puter Vision and Pattern Recognition, pp.3431–3440,
2015.

A comprehensive survey from bottom-up to semantic image segmentation and cosegmentation,” Journal[13]

S. Oh, A. Hoogs, A. Perera, N. Cuntoor, C.C. Chen,ans,” International Conference on Intelligent Robots

operative navigation in dense human crowds,” In-[12]

M.S. Ryoo and L. Matthies, “First-person activity

633, 2014.

S. Srinivasa, “Planning-based prediction for pedestri-[11]

M. Hoai and F.D. laTorre, “Max-margin early event
detectors,” Computer Vision and Pattern Recogni-

J.F.P. Kooij, N. Schneider, F. Flohr, and D.M.

Peterson, J.A. Bagnell, M. Hebert, A.K. Dey, and

[10]

Early

recognition of ongoing activities from streaming

European Conference on Computer Vision, pp.618–[9]

M.S. Ryoo, “Human activity prediction:

C.G. Keller and D.M. Gavrila, “Will the pedestrian

Gavrila, “Context-based pedestrian path prediction,”[8]

M. Hanheide,prediction with recursive bayesian filters: A compar-

vol.15, no.2, pp.494–506, 2014.

[7]

S.M. Mellado,

N. Schneider and D.M. Gavrila, “Pedestrian path

Transactions on Intelligent Transportation Systems,[6]

Z. Yan,and T. Duckett, “3dof pedestrian trajectory pre-nition, pp.174–183, 2013.

[5]

L. Sun,2010.

ative study,” German Conference on Pattern Recog[4]Y.F. Chen, M. Everett, M. Liu, and J.P. How, “So-

942, 2009.
celos, “Anomaly detection in crowded scenes,” Com-

[3]

Y.F. Chen, M. Liu, M. Everett, and J.P. How, “Decentralized non-communicating multiagent collision

文[1]tems, pp.1423–1430, 2016.
[14]

[25]

E. Shelhamer, J. Long, and T. Darrell, “Fully convo-

of Visual Communication and Image Representation,lutional networks for semantic segmentation,” IEEE

vol.34, pp.12–27, 2016.

Transactions on Pattern Analysis and Machine Intel-

Y.F. Chen, S.-Y. Liu, M. Liu, J. Miller, and J.P.

ligence, vol.39, no.4, pp.640–651, 2017.

13

電子情報通信学会論文誌 xxxx/xx Vol. Jxx–X No. xx
[26]

[27]

G. Csurka, C. Dance, L. Fan, J. Willamowski, and[40]

Torr, and M.K. Chandraker, “DESIRE: Distant Fu-

points,” European Conference on Computer Visionture Prediction in Dynamic Scenes with Interacting

Workshops, pp.1–22, 2004.

Agents,” Computer Vision and Pattern Recognition,
pp.336–345, 2017.

S. Huang, X. Li, Z. Zhang, Z. He, F. Wu, W. Liu, J.
Tang, and Y. Zhuang, “Deep learning driven visual[41]

path prediction from a single image,” IEEE Trans5904, 2016.

Vision and Pattern Recognition, pp.3302–3309, 2014.
[42]

A. Krizhevsky, I. Sutskever, and G.E. Hinton, “Im-[29]

tern Recognition, pp.4697–4705, 2016.
[43]

ing behaviors of basketball players from first person

J. Bromley, I. Guyon, Y. LeCun, E. Säckinger, and R.

videos,” Computer Vision and Pattern Recognition,

delay neural network,” Advances in Neural Informa-

pp.1502–1510, 2017.
[44]

Matter’ and ‘Dark Energy’ from videos,” Interna-

N. Dalal and B. Triggs, “Histograms of oriented gra-tional Conference on Computer Vision, pp.2224–

Pattern Recognition, pp.886–893, 2005.

2231, 2013.
[45]

understanding and prediction with deep neural net-

cnn: Towards real-time object detection with region

works,” European Conference on Computer Vision,

Processing Systems, pp.91–99, 2015.

pp.263–279, 2016.
[46]

Fei-Fei, and S. Savarese, “Social lstm: Human trajec-

r-cnn: Towards real-time object detection with re-tory prediction in crowded spaces,” Computer Vision

tern Analysis and Machine Intelligence, vol.39, no.6,

and Pattern Recognition, pp.961–971, 2016.
[47]

pp.1137–1149, 2017.

and

A.D.

T.

Fernando,

Sridharan,

and“Soft + hardwired attention:

S.

Denman,S.

An

Z. Cao, T. Simon, S.-E. Wei, and Y. Sheikh, “Re-and abnormal event detection,” arXiv preprint,
arXiv:1702.05552, 2017.
[49]

T. Fernando, S. Denman, A. McFadyen, S. Sridharan,

nition, pp.7291–7299, 2017.

and C. Fookes, “Tree memory networks for modelling

W. Ma, D. Huang, N. Lee, and K.M. Kitani, “Fore-long-term temporal dependencies,” arXiv preprint,
arXiv:1703.04706, 2017.
[50]

T. Yagi, K. Mangalam, R. Yonetani, and Y. Sato,tion, pp.774–782, 2016.

“Future person localization in first-person videos,”S. Singh, A. Gupta, and A.A. Efros, “Unsupervised

Computer Vision and Pattern Recognition, pp.7593–

ropean Conference on Computer Vision, pp.73–86,

7602, 2018.
[51]

2012.

on Applications of Computer Vision, pp.1–9, 2016.
[52]

on Computer Vision, pp.201–214, 2012.

S.Z. Bokhari and K.M. Kitani, “Long-term activity
forecasting using first-person vision,” Asian Confer-

L. Ballan, F. Castaldo, A. Alahi, F. Palmieri, and S.
Savarese, “Knowledge transfer for scene-specific mo-

N. Lee and K.M. Kitani, “Predicting wide receiver
trajectories in american football,” Winter Conference

K.M. Kitani, B.D. Ziebart, J.A. Bagnell, and M.
Hebert, “Activity forecasting,” European Conference

ence on Computer Vision, pp.346–360, 2016.
[53]

N. Rhinehart and K.M. Kitani, “First-person activity

tion prediction,” European Conference on Computer

forecasging with online inverse reinforcement learn-

Vision, pp.697–713, 2016.

ing,” International Conference on Computer Vision,
pp.3696–3705, 2017.

E. Rehder, F. Wirth, M. Lauer, and C. Stiller,“Pedestrian prediction by planning using deep neuralnetworks,” arXiv preprint, arXiv:r1706.05904, 2017.

14

Ballan,LSTM framework for human trajectory prediction

discovery of mid-level discriminative patches,” Eu-

[39]

L.

2010.

titious play,” Computer Vision and Pattern Recogni-[38]

Lisanti,C. Fookes,

casting interactive dynamics of pedestrians with fic-

[37]

G.

puter Vision and Pattern Recognition, pp.982–989,

aﬃnity fields,” Computer Vision and Pattern Recog-[36]

Bartoli,

preprint, arXiv:1705.02503, 2017.
[48]

altime multi-person 2d pose estimation using part

[35]

F.

Bimbo, “Context-aware trajectory prediction,” arXiv

M. Enzweiler and D.M. Gavrila, “Integrated pedestrian classification and orientation estimation,” Com-

[34]

A. Alahi, K. Goel, V. Ramanathan, A. Robicquet, L.

S. Ren, K. He, R. Girshick, and J. Sun, “Fastergion proposal networks,” IEEE Transactions on Pat-

[33]

S. Yi, H. Li, and X. Wang, “Pedestrian behavior

S. Ren, K. He, R. Girshick, and J. Sun, “Faster rproposal networks,” Advances in Neural Information[32]

D. Xie, S. Todorovic, and S.C. Zhu, “Inferring ‘Dark

tion Processing Systems, pp.737–744, 1994.
dients for human detection,” Computer Vision and[31]

S. Su, J.P. Hong, J. Shi, and H.S. Park, “Predict-ing Systems, pp.1097–1105, 2012.
Shah, “Signature verification using a" siamese" time

[30]

H.S. Park, J.J. Hwang, Y. Niu, and J. Shi, “Egocentric future localization,” Computer Vision and Pat-

agenet classification with deep convolutional neuralnetworks,” Advances in Neural Information Process-J. Walker, A. Gupta, and M. Hebert, “Patch to the
future: Unsupervised visual prediction,” Computer

actions on Image Processing, vol.25, no.12, pp.5892–[28]

N. Lee, W. Choi, P. Vernaza, C.B. Choy, P.H.S.

C. Bray, “Visual categorization with bags of key-[54]

E. Rehder and H. Kloeden, “Goal-directed pedestrian
prediction,” International Conference on Computerサーベイ論文／動画像を用いた経路予測手法の分類
2015.

Vision Workshops, pp.139–147, 2015.
[55]

K. Yamaguchi, A.C. Berg, L.E. Ortiz, and T.L. Berg,[70]

for autonomous driving? the kitti vision benchmark

puter Vision and Pattern Recognition, pp.1345–1352,

suite,” Computer Vision and Pattern Recognition,

2011.
[56]

[57]

A. Geiger, P. Lenz, and R. Urtasun, “Are we ready“Who are you with and where are you going?,” Com-

pp.3354–3361, 2012.

A. Robicquet, A. Sadeghian, A. Alahi, and S.

[71]

M.P. Dubuisson and A.K. Jain, “A modified haus-

Savarese, “Learning social etiquette: Human trajec-

dorﬀ distance for object matching,” International

tory understanding in crowded scenes,” European

Conference on Pattern Recognition, vol.1, pp.566–

Conference on Computer Vision, pp.549–565, 2016.

568, 1994.

R.E. Kalman, “A new approach to linear filtering and（平成 xx 年 xx 月 xx 日受付）

prediction problems,” Journal of basic Engineering,vol.82, no.1, pp.35–45, 1960.
[58]

N.J. Gordon, D.J. Salmond, and A.F.M. Smith,“Novel approach to nonlinear/non-gaussian bayesianstate estimation,” IEE Proceedings F - Radar and平川

Signal Processing, vol.140, no.2, pp.107–113, 1993.
[59]

[60]

翼

G. Kitagawa, “Monte carlo filter and smoother for2017 年 広島大学大学院博士課程後期課

non-gaussian nonlinear state space models,” Jour-

程情報工学専攻修了，2017 年 中部大学研

nal of Computational and Graphical Statistics, vol.5,

究員．2014 年 独立行政法人日本学術振興no.1, pp.1–25, 1996.

会特別研究員 DC1．コンピュータビジョ

J.W. Robinson and A.J. Hartemink, “Non-stationary

ン，パターン認識，医用画像処理の研究に

dynamic bayesian networks,” Advances in Neural In-

従事．

formation Processing Systems, pp.1369–1376, 2009.
[61]

K. Cho,B. vanMerrienboer,Ç.

Gülçehre,

F.

山下 隆義

Bougares, H. Schwenk, and Y. Bengio, “Learning

[62]

（正員）

phrase representations using RNN encoder-decoder

2002 年 奈良先端科学技術大学院大学博for statistical machine translation,” Empirical Meth-

士前期課程修了，2002 年 オムロン株式会

ods in Natural Language Processing, pp.1724–1734,

社入社，2011 年 中部大学大学院博士後期2014.

課程修了，2014 年 中部大学講師，2017

D.P. Kingma, S. Mohamed, D. Jimenez Rezende,

年 中部大学准教授．人の理解に向けた動and M. Welling, “Semi-supervised learning with deep
generative models,” Advances in Neural Information

画像処理，パターン認識・機械学習の研究に従事．

Processing Systems, pp.3581–3589, 2014.
[63]

S. Russell, “Learning agents for uncertain environ-

玉木

ments (extended abstract),” Annual Conference on
[64]

[65]

徹

（正員）

Computational Learning Theory, pp.101–103, 1998.

2001 年 名古屋大学大学院工学研究科博

D. Helbing and P. Molnar, “Social force model for

士課程後期課程情報工学専攻修了．同年新pedestrian dynamics,” Physical review E, vol.51,

潟大学工学部情報工学科助手．2005 年広島

no.5, pp.4282–4286, 1995.

大学大学院工学研究科准教授．コンピューA. Lerner, Y. Chrysanthou, and D. Lischinski,

タビジョン，画像認識の研究に従事．

“Crowds by example,” Computer Graphics Forum,vol.26, no.3, pp.655–664, 2007.
[66]

S. Pellegrini, A. Ess, K. Schindler, and L. vanGool,

藤吉 弘亘“You’ll never walk alone: Modeling social behavior
for multi-target tracking,” International Conference
[67]

[68]

[69]

（正員）

1997 年 中部大学大学院博士後期課程修on Computer Vision, pp.261–268, 2009.

了，1997 年 米カーネギーメロン大学ロボッ

B. Majecka, “Statistical models of pedestrian be-

ト工学研究所 Postdoctoral Fellow，2000

haviour in the forum,” PhD thesis, MSc Dissertation,

年 中部大学工学部情報工学科講師，2004

School of Informatics, University of Edinburgh, 2009.

年 中部大学准教授，2005 年 米カーネギー

B. Benfold and I. Reid, “Stable multi-target track-

メロン大学ロボット工学研究所客員研究員

ing in real-time surveillance video,” Computer Vision(〜2006 年)，2010 年 中部大学教授，2014 年名古屋大学客員

and Pattern Recognition, pp.3457–3464, 2011.

教授．計算機視覚，動画像処理，パターン認識・理解の研究に

S. Yi, H. Li, and X. Wang, “Understanding pedes-

従事．

trian behaviors from stationary crowd groups,” Computer Vision and Pattern Recognition, pp.3488–3496,

15

Abstract Path prediction is a fundamental task for estimating how pedestrians or vehicles are going
to move in a scene. Because path prediction as a task of computer vision uses video as input, various
information used for prediction, such as the environment surrounding the target and the internal state of
the target, need to be estimated from the video in addition to predicting paths. Many prediction approaches
that include understanding the environment and the internal state have been proposed. In this survey, we
systematically summarize methods of path prediction that take video as input and and extract featuresfrom the video. Moreover, we introduce datasets and evaluation metrics used to path prediction methods
quantitatively.
Key words Path prediction, Activity Forecasting, Dataset, Survey