2022 年度
中部大学大学院工学研究科情報工学専攻

博士学位論文周辺環境を考慮した経路予測に関する研究

箕浦 大晃

論

文

要

旨

経路予測とは，人間や自動車などの移動物体が未来にどのような経路を辿るかを過去の経路から予測する技術である．経路予測は，自動運転車，自律ロボット及び，監視カメラシステムなどで応用が期待され精力的に研究されている．これらのアプリケーションでは，歩行者や自動車といったクラスが異なる複数の対象の経路を同時に予測したり，対象間の衝突を避ける経路を予測したりする必要がある．特に後者は，人との接触の可能性があるシーンにおいて自動運転車や自律ロボット
等の機械が衝突を避ける経路を予測しなければ事故に繋がる．人間は暗黙的なインタラクションにより，人間同士が互いに衝突を避けることを考慮するが，それを機械が考慮するためには人間が明示的に与えるか機械自身がモデル化する必要がある．そこで，人間同士の衝突を避けるインタラク
ションを深層学習でモデル化することで高性能な経路予測を実現できる．
深層学習で対象間のインタラクションをモデル化することで衝突回避が可能な経路予測が実現できる一方，従来の予測手法は以下 3 つの問題が挙げられる．1 つ目は，歩行者を対象とし暗黙的にクラスが異なる対象を同一クラスと扱う点である．例えば，歩行者は歩道や車道を歩き，自動車は車
道を走ることが想定される．歩行者や自動車等が映るシーンで経路を同時予測する場合，既存の経路予測手法では予測対象のクラスに応じた経路を予測できない．これを解消するために対象のクラス毎にモデルを作成する必要があるが，対象のクラスが増加するにつれ扱うモデル数も増加し計算コストの面から現実的とは言えない．2 つ目は，正確な経路情報が必要となる点である．経路予測において必要となるのは，一連のフレームにおける予測対象の ID 情報で，これは検出と追跡技術により取得可能である．実社会で経路予測の実装を想定すると，混雑シーンでオクルージョン等により予測対象の正確な ID 情報の取得が困難で，既存の経路予測手法をそのまま適用できない．3 つ目は，混雑シーンで個々人のインタラクションを求めるコストがかかる点である．インタラクションを捉える既存研究は，個人レベルでインタラクションを求めており，対象数が増加するにつれ計算コストがかかる．そのようなシーンでは，対象間のインタラクションを効率的にモデル化する必要がある．
本研究では，上記問題に対し，インタラクションを扱うアプローチとインタラクション以外を扱うアプローチで対処する．まず，1 つ目では移動対象のクラスに応じた経路予測を目的に，予測対象の属性と周囲の環境情報を導入した経路予測を提案する．歩行者や自動車を属性とみなし，属性を

one-hot vector とコンパクトな表現で扱うことで，対象のクラス毎にモデルを作成する必要がない．また，予測対象周囲の環境情報を用いることで，移動対象のクラスに応じた経路予測を実現する．2 つ目では，不正確な経路情報で適用可能な経路予測を目的に，シーンの各場所が将来どれだけ混雑しているかのマップ，すなわち群集密度マップを直接予測する手法を提案する．群衆をマップとして表現することで，正確な歩行者の検出と追跡を必要とせず直接群衆の将来の動きを予測できる．3 つ目では，混雑シーンにおける効率的な歩行者間のインタラクションを捉える経路予測を目的に，歩行者間のグループ間とグループ内のインタラクションをモデル化する Group-based Forecasting Module を提案する．Group-based Forecasting Module では，各グループのインタラクションに関連する重要な対象に着目させるために Attention 機構を導入する．各グループで独立した Attention 機構により，それぞれのグループの特性に応じた経路の予測及びインタラクションを効率的に捉えることができる．

i

ii

目次
第 1 章 序論

1

1.1

研究の背景

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2

1.2

研究目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

1.3

本論文の構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

第 2 章 深層学習を用いた経路予測の関連研究

2.1

2.2

2.3

2.4

2.5

7

経路予測問題の定式化とベースモデル . . . . . . . . . . . . . . . . . . . . . . . . . .

12

2.1.1

経路予測問題の定式化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

2.1.2

LSTM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

2.1.3

CNN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15

インタラクションを考慮した経路予測手法 . . . . . . . . . . . . . . . . . . . . . . .

16

2.2.1

プーリングモデルに基づくアプローチ. . . . . . . . . . . . . . . . . . . . .

17

2.2.2

アテンションモデルに基づくアプローチ . . . . . . . . . . . . . . . . . . . .

24

2.2.3

その他のモデルに基づくアプローチ . . . . . . . . . . . . . . . . . . . . . . .

37

2.2.4

インタラクション以外の課題を扱うアプローチ . . . . . . . . . . . . . . . . .

40

経路予測のデータセット . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

44

2.3.1

鳥瞰視点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

44

2.3.2

車載カメラ視点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

46

2.3.3

一人称視点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

47

経路予測の評価指標. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

47

2.4.1

Displacement Error . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

48

2.4.2

Minimum Displacement Error . . . . . . . . . . . . . . . . . . . . . . . . . . .

48

2.4.3

Negative log-likelihood . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

48

2.4.4

Mean Square Error . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

49

2.4.5

衝突率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

49

まとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

50

第 3 章 移動対象の属性と環境情報を導入した経路予測

3.1

52

属性と環境情報を導入したネットワーク . . . . . . . . . . . . . . . . . . . . . . . .

53

問題設定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

53

3.1.1

iii

3.2

3.3

3.1.2

属性情報 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

54

3.1.3

移動情報 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

54

3.1.4

環境情報 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

55

3.1.5

ネットワークへの入力方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

55

評価実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

57

3.2.1

データセット . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

57

3.2.2

評価指標と比較手法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

58

3.2.3

実験条件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

59

3.2.4

従来手法との評価結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

60

3.2.5

異なる属性毎の評価結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

60

3.2.6

入力が異なるシーンラベルを用いた検証実験 . . . . . . . . . . . . . . . . . .

62

3.2.7

Failure cases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

63

まとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

65

第 4 章 混雑シーンにおける群衆密度予測

4.1

4.2

4.3

66

群衆密度予測 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

68

4.1.1

問題設定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

68

4.1.2

従来のネットワークモデルでの群衆密度予測 . . . . . . . . . . . . . . . . . .

69

4.1.3

パッチベースの群衆密度予測. . . . . . . . . . . . . . . . . . . . . . . . . .

69

4.1.4

時空間パッチベースの群衆密度予測 . . . . . . . . . . . . . . . . . . . . . . .

70

4.1.5

ネットワーク構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

71

評価実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

72

4.2.1

データセット . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

72

4.2.2

データの前処理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

72

4.2.3

評価方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

73

4.2.4

比較手法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

74

4.2.5

実験結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

74

まとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

79

第 5 章 インタラクションを考慮した経路予測の性能調査

80

5.1

経路予測の評価の問題点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

81

5.2

精度比較を行うモデル . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

81

5.3

学習及び評価の設定. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

83

5.4

ETH/UCY における精度比較 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

85

5.5

SDD における精度比較 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

88

5.6

各モデルの計算時間とパラメータの比較 . . . . . . . . . . . . . . . . . . . . . . . .

89

5.7

プーリングモデルとアテンションモデルの違いに対する考察 . . . . . . . . . . . . .

91

5.8

まとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

92iv

第 6 章 グループレベルのインタラクションによる経路予測

6.1

6.2

6.3

Group-based Forecasting Module による経路予測 . . . . . . . . . . . . . . . . . . . .

96

6.1.1

Overview. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

96

6.1.2

Group-based Forecasting Module . . . . . . . . . . . . . . . . . . . . . . . . .

98

評価実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105

6.2.1

実験条件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105

6.2.2

ETH/UCY における実験結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . 106

6.2.3

Ablation study . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108

6.2.4

SDD における実験結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111

6.2.5

予測結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112

まとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117

第 7 章 結論と展望

謝

93

120

7.1

結論 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120

7.2

展望 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
辞

122

参考文献

123

研究業績一覧

134

v

図目次
1.1

本論文の構成． . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.1

移動対象間の衝突を回避するインタラクションを考慮した経路予測手法の傾向と分類．

6

インタラクションを考慮した予測手法は各色の枠，インタラクション以外の課題を扱う手法を黒色の枠で示す．黄色の枠はプーリングモデルに基づくアプローチ，赤色の枠はアテンションモデルに基づくアプローチ，緑色の枠はプーリングやアテンション
モデルとは異なる方法でインタラクションを考慮するその他のモデルに基づくアプ
ローチを表す． . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

92.2

経路予測問題における基本的な流れ． . . . . . . . . . . . . . . . . . . . . . . . . . .

13

2.3

LSTM の内部構成． . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

14

2.4

CNN による環境情報の抽出例． . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15

2.5

時間方向に伝播する CNN の例．

. . . . . . . . . . . . . . . . . . . . . . . . . . . .

16

2.6

プーリングモデルに基づくアプローチの違い． . . . . . . . . . . . . . . . . . . . . .

17

2.7

プーリングモデルの概略図．予測対象が黒点を中心に，様々な色で表現されている他対象に関する特徴を No × No × D で表現したグリッドにそれぞれ埋め込む． . . . .

18

2.8

Social LSTM の概略図．文献 [1] より引用及び改変． . . . . . . . . . . . . . . . . .

19

2.9

MX-LSTM のプーリング方法の概略図．文献 [2] より引用． . . . . . . . . . . . . . .

20

2.10 Social GAN の概略図．文献 [3] より引用及び改変． . . . . . . . . . . . . . . . . . .

22

2.11 MATF の構造．文献 [4] より引用及び改変． . . . . . . . . . . . . . . . . . . . . . .

23

2.12 プーリングモデルによる予測結果例．文献 [3] より引用．横軸は複数の予測結果例で左図は最も真値と似た予測経路を辿った例を示す．縦軸はそれぞれ同じ目的地に向かう歩行者のシーン，前方の集団との衝突回避シーン及び，歩行者が他の歩行者を追い越すシーンを示す． . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

23

2.13 アテンションモデルに基づくアプローチの概略図．赤線は対象間の関係を表しており，色が濃いほど関係が深いことを意味している．赤線の上部の数値は連続的な重み値であり，各対象の特徴量と乗算することでインタラクションを考慮している． . . . . .

24

2.14 CIDNN の概略図．文献 [5] より引用． . . . . . . . . . . . . . . . . . . . . . . . . .

26

2.15 SR LSTM の概略図．文献 [6] より引用． . . . . . . . . . . . . . . . . . . . . . . . .

27

2.16 Next の概略図．文献 [7] より引用． . . . . . . . . . . . . . . . . . . . . . . . . . . .

28

2.17 SoPhie の概略図．文献 [8] より引用． . . . . . . . . . . . . . . . . . . . . . . . . . .

29vi

2.18 STGAT の概略図．文献 [9] より引用． . . . . . . . . . . . . . . . . . . . . . . . . .

30

2.19 Trajectron の概略図．文献 [10] より引用． . . . . . . . . . . . . . . . . . . . . . . .

31

2.20 STAR の概略図．文献 [11] より引用及び改変． . . . . . . . . . . . . . . . . . . . . .

32

2.21 PECNet の概略図．文献 [12] より引用．

. . . . . . . . . . . . . . . . . . . . . . . .

33

2.22 FVTraj の概略図．文献 [13] より引用． . . . . . . . . . . . . . . . . . . . . . . . . .

34

2.23 STT-DTO の概略図．文献 [14] より引用．

35. . . . . . . . . . . . . . . . . . . . . . .

2.24 アテンションモデルによる予測結果例．文献 [15] より改変．各図の赤線が予測対象，
その他の色が他対象，各対象の青色の点が現在地，青色の円が予測対象の他対象に対するアテンションの大きさを表し，円が大きい他対象に予測対象の予測経路が強く影響することを示す． . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

36

2.25 RGM の概略図．文献 [16] より引用及び改変． . . . . . . . . . . . . . . . . . . . . .

38

2.26 RSBG の概略図．文献 [17] より引用． . . . . . . . . . . . . . . . . . . . . . . . . .

39

2.27 経路予測のデータセット及び，予測結果例．文献 [18]， [19]， [20]， [21]， [22]， [23]，[24]， [25]， [26]， [27]， [28]， [29] より引用及び改変． . . . . . . . . . . . . . . .

46

2.28 各評価指標の概略図．文献 [10] より引用及び改変． . . . . . . . . . . . . . . . . . .

49

3.1

提案手法のネットワーク構造．提案手法は予測対象の属性と相対座標及び，対象周囲の環境をネットワークへの入力として用いる．one-hot vector で埋め込まれた属性と畳み込み層を介してセマンティックなシーンラベルから抽出した特徴ベクトル及び，相対座標を LSTM へ入れ次時刻の相対座標を出力する． . . . . . . . . . . . . . . . . .

3.2

予測対象の属性表現．ここでは，予測対象が歩行者の例を示す．対象の属性情報から

one-hot vector を取得する． . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.3

53

54

予測対象周囲の環境情報の表現．シーンラベルから予測対象を中心とした領域を切り出しラベルマップを抽出する．ラベルマップはバイナリマップに変換した後，畳み込
み層を介して特徴マップを抽出する． . . . . . . . . . . . . . . . . . . . . . . . . . .

3.4

55

SDD のシーン例．各シーンの左図が実シーン画像，右図がアノテーションされたシー
ンラベル例を示す． . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

57

3.5

SDD の不正確な経路サンプル例．各シーン緑線がアノテーションされている． . . .

58

3.6

各予測手法の予測結果例．各行のサブグラフは属性毎の予測結果例で，上から順に

bicycle，pedestrian，car を示す． . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.7

61

障害物マップの例．シーンラベルの障害物領域を白，移動可能領域を黒とした障害物
マップを作成する．異なる環境情報をネットワークの入力として用いることで，将来の経路を予測するのに適した環境情報を分析する． . . . . . . . . . . . . . . . . . .

62

3.8

異なる環境情報を導入した場合の予測結果例 ． . . . . . . . . . . . . . . . . . . . .

63

3.9

誤った予測結果例．(a) の例は，対象の動きが急速に変化する場合の予測経路を示す．

(b)，(c) の例は，将来の経路に複数の候補があり，実際の経路と異なる経路を予測している．(d)，(e) 及び (f) は表 3.2 より，対象数が少ないデータは障害物に衝突した経路を予測した． . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

vii

64

4.1

群衆密度予測の概略図．(a) それぞれの群衆が行動するシーンで，(c) 黄色の円で示される各人の将来の位置を検出，追跡及び予測するのではなく，(b) 各場所がどれだけ混雑するかのマップ，すなわち群衆密度マップで将来のフレームで群衆がどう動くかを予測する． . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4.2

67

提案手法の概略図．観測の群衆密度マップ Cin を入力とし，将来の群衆密度マップ

Cout を予測する．PDFN-S と PDFN-ST は，空間的または時空的なパッチ毎に独立して予測するパッチベースの予測モデルを提案する．パッチは赤で強調され，CNN の
受容野の範囲で予測される． . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4.3

68

予測結果例．入力，真値 (GT)，Trajectron と群集密度推定結果を入力した PDFN-STによる予測された群集密度マップを示す．ここでは，群衆密度マップの変化を分かりやすく可視化するため，t − 5, t, t + 5, t + 10 フレーム目を選択して予測結果例を示す．

Trajectron で検出・追跡された人物は黄色の丸で囲まれている． . . . . . . . . . . .
4.477

誤った予測結果例．(a) は急に歩く方向が変わった場合のサンプル，(b) は新しい人がシーンに現れる場合のサンプルを示す． . . . . . . . . . . . . . . . . . . . . . . . .

78

5.1

ETH/UCY で観測された歩行者の経路の可視化． . . . . . . . . . . . . . . . . . . . .

84

5.2

ETH/UCY における各予測モデルの予測結果例． . . . . . . . . . . . . . . . . . . . .

87

5.3

SDD における各予測モデルの予測結果例． . . . . . . . . . . . . . . . . . . . . . . .

90

6.1

歩行者間の社会的インタラクションの例．グループ内のインタラクションは星マークのように同じ目的地に向かう歩行者グループ，グループ間のインタラクションは他のグループとの衝突を避ける経路を辿る． . . . . . . . . . . . . . . . . . . . . . . . .

94

6.2

先行研究及び，提案手法の予測結果例．破線は過去の経路，実線は未来の経路を表す． 94

6.3

提案手法のモデル構造．提案手法は Trajectory Encoder，Internal State，Prospection

Module，Clustering Module，Group-based Forecasting Module 及び，Discriminator の6 つのモジュールで構成される．Group-based Forecasting Module は，Internal State とProspection Module から出力される経路情報及び，Clustering Module で対象毎にグループとしてクラスタリングされた結果を用いて，次時刻の経路を予測する．グループ
は時間と共に常に変化しているため，Group-based Forecasting Module の予測経路はClustering Module に逐次入力される．Discriminator は実際の経路と予測された経路を判別するように敵対的に学習される． . . . . . . . . . . . . . . . . . . . . . . . . . .

6.4

96

Group-based Forecasting Module の内部構成．Group-based Forecasting Module は，デコーダの LSTM とグループ間及び，グループ内の Attention 機構により社会的なイン
タラクションを考慮した経路を予測する． . . . . . . . . . . . . . . . . . . . . . . .

6.5

98

個人レベルの Attention 機構による Forecasting Module． . . . . . . . . . . . . . . . . 102

viii

6.6

ETH/UCY における予測結果例．Group-LSTM，Ours-single-model は 1 つの経路を予測するモデル，Social-GAN，STGAT 及び Ours は 20 つの予測経路をサンプリングするモデルである．粗い破線は観測経路，実線は真値，細い破線は 1 つの経路を予測するモデルの予測経路，分布は 20 つの予測経路の分布である．提案手法 (Ours-single-model,

Ours) は検出したグループをクラスタリングしている． . . . . . . . . . . . . . . . . 113
6.7

ETH/UCY における歩行者グループが時間と共に動的に変化する例．tobs + 1 が予測
開始時刻，tpred が最終予測時刻を表す．Group-based Forecasting Module は，グルー
プ情報を時間と共に動的に変化させることで，変化に対応した経路を予測する． . . 113

6.8

ETH/UCY における Group-based Forecasting Module の各 Attention 機構の注意重みの可視化．(a) (d) は図 6.6，図 6.7 の各図に対応する．色のついた円と矢印はグループラ
ベルを表し，同じグループ内の歩行者は同じ色で可視化される．各円の半径は注目度を表し，円が大きいほど重要度が高い．予測対象は黒い矢印で表す．従って，各結果は予測対象の他対象に対する注目度を表している． . . . . . . . . . . . . . . . . . . 114

6.9

SDD における Social-GAN，STGAT 及び，Ours の予測結果例．粗い破線は観測経路，
実線は真値，分布は 20 つの予測経路の分布である．Ours は検出したグループをクラ
スタリングしている． . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116

6.10 SDD における歩行者グループが動的に変化する例．tobs + 1 が予測開始時刻，tpred が最終予測時刻を表す．(c)，(d) 及び (e) は図 6.9(b) の各グループに対応する． . . . . 117

6.11 SDD における Group-based Forecasting Module の各 Attention 機構の注意重みの可視化．(a) と (b) は図 6.9 のそれぞれに対応する． . . . . . . . . . . . . . . . . . . . . . 118

6.12 ETH/UCY における誤った予測結果例．(a) は行動を突然変える場合のサンプル，(b)は前方のグループと衝突回避するために真値と離れる経路を予測した場合のサンプル，(c) は Prospection Module から出力される経路がどちらも上方向だった場合のサンプ
ル例である．粗い破線は観測経路，実線は真値，細い破線は Prospection Module の予想経路，分布は 20 つの予測経路の分布である． . . . . . . . . . . . . . . . . . . . . 119

6.13 SDD における誤った予測結果例．(a) は行動を突然変える場合のサンプル，(b) は前方のグループと衝突回避するために真値と離れる経路を予測した場合のサンプル，(c) は
静的な障害物への衝突した場合のサンプル例を示す． . . . . . . . . . . . . . . . . . 119

ix

表目次
2.1

経路予測手法の分類． . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

2.2

データセットの比較． . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

45

3.1

ネットワーク構成の詳細．Convolution layer は環境に関する入力を受け取る．そして，Convolution layer から抽出された特徴ベクトルと属性に関するベクトルおよび，経路
情報を LSTM へ入力する．

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

56

3.2

学習と評価データの内訳． . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

59

3.3

各予測手法の定量的評価結果．単位は [pixel] である．属性と環境情報をネットワー
クへ導入することで予測精度が向上している．また，属性と環境情報の両方をネットワークへ導入することで，どちらの評価指標も提案手法の性能が最良である． . . .

3.4

59

属性毎の定量的評価結果．単位は [pixel] である．表は属性と環境情報を両方考慮した結果を示す．car や bicycle のような動きが速い対象の予測誤差が大きい．また対象のデータが少ない場合も予測誤差が大きい． . . . . . . . . . . . . . . . . . . . . . . .

62

3.5

障害物マップとシーンラベルの定量的評価結果．単位は [pixel] である． . . . . . . .

63

4.1

FDST の定量的評価結果．左が予測時刻の平均，右が最終時刻における divergence のスコアを示す．PDFN-S と PDFN-ST がパッチベースの提案手法を示す．

. . . . . .

75

4.2

UCY の定量的評価結果． . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

76

4.3

ガウシアンカーネルサイズ σ の効果．数値は UCY の平均/最終時刻の divergence のス
コアを 3 つのシーンで平均したものを表す． . . . . . . . . . . . . . . . . . . . . . .

78

5.1

精度比較を行うモデル． . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

81

5.2

ETH/UCY のサンプル数及び，密度の内訳．密度は 1 [m] × 1 [m] の四角形の中点をある歩行者の x, y 座標とし，四角形内に他の歩行者が位置する場合の最大の密度を記載． 84

5.3

SDD のサンプル数及び，密度の内訳．密度は 50 [pixel] ×50 [pixel] の四角形の中点をある歩行者の x, y 座標とし，四角形内に他の歩行者が位置する場合の最大の密度を記載． . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

85

5.4

ETH/UCY における予測誤差．単位は [m]．

. . . . . . . . . . . . . . . . . . . . . .

85

5.5

ETH/UCY における動的物体との衝突率．単位は [%]． . . . . . . . . . . . . . . . .

86

5.6

ETH/UCY における静的物体との衝突率．単位は%． . . . . . . . . . . . . . . . . .

87

x

5.7

SDD における予測誤差．単位は [pixel]． . . . . . . . . . . . . . . . . . . . . . . . .

88

5.8

SDD における動的物体との衝突率．単位は [%]． . . . . . . . . . . . . . . . . . . .

89

5.9

SDD における静的物体との衝突率．単位は [%]． . . . . . . . . . . . . . . . . . . .

90

5.10 各モデルの計算時間及びパラメータ比較．計算時間はシーンに歩行者が 10 人・50 人・100 人・1,000 人いた場合の結果である．実験環境は GPU が Quadro RTX 8000，CPU
が Intel Xeon Gold 6226，動作クロック 2.7GHz，コア数 12，スレッド数 24，RAM メ
モリ 196GB である． . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

91

6.1

本章で用いる数式記号． . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

97

6.2

ETH/UCY における提案手法と従来手法の ADE/FDE の定量的評価結果．単位は [m]で，値が低い程性能が良いことを示す．Single model は 1 つの経路を予測するモデル，

20 outputs は複数の経路を予測するモデルである． . . . . . . . . . . . . . . . . . . . 107
6.3

ETH/UCY における提案手法と従来手法の Prediction Collision の結果．単位は [%] で，値が低い程性能が良いことを示す．歩行者間のユークリッド距離が閾値 0.1 [m] 以下
であれば衝突が発生したとみなす． . . . . . . . . . . . . . . . . . . . . . . . . . . . 108

6.4

各モジュールの Ablation study．IA: 個人レベルの Attention 機構，WG: グループ内のAttention 機構，BG: グループ間の Attention 機構，λ: Prospection Module における未来のインタラクションを制御するパラメータ．単位は [m] であり，ADE/FDE スコアで評価している． . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109

6.5

パーソナルスペースを変化させた ADE/FDE の精度比較．全てのモデルはグループ間
及びグループ内の Attention 機構を導入しており，λ = 3 とした場合の結果を示す． . 110

6.6

各損失関数の有効性．Adversarial loss と L2 loss の両方を導入することで，予測性能が向上する． . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110

6.7

SDD における提案手法と従来手法の ADE/FDE の定量的評価結果．単位は [pixel] で，値が低い程性能が良いことを示す． . . . . . . . . . . . . . . . . . . . . . . . . . . . 111

6.8

SDD における提案手法と従来手法の Prediction Collision の結果．単位は [%] で，値が低い程性能が良いことを示す．歩行者間のユークリッド距離が閾値 10 [pixel] 以下であれば衝突が発生したとみなす． . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112

xi

第1章

序論
本章では，本研究の背景及び目的，本論文の構成について述べる．

1

1.1

研究の背景

経路予測とは，人間や自動車などの移動物体が未来にどのような経路を辿るかを過去の経路から予測する技術である．特に人間の経路を予測することは人間と機械が共存するために重要な技術になる．例えば，自動運転車 [30] [31] [32] や自律ロボット [33] [34] [35]，軽犯罪防止のための高度な監視カメラシステム [36] などは人間社会をサポートする技術として注目されている．これらの技術における正確な経路予測のためには，歩行者や自動車といったクラスが異なる複数の対象の経路を同時に予測したり，対象間の衝突を避ける経路を予測したりする必要がある．前者は，現実のシーン
では歩行者だけでなく自動車や自転車等の異なるクラスの移動物体がいる環境下で予測を行う必要があり，対象のクラスにより移動速度や移動領域が異なることが想定される．後者では，自動運転車
では横断中の歩行者や道路に飛び出してくる人，自律ロボットでは群衆の中のナビゲーションなど，人との接触の可能性があるシーンでは機械が衝突を避ける経路を予測しなければ事故に繋がる．人間は暗黙的なインタラクションにより，人間同士が互いに衝突を避けることを考慮するが，それを機械が考慮するためには人間が明示的に与えるか機械自身がモデル化する必要がある．しかし，人間のインタラクション，特に人間同士の衝突を避けるパターンは複雑であり人間が機械に明示的に与えるのは困難である．このような背景より，人間同士の衝突を避けるインタラクションをモデル化す
る経路予測についてコンピュータビジョン分野で研究されている．
移動対象間の衝突を回避するインタラクションを実現するために，深層学習によるアプローチが数多く提案されている．インタラクションを考慮した予測手法はプーリングモデル [1] [3] とアテン
ションモデル [15] [10] 及び，その他のモデル [37] に分類される．まず，プーリングモデルは予測対象を中心とした周囲の空間を表現したグリッドを作成し，そのグリッドに予測対象周辺の個々の他対象に関する時系列特徴を埋め込むことでその対象と衝突回避する経路を予測する．アテンション
モデルは予測対象と個々の他対象との関係を Softmax 関数で合計値が 1 となる連続的な重み値で表現し，この重みをそれぞれの他対象の特徴量と乗算している．最後に，その他のモデルはプーリン
グやアテンションモデルとは異なる方法でインタラクションを考慮している．
インタラクションを考慮した予測手法により，対象間で衝突回避が可能な経路予測を実現できる．
しかし，これらの予測手法は，i ) 歩行者を対象とし暗黙的に同一クラスの対象として予測する．また，ii ) 正確な経路情報が必要，iii ) 個人レベルのインタラクションを過去の経路から求めている．i) は，歩行者や自動車といったクラスが異なる複数の対象の経路を同時予測する場合，既存の予測手法では予測対象のクラスに応じた経路を予測することが困難である．予測対象のクラスに応じた経路を予測するには対象のクラス毎にモデルを作成することが考えられるが，対象のクラスが増加す
るにつれ，扱うモデルの数が増加するため，計算コストを抑えるアプローチが必要となる．ii ) では，
既存の経路予測手法を社会実装する場合，予測対象の正確な検出と追跡で捉えた経路及び ID 情報が入力と出力の両方で必要となる．しかし，混雑シーンではオクルージョン等により歩行者の正確な検出と追跡が困難で，既存の経路予測手法をそのまま適用できないため，不正確な歩行者データでも適用可能なアプローチが必要となる．iii ) では，個人レベルのインタラクションは個々人の関係を捉えるため，混雑シーンでは各対象のインタラクションを求めるコストがかかる．一般的に混雑

2

シーンの歩行者は，衝突を避けたり周囲の集団に合わせるなどの暗黙的な社会ルールに従う傾向がある [38]．つまり，混雑シーンではグループで行動する歩行者が多く，正確な経路予測のためにグ
ループレベルに基づく社会的なインタラクションをモデル化することが重要となる．また，社会的なインタラクションのモデル化にあたり，過去の経路情報から将来の他者の位置に基づくインタラ
クションを捉えるのが困難なため，数秒先に移動する可能性のある他対象の未来の経路からインタ
ラクションを捉えるアプローチが必要になる．

1.2

研究目的

本研究では，以下の 3 つの項目を目的とする．

1. 予測対象のクラスに応じた経路予測．
2. 混雑シーンにおける不正確な歩行者データでの予測．
3. 将来の他者の位置及びグループレベルに基づく社会的なインタラクションを捉える経路予測．
1 つ目は，歩行者や自動車といったクラスが異なる複数の対象がいるシーンを想定し，予測対象が保有する潜在的な特徴を考慮することで，対象クラス毎の特徴的な動きを予測する．2 つ目と 3 つ目は，市街地やショッピングモールといった混雑シーンを想定し，混雑シーンにおける不正確な経路データから歩行者の経路を予測する手法及び，歩行者間の社会的なインタラクションの導入による経路予測手法を提案する．以下に，三項目における本研究の目的について述べる．
予測対象のクラスに応じた経路予測

自動運転やソーシャルロボット等のアプリケーションにおいて，高性能な経路予測を実現するために歩行者や自動車等の異なる移動物体の移動領域や移動速度の情報が必要となる．深層学習による経路予測手法は，これらの対象を同一クラスの予測対象として扱い，予測対象のクラスに応じた経路を予測できない．例えば，歩行者の場合に歩道や横断歩道を歩く，自動車の場合に車道を走る，といった各対象が潜在的に保有している特徴を無視する．これに対処するために，予測対象のクラス毎にモデル化し予測を行うことが考えられる．しかしながら，対象のクラスが増加するにつれ，扱うモデル数が増加するため，計算コストの面から現実的とは言えない．このような理由から，本研究では移動対象のクラスに応じた経路予測を目的に，予測対象の属性と環境情報を導入した経路予測を提案する．まず，歩行者や自動車等の予測対象を属性とみなし，属性を ohe-hot vector として表現する．これにより，対象のクラス毎にモデルを作成することはない．各対象は潜在的に保有している特徴が異なるため，各対象の移動領域が異なる．そこ
で，予測を行うシーンに付与されたシーンラベルを予測対象周囲の環境情報として表現する．予測
対象の移動量と，one-hot vector で表現された属性情報及び，シーンラベルで表現された環境情報を用いて，移動対象のクラスに応じた経路予測を実現する．
混雑シーンにおける不正確な歩行者データでの予測

混雑シーンに対しても歩行者の正確な経路を予測することは，経路予測を社会実装する上で重要な課題である．歩行者の経路を予測するには，正3確な位置検出と追跡で取得したデータが経路予測ネットワークの入力と出力の両方に必要となる．しかし，混雑シーンではオクルージョン等により歩行者の正確な検出と追跡ができず，不正確な経路情報をネットワークへ入力し誤った経路を予測する問題がある．特に，追跡に誤りがあった場合，経路情報を取得する上で重要な歩行者 ID を割り当てることができず，そもそも経路予測ネットワークへ
経路情報を入力することができない．歩行者の不正確な経路データでは既存の経路予測手法に適用できないため，不正確な経路データでも適用可能なアプローチが必要となる．本研究の目的は，混雑シーンにおける歩行者データでの予測を実現することである．そこで，本研究ではシーンの各場
所が将来どれだけ混雑しているかのマップ，すなわち群集密度マップを直接予測する手法を提案す
る．群衆をマップとして表現することで，正確な歩行者の検出と追跡を必要とせず，群衆密度のダ
イナミクスを直接捉えることができる．しかし，広域で撮影された入力映像では独立して移動する
複数の集団が含まれていることが多く，群衆密度マップの時空間的ダイナミクスは複雑になり予測が困難となる．これに対処するために，本研究はパッチベースの密度予測ネットワークを提案する．
パッチベースでモデル化することで，様々な数の独立した群衆の複雑な時空間的ダイナミクスを効率的に捉えることが期待できる．
将来の他者の位置及びグループレベルに基づく社会的なインタラクションを捉える経路予測

経路

予測は歩行者間の社会的インタラクションを考慮することで，衝突を回避した経路を予測できる．経路予測や社会的インタラクションのモデル化は，自動運転や自律ロボットなどのアプリケーションの基盤技術として重要になる．しかし，混雑シーンにおいて人の行動は多様な行動パターンの変化により，歩行者間の社会的インタラクションは複雑で捉えることが困難である．社会的インタラクションを捉える予測手法は個人レベルでインタラクションを捉えている．この方法では，各個人に対してインタラクションを求めるため，シーン内の歩行者数が多くなるにつれ計算コストが増加する．一般的に，群衆シーンでは歩行者の大半はグループで行動しており，同じ方向に歩いている人と自発的にグループを形成するなどして，暗黙的な社会的ルールに従う傾向がある．このことを念頭に置き，グループレベルに基づいてインタラクションを捉える予測手法が提案されている．しかし，これらは過去の経路から他者とのインタラクションを捉えるため，将来で予測対象同士が衝突する．我々
人間は，反対方向から来る他の歩行者の将来の位置を予想することで，その対象と衝突を回避できる．本研究の目的は，混雑シーンにおける経路予測のために人間の社会的インタラクションを捉えることである．そこで，本研究では歩行者間の複雑なグループ間とグループ内の社会的インタラク
ションをモデル化する Group-based Forecasting Module を提案する．Group-based Forecasting Module
では，社会的インタラクションに関連する重要な対象に着目させるために Attention 機構を導入する．
グループ間の Attention 機構では，将来の他者の位置と現時刻の予測対象自身の位置からインタラク
ションを求める．グループ内の Attention 機構では，予測対象が属するグループ内の他対象とのイン
タラクションを求める．それぞれを独立して求めることで，グループレベルのインタラクションを効率的に捉える経路を予測できる．

4

1.3

本論文の構成

本論文は，図 1.1 に示すように 7 つの章で構成されている．1 章では，本研究の背景と目的を述べた．本研究では，予測対象のクラスに応じた経路予測，混雑シーンにおける不正確な歩行者データ
での予測及び，将来の他者の位置及びグループレベルに基づく社会的なインタラクションを捉える
経路予測について，それぞれの枠組みを提案する．2 章では，経路予測の関連研究について述べる．
また，経路予測で用いられるデータセット及び評価指標についても調査し，体系的にまとめる．3 章
では，移動対象の属性と環境情報を導入した経路予測について述べる．4 章では，混雑シーンにおける不正確な歩行者データの予測を目的に，歩行者集団の密度をマップで表現し，未来でどのようにマップが変化するかを視覚的に予測する群衆密度予測について述べる．5 章では，2 章で述べた経路
予測手法の中からインタラクションを考慮する代表的な予測手法による性能調査について述べる．そして，6 章では 4 章と 5 章で得た知見から，グループレベルのインタラクションによる経路予測手法について述べる．7 章では，本論文の結論と展望について述べる．

52章

深層学習を用いた経路予測の関連研究• 経路予測問題の定式化とベースモデル• インタラクションを考慮した経路予測のサーベイ• データセットと評価指標

インタラクション以外を扱う経路予測

インタラクションを扱う経路予測

複数種類の対象がいるシーンへの対応

3章

5章

インタラクションを考慮した経路予測の性能調査

移動対象の属性と環境情報を導入した経路予測• 予測対象が保有する潜在的な特徴を捉えた経路予測• コンパクトな属性表現によるモデル増加を抑制• 予測手法毎の異なるインタラクション表現を評価• 個人レベルのインタラクションを捉える予測手法の限界

混雑シーンにおける不正確な経路予測データへの対応

4章

混雑シーンにおける群衆密度予測• 群衆の将来の位置を密度マップとして直接予測• 正確な経路情報が不必要

グループの知見の導入

6章

混雑シーンにおけるインタラクションのモデル化への対応

グループレベルのインタラクションによる経路予測• 社会的インタラクションのモデル化による高精度化• 未来の経路情報とグループ情報を活用

7章
結論と展望

図 1.1: 本論文の構成．

6

第2章

深層学習を用いた経路予測の関連研究
経路予測とは，人間や自動車などの移動物体が未来にどのような経路を辿るかを過去の経路から予測する技術である．特に人間の経路を予測することは人間と機械が共存するために重要な技術になる．例えば，自動運転車やモバイルロボット，軽犯罪防止のための高度な監視カメラシステムなどは人間社会をサポートする技術として注目されている．これらの技術における正確な経路予測のためには，衝突を避ける経路を予測する必要がある．例えば，自動運転車では飛び出してくる人や，
モバイルロボットでは群衆の中のナビゲーションなど，人との接触の可能性があるシーンでは機械が衝突を避ける経路を予測しなければ事故に繋がる．人間は暗黙的なインタラクションにより，人同士が互いに衝突を避けることを考慮するが，それを機械が考慮するためには人間が明示的に与えるか機械自身がモデル化する必要がある．しかし，人間のインタラクション，特に人同士の衝突を避けるパターンは複雑であり人間が機械に明示的に与えるのは困難である．このような背景より，人同士の衝突を避けるインタラクションをモデル化する経路予測についてコンピュータビジョン分野で研究が行われている．本章では，固定したカメラ映像内の複数の移動対象同士が相互に影響する経路を辿る，つまり衝突を避ける現象のことをインタラクションとして定義する．ただし，自己運動を通じてカメラ装着者と単一の対象の 2 者が相互に影響する場合，本章ではインタラクションと定義
しないことに注意されたい．
経路予測は動画像内の予測対象の過去の経路をネットワークへ入力し，未来の経路を予測する．その際，経路にはピクセル座標系またはメートル座標系を用いる．ピクセル座標系は，画像座標系に基づいて画像の左上画素を原点とした座標系である．メートル座標系は，ホモグラフィ行列を用いてピクセル座標系から変換された座標系である．これらの座標系から，インタラクションをモデル化する経路予測が行われている．
経路予測のベースとなる方法を大きく 3 つで分類する．1 つ目は Physics ベースである．Physics
ベースはカルマンフィルタ [39] や線形予測 [40] のようなベイズモデルがある．ベイズモデルに基づくアプローチでは，内部状態と呼ばれる変数から，内部状態にノイズが付与されたものが予測として現れる確率的モデルを定義し時刻間の内部状態を更新することで予測値を逐次推定する [41] [42] [30]．
また，Physics ベースには Social Force Model [43] もある．Social Force Model は歩行者間や歩行者と建物のような物体との間に引力と斥力のようなエネルギー場があると仮定することで，物体との衝突を避けるインタラクションを捉えることができる [44] [45]．2 つ目は深層学習 (Deep Learning : DL)
ベースである．DL ベースの経路予測手法では，歩行者などの移動物体の過去の経路情報から行動パターンを学習することで，長期的な予測を実現している．また，DL ベースの経路予測手法は人手で7

移動対象間の複雑なインタラクションを明示的にモデル化する必要はなく，学習器が自動でモデル化する．3 つ目は Planning ベースである．Planning ベースは逆強化学習 [46] [47] やパスプランニン
グ [48] のように予測開始地点と目標地点を設定するモデルがある．これらのモデルは，予測開始地
点から目標地点までに得られる報酬値や距離などのコストを最適化することで，尤もらしい経路を獲得できる．これらのように経路予測は様々なベースとなる方法がある．本章では，2016 年以降爆発的に増え続けている DL ベースの経路予測手法問題について扱う．

DL ベースの経路予測で用いられるネットワークモデルは，主に Recurrent Neural Network (RNN)と Convolutional Neural Network (CNN) [49] を利用している．RNN による経路予測は，RNN を拡張した Long Short-Term Memory (LSTM) [50] 及び，Gated Recurrent Unit (GRU) [51] が主なネットワー
クモデルとして用いられている．RNN や RNN を拡張したモデルは，移動対象の経路情報に関する特徴を時間方向に伝播することで，未来の予測経路を取得する．RNN が再帰的に処理することで直近の特徴に強く影響すること，計算の並列化が困難なことから，2017 年自然言語処理で提案されたTransformer [52] による経路予測が増加傾向にある．一方，CNN では映像内の静的物体情報を予測モデルに組み込むことで，静的物体との衝突を避ける経路を予測する．また，時間方向へ伝播する

CNN [53] により RNN のように未来の予測経路を獲得できる．
ここで，DL ベースの経路予測手法を図 2.1 及び表 2.1 にまとめる．図 2.1 は移動対象間の衝突を回避するインタラクションを考慮した経路予測手法の傾向と分類を示したものである．図 2.1 より，
インタラクションを考慮した手法はプーリングモデルとアテンションモデル及び，その他のモデルに分類する．一方で，インタラクション以外の課題を扱う手法もある．本章では，それぞれを次のように定義する．プーリングモデル: 予測対象を中心として周囲の空間を表現したグリッドを作成し，これに予測対象周辺の個々の他対象に関する系列特徴を埋め込むアプローチ．アテンションモデル: 予
測対象と個々の他対象との関係を Softmax 関数で合計値が 1 となる連続的な重み値で表現し，この重みをそれぞれの他対象の特徴量と乗算するアプローチ．その他のモデル: プーリングやアテンショ
ンモデルとは異なる方法でインタラクションを考慮したアプローチ．インタラクション以外の課題を扱う手法: 周辺環境の読み取りをして建物といった静的な障害物との衝突回避を目的とした経路予測などインタラクション以外の課題を扱うアプローチ．
また，これらの経路予測手法はインタラクションの表現方法だけでなく，様々な基準で分類できる．表 2.1 より，映像視点は経路を予測する視点を表し，鳥瞰視点や車載カメラ視点，1 人称視点に分類できる．対象属性は各予測手法がどの移動物体を対象としているかを示す．複数経路は複数の未来の経路を予測する手法を示す．環境は映像内のシーンコンテキストやセマンティックラベルを用いた予測手法を示す．目的関数は，文献で用いられている損失関数を示す．経路予測には周辺環境の読み取り，複数経路の予測，インタラクションなどの様々な課題があるなかで，インタラクションの課題に取り組む論文が多いことが表 2.1 から読み取れる．
このように，経路予測は DL の発展に伴い，様々な予測手法が提案されている．特に，移動物体間の衝突を避けるインタラクションを考慮した予測手法が爆発的に増え続けている．本章では，コン
ピュータビジョン分野で爆発的に増え続けている DL ベースの経路予測手法について扱う．多くの手法で取り組まれている移動物体間のインタラクションのモデル化のアプローチについて着目し，経8プーリングモデル

アテンションモデル

その他のモデルインタラクション以外のモデル

全結合でプーリング

コストマップと報酬で予測

CNNで直接予測

Social LSTM

Visual Path Prediction

Behavior CNN[S. Huang +, TIP, 2016][S. Yi+, ECCV, 2016][A. Alahi+, CVPR, 2016]

2016

環境情報の導入

DESIRE[N. Lee+, CVPR, 2017]

畳み込みでプーリング

車載カメラ視点で人の位置予測

頭部方向を考慮Conv.Social Pooling

OPPU

MX-LSTM[N. Deo+, CVPRW, 2018][A. Bhattacharyya+, CVPR, 2018][I. Hasan+, CVPR, 2018]

グループレベルに拡張

経路予測とグループ検出

GD GANGroup LSTM

[T. Fernando +, ACCV, 2018][N. Bisagno+, CVPR, 2018]

3D検出・追跡・予測

FPL

Fast and Furious[W. Luo+, CVPR, 2018][T. Yagi+, CVPR, 2018]

Social GAN[A. Gupta+, CVPR, 2018]

マルチストリームなエンコーダデコーダモデル

グラフ理論に基づいた
アテンションモデル

2つのエンコーダで重み付け

1人称視点で予測
敵対的学習で複数経路を予測

CIDNN

Future Vehicle Localization

詳細なセマセグマップをエンコード[Y. Yao +, ICRA, 2019]

Rule of the Road

Social Attention[Y. Xu+, CVPR, 2018][J. Hong+, CVPR, 2019][A. Vemula+, ICRA, 2018]

複数対象の経路情報をボクセルに格納
属性と環境情報を考慮

現時刻のインタラクションを利用

MATF[T. Zhao+, CVPR, 2019]

SR LSTM[J. Liang+, CVPR, 2019]

環境情報の導入

Trajectron++[T. Salzmann+, ECCV, 2020]

行動目標に条件付ける

時空間特徴にエンコード

PRECOG

STGAT

RGM

俯瞰視点と1人称視点を整合

DTP
過去⇄未来の経路から共同学習[Y. Huang+, ICCV, 2019]

Reciprocal network

時空間インタラクションのモデル化

DSCMP

FVTraj[C. Tao +, ECCV, 2020][S. Hao+, CVPR, 2020]

時空間で別々のTransformerを構築[T. Salzmann+, ECCV, 2020]

グループ間の関係性を学習

RSBG[J. Li+, NeurIPS, 2020][J. SUN+, CVPR, 2020]

Where are you heading?

時空間グラフ化Transformerの導入

Social STGCNN

TF

エンドポイントの予測[A. Mohamed+, CVPR, 2020]

PECNet時間と空間のグラフに分離[K. Mangalam+, ECCV, 2020]

エンドポイントの複数予測

STAR

潜在的なグラフ構造の導入

EvolveGraph

Occupancy grid mapsを用いる

TPNet[L. Fang +, CVPR, 2020]

エンドポイントの複数予測

Y-Net[K. Mangalam+,ICCV, 2021]

複数の経路予測Multiverse[J. Liang+, CVPR, 2020]

AgentFormer

エンドポイントのブロック化[H. Tran+, WACV, 2021][C. Yu+, ECCV, 2020]

時空間のTransformerを学習

SGCN

G-dTP

エンドポイントとカーブフィッティングで予測[F. Giuliari+, ICPR, 2021][L. Shi+, CVPR, 2021][H. Zhao+, ICCV, 2021]

オプティカルフローから予測[O. Styles +, IV, 2019][N. Rhinehart +, ICCV, 2019]

ゲート構造の導入[C. Choi +, ICCV, 2019][V. Kosaraju+, NeurIPS, 2019][A. Sadeghian+, CVPR, 2019]

Next[H. Minoura+, VISAPP, 2019]Social BiGAT

SoPhie経路予測と行動予測

Trajectron[B. Ivanovic+, ICCV, 2019]

OASE

ノイズベクトルを工夫

環境情報とアテンションを導入[P. Zhang+, CVPR, 2019]

動的グラフ構造で経路予測[Y. Yuan+, ICCV, 2021]

マルチクラスに拡張

Multiclass-SGCN

知識蒸留の導入[R. Li+, ICIP, 2022]

OGM

STT-DTO[K. Guo+, CVPR, 2022][A. Monti+, CVPR, 2022]

自己教師あり学習でエゴモーションを学習

シミュレータ環境→実環境に転移学習

E-VMP[J. Liang+, ECCV, 2020][L. Neumann+, CVPR, 2021]

SimAug

メモリリプレイで滑らかな予測

ST-MR[L. Li+, CVPR, 2022]

2022

図 2.1: 移動対象間の衝突を回避するインタラクションを考慮した経路予測手法の傾向と分類．イン
タラクションを考慮した予測手法は各色の枠，インタラクション以外の課題を扱う手法を黒色の枠で示す．黄色の枠はプーリングモデルに基づくアプローチ，赤色の枠はアテンションモデルに基づくアプローチ，緑色の枠はプーリングやアテンションモデルとは異なる方法でインタラクションを考慮するその他のモデルに基づくアプローチを表す．

9

路予測手法を体系的に整理し述べる．
本章の構成は以下のとおりである．まず，2.1 節では経路予測のベースモデルと問題設定について述べる．2.2 節ではインタラクションを考慮した経路予測手法について幾つかのカテゴリに分類し，様々な予測手法について述べる．2.3 節では経路予測の性能を評価する際に用いられるデータセットについて述べる．2.4 節では経路予測で用いられる評価指標について述べる．最後に 2.5 節で本章を
まとめる．

10

インタラクション以外の課題を扱うアプローチ

その他

アテンション

プーリング

表 2.1: 経路予測手法の分類．
文献
Social LSTM [1]

発表年
2016

モデル
LSTM

映像視点
鳥瞰

対象属性
歩行者

DESIRE [54]2017

Conv. Social Pooling [55]MX-LSTM [2]Group LSTM [56]Social GAN [3]

複数経路

環境

GRU Enc.Dec.

鳥瞰

歩行者
自動車

✓

✓

2018
2018
2018

LSTM
LSTM
LSTM

鳥瞰
鳥瞰
鳥瞰

自動車
歩行者
歩行者

✓

2018

LSTM Enc.Dec.

鳥瞰

歩行者

✓
✓

✓

✓

✓

目的関数
負の対数尤度Reconstruction
KLD
Cross-entropy
Regression
負の対数尤度負の対数尤度負の対数尤度Adversarial
L2
Adversarial
Reconstruction
Reciprocal
Adversarial
負の対数尤度L2
Adversarial
L1
L2
Cross-entropy
SmoothL1
L2
Adversarial
L2
L2
Adversarial
L2
KLD
尤度最大化

MATF [4]2019

LSTM Enc.Dec.

鳥瞰

歩行者
自動車

Reciprocal network [57]2020

LSTM Enc.Dec.

鳥瞰

歩行者

Social Attention [15]CIDNN [5]

2018
2018

LSTM
LSTM

鳥瞰
鳥瞰

歩行者
歩行者

GD GAN [58]

2018

LSTM

鳥瞰

歩行者

SR LSTM [6]

2019

LSTM

鳥瞰

歩行者

Next [7]2019

LSTM Enc.Dec.

鳥瞰

歩行者

SoPhie [8]2019

LSTM Enc.Dec.

鳥瞰

歩行者

✓

STGAT [9]2019

LSTM Enc.Dec.

鳥瞰

歩行者

✓

Social BiGAT [59]2019

LSTM Enc.Dec.

鳥瞰

歩行者

✓

Trajectron [10]2019

LSTM Enc.Dec.

鳥瞰

2020

LSTM Enc.Dec

鳥瞰EvolveGraph [61]

2020

GRU

鳥瞰

STAR [11]2020Transformer

鳥瞰

歩行者
歩行者
自動車
歩行者
自動車
歩行者

✓

Trajectron++ [60]PECNet [12]2020

LSTM Enc.Dec.

鳥瞰

歩行者

✓

DSCMP [62]2020

LSTM Enc.Dec.

鳥瞰

歩行者

✓

歩行者

✓

L2

✓

尤度最大化

✓
✓
✓

L2
負の対数尤度負の対数尤度FVTraj [13]2020

LSTM Enc.Dec.

一人称鳥瞰

AgentFormer [63]2021Transformer

鳥瞰G-dTP [64]Where are you heading? [65]
SGCN [66]

2021
2021
2021

GRU Enc.Dec.
LSTM Enc.Dec.
CNN

鳥瞰
鳥瞰
鳥瞰

Multiclass-SGCN [67]

2022

CNN

鳥瞰

OGM [68]
ST-MR [69]

2022
2022

CNN, RNN
ConvLSTM, Transformer

鳥瞰
鳥瞰

歩行者
自動車
歩行者
歩行者
歩行者
歩行者
自動車
歩行者
歩行者

STT-DTO [14]2022Transformer

鳥瞰

歩行者

RGM [16]

2019

CNN, LSTM

鳥瞰PRECOG [70]
RSBG [17]Social STGCNN [37]Behavior CNN [71]

2019
2020
2020
2016

CNN, GRU
LSTM Enc.Dec.
CNN
CNN

鳥瞰
鳥瞰
鳥瞰
鳥瞰

Visual Path Prediction [72]

2016

CNN

鳥瞰

FPL [29]

2018

CNN

一人称

歩行者
自動車
自動車
歩行者
歩行者
歩行者
歩行者
自動車
歩行者

OPPU [73]2018

RNN Enc.Dec.

車載

歩行者

Fast and Furious [74]

2018

CNN

鳥瞰

自動車

OASE [75]

2019

LSTM

鳥瞰

歩行者
自動車

✓
✓

✓

✓

✓

尤度最大化

✓

✓

尤度最大化

✓

✓

✓
✓
✓

負の対数尤度✓✓✓負の対数尤度負の対数尤度L2
Distillation

✓

✓

L2

✓
✓
✓

✓
✓

尤度最大化
L2
負の対数尤度
L2

✓
✓

✓

✓
✓

Rule of the Road [76]2019

CNN, GRU

鳥瞰自動車

Future Vehicle Localization [77]
DTP [78]

2019
2019

GRU
CNN

車載
車載

自動車
歩行者

TPNet [79]

2020

CNN

鳥瞰

自動車

✓

✓

Multiverse [24]

2020

CRNN

鳥瞰

歩行者

✓

✓

SimAug [80]

2020

CRNN

鳥瞰

歩行者

✓

✓

TF [81]Y-Net [82]

2021
2021

Transformer
CNN

鳥瞰
鳥瞰

歩行者
歩行者

✓
✓

✓

E-VMP [83]2021

CNN, FC

車載

歩行者

11

MSE
KLD
L2
Regularization
L2

L2
MSE
MSE
KLD
Cross-entropy
SmoothL1
MSE
尤度最大化
L2
L2
Cross-entropy
L2
Cross-entropy
SmoothL1
Cross-entropy
SmoothL1
L2
Cross-entropy
L2
Photometric2.1

経路予測問題の定式化とベースモデル

本節では，インタラクションを考慮した経路予測問題の定式化を行い，DL ベースの経路予測で主に用いられる LSTM 及び CNN について簡潔に説明する．

2.1.1

経路予測問題の定式化

インタラクションを考慮した経路予測手法の多くが [3, 8] に触発されて研究されている．これらは，シーン内に N 人の歩行者や移動物体がいると仮定する．各予測モデルには過去時刻 Tobs = {1, . . . , tobs }の経路を入力し，未来時刻 Tpred = {tobs +1, . . . , tpred } の経路を予測する．ここで，tobs は過去最終時
刻，tpred は未来最終時刻を示す．また，過去時刻で観測する経路を XiTobs = {xti = (xti , yit )}, ∀t ∈ Tobs ，T

未来時刻で予測する経路を Ŷi pred = {ŷit = (x̂ti , ŷit )}, ∀t ∈ Tpred で表す．ここで，i を予測対象，(x, y)を経路情報，(x̂, ŷ) を予測の経路情報として表す．各予測モデルはシーン内の N 人の歩行者や移動対象に対し，各予測モデル内でプーリングやアテンションなどで対象同士の関係をモデル化することで，互いとの衝突を避ける経路を予測する．

2.1.2

LSTM

表 2.1 より，経路予測問題で主に扱われるネットワークモデルは LSTM である．経路予測問題における基本的な流れを図 2.2 に示す．経路予測問題では，過去時刻の経路情報 xtiobs を入力層を通じて得た特徴 etiobs として LSTM へ入力する．前時刻の LSTM から出力された経路特徴 ztiobs −1 (内部状態) を用いて，次段落以降で詳細を述べる LSTM 内の各ゲートとメモリセルで経路特徴 ztiobs (内部状態) を求め，次時刻の LSTM と出力層へ特徴を伝播する．LSTM で抽出された特徴を用いて，出力層で未来時刻の予測経路 ŷitobs +1 を出力する．このとき，過去時刻最後までネットワークに入力するのは過去時刻の経路情報であるが，予測開始時刻すなわち未来開始時刻以降では，ネットワークが出力した予測経路を次時刻の入力として使用する．予測経路は過去時刻の経路情報同様に入力層を通じて LSTM へ入力する．一連を繰り返し行うのが経路予測問題の基本的な流れである．

LSTM の内部構成を図 2.3 に示す．LSTM は，系列データを扱うモデルで過去の情報を記憶する内部状態の働きにより，長期にわたる記憶を可能にしている．LSTM の内部には，内部状態を記憶するメモリセルと 3 つのゲートで構成されている．3 つのゲートは，それぞれメモリセルの値が次時刻でどれだけ保持するかを調節する忘却ゲート，メモリセルに加算する値を調節する入力ゲート，メモ
リセルの値が次の層にどれだけ影響を及ぼすかを調節する出力ゲートがある．メモリセルと 3 つのゲートにより，長期の記憶の保持が可能となる．

LSTM の内部について説明する．メモリセル st は，式 (2.1) で更新する．式 (2.1) は，メモリセル
にとってどの情報が必要になるかを決定する．第 1 項では，前時刻のメモリセル st−1 と忘却ゲートの出力 gF,t ∈ [0, 1] の乗算した値を出力するため，gF,t が 1 に近いと必要な情報とみなし現状態をそのまま記憶，0 に近いと不必要な情報としてリセットする．第 2 項では，入力特徴 tanh(ut ) と入力

12

𝒙! !"#"

𝑦#! !"#

"

出力層

出力層

"

"

𝒛 !"#
…!

𝒛! !"#%&"

𝒆! !"#"

𝒛! !"#"

𝒛! !"#

%$

LSTM

"

𝒛! !"#$%"

𝒛! !"#"

𝒆! !"#

入力層

入力層

"

𝑦#! !"#

𝒙! !"#""

𝒛! !"#$%…

LSTM

𝒆! !"#

%$

#&

出力層

"

%$

入力層
𝒙! !"#"

𝑦#! !"#

"

%$

LSTM

#$

#$

#$

図 2.2: 経路予測問題における基本的な流れ．

ゲートの出力 gI,t ∈ [0, 1] の乗算した値を出力する．最終的に第 1 項と第 2 項を加算した値が現時刻のメモリセルへ伝播する．

st= gF,t st−1 + gI,t tanh(ut ).

(2.1)

LSTM への入力 ut は，入力層と前時刻の LSTM の出力から式 (2.2) で計算する．
ut=

Win et + bin + Whid zt−1 + bhid .

(2.2)

ここで，et は時刻 t の入力層の出力，zt−1 は前時刻 t − 1 の LSTM の出力 (内部状態)，Win , bin は
時刻 t の入力層から時刻 t の LSTM にかかる重みとバイアス，Whid , bhid は前時刻 t − 1 の LSTM
から時刻 t の LSTM にかかる重みとバイアスを表す．これらの重みとバイアスの大きさはハイパーパラメータとして人が決定する．忘却ゲートの出力 gF,t を式 (2.3) で求める．忘却ゲートは入力層の出力 et ，前時刻の LSTM の出力 zt−1 ，前時刻のメモリセルの出力 st−1 を重みが共有されていない
全結合で計算し，活性化関数 f を用いて最終的な値を計算する．

gF,t = f (WF,in et + bF,in + WF,z zt−1 + bF,z + WF,s st−1 + bF,s ).

(2.3)

ここで，式 (2.3) の WF,in , bF,in は時刻 t の入力層の出力にかかる重みとバイアス，WF,z , bF,in は
前時刻 t − 1 の LSTM の出力にかかる重みとバイアス，WF,s , bF,s は前時刻 t − 1 のメモリセルの出力にかかる重みとバイアスを表す．入力ゲートの出力 gI,t は式 (2.4) で求める．入力ゲートは忘却ゲートと同様に導出する．

gI,t = f (WI,in et + bI,in + WI,z zt−1 + bI,z + WI,s st−1 + bI,s ).

13

(2.4)

𝑡 = 𝑡の出⼒層

𝑡 = 𝑡 + 1のLSTM
𝒛#

× ：乗算

𝒛#

+ ：加算

×

𝑓 ：𝑓(+)

𝒔#$%：tanh(+)
𝒔#$%

忘却ゲート
𝑓

𝒈

×

',#

𝒈&,#

𝒔#

メモリセル

+

𝒔#

出力ゲート

𝑓

𝒔#$%

×

𝒖#

𝒈!,#

𝑓 入力ゲート

𝑓

𝒛#$%

𝒆#

𝑡 = 𝑡の⼊⼒層𝑡 = 𝑡 − 1のLSTM

図 2.3: LSTM の内部構成．

ここで，式 (2.4) の WI,in , bI,in は時刻 t の入力層の出力にかかる重みとバイアス，WI,z , bI,z は前
時刻 t − 1 の LSTM の出力にかかる重みとバイアス，WI,s , bI,s は前時刻 t − 1 のメモリセルの出力にかかる重みとバイアスを表す．LSTM の出力 zt は式 (2.5) で求める．LSTM の出力は，後述する出力ゲートの出力 gO,t とメモリセルの出力 st の乗算で求められる．

zt = gO,t tanh(st ).

(2.5)

出力ゲートの出力 gO,t は式 (2.6) で求める．出力ゲートも忘却ゲートと同様に導出するが，出力ゲー
トのみ前時刻のメモリセルの出力ではなく，現時刻の出力 st を加算する．

gO,t = f (WO,in et + bO,in + WO,z zt−1 + bO,z + WO,s st + bO,s ).

14

(2.6)

(a) シーンコンテキスト

・・・

road
sidewalkroundaboutbuilding
grass(b) セマンティックラベル

CNN

特徴ベクトル

図 2.4: CNN による環境情報の抽出例．

ここで，式 (2.6) の WO,in , bO,in は時刻 t の入力層の出力にかかる重みとバイアス，WO,z , bO,z は
前時刻 t − 1 の LSTM の出力にかかる重みとバイアス，WO,s , bO,s は時刻 t のメモリセルの出力にかかる重みとバイアスを表す．各ゲートの値 gF,t ，gI,t ，gO,t は活性化関数 f をシグモイド関数にすることで値域を [0, 1] に制約する．メモリユニットの出力 zt は次時刻の 3 つのゲートを制御する役
割の他に，出力層への入力及び，次時刻 t + 1 の LSTM へ入力する役割を持つ．

2.1.3

CNN

CNN は主に画像認識に利用するニューラルネットワークで，入力画像に対して畳み込みを複数回行うことで，認識に有効な特徴量を抽出する．経路予測では，周囲の静的環境との衝突を避けるた
めの環境特徴の抽出に用いられている．図 2.4 に CNN による環境情報の特徴抽出例を示す．CNN には映像内のシーンコンテキストや，アノテーションしたセマンティックラベルを入れ，環境に関する
特徴ベクトルを得る．この環境に関する特徴ベクトルが予測対象周辺やシーン全体の環境を表現したベクトルになっている．この特徴ベクトルと経路情報を予測モデルへ入力することで，静的物体との衝突を回避した経路を予測できる [8] [75]．一連の流れを式 (2.7) に示す．

v=

CN N (I; Wcnn ),ŷ=F (v, x; WF ).

15

(2.7)

t
X̂Tobs x1

x2 x3

x4

・・・

xtobs

過去時刻の軌跡情報

予測時刻の軌跡情報

YT̂ pred ŷtobs+1 ŷ2

ŷ3

・・・

ŷtpred

図 2.5: 時間方向に伝播する CNN の例．

ここで，I は入力画像，v は CNN で得た環境に関する特徴ベクトル，Wcnn は CNN の重みパラメー
タ，x は過去で観測された経路情報，ŷ は未来で予測する経路情報，F (·) は予測モデル，WF は予測モデルの重みパラメータを示す．
環境特徴を抽出するために経路予測では CNN が用いられている一方，移動対象の経路の系列特徴
を LSTM ではなく，CNN で捉える方法もある．系列特徴を CNN で捉える文献は表 2.1 のモデル欄「CNN」に該当する．時間方向に伝播する CNN [53] の例を図 2.5 に示す．この CNN の利点は，並列計算が可能な点である．RNN は過去時刻の入力特徴を再帰的にモデルへ入力し，未来時刻の特徴を逐次的に出力する必要がある．一方で，時間方向に伝播する CNN は過去時刻の入力をカーネルサイズなど予め設定したハイパーパラメータに従って，時間方向に対し畳み込みフィルタをかけて系列
データの特徴量を抽出する．そして，抽出した特徴量をアップサンプリングして未来時刻の特徴として出力する．この構造によりモデルの並列処理が可能となる．そのため，RNN と比べて推論速度が速く，モデルパラメータを低減することができる [37]．

2.2

インタラクションを考慮した経路予測手法

本節では，図 2.1 や表 2.1 に記載されている各カテゴリに属する経路予測手法及び，各予測手法の特徴について述べる．また，本節は各文献の数式等は各論文で記載される状態のまま説明する．

16

モデルから
時系列特徴を取得

全結合

特定範囲

Social LSTM [1]予測対象を中心とした範囲

プーリング時の特徴抽出

畳み込み + maxpool.

制限なし

DESIRE [53]Social GAN [3]Conv. Social Pooling [54]MX-LSTM [2]Reciprocal network [56]

MATF [4]Group LSTM [55]

図 2.6: プーリングモデルに基づくアプローチの違い．

2.2.1

プーリングモデルに基づくアプローチ

プーリングモデルに基づくアプローチの違い及びプーリングの概略図をそれぞれ図 2.6 と図 2.7 に示す．プーリングモデルに基づくアプローチでは，予測対象を中心として周囲の空間を表現したグリッドを作成し，これに予測対象周辺の個々の他対象に関する特徴を埋め込む．埋め込んだ特徴は
全結合または畳み込みで特徴抽出する．畳み込みの場合は畳み込み処理と maxpool. を繰り返しながら移動対象間のインタラクションに関する特徴を抽出する方法がある．全結合の場合は，特定範囲
内の他対象のみの特徴を抽出する方法と，範囲の制限がない，つまりシーン全体にいる他対象の特徴を抽出する方法に分かれている．特定範囲内の他対象のみインタラクションを考慮する方法では，範囲内なら 1，範囲外なら 0 で定義する指示関数で明示的にインタラクション対象の情報を保持する．一方で，範囲の制限がない方法では他対象の特徴から maxpool. でインタラクションを保持する．
予測対象周辺の個々の他対象に関する特徴をグリッドに埋め込んだ後，それぞれの予測モデルで提案する異なるプーリングが用いられる．本節ではこのようなプーリングモデルに基づく予測手法について述べる．

■ Social LSTM

Social LSTM [1] はインタラクションを考慮した DL ベースの代表的な手法である．Social LSTMの概略図を図 2.8(a) に示す．この手法では，映像内の複数の歩行者の未来の移動経路を同時に予測することを目的としており，歩行者同士の衝突を避けるために Social pooling layer (S-pooling) を提案

17

𝐷

𝑁!

𝑁!

図 2.7: プーリングモデルの概略図．予測対象が黒点を中心に，様々な色で表現されている他対象に関する特徴を No × No × D で表現したグリッドにそれぞれ埋め込む．

している．S-pooling の概略図を図 2.8(b)，S-pooling に他対象の特徴を埋め込む式は式 (2.8) に示す．

Hti (m, n, :) =∑1mn [xit − xjt , yti − ytj ]hjt−1 .

(2.8)

j∈Ni

ここで，i は予測対象のインデックス，j は他対象のインデックス，t は時刻，mn は特定範囲のグ
リッドセル，(x, y) は絶対座標，1mn [x, y] は指示関数，h は LSTM の内部状態，Hti (m, n, :) は他対象の特徴が埋め込まれるグリッドを表す．S-pooling では，指示関数に従い予測対象 i を中心とした
特定範囲内の全他対象 j の特徴 hjt−1 をグリッド Hti (m, n, :) に埋め込んでいる．図 2.8(b) の例では，黒点を予測対象とした時，特定範囲内にいる青色，黄色及び橙色の他対象の特徴量を空間 × 次元数
で表現されたグリッドに特徴を埋め込んでいる．Social LSTM では，この他対象の特徴が埋め込まれたグリッド Hti (m, n, :) を式 (2.9) の全結合層 ϕ へ入力することで，歩行者間のインタラクションを表現している．

ait = ϕ(Hti ; Wa ).

(2.9)

ここで，ait はインタラクションを表現したベクトル，Wa は全結合層の重みを示す．そして，式 (2.10)のように，S-pooling 後のベクトル ati と前時刻の LSTM の出力 hit−1 ，座標情報が埋め込まれた特徴

eit を連結し，連結した情報を LSTM へ入力する．
hit = LSTM(hit−1 , eit , ait ; Wl ).

(2.10)

ここで，Wl は LSTM の重みである．Social LSTM は，式 (2.10) より LSTM の内部状態に歩行者同士の空間的関係を保存することで，衝突を避けるような動きを考慮した経路予測を実現している．

18

(a) Social LSTMの概略図

preserve the spatial
as explained below.
time t captures thethe scene at that inneighbors by buildiven a hidden-state
No , we construct aectory:yti ]hjt 1 ,

h1 h
2
h3

h1

h2

h1++h2h3h3(b) Social Poolingの概略図

Figure 3. We show the Social pooling for the person represented
図 2.8: Socialの概略図．文献[1] ofより引用及び改変．
by a black-dot.
We LSTMpool thehidden states
the neighbors (shownin yellow, blue and orange) within a certain spatial distance. The
pooling partially preserves the spatial information of neighbors as■
DESIRE
shown in the last two steps.
(1)
Lee ら [54] は，GRU エンコーダ/デコーダによる経路予測手法 Deep Stochastic IOC RNN Encoder-decoder framework (DESIRE) を提案している．DESIRE は，移動対象間のインタラクションに加え，TM corresponding
We train the model by minimizing this loss for all the tran indicator function
jectories in a training dataset. Note that our “Social” pool19 additional parameters.
the grid, and Ni is
ing layer does not introduce any
son i. This poolingAn important distinction from the traditional LSTM isthat the hidden states of multiple LSTMs are coupled by-state tensor into aour “Social” pooling layer and we jointly back-propagate
ese embeddings arethrough multiple LSTMs in a scene at every time-step.

(i)

(i)

{xt }t=1,...,T , xt = (x, y) ∈ R2 , while a vislet is formed(i)(i)
by anchor points {at }t=1,...,T , with at = (ax , ay ) ∈ R2
indicating a reference point at a fixed distance r from the(i)corresponding xt , towards which the face is oriented1 . In
x t(i )1

x t 1Et

da t(i )rx

D t(i )

(i )
t

a)

at

Zt

J
xt
b)

Dt

c)

図 2.9: MX-LSTM のプーリング方法の概略図．文献 [2] より引用．

(i)

(i)

Figure 1. Graphical explanations; a) tracklets xt and xt+1 and(i)vislet anchor point at ; b) visual frustum pooling; c) angles for
周囲の環境情報に関する特徴ベクトルをネットワークへ組み込むことで交差点や道沿い端の障害物領
the correlation analysis (see Sec. 4). S-pooling と似た離散グリッドベースが使用域を避ける経路を予測している．インタラクションにはされている．また，過去の経路に関する特徴を CVAE [84] にエンコードすることで，周囲の環境にThe
to letscene ainteresden stthose w
prove
ing whtum of(i)
xt , algle γ across-v
datasetOursor, ina gridlocatedto be ta

対して尤もらしい複数の経路予測を実現している．さらに，予測経路にランキング付けする ranking

module により，経路を反復的に改善することで予測精度をさらに向上させている．
(i)

(i)

practice, at is a fixed size vector originating from xt ,
(i)
whose
direction
implicitly
indicates
the
pan
angle
α
of
t
■ Convolutional Social Poolingthe head. In principle, it would be possible to encode theDeo ら [55] は，高速道路上で隣接する自動車同士のインタラクション情報を考慮した自動車の経
headorientation directly with an angle. We prefer the vislet
路予測手法であり，インタラクション情報に空間的意味合いを持つ Convolutional Social Pooling を提
representation
becauseitは，
does
discontinuity(be案している．
Convolutional
Social Pooling
Social not
LSTM showの S-Poolingの特徴抽出が単一の全結合層で行われているため，空間的な意味合いに関する特徴が欠落してしまう問題があることから，全tween 360◦ and 0◦ ) and because it is closer to the (x, y)結合層の部分を CNN に置換することでこの問題を解決している．
position representation and therefore more convenient for
the vislet-position interplay.
■ MX-LSTM
In the forecasting literature [3, 53, 59] it is assumed that
Hasanprediction
ら [2] は，歩行者の経路情報に加え，歩行者の頭部方向の情報を予測の手がかりとして取り
thefollows an “observation” period in which
入れた MiXing LSTM (MX-LSTM) を提案している．MX-LSTM のプーリング方法の概略図を図 2.9
ground-truth data is fed into the machine. Here, the obに示す．MX-LSTM では，人間が視野角内に存在するものに対して着目する点から，頭部の向きをservation tracklets and vislets are fed into the MX-LSTM,中心とした視野角内にいる他対象のみを考慮してプーリング処理を行っている．
MX-LSTM のプー
リング処理を式(2.11)togetherに示す．
which mixes
the two streams to understand their relationship, providing a joint prediction.
In the experiments∑
H (m, n, :) =h .
(2.11)
we evaluate the cases in which the past vislets are groundtruth, but also the “in-the-wild” case, in which head pose isgiven by a real head detector.20 In this way, MX-LSTM will
j
t

i
t

j∈V F OAi

1 The distance r is not influent in this work, and it can be any value; inthis work we set it at 0.5 for the visualization sake.

where
the conis in tembed

Finally(i)ht =

3.3. LIn p
modifytain thvariateここで，j ∈ V F OAi は予測対象の視野角内にいる他対象のインデックスを示す．視野角内の他対象の推定方法は，予測対象の頭部方向及び，他対象までの距離情報で求めている．最終的に経路，頭部方向及び，インタラクション情報を 1 つの LSTM へ入力することで，視線情報内にいる他対象に対して衝突を避けるような経路を予測している．また，視線情報を任意に変更することで，任意方向に向かった経路予測を可能としている．

■ Group LSTMGroup LSTM [56] は友人やカップル，家族などの動きには一貫性があると仮定して運動傾向が類似している歩行者同士をグループとみなし経路を予測している．Group LSTM のインタラクション
モデルは Social LSTM の S-pooling を改良している．S-pooling が予測対象周辺の個々人の情報をグリッドに埋め込んでいるのに対し，Group LSTM は予測対象が属するグループ以外の個人の情報をグリッドに埋め込むことで，異なるグループとの衝突を避ける経路を予測する．

■ Social GAN

Gupta ら [3] は，Generative Adversarial Networks (GAN) [85] を用いて実際の経路と予測経路を敵対的に学習させることで，予測経路を徐々に実際の経路に近似させる Social GAN を提案している．また，この手法では未来の経路は複数の可能性を持つとして潜在空間に正規分布を基にしたノイズベク
トルを連結することで，複数の経路を予測している．Social GAN の概略図を図 2.10 に示す．Social

GAN は，予測経路を生成する Generator (生成器) と実際の経路と予測経路の Real/Fake を判別する
Discriminator (識別器) の 2 つのネットワークから構成されている．生成器内では LSTM エンコーダ/
デコーダ及び，他対象との衝突を避ける Pooling Module (PM) の 2 つで構成されている．エンコーダ
では過去の経路情報の特徴抽出を行う．PM では，単一の全結合層で予測対象と他対象間の相対距離に関する特徴ベクトルを取得した後，エンコーダで抽出した特徴とノイズベクトルを連結する．連結した特徴をデコーダへ入力し，この処理を反復的に繰り返すことで複数の経路を予測する．最後に，生成器から出力された予測経路と実際の経路を識別器で Real/Fake を判別するように敵対的に学習させる．ここで，Social GAN のプーリング処理を式 (2.12) に示す．

Pit = maxj∈Ni (ϕ2 ([ϕ1 (xj − xi , yj − yi ); htj ])).

(2.12)[; ] は連結記号，ϕ は全結合層，max は maxpool. を示す．式 (2.12) より，Social GAN のプーリング処理は予測対象と他対象間の相対距離と他対象の内部状態から，衝突回避に重要な要因となる他対象の特徴のみを抽出している．

21

oder as:Figure 2: System overview. Our model consists of three key components: Generator (G), Pooling Module, and Discriminator(D). G takes
as input past trajectories Xi and encodes the history of the person i as Hit . The pooling module takes as inputtcti = (Ptiobs; Wc )
all Hi , heiand
outputs a pooled vector
Pi for each person. The decoder generates the future trajectory conditioned on Hitobs(3)tt
hdi =and[ciP, z]
i . D takes as input Treal or Tf ake and classifies them as socially acceptable or not (see Figure 3 for PM).

ere (·) is a multi-layer perceptron (MLP) with ReLU
based encoder-decoderarchitecture to address this is3.3. Socially-Aware GAN
n-linearity and Wc is GAN
the embedding
weight. We deviatesue, we thendescribe
our trajectory
novel pooling layer which models
m prior work in two importantways
regarding
As discussed in Section 1 trajectory prediction is a multihuman-human interactions and finally we introduce our vadiction:
modal problem. Generative models can be used with timeriety
whichstateencourages
the network
toproducemultiple between our pooling mechanism (redFigure3: Comparison• Prior work [1] uses
theloss
hiddento predict
paseries data to simulate possible futures. We leverage thisdiversefuture trajectories
thesame
observed
sequence.
dottedarrows)and Social Pooling[1] (red dashed grid) for
rameters of a bivariate
Gaussiandistribution.for
How図 2.10: Social GAN の概略図．文献[3]inより引用及び改変．
insight
designing SGAN which addresses the multithe red person. Our method computes relative positions beever, this introduces difficulty in the training processmodality of the problem using GANs (see Figure 2). Our
3.1. Problem Definition
tween the red and all other people; these positions are conas backpropagation through sampling process in nonmodel consists of three key components: Generator (G),catenatedwitheach person’s hidden state, processed indedifferentiable. We avoid
byisdirectlypredicting
the predict
Ourthisgoal
to jointly
reason andthe future
trajecPooling Module (PM) and Discriminator (D). G is basedt tpendently
by anthat
MLP, then pooled elementwise to computecoordinates (x̂i , ŷi ).
tories ■of allthe agents involved in a scene.
We assume
MATF
on encoder-decoder framework where we link the hidden
redpeople
person’s• “Social” context iswegenerallyas theinput
to thereceiveprovided
as input all
trajectories
forin a poolingscene vector P1 . Social pooling only constates
encoderand interactions
decoder via PM. G takes as input Xi
inside the grid,
andofcannot
model
LSTM cell [1, 28]as. X
Instead= X1we, Xprovide
andpooledpredict thesiders
futurepeople
trajectories
2 , ..., Xnthe
andoutputs
predicted
trajectory Ŷi . D inputs the entire se現実シーンにおける経路予測には，移動物体の過去の動きや数，異なる対象とのインタラクショ
between all pairsof people.
context only once Ŷ
as input
also simultaneously.
= Yˆ1 ,toYˆ2the, ...,decoder.
Yˆn of allThis
the peopleThe
quence comprising both input trajectory Xi and future prett
provides us with theability
to choosepool ati speinput
trajectoryof atoperson
is defined as Xi = (xi , yi )ン，シーンコンテキストの制約などが要因で困難になる．特に異なる対象とのインタラクションはdiction Ŷi (or Yi ) and classifies them as “real/fake”.
cific time steps andfrom
results
16x speed
increasetimeinsteps
t = 1,..., tobsasand the future
Social trajectory
Pooling [1] addresses
the first issue
by proposing
Generator.
We first
embed the location of each persontt
多様かつ複雑になる．そのため，
Zhao
は異なる対象とのインタラクション及びシーンコンテ
compared to S-LSTM
[1]
(see
Table
2).be defined similarlya as(groundtruth)
canYibased=ら(x[4]gridpooling
However,thishand-crafted
i , yi ) scheme.
usingasinglelayer
MLP
to get a fixed length vector eti .
er initializing the decoder
statessteps
as described
above
from
time
t = tobs+ 1,we..., tpredsolution. We
denoteis slowpreandfails tocaptureglobal context.
Qi etasal.input toMATF
キスト情報を共同でモデル化する
Multi-Agent
TensorFusion(MATF)
を提案している．
の構造
These
embeddings
areused
the LSTM
cell ofobtain predictions asdictions
follows:as Ŷ .
[37] show that above properties can be achieved by applyi
the encoder at time t introducing the following recurrence:を図2.11 に示す．MATF では，まずCNN symmetricでシーンコンテキスト情報に関する特徴を得る．次に複ing a learned
function on transformed elements1
eti = (xti 13.2.
, yit Generative; Wed )
Adversarial Networkstof the input set of points. As shown in eFigure
2 tthist can bei = (xi , yi ; Wee )数の異なる対象の過去の経路に関する特徴ベクトルを
LSTM でエンコードする．その後，対象の位(2)
Pi = P M (htd1 1A, ...,
htdn )
by passing
through a MLP
Generative
Adversarial Network achieved(GAN) consistsof the input coordinatesth = LST M (htei 1 , eti ; Wencoder )(4)
t 1networks
followedby a othersymmetric function (weeiuse Max-Pooling).
t
LSTMの出力を埋め込む．そして，取得したシーンコンテキス
neuraltrainedinoppositiontoeachhtdi = LST Mtwo
( 置情報を埋め込む空間的グリッドに
(P
,
h
),
e
;
W
)
i
decoderidiTheare:pooledvector Pi needs
to summarize
the informa[14]. The two adversarially trained models
a generativewhere(·) is anallembedding
function with ReLU nonCNN
で特徴を結合する．最後に結合した特徴(x̂ti , ŷit ) = (htdi ) ト情報と空間的グリッドをチャンネル方向に連結し，tion anda personneeds to makeadecision.
Since,
we use relmodel G that captures the data distribution,a discrimilinearity, Wee is the embedding
weight. The LSTM weights
ative coordinates
for translation
invariance
we augment
theとエンコードした
LSTM
Decoder
への入力とnativemodel
D thattheの出力を加算した後，ノイズベクトルと連結しprobability
that a sample(Wencoder) are shared
betweenall LSTM
people ina scene.
ere (·) is an embedding
function
withestimates
ReLU
noninputtogenerator
the poolingmodule with relative position of each
came
from
the
training
data
rather
than
G.
The
G
Naı̈ve
use
of
one
LSTM
per
personfails
to capture inearity with Wed as the embedding
weights. The LSTM
して用いる．この構造により，対象の位置情報とシーンコンテキストの空間構造を保持しながら，複personsample
with respect
to person i.
takesalatentvariablez
as
input,
andoutputsG(z).
teraction
betweenpeople.
Encoderlearnsthestate of a perghts are denoted by W
and
is
an
MLP.
decoder
The数対象とのインタラクションを捉えることができる．
discriminator
D takesa sample x as input and outputs
sonand
storestheirhistoryofmotion.
However,as shown
Discriminator. The discriminatorconsistsof a separate
3.5. Encouraging Diverse Sample Generation
thei ,probability
that it is real. The
by Alahi et al. [1] we need a compact representation whichoder. Specifically, itD(x)takes which
as inputrepresents
Treal = [XYi ] ortraining procedure is similar to a two-playerTrajectorymin-max prediction
gameiscombines
challenging
as given limited
past encoders to effectively
informationfrom different
ke = [Xi , Ŷi ] and classifies them as real/fake. We apply
history a model has to reason
possible out- In our method, we model
following
objective
reasonabout
aboutmultiplesocial interactions.
MLP on the encoder’swith
last thehiddenstate toobtain afunction:
clascomes. The method describedso far produces
good■ Reciprocal
network
human-humaninteraction
viaprea Pooling Module (PM). Afcation score. The discriminator
ideallylearn subtle
min maxwill
V (G,
D) =
dictions, but these predictions
try weto produce
the “average”
G
D trajectories which are
ial interaction rules and classify
ter tobs
pool hidden
states of all the people present inprediction
in cases where
socially acceptable as “fake”.
thetherescenecanto begetmultiple
a pooledoutputs.
tensor Pi for each person. TraEx⇠p[log D(x)]+ Ez⇠p(z) [log(1D(G(z)))].
(x)[57]
Hao
は，過去の経路から未来の経路を予測できるだけでなく，未来の経路から過去の経路を
dataら
Further, we foundwereGANs
not verytoLosses. In addition to adversarial loss, we also apply L2(1)that outputs
ditionally,take sensitive
as input noiseand generate samples.
予測することができる点に着目し，
Forward
Prediction
NetworkとBackward
Prediction
Networkの2changes
in
noise
and
producedvery
similarpredictions.
s on the predicted trajectorywhichmeasures
how
far
the
GANs can used for conditional models by providing both
Our goal is to produce future scenarios which
are consistent
We propose
variety withloss function
thatencourages
theerated samples are fromtheactual groundtruth.
the つのネットワークを結合した共同学習モデルを提案している．
generatorand discriminatorwith additional
inputa c,the past.
Toachievethis
we
condition
thegeneration
2 つのネットワークは同一モデルを使
samples.
For each
we the hidden state of theyielding G(z, c) and D(x, c) [13, 32]. network to produce diverseof output
trajectories
bysceneinitializing. Pooling Module
generate k possible output predictions by randomly sam用しており，Social GAN に実際のシーン画像に関する特徴と深度マップを利用したモデルとなっていpling z from N (0, 1) and choosing the “best” prediction in
In order to jointly reasonる．これらはシーン画像におけるコンテキスト情報の重要性と人間の動きがカメラ位置によって異な
across multiple people we need3
L2 sense as our prediction.
echanism to share information across LSTMs. However,re are several challenges which a method should address:(k)
Lvariety = min kYi Ŷi k2 ,(5)
• Variable and (potentially) large number of people in akscene. We need a compact representation which com22
where k is a hyperparameter.
bines information from all the people.
• Scattered Human-Human Interaction. Local informaBy considering only the best trajectory, this loss encourtion is not always sufficient. Far-away pedestrians
ages the network to hedge its bets and cover the space ofmight impact each others. Hence, the network needs
outputs that conform to the past trajectory. The loss is structo model global configuration.
turally akin to Minimum over N (MoN) loss [11] but to theencoded scene image
channelconcat w.r.t.
channelConv. Encoder

1
1
Conv fusioncʼcconcat w.r.t. channel

spatial grid: inited as 0

1channely1channelchannelx1ʼ

LSTM encoderz

fused spatial gridchannelidentical
shape

1

x1ʼʼ
z

slice

y2
⋯

x1
x2ʼʼ

x2ʼ
maxpool.

z
LSTM decoder

⋯

x2

yn

⋯
+

xnʼ

xnʼʼ

xn

PersonFollowingGroup
Avoiding

PeopleMerging

図 2.11: MATF の構造．文献 [4] より引用及び改変．

(1)

(2)

(3)

(4)

図Figure2.12: 6:プーリングモデルによる予測結果例．文献[3]rowより引用．横軸は複数の予測結果例で左図はExamples of diverse predictions from our model. Eachshows a different set of observed trajectories; columns
show four different samples from our model for each scenario which demonstrate different types of socially acceptable

最も真値と似た予測経路を辿った例を示す．縦軸はそれぞれ同じ目的地に向かう歩行者のシーン，前
behavior. BEST is the sample closest to the ground-truth; in SLOW and FAST samples, people change speed to avoid
collision; in DIR samples people change direction to avoid each other. Our model learns these different avoidance strategies
方の集団との衝突回避シーン及び，歩行者が他の歩行者を追い越すシーンを示す．
in a data-driven manner, and jointly predicts globally consistent and socially acceptable trajectories for all people in the scene.
We also show some failure cases in supplementary material.
in front. We would like to draw attention to a subtle dif-

るという点から取り入れられている．また，この手法では学習後の後処理としてBackward Prediction
ference between this situation and its real-life counterpart.

In realityの学習済みモデルを利用して過去の経路から予測経路に敵対的攻撃を行うことで，与えら
a person’s decision making ability is restricted
Networkby their field of view. In contrast, our model has accessto ground truth positions of all the people involved in the
れた入力またはネットワークの出力に一致するようにネットワークの入力を繰り返し変更する相互scene at the time of pooling. This manifests in some inter-攻撃と呼ばれる新しい予測方法を提案している．
esting cases (see col 3). The model understands that person
R is behind person B and is moving faster. Consequently,
it predicts that person B gives way by changing their direction and person R maintains their direction and speed.
The model is also able to predict overtaking (matching the
ground truth).

4.3. Structure in Latent SpaceIn this experiment we attempt to understand the landscape of the latent space z. Walking on the manifold that23
is learnt can give us insights about how the model is able
to generate diverse samples. Ideally, one can expect thatthe network imposes some structure in the latent space. We
found that certain directions in the latent space were associated with direction and speed (Figure 7).

5. Conclusion

Figure 7: Latent Space Exploration. Certain directions in
the latent manifold are associated with direction (left) andspeed (right). Observing the same past but varying the input z along different directions causes the model to predict
trajectories going either right/left or fast/slow on average.
propose a novel pooling mechanism enabling the network
to learn social norms in a purely data-driven approach. To
encourage diversity among predicted samples we propose
a simple variety loss which coupled with the pooling layer
encourages the network to produce globally coherent, socially compliant diverse samples. We show the efficacy of
our method on several complicated real-life scenarios where
social norms must be followed.

0.4

0.3

0.1
0.2
0.4

0.2

0.2
0.1

0.3
0.4

0.2

0.1

0.3

0.4

0.1

0.4

0.2

0.3

0.3

0.2

0.4

0.1

0.4

0.3

0.1

0.2

重み

…

×

…
…
…
特徴量

図 2.13: アテンションモデルに基づくアプローチの概略図．赤線は対象間の関係を表しており，色が濃いほど関係が深いことを意味している．赤線の上部の数値は連続的な重み値であり，各対象の特徴量と乗算することでインタラクションを考慮している．

■ プーリングモデルに基づく手法のまとめ
プーリングモデルに基づくアプローチでは，S-pooling のような離散グリッドに基づくアプローチ
や予測対象が衝突回避に重要な要因となる他対象の特徴を maxpool. で抽出するアプローチが提案されてきた．図 2.12 にプーリングモデルによる予測結果例を示す．図 2.12 より，歩行者が相互に影響を与えることで衝突を避けるために動きを遅くしたり方向を変えたりするなど，人間に近い動きをした経路を予測していることがわかる．しかしながら，プーリングモデルに基づくアプローチは予
測対象周辺のグリッド内の他対象に限定したり，maxpool. が最も特徴が大きい他対象とのインタラクションしか考慮しない点から，衝突回避に重要な他対象の情報が欠落してしまう問題が挙げられる．また前者について，予測対象を中心とした特定範囲，つまりグリッドサイズに関するパラメータ
を予め人間が定義する必要がある．グリッドサイズは予測対象毎に異なり，複雑になるため致命的な欠点と言える．

2.2.2

アテンションモデルに基づくアプローチ

アテンションモデルに基づくアプローチの概略図を図 2.13 に示す．アテンションモデルに基づくアプローチでは，予測対象と予測対象自身を含む個々の他対象との関係を Softmax 関数で合計値が 1となる連続的な重み値で表現している．この重みはそれぞれの対象の特徴から求められる．求めた重みを用いてそれぞれの対象の特徴量と乗算を行う．特徴量が重みと乗算されるため，重みが大き24

い対象の特徴が多く含まれ，重みが小さい対象の特徴が僅かに含まれる．アテンションモデルでは，モデルが獲得した重みの大小から，予測対象が着目または僅かに考慮する対象をモデル自身が選択し，それらの対象との衝突を避ける経路予測が期待できる．アテンションモデルの利点は，移動対象間の複雑なインタラクションをモデル自身が表現できることにある．移動対象間のインタラクショ
ンは複雑で人間が自ら定義するのが困難であるが，これをモデル自身が連続的な数値としてインタ
ラクションを表現できるのが利点である．本節ではこのようなアテンションモデルに基づく予測手法について述べる．

■ Social Attention

Vemula ら [15] は，グラフ理論を基盤として，各ノードを映像内の対象の位置情報，エッジを対象同士の空間情報と表現し，表現されたグラフを時空間方向に拡張した Spatial-Temporal Graph [86]で将来の経路を予測している．この手法では，Edge RNN，Attention Module 及び，Node RNN の 3
つのモデルで構成されている．Edge RNN では，空間的意味を持つエッジ (spatial edge) と，時間方向へ伝播するノード自身のダイナミクス (temporal edge) の 2 つをモデル化する．各モデルは，単一の全結合層で得た特徴を LSTM へ入力し，空間と時間の 2 つの特徴ベクトルを取得する．Attention

Module では，Edge RNN の各出力から誰にどの程度着目しているかに関するアテンションを求める．
Attention Module の処理を式 (2.13) に示す．
m∑exp(score(htvv , htvi ))∑mht ,t , ht )) vi
exp(score(h
vv
vj
j=1
i=1
m
where score(htvv , htv· ) = √ (W1 htvv , W2 htv· ).
de
Hvt =

(2.13)

ここで，v は予測対象のインデックス，hvv は temporal edge における LSTM の内部状態，hv· は spatialedge における LSTM の内部状態，Hv は htv の加重和で計算する出力ベクトル，W は全結合層の重み，m は spatial edge の数，d は LSTM の次元数を示す．score(htvv , htv· ) では LSTM の次元数が大きい内積注意をすると，誤差逆伝播する際に勾配値が極小値しか返さなくなり精度が悪化するのを防√ぐために，[52] に触発されて d で内積値にスケーリングを行っている．アテンションを求める際は内積注意 [87] を適用し，Softmax 関数で他対象に関する重み付けを行う．そして，式 (2.14) に示す
ように temporal edge の特徴ベクトルと連結した後に単一の全結合層 ϕ で固定長のベクトル atv を抽出する．
h
atv = ϕ(concat(htvv , Hvt ); Wnode).

(2.14)h
ここで，Wnodeは全結合層 ϕ の重みである．最後に，Node RNN でノード情報と Attention Module の出力を連結し，LSTM へ入力することで時空間のアテンションを考慮した経路予測を行う．

25

fc3 h NÖÖati ,i

StN

ƒ

fc1

Inner
product

ÖtScalarmultiplicationzti

ƒ ati , N

#

Sum

LSTM

LSTM

LSTM

LSTM

ztN

LSTM

LSTM

#

S11 , S 21 ,..., St1

Ö

fc2

ƒ

hti

zt1

S1i , S 2i ,..., Sti

Ö

fc3

Ö

fc1
Ö

Sti

ati ,1

Ö

fc2

ƒ

ht1

Motion Encoder Module

Ö

fc3

Ö

fc2

Ö

St1 fc1

Crowd
InteractionÖ

Location Encoder Module

cti

fc

S1N , S 2N ,..., StN

d Sti+1

Displacement Prediction Module

Figure 2. The architecture of crowd interaction deep neural network (CIDNN).
図 2.14: CIDNN の概略図．文献 [5] より引用．

3. Method

prediction. The architecture of CIDNN is depicted in Fig.
2. Specifically, CIDNN consists of four modules including
3.1. The Formulation■ CIDNN for Pedestrian Trajectory
motion encoder module, location encoder module, crowd
Prediction
interaction
module, and displacement prediction module.
Interaction
Deep Neural(CIDNN)[5]は，密集した映像における移動対象の行動
Assume thatCrowd
there are
N pedestrians
p1 , . .Network. , pN , andt
Next, we will detail these four modules sequentially.
CIDNN の概略図を
is current timeによる危険度をアテンション機構で推定し，行動の特徴に重み付けしている．
stamp (frame). The spatial location (coordith
3.2.
MotionEncoderModulenate) of the i 図pedestrianpi (iCIDNN∈ [1, N]) at time t is denoted
2.14 に示す．
は予測対象の位置情報をエンコードする
Location Encoder Module，予測対象
as Sti = [xit , yti ], where xit ∈ [1, X], yti ∈ [1, Y ], and [X, Y ]Motionencoder module is designed to model motionの移動情報をエンコードする Motion Encoder Module 及び，これらの特徴から将来の経路を予測する
is the spatial resolution of video frames.
pattern of pedestrians, including different history path andPredictionSModuleの 3 つのモジュールから構成される．まず，Location Encoder Module
Given theDisplacement
spatial coordinatespedestrian
1:t of eachdirection, different velocity and acceleration. Long Shortfrom beginningto time t, trajectory prediction aims at preでは，映像内の複数対象の過去最終時刻の位置情報から
3 層の全結合層で位置情報に関する特徴量
Term
Memory (LSTM) networks have been proved successdicting the coordinatesinthefuturetime
period
from
t
+
1
i
ful
in
motion modeling[1][7].関数にかけるこ
By following these work, weを求める．次に，予測対象 (図 2.14 中の S ) と全他対象に対し内積をとり，Softmax
to t + T , i.e., St+1:t+T . Different from previous workt [25]also employ LSTM networks to encode the motion informaとで他対象の特徴に重み付けを行う．
MotionEncoder Module では，複数対象の過去の経路を 2 層のwhich predicts
all the coordinates in all these frames
simultion for each pedestrian. In our implementation, we stack
でエンコードする．
EncoderModule とtwo
MotionEncoderModuletaneously, weLSTM
sequentiallypredict the Location
coordinatesin each
LSTM
togetherfor で得た特徴を連結し，motion encoding. For each pedesfuture frame.予測対象と他対象に関する加重平均を行う．最後にFurther, much previous work shows that the
Displacement
Prediction
Moduleで次時刻の予測trian, we sequentially feed thehistory coordinates into theresidual learning or displacement prediction is easier for imstacked
LSTM.
For
pedestrian
pi ,に逐次入力
we denote the output of
経路を出力する．求めた予測経路を Location Encoder Module と Motion Encoder Module
age classification [8], face alignment [28], as well as posestaked LSTM as ztt at time t, then mathematicallyとして用いることで，長期的予測を可能としている．
estimation [5].
Since our work sequentially estimates thecoordinates at each time stamp, therefore we propose tozti = f (S1i , . . . , Sti )(2)
predict the location displacement corresponding to a current frame for each
Mathematically, our work
■ GDpedestrian.
GAN
where the function f (·) represents the input-output function
aims at learning a nonlinear function F by minimizing theof stacked LSTM. In our implementation, the number of
群衆シーンにおける移動対象間のインタラクションは，個別や群衆全体ではなくグループレベルで
following objectivefunction:
nodes in hidden layer of both LSTM is fixed to be 100, andall pedestrians share
the Detection
same stacked
for motion
発生すると仮定して，Fernandoら[58]
は経路予測とグループ検出を行う
Group
GAN LSTM
(GD
obs+T
!−1
encoding.
∗
2GAN) を提案している．
GD+GANF = arg min"S− (SF (Sは，モデルから出力された移動対象の予測経路を特徴抽出器に入
))"
(1)
F

t+1

t

1:t

3.3. Location
Encoder Module
t=obs
れた後，
t-SNE [88] で次元圧縮を行う．その後，DBSCAN[89] で近くにいる歩行者集団に対してグ

ループ検出を行う．
Here obs is thenumber of observed frames and F function
as an estimation of location displacement for each pedestrian. Such location displacement or the movement fromcurrent frame to next frame is related to the pedestrian’s his- 26
tory motion, other pedestrians’ spatial affinity to the target
pedestrian as well as their history motion. To model thesefactors for trajectory prediction, we introduce a Crowd Interaction Deep Neural Network (CIDNN) for displacement

As aforementioned, the movement of a target pedestrian
from the current frame to next frame is related to all pedestrians’ motion information, including the pedestrian himself/herself as well their spatial affinity to the target pedestrian. So a straightforward way is to linearly combine themotion features of all pedestrians for displacement prediction, and the weight is based on the spatial affinity of eachpedestrian to the target pedestrian, and the spatial affinity

emulahiddenmporutilize
ortantelocitysimits mong theneighus ap-. Thisworks
ed foractionscene0], etc.
a fully
ant ofn task.
n connd relg mes-ss thecrowd
oordied trahe tra-States refinement module

LSTM states

LSTM

LSTM

Input thelocation to
LSTM

SR

LSTM

Ouput theprediction

LSTM
LSTM

LSTM

t

t+1

...

図 2.15: SR LSTM の概略図．文献 [6] より引用．

Figure 3. Framework overview of proposed SR-LSTM. States refinement
module is considered as an additional subnetwork of the■ SR LSTM
LSTM cells, which aligns pedestrians together and updates current
Social LSTM や Social Attention など，既存研究は 1 時刻前のインタラクション情報を LSTM へのstatesof them. The refined states are used to predict the location
入力として用いていた．しかし，現時刻のインタラクション情報を用いることが衝突回避に有効でat
the next time step.
はないかという主張から，LSTM の出力を State reﬁnement module (SR) へ入力することで，現時刻のインタラクションを考慮する SR LSTM を提案している [6]．SR LSTM の概略図を図 2.15 に示す．

SR では，予測対象を中心とした近傍サイズ内にいる他対象との衝突を防ぐためのアテンションを求

める Pedestrian-aware
attention，他対象の動きから有益な情報を受け取り予測対象自身が経路を選択
where
g denotes
the gate function inside the LSTM cell,
する Motion gate の 2 つの機構により高精度な経路を予測している．また，SR では LSTM の出力を
thesuperscripts u,f ,o,and c denote the update gate, forget
反復的に更新することで，予測経路の改善を図っている．Pedestrian-aware attention は式 (2.15) に示
gate,
output gate and cell gate, respectively. W and U deすように，予測対象と他対象の相対距離に関する特徴ベクトル r と LSTM の出力 ĥ を連結して全結
note
the weightSoftmax
matrixconnecting input and hidden state to
合層で特徴抽出した後，関数で他対象に対する重み付けを行う．
the LSTM cell. A pedestrian will be treated as a sampler= ϕ (x − x , y − y ; W ),when using LSTM. All LSTM parameters are shared acrossu= w [r ; ĥ ; ĥ ],pedestrians.
exp(u ).
α= ∑ tWith the hidden states hexp(ufrom LSTM, we(2.15)
di)i extracted
rectly predict the coordinates at time step t + 1 following [11]:27(2)[x̂t+1, ŷit+1 ]T = Wp hti ,
i
t,l
i,j

r

t,l
i,j

a,T

t
i

t,l
i,j

k

t
j

t
i

t,l
t,l
i,j
j
t,l
i,j
t,l
i,k

t
j

r

t,l
i

where Wp is the learned parameter. The parameters of theFigure 2. Overview of our model. Given a sequence of frames containing the person for prediction, our model utilizes person behavior
module and person interaction module to encode rich visual semantics into a feature tensor. We propose novel person interaction module
図 2.16: Next の概略図．文献 [7] より引用．
that takes into account both person-scene and person-object relations for joint activities and locations prediction.

3. Approach

CNN

RoIAlign

Person Appearance
Encoder

Humans navigate through spaces often with specific purここで，i は予測対象のインデックス，
j は他対象のインデックス，
t は時刻，l は反復回数，ϕr は全結
poses in mind.
Such purposes may considerablyorient the
Person Keypoint
future trajectory/path.
This motivates us to w
study
合層，
W r はその全結合層の重み，は theW rfutureと異なる全結合層の重みを示す．Motion gateEncoder
は式 (2.16)
path prediction jointly with the intention. In this paper, weKeypoint Embedding
model the intention in terms of a predefined set of futureに示すように，予測対象と他対象の相対距離に関する特徴ベクトルとLSTM の出力から単一の全結
Person Behavior Module
activities such as “walk”, “open door”, “talk”, etc.
Figure 3. We show the person behavior module given a sequence
合層で求める．
Problem Formulation: Following [1, 7, 26], we assumeof person frames. We extract person appearance features and poseeach scene is first processed to obtain the spatial coordifeatures to model the changes of a person’s behavior. See Secnates of all people at different time instants.
tion 3.2.
m,t,l Based on
t,l
t,l
m the
m
(2.16)
gi,j their= δ(W[ri,j ; ĥj ; ĥt,li ] + b ).
coordinates, we can automatically extract
bounding
3.2.
PersonBehavior
Moduleboxes. Our system observes the bounding box of all thepeople from time 1 to Tobs , and objects if there are any, andThis module encodes the visual information about every
ここで，W,positions
b は全結合層の重みとバイアス，
はシグモイド関数を示す．また，
SRtoLSTM
は Pedestrianpredicts their(in terms of xy-coordinates) forδtime
individual in a scene. As opposed
oversimplifying
a perTobs+1 to Tpred , meanwhile estimating the possibilities of
son
as
a
point
in
space,
wemodel
theperson’s
the appearaware attention や Motion gate の導入の有無，近傍サイズなど豊富な Ablation study の結果より提案手
future activity labels at time Tpred .
ance and body movement. To model appearance changes
法の有効性を示している．
of a person, we utilize a pre-trained object detection modelwith “RoIAlign” [8] to extract fixed size CNN features for3.1. Network Architectureeach person bounding box. See Fig. 3. For every person in
Fig. 2 shows the overall network architecture of our Next
the scene, we average the feature along the spatial dimenmodel. Unlike most of the existing work [13, 1, 7, 26, 21,
sions and feed them into an LSTM encoder. Finally, we■ Next31] which oversimplifies a person as a point in space, ourobtain a feature representation of Tobs ⇥ d, where d is themodel employs two modules to encode rich visual informahidden size of the LSTM.
人間が未来に何かしらの動作を起こす際，現在の状態に応じて異なる経路を辿ると予想される．例
tion
about each person’s behavior and interaction with the
To capture the body movement, we utilize a person keysurroundings. In summary, it has the following key compopoint
detection model trained on MSCOCO dataset [6] to
えば，荷物を持っている歩行者が荷物を車に積む際，最短の経路を辿って車のトランクに荷物を積
nents:
extract person keypoint information. We apply the linear
Person behavior module extracts visual information fromみ，自転車に乗っている人は周囲に気を配りながら走行する．このように，歩行者は自転車に乗っtransformation to embed the keypoint coordinates
beforethe behavioral sequence of the person.
feeding into the LSTM encoder. The shape of the encodedているや 荷物を運んでいる
Person interaction
module looks at theなど異なる現在の状態によって，それぞれに適した将来の経路をinteraction befeature has the shape of Tobs ⇥ d. These appearance andtween a person and their surroundings.
movement features are commonly used in a wide varietyof辿ると考えられることから，
Liang ら [7] は現在の状態から将来の経路と動作を同時に予測する
Next
studies and thus do not introduce new concern on machine
Trajectory generator summarizes the encoded visual feaを提案している．
に示す．この手法では，
learning fairness. 5 つのモジュールで構成されておtures and predicts theNext
futureの概略図を図
trajectory by the2.16
LSTM
decoder with focal attention [17].
り，それぞれ動作情報や周囲の環境とのインタラクションについての視覚的情報をエンコードする
3.3. Person Interaction Module
Activity prediction utilizes rich visual semantics to pre役割を持つ．
1) Person
Moduleでは，wePerson Appearanceと interaction
Person Keypoint
dict the future activity
label Behavior
for the person.
In addition,
This module Encoder
looks at the
between Encodera person
divide the scene into a discretized grid of multiple scales,
and their surroundings, i.e. person-scene and person-objectsの2 つのエンコーダがあり，映像内の歩行者についての外見情報と骨格情報をそれぞれ事前学習済
which
we call the Manhattan Grid, to compute classificainteractions.
tion and regression for robust activity location prediction.
Person-scene.
To encode
the Person-Scene
nearby scene of aEncoder
person, we
みモデルを用いてエンコードしている．
2) Person Interaction
Moduleでは，とIn the rest of this section, we will introduce the above
first use a pre-trained scene segmentation model [4] to exPerson-Object
Encoderobjectiveの 2 つのエンコーダがある．
Person-Scene
では，歩行者と周囲の環境
modules and the learningin details.
tract pixel-level Encoder
scene semantic
classes for each frame. We

物体とのインタラクション情報を取得する．具体的には，映像内の歩道や自動車といった物体や環
境情報を事前学習済みのセマンティックセグメンテーションモデルでシーンラベルを取得し，シーン
ラベルを CNN へ入力することで特徴マップを得る．得た特徴マップに対して，歩行者のクラスラベ
ルでマスク処理を行うことで，歩行者以外の周囲の特徴を取得する．Person-Object Encoder では歩
行者と物体との位置関係を対数関数で求める．3) Visual Feature Tensor Q では，過去の経路情報に関28zconcat.

LSTM

z



Attention Module for n-th person(b)

1st agentconcat.

LSTMzdecoder

LSTM

i-th agent

LSTM


relative

LSTM



relative

LSTM

Social Attention:!""%&

Discriminator

Generator



LSTM

concat.

relative(a)concat.



LSTM



calc. relative

encoderN-th agent

Attention Module for i-th person

Physical Attention:!""#$ 

i-th agent

GAN Module



CNN

1st agent

Attention Module for 1st person

Feature Extractor Module

N-th agent

LSTM

(c)

図 2.17:Sophie
SoPhieの概略図．文献[8] より引用．
Figure 2. An overview of SoPhie architecture.
consistsof three key modules
including: (a) A feature extractor module, (b) An
attention module, and (c) An LSTM based GAN module.

3.3. Feature extractors

where πj is the index of the other agents sorted according totheir distances to the target agent i. In this framework, each
The feature extractor module has two major components,
する特徴ベクトルを
LSTM エンコーダで求める．同時に
4 つのエンコード特徴をそれぞ
agent i1,2
hasで得たits own uniquejoint (social) feature vector. Wetexplained below. To extract the visual features VP h from the
also
use
sort
as
the
permutation
invariant function, wheret
image, we usea Convolutional Neural Network (CNN).
れのILSTM
エンコーダで同じ次元にエンコードした後，全てのエンコーダ特徴量をテンソルとして
the reference for ordering is the euclidean distance between
the target agent i and other agents. Note that sort function
埋め込みする．
Trajectory
Generation
with Focal
VPt h =4)CNN (I t ; Wcnn)
(1) Attention では，3 で得たテンソルと 1 時刻前の経is advantageous in comparison with max as it can keep the路情報を LSTM デコーダへ入力することで未来の経路を予測する．
5) Activity
では，
2 でof
uniqueness of the input.
To dealPrediction
with variable
numberIn this paper, we use VGGnet-19 [27] as CN N (·), where
agents, we set a maximum number of agents (N = Nmax )its得たシーンラベルとweights Wcnn is initialized
by pre-training on ImageNet
3 で得たテンソルを利用して，未来最終時刻での未来の動作を予測する．
and use a dummy value as features if the corresponding agent[24] and fine-tuning on the task of scene segmentation as
does not exist in the current frame.
described in [16].
To extract joint features from the past trajectory of all
3.4. Attention Modules■ SoPhie
agents,we perform the following procedure. Similar to [8],Similar to humans who pays more attention to close obfirst an LSTM is used to capture the temporal dependency
stacles, upcoming turns and people walking towards them,between all states of an agent i and encode them into a highSadeghian ら [8] は，歩行者同士のインタラクションに加え，建物などの障害物特徴を既存のCNN
than to the buildings or people behind them, we wantthedimensional feature representation for time t, i.e.
model to focus more on the salient regions of the scene andモデルで抽出し静的物体とのインタラクション情報として用いることで，動的と静的環境とのインthe more relevant agents in order to predict the future statetVen(i) = LST Men (Xit , hten (i); Wen ),(2)of eachSoPhie
agent. の概略図を図
To achieve this, 2.17
we usetwo separate
soft
タラクションを同時に考慮した SoPhie を提案している．
に示す．
Sophietattention
modulessimilar
to
[29]
for
both
physicalVt
P h andwhere
hen (i)GAN
represents
the hiddenof the encodertは Socialと同様に
GAN stateを用いた経路予測手法であるため，生成器で経路を予測，識別器でsocial VSo(i) features.
LSTM at time t for the agent i. Moreover, to capture thePhysical Attention The inputs to this attention module
influenceof theother agents’ state on the prediction of the
Real/Fakeの経路の判別を行う．生成器では，過去経路に関する特徴ベクトルの抽出に加え，環境とAT
TP h (·) are the hidden states of the decoder LSTM in
future trajectory of an agent, we need to extract a joint feaの接触を回避する
PhysicalAttention
Attentionの 2 つのア
the GAN module, and theSocial
visual features
extracted
from thetturefrom all agents’ encodedfeaturesVen(·). 及び，歩行者同士の衝突を回避する
However, this
t
image
V
.
Note
that,
the
hiddenstateofthedecoder
LSTM
Ph
joint
feature cannot be simply createdby concatenating
テンションモデルがある．
PhysicalAttentionthem
では，環境に関する特徴ベクトル及び，未来時刻のデ
has the information for predicting the agent’s future path.
as the order of the agents does matter. To make the joint
And this moduleSocial
learns thespatial (physical)
constraints in
コーダの出力を
soft-attention[90]toに似た構造で特徴を抽出する．
Attention
では，予測対象とfeaturepermutation invariant
with respect
the index of the
the
scene
from
the
training
data.
Therefore,
theoutput would
agents, the existing approaches use a permutation invariant
他対象とのユークリッド距離から衝突回避のためのアテンション，すなわちインタラクション情報
be a context vector CPt h , which concentrates on feasible(symmetric) function such as max [8]. Then, this joint global
paths for each agent.
feature is concatenated by each agent’s feature V t (i) to beを取得する．Physical Attention 同様に，
ensoft-attention に似た構造で特徴を抽出する．各アテンション

fed to the state generator module. However this way, all
CPt h (i) = AT TP h (VPt h , htdec (i); WP h )(4)の出力と正規分布に従うノイズベクトルを連結しデコーダへ入力することで，将来の予測経路を導
agentswill have an identical joint feature representation. In
Here, WP hReal/Fakeare the parametersof the physical attention modaddition,
the permutation invariant functions such as max
出する．導出された予測経路と実際の経路を識別器へ入力しを判別するように敵対的に学
ule and htdec (i) represents the hidden state of the decoder
may discard important information of their inputs as they
LSTM at time t for the agent i.
習させる．
might
loose their uniqueness. To address these two limiSocial Attention Similar to the physical attention modtations, we instead define a consistent ordering structure,tule, the joint feature vector VSo(i) together with the hidden
where the joint feature for a target agent i is constructed bystate of the decoder LSTM for the i-th agent, are fed to thesorting the other agents’ distances from agent i, i.e.
social attention module AT TSo (·) with the parameters WSo■ STGAT
"
! t
#
t
t
t
VSo
(i) = Ven
(πj ) − Ven(i)"∀πj ∈ [N ]\i) ,(3)
to obtain a social context vector CSo(i) for the i-th agent.

Ivanovic ら [9] は，歩行者の衝突を避ける空間情報を時間情報に伝播し，その時空間特徴をエン1352コードした Spatial-Temporal Attention Network (STGAT) を提案している．STGAT の概略図を図 2.18に示す．この手法では，過去時刻と未来時刻における経路情報と，各過去時刻で得られる空間情報を伝播する 3 つの LSTM モデルで構成されている．まず，各過去時刻の歩行者の経路情報を LSTM

29

GAT

Graph Attention NetworkcConcatM-LSTM

z

Noise

c

]

'/670c]'/670c]'/670G-LSTM
GAT<latexit sha1_base64="Bdkp2HUnpwjOv5mbz6SwzTMJ8ag=">AAAB7HicbVBNS8NAEJ3Ur1q/qh69LBbBU0lUsMeCF48VTFtoQ9lsN+3SzSbsToQS+hu8eFDEqz/Im//GbZuDtj4YeLw3w8y8MJXCoOt+O6WNza3tnfJuZW//4PCoenzSNkmmGfdZIhPdDanhUijuo0DJu6nmNA4l74STu7nfeeLaiEQ94jTlQUxHSkSCUbSSj4Pcmw2qNbfuLkDWiVeQGhRoDapf/WHCspgrZJIa0/PcFIOcahRM8lmlnxmeUjahI96zVNGYmyBfHDsjF1YZkijRthSShfp7IqexMdM4tJ0xxbFZ9ebif14vw6gR5EKlGXLFlouiTBJMyPxzMhSaM5RTSyjTwt5K2JhqytDmU7EheKsvr5P2Vd27rrsPN7Vmo4ijDGdwDpfgwS004R5a4AMDAc/wCm+Ocl6cd+dj2VpyiplT+APn8wfHzo6g</latexit>

t1

GAT

<latexit sha1_base64="7ItLwn8Q8RXHU3NW/LT2SA7MEc4=">AAAB7HicbVBNS8NAEJ34WetX1aOXxSJ4KkkV7LHgxWMF0xbaUDbbTbt0swm7E6GE/gYvHhTx6g/y5r9x2+agrQ8GHu/NMDMvTKUw6Lrfzsbm1vbObmmvvH9weHRcOTltmyTTjPsskYnuhtRwKRT3UaDk3VRzGoeSd8LJ3dzvPHFtRKIecZryIKYjJSLBKFrJx0Fenw0qVbfmLkDWiVeQKhRoDSpf/WHCspgrZJIa0/PcFIOcahRM8lm5nxmeUjahI96zVNGYmyBfHDsjl1YZkijRthSShfp7IqexMdM4tJ0xxbFZ9ebif14vw6gR5EKlGXLFlouiTBJMyPxzMhSaM5RTSyjTwt5K2JhqytDmU7YheKsvr5N2veZd19yHm2qzUcRRgnO4gCvw4BaacA8t8IGBgGd4hTdHOS/Ou/OxbN1wipkz+APn8wfJU46h</latexit>

t2

GAT

<latexit sha1_base64="OcT9ss7O545agx6P8OIS9udeh5k=">AAAB7HicbVBNS8NAEJ3Ur1q/qh69LBbBU0lUsMeCF48VTFtoQ9lsN+3SzSbsToQS+hu8eFDEqz/Im//GbZuDtj4YeLw3w8y8MJXCoOt+O6WNza3tnfJuZW//4PCoenzSNkmmGfdZIhPdDanhUijuo0DJu6nmNA4l74STu7nfeeLaiEQ94jTlQUxHSkSCUbSSj4P8ejao1ty6uwBZJ15BalCgNah+9YcJy2KukElqTM9zUwxyqlEwyWeVfmZ4StmEjnjPUkVjboJ8ceyMXFhlSKJE21JIFurviZzGxkzj0HbGFMdm1ZuL/3m9DKNGkAuVZsgVWy6KMkkwIfPPyVBozlBOLaFMC3srYWOqKUObT8WG4K2+vE7aV3Xvuu4+3NSajSKOMpzBOVyCB7fQhHtogQ8MBDzDK7w5ynlx3p2PZWvJKWZO4Q+czx/K2I6i</latexit>

t3

GAT

· · · tobs
<latexit sha1_base64="RyHhXBLV/0cOSbkT6YVaYO8lbL8=">AAAB7XicbVBNS8NAEJ34WetX1aOXYBE8lUQFPXgoePFYwX5AG8pms2nXbnbD7kQoof/BiwdFvPp/vPlv3LY5aOuDgcd7M8zMC1PBDXret7Oyura+sVnaKm/v7O7tVw4OW0ZlmrImVULpTkgME1yyJnIUrJNqRpJQsHY4up367SemDVfyAccpCxIykDzmlKCVWj0aKTT9StWreTO4y8QvSBUKNPqVr16kaJYwiVQQY7q+l2KQE42cCjYp9zLDUkJHZMC6lkqSMBPks2sn7qlVIjdW2pZEd6b+nshJYsw4CW1nQnBoFr2p+J/XzTC+DnIu0wyZpPNFcSZcVO70dTfimlEUY0sI1dze6tIh0YSiDahsQ/AXX14mrfOaf1Hz7i+r9ZsijhIcwwmcgQ9XUIc7aEATKDzCM7zCm6OcF+fd+Zi3rjjFzBH8gfP5A60zjys=</latexit><latexit sha1_base64="vcpPldxy0fXoWuPkuol+dvCEp1Q=">AAAB7nicbVDLSgNBEOyNrxhfUY9eBoPgKeyqYI4BLx4jmAckS5idTJIhszPLTK8QlnyEFw+KePV7vPk3TpI9aGJBQ1HVTXdXlEhh0fe/vcLG5tb2TnG3tLd/cHhUPj5pWZ0axptMS206EbVcCsWbKFDyTmI4jSPJ29Hkbu63n7ixQqtHnCY8jOlIiaFgFJ3Uxn6mIzvrlyt+1V+ArJMgJxXI0eiXv3oDzdKYK2SSWtsN/ATDjBoUTPJZqZdanlA2oSPedVTRmNswW5w7IxdOGZChNq4UkoX6eyKjsbXTOHKdMcWxXfXm4n9eN8VhLcyESlLkii0XDVNJUJP572QgDGcop45QZoS7lbAxNZShS6jkQghWX14nratqcF31H24q9VoeRxHO4BwuIYBbqMM9NKAJDCbwDK/w5iXei/fufSxbC14+cwp/4H3+ALeBj8c=</latexit>

EncoderState

Decoder

Figure 2. The architecture of our proposed STGAT model. The framework is based on seq2seq model and consists of 3 parts: Encoder,Intermediate State and Decoder. The Encoder
moduleincludesthree components:
2 types of LSTMs and GAT. The Intermediate State
図 2.18:STGATの概略図．文献[9] より引用．
encapsulates the spatial and temporal information of all observed trajectories. The Decoder module generates the future trajectories basedon Intermediate State.

data. Among these approaches, Veličković et al. [32] proIn our implementation, we first calculate the relative poへ入力し，経路に関する内部状態を得る．各時刻の LSTM で得られる内部状態から Graph Attention
posed Graph Attention Network (GAT). It allows for (imsition of each pedestrian to the previous time-step:
で，予測対象の他対象に対するアテンションを取得する．
STGAT のアテンション処理
plicitly) Network
assigning[91]different
importance to different nodes
Dxti = xti xti 1
within a を式
neighborhood
without costly matrix operations.
(2.17) で示す．
(1)
GAT has achieved or matched state-of-the-art results acrossDyti = yti yti 1several benchmarks for graph-related tasks. For our probexp(LeakyReLU(a⊤ [Wmti ||Wmtj ]))tlem, the complex interactionsαcanbemodeledusing GAT,Then
the relative
position is embedded into (2.17)
a fixed-length
∑
=
f
(
i,j
t ||Wmt ])) ).
⊤i everyktime-step, and these vectors are used ask∈Nwhere pedestrians in the crowded scene canbei exp(LeakyReLU(aconsidered
vector[Wmeti foras nodes on the graph at every time-step, and the exisinputs to the LSTM cell as follows:′
tence of ここで，interactions
between pedestrians
can be describedα は注意重み，|| は連結記号，⊤ は転置記号，W ∈ RF ×Ft は重み行列，
F ′ は出力の次元
t
t
e
=
f
(Dx
,
Dy
;W
(2)
as graph edges.
′
ee )
i
i
i
数，F は mti の次元数，a ∈ R2F は全結合層の重みベクトル，m は tLSTM の内部状態を示す．各時
t 1 t
mi = M-LSTM(mi , ei ;Wm )(3)
刻 t のアテンションは予測対象と他対象間の空間情報を表し，式 (2.18) に示すように他対象の LSTM
3. Methodwhere the functionf (·) is an embedding function. Wee isの出力と乗算し，全他対象について加算された後に単一の全結合層σ により空間情報に関する特徴
Our goal
is to forecast the trajectories of the pedestrians
the embedding weight. mti is the hidden state of the Minvolved ベクトル
in a scene.m̂Inを得る．
this section, we present our seq2seqLSTM at time-step t. Wm is the weight of the M-LSTM
based STGAT model (as shown in Fig. 2). There are threecell. These parameters are shared among all the pedestrians∑
components in the encoder: an LSTM-based pedestrian trat
t in thet scene.
σ(αi,j Wmj ).
(2.18)
i =modeljectory encoding module, a GAT-based modulem̂foring the spatial interactions, and an LSTM-based modulej∈N
for i
3.3. GAT-based Crowd Interaction Modelingcapturing the temporal correlations of interactions.
Naive use of one LSTM per person does not capture
Graph Attention Network を介して得た空間情報に関する特徴ベクトルを時間方向へエンコードする
human-humaninteractions. In order to share information
3.1. Problem Definition
LSTM へ入力することで，時空間インタラクション情報を捉えることができる．最後に，時空間イ
across different pedestrians in crowded scenes, we propose
We assume there are N pedestrians involved in a scene,
to consider the pedestrians in a scene as nodes on the graph
ンタラクション情報と経路に関する特徴ベクトルをノイズベクトルと連結し，デコーダへ入力する
represented as p1 ,p2 ,. . . , pN . The position of pedestrianand leverage the recent progress in GNNs. Since GAT alことで将来の経路を予測する．
pi (i 2 [1,N]) at time-step t is denoted as Sti = (xti , yti ).
lows for aggregating information from neighbors by assignThen given Sti of pedestrian i = 1, 2, . . . , N at time-steps
ing different importance to different nodes, we use GAT ast = 1, . . . , Tobs , our goal is to predict the future positions Sti
our sharing mechanism. As shown in Fig. 3, we use edges
at time-step t = Tobs + 1, . . . , Tpred .
on the graph to represent the existence of human-human in■ Social BiGAT
teractions. Many recent works have pointed out that when
3.2. Trajectory Encoding for One Pedestrian
considering the influences of other pedestrians, each pedes既存手法 [3] では，エンコーダの出力に対しノイズベクトルを連結することで複数の経路を予測しtrian in the scene is necessary [38, 10, 12, 33]. Following
Each pedestrian has his(or her) motion pattern, includている．複数の経路を予測できる一方で単純にノイズベクトルを付与するだけでは，分散の大きい
these works, the pedestrians in the scene are treated as nodes
ing different
gait, preferred speed, and acceleration. LSTM
on the complete graph at each time-step.
has been経路を予測してしまう．これはランダムにノイズを生成しているため，モデルに予期しないノイズがproven to successfully capture the historical motion state of a single pedestrian [1, 29, 38]. Similarly, we
GAT operates on graph-structured data and computes the加わると誤った経路，すなわち分散の大きい経路を予測してしまうためだと考えられる．そのため，
use one LSTM for each pedestrian to get the motion state.
features of each graph node by attending over its neighbors,
Vineetら [59]by
は予測した経路とノイズベクトルとの間の潜在的表現を学習する
Social BiGATWe denote
this LSTM
M-LSTM (LSTM for motion enfollowing a self-attention strategy.
GAT isを提案
constructed bycoding).
stacking graph attention layers. We illustrate a single graph30

el part of the “graphtheir stateful graphtive predictions onreuse and extensive

!" -!

!'-!%

%

!"-!%

!' /(
!" /$
!" -!%

!% /&

!" /)

EE

intly reasoning andtories for each agent
e that each scene is
ts as well as obtainp. As a result, each. “Pedestrian”). Let
the ith agent at time
antity for all agents, Xit1 +1 , . . . , Xit2 )ps t 2 [t1 , t2 ].
we take as input the(1:tobs )scene X1,...,Nand1

s +T )

!" /$

M

M

M

5' -5)

M

AttentionMM

9 (#$%) 9 (#$')

9 (#)

M

GMM

5% -5)ℎ+

5)!(#$%) !(#$') !(#)

F
C-(.|0)

NFE
5)

LegendLSTM Cell
Modulating Function
Fully-Connected Layer
Projection to a GMM
Concatenation
Randomly sampled
Train time only
Predict time only
Train and Predict!4 (#(') !4 (#(%) !4 (#())

NHE

F
C

ℎ,

that match the. Note that we have
have N = f (t).

+6(#$%) 6(#$') 6 (#)+++
8 (#$%) 8 (#$') 8 (#)

FC

LegendModeled Node
Node $ is of type !"Edge is of type !" -!%Edge being created
Normal Edge!(#(') !(#(%) !(#())

Encoder

1(.|0, 3)

GMM

.

GMM

GMM

F
C
!(#) !4 (#(') !4 (#(%)., ℎ+ ! #(' ! #(%., ℎ+ ., ℎ+

Decoder 5)

Figure 2. Top: An example graph with four nodes. a is our mod図 2.19: Trajectron の概略図．文献 [10] より引用．
eled node andis of type T3 . It has three neighbors: b of type T1 ,c of type T2 , and d of type T1 . Here, c is about to connect with a.
Bottom: Our corresponding architecture for node a. This figure is
rajectron, combines
している．具体的には，ノイズベクトルから生成した予測経路を LSTM エンコーダへ入れ，元のノ
best viewed in color.

models (in particuイズベクトルと類似するようにマッピングしている．このようなマッピング方法は Bicycle GAN [92]s (LSTMs), and で提案されており，
dySocial BiGAT は Bicycle GAN のマッピング方法を経路予測タスクへ応用した手
res to produce highvariable
z so that
法となっている．
dels and predicts theX
Our full architecturep(y | x) =p (y | x, z)p✓ (z | x) dz(1)■ Trajectronz

f human i to obey
Huang ら z’s[10] は，映像中の複数対象を動的なグラフ構造によって効率的にモデル化する手法を
purpose is to model latent structure in the interac= (ẋti , ẏit ). This is an
提案している．
2.19 に示す．
Trajectron
は 3 つのモジュールで構成されてtionTrajectron
whichの概略図を図
both improves
learning
performanceand ennts are all positionいる．Encoding
Trajectory
History (図 of
2.19results
中の NHE)
では，過去時刻のノード特徴を
ables
interpretation[24,
43, 46]. In our work,LSTM へ入tion along a direcp (y|x, z) and p✓ (z|x) are modeled using neural networks
rce an upper boundthat are fit to maximize the31likelihood of a dataset D =which is the current{(x, y)1 , . . . , (x, y)ND } of observed interactions. Thissult, the Trajectron
optimization is performed by maximizing the -weighted
hich is then numer[2, 22] evidence-based lower bound (ELBO) of the logectories. This modlikelihood log p(y | x) [12]. Formally, we wish to solvechitectures [19, 20]

8

Yu C., Ma X., Ren J., Zhao H., Yi S.
DGGWRKLVWRU\HQFRGHUSHGHVWULDQWUDMHFWRULHV)&

6SDWLDO
7UDQVIRUPHU

HQFRGHURXWSXW
FRQFDW)&

6

GHFRGHU)&

6SDWLDO
7UDQVIRUPHU

7HPSRUDO
7UDQVIRUPHU)&

7HPSRUDO
7UDQVIRUPHUUHDG*UDSK
0HPRU\

Yu C., Ma X., Ren J., Zhao H., Yi S.

ZULWH(a) ネットワーク構造

Fig. 4. Network structure of STAR with application to trajectory prediction. In STAR,
trajectory prediction is achieved completely by attention mechanisms. STAR inter)leaves spatial Transformer and temporal
Transformer in two encoder blocks to extract&
spatio-temporal pedestrian dependencies. An external read-writable graph memory
module helps to smooth the graph embeddings and improve the consistency of tem(a)(b)Temporal
Transformer(b) (c)SpatialTransformer
Temporalat
Transformer
SpatialTransformer
poral predictions. The prediction
Tobs + 1 is addedback
to history to predict thepedestrian poses
Tobs has+ 2.
Fig. 3.atSTAR
two main components, Temporal Transformer and Spatial TransVHOIDWWHQWLRQ

former. (a) 図
TemporalTransformer
treats each[11]pedestrians
independently and extracts
2.20: STARの概略図．文献より引用及び改変．
the temporal dependencies by Transformer model (h is the embedding of pedestrian
positions, Q, K and V are the query, key, value matrix in Transformers). (b) Spatialmodelsfunction,
the crowd as ina graph,applies
TGConv,a Transformer-based
where fout isTransformer
the output
our andcase,a fully
connected
layer, and h0i is
message passing graph convolution, to model the social interactions (mi!j is the mesthe力する．図updated2.19
embeddingofj nodei bybyTGConv.
We summarize the TGConv func中の赤線で表す学習時にノードの未来の真値の経路をエンコードするために，
Bisagefrom node i torepresented
Transformer attention)

tion
for nodei (BiLSTM)
by T GConv(hwould Dynamics
normally
directional
LSTMを適用したモデル化を行っている(図 structure,
2.19 中の NFE)we．Encodingi ). In a Transformer
apply
layer
each
skip
in the andabove
Inﬂuence
fromnormalization
Neighbors(図including
2.19[2]
中のaftermodules,each
a EE)
pairでは，特定の範囲内にいる全ての隣接ノードとエッジ特徴ofspatialand connection
temporal Transformers,
stack equations.
them
to in
extract
interactions.
Weから，
ignoredthemthespatio-temporalequations fora clean notation.
Attention機構を用いることで重要度の高い，すなわち互いに影響し合うエッジ情報を取得すThe
spatialTransformer,
asshown
in Fig. 3.(b), can be easily implemented
る．Generating Distributions of Trajectories (図 2.19 中の Decoder) では，それぞれで得られた特徴ベク
3.2
ProblemSetup
by the TGConv. A TGConv with shared weights is applied to each graph Gt
トルから将来の経路を予測する．このとき CVAE で複数の未来の経路の予測及び，Gaussian Mixture
We areinterested
in the problem
of predicting
futureat tasks andseparately. We
believe
TGConvis generaland canbetrajectories
applied starting
to otherModel で学習が進む毎に予測経路を洗練する
2 つの要素を取り入れることで高精度な経路予測を実
time step Tobs + 1 to T of total N
pedestrians involved in a scene, given the
we leave it for
future study.
observed history during time steps 1 to T . At each time step t, we have a
obs
現している．また，Trajectron をベースに自動車のような異種対象及び，セマンティ
ックな情報を取ii i
set of N pedestrians {pit }N
i=1 , where pt = (xt , yt ) denotes the position of the
り入れた Trajectron++が同研究グループによって提案されている．その他にも，移動物体間のイ
pedestrian
in a top-down view map. We assume the[60]pedestrianpairs (pit , pjt )3.5
Spatio-Temporal
Graphwith distance less thand wouldTransformer
haveEvolveGraphan undirected[61]edge(i, j). This leads to an
ンタラクションを潜在的なグラフ構造で捉えるなど，グラフ構造を取り入れた予interaction graph at each time step t: Gt = (Vt , Et ), where Vt = {pit }N
i=1 andEt = {(i,| i, j is connected
time t}. For each nodegrAph
i at timetRansformert, we define its (STAR)
In測手法が提案されてきている．
this section,
we j)introduce
the atSpatio-Temporalneighbor set as N b(i, t), where for each node j 2 N b(i, t), et (i, j) 2 Et .

framework for pedestrian trajectory prediction.
Temporal3.3transformer
can model the motion dynamics of each pedestrian
Temporal Transformer■ STAR
separately, but fails to incorporate spatial interactions; spatial Transformer tackThe temporal Transformer block in STAR uses a set of pedestrian trajectoryles crowd
interaction
with , {hTGConvbuti N
i N can be hard to generalize to temporal
LSTM を用いたアテンションモデルによる予測手法は，歩行者同士のインタラクションを完全にモ
embeddings {hi1 }N2 }i=1 , . . . , {ht }i=1 as input, and output a set of updated
i=1
i
i
i
0
N
0
N
sequences.
One
major
challenge
prediction
modeling
coupledembeddings{hLSTM{h 2 }i=1 of, . . . pedestrian, {h0 t }Nas outデル化できていないこと，[52]isなことの2 つの限界が1 }i=1 , が複雑な時間依存性のモデル化が困難
i=1 with temporal dependencies
put,considering
eachpedestrian
independently.
spatio-temporalinteraction.
The spatial and temporal dynamics of a pedestrian
ある．そのため，
Transformer
The
structure [52]of a を時間的及び空間的なアテンションへ拡張し，経路予測タスクへ
temporal Transformer block is given by Fig. 3.(a). The
is 応用した
tightly Spatio-Temporaldependentoneachother.
For
example,when
one
decides
her next
aci N
i N
self-attention grAph
block firstlearns thequerymatrices{Q}i=1 ,[11]key}i=1tRansformer(STAR)
を提案している．matrix
STAR {Kの概略図を図2.20
i N
and thevaluepredict
matrix {Vthe}i=1future
given theinputs. For
we havetion, one would
first
motions
ofi-thherpedestrian,neighbors,and choose anに示す．Temporal Transformer では，Transformer と同様に経路のシーケンスを一般化したモデルでaction that avoids Qcollisiont. )i
i ttime interval= fQ ({hij with
}tj=1 ), others
K i = fKin({ha
V i = fV ({hij }tj=1(3)j }j=1 ),STAR addresses the coupled spatio-temporal modeling by interleaving thewhere fQ , fK and fV are the corresponding
key and value functions
32single query,spatial and sharedtemporalTransformers
framework.
Fig. 4 forshows
by pedestrians
i = 1, . . . ,inN . aWe
could parallel
the computation
all the network structureof STAR.
STAR
twoacceleration.
encoder modules and a simple decoder
pedestrians,
benefitingfrom hasthe GPUmodule. The input to the network is the pedestrian position sequences fromt = 1 to t = Tobs , where the pedestrian positions at time step t is denotedii iby {pit }N
i=1 with pt = (xt , yt ). In the first encoder, we embed the positions by

6

K. Mangalam, H. Girase, S. Agarwal, K. Lee, E. Adeli, J. Malik, A. Gaidon

図 2.21: PECNet の概略図．文献 [12] より引用．

Fig. 2. Architecture of PECNet: PECNet uses past history, Ti along with groundtruth endpoint Gc to train a VAE for multi-modal endpoint inference. Ground-truth
endpoints are denoted by ? whereas x denote the sampled endpoints Ĝc . The sampledある．具体的には経路情報をQuery，Key，Value
endpoints
condition the social-pooling& へ拡張し，各歩行者に対し独立して経路を更新す
predictor networks for multi-agent multimodal
trajectory
forecasting.
Red connections denote the parts utilized only during
る．Spatial
Transformer
では歩行者間の空間的インタラクションを抽出する．具体的には，予測対象
training.
ShadesQueryof thesame color denote spatio-temporal
encodedのよう
withに関する特徴量を，他対象に関する特徴量をKey と Value とし，neighbours
Source-target-attention
the block diagonal social mask in social pooling module. Further Details in Section 3.1.
な構造で時刻毎に独立した空間的インタラクションを抽出する．2 つの Transformer で得た情報を連結し全結合層へ入力する．その後，再度SpatialofTransformerと Temporal
Transformer
へ入れ特徴量を
yieldsus Epast (Ti ), a representation
the motion
history.
Similarly,
the futurek
endpoint
G is encoded with an Endpoint encoder Eend to produce Eend (G k )抽出する．抽出した特徴量をノイズベクトルと連結し全結合層へ入れることで次時刻の予測経路を
independently
for all k. These representations are concatenated together and
出力する．そして，求めた予測経路を逐次過去経路への入力として使うことで，長期的な経路を予
passedinto the latent encoder Elatent which
producesparameter (µ, ) for en測している．結果より，Transformer を用いることでLSTMを用いた予測手法の予測精度を大幅に超coding the latent variable z = N (µ, ) of the VAE. Finally, we sample possible
えている．STAR のように空間と時間を別々で Transformer を構築するのではなく，時空間で共同に
latent future endpoints from N (µ, ), concatenate it with Epast (Ti ) for past
Transformer を学習することで，STAR の予測精度を上回る AgentFormer [63] が翌年の ICCV で提案
context and decode using the latent decoder Dlatent to yield our guesses for Ĝ k .
されている．
Since
the ground truth G k belongs to the future, and is unavailable at test time,
during evaluation we sample z from N (0, T I), concatenate with Epast (Ti ) (asdonein training) and then use the learned Dlatent to estimate the future Ĝ k .
■ PECNet
This is illustrated in Figure 2 where the red connections are only used in the
training
and
notは，人間の左右前方など様々な経路の未来最終地点
in the evaluation phase.
Mangalamら [12](エンドポイント) を予測す
Truncation
trick: In [41], Brock et al. introduce the ‘Truncation Trick’
as aるのが重要であること，エンドポイントに向かう際に他対象の位置情報が重要なことの2 点に着目
methodoftrade-o↵betweenthefidelity
andvarietyofsamples
produced
by
し，長期的な経路予測のための Predicted Endpoint Conditioned Network (PECNet) を提案している．
the generator in BigGAN. In this work, we propose an analogous trick for evalPECNet の概略図を図 2.21 に示す．ここで，赤線は学習時のみで伝播することを表す．PECNet では，uation phase in multi-modal trajectory forecasting where the variance of the
Epast で過去経路に関する特徴量を算出する．次に CVAE 内の Dlatent で Past Encoding の出力とノ
latentendpoint sampling distribution is changed according to the number ofsamples (K) allowed for multi-modal prediction. In a situation requiring few
shot multi-modal prediction, such as under computation constraints, where only
33
a few samples (K = 1, 2 or 3) are permissible,
we propose to use T = 1 andptruncate the sampling distribution at ±c K 1. In contrast, in situations where

6

H. Bi et al.
Traj-Encoder

Traj-Decoder

Social-aware
Attention Module

sort
LSTM

MLP

LSTM
LSTM

LSTM
MLP

MLP

FvSim

LSTM
LSTM

LSTM

View-aware
Attention Module

LSTM

MLP

Resnet-18

LSTM

Social-aware Attention Module
hite,t

MLP

i
↵te,1
noise

concateisociconcat

LN

noise

i

MLP

multi-layer
perceptron

i
↵M

LN

i
Hte,t

MLP

Add

i
te,1 ↵te,nAddhmulti-layer
Wte,nperceptron...

View-Encoder

H
Wte,n

図 2.22: FVTraj[13] より引用．
Fig. 3. (Upper) Pipeline overview
of the の概略図．文献
FvTraj model. Given
the pedestrian trajectories in theobservation period, we use FvSim to simulate the corresponding crowd scenario and render the
first-person view images for each pedestrian. The Traj-Encoder (i.e., trajectory encoder) and theView-Encoder(i.e., view image encoder) are used toEend
extract
latent representations for observed
イズベクトルを連結し，エンドポイントを予測する．
で予測したエンドポイントに関する特徴
pedestrian
trajectories,
andthefirst-person
view
images,respectively.
Their outputs
are fed 内のinto量を得ると，Past Encoding の出力と連結する (concat encoding)．連結した特徴をSocial Poolingthe follow-up two modules (social-aware attention and view-aware attention, respectively) to capg, θ, ϕ の 3 つのパラメータを求める全結合層へ入力する．θ と ϕ は行列演算した後に Softmax 関数
turesocial behaviors and visual view-aware features based on multi-head attention mechanisms.
で重み付けし，歩行者が隣接するか否かをバイナリ表現にした歩行者
× 歩行者のSocial Maskと乗The
final multimodal trajectories are produced by the Traj-Decoder(i.e., trajectory
decoder).
(Lowerright) Social-aware
attention module
yellowbackground).
It captures the latent so算する．最後にg と行列演算した後にconcat (withencodingと加算しPf uture で未来の経路を予測する．
i and the other pedestrians. In this module, we
cialinteractions
betweenthefocus
pedestrianp
PECNet が提案されて以降，エンドポイントを予測する手法が数多く提案されていることから注目度
use a multi-head attention to calculate the scaled dot product attentions over all other pedestrians
が高いことが窺える．
exceptpi for each of[64,the 65,four68]heads(i.e., n = 4). Followed by an MLP, the social-aware attention
module finally returns the social interaction representations eisoci .
■ DSCMPiwherethe hidden states of TE-LSTM, which carries latent representations of
Tao らhte,t[62]isは，予測対象と他対象間の空間的及び，時間的インタラクションの両方を明示的にモ
emb denotes the embedding weights of MLP, and W
historicalmotion states of pi , Wrel
デル化し，将来の複数の経路を確率的に予測する
Dynamic and Static Context-aware Motion Predictor
tedenotesthe
LSTM
weights
inthetrajectory
encoder
TE-LSTM.
In
ourmodel,
all
the(DSCMP) を提案している．DSCMP は他対象の関係性を self-attention [52] に似た構造で捉える Nonpedestriansin the scene share the same parameter values in TE-LSTM.
local block [93] で予測対象と他対象間のインタラクションを考慮している．また，映像中の静的環境との衝突を避ける経路を予測するために，事前学習された PSPNet [94] を使って映像のセマンティッ
クラベルを抽出している．
3.4
View Image Encoder

We■build
View-Encoder, an encoder for any given first-person view image Iti of the
FVTrajcorresponding pedestrian pi . The simulated first-person view images with the originalsize⇥ 1024are resized
to 36Trajectory⇥ 48 forpredicting
FvTraj.model
We usea ResNet-18
model [15]
Bi of
ら 768
[13] は，First-person
View based(FVTraj)と呼ばれる俯瞰視点でpre-trainedon ImageNet [10]1 andfine tune the model to extract visual features, which
撮影された歩行者の経路情報と人称視点の画像から整合性をとる経路予測手法を提案している．
idenotedas V . We then pass these visual features V i into an LSTM (IE-LSTM) as
FVTraj の概略図を図 2.22 に示す．FVTraj は，FvSim と呼ばれるシミュレータ環境を用いて俯瞰視点
follows:で撮影された動画像を１人称視点にレンダリングし，１人称視点で捉えられるエゴモーションを伴う
hiie,t = IE-LSTM hiie,t 1 ,Vti ;Wie ,(2)
動的なシーンコンテキストが経路予測に有効なことを示している．また，Multi-Head Attention [52]where hiie,t denotes the hidden states of IE-LSTM, Wie denotes the LSTM weights in
34 with embedding weights Wieemb to get thethe IE-LSTM. Then we feed hiie,t to an MLP
visual feature ĥiie,t .

TEACHEROBSERVATIONTEACHERENCODER
Add & Norm

Add & Norm

HIDDENSTATES

Feed Forward
Forwa
ward

Multi-HeaddAttentionon

Add & Norm
SpatialAttention
At

Add & Norm

STUDENTENCODERGROUND
TRUTH

SpatialAttention

Add & Norm

STUDENTOBSERVATIONTEACHER
PREDICTIONS

Add & NormFeed
eed Forward

TemporalAttentionAt

TEACHERDECODERD
Add & Norm

T=8

TemporalAttention

ࣦED
Add & Norm

Feed Forward

STUDENTDECODER

ࣦDD

Add & Norm

Add & Norm

Feed Forward

Multi-HeaddAttentionon

Add & Norm
SpatialAttention
At

Add & Norm

TemporalAttentionAtࣦ GT

SpatialAttention

Add & Norm

Add & Norm

T=2

TemporalAttention

STUDENT
PREDICTIONS

Figure 2. A comprehensive picture of our framework, termed Distilling the Observations (DTO), which provides a training strategy for
図when
2.23:only
STT-DTO
の概略図．文献
obtaining accurate trajectory predictions
few observations
are available.[14] より引用．

we focus on the final hidden representations produced by
5. Experiments
the encoder
stack(i.e.,
theoutputs
of
the
fully
connectedに基づいて，歩行者間のインタラクションをモデル化する
Social-aware
Attention
Moduleと，一人称
Metrics.
We consider
two standard
error
metrics in ourlayer) and match those corresponding to the common timecomparisons:theAverage
Displacement
Error(ADE) and
視点画像から過去経路と視覚的特徴との関係を捉える
View-aware
Attention
Moduleを提案している．
steps using the following loss:
the Final Displacement Error (FDE) [27]. While the ADE
1Social-awarePX
Attention
Module で求められるアテンションは式(2.19)
で表す．
2
indicates theaverage
Euclidean distance between all the1
LED =hTp,[T K:T ] hSp,[0:K] ,(2)
predicted
time
steps
and
the ground-truth ones, the FDE exP p=0
instead only the error regarding the final position.
i pressesha = (hte,t Wte,n ),where hT:,: are the activations of the teacher encoder, hS:,: are
5.1.HDatasetsithe student’ ones, while T and K are the number ofb obser= (Hte,tWte,n ),
ETH/UCY.
As usually done [1, 15], we stitch together two
vations we feed to the teacher and the student, respectively.
Tabfromiscenes(2.19)scenes
αte,n= softmax( √ )b.ETH [27] (ETH and Hotel) and three
Decoder distillation. At the same time, we focus
on matchdte [23] (Univ, Zara-1, Zara-2). The resulting
from UCY
ing the function space spanned by both teacher and student
dataset contains more than 1500 pedestrians, taking linear
decoders. We pursue our goal relying on two terms: on one
andnon-linear
paths in H
outdoorscenarios. We follow the
ここで，hは
Traj-Encoder
内の予測対象iに関する
LSTMの内部状態，tete は i に関する内部状態
hand, we match the activations prior to the fully connectedcommon leave-one-scene-out protocol, training on 4 scenesTlayer thatgive theprediction, i.e. x̂p,t = FC(oの集合，W finalは全結合層の重みを示す．
View-aware
Attention
Module(2.19)one.
と同様の計算を行う．
p, ). Onand testingon theは式
remaining
the other hand, as proposed in [46], we exploit the selfStanford Drone Dataset (SDD). [30] is a large scaleattention coefficients ATp,[:] of the last decoder layer as andataset collected by a drone monitoring crowded university
additional learning guidance. The corresponding objective
campus scenarios. It contains multiple interacting agents
SGCN as follows:
function ■is defined(e.g., pedestrians, cyclists, cars) and is composed of a large
P 1
22
diversity of urban scenes (e.g., intersections and parks)
1 X T
LDD =歩行者間の衝突に関するインタラクションにより，衝突回避した経路予測を実現できる一方で衝
op,[:] oSp,[:] + ATp,[:] ASp,[:] . (3)where people exhibit complex dynamics. We split the SDD
P p=0
World Plane Human-Human dataset [33] into train (70 %),突を避けるために真値と異なる経路を予測する場合がある．これは，全ての歩行者とのインタラク
Overall objective. Finally, the student objective consistsval (10 %) and test (20 %) sets, respectively.
ションを密に捉えることで起こり得る．
Shi らof a weighted
sum of the prediction loss, which takes
into[66] は，遠い歩行者同士や歩行向きが異なるなど，衝Lyft Prediction Dataset. [19] is one of the largest collecaccountground-truth positions, and the distillation losses:
tion of traffic agent motion data. It includes tracks of cars,
突の可能性のない歩行者同士のインタラクションを疎に捉えることが重要と仮定し，歩行者の疎なpedestrians and other traffic agents recorded by cameras andL = ↵LGT + LED + LDD ,(4)
インタラクションと運動傾向を組み合わせたSparselidar
Graph
Convolution
Network (SGCN)
sensorsof Lyft autonomous
fleet. Weによる経路
split the reduced
where予測を提案している．予測対象の経路に影響を与える他の歩行者との疎なインタラクションにより，↵, and are three hyperparameters balancing theversion of this dataset (1000 agents) in train (70 %), val
contribution of each term.
(10 %) and test (20 %) sets.
高性能な経路予測を実現した．SGCN は歩行者を対象としており，自動車や自転車といったマルチ

クラスに拡張した Multiclass-SGCN [67] が翌年の ICIP で提案されている．
6556

35

(b)

(a)

(c)
(d)

図 2.24: アテンションモデルによる予測結果例．文献 [15] より改変．各図の赤線が予測対象，そのFig. 4. Attention weights predicted by Social Attention. In all plots, the red trajectory is the pedestr

他の色が他対象，各対象の青色の点が現在地，青色の円が予測対象の他対象に対するアテンション
rest of the trajectories are other pedestrians in the crowd. Solid dots represent locations of the pedmarker represents their current locations. The circles around the current position of surrounding pedesの大きさを表し，円が大きい他対象に予測対象の予測経路が強く影響することを示す．
to attention weight.

[13] N. Pradhan, T. Burg, and S. Birchfield, “Robot crowd navigation
models for hum
using predictive position fields in the potential function framework,” intional Conferenc
American Control Conference (ACC), 2011. IEEE, 2011, pp. 4628–[24] C. Sun and R■ STT-DTO
4633.
video event clas(b)(e)
Conference on C
[14] M. Kuderer, H. Kretzschmar, C. Sprunk, and W. Burgard, “Feature先行研究の問題設定では，歩行者の正確に観測された経路が必要になる．監視カメラや自律走行と[25] A. Jain, H. S. Kobased prediction of trajectories for socially compliant navigation.” inknows before yo
Robotics: science and systems, 2012.
いった実用的なアプリケーションでは，オクルージョン等による誤検出で経路予測を適用できない．
driving models,”[15] H. Kretzschmar, M. Spies, C. Sprunk, and W. Burgard, “Sociallyon Computer Vi
compliant mobile robot navigation via inverse reinforcement learning,”
適用したとしても，予測モデルにはノイズの多い入力データが与えられることで，予測性能に悪影響[26] Y. Li and R.
The International Journal of Robotics Research, vol. 35, no. 11, pp.
を及ぼす．悪影響を最小限に抑えることができる範囲で，観測する経路の長さを減らすことが考えら
recognition, loca
1289–1307, 2016.
in ECCV (4), 20[16] M. Pfeiffer, U. Schwesinger, H. Sommer, E. Galceran, and R. Siegwart,
れる．Monti ら [14] は，知識の蒸留 [95] を用いた経路予測手法 Spatio-Temporal Transformer Distilling [27] H. S. Koppula“Predicting actions to act predictably: Cooperative partial motion planobject affordancning withmaximum
entropy models,”
IEEE/RSJ International
the Observations (STT-DTO) を提案している．
STT-DTOの概略図を図2.232016に示す．教師ネットワー
on pattern analy
Conference on Intelligent Robots and Systems(c)(f) (IROS), pp. 2096–2101,
29, 2016.
クは，一般的な経路予測の問題設定と同様の長さの観測経路から予測する．生徒ネットワークは，教
2016.
[28]
X. Zhang, P. Jia[17] K. Kim, D. Lee, and I. A. Essa, “Gaussian process regression flow
師ネットワークより少ない観察経路情報から教師ネットワークの経路を模倣するように学習する．各a spatio-tempora
Fig. 4. Attention
weights predicted by Social Attention. In all plots,
the red of
trajectoryis the pedestrianattentionConference
weights areonbeing predicted.
The
for analysis
motion trajectories,”
2011whoseInternational
IEEE. IE
rest of the trajectories are other pedestrians in the crowd. Solid Computer
dots represent
locationsof the pedestrians
at previous time-steps and the blue2014
diamond
Vision,pp.
1164–1171,
2011.
ネットワークは，Attention
機構を介して空間的インタラクションと時間的インタラクションの両方[29]proportional
A. Jain, A. R.
marker represents
their current locations.
The circles
around the current position of surrounding pedestrians represents attention with the radius[18] J. Joseph, F. Doshi-Velez, A. S. Huang, and N. Roy, “A bayesian
Deep learning o
to attention weight.
を Transformer ベースの構造で経路を予測する．
nonparametric approach to modeling motion patterns,” Autonomous
Conference on C
Robots, vol. 31, no. 4, pp. 383–400, 2011.
5308–5317.
[13] N. Pradhan, T. Burg, and S. Birchfield, “Robot crowdnavigation
modelsforhumandynamics,”
inProceedings
of
the
IEEE
Interna[19] K. M. Kitani, B. D. Ziebart, J. A. Bagnell, and M. Hebert, “Activity[30] A. Vaswani, N.
using predictive position fields in the potential function framework,”intionalConferenceonComputer
Vision,2015,
pp.
4346–4354.
forecasting,” in European Conference on Computer Vision. Springer,
Gomez, inL. Kais
American Control Conference (ACC), 2011. IEEE, 2011, pp.
4628–[24] C. Sun and R. Nevatia, “Active: Activity concept transitions2012,
pp. 201–214.
■ アテンションモデルに基づく手法のまとめ
ArXiv e-prints, J
4633.
video event classification,” in Proceedings of the IEEE International[20] D. Varshneya and G. Srinivasaraghavan, “Human trajectory predic[31]A. Graves, “Ge
ConferenceonComputer
Vision,2013,
pp.
913–920.
[14] M. Kuderer, H. Kretzschmar, C. Sprunk, and W. Burgard, tion
“Featureusing spatially aware deep attention models,” arXiv preprint
preprint a[25] A. Jain, H. S. Koppula, B. Raghavan, S. Soh, and A. Saxena,arXiv“Car thatbased predictionof trajectories for socially compliant navigation.”in
アテンションモデルに基づくアプローチでは，予測対象と予測対象自身を含む個々の他対象とのarXiv:1705.09436, 2017.
[32]
S.
Pellegrini,A
knows
beforeyoudo:
Anticipating
maneuvers
via
learning
temporalRobotics: science and systems, 2012.
[21] F. Bartoli, G. Lisanti,
L. Ballan,
andinA.Proceedings
Del Bimbo,of“Context-aware
walk alone: Mo
関係を連続的な重み値で表現し，この重みをそれぞれの対象の特徴量と乗算することで，インタラ
drivingmodels,”the IEEE International Conference[15] H. Kretzschmar,
M. Spies, C. Sprunk, and W. Burgard, trajectory“Socially prediction,”
preprint
arXiv:1705.02503,
2017.
2009 IEEE 12th
on arXiv
Computer
Vision,2015, pp. 3182–3190.
compliant mobile robot navigation via inverse reinforcement learning,”[22] T. Fernando, S.
Denman,S.
Sridharan,
andC.
Fookes,“Soft+
hardクションを表現している．図2.24にアテンションモデルによる予測結果例を示す．図
2.24
より，予
2009,
pp. 261–2[26] Y. Li and R. Nevatia, “Key object driven
multi-category
objectThe International Journal of Robotics Research, vol. 35, no. 11, pp.
wired attention: An recognition,
lstm frameworkfor human
prediction[33] A.context.”
Lerner, Y.
localizationand trajectory
tracking using
spatio-temporal
1289–1307,2016.
測対象は前方にいる他対象や対向者に対してアテンション，つまり注意重みを自動で獲得すること
and abnormal eventin detection,”
arXiv pp.
preprint
arXiv:1702.05552,
example,” Com
ECCV (4), 2008,
409–422.
[16] M. Pfeiffer, U. Schwesinger, H. Sommer, E. Galceran, and R.2017.
Siegwart,
664, using
2007. [Onl
[27]
H.
S.
KoppulaandA.
Saxena,“Anticipating
human
activities
で衝突を回避する経路を予測できる．また，Transformer
がコンピュータビジョンの幅広い分野で応“Predicting actions to act predictably: Cooperative partial motion plan2007.01089.x[23] K. Fragkiadaki, S. Levine,
P.
Felsen, andfor
J. Malik,“Recurrent
network IEEE transactions
objectaffordances
reactiverobotic
response,”
ning with maximum entropy models,” 2016 IEEE/RSJ International
用されており，経路予測でも及び，その他手法が応用している．さらに，シンプルon pattern analysis and machine intelligence, vol. 38, no. 1, pp. 14–
Conferenceon Intelligent Robots and Systems STAR
(IROS),や
pp.FVTraj
2096–2101,
29, 2016.
2016.
な Transformer モデルが LSTM による予測手法の予測精度を上回ることができることから[81]，今[28] X. Zhang, P. Jiang, and F. Wang, “Overtaking
vehicle detection using[17] K. Kim, D. Lee, and I. A. Essa, “Gaussian process regression flowaspatio-temporal
crf,”inIntelligent
VehiclesSymposium Proceedings,
for analysis
motion trajectories,”
2011 International Conference on
後ofTransformerによる予測モデルが爆発的に増えることが予想できる．
2014 IEEE. IEEE, 2014, pp. 338–343.
Computer Vision, pp. 1164–1171, 2011.
[29] A. Jain, A. R. Zamir, S. Savarese, and A. Saxena, “Structural-rnn:[18] J. Joseph, F. Doshi-Velez, A. S. Huang, and N. Roy, “A bayesian
Deep learning on spatio-temporal graphs,” in Proceedings of the IEEE
nonparametric approach to modeling motion patterns,” Autonomous
Conference on Computer Vision and Pattern Recognition, 2016, pp.
Robots, vol. 31, no. 4, pp. 383–400, 2011.
5308–5317.
[19] K. M. Kitani, B. D. Ziebart, J. A. Bagnell, and M. Hebert, “Activity[30] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N.
forecasting,” in European Conference on Computer Vision. Springer,
Gomez, L. Kaiser, and I. Polosukhin, “Attention Is All You Need,”
2012, pp. 201–214.
ArXiv e-prints, June 2017.
[20] D. Varshneya and G. Srinivasaraghavan, “Human trajectory predic[31] A. Graves, “Generating sequences with recurrent neural networks,”
tion using spatially aware deep attention models,” arXiv preprint
preprint arXiv:1308.0850, 2013.
36 [32] arXiv
arXiv:1705.09436, 2017.
S. Pellegrini, A. Ess, K. Schindler, and L. van Gool, “You’ll never[21] F. Bartoli, G. Lisanti, L. Ballan, and A. Del Bimbo, “Context-aware
walk alone: Modeling social behavior for multi-target tracking,” intrajectory prediction,” arXiv preprint arXiv:1705.02503, 2017.
2009 IEEE 12th International Conference on Computer Vision, Sept[22] T. Fernando, S. Denman, S. Sridharan, and C. Fookes, “Soft+ hard2009, pp. 261–268.
wired attention: An lstm framework for human trajectory prediction[33] A. Lerner, Y. Chrysanthou, and D. Lischinski, “Crowds by
and abnormal event detection,” arXiv preprint arXiv:1702.05552,
example,” Computer Graphics Forum, vol. 26, no. 3, pp. 655–
2017.
664, 2007. [Online]. Available: http://dx.doi.org/10.1111/j.1467-8659.
2007.01089.x[23] K. Fragkiadaki, S. Levine, P. Felsen, and J. Malik, “Recurrent network2.2.3

その他のモデルに基づくアプローチ

プーリングモデルでは，予測対象周辺の他対象の特徴を空間を表現したグリッドに埋め込むこと
でインタラクションを表現している．アテンションモデルではモデルが獲得した重みから，予測対
象が着目または僅かに考慮する対象をモデル自身が選択することでインタラクションを表現している．一方で，これらに属さないその他のモデルに基づくアプローチもいくつか提案されている．本
節では，それらについて述べる．

■ RGM

Choi ら [16] は，歩行者や自動車などの移動対象間の関係と周辺の静的環境との関係の両方を捉える
ために，LSTM 内部のゲート構造に触発された Relation Gate Module (RGM) を提案している．RGMの構造を図 2.25 に示す．RGM は，後述する時空間的特徴と LSTM の出力である予測対象の座標値
に関する特徴ベクトルを用いる．RGM 内では，Sigmoid 関数及び Tanh 関数を通した特徴量間で乗算することで，時空間的特徴から予測対象に有用な情報を伝播するだけでなく，どの程度重みを与える必要があるかを決定することができる．これは，Sigmoid 関数と Tanh 関数に通す特徴量が同じで，それぞれの関数に通した後の値域がそれぞれ [0, 1] と [-1, 1] となりこれらを乗算すると，0 に近い場合不必要な情報とみなし，1 に近い場合必要な情報とみなされる．つまり，LSTM の忘却ゲートと似た構造となっているため，予測対象に有用な情報を伝播し不要な情報の伝播を防ぐことができる．時空間的特徴は移動対象間及び，移動対象と周辺の静的環境とのインタラクションを考慮したものである．時空間的特徴はプーリングモデルやアテンションモデルのインタラクションとは異なり，2D Convolution と 3D Convolution で各インタラクションに関する特徴量を求めている．まず，画像内を行動する移動対象の空間的行動から，移動対象間の衝突回避に関するインタラクション及び，移動対象と静的物体間のインタラクションに関する特徴量を 2D Convolution で求める．次にこれを全過去時刻で行い，チャンネル方向に各過去時刻で得た特徴量を連結した後に 3D Convolution で時
空間的特徴を取得する．

■ PRECOG

Rhinehart ら [70] は，複数の予測対象の経路を予測するために，VAE や GAN とは異なりモデルから得られる尤度推論を用いて経路予測する Estimating Social-forecast Probabilities (ESP) を提案している．また，この手法は推論時に予測対象の 前に進むや 停止するなどの目標を条件付けする PREdiction Conditioned on Goals (PRECOG) を提案している．PRECOG により，予測対象と他対象間のインタラクションをモデル化した後，予測対象の目標を条件付けると他対象の予測経路が予
測対象の目標に従って変化する．

37

ages, the GRE visually analyzes spatial behavior of road users and their temporal interactions
e subsequent RGM of GRE infers pair-wise relations from these interactions and determines
rom a target agent’s perspective. The aggregated relational features are used to generate
N. Then, the following SRN further refines these initial predictions with a guidance of theirnally embed the uncertainty of the problem into our system at test time.
e.g., Human-space interactions

y correlated. However, asoriented approaches, theseto unseen locations as thelayout.

I

SBE
Time

t=t0-τ+1

i

…

jj

j

e.g., Human-human interactions

Time

t=t0

SBE
Time

t=t0-τ+1

Temporal Interaction Encoder

Spatial Behavior Encoder

c

…

c

si
TIE

d

c
Time

d

sj

…

d
Spatio-temporal features, O

t=t0

c

…

object’ in [34] to a spatioxtracted from each region
e. It enables us to visuinteractions where thereting with each other overons from their interactive(iii) environmental reprel information of the road.
objects (i.e., local spatiorom a global perspective.
ration function to control
ork can extract descriptive
relations that have a highmotion of the target.

ctionst=t0

t=t0-τ+1d

Spatial representations, S(a) 時空間的特徴の抽出

Figure 3: We model human-human and human-space interactions by visually encoding
spatio-temporalfeatures from
𝑘
LSTM
𝑞𝑘
X
each region of the discretized grid.
𝑜𝑖

ual road users ge
same set of objec

tanh features as
ing extracts more discriminative spatio-temporal
It0 ⌧ +1 , It0 ⌧ +2 , ..., It0 },sigcompared to alternative methods such as 3D convolutions
resentations of the static
tanh
𝑓𝑖𝑗𝑘
4. Future Tra
𝑜
𝑟
𝑖𝑗
𝑖𝑗
as a whole or 2D convolutions withan LSTM. Refer togy, and the appearance oftanh
Section 5.2 for detailed
description and empirical valida𝑜𝑗
es using the spatial behavThe proposedtion. 𝑂The resulting spatio-temporal features O 2 Rd x d x cns. The concatenated feature locations Y kcontainsavisualinterpretationofspatialbehaviorofroadelement-wiseatial representations S 2
concatenate
FC with non-linear
road user k using
multiplication⌧ x1x1xc
users
and
their
temporalinteractions with each other andentry si 2 Rofnumerical coordi
with environments. We
O into a set of objects(b) decompose
RGMの概略図
e-wise knowledge of road
Figure 4: The relationgate
module controls information2
1x1xc
of likelihood heat{o1 , ..., on }, where n = d and an object oi 2 R
ish region of the given enflow
throughmultipleswitches
anddeterminesnotonly
図 2.25: RGM の概略図．文献
estimation in [38a c-dimensionalfeature vector.[16] より引用及び改変．
dually process each entry
whether the given object pair has meaningful relations fromthe proposed met
action encoder with a 3D
Relation Gate
Module but also how important theira 3.2.
spatio-temporalperspective,changes of road users andrelations are with respect to the motion context of the target.
4.1. Trajectoryral interactions as ■in RSBG
FigObservations from actual prediction scenarios in roaduse of 2D convolutionsforscenes suggest that humans focus on only few important
歩行者は同じ目的地や進む方向を考えると，いくつかの類似性を持つ対象が多いことから，
Sun To effectively
insteadof inferring every relational interactions of all roadution for temporalら modelrelations
that
may
potentiallyconstraintheintendedpath,[17] は歩行者間の関係を調査するグループベースのインタラクションによる経路予測手法を提案
we specifically deusers. In this view, we propose a module which is able towith a set of deco
している．この手法ではグループかどうかを判断するために，人によるアノテーションが施されていaddress the benefits of discriminatory information process
architecture are
る．また，グループのインタラクションにはGraph Convolutional
Neural Network (GCN) [96] を使っwith respect to their relational
importance.
Wefirst reshapeてグループ間の関係性を学習している．
RSBGの概略図を図2.26processに示す．この手法は大きく分けて3
We focused on theinternal
gatingof an LSTM
GRE to be the diunit that controls information flow through multiple switch
posed trajectory
38
gates. Specifically, the LSTM
employs a sigmoid function
features are thenwith a tanh layer to determine not only which information
volutional layers,
is useful, but also how much weight should be given. The
function. As an
efficacy of their control process leads us to design a relationgate module (RGM) which is essential to generate more deof activations inIndividualRepresentation

Decoder

BiLSTM
Coordinates
Imagepatch

LSTM

CNN

Coordinates

RSBG
Generator

GCN

Features
RSBG

RelationalSocialRepresentation

Figure 3. Overview of our proposed prediction method. For individual representation, BiLSTMs are used to encode historical trajectory
図 2.26: RSBG の概略図．文献 [17] より引用．
feature, and CNNs are used to encode human context feature. For relational social representation, we first generate RSBG recursively andthen use GCN to propagate social features. At the decoding stage, social features are concatenated with individual features which finallydecoded by an LSTM based decoder.

for each time
period.
Finally, we concatenate historical trajectory featureand Individual
つのネットワーク表現で構成されている．
1 つ目はRepresentation
である．ここでは予測対
context human feature as individual representation. We de象の経路情報に関する特徴量を
BiLSTMnote
the feature map of ith person instanceas fi . で取得する．同時に，シーン画像から予測対象を中心としたFeature Design For an N people scene, we can constructa feature matrix F ∈ RN×L where each row represents a
パッチ領域を取得し，Convolution 層に伝播することで，静的環境に関する特徴量を取得する．その3.4.
Relational Social Representation
feature of a certain person, L represents for feature length.
後，それぞれで得た特徴量を連結する．
2 つ目はThen we Social
define aRepresentation
relation matrix Rである．ここでは，Most of the existing social models [2, 13, 18, 34]
meets Relationala limitation that they use the distance of pedestrians as a
R = softmax(gs (F)go (F)T ) ∈ RN×N
(2)
Recursive Social Behavior Graph (RSBG Generator) と呼ばれるモジュールで各人の位置情報から，グstrong reference to build social representation. However,where gs (·) and go (·) are two fully connected GCN
layer network
relationalsocial behavior is complicated and can’t be easily
ループか否かをバイナリ表現にした隣接行列を作成する．作成した隣接行列と位置情報をへ入function to map F to two different feature space, we callmodeled by a single hand-crafted feature. Therefore, we
れ，対象間の特徴量を算出する．最後にRepresentationと Relational
SocialRepresentation
them subject feature
space and object
featurespace respecdirectly
annotate social relationship and learn what Individualis socialtively. It is because the pedestrian graph is directional, we
relationship.
の特徴量を連結しデコーダの LSTM へ入力することで将来の経路を予測する．また，経路予測タス
need these two functions to guarantee non-commutativity.
By integrating subject feature and object feature with an inクにおいて，未来最終時刻の位置が移動対象の目標を示すのに重要である点から，損失計算時に未来
Relationship Labeling In order to supervise training,ner product for every ordered pair, an relational embedding
weintroduce social related annotations.
In the
最終時刻の誤差を強調する
Exponential
L2annotaLoss を提案することで予測精度をさらに向上させている．
matrix R can response the relationship between any pairtions, pedestrians are separated into groups according to theof pedestrians. Our relationship labeling provides groundvideos, which can be reconstructed into adjacency matritruth of R: 0/1 to represent whether two pedestrians are inces, using 0/1 to represent whether two pedestrians are in
the same group.
the ■
same
group.
Social STGCNN
3.5. Recursive Social Behavior Graph
We invite experts who have sociology background tojudge relationship of two pedestrians. In the annotation proWe
designNetworka recursive
mechanismto further advanceら [37]a は，と Temporal
MohamedNeural(TCN)[53] を組み合わせる
cess,experts determine
groupGCN
of people
on the basisConvolutionalof notour representations R and F. First, our individual social
onlyphysical rules such as velocity, acceleration, direction
ことで，歩行者間の複雑なインタラクションを考慮した時空間グラフ化したモデルを提案している．
representation F should consider the interaction persons
and relative distance between people, but also sociologicalaround it. Second, we hope the relationship model based
この手法では，映像中の対象間の相対距離値の逆数を隣接行列とし，グラフのノードと隣接行列か
knowledge.
Considering the group information is dynamic
on stronger individual social representation. We have theto some extent in a real scene, we split the whole scene intorecursive update
asで予測分布を出力している．まら GCN でインタラクションに関する特徴抽出を行い，その後TCN
time periods, which is small enough in response to dynamicchangesin relationship.
Experts annotate the interactions
Rk = softmax(gs (Fk )go (Fk )T ) ∈ RN×N
(3)
た，従来の
LSTM による予測手法では経路を予測するためにモデルから出力される予測値を逐次入力値として繰り返す必要があったが，2.1.3 節に述べたように TCN は予測経路を並列に出力することから，推論速度や計算コストを大幅に削減できる．
663

39

■ その他のモデルに基づく手法のまとめ
その他のインタラクションを考慮したモデルに基づくアプローチでは，2D や 3D Convolution で時
空間的にインタラクションを求める方法や歩行者をグラフとして捉えて GCN でインタラクションを考慮する方法などが提案されている．これらは，プーリングやアテンションモデルに基づくアプロー
チと比べ発展途上にあるため，移動対象間の関係性を捉える別のアプローチが今後提案されていくと考えられる．

2.2.4

インタラクション以外の課題を扱うアプローチ

プーリングやアテンションといったモデルでは主に LSTM を用いた手法が多く提案されている．一方で CNN を用いた経路予測手法や上記で説明したモデルに分類されない予測手法，実環境における建物や道路などのシーンコンテキストを用いた予測手法といった様々な予測手法が提案されている．
本節ではそれらについて述べる．

■ Behavior CNN

Yi ら [71] は過去の経路から CNN を用いて予測経路を直接出力するような Behavior CNN を提案している．Behavior CNN は，歩行者の過去数フレームの移動座標を各チャネルに格納したスパースな 3D データを作成し，Behavior CNN への入力とする．その後，Convolution 及び maxpool. を適用することで入力データをエンコードし，Deconvolution を適用しデコードすることで，予測経路を出力している．また，入り口や障害物などの存在により，特定のシーン中の位置によって異なる歩行者の振る舞いを考慮するために，location bias map と呼ばれるバイアスをエンコーダによってエンコー
ドされたデータの各チャネルに組み込むで，予測精度を向上させている．

■ Visual Path Prediction

Huang ら [72] は，Spatial Matching Network と呼ばる CNN を提案しており，予測対象が存在しているパッチ画像と周辺の微小領域のパッチ画像の類似度を比較することで局所的な領域の報酬を推定している．この手法では，シーン中の微小領域毎に推定したコストからシーン全体のコストマッ
プを作成し，Spatial Matching Network で獲得した報酬と組み合わせることで，衝突の危険が高い領域を回避した経路予測を可能としている．

■ FPL

Yagi ら [29] は，1 人称視点における対面の歩行者の将来の経路を予測する Future Person Localizationin First-Person Videos (FPL) を提案している．Yagi らは一人称における経路予測の重要な要素として，

40

1) 将来のフレームでの対面の歩行者の位置に影響を与えるエゴモーション，2) 対面の歩行者のスケー
ル，3) 将来の位置を予測するための歩行者の姿勢や向きが必要だと主張している．そのため，これら 3 つの情報を用いたマルチストリームの Convolution-Deconvolution モデルを提案している．

■ OPPU

Bhattacharyya ら [73] は，車載カメラ映像に映る人の Bounding Box 情報 (BB) と自車のステアリング
や速度といった移動量を用いた予測モデルの On-board Pedestrian Prediction under Uncertainty (OPPU)を提案している．この手法では，上記の情報の他に車載カメラ画像を共に用いている．ネットワーク
構造は Odometry Prediction Stream と Bayesian Bounding Box Prediction Stream の 2 つから構成される．まず，Odometry Prediction Stream で過去の移動量と車載カメラ画像から，未来の移動量を推定する．続いて，Bayesian Bounding Box Prediction Stream で過去の同時刻の Bounding Box と移動量から，現在までの状態を保持する summary を算出する．その後，summary と推定した移動量を用いて，
未来の Bounding Box とそのバラツキ (不確実性) を予測する．CNN を用いて周辺の環境情報に関する特徴量を車載カメラ画像から抽出し，Bounding Box や移動量と共に LSTM へ入力することで，高性能な経路予測を実現している．

■ Fast and Furious

Luo ら [74] は，俯瞰視点の 3D 点群データを用いて自動車の 3D 検出，追跡及び経路予測を同時に推論するモデルを提案している．この手法では，3D 点群データから自動車を検出することに焦点を当てている．一般的に，追跡や予測といったタスクには自動車の固定 ID が必要になる．そのため，複数フレームにわたる 3D 点群データを使用することでロバストな自動車の検出，追跡及び予測を行っている．また，一般的に点群データは本質的に 3D 空間でスパースな特徴表現であり，ネットワークの計算コストを抑えることができるため，リアルタイムでこれらのタスクを同時に計算することができる．

■ OASE
既存の予測手法で歩行者や自動車などの異なる移動物体の経路を予測する際，異なる対象毎に予測モデルを作成する必要がある．しかしながら，対象の種類が増加するにつれ，扱うモデルの数が増加するため，計算コストの面から現実的とは言えない．そのため，Object Attributes and Semantic

Environment (OASE) [75] では歩行者や自動車といった複数対象の種類を対象が保有する属性とみなし，対象の属性情報を one-hot vector としてコンパクトに表現した経路予測手法を提案している．同時に予測シーンに付与されたセマンティックラベルを CNN へ入力することで，予測対象周囲の環境に関する特徴を捉えている．これにより，例えば自動車なら車道を走る，歩行者なら歩道を歩くなど異なる対象に応じて移動する領域の違いを考慮した経路予測を実現している．詳細は 3 章で述べる．

41

■ Rules of the Road

Hong ら [76] は，俯瞰視点における自動車の将来の経路を予測するために，車線や信号の状態など含む正確かつ詳細なセマンティックマップをエンコードし，複雑なシーンコンテキストを考慮する

CNN と GRU による経路予測手法を提案している．この手法では，オートエンコーダモデルを適用
し，エンコーダは時間，空間，チャネルの 4D テンソルを幾つかの潜在的内部表現にマッピングし，デコーダではその表現を使用して，将来の自動車の予測分布を出力する．

■ Future Vehicle Localization

Yu ら [77] は，車載カメラ視点における他車の将来のスケールの大きさをマルチストリームな GRU
エンコーダ/デコーダで予測している．この手法では，Location-Scale Encoding，Motion-Appearance

Encoding，Future Location-Scale Decoding 及び，Future Ego-Motion Cue の 4 つで構成されている．
Location-Scale Encoding では，他車の BB 情報から位置に関する特徴を全結合層で抽出した後に GRU
へ入力する．Motion-Appearance Encoding では，隣接フレーム間の物体の動きをベクトルで表すオ
プティカルフロー画像から他車の BB 領域のみを取り出し，全結合層と GRU を介して他車のダイナ
ミクスな特徴を抽出する．Future Location-Scale Decoding では，先述した 2 つの特徴と後述する自車のエゴモーションを GRU へ入力し，将来のスケールを予測する．Future Ego-Motion Cue では，自車のエゴモーションに関する特徴を全結合層で抽出した後に，Future Location-Scale Decoding へ入力
する．

■ DTP

Styles ら [78] は，隣接フレーム間の物体の動きをベクトルで表すオプティカルフローから歩行者の行動特徴を予測する Dynamic Trajectory Predictor (DTP) を提案している．また，この論文では歩行者の位置情報を人手でアノテーションするには人的コストがかかる点から，既存の歩行者検出と歩行者追跡手法を利用して歩行者の位置情報を自動でアノテーションし，ラベルのないデータから事前学習を行っている．その後，ターゲットのデータセットへ ﬁne-tuning することで，効率的に学習させている．

■ TPNetDL を用いた従来手法は，経路を直接回帰することで将来の経路パターンを学習し，複数経路を予測することができる．このようなデータドリブンなアプローチでは，次の 2 つの問題点が挙げられ
る．1) 右左折などして移動対象が将来辿る可能性が複数あると合理的な経路の予測が困難なこと．2)
環境情報を考慮する際セマンティックマップがエンコードされるが，交通ルールに従うための安全性の保証がなく周囲の静的環境を効率的に組み込むことが困難なこと．これらを解決するために，Fang
ら [79] は Trajectory Proposal Network (TPNet) と呼ばれる 2 段階のアプローチを提案している．1 段

42

階目は将来で辿る可能性のある経路を削減する目的として，CNN エンコーダ/デコーダでエンドポイ
ントを予測し，予測したエンドポイントと過去の経路からカーブフィッティングをして将来候補となる経路を生成する．2 段階目は，1 段階目で候補に挙がった各経路に対してクラス分類を行い，最良な予測経路を出力する．

■ Multiverse
この論文では，人が辿る未来の目的地や経路は複数存在していると仮定し，複数の尤もらしい将来の経路を予測する Multiverse を提案している [24]．また，現実シーンでは単一の目的地や経路しか取得できないことから，CARLA シミュレータ上で現実シーンの情報をマッピングすることで複数の目的地や経路を取得した The Forking Paths Dataset も提案している．データセットの詳細は 2.3 節で説明する．また，同著者らは The Forking Paths Dataset，すなわちシミュレータ環境で作成した歩行者の経路を学習し，それを現実世界の歩行者の経路に転移させて将来の経路を予測する SimAug [80]を提案している．さらに，Li ら [69] は Multiverse が人間の行動パターンに反する時間的な整合性がないことを問題とし，メモリグラフで各時刻で得た経路情報を蓄積し，経路の滑らかさを保証する
メモリリプレイアルゴリズムを提案している．

■ E-VMPEgo-motion Vehicle Motion Prediction (E-VMP) [83] では，車載カメラ視点で歩行者の未来の位置の推定を行う．自車両及び歩行者は時刻毎に動的に動くことが想定されるため，E-VMP では自己教師あり学習の深度推定ネットワーク [97, 98] に基づき，異なる時刻間の入力画像の差分から自車両の将来の視点変化を予測するネットワークを提案している．そして，歩行者の過去の位置情報と組み合
わせシンプルな線形モデルにより，将来の歩行者の位置を推定する．

■ Y-Net
歩行者の過去の経路やシーンセマンティックを条件としても，将来の人間の行動は複雑で行動がランダムに変化するため本質的に確率的 [99] である．これは，長期目標などの潜在的決定変数による認識の不確実性と環境要因などのランダムな決定変数から生じる偶然性の両方が原因となり引き起こされる [100]．この二律背反が，長期的予測では将来の不確実性が高くなる傾向がある．Mangalam
らは，歩行者の長期的な潜在的目標が経路予測における認識の不確実性を表すと仮定し，認識の不確実性をモデル化により得られた推定値を条件とした Y-Net [82] で経路を予測する．Y-Net では，シーンと歩行者の過去の経路から長期的な目標，すなわちエンドポイントに対する確率分布を複数推定する．さらに，いくつか選択された将来の waypoint に関する分布を推定し，推定したエンドポイン
トと残りの中間地点に関する明示的な確率マップを推定する．これにより，経路予測における認識の不確実性を表現できる．認識可能なエンドポイントの確率分布，予測可能な waypoint 及び，過去の43

経路の分布から将来の経路を予測している．

■ インタラクション以外の課題を扱う手法のまとめ
インタラクション以外の課題を扱うアプローチでは，CNN を用いた予測手法が多く提案されている．特にシーンコンテキストやセマンティックラベルなど，環境情報を捉える手法が初期から提案されている．今後は，次節で述べる経路予測のデータセットのリッチな追加情報より，点群情報やインフラストラクチャなどを利用した手法がより提案されると考えられる．

2.3

経路予測のデータセット

経路予測手法を定量的に評価するために，表 2.2 及び図 2.27 のような様々なデータセットが用いられている．本節では，これらのデータセットの特性について説明する．

2.3.1

鳥瞰視点

経路予測で最も用いられるのは，一般道や市街地を固定カメラやドローンなどを用いて鳥瞰視点で撮影，または鳥瞰視点に変換したデータセットである．これらのデータセットは広域にわたり様々な対象データや詳細なマップ情報を取得できるため，大規模なデータとなっている．

■ ETH/UCY

ETH/UCY [19] [18] は，市街地や大学構内の歩行者を鳥瞰視点で撮影したデータセットである．このデータセットは，現在も多くの手法が使用しており [12] [17]，経路予測の代表的なデータセットとなっている．

■ SDD

SDD [20] は，スタンフォード大学構内をドローンで空撮したデータセットである．SDD には 8 つの異なるシーンで撮影されている．また，pedestrian や car などの異なる物体クラスが 6 種類含まれている．

■ Argoverse

Argoverse [21] は一般道における自動運転用のデータセットである．このデータセットはアメリカのマイアミとピッツバーグの 2 シーンで撮影されており，自車両に取り付けた LiDAR カメラやステ
レオカメラで他車両の動きを収集している．鳥瞰視点に変換した経路情報以外に車線情報や地図デー

44

表 2.2: データセットの比較．
データセット名

年代

対象数

映像視点

シーン数

対象種類

追加情報

UCY [18]

2007

0.7K

鳥瞰

3

pedestrian-ETH [19]

2009

0.7K

鳥瞰

2

pedestrian-

SDD [20]

2016

11K

鳥瞰

8

pedestrian, car, biker-

bus, skateboarder, cart
車線情報

Argoverse [21]

2019

300K

鳥瞰

113

car

地図データ
センサー情報pedestrian，

航空画像

car，cyclist

セマンティックラベル

Lyft Level 5 [22]

2019

3B

鳥瞰

170,000

inD [23]

2019

13K

鳥瞰

4

The Forking Paths [24]

2020

0.7K

鳥瞰，監視カメラ

7

pedestrianPIE [25]

2019

1.8K

車載

53

pedestrian

Apolloscape [26]

2019

81K

車載

100,000

TITAN [27]

2020

645K

車載

700

pedestrian，car，cyclist

pedestrian，car，cyclist

セマンティックラベル
複数経路情報車両情報
インフラストラクチャ-

pedestrian，

対象の行動ラベルcar，cyclist

歩行者の年齢グループ
センサー情報nuScenes [28]

2020

1.4M

車載

1,000

truck, bicycle,car, 20 of others

地図データ
点群情報
エゴモーション

First-Person Locomotion [29]

2018

5K

一人称

87

歩行者

姿勢情報
エゴモーション

タを含むリッチマップが提供されている他，3D tracking タスク用に車載カメラ視点における物体の位置情報が公開されている．

■ Lyft Level 5

Lyft Level 5 [22] は交差点や一般道を中心に自動車や自転車，歩行者などの物体の動きが含まれているデータセットである．対象数は約 30 億と非常に大規模なデータセットで，特に自動車は約 92%のデータが含まれている．また，追加情報として道路情報にセマンティックラベルがあり，交差点の右左折レーンなど交通状況を視覚化したマップが提供されている．

■ inD

inD dataset [23] は，ドイツの交差点の自動車や歩行者の動きをドローンで空撮したデータセット
である．このデータセットは 4 つの地点で撮影されており，歩行者や自動車などの複数対象の物体情
報がある．

45

PIE
MethodLinear
LSTM
3.3. Aerial map
B-LSTM[5]The aerial map captures the area of Palo Alto that surrounds the route at a resolution of 6 cm per pixel . It enPIEtraj

5.3. Results

0.5s
123
172
101
58

M SE
1s
477
330
296
200

1.5s
1365
911
855
636

CM SE
1.5s
950
837
811
596

CFM
1.5
398
335
325
247

In this section, we evaluate the effect of multimodal pre3
dictions, social context, and spatial context (from the vector
ables the use of spatial information to aid with motion prediction.
Figure
5
shows
the
map
coverageandthelevel ofmap) to improve motion forecasting over horizons of 3 sec3: Location(bounding box) prediction errors over varyi
detail. The covered area of 74Table
km2 and is provided
as 181
GeoTIFF tiles of size 10560 ⇥ 10560 pixels, each spanningonds into the future.
Weevaluatedthefollowingmodels:
Input
Ground Truth
NNeighbor
SocialLSTM predicted
Ours time steps, CM SE and CFM SE are the MSEs calc
approximately 640 ⇥ 640 meters.
The inD Dataset:
A Droneof Naturalistic• Constant Velocity:
Computethe Dataset
mean velocity
Road
GermanIntersections, v9yi ) fromt User=𝑡 {1,Trajectories.𝑡.0. , Tobs
} atandthen forecast
𝑡 𝑡(v
5
𝑡 t0
𝑡 4. Development𝑡0 6 tools predicted
𝑡 𝑡0sequence
10 and only the last time step respectively.
0 xi(e) Lyft Level 5 Datasetwith the dataset,(d)weArgoverse
are releasinga python, UCY
Robert Krajewski, Tobias Moers , Steffen Runde , Lennart
Lutz Eckstein(a)Dataset(b)Vater
ETHandDataset(c) Stanford DroneTogether
DatasetDataset(xti , yit ) for tJulian=Bock{T
Figure 7: Example output of the motion prediction solution
obs+1 , . . . , Tpred } using (vxi , vyi )toolkit named L5Kit. It provides access to some easesupplied as part of the software development kit. A convoPast observations Predictionsof-use functionalities and a full sample motion prediction
as the constant velocity.
lution neural network takes rasterised scenes around nearby
pipeline which can be viewed as a baseline. It is available atvehicles as input, and predicts their future motion.
• NN: Nearest Neighbor regression where trajectories
https://github.com/lyft/l5kit/ and contains
the following components:
are queried by (xti , yit ) for t = {1, . . . , Tobs }. To makeMulti-threaded data loading and sampling. We proity and multi-threading to make it suitable for distributed
vide wrappers around the raw data files that can sample
K predictions, we performed a lookup for K nuScenes:
NearestA multimodal dataset for autonomousmachine learning.
drivingscenesand load the data efficiently. Scenes can be sampled
Customisable scene visualisation and rasterisation.
Neighbors.
from multiple points of view: for prediction of the ego ve(a)We provide several functions to visualise and rasterise
hicleLiong,motionpath,Xu,
we can center the scene around our SDV.
Holger Caesar,
Qiang• LSTM: LSTM Encoder-Decoder model where
theVarunin-Bankiti, Alex H. Lang, Sourabh Vora, Venice Erina sampled scene. Our visualisation package can draw adFor predicting the motions of other traffic participants, weAnush Krishnan, Yu Pan, Giancarlo Baldan, Oscar Beijbom
ditional information, such as the future trajectory, onto anprovide the functionality to recenter the scene around those
put is (xti , yit ) for t = {1, . . . , Tobs } and output is nuTonomy: an APTIV company
RGB image and save files as images, GIFs or full scene
traffic
participants.
nuscenes@nutonomy.com(g) The Forking
Paths
DatasetThis process is optimised for scalabil(f) inD }.
Dataset(h) PIE Dataset(xti , yit ) for t =This ispredictions
limited to and the yellow-orange
obs+1 , . . . , Tpred
nalysis. The red trajectories
are{Tsingle-future
methodheatmaps
are https://www.nearmap. videos.
The aerial
map is provided by NearMap
We support several different rasterisation modes for crecom/.
one prediction because we used a deterministic model.
Abstract
ating a meaningful representation for the underlying image.
edictions. The•yellow
trajectories are observationswith
andinputthegreen
ones are ground truth multi-future
Figure 6 shows example images generated by the differLSTM+social: Similar to LSTM butRobust
asFigure8:
Qualitative
resultsfromNN+map(prior)mdetection and tracking of objects is crucial forent modes and created from either the semantic map (upper
the deployment of autonomous vehicle technology. Imager details.
(xti , yit , sti ), where sti denotes social features.
right image) or the aerial map (lower right), or a combinabased benchmark datasets have driven development
in comG,n-C
motion forecasting baseline. The orange trajectory
puter vision tasks such as object detection, tracking and segtion of both (lower left). Such images can then be used as• NN+map(prune): This baselineMethodbuildsNinNthe environment.
and Most autonomous
mentationonof agents(b)
Single-Future
Multi-Future
represents
theobserved2s.
Red
represents
groundtruth
forinput to a conventional machine learning pipeline akin to
vehicles, however, carry a combination of cameras and[2, 7].
range sensors suchas lidar andradar. As machinelearnprunes the number of predicted Our
trajectories
based
on
the
next
3
seconds
andgreen
representsthemultiple
forefull
model
18.51
/
35.84
166.1
/
329.5
ing based methods for detection and tracking become more
Baseline motion prediction solution. In addition to theprevalent,Accordingly,
there is a need to train and evaluate such methhow often they exit the drivableNo
area.
above-described functionalities, we also provide a complete
castedtrajectories
for
those
3
s.
Top
left:
The
car
startstospatial28.68 / 49.87 184.5 / 363.2
ods on datasets graphcontaining range sensor data along with imtraining pipeline for a motion prediction task including a
In thiswork we present nuTonomy scenes (nuScenes),
this method prefers predictions whichages.
arequalitatively
accelerate
froma stop232.1
line andthe model is able to predict baseline
2
experiment in Pytorch [19]. This was designed to
the first dataset
to carry the fullautonomous vehicle
sensorNo
finelocation
decoder
53.62/ We468.6
Figure,/vehicle
1. 83.57
An example
from box
the nuScenes
dataset.
see 6 difFigure 3. Example
scenarios of the TITAN
Dataset:a pedestrian
box
shown
bounding(i) ApolloscapeDataset
TITAN
Dataset(k)
nuScenes
Dataset(l) First-Person Locomotion show
Datasetsuite:
6 cameras,bounding
5 radars (j)
and
1with
lidar,tracking
allwithIDfullis360
de- inhow the data can be used for the task at hand. It also
good, and Figure
notNearestNeighbors.
ferentcameraviews,2.
lidar and radarturndata, as wellas thegohumanstraight) along with difwithjust
ID is shownin, future
locations are displayed. Actionlabelsare shown
different
colors following
Figuredifferentmodes(rightandgree fieldinof view.
nuScenes
comprises
1000inscenes,each
5: Illustrationof
ourTrafficPredict(TP)
methodon
camera-based
images.
There
sixwrit-scenarioswith different roadannotatedsemantic
map. At the bottom
we showare
the344.4
humanincludes several helpful functions to ease training with ourNomulti-scale
grid
21.09
/
38.45
171.0
/
20s long and fully annotated with 3D bounding boxes for
ten
scene
description.
centric views
captured from Nearest
platform.
agent i at each past time
step from
1 to T , where(c , c ) along those modes. Top right: The• NN+map(prior)
m-G,n-C:
Neighbor
regresferent
profiles23 We
classes only
and 8 attributes.
It thehas 7x trajectories
as many annotations
conditions
andtraffica mobile
situations.
show
ofvelocity
severalinstancesin each scenario. The ground truth (GT) data,
is such as data loader classes and evaluation functions.
and,pioneeringl ) represent
thecenter andMultimodal
the dimension
In the TITAN dataset, every participantand(individuals,
datasetsofaretheof particular importance as no
100x
as (l
KITTI
dataset.
tas many
The presented end-to-end motion prediction pipeline
Table
4:
Performance
ablatedversionsofourmodelscenarios
on lines.– The
drawn
incyclists,greenetc.)
and inqueriedtheresultsofothermethods(ED,SL,SA)
are
shown
with
different
prediction
sion where図trajectories
are(a, ous-ti3D)imagesfortthebounding
box,onrespectively.
proposed
TITAN
framesingle
type ofsensoris sufficientandsensor types aredashedvehicles,eachprediction
frame byis We
localized
definedetection
and=tracking
metrics.
We
also Theis
model
able
to
predict
2 thedifferentlanechangei novelshouldserve
a baseline
was inspired
the works
2.27:
経路予測のデータセット及び，予測結果例．文献
[18]
，
[19]
，
[20]
，
[21]
，as[22]，and[23]，by[24]，complementary.
Camerasallow accurate measurements ofprovidecarefuldatasetanalysisaswellasbaselinesforliworkrequiresthree
inputsasfollows:
I
for
the
acing
a
boundingbox.
We
annotated3labels(person,4trajectories
ofn-C
our TPalgorithm(pinklines)
are theclosesttodevelgroundtruth
inlighting
mostof classification
thecases.
(c)of [2, 23]. Concretely, the task is to predict the expected{1, . . . , Tobs}.
m-G,
referstomguesses(m-G)
edges,
color
andenabling
andlocalsingle
andmulti-future
trajectory
prediction.
Lower
numdar
and
image
based
detection
andtracking.
Data,
in thelane. Bottom left: The model iswheeled vehicle, 2-wheeled vehicle), 3 age groups for pertion detector, x for andboth thestaying
interaction encoderand same
past
future (x,y) positions over a 5-second-horizon for different
ization on the image plane. However, 3D localization fromopment kit and more information are available online .
son(child,adult,
senior),3
motion-statuslabelsforboth2
objectlocation
encoder,
and
e
=
{α
,
ω
}
for
the
egoimagesischallenging
[13,
12,
57,
80,
69,
66,
73].
Lidar
allowed alongeach[26]of n anddifferent
centerlines
traffic participants in the scene given their current positions.
able
cross
complexintersection
and takea wideleft turnbers，
arebetter.
stanceatolayertocapturethe trajectories
andinteractions
for
[25]
，
[27]
[28]
， (n-C).
[29]より引用及び改変．
and 4-wheeledvehicles,，door/trunk
statusfor 4motion encoderwhere
α andtoω correspondtheotheracceler1. labels
Introduction
pointclouds, onthe
hand, contain less semantic inforImplementation-wise, we use a ResNet-50 backbone [11]wheeledvehicles.
For action
5 mutually drivingation
mationbut highly
accuratein 3D [51]. Furtherrate ofego-vehicle
at timet, respectively.
Autonomous
has andthe yaw
potential
to theradically
Here, m > 1,
exceptwhen
Klabels,= we
1.createdinstancesanduse
a category
layer toitsummarize
without
violatinganylocalizationlane
rules because
is able to theusesimithewith L2 loss that was trained on 224 ⇥ 224 BEV rasters
more theof lidar is an important feature [40, 51].
change the (Figcityscape andsave many
human lives
A modes
exclusive person action sets organized hierarchically
Duringinference,
the [78].
multiple
ofreflectancefuture bounding
larities
pattern
belongright:
to the samelidarofdatamovementis sparse
and wethe range
is typicallyof
lim-instances
centered around several different vehicles of interest. To
crucialofgrid:safe
navigationis thementioned
detectionand trackin
Section3,
utilizetwo• NN+map(prior)
1-G,n-C:
similartotheprevithe first actionThis
set inMulti-scale
theishierarchy,
the part
annotaure 2). In
box Aslocations
are sampledfrom mapa However,bi-variate
Gaussiangenvector
togenerateareferencepath.
BottomThe
6: Examplesof200different birds-eye-view scene rasited to 50-150m. Radar Figure
sensors achievea range of
ing of agents in the environment surrounding the vehicle.
improve accuracy, we can also provide history of vehicle
tor is instructed to assign exactly one class label
among 9
type
and
guide
the
prediction
algorithm.
Alltheinformation
eratedbythenoiseparameters,
andthefutureego-motions
300m and measure the object
velocity throughthe beDoppler
To achieve this, a modern self-driving vehicle deploys sevterisations
that canmade using the associated software
ous baseline.atomic
Thewhole
onlyisdescribe
that
the
model
can
movements over past few seconds by simply stacking BEV
body difference
actions/posturesthatprimitiveeˆ areaccordingly
predicted,
the multi-modal
predictions
account
fordifferent
ways
in forwhich
aas andleft
turn
different
gridscales(3618) considering
and
(18
⇥
9)
training.
Weeffect.
However,theandreturnsarein
evensparser thanlidar anderal sensors
along withsophisticateddetection⇥
andtracking
inspatialtemporal
space
can
be
leveragedtransdevelopment
kit.
These
can
be
used,
example,aninrasters together. This allows network to implicitly computeposes such as sitting, standing, standing,bending,
less precise in terms of localization. While radar has beennatureofincreasingly
the future on
prediction
algorithms.
Such algorithms
relymachine problem.
make only 1action
prediction
along
each
centerline.
put
toof
aawareconvolution
neuralnetworkarchitecture.
canbetaken,
interms
velocity
profileturningradius.
usedfor decades[1,3], wearenotof anyferredourdesigned
4Dautonomous
Graph.
Ourandmethodoutperforms
learning,
which drives theHenceforth,need foris
benchmarkdatasets.
agents current velocity and heading. Figure 7 displays typetc. The second action set includes
13 thatactionsthat
involvethe notationof thefeatureembeddingfuncsee
performanceslightly
worse
if
we
only
use
the
fine
driving datasets that provide radar data.
While
there
is a plethora
ofusing
imagemulti-layer
datasets for thispursingle atomic1-G,n-C:
actions with simple
scene context
such
as jaytion
perceptron(MLP)
is as follows:Φ isanalysis. See text
for details.
previousstate-of-the-art
approaches
in improving the accu• LSTM+map(prior)
SimilartobutwithposeLSTM(Table 1), there
is a lackof multimodal datasets that
Since
the
three
sensortypes
havedifferent
failuremodes
walking,
waiting to cross,etc. The
third
actionset
includes■The
Forking
Paths
withoutany
activation,and Φ , Φ , and Φ are associated(36⇥.
exhibitthefull18)set of challenges
associatedwith buildingt 7 complexttcontextual actions scale
t
t
t
(d)
duringdifficultconditions, the joint
treatment of sensor
6
racy
of
trajectory
prediction
on
our
new
collected
datasetforthat involvewith mReLU,tanh,Weanda sigmoidrespectively.
as (ai , oion
, mSim.
and output
as (aaanisequence, oi ), ofwhereautonomous
driving perception
released
the function,
data is essential for agent detection and tracking. Literi ) withisystem.
Trained on Real.input Trained
atomic actions
higher contextual understanding,such to address this gap .
nuScenes dataset
heterogeneous
traffic.
ature[46] even suggests thatmultimodalWe
sensorhave
config- evaluated our algorithm in
4.1. Action Recognition
denotes the map
featuresobtainedthe centerlines.
as getting
in/out of a 4-wheel
vehicle,fromloading/unloading,urations are not just complementary, but provide reduntraffic
datasetscorresponding to urban dense scenarios and6.
Conclusion
dancy
inthe faceof sabotage, failure, adverse conditions
etc.
The
fourthactionset
includes4transportive
actions
32.19 / 60.92 Distances
48.65
/
90.84
t t
t t
We use the existing state-of-the-art method
as backbone(athat
,
o
)
are
then
mapped
to
(x
,
y
)
for
evalmapasaprior
alwaysprovidesbetter DAC,
provingthat Paths Dataset [24] があ
observegoodaccuracy.
Our algorithm
isTherealtime
and makes
describe
the act of manually transportingan object
[101]
[19]
を拡張した
Forking
iActEV/VIRAT
ii とiby ETH/UCY
for the action detector. Dataset
We finetune
single-stream
I3D[18][7]
23.98 / 44.97 uation. 28.45/ 53.01
carrying,
pulling or pushing. Finally, the fifth action set inand
3D
ResNet[18]ourarchitecture
onin
KineticsFigurenohelpsassumption
about
the traffic
conditions
theResults
numberofof pedestrian intention estimation overlaid on
In thispaper,
wehave
introducedtheForking
Paths
Further,wemake only one
prediction
alongmappre-trained
forecasting
trajectories
thator4.
followbasic
cludes 4 communicative actions observed in traffic scenes
600 [6]. The original head of the architecture is replaced
agents.
23.10 / 44.27 each centerline
26.72/ 51.26suchastalking
on thephone,
looking
at phone,prediction
or talkingbya set of new(8modelaction
sets
offor
TITAN
exceptage
Figure6: Illustration
ofasomeresultsbyheads
ourbecauseweuseddeterministic
model.
map
rules
like
stayinginthedriveable
area.
Another
intopofframesfromthe PIE dataset (cropped for better visibility).
11621
る．このデータセットは，
CARLA
シミュレータ上でデータを作成することで，現実シーンが人間のdataset,andtheMultiverse
multi-futureforecastin groups. In each action sets 2-5, the annotators were inand type) for multi-label action Our
outputs.approach
The action has some limitations. Its accuracy varies
method.
groundtruthof trajectories
ofgroupvehicles,bicy30.40 / 61.93
36.74/ 73.22
toThe
assign‘None’
if thereis no label.
This hierarchiteresting
comparison
The results
ofstructed
thesebaselines
arereportedin Table
detector4.
takes Ias input, whichis cropped around is between NN+map(prior) 1-G,n-C
ing.
Ouris thefirst
providea traffic
quantitative
Bounding
are colored depending on the presence (green)
basedonconditions benchand theduration of boxes
past trajeccal strategy
was designed to produce
unique(unambiguous)cles
and pedestrians
are
drawn
by study
blue, green
andredeachre-to
the agenti. Then,head outputs an action label includ30.42 / 60.70/ 72.72
1thelocations
つしか観測できないのに対し，複数の移動経路や目的地の設定が可能になっている．まNN+map(prior)
m-G,n-C.
formercomes
up withWhen only 36.48
1 移動経路を
prediction
isreducing
allowed,NNcognitive
based
baselines
actionlabels whileannotators’
tories.
Inourthefuture,we willThe
considermore
constraints,
like
ing a ‘None’
class
ifand
no actionis shown.
Fromexperispectively.
Predicted
areallworkrepresented
bymethodology
yellowmark
andevaluationformulti-future
trajecor absence(red)of crossing intention as detected by our model.
(e)19.78 / 42.43
load and thereby improving annotation
quality.
The trackments, we observed that certain action
converge
fasterthesetslane
direction,
the traffic signals
trafficone
rules,
etc. to62.11
many reference
paths(centerlines)
andandmakes
predicsuffer from 27.38
inaccurateneighborshave
poorstars.
Forof each
instance,
first
five discrete
pointsare observed
ing/ID’s
alllocalized
objectsandareassociatedwithineachminADE
than others.
This is due in part because some tasks are reltory
prediction
by
using
human
annotators
tocreateavafurther
improvetheaccuracyof
trajectory
prediction.
Furvideoclip.
Examplescenarios
aredisplayedinFigure3.
Dashedbounding
ativelyeasiertolearn,
given
thesharedrepresentations.
Inた，データ作成のツールも公開されているため，新しい環境を自身で作ることができる．
positions,but there
are LSTM
some overlaps
the illustration tionof along each of those paths. The latter comes up withboxes represent incorrectly estimated intention.
and minFDE.
On
other
hand,
based inbaselines
18.51 / 35.84
22.94
/the
43.35
stead of tuning the weight of each thermore,task by hand, we
adopt
we
would
like to evaluate
the performance in morepedestrianrietybehaviorsof trajectory
continuations
under
the
past.multiple
4. Methodology
boost
performanceof identicalmulti-task
loss infewer[22] to further
referencepaths
but produces
predictions
able to at least
learntrajectories.
the trajectoryandthehaveof differentaremethods
on theVIour action detector. Note that each dense
action setscenarios.
of the TITAN
Figure4 shows
the block
diagramofmodeltheno
proposed
TI- areis closeto thegroundtruth.
If we
have
prior
trajectories
Ourutilizes
multi-scale
location
decoders
with
graph
ter
[13] anda vanilla LSTM model, state-of-the-art algoalong
each
of
those
paths.
The
latteroutperforms
the former
better results. andLSTMbaselines
with
map
able
datasetis mutually exclusive,thus
we consider
theoutputs
TAN framework.A sequence of image patches I
isare independent
to each other as follows:
We report ADE/FDE
metrics.
Firstduration,
over
aminADElongertheprediction
accuracy
increases.
obtainedfrom the boundingx = {c , c , l for,modell } ofK =Acknowledgementin multiple
all 3 metrics,
showing
the importanceof predicting
tra- LSTM [5] (B-LSTM), and the proposed
to obtain thebest
andboxattention
mindFDE
1.predicttofuturelocations.
Werithm,
BayesianWhentraffic-agentsaremoving on straightlanes, itlocations
is easy!
ure
5. Visual
ExamplesofwhichFuturePersonLocalization.
Using(shownwithsolidblue velocitylines),
scales
and
poses
ained
on realvideo
training
setandWe
assumethat thebounding
detection using
past images
is pro, .., yjectories|f (I)) = Dineshp(y|f (I)),Manocha(1) different
whichfollowalong
the of target
Also,
baselinesuse
map
asboxpriorhave
a muchis supported
in partprofiles
by ARO
Contract
to videdpredict
theirbecausealmostallthep(ymethod
traffichave
shown
thathigher
ourachieves
state-of-the-art
perby the external
moduletrajectories
since detection
is not thescope of this paper.
model
PIE
. we
Each
model is trained and tested on 0.5s
ple(highlighted
in
pink,
left
column)aswell
asego-motionofcamerawearersinthepast
observations
highlighted
inblue,
predict
W911NF16-1-0085,
and 9Intel.
We appreciate
all ofthepeopletraj
models trainedon thesame reference
paths. Figure
reports
the results
anabDAC.
Now,simulated
asagents
K increases,NN
benefitsdirection.
from themaparevermoving
in straight
It ismore chalformanceonin twochallenging
benchmarks:
large-scale
who inofferedhelptheforframes
collecting
the dataset. in red. We comparedations of that priortargetand(theconsistently
ground-truth
shown
with
red crosses
withdottedred lines)
futurelenging toproduces
provideaccurateprediction
crossroads,
as theand predicts trajectories over 0.5,
lationstudy
forthedifferent
valuesofhighlighted
m(15and frames)
n. Finally, observation,
when
betterpredictions.
When
11189
video
datasetandour(yellow).
trajectory
are turning.
Fig.real
5improvesshows
2D
experimental
results
ofproposed
eral methods:map
Ours(green),NNeighbor(cyan),
andSocialLSTM[1]havingaccessmulti-future
to HD vectorReferences
maps andbeing1.5
ableseconds
to make in future.
is usedforagents
pruning,
it furthertheselected1
andtwo sequences in cross areas. There are some overlaps ondataset.
We
believe
our multiple
dataset,together2005]
with
mod車載カメラ視点は自動車前方を撮影した映像中の歩行者や自動車の経路を予測することを目的と
DE metrics areshown in“singlepredictions
(K
= our
6),
even
a shallow
model liketrajectories
andtheprovidesthethesebestscenarios,
minADE
and[Administration
U.S.
FederalHighway
Administration.
Us
trajectories.
In
there
areminFDE.
many curves with
Tablea 3determinsummarizes the results of the predictions using
highway101
dataset. 2005.
NN+map(prior)
m-G,n-Cis ableto outperform
LSTM+map(prior)
1-G,n-C
outperforms
NN+map(prior)
els,
will
facilitate
futureresearch
and applications
on3 multiinADE20 /minFDE(aver- because
high curvatureof leftturn.
Our algorithm
can com20 metrics
している．
accuratepredicted
trajectories
cases.
[Alahiet al. 2016]
A. Alahi, K.(K
Goel,
V.1)Ramanathan,
Robicistic deep
model
LSTM+social
=only
which
hasA.access
1-G,n-Cdid
highlighting
theWe
fact
that future
LSTM
does
athesebetterjob acting
boundingbox information. As shown in the table, theprediction.
the “multi-future”
column.
dinotherbaselines
notputeperformaccurately
as incamera
withothers.
thisSocial
subset,wecollected
F.F. Li, andFrom
S. Savarese.
lstm: Human
trajectory pre-approxito socialquet,context.
generalizing
tomodule
curvilinear
coordinates. Further, using thedictionin
crowdedspaces.
In
CVPR,
pages
961–971,2016.
2, 5, achieves
designsbyleavingtheout
Acknowledgements
Thisresearch
was supported
arers made sudden unexpected ego-motion.
One possible
mately10,000 samples
in total. by
Similar to theprevious
ex- state-of-the-art performance on
proposedmethodConclusion
6
arXiv:1911.07602v1 [cs.CV] 18 Nov 2019

1

1

2

1

1

1

Fig. 1: Exemplary result of road user trajectories in the inD dataset. The position and speed of each road user is measured
accurately over time and shown by bounding boxes and tracks. For privacy reasons, the buildings were made unrecognizable.
Abstract—Automated vehicles rely heavily on data-driven
methods, especially for complex urban environments. Largedatasets of real world measurement data in the form of roaduser trajectories are crucial for several tasks like road user
prediction models or scenario-based safety validation. So far,though, this demand is unmet as no public dataset of urban
road user trajectories is available in an appropriate size, quality
and variety. By contrast, the highway drone dataset (highD) has
recently shown that drones are an efficient method for acquiring
naturalistic road user trajectories. Compared to driving studies
or ground-level infrastructure sensors, one major advantage ofusing a drone is the possibility to record naturalistic behavior,as road users do not notice measurements taking place. Due tothe ideal viewing angle, an entire intersection scenario can bemeasured with significantly less occlusion than with sensors at
ground level. Both the class and the trajectory of each roaduser can be extracted from the video recordings with highprecision using state-of-the-art deep neural networks. Therefore,
we propose the creation of a comprehensive, large-scale urban
intersection dataset with naturalistic road user behavior using
camera-equipped drones as successor of the highD dataset. The
resulting dataset contains more than 11500 road users including
vehicles, bicyclists and pedestrians at intersections in Germany
and is called inD. The dataset consists of 10 hours of measurement
data from four intersections and is available online for noncommercial research at: http://www.inD-dataset.com
1 The authors are with the Automated Driving Department, Institute for
Automotive Engineering RWTH Aachen University (Aachen, Germany).
(E-mail: {bock, krajewski, steffen.runde, vater, eckstein}@ika.rwthaachen.de).
2 The author is with the Automated Driving Department, fka GmbH
(Aachen, Germany). (E-mail: tobias.moers@fka.de).

3

Index Terms—Dataset, Trajectories, Road Users, Machine
Learning

I. I NTRODUCTION

Automated driving is expected to reduce the number andseverity of accidents significantly [13]. However, intersections
are challenging for automated driving due to the large complexity and variety of scenarios [15]. Scientists and companies
are researching how to technically handle those scenarios byan automated driving function and how to proof safety ofthese systems. An ever-increasing proportion of the approaches
to tackle both challenges are data-driven and therefore large
amounts of measurement data are required. For example, recent road user behaviour models, which are used for prediction
or simulation, use probabilistic approaches based on large
scale datasets [2], [11]. Furthermore, current approaches forsafety validation of highly automated driving such as scenariobased testing heavily rely on large-scale measurement data on
trajectory level [3], [5], [17].
However, the widely used ground-level or on-board
measurement methods have several disadvantages. These
include that road users can be (partly) occluded by otheru asv they notice being
road users and do not behave naturallypart of a measurement due to conspicuous sensors [5].
We propose to use camera-equipped drones to record roaduser movements at urban intersections (see Fig. 2). Drones
i from awith high-resolution cameras allow to record traffic
t
1

obs

u

v

i
t=1:Tobs

t

t

t

t

t

t

r

t

s

2

1 nuScenes.org

2 nuScenes teaser set released Sep. 2018, full release in March 2019.

i
t=1:Tobs

1iit=1:Tobs

u

v

u

v

n

1

2.3.2

車載カメラ視点

m

n

i

i=m

NSF
IIS-1650994,
financialassistanceaward
ution to cope with theseInchallenging
cases
isgrant
topredict
weand
adoptedfive-foldcross-validation
toupevaluate
this paper, we havepresented
a novel
LSTM-basedperiment,algo-the [Altché
allA. metrics,
to 26% on the PIE dataset and 18% on
Fortelle 2017]
F. Altché and
De La Fortelle. by
An lstm
9NIST andnetwork
rithm,
TrafficPredict,forpredicting
trajectoriesfrom
for heterofor andhighway
trajectory
prediction.
In ITSC, pages 353–
Our
is builtofonthe
topcameraofa spatial
60NANB17D156
a BaiduScholarship.
This
ure model
movements
wearers
as
done
in
[26].
how
our
methodotherbaselines
performed.
JAAD compared to B-LSTM. The performance of all mogeneous
traffic-agents in urban environment. We use a in359. IEEE, 2017. 2■
PIE
ph attention to model the scene feawork was also supported by IARPA via DOI/IBC contract
dels is generally poorer on the JAAD dataset which can bewithoutthespatialgraph.
Aswesee,. Evaluation on Social Interactionnumber
DatasetD17PC00340. The views and conclusions conpartiallyattributed
to the smaller number of samples, scales
setup andIn thisdataset,camera wearers
frequently
PIE [25]
on both tasks. (2) Fine locationde- は，一般道における歩行者の動きを撮影したデータセットである．このデータセットは歩tained herein are thoseTrainingof the authors
shouldnot beand shorter
tracks differall of which reduce the diversity of the
Finally,wetheevaluate
how our
approachinterpreted
works on Firstturned
their head
pay theirattention
to various
el withoutfine location
decoderas necessarily
representing
thetoofficial
policies
行者情報の他に，カメラと同期した
on-board
センサーを利用してGPS 座標や正確な速度
dataset.
The deteriorationnter
the coordinate
output.
As [8].
we Thisordataset
endorsements,
ordiagnostics
implied,of ego-motion
IARPA,
son asSocialInteraction
Datasetconsists eitherentexpressed
locations.
This
made
estimator[46] com- of linear model performance forlong-term
predictions
indicates the complexity of humanormancefirst-person
drops on bothtasks
verifyin an amusement
NIST, DOI/IBC,
Foundation,
severalvideostakenpark the National
pletely Science
inaccurate
as it wasBaidu,
originallytrainedto estimateなどの車両情報と，信号機や横断歩道などのインフラストラクチャの関連要素を提供している．
study.
(3)or theU.S. Government.
patterns
d module
involvesproposeda varietyinofour
socialmoments
likecommunicatego-motion of vehicle-mounted motion
cameras,where thatsuchcannot
fre- be explained with simple linearwith friends, interacting with a clerk, and waiting inquent turning was hardly observedin their training
interpolation.
Asdatasets.
expected, the performance of all models
e, standing for a more general and challenging dataset.
To cope with this, instead of the velocity and rotation used
our experiment, we manually extracted a subset of videos
in Section 3.3, we made use of optical flows to describe egoere camera wearers kept walking while sometimes intermotion cues. More specifically, we computed dense optical

6

7

46

■ Apolloscape

Apolloscape [26] は中国の北京で様々な照明条件と交通密度を撮影したデータセットであり，車載
カメラ映像と 3D 点群データ及び，手動でアノテーションされた経路情報で構成されている．この
データセットには小型車，大型車，歩行者など異なる属性が提供されている．

■ TITANTITAN [27] は東京で撮影されたデータセットである．このデータセットの特徴は経路情報の他に歩行者や自動車に関する行動ラベルが付与されている点である．例えば，歩行者なら walking や

closing ，自動車なら parking など各対象が保有する特徴の行動ラベルが付与されている．また，子供や高齢者のような歩行者の属性情報や，二輪車及び四輪車といった自動車の種類に関する情報も提供されている．

■ nuScenes

nuScenes [28] は交通量が多いボストンとシンガポールを合計 1,000 の運転シーンを 360 度で撮影した大規模な自動運転用のデータセットである．nuScenes には，約 140 万の RGB カメラ画像と 3Dの BB が含まれており，合計 23 種類の物体クラスがアノテーションされている．また，センサー情
報や点群情報などの追加情報も豊富で，経路予測の他に点群データによる物体検出や物体追跡などのタスクに有用なデータが提供されている．

2.3.3

一人称視点

一人称視点は，被験者にウェアラブルカメラを装着し，上記の車載カメラのように前方の対象の移動経路を予測することを目的としている．

First-Person Locomotion Dataset [29] は胸部に装着したカメラで，様々な環境で歩き回る歩行者を撮影したデータセットである．撮影された歩行者は約 5,000 人以上で非常に大規模な 1 人称視点によるデータセットとなっている．このデータセットには，エゴモーション，姿勢及び経路データが提供されている．論文中では生の画像データの結果があるが，生の画像データは未公開である．そのため，1 人称視点の画像ベースで経路予測手法を行う際には，自身でデータセットの作成を行う必要が
ある．

2.4

経路予測の評価指標

本節では，経路予測手法を定量的に評価するために使用する評価指標を簡潔に説明する．

47

2.4.1 Displacement Error
インタラクションを考慮した経路予測の評価指標は，Alahi ら [1] が提案した予測対象毎に未来時
刻間における真値と予測値間のユークリッド距離誤差で評価している．この評価指標は未来時刻間の平均距離誤差の Average Displacement Error (ADE)，未来最終時刻の距離誤差の Final Displacement

Error (FDE) の 2 つで評価している．ADE と FDE の概略図を図 2.28(a)，算出式を式 (2.20)，式 (2.21)に示す．ここで，予測対象のインデックスを i，サンプル内の対象数を N ，時刻を t，未来最終時刻
を T ，真値を (x, y)，予測値を (x̂, ŷ) で示す．

ADE

=

1 ∑∑
N T i=1 t=1

F DE

=

1 ∑
N i=1

N

N

T

√

√

(x̂ti − xti )2 + (ŷit − yit )2(2.20)(x̂Ti − xTi )2 + (ŷiT − yiT )2(2.21)

2.4.2 Minimum Displacement Error
複数経路を予測する評価指標は，Gupta ら [3] が提案している．これは，k 個の複数の経路の中か
ら最良の予測経路，すなわち真値と最も似た予測経路で評価する方法である．最良の経路と真値間の評価には ADE と FDE が用いられ，これらは Minimum ADE (mADE) 及び，Minimum FDE (mFDE)と呼ばれている [24]．mADE と mFDE の概略図を図 2.28(b)，算出式を式 (2.22)，式 (2.23) に示す．
ここで，真値を y = (x, y)，予測値を ŷ = (x̂, ŷ)，複数の経路のインデックスを k ，複数の経路数をK で示す．

mADE

mF DE

=

=

N ∑
T
∑
1
min
||ŷk,t − yit ||2N T {k=1,...,K} i=1 t=1 i(2.22)

N∑1min||ŷk,T − yiT ||2
N {k=1,...,K} i=1 i(2.23)

2.4.3 Negative log-likelihood
複数経路を予測する場合には，複数の経路を生成し続けるため将来の予測分布とみなすことができる．一方で，ADE と FDE は単一の予測経路を比較するために有用な指標であるが，複数経路の予測で行う場合には，Minimum Displacement Error で述べたように真値と最も似た予測経路のみで評価を行うため，複数の経路を予測する利点を無視してしまう問題がある [102]．そのため， [10][103]では図 2.28(c) に示す Negative log-likelihood (NLL) を用いることで予測分布に対して公平に評価して
いる．

48







#o
am
fS
s: '
ple
!"#&
…
!"#$

on:
oriz

(

H
tion
dic
Pre

(a) Average Displacement Error

ADE(b) Final Displacement Error

FDE(a) Displacement Error

Figure 5. An illustration of our probabilistic evaluation methodology. It uses kernel density estimates at each timestep to compute
the ground truth
trajectory at each timestep,(b) Minimum Displacement Error the log-likelihood(c)ofNegative
log-likelihood
averaging across time to obtain a single value.

図 2.28: 各評価指標の概略図．文献 [10] より引用及び改変．

2.4.4 Mean Square Error
Figure 6. Mean NLL for each dataset. Error bars are bootstrappedtruth
ADE / FDE, Best of 100 Samples (m)Dataset
SGAN [16] Ours (Full) Ours (zbest )ETH
0.64 / 1.13 0.37 / 0.72 0.40 / 0.78
Hotel
0.43prediction/ 0.91 0.20 / 0.35 0.19 / 0.34
Univ
0.53 / 1.12 0.48 / 0.99 0.47 / 0.98
Zara 10.29 MSE/ 0.58 0.32 / 0.62 0.32 / 0.64
Zara 20.27 / 0.56 0.34 / 0.66 0.33 / 0.65
Average
0.43 / 0.86 0.34 / 0.67 0.34 / 0.68
Table 1. Quantitative ADE and FDE results, using a best-of-N
metric where N = 100.

(d) Mean Square Error

Both of our methods significantly outperform SGAN on
the ETH datasets, the UCY Univ dataset, and on average(P <.001; two-tailed t-test on the difference between ourand SGAN’s mean NLL). On the UCY Zara 2 dataset, ourFull model is identical in performance to SGAN (P =.99;
same t-test). However, on the UCY Zara 1 dataset our Fullmodel performs worse than SGAN (P =.03; same t-test).
We believe that this is caused by pedestrians changing directions more often than in other datasets, causing their groundtruth trajectories to frequently lie at the edge of our predictions whereas SGAN’s higher-variance predictions enable it
to have density there. Across all datasets, our Full configuration outperforms our zbest configuration, validating ourmodel’s full multimodal modeling capacity as a requisite
for strong performance on this task.
We also evaluated our model’s performance over time
to determine how much the performance changes along theprediction horizon. The results are shown in Fig. 7. As canbe seen, our Full model significantly outperforms SGANat every timestep (P <.001; two-tailed t-test on the difference between our and SGAN’s mean NLL at each timestep).
This reinforces that our method is not only better on average, but maintains consistently strong performance throughtime. Another interesting observation is that our zbest performance approaches and meets SGAN’s performance atthe last prediction timestep, again validating our hypothesis
about the necessity of explicitly modeling multimodality.
Runtime Performance. A key consideration in the development of models for robotic applications is their runtime complexity. As a result, we evaluate the time it takes
to sample many trajectories from our model on commodity
hardware. The results are summarized in Table 2. On thismetric, we expect that our zbest model will be very slightly
faster than our Full configuration as the Full model needs
to sample from p✓ (z | x) for every new trajectory whereas
zbest only needs to take the mode of p✓ (z | x) once per
agent. We chose to show results for each dataset as runtime
depends on both the number of agents as well as the numberof desired trajectory samples.
Our methods are significantly faster to sample from than

95% confidence
intervals. Error
2000 trajectories
were sampledper
将来の Bounding Box (BB) を予測する手法では，Mean
Square(MSE)で予測されたBB と真model at each prediction timestep. Lower is better.

の BB の中心座標で精度比較を行う [73]．MSE の概略図を図 2.28(d) に示す．また，将来の BB を予ADE and FDE are useful metrics for comparing deterministic regressors, they are not able to compare the distributions

測する方法では，予測された BB と真の BB の重なり率から適合率と再現率を容易に求めることがで
produced by generative models, neglecting aspects such as
variance and multimodality [40]. To bridge this gap in eval-uation metrics, we introduce a new metric which fairly esきるため，モデルの予測精度を評価する F 値で評価することもある．
timates a method’s NLL on an unseen dataset, without any

2.4.5

assumptions on the method’s output distribution structure.
We use a Kernel Density Estimate (KDE) [36, 41, 44, 45]
at each prediction timestep to obtain a pdf of the sampled
trajectories at that timestep. From these density estimates,
we compute the mean log-likelihood of the ground truth
trajectory. This process is illustrated in Fig. 5. In orderto ensure fairness when applying this to multiple methods, we used an off-the-shelf KDE function2 with default
arguments which performs its own bandwidth estimationfor each method separately. Although the Trajectron cancompute its own log-likelihood, we apply the same evaluation methodology to maintain a directly comparable performance measure. The results are presented in Fig. 6. On thismetric, we would expect our Full model to perform the best
as it uses our model’s full multimodal probabilistic modeling capacity.

衝突率

Displacement Error では全てのデータに対して平均を求めている．これらの評価指標では予測値が真値にどれだけ近似できているかを示すことはできるが，衝突回避に関するインタラクション情報

がどの予測経路に効果的なのか正確に評価できない．そのため，動的物体と静的物体の 2 つの衝突
2 Specifically the scipy.stats.gaussian kde function.

率に関する評価指標によりインタラクション情報を評価できる．

■ 動的物体との衝突率に関する評価指標
動的物体との衝突率は，映像内の他対象と衝突したか否かを評価する．動的物体との衝突率を分析することで，インタラクションの処理が効果的なのかを定量的に確認できる．動的物体との衝突率は式 (2.24) で求める．

∑ ∑

ij
i
jc
動的物体との衝突率 =N (N − 1) 1 if ||x̂i − x̂j || < θ , ∀t ∈ T
d
t 2
t
cij =
 0 otherwise(2.24)式 (2.24) の i はサンプル内にいる予測対象のインデックス，c は衝突回数，t は時刻を表している．式(2.24) より，予測対象 ∃i ∈ N+ , 2 ≤ i と他対象 j ̸= i の各未来時刻 t の予測値 x̂t = (xt , yt ) が 1 時刻
でも距離値 θd 以内にいる場合に衝突したとみなす．この処理を全サンプルで繰り返し行うことで，動的物体との衝突率を算出する．
複数の経路を予測する際の動的物体との衝突率は，mADE の予測経路を用いて式 (2.25) として表49

す．式 (2.25) の k と l は最良の予測経路のインデックスを示す．

∑ ∑

ij
i
jc
動的物体との衝突率 (複数経路) =N (N − 1) 1 if ||x̂i,k − x̂j,l || < θ , ∀t ∈ T
2
d
t
t
cij =
 0 otherwise(2.25)■ 静的物体との衝突率に関する評価指標
静的物体との衝突率では，建物などの障害物と衝突したか否かを評価する．静的物体との衝突率に関する評価を行うことで，予測経路の正誤の判別が可能になる．静的物体との衝突率は式 (2.26) と
なる．

∑

i
ic
静的物体との衝突率 =N 1 if x̂i ∈ o, ∀t ∈ T
tci = 0 otherwise(2.26)式 (2.26) より，未来時刻間の予測対象 i の予測値 x̂ が 1 時刻でも障害物領域 o にいる場合に衝突したとみなす．この処理を全サンプルで繰り返し行うことで，静的物体との衝突率を算出する．
複数の経路を予測する際の静的物体との衝突率は，mADE の予測経路を用いて式 (2.27) として表す．式 (2.27) の k は最良の予測経路のインデックスを示す．

∑

iic
静的物体との衝突率 (複数) =N 1 if x̂i,k ∈ o, ∀t ∈ T
tci = 0 otherwise

2.5(2.27)

まとめ

本章では，経路予測の問題設定及びベースモデル，深層学習をベースとした移動対象間のインタラ
クションを考慮した経路予測手法，評価に用いられるデータセット及び，評価指標について述べた．
深層学習を経路予測に応用した際の，対象間のインタラクションを考慮した手法を 3 つのグループに分割した．1 つ目のプーリングモデルでは，予測対象を中心として周囲の空間を表現したグリッドを作成し，このグリッドに予測対象周辺の個々の他対象に関する位置特徴を埋め込む．その後，maxpool.
や特徴抽出など各手法で異なるプーリング処理で他対象との関係を捉えることで，対象同士の衝突を避けるインタラクションを考慮した経路予測が可能になる．一方で，グリッドに他対象に関する
位置特徴を maxpool. などで計算すると，衝突回避に関係のない他対象の位置特徴が最大である場合にその他対象のみをプーリング処理してしまうため，本来衝突回避に重要となる他対象の情報が欠50

落する場合がある．また，プーリングモデルはグリッドサイズを予め人間が定義する必要があるが，グリッドサイズの適切な大きさは予測対象毎に異なり，複雑になり得るため致命的な欠点と言える．

2 つ目のアテンションモデルでは，映像内の予測対象と個々の他対象との関係が連続的な重み値で表現されている．この重みの大小から，予測対象が着目または僅かに着目する対象をモデル自身が選択し，それらの対象との衝突を避ける経路予測が可能となる．3 つ目のその他のインタラクションを考慮する方法では，GCN や Convolution で移動対象間のインタラクションを捉えている．また，本章ではインタラクション以外の課題を扱う方法についても説明した．この方法の多くは CNN をベースとしており，建物といった静的な障害物との衝突回避を目的とした経路予測や 1 人称や車載カメ
ラ映像，異なる入力表現など従来とは異なる問題設定による経路予測手法を提案している．
続いて，経路予測手法の評価に用いられるデータセットについて調査した．深層学習の発展により，経路予測のために歩行者以外の対象やリッチな追加情報を提供するデータセットが増加しつつある．また，シミュレーション環境を使うことで，複数の移動経路や目的地の設定が可能になり，現
実シーンでは撮影が困難なデータを作成できるため，自身で問題設定に合わせたデータ構築が可能である．
最後に，経路予測手法で用いられる評価指標について調査した．インタラクションを考慮した経路予測手法では，真値と予測値との距離誤差で精度比較を行っている．複数経路を予測する場合には，複数の予測経路に対して公平に評価するために真値に最良な予測経路による評価や NLL による評価を行っている．将来の BB を予測する方法では，予測された BB と真の BB の中心座標から MSE で評価をすることで予測精度の比較を行っている．さらに，距離誤差が移動対象間のインタラクショ
ン情報の効果を評価できない点から，衝突率に関する評価指標が提案されている．

51

第3章

移動対象の属性と環境情報を導入した
経路予測
本章では，歩行者や自動車といった予測対象の種類及び，予測対象の周囲の環境情報を導入した
経路予測を提案する．2 章で説明したように，深層学習の発達により CNN 及び LSTM を用いた経路予測が数多く提案されている．正確な予測経路の獲得には様々な情報が必要になる．例えば，歩行者同士の衝突を避けるインタラクションの導入 [1] やシーン中のセマンティックな情報 [54] を用いることで予測精度の向上を図っている．
しかしながら，これらの予測手法では全ての予測対象を同一クラスの予測対象として扱う問題がある．現実のシーンでは歩行者だけでなく，自動車や自転車などの異なる移動物体が存在する環境下で予測を行う必要がある．その際，対象のクラスにより移動速度や移動する領域が異なることが考えられる．そのようなシーンにおいて，歩行者や自動車といったクラスが異なる複数の対象の経路を同時に予測する場合，上記の予測手法では同一クラスの対象として予測しているため，予測対象のクラスに応じた経路を予測することが困難となる．この問題を解決するためには，対象のクラス毎にモデルを作成し，予測を行うことが考えられる．しかしながら，対象のクラスが増加するにつれ，扱うモデルの数が増加するため，計算コストの面から現実的とは言えない．
本章では，予測対象のクラスおよび，予測対象の周囲の環境情報を導入した LSTM による経路予測手法を提案する．具体的には，歩行者や自動車といった予測対象のクラスを対象が保有する属性とみなし，対象の属性情報を one-hot vector としてコンパクトに表現する．そして，予測を行うシーンに付与されたシーンラベルを CNN へ入力することで，予測対象の周囲の環境に関する特徴ベクトルを抽出する．対象の移動情報に加え，属性および環境に関する特徴ベクトルを LSTM へ入力する
ことで，出力として次の時刻の対象が存在する移動情報を得る．予測時には，ネットワークの出力を次の時刻の入力として逐次的に入力することで，クラスが異なる対象に対する速度の違いや移動する領域の違いを考慮した経路予測を実現する．また，移動情報に 2 つの連続する座標の差から得られる相対座標を使用する．相対座標をネットワークへ入力することで，予測結果が学習したシーンに対する依存を防ぐことができるため，複数の異なるシーンの経路を予測することができる．評
価実験において，予測対象のクラスと周囲の環境情報を導入することによる精度の変化を検証する．
また，属性毎の予測精度の違いや入力するシーンラベルを変更した比較実験を行う．
本章の構成は以下の通りである．まず，3.1 節では提案するネットワークの概要を述べる．3.2 節
では公開されているデータセットを用いて従来手法と提案手法の比較結果を述べる．最後に 3.3 節で本章をまとめる．

52

3.1

属性と環境情報を導入したネットワーク

本節では，予測対象のクラスおよび，対象周囲の環境情報を導入した経路予測手法について述べる．提案手法のネットワーク構成を図 3.1 に示す．まず，歩行者や自動車といった予測対象の情報か
ら，その属性を表現するベクトルを生成する．次に，対象の移動情報を抽出する．本研究では，前の時刻の位置から現在までの移動量，すなわち相対座標をネットワークへの入力として用いる．そして，シーン中の予測対象を中心とする静的なシーンラベルを CNN に入力し，予測対象周囲の環境に関する特徴ベクトルを抽出する．予測対象の属性情報，移動情報および，環境に関する特徴ベクトルを連結し，LSTM へ入力する．LSTM の出力として，次の時刻の移動情報を出力する．LSTM は内部状態を記憶するメモリセルの働きにより，過去の情報を保持することができる．そのため，LSTM
は上記の情報を逐次的に入力することで，予測対象の将来の位置を予測することが可能となる．提案手法では，対象の属性情報，過去の移動情報および，環境情報を抽出するための表現方法が重要となる．以下に，各入力情報の表現方法および，ネットワークへの入力について説明する．

3.1.1

問題設定

本研究では，シーン中のクラスが異なる複数の対象を予測することを目的とする．ネットワー
クには予測対象 i = {1, 2, . . . , N } の観測時刻 t = {1, 2, . . . , Tobs } の移動経路を入力し，予測時刻t = {Tobs + 1, Tobs + 2, . . . , Tpred } における予測経路を出力する．
Attribute“Pedestrian”

𝑦

𝑥

t+1

“Bicycle”
⋮

t

⋮
+

Relative Coord.

∆𝑥#$%∆𝑥# , ∆𝑦#∆𝑦#$%
Pavement

Environment+

Sidewalk
Tree
Grass
Building

Scene Label

Conv. Layer

⋮

LSTM

図 3.1: 提案手法のネットワーク構造．提案手法は予測対象の属性と相対座標及び，対象周囲の環境をネットワークへの入力として用いる．one-hot vector で埋め込まれた属性と畳み込み層を介してセマンティックなシーンラベルから抽出した特徴ベクトル及び，相対座標を LSTM へ入れ次時刻の相対座標を出力する．

53

Attributeone-hot
vector“Pedestrian”

Pedestrian“Bicycle”

Bicycle

“Car”

Car

⋮

⋮

：1
：0

図 3.2: 予測対象の属性表現．ここでは，予測対象が歩行者の例を示す．対象の属性情報から one-hot

vector を取得する．

3.1.2

属性情報

クラスが異なる複数の対象の経路を予測するために，入力に対象のクラスに関する追加情報を導入する．対象のクラスをネットワークへ入力するために，本研究では図 3.2 のように対象の属性情報
を one-hot vector で表現する．具体的には，与えられた対象の属性情報をベクトル e に埋め込まれる．
具体的な処理は，属性数を n と表した時，第 n 成分のベクトルの要素 en を 1，それ以外を 0 とする
ことで予測対象の属性を表現する．例えば，図 3.2 のように属性情報が pedestrian の場合，第 1 成分のベクトルの要素 e1 に 1，それ以外の要素を 0 とする．この処理により，対象の属性毎に LSTM を構築する必要がなく，コンパクトな表現にできる．また，このベクトルを入力すると速度と方向に関して一意の経路を予測することが可能になる．さらに，この one-hot vector と静的環境を表す特徴ベクトルと組み合わせることにより，対象が移動する傾向がある領域も考慮できる．そのため，対象のクラスに応じた経路を予測することが期待できる．

3.1.3

移動情報

複数のシーンの予測を行う場合，予測シーン毎に建物や木などの障害物，歩道や車道などの移動領域が異なる．そのため，移動情報に過去から現在までの位置情報，すなわち相対座標を使用する．
相対座標は式 (3.1) で定まる．

δxt= xt − xt−1

δyt

= yt − yt−1

(3.1)

ここで，t は現時刻，t − 1 は前時刻を示す．式 (3.1) で求めた相対座標を LSTM に入力することで，次の時刻の相対座標を取得することができる．相対座標を用いることで，対象の現在地を常に基点

54

𝑦

𝑥
100

Pavement
Sidewalk
Tree
Grass

0
10

Building

Label Map

Scene Label

Binary Map

図 3.3: 予測対象周囲の環境情報の表現．シーンラベルから予測対象を中心とした領域を切り出しラ
ベルマップを抽出する．ラベルマップはバイナリマップに変換した後，畳み込み層を介して特徴マップを抽出する．

とすることができるため，建物などの障害物や歩道などの移動領域の位置情報に依存することなく，
複数のシーンでの経路予測を行うことが可能となる．

3.1.4

環境情報

環境情報は予測精度を向上させるためにも不可欠な要素である．従って，歩道や建物などのシーンに付与されたセマンティックなシーンラベルを用いて環境情報に関する特徴マップの抽出を行う．環境
情報の導入手順を図 3.3 に示す．はじめに，シーンラベルから予測対象を中心とする 100 × 100[pixel]の領域ラベルを抽出する．次に，抽出したシーンラベル毎に分割したラベルマップを作成する．そして，ラベルマップを 0 または 1 で表現されたバイナリマップに変換する．作成したバイナリマップ
を CNN へ入力することで，環境に関する特徴ベクトル Vt を抽出する．環境情報に関する特徴は式(3.2) で定まる．
Vt = CN N (It ; Wcnn )(3.2)

ここで，It はクロップしたバイナリマップ，Wcnn は重みパラメータを示す．求めた環境に関する特徴ベクトルをネットワークへ入力することで，障害物の有無や対象の属性に応じた領域を考慮した
経路予測が可能になる．

3.1.5

ネットワークへの入力方法

上記の属性情報，移動情報および，環境情報を LSTM へ入力することで，次の時刻における対象の位置を予測する．具体的には，予測対象の各情報を観測データとして用いることで予測を行う．観測
データは予測対象が実際に移動した真値を用いる．LSTM には観測データを予測開始直前のフレーム55

表 3.1: ネットワーク構成の詳細．Convolution layer は環境に関する入力を受け取る．そして，Con-

volution layer から抽出された特徴ベクトルと属性に関するベクトルおよび，経路情報を LSTM へ入
力する．

layer
input
(attribute)
input(coordinate)
input(environment)

kernel size

output size

conv1

(5, 5)(48, 48, 16)

norm1
pool1

(2, 2)(48, 48, 16)(24, 24, 16)

conv2(5, 5)(20, 20, 32)

norm2
pool2

(2, 2)(20, 20, 32)(10, 10, 32)

conv3(5, 5)(6, 6, 32)

pool3
concatLSTM
output(2, 2)(3, 3, 32)
296
128
2

remarks

6
2(100, 100, 7)
ReLU
stride=2
batch norm.
max pool.
ReLU
stride=1
batch norm.
max pool.
ReLU
stride=1
max pool.

まで逐次的に入力する．予測時には LSTM の出力である予測値を次の時刻の入力として逐次的に入力する．その処理を予測終了時刻まで行い，予測の実現をする．式 (3.3) に予測経路の算出式を示す．

ht=

LST M ((δxt , δyt ), e, Vt , ht−1 ; WLST M )[δxt+1 , δyt+1 ]=ϕ(ht ; Wc )(3.3)

ここで，h は LSTM の出力ベクトル，ϕ(·) は単一の全結合層を示す．表 3.1 にネットワーク構成を示す．表 3.1 より提案手法のネットワーク構成は 3 層の CNN と 1 つの LSTM および，単一の全結合層から成るシンプルな構造である．convolution layer で環境に関する入力を受け取る．そして，convolution

layer から抽出された特徴ベクトルと属性に関するベクトルおよび，経路情報を LSTM へ入力し，次時刻の予測経路を出力する．

56

sidewalkbicycle storage(a) coupa

treepavement
building

grassroundabout(b) quad(c) bookstore(d) deathCircle(f) hyang(g) little(e) gates(h) nexus

図 3.4: SDD のシーン例．各シーンの左図が実シーン画像，右図がアノテーションされたシーンラベ
ル例を示す．

3.2

評価実験

提案手法の有効性を評価実験により検証する．具体的には，属性および，環境情報の有無による予測精度の変化について検証する．

3.2.1

データセット

データセットには，Stanford Drone Dataset (SDD) [20] を用いる．SDD は bookstore, coupa などの 8
つの異なる予測シーンから構成される．各シーンには異なる日時で撮影された動画が複数含まれており，合計で 60 本の異なる動画から構成される．図 3.4 に予測シーンの例を示す．
提案手法では，環境情報を表現するために，シーンラベルを入力として用いる．しかしながら，SDDにはシーンラベルの情報は含まれていないため，全てのシーンに対してシーンラベルを付与した．付
与したシーンラベルの種類は sidewalk，pavement，grass，bicycle storage，tree，building，roundaboutの合計 7 種類である．図 3.4 に付与したシーンラベル例を示す．各図の左はオリジナルのシーン例，
右図はオリジナルのシーン例をアノテーションしたシーンラベル例を示す．シーンラベルはシーンの視覚的な外観だけでなく，歩行者の移動経路などに基づいて，右上の注釈に従ったクラスをシーン毎に慎重にアノテーションを行った．

SDD にはいくつかの不正確な経路が含まれている．図 3.5 に不正確な経路例を示す．緑線はアノ

57

(a)

(b)

(c)

(d)

図 3.5: SDD の不正確な経路サンプル例．各シーン緑線がアノテーションされている．

テーションされた経路を示す．これらの例では，建物上または建物を横切る経路 (図 3.5(a, b, c)) や不
正確にアノテーションされた経路 (図 3.5(d)) を示す．このような経路を学習および評価に使用すると，予測精度が大きく低下し，公正な比較が困難になる．そのため，本研究では正確で正しい経路のみを選択して使用する．

SDD は bicycle，pedestrian，cart，car，bus，skateboarder の異なる 6 クラスの移動対象と座標デー
タから構成される．予測対象の数は学習用に 5,365，評価用に 1,082 を使用する．使用するデータの内訳を表 3.2 に示す．SDD はフレームレート 30fps で撮影されており，本実験では 20 フレーム毎の座標データを用いて実験を行う．すなわち，予測の 1 ステップは約 0.66 [s] に対応する．本実験では，
このうちの 5 ステップ，すなわち約 3.3 秒間を観測として用いる．また，8 ステップ，すなわち約 5.3秒間を予測として用いる．

3.2.2

評価指標と比較手法

定量的評価のために，本実験では 2 つの評価指標を用いる．1 つ目は予測の最終フレームにおける真値と予測値のユークリッド距離である Final Displacement Error (FDE)，2 つ目は各予測フレームに58

表 3.2: 学習と評価データの内訳．

train

test

Number of scenes

52

8

bicycle

2,369

545

pedestrian

2,696

500

cart

71

15

car

75

5

bus

17

2

skateboarder

137

15

attribute

表 3.3: 各予測手法の定量的評価結果．単位は [pixel] である．属性と環境情報をネットワークへ導入することで予測精度が向上している．また，属性と環境情報の両方をネットワークへ導入すること
で，どちらの評価指標も提案手法の性能が最良である．

Metric

FDE

ADE

KF

174.42116.02S-LSTM

206.22125.41

trajectory

196.1386.42

173.0476.32

172.1276.32

109.4453.20

trajectory +attributetrajectory +environment
trajectory +attr. + env.

おける真値と予測値のユークリッド距離の平均である Average Displacement Error (ADE) を用いる．

ADE および，FDE は式 (2.20)，式 (2.21) で表される．
また，比較手法として，状態空間モデルを用いて内部の状態を効率的に推定するカルマンフィル
ター (KF) [39] 及び，深層学習モデルの代表的な手法である Social LSTM (S-LSTM) [1] をベースラインとして用いる．

3.2.3

実験条件

学習条件として，最適化手法に RMSprop [104] を用いる．RMSprop の初期学習率を 0.01，α=0.99，
ε=10e-8 として学習する．また，全ての予測モデルはバッチサイズを 10 に設定し，100 エポックで学習する．学習時には各時刻，すなわち観測の開始時刻から予測最終時刻までを通して過去の対象の59

経路として真値をネットワークに入力する．予測時には，観測最終時刻で得られた最初の予測時刻を逐次ネットワークへ入力し予測値を得る．損失関数を真値と予測値との平均二乗誤差とする．フ
レームワークは Chainer，GPU に Nvidia Titan Xp を利用し End-to-end で学習および，評価する．

3.2.4

従来手法との評価結果

本節では，予測対象の属性および，環境情報を導入した場合の予測精度の変化について確認する．
予測精度の比較結果を表 3.3 に示す．表 3.3 より，属性と環境情報のどちらか一方をネットワークへ入れることで予測精度が向上している．また，属性と環境情報の両方をネットワークへ導入した提案手法が最も予測精度が向上していることが確認できる．図 3.6 に予測結果例を示す．KF の予測経路では，過去の経路が観測とみなされるため，予測結果は障害物領域の有無に限らず線形の予測となる．LSTM ベースの予測手法では，pedestrian の予測経路はどの手法も真値と似た経路が得られた(図 3.6(d)，(e)，(f))．しかしながら，経路のみを利用した予測結果では，KF の予測結果より予測経路が正確に獲得できていないことが確認できる (図 3.6(a)，(c)，(g))．また，表 3.3 より S-LSTM は

KF より予測精度が低下している．結果を再現するために，パラメータを慎重に選択したが，妥当な結果を得ることができなかったため，図 3.6 には S-LSTM の予測結果を記載していない．S-LSTM の結果について，同じ報告が [2] で報告されている．
表 3.3 に示すように，LSTM に他の補助情報を導入することで，予測精度の向上が確認できる．特に，静的な環境情報を導入することで，障害物を避けた経路を正確に予測することができる (図 3.6(h))．
属性と環境情報のどちらかを追加した手法では，定量的評価の観点からの改善は KF と比較しても小さいが，提案手法である trajectory+attr.+env. は，他の手法と比較し精度向上が確認できる．また，提案手法では，図 3.6(a)，(b)，(c) 及び (g) で真値に類似した経路を予測していることが確認できる．
図 3.6(d)，(e) 及び (f) は pedestrian の経路を示している．これらで得られた結果は，全ての経路予測
手法が bicycle よりも歩行間隔が狭く pedestrian の経路を容易に予測できるため，真値に似た経路を追跡できることを示している．図 3.6(g) は，予測対象が車道に沿って進行する car の経路を示している．KF，trajectory，trajectory+attribute，trajectory+environment がネットワークの入力として使用される場合，予測結果は直進している．一方で，環境と属性を同時に導入することで，真値に似た経路を予測することができる．ただし，図 3.6(h) と (i) に示すように，環境情報を導入すると，予測結果は真値とは異なる予測経路を獲得する場合もある．
以上の結果から，提案手法は比較した経路予測手法の中で最も精度が高いことが確認できる．KF
は線形に辿る経路の予測の精度は良いが，障害物回避の場合のような非線形経路を予測することは困難である．経路を正確に予測するには，属性と環境情報を対象の経路に導入する必要がある．

3.2.5 異なる属性毎の評価結果
表 3.4 に，属性と環境情報を導入した場合の各対象に関する予測誤差を示す．表 3.4 は属性と環境情報を両方考慮した結果を示す．表 3.4 より，bicycle，car および，skateboarder は他の属性より速く

60

observation

ground truth

trajectory + attr.

KF

trajectory + env.

trajectory
trajectory + attr. + env.

(a) bicycle(b) bicycle(c) bicycle(d) pedestrian(e) pedestrian(f) pedestrian(g) car(h) car(i) car

図 3.6: 各予測手法の予測結果例．各行のサブグラフは属性毎の予測結果例で，上から順に bicycle，

pedestrian，car を示す．

移動するため，予測誤差は大きい．また，表 3.2 に示すように，cart，car，bus，skateboarder のサン
プルは他のサンプルよりも少ないため，予測誤差が大きくなる傾向が見られる．

61

表 3.4: 属性毎の定量的評価結果．単位は [pixel] である．表は属性と環境情報を両方考慮した結果を示す．car や bicycle のような動きが速い対象の予測誤差が大きい．また対象のデータが少ない場合も予測誤差が大きい．

input

FDE

ADE

bicycle113.8251.25

pedestrian

43.22

23.14

cart

85.52

53.68

car

129.5358.68

bus

151.7476.34

skateboarder132.7961.67

Scene label

Scene label

Pavement

Pavement

Sidewalk

Sidewalk

Grass

Grass

Bicycle storage

Bicycle storage

Tree

⋰

Building
Roundabout⋰
Obstacle map

Scene labels

Tree
Building
Roundabout

図 3.7: 障害物マップの例．シーンラベルの障害物領域を白，移動可能領域を黒とした障害物マップを作成する．異なる環境情報をネットワークの入力として用いることで，将来の経路を予測するのに適した環境情報を分析する．

3.2.6

入力が異なるシーンラベルを用いた検証実験

環境情報としてアノテーションされたシーンラベルを使用して実験を行った．セマンティックなラベルの有効性を評価するために，アノテーションされたシーンラベルを障害物エリアとして設定した bicycle storage，tree，building および，roundabout と他の領域に分割して作成した障害物マップを使用する実験を行う．図 3.7 に障害物マップの例を示す．障害物マップは 1 に設定された障害物領域と 0 に設定された移動可能領域のバイナリマップとして表現される．異なる環境情報をネットワー
クへの入力として用いることで，将来の経路を予測するのに適した環境情報を分析する．
入力が異なるシーンラベルを用いた定量的評価結果を表 3.5 に示し，予測結果例を図 3.8 に示す．
表 3.5 は属性と環境情報を両方考慮した結果を示す．表 3.5 より，シーンラベルが障害物マップよりも優れていることを示す．図 3.8(a) の car の予測結果では，障害物マップを使用すると，sidewalk に
向かって移動する経路を予測していることを示す．また，図 3.8(b) の bicycle の予測結果では，grass

62

CVPR

CVPR
表 3.5: 障害物マップとシーンラベルの定量的評価結果．単位は[pixel] である．

#3

#3

540

552
553
554
555
556
557
558
559
560
561
562
563
564
565
566
567
568
569
570
571

obstacle map

130.12

59.42

scene label

109.4453.20

540
observation

541
542
543
544
545
546
547
548
549
550
551

#3. CONFIDENTIAL
REVIEW
input CVPR 2018
FDE Submission
ADE
CVPR
2018 Submission#3. C

grand truth

relative
coord. + attr.
541(a) bicycle(a) car

relative coord.
grand
truth
groundtruth

KF

obstacle
mapcoord.
prediction
relative+ env.

scene label
prediction
relative
coord.
+ attr.coord.
+ env. + env.
relative coord. + attr.
relative

542
543
544
545
546
547
548
549
550
551

KF
observation(c) pedestrian(a) bicycle(b) bicycle(b) bicycle(c) bicycle(d) bicycle
552 (b) bicycle553
図 3.8: 異なる環境情報を導入した場合の予測結果例 ．
554
555に向かった経路を予測していることが確認できる．これらのような予測結果となったのは，障害物
556
マップが障害物領域のみを区別するため，対象によっては sidewalk や grass など通常移動することが557
ない領域を移動可能領域として予測してしまう．その結果，正確な経路の予測が困難になったと考え

558
559
560
3.2.7 Failure cases
561(d) pedestrian(e) pedestrian
図(d)3.9pedestrianに，適切な予測が行えなかった例を示す．図(f) pedestrian562 (e) pedestrian 3.9(a) より，観測データが移動間隔の狭い移動
経路から急激に速度が変化する場合では，急速な動きに対応することができず真値と異なる動きを
563
られる．

予測している．また，図 3.9(b) では観測データが直進しているため，予測結果も直進した動きを予

564
5653.9(d) では，真値は左折しているが，予測結果は建物方面に直進して合を図 3.9(c) と (d) に示す．図566 cart のデータサンプルが少なく，学習が不充分だったため建物に衝いることが確認できる．これは，
567
63
568
569
測している．このことから，分岐した経路の予測は困難であると考えられる．予測対象が cart の場

570
571

(g) car(h) carinput
relative
KF coord.
(ababs. coabs. coabs. coabs. coTable 4. Q
coordina
and enviof relativnates arerelative coord.

(c) bicycle

the grou

4.5. ReHereordinatepredictio
dictionin Tableordinate(f) pedestrian
a wholenates fo
improvedinates
our prop
predictio
sonablestraight
non-line
Figure 7(i) carobservation

ground truth

trajectory + attr.

trajectory

trajectory + env.

trajectory + attr. + env.

(a) bicycle(b) bicycle(c) car(d) cart(e) skateboarder(f) skateboarder

図 3.9: 誤った予測結果例．(a) の例は，対象の動きが急速に変化する場合の予測経路を示す．(b)，(c)の例は，将来の経路に複数の候補があり，実際の経路と異なる経路を予測している．(d)，(e) 及び (f)は表 3.2 より，対象数が少ないデータは障害物に衝突した経路を予測した．

突する動きを予測したと考えられる．予測対象が skateboarder の場合を図 3.9(e) と (f) に示す．どちらの予測結果も障害物上を移動していることが確認できる．これは，cart の場合と同様でデータのサンプル数が少なかったため，学習が不充分で障害物に衝突する動きとなったと考えられる．
以上より，移動対象の突発的な動きや分岐した経路の予測には対応できず，真値とは異なる予測結果となる問題が確認された．突発的な動きについて，本研究の手法が予測対象毎に特徴的な動きを考慮した経路予測を実現できるが，予測対象同士の衝突に関するインタラクション情報は考慮していな
いため，突発的な行動の予測に対応できないためだと考えられる．そのため，予測対象同士の衝突を防ぐインタラクション情報をネットワークへ導入することで，これに対処する．また，データ数が少ない属性の場合における経路予測は学習が不充分であったため，予測するのは困難となる問題が確認された．このようなデータに対応するためには，幾何変換などでデータを増やす Data Augmentationを活用することで，上記の問題を解決できると考えられる．

64

3.3

まとめ

本章では，予測対象の属性，及び周囲の環境情報を導入した経路予測手法を提案した．提案手法
では，予測対象の属性を one-hot vector で表現し，周囲の環境情報のシーンラベルを CNN へ入力し，各情報に関する特徴ベクトルを抽出した．これらの情報を LSTM へ逐次的に入力することで，予測対象のクラスに応じた経路予測を実現した．SDD を用いた評価実験により，位置情報のみを入力する場合と比較して属性及び，環境情報を導入した場合における予測精度が高い結果となった．
これらの結果より，移動対象の属性と環境情報を導入した経路予測の有効性が確認できた．一方で，突発的な行動やデータサンプルが少ない属性では，十分な学習を行うことができず，適切な経路予測が困難であった．今後の課題として，予測対象同士の衝突を回避するインタラクション情報，
すなわち動的な環境を考慮することが挙げられる．

65

第4章

混雑シーンにおける群衆密度予測
本章では，群衆の密度が未来でどのように変化するかを視覚的に予測する群衆密度予測を提案す
る．市街地やショッピングモールといった混雑シーンにおいて人間の経路を予測することは，自律ロ
ボット [105] [106] のナビゲーションやドローンといった様々な実世界のアプリケーションに有益となる．経路予測を社会実装する場合，予測対象の正確な検出と追跡で捉えた経路情報と ID 情報が入力と出力の両方で必要となる．しかし，図 4.1(c) のような混雑シーンでは，オクルージョン等により一人一人を正確に検出・追跡が困難で，既存の経路予測手法をそのまま適用できない．
本章の目的は正確な歩行者データを用いた予測ではなく，不正確な歩行者データでも将来の予測を実現することである．そこで，シーンの各場所が将来どれだけ混雑しているかのマップ，すなわち
群集密度マップを直接予測する手法を提案する．図 4.1(b) のように，群集密度推定 [107] [108] [109]により，各人を検出するよりも群集密度を推定する方が容易でコストが低い．そこで，観測から現在までのフレームから抽出した群集密度マップから，将来のフレームに対するマップを予測するモデ
ルを学習させる．これにより，予測モデルは正確な歩行者の検出と追跡を必要とせず，群衆密度のダイナミクスを直接捉えることで将来の群衆密度を予測できる．提案手法の技術的困難は，群衆密度マップを効率的に予測するためにどのようにモデル化するかということである．特に，広域で撮影される入力映像では独立して移動する複数の集団が含まれていることが多い．さらに，観測される集団の数やシーン全体の混雑度はシーンの種類，例えば賑やかなショッピングモールと静かな街角
によっては群衆が広範囲に変化する可能性がある．このため，群集密度マップの時空間ダイナミク
スは多様かつ複雑で予測が困難となる．この困難に対処するためにパッチベースの密度予測ネット
ワーク (patch-based density forecasting networks : PDFN) を提案する．PDFN は，CNN の受容野の範囲で空間的あるいは時空的に重なり合ったパッチに基づき，シーン全体の多様で複雑な群集密度ダ
イナミクスをモデル化する．
提案手法の有効性を示すために，群衆密度予測に利用可能な様々なモデル [110] [111] を FDST [112]や UCY [18] で用いて評価実験を行った．実験結果より，混雑したシーンにおいて既存の経路予測手
法 [1] [10] より PDFN が将来の群衆密度を正確に予測できることを示す．
本章の構成は以下のとおりである．まず，4.1 節では群衆密度予測の問題設定と提案手法について述べる．4.2 節では提案手法の有効性を確認するための評価実験について述べる．最後に 4.3 節で本章をまとめる．

66

Past

Future

?

(a)

(b)

(c)

図 4.1: 群衆密度予測の概略図．(a) それぞれの群衆が行動するシーンで，(c) 黄色の円で示される各人の将来の位置を検出，追跡及び予測するのではなく，(b) 各場所がどれだけ混雑するかのマップ，すなわち群衆密度マップで将来のフレームで群衆がどう動くかを予測する．

67

群衆密度予測4.1

本節では，まず群集密度予測問題を定式化する．そして，図 4.2 に示すように，提案するパッチ
ベースのアプローチ PDFN-S と PDFN-ST の 2 つを含む幾つかの予測モデルを説明する．

問題設定

4.1.1

俯瞰視点カメラで撮影されたシーンを想定すると，様々な数の人のグループが形成されており，それぞれ独立に行動している．本章は最初の数フレームを入力とし，その後のフレームで群衆密度がどのように変化するかを予測する．提案手法では各フレームの各場所がどれだけ混雑しているかを群集密度マップで得るために，既存の群集密度推定 [113] [110] を利用して前処理を行う．画像サイズ (W, H)の t 番目のフレームから抽出した群集密度マップを ct ∈ [0, 1]W ×H とする．フレームの長さ Tin とTout の群集密度マップの入力と出力をそれぞれ Cin = [ct−Tin +1 , . . . , ct ] と Cout = [ct+1 , . . . , ct+Tout ]で表す．提案手法の課題は，Cin から Cout へのマッピングを学習することである．ビデオベースの群集密度推定 [112] [114] とは異なり，Cout に対応するビデオフレームは評価時に入力として利用できない．さらに提案手法の問題設定は，予測対象として群集密度の推定結果を利用するため，人の位置が正確にアノテーションされたデータを想定していない．これは混雑したシーンにおいて，一人一人の位置を手動でアノテーションすることはコストがかかるためである．しかし，公平な比較実験を行うために，公開されているデータセットを用いて提案手法の予測結果が実際の人々の位置とどれだけ一致するかを評価する．

$%

𝐻

𝐻

Reshape𝑊⋅ 𝐻

𝐻

𝐻
Spatiotemporal patch(receptive field)

$%

𝑊

𝑊

𝑪𝒐𝒖𝒕

Spatiotemporal conv.

𝑇#

𝐻

𝐾

𝐾

𝑇#

𝑊⋅ 𝐻

𝐻

𝐾

$%

Reshape

𝐾

𝑇#

𝐻

𝐾

×

𝑪𝒊𝒏

𝑇 !"

𝑇#$%

𝐾

𝑪𝒐𝒖𝒕

$%

𝑇!"

𝑊

Arrays of latent vectors each extracted from patches(4) PDFN-ST: Spatiotemporal patch-based density forecasing
Spatialdeconv.

𝑇#

𝑇 !"
𝑊

𝐾

𝐾

conv.

𝑪𝒐𝒖𝒕

Spatialdeconv.

𝐾

𝐾

Temporalconv.

Temporal
conv.

𝑇 !"
×

𝑊
Spatial patch(receptive field)(2) DFN-L: Density forecasting in latent space
𝑪𝒊𝒏 Spatial

Spatial
conv.

𝐾

𝑊

𝑇#$%

𝑇 !"

$%

𝑇!"

𝑪𝒊𝒏

𝐾

𝑪𝒐𝒖𝒕

𝑇#

𝑇 !"
𝑊

(3) PDFN-S: Spatial patch-based density forecasing

Temporal
conv.

𝑪𝒊𝒏

𝐻

(1) DFN-I: Density forecasting with in image space𝑊

Latent vectors extracted from frames

図 4.2: 提案手法の概略図．観測の群衆密度マップ Cin を入力とし，将来の群衆密度マップ Cout を予測する．PDFN-S と PDFN-ST は，空間的または時空的なパッチ毎に独立して予測するパッチベースの予測モデルを提案する．パッチは赤で強調され，CNN の受容野の範囲で予測される．

68

4.1.2

従来のネットワークモデルでの群衆密度予測

群衆密度を直接予測する従来手法がない．そのため，群衆密度マップを直接予測する方法と潜在空間上における予測を従来手法とし，本節ではそれらについて説明する．

■ Density Forecasting in Image Space
まず，観測の群衆密度マップ Cin から将来の群衆密度マップ Cout を直接予測する方法について説明する．この方法を画像空間で学習した密度予測ネットワーク (density forecasting network trained in

the image space : DFN-I) とする．図 4.2(a) のように，DFN-I はまず Cin の各入力マップを W × H 次
元のベクトルに変換する．次に，長さ Tin の入力ベクトルを temporal convolution に与え，長さ Toutの将来の群集密度マップを得る．これは W × H 次元のベクトルとなる．出力を元の画像空間として変換することで，将来の群衆密度マップ Cout が得られる．DFN-I は単純であるが，画素間の局所的な相関を無視して多様な群集密度マップを単一のベクトルで記述するため，効率的でない．

■ Density Forecasting in Latent Space
群集密度マップを直接入力とする代わりに，マップをコンパクトな潜在ベクトルに符号化する密度予測ネットワーク (density forecasting in latent space : DFN-L) を提案する．潜在空間における予測
は，モデルベースの強化学習 [115] や模倣学習 [116] で広く用いられる．図 4.2(b) のように，DFN-L
は temporal convolution と auto-encoder 型の convolution/deconvolution で構成される．エンコーダはspatial convolution で，群衆密度マップの空間的なパターンをモデル化できる．具体的には，まず入力
マップをエンコーダに通し，K 次元の潜在ベクトルを得る．次に，潜在ベクトルを temporal convolutionに与え，Tout 後のフレームの潜在ベクトルを出力する．最後に，出力された潜在ベクトルをデコー
ダを通じ，未来の群集密度マップを予測する．

4.1.3

パッチベースの群衆密度予測

本節では，提案するパッチベースの群衆密度予測手法について説明する．4 章の初めに説明したよ
うに，群衆の密度のダイナミクスが多様で複雑であっても，局所的な領域のダイナミクスは単純である．そのため，パッチベースによる群衆密度予測を提案する．具体的には，図 4.2(c) のような空間パッチに基づく密度予測ネットワーク (spatial patch-based density forecasting : PDFN-S) を提案す
る．PDFN-S には，群衆密度マップの空間的なパターンをモデル化する auto-encoder 型のネットワー
ク及び，密度の時間的ダイナミクスをモデル化する temporal convolution で構成される．マップを 1
つの特徴量として埋め込み予測する DFN-L とは異なり，PDFN-S はパッチレベルで群衆の密度を予
測する．

69

■ 空間的パターンをモデル化する auto-encoder
まず，PDFN-S は入力された群集密度マップを空間的に重複するパッチから抽出された K 次元の潜在ベクトルを変換する auto-encoder 型の convolution/deconvolution を学習する．図 4.2(c) のように，エンコーダでは群衆密度マップ Cin を空間的に重なり合う複数のパッチに分解し，コンパクトな特徴
表現を convolutional network で学習する．デコーダでは，temporal convolution で予測した特徴ベクトルから，deconvolutional networks で特徴マップをアップサンプリングし，将来の群衆密度マップ Coutを生成するように学習する．空間的に重なり合う複数のパッチを K 次元の潜在空間に auto-encoderに埋め込むことで，シーンの小さい領域で観測される群衆密度マップの時空間パターンをシンプルに学習できる．

■ 時間的ダイナミクスをモデル化する temporal convolution

auto-encoder を学習した後に，DFN-L で行われたように temporal convolution で潜在空間での予測を行うが，各潜在ベクトルについて独立に行う．これはパッチ単位の予測に相当し，各パッチはシーン全体よりも単純な群集密度パターンの予測を意味する．具体的には，事前学習した auto-encoderEのエンコーダの特徴マップからデコーダの特徴マップを予測することを考える．エンコーダで埋め込まれる特徴マップを Zin ，デコーダで予測する特徴マップを Zout とすると，以下式で表される．
′

′

Zin

= [E(ct−Tin +1 ), . . . , E(ct )] ∈ RW ×H ×K×Tin

Zout= [E(ct+1 ), . . . , E(ct+Tout )] ∈ RW ×H ×K×Tout

′

′

(4.1)
(4.2)

観測の特徴マップ Zin から予測の特徴マップ Zout は temporal convolution でモデル化する．temporalconvolution で観測の特徴マップ Zin の Tin 方向をダウンサンプリングしながら畳み込み，Zout の Tout
分をアップサンプリングしながら畳み込む．すなわち，temporal convolution で予測する特徴マップ′′′
は Zout= M(Zin ) ∈ RW ×H ×K×Tout となる．これらの temporal convolution は (W ′ , H ′ ) の各位置に対して独立で行うため，群衆密度のダイナミクスを小さな空間でモデルを学習できる．予測結果′の特徴マップ Zout
は潜在ベクトルの列であり，これをデコーダに通すことで，将来の群集密度マッ

プとして予測する．

4.1.4

時空間パッチベースの群衆密度予測

PDFN-S は，各パッチの空間情報と時間のダイナミクスをそれぞれのネットワークで学習する．本
節では，PDFN-S の拡張として時空間パッチベースの群衆密度予測手法について説明する．具体的には，時空間パッチとみなす 3 次元の受容野における局所的な群集密度のダイナミクスを学習するために，3D convolution と deconvolution で構成される，時空間パッチベースに基づく密度予測ネット
ワーク (spatio-temporal patch-based density forecasting : PDFN-ST) を提案する．PDFN-ST の具体的構
造は図 4.2(d) に示す．空間的な特徴を捉える auto-encoder 型の convolution/deconvolution と群衆密度

70

のダイナミクスを捉える temporal convolution を別々に学習する PDFN-S とは異なり，PDFN-ST は単一のネットワークで群集密度マップの時空間的パターンを学習する．

4.1.5

ネットワーク構成

上記で説明した DFN-I，DFN-L，PDFN-S 及び，PDFN-ST は以下のように実装した．

• Temporal Convolutional Network．図 4.2 に示すように，PDFN-ST を除くすべてのモデルは予測を行うために temporal convolution を用いている．これは，3 つの convolution layer と 3 つの de-convolution layer から構成され，それぞれが活性化関数 ReLU [117] を持つ．チャンネル数，カーネ
ルサイズ，ストライドはそれぞれ，(64, 4, 2), (128, 4, 2), (256, 2, 1), (128, 3, 1), (64, 4, 2), (K, 4, 2)とする．K は DFN-L と PDFN-S では潜在ベクトルの次元，DFN-I では W × H であり，長さTin の入力系列を変換して長さ Tout の出力系列にするように設定した．
• Auto-encoder．DFN-L と PDFN-S は，群衆密度マップを K 次元の潜在ベクトルに変換するためにエンコーダとデコーダ構造を持つ．PDFN-S では，4 つの convolution layer と 3 つの deconvolution

layer から構成される．convolution layer のチャンネル数，カーネルサイズ，ストライドをそれぞれ，(32, 4, 2), (64, 4, 2), (64, 4, 2), (K, 1, 1)，deconvolution layer は (64, 4, 2), (64, 4, 2), (1, 4, 2)で設定する．また，各層で活性化関数 ReLU を持つ．パッチサイズ，つまり受容野の大きさはピクセルで 22 × 22 に設定した．DFN-L は，単一の潜在ベクトルを出力するために，最後のconvolution layer の前後にパラメータ (64, 4, 2) を持つ 2 つの convolution layer と deconvolution
layer を持つ．層数と潜在ベクトルの次元数は，検証データセットで性能を最大化するために設定した．convolution layer と deconvolution layer の数は (4, 3) と (3, 2) から選択し，潜在ベクト
ル K は K ∈ {8, 16, 32, 64, 128} から選択した．

• Spatiotemporal Convolution Network．PDFN-ST は 3 つの 3D convolution layer と 3 つの deconvolution layer から構成され，これらは全て活性化関数 ReLU を用いている．チャンネル数，
カーネルサイズ，空間的及び時間的なストライドは，入力の長さ Tin から Tout を適切に出力するために，convolution layer では (32, 4, 2, 2)，(64, 4, 2, 2)，(256, 4, 2, 2)，deconvolution layer
では (64, 4, 2, 1)，(32, 4, 2, 2)，(1, 4, 2, 2) に設定した．そして，時空間パッチサイズは画素数で22 × 22，フレーム数 22 に設定した．auto-encoder と同様に，検証用データセットの性能に基づきこのネットワーク構造とした．

• Training．すべてのモデルは最適化手法 Adam [118] で学習を行う．バッチサイズ，反復回数，学習率は，FDST では (16, 1k, 0.001)，UCY データセットでは (16, 100k, 0.005) とした．損失関数
は，DFN-L と PDFN-S の temporal convolution では平均二乗誤差，DFN-I の temporal convolution，

PDFN-ST の spatial-temporal convolution 及び，DFN-L と PDFN-S の auto-encoder ではバイナリ
クロスエントロピーで学習を行う．さらに，混雑した領域と混雑していない領域の両方を学習√させるために，ct の代わりに ct を入力とした．

71

評価実験

4.2

本節では，公開されているデータセットを用いて，提案手法と従来の予測手法を比較する．

4.2.1

データセット

本実験では，俯瞰視点で撮影された屋内外の様々なシーンから成る以下のデータセットを使用する．

• FDST [112] は crowd counting タスクのためのデータセットである．FDST には合計 100 つの様々な場所で撮影された 15 シーンの動画像が含まれている．各動画像は 30fps の 150 フレームで構成され，各フレームについて歩行者の位置がアノテーションされている．FDST は 15 シー
ンの内 10 シーンが 5 つの動画像，他の 5 シーンが 10 つの動画像となっているが，元論文では

13 シーンであると報告されている．
• UCY (Crowds-by-Example Dataset) [18] は経路予測のための一般的なデータセットである．
UCY には，ZARA01(9,031 frames)，ZARA02(10,519 frames)，UCY(5,405 frames; all recorded
at 25 fps) の斜めの俯瞰視点で撮影された群衆の異なるシーンが 3 つある．FDST データセットとは異なり， このデータセットでは歩行者の位置情報は 10 フレーム毎にアノテーションされ
ている．

4.2.2

データの前処理• 群集密度マップの生成．群集密度予測では，動画像から群集密度マップを求めることが重要になる．本実験では，2 つの異なる入力方法を採用し比較した．具体的には，入力動画像から直接ピクセル毎の混雑の度合いを推定するために GCC データセットで事前学習した C3 フレームワーク [113] による群集密度推定 [110] 及び，MS COCO データセット [119] で事前学習した物
体検出器 (ChainerCV [120] による feature pyramid network [111]) に基づく人検出である．これ
らを用いることで，4.1 節で述べたような実用的な場面で必要となる動画像中の歩行者一人一人に対するアノテーションを行わずに，群集密度予測モデルの学習を行うことができる．人検出を用いた場合，検出された各 bounding box の上端中心位置を入力画像空間にマッピングし，
群集密度推定で得られたものと互換性のある群集密度マップを形成する．群衆密度推定と人検出は 640 × 480 のサイズの動画像で行ったが，予測モデルの学習時間を短縮するために群衆密度マップを 80 × 80 にリサイズする．

• 真値の群衆密度マップの作成．群衆密度予測モデルの学習に使用する群衆密度マップに加え，モデルの性能を評価するために各データセットの真値から真値の群衆密度マップを作成する．
上記の人検出結果の処理方法と同様に，全人物の位置を入力画像空間にマッピングし，モデルの出力とマッチするようにサイズの変更を行う．しかし，FDST と ZARA02 では人物の頭部，

72

ZARA01 と UCY では足元がアノテーションされているためデータの不一致が発生する．そこ
で，人検出の結果から人物の垂直位置と身長を対応付けるサポートベクター回帰で，ZARA01と UCY の足元にアノテーションされているデータを頭部になるように修正した．

• データセットの分割．一般的な経路予測ベンチマークに従い，データセットから Tin と Tout を設定する．具体的には，FDST は 6fps，UCY は 5fps の連続した 20 フレームから成るサンプル
を時間方向に 1 時刻毎にスライドする．そのため，最初の 8 フレームを観測時刻，その後 12フレームを予測時刻とした．すなわち，Tin = 8, Tout = 12 となる．UCY では，3 つのシーンに対して leave-one-out を行い，ETH データセット [19] から HOTEL シーン (25fps で撮影された 19,350 フレーム) を学習データとして leave-one-out の学習として追加することで，学習した群集密度ダイナミクスの多様性を増加させるようにした．ETH データセットの ETH シーンも
経路予測手法のベンチマークとして利用されるが，予備実験の結果，真値のアノテーションが不完全であり，群衆密度予測タスクへの適用が困難であることが判明したため，ETH シーンは利用しない．FDST では，100 つの動画像から学習を 60，評価を 40 に分割し，それぞれ 10 と5 の異なるシーンが含まれるように設定した．FDST は，異なる群衆の行動から成る 60 の学習用動画像と 40 の評価用動画像を同じ 15 のシーンで作成している．そこで，学習したモデルが未知シーンで正確に予測できるかを調査する目的で，同じ数の学習用動画像と評価用動画像でシーンの重複がないように分割した．

4.2.3

評価方法

提案手法の有効性を評価するために，予測された群衆密度マップと真値の群衆密度マップを比較する．これを行うために，事前定義したカーネルサイズ σ のガウシアンフィルタでこれらのマップに対して平滑化を行う．このカーネルサイズは，物体検出タスクの IoU スコアに与えられる閾値と同様に，予測された群衆密度マップと真値の群衆密度マップとの差をどの程度厳密に測定するかを制御するために使用した [119]．σ を小さく設定すると，予測結果がより厳密に真値の群衆密度マップと一致することが期待される．これに対して，大きな σ を設定することで，予測モデルが近似的な予測を行うことが期待される．実験を通して σ = 3 と設定した．
予測された群衆密度マップと真値の群衆密度マップそれぞれについて， 予測最終時刻 Tout と予測
開始時刻から最終時刻 t + Tout までを平均した recall(再現性能) と precision(精度性能) で評価する．この 2 つの評価の差は，時刻の経過とともに予測が困難になることを示す．すなわち，予測最終時刻の方が予測が困難となる．cτ と gτ を τ 番目のフレームにおける W × H サイズの予測の群衆密度マップと真値の群衆密度マップとする．真値マップ gτ が予測マップ cτ によってどの程度正確に予測されたかという再現性能を評価するために，Kullback-Leibler (KL) divergence を計算した．KL divergence は
(
)
∑
∑
(i,j)
のように計算される．ここで c̄τ = cτ / i,j cτ (i, j) とDKL (gτ ||cτ ) = W1·H i,j ḡτ (i, j) log ḡc̄ττ (i,j)∑
ḡτ = gτ / i,j gτ (i, j) は，確率分布になるように正規化した予測マップと真値マップ，i, j はマップの各位置に付与されたインデックスを表す．また、Inverse KL divergence : DRKL (gτ ||cτ ) = DKL (cτ ||gτ )73

を用いて精度性能，すなわち予測マップ cτ がどれだけ正確に真値マップ gτ を予測しているかを評価すττ
る．最後に，DJS (gτ ||cτ ) = 12 (DKL (gτ || gτ +c) + DKL (cτ || gτ +c)) として定義される Jensen-Shannon
22(JS) divergence による性能評価も行う．これは，精度性能と再現性能のバランスを直感的に示す指標である．これらの divergence は非負であるため，スコアが低いほど性能が良いことを意味する．

4.2.4

比較手法

群衆密度予測タスクに関する先行研究がないため，ベースラインとして以下に示すいくつかの経路予測手法を拡張した．まず，4.2.2 節で得られた人物検出結果を， [121] [122] などの多くの実用的な予測タスクで用いられている sort tracking [123] でフレーム毎に追跡し，フレーム間を線形補間して学習と評価の経路データを作成した．予測した経路をマップ化し，ガウシアンフィルタによって平滑化を行う．これにより，4.2.2 節で真値マップに対して行ったように，未来の群集密度マップを形成する．

• ConstVel [40]．RNN を経路予測に応用した研究が行われているにもかかわらず，速度に基づいて経路予測を行う単純なアプローチが強力であることが判明している． [40] に従い，観測時
刻最後の 2 フレームにおける速度情報から将来の経路を線形に外挿した．

• Social LSTM (S-LSTM) [1]．深層学習を用いた経路予測で最も使用されるベースラインである．S-LSTM は，各個人の経路を予測するために LSTM で学習し，LSTM に周囲の歩行者の

hidden state が追加される．S-LSTM の学習には，元論文で提案されているハイパーパラメータの設定で実装した．

• Trajectron [10]．Trajectron は，歩行者グループを閾値に基づいて動的なグラフ構造でモデル化した経路予測手法である．S-LSTM とは異なり，Trajectron は複数の未来の予測経路をサンプリングできる．この問題設定においてより良い性能を発揮するために，ハイパーパラメータの選択を元論文から若干変更した．具体的には，640 × 480 サイズの動画像で動作するように，
歩行者間の閾値距離を変更した．評価時には，各フレームの各歩行者の予測経路を 100 個サン
プリングし，それらの経路にガウシアンフィルタを適用して予測の群集密度マップを生成した．

4.2.5

実験結果

■ ベースラインとの比較
表 4.1 と表 4.2 に，FDST と UCY データセットに対する定量的な評価結果を示す．提案手法のパッチベースモデルである PDFN-S と PDFN-ST は，全てのデータセットにおいてベースラインを上回る性能を示す．また，人物の検出は必ずしも安定していないにも関わらず，検出ベースの入力を用いた

PDFN-S と PDFN-ST は ZARA02 を除く全てのシーンでベースラインの性能を上回る．従って，歩74

行者の経路ではなく，群衆密度マップを直接予測することの重要性が示される．さらに，群衆密度推定による入力を用いることで，予測性能はさらに向上している．DFN-I と DFN-L は，歩行者の集団が多い FDST データセットにおいて性能が低下している．これらの結果より，パッチベースの予測手法を用いることが有効であることを示す．特に UCY では，PDFN-ST が PDFN-S よりも性能が向上していることから，群集密度マップの空間的パターンと時間的ダイナミクスを単一のネットワー
クで学習することの有効性が確認できる．

■ 予測結果図 4.3 に群衆密度推定を入力とした場合の Trajectron と PDFN-ST の予測結果例を示す．図 4.3(a)(b)に示すように，Trajectron は数人の将来の位置を正確に予測できるが，図 4.3(c)(d) では正確な検出や追跡ができず正確な予測ができていない．一方で，提案手法の PDFN-ST は個人 (図 4.3(c))，小さな集団 (図 4.3(b)(d)) 及び，群集 (図 4.3(a)) のダイナミクスを予測できている．

■ ガウシアンカーネルの影響
群衆密度予測タスクでは，入出力の群集密度マップにガウシアンフィルタを適用した．そのカー
ネルサイズ σ で予測結果をどれだけ厳密に評価されるかについて Ablation study を行った．表 4.3
表 4.1: FDST の定量的評価結果．左が予測時刻の平均，右が最終時刻における divergence のスコアを示す．PDFN-S と PDFN-ST がパッチベースの提案手法を示す．

DKL

DRKL

DJS

ConstVel [40]1.83 / 2.30

0.92 / 1.47

0.13 / 0.18

S-LSTM [1]2.23 / 2.80

1.89 / 2.50

0.20 / 0.24

Trajectron [10]1.60 / 1.90

0.94 / 1.59

0.12 / 0.16

Inputs given by pedestrian detection
DFN-I

1.02 / 1.01

2.40 / 2.66

0.22 / 0.23

DFN-L

1.86 / 1.88

5.35 / 5.65

0.33 / 0.33

PDFN-S

0.45 / 1.19

0.68 / 1.41

0.07 / 0.16

PDFN-ST

0.18 / 0.43

0.38 / 0.87

0.05 / 0.11

Inputs given by crowd density estimation
DFN-I

1.01 / 0.88

4.58 / 4.95

0.25 / 0.23

DFN-L

1.63 / 1.68

6.67 / 7.01

0.34 / 0.34

PDFN-S

0.15 / 0.36

0.44 / 1.06

0.04 / 0.10

PDFN-ST

0.16 / 0.37

0.45 / 1.08

0.04 / 0.1075

表 4.2: UCY の定量的評価結果．

DKL

DRKL

DJS

7.60 / 8.52
10.9 / 12.3
7.19 / 7.67

3.26 / 4.52
9.07 / 10.5
4.29 / 5.36

0.33 / 0.40
0.50 / 0.56
0.34 / 0.39

Inputs given by person detection
DFN-I
3.73 / 3.87 7.95 / 8.77
DFN-L
4.82 / 5.55 8.24 / 9.31
PDFN-S2.75 / 3.69 5.32 / 6.07
PDFN-ST
2.66 / 3.36 5.39 / 5.87

0.45 / 0.48
0.48 / 0.52
0.32 / 0.38
0.31 / 0.36

Inputs given by crowd density estimation
DFN-I
1.80 / 2.10 5.11 / 6.56
DFN-L
0.93 / 1.65 2.73 / 4.06
PDFN-S
0.88 / 1.57 2.53 / 3.54
PDFN-ST
0.76 / 1.11 2.29 / 3.01

0.33 / 0.38
0.20 / 0.31
0.19 / 0.28
0.17 / 0.22

ZARA01
ConstVel [40]S-LSTM [1]Trajectron [10]ZARA02
ConstVel [40]S-LSTM [1]Trajectron [10]

DKL

DRKL

DJS

7.76 / 8.59
9.58 / 10.8
7.26 / 7.41

3.52 / 4.41
7.48 / 8.44
3.69 / 3.77

0.34 / 0.40
0.48 / 0.52
0.35 / 0.34

Inputs given by pedestrian detection
DFN-I
3.56 / 3.24 7.92 / 8.00
DFN-L
4.04 / 3.59 7.53 / 7.36
PDFN-S5.65 / 5.88 7.40 / 7.72
PDFN-ST
5.92 / 5.91 7.00 / 7.38
Inputs given by crowd density estimation
DFN-I
1.97 / 2.36 5.43 / 6.78
DFN-L
0.99 / 1.90 2.58 / 3.70
PDFN-S
0.98 / 1.84 2.67 / 3.81
PDFN-ST
0.85 / 1.47 2.35 / 3.26

0.45 / 0.44
0.45 / 0.44
0.45 / 0.46
0.44 / 0.45
0.34 / 0.40
0.20 / 0.30
0.20 / 0.30
0.18 / 0.26

DKL

DRKL

DJS

8.92 / 8.99
8.96 / 9.70
8.63 / 8.34

3.86 / 4.13
6.21 / 6.99
3.69 / 3.93

0.39 / 0.41
0.47 / 0.52
0.37 / 0.39

Inputs given by pedestrian detection
DFN-I
8.62 / 9.02 6.01 / 5.78
DFN-L
9.07 / 8.82 4.90 / 5.13
PDFN-S3.46 / 4.28 2.90 / 3.31
PDFN-ST
3.45 / 3.78 2.72 / 2.61

0.52 / 0.54
0.48 / 0.48
0.31 / 0.36
0.30 / 0.33

Inputs given by crowd density estimation
DFN-I
1.84 / 1.80 4.21 / 4.47
DFN-L
1.04 / 1.35 2.49 / 2.98
PDFN-S
1.04 / 1.32 2.45 / 2.83
PDFN-ST
1.07 / 1.37 2.28 / 2.72

0.32 / 0.33
0.21 / 0.26
0.21 / 0.25
0.21 / 0.26

UCY
ConstVel [40]S-LSTM [1]Trajectron [10]76Observed

Predicted𝑡𝑡+ 5Predicted

Observed

𝑡 + 10

𝑡− 5

(a)

(b)

(c)

(d)

𝑡

𝑡+ 5

𝑡 + 10

PDFN-ST(ours)

Trajectron

GT

Video

PDFN-ST(ours)

Trajectron

GT

Video

𝑡− 5

図 4.3: 予測結果例．入力，真値 (GT)，Trajectron と群集密度推定結果を入力した PDFN-ST による予測された群集密度マップを示す．ここでは，群衆密度マップの変化を分かりやすく可視化するため，

t − 5, t, t + 5, t + 10 フレーム目を選択して予測結果例を示す．Trajectron で検出・追跡された人物は黄色の丸で囲まれている．

は，UCY データセットにおいて σ の値を変えた場合に予測性能がどれだけ影響されるかを示している．σ が小さくなるにつれ評価基準が厳しくなり，全ての予測手法の性能が低下している．しかし，

PDFN-ST は Trajectron の性能を上回っていることから，群衆密度マップを直接予測することが重要であることがわかる．

■ Failure cases
図 4.4 に群衆密度推定を入力した場合の PDFN-ST の誤った予測結果例を示す．図 4.4(a) のように，提案手法は後半のフレームで示すような歩行方向を急変させる群衆の予測は失敗している．また，図 4.4(b) のように，将来のフレームで新しい人がフレームイン/アウトするシーンを含む，パッチサイズを超える動きの予測は困難である．しかし，これらは既存の経路予測手法でもよく見られ77

表 4.3: ガウシアンカーネルサイズ σ の効果．数値は UCY の平均/最終時刻の divergence のスコアを

3 つのシーンで平均したものを表す．

Trajectron [10]PDFN-ST

σ

DKL

DRKL

DJS

1

13.5 / 13.4

9.67 / 11.1

0.54 / 0.56

3

7.54 / 7.71

3.90 / 4.37

0.35 / 0.37

6

3.69 / 3.83

1.96 / 2.19

0.23 / 0.24

1

2.19 / 2.68

9.31 / 10.7

0.43 / 0.47

30.87 / 1.32

2.31 / 3.05

0.18 / 0.25

6

0.95 / 1.30

1.26 / 1.59

0.16 / 0.20

る困難な例である．これに対処するためには，シーンの特徴 [8]，または目標地点の情報 [124] などの追加の入力情報が必要となる．

■ 処理速度最後に、単一の GPU (Nvidia Tesla V100) 上で PDFN-ST がどの程度高速に予測を行うかを測定した．群集密度推定は，1 枚の画像から入力マップを作成するのに 10.4 [ms] 必要となる．そして，

PDFN-ST は観測から現在までの 8 フレームを処理し，8.1 [ms] で未来の 12 フレームを予測する．従って，PDFN-ST をオンライン方式で実行すれば，18.5 [ms] 毎に新しい予測結果を得ることができる．
すなわち，54fps の速度で実行可能である．なお，実用的なシステムではアプリケーションによって異なるハードウェアやタスクの性能が必要であり，これらはすべての予測手法の実行時間に影響を与えることが想定される．

4.3

まとめ

本章では，混雑シーンにおける監視カメラシステムのための新しい視覚的予測手法である群衆密度予測を提案した．提案手法はパッチベースでモデル化することで，様々な数の独立した群衆の多様で複雑なダイナミクスを効率的に捉えることができる．さらに，予測対象の正確な検出と追跡に依存する既存の経路予測手法とは異なり，提案手法は群集密度推定手法の結果をマップで入力することで，正確な予測を実現した．群集密度予測を監視カメラだけでなく，ウェアラブルカメラ [125, 29] やオートカメラ [105, 106] に拡張すると，ナビゲーションシステム，運転支援など他のアプリケーショ
ンにつながると予想される．このようなアプリケーションには，複数のカメラにまたがる群衆の再識
別や，長期的な群衆ダイナミクスのモデリングと予測のための新しい技術も必要となると考えられる．また，衝突を回避するための歩行者間のインタラクションが必要になると考えられる．しかし，提案手法では群衆をマップとして表現しているため，インタラクションを導入できない．従って，群78

Observed
𝑡− 2

𝑡

𝑡+ 2

𝑡+ 5

𝑡 + 10(a)(b)

PDFN-ST

GT

Video

PDFN-ST

GT

Video

𝑡− 5

Predicted

図 4.4: 誤った予測結果例．(a) は急に歩く方向が変わった場合のサンプル，(b) は新しい人がシーンに現れる場合のサンプルを示す．

衆といったグループのインタラクションをどのようにモデル化するかが重要になると考えられる．

79

第5章

インタラクションを考慮した経路予測の性能調査
本章では，2 章で説明した代表的な予測モデルについて，経路予測で主に使われるデータセットを用いて各モデルの精度及び予測結果の傾向について議論を行う．本章では，5.1 節で経路予測の評価の問題点を述べる．5.2 節で精度比較を行うモデルの詳細とハイパーパラメータの設定を述べる．5.3
節で学習及び評価で使用するデータセットや評価方法について述べる．5.4 節及び 5.5 節で各データセットによる各予測モデルの比較結果を述べる．5.6 節で各予測モデルの計算時間とパラメータの比較を行う．5.7 節でプーリングモデルとアテンションモデルの違いについて考察を述べる．最後に，

5.8 節で本章をまとめる．

80

5.1

経路予測の評価の問題点

一般的に経路予測モデルの評価には，Displacement Error と Minimum Displacement Error が用いられている．しかしながら，これらの評価指標を用いてモデルを評価すると，元の論文値と異なる結果になることがある．[10] でも述べられているように，[3] と [1] で同じ著者が出した結果が異なる
ため，経路予測分野でどのモデルが最先端で矛盾のない公平な評価になっているかを判断することが困難である．また，[3]1 や [37]2 の公開コードの issue で指摘されているように，他手法と比較する
ための評価コードが異なっており，コードを揃えると結果が他手法の予測性能を下回ることが確認されている．そのため，本章では公平な比較及び，DL ベースの経路予測手法において，インタラク
ションのモデル化の効果の検証のために，いくつかの最先端の手法の公開コードを用いて，それぞれのモデルサイズやハイパーパラメータを論文と同じ条件にした元で学習と評価を行う．

5.2

精度比較を行うモデル

使用するモデルを表 5.1 に示す．深層学習 (DL) ベースの経路予測手法は，用いる映像視点や CNN
や LSTM などのネットワークのベースになるアーキテクチャにより条件が異なるため，全ての予測手法を一様に評価することが困難である．本実験では，最も広く用いられている LSTM に基づく経路予測の中で代表的な手法を用いる．各モデルの詳細とハイパーパラメータの設定は以下である．

• LSTM は入力層-LSTM-出力層の 3 層のモデルで構成される．推論時は，過去最終時刻まで入出力を行い，予測開始時刻以降は出力層で得た経路情報を入力層に逐次入力する．LSTM に入れる前の埋め込み層の次元数を 64，LSTM の次元数を 64，入力層と出力層の次元数を 2 で設
表 5.1: 精度比較を行うモデル．
モデル名

インタラクション

環境

データセットLSTM--

ETH/UCY, SDD--

ETH/UCY, SDD

Pooling-

ETH/UCY, SDD

Pooling-

ETH/UCY, SDD

Attention-

ETH/UCY, SDD

Trajectron6

Attention-

ETH/UCY, SDD

Env LSTM

-

✓

SDD

RED [126]
Social LSTM
Social GAN
STGAT

5

4

3

1

https://github.com/agrimgupta92/sgan/issues/8
https://github.com/abduallahmohamed/Social-STGCNN/issues/47
3
https://github.com/quancore/social-lstm
4https://github.com/agrimgupta92/sgan
5
https://github.com/huang-xx/STGAT
6
https://github.com/StanfordASL/Trajectron
281

定する．エポック数を 300，バッチサイズを 64，最適化手法を Adam [118]，学習率を 0.001 で設定する．損失関数は予測値と真値間の L2 loss を使用する．

• RED は，Recurrent Encoder-Decoder [126] で構成されている．エンコーダとデコーダはどちらも LSTM を使用する．各 LSTM に入れる前の埋め込み層の次元数を 64，各 LSTM の次元数を64，入力層と出力層の次元数を 2 で設定する．エポック数を 300，バッチサイズを 64，最適化
手法を Adam，学習率を 0.001 で設定する．損失関数は予測値と真値間の L2 loss を使用する．

• Social LSTM は，周囲の他対象との衝突を避ける S-Pooling を導入した予測モデルである．Social
LSTM のベースモデルは LSTM であるため，推論時は過去最終時刻まで入出力を行い，予測
開始時刻以降は出力層で得た経路情報を入力層に逐次入れる．LSTM に入れる前の埋め込み層の次元数を 64，LSTM の次元数を 128，プーリング処理内の全結合層の次元数を 128，入力層と出力層を 2 で設定する．ETH/UCY と SDD のどちらも，S-Pooling 内のパラメータの予測対象を中心とした周囲の範囲を 32，グリッドサイズを 8 で設定する．エポック数を 200，バッチ
サイズを 64，最適化手法を RMSprop [104]，学習率を 0.003 で設定する．損失関数は負の対数
尤度 [127] を使用する．

• Social GAN は，GAN を用いて実際の経路と予測経路を敵対的に学習させる予測モデルである．また，S-Pooling を改良した Pooling Module により周囲の他対象との衝突回避を期待できる．さらに，正規分布を基にしたノイズベクトルを予測モデルに加えることで複数の経路を予測する．Social GAN のベースモデルは RED である．生成器と識別器の各 LSTM に入れる前の埋め込み層の次元数を 16，生成器の各 LSTM の次元数を 32，識別器の LSTM の次元数を 64，
プーリング処理内の全結合層の次元数を [48 × 512 × 32]，入力層と出力層の次元数を 2 で設定する．ノイズベクトルの次元数を 8 で設定する．エポック数を 200，バッチサイズを 64，最適化手法を Adam，学習率を 0.001 で設定する．損失関数は予測値と真値との Adversarial loss 及び，k 個のサンプリングした予測値から真値に最も似た予測値のみを選択し，その予測値と真値間の L2 loss を用いる．ここで，k は 20 で設定する．

• STGAT は，Graph Attention Network で得た空間情報を LSTM で時間方向に伝播することで，
時空間特徴をエンコードする予測モデルである．STGAT のベースは RED である．各 LSTM に入れる前の埋め込み層の次元数を 16，エンコーダの LSTM の次元数を 32，デコーダの LSTMの次元数を 64，アテンション処理の次元数を [16 × 32]，入力層と出力層の次元数を 2 で設定する．ノイズベクトルの次元数を 8 で設定する．エポック数を 400，バッチサイズを 64，最適化手法を Adam，学習率を 0.001 で設定する．損失関数は k 個のサンプリングした予測値から真値に最も似た予測値のみを選択し，その予測値と真値間の L2 loss を用いる．ここで，k は20 で設定する．
• Trajectron は，シーン内の複数対象を動的なグラフ構造で効率的にモデル化する．Trajectron のベースは RED である．各 LSTM に入れる前の埋め込み層の次元数を 8，エンコーダの LSTMの次元数を 32，デコーダの LSTM の次元数を 128，アテンション処理の次元数を 8，入力層と82

出力層の次元数を 2 で設定する．ノイズベクトルの次元数を 10 で設定する．Gaussian Mixture

Model のコンポーネント数を 16 で設定する．ETH/UCY では，予測対象を中心とした周囲 1.5[m] 以内の他対象とのグラフを構築する．SDD では，1.5 [m] を 40 ピクセルで設定する．反復数を 20,000，バッチサイズを 256，最適化手法を Adam，学習率を 0.001 で設定する．損失関数は尤度最大化損失を用いる．

• Env LSTM は，予測対象周辺の環境情報を考慮することで，周辺の障害物との衝突回避した経路予測を行うモデルである．Env LSTM のベースは LSTM であるため，推論時は過去最終時刻
まで入出力を行い，予測開始時刻以降は出力層で得た経路情報を入力層に逐次入力する．予測対象を中心とした周囲 100 × 100 [pixel] のセマンティックなラベル情報を 2 層の CNN へ入れる．1 層目の CNN のチャネルサイズを 32，カーネルサイズを 5，ゼロパディングを 0，ストラ
イドを 2 で設定する．2 層目の CNN のチャネルサイズを 32，カーネルサイズを 5，ゼロパディ
ングを 0，ストライドを 1 で設定する．各 CNN から出た特徴マップは batch normalization と活性化関数 ReLU を介した後に 2 × 2 の maxpool. を行う．最後に，1 次元の特徴ベクトルに変換する．LSTM には CNN から出た特徴ベクトルと座標値を連結して入力する．LSTM の次元数を 128 で設定し，出力層の次元数を 2 で設定する．エポック数を 300，バッチサイズを 64，最適化手法を Adam，学習率を 0.001 で設定する．損失関数は予測値と真値間の L2 loss を使用
する．

5.3

学習及び評価の設定

データセットは経路予測で最も使用される ETH/UCY データセット及び，Stanford Drone Dataset(SDD) [20] を用いる．ETH/UCY は ETH, HOTEL などを含む 5 つのシーンがある．学習及び評価には，leave-one-out アプローチを用いる．ETH/UCY で観測された歩行者の経路の可視化を図 5.1 に示す．図 5.1 の青色は歩行者の移動経路を示す．図 5.1 のように，ETH 以外のシーンは左右に行動する予測対象の割合が多く，ETH は上下に行動する予測対象の割合が多い．そのため，ETH の x, y 座
標を変換した C-ETH を評価に用いる．実験で使用した ETH/UCY の歩行者のデータ数及び，密度を
表 5.2 に示す．

SDD では bookstore，coupa などを含む 8 つのシーンがある．学習や評価，経路情報などの設定はETH/UCY と同条件で行う．また，SDD は歩行者以外にも自動車などの複数対象のデータがあるが，本実験では歩行者のみを対象とする．実験で使用した SDD の歩行者のデータ数及び，密度を表 5.3に示す．
実験では，過去約 3.2 秒，未来約 4.8 秒間の経路情報を各モデルの入出力として用いる．評価指標は 2.4 節で説明した Displacement Error，Minimum Displacement Error 及び，各衝突率を用いる．

Minimum Displacement Error はサンプリング数を 20 とする．動的物体との衝突率の閾値は ETH/UCY
で 0.1 [m]，SDD で 10 [pixel] とする．静的物体との衝突率では，各データセットに付与したシーンラ
ベルを用いて予測値が障害物領域の範囲内にいた場合，接触したとみなす．シーンラベルは sidewalk，

83

ETH

HOTEL

UCY

C-ETH

ZARA01

ZARA02

図 5.1: ETH/UCY で観測された歩行者の経路の可視化．
表 5.2: ETH/UCY のサンプル数及び，密度の内訳．密度は 1 [m] × 1 [m] の四角形の中点をある歩行者の x, y 座標とし，四角形内に他の歩行者が位置する場合の最大の密度を記載．
シーン名

歩行者数

密度 [人数/m2 ]

ETH

358

8

HOTEL

389

5

UCY

434

8

ZARA01148

4

ZARA02204

5

pavement，grass，bicycle storage，tree，building，roundabout の 7 種類で，そのうち tree，building，roundabout の 3 種類を障害物領域とする．Displacement Error 及び各衝突率による評価は単一経路の予測手法と複数経路の予測手法で実験条件が異なるため，公平な比較ができない．そのため，複数経路を予測するモデル (Social GAN, STGAT, Trajectron) はノイズベクトルなどを含めない条件でも学習と評価を行う．これにより，単一経路の予測手法と同様の条件で各評価指標を公平に比較できる．

84

表 5.3: SDD のサンプル数及び，密度の内訳．密度は 50 [pixel] ×50 [pixel] の四角形の中点をある歩行者の x, y 座標とし，四角形内に他の歩行者が位置する場合の最大の密度を記載．
シーン名

歩行者数

密度 [人数/pixel2 ]bookstore

357

8

coupa

147

8

deathCircle

346

8

gates

379

8

hyang

819

8

little

93

8

nexus

716

8

quad

20

8

表 5.4: ETH/UCY における予測誤差．単位は [m]．

20 Outputs

Single Model

Scene

5.4

Method

C-ETH

ETH

HOTEL

UCY

ZARA01

ZARA02AVG

LSTM

0.57 / 1.20

0.71 / 1.36

0.21 / 0.38

0.63 / 1.37

0.59 / 1.26

0.42 / 0.84

0.52 / 1.08

RED

0.56 / 1.24

0.67 / 1.36

0.21 / 0.40

0.61 / 1.34

0.52 / 1.19

0.42 / 0.89

0.50 / 1.07

Social LSTM

0.93 / 1.62

1.19 / 2.27

0.49 / 0.97

0.98 / 1.94

1.02 / 1.82

0.71 / 1.38

0.89 / 1.67

Social GAN

0.62 / 1.35

0.73 / 1.59

0.48 / 1.07

0.78 / 1.62

0.62 / 1.36

0.50 / 1.10

0.62 / 1.35

STGAT

0.60 / 1.29

0.61 / 1.24

0.23 / 0.45

0.65 / 1.40

0.52 / 1.11

0.42 / 0.90

0.51 / 1.07

Trajectron

0.58 / 1.27

0.79 / 1.80

0.25 / 0.46

0.58 / 1.28

0.40 / 0.89

0.38 / 0.76

0.50 / 1.08

Social GAN

0.49 / 1.05

0.53 / 1.03

0.35 / 0.77

0.79 / 1.63

0.47 / 1.01

0.44 / 0.94

0.51 / 1.07

STGAT

0.44 / 0.77

0.48 / 0.94

0.16 / 0.29

0.57 / 1.23

0.35 / 0.74

0.31 / 0.67

0.39 / 0.77

Trajectron

0.52 / 1.14

0.68 / 1.34

0.19 / 0.40

0.55 / 1.24

0.35 / 0.82

0.27 / 0.65

0.43 / 0.77

ETH/UCY における精度比較

ETH/UCY における予測誤差を表 5.4 に示す．表 5.4 の Single Model は Displacement Error，20
Outputs は Minimum Displacement Error の結果を示す．また，各シーンのスラッシュの左を ADE，右を FDE による評価結果を示す．表 5.4 より，ETH/UCY において Single Model では，各シーンを平均した ADE で RED と Trajectron，FDE で RED と STGAT が最も予測誤差を低減していることがわ
かる．HOTEL シーンは，歩行者の密度が低く線形的な動きになりやすいため，インタラクションを考慮しない LSTM や RED だけで十分な予測精度を得ることができる．一方で，UCY などの歩行者密度が高いとインタラクションを考慮した Trajectron が最も予測誤差を低減していることから，インタラクションを考慮した経路予測は歩行者密度が高いシーンで有効であると言える．また，Social85

表 5.5: ETH/UCY における動的物体との衝突率．単位は [%]．

20 Outputs

Single Model

Scene
Method

C-ETH

ETH

HOTEL

UCY

ZARA01

ZARA02

AVG

LSTM

0.81

0.81

0.44

0.25

0.24

0.28

0.47

RED

0.81

2.41

0.75

0.21

0.15

0.29

0.77

Social LSTM

1.61

4.03

1.34

0.38

0.76

0.69

1.47

Social GAN

0.81

0.81

0.22

0.38

0.34

0.44

0.50

STGAT

0.0

0.81

0.44

0.20

0.19

0.26

0.32

Trajectron

0.81

0.81

0.60

0.20

0.24

0.20

0.48

Social GAN

1.61

0.0

0.60

0.23

0.17

0.26

0.48

STGAT

0.0

0.81

0.44

0.25

0.27

0.24

0.34

Trajectron

1.61

0.0

0.60

0.18

0.15

0.26

0.47

LSTM の予測誤差が大きいのは，[3][9] でも述べられているように [127] の負の対数尤度関数を最小化するように学習すると，サンプリングプロセスが微分不可能になるため誤差逆伝播が困難になり，より良いパラメータを学習できなかったためだと考えられる．20 Outputs では，各シーンを平均したADE で STGAT，FDE で STGAT と Trajectron が最も予測誤差を低減していることがわかる．Social
GAN の予測精度が低い要因は，Pooling Module が過去最終時刻におけるインタラクションのみを考慮しており，他対象が 近づく あるいは 遠ざかる などの時間的ダイナミクスを考慮できていな
いためと考えられる．一方で，STGAT や Trajectron は過去時刻全てのインタラクションを時間方向にも捉えるため，精度が向上したと考えられる．
次に，動的物体との衝突率を表 5.5，静的物体との衝突率を表 5.6 に示す．表 5.5 及び表 5.6 より，どちらの衝突率もほとんどのモデルが約 2%を下回る結果となっていることがわかる．動的物体との衝突率の結果より，STGAT が最も衝突率が低いことがわかる．表 5.4 では RED が最良ではあったが，表 5.5 では STGAT が最良なことから，STGAT は歩行者間の複雑なインタラクションを捉える
あまり予測誤差が大きくなったと考えられる．また静的物体との衝突率では，ほとんどのモデルが衝突しないことがわかる．これは ETH/UCY が複雑な地形をしておらず，障害物が歩行者の前方に存在する状況がないため，衝突率が全体的に減少したと考えられる．
最後に，予測結果例を図 5.2 に示す．図 5.2 の緑色の実線を過去経路，緑色の波線を真値，赤色の実線を予測経路として表す．複数経路を予測する手法は，表 5.4 の Single Model の予測結果であることに注意されたい．図 5.2(a) は，群衆のシーン例である．図 5.2(a) より，Social GAN や STGAT な
どインタラクションを考慮する予測手法は真値と似た経路を予測する．特に，中央の並列する歩行者は RED だと衝突の可能性がある経路を予測するが，Social GAN などはインタラクションが考慮されているため真値と似た経路を予測している．図 5.2(b) は，2 人の歩行者が並行して動くシーン例
である．図 5.2(b) より，ほとんどの予測手法が真値と似た経路を辿っている．ETH Dataset には，このような線形に動く歩行者のデータが多く含まれるため表 5.4 の LSTM や RED の予測誤差が低下し86

表 5.6: ETH/UCY における静的物体との衝突率．単位は%．

20 Outputs

Single Model

Scene
Method

C-ETH

ETH

HOTEL

UCY

ZARA01

ZARA02

AVG

LSTM

1.02

1.97

3.71

3.95

2.88

0.57

2.35

RED

0.17

2.99

2.88

0.46

1.22

0.26

1.33

Social LSTM

1.26

1.63

2.88

2.60

3.19

2.53

2.34

Social GAN

2.04

0.92

0.19

0.32

0.11

0.61

0.70

STGAT

0.46

0.46

0.05

0.13

0.03

0.10

0.21

Trajectron

1.14

2.99

0.11

0.11

0.17

0.46

0.83

Social GAN

1.26

0.92

0.38

0.82

0.30

0.52

0.61

STGAT

0.46

0.92

0.05

0.11

0.03

0.10

0.28

Trajectron

1.14

2.68

0.19

0.11

0.17

0.32

0.77

LSTM

RED

真値

Social LSTM

過去経路

Social GAN

予測経路

STGAT

Trajectron

(a)

(b)

(c)

図 5.2: ETH/UCY における各予測モデルの予測結果例．
たと考えられる．図 5.2(c) は，対向者との衝突回避のシーン例である．図 5.2(c) より，インタラク
ションを考慮しない予測手法は線形的に予測していることがわかる．STGAT や Trajectron などは対向者との衝突を避けるような経路を予測していることがわかる．特に，STGAT は対向者との衝突を避けるために真値と異なる経路を予測してしまっている．この結果と表 5.4 及び，表 5.5 より，イン
タラクションを考慮した予測手法は歩行者同士が互いとの衝突を回避するために，真値に沿わない経路を予測し予測精度が落ちる一方，動的物体との衝突率を減少できることがわかる．

87

5.5

SDD における精度比較

SDD における予測誤差を表 5.7 に示す．表 5.7 より，Single Model では各シーンを平均した ADE
で RED，FDE で RED と STGAT の予測誤差が低いことがわかる．また，20 Outputs では STGAT の予測誤差が最も低いことがわかる．SDD で RED の予測誤差が低くなった要因はドローンで撮影した
位置に関係があると考えられる．SDD は ETH/UCY に比べ，高所で撮影されている．そのため，歩行者の動きが直線的になり過去の動きからインタラクションを考慮せず，線形的に予測する RED の予測誤差を低減したと考えられる．
次に，動的物体との衝突率を表 5.8，静的物体との衝突率を表 5.9 に示す．動的物体との衝突率の結果より，STGAT が Single model と 20 Outputs の両方で衝突率が最も低いことがわかる．ETH/UCYと同様に，STGAT は歩行者間の複雑なインタラクションを捉えていると言える．静的物体との衝突率の結果より，Single Model で Env LSTM，20 Outputs で STGAT が衝突率が最も低いことがわかる．

Env LSTM の衝突率が低いことから，環境情報を導入することで周囲の障害物との衝突を避ける経路の予測に成功していると言える．
最後に，予測結果例を図 5.3 に示す．複数経路を予測する手法は，表 5.7 の Single Model の予測結果であることに注意されたい．図 5.3(a) は，線形の経路を辿る歩行者のシーン例である．図 5.3(a) より，ほとんどの予測手法は真値に似た経路を予測していることがわかる．特に，STGAT は歩行者同士が互いとの衝突を回避した経路を予測している．図 5.3(b) は，前方に街灯がある場合のシーン例を示す．図 5.3(b) より，環境情報を考慮した Env LSTM は前方の街灯との衝突を避ける経路を予測していることがわかる．図 5.3(c) は，混雑した十字路のシーン例である．図 5.3(c) より，ほとんどの予測手法が真値と似た経路を予測している一方，Social LSTM は真値と離れている経路を予測している．Social LSTM は図 5.3 の全シーンで真値と離れた経路を予測している．これは ETH/UCY の結表 5.7: SDD における予測誤差．単位は [pixel]．

20 Outputs

Single Model

Scene
Methodbookstore

coupa

deathCircle

gates

hyang

little

nexus

quad

AVG

LSTM

9.64 / 20.9

10.4 / 22.3

9.24 / 19.6

7.80 / 16.7

10.3 / 21.8

12.3 / 25.8

8.97 / 19.2

8.52 / 18.7

9.65 / 20.6

RED

6.66 / 13.5

7.96 / 16.2

7.42 / 14.8

5.80 / 11.7

9.13 / 17.4

10.9 / 22.9

7.65 / 14.9

5.57 / 9.74

7.64 / 15.1

Social LSTM

22.8 / 47.2

24.1 / 49.3

29.5 / 61.6

24.5 / 49.3

35.4 / 75.9

24.3 / 50.5

22.9 / 45.7

24.1 / 46.6

26.0 / 53.3

Env LSTM

14.3 / 31.5

20.6 / 43.5

16.7 / 34.4

16.2 / 34.4

12.6 / 27.3

12.7 / 26.6

10.9 / 23.8

9.36 / 21.2

14.2 / 30.3

Social GAN

18.4 / 37.2

19.1 / 38.4

18.1 / 36.5

18.1 / 36.5

19.4 / 39.1

20.8 / 42.5

18.6 / 37.4

21.1 / 41.4

19.2 / 38.6

STGAT

7.58 / 14.6

9.00 / 17.4

7.57 / 14.4

6.33 / 11.7

9.17 / 17.9

10.9 / 22.8

7.37 / 14.0

4.83 / 7.95

7.84 / 15.1

Trajectron

8.79 / 19.2

7.24 / 15.5

14.3 / 33.0

6.29 / 13.0

9.55 / 21.6

12.4 / 29.0

6.02 / 12.8

6.80 / 15.1

8.92 / 19.9

Social GAN

5.03 / 8.96

5.39 / 9.57

5.20 / 9.13

4.66 / 8.25

5.74 / 10.2

6.51 / 11.9

5.23 / 9.11

4.08 / 7.15

5.23 / 9.28

STGAT

4.09 / 7.57

4.83 / 9.05

4.59 / 8.43

2.86 / 4.69

5.37 / 10.2

6.25 / 12.1

4.20 / 7.58

2.34 / 3.62

4.32 / 7.91

Trajectron

4.51 / 7.99

5.69 / 9.72

5.12 / 8.87

4.43 / 8.06

5.72 / 10.3

6.38 / 10.8

5.55 / 9.43

2.26 / 4.61

4.96 / 8.72

88

表 5.8: SDD における動的物体との衝突率．単位は [%]．

20 Outputs

Single Model

Scene
Methodbookstore

coupa

deathCircle

gates

hyang

little

nexus

quad

AVG

LSTM

3.62

5.95

39.76

4.48

10.28

3.48

23.21

0.0

11.35

RED

3.62

6.90

41.02

3.96

10.35

2.43

23.96

0.0

11.53

Social LSTM

9.57

14.67

50.75

6.00

16.06

7.20

28.26

0.0

16.56

Env LSTM

4.22

5.69

44.22

5.04

10.82

3.76

25.10

0.0

12.36

Social GAN

3.86

6.12

40.50

4.09

10.96

4.11

24.09

0.0

11.72

STGAT

3.62

5.22

39.76

3.66

10.28

3.66

20.09

0.0

10.79

Trajectron

4.85

9.65

48.87

4.70

12.06

3.32

26.38

0.0

13.73

Social GAN

3.62

5.66

38.26

3.96

10.88

3.96

22.98

0.0

11.17

STGAT

2.85

4.98

36.77

4.57

9.28

3.32

20.09

0.0

10.23

Trajectron

3.62

7.32

44.22

4.70

10.01

3.32

22.98

0.0

12.02

果で議論したように，負の対数尤度関数を最小化するように学習すると，サンプリングプロセスが微分不可能になるため誤差逆伝播が困難になり，良いパラメータを学習できなかったため予測に失敗したと考えられる．

5.6

各モデルの計算時間とパラメータの比較

最後に，モデルの計算時間とパラメータ数の比較を表 5.10 に示す．表 5.10 のパラメータ数より，
動的物体との衝突回避に関するインタラクションを考慮するモデル及び静的環境特徴を抽出する Env

LSTM のパラメータ数が各インタラクションを考慮しない LSTM，RED と比べ必然的に多くなっている．動的物体との衝突回避に関するインタラクションを考慮するモデルでは，Social LSTM が最もパラメータ数が多いことがわかる．これは，LSTM 及び出力の次元数が他の手法と比べて多いのが原因と考えられる．LSTM の次元数が 128 と多い，Env LSTM，Social LSTM，Trajectron のパラメータ数が多いこともわかる．これは，2.1.2 節で述べた LSTM の内部には重みパラメータが複数あり，これが原因で各モデルのパラメータが多くなっていると考えられる．そのため，経路予測のパラメータ数は LSTM の次元数に大きく依存すると考えられる．プーリングモデルの Social GAN とアテンションモデルの STGAT では，Social GAN の方がパラメータ数が多い．これは，Social GAN のプーリング処理の全結合層の次元数が多いためと考えられる．
次に計算時間では，インタラクションを考慮するモデルは人数が増加する毎に計算時間が増加している．Social LSTM 及び，Env LSTM の時間が他と比べて多いのは，過去と未来の両時刻で予測対89

表 5.9: SDD における静的物体との衝突率．単位は [%]．

20 Outputs

Single Model

Scene
Methodbookstore

coupa

deathCircle

gates

hyang

little

nexus

quad

AVG

LSTM

1.90

2.12

5.19

1.83

4.12

3.58

6.78

0.0

3.19

RED

2.44

1.30

5.29

2.27

6.43

2.56

5.67

5.88

3.96

Social LSTM

6.44

5.22

6.70

6.70

4.66

5.06

3.23

2.94

5.12

Env LSTM

2.19

1.79

4.27

1.73

0.90

3.13

1.17

0.0

1.90

Social GAN

3.74

9.44

6.70

8.17

2.06

3.94

3.94

8.59

5.82

STGAT

2.36

1.22

5.30

2.21

7.49

4.58

7.46

0.0

3.83

Trajectron

1.93

2.77

4.63

2.21

5.57

3.35

5.87

2.94

3.66

Social GAN

3.74

6.55

5.30

7.66

2.06

3.94

3.13

2.94

4.42

STGAT

2.36

1.22

4.63

1.98

6.43

3.94

6.78

0.0

3.42

Trajectron

1.93

2.12

4.63

4.28

5.57

3.13

5.87

2.94

3.81

真値
LSTM

RED

Social LSTM

過去経路
Env LSTM

予測経路
Social GAN

STGAT

Trajectron

(a)

(b)

(c)

図 5.3: SDD における各予測モデルの予測結果例．
象を中心としてグリッドの作成や，セマンティックラベルを逐次読み込む必要があるためだと考えられる．また，未来時刻に予測対象周囲を見ていない Social GAN，STGAT，Trajectron は人数が増加
しても計算時間に僅かな差しかないことがわかる．この理由は，過去時刻でそれぞれのインタラク
ションを表現しており，Social LSTM のように未来時刻でインタラクションを逐次表現していないためと考えられる．

90

表 5.10: 各モデルの計算時間及びパラメータ比較．計算時間はシーンに歩行者が 10 人・50 人・100
人・1,000 人いた場合の結果である．実験環境は GPU が Quadro RTX 8000，CPU が Intel Xeon Gold

6226，動作クロック 2.7GHz，コア数 12，スレッド数 24，RAM メモリ 196GB である．
モデル名

5.7

計算時間 [sec.]

パラメータ数

10 人

50 人

100 人

1,000 人

LSTM

0.067

0.071

0.072

0.076

8,610

RED

0.079

0.081

0.085

0.087

17,154

Env LSTM

0.250

1.737

2.486

6.864

456,930

Social LSTM

0.641

4.308

6.701

24.688264,069

Social GAN

0.232

0.479

0.505

0.876

60,234

STGAT

0.179

0.239

0.556

0.987

44,630Trajectron

0.115

0.282

0.458

0.897

138,164

プーリングモデルとアテンションモデルの違いに対する考察

動的物体及び静的物体それぞれとのインタラクションを表現したモデル化をすることで，予測精度の向上やそれぞれの物体との衝突率を減少できることが実験より示された．特に，動的物体とのインタラクションを表現した予測モデルでは，アテンションモデルの方がプーリングモデルより精度が高い．また，アテンションモデル同士では STGAT の方が Trajectron より予測誤差の低減及び動的物体との衝突率が低い．これらは以下の理由だと考えられる．

• プーリングモデル：Social LSTM は予測対象を中心に，予め定めたグリッドサイズに従いグリッ
ド内の他対象に関する特徴を埋め込むことでインタラクションを表現している．一方で，範囲外の他対象の特徴は埋め込まれないため，インタラクションを十分に表現できず予測精度が低下したと考えられる．Social GAN はグリッドサイズの制限がないため，シーン内の全他対象とのインタラクションを式 (2.12) で表現している．一方で，他対象の特徴から maxpool. で最大の特徴のみを選択するため，衝突回避に重要な他対象の情報が欠落する．結果，動的物体との衝突率が高くなり，予測精度も低下したと考えられる．

• アテンションモデル：アテンションモデルは，重みの大小で予測対象と他対象間の関係を表現
し，この重みをそれぞれの対象の特徴量と乗算を行うことで，全ての対象とのインタラクショ
ンを表現している．そのため，プーリングモデルより精度が高くなったと考えられる．また，アテンションモデル同士で比較すると，Trajectron が STGAT と比較して僅かに精度が低いことがわかる．これは，Trajectron が過去時刻に予測対象を中心とした周囲 1.5[m] または 40[pixel]
以内の他対象とのグラフを構築するため，STGAT と比べ予測精度の低下と動的物体との衝突率が高くなったと考えられる．

91

5.8

まとめ

本章では，インタラクションを考慮した代表的な予測モデルの精度の検証を行った．歩行者間のインタラクションを考慮した手法は歩行者密度が高いシーンで予測誤差が低くなることがわかった．
また，インタラクションを考慮することで，動的物体との衝突率が低くなることがわかった．プー
リングモデルと比べアテンションモデルによるインタラクション表現が予測精度を向上しつつ衝突率を減少させることがわかった．一方で，歩行者密度が低いシーンでは，インタラクションを考慮
しない予測手法で十分な予測精度を獲得できることがわかった．予測結果より，インタラクションを考慮した手法は移動対象同士が互いとの衝突を回避するために，真値に沿わない経路を予測し予測精度が落ちる一方，他対象との衝突回避する経路を予測した．また，環境情報を考慮することで，静的物体との衝突率を減少させ，障害物との衝突を避ける経路を予測することを確認した．さらに，
動的物体及び静的物体のそれぞれの衝突回避に関するインタラクションを考慮する予測手法はパラメータ数や計算時間が増加することを確認した．

92

第6章

グループレベルのインタラクションによる経路予測本章では，混雑シーンにおける人間の社会的インタラクションを捉えるために，4 章で得た知見を活かしてグループレベルのインタラクションによる経路予測手法を提案する．1 章で述べたように，
経路予測は歩行者や自動車等の対象物間の社会的インタラクションを考慮することで，衝突を回避した経路を予測できる．経路予測や社会的インタラクションのモデル化は，自動運転や自律ロボッ
トなどのアプリケーションの基盤技術として活発に研究されている [33, 34, 31, 32, 35]．特に，人間の将来の行動をモデル化することは，人間社会を支える安全な自律システムの開発にとって重要なステップである．しかし，人間と人間の社会的インタラクションは複雑であり，捉えることが困難な場合が多い．特に，混雑シーンにおける人の行動は多様な行動パターンの変化が起こるため，より困難となる．
一般的に混雑シーンの歩行者は，衝突を避けたり周囲の集団の動きに合わせるなどの暗黙の社会的ルールに従う傾向がある．多くの場面で歩行者の大半はグループで歩いている [128] こと，歩行者の 7 割は家族や友人などのグループで歩いており [38]，同じ方向に歩いている人と自発的にグループを形成しているという研究結果がある．このような社会的インタラクションをモデル化することは，正確な経路予測を行う上で非常に重要になる．図 6.1 に示す歩行者グループの簡単な例を示す．黒色の歩行者が予測対象とする．この歩行者の将来の経路は，自分が属するグループと同じ方向に進み，他のグループとの衝突を避けるといったグループ間及び，グループ内のインタラクションの影響を強く受ける．しかし，古典的なアプローチ [39, 32, 30, 129, 40] はこのような社会的なインタラクションを無視して経路予測を行う．個人レベルのインタラクションを捉える予測手法 [1, 20, 3, 9, 8, 60, 11]もあるが，歩行者の複雑なグループレベルの関係を捉えることができない．
混雑シーンにおけるグループベースの社会的インタラクションをモデル化した経路予測手法はいくつか提案されている [56, 17]．しかし，これらの方法は社会的インタラクションの限られた側面しか考慮しておらず，現実的な経路予測が困難である．図 6.2(b) にグループベースの予測手法 [56] の予測結果例を示す．右側のグループの青色の対象はグループ間のインタラクションしか考慮していないため，左側のグループとの衝突を避け真値 (図 6.2(a)) と異なる経路を予測する．そして，インタ
ラクション対象ではない緑色の対象と衝突するような経路の予測，右側のグループの赤色の対象と黄色の対象もそれぞれがインタラクション対象とされないため，将来で衝突するような経路を予測する．また，歩行者は反対方向から来た人の将来の位置を予想することで衝突を回避するが，従来手法では過去の経路のみを利用しているため，将来の他者の位置に基づく社会的インタラクション

93Inter-Group
Intra-Group

図 6.1: 歩行者間の社会的インタラクションの例．グループ内のインタラクションは星マークのように同じ目的地に向かう歩行者グループ，グループ間のインタラクションは他のグループとの衝突を避ける経路を辿る．

(a) Ground Truth(b) Prior workʻs result(c) Ours result

図 6.2: 先行研究及び，提案手法の予測結果例．破線は過去の経路，実線は未来の経路を表す．

をモデル化していない．直感的には，歩行者は数秒先に移動しそうな他対象の位置を予想すること
で，衝突を回避できる．5 章で述べたように，従来の個人レベル及びグループレベルの予測手法では過去時刻で社会的インタラクションをモデル化するため，シーンによってはインタラクションをモ
デル化しないシンプルな予測モデルの方が予測誤差や衝突率が低減する．
本研究の目的は，混雑シーンにおける経路予測のために人間の社会的インタラクションを捉えることである．この目的のために，歩行者間の複雑なグループ間とグループ内の社会的インタラクションをモデル化する Group-based Forecasting Module を提案する．Group-based Forecasting Module では，
社会的インタラクションに関連する重要な対象に着目させるために，Attention 機構 [52] を用いる．
また，人間は反対方向から来る人の速度や位置などから数秒先に移動しそうな位置を事前に予想す94ることで，衝突を回避できる．そこで，将来の他者の位置を事前に予測し，未来の位置に基づく社
会的インタラクションを捉えるために，Prospection Module を導入する．さらに，グループ情報の動的な変化を反映するために，Group-based Forecasting Module の予測経路から Clustering Module でグ
ループラベルを逐次更新する．従来の予測手法のほとんどが，真値と予測値間の L2 距離の loss を最小化するため，未来の経路を平均的に予測する．そのため，L2 loss では歩行者の将来の複数の経路を予測する際，1 つの予測経路として制限される可能性がある．そのため，提案手法では L2 lossに加え，Generative Adversarial Network (GAN) [85] のような構造で現実的な経路を予測する．各対象に対して，Group-based Forecasting Module はノイズベクトルの追加により複数の経路を予測する．
この予測経路と真値を Discriminator で敵対的に学習させる．これにより図 6.2(c) に示すように，先行研究と比べて正確な経路を予測できる．
評価実験において，Group-based Forecasting Module を導入することによる精度の変化を検証する．
具体的には，3 つの公開されているデータセットを用いて提案手法と従来手法で比較実験を行った．
実験結果より，提案手法は全ての予測手法より正確に経路を予測できることを示す．
本章の構成は以下の通りである．まず，6.1 節では問題設定と提案手法の肝となる Group-based

Forecasting Module について述べる．6.2 節では提案手法の有効性を確認するための評価実験について述べる．最後に 6.3 節で本章をまとめる．

95

Group-based Forecasting Module による経路予測

6.1

本節では，Group-based Forecasting Module で歩行者間の社会的インタラクションを考慮した経路予測を実現する．初めに提案手法の大まかな概要及び問題設定を述べ，その後 Group-based Forecasting

Module の詳細を述べる．

6.1.1

Overview

提案手法のネットワーク構造を図 6.3，本章で用いる数式記号を表 6.1 に示す．先行研究 [3, 8] に従い，シーン内に歩行者が N 人いると仮定する．本研究は観測時刻期間 Tobs = {1, . . . , tobs } の経路を入力し，予測時刻期間 Tpred = {tobs + 1, . . . , tpred } の経路を予測する．ここで，tobs と tpred はそれぞれ最終観測時刻と予測最終時刻を表す．
まず，Trajectory Encoder は i 番目の予測対象の観測経路 XiTobs = {xti = (xti , yit )}, ∀t ∈ Tobs から，各対象の hidden state hencを求める．複数の経路を予測するために hencは多変量正規分布からのノii
イズベクトル z と結合し，1 層の全結合 ϕ(·) を介して Internal State hi を求める．この Internal State

ネットワークの全体構成 - Encoder を次の Decoder Module の入力として利用する．

デコーダは，Prospection Module，Group-based Forecasting Module 及び Clustering Module の 3 つ
Trajectory Encoderで構成される．Prospection Module は，他対象との将来のインタラクションを捉えるのが 1 つの予測
過去の軌跡情報に関するhidden stateを抽出モデルではモデル化できないため導入される．Prospection Module は，予想時刻期間 Tpros = {tobs +●TInternal State
1 + λ, . . . , tpred + λ} における予想経路 Ȳi pros = {ȳit = (x̄ti , ȳit )}, ∀t ∈ Tpros を出力する．Prospection

マルチモーダルな軌跡を予測するために，得たhidden stateとノイズベクトルを連結
Moduleの他グループに対する予想経路を Group-based Forecasting Module に伝播することで，未来●の位置に基づく社会的インタラクションを捉える経路を予測できる．λ は Prospection Module がどの
T

X1Tobsz
XiTobsInternal Stateϕ([henci ⊕ z])

xtiobsϕ FC⊕ ConcatFirst time only

Decoder

T

h̄t+λ
i

hi
Clustering
ModuleȲi prosȳt+λiGroup-based

Forecasting Module

T

Y1̂ pred

ŷt+1
i
T

Yî predT

Yi predT

Yî pred

Discriminator(FC+LSTM)

Real / Fake

XiTobs

Trajectory
Encoder (FC+LSTM)

henciȲ1pros

Prospection
Module (FC+LSTM)

図 6.3: 提案手法のモデル構造．提案手法は Trajectory Encoder，Internal State，Prospection Module，Clustering Module，Group-based Forecasting Module 及び，Discriminator の 6 つのモジュールで構成される．Group-based Forecasting Module は，Internal State と Prospection Module から出力される経路情報及び，Clustering Module で対象毎にグループとしてクラスタリングされた結果を用いて，次時刻の経路を予測する．グループは時間と共に常に変化しているため，Group-based Forecasting Moduleの予測経路は Clustering Module に逐次入力される．Discriminator は実際の経路と予測された経路を判別するように敵対的に学習される．

96

26

表 6.1: 本章で用いる数式記号．

SymbolDescription

tobs

end of the observation time step

tpred

end of the prediction time stepλcontrol parameter of future prospectionitarget pedestrianjother pedestrians

kgroup IDG

set of target indices whose group labelTtranspose⊕concatenation operation(x, y)

past and future ground-truth trajectory(x̄, ȳ)prospective trajectory of prospection module(x̂, ŷ)predicted trajectory of group-based forecasting modulehhidden stateznoise vectorr, ospatial feature vector between targets

q, pquery vectork, skey vectorv, uvalue vectordnumber of query’s dimension

α, β, γattention weightb, w, laggregated valuesϕ·

FC layer

程度先を予想するかを制御するパラメータである．すなわち，t + λ は数秒先の時刻を表し，Tpros
は予測時刻期間 Tpred から未来に λ フレーム分シフトされた時刻である．Clustering Module は，最初に最終観測時刻の座標 xtiobs から初期グループラベルを取得する．次に，Group-based ForecastingT

Module では複数の経路 Ŷi pred = {ŷit = (x̂ti , ŷit )}, ∀t ∈ Tpred を予測する．予測対象に対応する hidden
state hi と共に，Clustering Module でクラスタリングされたグループラベルと他の歩行者の予想経T

路 Ȳj pros , ∀j ̸= i とその hidden state {h̄tj }, ∀t ∈ Tpros が Group-based Forecasting Module へ入力される．Group-based Forecasting Module で求めた予測座標 ŷit が Clustering Module に逐次入力する．これは，グループが集結，解散により時間と共に変化しグループ情報を動的に変更されるためである．
T

T

Discriminator では，予測経路 Ŷi pred と真値 Yi pred = {(xti , yit )} から，全結合層と LSTM で実際の経路か予測経路かを分類する．

97

6.1.2 Group-based Forecasting Module
本節では，Group-based Forecasting Module の詳細について述べる．Group-based Forecasting Moduleは図 6.4 のように，全結合層，LSTM，グループ間及びグループ内の Attention 機構で構成されている．

Group-based Forecasting Module は現時刻の座標 ŷit を全結合層に埋め込み，LSTM で hidden state ĥtiを求める．グループ間の Attention 機構への入力は，λ 分フレームシフトされた Prospection Moduleの予想経路 ȳjt+λ と hidden state h̄jt+λ ，予測対象の現時刻の経路 ŷit と hidden state ĥti である．グルー
プ間の Attention 機構は，Source-Target Attention [52] で他グループに対応する hidden state に注意重みを割り当てる．同様に，グループ内の Attention 機構は同じグループに属する他の歩行者を対象とし，これら個人の hidden state に注意重みを割り当てる．Group-based Forecasting Module は，LSTMの hidden state ĥti と各 Attention 機構の出力 bti と wit を連結し，2 つの全結合層を介して未来の hidden

state ĥt+1と座標 ŷit+1 を出力する．hidden state ĥt+1
は Group-based Forecasting Module の LSTM にii
再帰的に入力される．このように，グループ間及びグループ内の Attention 機構を動的に割り当てる
ことで，予測時刻毎にインタラクション情報を逐次更新し，将来の経路を予測する．同様に，予測座標 ŷit+1 を Clustering Module に逐次入力することで，グループ情報を動的に変化させる．Group-based

based Forecasting Module
Forecasting Module のアルゴリズムを Algorithm 1 に示す．

■ グループ間の Attention 機構

ュールから伝播された情報から各グループに関する相互作用をAttention機に対応する注意重みを抽出する．グループ間の Attention 機構では，初めに全結合層 ϕ (·) を介して
Br

Prospection
Module output
Internal
State

LSTM

ĥ ti

bti

T

⊕
Intra-Group
Attention

Y1̂ predFC

Clustering
ModuleInter-Group
AttentionFC

xtiobshi

Group-based Forecasting Module

h̄t+λ
ȳt+λ
j
j

FC

C

i 番目の予測対象に対し，グループ間の Attention 機構では予想された経路情報を用いて他グループ

ŷt+1
ĥ t+1ii

wti

TYî predT1

図 6.4: Group-based Forecasting Module の内部構成．Group-based Forecasting ModuleȲ pros は，デコーダのProspection
LSTM とグループ間及び，グループ内の Attention
機構により社会的なインタラクションを考慮した経路を予測する．
Trajectory
Encoder (FC+LSTM)

henci

Module (FC+LSTM)z

Internal Stateϕ([henci ⊕ z])

xtiobs⊕ ConcatFirst time only

h̄t+λ
i

hi
Group

DecoderT

Clustering

98Ȳi prosȳt+λiGroup-based

Forecasting Module

T

Y1̂ predŷt+1
iTYî predT

Yi predT

Yî predAlgorithm 1 Group-based Forecasting Module のアルゴリズム．
Function Inter-Group(x̂ti , ŷit , x̄t+λ , ȳ t+λ , ĥti , h̄t+λ , Gt )if Group ID k to which the prediction target i does not belong thentri,k, ȳjt+λ )← ϕBr (x̂ti , ŷit , x̄t+λ# j ∈ Gtkjqit ← ϕBq (ĥti )ttki,k← ϕBk (ri,k, h̄t+λ)jt+λtt
vi,k ← ϕBv (ri,k , h̄j )ttαi,k← attn(qit , ki,k)tttbi ← weighted average(αi,k, vi,k)t
return bi
end ifFunction Intra-Group(x̂t , ŷ t , ĥt , Gt )if Group ID k to which the prediction target i does belong thenoti,j ← ϕW r (x̂ti , ŷit , x̂tj , ŷjt )# j ∈ Gtk
pti ← ϕW q (ĥti )tsti,k ← ϕW k (ri,j, ĥtj )tuti,j ← ϕW v (ri,j, ĥtj )tt tβi,j ← attn(pi , si,j )twit ← weighted average(βi,j, uti,j )treturn wi
end iffor t ∈ Tpred do
Gt ← ∅
if t = start prediction time thenGt ← Clustering Module(xtobs )else
Gt ← Clustering Module(ŷ t )end iffor i ∈ N do
if t = start prediction time thenbti ← Inter-Group(xtiobs , yitobs , x̄t+λ , ȳ t+λ , ĥti ,h̄t+λ , Gt )twi ← Intra-Group(xtobs , y tobs , ĥt , Gt )else
bti ← Inter-Group(x̂ti , ŷit , x̄t+λ , ȳ t+λ , ĥti , h̄t+λ ,Gt )twi ← Intra-Group(x̂t , ŷ t , ĥt , Gt )end ifcat ← [ĥti ⊕ bti ⊕ wit ]ĥt+1← ϕh (cat)iŷit+1 ← ϕy (ĥt+1)
i
end forend for

予測対象の位置と他グループの平均位置との空間的な相対距離から特徴ベクトルを下式で計算する．
tri,k= ϕBr (

1 ∑ t+λ1 ∑ t+λx̄j − x̂ti , tȳj − ŷit ).
t
|Gk |
|G
|
k
t
t
j∈Gk

j∈Gk

99

(6.1)

ここで，k はグループ ID，Gtk は時刻 t におけるグループラベルが k である対象のインデックスの集合を表す．なお，ここでは予測対象 i のグループは考慮しないため，i 番目の対象はいずれのグルー
プ k にも属されない．(x̂ti , ŷit ) 及び (x̄jt+λ , ȳjt+λ ) はそれぞれ予測対象の現在位置，他グループの対象の予想座標である．
次に各全結合層を介して，Source-Target Attention の特徴ベクトルを計算する．Target は予測対象に対応し，Query は d 次元のベクトル qit = ϕBq (ĥti ) として定義される．Source は他グループに対応
ttt
し，Key ki,kと Value vi,kは Prospection Module からの hidden state の合計と特徴ベクトル ri,kを連結して次のように計算される．
t= ϕBk ([ri,k
⊕

t
ki,k

∑

h̄t+λ
]),
j

(6.2)

h̄t+λ
]).
j

(6.3)

j∈Gtk
t
= ϕBv ([ri,k
⊕

t
vi,k

∑

j∈Gtk

ここで ⊕ は連結記号，h̄t+λは Prospection Module の hidden state を表す．グループ間の Attention 機
jtと最終出力 bti は，それぞれの特徴量を用いて次のように計算される．
構の注意重み αi,k

t
αi,k

=

bti

=

tT
exp(qit ki,k
)
√ ∑
,
t
tT )
d k exp(qi ki,k
∑
t
t
αi,k
vi,k
.

(6.4)
(6.5)

k
t
は時刻 t における他のグループラベル k から i 番目の予測対象に対する注目重みである．
ここで，αi,kt
Query と Key の内積から，予測対象と他グループ間の関連性 αi,kを Softmax 関数で計算する．算出

した関連性に Value を乗算することで，予測対象と他グループとの空間的関係を考慮した出力 bti が得られる．

■ グループ内の Attention 機構
グループ間の Attention 機構と異なり，グループ内の Attention 機構では現時刻の経路情報を用いて予測対象と同じグループ内の他対象に対する注意重みを計算する．グループ内の Attention 機構は，初めに全結合層 ϕW r (·) を介して予測対象とグループ内の他対象の現在位置の空間的関係を次のように計算する．

oti,j = ϕW r (x̂tj − x̂ti , ŷjt − ŷit ).

(6.6)

ここで j は予測対象自身を含む同じグループ内の対象の ID である．

Target が予測対象に対応し，Query が LSTM の hidden state を用いてグループ間の Attention 機構と同様に pti = ϕW q (ĥti ) として計算される．Source はグループ内の他対象に対応し，Key sti,j と Value

100uti,j はそれぞれ次のように計算される．
sti,j

=

ϕW k ([oti,j ⊕ ĥtj ]),

(6.7)

uti,j

=

ϕW v ([oti,j ⊕ ĥtj ]).

(6.8)

t
グループ内の Attention 機構の注意重み βi,jと最終出力 bti は次のように計算される．

exp(pti stT
i,j )
√ ∑
,
d j exp(pti stT
i,j )
∑
t
=
βi,j
uti,j .

t
βi,j

=

wit

(6.9)
(6.10)jt
ここで，βi,j
は時刻 t におけるグループ内の他対象 j から予測対象 i への注意重みである．wit は予

測対象 i に対する集合値で同じグループ内の他対象からの空間的関係が含まれている．グループ内のAttention 機構により，同じグループ内の対象同士が相互に影響を与える経路予測に期待できる．

■ 学習方法と損失計算
提案手法は 2 段階アプローチで学習を行う．まず，Trajectory Encoder と Decoder の Prospection

Module を学習する．次に，学習済みの Trajectory Encoder の重みを固定し，Decoder の Group-based
Forecasting Module を学習する．
Prospection Module は真値と予想経路間の L2 loss Lp で学習する．

Lp =

N
∑
∑

||ȳit − yit ||2 .

(6.11)

i=1 t∈Tpros

Group-based Forecasting Module は，L2 loss と Adversarial loss で学習する．Discriminator D は，予測された経路を本物または偽物として分類し，Generator G が現実的な経路を予測できるように学習する．Adversarial loss LGAN と L2 loss は次のように計算される．

Lg =

N
∑

(LGAN +i=1∑||ŷit − yit ||2 ).

(6.12)t∈Tpred

ここで，Adversarial loss を次のように定義する．

LGAN = min max E Tpred
G+ EX Tobs ∼p
i

D

Yi

T

T

∼p(Yi pred ),z∼p(z)T(X obs )i[log D(Yi pred )][log(1 − D(G(XiTobs , z))].

101(6.13)

■ 個人レベルの Attention 機構
各グループの Attention 機構の有効性を調査するために，個人レベルの Attention 機構をモデル化す
る．図 6.5 に個人レベルの Attention 機構の内部構造を示す．Group-based Forecasting Module (図 6.4)と異なり，1 つの Attention 機構で構成される．
個人レベルの Attention 機構は，全結合層 ϕLr (·) を介して他対象の未来の予想位置と予測対象の現時刻の位置から空間的な関係を次のように計算する．
tri,j= ϕLr (x̄jt+λ − x̂ti , ȳjt+λ − ŷit ).

(6.14)

ここで，j はシーン内の他対象を表す．(x̄t+λ, ȳjt+λ ) と (x̂ti , ŷit ) は，それぞれ他対象の未来の予想位j
置と予測対象の現在の位置を表す．
個人レベルの Attention 機構においても Source-Target Attention を用いる．Target は予測対象に対応し，Query は全結合層を介して qit = ϕLq (ĥti ) として計算される．Source は他対象に対応し，Keyttki,jと Value vi,jはそれぞれ次のように計算される．

t
ki,j

=

t
ϕLk ([ri,j⊕ ĥt+λ]),j(6.15)

t
vi,j

=

t
ϕLv ([ri,j⊕ ĥt+λ]).
j(6.16)

t
個人レベルの Attention 機構の注意重み γi,jと最終出力 lit は次のように計算される．

based Forecasting ModuletT)
exp(qit ki,j
√ ∑
,
j tT
d j exp(qi ki,j )
∑
t
t
=
γi,j
vi,j
,

t
γi,j

=

lit

(6.17)(6.18)jュールから伝播された情報から各グループに関する相互作用をAttention機る集合値でシーン内の全他対象との空間的関係が含まれている．
t
ここで，γi,j
は時刻 t における他対象 j から予測対象 i への注意重みである．l̂it は予測対象 i に対す

Prospection
Module output
Internal
State

ĥ ti

lti

T

⊕

Y1̂ predFC

LSTM

Individual
AttentionFCFC

xtiobs

hi

h̄t+λ
ȳt+λ
j
j

ŷt+1
ĥ t+1ii

T

Yî pred

T

pros
Ȳ1．
図 6.5: 個人レベルの Attention 機構による Forecasting Module
Prospection
Module(FC+LSTM)z

T

Trajectory
Encoder (FC+LSTM)

hencixtiobsInternal Stateϕ([henci ⊕ z])

hi

102

Group
Clustering

h̄t+λ
i

Ȳi prosȳt+λiGroup-based
Forecasting Module

ŷt+1
i

T

Y1̂ predT

Yi predTY ̂ pred個人レベルの Attention 機構 (図 6.5) 及び Group-based Forecasting Module (図 6.4) の内部構成は大きな括りでは Attention 機構が 1 つまたは 2 つかの違いである．一般的なモデルとして考えると，後者の方が Attention 機構にかかる計算コストが大きいように思える．個人レベルの Attention 機構にかかる計算コストは式 (6.19) で計算される．

M SA = 3N C 2 + 2N 2 C.

(6.19)

ここで，N はシーン内の歩行者数，C は次元数を表す．右式の第 1 項は Query，Key 及び Value の全結合層にかかる計算コスト，第 2 項は Query と Key の内積にかかる計算コストを表す．ここでは全ての全結合層が 1 層の場合としている．例えば，N = 8, C = 32 とした場合，M SA にかかる計算コ
ストは式 (6.19) より，

M SA= 3 × 8 × 322 + 2 × 82 × 32,(6.20)= 24, 576 + 4, 096,
= 28, 672,となる．

Group-based Forecasting Module のグループ間の Attention 機構にかかる計算コストは式 (6.21) のよ
うに計算される．

M SA(BG) = 3BC 2 + 2B 2 C.

(6.21)

ここで，B = n(Gt ) は時刻 t におけるグループの数を示す．グループ内の Attention 機構にかかる計算コストは式 (6.22) のように計算される．

M SA(W G) = 3W C 2 + 2W 2 C.

(6.22)

ここで，W = n(J t ), J = {1, 2, . . . , j} は時刻 t における予測対象自身を含む同じグループ内の対象の数を示す．例えば，N = 8, C = 32 の条件下で形成されるグループの最大数はシーンの対象全てがグループとして形成されない場合に B = 8 となるが，グループ間の Attention 機構では予測対象
自身のグループは考慮しないため B = 7 となる．一方，最小数は対象全てがグループとして形成された場合に B = 1 となる．この B = 1 の条件下では W = 8 となり，個人レベルの Attention 機構の計算コスト (式 (6.20)) と変わらない．B ≥ 2 で最大の計算コストとなるのは B = 2, W = 7 及びB = 8, W = 1 の場合である．前者は 8 人いる中で 7 名と 1 名の合計 2 グループが形成され，後者は全員がグループとして形成されない場合である．前者では，7 名の中から任意の対象に対する計算コストが式 (6.21) と式 (6.22) より，

M SA(BG)=

3 × (2 − 1) × 322 + 2 × (2 − 1)2 × 32,=

3, 072 + 64,=

3, 136,103(6.23)

M SA(W G)= 3 × 7 × 322 + 2 × 72 × 32,=(6.24)

21, 504 + 3, 136,

= 24, 640,となる．式 (6.23) の (2 − 1) はグループ間の Attention 機構では予測対象自身のグループを考慮しないためグループ数から 1 を引く．これらを合計すると 27,776 となる．後者は式 (6.23) と式 (6.24) の(2 − 1) と 7 が (8 − 1) と 1 に変わるだけで，値は前者と変わらない．そのため，B ≥ 2 の条件ではGroup-based Forecasting Module は個人レベルの Attention 機構 (式 (6.20)) より計算効率が良い．

■ Clustering ModuleGroup-based Forecasting Module で予測した経路を Clustering Module へ逐次入力することで，グループ情報を動的に変化させグループラベルを更新する．ここでは，シーン内で運動傾向が類似している歩行者をグループと定義し，位置，方向及び速度の 3 種類の情報からグループをクラスタリ
ングする．まず，歩行者の位置をクラスタリングするために，DBSCAN アルゴリズム [89] を適用す
る．DBSCAN の入力として， [130] で定義された人間のインタラクションにおける対人距離に基づいて，ETH/UCY では 1.2 [m] 以下の歩行者のみをクラスタリングする．SDD では，20 [pixel] 以下の歩行者のみをクラスタリングする．しかし，位置情報のみを考慮した場合，シーンの動的特性を考慮できず，反対方向から来た人や異なる速度で歩く人を誤って同じグループとしてクラスタリン
グする可能性がある．そこで，位置ベースのクラスタリング結果から，歩行者の方向と速度に基づくフィルタリングを行う．具体的には以下の条件でフィルタリングを行う．i ) 移動方向のコサイン類似度が 0.8 以上，ii ) 歩行速度の差が 0.2 [m/s] 未満．上記の条件を満たさない歩行者はクラスタから除外する．ただし，歩行者はグループベースの予測処理により，全ての歩行者に固有のグループ

ID が付与されている．つまり，1 人のグループとして扱われる場合もある．

■ ネットワーク構造
エンコーダの LSTM の hidden state henc とデコーダの LSTM の hidden state (h̄, ĥ) の次元数を 64と設定した．エンコーダとデコーダの全結合層に入力される経路は 64 次元の特徴として埋め込まれる．Discriminator も 64 次元の全結合層と LSTM で設定した．Internal State h は 2 つの全結合層 [96× 128 × 64] を介して計算される．グループ間の Attention 機構の空間的な関係 r は 1 層の全結合層を介して 64 次元として設定した．Query q の次元数は 2 つの全結合層 [64 × 128 × 64] を介して 64に設定した．Key k と Value v の次元数は 2 つの全結合層 [128 × 128 × 64] を介して 64 に設定した．グループ内の Attention では，グループ間の Attention と同様である．具体的には，グループ内のAttention も同じ設定とした．各 Attention 機構の出力 (w, b) と LSTM デコーダの hidden state ĥ を連結した特徴量の次元は，2 つの全結合層 [192 × 128 × 64] を介して 64 に設定した．複数経路を予測するためのノイズベクトル z の次元数は 32 とした．

104

Discriminator を含むモデルは，初期学習率 0.0001 で最適化手法に Adam [118] で学習した．全ての予測モデルはバッチサイズ 64 で 300 エポック学習させた．経験的に Prospection Module の λ を 3で設定し，このパラメータの効果を Ablation study で検証した．

6.2

評価実験

3 つの公開されているデータセットを用いて，提案手法とインタラクションを考慮した従来手法と比較実験を行う．また，Ablation study で提案手法の有効性を確認する．

6.2.1

実験条件

■ データセット
データセットには，ETH [19], UCY [18] 及び SDD [20] を用いる．ETH と UCY は，俯瞰視点映像
で撮影されており，世界座標系で 0.4 秒毎にアノテーションされている．ETH データセットは ETHと HOTEL の 2 つのシーンがあり，UCY データセットは ZARA01，ZARA02，UCY の 3 つのシーンがある．これら 5 つのシーンをベースとして，提案手法は先行研究 [1, 9, 57] と同様に leave-one-out
アプローチを用いる．具体的には 4 つのシーンでモデルを学習し，残りの 1 つのシーンで評価する．
先行研究同様，観測時刻を 3.2 秒 (8 ステップ) の経路をネットワークへ入力し，その後の予測時刻 4.8
秒 (12 ステップ) の経路を予測する．5.3 節で述べたように，ETH シーンのみ歩行者は縦に移動することが多く，他のシーンは歩行者が横に移動している．一般的に経路予測は leave-one-out アプロー
チで学習と評価を行うため，縦移動が多い ETH シーンで適切な評価を行うことは困難である．実際，多くの先行研究 [3, 9, 10, 66] では，ETH シーンの予測誤差が他のシーンよりも大きい．そのため，5章と同様に ETH の (x, y) 座標を転置した C-ETH を定量的評価に用いることで，適切な評価を行う．

SDD は，スタンフォード大学構内をドローンで撮影したピクセル座標のデータセットで，bookstore、
coupa、deathCircle などの 8 種類のシーンで構成されている．8 つのシーンをベースに leave-one-out
アプローチを行う．SDD には，自転車，歩行者，カート，車，バス及びスケートボーダーの 6 クラスの対象の移動経路がアノテーションされている．本実験では，歩行者のみを対象とし，12 フレー
ム毎の経路の座標情報を実験に用いた．SDD は 30fps で撮影されているため，各タイムステップは
約 0.4 [s] に相当する．ETH/UCY と同様に，観測 3.2 秒 (8 ステップ) 間の経路をネットワークへ入力
し，その後の予測時刻 4.8 秒 (12 ステップ) の経路を予測する．

■ 評価指標モデルの性能を評価するために，3 つの評価指標を用いた．まず，Average Displacement Error (ADE)
は全予測時刻における真値と予測経路間のユークリッド距離誤差の平均である．次に，Final Displace-ment Error (FDE) は最終予測時刻における真値と予測経路間のユークリッド距離誤差である．これら

105

の計算式は式 (2.20)，式 (2.21) で表される．また，複数経路を予測する手法では，2.4.2 節の Minimum

Displacement Error [3] の mADE と mFDE を用いる．mADE と mFDE の計算式は式 (2.22)，式 (2.23)で表される．
最後に， [8] のように Prediction collision を評価する．この指標は，シーン内で歩行者同士が衝突する割合の衝突率から評価される．衝突率は，2 人の歩行者間のユークリッド距離が閾値より低い場
合に衝突が発生したと設定する．ETH/UCY では 0.1 [m]，SDD では 10 [pixel] とした．算出式は式(2.24) である．複数経路を予測する手法では，式 (2.25) のように衝突率を求める．

■ ベースモデル
比較手法として以下のベースライン手法を用いる．Vanilla-LSTM は入力層-中間層-出力層の 3 層で構成されるベースモデルである．RED [126] は単純な LSTM のエンコーダ/デコーダモデルである．
これら 2 つは歩行者間のインタラクションを考慮しない予測手法である．Group-LSTM [56] は，予
測対象とは異なる方向を持つ歩行者集団をプーリングする予測手法である．Group-LSTM はコードが公開されていないため，Social-LSTM [1] の S-Pooling を修正したものを利用した．その他の予測手法については，コードが公開されている予測手法を利用した．これらの予測手法のパラメータは
元論文に従って設定し，ETH/UCY 及び SDD で学習と評価を行った．

■ ベースモデルの問題点

5.1 節で述べたように，経路予測の評価は論文間で一貫性がなく，報告された性能を公平に比較できないことがコミュニティで指摘されている [10]．例えば，ADE と FDE は絶対値で評価しなければならないのに対し，PECNet [12] は出発点からの相対値で評価している．このため，上記ベースラインを再実装し，同じ条件で学習と評価を行った．

6.2.2

ETH/UCY における実験結果

表 6.2 に ETH/UCY データセットにおける ADE と FDE，表 6.3 に Prediction Collision の定量的評価結果を示す．評価は，Single model と 20 outputs に分ける．Single model とは，評価時に予測経路
を 1 つ出力する方法である．表 6.2 の上段は Single model の出力の誤差を示す．20 outputs とは，先行研究 [3] のように，評価時に複数の予測経路を出力し，その中から最良の予測経路を 1 つ選択する方法である．これは，順伝播処理を繰り返すことで複数の経路を予測する．従って，1 回の順伝播処理で複数の経路を直接予測する [131]，すなわち N 個のサンプルの将来の (x, y) 座標を出力する方法とは異なる．表 6.2 の下段は 20 個の予測経路の中で最も性能が良いものを示す．全体として，提案手法は従来手法を大きく上回っていることがわかる．さらに，C-ETH のほとんどのモデルの予測誤
差は ETH の予測誤差より低減している．これにより，ほとんどの予測モデルが水平方向の動きに対して頑健であることから，データの偏りが ETH シーンの予測誤差を増加させる要因であることを示

106

表 6.2: ETH/UCY における提案手法と従来手法の ADE/FDE の定量的評価結果．単位は [m] で，値が低い程性能が良いことを示す．Single model は 1 つの経路を予測するモデル，20 outputs は複数の経路を予測するモデルである．

C-ETH

ETH

HOTEL

UCY

ZARA01

ZARA02

AVG

Single model

LSTM
RED [126]
Social LSTM [1]Group-LSTM [56]SR-LSTM [6]Social-GAN [3]
STGAT [9]Trajectron [10]Social STGCNN [37]
PECNet [12]SGCN [66]Ours-single-model

0.57 / 1.20
0.56 / 1.24
0.93 / 1.62
0.83 / 1.65
0.59 / 1.32
0.62 / 1.35
0.60 / 1.29
0.58 / 1.27
0.66 / 1.18
0.90 / 1.70
0.59 / 1.20
0.50 / 1.08

0.71 / 1.36
0.67 / 1.36
1.19 / 2.27
1.03 / 2.12
0.66 / 1.42
0.73 / 1.59
0.61 / 1.24
0.79 / 1.80
1.30 / 2.30
0.72 / 1.41
0.70 / 1.33
0.55 / 1.08

0.21 / 0.38
0.21 / 0.40
0.49 / 0.97
0.48 / 0.94
0.53 / 1.35
0.48 / 1.07
0.23 / 0.45
0.25 / 0.46
0.29 / 0.48
0.20 / 0.44
0.25 / 0.49
0.17 / 0.33

0.63 / 1.37
0.61 / 1.34
0.98 / 1.94
0.87 / 1.73
0.66 / 1.45
0.78 / 1.62
0.65 / 1.40
0.58 / 1.28
1.03 / 1.74
0.66 / 1.33
0.67 / 1.38
0.59 / 1.27

0.59 / 1.26
0.52 / 1.19
1.02 / 1.82
0.94 / 1.72
0.65 / 1.63
0.62 / 1.36
0.52 / 1.11
0.40 / 0.89
0.83 / 1.53
0.49 / 1.05
0.51 / 1.05
0.47 / 1.02

0.42 / 0.84
0.42 / 0.89
0.71 / 1.38
0.69 / 1.25
0.45 / 1.00
0.50 / 1.10
0.42 / 0.90
0.38 / 0.76
0.66 / 1.22
0.40 / 0.87
0.43 / 0.92
0.36 / 0.79

0.52 / 1.08
0.50 / 1.07
0.89 / 1.67
0.81 / 1.57
0.59 / 1.36
0.62 / 1.35
0.51 / 1.07
0.50 / 1.08
0.80 / 1.41
0.56 / 1.13
0.53 / 1.06
0.44 / 0.93

20 outputs

Scene
MethodSocial-GAN [3]
STGAT [9]Trajectron [10]Social-STGCNN [37]
PECNet [12]SGCN [66]Ours

0.49 / 1.05
0.44 / 0.77
0.52 / 1.14
0.51 / 1.10
0.58 / 0.99
0.45 / 0.91
0.43 / 0.93

0.53 / 1.03
0.48 / 0.94
0.68 / 1.34
0.90 / 1.64
0.64 / 1.07
0.51 / 0.89
0.49 / 0.94

0.35 / 0.77
0.16 / 0.29
0.19 / 0.40
0.20 / 0.42
0.14 / 0.21
0.17 / 0.27
0.14 / 0.27

0.79 / 1.63
0.57 / 1.23
0.55 / 1.24
0.87 / 1.47
0.61 / 1.19
0.60 / 1.21
0.55 / 1.19

0.47 / 1.01
0.35 / 0.74
0.35 / 0.82
0.58 / 1.02
0.39 / 0.78
0.39 / 0.76
0.40 / 0.90

0.44 / 0.94
0.31 / 0.67
0.27 / 0.65
0.52 / 0.94
0.36 / 0.67
0.35 / 0.71
0.31 / 0.71

0.51 / 1.07
0.39 / 0.77
0.43 / 0.77
0.60 / 1.10
0.45 / 0.82
0.41 / 0.79
0.39 / 0.82

唆している．

■ Single model

Single model の定量的評価結果を表 6.2 の上段に示す．Our-single-model はノイズベクトルを連結せずに，1 つの経路を予測している．提案手法は，ほとんどのシーンで従来手法より予測誤差を大きく低減している．特に，提案手法は同じグループレベルのインタラクションを捉える Group-LSTM
より低い予測誤差である．Group-LSTM は，同じグループ内の歩行者間のインタラクションを無視しており，他グループとの社会的なインタラクションを 1 つのグループとして捉える．その結果，Group-LSTM は図 6.2(b) に示すように正確な経路予測に失敗している．一方で，提案手法では，予測対象が属するグループ内の他対象とのインタラクション及び，他グループとのインタラクションの両方をそれぞれの Attention 機構で捉えることで，図 6.2(c) のように正確な経路を予測できる．

■ 20 Outputs

20 Outputs の定量的評価結果を表 6.2 の下段に示す．提案手法は全てのシーンで ADE スコアが最良で，いくつかのシーンで FDE スコアが最良である．しかし，シーンで平均した FDE スコアはTrajectron，STGAT，SGCN と比較して高い．これは，表 6.3 に示すように，提案手法が将来的に他107

表 6.3: ETH/UCY における提案手法と従来手法の Prediction Collision の結果．単位は [%] で，値が低い程性能が良いことを示す．歩行者間のユークリッド距離が閾値 0.1 [m] 以下であれば衝突が発生し20 outputs

Single model

たとみなす．

MethodLSTM
RED [126]
Social-LSTM [1]Group-LSTM [56]SR-LSTM [6]Social-GAN [3]
STGAT [9]Trajectron [10]Social-STGCNN [37]
PECNet [12]SGCN [66]Ours-single-modelSocial-GAN [3]
STGAT [9]Trajectron [10]Social-STGCNN [37]
PECNet [12]SGCN [66]
Ours

C-ETH
0.81
0.81
1.61
1.61
0.81
0.81
0.0
0.81
0.81
0.81
0.0
0.0
1.61
0.0
1.61
2.42
0.81
0.0
0.0

ETH
0.81
2.41
4.03
2.41
0.81
0.81
0.81
0.81
2.42
4.03
3.22
0.0
0.0
0.81
0.0
2.42
2.42
2.42
0.0

Scene
HOTEL UCY
0.44
0.25
0.75
0.21
1.34
0.38
0.97
0.38
0.22
0.24
0.22
0.38
0.44
0.20
0.60
0.20
2.23
0.51
0.59
0.28
1.56
0.34
0.22
0.20
0.60
0.23
0.44
0.25
0.60
0.18
1.72
0.46
0.59
0.28
1.34
0.28
0.11
0.16

ZARA01
0.24
0.15
0.76
0.64
0.20
0.34
0.19
0.24
0.71
0.17
0.48
0.17
0.17
0.27
0.15
0.56
0.20
0.34
0.17

ZARA02
0.28
0.29
0.69
0.67
0.26
0.44
0.26
0.20
0.67
0.44
0.54
0.26
0.26
0.24
0.26
0.80
0.67
0.26
0.22

AVG
0.47
0.77
1.47
1.11
0.47
0.50
0.32
0.48
1.23
1.05
1.02
0.14
0.48
0.34
0.47
1.42
0.83
0.77
0.11

グループとの衝突を避けるための経路を予測した可能性があるためである．

■ Prediction Collision
表 6.3 より，提案手法は Single model と 20 outputs 両方で，ほぼ全てのシーンで衝突率を抑え最良のスコアである．これは，Group-based Forecasting Module により，グループ内の他対象や将来の他グループとの社会的インタラクションを捉えた機構の導入によるものである．これにより，将来の経路情報を用いて社会的インタラクションを考慮することがシーン内の歩行者との衝突回避に有効であることが示された．その結果，表 6.2 のように，ほとんどのシーンで予測誤差も低減した．

6.2.3

Ablation study

提案手法の各モジュールの効果を確認するために Ablation study を行った．提案手法の各モジュールについて，ADE と FDE で定量的評価した結果を表 6.4 に示す．値はメートル単位である．BG と

WG はそれぞれ，Group-based Forecasting Module におけるグループ間及びグループ内の Attention 機108表 6.4: 各モジュールの Ablation study．IA: 個人レベルの Attention 機構，WG: グループ内の Attention
機構，BG: グループ間の Attention 機構，λ: Prospection Module における未来のインタラクションを制御するパラメータ．単位は [m] であり，ADE/FDE スコアで評価している．
Variant

Condition

Scene

ID

IA

WG

BG

λ

C-ETH

ETH

HOTEL

UCY

ZARA01

ZARA02

AVG

1

✓

-

-

0

0.58 / 1.22

0.63 / 1.27

0.17 / 0.33

0.63 / 1.37

0.51 / 1.07

0.40 / 0.87

0.49 / 1.02

2

-

✓

-

0

0.55 / 1.15

0.58 / 1.09

0.17 / 0.32

0.61 / 1.32

0.46 / 1.04

0.39 / 0.86

0.46 / 0.96

3

-

-

✓

0

0.52 / 1.20

0.55 / 1.12

0.16 / 0.31

0.60 / 1.31

0.49 / 1.08

0.37 / 0.84

0.45 / 0.98

4

-

✓

✓

0

0.53 / 1.15

0.56 / 1.06

0.16 / 0.30

0.60 / 1.30

0.46 / 1.00

0.36 / 0.82

0.45 / 0.94

5

✓

-

-

1

0.53 / 1.17

0.56 / 1.10

0.16 / 0.29

0.59 / 1.27

0.44 / 0.98

0.36 / 0.82

0.44 / 0.94

6

-

-

✓

1

0.51 / 1.07

0.54 / 1.09

0.20 / 0.39

0.59 / 1.29

0.45 / 1.07

0.38 / 0.84

0.45 / 0.96

7

-

✓

✓

1

0.49 / 1.07

0.50 / 0.99

0.15 / 0.29

0.57 / 1.24

0.42 / 0.92

0.35 / 0.79

0.41 / 0.88

8

✓

-

-

2

0.57 / 1.20

0.56 / 1.11

0.17 / 0.32

0.58 / 1.26

0.44 / 0.98

0.35 / 0.76

0.46 / 0.94

9

-

-

✓

2

0.48 / 1.03

0.53 / 1.08

0.15 / 0.28

0.55 / 1.20

0.41 / 0.91

0.34 / 0.75

0.41 / 0.88

10

-

✓

✓

2

0.50 / 1.08

0.51 / 0.98

0.14 / 0.26

0.54 / 1.17

0.38 / 0.85

0.33 / 0.73

0.40 / 0.85

11

✓

-

-

3

0.49 / 1.01

0.54 / 1.07

0.18 / 0.33

0.57 / 1.24

0.43 / 0.99

0.33 / 0.74

0.42 / 0.90

12

-

-

✓

3

0.48 / 1.05

0.52 / 1.04

0.15 / 0.29

0.56 / 1.20

0.38 / 0.84

0.32 / 0.72

0.40 / 0.86

13

-

✓

✓

3

0.43 / 0.93

0.49 / 0.94

0.14 / 0.27

0.55 / 1.19

0.40 / 0.90

0.31 / 0.71

0.39 / 0.82

14

✓

-

-

4

0.49 / 1.02

0.52 / 1.04

0.15 / 0.28

0.57 / 1.24

0.41 / 0.89

0.34 / 0.76

0.41 / 0.87

15

-

-

✓

4

0.44 / 0.92

0.54 / 1.03

0.16 / 0.32

0.57 / 1.24

0.40 / 0.87

0.33 / 0.71

0.41 / 0.85

16

-

✓

✓

4

0.47 / 0.99

0.46 / 0.91

0.17 / 0.32

0.58 / 1.26

0.40 / 0.88

0.34 / 0.74

0.40 / 0.85

17

✓

-

-

5

0.50 / 1.04

0.55 / 1.10

0.16 / 0.29

0.57 / 1.23

0.43 / 0.93

0.33 / 0.73

0.42 / 0.89

18

-

-

✓

5

0.47 / 1.00

0.52 / 1.04

0.17 / 0.32

0.59 / 1.29

0.39 / 0.85

0.33 / 0.72

0.41 / 0.87

19

-

✓

✓

5

0.50 / 1.07

0.48 / 0.93

0.18 / 0.30

0.60 / 1.28

0.39 / 0.85

0.34 / 0.75

0.42 / 0.86

20

✓

-

-

6

0.50 / 1.07

0.57 / 1.13

0.19 / 0.37

0.62 / 1.30

0.42 / 0.88

0.38 / 0.81

0.45 / 0.93

21

-

-

✓

6

0.49 / 1.00

0.53 / 1.03

0.19 / 0.35

0.62 / 1.29

0.41 / 0.88

0.37 / 0.79

0.44 / 0.89

22

-

✓

✓

6

0.48 / 0.98

0.52 / 1.03

0.18 / 0.35

0.61 / 1.28

0.41 / 0.87

0.35 / 0.76

0.43 / 0.88

構を表す．IA は，各グループの Attention 機構の有効性を調査するための個人レベルの Attention 機構を表す．表 6.4 の個人レベル (IA) とグループレベル (BG と WG) のインタラクションモデルを比較すると，個人レベルのインタラクションのモデル化よりグループレベルのインタラクションのモデル化が予測誤差を低減している．提案手法では，グループ間の Attention とグループ内の Attention
を両方組み合わせることで，さらに予測誤差を低減する．
次に，将来のインタラクションを捉えるために，グループ間の Attention 機構で用いられる Prospection

Module から伝播される予想経路が与える影響について調査した．表 6.4 の 5 列目は，Prospection Moduleの予想経路における未来のシフトされるフレーム λ を示す．なお，λ = 0 は，Prospection Module の予想経路を用いない．このモデルでは，グループ間の Attention 機構に現時刻の経路情報を用いている．Variant ID 13 は，6.1.2 節で述べた提案手法の λ を設定したもので，このモデルの性能が最良である．表 6.4 より，将来で衝突するリスクの高い他グループとの衝突を回避するために，Prospection

Modue から伝播される予想経路を用いることが人間の社会的インタラクションに有効であることが109

表 6.5: パーソナルスペースを変化させた ADE/FDE の精度比較．全てのモデルはグループ間及びグループ内の Attention 機構を導入しており，λ = 3 とした場合の結果を示す．

Scene
C-ETH
ETH
HOTEL
UCY
ZARA01
ZARA02AVG

0.45
0.53/1.08
0.59/1.15
0.17/0.34
0.56/1.22
0.42/0.90
0.38/0.84
0.44/0.92

Personal space [m]1.2
3.6
0.43/0.93 0.44/0.93
0.49/0.94 0.50/0.96
0.14/0.27 0.16/0.32
0.55/1.19 0.64/1.37
0.40/0.90 0.41/0.89
0.31/0.71 0.34/0.76
0.39/0.82 0.42/0.87

7.6
0.47/1.00
0.51/1.03
0.19/0.38
0.66/1.40
0.43/0.92
0.36/0.80
0.44/0.92

表 6.6: 各損失関数の有効性．Adversarial loss と L2 loss の両方を導入することで，予測性能が向上す
る．

Scene
C-ETH
ETH
HOTEL
UCY
ZARA01
ZARA02
AVG

Loss function
w/ Adversarial
w/ L2
w/ Adv. and L2
1.76/3.04
0.45/0.95
0.43/0.93
1.46/2.50
0.47/0.88
0.49/0.94
1.04/1.98
0.17/0.30
0.14/0.27
1.73/3.09
0.60/1.28
0.55/1.19
3.11/5.74
0.43/0.94
0.40/0.90
2.06/3.79
0.36/0.75
0.31/0.71
1.34/3.36
0.41/0.85
0.39/0.82

示された．興味深いことに，λ が大きくなるにつれ予測誤差が徐々に大きくなっている．これは，将来の不確実な予測結果に依存していることを意味する．
表 6.5 は，パーソナルスペースの設定，つまり DBSCAN アルゴリズムにおける距離の閾値を変更した場合の精度比較を示す．パーソナルスペースが小さいほど，5 章で説明したように歩行者密度の高い混雑したシーンである UCY において，性能が向上している．一方，あまり混雑していない ETHや ZARA01 では，パーソナルスペースが大きい程，性能が向上している．このように，シーンによって適切なパーソナルスペースは予測性能に影響を与える可能性があり，性能を向上させるためにはシーンの特徴に応じてパラメータを設定する必要がある．
表 6.6 は，各損失関数の有効性を調査した定量的評価結果である．Adversarial loss がない場合は，式 (6.12) の第 2 項において L2 loss のみを用いている．なお，全ての結果は表 6.4 の Variant ID 13 のモデルを用いている．表 6.6 の 2 列目は，全てのシーンにおいて Adversarial loss のみを用いた場合のADE/FDE スコアを示す．Adversarial loss は予測経路が本物か偽物かを学習するため，真値と予測経路間の距離を最小化することができない．表 6.6 の 3 列目は，全てのシーンにおいて L2 loss を用いた場合の ADE/FDE スコアを示す．L2 loss は 2 列目の Adversarial loss のみより ADE/FDE スコアが良いことを示す．これは，L2 loss が真値と予測経路間の距離を最小化するように学習するためであ110

表 6.7: SDD における提案手法と従来手法の ADE/FDE の定量的評価結果．単位は [pixel] で，値が低い程性能が良いことを示す．

20 outputs

Single model

Scene
Methodbookstore

coupa

deathCircle

gates

hyang

little

nexus

quad

AVG

LSTM

9.64 / 20.9

10.4 / 22.3

9.24 / 19.6

7.80 / 16.7

10.3 / 21.8

12.3 / 25.8

8.97 / 19.2

8.52 / 18.7

9.65 / 20.6

RED [126]

6.66 / 13.5

7.96 / 16.2

7.42 / 14.8

5.80 / 11.7

9.13 / 17.4

10.9 / 22.9

7.65 / 14.9

5.57 / 9.74

7.64 / 15.1

Social-LSTM [1]22.8 / 47.2

24.1 / 49.3

29.5 / 61.6

24.5 / 49.3

35.4 / 75.9

24.3 / 50.5

22.9 / 45.7

24.1 / 46.6

26.0 / 53.3

Group-LSTM [56]19.6 / 39.9

22.8 / 43.9

24.4 / 50.5

20.9 / 42.8

28.1 / 44.0

22.2 / 46.1

19.9 / 40.2

22.1 / 42.9

22.5 / 43.8

SR-LSTM [6]8.11 / 16.2

7.69 / 15.9

7.61 / 14.7

6.18 / 11.2

9.22 / 18.3

11.8 / 24.1

6.80 / 13.1

5.31 / 8.78

7.84 / 15.3

Social-GAN [3]18.4 / 37.2

19.1 / 38.4

18.1 / 36.5

18.1 / 36.5

19.4 / 39.1

20.8 / 42.5

18.6 / 37.4

21.1 / 41.4

19.2 / 38.6

STGAT [9]7.58 / 14.6

9.00 / 17.4

7.57 / 14.4

6.33 / 11.7

9.17 / 17.9

10.9 / 22.8

7.37 / 14.0

4.83 / 7.95

7.84 / 15.1

Trajectron [10]8.79 / 19.2

7.24 / 15.5

14.3 / 33.0

6.29 / 13.0

9.55 / 21.6

12.4 / 29.0

6.02 / 12.8

6.80 / 15.1

8.92 / 19.9

Social-STGCNN [37]18.9 / 38.6

21.9 / 42.0

25.7 / 53.2

19.4 / 40.0

26.5 / 41.9

25.1 / 52.0

20.4 / 42.6

21.8 / 41.2

22.4 / 43.9

PECNet [12]9.01 / 21.2

8.91 / 16.9

8.92 / 17.3

6.52 / 13.8

9.88 / 14.1

11.2 / 23.2

6.91 / 13.8

5.99 / 16.2

10.1 / 17.1

SGCN [66]9.45 / 18.6

7.37 / 13.8

16.8 / 34.5

9.11 / 18.6

11.8 / 23.7

16.2 / 34.2

8.02 / 15.3

10.3 / 17.6

11.1 / 22.0

Ours-single-model

6.41 / 12.4

7.45 / 14.9

7.11 / 13.7

6.10 / 11.2

8.54 / 16.8

10.2 / 21.2

6.88 / 13.9

5.07 / 8.77

7.22 / 14.1

Social-GAN [3]5.03 / 8.96

5.39 / 9.57

5.20 / 9.13

4.66 / 8.25

5.74 / 10.2

6.51 / 11.9

5.23 / 9.11

4.08 / 7.15

5.23 / 9.28

STGAT [9]4.09 / 7.57

4.83 / 9.05

4.59 / 8.43

2.86 / 4.69

5.37 / 10.2

6.25 / 12.1

4.20 / 7.58

2.34 / 3.62

4.32 / 7.91

Trajectron [10]4.51 / 7.99

5.69 / 9.72

5.12 / 8.87

4.43 / 8.06

5.72 / 10.3

6.38 / 10.8

5.55 / 9.43

2.26 / 4.61

4.96 / 8.72

Social-STGCNN [37]7.13 / 14.2

7.41 / 16.1

7.26 / 14.0

5.94 / 12.8

10.5 / 21.3

8.99 / 15.3

6.34 / 13.2

5.55 / 8.90

7.39 / 14.5

PECNet [12]4.33 / 7.52

5.31 / 9.42

5.11 / 8.76

3.99 / 6.83

6.10 / 11.6

6.67 / 11.0

4.85 / 8.01

3.82 / 4.43

5.02 / 8.45

SGCN [66]7.45 / 13.8

5.37 / 9.28

14.2 / 28.3

6.22 / 11.1

9.82 / 19.2

13.6 / 27.6

6.08 / 11.0

5.57 / 7.55

8.53 / 16.0

Ours

3.96 / 7.34

4.88 / 9.11

4.15 / 8.29

2.84 / 4.74

5.38 / 10.7

6.14 / 11.8

4.28 / 7.71

2.20 / 3.48

4.23 / 7.90

る．表 6.6 の最後の列に示すように，Adversarial loss と L2 loss の両方を導入することで，ADE/FDE
は最良のスコアとなる．これは，L2 loss が予測経路が真値からどれだけ離れているかを制御するのに対し，Adversarial loss が予測経路が本物か偽物かを敵対的に学習するためである．

6.2.4

SDD における実験結果

表 6.7 に SDD における ADE/FDE スコアを示す．提案手法は表 6.4 の Variant ID 13 のモデルを用いている．提案手法は，Single model，20 outputs でほぼ全てのシーンで従来手法より性能が向上している．これにより，複雑な歩行者間の社会的インタラクションを捉える経路予測において，2 つのAttention 機構の導入が効果的であることが示される．また，インタラクションを考慮しない RED が，
Single model で提案手法の次に性能が良い．これは，SDD が ETH/UCY データセットより高所で撮影されることで歩行者の動きが線形的になり，他手法のインタラクションのモデル化が上手く機能しなかったことが原因だと考えられる．
表 6.8 に SDD における提案手法と従来手法の Prediction Collision の結果を示す．提案手法は，Single

model と 20 output 共にほぼ全てのシーンで最良のスコアである．これらの結果より，提案手法の有効性が確認された．

111

表 6.8: SDD における提案手法と従来手法の Prediction Collision の結果．単位は [%] で，値が低い程性能が良いことを示す．歩行者間のユークリッド距離が閾値 10 [pixel] 以下であれば衝突が発生した

bookstore

coupa

deathCircle

Scene
gates

hyang

little

nexus

quad

AVG

Single model

LSTM
RED [126]
Social-LSTM [1]Group-LSTM [56]SR-LSTM [6]Social-GAN [3]
STGAT [9]Trajectron [10]Social-STGCNN [37]
PECNet [12]SGCN [66]Ours-single-model

3.62
3.62
9.57
8.18
4.11
3.86
3.62
4.85
9.71
4.98
5.32
3.92

5.95
6.90
14.67
12.75
5.96
6.12
5.22
9.65
15.90
10.43
8.12
4.87

39.76
41.02
50.75
44.24
42.88
40.50
39.76
48.87
49.62
44.09
45.26
38.86

4.48
3.96
6.00
5.84
3.96
4.09
3.66
4.70
8.96
4.96
4.22
2.78

10.28
10.35
16.06
14.73
11.62
10.96
10.28
12.06
17.25
11.12
11.56
10.12

3.48
12.43
7.20
8.87
3.63
4.11
3.66
3.32
7.33
4.58
5.61
3.22

23.21
23.96
28.26
25.98
22.18
24.09
20.09
26.38
20.04
24.69
27.12
20.46

0.0
0.0
0.0
0.0
0.0
0.0
0.0
0.0
0.0
0.0
0.0
0.0

11.35
11.53
16.56
15.07
11.79
11.72
10.79
13.73
16.10
13.10
13.40
10.53

20 outputsとみなす．

Social-GAN [3]
STGAT [9]Trajectron [10]Social-STGCNN [37]
PECNet [12]SGCN [66]
Ours

3.62
2.85
3.62
7.32
4.46
4.85
3.49

5.66
4.98
7.32
11.86
8.55
7.84
4.21

38.26
36.77
44.22
43.93
42.20
43.10
35.49

3.96
4.57
4.70
6.88
4.22
3.96
2.50

10.88
9.28
10.01
14.58
10.96
10.88
9.03

3.96
3.32
3.32
5.99
4.22
5.20
3.04

22.98
20.09
22.98
19.89
22.54
22.12
19.39

0.0
0.0
0.0
0.0
0.0
0.0
0.0

11.17
10.23
12.02
13.81
12.14
12.24
9.64

Method

6.2.5

予測結果

次に，各データセットにおける予測結果例と注意重みの可視化，Failure cases を述べる．

■ ETH/UCY における予測結果例
図 6.6 に ETH/UCY における提案手法と従来手法の予測結果例を示す．提案手法は，グループ間とグループ内のインタラクションを捉えることで，より正確な経路を予測できる．図 6.6(a) において，個人レベルのインタラクションに基づく Social-GAN や STGAT では，正確な経路を予測できていな
い．一方，提案手法はグループレベルのインタラクションにより，同じグループに属する対象同士が類似した経路の予測及び，前方のグループとの衝突を回避する経路を予測している．図 6.6(b) において，Group-LSTM，STGAT，Social-GAN はグループ内のインタラクションや過去のインタラク
ションを考慮するため，正確な経路を予測できていない．提案手法は，グループ内の Attention 機構の出力を次時刻の LSTM デコーダへ逐次入力されるため，未来の時刻で常にインタラクションを計算する．その結果，予測対象自身と他対象との関連性を捉えつつ正確な経路を予測できる．
歩行者グループのダイナミクスを変化させた提案手法の予測結果例を図 6.7 に示す．図 6.7(c) では，
前方のグループとの衝突を避けるために，グループを解散させるような経路を予測した．図 6.7(d)は，赤色と青色の対象が同じ方向に進んでいるのか判断が困難なシーンである．提案手法は，同じ112

Observed Trajectory

Ground Truth

Predicted Distribution (20 Outputs)

Predicted Trajectory (Single Model)
Single Target

Group

(a)

(b)

Group-LSTM

Ours-single-modelSocial-GAN

STGAT

Ours

図 6.6: ETH/UCY における予測結果例．Group-LSTM，Ours-single-model は 1 つの経路を予測するモデル，Social-GAN，STGAT 及び Ours は 20 つの予測経路をサンプリングするモデルである．粗い破線は観測経路，実線は真値，細い破線は 1 つの経路を予測するモデルの予測経路，分布は 20 つの予
測経路の分布である．提案手法 (Ours-single-model, Ours) は検出したグループをクラスタリングしている．

𝑡"#$ + 1

𝑡"#$ + 6

𝑡()*+

(c)

(d)

図 6.7: ETH/UCY における歩行者グループが時間と共に動的に変化する例．tobs + 1 が予測開始時刻，

tpred が最終予測時刻を表す．Group-based Forecasting Module は，グループ情報を時間と共に動的に変化させることで，変化に対応した経路を予測する．

113

Inter-Group Attention

(a)

(c)

Intra-Group Attention

(b)

(d)

図 6.8: ETH/UCY における Group-based Forecasting Module の各 Attention 機構の注意重みの可視化．

(a) (d) は図 6.6，図 6.7 の各図に対応する．色のついた円と矢印はグループラベルを表し，同じグループ内の歩行者は同じ色で可視化される．各円の半径は注目度を表し，円が大きいほど重要度が高い．
予測対象は黒い矢印で表す．従って，各結果は予測対象の他対象に対する注目度を表している．

目的地に向かう場合はグループとして，異なる目的地に向かう場合は離れていく経路を複数予測している．

■ ETH/UCY における注意重みの可視化結果例
提案手法の各注意重み，すなわち式 (6.4) と式 (6.9) の可視化例を図 6.8 に示す．色付いた円と矢印はグループラベルを表し，同じグループの対象は同じ色で表している．各円の半径はその注目度，予測対象は黒い矢印で表されている．つまり，これらの結果は予測対象の他対象に対する注目度を表している．図 6.8(a) と (c) はグループ間の Attention 機構の注意重みの可視化例で，予測対象の手前にいる赤色のグループが最も注目度が高い．これは図 6.6(a) と図 6.7(c) のように，将来で衝突する可能性の高いグループを強調することで，提案手法が正確に経路を予測できることを示す．また，グループ内の Attention 機構の注意重みの可視化例では，図 6.8(d) では予測対象自身が強調されるが，
図 6.8(d) ではグループ内の上から 1 番目と 4 番目の対象に注目している．これらの結果は，状況に114

より同じグループ内の他対象を強調及び自身を強調するなど，提案手法がグループ内の注意重みを柔軟に割り当てることで，グループの特性に応じた経路を予測できることを示している．

■ SDD における予測結果例

SDD における提案手法と従来手法の予測結果例を図 6.9 に示す．全ての予測手法は 20 outputs のモデルの予測結果を可視化している．個人レベルのインタラクションに基づく予測手法は，両シーンにおいて正確な経路の予測ができていない．Social-GAN は，両シーンにおいて正確な経路を予測できず，他対象との衝突が発生している．STGAT は前方のグループと衝突する経路を予測している．
一方，グループレベルのインタラクションに基づく提案手法では，同じグループに属する対象同士は類似した経路を予測し，前方のグループとの衝突を回避する経路を予測している．
歩行者グループのダイナミクスを変化させた提案手法の予測結果例を図 6.10 に示す．図 6.10(c)，(d)，(e) は図 6.9(b) の各グループに対応する．図 6.10(c) では，周囲の歩行者の影響を受けながらも，グループとして最初から最後まで一貫して同じような経路を予測している．図 6.10(d) では，黄色と紫色の予測対象が時刻 tobs + 1 でグループとして同じ目的地へ向かっている．それぞれの予測対象
は時刻 tobs + 6 でグループを分散させ，紫色の対象はその地点で停止する経路を予測する．これは，紫色の対象がグループ間の Attention 機構により，黄色の対象と衝突しないように速度を落としているためである．図 6.10(e) は，時刻 tobs + 6 で赤色，灰色，紫色のグループが橙色と紫色の対象のグループ及び，赤色と灰色の対象のグループの 2 つに分散されるシーンを示している．

■ SDD における注意重みの可視化結果例
各 Attention 機構の注意重みの可視化例を図 6.11 に示す．図 6.11(a)(b) のグループ間の Attention 機
構で獲得した注意重みの可視化結果例では，予測対象の前方にいる緑色のグループの注目度が最も高い．また，図 6.11(b) のグループ間の Attention 機構の注意重みは緑色のグループだけでなく，紫色やベージュ色で表現された他対象にも注目していることがわかる．これらは図 6.9(a)(b) のように，将来で衝突するリスクがある他グループや他対象に注目することで，提案手法が正確に経路を予測できることを示す．図 6.11(a) のグループ内の Attention 機構で得られる注意重みの可視化結果例では，予測対象自身が強調されているが，図 6.11(b) ではグループの中央にいる対象の注目度が高い．
各対象は図 6.9 に示すように，強調された対象の影響を受けることで，同じグループで類似した経路を予測する．

■ Failure cases

ETH/UCY における誤った予測結果例を図 6.12 に示す．図 6.12(a) は経路予測タスクの典型的な失敗例で，急激な行動変化をする対象の経路予測に失敗した例である．図 6.12(b)(c) は提案手法特有の失敗例である．図 6.12(b) は，前方のグループと衝突を回避するために，予測分布が真値と離れた結115

Observed TrajectorySingle Target

Group

Ours

STGAT

Social GAN

Ground Truth

Predicted Distribution

(a)

(b)

図 6.9: SDD における Social-GAN，STGAT 及び，Ours の予測結果例．粗い破線は観測経路，実線は真値，分布は 20 つの予測経路の分布である．Ours は検出したグループをクラスタリングしている．

116

𝑡!"# + 1

𝑡!"# + 6

𝑡$%&'

(c)

(d)

(e)

図 6.10: SDD における歩行者グループが動的に変化する例．tobs + 1 が予測開始時刻，tpred が最終予測時刻を表す．(c)，(d) 及び (e) は図 6.9(b) の各グループに対応する．

果例である．図 6.12(c) は，Prospection Module が同じ上方向への予想経路を Group-based Forecasting

Module へ伝播したため，反対方向から来る青色と赤色の対象同士が誤って衝突した例である．
図 6.13 は，SDD における誤った予測結果例である．図 6.13(a) は，図 6.12(a) のように急激な行動変化をする対象の経路予測に失敗した例である．図 6.13(b) は，図 6.12(b) のように前方のグループと衝突を回避するために，予測分布が真値と離れた結果例である．図 6.13(c) は，提案手法では建物といった静的障害物に関する特徴を捉えていないため，そのような障害物に衝突した経路を予測した例である．これについては，3 章や 5 章で述べた環境情報を導入することで対処可能だと考えられる．

6.3

まとめ

混雑したシーンにおけるグループの社会的インタラクションを各 Attention 機構でモデル化するために，グループ内とグループ間の関係を捉える Group-based Forecasting Module を提案した．グルー
プ間の Attention は，Prospection Module から伝播される将来の予想経路をグループ間のインタラク
ションの手がかりとして用いる．グループ内の Attention は，グループ内の他対象のインタラクショ

117

Inter-Grouop Attention
Intra-Grouop Attention

(a)

(b)

図 6.11: SDD における Group-based Forecasting Module の各 Attention 機構の注意重みの可視化．(a)と (b) は図 6.9 のそれぞれに対応する．

ンをモデル化する．実験結果より，ほとんどのシーンで提案手法は従来手法より予測誤差及び衝突率が減少した．提案手法の有効性を調査するための Ablation study より，個人レベルよりグループレベ
ルでインタラクションを捉える場合が性能面や効率面で良いことを確認した．また，シーン毎に異なる歩行者密度によって，提案手法の適切なパーソナルスペースの設定が予測性能に影響を与えることを確認した．予測結果より，提案手法はグループレベルで歩行者間の社会的インタラクションを考慮することで，他のグループとの衝突を回避する経路予測及び，同じグループで類似する経路を予測した．また，各グループの Attention 機構の注意重みを可視化することで，予測対象が他グルー
プまたは，他対象及び予測対象自身に着目して経路予測したかを分析した．しかし，提案手法では建物や木等の静的障害物を捉えるようにモデル化していないため，静的障害物との衝突を回避することができない．そのため，今後は静的環境を捉えるネットワークの構築が挙げられる．

118

Observed Trajectory

Ground Truth

Predicted Distribution (20 Outputs)(a)Prospective Trajectory of Prospection Module

(b)

(c)

図 6.12: ETH/UCY における誤った予測結果例．(a) は行動を突然変える場合のサンプル，(b) は前方のグループと衝突回避するために真値と離れる経路を予測した場合のサンプル，(c) は Prospection

Module から出力される経路がどちらも上方向だった場合のサンプル例である．粗い破線は観測経路，
実線は真値，細い破線は Prospection Module の予想経路，分布は 20 つの予測経路の分布である．

Observed Trajectory

Prospective Trajectory of Prospection Module

Predicted Distribution (20 Outputs)

(a)

(b)

Ground Truth(c)

図 6.13: SDD における誤った予測結果例．(a) は行動を突然変える場合のサンプル，(b) は前方のグループと衝突回避するために真値と離れる経路を予測した場合のサンプル，(c) は静的な障害物への衝突した場合のサンプル例を示す．

119

第7章

結論と展望
本稿では，混雑シーンにおいて複雑な歩行者集団に対して高精度な経路予測を実現するために，グループレベルに基づいたグループ間とグループ内の社会的インタラクションを捉える Group-based

Forecasting Module を提案した．以下に，本論文の結論と今後の展望について述べる．

7.1

結論

各章のまとめは以下の通りである．2 章では，経路予測の具体的な社会実装例や処理の流れを述べた後，深層学習を用いた経路予測についての関連研究をまとめた．深層学習を用いた経路予測は，
移動対象間の衝突を避けるインタラクションを考慮する経路予測及び，インタラクション以外の課
題を扱う経路予測手法の 2 つに大別された．前者はさらにプーリング，アテンション及びその他の 3つのモデルに分類され，それぞれのモデルについて利点や欠点を述べつつ，各手法について体系的にまとめた．後者は，アイレベルのカメラ映像視点で経路を予測するなど，インタラクションを考慮する予測手法とは異なる問題設定による経路予測手法が提案された．また，経路予測手法で用いられるデータセットや評価指標についても体系的にまとめた．

3 章では，歩行者や自動車等のクラスが異なる複数の予測対象を属性とみなし，予測対象の属性と環境情報を導入した経路予測手法を提案した．既存の経路予測手法では属性数に応じてモデル数が増え計算コストが増加するが，提案手法では属性を one-hot vector としてコンパクトに表現することで計算コストの問題を解消した．コンパクトに表現した属性情報と周囲の環境情報を表現したシー
ンラベルをネットワークに組み込むことで，属性毎に保有する潜在的な特徴を捉えた経路予測を実現した．

4 章では，混雑シーンにおいて不正確な歩行者データから高精度に予測するために，シーンの各場
所が将来どれだけ混雑しているかのマップ，つまり群衆密度マップとして直接予測する手法を提案した．提案手法はパッチベースでモデル化することで，各場所で独立して行動する群衆密度の時空間的ダイナミクスを効率的に捉える．既存の経路予測手法では，不正確な歩行者データを用いると誤った経路を予測するのに対し，提案手法は群衆密度マップを直接予測するため，ほぼ全てのシーンでベースラインより高精度であることを確認した．また，パッチベースに基づく群衆密度予測手法において，空間的パターンと時間的ダイナミクスを単一のネットワークで学習することが有効である
結果が得られた．

5 章では，2 章のインタラクションを考慮した経路予測手法の中から代表的な手法を用いて，精度120検証を行った．予測対象を歩行者に限定し実験した結果，歩行者間のインタラクションを考慮する予測手法は歩行者密度が高いシーンで予測誤差が低くなる傾向が確認された．一方で，歩行者密度が低いシーンでは，インタラクションを考慮しない予測手法で十分な予測精度を得られることを確認した．プーリングモデルと比べアテンションモデルによるインタラクション表現が予測精度を向上させつつ対象間の衝突率を減少させることがわかった．

6 章では，4 章と 5 章で得た知見から，混雑シーンにおける歩行者間の社会的インタラクションをグループレベルでモデル化する Group-based Forecasting Module を提案した．Group-based Forecasting

Module はグループレベルに基づいたインタラクションを捉えるために，グループ間とグループ内のAttention 機構を導入した．評価実験において，提案手法は個人レベルでインタラクションを捉える予測手法より予測誤差を低減しつつ衝突率を減少させた．また，予測結果より，提案手法は前方のグループとの衝突を避ける経路予測やグループで同じ目的地に向かう経路予測を実現した．

7.2

展望

本論文では，各章で予測対象周辺の環境を考慮した経路予測に関する研究を行った．対象の経路予測時に，建物や歩道などの静的物体及び他の移動物体など周辺環境に依存して予測対象のその後の経路が決定されるため，経路予測ではこれらの情報をうまく取り込むことが重要になる．本論文
は，俯瞰視点から取得される情報により Advanced Driving Assistant System や自律型ロボットを含む
ソーシャルロボットに有用であると考えられる．例えば，LiDAR を搭載した車両から撮影された車
載カメラ視点を俯瞰視点に視点変換させることで，歩行者の将来の経路を予測できる．また，交差点や天井に設置された俯瞰カメラを介して自車両やソーシャルロボットに情報を伝播させることで，車載視点及び 1 人称視点カメラからは見えない歩行者の位置を事前に捉えることができる．それらで得た歩行者情報から，各章で提案した手法を上記アプリケーションに実用できると考えている．
経路予測に必要な要素として，対象の属性情報や ID 情報，そしてグループの情報が挙げられる．
しかし，これらの情報は実環境で撮影されたデータであり，しばしセンシティブに扱う必要がある．
例えば，対象の属性は自転車や自動車から降りた人を歩行者と扱うか否か，運動傾向が類似している歩行者をグループとするのが正確なのか等，提案手法含む経路予測の社会実装には問題が複数生じる可能性がある．特にグループは運動傾向が類似する歩行者集団ではなく，家族や同僚及び友人
等の異なる親密な関係を持つグループとしても考えられる．データにそのようなグループ情報のラ
ベリングがあれば 6 章の提案手法を適用できるが，データには親密な関係に関するラベリングがされておらず，1 からデータを作成する必要がある．しかし，現実的な問題としてアノテーションコス
トがかかること，そして実環境で撮影されるため倫理関係やプライバシー問題が発生する．そのため，シミュレーション環境によるラベリング等が必要になると考えられる．従って，本論文はシミュ
レーション環境で作成したデータを用いて現実的な経路予測問題に対処することを今後の研究課題
とする．

121

謝

辞

本研究の遂行にあたり，常日頃ご指導を賜りました中部大学工学部情報工学科 山下隆義教授に深く感謝の意を表します．本論文をまとめるにあたり，有益なご討論，ご助言を賜りました中部大学工学部情報工学科 山内康一郎教授，中部大学工学部ロボット理工学科 藤吉弘亘教授，金沢大学高度モ
ビリティ研究所 菅沼直樹教授に謹んで感謝いたします．本研究において，貴重なご意見，ご指導を頂きました中部大学工学部ロボット理工学科 藤吉弘亘教授，中部大学 AI 数理データサイエンスセン
ター 平川翼講師，東京大学生産技術研究所 菅野裕介准教授，オムロンサイニックエックス株式会社
米谷竜氏，同企業 牛久祥孝氏，同企業 西村真衣氏に心から厚く御礼申し上げます．最後に，本研究にご協力して頂いた山下研究室と藤吉研究室の皆様に感謝致します．

122

参考文献
[1] A. Alahi, K. Goel, V. Ramanathan, A. Robicquet, L. Fei-Fei, and S. Savarese, “Social lstm: Human
trajectory prediction in crowded spaces”, Computer Vision and Pattern Recognition, pp.961–971,
2016.
[2] I. Hasan, F. Setti, T. Tsesmelis, A. Del Bue, F. Galasso, and M. Cristani, “MX-LSTM: mixing
tracklets and vislets to jointly forecast trajectories and head poses”, Computer Vision and Pattern
Recognition, pp.6067-6076, 2018.
[3] A. Gupta, J. Johnson, L. Fei-Fei, S. Savarese, and A. Alahi, “Social gan: Socially acceptable trajectories with generative adversarial networks”, Computer Vision and Pattern Recognition, pp.2255–
2264, 2018.
[4] T. Zhao, Y. Xu, M. Monfort, W. Choi, C. Baker, Y. Zhao, Y. Wang, and Y. N. Wu, “Multi-agent tensor
fusion for contextual trajectory prediction”, Computer Vision and Pattern Recognition, pp.12126–
12134, 2018.
[5] Y. Xu, Z. Piao, and S. Gao, “Encoding crowd interaction with deep neural network for pedestrian
trajectory prediction”, Computer Vision and Pattern Recognition, pp.5275–5284, 2018.
[6] P. Zhang, W. Ouyang, P. Zhang, J. Xue, and N. Zheng, “Sr-lstm: State reﬁnement for lstm towards
pedestrian trajectory prediction”, Computer Vision and Pattern Recognition, pp.12085–12094, 2018.
[7] J. Liang, L. Jiang, J. Carlos Niebles, A. G. Hauptmann, and L. Fei-Fei, “Peeking into the future: Predicting future person activities and locations in videos”, Computer Vision and Pattern Recognition,
pp.5725–5734, 2019.
[8] A. Sadeghian, V. Kosaraju, A. Sadeghian, N. Hirose, H. Rezatoﬁghi, and S. Savarese, “Sophie: An
attentive gan for predicting paths compliant to social and physical constraints”, Computer Vision and
Pattern Recognition, pp.1349–1358, 2019.
[9] Y. Huang, H. Bi, Z. Li, T. Mao, and Z. Wang, “Stgat: Modeling spatial-temporal interactions forhuman trajectory prediction”, International Conference on Computer Vision, pp.6272–6281, 2019.

123

[10] B. Ivanovic, and M. Pavone, “The trajectron: Probabilistic multi-agent trajectory modeling with dynamic spatiotemporal graphs”, International Conference on Computer Vision, pp.2375–2384, 2019.
[11] C. Yu, X. Ma, J. Ren, H. Zhao, and S. Yi, “Spatio-temporal graph transformer networks for pedestrian
trajectory prediction”, European Conference on Computer Vision, pp.507–523, 2020.
[12] K. Mangalam, H. Girase, S. Agarwal, K. H. Lee, E. Adeli, J. Malik, and A. Gaidon, “It is not thejourney but the destination: Endpoint conditioned trajectory prediction”, European Conference on
Computer Vision, pp.759–776, 2020.
[13] H. Bi, R. Zhang, T. Mao, Z. Deng, and Z. Wang, “How can i see my future? fvtraj: Using ﬁrst-personview for pedestrian trajectory prediction”, European Conference on Computer Vision, pp.576–593,
2020.
[14] A. Monti, A. Porrello, S. Calderara, P. Coscia, L. Ballan, and R. Cucchiara, “How many observations are enough? knowledge distillation for trajectory forecasting”, Computer Vision and Pattern
Recognition, pp.6553–6562, 2022.
[15] A. Vemula, K. Muelling, and J. Oh, “Social attention: Modeling attention in human crowds”, International Conference on Robotics and Automation, pp.1–7, 2018.
[16] C. Choi, and B. Dariush, “Looking to relations for future trajectory forecast”, International Conference on Computer Vision, pp.921–930, 2019.
[17] J. Sun, Q. Jiang, and C. Lu, “Recursive social behavior graph for trajectory prediction”, Computer
Vision and Pattern Recognition, pp.660–669, 2020.
[18] A. Lerner, Y. Chrysanthou, and D. Lischinski, “Crowds by example”, Computer Graphics Forum,vol.26, no.3, pp.655–664, 2007.
[19] S. Pellegrini, A. Ess, K. Schindler, and L. V. Gool, “You’ll never walk alone: Modeling social behavior for multi-target tracking”, International Conference on Computer Vision, pp.261–268, 2009.
[20] R. Alexandre, S. Amir, A. Alexandre, and S. Silvio, “Learning social etiquette: Human trajectoryunderstanding in crowded scenes”, European Conference on Computer Vision, pp.549–565, 2016.
[21] M. F. Chang, J. Lambert, P. Sangkloy, J. Singh, S. Bak, A. Hartnett, D. Wang, P. Carr, S. Lucey,
D. Ramanan, and J. Hays, “Argoverse: 3d tracking and forecasting with rich maps”, Computer
Vision and Pattern Recognition, pp.8748–8757, 2019.
[22] J. Houston, G. Zuidhof, L. Bergamini, Y. Ye, A. Jain, S. Omari, V. Iglovikov, and P. Ondruska, “Onethousand and one hours: Self-driving motion prediction dataset”, Conference on Robot Learning,
2020.

124

[23] J. Bock, R. Krajewski, T. Moers, S. Runde, L. Vater, and L. Eckstein, “The ind dataset: A drone
dataset of naturalistic road user trajectories at german intersections”, arXiv, 2019.
[24] J. Liang, L. Jiang, K. Murphy, T. Yu, and A. Hauptmann, “The garden of forking paths: Towards
multi-future trajectory prediction”, Computer Vision and Pattern Recognition, pp.10508–10518,
2020.
[25] A. Rasouli, I. Kotseruba, T. Kunic, and J. K. Tsotsos, “Pie: A large-scale dataset and models forpedestrian intention estimation and trajectory prediction”, International Conference on Computer
Vision, pp.6262–6271, 2019.
[26] Y. Ma, X. Zhu, S. Zhang, R. Yang, W. Wang, and D. Manocha, “Trafﬁcpredict: Trajectory prediction for heterogeneous trafﬁc-agents”, Association for the Advancement of Artiﬁcial Intelligence,
pp.6120–6127, 2019.
[27] S. Malla, B. Dariush, and C. Choi, “Titan: Future forecast using action priors”, Computer Vision and
Pattern Recognition, pp.11186–11196, 2020.
[28] H. Caesar, V. Bankiti, A. H. Lang, S. Vora, V. E. Liong, Q. Xu, A. Krishnan, Y. Pan, G. Baldan,
and O. Beijbom, “nuscenes: A multimodal dataset for autonomous driving”, Computer Vision and
Pattern Recognition, pp.11621–11631, 2020.
[29] T. Yagi, K. Mangalam, R. Yonetani, and Y. Sato, “Future person localization in ﬁrst-person videos”,
Computer Vision and Pattern Recognition, pp.7593–7602, 2018.
[30] N. Schneider, and D. M. Gavrila, “Pedestrian path prediction with recursive bayesian ﬁlters: A
comparative study”, German Conference on Pattern Recognition, pp.174–183, 2013.
[31] C. G. Keller, and D. M. Gavrila, “Will the pedestrian cross? a study on pedestrian path prediction”,
Transactions on Intelligent Transportation Systems, vol.15, no.2, pp.494–506, 2014.
[32] J. F. P. Kooij, N. Schneider, F. Flohr, and D. M. Gavrila, “Context-based pedestrian path prediction”,
European Conference on Computer Vision, pp.618–633, 2014.
[33] B. D. Ziebart, N. Ratliff, G. Gallagher, C. Mertz, K. Peterson, J. A. Bagnell, M. Hebert, A. K. Dey,and S. Srinivasa, “Planning-based prediction for pedestrians”, International Conference on Intelligent Robots and Systems, pp.3931–3936, 2009.
[34] V. Karasev, A. Ayvaci, B. Heisele, and S. Soatto, “Intent-aware long-term prediction of pedestrian
motion”, International Conference on Robotics and Automation, pp.2543–2549, 2016.
[35] A. Vemula, K. Muelling, and J. Oh, “Modeling cooperative navigation in dense human crowds”,
International Conference on Robotics and Automation, pp.1685–1692, 2017.

125

[36] O. Styles, T. Guha, and V. Sanchez, “Multi-camera trajectory forecasting with trajectory tensors”,
Transactions on Intelligent Transportation Systems, vol.44, no.11, pp.8482–8491, 2022.
[37] A. Mohamed, K. Qian, M. Elhoseiny, and C. Claudel, “Social-stgcnn: A social spatio-temporalgraph convolutional neural network for human trajectory prediction”, Computer Vision and Pattern
Recognition, pp.14424–14432, 2020.
[38] M. Moussaı̈d, N. Perozo, S. Garnier, D. Helbing, and G. Theraulaz, “The walking behaviour ofpedestrian social groups and its impact on crowd dynamics”, Public Library of Science, vol.5, no.4,
p.e10047, 2010.
[39] E. Kalman, Rudolf, “A new approach to linear ﬁltering and prediction problems”, journal of basic
engineering, vol.82, no.1, pp.35–45, 1960.
[40] C. Schöller, V. Aravantinos, F. Lay, and A. Knoll, “What the constant velocity model can teach us
about pedestrian motion prediction”, Robotics and Automation Letters, vol.5, no.2, pp.1696–1703,
2020.
[41] A. Møgelmose, M. M. Trivedi, and T. B. Moeslund, “Trajectory analysis and prediction for improved
pedestrian safety: Integrated framework and evaluations”, Intelligent Vehicles Symposium, pp.330–
335, 2015.
[42] A. Elnagar, “Prediction of moving objects in dynamic environments using kalman ﬁlters”, ComputerIntelligence in Robotics and Automation, pp.414–419, 2001.
[43] D. Helbing, and P. Molnar, “Social force model for pedestrian dynamics”, Physical review E, vol.51,
no.5, p.4282, 1995.
[44] G. Ferrer, and A. Sanfeliu, “Behavior estimation for a complete framework for human motion prediction in crowded environments”, International Conference on Robotics and Automation, pp.5940–
5945, 2014.
[45] S. Oli, B. L’Esperance, and K. Gupta, “Human motion behaviour aware planner (hmbap) for path
planning in dynamic human environments”, International Conference on Robotics and Automation,
pp.1–7, 2013.
[46] K. M. Kitani, B. D. Ziebart, J. A. Bagnell, and M. Hebert, “Activity forecasting”, European Conference on Computer Vision, pp.201–214, 2012.
[47] R. Nicholas, and K. K. Makoto, “First-person activity forecasting with online inverse reinforcement
learning”, International Conference on Computer Vision, pp.3716–3725, 2017.

126

[48] S. M. LaValle, and J. J. Kuffner, “Randomized kinodynamic planning”, International Journal of
Robotics Research, vol.20, no.5, pp.378–400, 2001.
[49] Y. LeCun, L. Bottou, Y. Bengio, and P. Ha ner, “Gradient-based learning applied to document recognition”, Proceedings of the IEEE, vol.86, no.11, pp.2278–2324, 1998.
[50] S. Hochreiter, and J. Schmidhuber, “LONG SHORT-TERM MEMORY”, Neural Computation, vol.9,
no.8, pp.1735–1780, 1997.
[51] J. Chung, C. Gulcehre, K. Cho, and Y. Bengio, “Empirical evaluation of gated recurrent neuralnetworks on sequence modeling”, arXiv, 2014.
[52] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. u. Kaiser, and I. Polosukhin, “Attention is all you need”, Advances in Neural Information Processing Systems, pp.5998–
6008, 2017.
[53] S. Bai, J. Z. Kolter, and V. Koltun, “An empirical evaluation of generic convolutional and recurrent
networks for sequence modeling”, arXiv, 2018.
[54] N. Lee, W. Choi, P. Vernaza, C. B. Choy, P. H. S. Torr, and M. Chandraker, “Desire: Distant future
prediction in dynamic scenes with interacting agents”, Computer Vision and Pattern Recognition,
pp.336-345, 2017.
[55] N. Deo, and M. M. Trivedi, “Convolutional social pooling for vehicle trajectory prediction”, Computer Vision and Pattern Recognition Workshop, pp.1581–1589, 2018.
[56] N. Bisagno, B. Zhang, and N. Conci, “Group lstm: Group trajectory prediction in crowded scenarios”, European Conference on Computer Vision Workshop, pp.213–225, 2018.
[57] S. Hao, Z. Zhiqun, and H. Zhihai, “Reciprocal learning networks for human trajectory prediction”,
Computer Vision and Pattern Recognition, pp.7416–7425, 2020.
[58] T. Fernando, S. Denman, S. Sridharan, and C. Fookes, “Gd-gan: Generative adversarial networks
for trajectory prediction and group detection in crowds”, Asian Conference on Computer Vision,
pp.314–330, 2018.
[59] V. Kosaraju, A. Sadeghian, R. Martı́n-Martı́n, I. Reid, H. Rezatoﬁghi, and S. Savarese, “Socialbigat: Multimodal trajectory forecasting using bicycle-gan and graph attention networks”, Advancesin Neural Information Processing Systems, pp.137–146, 2019.
[60] T. Salzmann, B. Ivanovic, P. Chakravarty, and M. Pavone, “Trajectron++: Dynamically-feasible
trajectory forecasting with heterogeneous data”, European Conference on Computer Vision, pp.683–
700, 2020.

127

[61] J. Li, F. Yang, M. Tomizuka, and C. Choi, “Evolvegraph: Multi-agent trajectory prediction with dynamic relational reasoning”, Advances in Neural Information Processing Systems, vol.33, pp.19783–
19794, 2020.
[62] C. Tao, Q. Jiang, L. Duan, and P. Luo, “Dynamic and static context-aware lstm for multi-agent
motion prediction”, European Conference on Computer Vision, pp.547–563, 2020.
[63] Y. Yuan, X. Weng, Y. Ou, and K. M. Kitani, “Agentformer: Agent-aware transformers for sociotemporal multi-agent forecasting”, International Conference on Computer Vision, pp.9813–9823,
2021.
[64] H. Tran, V. Le, and T. Tran, “Goal-driven long-term trajectory prediction”, Winter Conference on
Applications of Computer Vision, pp.796–805, 2021.
[65] H. Zhao, and R. P. Wildes, “Where are you heading? dynamic trajectory prediction with expert goal
examples”, International Conference on Computer Vision, pp.7629–7638, 2021.
[66] L. Shi, L. Wang, C. Long, S. Zhou, M. Zhou, Z. Niu, and G. Hua, “Sgcn: Sparse graph convolution
network for pedestrian trajectory prediction”, Computer Vision and Pattern Recognition, pp.8994–
9003, 2021.
[67] L. Ruochen, K. Stamos, and P. H. S. Hubert, “Multiclass-sgcn: Sparse graph-based trajectory prediction with agent class embedding”, International Conference on Image Processing, 2022.
[68] K. Guo, W. Liu, and J. Pan, “End-to-end trajectory distribution prediction based on occupancy gridmaps”, Computer Vision and Pattern Recognition, pp.2242–2251, 2022.
[69] L. Li, M. Pagnucco, and Y. Song, “Graph-based spatial transformer with memory replay for multifuture pedestrian trajectory prediction”, Computer Vision and Pattern Recognition, pp.2231–2241,
2022.
[70] N. Rhinehart, R. McAllister, K. Kitani, and S. Levine, “Precog: Prediction conditioned on goals invisual multi-agent settings”, International Conference on Computer Vision, pp.2821–2830, 2019.
[71] S. Yi, H. Li, and X. Wang, “Pedestrian behavior understanding and prediction with deep neuralnetworks”, European Conference on Computer Vision, pp.263–279, 2016.
[72] S. Huang, X. Li, Z. Zhang, Z. He, F. Wu, W. Liu, J. Tang, and Y. Zhuang, “Deep learning driven
visual path prediction from a single image”, IEEE Transactions on Image Processing, vol.25, no.12,
pp.5892–5904, 2016.
[73] A. Bhattacharyya, M. Fritz, and B. Schiele, “Long-term on-board prediction of people in trafﬁc
scenes under uncertainty”, Computer Vision and Pattern Recognition, pp.4194–4202, 2018.

128

[74] W. Luo, B. Yang, and R. Urtasun, “Fast and furious: Real time end-to-end 3d detection, tracking
and motion forecasting with a single convolutional net”, Computer Vision and Pattern Recognition,
pp.3569–3577, 2018.
[75] H. Minoura, T. Hirakawa, T. Yamashita, and H. Fujiyoshi, “Path predictions using object attributes
and semantic environment”, International Conference on Computer Vision Theory and Applications,pp.19–26, 2019.
[76] J. Hong, B. Sapp, and J. Philbin, “Rules of the road: Predicting driving behavior with a convolutionalmodel of semantic interactions”, Computer Vision and Pattern Recognition, pp.8454–8462, 2019.
[77] Y. Yao, M. Xu, C. Choi, J. D. Crandall, M. E. Atkins, and B. Dariush, “Egocentric vision-based
future vehicle localization for intelligent driving assistance systems”, International Conference on
Robotics and Automation, pp.9711–9717, 2019.
[78] O. Styles, A. Ross, and V. Sanchez, “Forecasting pedestrian trajectory with machine-annotated training data”, Intelligent Vehicles Symposium, pp.716–721, 2019.
[79] L. Fang, Q. Jiang, J. Shi, and B. Zhou, “Tpnet: Trajectory proposal network for motion prediction”,
Computer Vision and Pattern Recognition, pp.6797–6806, 2020.
[80] J. Liang, L. Jiang, and A. Hauptmann, “Simaug: Learning robust representations from simulation
for trajectory prediction”, European Conference on Computer Vision, pp.275–292, 2020.
[81] G. Francesco, H. Irtiza, C. Marco, and G. Fabio, “Transformer networks for trajectory forecasting”,
International Conference on Pattern Recognition, pp.10335–10342, 2021.
[82] K. Mangalam, Y. An, H. Girase, and J. Malik, “From goals, waypoints & paths to long term human
trajectory forecasting”, International Conference on Computer Vision, pp.15233–15242, 2021.
[83] L. Neumann, and A. Vedaldi, “Pedestrian and ego-vehicle trajectory prediction from monocularcamera”, Computer Vision and Pattern Recognition, pp.10204–10212, 2021.
[84] K. Sohn, H. Lee, and X. Yan, “Learning structured output representation using deep conditional
generative models”, Advances in Neural Information Processing Systems, pp.3483–3491, 2015.
[85] I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, and
Y. Bengio, “Generative adversarial nets”, Advances in Neural Information Processing Systems,
pp.2672–2680, 2014.
[86] B. Yu, H. Yin, and Z. Zhu, “Spatio-temporal graph convolutional networks: A deep learning framework for trafﬁc forecasting”, International Joint Conferences on Artiﬁcial Intelligence, pp.3634–
3640, 2018.

129

[87] M. T. Luong, H. Pham, and C. D. Manning, “Effective approaches to attention-based neural machinetranslation”, Empirical Methods in Natural Language Processing, pp.1412–1421, 2015.
[88] L. van der Maaten, and G. Hinton, “Visualizing data using t-SNE”, Journal of Machine Learning
Research, vol.9, pp.2579–2605, 2008.
[89] M. Ester, H. P. Kriegel, J. Sander, and X. Xu, “A density-based algorithm for discovering clusters
in large spatial databases with noise”, Knowledge Discovery and Data Mining, vol.96, pp.226–231,
1996.
[90] K. Xu, J. Ba, R. Kiros, K. Cho, A. Courville, R. Salakhutdinov, R. Zemel, and Y. Bengio, “Show,
attend and tell: Neural image caption generation with visual attention”, International Conference on
Machine Learning, pp.2048–2057, 2015.
[91] P. Veličković, G. Cucurull, A. Casanova, A. Romero, P. Lio, and Y. Bengio, “Graph attention networks”, International Conference on Learning Representations, 2018.
[92] J. Y. Zhu, R. Zhang, D. Pathak, T. Darrell, A. A. Efros, O. Wang, and E. Shechtman, “Toward multimodal image-to-image translation”, Advances in Neural Information Processing Systems, pp.465–
476, 2017.
[93] X. Wang, R. Girshick, A. Gupta, and K. He, “Non-local neural networks”, Computer Vision and
Pattern Recognition, pp.7794–7803, 2018.
[94] H. Zhao, J. Shi, X. Qi, X. Wang, and J. Jia, “Pyramid scene parsing network”, Computer Vision and
Pattern Recognition, pp.2881–2890, 2017.
[95] H. Geoffrey, V. Oriol, and D. Jeffrey, “Distilling the knowledge in a neural network”, NIPS Deep
Learning and Representation Learning Workshop, 2015.
[96] T. N. Kipf, and M. Welling, “Semi-supervised classiﬁcation with graph convolutional networks”,
International Conference on Learning Representations, 2017.
[97] R. Garg, V. K. B.G., G. Carneiro, and I. Reid, “Unsupervised cnn for single view depth estimation:
Geometry to the rescue”, European Conference on Computer Vision, pp.740–756, 2016.
[98] C. Godard, O. Mac Aodha, and G. J. Brostow, “Unsupervised monocular depth estimation with
left-right consistency”, Computer Vision and Pattern Recognition, pp.270–279, 2017.
[99] H. Dirk, “Stochastische methoden, nichtlineare dynamik und quantitative modelle sozialer prozesse”,
Shaker, 1993.

130

[100] D. K. Armen, and D. Ove, “Aleatory or epistemic? does it matter?”, Structural Safety, vol.31, no.2,
pp.105–112, 2009.
[101] A. George, B. Asad, C. Keith, L. Yooyoung, F. Jonathan, G. Afzad, J. David, D. Andrew, S. Alan,
G. Yvette, K. Wessel, Q. Georges, M. Joao, S. David, and B. Saverio, “Trecvid 2018: Benchmarking
video activity detection, video captioning and matching, video storytelling linking and video search”,
In TRECVID, 2018.
[102] N. Rhinehart, K. M. Kitani, and P. Vernaza, “R2p2: A reparameterized pushforward policy for diverse, precise generative path forecasting”, European Conference on Computer Vision, pp.772–788,
2018.
[103] O. Makansi, E. Ilg, O. Cicek, and T. Brox, “Overcoming limitations of mixture density networks:
A sampling and ﬁtting framework for multimodal future prediction”, Computer Vision and Pattern
Recognition, pp.7144–7153, 2019.
[104] T. Tieleman, and G. Hinton, “Lecture 6.5-rmsprop: Divide the gradint by a running average of
its recent magnitude”, COURSERA: Neural networks for machine learning, vol.4, no.2, pp.26–31,
2012.
[105] F. Altché, and A. de La Fortelle, “An lstm network for highway trajectory prediction”, International
Conference on Intelligent Transportation Systems, pp.353-0359, 2017.
[106] A. Houenou, P. Bonnifait, V. Cherfaoui, and W. Yao, “Vehicle trajectory prediction based on motion model and maneuver recognition”, International Conference on Intelligent Robots and Systems,
pp.4363–4369, 2013.
[107] D. Kang, Z. Ma, and A. B. Chan, “Beyond counting: Comparisons of density maps for crowd analysis tasks - counting, detection, and tracking”, Transactions on Circuits and Systems for Video Technology, vol.29, no.5, pp.1408–1422, 2018.
[108] V. A. Sindagi, and V. M. Patel, “A survey of recent advances in cnn-based single image crowd
counting and density estimation”, Pattern Recognition Letters, vol.107, pp.3–16, 2018.
[109] M. S. Zitouni, H. Bhaskar, J. Dias, and M. E. Al-Mualla, “Advances and trends in visual crowd
analysis: A systematic survey and evaluation of crowd modelling techniques”, Neurocomputing,vol.186, pp.139–159, 2016.
[110] Q. Wang, J. Gao, W. Lin, and Y. Yuan, “Learning from synthetic data for crowd counting in thewild”, Computer Vision and Pattern Recognition, pp.8198–8207, 2019.

131

[111] T. Y. Lin, P. Dollár, R. Girshick, K. He, B. Hariharan, and S. Belongie, “Feature pyramid networks
for object detection”, Computer Vision and Pattern Recognition, pp.2117–2125, 2017.
[112] Y. Fang, B. Zhan, W. Cai, S. Gao, and B. Hu, “Locality-constrained spatial transformer network forvideo crowd counting”, International Conference on Multimedia and Expo, pp.814–819, 2019.
[113] J. Gao, W. Lin, B. Zhao, D. Wang, C. Gao, and J. Wen, “C3 framework: An open-source pytorchcode for crowd counting”, arXiv, 2019.
[114] W. Liu, K. M. Lis, M. Salzmann, and P. Fua, “Geometric and physical constraints for drone-basedhead plane crowd density estimation”, International Conference on Intelligent Robots and Systems,
2019.
[115] D. Ha, and J. Schmidhuber, “Recurrent world models facilitate policy evolution”, Advances in Neural Information Processing Systems, pp.2450–2462, 2018.
[116] K. H. Zeng, W. B. Shen, D. A. Huang, M. Sun, and J. Carlos Niebles, “Visual forecasting by imitating
dynamics in natural sequences”, International Conference on Computer Vision, pp.2999–3008, 2017.
[117] V. Nair, and G. E. Hinton, “Rectiﬁed linear units improve restricted boltzmann machines”, International Conference on Machine Learning, pp.807–814, 2010.
[118] D. P. Kingma, and J. Ba, “Adam: A method for stochastic optimization”, International Conference
on Learning Representations, 2015.
[119] T. Y. Lin, M. Maire, S. Belongie, J. Hays, P. Perona, D. Ramanan, P. Dollár, and C. L. Zitnick,“Microsoft coco: Common objects in context”, European Conference on Computer Vision, pp.740–
755, 2014.
[120] Y. Niitani, T. Ogawa, S. Saito, and M. Saito, “Chainercv: a library for deep learning in computer
vision”, ACM International Conference on Multimedia, 2017.
[121] D. Roy, T. Ishizaka, C. K. Mohan, and A. Fukuda, “Vehicle trajectory prediction at intersections
using interaction based generative adversarial networks”, International Conference on Intelligent
Transportation Systems, pp.2318–2323, 2019.
[122] P. Chakraborty, A. Sharma, and C. Hegde, “Freeway trafﬁc incident detection from cameras: A
semi-supervised learning approach”, International Conference on Intelligent Transportation Systems,
pp.1840–1845, 2018.
[123] A. Bewley, Z. Ge, L. Ott, F. Ramos, and B. Upcroft, “Simple online and realtime tracking”, International Conference on Image Processing, pp.3464-3468, 2016.

132[124] N. Deo, and M. M. Trivedi, “Scene induced multi-modal trajectory forecasting via planning”, arXiv,
2019.
[125] H. Soo Park, J. J. Hwang, Y. Niu, and J. Shi, “Egocentric future localization”, Computer Vision and
Pattern Recognition, pp.4697–4705, 2016.
[126] S. Becker, R. Hug, W. Húbner, and M. Arens, “Red: A simple but effective baseline predictor for the
trajnet benchmark”, European Conference on Computer Vision Workshop, pp.138–153, 2018.
[127] A. Graves, “Generating sequences with recurrent neural networks”, arXiv, 2013.
[128] F. A. Aveni, “The not-so-lonely crowd: Friendship groups in collective behavior”, Sociometry,vol.40, no.1, pp.96–99, 1977.
[129] D. Xie, S. Todorovic, and S. C. Zhu, “Inferring “dark matter” and “dark energy” from videos”,
International Conference on Computer Vision, pp.2224–2231, 2013.
[130] E. T. Hall, The Hidden Dimension, Anchor Books, 1966.
[131] H. Cui, V. Radosavljevic, F. C. Chou, T. H. Lin, T. Nguyen, T. K. Huang, J. G. Schneider, andN. Djuric, “Multimodal trajectory predictions for autonomous driving using deep convolutional networks”, International Conference on Robotics and Automation, pp.2090-2096, 2019.

133

研究業績一覧

学術論文[1] Hiroaki Minoura, Tsubasa Hirakawa, Yusuke Sugano, Takayoshi Yamashita, Hironobu Fujiyoshi,“Utilizing Human Social Norms for Multimodal Trajectory Forecasting via Group-based Forecasting Module,” IEEE Transactions on Intelligent Vehicles (T-IV), 2022.
[2] 箕浦 大晃, 平川 翼, 山下 隆義, 藤吉 弘亘, “Deep Learning を用いた移動物体間のインタラクショ
ンを考慮した経路予測の研究動向,” 電子情報通信学会, Vol.J105-D, No.5, pp.372–404, 2022.

[3] Hiroaki Minoura, Ryo Yonetani, Mai Nishimura, Yoshitaka Ushiku, “Crowd Density Forecasting byModeling Patch-based Dynamics,” IEEE Robotics and Automation Letters (RA-L), Vol.6, Issue.2,
pp.287–294, 2021.
[4] 箕浦 大晃, 平川 翼, 山下 隆義, 藤吉 弘亘, “移動対象の属性と環境情報を導入した LSTM による経路予測,” 精密工学会誌, Vol.86, No.12, pp.961–968, 2020.

国際会議発表論文[1] Hiroaki Minoura, Tsubasa Hirakawa, Takayoshi Yamashita, Hironobu Fujiyoshi, “Understanding of
Feature Representation in Convolutional Neural Networks and Vision Transformer,” The 18th International Conference on Computer Vision Theory and Application (VISAPP, Oral), 2022.
[2] Yuzhi Shi, Hiroaki Minoura, Tsubasa Hirakawa, Takayoshi Yamashita, Hironobu Fujiyoshi, Mitsuru
Nakazawa, Yeongnam Chae, Björn Stenger, “Action Spotting in Soccer Videos Using Multiple Scene
Encoders,” The 26th International Conference on Pattern Recognition (ICPR, Oral), 2022.
[3] Hiroaki Minoura, Tsubasa Hirakawa, Takayoshi Yamashita, Hironobu Fujiyoshi, Mitsuru Nakazawa,
Yeongnam Chae, Björn Stenger, “Action Spotting and Temporal Attention Analysis in Soccer Videos,”The 17th International Conference on Machine Vision Applications (MVA, Oral), 2021.

134

[4] Masaki Miyata, Katsutoshi Shiraki, Hiroaki Minoura, Tsubasa Hirakawa, Takayoshi Yamashita, Hironobu Fujiyoshi, “Relational Subgraph for Graph-based Path Prediction,” The 17th International
Conference on Machine Vision Applications (MVA, Poster), 2021.
[5] Hiroaki Minoura, Tsubasa Hirakawa, Takayoshi Yamashita, Hironobu Fujiyoshi, “Path predictions
using object attributes and semantic environment,” The 14th International Conference on Computer
Vision Theory and Application (VISAPP, Oral), 2019.

国内会議発表論文[1] 箕浦 大晃, 平川 翼, 山下 隆義, 藤吉 弘亘, “ViT の派生手法はどのような特徴表現を獲得しているか?,” 第 25 回 画像の認識・理解シンポジウム (MIRU, Poster), 2022.

[2] 箕浦 大晃, 平川 翼, 山下 隆義, 藤吉 弘亘, “Group-based Forecasting Module による歩行者の社会的相互作用を考慮したマルチモーダルな軌跡予測,” 自動車技術会 2022 年春季大会, 2022.

[3] 伊佐 稜, 白木 克俊, 箕浦 大晃, 平川 翼, 山下 隆義, 藤吉 弘亘, “物体追跡による経路データセットの自動生成,” 電気・電子・情報関係学会 東海支部連合大会, 2021.

[4] 箕浦 大晃, 平川 翼, 菅野 裕介, 山下 隆義, 藤吉 弘亘, “Group-based Forecasting Module による歩行者の社会的相互作用を考慮したマルチモーダルな軌跡予測,” 第 24 回 画像の認識・理解シン
ポジウム (MIRU, Short Oral), 2021.

[5] 宮田 昌樹, 白木 克俊, 箕浦 大晃, 平川 翼, 山下 隆義, 藤吉 弘亘, “関係性部分グラフを用いた Graph
Convolutional Network による経路予測,” 第 24 回 画像の認識・理解シンポジウム (MIRU, Poster),
2021.
[6] Yuzhi Shi, Hiroaki Minoura, Tsubasa Hirakawa, Takayoshi Yamashita, Hironobu Fujiyoshi, “Action
Spotting in Soccer Videos via Transformer with Past and Future Encoders,” The 24rd Meeting on
Image Recognition and Understanding (MIRU, Poster), 2021.
[7] 箕浦 大晃, 平川 翼, 山下 隆義, 藤吉 弘亘, “Deep Learning を用いた経路予測の研究動向,” 電子情報通信学会技術報告, パターン認識・メディア理解研究会 (PRMU, Presentation), 2020.

[8] 箕浦 大晃, 米谷 竜, 西村 真衣, 牛久 祥孝, “パッチベースモデルによる群衆予測,” 第 23 回 画像の認識・理解シンポジウム (MIRU, Poster), 2020.

[9] 箕浦 大晃, 平川 翼, 山下 隆義, 藤吉 弘亘, “衝突インタラクションを考慮した経路予測における評価指標の提案,” 第 23 回 画像の認識・理解シンポジウム (MIRU, Poster), 2020.

135

[10] 箕浦 大晃, 平川 翼, 山下 隆義, 藤吉 弘亘, “Dilated Causal Convolution を用いた移動物体の経路予測に関する研究,” 新学術領域研究 生物移動情報学 (Poster), 2019.

[11] 箕浦 大晃, 平川 翼, 山下 隆義, 藤吉 弘亘, “移動対象の属性と環境情報を導入した LSTM による経路予測,” 第 24 回 画像センシングシンポジウム (SSII, Poster), 2018.

[12] 箕浦 大晃, 平川 翼, 山下 隆義, 藤吉 弘亘, “移動対象の属性と環境情報を導入した LSTM による経路予測,” 新学術領域研究 生物移動情報学 (Poster), 2018.

学術表彰[1] 2022 年

電子情報通信学会東海支部 学生研究奨励賞.

題目：Deep Learning を用いた移動物体間のインタラクションを考慮した経路予測の研究動向

書籍[1] 箕浦大晃 (3 章, 6 章担当)
[2] 箕浦大晃 (4 章担当)

Vision Transformer 入門, 技術評論社 ISBN 978-4-297-13058-9, 2022.

コンピュータビジョン最前線 Summer 2022, 共立出版 ISBN 9784320125445,

2022.

136