73

test_debug&backpropあり
pre-trainあり

4.29390.42900.37450.13512.0035122_openpose

test&backpropなし

4.8296

0.42380.38780.12591.692430.8

loss

Recurrent Mixture Density Network による歩行者の目的地予測
EP14007 2家崎遥
歩行者検出は，現時刻における歩行者の位置を求める問題であり，自動運転の安全性を高める上で重要な技術である．一方で，観測したフレーム時刻の歩行者の位置だけでなく，未来フレームでの歩行者の経路を予測することが，高度な自動運転の実現に求められている．そこで本研究では，車載カメラ映像中から歩行者の目的地を予測する手法を提案する．

3. 評価実験
10loss

1. はじめに0.6

指導教授：山下隆義
0.4

提案手法の有効性を Daimler Pedestrian Benchmark
0.2
Data Sets を用いて評価する．

3.1. 実験概要

0Error [m]畳み込み層3層pre-trainあり
pre-trainあり
本実験では，VGG19
68 本の動画像を10 フレームごとに分割しVGG19&backpropあり &backpropなしたものを 1 サンプルとする．学習サンプルは 7,997 サンプ
ル，テストは 3,552 サンプルである．
再帰的な構造の有無による効果を確認するために，MDN
x,y座標ともに正規化の実験結果
2. 提案手法
1とRMDN1回)の比較をする．また，事前学習モデルの効果を(Augmentation
誤差
ニューラルネットワークを用いて確率分布を出力する手誤差
誤差単位[m]確認するために，RMDNの CNNとして畳み込み層
3y座標層
L2 norm
x座標
平均誤差
平均誤差
L2nr
法として，Mixture Density Network (MDN)[1] にするためが提案
121test
畳み込み層3層
11.216
4.717
1.237
4.265
20.118と，事前学習モデルを導入しない
VGG19を用いる手法と結果を10倍30.421
2.153
1.206
1.554
16345
73_vgg19
test
VGG19
されている．本研究では，人の動きを考慮するために再帰してあります
事前学習モデル
73_pre- の比較を行う．評価指標は，世界座標系での予測分布の平的な構造を加えた Recurrent Mixture Density Network train_backari
test_debug
19.146
1.838
1.106
1.221
14.560
均と真値の誤差 [m] である．
事前学習モデル(RMDN) を導入し，求めた確率分布から目的地の予測を
23.615
2.443
0.779
2.147
16.214
122_openpose
test(重みの更新なし)
3.2.
実験結果実現する．
事前学習モデル
予測精度の比較結果を図2 に示す．MDNは RMDNと16.100
16.222
1.528(MDN)
2.1.Recurrent Mixture Density Network比較して，誤差が大きいことがわかる．また，RMDN に事前学習モデル
提案手法で用いる RMDN のネットワーク構造を図 1 において，畳み込み層(重みの更新あり)3 層を用いる手法は，VGG19 および示す．まず，車載カメラ映像のフレームを Convolutional
事前学習モデルを導入する VGG19 と比べて誤差が大きい．
Neural Network (CNN) へ入力し，特徴量を抽出する．抽
事前学習モデルを導入すると，事前学習モデルを導入しな出した特徴量と世界座標系での歩行者位置を Long Shortい VGG19 に比べ，予測誤差を減少させることができた．
25
Term Memory (LSTM) へ入力する．LSTM を用いるこ20とで，時系列変化に頑健な予測を可能とする．RMDN に
16.22215
各フレームの画像を逐次入力すると，10 フレーム後に対象10が到達する目的地の確率分布を求める．
4.717

t+11t+10timeDestination
Map byMDNμ∑μt+12∑

52.1530μ ∑畳み込み層3層(RMDN)
ht+1, Ct+1++ht+2, Ct+2+ht, Ct

LSTM
concatpedestriancoordinatesFC

事前学習モデル 事前学習モデル(MDN)

図 2 : 評価結果
図 3 に RMDN と MDN の予測精度の比較を示す．RMDN
は，過去の経路情報を考慮することができるため，確率分布の分布が小さく，予測精度が良いことがわかる．
4FC

CNN

真値

high

(xt+1, yt+1)(xt , yt)ttimet+1(xt+2, yt+2)

図 1 : 提案手法のネットワーク構造
世界座標系での歩行者の位置を x，歩行者の進行方向をψ としたとき，目的地の確率分布は式 (1) で表すことができる．
p(x, ψ) =N∑1(1πi √exp − (x − µi )T Σ−1i (x − µi )2|2πΣ|ii=1)

1exp(κi cos(ψ − γi ))2πI0 (κi )(1)2

図 3 : RMDN と MDN の比較
図 4 に RMDN による目的地の確率分布例を示す．畳み
1.838
2.443
0
込み層 3 層では，真値と予測分布の平均が大きくずれてい事前学習モデル
事前学習モデル(重みの更新あり)(重みの更新なし)る．一方，事前学習モデルは，VGG19 と比較して真値に近い目的地を予測できている．

x,y座標ともに正規化の実験結果=πi=exp(sx,i )tanh (ri ) exp(sx,i ) exp(sy,i )tanh (ri ) exp(sx,i ) exp(sy,i )
exp(sy,i )2]

exp (pi )∑N

j=1exp(pj )γi=gi

κi=exp(ki )

誤差

平均誤差
9.424

L2 norm
4.864

20.1861.952(重みの更新あり) 19.049
事前学習モデル

1.845

畳み込み層3層

lowlow

誤差
x座標
1.177

20.277
VGG19

2.518

図 4 : 予測結果例

highy座標4.460

平均誤差22.867

L2nr
4.44

1.059

1.385

13.559

1.25

1.073

1.271

14.256

1.02

2.374

11.842

1.59

low
high

low

low

(重みの更新なし)
畳み込み3層入力

highhigh

VGG19
事前学習モデル

真値

low0.551

事前学習モデル(κi > 0)2.2. 歩行者に着目した事前学習モデルの活用
歩行者に注目した特徴量を抽出することで予測精度の向上が期待できる．本研究では，Zhe ら [2] が提案する姿勢推定手法の特徴抽出部 (VGG19) を事前学習モデルとして提案手法の CNN 部分に活用する．

本研究では，RMDN を導入した歩行者の目的地予測手法を提案した．歩行者に着目した特徴量を抽出するために
7
姿勢推定手法の事前学習モデルを用いることで，より高精5.6度な予測を実現した．今後は，複数の経路に対応した歩行4.2者の目的地予測について検討する．

参考文献 2.8
Error [m]Σihighhigh

4. おわりに(mx,i , my,i )T
2

事前学習モデル
(MDN)

事前学習モデル(RMDN)

1

予測するフレーム画像[highlowlow

予測するフレーム画像

2(Augmentation なし)
ここで µi 及び Σi はそれぞれ 2 変量正規分布の平均と共分散行列である．また，γi 及び κi はそれぞれフォン・ミーゼ誤差単位[m]testにするため
ス分布の平均の向きと尖度である．予測する目的地は1 点 122
結果を10倍であるため，1 つの正規分布により目的地を予測する．よっ
してあります 73_vgg19
testて，重ね合わせ数は N = 1，混合する際の重みを πi とす 73_pretrain_backari
test_debug
る．これらのパラメータは，ネットワークの出力ユニットの値 {mx , my , sx , sy , r, p, k, g}i ，(i =1,…, N ) を用いて次 122_openpose testのように求められる．
=

入力

3t+2

Error [m]input
an image

µi

1.838

VGG19

1.4
[1] C. M. Bishop,“Mixture Density Network”, Technical Re4.864
1.952
1.845
2.518
port, AstonUniversity,
1994.
0[2] Z. Cao,-1.4
et al., “Realtime Multi-Person 2D Pose Estimation using
Part Aﬃnity Fields”, CVPR, pp. 7291-7299,
-2.8
2017.
-4.2

畳み込み層3層

VGG19

事前学習モデル 事前学習モデル(重みの更新あり) (重みの更新なし)