DEIM Forum 2019 D6-4

時空間データの関係性を柔軟に捉えるための RNN アテンションモデル
井上 嵩史†

岩田 具治††澤田宏††† 奈良先端科学技術大学院大学情報科学研究科情報科学専攻 〒 630–0192 奈良県生駒市高山町 8916-5†† NTT コミュニケーション科学基礎研究所 〒 619–0237 京都府相楽郡精華町光台 2-4
E-mail: †inoue.takashi.in6@is.naist.jp, ††{iwata.tomoharu, sawada.hiroshi}@lab.ntt.co.jp
あらまし

近年，都市化が進み世界中の都市部において混雑や遅延が問題となっている．混雑や遅延の根本的な原因の一つとして挙げられるのは，人々の複雑な移動である．人々の移動を予測することが混雑や遅延の問題を克服する
上で効果的であると考えられる．アテンション機構を適応した Recurrent Neural Network(RNN) を用いて，時空間
データの関係性を捉えることにより予測精度を向上させる研究が提案されている．しかし，人々の分布を予測する上で，RNN における予測したい場所の現時刻の hidden layer の出力と異なる場所の過去の時刻の hidden layer の出力との関係性を捉えた手法は提案されていない．そこで，本研究ではアテンション機構を用いて時空間データの関係性を柔軟に捉える RNN アテンションモデルを提案する．提案法において，予測したい場所の時系列データとは異なる
場所の時系列データを参照することが確認された．また，提案法により時空間データの関係性を柔軟に捉えることは予測精度を向上させる上で有効であることが確認された．
キーワード

時系列解析，時空間データ，人口予測，アテンション機構，RNN，ディープラーニング，データマイニ

ング
構を用いて捉えることにより予測精度を向上させている．しか1 はじめに
近年，都市部に移り住む人々が増加したり，都市域ではなかった地域が都市になったりする都市化が顕著になっている [8]．都
市化により起きる問題として混雑や遅延などが挙げられる．混雑や遅延は都市化が進んでいる地域において世界的にも問題となっており [3] 早急に手を打たねばならない課題である．
混雑や遅延の原因として，事故や災害などの異常事態が挙げられるが，根本的な原因の一つとして人々の複雑な移動が挙げられる．人々の複雑な移動が連鎖して混雑，遅延が生じるのは想像に難くない．
人々の移動を予測することが現状の問題点を克服するためには効果的であると考えられる．予測値に基づき誘導員を適切な場所に配置したり，適切なタイミングに人々を誘導するための放送を流したりする技術が現状では検討されている [6]．混雑や遅延を未然に防ぐためには，人々の移動を予測することが一つの解決策であり，予測精度を上げることが求められる．
人々の移動を予測する先行研究は，主にシミュレーションを用いた予測手法 [2, 9] と機械学習を用いた予測手法 [1, 7, 11] に分かれる．本研究では，機械学習を用いた予測モデルを提案する．
機械学習は実データを扱うため，より実用性のある予測ができる．機械学習を用いて時空間データを予測する手法が Vemulaらの論文 [10] にて提案されている．この論文では，Recurrent

Neural Network（RNN）モデルにアテンション機構を応用し予測精度を向上させている．
先行研究 [10] では，人々の移動を予測するにあたって，予測し，時空間データを扱うにあたって現時刻の hidden layer の出
力のみにアテンション機構を応用させることは時空間データを活かしきれているとはいえない．そのため，時空間データを活かしきるには過去の hidden layer の出力も考慮に入れるべきである．
そこで，本研究にて先行研究において考慮されていなかった
予測したい場所における現時刻の hidden layer の出力と異なる場所における過去の時刻の hidden layer の出力との関係性を柔軟に捉える RNN アテンションモデルを提案する．先行研究においても活用されているアテンション機構を異なる場所まで拡張することにより時空間データの関係性をより広範囲に捉えられるため，予測精度の向上が見込まれる．また，本研究にて仮想的な時空間データをアテンションスコアを算出する際に加えた．予測したい場所と異なる場所の hidden layer の出力が関係性がない場合，仮想的な場所の hidden layer の出力を参照させることにより予測精度向上を図る．
本論文において以下のような構成をとる．2 節にて，まず提案法のベースとなる従来法の詳細について述べる．その後に提案法の詳細について述べる．3 節にて，本研究で扱う実データの詳細や提案法と従来法の予測結果を示す．4 節にて，提案法と従来法の予測結果の考察を述べる．また，仮想的な場所を加えた場合による予測の考察も述べる．5 節にて，結論を述べる．

2 方法

2. 1 従 来 法

したい場所における現時刻の hidden layer の出力と異なる場

2. 1. 1 RNN モデル

所における hidden layer の出力との関係性をアテンション機

まず，本研究にて扱う RNN モデルを説明する．L 地点ある

図 2 アテンションモデル

図 1 RNN モデル

時系列データの中の地点 ℓ の時系列データを用いた予測を図 1

ベクトル cℓt は，に示す．ある時刻 t の hidden layer の k 番目のユニットの出力

cℓt =hℓtk は，

t−1∑

aℓi,t hℓi

(5)

i=1
ℓ
hℓtk = f1 (w1k xℓt + w⊤
2k ht−1 + b1k )(1)である．ここで，attention layer におけるアテンションスコア

と表現できる．w1k は，input layer と hidden layer 間のデー

aℓi,t は，softmax 関数によって算出される．

タ xℓt における重みとする．式 (1) の添え字 k は hidden layerの k 番目のユニットを示す．そして， w2k は要素数 K の重み

aℓi,t = softmax( hℓiベクトルとする．b1k は，バイアスである． hℓt−1 は要素数 K⊤⊤

exp( hℓi hℓt )hℓt ) = ∑t−1ℓ⊤
hℓt )j =1 exp( hj(6)の一時刻前の hidden layer の出力ベクトルとする．f1 (x ) は非

そして，concatenation layer において attention layer にて算

線形関数 ReLU(x ) である．

出された値と現時刻の hidden layer の出力を連結し，要素数ℓf1 (x) = ReLU(x) = max(0, x)

2K の出力ベクトル h̃t = [ hℓt ; cℓt ] を算出する．concatenation(2)

要 素 数 K の hidden layer の 出 力 ベ ク ト ル は ， hℓtlayer において算出された値を用いて，output layer における=出力値 x̃ℓt+1 を以下の式により算出する．

[hℓt1 , . . . , hℓtk , . . . , hℓtK ]T である．そして，output layer におけℓx̃ℓt+1 = f1 ( w⊤
4 h̃t + b2 )る出力値 x̃ℓt+1 は，ℓ
x̃ℓt+1 = f2 ( w⊤
3 ht + b2 )(3)である．このとき， w3 は output layer における要素数 K の
重みベクトル，b2 はバイアスである．f2 (x ) は非線形関数である．そして，RNN モデルにおける目的関数 C は，以下のよう(7)

このとき， w4 は output layer における要素数 2K の重みベク
トル，b2 はバイアスである．また，アテンションモデルにおいても式 (4) に示す目的関数 C を最適化する．

2. 2 提 案 法
本研究では，従来の予測モデル [10] において考慮されていなに表現する．
T∑
1
C=|| xt − x̃t ||2L(T − 1) t=2

かった時空間データの関係性を捉えるための予測モデルを提案(4)T
式 (4) における xt = [x1t , . . . , xLt ] は時刻 t における要素数 LTの正解値ベクトルである．そして，x̃t = [x̃1t , . . . , x̃Lt ] は時刻する．提案法は，RNN モデルにおいてアテンション機構を応用させた予測モデルである．従来法は，予測したい場所における現時刻の hidden layer の出力と異なる場所における過去の時
刻の hidden layer の出力との関係性を捉えていない．そこで，

t における要素数 L の output layer の出力ベクトルである．T

アテンションスコアを用いてそれらの関係性を捉え予測精度のは出力層における予測値の最終時刻とする．

向上を図る．提案法では，予測したい場所の周囲の時系列デー

2. 1. 2 アテンションモデル

タを活用した．先行研究においても予測したい場所の周囲の時

次に，RNN にアテンション機構を用いた場合の予測モデル

系列データがより影響が大きいため，予測したい場所から離れを図 2 に示す．図 2 のように従来のアテンション機構 [5] では，た時系列データは無視していた [4]．具体的には，図 3 に示す

過去の時刻の hidden layer の出力と現時刻の hidden layer のように予測したい場所の周囲の時系列データを活用した．各時出力を用いて attention layer においてアテンションスコアを算

系列データに 0∼7 の番号を本研究では振った．提案法のアテ出し，concatenation layer において現時刻の hidden layer のンション機構では，図 4 に示すように予測したい場所の時系列

出力を連結させることによりアテンションが適応された hidden

データのみではなく異なる場所の時系列データも参照する．提layer の出力を得る．attention layer における要素数 K の出力案法では，式 (5) と同様の計算を行うが，以下のように拡張さ図3

提案法にて用いるデータの範囲

i=1

aℓi,t hℓi +

M
−1
∑

t−1
∑

図7 中部近郊

図8 北京近郊ℓx̃ℓt+1 = f1 ( w⊤
4 h̃t + b2 )(12)

このとき， w4 は output layer における要素数 2K の重みベクれた要素数 K の出力ベクトル c̃ℓt を算出する．
t−1∑

図6 関西近郊する．

図4 提 案 法c̃ℓt =

図5 関東近郊トル，b2 はバイアスである．また，提案法においても式 (4) に
mℓ
ℓ
amℓ
+ aM
hM
j,t hjt(8)

示す目的関数 C を最適化する．

m=0 j=t−LAG

提案法では，図 4 に示すように周囲の時系列データの過去の時
刻数を LAG とした．LAG とすることにより，周囲の情報をヒューリスティックに調整することが可能である．そして，Mは周囲の場所の数を表す．式（8）における m は図 3 における番号を示す．提案法では M = 8 とした．このとき，m = M =8 として仮想的な Haven Area を本研究では加えた．予測したい地点（Target Area）の人口が周囲の地点の人口と関係性が無い場合，Haven Area の情報と関係性を持たせることによって，予測精度の低下を防ぐ．式 (8) の第三項（Haven Area）において hM は要素数 K のゼロベクトルとする．同様に式 (6)のアテンションスコアも提案法では以下のように算出する．
⊤
aℓi,t = softmax( hℓi hℓt )

(9)

3 実

験

3. 1 データセット
本研究では，提案法を評価するために人口データを用いて実験した．関東近郊と関西近郊と中部近郊と北京近郊の人口データを扱った．人口データは各地点 30 分ごとに一日分が集計されている．例えば，地点 ℓ では人口データ xℓ = [xℓ1 , . . . , xℓt , . . . , xℓ48 ]⊤が一日分集計されている．xℓt は，地点 ℓ 周りの 5km 四方の範囲の時刻 t における人口を表している．ただし，北京近郊の人
口データのみ 1km 四方の範囲内が計測されている．本研究では，図 5 1 ，図 6 1 ，図 7 1 ，図 8 1 の赤枠内の地点の人口を予測するが，提案法では赤枠に隣接した地点も考慮するためその地点においては人口データ xℓ がゼロベクトルとなるように初期化した．また，本研究では，時系列を考慮し各エリアの人口デー

mℓamℓj,t = softmax( hjℓaM= softmax( hMt⊤⊤

タをトレーニングデータ，バリデーションデータ，テストデー

hℓt )

(10)

hℓt )

(11)

そして，concatenation layer においても従来法のアテンションℓモデルと同様に結合し要素数 2K の出力ベクトル h̃t = [ hℓt ; c̃ℓt ]を算出する．concatenation layer において算出された値を用いて，output layer における出力値 x̃ℓt+1 を以下の式にて算出

タに分割した．
関東近郊の人口データ

トレーニングデータを 2013 年 7 月 1日（月），2013 年 7 月 7 日（日），2013 年 10 月 7 日（月），2013 年 10 月 13 日（日）の 4 日間，バリデーションデータを2013 年 12 月 16 日（月）の 1 日間，テストデータを 2013 年
1：https://openstreetmap.jp/

12 月 22 日（日）の 1 日間とした．

（proposed(LAG = 2, haven)） 提案法における LAG =

2 のときの Haven Area が加えられた予測モデルである．
関西近郊の人口データ トレーニングデータを 2013 年 8 月 8日（木），2013 年 8 月 11 日（日），2013 年 9 月 16 日（月），提案法（LAG = 3, haven）

2013 年 9 月 22 日（日）の 4 日間，バリデーションデータを（proposed(LAG = 3, haven)） 提案法における LAG =2013 年 12 月 24 日（火）の 1 日間，テストデータを 2013 年

3 のときの Haven Area が加えられた予測モデルである．

12 月 29 日（日）の 1 日間とした．
提案法（LAG = ALL, haven）
中部近郊の人口データ トレーニングデータを 2013 年 7 月 22

（proposed(LAG = ALL, haven)） 提 案 法 に お け る

日（月），2013 年 7 月 28 日（日），2013 年 9 月 16 日（月），LAG = ALL のときの Haven Area が加えられた予測モデ

2013 年 9 月 22 日（日）の 4 日間，バリデーションデータをルである．周囲の場所の過去の情報全てを含めるものとする．

2013 年 12 月 24 日（火）の 1 日間，テストデータを 2013 年
12 月 29 日（日）の 1 日間とした．

RNN の各 hidden layer のユニット数をエリアごとに選択した．
バリデーションデータにおける目的関数の値が一番小さかった

北京近郊の人口データ トレーニングデータを 2008 年 2 月 2

ときの hidden layer のユニット数を選択した．学習係数 0.001

日（土），2008 年 2 月 3 日（日），2008 年 2 月 4 日（月），2008の Adam を用いて提案法を最適化した．本研究においてはミニ

年 2 月 5 日（火）の 4 日間，バリデーションデータを 2008 年 2

バッチ学習を行った．ミニバッチサイズは関東近郊の人口デー

月 6 日（水）の 1 日間，テストデータを 2008 年 2 月 7 日（木）タでは 489，関西近郊の人口データでは 944，中部近郊の人口の 1 日間とした．

データでは 711，北京近郊の人口データでは 1209 と各エリアの地点数とした．

関東近郊，関西近郊，中部近郊，北京近郊の人口データのそれ
ぞれの日は，489 地点分，944 地点分，711 地点分，1209 地点
分の 48 時刻分が含まれている．

3. 2 提案法の条件設定
本研究では，従来法と比較するため複数の提案法を検討した．

3. 3 比較手法の条件設定
提案法の有用性を確認するために複数の従来手法を用意した．
コピーモデル（Copy） 一時刻前のデータを予測値とするモデルである．

以下の 8 種類の提案法を考えた．
平均モデル（Avg.） トレーニングデータ 4 日間の各地点各時
提案法（LAG = 1）（proposed(LAG = 1)） 提案法にお刻の平均値を予測値とするモデルである．

ける LAG = 1 のときの予測モデルである．ただし，Haven

Area は加わっていないものとする．

自己回帰モデル（AutoRegressive: AR） 一時刻前のデー
タを参照する自己回帰モデルである．

提案法（LAG = 2）（proposed(LAG = 2)） 提案法における LAG = 2 のときの予測モデルである．ただし，Haven

ニューラルネットワークモデル（Neural Network: NN）

Area は加わっていないものとする．

input layer, hidden layer と output layer の三層から成るニュー
ラルネットワークモデルである．hidden layer の非線形関数は提案法（LAG = 3）（proposed(LAG = 3)） 提案法におReLU 関数とした．また，output layer では線形回帰を行い予ける LAG = 3 のときの予測モデルである．ただし，Haven

測値を算出した．

Area は加わっていないものとする．
リカレントニューラルネットワークモデル
提案法（LAG = ALL）（proposed(LAG = ALL)） 提案（Recurrent Neural Network: RNN） 提案法において法における LAG = ALL のときの予測モデルである．周囲の場も用いられる RNN とし，output layer では線形回帰を行い予所の過去の情報全てを含めるものとする．ただし，Haven Area

測値を算出した．

は加わっていないものとする．
アテンションモデル（conventional Attention） タ ー ゲッ
提案法（LAG = 1, haven）

トエリアの過去の hidden layer の出力のみを参照するアテ（proposed(LAG = 1, haven)） 提案法における LAG =ンションモデルである．リカレントニューラルネットワークモ

1 のときの Haven Area が加えられた予測モデルである．

デル同様 output layer では線形回帰を行い予測値を算出した．

提案法（LAG = 2, haven）

そして，提案法と同様の条件下で比較手法を最適化した．

表 1 提案法とベースラインの平均二乗誤差の比較
Model

Kanto Kansai Chubu Beijing

Copy

21.376

2.081

1.180

3.776

Avg.

335.434

12.635

6.331

51.039AR

21.372

2.081

1.178

3.728

NN

21.304

2.046

1.167

3.709

RNN

9.743

1.906

1.036

3.048

conventional Attention

9.691

1.856

1.014

3.042

proposed(LAG = 1)

9.806

1.819

1.035

3.009

proposed(LAG = 2)

9.721

1.856

1.028

3.009

proposed(LAG = 3)

9.850

1.838

1.027

3.011

proposed(LAG = ALL)

11.937

1.823

1.054

3.342

proposed(LAG = 1, haven)

9.637

1.849

1.010

3.013

proposed(LAG = 2, haven)

9.738

1.840

1.007

3.014

proposed(LAG = 3, haven)

9.658

1.815

1.028

3.009

proposed(LAG = ALL, haven)

13.730

1.838

1.031

3.343

表 2 Haven Area のアテンションスコアが 0 より大きい地点における提案法とベースラインの絶対誤差の比較

Modelconventional Attention

Kanto
0.036

proposed(LAG = 1)

0.025

proposed(LAG = 1, haven)

0.017

3. 4 評 価 指 標
本研究では，一時刻先（30 分後）の人口データを予測し提案法の有用性を評価した．ただし，このとき参照する過去の情報
は予測モデルごとに異なる．また，本研究では原則としてある

図 9 提案法による予測（田島駅周辺）地点のある時刻の人口データを入力し，その地点の 30 分後の人口データを予測した．入力に人口以外のデータを含めないも

2 においてよりモデルごとの差が現れる絶対誤差を採用した．

のとした．予測モデルの評価指標として，式 (4) を用いて評価

表 2 より提案法がベースラインと比較して一日に観測された人

した．

口が 0 人の地点の予測においては有効であることがわかった．

3. 5 実 験 結 果

4 考

3. 5. 1 性 能 評 価
表 1 に示すように，どのエリアにおいても Haven Area を加察

4. 1 周囲の地点の情報を使い分けている地点

えた提案法が最高精度を記録した．伝統的な時系列予測手法で

図 9 に示すように，proposed(LAG = 1, haven) においては，ある AR モデルなどと比較して提案法はかなり精度が高くなっ

田島駅周辺の人口データを予測するときに周囲の地点の情報をた．また，提案法のように周囲の人口データを考慮に入れるこ

選択していることがわかる．また，t = 35 のときの田島駅周辺とにより，従来のニューラルネットワークモデルよりも予測精の人口を予測するときは，t = 34 のときの佐野市運動公園周度が向上することが確認できた．そして，アテンション機構が辺の情報と t = 3 のときの田島駅周辺の情報との関係性を捉え人口データに対して応用可能であることが表 1 から確認できた．

予測していたことがわかった．このことから，時刻ごとに関係

また，本研究において扱っている人口データは過去の人口デー

性のある地点の情報を用いて柔軟に予測していることがわかっ

タの平均値を予測値とするよりも一時刻前の人口データを予測た．そして，アテンションスコアの印象として全体にばらける

値とする方が正解値との誤差が小さくなる傾向があった．

のではなく，ある時刻はある地点を選択するという傾向があっ

3. 5. 2 Haven Area の評価

た．このことから，ターゲットエリアの過去の情報を用いるよ

表 2 の絶対誤差の平均値は，次式にて表される．

りも他の地点の情報を用いた方が予測しやすいのではないかと

D=

T ∑
N
∑
1
| xt,n − x̃t,n |N (T − 1) t=2 n=1考えられる．

(13)

4. 2 ターゲットエリアのみを選択する地点

式（13）はテストデータ中の Haven Area においてアテンショ

図 10 に示すように，篠塚駅周辺のように他の地点に比べて人ンスコアが 0 よりも大きかった N = 12 地点を対象とした．表口が多い地点において，proposed(LAG = 1, haven) は，ター

図 10 提案法による予測（篠塚駅周辺）

図 11 提案法による予測（用土駅周辺）

ゲットエリアの情報のみを参照していたことがわかった．人口が他の地点と比べて多く全体的に変動が少ないときに提案法はconventional Attention モデルのようにターゲットエリアの過去の情報のみを参照していたことがわかった．このことから，
提案法は状況に応じてモデルを使い分けて予測していると考えられる．

4. 3 選択した地点が偏っていた地点
図 11 に示すように，proposed(LAG = 1, haven) においては，用土駅周辺の人口データを予測するときに周囲の特定の地
点の情報のみを参照していたことがわかった．図 11 の特徴として挙げられるのは，前述のような他地点の使用法ではなく，用土駅周辺を予測する場合は全ての時刻において栗田鉄金周辺の情報のみを選択していたことである．図 11 のように変動が激しい場合は，提案法は予測しやすい情報を柔軟に選択していたと考えられる．

4. 4 Haven Area を加えた場合による予測
Haven Area を提案法にて採用しているが，Haven Area が

図 12 ベースラインと提案法による予測（原始村周辺）

しにくいが，Haven Area を加えた提案法においては，予測しやすいことがわかる．このことより，周囲に予測したい人口と似たような情報があると予測しやすいと考えられる．

アテンション機構において活用されているときは一日に観測された人口が 0 人の地点である．従来法と Haven Area を加えていない提案法においては，図 12 のように 0 人というのは予測

5 おわりに本研究にて，時空間データの関係性を柔軟に捉えるためのRNN アテンションモデルを提案した．アテンション機構を活用し，異なる場所の時系列データとの関係性を柔軟に捉えることにより，予測精度が向上することを確認できた．今後の課題
として，提案法は予測したい場所の周囲 8 地点の人口データを活用したが，さらに広い範囲を考慮に入れた場合，一定の予測精度が保たれるか検証する必要性がある．そして，本研究において扱った人口データよりも多次元なデータにおいて提案法が利用されることを期待したい．

文

献[1] Yasunori Akagi et al. 2018. A Fast and Accurate Method
for Estimating People Flow from Spatiotemporal Population Data. IJCAI.
[2] 今井武晃，山中章裕．2017．人流シミュレーションのパラメー
タ推定手法．DEIM Forum 2017，P5-4．
[3] 石田哲也．2018．世界で進行する都市化の傾向と都市開発戦略（その 1）．国土交通政策研究所報第 68 号．
[4] Tomoharu Iwata et al. 2017. Estimating People Flow from
Spatio-temporal Population Data via Collective GraphicalMixture Models. ACM.
[5] Giancarlo D. Salton, Robert J. Ross and John D. Kelleher.
2017. Attention Language Models. AFNLP.
[6] 佐藤大祐ほか．2018．群集誘導のための人流予測技術．NTT 技
術ジャーナル，pp.38-41．
[7] Chaoming Song et al. 2010. Limits of Predictability in Human Mobility. SCIENCE, VOL327.
[8] 土屋宰貴．2009．わが国の「都市化率」に関する事実整理と考察ー地域経済の視点からー．
[9] 上田修功．2018．時空間データ解析技術とその集団最適誘導への応用．通信ソサイエティマガジン，No.45，夏号 2018．
[10] Anirudh Vemula, Katharina Muelling and Jean Oh. 2018.
Social Attention: Modeling Attention in Human Crowds.
[11] Junbo Zhang, Yu Zheng and Dekang Qi. 2017. Deep SpatioTemporal Residual Networks for Citywide Crowd Flows
Prediction.