# 建物分布の変化を考慮した GPT-2 を用いた人流予測のための一検討

小林 亮博 ${ }^{1,2}$ 武田 直人 ${ }^{1}$ 山崎 悠大 ${ }^{1}$ 上坂 大輔 ${ }^{1}$
${ }^{1}$ 株式会社 KDDI 総合研究所 ${ }^{2}$ KDDI 株式会社
\{ao-kobayashi, no-takeda, yd-yamazaki, da-kami saka\}@kddi.com

## 概要

近年, Transformer などの自然言語処理分野で発達した深層学習技術を, 都市内における人流の予測に活用する動きが始まっている. しかし, 既存の手法は建物などの環境の状態は変化しないとの前提に基づくものであり，例えば大規模開発後の交通量予測に応用することが困難であった．本研究は，建物分布の変化に応じた将来の人流を予測するために, GPT-2 と建物分布系列の予測器を組み合わせた上で,人流を予測する方式を提案する．本稿では，個々の予測器の性質を分析した上で, 2 者を組み合わせた提案法を評価した。

## 1 はじめに

自治体やディベロッパーにとって, 再開発や大規模商業施設の建設といった建物分布の変化がもたらす来訪者数の変化や周辺交通一の影響を予測するメリットは大きい. 特に, 現在着目されているオンデマンドタクシーや相乗りなどといった動的に提供される交通サービスでは，個々のユーザの居住地や生活スタイルに沿った細かな移動需要の把握が重要となるため, ユーザの過去の移動系列を反映して将来の移動を予測可能な Transformer ベースの人流予測手法に関心が集まっている[2,3]. 本研究は，大規模なスマートフォン位置情報から抽出した都市における交通行動と, POI(Point of Interest)情報を場所毎・建物種類毎に統計化した建物分布の関係性をモデリングすることで，建物分布の変化に応じて増減する移動需要の予測を目指す。

## 2 関連研究

近年，交通行動の予測においては，移動需要の発生を将来の昼間・夜間人口のみから予測していた四段階推定法[13]に代わり, ユーザの移動行動を細かくモデル化した Activity Based Model が提案されるようになってきた[1]. 石井らは, 自宅から主要な活動先へと向かい帰ってくるまでの一連の行動を「ツアー」と定義し, 活動先の建物分布と現在位置からの移動コストから, Nested Logit Model を用いて活動先やツアーの発生を予測することで，日常的な都市交通を再現している[1]. しかし現在位置にどのような経路で移動してきたかといった過去の移動系列は考慮されておらず，「職場に行く前に保育園に子供を送る」など過去の移動系列に含まれるユーザの個々の細やかな移動需要の把握が困難となっている。 さらに，ツアー単位での行動推定となるため，観光や運輸目的で対象エリアを通り過ぎる行動の再現が難しい。

[1] に代表される移動モデルはアンケートで取得されたデータを元に構築されてきたが，近年では大量に取得されるスマートフォンの位置情報から Transformer ベースの移動モデルを構築する研究が始まっている[2, 3]. Mizuno らは，自然言語モデル GPT-2を用いて、地域メッシュコード(以下メッシュと呼ぶ)で離散化したユーザ位置の系列をモデル化することで，京都駅周辺の人流を高精度に再現している[2].ここで，メッシュとは，地域を一定サイズのグリッドに分割し総務省が定めた規格 JIS X 0410 に従いコード(離散値)で表現したものである.

[2]では GPT-2 を用いることで, 現在時刻までの移動系列からそのユーザが最終的に自宅に帰るのか，京都駅を通り過ぎるだけのユーザかを区別できており，1 日の終わりに出発地に戻ると予測したユーザの割合が実データと合致する。しかし，建物などの地理的環境の変化は考慮されておらず，将来予測という点では課題が残る。

## 3 提案するモデル

本研究では，位置系列をエンコードすることで個々のユーザの生活スタイルに沿った細かな移動需要の予測が可能な，GPT-2 のメリットを保ちつつ，建物分布に変化に応じた人流の予測を可能とするモデルを提案する.

図 1 本研究が想定するデータ表現

図 1 に本研究が想定するデータ表現を示す. スマ ートフォンを用いて一定の時間間隔で観測されたユ ーザの移動軌跡を，メッシュの系列で表現する。また，メッシュ内における種別毎の建物件数を素性とする固定長ベクトルを，建物分布ベクトルと呼ぶ.建物分布は,ユーザの移動目的と強く関係するため,移動需要の説明変数として用いられており [1], その系列はユーザの移動行動系列に内包されるセマンテイクスを示すと期待される。

本研究では，環境中の建物分布が変化した場合でも，上記セマンティクスは大きく変化しないと仮定する. 例えば, 図 1 のユーザは $\mathrm{t}=3$ でオフィス街に移動した後, $\mathrm{t}=4$ で商業施設が多く存在するエリアに移動している. 仮に Mesh3 の近辺に新規の大型商業施設が開店した場合, このユーザは $\mathrm{t}=4$ において異なるメッシュに移動する可能性がある。しかし，

「オフィス街に移動した後に商業地に移動する」というセマンティクスそのものは, 大型商業施設開店後も大きく変化しないと仮定する.

図 2 は提案する人流予測モデルを示す. 図の最下段に示す空間制約表現部は[2]で提案されている GPT-2 に基づく移動軌跡予測モデルを示し，ユーザ $\mathrm{u}$ に $\mathrm{t}=0 . . \mathrm{i}$ におけるメッシュ系列 $m_{u, 0} . . m_{u, i}$ が与えられた際に， i+1 時点におけるメッシュ尤度 $P\left(m_{u, i+1}\right)$ を予測する。図最上段のセマンティクス表現部は，上記メッシュ系列に相当する建物分布の系列 $x_{m_{u, 0} .} x_{m_{u, i}}$ を入力して, $\mathrm{i}+1$ 時点の建物分布べクトル $x_{m_{u, i+1}}$ を予測する。本稿ではこの時系列の連続値データ予測器を建物分布予測器と呼び，電力需要予測などで高い精度を示した， Zeng ら[4]の手法を用いた.また, 図の中段の更新可能地図は, 各メッシユの建物分布 $x_{M_{0}} . . x_{M_{k}}$ を並べた行列を示す.ここで $M_{j}$ は，GPT-2 の辞書に登場するメッシュを指す. 更新可能地図と $x_{m_{u, i+1}}$ は, 建物分布ベクトルのノルムが 1 になるよう正規化した上で内積を取ることで，予測した次時点の建物統計べクトルと各メッシュとの $\cos$ 類似度 $S\left(m_{u, i+1}\right)$ を算出する. 建物分布予測に基づく $S\left(m_{u, i+1}\right)$ と，GPT-2 が予測した $P\left(m_{u, i+1}\right)$ の Hadamard 積を取ることで，セマンティクスと空間上の制約を満たした次メッシュを予測する。

## 4 データセット

本研究では，KDDI 株式会社が au スマートフォン利用者より同意を得て取得する GPS データを使用して検証を行った.この GPS データは測位間隔に粗密があるが，集計した結果は各種人口統計と相関し，交通需要の推計等に用いられている[5, 6]. 2019 年 6 月に観測された GPS データから宇都宮市在住のユーザをサンプリングし，エリアを限定せずに 8 日間の移動軌跡を抽出した. 1 日に最低 1 点以上ロ

図 2 建物分布の変化を考慮した人流モデル
表 1 建物分布予測性能

図 3 正解メッシュの建物分布との $\cos$ 類似度グがある移動軌跡のみを分析対象とし, 6,050人のユ一ザからなる 98,213 件の移動軌跡を抽出した.

上記の移動軌跡から, 30 分毎のメッシュの系列を抽出した. 前述の通り, この GPS データは観測頻度に粗密があるため, 30 分毎の時点において直前・直後となる観測点を抽出し, 時間差を重みとする重心位置を, 30 分毎のユーザ位置とした. 最後にユーザ位置を 1 辺の長さが約 $250 \mathrm{~m}$ の 4 分の 1 地域メッシユで表現し， 8 日間のメッシュ系列を抽出したものを Pre-Training 用データセットと呼ぶ. 5 節では，以上のデータセットを訓練: 検証: 評価用に 8:1:1 の割合で分割し評価に用いた。

建物分布はゼンリン社の商品を用いた[12]. 建物の種別(個人家屋・共同住宅・事業所・複合建物)や,業種(飲食, 物販, 教育, 医療...), 規模(階数, 床面積...)で分類された建物の件数が 113 次元で表現されている. 本データは $100 \mathrm{~m}$ 四方毎に集計されているため, 面積按分で 4 分の 1 地域メッシュ毎に再集計した. 本研究では, 上記データセットに登場する建物分布を z-score に標準化して用いる。

## 5 実験と考察

## 5.1 建物分布の予測

はじめに建物分布予測器の性能を評価した。 Zeng ら[4]は, 順序情報が保持されない Attention メカニズムは連続値の時系列予測においては不利であると主張しており,簡易な線形NWからなるDLinear， NLinear を用いて Transformer ベースの予測器 Autoformer[7], Informer[8]を超える精度を確認している. Pre-Training 用データセットを用い, 建物分布
においても同様の傾向が見られるか確認した.

各移動軌跡における 7 日間の建物分布ベクトルの系列から次の 1 日間の系列を予測し, 精度評価した結果を表 1 に示した. ここで ACC は, 予測した建物分布ベクトルを k-means 法により 5 クラスに分類した場合の Accuracy を示す(クラス分類方法の詳細は付録に記載). 本研究では, Transfomer ベースの手法に比べて優れた性能を示した DLinear を建物分布の予測モデルとして採用した. DLinear が推定した建物統計ベクトルと正解值との $\cos$ 類似度の分布を図 3 に示す. $\cos$ 類似度の中央値は 0.71 となっており. 図 2 における類似度べクトル $S\left(m_{u, i+1}\right)$ は, 次义ツシュの予測に効果があると期待できる.

## 5. 2 GPT-2 の Pre-Training

本研究では, 図 2 のモデルを構築する前に, PreTraining 用データセットを用いて GPT-2 の訓練と評価を実施した. Mizuno らの研究[2]を参考に,語彙数を50,000 語としBPE[11]を用いてメッシュをトークナイズし, GPT-2 の Pre-Training を実施した. モデルサイズは, Radford ら[9]と同様に 12 層, 768 次元の内部表現を用いた。

GPT-2 部の推定精度を評価するため，小林ら[3]を参考に 7 日間の移動軌跡を入力し, GPT-2 のサンプリング生成[10]機能を用いて次の 1 日間の移動軌跡を 10 通り推定した(サンプリングパラメータは Top $\mathrm{k}=100$, Top p=0.95). 推定した軌跡は, 交通需要予測において重要視されている出発地(Origin)と目的地 (Destination)の頻度分布(OD 表)を, bi-gram 頻度から簡易的に求め評価したところ, 正解との相関は 0.73 であり, 都市の移動を一定程度再現できていると考えられる。

## 5.3 提案するモデルの評価

本研究は, 図 2 のモデルの基本的な特性を調查するため, 5.1 と 5.2 で Pre-Training した建物分布予測部と GPT-2を用いて 2 者を統合した提案モデルの性能を評価した. 各時点の推定性能を評価するため, Pre-Training データセットの評価セットから開始時刻を 30 分ずつ 48 パターンでずらしたサンプルを抽出した. 説明変数として 7 日間 336 時点のメッシュ系列を入力し, $S\left(m_{u, i+1}\right)$ と $P\left(m_{u, i+1}\right)$ を算出した. 図 4 は GPT-2 が予測した尤度 $P\left(m_{u, i+1}\right)$ をヒートマップ (緑色が濃いほどスコアが高い)で示したものであり，正解メッシュを赤枠で表示している、いずれも正解

次メッシュ：住宅地

次メッシュ：商業地

図 4 GPT-2 が予測した次メッシュの尤度

図 5 推定した建物分布類似度

建物分布の類似度

GPT-2の尤度

図 6 GPT2 単体ではうまく推定できない時点メッシュのスコアが極端に高い単峰性の分布をしており，GPT-2には人の移動における空間上の制約が埋め込まれているといえる。

図 5 は, 同様に建物分布類似度 $S\left(m_{u, i+1}\right)$ を可視化したものである. 図 5(左)は正解である宇都宮二荒山神社周辺のメッシュとの類似度が高くなっている一方で、図 5(右)では正解から空間的にかけ離れた浅草寺周辺のメッシュとの類似度が高くなった。

5.2 節で述べた通り GPT-2 の予測精度は概数高いが, 図 6(右)のように尤度に高い峰が現れず, GPT-2 単体での次メッシュ予測が困難なケースも存在する。

表 2 GPT-2 と建物分布類似度を組み合わせた次メッシュ予測の精度

2. Mizuno, Takayuki, Shouji Fujimoto, and Atushi Ishikawa: Generation of individual daily trajectories by GPT-2. Frontiers in Physics (2022): 1118.

3. 小林, 上坂, 武田, 南川, 森本: GPT-2 を用いた位置情報ビッグデータに基づく交通需要推定技術,土木計画学研究講演集 Vol.65, 2022

4. Zeng, Ailing, et al. "Are Transformers Effective for Time Series Forecasting?." arXiv preprint arXiv:2205.13504 (2022).

5. 石井, 末成, 越智, 関, 大塚, 酒井, 會田, 南川,「携帯電話 GPS ビッグデータの都市交通分野における活用に向けた信頼性検証」,土木計画学研究講演集, vol. 58, 2018.

6. 吉羽, 小林, 中管, 南川, 冨岡, 森本: スマートフォン位置情報データを活用したバス需要予測に関する研究, 土木学会論文集 D3, Vol.76, No. 5 (2021)

7. Wu, Haixu, et al. "Autoformer: Decomposition transformers with auto-correlation for long-term series forecasting." Advances in Neural Information Processing Systems 34 (2021): 22419-22430.

8. Zhou, Haoyi, et al. "Informer: Beyond efficient transformer for long sequence time-series forecasting." Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 35. No. 12. 2021.

9. Radford, Alec, et al. "Language models are unsupervised multitask learners." OpenAI blog 1.8 (2019): 9.

10. Angela Fan, Mike Lewis, and Yann Dauphin. 2018. Hierarchical Neural Story Generation. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 889-898, Melbourne, Australia. Association for Computational Linguistics.

11. Sennrich, Rico, Barry Haddow, and Alexandra Birch. "Neural machine translation of rare words with subword units." arXiv preprint arXiv:1508.07909 (2015).

12. ゼンリン社建物統計, https://www.zenrin.co.jp/product/category/gis/contents/b uilding-statistics/index.html

13. 北村隆一, 交通需要予測の課題, 土木学会論文集, 1996, 1996 巻, 530 号, p. 17-30

## 付録

建物分布ベクトルの特性を確認するため, k-means で 5 クラスに分類した結果を図 7 に示す. 各クラスは概ね，都心・商業地・共同住宅地・一戸建て住宅地・田畑/山林を示すメッシュに分類されており，建物分布の系列がユーザの移動行動のセマンティクスを内包すると期待できる。

マンション

都心

図 7 建物分布のクラスタリング結果