時系列分散表現に基づく
東京都の人流クラスタリング
田中 宏季1, 2,久保 基1, 2, 中村 哲1, 2
1. 理化学研究所 革新知能統合研究センター 観光情報解析チーム
2. 奈良先端科学技術大学院大学

分散表現による人流クラスタリング
l分散表現を用いた移動系列の類似度による
人流解析 [Crivellari+, 2019]• 行動近接性 (移動系列の意味的な近さ)を考慮• Mesh2Vec (Word2Vecを人の移動系列に適用)• 分散表現から移動系列をベクトル化し，距離計算類似度

訪問地(の分散)表現

系列(の分散)表現

2/16

移動経路予測l時系列モデルを用いた移動経路の予測 [Crivellari+, 2020]• LSTMを用い，ある系列に対する次の訪問地を予測• 予測精度70%を実現
次のメッシュとなる確率
ソフトマックス
LSTM

LSTM

LSTM

LSTM

LSTM

LSTM

LSTM

LSTM

埋め込み層
移動(=入力)系列

LSTMによる訪問地予測のモデル概略図

3/16

研究目的l先行研究• ◯ 訪問地における行動近接性を考慮• ◯ 移動経路の時系列を考慮する訪問地予測

l先行研究の課題• 順方向の系列のみ考慮した訪問地予測• 時系列を考慮したユーザのクラスタリングは未検討

双方向の時系列を考慮した分散表現による移動系列パターンの抽出
4/16

本提案手法の概要
目的

時系列分散表現に基づく人流クラスタリング

提案

双方向LSTM [Graves+ 2013]を用いた訪問地の分散表現の獲得
階層的クラスタリングによる移動系列解析

1. ユーザごとの移動系列の抽出

3. 分散表現を用いたクラスタリング

2. 提案手法による訪問地表現の獲得

ユーザ1

ユーザ2

・・・
ユーザ3

5/16

1. ユーザ毎の移動系列の生成l移動履歴メッシュIDの系列を抽出
100m四方/50m四方を指し示す位置情報（10桁）• 開始記号 ‘S’を追加• 該当のユーザのメッシュIDを訪問順に追加• 終端記号‘E’を追加
ID:1

ID: 29

ID:10

ID:36
ID:19
上の例における移動系列 => [‘S’, ‘10’, ‘19’, ‘29’, ‘E’]

6/16

2. 双方向LSTMを用いた分散表現の獲得
l入力: 幾つかのメッシュからなる移動系列
l出力: 次のメッシュとなる確率
次のメッシュとなる確率
ソフトマックス

Bi-LSTM

Bi-LSTM

Bi-LSTM

Bi-LSTM

Bi-LSTM

Bi-LSTM

順方向だけでなく逆方向の行動をメッシュ(訪問地)表現に含めることが可能

表現能力の向上を期待
埋め込み[ID(t)]

埋め込み[ID(t+1)]

埋め込み[ID(t+2)]

メッシュ
ID(t)

メッシュ
ID(t+1)メッシュ
ID(t+2)

いくつかのメッシュ系列が与えられた際の次のメッシュIDを予測するように学習

7/16

3. 移動系列の階層的クラスタリング
l分散表現ベクトル (d=600)をクラスタリング• 階層的クラスタリングを使用• クラスタ数が自由に設定可能

User 1

User 2f_i (i = 1 … n)
分散表現における各次元の値・・・
User 3

f_1

0.765640.579210.96747・・・

f_2

0.83487

0.380150.35493・・・

f_3

0.680810.560440.36436・・・

f_4

0.541650.25599

0.48626

・・・・・・・・・・・・・• クラスタリング結果の一意性

分散表現の次元数

クラスタリングし，デンドログラムで図示

8/16

実験的評価l分散表現の獲得手法• LSTM (Embedding層 + LSTM2層) [Crivellari+, 2020]• 双方向LSTM (Embedding層 + Bi-LSTM2層) [Kubo+ 2020]

l階層的クラスタリング• 入力: 各学習モデルから得られるLSTM (Bi-LSTM)層の内部ベクトル• クラスタ決定法: ウォード法• クラスタ数: 8• 距離: コサイン類似度

9/16

データセットl対象者: 東京訪問者
l対象期間: 2-5月, 2020
lユーザ数（1系列の中の訪問箇所が30以上）:
35767• LSTM及び双方向LSTMの学習に使用

lクラスタリングユーザ数（新宿歌舞伎町に夜訪問20:00-4:00のみ、1系列の中の訪問箇所が30以上）: 877• クラスタリングの対象データ* データ提供元: 株式会社 Agoop

10/16

LSTMと双方向LSTMによる学習結果
l学習データ• 各移動系列から生成される100m/50m四方メッシュIDからの、次のメッシュID予測• 訓練:検証:テスト = 8:1:1

100m四方メッシュにおいて提案手法が既存手法よりも精度が向上

11/16

分散表現を用いたクラスタリング
l100m四方メッシュ、双方向LSTMの事例
経路が代表的であったクラスタ5と6を分析

クラス
タ間距離5ユーザID

6

12/16

クラスタリングの事例1
lクラスタ5の重心に最近傍のユーザ
歌舞伎町

始点

2020年2月8日 15:25~22:51
クラスター5

13/16

クラスタリングの事例2
lクラスタ6の重心に最近傍のユーザ
終点始点
歌舞伎町

2020年3月3日 11:35~23:53
クラスター6

14/16

デモシステムlクラスタ・ユーザの可視化

15/16

まとめl目的• 移動系列パターンを抽出し、解析

l提案法• 双方向LTSM [Grave+ 2013]を用いた予測による分散表現の獲得• 階層的クラスタリングによる移動系列解析

l評価結果• 提案法による予測精度の確認• 階層的クラスタリングおよび重心ユーザを分析

l今後の課題• 歌舞伎町訪問ユーザに絞ったモデル学習• 緯度・経度情報の追加• 注意機構の導入• 逐次的なデータ分析方法の構築

16/16

17

Appendix
17/16

研究背景: 観光情報学
l観光情報学的アプローチ [川村+ 2015]• 情報推薦• データ処理とデータマイニング• ユーザモデリング• 意思決定と最適化• オントロジーとオープンデータ
位置情報取得の高精度化，個々のニーズに対応

ユーザモデリングによる観光客の行動理解

18/16

行動近接性l似た(カテゴリの)場所に訪問する行動はその行動の意味が近いという考え方[Crivellari+ 2019]

COM1-COM2間およびCOM1-COM3間の距離は同一だが，TRACE1とTRACE2はその行動において，同じ関心があるといえる

20/16

LSTMのパラメータ
観光行動系列の総数

30669

maxlen (最大系列長)

100

モデル構造

(Input, Embedding, LSTM, LSTM, Dense)

Embedding層ユニット数

300

LSTM層ユニット数

300

損失関数

スパースマルチクラス分類交差
エントロピー関数

バッチサイズ128

エポック数

50 (Early stopping による早期打ち切りあり)

最適化手法

Adam

Early stopping のモニタ値

検証データの損失値

21/16

Bi-LSTMのパラメータ
観光行動系列の総数

30669

maxlen (最大系列長)

100

モデル構造

(Input, Embedding, Bi-LSTM, Bi-LSTM, Dense)

Embedding層ユニット数

300

Bi-LSTM層ユニット数

300 * 2 (forward, backward)

Bi-LSTMの結合方法

双方向出力ベクトルの平均損失関数

スパースマルチクラス分類交差
エントロピー関数

バッチサイズ128

エポック数

50 (Early stopping による早期打ち切りあり)

最適化手法

Adam

Early stopping のモニタ値

検証データの損失値

22/16コーフェン相関係数
l階層的クラスタリングの評価指標• 1に近いほどクラスタ間距離とクラスタ内距離の歪みが小さい: Yに含まれるオブジェクトiとオブジェクトjの距離: Zから得られるオブジェクトiとオブジェクトjのコーフェン距離: Y, Zの平均

23/16

コサイン類似度
l文章の距離を測る為に用いられる指標• 2つの観光行動ベクトルの距離が計算可能

24/16

Ward法l階層的クラスタリングのクラスタ併合方法• クラスタ間の距離関数: 併合後のC1とC2の重心からの距離の二乗和: クラスタC1の重心からの距離の二乗和

25/16