DEIM Forum 2023 3b-6-2

複数地域の同時学習が可能な未訪問 Out-Of-Town POI 推薦手法
壺内

陸友†

原

隆浩†

米川

慧††

春田秀一郎††† 大阪大学大学院情報科学研究科 〒 565–0971 大阪府吹田市山田丘 1 番 5 号†† 株式会社 KDDI 総合研究所 〒 356–8502 埼玉県ふじみ野市大原二丁目 1 番 15 号
E-mail: †{tsubouchi.rikuto,hara}@ist.osaka-u.ac.jp, ††{ke-yonekawa,sh-haruta}@kddi.com
あらまし 近年，位置情報 SNS による行動データの蓄積に伴い，ユーザの好みに沿った場所を推薦する POI 推薦が盛んに研究されている．一般的な POI 推薦手法は，ユーザの日常的な行動をもとに居住地周辺の POI を推薦するのに対し，居住地外の推薦に特化した Out-Of-Town POI 推薦が存在する．しかし，ユーザは未訪問の地域について POI
情報を必要とするケースが多いにもかかわらず，既存手法は訪問先地域でも一定数の訪問シーケンスを必要とする手法や特定の２地域間のみに特化した手法など，汎用性に欠けるものが多い．そこで，本研究では，ユーザが未訪問の複数地域に対して POI の推薦が可能な手法 OTP-KGAT を提案する．
キーワード POI 推薦，Out Of Town，Cross City
地域間の一方向の訪問に限定した手法が大半である．このよう

1 序論

近年，位置情報を用いた SNS（Social Networking Service）の普及に伴い，ユーザの行動データが大量に蓄積されている．
その活用先として，ユーザの嗜好に沿った POI（Point Of In-

terest）を推薦する POI 推薦が盛んに研究されている．高精度の POI 推薦は，ユーザの個別のニーズに合った POI の情報を提示することを可能にし，企業の効果的な集客施策に貢献する．

POI 推薦は，地理的距離のバイアスを大きく受けることが知られている．ユーザは内容が魅力的と感じる POI に対しても地理的な距離が大きすぎる場合，訪問に至らないことが多い．
したがって，過去のインタラクションをもとに POI 推薦モデ
ルを学習した場合，暗示的にユーザの日常的な居住地周辺の行動から嗜好を捉え，居住地周辺の POI を推薦するようにモデルが学習される．また，このような地理的距離のバイアスを大きく受ける POI 推薦の特徴を活かし，明示的に地理的距離を推薦モデルに組み込む手法も多く研究されている．
これらの手法は，ユーザの日常的な行動に対しては高い精度の推薦が可能であることが示されている．しかし，ユーザは日常的に行動する地域にある POI の情報は既知である場合が多い
ため，推薦システムから新たな情報を必要とするのは旅先など
未訪問の非居住地（Out-Of-Town）に訪問する際の場合が大半である．居住地（Home-Town）周辺の POI を高くスコアリン
グするように学習したモデルは，Out-Of-Town における POIの推薦の精度が大幅に低下する．これに対して，Out-Of-Town
での POI 推薦（Out-Of-Town POI 推薦）に特化した手法の研究が行われている．
旅行先など，Out-Of-Town で POI の情報を必要とする状況
において，ユーザが過去にその地域に訪問していることは非常に稀である．しかし，既存手法では，Out-Of-Town でも一定数の過去の訪問シーケンスを必要とする場合が多く，実際のユー
スケースとは必ずしも合致しない．また，既存手法は特定の２な手法では，複数地域間の Out-Of-Town POI 推薦を行う場合，異なる複数のモデルを学習する必要があり，導入コストが高い．
これらの課題に対し，CAPTOR [9] は，ユーザの Home-Town
における訪問シーケンスを入力とすることで，Out-Of-Town

POI 推薦が可能であり，複数地域の同時学習が可能なモデルである．しかし，このモデルは訪問先地域は未知であるというタスク設定のもと，Home-Town に近い Out-Of-Town に属する

POI を推薦する手法である．そのため，一般的な POI 推薦手法と同様に，遠方の地域の POI の推薦は想定していない．従って，この手法では，訪問先に悩むユーザに対して有益な推薦リストを提示することはできない．
上記の問題を解決することを目的として，本研究では，訪問
先地域は既知であると想定し，未訪問の地域においても有効な POI 推薦が可能である Out-Of-Town POI 推薦手法 OTP-

KGAT を提案する．本研究は，実際のユースケースに合致した
Out-Of-Town POI 推薦に取り組む最初の研究である．提案手法は，ユーザの Home-Town における訪問シーケンスを入力とし，地域特有の影響を考慮した特徴転移層を学習することで，学習時に登場しない新規ユーザに対しても Out-Of-Town POI推薦を可能とする．
本研究は，地域間の地理的距離により，ユーザの訪問行動における Out-Of-Town の傾向の度合が変化することに着目する．
本論文では，地域を都道府県レベルで定義するが，実際にユーザの行動範囲は県境に関係なく，シームレスに広がっている．したがって，Home-Town と隣接する Out-Of-Town に訪問した際，ユーザは Out-Of-Town 的な訪問傾向よりもの Home-Town 的な訪問傾向を示す可能性がある．ユーザの Home-Town 的な訪問傾向は前述の地理的距離的のバイアスを受けるため，訪問先の地域のうち Home-Town に近いエリアの POI に訪問する可能性が高い．このような点から，我々は地理的位置関係を考慮
せず Out-Of-Town 特有の嗜好を捉えた POI のスコアリングと地理的位置関係を考慮し日常的な嗜好を捉えた POI のスコア

リングの２つを同時に行い，居住地と訪問先地域の位置関係に

訪問シーケンスを必要とする点である．PR-UIDT や HOPE

よりスコアを使い分けるアプローチを提案する．

がこれに該当する．実際のユースケースでは，Out-Of-Town

さらに，データが疎であることが多い Out-Of-Town POI 推の訪問先地域の POI を調べる状況において，ユーザがその地薦環境下において，POI 表現間の相互作用を強めた学習が可能

域に過去に訪問していないことがよくある．このようなケース

なマスク入力学習およびユーザ表現作成方法を提案する．

において，これらの手法は適切な推薦を行うことが不可能であ

OTP-KGAT は実世界のサービス上で収集されたデータセッ
トにおいて，既存手法を上回る推薦精度を達成した．

る．２つ目は特定の２地域間の一方向に限定したタスク設定であることである．TRAINOR がこれに該当し，複数都市間で本論文の以下では，第 2 章で関連研究について紹介する．第Out-Of-Town POI 推薦を行う環境を整えるためには，すべて3 章で本論文におけるデータ構造と概念について定義する．第の地域のペアに対してそれぞれの方向でモデルを学習する必要

4 章では提案手法 OTP-KGAT について説明し，第 5 章で実験があり，導入コストが極めて高い．

の詳細設定及び評価とその結果の考察を行う．最後に第 6 章で本研究のまとめと今後の課題について述べる．

それに対し，CAPTOR はこれら２つの既存手法の問題点を解決した初めての手法である．しかし，CAPTOR は訪問先地域
は未知であるというタスク設定のもと，ユーザの Out-Of-Town

2 関連研究2. 1 Out-Of-Town POI 推薦

訪問は Home-Town 周辺の地域で起こりやすいという仮定をおいて設計されたモデルであるため，本質的には遠方地域の POIについて適切にスコアリングを行うことができない．

Out-Of-Town POI 推薦では，Out-Of-Town におけるユーザのインタラクションは極めて疎であるという制約がある．この2. 2 KGAT

制約下で，２つの地域間の違い（訪問傾向ドリフト）を捉える

KGAT [7] は協調知識グラフを用いた Graph Attention Net-必要がある．１つ目はユーザレベルの訪問傾向ドリフトである．

work ベースの推薦システムである．従来の協調フィルタリン

ユーザは Home-Town において勤務先やスーパーなど日常的なグ手法は，インタラクションが疎であるデータ環境下において，訪問が中心の傾向を示すのに対し，Out-Of-Town では，観光地

ユーザやアイテムを十分に表現できず，性能が低下する．これを中心としたイレギュラーな訪問傾向となる．このような課題に対し，FM [5] を代表として，ユーザやアイテムの属性情報をに対し，PR-UIDT [2] は，ユーザ表現の一部を Home-Town と用いた教師あり学習により，情報を補完するアプローチが研究

Out-Of-Town で共有し，残りを独立してそれぞれの地域で学されてきた．しかし，従来の手法では，高次の属性情報の共有

習することで，地域間で転移可能なユーザの潜在的特徴を共有

関係を捉えることができなかった．そこで，KGAT はアイテ

しつつ，ユーザレベルの地域間ドリフトに対応する MF ベース

ムの属性情報とユーザのインタラクションを，属性情報の対応のモデルを提案している．また，PR-UIDT では，比較的密な関係でエッジを結んだ知識グラフとインタラクションの有無で

Out-Of-Town を居住地とするローカルユーザの行動データを用

ユーザとアイテムにエッジを結んだ協調グラフからなる，協調

いて，Out-Of-Town における POI 表現の学習を補助すること

知識グラフとして表現した．協調知識グラフに対し，再帰的にで，Out-Of-Town での疎なデータ環境でも強固な学習が行える

Graph Attention を繰り返すことで，高次の属性情報の共有関仕組みを組み込んでいる．TRAINOR [8] は，特定の２地域間係を捉えることを可能とし，Attention の重みで畳み込みを行において Home-Town でのユーザ表現から Out-Of-Town でのうことで，効果的な情報伝播を行った．

ユーザ表現への転移層を学習することで，一部の Out-Of-Town

本研究では，Out-Of-Town 地域においてユーザのインタラでの訪問シーケンスをもつユーザを用いて Home-Town の訪問

クションが非常に疎であることを想定し，POI の属性情報を効

シーケンスのみしか持たないユーザにも適応可能な推薦モデル

果的に利用することを目的として，POI 表現および地域表現のの構造を提案している．

獲得に KGAT を用いた．

地域間の訪問傾向ドリフトの２つ目は群衆レベルの訪問傾向
ドリフトである．同じようなサービスを展開する POI であっても，類似したサービスを展開する POI が周囲に多い場合と少ない場合ではそれぞれの POI が利用される度合いが異なる．また，例えば京都のような神社・仏閣を多く有する地域と，大阪のような商業施設を多く有する地域では，同じカテゴリの POIであっても，地域におけるその POI の群衆的な注目度合いは
大きく異なる．これに対し，HOPE [6] や CAPTOR は，群衆レベルでの嗜好をモデリングし，スコアリングに組み込むことで，疎なデータ制約下での推薦精度を向上させつつ，群衆レベルの訪問傾向ドリフトに対応する機構を提案している．
既存手法の多くは，以下の２つの問題点の両方もしくはそのどちらかを有している．１つ目は Out-Of-Town でも一定数の3 定

義

本章では，本論文におけるデータ構造と概念について定義した後，本論文が設定するタスクについて定義する．
定義１（地域） 地域とは地理的に区切られた空間的なエリアである．本論文では地域を r として表現する．本論文では地域
として，日本における都道府県を用いている．
定義２（POI） POI とは地理的な位置に関連する空間的なアイテムである．本論文では POI を v として表現する．また，

POI v が属する地域を rv として表現する.
定義３（ユーザ） 本論文ではユーザを u として表現する．ま|U |た，学習に用いたユーザ全体の集合を U = {ui }i=1 とする．

4. 1 KGAT 層

ユーザノードインタラクション
2部グラフ
POI ノード
知識グラフ

4. 1. 1 ノード表現学習
KGAT 層では，OT 協調知識グラフ GOT および HT 協調知識グラフ GHT のそれぞれに基づいて，各ノードの表現を学習

エンティティ ノード（地域，POI カテゴリ）

図1

協調知識グラフする．ノード i の表現を以下のように定義する．

ei = eSep,i || eShare,i(1)

定義４（Home-Town） 本論文では各ユーザに学習期間における訪問回数が最も多い地域を Home-Town とする．

ここで，eSep,i ∈ Rd/2 は各グラフで独立して学習する表現で

定義５（訪問シーケンス） 本論文ではユーザ u の学習期間あり，eShare,i ∈ Rd/2 は２つのグラフ間の対応する実体のノーにおける訪問シーケンスを ⃗c = {v1 , v2 , ..., vn } として定義する．

ドについて表現のパラメータを共有しながら学習する部分であまた，ユーザが訪問した POI のうち，ユーザの Home-Town

る．また，|| はベクトルを連結する操作である．ユーザや POI

rHome 内の POI とそれ以外の地域の POI を分割し，それぞれは Out-Of-Town と Home-Town で特徴にドリフトが起こるもHome-Town 訪問シーケンス ⃗ch および Out-Of-Town 訪問シーのの，本質的には同一の実体である．したがって，双方で転移

ケンス ⃗co として定義する．

可能な特徴が存在する．このように表現の一部を共有しながら，

定義６（協調知識グラフ）協調知識グラフは図 1 のように，双方の損失が同時に最適化されるように学習することで，共有知識グラフとユーザ-POI インタラクション２部グラフの２つする表現で転移可能な情報を学習することができる．これによで構成される．知識グラフは POI ノードとエンティティノー

り，比較的疎である Out-Of-Town のインタラクションを用い

ドをエッジで結んだ２部グラフである．エンティティには地域

た OT 協調知識グラフに対して，比較的密な Home-Town のイと POI カテゴリを用いる．各 POI ノードは自身が属する地域

ンタラクションを用いて知識を転移することが可能となる．

のエンティティノードと地域所属関係エッジで結ばれ，自身が各ノードの表現は，まず協調知識グラフ学習に多く応用され分類される POI カテゴリエンティティノードにカテゴリ分類

る翻訳原理に基づいた手法である TransR [3] をもとに学習され関係エッジで結ばれる．本論文ではこの知識グラフを用途に応る．ここで，協調知識グラフ上のノード h から他のノード t にじた２つの協調知識グラフに拡張する．１つ目は，各ユーザに対して，ノード接続関係 r でエッジが結ばれている期待スコア

ついて訪問シーケンス ⃗c = {v1 , v2 , ..., vn } に応じてユーザノー

g(h, r, t) を以下の式で定義する．

ドと POI ノードをインタラクション関係エッジで結んだ HT

g(h, r, t) = ||Wr eh + er − Wr et ||22

協調知識グラフである．このグラフでは，Home-Town から地(2)

理的位置関係を考慮したノード表現を獲得するために活用されここで，Wr ∈ Rk × d は，関係 r に関する変換行列，eh ，る．２つ目は，各ユーザについて Out-Of-Town 訪問シーケン

et ∈ Rd および er ∈ Rk は，それぞれ h，t のノード表現およス ⃗co に応じてユーザノードと POI ノードをインタラクション

び r のエッジ表現である．このスコアを用いて，以下のペアワ

関係エッジで結んだ OT 協調知識グラフである．このグラフでイズ損失を OT 協調知識グラフおよび HT 協調知識グラフのそは，地理的位置関係を可能な限り排除したノード表現を獲得す

れぞれについて最小化することで，ノード表現を学習する．

るために活用する．
また本論文は以下の２つのタスクへの適応を想定する．
タスク定義 A（u ∈ U ）モデルの学習に用いたユーザ u ∈ Uのうち，学習データ作成期間に地域 r に未訪問のユーザについて，テストデータ作成期間における地域 r での POI 訪問を予測する．地域 r に属するすべての POI についてスコアを算出
し，Top k（上位 k 個）の POI を推薦結果とする．
タスク定義 B（u∗ ∈/ U ）モデルの学習に登場しないユーザu∗ ∈/ U について，テストデータ作成期間における地域 r でのPOI 訪問を予測する．地域 r に属するすべての POI について
スコアを算出し，Top k の POI を推薦結果とする．

4 提案手法∑LKG,OT =(h,r,t,t′ )∈T−ln σ(g(h, r, t′ ) − g(h, r, t)) (3)OT∑

LKG,HT =−ln σ(g(h, r, t′ ) − g(h, r, t)) (4)(h,r,t,t′ )∈THT

ここで，TOT = {(h, r, t, t′ )|(h, r, t) ∈ GOT , (h, r, t′ ) ∈/ GOT }，

THT = {(h, r, t, t′ )|(h, r, t) ∈ GHT , (h, r, t′ ) ∈/ GHT } である．
OT 協調グラフのノード表現は Out-Of-Town 訪問のみに依存して学習するため，ユーザの Out-Of-Town 特有の嗜好を反映した表現として学習され，HT 協調グラフのノード表現は比較的密な Home-Town 訪問を重点的に学習するため，ユーザの日常的嗜好を反映した表現として学習される．

4. 1. 2 Graph Attention Aggregator
次に，獲得したノード表現を用いて，Graph Attention ベー

提案手法 OTP-KGAT の概要を図 2 に示す．OTP-KGAT はスの情報伝播により，推薦タスクに用いる POI 表現および地

大きく２つの部分からなる．図 2 の上半分は OT 協調知識グラ

域表現を獲得する．Aggregator では，まず注目ノードと隣接

フをもとに Out-Of-Town 特有の嗜好を捉えてスコアリングをしたノードの表現を Attention の重みで足し合わせた，情報伝行う部分であり，下半分は地理的な位置関係を考慮し日常的な播表現を算出する．ノード h に関する情報伝播表現は以下の式

嗜好を捉えてスコアリングを行う部分である．

で定義される．

図2

e Nh =∑π(h, r, t)et

提案手法の概要(5)(h,r,t)∈Nh

4. 2 Attention Pooling 層
Attention Pooling 層では，ユーザの訪問シーケンスから，ス

ここで，Nh は，ノード h に関する全ての隣接ノードとのトリコアを算出する対象 POI に応じた動的な重みによる足し合わ

プレット集合である．π(h, r, t) は Attention の重みであり，以せにより，ユーザ表現を作成する．

4. 2. 1 ユーザ表現作成

下の式で算出される．

ユーザの訪問シーケンスが ⃗c = {v1 , v2 , ..., vn }，スコアを算

π ′ (h, r, t) = (Wr et )T tanh((Wr eh + er ))(6)exp(π ′ (h, r, t))′′ ′(h,r ′ ,t′ )∈Nh exp(π (h, r , t ))(7)π(h, r, t) = ∑出する対象 POI が vi であるとき，ユーザ表現は以下の関数で算出される.

fAtten (v i , ⃗c) =したがって，情報伝播表現 eNh は，始点終点のノード表現とn∑αj v j(12)

j=1

ドに着目し，周辺ノード表現を足し合わせた表現であるといえexp(Wq v i (v j )T )αj = ∑nT
k=1 exp(Wq v i (v k ) )る．また，Aggregator は以下の関数により，情報伝播表現を，

ここで，Wq は，クエリ変換行列である．これにより，ユーザ

その時点のノード表現に足し合わせる．

が過去に訪問した POI に対して，動的に注目度合いを変更しその接続関係のエッジ表現に依存する重みで推薦に重要なノー(13)たユーザ表現を作成することが可能である．このユーザ表現作

fAgg (eh , eNh ) = LeakyReLU (W1 (eh + eNh ))+ LeakyReLU (W2 (eh ⊙ eNh ))(8)

成手法では，既存の表現学習によりユーザ表現を獲得する手法に比べて２つの利点がある．１つ目は，スコアリングに必要な

ここで，⊙ はアダマール積である．この操作を，l 回繰り返す
ことで，l ホップの隣接関係を考慮したノード表現が獲得可能(l)である．l ホップ目のノード表現 eh は以下の式で算出できる．
(0)

ここで，eh = eh である．

情報のみに注目できる点である．スコアリングを行う上で，最も重要な情報はユーザがその POI と類似した POI に頻繁に訪問しているかとユーザがその POI に相反する POI に頻繁に訪問していないかである．既存の手法では，いずれの POI に対しても単一のユーザ表現に基づいてスコアを算出するため，ユー

(l−1)
(l)
(l−1)
, e Nh )eh = fAgg (eh(9)

このようにして算出した，L ホップのノード表現の連結により，推薦に用いる POI 表現および地域表現を獲得する．ノード h が POI ノードであるとき，その POI の表現は以下の式で定義される．
(0)(L)

v = eh ||...||eh

ザ表現内には，その店舗とのスコアの算出に必要のない情報も含まれ，スコア算出におけるノイズに繋がると考えられる．２
つ目は，訪問シーケンスのみで新規ユーザにも推薦可能となる点である．既存の手法では，ユーザの訪問シーケンスが得られても，学習時に存在しないユーザに対して推薦を行うためには，
ユーザ表現獲得のためモデルを再学習する必要がある．これに(10)

また，ノード h が地域ノードであるとき，その地域の表現は以下の式で定義される．

対し，提案手法のユーザ表現作成手法は，必要な情報のみに注目した，新規ユーザにも適応可能な手法である．

4. 2. 2 マスク入力学習
(0)

(L)

r = eh ||...||eh(11)

本研究では，BERT [1] の Masked LM 学習を参考としたマ
スク入力学習を提案する．提案手法は，時系列を考慮しない訪

これにより，高次の接続関係を考慮した，POI および地域の表

問シーケンスから，同一期間での POI 訪問を予測するタスク

現が獲得可能である．また，v o および r o を OT 協調知識グラにより学習を行うため，正例の POI が必ずユーザの訪問シー

フ由来の表現，v h および r h を HT 協調知識グラフ由来の表現

ケンス内に存在してしまう．テスト時には，新たな地域での訪として表記する．

問を想定しているにも関わらず，学習データに過学習した場合，

訪問シーケンス内に同一の POI があるかどうかに非常にセンあれば日常的な嗜好をもとに地理的行動範囲を考慮した sh を

シティブなスコアになってしまう恐れがある．

比較的高めに考慮するような設計を行う．しかし，POI 推薦にそこで，学習時において fAtten によりユーザ表現を算出する

おける地理的バイアスは，直線的なエリア間の距離に依存せず，前に，ユーザの訪問シーケンス内におけるスコアを算出する対影響を及ぼしあうことがある．例えば，東京と大阪間を移動す

象 POI vi と同一 POI をマスクする操作を追加する．マスク操るユーザは仕事で出張として移動しているケースが比較的多く，作を行った訪問シーケンスは以下のように表現できる．

このようなユーザは訪問先においても，日常と変わらない訪問⃗cM ask = {vj | vj ∈ ⃗c, vj =| vi }

を行う可能性がある．このような非線形な地理的距離関係を考(14)慮するため，直接的な地理的距離をもとにスコアの比率を決定

これにより，正例に対する学習は，周辺の訪問から実際に訪問するのではなく，協調知識グラフの学習を通して獲得した地域

した POI のスコアを予測するタスクとすることができ，過学表現を用いてスコアの比率を以下の式で決定する．

習を抑制し，より POI 間の相互関係を高めた学習が可能となる．この操作によりユーザの訪問シーケンスのバリエーション

α = Sigmoid(WTα (r h,Home ⊙ r h,P OI ) + bα )(22)も増加するため，より多様な入力を基にした学習が可能となる．

ここで，r h,Home は HT 協調知識グラフをもとに獲得したユー

OT 協調知識グラフをもとに算出した表現集合と Out-Of-

ザの居住地の地域表現，r h,P OI は POI が属する地域の地域表

Town 訪問シーケンス ⃗co を用いて作成する，POI 表現 v o に対現である．この比率を用いて，最終的な予測スコアは以下の式

するユーザ表現は以下の式で算出される．

で算出される．

u o = fAtten,OT (v o , ⃗co,M ask )s = (1 − α)so + αsh

(15)

(23)

4. 3. 3 損 失 関 数
また，HT 協調知識グラフをもとに算出した表現集合と Home-

本論文では，学習期間において訪問行動が起こったユーザ‐

Town 訪問シーケンス ⃗ch,M ask を用いて作成する，POI 表現 v h

POI のペアを１，起こらなかった一部のサンプルに０の真値ス

に対するユーザ表現は以下の式で算出される．

コアを割り当てた Binary Cross Entropy（BCE）損失を最小

u h = fAtten,HT (v h , ⃗ch,M ask )(16)

4. 3 スコアリング層化することでモデルを学習する．BCE 損失は以下の関数で定義される．

fBCE (y, ŷ) = −(y log(ŷ) + (1 − y) log(1 − ŷ))4. 3. 1 スコア算出
獲得したユーザ表現および POI 表現をさらに表現力の高い表現に変換するため，それぞれに M 層からなる MLP 層を設(24)y および ŷ はそれぞれ，真値スコアおよび予測スコアである．
提案手法 OTP-KGAT は，全体で３つのスコアを算出する

ける．MLP 層は以下の関数で定義される．

が，s だけを BCE 損失により最適化した場合，学習初期段階(() )fM LP (x ) = WTM . . . ReLU WT2 x + b2 . . . +bM (17)で精度が高いどちらか一方のみのスコアの精度を高めれば全体

ここで，各ユーザ表現および POI 表現はそれぞれの MLP 層

されない可能性がある．そこで提案手法では，長期的に双方のにもとづいて以下のように変換される．

スコアの精度を高めたうえで，有効な比率で２つのスコアを使の精度が高くなると判断され，もう一方のスコアの学習が促進

い分けることを目的として，モデルが算出する３つのスコアそu ′o = fM LP,OT U (u o ), u ′h = fM LP,HT U (u h )(18)v ′o = fM LP,OT P (v o ), v ′h = fM LP,HT P (v h )(19)

次に，出力層により，ユーザと POI のスコアを獲得する．

Out-Of-Town 特有の嗜好を捉えたスコア so および地理的位置関係を考慮し日常的な嗜好を捉えたスコア sh は，それぞれ以下の式で算出される．

れぞれについて損失項を設ける．協調フィルタリングのための損失関数は以下のように定義する．

LBCE =

1|OOT |+∑(fBCE (y, σ(sui )) + fBCE (y, σ(so,ui )))(u,i,y)∈OOT

1|OOT | + |OHT |∑fBCE (y, σ(sh,ui ))(u,i,y)∈OHT ,OOT(25)
so = WTo (u ′o ⊙ v ′o ) + bo

(20)

sh = WTh (u ′h ⊙ v ′h ) + bh(21)

ここで，σ() は Sigmoid 関数である．また，OOT はユーザの

Out-Of-Town 訪問履歴から作成した学習データセット，OHT

4. 3. 2 スコアの使い分け

はユーザの Home-Town 訪問履歴から作成した学習データセッ

提案手法 OTP-KGAT では，算出した２つのスコア so お

トであり，各要素はユーザ u，POI i，u と i の真値スコア y か

よび sh を，ユーザの Home-Town と訪問先地域の組み合わせらなるトリプレットである．このような損失関数を最適化するに応じて使い分けることで，地域間の地理的距離を考慮したことで，so と sh のスコア双方を最適化しつつ，s に用いる最Out-Of-Town 傾向の変化に対応する．直感的には，地域同士適な比率を決定することが可能となる．また，so は OOT のみ

が地理的に遠く離れているほど so を重視し，隣接する地域でに由来して最適化を行うため，ユーザの Out-Of-Town 訪問履

歴のみを考慮したスコアとして学習され，sh は比較的データ

表1が多い OHT を中心に OOT までに考慮して最適化を行うため，ユーザの日常的な訪問や地理的距離による訪問の起こりにくさも考慮したスコアとして学習される．

4. 3. 4 学習データセットの割り当て

総数

データセットの詳細

ユーザ

POI

地域

カテゴリ

OT 訪問

HT 訪問

24,176

10,5398

26385,849

621,808

表 2 OT 訪問する地域間のユーザ数（縦軸：居住地，横軸：訪問先）
東京

埼玉

神奈川 千葉

京都

兵庫

奈良

2,721 137

大阪

98

40

36

709

23

15

11

5

600

41

37

17

16

15

11

4

1

提案手法では，so と sh それぞれの目的が顕著に反映される

東京

ような負例の割り当て方法を提案する．提案手法では，協調グ

埼玉

ラフにおけるユーザノードの表現は直接的には推薦に用いない

神奈川 4,298 907

ため，POI 表現をうまく学習できた方が精度の向上に繋がると

千葉

1,590 665452

考えられる．そこで，POI ベースで各 POI に均等に負例を割

大阪

97

41

70

30

り当てる方法を採用する．それぞれの学習データセットは以下

京都

47

8

28

6

811

兵庫

13

6

11

2

1,552 285

奈良

10

3

7

2

469

の手順で割り当てられる．

4,770 4,842
3,006

746

1,762 2,288 981
246
231

272
136

77

OOT の割り当て
1: ユーザの Out-Of-Town 訪問を正例として割り当てが変化する．これら２つのドリフトを捉えるため，提案手法で2: POI あたりの Out-Of-Town 訪問の平均数 NOT を計算

はユーザの Home-Town と訪問先地域に依存した転移層を提案

3: すべての POI について，属する地域 rP OI に Out-Of-Town としする．転移層を以下の式で定義する．

て訪問かつその POI に未訪問のユーザから NOT 人を負例としてv transH = W TtransH r h,Home + b transH(26)

v transO = W TtransO r o,P OI + b transO(27)

けることで，地理的距離による影響を最小限にし，ユーザのu ∗o = v transO ⊙ v transH ⊙ u h(28)

POI の内容に対する嗜好のネガティブさを考慮したサンプリン

次に，u ∗o が u o を再現するように転移層を学習するため，以割り当て

ランダムに負例を割り当てるのではなく，手順 3 の条件を設グが可能となる．

OHT の割り当て

下の損失関数が小さくなるように最適化を行う．

LT RA =

1
|OOT |

1: ユーザの Home-Town 訪問を正例として割り当て
2: POI あたりの Home-Town 訪問の平均数 NHT を計算
3: すべての POI について，属する地域 rP OI に Home-Town として訪問かつその POI に未訪問のユーザから NHT 人を負例１とし∑||u o,u − u ∗o,u ||2(29)(u,i,y)∈OOT

テスト時には，u o の代わりに u ∗o を用いることで，ユーザが未訪問の地域内の POI に対して Home-Town の訪問シーケン
スのみでスコアリングが可能となる．

て割り当て
4: すべての POI について，属する地域 rP OI に未訪問のユーザから

NHT 人を負例２として割り当て

4. 5 学習

学習は KGAT の学習フレームワークにならって，以下の手
順を繰り返し行う．

OHT の割り当てでは，新たに手順 4 を設ける．これは，sh（ 1 ） LBCE + LT RA + λ||Θ||22 を最適化

を地理的距離による訪問の起こりにくさを考慮したスコアとし（ 2 ） LKG,OT + λ||ΘOT ||22 を最適化て学習するため，遠いからその POI に来ないというユーザを（ 3 ） LKG,HT + λ||ΘHT ||22 を最適化考慮するためである．

ここで，Θ はモデルのパラメータ全体，ΘOT および ΘHT はそ4. 4 転 移 層

れぞれ，Θ のうち OT 協調グラフに関するパラメータおよび Θのうち HT 協調グラフに関するパラメータである．

提案手法 OTP-KGAT では，ユーザが未訪問の地域に対してHome-Town の訪問シーケンスのみで推薦が可能となるように，

5 評価実験

u h から u o を再現する転移層を推薦モデルと同時に学習する．
ユーザの Home-Town から Out-Of-Town にかけての訪問傾向

実データを用いた実験により，提案手法における Out-Of-

ドリフトは，大きく２つに大別して捉えることができる．１つTown POI 推薦の有効性を検証した．

目はカテゴリ的嗜好ドリフトである．ユーザは Out-Of-Town

5. 1 評 価 環 境

において，観光的な特性を有す POI に好んで訪問する傾向や普段よりも少しサービスの価格帯が高い POI に訪問する傾向がある．２つ目は，地域依存の嗜好ドリフトである．例えば，神社仏閣の多い京都府のような地域と商業施設が多い大阪のような地域とでは，同じ寺であっても都市内における重要度合い

5. 1. 1 データセット
本実験では，Wi-Fi サービスプロバイダによって設置された

Wi-Fi アクセスポイントにより収集された，データ活用に関する許諾を個別に得ている利用者を対象としたアクセス記録を使用した．アクセス記録は，ユーザがアクセスを行った時間，

表3
東京

Recall @10

埼玉

タスク設定 A（u ∈ U ）における精度

神奈川

千葉

大阪

京都

@100

兵庫

奈良

@100

@10

@100

@10

@100

@10

@100

@10

@100

@10

@10

@100

@10

@100

TopPopular

0.137

0.304

0.087

0.355

0.085

0.283

0.089

0.385

0.133

0.322

0.133 0.595 0.054

0.387

0.197

0.779

BPRMF

0.113

0.297

0.091

0.332

0.102

0.312

0.072

0.367

0.048

0.127

0.116

0.455

0.046

0.371

0.221

0.730

KGAT

0.047

0.195

0.117

0.271

0.049

0.216

0.076

0.299

0.029

0.206

0.062

0.425

0.032

0.250

0.129

0.746

CAPTOR

0.111

0.235

0.071

0.284

0.088

0.302

0.058

0.361

0.111

0.316

0.065

0.535

0.043

0.374

0.186

0.741

OTP-KGAT

0.166 0.380 0.135 0.457 0.126 0.406 0.108 0.410 0.154 0.329 0.125

0.567

0.070 0.464 0.272 0.751

精度向上率

21.2% 24.6% 15.4% 28.7% 23.5% 30.1% 4.9%-

29.6% 20.0% 23.0% -東京埼玉

10.8% 2.2%-

タスク設定 B（u∗ ∈/ U ）における精度

表4

Recall @10

6.5%

神奈川

千葉

大阪

京都

@100

兵庫

奈良

@100

@10

@100

@10

@100

@10

@100

@10

@100

@10

@10

@100

@10

@100

TopPopular

0.086

0.282

0.083

0.319

0.085

0.305

0.095

0.334

0.133

0.330

0.132 0.550 0.073

0.378

0.152

0.717

CAPTOR

0.044

0.235

0.059

0.263

0.067

0.255

0.061

0.300

0.076

0.290

0.076

0.455

0.071

0.345

0.118

0.685

OTP-KGAT

0.144 0.425 0.145 0.499 0.115 0.419 0.112 0.412 0.152 0.391 0.130

0.543

0.076 0.454 0.184 0.724

精度向上率

69.4% 50.7% 74.7% 56.4% 35.3% 37.4% 17.9% 23.4% 14.3% 18.5% -

-

4.1%

ユーザの ID，店舗名，店舗の所在地，カテゴリ等が記録されている．今回は対象の地域として，関東圏と関西圏の計８地域

20.1% 21.1% 1.0%

5. 2 実 験 結 果
5. 2. 1 タスク設定 A による既存手法との比較（Q1）を用いた．データセットの統計情報を表 1，2 に示す．学習にモデルの学習に登場するユーザ u ∈ U について既存手法と比用いるユーザは比較的訪問数が多い，OT 訪問，HT 訪問それ較した結果を表 3 に示す．テスト期間としては，学習期間の次

ぞれを 10 件以上もつものに限定している．OT 訪問が 10 件以の２週間を用いたため，テストに用いるユーザは連続して異な上のユーザは全体の極めて一部であるが，一部のデータが多い

る地域に Out-Of-Town 訪問する比較的アクティブなユーザでユーザで学習すれば OT 訪問が少ないユーザにも適応可能でああり，運送や営業などに従事している特異的なユーザである可る．また，学習に用いる POI は，OT 訪問，HT 訪問それぞれ能性が高い．したがって，このタスク設定が可能なユーザは全を 5 件以上もつものに限定している．

体の一部である．

5. 1. 2 評 価 方 法

提案手法は，推薦精度は京都と奈良を除き，ほぼすべての地

タスクは 3 章のタスク定義に従う．正解データは指定地域に域で比較手法を大きく上回る精度を達成している．提案手法のおけるユーザのすべての訪問行動となっており，１ユーザに対次に高い精度を達成している手法は概ね Top Popular である．

して複数存在する．評価指標には Recall@k を用いる．テスト

一般的な Home-Town 周辺の訪問傾向からユーザの嗜好を捉ユーザは，地域を選択した際に条件を満たすユーザについて一

え，暗示的に Home-Town 周辺の POI についてスコアが高く部をサンプリングして用いる．

なるように学習された一般的な手法は，地理距離が離れた地域

5. 1. 3 比 較 手 法

内の POI について効果的なスコアリングを行えていない．ま

提案手法の有効性を示すため，既存手法を 3 節で定義するタ

た，CAPTOR は Out-Of-Town POI 推薦特化の手法であるが，スク設定下に適応する形で評価を行った．比較した手法は以下

遠方地域の POI について適切なスコアリングを行えない．その通りである．

のため，一般的な手法と同等の精度となっている．

機械学習を用いない手法

一方，Top Popular は強力なベースラインとなっている．こTop Popular：対象地域内の POI について学習期間内

れは，Out-Of-Town 訪問では観光地など大衆的な人気度が高に Out-Of-Town として訪問したユーザの訪問件数の多い順に

く，地域を象徴する POI に訪問が集中する性質があるためと考推薦結果とした手法

えられる．特に神社・仏閣などを多く有し観光的特性が強い京一般的な推薦手法

都では，Top Popular が OTP-KGAT を上回る精度を達成し••

BPRMF [4]：ペアワイズランキング損失を用いて MFを学習する手法•

KGAT [7]：提案手法のベースとなった協調知識グラフ

ベースの推薦手法

Out-Of-Town POI 推薦手法ている．このような観光的な特性が強い地域に関しても，Top

Popular を上回る精度を達成することが今後の課題である．
5. 2. 2 タスク設定 B による既存手法との比較（Q2）
モデルの学習に登場しないユーザ u∗ ∈/ U について既存手法と比較した結果を表 4 に示す．タスク B は，学習したユーザ

CAPTOR [4]：ユーザの Out-Of-Town 訪問は Home-

表現をテストに用いる一般的な推薦手法とは，比較不可能でTown 近隣の地域で起こりやすいという仮定のもと，訪問先がある．ユーザの Out-Of-Town 訪問は，非日常的で非常に稀な未知なタスク設定を想定した Out-Of-Town POI 推薦手法

ケースであるため，多数のユーザがこの設定に該当する．また，•

表5

スコア比率 α（縦軸：居住地，横軸：訪問先）

東京

埼玉

東京

-

0.272 0.224

大阪

0.198 0.188 0.166

神奈川 千葉べて，HT スコアの精度が高い．これは，東京が大阪に比べて

大阪

京都

兵庫

奈良

通勤通学など近隣地域間の結びつきが強いためであると考えら

0.235 0.198

0.212

0.208

0.235

れる．一方，関西は関東圏と比較して，生活圏が都道府県ごと

0.181 -

0.235

0.177

0.234

に分かれていることが影響して，HT スコアよりも OT スコアの精度が高くなっていると考えられる．地域によって各スコアの影響の度合いは異なるものの，いずれの地域においても双方を考慮した場合が最も高い精度となっている．そのため，２つのスコアを使い分けるアプローチが有効であるといえる．

6 結
東京

図3

大阪

東京（右），大阪（左）に関するスコア別の精度推移論

本論文では，複数地域を同時学習により，未訪問の指定地域内
でパーソナライズな Out-Of-Town POI 推薦を行うタスク設定を想定した提案手法 OTP-KGAT を提案した．本論文はこのよ

Home-Town 内訪問シーケンスは比較的密であり，多くのユーうなタスク設定を行った初めての研究である．この設定は訪問

ザがタスク B の推薦に十分な Home-Town 内訪問シーケンス

先地域は決まった上で，訪問先 POI の情報を収集するユーザのを有している．

ユースケースに最も合致したタスク設定である．OTP-KGAT

提案手法はこのタスク設定においても，タスク A と同等なは実世界のサービス上で収集されたデータセットにおいて，既精度を達成している．これは，Attention 機構により効果的に存手法を上回る推薦精度を達成し，手法の有効性を示した．今

ユーザのパーソナライズな表現を作成するアプローチと，近似

後は２つのスコアをユーザレベルで使い分けることによる提案

的に Home-Town のユーザ表現から Out-Of-Town のユーザ表

手法の改善を検討する．

現を再現する転移層が効果的に働いているためである．

5. 2. 3 スコア比率 α の分析（Q3）
居住地が東京と大阪の場合のスコア比率 α を表 5 に示す．αの値が大きいほど HT スコアを重視するようになる．結果から，全体的に OT スコアの方を重視したスコアリングとなるように

謝

辞本研究はの一部は，JST CREST（JPMJCR21F2）の助成によるものである.

学習されていることが分かる．これは，近隣の Out-Of-Town
においても，ユーザは訪問傾向が変化する可能性が高く，OT
スコアの方が全体的に妥当であることを示している．
都道府県ごとの結果では，東京では埼玉，大阪では京都の αの値が最も高く，近隣の都道府県では高くなる傾向がある．これは，近い地域では訪問の Out-Of-Town 傾向度合いが低く，HT スコアの影響が大きいユーザが多いためである．しかし，東京-奈良間や大阪-兵庫間などこれに従わない地域ペアも存在する．この原因として，二つの要因が考えられる．一つ目は地域ペアのデータが少ない点である．例えば，東京-奈良間は表 2に示す通り，学習データとなるユーザが 10 人しか存在しない．
学習データが十分に確保できた場合，結果が変わる可能性がある．二つ目は，訪問の Out-Of-Town 傾向の度合いは地域間レベルではなく，ユーザレベルで変化する可能性がある点である．
今回のアプローチでは，県境付近に住むユーザにも県境から最も遠い場所に住むユーザにも，Home-Town が同じユーザであれば一様な比率が割り当てられるが，これらのユーザでは訪問傾向の変化の度合が異なることは明らかである．今後は，ユー
ザごとに α を決定する手法について検討する必要がある．
提案手法における，HT スコアと OT スコアを使い分けるアプローチは精度に大きく貢献している．東京と大阪における各スコアを用いた際の精度推移を図 3 に示す．それぞれのスコアで異なる精度の推移となっており，双方が異なる観点でスコアリングを行っていることが分かる．東京では，OT スコアに比文

献[1] Devlin, J., Chang, M.-W., Lee, K. and Toutanova, K.: Bert:
Pre-training of deep bidirectional transformers for language
understanding, arXiv preprint arXiv:1810.04805 (2018).
[2] Ding, J., Yu, G., Li, Y., Jin, D. and Gao, H.: Learning from
Hometown and current city: Cross-city POI recommendation via interest drift and transfer learning, Proceedings of
the ACM on Interactive, Mobile, Wearable and UbiquitousTechnologies, Vol. 3, No. 4, pp. 1–28 (2019).
[3] Lin, Y., Liu, Z., Sun, M., Liu, Y. and Zhu, X.: Learning
entity and relation embeddings for knowledge graph completion, Proc.AAAI (2015).
[4] Rendle, S., Freudenthaler, C., Gantner, Z. and SchmidtThieme, L.: BPR: Bayesian personalized ranking from implicit feedback, arXiv preprint arXiv:1205.2618 (2012).
[5] Rendle, S., Gantner, Z., Freudenthaler, C. and SchmidtThieme, L.: Fast context-aware recommendations with factorization machines, Proc.SIGIR, pp. 635–644 (2011).
[6] Sun, H., Xu, J., Zhou, R., Chen, W., Zhao, L. and Liu, C.:
HOPE: a hybrid deep neural model for out-of-town next
POI recommendation, World Wide Web, Vol. 24, No. 5,
pp. 1749–1768 (2021).
[7] Wang, X., He, X., Cao, Y., Liu, M. and Chua, T.-S.: Kgat:
Knowledge graph attention network for recommendation,
Proc.SIGKDD, pp. 950–958 (2019).
[8] Xin, H., Lu, X., Xu, T., Liu, H., Gu, J., Dou, D. and Xiong,
H.: Out-of-Town Recommendation with Travel Intention
Modeling, Proc.AAAI, pp. 4529–4536 (2021).
[9] Xin, H., Lu, X., Zhu, N., Xu, T., Dou, D. and Xiong,
H.: CAPTOR: A Crowd-Aware Pre-Travel Recommender
System for Out-of-Town Users, Proc.SIGIR, pp. 1174–1184(2022).