DEIM Forum 2023 XX-Y

大規模 Web データにおけるキーワード・地域ごとの拡散パターン抽出
村山

太一†

松原

靖子†

櫻井

保志†

† 大阪大学産業科学研究所 〒 567–0047 大阪府茨木市
E-mail: †{taichi,yasuko,yasushi}@sanken.osaka-u.ac.jp
あらましWeb 検索データは人々の実社会上の動きを反映することから，ソーシャルセンサとして重要な役割を担っている．このようなデータから，各キーワード間の関係や各地域間の影響力の流れを発見し，将来のキーワードの検索
量の変化の遷移を予測することは有用である．そこで，本研究では複雑に共進化する Web データを予測しつつ，キー
ワード間や地域間の関係が解釈できる新たなモデル “FluxCube” を提案する．FluxCube は，地域同士の影響の流れを捉える拡散反応方程式と，キーワード間の関係を生態系としてとらえるロトカ・ヴォルテラ方程式，2 つの数理モ
デルに基づいている．また，Physics-informed neural networks の概念を活用することで，推定されるパラメータに基づいた高い解釈性と高い予測性能を同時に達成する．Google Trend を用いた実験の結果，予測精度は比較手法を上回り，各構成要素が性能向上に寄与していることが示された．最後に，Web データからクエリと地域間の潜在的な相互作用を抽出したケーススタディを示す．
キーワード 時系列解析，Web データ，データマイニング
ワードの将来動向に関する洞察を提供し，人的・物的資源の浪

1 はじめに
Web 検索データの増加は，ユーザ行動モデリング [1]，イン
フルエンザ予測 [2]，業務パフォーマス測定などの社会・経済の推定や予測のための機会を多く提供する [3, 4, 5]．ソーシャ
ルセンサの役割を持つ Web データは，潜在パターンやインタ
ラクションの発見や，将来のオンラインユーザの行動量の予測など，人々の意思決定に洞察を提供し利益を生み出すこともある．例えば，マーケティング担当者は，適切な広告戦略や新商品開発を達成するため，オンラインデータから将来どのような商品が人気になっていくか，近い商品や地域との関係について明らかにしたいと考えており，オンラインデータを正確にモデリングすることでこれらの要望は達成できる．

費を回避できる．時系列データの解釈性に関する前述 2 つの課
題を解決しつつ，高い予測精度を達成することが重要である．
本論文では，共進化するオンラインデータの大規模集合を対象に，時系列データのモデリングと予測という課題を達成する
マイニング手法 “FluxCube” を提案する．提案モデルでは，(a)と (b) の課題に対し，化学物質の時空間変化を表現する反応拡散モデル [8] と餌と捕食者の関係を表現するロトカ・ヴォルテラ
方程式 [9, 10] の 2 つの数理モデルを組み合わせることで解決する．加えて，非線形偏微分方程式で記述される物理法則を教師あり学習で取り組む Physics-informed neural networks [11]を活用し (c) に取り組む．
ケーススタディしかしながら，複数のドメインやダイナミクスを持ち日々

図 1と図 2に 6 人のアーティスト (World#1) に関するオンラ

刻々とデータ量が増加しているオンラインデータのモデリング

インデータのモデリング結果を示す．具体的には，提案手法には依然として困難である．例えば，3 次テンソル（タイムスタ

よって以下のような傾向を獲得できる．

ンプ，場所，キーワード）で構成される Web データのモデリ•

長期間のトレンド: 図 1(a) は，世界 50 カ国における 6

ングを行う場合，以下の課題に対処する必要がある．

人のアーティストの検索量を表現したテンソルデータである．

(a) 潜在的相互作用の獲得 : 各地域やキーワード間の関係の時提案モデルは，キーワードと地域間の隠れた相互作用を自動系列は独立ではない．例えば，同じカテゴリ内のキーワードの的に捉え，2 年間の検索量の長期予測を達成する（赤色で示さ

検索量はユーザのリソース・興味を巡って競合する [6]. また，れる）．

ある場所のキーワードの人気は他の地域に影響を与え，異なる•

キーワード間の相互関係：図 1(b) は，各キーワード間

場所のキーワードの人気に影響を与える [7]．

の潜在的な相互作用を示す．提案モデルによるキーワード間の(b) 時間変化パターンの獲得 : 多くの時系列には，トレンド

相互作用の分類（競合，共生，寄生，相互依存）を矢の種類とや季節性などの成分やパターンが含まれ，ブラックフライデー

向きによって示す．例えば，maroon 5 と beyonce はアメリカなどの人々の生活の動きが反映される．しかし，このようなパにおいて競合の関係であるが，日本では相互依存の関係にある

ターンは複数あり，手作業で適切にモデル設計に含めることは

ことは，taylor swift と katy perry はどちらの杭においても競困難である．隠れたデータ構造を捉えるため，隠れたパターン

合の関係であることが示唆される．

の推定が可能な自動モデリング手法が必要である．

(c) 正確な予測 : 時系列予測は，マーケティング担当者にキー•地域間の拡散パターン：図 1(c) では，地域のクラスタリ

ングと各地域間の影響の流れを示す．提案モデルでは，グルーArea group A
Co
un
tri
es

Modeling Forecasting

MexicoRussiabeyonce

Keywords
2012

Example of Group C: United States

Colombia

2014

2016

2018

Time

taylor swift
stevie wonder
lady gaga
katy perry
beyoncemaroon 5

katy
perry

lady gaga

maroon 5
taylorswift

steviewonder・・・

Example of Group E: Japan

Area group E

beyonce

Co

un

tri
es

China
Japan
Vietnamlady gaga

Keywords
2012

2014

katy
perry

2016

Time

2018

taylor swift
stevie wonder
lady gaga
katy perry
beyoncemaroon 5(a) 各地域の検索テンソルデータ

Group A: Russia, Mexico,
Spain, Vietnam, etc.

maroon 5
taylorswift

steviewonderGroup B: United Kingdom,
Germany, France, etc.
Group C: United States,
Canada, Australia, etc.
Group D: Iran, Pakistan,Brazil, Argentina, etc.

beyonce

Group E: China, Japan,
Vietnam, South Africa, etc.

lady gaga

katy perry
maroon 5

taylor swift

stevie wonder(b) キーワードの相互作用(c) グループ間の拡散パターン

図 1: 6 人のアーティスト (World#1) の Web 検索データのモデリング：(a) 検索データのダイナミックスを捉え (青)，長期先の予測結果を示す (赤)．(b) 各地域のキーワード間の隠れた相互作用の種類と向きを矢の形式で示す．(c) キーワード同士の相互作用が類似する地域をグループとし，影響力の流れを示す．ここでは，2015 年の影響力の流れを可視化したものである．

United States (Group C)
Brazil (Group D)

𝑫Grammy Awards

カルマンフィルター (KF)，これらを拡張した統計モデルに基づいてる [12, 13]．また，これらの古典的手法に次元削除を組み合わせたモデルとして RMF [14] や SMF [15] などがあり，デー

New Year holidays

データの解釈可能性に関して限界がある．近年，深層学習の急(a) Influence intensities from group C to group D
beyoncekaty perry
lady gaga
maroon 5
stevie wonder
taylor swift𝑫

タマイニングで有用な結果を示しているが，これらの手法は速な発展により，深層学習ベースのモデルが数多く提案されている．時間変化を捉えられる Convolutional Neural Networks(CNNs) [16, 17] や Recurrent Neural Networks(RNNs) [18]，Transformer[19] などが代表例である．例えば，Transformer(b) Influence intensities from group C to group E(c) Seasonality

図 2: アメリカの 6 人のアーティストの潜在パターンの検出：(a) (b) はグループ C からの各アーティストの時間とともに変化する影響力を示す．(c) では，アメリカとブラジルにおける

beyonce の検索量から検出された季節性パターンを示す．

ベースのモデルの 1 つである Informer [20] は長期予測で高い精度を達成する．これらの深層学習ベースのモデルは高い予測性能を保証するが，解釈可能性という点では依然課題が残る．
本研究では，数理モデルと深層学習モデルの融合により，高い予測性能と解釈性を同時に実現する．

Web データモデリング：Web 検索データやソーシャルメディ
プ B はヨーロッパ、グループ C は北アメリカ、グループ D はアの投稿などのオンラインデータは，ソーシャルセンサーとし東アジアが含まれるようなクラスタリング結果を示した．また，て人々の動きを捉えることができ，インフルエンザ予測 [2]，人図 2 (a) と (b) で，時間とともに変化する地域間の影響の流れ

材流入予測 [21]，アイテム人気予測 [22] などの実社会のアプリを示す．グループ C から D には maroon 5 と kety perry の影

ケーションで活用される．このような実社会への応用の可能性

響力の流れがあり，グループ C から E には 2010 年代前半にから，Web データの動きを解明・モデリングすることに大きtaylor swift の影響力の流れが存在したが，現在は消滅していな関心が集まってる．例えば，[23] では，Web 上の 2 つのキーることが示される．このように，提案モデルは影響力の流れをワードの競合関係を調査し、感染症モデルでモデリングできる

直感的に理解できる値として提供する．

ことを示した．ソーシャルメディアプラットフォームにおける季節性：図 2 (c) は検索量から抽出される季節性の変動

コンテンツと視聴者の滞在時間のモデリング [24]，Web コミュを示す．提案モデルは，アメリカとブラジルの検索量から「グニティへの入会脱退のモデリング [25]，検索データと外部イベ

ラミー賞」と「年末年始」に起因する 2 種類のパターンを発見

ントの関係抽出 [26] などの Web データモデリング研究が行わした．このような周期的パターンを発見することはダイナミク

れてきた．Web 検索データのモデリングとして，数理モデルにスを正確に予測・モデル化する上で重要である．

基づきウェブ検索データからキーワードの相互作用を捉えるた•

2 関連研究めの手法である EcoWeb [6] が提案されている．EcoWeb では，

1 つの地域での検索キーワード同士の相互作用の検出に着目し時系列予測とモデリング：従来の時系列予測とモデリングのアているが，場所間のキーワードの相互作用については検討されプローチの多くは、自己回帰 (AR)、状態空間モデル (SSM)、ていない．

表 1: 記号と定義
記号

定義

tc , t fモデリングと予測のタイムスタンプ

Xc , Xf

モデリングと予測のテンソルデータ

lc , l f

モデリングと予測の時間間隔

L, K

地域とキーワードの数

dl

地域グループの数

aj

キーワード j の成長レートbj

キーワード j のキャパシティ

デルで，偏微分方程式として表現される．生物学，地質学，物理学など化学以外の分野の変化も記述できる [29, 30, 31, 32]．
反応拡散方程式は以下の式で記述できる．

∂u= f (u, t) + D∆u∂t(1)，u は化学物質の濃度，t は現在の時間，D は拡散係数を示す．
右辺の第一項 f (u, t) は局所的な反応を表現する反応項を表し，第二項 D∆u は物質の広がりを表現する拡散項を表現する．
提案モデルは，オンラインデータの動きをモデリング，予測cjj ′j ′ 番目のキーワードから j 番目のキーワードへの相互作用の強さ

D tmnkn 地域から m 地域への影響力の流れするために反応拡散方程式をベースに拡張したものである．例

S

季節性の潜在的パターンマトリックス

えば，各キーワードの検索量はお互いに影響し，ユーザの興味p

季節の一周期を奪い合う．このようなキーワード間の相互作用は反応拡散方

損失関数における正則化項

α, β

地域 i の相互作用を表現するパラメータセット

程式の反応項として表現できる．また，ある地域でのキーワー

g 1 , ...g dl

地域グループドの流行は別の地域のキーワード人気に影響を与えるかもしれΘ′ddl に関連するパラメータセット

o

i

l

ない．このような場所間のキーワードの影響の流れは拡散項として表現できる．このように，地域とキーワードの相互作用はPhysics-informed neural network：近年，深層学習が万能近似能力を持つことから，偏微分方程式や力学モデルの解導出などの文脈で応用されている [11]．

反応拡散方程式で表せると考える．

3. 3 提案モデルの機能

物理情報付きニューラルネットワークと呼ばれるこれらのモ

Web データなどの３次テンソルデータの潜在的なパターンとデルは、支配方程式の近似解を求める順問題 [27], や、支配方程相互作用を捉えるために FluxCube を提案する．まず，潜在的式に関わるパラメータを観測データから求める逆問題 [28] を解なパターンと相互作用を捉えつつ，正確な予測するために，以くことができる。私達は，偏微分方程式のパラメータの一部を

下の 3 つ機能を備えていることが必要である．

ニューラルネットワークで柔軟に表現するアイデアを活用する．

•

潜在的な相互作用と拡散: ユーザの行動を反映した Web

データは，利用者の嗜好や習慣など多くの潜在的な要因によって時間とともに変化していく．これらのキーワードの潜在的な3 全 体 像相互作用や場所の影響力の流れを明示的に捉えるために，提案
共進化するオンラインデータをモデリング・予測するための提案モデル FluxCube の全体像について説明すう．最初に，記号・定義を紹介し，次に提案モデルの特徴を紹介する．

を含んだ拡散反応方程式 [8] を用いることを提案する．

•

季節性: オンラインデータには年時パターンが存在する．

図 2 (c) が示すように，年末年始に検索量が増加する場合があ

3. 1 問 題 定 義
表 1に本論文で用いる記号を示す．タイムポイント数 T ，地 域 の 数 L，キ ー ワ ー ド の 数 K で 構 成 す る 3 次 テ ン ソ ル

X ∈ RT ×L×K のオンラインデータを扱う．X の要素である
xtij は i 地域の j 番目のキーワードの時間 t における検索量を示す．私達の目的は，隠れたパターンや潜在的な相互作用を抽出しつつ，テンソル X の長期予測を行うことである．長
c ,L,Kさ lc の観測したテンソルデータは，Xc = {xtij }tt,i,j=1と表現する．同様に，予測対象として，tc から tf の部分テンソルt ,L,Kf
Xf = {xtij }t,i,j=tを設定する．lc と lf はそれぞれ，モデc ,1,1

リングと予測のための時間間隔である．まとめると，私達の取り組む問題定義は以下の形である．

Problem (lf 先 の 予 測).

モデルは微分方程式で表現されるロトカ・ヴォルテラ方程式 [9]Given 時 間 tc ま で の テ ン

c ,L,K
ソ ル Xc = {xtij }tt,i,j=1,; Output: lf 先 の 値 予 測 X̂f =t ,L,Kf{x̂tij }t,i,j=t, where tf = tc + lf .
c ,1,1

3. 2 反応拡散方程式
キーワードと地域間の潜在的な相互作用を捉えるために，提案モデルは反応拡散方程式から着想を得ている．反応拡散方程
式は，化学物質の空間・時間変化などの物理現象を表現するモる．このような季節性の変化を捉える適切なモデリングが必要
である．

•

時変コンポーネント: Web データは他の地域の影響な

どの外部イベントによって大きく変化することがある．時間とともに変化する外部イベントや他の地域との関係は，微分方程式の変数では容易に説明できないため，柔軟なモデル化が求められる．そこで，本研究では physics-informed neuralnetworks [11] のアイデアを活用する．直感的には，万能近似能力を持つ深層学習 [33] と、解釈可能性の高い微分方程式を組み合わせたものである．

4 FluxCube
Web データなどのオンラインデータに対して適用する，反応拡散方程式 (式 (1)) に基づいた FluxCube の式は以下の形と
なる．

∂xtij
= f (xtij |Xct,i,: ) + g(xtij |Xct , t)∂t∂xtij
+ xtij )x̂t+1ij = F (
∂t

(2)
(3)

(P2) Diffusion term(P1) Reaction term
Competitive relationship(P3) Seasonal term

Amazonebay+

TargetAmazon4. 2 拡散項

Black Friday

Washington
State

BestBuy

ebay
Cra
igs
list

基づいて推定できる．

(P2)

拡散項は，地域間の影響の流れのモデリングを目的とする．

×

偏微分方程式や数理モデルで，Web データに反映される地域

Mutualistic relationship

Target間の関係を適切に捉えることは難しい．拡散反応方程式では，

Macy’s

化学物質は外的な影響を受けずに一定に広がるという観測に基AmazonWashington State

図 3: アメリカワシントン州の e-コマース関連の検索データ

づき，拡散係数は定数で空間・時間的な変化を表現する．しか(US#1) を対象に提案モデルを適用した場合のイメージ図．(P1)

しながら，Web 上における場所間の影響は，外的要因によって反応項でキーワード間の関係を捉え，（P2）拡散項で地域間の一定ではない．相互作用の時間変化を捉えるには，動的線形モ

キーワードの影響力の流れを表現する．そして，(P3) 季節項でデルを利用することが考えられるが，複雑な現象や急激な変化

各キーワードの季節の変動を捉える．

を考慮することは困難である．我々は，ニューラルネットワー
クを数理モデルの一部として活用し，時間とともに変化する場

式 (2) の第 1 項は地域 i におけるキーワード間の相互作用を抽出するための反応項 (P1) として機能する．第 2 項は，キーワー
ド j は地域間の影響の流れを抽出するための拡散項 (P2) にあ所間の相互作用を表現する．これは，一種の physics-informed

neural network [11] に相当する．具体的には，位置 i のキー
ワード j に関する拡散項 (式 (2)) を以下の形で表現する．

たる．最後に，季節性を捉えるための式 (3) を設定する（P3）．

D t =ReLU (RN N (1 : t))(5)

本モデリング手法の全体像を図 3に示す．次に，FluxCube のE ti =D ti ⊙ Xt ,(6)

各構成要素を順に紹介する．

4. 1 反応項

g(xtij |Xct , t) =

(P1)

dl
∑

(i = 1, ..., dl )E ti,i′ ,j

(7)

i′

反応項は，キーワード間の相互作用のモデリングを目的とする．
ウェブ上の検索キーワードはユーザの注目を集めるために競

ここで，D t ∈ Rdl ×dl ×K ， E t ∈ Rdl ×dl ×K ， D ti,i,: = 0．

D ti ∈ Rdl ×K と E ti ∈ Rdl ×K はそれぞれ E t と D t の i 番目のベクトルを示す．各ユーザの場所間の注目の流れを，時間変動争してる．ウェブ上のユーザの注目は有限であり，もし，そのするパラメータを扱える RNN (式 (5)) で表現する．RNN は，

キーワードが注目されないならばウェブで検索されない，この共変量の時間依存性を捉えつつ，時間変動するパラメータを

ウェブ上のキーワードとユーザーの注目の関係は，ジャングル

許容することで，高い表現力を実現する．RNN の出力であるにおける種と食物資源の関係に非常に似てる．例えば，リスザ

D t 3 次テンソルの形に変換される (D tmnk は場所 m における

ルとクモザルは果物を奪い合い，食料がなければどちらも生き残れない．そこで，私達は生物と資源の関係のモデリングに用いられるロトカ・ヴォルテラ方程式 [9, 10] を反応項として用いる．

キーワード k 人気が場所 n にどの程度寄与するかを示す)．つまり，D tmnk はキーワード k の地域 n から m への影響の強さを表す．図 3 (a) と (b) に D t (t = 1, ..., tc ) の例を示す．地域 iの時刻 t においてキーワード j が他の地域から受ける影響の総キーワード j に関する反応項 (式（2))，は以下のように表される．

(
f (xtij |Xct,i,: ) = aj xtij

Σj ′ cjj ′ xtij ′1−
bj

和は，式 (6) と (7) が示すように，式 (5) の出力 boldsymbolDを観測されるテンソルデータ mathcalX を乗算することで求

)
,

(4)

ここで，aj > 0，bj > 0，cjj = 1 である．各パラメータのサ
イズはキーワード数 K に依存する：a ∈ RK , b ∈ RK , andC ∈ RK×K 各パラメータは以下のように解釈できる．

まる．このように，数理モデルの一部を深層学習を適用することで柔軟なモデリングと高い説明性の両方が達成できる．

4. 3 季節項(P3)

最後に，オンラインデータの季節性・周期パターンを考慮で•

aj : キーワード j の成長率;

きるように拡張する．各キーワードは常に特定のユーザの関心•

bj : キーワード j のキャパシティ;を集めてるが，クリスマスやブラックフライデーなどの季節イ•′

cjj ′ : j 番目のキーワードから j 番目のキーワードへのベントに応じて動的に関心の多さが変化する．そこで，オンラ相互作用の強さ．C の非対角要素にあたる．

インデータに隠れた季節変動を検出するため，拡散反応方程式

C の非対角要素の符号から，2 つのキーワードの潜在的な関係

から季節性のパターンを考慮できる形に定式化する：
(
)
(
)
∂xtij
∂xtij
F
+ xtij = (1 + [S t mod p ]i,j ) ⊙+ xtij∂t∂tを解釈することができ•

cjj ′ > 0, cj ′ j > 0: 競合関係•

cjj ′ < 0, cj ′ j > 0: 寄生関係•

cjj ′ < 0, cj ′ j = 0: 共生関係

ここで，S ∈ Rp×L×K ，S >= 0，p は季節の一周期，⊙ はアダ•

cjj ′ < 0, cj ′ j < 0: 相互依存

マール積を示す．また，boldsymbolS は，図 3の季節項が示す

We ｂ上のキーワード間の関係を，上記のパラメータの関係に(8)ような潜在的なパターンを表現する行列となる．

ここで，< Xc |Θ′ > はモデルパラメータ群 Θ′ が与えられた時

4. 4 損 失 関 数
モデルの学習には，正則化項を持つ Mean Squared Error

メータ群 T heta′dl を記述するコスト，C は dl に影響されない(MSE) 損失を以下の形式で利用する．
∥Xc − X̂∥2 + α∑のデータ記述コスト， < Θ′dl > は dl によって変化するパラ∥D∥2 + β∑定数である．データを圧縮しつつ，背後にあるパターンを説明

∥S∥2

(9)

ここで，alpha と beta は正則化項の重みを制御するパラメータとなり，X̂ はモデリングの値となる．第 1 項はモデリングの値と観測値の差にペナルティを与える MSE 損失，第 2 項と第 3
項は場所間の影響 (Θ boldsymbolD) と潜在的な季節パターン (Θ boldsymbolS) の大きな値の採用を抑制する正則化項となる．

できる時，良いモデルであるという仮定に基づいたコスト関数となる．
データエンコーディングコスト: 観測データ mathcalX c をハ
フマン符号化 [38] に基づいて T heta′ で符号化する．この符号化方式では，平均 µ，分散 σ 2 のガウス分布における負の対数
尤度の形で mathcalX c の各値に以下の形でビット数を割り当てられる

5 最適化アルゴリズム< Xc |Θ′ >=∑tc ,L,K− log2 pµ,σ (xct,i,j − x̂ct,i,j )(13)t,i,j=1

我々は，複数の地域のオンラインデータをモデリング・予測するためのモデル FluxCube を提案したが，多くの地域のオン

ここで，x̂ct,i,j ∈ X̂c は提案モデルによって生成される xct,i,j ∈ Xc

ラインデータに対し最適化するためには依然として 2 つの課題のモデリングの出力である．

が存在する：(a) 推定する候補パラメータの数が多く，学習がモデルコスト：モデルコストは，モデルを記述するために必要非効率的で不安定になること，(b) 地域間の相互作用が複雑になビット数を示す．より複雑なモデル構造を採用すると，総コなり，結果が解釈しにくくなる．そこで，キーワード同士のパストは高くなる．ここでは，最適な dl を選択するという目的かターンが類似した地域を同じグループにすることで，解釈のしら，dl に関するパラメータ、すなわち，拡散項の boldsymbolDやすい形に変換するための学習アルゴリズムを紹介する．

にのみ着目する．dl に関係ないパラメータは定数値 C として

5. 1 自動的地域クラスタリング

扱い，コスト計算では無視できる．提案モデルのコストは以下

オンラインデータに対して地域の観点でクラスタリングする
ための我々の仮説は単純である．それは，反応項 (P1) で表現されるキーワード間の相互作用が類似している場所は同じ地域
グループとみなすことができるというものです．クラスタリン
グの手法として，先行研究 [34] に基づき，Uniform Manifoldの形として表される．

< Θ′dl > =< dl > + < D >< dl > = log∗ (dl )

(14)
(15)

< D > = |D| · (log(tc ) + 2 · log(dl ) + log(K) + cF ) + log∗ (|D|)(16)

Approximation and Projection (UMAP) [35] と K-means を用いて，地域数 L を地域グループ数 dl にクラスタリングする．

ここで，log∗ は整数のユニバーサルコード長，| · | は非ゼロの式は以下の形となる．

要素数，cF は浮動小数点コスト（32 ビット）を表す．

oi = U M AP (ai , bi , C i )(i = 1, ..., L)

g 1 , ..., g dl = K-means(o, dl )

(10)
(11)

5. 3 最 適 化
まとめると，キーワード間の相互作用が類似している場所は同じ地域グループとし，提案モデル FluxCube を学習する手順

ここで，oi ∈ R2 , o ∈ RL×2 はキーワード相互作用の圧縮表現

を Algorithm 1で示す．基本的な方針は，地域グループ数 dl をとなる．反応項の式 (4) の地域 i のキーワード同士の相互作用を増やしながら，式 (12) のエンコーディングコストを最小とな表現する，3 つのパラメータ (ai , bi , C i ) を利用する．これら 3るモデルを探索する．

つのパラメータは UMAP により 2 次元ベクトル boldsymboloiに圧縮され，K-means により dl 個の地域グループ (g 1 , ..., g dl )6 実験と結果にクラスタリングする．

6. 1 実 験 設 定
5. 2 最適な地域グループ数

6. 1. 1 データセット

最適なグループ数 dl を含んだパラメータ数が少ないモデル

2011 年 1 月 1 日から 2020 年 12 月 31 日までの約 10 年間ので観測データを十分に説明できると有用といえる．そこで，適検索量が含まれた，2 種類の地域の Google Trends を利用した．

切な dl を見つけるための手法として，Minimum Description

Length(MDL) [36, 37, 38] を利用する．MDL は，データ符•

US データ：４種類の米国 50 州の検索データセット•

World データ GDP スコアが上位 50 の国の検索データ

号化コストとモデル記述コストの和を最小化することで，デー

セット

タの良い要約を提供するもので，以下の形で記述される．

データセットに含まれるキーワードを表 2に示す．

< Xc |Θ′ > + < Θ′dl > + C(12)

6. 1. 2 比 較 手 法
時系列予測・モデリングのタスクにおける比較手法として

Full Model
Constant
w/o P2w/o P3Require: Input tensor Xc
Ensure: Learned FluxCube with interpretable parameters

RMSE

Algorithm 1 Optimization

1: /* Initialize
2: dl ← 1

US#1

3: g dl ← {1, ..., L}

US#2

US#3

US#4

World#1

World#2

World#3

図 4: 52 週先予測におけるアブレーション実験の結果

4: MinCost ← inf
5: while improving the cost do
6:

Error(MAE) の２つの評価指標を用いた．これらの評価指標のif dl > 1 then7:/* Automatic location clustering (Section 5.1)

値が低いほど，予測精度が高いことを示す．

8:g 1 , ..., g dl ← Clustering(dl , adl −1 , bdl −1 , C dl −1 )ハイパーパラメータ: 深層学習ベースのモデルのパラメータは

9:

end if

すべて Adam [40] で更新される．DeepAR，GRU，Informer

10:/* FluxCube training (Section 4)
F luxCubedl ← T raining(Xc , g 1 , ..., g dl )は，入力・予測長を 52，損失関数を MSE 損失と設定した．比

11:
12:

/* Calculate the encoding cost (Section 5.2)

13:

Costdl ← f (F luxCubedl , Xc )14:/* Update dl

証データを用いて（16、32、64）から選択した．また，Google

if Costdl < MinCost thenTrend データが週次データであり，年次パターンを捉えるため

15://f (·) : Equation(12)較モデルの隠れ層数などのパラメータはグリッドサーチを適用した．FluxCube の学習における RNN の隠れ層の大きさは検16:

MinCost ← Costdlに ，式 (8) の p を 52，式 (9) のハイパーパラメータ alpha と17:dl ← dl + 1

beta を 0.1，エポック数を 2,000 とし，early stopping を適用

18:

else

20:

した．

return F luxCubedl

19:

6. 2 実 験 結 果

end if

21: end while

実験結果を表 3に示す．FluxCube が比較モデルのほとんどにおいて高い精度を達成しており，提案モデルの有用性を確認できる．EcoWeb は提案モデルと同様のモチベーションで提案

表 2: データセット
ID

データセット キーワード

US#1

E-commerce

US#2

VoD

US#3

Sweets

US#4

Facilities

World#1 MusicWorld#2 SNS
World#3 Apparel

されたモデルであるが，キーワード間の相互作用のみを捉えるため，将来予測において高い精度を達成しなかった．季節パ

Amazon/Apple/BestBuy/Costco/Craigslist/Ebay/

ターンの抽出に重点を置いた SMF は，EcoWeb と比較して季Homedepot/Kohls/Macys/Target/Walmart

節性の強いオンラインデータの予測に有用であることを示す．

AppleTV/ESPN/HBO/Hulu/Netﬂix/Sling/
Vudu/YouTube

DeepAR や GRU などの RNN ベースのモデルは、ベースライ

Cake/Candy/Chocolate/Cookie/Cupcake/ンとして優れており，13 週先の予測では Informer とほぼ同じ

Gum/Icecream/Pie/Pudding

性能を示したが，52 週先などの長期先予測では不安定な結果

Aquarium/Bookstore/Gym/Library/Museum/
Theater/Zooを示す場合もあった．これらの結果は，長期先予測の精度を向Beyonce/KatyPerry/LadyGaga/Maroon5/

上することは難しいことを示す．一方で，長期予測に特化したStevieWonder/TaylorSwift
Facebook/LINE/Slack/Snapchat/Twitter/

Informer は，比較対象モデルの中で最も高い精度を達成した．

Viber/WhatsApp

Informer は，52 週先予測の精度が 13 週先予測の精度を大きく

Gap/H&M/Primark/Uniqlo/Zara

下回らないという傾向を示してる．

FluxCube は RMSE で 7 データセット中 5 データセット，
MAE で 7 データセット中 6 データセットで最高精度を達成し以下のものを用いる．EcoWeb [6]，SMF [15]，Gated Re-

た．提案モデルは，キーワードの相互作用，地域間の拡散，季current Unit (GRU) [39]，Informer [20]．

節性という 3 つの要素を考慮し，オンラインデータを明示的に

6. 1. 3 実 験 設 定

モデル化することで，高い予測性能と高い解釈可能性を提供し前処理: 2011 年 1 月 1 日から 2017 年 12 月 31 日までを訓練

てる．

(モデリング) 期間（7 年間 = tc ），次に 2018 年 1 月 1 日から

アブレーション実験: FluxCube の構成部分の有効性を示すた2018 年 12 月 31 日までを検証期間（1 年間），そして 2019 年

め，3 つの設定 (Constant モデル，Full w/o P2，Full w/o P3)

1 月 1 日から 2020 年 12 月 31 日をテスト期間（2 年間）としのアブレーション実験を行う．Constant モデルは式 (5) のて設定し，検索量を 0–1 の範囲へ正規化した．

RNN 部分を時間不変のパラメータに置き換えたモデルで，時評価指標: これらのモデルの予測性能を 13 週（3ヶ月），26 週間変動する RNN の有効性について検証する．Full w/o P2（半年），52 週（1 年）先の 3 つの時点で評価した．評価指標とと Full w/o P3 は提案モデルからそれぞれ拡散項と季節項をして，Root Mean Squared Error(RMSE) と Mean Absolute取り除いたモデルとなっている．各データセットの 52 週先予競合し，target と macys は相互依存の関係にあることが，ネッ

表 3: 予測性能比較
13 weeks
Dataset

US#1

US#2

US#3

US#4

World#1

World#2

26 weeks

52 weeks

トワークグラフを通じて示される．図 5 (a-3) から，アメリカの北東部が属するグループ A から他の地域に Macys の影響が

Model

RMSE

MAE

RMSE

MAE

RMSE

MAE

EcoWeb

0.14700.09500.1554

0.10820.16540.1197

SMF

0.08690.06200.09100.06540.10120.0674

World#2：図 5 (b-1) では，提案モデルが，スペインでの slack

DeepAR

0.10030.06340.13020.09070.13850.1014や snapchat の増加傾向を，日本での facebook の減少傾向を捉GRU

0.17230.11750.19240.13740.20590.1525

Informer

0.14770.10450.13750.09850.15750.1111

えていることが示される．一方で，日本で 2018 年以降急速に流れているなどが明らかになる．

FluxCube 0.0478 0.0257 0.0574 0.0323

0.0631 0.0365

普及が進んだ slack の動向を十分に捉えることができなかった

EcoWeb0.14400.11330.19810.16210.19200.1684

結果となっている．図 5 (b-2) では，スペインで facebook はSMF

0.0621

0.04450.07130.05220.07600.0529LINE，viber，twitter など複数のプラットフォームと相互依存

DeepAR

0.14710.10260.17810.13140.19060.1474的な関係であることが示唆される．多くのソーシャルメディア

GRU

0.15180.11710.16190.12310.16830.1440Informer

0.12770.08780.12920.08760.14360.1012

は，ネットユーザを奪い合うというよりも，共生する傾向があ

FluxCube 0.0245 0.0130 0.0276 0.0156

0.0310 0.0181

ることがわかる．図 5 (b-3) は提案モデルが，twitter を主に利EcoWeb0.15550.12080.17300.13840.17540.1369用する日本やサウジアラビアをグループ B、facebook を主に利SMF

0.02760.01860.02810.01700.02810.0190DeepAR

0.11070.07530.12670.08330.13090.0908用するアメリカやイギリスをグループ F に分類したことがわか

GRU

0.13000.08690.13680.98430.13680.0939る．地域グループ間の影響力の相互作用の結果，facebook の影

Informer

0.1322

0.09540.1311

0.09460.12790.0914

響力はグループ F から他の地域グループへ流れ，イスラエルでFluxCube 0.0200 0.0121 0.0222 0.0136

0.0238 0.0148

開発された viber の影響力は中東諸国を含むグループ E から他

EcoWeb

0.08470.05730.13480.09500.15110.1182の地域グループに流れていることがわかる．

SMF

0.09050.07620.11000.07510.12060.1077

DeepAR

0.09270.06820.16620.11190.21680.1639これらのケーススタディが示すように，FluxCube はキーワー

GRU

0.11990.08720.17370.12230.23190.1764

ドや場所の関係性を明らかにする複雑な相互作用を記述するこInformer

0.10140.07200.09920.06900.10550.0762とができ，オンラインデータのモデリングや予測に適している．

FluxCube 0.0495 0.0256 0.0610 0.0358

0.0794 0.0503

EcoWeb

0.12590.08310.14220.10340.21010.1460SMF

0.09360.07830.09010.06020.10870.0787

DeepAR

0.09000.0636

0.09290.06810.13950.0972GRU

0.06330.04520.07180.05010.08230.0572

本研究では，Web 検索データのような時間発展する大規模オ

Informer

0.07040.04230.07190.0416

0.07380.0446

ンラインデータのモデル化・予測を試み，拡散反応方程式と生

FluxCube 0.0454 0.0274 0.0477 0.0286

0.0546 0.0331

態系モデルに基づく FluxCube を提案した．提案手法では，観EcoWeb

0.09080.03000.10890.05700.13530.0742測データの潜在的な力学的作用を抽出することで，その傾向・

SMF

0.0841

0.04360.07990.04540.0826

0.0480DeepAR

0.0374 0.0098 0.0585

0.01990.06430.0209

季節性・相互作用などを取り出すことができる．また，複数のGRU

0.04010.01590.0588 0.0174

0.07390.0254

Google Trends データに適用することで，提案モデルは潜在的Informer

0.03710.01590.05950.0196

0.0642 0.0208

FluxCube

0.07040.02710.07110.03040.08310.0351

ダイナミクスを捉え，高い予測性能を達成した．また，予測性

EcoWeb

0.05230.02080.06260.02000.10800.0293SMF

0.02060.01110.02890.01600.02540.0195や影響の流れを，人間が解釈可能な形で提供した．例えば，ワ0.02110.01100.02750.00990.06130.0214

シントン州では costco は bestbuy や homedepot とオンライン

GRU

0.01910.00900.0217 0.0096 0.00235

0.0115

Informer

0.02230.01050.02260.0108

ユーザーを獲得するために競合していることが、我々の事例でWorld#3 DeepAR

0.0105

FluxCube 0.0176 0.0085 0.0214 0.0096

0.02140.0221 0.0100

8 おわりに能だけでなく，観測データの背後に存在する潜在的な相互作用示されている．このようなデータの背後にある潜在的な相互作用を発見することは，我々の意思決定を支援することにつながることが期待できる．

測の RMSE を図 4に示す．これらの結果から，どのアブレー
ションモデルも提案モデルよりも低い予測性能となっており，

FluxCube の各構成要素はオンラインデータのモデリングに有用であることが示唆される．

謝

辞

本研究の一部は JSPS 科研費，JP20H00585，JP21H03446，

JP22K17896, 国 立 研 究 開 発 法 人 情 報 通 信 研 究 機 構 委 託 研

7 Case study
US#1: 図 5 (a-1) は提案モデルが，複数の国やキーワードの潜在的な動的パターンをうまく捉え，amazon や apple の季節
性パターンや、craigslist の減少傾向を捉え，将来の値を予測できることを示す．提案モデルの反応項に基づいて算出される
図 5 (a-2) は，ニューヨーク州で amazon は bestbuy や ebay と究 NICT 03501, 総務省 SCOPE JP192107004，JSTAIP 加
速 課 題 JPMJCR21U4，ERCA 環 境 研 究 総 合 推 進 費 JP-

MEERF20201R02, の助成を受けたものです．

文

献[1] Yasuko Matsubara, Yasushi Sakurai, Christos Faloutsos, Tomoharu Iwata, and Masatoshi Yoshikawa.

New York State (Group A)

Modeling Forecasting

New York State (Group A)

Estimated Vales

amazonapple

costcobestbuy

costcocraiglistebay
targetebay

amazontargetmacys

Washington State (Group B)

Timecraigslist

Washington State (Group B)
amazonbestbuy

Homedepot

Estimated Vales

costcoGroup A: New York,
Ohio, Maryland, etc.

targetwallmart

Group B: Washington,
Texas, Arizona, etc.
Group C: MontanaTime(b) キーワードの交互(a) モデリングと予測結果
Spain (Group A)

Group D: California,
Hawaii, Minesota, etc.

amazonmacys

Group E: Oklahoma,
New Hampshire, etc.

bestbuytargetebay
craigslist

作用(c) 地域グループ間の拡散パターン

Modeling Forecasting
Spain (Group A)

Estimated Vales

line
facebookwhatsapp

viber

slack
twittersnapchat
Time

Japan (Group B)

Japan (Group B)

line

line

facebook

facebookwhatsapp

Estimated Valesslack
snapchat
twitterviber

Group A: Spain, Turkey
Vietnum, Pakistan, etc.

viber

slack

Group B: Saudi Arabia,
Japan, Thailand, etc.

whatsapp

snapchat

Group C: Australia, India,
Korea, Norway, etc.
Group D: China, Russia,
Bangladesh, Nigeria, etc.

twitterGroup E: Egypt, Iran,Germany, Poland, etc.

Time(d) モデリングと予測結果

Group F: United States,
Canada, Brazil, etc.

(e) キーワードの交互作

line
facebook

twitter
viber

slack
snapchatwhatsapp(f) 地域グループ間の拡散パターン

用

図 5: US#1 (a) と World#2 (b) データへの FluxCube のモデリング・予測結果：(a/b-1) オンラインデータに対するモデリング・
予測結果を示す．観測データをグレーで表示する．(a/b-2) 各地域におけるキーワード間の潜在的な相互作用のネットワークグラ
フを示す．提案モデルによって示唆された相互作用の種類を矢の色で示す．競合関係や相互依存は双方向性である一方で，共生や寄生関係は一方向の矢印で表現される．(a/b-3) 国 / 州を地域グループに分割したクラスタリング結果と，各地域グループ間の影
響の流れを示す．

[2]

[3]

[4]

[5]

Fast mining and forecasting of complex time-stamped
events. In Proceedings of the 18th ACM SIGKDD international conference on Knowledge discovery and data
mining, pages 271–279, 2012.
Jeremy Ginsberg, Matthew H Mohebbi, Rajan S Patel, Lynnette Brammer, Mark S Smolinski, and Larry
Brilliant. Detecting influenza epidemics using searchengine query data. Nature, 457(7232):1012–1014, 2009.
Jure Leskovec, Lars Backstrom, and Jon Kleinberg.
Meme-tracking and the dynamics of the news cycle. In
Proceedings of the 15th ACM SIGKDD international
conference on Knowledge discovery and data mining,
pages 497–506, 2009.
Julia Proskurnia, Przemyslaw Grabowicz, Ryota
Kobayashi, Carlos Castillo, Philippe Cudré-Mauroux,
and Karl Aberer. Predicting the success of online petitions leveraging multidimensional time-series. In Proceedings of the 26th International Conference on World
Wide Web, pages 755–764, 2017.
Yuchen Zhao, Neel Sundaresan, Zeqian Shen, andPhilip S Yu. Anatomy of a web-scale resale market:

[6]

[7]

[8]

[9]

a data mining approach. In Proceedings of the 22nd
international conference on World Wide Web, pages
1533–1544, 2013.
Yasuko Matsubara, Yasushi Sakurai, and Christos
Faloutsos. The web as a jungle: Non-linear dynamicalsystems for co-evolving online activities. In Proceedingsof the 24th international conference on world wide web,pages 721–731, 2015.
Maya Okawa, Tomoharu Iwata, Yusuke Tanaka,
Hiroyuki Toda, Takeshi Kurashima, and Hisashi
Kashima. Dynamic hawkes processes for discoveringtime-evolving communities’ states behind diffusion processes. In Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery & Data Mining, pages
1276–1286, 2021.
Elizabeth E Holmes, Mark A Lewis, JE Banks, andRR Veit. Partial differential equations in ecology: spatial interactions and population dynamics. Ecology, 75(1):17–29, 1994.
SS Antman JE Marsden, L Sirovich S Wiggins, L Glass,
RV Kohn, and SS Sastry. Interdisciplinary appliedmathematics. 2002.
[10] James W Haefner. Modeling Biological Systems:: Principles and Applications. Springer Science & BusinessMedia, 2005.
[11] Maziar Raissi, Paris Perdikaris, and George E Karniadakis. Physics-informed neural networks: A deeplearning framework for solving forward and inverse
problems involving nonlinear partial differential equations. Journal of Computational physics, 378:686–707,
2019.
[12] James Durbin and Siem Jan Koopman. Time series
analysis by state space methods, volume 38. OUP Oxford, 2012.
[13] Joel Janek Dabrowski, Ashfaqur Rahman, Andrew
George, Stuart Arnold, and John McCulloch. State
space models for forecasting water quality variables:
an application in aquaculture prawn farming. In Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, pages
177–185, 2018.
[14] Hsiang-Fu Yu, Nikhil Rao, and Inderjit S Dhillon.
Temporal regularized matrix factorization for highdimensional time series prediction. Advances in neural
information processing systems, 29, 2016.
[15] Bryan Hooi, Kijung Shin, Shenghua Liu, and Christos
Faloutsos. Smf: Drift-aware matrix factorization withseasonal patterns. In Proceedings of the 2019 SIAM
International Conference on Data Mining, pages 621–
629. SIAM, 2019.
[16] Aaron van den Oord, Sander Dieleman, Heiga
Zen, Karen Simonyan, Oriol Vinyals, Alex Graves,
Nal Kalchbrenner, Andrew Senior, and Koray
Kavukcuoglu. Wavenet: A generative model for raw
audio. arXiv preprint arXiv:1609.03499, 2016.
[17] Shaojie Bai, J Zico Kolter, and Vladlen Koltun. An
empirical evaluation of generic convolutional and recurrent networks for sequence modeling. arXiv preprint
arXiv:1803.01271, 2018.
[18] David Salinas, Valentin Flunkert, Jan Gasthaus, andTim Januschowski. Deepar: Probabilistic forecastingwith autoregressive recurrent networks. International
Journal of Forecasting, 36(3):1181–1191, 2020.
[19] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser,
and Illia Polosukhin. Attention is all you need. In Proceedings of Advances in neural information processing
systems, pages 5998–6008, 2017.
[20] Haoyi Zhou, Shanghang Zhang, Jieqi Peng, Shuai
Zhang, Jianxin Li, Hui Xiong, and Wancai Zhang. Informer: Beyond efficient transformer for long sequence
time-series forecasting. In Proceedings of AAAI, 2021.
[21] Le Zhang, Hengshu Zhu, Tong Xu, Chen Zhu, Chuan
Qin, Hui Xiong, and Enhong Chen. Large-scale talent
flow forecast with dynamic latent factor model? In The
World Wide Web Conference, pages 2312–2322, 2019.
[22] Swapnil Mishra, Marian-Andrei Rizoiu, and Lexing
Xie. Feature driven and point process approaches for
popularity prediction. In Proceedings of the 25th ACM
international on conference on information and knowledge management, pages 1069–1078, 2016.
[23] Alex Beutel, B Aditya Prakash, Roni Rosenfeld, andChristos Faloutsos. Interacting viruses in networks:
can both survive? In Proceedings of the 18th ACM

[24]

[25]

[26]

[27]

[28]

[29]

[30]

[31]
[32]

[33]

[34]

[35]

[36]

[37]

[38]

SIGKDD international conference on Knowledge discovery and data mining, pages 426–434, 2012.
Hemank Lamba and Neil Shah. Modeling dwell timeengagement on visual multimedia. In Proceedings ofthe 25th ACM SIGKDD International Conference on
Knowledge Discovery & Data Mining, pages 1104–
1113, 2019.
Tianran Hu, Yinglong Xia, and Jiebo Luo. To returnor to explore: Modelling human mobility and dynamics in cyberspace. In The World Wide Web Conference,
pages 705–716, 2019.
Shubhra Kanti Karmaker Santu, Liangda Li, Dae Hoon
Park, Yi Chang, and ChengXiang Zhai. Modeling theinfluence of popular trending events on user search behavior. In Proceedings of the 26th International Conference on World Wide Web Companion, pages 535–544,
2017.
Maziar Raissi and George Em Karniadakis. Hidden
physics models: Machine learning of nonlinear partial differential equations. Journal of Computational
Physics, 357:125–141, 2018.
Zhiwei Fang and Justin Zhan. A physics-informed neural network framework for pdes on 3d surfaces: time
independent problems. IEEE Access, 8:26328–26335,
2019.
Richard FitzHugh. Impulses and physiological statesin theoretical models of nerve membrane. Biophysicaljournal, 1(6):445–466, 1961.
Srinjoy Ganguly, Upasana Neogi, Anindya S Chakrabarti,
and Anirban Chakraborti. Reaction-diffusion equations with applications to economic systems. In Econophysics and Sociophysics: Recent Progress and Future
Directions, pages 131–144. Springer, 2017.
John E Pearson. Complex patterns in a simple system.
Science, 261(5118):189–192, 1993.
C Cosner. Reaction–diffusion equations and ecologicalmodeling. In Tutorials in mathematical biosciences IV,
pages 77–115. Springer, 2008.
Shiyu Liang and R Srikant. Why deep neural networks
for function approximation? In 5th International Conference on Learning Representations, ICLR 2017, 2017.
Kareem Darwish, Peter Stefanov, Michaël Aupetit, and
Preslav Nakov. Unsupervised user stance detection on
twitter. In Proceedings of the International AAAI Conference on Web and Social Media, volume 14, pages
141–152, 2020.
Leland McInnes, John Healy, and James Melville.
Umap: Uniform manifold approximation and projection for dimension reduction.
arXiv preprint
arXiv:1802.03426, 2018.
Deepayan Chakrabarti, Spiros Papadimitriou, Dharmendra S Modha, and Christos Faloutsos. Fully automatic cross-associations. In Proceedings of the tenth
ACM SIGKDD international conference on Knowledge
discovery and data mining, pages 79–88, 2004.
Chun Tang and Aidong Zhang. Mining multiple phenotype structures underlying gene expression profiles. In
Proceedings of the Twelfth International Conference on
Information and knowledge management, pages 418–
425, 2003.
Jorma Rissanen. Modeling by shortest data description. Automatica, 14(5):465–471, 1978.

[39] Zhengping Che, Sanjay Purushotham, Kyunghyun
Cho, David Sontag, and Yan Liu. Recurrent neuralnetworks for multivariate time series with missing values. Scientiﬁc reports, 8(1):1–12, 2018.
[40] Diederik P Kingma and Jimmy Ba.
Adam: Amethod for stochastic optimization. arXiv preprint
arXiv:1412.6980, 2014.