ガウス過程による埋め込み点集合の時間遷移のモデル化

動的に変化する点集合の解析は，さまざまな分野において重要な課題である．例えば言語学では，特定の単語の意味が時間とともにどのように変化するか[1]について，用例から埋め込みを獲得し，その集合を分析する[2,3]ことで，言語の変遷を理解する手助けとなる．また，生態系においても，植物・草食動物・肉食動物の相互作用により，各種の生息地は時間とともに変化する[4]が，これらの時間的遷移を解析する[5]ことで，生態系の動向を明らかにすることが期待できる．社会学の分野では，人口移動や犯罪の発生などの社会現象が，特定の地域にどのように発生するかを時系列で解析する[6,7]ことで，社会現象の変動パターンを理解することができる．このように，空間的に分布した点集合の時間遷移を理解することは，さまざまな現象の背後にある構造や相互作用を明らかにするための基盤となる．これまでの研究では，点集合の時間的変化を扱う手法として，ある時点での点集合（例：単語の時期𝑡∈𝑇の点集合（ℝ𝑁×2）について𝐾個の余弦波に対応する重みの推定を行う．これによって，任意の点集合の時間遷移（ℝ|𝑇|×(𝑁×2)）を𝐾次元の重みの時間遷移（ℝ|𝑇|×𝐾）として解釈することが可能となる．さらに，重みの集合にPCAを適用し，2つの主成分を選択して変換（ℝ|𝑇|×𝐾→ℝ|𝑇|×2）することで，点集合の時間遷移をコンパクトに表現できる．用例埋め込み集合,ある生物の生息分布，犯罪の発生分布）を推定する手法が広く用いられてきた[5,6,7,8,9,2]．しかし，これらの手法は特定の時点での各地の状態を表現するのには有効であるものの，点集合全体の時間的な変動のメカニズムや異なる点集合間の関係性を理解するには限界がある．本研究では，この問題に対処するために，ガウス過程を用いて各時期の点集合を一つの分布として表現し，時間による変動を解析するための新しい手法を提案する．通常のガウス過程はデータ点の情.報を全て保持することで複雑な分布を表現するが，分布の本質的な情報を抽出することは困難である．fそこで本研究では，ガウス過程をコンパクトに表現する乱択化フーリエ特徴(RandomFourierFeatures,RFF)[10]を採用した．RFFは𝐾個の余弦波の組み合わせでデータ点の分布を近似するため，複雑な分布の本質的な情報を𝐾次元の周波数空間の実ベクトルとして表現することが可能となる．実験では，単語の意味変化を分析し，応用として社会学の犯罪発生分布にも適用することで，有用性を検証した．