土木学会 AI・データサイエンスセミナー

テキストとその背後のダイナミクスをとらえる
持橋大地
統計数理研究所 数理・推論研究系
daichi@ism.ac.jp
2023-10-19 (木)オンライン講演自己紹介

立川・統数研l 持橋大地

統計数理研究所 数理・推論研究系– 1998年 東京大学教養学部
基礎科学科第二卒業– 2005年 奈良先端科学技術大学院大学 情報科学研究科 博士後期課程修了
l 専門：自然言語処理、統計的機械学習
言語に限らず、多数の分野と共同研究を行っています土木工学との関わり
l 大学の同級生(文科)が土木に定数外で進学
l 個人的に、建築・土木にも興味あり– 小林潔司先生の階層的隠れマルコフ舗装劣化モデル(2011)について知ったのがきっかけ↓ 東京スカイツリーに初めて行った後に読んだ論文関わった教科書
l 『パターン認識と機械学習』翻訳チーム (2006年頃〜)– 10章(下巻)の変分ベイズ法の翻訳を担当– 今でも、機械学習の最も標準的な教科書

『ガウス過程と機械学習』l 講談社機械学習プロフェッショナルシリーズ(MLP),
2019年発売l 現在、Amazonのレビュー数
122個
l 線形回帰モデルの非常にやさしい導入から入っています岩波データサイエンス 自然言語処理
l 「岩波データサイエンス

Vol.2 統計的自然言語理」
l 私が特集総括と記事の執筆をしていますl 1500円で読みやすい
読み物形式ですl 大きな書店には置いてある
と思います

6/43

土木領域での自然言語データ
l 以下は、外部からの想像です [補っていただければ幸いです]l (厖大な)保守記録– 橋梁や道路などの状態を自由記述で書いたデータ– 形容詞や副詞などを用いて状態を記述
l 住民からの反応や陳情などのテキストデータ– 何が問題なのか、焦点がどう変わってきているのかを人手で客観的に判断するのは難しい
l などなど、テキストに貴重な情報が埋まっており、それを統計的に有効に取り出したい注: 大規模言語モデル(LLM)について
l ChatGPT等のLLMが流行っているが、アイデア出しなどにはよいが、動作がまだまだ不安定
l 工学的に安心・安全に運用するのは難しい– 内部の動作がほとんど解明されていない– 品質保証が全くなされていない
l LLMに頼らずとも(あるいは、ブラックボックスとして有効に利用して)、信頼できる言語処理を
数理的に実現したい今日の話
l 周波数空間における「副詞」の数学的モデル化とロボティクスへの応用
l 言語のような離散データの背後に隠れた微分方程式の推定

周波数空間における「副詞」のモデル化(お茶の水女子大学D2 谷口巴さんとの共同研究)

研究背景
l 生活を支援する家庭用ロボットの重要性の高まり
l 日常生活において、人と同じ感覚を共有した動作が期待される
l 副詞などで表現されるあいまいな言葉を理解し、動作へ結びつけることが必要– 「この皿は丁寧に運んで」– 「庭をさっと掃いてからすぐに表に回ってね」

11使用するデータセット
l 100Walks データ＠YouTube [https://youtu.be/HEoUhlesN9E]– 「歩く」動作の動画– 100個の動画データ、演者1人– 100種類の歩く動作– 副詞をクラウドでタグ付け
l AIST++ データ

100 Walks 動画データ– 様々な「踊る」動作の動画– 1199個の動画データ, 10種類
– 20人のダンサー– 副詞をクラウドでタグ付け
AIST++動画データ
12副詞をアノテーション
l クラウドソーシングサイトLancersを用いて各動画に副詞のアノテーションを依頼

 100 Walks データ：100個ずつ24名に依頼
動画数

副詞の種類

平均副詞数

100

264

12.9

 AIST++ データ：50個ずつ120名に依頼
動画数

副詞の種類

平均副詞数

1199

1767

16.2

13

動画にアノテーションされた副詞

14動画データの前処理 (100Walks)l 動画から骨格の三次元座標を抽出する
もとの動画à

2次元座標を抽出Open Pose[Cao+,2018]

深度を推定
FCRNDepthPrediction[Laina+,2016]

3次元座標を抽出
3d-pose-baseline[Martnez+,2017]

姿勢を正規化15

方向ベクトルの算出
l 座標から方向ベクトルを算出
100 Walks データ(16本)

AIST++データ(14本)

0

1
3

1
2

5

6

2
0

4

5

6

3
7

9

11

4

12

13

14

15

16

8

10

7

9

11

12

13

14

15

16

8

10

16

問題1：
l 運動データの次元が高すぎる– 100 Walksデータの場合、16x3=48次元– AIST++データの場合、14x3=42次元
l 次元の間に、高い相関がある
l 真の運動の自由度は、もっと圧倒的に低い!
l 主成分分析 (PCA) をすればよい？à ×

17

GPLVMを用いてデータを次元圧縮
l 48次元の情報を3次元に非線形に次元圧縮
l 入力 : N 48 行列の姿勢情報
l 出力 : N 3 行列の潜在変数

N: フレーム数18

Gaussian Process Latent Variable Modell ガウス過程を用いた教師なし学習 (Lawrence+ 2003)
l 観測値 Y が、潜在変数 X から生成されていると仮定
l カーネル関数を用いてX から Y への写像を非線形にすることが可能
特徴量(D次元)

フレーム数

Y

𝑥!

𝑥"
19

ガウス過程とはl ガウス過程 (Gaussian process)…関数を生成する

確率分布

y 3
<latexit sha1_base64="7/SSaSZsREB6ukgOue0YsIbG7wk=">AAAHY3ichZXNbtNAEMenLdSlBfoBBySEVBG14hRtAhKIUwtUompV5YO0qdqq8rrrYMWxLdtJm0R5AbiCOHACiQPiMbjwAhz6ABwQxyJx4cB47chJdlocJbs78/tPZnbXu9yzrSBk7HRsfOLS5Ult6sr0zNVr12fn5he2A7fpG6JiuLbrV7keCNtyRCW0QltUPV/oDW6LHV5/Gvl3WsIPLNd5EbY9cdDQa45lWoYeoqnYPpzLsCyTz6LaySWdDCRPwZ2fWIZ9OAIXDGhCAwQ4EGLfBh0C/OxBDhh4aDuALtp87FnSL6AH06htIiWQ0NFax98ajvYSq4PjKGYg1Qb+i41fH5WLsMS+s8/sjH1jX9hP9vfcWF0ZI8qljS2PtcI7nH11q/znv6oGtiG8TFUXKDjSF9cUggmPZC0W1uZJS1SlEcdvdd6dlR+XlrrL7CP7hfV9YKfsK1botH4bn4qi9F5GP0KNiW0LWwMyOMNdHPUz5ejrSmsvySblTwjyhODaBNcmuA7BdQjumOCOCc4kOJPg6gRXJ7hVglsluHWCWye4DYLbILgqwVUJbpfgdgmOERxTOJ6sb7QPqXXlybrGfnU9udzFfb8g/A3csSmxL8cq5WGO1hAXWygyUMiAJKPcQqx/kO3bVDqapT4/qEjtPUJly3eeo2VUN+ihlAWl4sI5FZfRWpMrOUinVlWxOZRVqtkcyWlQtZXkb6DPxpNlSyHWRnYUx/GaQpUIqqRQz+Rpk4G8pE08n6NzL17N/okf5xGfSrQnH8XF+yc3etuone18Nnc/my8+yKw8SW6iKbgNd+Eexn8IK/Ac57+COQh4DW/g7eQPbUZb0G7G6PhYorkBQ4925x/gtIGS</latexit>

2
1

f

0
-1
-2
-3
-1

0

1

2

x

3

4

<latexit sha1_base64="OitrD5Gr0rYnlDnJDcin2R9GR74=">AAAHaXichZXNbtNAEMenLTSlfLSBSwWXCqsVp2gTkECcWqASVasqTUiTqqkqr7sOVhzbsp00iZUX4MYJiZ5A4oB4DC68AIc+AuqxSFw4MF47chJPi6Nkd2d+/8mMdz3mjml4PmNnU9Mz167PZuZuzN+8dfvOwmL27p5nt11NVDTbtN0aVz1hGpao+IZviprjCrXFTVHlzZehv9oRrmfY1hu/54jDltqwDN3QVB9N1XpHaEF3cLSosByT13J6ko8nCsRX0c7OrEIdjsEGDdrQAgEW+Dg3QQUPPweQBwYO2g4hQJuLM0P6BQxgHrVtpAQSKlqb+NvA1UFstXAdxvSkWsN/MfHronIZVthP9pVdsB/sG/vF/l4aK5Axwlx6OPJIK5yjhXdL5T//VbVw9OFtorpCwZG+uiYfdHgmazGwNkdawiq1KH6n/+Gi/Ly0Eqyyz+wc6/vEzth3rNDq/Na+7IrSqYx+jBodxw6OGih4hwNcDTPl6AukdRBnk/BdguwSXI/gegTXJ7g+wZ0Q3AnB6QSnE1yT4JoEt05w6wS3SXCbBLdFcFsEVyO4GsHtE9w+wTGCYymOx/sbnkNqX3m8r5E/vZ9cnuKhXxD+Fp7YhKjLdZpyMEdjjIssFOmlSI8kw9x8rH+UHdrSdHiXhvyoIrEPCJUpn3mOlkndqIdSFlMVFy+puIzWhtzJUTqxphXbY1klmu2JnEZVO3H+GvpM7Cw7KWJj4kRxXG+kqBJBlVLUK9ltFChIWsf+HPa9aDeHHT/KI+pKtKcQxsX3T37ybZOe7BVy+ce5wu4TZe1F/CaagwfwEB5h/KewBq/x/ldk730PH+F09jyTzSxl7kfo9FSsuQdjV0b5B905hF8=</latexit>x– 関数：入力 x 7! y への写像
– 時間 t の関数としてみれば、軌跡– 数学的には、関数解析で扱われる対象<latexit sha1_base64="7kpLPZCe6H3IFv+zhcUStmPANsw=">AAAHY3ichZXNbtNAEMenLTSlBfoBBySEVBG14hRtAhKIUwtUompV5YO0qdqq8rrrYMWxLdtJm1h5AbiCOHACiQPiMbjwAhz6ABwQxyJx4cB47chJdlocJbs78/tPZnbXu9y1TD9g7HRsfOLS5cnM1JXpmavXrs/OzS9s+07L00VVdyzHq3HNF5Zpi2pgBpaouZ7QmtwSO7zxNPLvtIXnm479Iui44qCp1W3TMHUtQFMpOJzLshyTz6LaySedLCRP0ZmfWIZ9OAIHdGhBEwTYEGDfAg18/OxBHhi4aDuAEG0e9kzpF9CDadS2kBJIaGht4G8dR3uJ1cZxFNOXah3/xcKvh8pFWGLf2Wd2xr6xL+wn+3turFDGiHLpYMtjrXAPZ1/dqvz5r6qJbQAvU9UFCo70xTUFYMAjWYuJtbnSElWpx/Hb3XdnlcflpXCZfWS/sL4P7JR9xQrt9m/9U0mU38voR6gxsG1jq0MWZzjEUT9Tjr5QWntJNil/QpAnBNchuA7BdQmuS3DHBHdMcAbBGQTXILgGwa0S3CrBrRPcOsFtENwGwdUIrkZwuwS3S3CM4JjC8WR9o31IrStP1jX2q+vJ5S7u+wXhb+KOTYl9OVYpF3M0h7jYQpG+QvokGeUWYP2DbN+m0tEs9flBRWrvESpLvvMcLaO6QQ+lLCoVF8+puILWulzJQTq1qorNoaxSzeZIToOqrSR/HX0WnixbCrE2sqM4jtcUqkxQZYV6Jk+bLBQkbeD5HJ178Wr2T/w4j/hUoj2FKC7eP/nR20btbBdy+fu5QulBduVJchNNwW24C/cw/kNYgec4/1XMQcBreANvJ39kZjILmZsxOj6WaG7A0JO58w+9uYGN</latexit>

代表的な使い方: ガウス過程回帰
l (x,y)のペアが与えられた時、新しいx*に対してyを予測– 非線形の、非常に柔軟な回帰が可能カーネルによる関数の違い (カーネルとは?)カーネル: 入力の類似度を定義する関数
l 線形カーネル:

k(x, x0 ) = xT x0(x) = x を意味する→ガウス過程は、重回帰を包含✓◆
0|x x |
0l 指数カーネル:
k(x, x ) = exp
✓✓
✓
◆◆
0
|x x |
0k(x, x ) = exp cos ✓1l 周期カーネル:✓2–l Matérnカーネル:

21 ⌫k(x, x ) =
(⌫)
0

–

p

2⌫r
✓

!⌫

K⌫

p

2⌫r
✓

!

(r = |x

1 3 5⌫= , ,
2 2 2 のときが有名 (Matérn 1/3/5)

x0 |)GPLVM: 非線形な主成分分析
l Yだけが観測されているとき、

DN
log p(Y|X) =log(2⇡)
2
KX = ↵XXT + 1 I

D
log |KX |2

X = (x1 , · · · , xN )1
tr(KX1 YYT )2

l これを最大化する潜在的なXを見つければよい
l Gaussian Process Latent Variable Model(GPLVM)という (Lawrence+, NIPS 2003)

GPLVMのイメージ

l xが1次元の場合: 各観測値 (×,△,○)の背後にxが存在

GPLVMの最適化
DN
log p(Y|X) =log(2⇡)
2
KX = ↵XXT + 1 I

D
log |KX |2

1
tr(KX1 YYT )2

X = (x1 , · · · , xN )l 自然にカーネル化されているà任意のカーネルを導入

k(xn , xm ) = ↵ exp|xn xm |2 + (n, m)@L= KX1 YYT KX1 D KX1l@KX@L@L @KX=–を適用して微分@xnj @Kx @xnj

1

(RBF)

– @KX /@xnj は、上のカーネルから計算できる

GPLVM: 計算例
To appear in ACM Trans. on Graphics (Proc. SIGGRAPH’04)
l “Style-based
inverse kinematics”, SIGGRAPH 04– 高次元の関節角ベクトルの時系列を、たった2次元程度に非線形に圧縮できる

latent spaces learned from different motion capture sequences: a walk cycle, a jump shot, and a baseball pitch. Points:
s estimates a 2D position x associated with every training pose; plus signs (+) indicate positions of the original training
ce. Red points indicate training poses included in the training set. Poses: Some of the original poses are shown alongected to their 2D positions by orange lines. Additionally, some novel poses are shown, connected by green lines to theirplot. Note that the new poses extrapolate from the original poses in a sensible way, and that the original poses have been
ilar poses are nearby in the 2D space. Likelihood plot: The grayscale plot visualizes − D2 ln σ 2 (x) − 12 ||x||2 for each

運動のGPLVMの結果
l (a)(b)(c)の異なる歩行動画について、GPLVMで軌跡を3次元に圧縮した結果

l 普通の主成分分析(線形)では、こんなに綺麗には圧縮できない28

問題2：
l 「運動」の特徴をどうやってとらえるか？

l “軌跡がどこを通るか”は重要ではない
l 「どういう関数か」(=関数としてどんな種類に属するか) が重要
29

スペクトル混合カーネル [Wilson+ 2013]l ガウス過程で使用するカーネル関数を，データから自動的に学習する確率モデル

基底関数

スペクトル混合カーネルとは
0
⌧
=
x
x
l ガウス過程のカーネルとして、値がだけに依存する、定常カーネルk(τ)を考える
l ボホナーの定理により、任意のk(τ)はZ2⇡i sT⌧k(⌧ ) =
e(ds)
<latexit sha1_base64="q59azai5Ts9o5dJKcYkU42AmF4U=">AAAG53ichZRLaxNRFMdPo461PproRnDTGKpuDDexUBGEVi1YWkqamDalKWFmeicOmcwM88iTfAE37lQQFxVUxI/hxi/goivX4rKCGxeeuTMljzmtE3If5/z+J+fcyT2Kbeiux9jhVOLM2XPS+ekLMxcvXb4ym0xd3XIt31F5WbUMy6kosssN3eRlT/cMXrEdLjcVg28rjceBf7vFHVe3zGde1+Z7Tblu6pquyh6aaslU1ZP9avphNd2ppu/ieLuWzLAsE89cfJGLFhmInoKVSvyAKuyDBSr40AQOJni4NkAGFz+7kAMGNtr2oI82B1e68HMYwAxqfaQ4EjJaGzjWcbcbWU3cBzFdoVbxVwz8Oqicg3n2nX1mR+wb+8J+sr8nxuqLGEEuXZyVUMvt2uyL66U//1U1cfbg+VB1ikJB+vSaPNDgvqhFx9psYQmqVMP4rd7ro9KD4nz/FnvPfmF9B+yQfcUKzdZv9cMmL74V0fdRo+HcwlmFDJ5wH3fHmSro6wvrIMpmyHcIskNwXYLrElyP4HoE1ya4NsFpBKcRXIPgGgS3THDLBLdKcKsEt0ZwawRXIbgKwe0Q3A7BMYJjMS74//mCDFahwicoG2PoY1xooUg3RrokGeTFcZSRGuWH9gGhMsQtU9AyqRv1UMpCrIbCCTWU0FoXZzdKD61xxfpYVkPN+kROo6qNKH8VfQbe5Y0YsTLxDhXcr8SoIkEVY9QTcb8zkBe0hh0x6DTh+znusWEeYR+gPfkgLnb83GR/jy+28tncvWx+cyGz9Cjq/dNwA27CHYy/CEvwFM+/jDm04R18hE+SLr2UXklvQjQxFWmuwdgjHfwDIcZs+w==</latexit><latexit sha1_base64="wkWseKn3C84jqciOv5PvEOS5uqw=">AAAHEnichZTPTxNBFMcfqBXxB6AXEy+rDaYkhkyricZoAgqJBEJKS6GEpc3udlom3W433W2h3fQf8GziwZMkHoz/gTfDhYMXTTxw8mw8YuLFg29nl7R0HzBNd2be+3xf35vtPN02heMydjg0fOHipdjlkSujV69dvzE2PnFzzak3GwbPGXWz3sjrmsNNYfGcK1yT5+0G12q6ydf16kvfv97iDUfUrVW3bfOtmlaxRFkYmoum4vizakJ1teaU8lxRheUWPbWmudu67mW6hbmuwgteSrWFIhT1gVNYVe/6cFe1HZEoOVPF8TibZnIo0UUyXMQhHOn6xPBPUKEEdTCgCTXgYIGLaxM0cPCzCUlgYKNtCzy0NXAlpJ9DF0ZR20SKI6GhtYrPCu42Q6uFez+mI9UG/oqJ3wYqFZhkP9hHdsQO2Cf2i/07NZYnY/i5tHHWAy23i2Ovb2f/nquq4ezCdk91hkJH+uyaXCjDE1mLwNpsafGrNIL4rc7bo+zTzKR3n+2x31jfe3bI9rFCq/XH+LDCM+9k9BJqyji3cDYgjifs4e44Ux19nrR2w2x6/C5B7hJcm+DaBNchuA7B7RDcDsGVCa5McFWCqxLcLMHNEtwCwS0Q3CLBLRJcnuDyBLdBcBsExwiORTj//9eUpL8KFE2CsjGGOMEFFop0IqRDkn5eHJ8aUv18z94lVKa8ZTpaBnX9HkqZjtSQPqWGLFor8uz66Z41qlg6kVVPszSQU79qOczfQJ+Jd3k5QswPvEMd9/MRKkNQmQg1J+93HFKSLmNH9DtN8H6Oe2yQR9AHaE/Kj4sdPznY36OLtdR08uF0auVRfOZF2PtH4A7cgwTGfwwz8ArPP4c57MEBfIPvsTexz7Evsf0AHR4KNbfgxIh9/Q+i7H6s</latexit>

RDの形に表せる (逆フーリエ変換)– (s) が、周波数領域でのk(τ)の等価な表現↓
k(τ)を確率分布で表せる！
<latexit sha1_base64="WVESHGB3r106RH/16eDtgG9SxUY=">AAAG23ichZS/b9NQEMevAUwpP/qDBYmlwioqS/QSkECdWqASVasqTUiTqo0q230OVhzb8o+0iZWJrWJhQEh0AokB8Wew8A8wdGJGjEViYeD87MpJfG1fFL/37j7fy91z3qmOaXg+Y8djuUuXr0hXx69NXL9x89bk1PTMpmcHrsarmm3abl1VPG4aFq/6hm/yuuNypa2avKa2nkX+Woe7nmFbL/2uwxttpWkZuqEpPppqO45nzHsPdqdklmdizGYXhWQhQzJK9nTuJ+zAHtigQQBt4GCBj2sTFPDwsw0FYOCgrQEh2lxcGcLPoQ8TqA2Q4kgoaG3hs4m77cRq4T6K6Qm1hr9i4tdF5SzMsR/sCzth39lX9ov9OzNWKGJEuXRxVmMtd3YnD+9U/l6oauPsw6tUdY5CRfr8mnzQ4YmoxcDaHGGJqtTi+J3e+5PKQnkuvM8+sd9Y30d2zL5hhVbnj/Z5g5ePRPQ91Og4d3DWQMYTDnF3mqmKvlBY+0k2KX9AkAcE1yW4LsH1CK5HcPsEt09wOsHpBNciuBbBLRHcEsGtENwKwa0S3CrB1QmuTnBbBLdFcIzgWIaL/n+BIKNVrAgIysEYxhAXWyjSy5AeSUZ5cXwqSA3yqb1PqExxy1S0jOoGPZSylKmhdEYNFbQ2xdkN0qk1q1gbyirVrI3kNKhaT/LX0GfiXV7PEMsj71DF/XKGKhNUOUM9F/dbhqKgdeyIUaeJ389pj43ziPsA7SlGcbHjF0b7e3axWcwXHuaLG4/kxadJ7x+Hu3AP5jH+Y1iEF3j+VdHt3sIHOJIa0mvpUHoTo7mxRHMbhob07j//CWm3</latexit>

理論 (1)l 通常のガウスカーネル

k(x, x0 ) = exp<latexit sha1_base64="B0o9cuDck6Z4+EB6eZuErz1SUXQ=">AAAHcnichZXPTxNBFMcfoBTrjxa9GL1UG7QkpU5XE43RBFASCYSUVqCEhWZ3ma2bbtvN7lJaNv0H/Ac8eJLEg/HP8MJVEw/8CcYjJF48+HZ2SX/sA6fpzsx7n+/rezvTGdUyDcdl7HhkdOzS5fHYxJX41WvXbySSkzfXneaerfE1rWk27bKqONw0GnzNNVyTly2bK3XV5Btq7ZXv32hx2zGajbdux+LbdaXaMHRDU1w0VZIvapl2tv1wOvUyJfO2Jc8bVTMTn0nJuq1oXr7ryVlJznYz7RmEdqRHMjfNHSnuc/Z0JZlmOSZaKjrIh4M0hK3QnBxLgAy70AQN9qAOHBrg4tgEBRz8bEEeGFho2wYPbTaODOHn0IU4aveQ4kgoaK3hs4qzrdDawLkf0xFqDX/FxK+NyhRMsZ/sCzthR+wr+8X+nhvLEzH8XDrYq4GWW5XE+9ulP/9V1bF34V1PdYFCRfrimlzQ4ZmoxcDaLGHxq9SC+K2DDyel58Up7wE7ZL+xvk/smH3DChutU+3zKi9+FNF3UaNj38JegzS+YQ9nZ5mq6POEtRtm0+PbBNkmuA7BdQjugOAOCG6f4PYJTic4neBqBFcjuDmCmyO4RYJbJLglglsiuDLBlQluk+A2CY4RHItwari+/j6k1lUN1zXwR9dTFbv4zM8Jfx13bI+QxTxKWZijMcAFFop0IqRDkn7dHJ8KUv18z94lVKb4F6toGdb1eyhlIVJD4ZwaSmitirXpp3vWqGJ5IKueZnkop37VSpi/hj4Tz4qVCLEwtEdUnC9EqCJBFSPUa3F+pEEStI4nrn+SBetzdoYHeQTnDO2R/Lh4o+SH74/oYF3K5R/npNUn6dn58G6ZgLtwHzIY/ynMwht8/2uYwyEcwXf4MX4auxO7FwsvotGRUHMLBlos+w/jx4wC</latexit>の周波数表現は、

⇣

1
(x
2

x0 )2 /`2⌘

S(s) = (2⇡`2 )1/2 exp( 2⇡ 2 `2 s2 )<latexit sha1_base64="AMkHtCj5O3ah+inHtfl2oHc1PzA=">AAAHZHichZXPaxNBFMdfW21qrSa1CIIgwVBJD8bJKiiC0KoFS0tJE9OmNE3Y2c7GJZtk2d2k+UH+Ac+CB08KHsT/wGs9+A946D8giMcKXjz4dnZD0uxrnZCdmfc+35f3diYz3DINx2XseGJy6sLF6cjMpdnLc1euRmPz17adRtPWRF5rmA27wFVHmEZd5F3DNUXBsoVa46bY4dVnnn+nJWzHaNRfuh1L7NfUSt3QDU110VSOpXJJZ+lJUilaRlGYZklZKvXS95R+vCjaVvKuZy8pvsdBZzmWYCkmWzw8SAeDBAQt05ifikIRDqABGjShBgLq4OLYBBUc/OxBGhhYaNuHHtpsHBnSL6APs6htIiWQUNFaxWcFZ3uBtY5zL6Yj1Rr+iolfG5VxWGTf2Sd2wr6xz+wn+3tmrJ6M4eXSwZ77WmGVo69v5P78V1XD3oVXQ9U5Co70+TW5oMMjWYuBtVnS4lWp+fFb3bcnucfZxd4d9oH9wvres2N2hBXWW7+1j1si+05GP0CNjn0Lew0S+IZ7OBtkytHXk9Z+kM2QbxNkm+A6BNchuC7BdQnukOAOCU4nOJ3gqgRXJbgVglshuDWCWyO4dYJbJ7gCwRUIbpfgdgmOERwLcTxYX28fUuvKg3X1/eH15HIXD/yC8Ndwxw6JopyHKQtzNE5xvoUinRDpkKRXt8CnitQoP7T3CZUp/8UcLeO6UQ+lzIRqyJxRQw6tFbk2o/TQGlZsnMpqqNkYy2lUtRnkr6HPxLNiM0Ssju0RjvPVEJUlqGyIei7PjwQoktbxxPVOMn99Bme4n4d/ztAexYuLN0p6/P4ID7aVVPp+Stl6kFh+GtwtM3ATbkMS4z+EZXiB7z+PObyBL3AEX6d/ROYiC5HrPjo5EWgW4FSL3PoHO0aHlA==</latexit>– 中心0, 分散1/l2のガウス分布!

理論 (2)l k(τ)は周波数領域での確率密度<latexit sha1_base64="WVESHGB3r106RH/16eDtgG9SxUY=">AAAG23ichZS/b9NQEMevAUwpP/qDBYmlwioqS/QSkECdWqASVasqTUiTqo0q230OVhzb8o+0iZWJrWJhQEh0AokB8Wew8A8wdGJGjEViYeD87MpJfG1fFL/37j7fy91z3qmOaXg+Y8djuUuXr0hXx69NXL9x89bk1PTMpmcHrsarmm3abl1VPG4aFq/6hm/yuuNypa2avKa2nkX+Woe7nmFbL/2uwxttpWkZuqEpPppqO45nzHsPdqdklmdizGYXhWQhQzJK9nTuJ+zAHtigQQBt4GCBj2sTFPDwsw0FYOCgrQEh2lxcGcLPoQ8TqA2Q4kgoaG3hs4m77cRq4T6K6Qm1hr9i4tdF5SzMsR/sCzth39lX9ov9OzNWKGJEuXRxVmMtd3YnD+9U/l6oauPsw6tUdY5CRfr8mnzQ4YmoxcDaHGGJqtTi+J3e+5PKQnkuvM8+sd9Y30d2zL5hhVbnj/Z5g5ePRPQ91Og4d3DWQMYTDnF3mqmKvlBY+0k2KX9AkAcE1yW4LsH1CK5HcPsEt09wOsHpBNciuBbBLRHcEsGtENwKwa0S3CrB1QmuTnBbBLdFcIzgWIaL/n+BIKNVrAgIysEYxhAXWyjSy5AeSUZ5cXwqSA3yqb1PqExxy1S0jOoGPZSylKmhdEYNFbQ2xdkN0qk1q1gbyirVrI3kNKhaT/LX0GfiXV7PEMsj71DF/XKGKhNUOUM9F/dbhqKgdeyIUaeJ389pj43ziPsA7SlGcbHjF0b7e3axWcwXHuaLG4/kxadJ7x+Hu3AP5jH+Y1iEF3j+VdHt3sIHOJIa0mvpUHoTo7mxRHMbhob07j//CWm3</latexit>(s) と等価なので、(s) に関して混合ガウス分布を考える– 0に関して対称なので、正だけ考えて鏡映(s | µ,2<latexit sha1_base64="WVESHGB3r106RH/16eDtgG9SxUY=">AAAG23ichZS/b9NQEMevAUwpP/qDBYmlwioqS/QSkECdWqASVasqTUiTqo0q230OVhzb8o+0iZWJrWJhQEh0AokB8Wew8A8wdGJGjEViYeD87MpJfG1fFL/37j7fy91z3qmOaXg+Y8djuUuXr0hXx69NXL9x89bk1PTMpmcHrsarmm3abl1VPG4aFq/6hm/yuuNypa2avKa2nkX+Woe7nmFbL/2uwxttpWkZuqEpPppqO45nzHsPdqdklmdizGYXhWQhQzJK9nTuJ+zAHtigQQBt4GCBj2sTFPDwsw0FYOCgrQEh2lxcGcLPoQ8TqA2Q4kgoaG3hs4m77cRq4T6K6Qm1hr9i4tdF5SzMsR/sCzth39lX9ov9OzNWKGJEuXRxVmMtd3YnD+9U/l6oauPsw6tUdY5CRfr8mnzQ4YmoxcDaHGGJqtTi+J3e+5PKQnkuvM8+sd9Y30d2zL5hhVbnj/Z5g5ePRPQ91Og4d3DWQMYTDnF3mqmKvlBY+0k2KX9AkAcE1yW4LsH1CK5HcPsEt09wOsHpBNciuBbBLRHcEsGtENwKwa0S3CrB1QmuTnBbBLdFcIzgWIaL/n+BIKNVrAgIysEYxhAXWyjSy5AeSUZ5cXwqSA3yqb1PqExxy1S0jOoGPZSylKmhdEYNFbQ2xdkN0qk1q1gbyirVrI3kNKhaT/LX0GfiXV7PEMsj71DF/XKGKhNUOUM9F/dbhqKgdeyIUaeJ389pj43ziPsA7SlGcbHjF0b7e3axWcwXHuaLG4/kxadJ7x+Hu3AP5jH+Y1iEF3j+VdHt3sIHOJIa0mvpUHoTo7mxRHMbhob07j//CWm3</latexit>) = N (s | µ,2)

S(s) = ( (s) + ( s))/ 2<latexit sha1_base64="7tSfeinyeI0Tc6Psx6IUsmbDAQ8=">AAAHLXichZTPbxJREMenqFjxR6leTLwQSQlEio/VRGPSpFWb2LQhFKSl6Vayu33QDQts2IUWkH/Af8CDJ008GA/+BZ68+A/00MTowYMx6qkmXjw4+3Ybfuy0PsK+92Y+32HmLW9U09Atm7GDicCp02eCZyfPhc5fuHhpKjx9ec1qtJoaL2gNo9EsqorFDb3OC7ZuG7xoNrlSUw2+rlYfOP71Nm9aeqP+2O6YfKumVOp6WdcUG02l8Lps7uhxS04+lZNyrZWULb1SU55IidhcT9YUI5LpU15ZDuXjViISm4vE3QiJG2KetRKJm3JSKoWjLMXEiPgXaW8RBW9kG9OBLyDDNjRAgxbUgEMdbFwboICFn01IAwMTbVvQQ1sTV7rwc+hDCLUtpDgSClqr+KzgbtOz1nHvxLSEWsNfMfDbRGUEZtg+e8MO2Uf2ln1nf4+N1RMxnFw6OKuulpulqWdX83/+q6rhbMPOQHWCQkX65JpsKMNdUYuOtZnC4lSpufHb3eeH+Xu5mV6MvWI/sL6X7IB9wArr7d/a61WeeyGib6OmjHMbZw2ieMI93B1lqqKvJ6x9L5sBv0eQewTXIbgOwXUJrktwuwS3S3BlgisTXJXgqgS3QHALBLdEcEsEt0xwywRXJLgiwW0Q3AbBMYJjPs75/7UE6axcRYugTIyhj3CuhSItH2mRpJMXx6eC1DA/sPcJlSFumYqWcd2wh1JmfTVkj6khj9aKOLthemD1K1ZGshpoVsZyGlZlvPw19Bl4lzM+YnHsHaq4X/RROYLK+aiH4n5HQRJ0GTui02nc93PUY9083D5AeyQnLnb89Hh/9y/WpFT6VkpavR2dv+/1/km4BtchjvHvwDw8wvMvYA7v4Sv8hF/Bd8H94KfgZxcNTHiaKzAygt/+AaZohcw=</latexit>l ガウス分布の各要素は、もとの領域では以下のカーネル関数を考えていることと等価k(⌧ | , µ) = exp( 2⇡ 2 2 ⌧ 2 ) cos(2⇡µ⌧ )<latexit sha1_base64="ukX6dPUh9R956JbHrIIzMCo2ueI=">AAAHFXichZRNb9NAEIanAUIpH03hgsSlIipKJIg2BgmEhGiBSlStqjQhbaq6jWx3E6w4thXbaT7IH+AP9MAJpB4Qv4ETCCFx4EIPPXFGHIvEhQPjtat8eNo6inf3needzKzjVW1Dd1zGDsZiZ86ei58fvzBx8dLlK5OJqaurjuU1NF7ULMNqlFTF4YZu8qKruwYv2Q2u1FWDr6m1p358rckbjm6ZL9y2zTfrStXUK7qmuCiVE49rKdlVvFeyo1frym257qUfybxlp+5Isq1vSYGOI0JbUlrWLCflRxD0pXQ5kWQZJq7p6CQbTpIQXjlrKvYTZNgGCzTwoA4cTHBxboACDn42IAsMbNQ2oYtaA2e6iHPowQR6PaQ4EgqqNbxXcbURqiau/ZyOcGv4KwZ+G+ichhm2z96zQ/aVfWC/2L9jc3VFDr+WNo5q4OV2efL19cLfU111HF142Xed4FCRPrknFyrwQPSiY2+2UPwutSB/s7N7WHiYn+neYu/Yb+zvLTtgn7BDs/lH21vh+Tci+zZ6Kjg2cdQgiTvcxdVRpSrGukLthdX0+RZBtgiuTXBtgusQXIfgdghuh+AqBFchuBrB1QhujuDmCG6B4BYIbpHgFgmuRHAlglsnuHWCYwTHIpz///ME6c8Ch0dQNubQh7hAoUgnQjok6dfF8a4gNcj39R7hMsRbpqIy6huMUM5cpIfcMT0UUK2KvRuk+2rUsTRUVd+zNFLToGs5rF/DmIHv8nKEmB95hiqu5yNUnqDyEeqZeL+TIAm6gieif9IEz+fojA3qCM4BOiL5efHEz46e79HJqpTJ3s1IK/eSs0/Cs38cbsBNSGH++zALz3H/i1jDHnyDH7Af341/jH+OfwnQ2FjouQZDV/z7f1vZgCw=</latexit>要素カーネルk(⌧ | , µ) = exp( 2⇡ 2 2 ⌧ 2 ) cos(2⇡µ⌧ )<latexit sha1_base64="ukX6dPUh9R956JbHrIIzMCo2ueI=">AAAHFXichZRNb9NAEIanAUIpH03hgsSlIipKJIg2BgmEhGiBSlStqjQhbaq6jWx3E6w4thXbaT7IH+AP9MAJpB4Qv4ETCCFx4EIPPXFGHIvEhQPjtat8eNo6inf3needzKzjVW1Dd1zGDsZiZ86ei58fvzBx8dLlK5OJqaurjuU1NF7ULMNqlFTF4YZu8qKruwYv2Q2u1FWDr6m1p358rckbjm6ZL9y2zTfrStXUK7qmuCiVE49rKdlVvFeyo1frym257qUfybxlp+5Isq1vSYGOI0JbUlrWLCflRxD0pXQ5kWQZJq7p6CQbTpIQXjlrKvYTZNgGCzTwoA4cTHBxboACDn42IAsMbNQ2oYtaA2e6iHPowQR6PaQ4EgqqNbxXcbURqiau/ZyOcGv4KwZ+G+ichhm2z96zQ/aVfWC/2L9jc3VFDr+WNo5q4OV2efL19cLfU111HF142Xed4FCRPrknFyrwQPSiY2+2UPwutSB/s7N7WHiYn+neYu/Yb+zvLTtgn7BDs/lH21vh+Tci+zZ6Kjg2cdQgiTvcxdVRpSrGukLthdX0+RZBtgiuTXBtgusQXIfgdghuh+AqBFchuBrB1QhujuDmCG6B4BYIbpHgFgmuRHAlglsnuHWCYwTHIpz///ME6c8Ch0dQNubQh7hAoUgnQjok6dfF8a4gNcj39R7hMsRbpqIy6huMUM5cpIfcMT0UUK2KvRuk+2rUsTRUVd+zNFLToGs5rF/DmIHv8nKEmB95hiqu5yNUnqDyEeqZeL+TIAm6gieif9IEz+fojA3qCM4BOiL5efHEz46e79HJqpTJ3s1IK/eSs0/Cs38cbsBNSGH++zALz3H/i1jDHnyDH7Af341/jH+OfwnQ2FjouQZDV/z7f1vZgCw=</latexit>

σ = 0.1

σ=1

σ=4

μ=0

1

4

理論 (3)l すなわち、これはカーネルとして、次の混合を考えていることになる (スペクトル混合カーネル)
P
D
⇣ X
⌘
X
(p)
k(⌧ ) =
wp cos(2⇡⌧ Tµ(p) ) exp
2⇡ 2 d ⌧d2<latexit sha1_base64="NYCBISOywSc8B3HKgx5Tt5TJmIM=">AAAHVXichZTNbtNAEMcnpSQlBdryISFxCURFyYFqY5BASJXa0kpUrao0/UpVt5HtbIIVO7ZiO21qRdx5AQ6cQOKAeAwuvABCPXHigDgWiQtIjNcuSeNp2Sje2dnffzKzzo5qG7rjMnaUGLowfDGZGrmUHr185erY+MS1TcfyWhrf0CzDapVVxeGG3uQbru4avGy3uGKqBt9SG0+D/a02bzm61Vx3OzbfNZV6U6/pmuKiqzL+opGTVdOXXcXr5qfTsuOZFd+eLnT3ipn9ip2RNcvJSbKt/6P21uU7YmGi7efsfDeflvmBLc/pdSN3P4xQDSLMZwLhniQ7et1UKtWQDoKgLQV8K18Zz7IpJkYmbhQiIwvRKFoTQ19BhipYoIEHJnBogou2AQo4+NmBAjCw0bcLPvpaaOlin0MX0qj1kOJIKOht4LOOq53I28R1ENMRag1/xcBvC5UZmGSf2Xt2zD6xD+w7+31mLF/ECHLp4KyGWm5Xxl7eWvv1X5WJswvPe6pzFCrS59fkQg0ei1p0rM0WnqBKLYzfPnx1vPakNOnfY2/ZD6zvDTtiH7HCZvun9m6Vl16L6FXU1HBu46xBFk/Yx9VJpiru+cLbjbLp8QcEeUBwHYLrENwhwR0S3D7B7RNcjeBqBNcguAbBzRLcLMEtEtwiwS0R3BLBlQmuTHDbBLdNcIzgWIwL/n+eIAMrVHgEZWMM/RQXeijSiZEOSQZ5cXwqSPXzPX+XUBnilqnoGdT171DKYqyG4hk1rKG3Ls6un+5544rlU1n1NMsDOfWrVqL8Ndwz8C6vxIiFgXeo4nohRpUIqhSj5sX9zoIk6Bp2xKDThO/npMeGeYR9gN6RgrjY8QuD/T1ubEpThQdT0urD7Mxc1PtH4DbchRzGfwQz8AzPfwNz+JYYTdxI3Ex+Sf5JDaeSITqUiDTX4dRIjf0FdAaTnw==</latexit>

p=1

d=1

– パラメータw、μ、σは通常のハイパーパラメータ最適化で学習できる– ARD事前分布を使うことで、不要なガウス分布を除去しているマウナロアCO2濃度データ

l 青＝学習データ、緑＝テストデータ

黒＝SM kernelによる予測
赤＝RBFカーネル

Airline Passengerデータ
l 1949-1961の毎月の航空乗客数のうち、最初の8年を学習に使って残りの4年分を予測スペクトル混合カーネルà周波数抽出
l 入力 : GPLVMで最適化した３次元の潜在変数– データを1次元ごとに分解してそれぞれ入力
l 出力 : 最適化された各カーネルの 重み, 平均, 分散
l 混合するカーネルの個数は4個と10個に設定

スペクトル混合カーネルà周波数抽出 (2)l 学習した重みw、平均μ、分散vを用いてガウス分布を描画

Qを大きくすることで細かい情報が追加

Q=4
Q=10

問題3：
l 動画の関数空間での周波数と、観測された

副詞をどうやって結びつけるか？
自信を持って、足早に、
颯爽と、爽快に、キビ
キビと、しなやかに

周波数

副詞

40

Latent Dirichlet Allocation (LDA)(Blei+2003)l テキストの各単語に、それを生成した潜在トピックを割り当てる確率モデル(Blei+2003より)– 単語の色＝潜在トピック– 人間が教えなくても、完全に自動的に推定できるLDAの確率モデル
l テキストはK個の潜在トピックを割合θで混合したものと仮定– 各単語wにトピックzを割り当てていくl θおよび、トピックzから単語wが出現する確率分布{ p(w|z)} はディリクレ分布から生成されたと仮定する

動画ー副詞の場合
速足で、変わったリズムで、テンポよく、リズミカルに、急いで、考えながら、素早くl 各動画には、副詞がクラウドでアノテーションされている
l LDAを使えば、それぞれの副詞の潜在トピック(＝色)がわかるl 動画には本当は、動作のカーネル関数空間での周波数情報がある！

HDP Spectral Mixture LDA
l 副詞と周波数を同時に潜在トピックでモデル化
l トピック数Kも自動推定 (HDP: 階層ディリクレ過程)
速足で、変わったリズムで、テンポ
よく、リズミカルに、急いで、考えながら、素早くHDP-SMLDA 実験概要
l 入力 : 副詞データ , 周波数データ
l データセット : 100 Walks 95動画, AIST++ 1063動画
l 基底数 : 4, 10
l 集中度αと単語分布のパラメータβを最適化
l MCMCの繰り返し数 : 1000

– 単語のパープレキシティを計算– スペクトル混合カーネル推定の際の重みWを用いて繰り返しごとに周波数をサンプリング

45

HDP-SMLDA：AIST++データ
l 推定されたトピック数– Q=4 のとき K=16
– Q=10 のとき K=16

各次元に関して均等に配置

各トピックを象徴する
周波数の分布学習されたガウス分布の平均μ (Q=4)

46

HDP-SMLDA：AIST++データ
l 推定されたトピック数– Q=4 のとき K=16
– Q=10 のとき K=16
各次元に関して均等に配置

各トピックを象徴する
周波数の分布学習されたガウス分布の平均μ (Q=4)

47

HDP-SMLDA 実験結果
AIST++データ Q=4 トピック別上位5語
topic: 1
激しく
力強く
はっきりと
熱心に
上品に
topic: 2
楽しそうに
リズミカルに
軽やかに
弾むように
元気に
topic: 3
規則正しく
テンポよく
躍動的に
生き生きと
大胆に
topic: 4
しなやかに
優雅に

なめらかに
軽やかに
くるくると
topic: 5
力強く
激しい
激しく
素早く
大胆に
topic: 6
踊るように
ステップを踏む
嬉しそうに躍動するようにつまらなそうにtopic: 7
慣れたように
安定的に
くねくねと
キビキビと
ダイナミックに

topic: 8
たどたどしく
テンポ良くぐんぐんとスタイリッシュに 落ち着いた
気持ち良さそうに topic: 12
流れるように
格好よく
格好良く
カクカクと
topic: 9
ゆったりと
滑らかに
ゆっくりと
機械的に
ゆるやかに
topic: 10
ダイナミックに
激しく
くねくねと
おおきく
キレよく
topic: 11
はずむようにひろがるように

おおらかに
楽しそうな
機械のように
topic: 13
キビキビと機械のようにコミカルに
しっかりとロボットのように
topic: 14
小刻みに
回るように
細かく
クルクルと
リズム感よくtopic: 15
確かめるようにひょうきんに
丁寧に ｖ
慎重そうに
探すように
topic: 16
軽く揺れているような波のような細かい動作でロボットのようなμの距離が近いトピック

48

HDP-SMLDA：AIST++データ
l 推定されたトピック数– Q=4 のとき K=16
– Q=10 のとき K=16

各次元に関して均等に配置

各トピックを象徴する
周波数の分布学習されたガウス分布の平均μ (Q=4)

49

HDP-SMLDA：AIST++データ
Q=4 トピック別上位5語
topic: 1
激しく
力強く
はっきりと
熱心に
上品に
topic: 2
楽しそうに
リズミカルに
軽やかに
弾むように
元気に
topic: 3
規則正しく
テンポよく
躍動的に
生き生きと
大胆に
topic: 4
しなやかに
優雅に

なめらかに
軽やかに
くるくると
topic: 5
力強く
激しい
激しく
素早く
大胆に
topic: 6
踊るように
ステップを踏む
嬉しそうに躍動するようにつまらなそうにtopic: 7
慣れたように
安定的に
くねくねと
キビキビと
ダイナミックに

topic: 8
たどたどしく
テンポ良くぐんぐんとスタイリッシュに 落ち着いた
気持ち良さそうに topic: 12
流れるように
格好よく
格好良く
カクカクと
topic: 9
ゆったりと
滑らかに
ゆっくりと
機械的に
ゆるやかに
topic: 10
ダイナミックに
激しく
くねくねと
おおきく
キレよく
topic: 11
はずむようにひろがるように

おおらかに
楽しそうな
機械のように
topic: 13
キビキビと機械のようにコミカルに
しっかりとロボットのように
topic: 14
小刻みに
回るように
細かく
クルクルと
リズム感よくtopic: 15
確かめるようにひょうきんに
丁寧に
慎重そうに
探すように
topic: 16
軽く揺れているような波のような細かい動作でロボットのような

μが特異な
トピック

50

周波数情報から副詞の生成
l 学習した単語分布φを用いて評価動画の周波数情報から副詞を生成

副詞

周波数

51

周波数情報から副詞の生成 上位10語
実際に付与された副詞
明るい
魅せるように恋するように欲するように
⼤きな
軽やかに
爽快に
情熱的に
リズミカルに陽気に
気持ち良さそうに
軽快に
スタイリッシュに
テンポ良く
格好良く
センス良く
スムーズに
流れるように⼤胆にモデルの予測 (Q=4)
⼒強く
激しい
激しく
素早く
⼤胆に
堂々と
キビキビと
ダイナミックに
パワフルに
かっこよく

モデルの予測 (Q=10)
テンポ良く
スムーズに
スタイリッシュに流れるように
陽気に
悲しそうに
格好良く
気持ち良さそうに
センス良く
堂々と

52

各モデルにおけるPerplexity (＝1/予測確率)
l 100 Walks データ
LSTM /GPLVM

LSTM /
Original

210

402

MLP
(Q=4)

MLP
(Q=10)HDP-SMLDA(Q=4)

HDP-SMLDA(Q=10)

253

284

89

117

提案⼿法が
ベストスコアl AIST++ データ
LSTM /GPLVM

LSTM /
Original

1068

1794

MLP
(Q=4)

MLP
(Q=10)HDP-SMLDA(Q=4)

HDP-SMLDA(Q=10)

994

1027

320

382

次元圧縮が
クラス分類に有効
53離散データの背後にある微分方程式の推定(総研大統計科学専攻D3 宮澤脩一さん(AGC)との共同研究)

テキストの離散データの時系列
l 例：各社の特許出願イベントの時系列 (競争がある)– 自然言語処理の“言語モデル”分野の特許データ
l テキストを潜在トピックに分解すれば、一般的なテキストでも同様の時系列が得られる

微分方程式？

l こうしたデータは、何かの微分方程式に従っている

可能性が高いl しかし、観測値は離散 (-63.57のような連続値ではない!)– 統計的には、点過程とよばれる問題– 連続値ではないので、ルンゲクッタ法等は使えない!

常微分方程式 (ODE)l 時間変化する複数の量の関係を記述する– 土木工学、物理学、電気工学、経済学、生物学...

捕食者ー被捕食者

感染症のモデル (COVIDなど)

l 観測値をy、潜在状態をx、ガウスノイズをεとするとこのとき、xの時間微分がある関数に従う

点過程データの取り扱い
粗

離散化

細

l 一定間隔で時間を離散化してヒストグラムにすれば、一応は数値データにできる↓
l しかし、– 粗い離散化：時間的な依存関係を丸めてしまう– 細かい離散化：頻度0のビンの増加、信頼度の低下、
ガウスノイズの仮定が不適切に

Cox過程 (Cox, 1955)
l 点が観測される潜在的な強度が時間変化する

確率モデル

𝑥 𝑡 ~𝐺𝑃(0, 𝐾)
潜在的強度の対数がガウス過程に従う：
対数ガウスCox過程 (Møller+ 98)

提案法：ODE統合型Cox過程 (LGCP-GM)
l 潜在強度がランダムなガウス過程に従うのではなく、微分方程式(ODE)に従って時間発展するとする

e

x(t)

<latexit sha1_base64="Hp4qIqAV89wHOUTDZsLxSYcVmGw=">AAAHanichZXPTxNBFMcfoBTxBz+8aLgQKwQvzbSaaDyBSiKBkNJaKAEknWW2brrd3exuS9tN/wGPXjzgRRMPxj/Di/+AB/4EozdMvHjw7ew223YesE07M+99vq/vzczOcMc0PJ+x05HRsStXx1MT1yav37h5a2p6ZnbbsxuuJkqabdpumVc8YRqWKPmGb4qy44pKnZtih9eeh/6dpnA9w7Ze+W1HHNQrVcvQDa3io6ksXgetJf9B93A6zTJMPvNqJxt30hA/eXtmbBH24Qhs0KABdRBggY99Eyrg4WcPssDAQdsBBGhzsWdIv4AuTKK2gZRAooLWGv5WcbQXWy0chzE9qdbwX0z8uqichwX2g31hZ+w7+8p+sn/nxgpkjDCXNrY80grncOrtneLfS1V1bH14k6guUHCkL67JBx2eyFoMrM2RlrBKLYrf7Lw/Kz4tLASL7BP7hfV9ZKfsG1ZoNf9on7dE4URGP0KNjm0TWw3SOMMBjnqZcvQF0tqNs0n4FkG2CK5NcG2C6xBch+COCe6Y4HSC0wmuRnA1glshuBWCWyO4NYJbJ7h1gisTXJngdglul+AYwTGF4/H6hvuQWlcer2vkV9eTy13c8wvCX8cdmxD7cqxSDuZoDHCRhSI9hfRIMszNx/r72Z5NpcNZ6vH9isTeJVSmfOc5WoZ1/R5KmVcqzp9TcRGtVbmS/XRiVRUbA1klmo2hnPpVm3H+GvpMPFk2FWJ1aEdxHK8qVIGgCgr1Qp42achJWsfzOTz3otXsnfhRHtGpRHtyYVy8f7LDt43a2c5lsg8zua1H6eVn8U00AXNwD5Yw/mNYhpc4/yV5y7yDE/gw/js1m7qbmovQ0ZFYcxsGntT9/4vchFc=</latexit><latexit sha1_base64="kB5LGr2QuI/J0lHuqgSsMgT9+V8=">AAAHjHichZW/b9NAFMdfWyClQJvCgsQSEbVKJRRdQiUQqFILFFG1qtKEtKmaEtnOObXiJJZ9SZNY+QcYWBmYQGJArKywsPAPMPRPQIxFYmHg+ewoP/zaOkru7vs+38t7vvNZtUzDEYydTExOXbp8JTJ9deba9Ruzc9H5m7tOo2lrPK81zIZdUBWHm0ad54UhTF6wbK7UVJPvqdWnXnyvxW3HaNRfio7FD2tKpW7ohqYIlErRRFG3Fc3lr9x2Qiz1em5Z9GIrMT3RV+4VxREXylIpGmdJJq9YuJMKOnEIrkxjfmoRilCGBmjQhBpwqIPAvgkKOPg5gBQwsFA7BBc1G3uGjHPowQx6m0hxJBRUq/hbwdFBoNZx7M3pSLeG/2Li10ZnDBbYT/aJnbIf7DP7xf6dOZcr5/By6WCr+l5uleZe3879vdBVw1bA0cB1jkNF+vyaBOjwUNZiYG2WVLwqNX/+Vvftae5RdsFdZB/Yb6zvPTth37HCeuuP9nGHZ9/J2cvo0bFtYatBHO+wi6N+pirGXKn2gmwGfJsg2wTXIbgOwXUJrktwxwR3THA6wekEVyW4KsGtEdwawW0Q3AbBbRLcJsEVCK5AcPsEt09wjOBYiFOD9fX2IbWuarCufjy8nqrcxf04J+I13LEDoijHYcrCHI0Rzlco0gmRDkl6uQmsf5jta2Hau0t9ftgx0HuEy5TPvIrKuG84QjkzoYozZ1ScQ7UiV3KYHqhhx9ZIVgPP1lhOw67tIH8NYyaeLNshYn1sR6k4Xg9RWYLKhqhn8rSJQ1rSOp7P3rnnr2b/xPfz8E8lOpL25sX3T2r8bRPu7KaTqfvJ9M5yfPVJ8CaahjtwFxI4/wNYhRd4//OYwxv4Al/hW2Q2shx5HFnx0cmJwHMLRq7I8/+01pBT</latexit>ex(t)= f (ex(t) , ✓)dt

われわれが知っているデータはここだけ問題: データが離散的

l 任意の時刻で観測データが得られるわけではない！

à ガウス過程によって補間l 補間したガウス過程の勾配を、推定したい微分方程式の勾配と同じにするà 勾配マッチング (Dondelinger+13, Wenk+19)

学習
l 観測値y、潜在的強度x, ODEパラメータθの事後分布

l 解析的には解けないので、MCMC法でサンプリングによって推定– Hamiltonian Monte Carlo+Blocked Gibbs

実験結果 (予測)

観測値はこれだけl 微分方程式を考慮しない対数ガウスCox過程に比べ、提案法は潜在ダイナミクスを考慮して高精度に予測できる

実験結果 (特許)l 自然言語処理に関する特許の出願データ

l 潜在強度xの推定結果

実験結果 (特許)l 潜在強度xの裏にある、Lotka-Volterra競争方程式のパラメータの推定値– IBMàサムスン(+)、IBMàMicrosoft(-)、Microsoftàサムスン (+) の影響関係がみられる

実験結果 (映画視聴)
MovieTweetings (Dooms+13)データセット

l 映画レビューのツイート数の時間変化l 仮定する微分方程式：SIRモデル (“I”しか観測されない)
l パラメータの推定結果：
a: trend up
b: trend down