ガウス過程と自然言語処理

持橋大地
統計数理研究所
daichi@ism.ac.jp
言語処理学会2021チュートリアル T1
2021-3-15 (月)小倉・北九州国際会議場

自己紹介
l 統計数理研究所 数理・推論研究系 准教授／

総合研究大学院大学 統計科学専攻
l 東大基礎科àNAIST 松本研、ATR音声研、NTT CS研を経て、2011年から現職
l 専門: 自然言語処理 (特に言語モデル)、機械学習

立川・統数研1 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

前回のチュートリアル (2006年3月)（修正版, 2006.3.13）

Topicに基づく
統計的言語モデルの最前線
PLSIからHDPまで

山本幹雄
（
筑波大学）

持橋大地
（
ＡＴＲ）

URL= http://www.mibel.cs.tsukuba.ac.jp/~myama/pdf/topic2006.pdf
言語処理学会第12回年次大会チュートリアル, 2006.3.13

2 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

今日の概要l はじめに: ガウス過程回帰とは何か
l 線形回帰モデル
l ガウス過程とガウス過程回帰
l カーネル関数の学習
l 深層学習との関係
l 自然言語処理への様々な応用

3 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

教科書「ガウス過程と機械学習」
l 講談社機械学習プロフェッショナルシリーズ(MLP),
2019/3/9発売– 持橋大地・大羽成征著– 現在、レビュー38件
l 線形回帰モデルの非常にやさしい導入から入っています
l 確率過程としての話ではなく、統計の道具としての意味と使い方の話
4 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

教科書 (GPML)
l “Gaussian Processes

for Machine Learning”
by Carl Rasmussen &Chris Williams
l 中級者以上向け
l 数学的な詳細やカーネル設計などについて
知りたい場合はこちら
l PDFがフリーでダウンロード可能
http://www.gaussianpr
ocess.org/gpml/
5 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

ACL 2014 Tutorial on GP
l 数式が多く、今回の方がかなりわかりやすいはずl CohnらのGPを使った研究を後半で説明
Gaussian Processes for
Natural Language Processing
http://goo.gl/18heUk

Trevor Cohn1

Daniel Preoţiuc-Pietro2

Computing and Information Systems1

Neil Lawrence2

Department of Computer Science2

ACL 2014 Tutorial, 22 June 2014
(Special thanks also to Daniel Beck)

6 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

なぜガウス過程？
l 自然言語処理でも、連続値を扱う機会が増えている／カテゴリに分類すれば終わりではない– 単語ベクトルの座標– 時間データ– 地理データ– 物理データ (ロボットや車の動作など)– 価格、得点、評価値など
l ニューラルネットにただ突っ込むだけでは、あまりにも貧しい (きちんとした道具が必要)

7 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

例) 時間によるツイート内容の推移

http://socialmediaexperience.jp/3192 より引用

l 東日本大震災後、2011/3/12のツイートの時間変化– 簡単な分布では表現できない！
8 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

例) おまけ・台風コロッケ

l 2019年10月11日の台風時の「コロッケ」のツイート

頻度と時間の関係
l 非常に滑らかな関数！
9 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

例) Twitterの座標と言葉

l 2009年スーパーボウル時のツイートの単語頻度と座標 (New York Times)
10 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

例) 株価とツイートの感情分析
Facebook社の株価(赤)とTwitterの感情スコア(青)の関係https://www.aclweb.org/anthology/W18-3102/ より引用
Figure 6: This shows normalized tweeter sentiweeter sentil “Causality Analysis of Twitter Sentiments and Stock Market
ments
calculatedby Amazon
MechanicalTurk
and Language
cal Turk Returns”,
andACL
2018 WSin Economics
andNaturalthe FaceBook
Processing
より stock returns.
11 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

Table 5: Example of Tweets targeting FB

連続値への回帰問題
l これらは、入力 x 7! 出力 y 2 R (連続値) を予測する<latexit sha1_base64="7Gyym562WbYJaw50w504uTPTSS0=">AAAHh3ichZW/b9NAFMdfWyBt+dEWFiSWiKgVU7gEBBVTA1SialWlCWlTNVXlcy6pFcd2bSdNYoUd/gEGJpAYEAMrzCz8Awz9ExBjkVgYeD47chK/to6Su/u+z/fynu985pauOS5jJxOTU5cuX0lMz8xevXb9xtz8ws1tx2zZqiippm7aZa44QtcMUXI1VxdlyxZKk+tihzee+fGdtrAdzTReul1L7DeVuqHVNFVxUTqYT1XanUpTsRzXTFaOjlpK9VWym6xoRhJV95Bzr9BHiqWZvJLxTibspCC88ubC1BJUoAomqNCCJggwwMW+Dgo4+NmDDDCwUNsHDzUbe5qMC+jDLHpbSAkkFFQb+FvH0V6oGjj253SkW8V/0fFrozMJi+wn+8RO2Q/2mf1i/86cy5Nz+Ll0seWBV1gHc29uF/9e6Gpi68Jh5DrHwZE+vyYXarAsa9GwNksqfpVqMH+79/a0+KSw6C2xD+w31veenbDvWKHR/qN+3BKFd3L2Knpq2LaxVSGFd9jD0SBTjjFPqv0wm4jvEGSH4LoE1yW4HsH1CO6Y4I4JrkZwNYJrEFyD4HIElyO4NYJbI7h1glsnuDLBlQlul+B2CY4RHItxPFxffx9S68rDdQ3i8fXkchcP4oKIN3HHRkRFjuOUhTlqI1ygUKQTIx2S9HNzsf5hdqDFaf8uDfhhR6T3CZcun3mOyrhvOEI587GK82dUXES1LldymI7UuGNjJKvIszGW07BrM8xfxZiOJ8tmjFgd21Ecx6sxqkBQhRj1XJ42KchKuobns3/uBas5OPGDPIJTiY5k/Xnx/ZMZf9vEO9vZdOZBOrv1MLXyNHwTTcMduAv3cP7HsAIv8P6XMIfX8AW+wrfETOJ+4lFiOUAnJ0LPLRi5Ern/I3OPDw==</latexit>

問題 (回帰問題、regression)– 分類器では対応できない– 通常のガウス分布など単純な分布も使えない
l モデルがないと、無理矢理ニューラルネットに入れても解けない：動作がまったく保証されない道具を増やす必要がある

12 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

ガウス過程とは?
y = f (x)3<latexit sha1_base64="u9vYqg89V+1qEr4Gdd1Xu4qInY8=">AAAHgnichZXNbtNAEMenH5BSPprCBQkJRUStClKjTYpUhEBqgUpUrao0IW2qpopsdx2sOLZlO2k+lBsnXoADJ5A4AEd4Ay68AIc+AuJYJC4cGK8dOc1Oi6Nkd2d+/8nM7npXdUzD8xk7HhufmLxwMTF1afrylavXZpKz13c8u+lqvKTZpu2WVcXjpmHxkm/4Ji87Llcaqsl31frTwL/b4q5n2NYLv+Pwg4ZSswzd0BQfTdXk7U6qUueutZhZdvzHcTelL1Ra7bvVZJplmHhScicbddIQPXl7dmIeKnAINmjQhAZwsMDHvgkKePjZhywwcNB2AD20udgzhJ9DH6ZR20SKI6GgtY6/NRztR1YLx0FMT6g1/BcTvy4qUzDHfrCP7IR9Z5/ZT/b3zFg9ESPIpYOtGmq5U515fbP457+qBrY+vIxV5yhUpM+vyQcdHohaDKzNEZagSi2M3+q+OSk+LMz15tl79gvre8eO2Tes0Gr91j5s88JbEf0QNTq2LWw1SOMM93A0yFRFX09Y+1E2Md8myDbBdQiuQ3BdgusS3BHBHRGcTnA6wdUJrk5wqwS3SnDrBLdOcBsEt0FwZYIrE9wewe0RHCM4JnFqtL7BPqTWVY3WNfTL66mKXTzwc8LfwB0bExUxlikHczROcaGFIj2J9EgyyM3H+ofZgU2mg1ka8MOK2N4nVKZ451W0jOqGPZQyL1WcP6PiIlprYiWH6dgqKzZPZRVrNkdyGlZtRflr6DPxZNmSiLWRHaXieE2iCgRVkKhn4rRJQ07QOp7PwbkXrubgxA/zCE8l2pML4uL9kx29beTOTi6TXcrktu+nV55EN9EU3II7sIDxl2EFnuP8lzCHV/AJvsDXxGTiXiKbWArR8bFIcwNOPYlH/wDJT4to</latexit>

2
1

yf 0
<latexit sha1_base64="7/SSaSZsREB6ukgOue0YsIbG7wk=">AAAHY3ichZXNbtNAEMenLdSlBfoBBySEVBG14hRtAhKIUwtUompV5YO0qdqq8rrrYMWxLdtJm0R5AbiCOHACiQPiMbjwAhz6ABwQxyJx4cB47chJdlocJbs78/tPZnbXu9yzrSBk7HRsfOLS5Ult6sr0zNVr12fn5he2A7fpG6JiuLbrV7keCNtyRCW0QltUPV/oDW6LHV5/Gvl3WsIPLNd5EbY9cdDQa45lWoYeoqnYPpzLsCyTz6LaySWdDCRPwZ2fWIZ9OAIXDGhCAwQ4EGLfBh0C/OxBDhh4aDuALtp87FnSL6AH06htIiWQ0NFax98ajvYSq4PjKGYg1Qb+i41fH5WLsMS+s8/sjH1jX9hP9vfcWF0ZI8qljS2PtcI7nH11q/znv6oGtiG8TFUXKDjSF9cUggmPZC0W1uZJS1SlEcdvdd6dlR+XlrrL7CP7hfV9YKfsK1botH4bn4qi9F5GP0KNiW0LWwMyOMNdHPUz5ejrSmsvySblTwjyhODaBNcmuA7BdQjumOCOCc4kOJPg6gRXJ7hVglsluHWCWye4DYLbILgqwVUJbpfgdgmOERxTOJ6sb7QPqXXlybrGfnU9udzFfb8g/A3csSmxL8cq5WGO1hAXWygyUMiAJKPcQqx/kO3bVDqapT4/qEjtPUJly3eeo2VUN+ihlAWl4sI5FZfRWpMrOUinVlWxOZRVqtkcyWlQtZXkb6DPxpNlSyHWRnYUx/GaQpUIqqRQz+Rpk4G8pE08n6NzL17N/okf5xGfSrQnH8XF+yc3etuone18Nnc/my8+yKw8SW6iKbgNd+Eexn8IK/Ac57+COQh4DW/g7eQPbUZb0G7G6PhYorkBQ4925x/gtIGS</latexit>

-1
-2
-3
-1

<latexit sha1_base64="s+gglNENGzc2w4yaDTBuW3xdn+w=">AAAHZXichZXNbtNAEMenLTSlUPoBQkgcqIhacYo2AQnUUwtUompVpQlpUzVV5XXXwYpjW7aT5kN5ASSu9MAJJA6Ix+DCC3DoEyDEsUhcODBeO3KSnRZHye7O/P6Tmd31Lnct0w8YOxsbn7hydTI1dW36+o2Zm7Nz8wu7vtPwdFHSHcvxylzzhWXaohSYgSXKrie0OrfEHq89D/17TeH5pmO/CtquOKxrVds0TF0L0FSsNFtHc2mWYfJZVDvZuJOG+Mk78xPLUIFjcECHBtRBgA0B9i3QwMfPAWSBgYu2Q+iizcOeKf0CejCN2gZSAgkNrTX8reLoILbaOA5j+lKt479Y+PVQuQhL7Dv7zM7ZN/aF/WR/L4zVlTHCXNrY8kgr3KPZN3eLf/6rqmMbwOtEdYmCI315TQEY8FTWYmJtrrSEVepR/Gbn9Ly4UljqLrOP7BfW94Gdsa9Yod38rX/aEYX3Mvoxagxsm9jqkMYZ7uKonylHX1dae3E2Cd8iyBbBtQmuTXAdgusQ3AnBnRCcQXAGwdUIrkZwawS3RnAbBLdBcJsEt0lwZYIrE9w+we0THCM4pnA8Xt9wH1LryuN1jfzqenK5i/t+QfjruGMToiLHKuVijuYQF1ko0ldInyTD3AKsf5Dt21Q6nKU+P6hI7D1CZcl3nqNlVDfooZR5peL8BRUX0VqVKzlIJ1ZVsTWUVaLZGslpULUd56+jz8KTZVsh1kd2FMfxukIVCKqgUC/kaZOGnKQNPJ/Dcy9azf6JH+URnUq0JxfGxfsnO3rbqJ3dXCb7KJPbeZxefRbfRFNwDx7AQ4z/BFbhJc5/CXOowlt4B6eTP1IzqdupOxE6PhZrbsHQk7r/D+0rgnc=</latexit>

0

1

2

3

4

x

x

l 非常に柔軟な回帰関数 f : x 7! yを生成する確率モデル<latexit sha1_base64="bQ1NOQGDcgw5E4ORoug05kKLfxs=">AAAHdHichZXNbtNAEMenLTSlfDSFCxIcIqxUnKJNQAL11AKVqFpVaULaVE0V2e46WPGXbMfNh/ICvAAHuIBUJMRjcOEFOPQREMciuHBgvHbkJJ4WR8nuzvz+k5nd9a7iGLrnM3Y2Mzt35ep8ZuHa4vUbN28tZZdv73l2x1V5TbUN260rsscN3eI1X/cNXndcLpuKwfeV9vPQvx9w19Nt65Xfc/iRKbcsXdNV2UdTM5vVVnONoJtrmLLj+Xau18xKrMDEk0t3inFHgvgp28tzK9CAY7BBhQ6YwMECH/sGyODh5xCKwMBB2xEM0OZiTxd+DkNYRG0HKY6EjNY2/rZwdBhbLRyHMT2hVvFfDPy6qMxBnn1nn9k5+8a+sB/s74WxBiJGmEsPWyXScqe59OZu9c9/VSa2PrxOVJcoFKQvr8kHDZ6KWnSszRGWsEo1ih/0355XVyv5wQr7yH5ifR/YGfuKFVrBL/V0l1feiejHqNGwDbBVQcIZHuBolKmCvoGwDuNsEr5LkF2C6xFcj+D6BNcnuBOCOyE4jeA0gmsTXJvg1gluneA2CW6T4LYIbovg6gRXJ7gDgjsgOEZwLMUp8fqG+5BaVyVe18ifXk9F7OKRnxN+E3dsQjTEOE05mKM+wUUWivRSpEeSYW4+1j/OjmxpOpylET+uSOxDQmWId15By7Ru3EMpy6mKyxdUXEVrS6zkOJ1Y04rtiawSzfZUTuOqnTh/FX0Gniw7KWJjakcpON5IURWCqqSoF+K0kaAkaA3P5/Dci1ZzdOJHeUSnEu0phXHx/ilO3zbpzl6pUHxUKO0+ltaexTfRAtyDB/AQ4z+BNXiJ81/DHAJ4D6fwaf535n5GyuQjdHYm1tyBiSdT+Ac6bIeT</latexit>(関数の確率分布)0l カーネル関数 k(x, x ) によって様々な関数が生成できる(ベイズ的なカーネル法)<latexit sha1_base64="UQ5LWKw2Asos2c1plKW066YAzMc=">AAAHbXichZXPaxNBFMdfW21q/dFWEQRFiqE/BAmTKCieWrVgaSlpYtqUpJTMdjYu2ewuu5s0P8g/4F08CIqCB/HP8OI/4KF/gnjwUMGLB9/Obtgk81o3bGbmvc/35b2ZyQx3TMPzGTseG584d34yMXVh+uKly1dmZueu7nh2w9VEQbNN2y3yiidMwxIF3/BNUXRcUalzU+zy2tPAv9sUrmfY1gu/7Yj9eqVqGbqhVXw0lWrL5WbrHr5Ldw9mkyzF5DOvdtJRJwnRk7XnJhahDIdggwYNqIMAC3zsm1ABDz8lSAMDB2370EWbiz1D+gX0YBq1DaQEEhW01vC7iqNSZLVwHMT0pFrDXzHxdVE5DwvsO/vMTtg39oX9YH9PjdWVMYJc2tjyUCucg5lXN/J//quqY+vDy1h1hoIjfXZNPujwSNZiYG2OtARVamH8ZufNSf5xbqG7yD6yn1jfB3bMvmKFVvO39mlb5N7K6Ieo0bFtYqtBEme4i6N+phx9XWntRdnEfIsgWwTXJrg2wXUIrkNwRwR3RHA6wekEVyO4GsGtEtwqwa0T3DrBbRDcBsEVCa5IcHsEt0dwjOCYwvFofYN9SK0rj9Y19KvryeUu7vsF4a/jjo2JshyrlIM5GkNcaKFITyE9kgxy87H+QbZvU+lglvr8oCK29wiVKf/zHC2jukEPpcwqFWdPqTiP1qpcyUE6tqqKzaGsYs3mSE6Dqq0ofw19Jp4sWwqxNrKjOI7XFCpHUDmFeiZPmyRkJK3j+Ryce+Fq9k/8MI/wVKI9mSAu3j/p0dtG7exkUun7qcz2g+TKk+gmmoKbcAeWMf5DWIHnOP8FeV+8hnfwfvJX4nriVuJ2iI6PRZprMPQklv4BwEeFIA==</latexit>

13 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

ガウス過程とは? (2)l 入力が2次元の場合のガウス過程からのサンプル＝ランダムな連続曲面l 入力xがもっと高次元な場合も同様のイメージ
14 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

ガウス過程とは? (3)l 関数のベイズ推定 : データが与えられると、関数の事後分布が得られる
l 青線は期待値
l データのない

場所は分散が大きい
l 通常の最適化では分散は表現できない

15 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

ガウス過程とは? (4)l 柔軟な回帰関数を使える確率モデルなので、全体を見通しのよい統計モデルとして定義できる– 統計的な振る舞いが保証されている ( $ NN)– ハイパーパラメータも同時に学習できる
l カーネル法なので、多くの入力 x に対して自然に定義できる– 高次元の入力– 文字列、グラフ、木、確率モデル、‥
l ニューラルネットは、素子数! 1でガウス過程になる(Neal 1996)<latexit sha1_base64="yqDw6V2iC5ZNxiM8yakDIpO3Yzw=">AAAHc3ichZXPTxNBFMcfoBTxR4teTLgQKsSLzbSYaDyBSiKBEGgtlFDS7CyzZdPt7mZ329I2/Qf8Bzxw0sjB+Gd48R/wwJ9gPKLx4sG3s9v0xzxwm3Zm3vt8X9+bmZ3hrmX6AWMXE5NTN25OJ2Zuzd6+c/deMjV3f893Gp4uirpjOV6Ja76wTFsUAzOwRMn1hFbnltjntVehf78pPN907LdB2xVHda1qm4apawGaKqlk2RJG4JnVk0DzPKdVSaVZhslnQe1k404a4mfHmZtahjIcgwM6NKAOAmwIsG+BBj5+DiELDFy0HUEXbR72TOkX0INZ1DaQEkhoaK3hbxVHh7HVxnEY05dqHf/Fwq+HygVYYt/ZZ3bJvrEv7Af7e2WsrowR5tLGlkda4VaS7x4W/vxXVcc2gJOB6hoFR/r6mgIw4LmsxcTaXGkJq9Sj+M3O+8vCi/xSd5l9ZD+xvg/sgn3FCu3mL/18V+TPZPRj1BjYNrHVIY0z3MVRP1OOvq609uJsBvwpQZ4SXJvg2gTXIbgOwbUIrkVwBsEZBFcjuBrBrRHcGsFtENwGwW0S3CbBlQiuRHAHBHdAcIzgmMLxeH3DfUitK4/XNfKr68nlLu77BeGv444dEGU5VikXczRHuMhCkb5C+iQZ5hZg/cNs36bS4Sz1+WHFwN4jVJZ85zlaxnXDHkq5o1S8c0XFBbRW5UoO0wOrqtgayWqg2RrLaVi1Heevo8/Ck2VbIdbHdhTH8bpC5Qkqr1Cv5WmThpykDTyfw3MvWs3+iR/lEZ1KtCcXxsX7Jzt+26idvVwmu5LJ7T5Nr76Mb6IZmIdFeIzxn8EqvMH5L8ob6Qw+wfn078R8YjHxKEInJ2LNAxh5Ek/+AV0oiCY=</latexit><latexit sha1_base64="s+gglNENGzc2w4yaDTBuW3xdn+w=">AAAHZXichZXNbtNAEMenLTSlUPoBQkgcqIhacYo2AQnUUwtUompVpQlpUzVV5XXXwYpjW7aT5kN5ASSu9MAJJA6Ix+DCC3DoEyDEsUhcODBeO3KSnRZHye7O/P6Tmd31Lnct0w8YOxsbn7hydTI1dW36+o2Zm7Nz8wu7vtPwdFHSHcvxylzzhWXaohSYgSXKrie0OrfEHq89D/17TeH5pmO/CtquOKxrVds0TF0L0FSsNFtHc2mWYfJZVDvZuJOG+Mk78xPLUIFjcECHBtRBgA0B9i3QwMfPAWSBgYu2Q+iizcOeKf0CejCN2gZSAgkNrTX8reLoILbaOA5j+lKt479Y+PVQuQhL7Dv7zM7ZN/aF/WR/L4zVlTHCXNrY8kgr3KPZN3eLf/6rqmMbwOtEdYmCI315TQEY8FTWYmJtrrSEVepR/Gbn9Ly4UljqLrOP7BfW94Gdsa9Yod38rX/aEYX3Mvoxagxsm9jqkMYZ7uKonylHX1dae3E2Cd8iyBbBtQmuTXAdgusQ3AnBnRCcQXAGwdUIrkZwawS3RnAbBLdBcJsEt0lwZYIrE9w+we0THCM4pnA8Xt9wH1LryuN1jfzqenK5i/t+QfjruGMToiLHKuVijuYQF1ko0ldInyTD3AKsf5Dt21Q6nKU+P6hI7D1CZcl3nqNlVDfooZR5peL8BRUX0VqVKzlIJ1ZVsTWUVaLZGslpULUd56+jz8KTZVsh1kd2FMfxukIVCKqgUC/kaZOGnKQNPJ/Dcy9azf6JH+URnUq0JxfGxfsnO3rbqJ3dXCb7KJPbeZxefRbfRFNwDx7AQ4z/BFbhJc5/CXOowlt4B6eTP1IzqdupOxE6PhZrbsHQk7r/D+0rgnc=</latexit><latexit sha1_base64="iXB7CJqATxphe1LWPWyMcL9MliA=">AAAHdnichZXNbtNAEMenLTSlfDQtFyQkFBGlcIo2AQnEqQUqUbWq0oS0qZoqst11asWxLdv5Vl6AF+CAhAQSAsRjcOEFOPQREMciwYED47UjJ9lpcZTs7szvP5nZXe+qjml4PmOnM7Nzly7PJxauLF69dv3GUnJ5Zc+zW67Gy5pt2m5FVTxuGhYv+4Zv8orjcqWpmnxfbTwL/Ptt7nqGbb30ew4/aip1y9ANTfHRVEuuVF2jfuIrrmt3UlXD0v1eLZlmWSaelNzJRZ00RE/BXp5bhSocgw0atKAJHCzwsW+CAh5+DiEHDBy0HcEAbS72DOHnMIRF1LaQ4kgoaG3gbx1Hh5HVwnEQ0xNqDf/FxK+LyhRk2Hf2mZ2xb+wL+8H+nhtrIGIEufSwVUMtd2pLr26Vfv9X1cTWh5NYdYFCRfrimnzQ4bGoxcDaHGEJqtTC+O3+67PSk2JmsMres59Y3zt2yr5ihVb7l/ZhlxffiOjHqNGxbWOrQRpneICjUaYq+gbCOoyyifkuQXYJrkdwPYLrE1yf4DoE1yE4neB0gmsQXIPg1gluneA2CW6T4LYIbovgKgRXIbgDgjsgOEZwTOLUaH2DfUitqxqta+iX11MVu3jk54S/iTs2JqpiLFMO5mhMcKGFIj2J9EgyyM3H+sfZkU2mg1ka8eOK2D4kVKZ451W0TOvGPZSyIFVcOKfiElrrYiXH6dgqK7Ynsoo121M5jat2ovw19Jl4suxIxMbUjlJxvCFRRYIqStRzcdqkIS9oHc/n4NwLV3N04od5hKcS7ckHcfH+yU3fNnJnL5/NPcjmdx+m155GN9EC3Ia7cB/jP4I1eIHzX8YcuvAWPsKn+T+JO4lM4l6Izs5Empsw8STYP8wViT8=</latexit>

16 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

私の博士論文 (“Context as Filtering”, NIPS 2005)
潜在話題
空間

tK ×

t2

×

t1

潜在的話題

潜在的話題

MSM-DM
MSM-LDAw2 w1l 潜在的な文脈の変化をParticle Filterで追跡する問題
l ガウス過程はまだ知られていなかった
17 / 130

wN

×
×

変化点
は未知

×

＝

w1

wN

w2

テキスト

線形回帰モデル

18 / 80

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

18

単回帰モデル (simple regression)l 最も単純な回帰： y = a + bx
l aとbをどうやって決める?

19 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

誤差の最小化l 実際の値 yn と予測値 ŷn = a+b xn の誤差 ✏ を<latexit sha1_base64="R2/EbKBXP4sp6l4utDPeEJgVDcU=">AAAHrnichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJiRN1USV12waK/6S7SRNorwARy4cygUkDojH4MILcOgjII5F4sKB8dpRPnZSbCXenfn9xzO7613uWWYQMnY+N79w5eo1bfH60o2bt24vr6zeKQduyzdEyXAt169wPRCW6YhSaIaWqHi+0G1uiQPefBn5D9rCD0zXeR12PVGz9RPHrJuGHqKpUhVeYFquc7ySYhkmrzW1kU0aKUiuvLu6sAVVeAMuGNACGwQ4EGLbAh0CvI8gCww8tNWgjzYfW6b0CxjAEmpbSAkkdLQ28f8Ee0eJ1cF+FDOQagPfYuHPR+UapNkP9oVdsO/sK/vJ/s6M1Zcxoly6+OSxVnjHy2/vFf/8V2XjM4TGSHWJgiN9eU0h1OGZrMXE2jxpiao04vjt3vuL4vNCuv+QfWK/sL6P7Jx9wwqd9m/j874onGH0tBxvgZGq0ManASkc4z72hrly9PWldZDkM+InFa7s+3ibmGMD1brsudCZGeGUeNcpwXUJrktwPYLrEVyH4DoEVye4OsE1Ca5JcBsEt0Fw2wS3TXA7BLdDcBWCqxDcIcEdEhwjOKZwPJnfaC1T88qTeY396nxy+SUM/YLw27jqR0RV9lXKwxzNCS62UGSgkAFJRrlFK3ycHdpUOhqlIT+uGNkHhMqS+wZHy7Ru3EMp80rF+RkVF+XXak9VMrKqit2JrEaa3amcxlV7Sf4G+izcnfYUYnNqRXHsbypUgaAKCvVK7jYpyEm6jntQtHfGszk8NeI84l2J9uSiuHiGZadPLLVRzmWyjzO5/Sep9RfJabYI9+EBPML4T2EdtnD8S/Kkegdn8EFjWlmraccxOj+XaO7CxKU1/gHgsJHv</latexit><latexit sha1_base64="9LohLkALeohWoe9L6zCvtAqTdE0=">AAAHqXichZXNbtNAEMenLeBSPtrCBYlLRRSEhBRtAhKIUwtUatWqygdpU5oq8ppNasWxLdtJmkR5ASSu9MAJJA6Ix+DCC3DoIyCOReLCgfHakZPstNhKvDvz+49ndte73LVMP2DsdGZ27tLlK9r81YVr12/cXFxavrXrO23PEGXDsRyvwnVfWKYtyoEZWKLiekJvcUvs8eaL0L/XEZ5vOvaroOeKw5besM26aegBmkq9ml1bSrEMk9eK2sjGjRTEV95ZntuAKrwBBwxoQwsE2BBg2wIdfLwPIAsMXLQdwgBtHrZM6RcwhAXUtpESSOhobeJ/A3sHsdXGfhjTl2oD32Lhz0PlCqTZD/aFnbHv7Cv7yf6eG2sgY4S59PDJI61wa4tv75T+/FfVwmcAR4nqAgVH+uKaAqjDU1mLibW50hJWaUTxO/2Ts9KzYnpwn31iv7C+j+yUfcMK7c5v43NBFD9g9LQcb4GRqtDBpwEpHOMB9ka5cvQNpHUY55PwkwpH9j28TczxCNW67DnQPTfCMfGuY4LrEVyP4PoE1ye4LsF1Ca5OcHWCaxJck+DWCG6N4DYJbpPgtghui+AqBFchuH2C2yc4RnBM4Xg8v+FapuaVx/Ma+dX55PJLGPkF4W/hqk+IquyrlIs5mhNcZKFIXyF9kgxzC1f4ODuyqXQ4SiN+XJHYh4TKkvsGR8u0btxDKfNKxflzKi7Jr7U1VUliVRXbE1klmu2pnMZVO3H+Bvos3J12FGJ9akVx7K8rVJGgigr1Uu42KchJuo57ULh3RrM5OjWiPKJdifbkwrh4hmWnTyy1sZvLZB9lcoXHqdXn8Wk2D3fhHjzA+E9gFTZw/MuYQwPewXs40R5qBa2ivY7Q2ZlYcxsmLs34BwY5j60=</latexit><latexit sha1_base64="4V8ILK3KXNRdVgJP2wuNf1nln6c=">AAAHxHichZXNbtNAEMenLZBSPtrCBQkOCVEQElW0CUggJKQWKGrVqkoT2qaqq8hrNo0Vx7Zs51vhwJEX4MAJJCQQJ3gFLrwAhz4C4lgkLhwYrx3lw5NiK/HuzO8/ntld73Lb0F2PseOp6ZkzZ8/FZs/PXbh46fL8wuKVXdeqO5rY0SzDcopcdYWhm2LH0z1DFG1HqDVuiD1efeL79xrCcXXLfO61bXFYU49Mvaxrqoem0sINpaJ63XavZMaVxCMlEVeVxB0lwZWlVgndSZZm8opHG5mwkYTwylmLM2ugwAuwQIM61ECACR62DVDBxfsAMsDARtshdNHmYEuXfgE9mENtHSmBhIrWKv4fYe8gtJrY92O6Uq3hWwz8OaiMQ4r9YJ/YCfvOPrOf7O/EWF0Zw8+ljU8eaIVdmn99rfDnv6oaPj2oDFSnKDjSp9fkQRkeyFp0rM2WFr9KLYjf6Lw5KTzMp7q32Hv2C+t7x47ZN6zQbPzWPmyL/FuMnpLjLTCSAg18apDEMe5ir58rR19XWnthPgN+VGHJvoO3jjlWUK3KngXNiRFaxLtaBNcmuDbBdQiuQ3BNgmsSXJngygRXJbgqwa0Q3ArBrRPcOsFtENwGwRUJrkhw+wS3T3CM4FiE4+H8+muZmlcezmvgj84nl19C3y8Ifw1X/YBQZD9K2ZijPsIFFop0I6RLkn5u/gofZvu2KO2PUp8fVgzsPUJlyH2Do2VcN+yhlLlIxbkJFRfk11obq2RgjSo2R7IaaDbHchpWbYX5a+gzcHfaihCrYyuKY381QuUJKh+hnsrdJglZSZdxD/L3zmA2+6dGkEewK9GerB8Xz7DM+IkVbexm05m76ez2veTy4/A0m4XrcBNuY/z7sAxrOP47mMMr+Ahf4GvsWcyIubF6gE5PhZqrMHLFXv4DEueYlQ==</latexit>

最小化✏ = yn<latexit sha1_base64="7VSOK3jGYq0LXE1W6jZdmhzP5vM=">AAAH1XichZW/b9NAFMdfWyCl/GgKCxKLRRRUhFpdAhIICakFKrVqVbUpaVI1VeQzl9aKf8l207pRNsTAwsDAwAQSA+IvYKUL/wBD/wTEWCQWBp7PjpzEL8VW4rv3Pt/n9+7Od9wxdM9n7GRkdOzc+QuZ8YsTly5fuTqZnbq26dn7ribKmm3YbpWrnjB0S5R93TdE1XGFanJDVHjzaeivtITr6bb13A8csWOqu5be0DXVR1M9O1MTjqcbtqU8VoK6pcwotT3VbwedemKZVpW7Cj+sW3fq2RybZfJS0o1C3MhBfK3ZU2OLUIMXYIMG+2CCAAt8bBuggof3NhSAgYO2HWijzcWWLv0COjCB2n2kBBIqWpv4v4u97dhqYT+M6Um1hm8x8OeiUoE8+8E+s1P2nX1hP9nfobHaMkaYS4BPHmmFU598fWPjz39VJj592EtUZyg40mfX5EMDHspadKzNkZawSi2K3zp6d7rxqJRv32Yf2S+s7wM7YcdYodX6rX1aF6X3GD0vx1tgpBq08KlBDse4jb1urhx9bWntxPkkfL/Cln0Xbx1z3EO1Kns2HAyNcEi865DgAoILCO6I4I4I7oDgDgiuQXANgmsSXJPg5glunuCWCG6J4JYJbpngqgRXJbgtgtsiOEZwLMXxeH7DtUzNK4/nNfKn55PLL6HrF4TfxFWfEDXZT1MO5qj3cZGFIr0U6ZFkmFu4wnvZri1Nh6PU5XsVib1DqAy5b3C0DOp6PZRyLVXx2pCKN+TXag5UkljTipW+rBLNykBOvarVOH8NfQbuTqspYmFgRXHsL6SoEkGVUtQzudvkoCjpBu5B4d4ZzWb31IjyiHYl2lMM4+IZVhg8sdKNzeJs4d5scf1+bu5JfJqNw024BdMY/wHMwSKOfxlzeAtf4RscZyqZTuZl5lWEjo7EmuvQd2Xe/ANEUp6N</latexit>ŷn = yn(a + bxn )yn<latexit sha1_base64="9LohLkALeohWoe9L6zCvtAqTdE0=">AAAHqXichZXNbtNAEMenLeBSPtrCBYlLRRSEhBRtAhKIUwtUatWqygdpU5oq8ppNasWxLdtJmkR5ASSu9MAJJA6Ix+DCC3DoIyCOReLCgfHakZPstNhKvDvz+49ndte73LVMP2DsdGZ27tLlK9r81YVr12/cXFxavrXrO23PEGXDsRyvwnVfWKYtyoEZWKLiekJvcUvs8eaL0L/XEZ5vOvaroOeKw5besM26aegBmkq9ml1bSrEMk9eK2sjGjRTEV95ZntuAKrwBBwxoQwsE2BBg2wIdfLwPIAsMXLQdwgBtHrZM6RcwhAXUtpESSOhobeJ/A3sHsdXGfhjTl2oD32Lhz0PlCqTZD/aFnbHv7Cv7yf6eG2sgY4S59PDJI61wa4tv75T+/FfVwmcAR4nqAgVH+uKaAqjDU1mLibW50hJWaUTxO/2Ts9KzYnpwn31iv7C+j+yUfcMK7c5v43NBFD9g9LQcb4GRqtDBpwEpHOMB9ka5cvQNpHUY55PwkwpH9j28TczxCNW67DnQPTfCMfGuY4LrEVyP4PoE1ye4LsF1Ca5OcHWCaxJck+DWCG6N4DYJbpPgtghui+AqBFchuH2C2yc4RnBM4Xg8v+FapuaVx/Ma+dX55PJLGPkF4W/hqk+IquyrlIs5mhNcZKFIXyF9kgxzC1f4ODuyqXQ4SiN+XJHYh4TKkvsGR8u0btxDKfNKxflzKi7Jr7U1VUliVRXbE1klmu2pnMZVO3H+Bvos3J12FGJ9akVx7K8rVJGgigr1Uu42KchJuo57ULh3RrM5OjWiPKJdifbkwrh4hmWnTyy1sZvLZB9lcoXHqdXn8Wk2D3fhHjzA+E9gFTZw/MuYQwPewXs40R5qBa2ivY7Q2ZlYcxsmLs34BwY5j60=</latexit>ŷn = a + bxn<latexit sha1_base64="RpKJQO0vcFbVMReJuW2uL+4jlmM=">AAAHuHichZXNbtNAEMenLZBSPprCBYlLRRSEhBRtAhKoElILVGrVqkoT0qZqquA1m8SKY1u282nlBXgBDnABqUiIx+DCC3DoIyCOReLCgfHakZN4Umwl3p35/cczu+tdbuma4zJ2Nje/cOnylcTi1aVr12/cXE6u3DpwzLatipJq6qZd5oojdM0QJVdzdVG2bKG0uC4OefOF7z/sCNvRTOOV27fESUupG1pNUxUXTdVkstJQXK8/rBrPlIe8V0VTimWYvFbjjWzYSEF45c2VhS2owBswQYU2tECAAS62dVDAwfsYssDAQtsJeGizsaVJv4AhLKG2jZRAQkFrE//r2DsOrQb2/ZiOVKv4Fh1/NipXIc1+sC/snH1nX9lP9ndmLE/G8HPp45MHWmFVl9/eKf75r6qFTxcakeoCBUf64ppcqMFTWYuGtVnS4lepBvE7g3fnxbVC2rvPPrFfWN9Hdsa+YYVG57d6ui8K7zF6Wo63wEgV6OBThRSOsYe9Ua4cfZ60DsN8In5SYcq+jbeGOTZQrcieCd2ZEXrEu3oE1ye4PsENCG5AcF2C6xJcjeBqBNckuCbBbRDcBsFtE9w2we0Q3A7BlQmuTHBHBHdEcIzgWIzj4fz6a5maVx7Oa+CPzyeXX8LILwh/C1d9RFRkP05ZmKM2wQUWinRipEOSfm7+Ch9nR7Y47Y/SiB9XRPYhodLlvsHRMq0b91DKfKzi/IyKi/JrbU1VElnjit2JrCLN7lRO46q9MH8VfTruTnsxYnNqRXHsb8aoAkEVYtRLudukICfpGu5B/t4ZzObo1AjyCHYl2pPz4+IZlp0+seKNg1wm+yiT23+cWn8enmaLcBfuwQOM/wTWYQvHv4Q5dOADnMLnxFridaKe0AJ0fi7U3IaJK2H/A+LHlWE=</latexit>

20 / 130単回帰モデル (2)l データ D = {(x1 , y1 ), (x2 , y2 ), · · · , (xN , yN )}があったとする.
l 各 xn に対する予測値 ŷn は、一次式

ŷn = a + bxn
l 観測値との差はyn ŷn = yn (a + bxn )– これを最小にしたい！

21 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

単回帰モデル (3)l n=1,2,...,N について、

誤差＝ ynŷn → 誤差の総和を最小にしたい

l 誤差は負のこともあるので、二乗した二乗誤差を最小化 (最小二乗法)：

E=

N
X

n=1

(yn

ŷn )2 =NX(yn (a + bxn ))2n=1を最小にする a,b を求める

22 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

単回帰モデル (4)l Eの極小点ではa,bについての偏微分は0になるので、
N
@E
@ X
=
(yn (a + bxn ))2@a@a n=1
N@ X 2=(yn + a2 + b2 x2n 2ayn 2abxn + 2bxn yn ) = 0@a n=1N@E@ X=(yn (a + bxn ))2@b@b n=1
N@ X 2=(yn + a2 + b2 x2n 2ayn 2abxn + 2bxn yn ) = 0@b n=1
P 2P
P
P
x
yn
n xn
n x n ynPa = n n Pn 2l これを解いて、N n xn ( n xn ) 2
PPP
N n x n yn
n xn
n yn
P 2
P
b=
N n xn ( n xn ) 2

23 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

単回帰モデルの計算例
y = 1.77 + 0.42x

一番単純な場合：
データD={(3,2),(2,4),(-1,1)}l 公式に代入して、

a = 1.77, b= 0.42
24 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

重回帰モデルl 入力xが多次元なら? → 重回帰 (multiple regression)x = (x1 , x2 , · · · , xD )T のとき、
y = w 0 + w 1 x1 + w 2 x2 + · · · + w D xD
l 二乗誤差は、(yŷ)2 = (yl これを最小化(w0 + w1 x1 + w2 x2 + · · · + wD xD ))2

PN→ E = n=1 (yn ŷn )2 を w0 , w1 , · · · , wD について微分して0とおき、連立方程式を解けばよい.

25 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

もっと見通しよく!
l x を新しく x = (1, x1 , x2 , · · · , xD ) 、

重みベクトルを w = (w0 , w1 , w2 , · · · , wD ) と表せば、

ŷ = w0 + w1 x1 + w2 x2 + · · · + wD xD
0 1= (w0 , w1 , w2 , · · · , wD ) 1
B x1 CB C
B .. C
@ . A
T

=w x

26 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

xD

もっと見通しよく! (2)l よって、n=1,2,...,N について縦に並べれば、

0

0 T1
w x1
x1
ŷ1
B ŷ2 C B wT x2 C B xT2 C
B C B
C B C
B .. C = B .. C = B .. C w@ . A @ . A @ . A
ŷN

1

0

T

w T xN

1xTNl つまり、ŷ = Xwと書ける!

27 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

計画行列
という

行列・ベクトル表現
E=

N
X

n=1

2

(yn ŷn ) = (y1 ŷ1 , · · · , yN

28 / 1301y1 ŷ1
B
C
..
@
A
.
yN

l なので、E = (yŷN )0Xw)T (yXw)= yT (yXw)(Xw)T (y= yT y2wT (XT y) + wT XT Xw

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

Xw)

ŷN

重回帰モデルの解E = yT y

2wT (XT y) + wT XT Xw

l を w で微分して、

@E
=
@w

2XT y + 2XT Xw = 0

l よって(正規方程式)XT Xw = XT y
) w = (XT X) 1 XT y .
重回帰モデルの解

29 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

重回帰モデルの計算例
l データが下のとき、

30 / 130

0
1
B1
X=B
@1
1

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

1
1
3
2

1

!2
1C
C
0A
2

重回帰モデルの計算例 (2)l よって、重みベクトルwの解は

y = 1.202 0.016x1 +1.209x2

31 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

もっと複雑にしたい!

l 直線や平面で表せない関係も多いのでは?

関数をもっと複雑にすればよい！
32 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

線形回帰モデル
y = w0 + w1 x + w2 sin(x)y = w 0 + w 1 x + w 2 x2
01
0 1
w0 w1 w21
w0 w1 w2
1
@ x A
@xA
=
=
sin(x)x2|{z} | {z }|{z} | {z }
(x)
wT
(x)
wT

l どれも、係数ベクトルの線形式として書ける！
T– y = w (x) … 線形回帰モデル (linear regression
model)l これをシグモイド関数に通したのがロジスティック
T
y
=
(w
(x))
回帰モデル
<latexit sha1_base64="R6dNB6qxcdhKJVVsyuqO/fHCSek=">AAAHf3ichZXPTxNBFMdfQV3EHxS9mHBpbEC4NNNq4o/EBFQSCYRAS6GEYrOzzJZNt+2mu/2dHrz6D3jwpIkxxov+DV78BzzwJxiPmHjx4NvZbfpjHrBNOzPvfb6v783MznDHtlyPsZPIxOSly1e0qavT167fuDkTnb2161brNUNkjapdreW47grbqoisZ3m2yDk1oZe5LfZ46bnv32uImmtVKzte2xGHZb1YsUzL0D00FaJz7djTWN61imV9Md9ovtrJc+fYwm5raakQjbMEk09M7STDThzCZ6s6O7kAeTiCKhhQhzIIqICHfRt0cPFzAElg4KDtELpoq2HPkn4BPZhGbR0pgYSO1hL+FnF0EForOPZjulJt4L/Y+K2hMgbz7Cf7zE7ZD/aF/WL/zozVlTH8XNrY8kArnMLMmzuZvxeqyth6cDxQnaPgSJ9fkwcmPJK1WFibIy1+lUYQv9F5e5p5kp7vLrAP7DfW956dsO9YYaXxx/i4LdLvZPQj1JjYNrA1II4z3MVRP1OOvq609sJsBnyLIFsE1ya4NsF1CK5DcE2CaxKcSXAmwZUIrkRwKwS3QnBrBLdGcOsEt05wOYLLEdw+we0THCM4pnA8XF9/H1LrysN1DfzqenK5i/t+QfjLuGMHRF6OVcrBHK0RLrBQpKuQLkn6uXlY/zDbt6m0P0t9flgxsPcIlS3feY6Wcd2wh1JuKRVvnVFxBq1FuZLD9MCqKjZGshpoNsZyGlZthvkb6LPxZNlUiNWxHcVxvKpQaYJKK9QLedrEISVpE89n/9wLVrN/4gd5BKcS7Un5cfH+SY7fNmpnN5VI3k+kth/El5+FN9EUzMFdWMT4D2EZXuL8ZzGH1/AJvsI3LaLd0xIaC9CJSKi5DSOP9vg/UIWKmA==</latexit>

33 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

線形回帰モデル (2)y = wT (x) (= (x)T w)
T
y
=
w
x
l は、xがφ(x)に変わっただけで重回帰モデル
2
3
(x)
=
(1,
x,
x
,
x
)
と同じなので、たとえばのとき、上をN個並べれば
0 1 0
1
0
10 1
T
2
3
(x1 )
ŷ1
1 x1 x1 x1
w0
B ŷ2 C B (x2 )T C
B1 x2 x22 x32 C B C
B C B
C
B
C Bw1 CB .. C = B
C w = B ..
.. C @w A..
@ . A @
A
@.
2
. A
.
w3
ŷN
1 xN x2N x3N(xN )T|| {z }{z} | {z }wŷ

新しい計画行列34 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

線形回帰モデル (3)l つまり一般に、線形回帰モデルは以下のように書けるb=l 計画行列Φを使って、yl X 7!
35 / 130w と書ける以外は重回帰と同じなので、w = (言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

T

) 1

T

y

線形回帰モデルの例(x) = (1, x, x2 , sin x, cos x)Tとして先ほどのデータに適用すると、
w = ( 0.065, 0.068, 0.022, 0.333, 0.863)T が解

l 特徴ベクトルを

y = 0.07+0.07x+0.02x2 +0.33 sin x 0.86 cos x
36 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

線形回帰モデルと基底関数
y = wT (x)w = (w0 , w1 , w2 , · · · , wH )(x) = ( 0 (x),| {z }

1 (x),

2 (x), · · · ,H (x))=1l よって、y = w0 +w1 1 (x)+w2 2 (x)+· · ·+wH H (x) は関数 y = 0 (x) (= 1)y = 1 (x)y = 2 (x)..
.
y = H (x)

基底関数
という

の重みつき和 (線形結合) とみなせる
37 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

線形回帰モデルと基底関数

l 2次関数y=-1.7x2-2x+0.9 は、関数 y=1, y=x, y=x2の線形和38 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

動径基底関数回帰l それなら、 h (x) = exp✓(x µh )
2

2◆をたくさん用意すれば、任意の関数が表せるのでは?
動径基底関数回帰 (radial basis function regression)
39 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

次元の呪いl しかし…

l 動径基底関数回帰に必要な基底関数の数(=パラメータの数)は、xの次元が増えると指数的に増加– 1おきに基底関数をとると、[-10,10]で1次元では21個– 2次元では212=441個– 10次元では2110=16,679,880,978,201個！
→ 次元の呪い (curse of dimensionality)
40 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

ガウス分布とガウス過程

41 / 80

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

41

ガウス分布l ガウス分布 (Gaussian distribution) または

正規分布 (normal distribution)：最も基本的な確率分布

p(x) = N (x|µ,42 / 130

2

1
)= p
exp
2⇡

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

✓

(x

µ)
2 2

2

◆

多変量ガウス分布

l p(x|µ, ⌃) = pµ = E[x]

p
exp
|⌃|

⌃ = E[xxT ]E[x]E[x]T(

43 / 130

1

✓

2⇡)D

1
(x µ)T ⌃ 1 (x µ)2(平均ベクトル)(共分散行列)言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)◆

多変量ガウス分布からのサンプル

l 共分散行列の要素の値が大きい(共分散が大)と、類似した値がサンプルされる– 負では逆相関、0ならば、無相関
44 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

多変量ガウス分布からのサンプル (2)

0
1
1 0 0
⌃ = @0 1 0A
0 0 1
l 3次元の場合

45 / 130010
1
1 0.5 0.2
1 0.8 0.6
⌃ = @0.5 1 0.5A ⌃ = @0.8 1 0.8A
0.2 0.5 1
0.6 0.8 1

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

多変量ガウス分布の線形変換
l x が多変量ガウス分布に従っていて<latexit sha1_base64="3PJSfo9WPR2PXWJ+NPyjTsCIZQs=">AAAHsHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJqRNaarKa9aNib9kO9/KC3BG4oBAAokD4jG48AIc+giIY5G4cGC8duQknhRbiXdnfv/xzO56l7um4QeMnc7Mzl24eEmZv7xw5eq164tLyzf2fKfpaaKiOabjVbnqC9OwRSUwAlNUXU+oFjfFPm88Df37LeH5hmM/D7quOLLUE9vQDU0N0PSiZqlBnev9zuB4KcNyTF4r6UY+bmQgvorO8twG1OAlOKBBEywQYEOAbRNU8PE+hDwwcNF2BH20edgypF/AABZQ20RKIKGitYH/J9g7jK029sOYvlRr+BYTfx4qVyDLfrAv7Ix9Z1/ZT/Z3aqy+jBHm0sUnj7TCPV58fav8578qC58B1BPVOQqO9Pk1BaDDI1mLgbW50hJWqUXxW723Z+XHpWz/LvvEfmF9H9kp+4YV2q3f2uddUXqH0bNyvAVGqkELnxpkcIz72BvmytHXl9ZBnE/Cjysc2ffwNjDHOqpV2XOgPTVCh3hXh+C6BNcluB7B9QiuTXBtgtMJTie4BsE1CG6N4NYIbpPgNglui+C2CK5KcFWCOyC4A4JjBMdSHI/nN1zL1LzyeF4jf3o+ufwShn5B+C1c9QlRk/005WKOxhgXWSjST5E+SYa5hSt8lB3a0nQ4SkN+VJHYB4TKlPsGR8ukbtRDKYupiotTKi7Lr9WaqCSxphXbY1klmu2JnEZVO3H+GvpM3J12UsT6xIri2F9PUSWCKqWoZ3K3yUBB0jruQeHeGc3m8NSI8oh2JdpTCOPiGZafPLHSjb1CLn8/V9h9kFl9Ep9m83Ab7sA9jP8QVmEDx7+COdjwBt7DB6WgVJVjRY3Q2ZlYcxPGLuXVP9IIkus=</latexit><latexit sha1_base64="RafrNbWluIAqaT3HvAoOIfhOyYE=">AAAIBHichZW/b9NAFMdfWyAl/GgLCxJLRFTUDq0uAQnE1AKVWrWq2qQ/UtVtZJtzYsWOLdtNk1peGfgHGJhAYkCwIVYGWPgHGPofgJigSCwMPJ8dOYlfi63Ed+99vs/v3Z3vFNvQXY+x46HhkXPnL2RGL2YvXb5ydWx84tqWax04Kt9ULcNyKorsckNv8k1P9wxesR0um4rBt5XGo9C/3eKOq1vNDa9j8z1TrjV1TVdlD03VccmekkzZqyua3w6mc5LtWLZn5STetiWDa95UdkbSHFn1C4FfDHIJu78hKaYvlfWaKQf7/kwhSHxZydFrdW+6Op5ns0xcuXSjEDfyEF9r1sTIIkjwBCxQ4QBM4NAED9sGyODivQsFYGCjbQ98tDnY0oWfQwBZ1B4gxZGQ0drA/xr2dmNrE/thTFeoVXyLgT8HlTmYZF/ZG3bCvrC37Dv7e2osX8QIc+ngU4m03K6OPbtR/vNflYlPD+qJ6gyFgvTZNXmgwX1Ri4612cISVqlG8VtHz0/KD0qT/m32iv3A+l6yY/YZK2y2fquv13npBUafFOPNMZIELXyqkMcx9rHXzVVBny+sQZxPwvcrLNF38NYxxzqqZdGz4PDUCG3iXW2C6xBch+COCO6I4A4J7pDgNILTCK5BcA2Cmye4eYJbIrglglsmuGWCqxBcheB2CG6H4BjBsRSnxPMbrmVqXpV4XiN/ej4V8SV0/Zzwm7jqE0IS/TRlY456HxdZKNJNkS5JhrmFK7yX7drSdDhKXb5XkdgDQmWIfUNBy6Cu10Mp11IVr51ScVl8reZAJYk1rVjpyyrRrAzk1KtajfNX0Wfg7rSaIhYGVpSC/YUUVSKoUop6LHabPBQFreEeFO6d0Wx2T40oj2hXoj3FMC6eYYXBEyvd2CrOFu7MFtfv5ucexqfZKNyEWzCF8e/BHCzi+G9iDp/gG/yEX5mnmXeZ95kPETo8FGuuQ9+V+fgPOXi0yg==</latexit>

p(x) / exp✓

1 T
x ⌃ 1x2◆

x = A 1yのとき、
l x を行列 Aで変換した y = Ax の分布は
✓
◆
1
@y
1
T
1
1
p(y) / exp(A y) ⌃ (A y)
2
@x
✓
◆
1 T
/ exp
y ⇤y
⇤ = (A 1 )T ⌃ 1 A 1 y
2<latexit sha1_base64="qnHg2EttvIwBsOv5z2lf7Gn717k=">AAAHvXichZXNbtNAEMenLZBSPpqCkJC4pERBXIg2AQmEhGiASq1aVWlC2lR1iWyzaa04tmU7zoeVF+AFOHAqEgfoY3DhBTj0ERDHInHhwHjtKB+etLYS7878/uOZ3fWuYuma4zJ2OjM7d+nylcT81YVr12/cXEwu3dpxzJat8opq6qZdVWSH65rBK67m6rxq2VxuKjrfVRqvA/+ux21HM423btfiB0350NDqmiq7aKol70heJyUtv5CWU5JXeOc/yvUlr1tLplmWiSsVb+SiRhqiq2guza2BBO/BBBVa0AQOBrjY1kEGB+99yAEDC20H4KPNxpYm/Bz6sIDaFlIcCRmtDfw/xN5+ZDWwH8R0hFrFt+j4s1GZggz7yb6yM/aDnbBf7N/UWL6IEeTSxacSarlVW/xwt/z3QlUTny4cDVXnKBSkz6/JhTo8E7VoWJslLEGVahjf6308Kz8vZfwH7DP7jfUds1P2HSs0vD/ql21e+oTRM2K8OUaSwMOnCmkcYx97g1wV9PnC2o/yGfLjClP0bbw1zPEI1bLomdCeGqFDvKtDcF2C6xJcj+B6BNcmuDbB1QmuTnANgmsQXIHgCgS3TnDrBLdBcBsEVyW4KsHtEdwewTGCYzFOieY3WMvUvCrRvIb++Hwq4ksY+Dnhb+KqHxKS6McpC3PUxrjQQpFOjHRIMsgtWOGj7MAWp4NRGvCjiqG9T6h0sW8oaJnUjXooZTFWcXFKxWXxtTYnKhla44rNsayGms2JnEZVW1H+Kvp03J22YsTqxIpSsL8ao0oEVYpRb8Ruk4a8oOu4BwV7Zzibg1MjzCPclWhPPoiLZ1hu8sSKN3by2dzjbH77SXrlVXSazcM9uA8PMf5TWIE1HP+KyOEYvsFJ4mWCJ/SEEaKzM5HmNoxdifZ/woaWHw==</latexit><latexit sha1_base64="3PJSfo9WPR2PXWJ+NPyjTsCIZQs=">AAAHsHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJqRNaarKa9aNib9kO9/KC3BG4oBAAokD4jG48AIc+giIY5G4cGC8duQknhRbiXdnfv/xzO56l7um4QeMnc7Mzl24eEmZv7xw5eq164tLyzf2fKfpaaKiOabjVbnqC9OwRSUwAlNUXU+oFjfFPm88Df37LeH5hmM/D7quOLLUE9vQDU0N0PSiZqlBnev9zuB4KcNyTF4r6UY+bmQgvorO8twG1OAlOKBBEywQYEOAbRNU8PE+hDwwcNF2BH20edgypF/AABZQ20RKIKGitYH/J9g7jK029sOYvlRr+BYTfx4qVyDLfrAv7Ix9Z1/ZT/Z3aqy+jBHm0sUnj7TCPV58fav8578qC58B1BPVOQqO9Pk1BaDDI1mLgbW50hJWqUXxW723Z+XHpWz/LvvEfmF9H9kp+4YV2q3f2uddUXqH0bNyvAVGqkELnxpkcIz72BvmytHXl9ZBnE/Cjysc2ffwNjDHOqpV2XOgPTVCh3hXh+C6BNcluB7B9QiuTXBtgtMJTie4BsE1CG6N4NYIbpPgNglui+C2CK5KcFWCOyC4A4JjBMdSHI/nN1zL1LzyeF4jf3o+ufwShn5B+C1c9QlRk/005WKOxhgXWSjST5E+SYa5hSt8lB3a0nQ4SkN+VJHYB4TKlPsGR8ukbtRDKYupiotTKi7Lr9WaqCSxphXbY1klmu2JnEZVO3H+GvpM3J12UsT6xIri2F9PUSWCKqWoZ3K3yUBB0jruQeHeGc3m8NSI8oh2JdpTCOPiGZafPLHSjb1CLn8/V9h9kFl9Ep9m83Ab7sA9jP8QVmEDx7+COdjwBt7DB6WgVJVjRY3Q2ZlYcxPGLuXVP9IIkus=</latexit><latexit sha1_base64="Rnf2v3enTatqUa8YTMYpvnBuqHc=">AAAHqXichZXNbtNAEMenLeBSPtrCBYlLRRSEhBRtAhKIUwNUatWqygdpU5qq8ppNasWOLdtJmkR5ASSu9MAJJA6Ix+DCC3DoIyCOReLCgfHakZPstNhKvDvz+49ndte73LVMP2DsdGZ27tLlK9r81YVr12/cXFxavrXjO23PEBXDsRyvynVfWGZLVAIzsETV9YRuc0vs8uaL0L/bEZ5vOq1XQc8VB7beaJl109ADNJVrnfzhUoplmLxW1EY2bqQgvgrO8tw61OANOGBAG2wQ0IIA2xbo4OO9D1lg4KLtAAZo87BlSr+AISygto2UQEJHaxP/G9jbj60t7Icxfak28C0W/jxUrkCa/WBf2Bn7zr6yn+zvubEGMkaYSw+fPNIK93Dx7Z3yn/+qbHwGcJSoLlBwpC+uKYA6PJW1mFibKy1hlUYUv9M/OSs/K6UH99kn9gvr+8hO2TessNX5bXwuitIHjJ6W4y0wUg06+DQghWM8wN4oV46+gbQO43wSflLhyL6Ht4k5HqFalz0HuudGOCbedUxwPYLrEVyf4PoE1yW4LsHVCa5OcE2CaxJcnuDyBLdBcBsEt0lwmwRXJbgqwe0R3B7BMYJjCsfj+Q3XMjWvPJ7XyK/OJ5dfwsgvCL+Nqz4harKvUi7maE5wkYUifYX0STLMLVzh4+zIptLhKI34cUViHxIqS+4bHC3TunEPpSwoFRfOqbgsv1Z7qpLEqiq2JrJKNFtTOY2rtuP8DfRZuDttK8Ta1Iri2F9TqBJBlRTqpdxtUpCTdB33oHDvjGZzdGpEeUS7Eu3JhXHxDMtOn1hqYyeXyT7K5IqPU6vP49NsHu7CPXiA8Z/AKqzj+Fcwhwa8g/dwoj3UilpVex2hszOx5jZMXJrxD5Ofj3o=</latexit><latexit sha1_base64="4MBZGRALBMbZVKw59qADGeWLQhs=">AAAHtHichZXNbtNAEMenLeBSPtrCBYlLSxTEKdoEBAgJqQEqtWpVpQlpU9VtZZtNa8Vfsh3nS3kBXgAkTq3EAfEYXHgBDn0ExLFIXDgwXjtyEk+KrcS7M7//eGZ3vas6hu75jJ1PTc9cuXpNmr0+d+PmrdvzC4t3djy76Wq8qtmG7dZUxeOGbvGqr/sGrzkuV0zV4Ltq43Xo3w246+m29dbvOPzAVI4tva5rio+mQznoyMsv5WU5KMpB+2ghw3JMXEvpRj5uZCC+SvbizBrI8A5s0KAJJnCwwMe2AQp4eO9DHhg4aDuAHtpcbOnCz6EPc6htIsWRUNDawP9j7O3HVgv7YUxPqDV8i4E/F5VLkGU/2Bd2wb6zr+wn+zsxVk/ECHPp4FONtNw5mn9/r/LnvyoTnz6cJKpLFCrSl9fkQx2ei1p0rM0RlrBKLYofdD9cVF6Us72H7Iz9wvpO2Tn7hhVawW/t8zYvf8LoWTHeHCPJEOBTgwyOcQ97g1xV9PWEtR/nk/CjClv0Xbx1zPEE1Yro2dCaGKFNvKtNcB2C6xBcl+C6BNciuBbB1QmuTnANgmsQXJHgigS3TnDrBLdBcBsEVyO4GsHtEdwewTGCYylOjec3XMvUvKrxvEb+9Hyq4ksY+DnhN3HVJ4Qs+mnKwRz1ES6yUKSXIj2SDHMLV/gwO7Cl6XCUBvywIrH3CZUh9g0VLeO6YQ+lLKUqLk2ouCK+VnOsksSaVmyOZJVoNsdyGlZtxflr6DNwd9pKEatjK0rF/mqKKhNUOUW9EbtNBgqCruMeFO6d0WwOTo0oj2hXoj2FMC6eYfnxEyvd2Cnk8o9zhe0nmZVX8Wk2C/fhATzC+M9gBdZw/KuYgwsf4RTOpKeSLGkSj9DpqVhzF0YuyfoHGyGTtA==</latexit><latexit sha1_base64="ski3/L4QaZRjqCefepBv6RTsNkQ=">AAAIsnichZXLbtNQEIYnLZfUXNrCBolNRNQqSFCdhEogJKQWqNSqVdUmvaTUbWW7x6kVJza2kyY1fgEeABYsuEgsEI/Bhhdg0UdALIvEhgXjY4dcPG1tJT4z8/1zZnzsY9U2Dddj7Dg1NHzh4qXL6RHpytVr10fHxm9suFbD0fi6ZpmWU1YVl5tGna97hmfysu1wpaaafFOtPgvjm03uuIZVX/PaNt+pKZW6oRua4qFrbzw1YufkZvuuNCnbjmV7liTzli2bXPdy0n1ZdxTNzwd+IZAQm9317+eDEN9dk9WSUakpwtMXkmTHqBx4eA2TvJKiHLKtOJ6hmBlEgl6rFcQCJOVzq5DvoT6cfAlb3FfQ6E73sqHsR5PmOvHMk8z/2gZq7ik5zrA3lmVTTByZ5CAfD7IQHyvW+PA8yLAPFmjQgBpwqIOHYxMUcPHchjwwsNG3Az76HBwZIs4hAAm1DaQ4Egp6q/hfQWs79tbRDnO6Qq3hLCb+HFRmYIL9YF/YCfvOvrKf7O+puXyRI6yljVc10nJ7b/T1rdKfc1U1vHpw0FWdoVCRPrsnD3R4JHoxsDdbeMIutSh/8+jtSelxccKfZJ/YL+zvIztm37DDevO39nmVF99h9glxvzlmkqGJVw2yeI99tDq1qhjzhTeI6+ny/QpL2A6eBtZ4gGpFWBYcnpqhRczVIrg2wbUJ7ojgjgjukOAOCU4nOJ3gqgRXJbhZgpsluAWCWyC4RYJbJLgywZUJbovgtgiOERxLcGq8vuGzTK2rGq9rFE+upyrehE6cE/EaPvVdQhZ2krKxRqOPizwU6SZIlyTD2sInvJft+JJ0eJc6fK+i6w8IlSn2DRU9g7reCKVcSXS8ckrHJfG21gY66XqTiqW+qrqapYGaelXLcf0axkzcnZYTxNzAE6WiPZegigRVTFDPxW6ThYKgddyDwr0zWs3OVyOqI9qV6EghzIvfsPzgFys52ChM5R9MFVanszNP469ZGm7DHchh/ocwA/N4/9dBS9mpN6n3qQ/p6fSLtJLWInQoFWtuQt+RNv8BKVzseg==</latexit>– よって、y もガウス分布に従う<latexit sha1_base64="cBy7SP6mgyWfvD8VPfcTFpsZ06Q=">AAAHqXichZXNbtNAEMenLeBSPtrCBYlLRRSEhBRtAhKIUwtUatWqygdpU5qq8ppNasWOLdtJmkR5ASSu9MAJJA6Ix+DCC3DoIyCOReLCgfHakZPspNhKvDvz+49ndte73LVMP2DsbGZ27tLlK9r81YVr12/cXFxavrXrOy3PEGXDsRyvwnVfWGZTlAMzsETF9YRuc0vs8caL0L/XFp5vOs1XQdcVh7Zeb5o109ADNJWq7e7RUoplmLxW1EY2bqQgvvLO8twGVOENOGBAC2wQ0IQA2xbo4ON9AFlg4KLtEPpo87BlSr+AASygtoWUQEJHawP/69g7iK1N7Icxfak28C0W/jxUrkCa/WBf2Dn7zr6yn+zv1Fh9GSPMpYtPHmmFe7T49k7pz39VNj4DOE5UFyg40hfXFEANnspaTKzNlZawSiOK3+6dnpeeFdP9++wT+4X1fWRn7BtW2Gz/Nj4XRPEDRk/L8RYYqQptfBqQwjHuY2+YK0dfX1oHcT4JP65wZN/D28Qcj1Gty54DnakRToh3nRBcl+C6BNcjuB7BdQiuQ3A1gqsRXIPgGgS3RnBrBLdJcJsEt0VwWwRXIbgKwe0T3D7BMYJjCsfj+Q3XMjWvPJ7XyK/OJ5dfwtAvCL+Nqz4hqrKvUi7maI5xkYUifYX0STLMLVzho+zQptLhKA35UUViHxAqS+4bHC2TulEPpcwrFeenVFySX6s9UUliVRXbY1klmu2JnEZVO3H+Bvos3J12FGJ9YkVx7K8rVJGgigr1Uu42KchJuoZ7ULh3RrM5PDWiPKJdifbkwrh4hmUnTyy1sZvLZB9lcoXHqdXn8Wk2D3fhHjzA+E9gFTZw/MuYQx3ewXs41R5qBa2ivY7Q2ZlYcxvGLs34Byplj7I=</latexit>

46 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

線形回帰モデルふたたびl 線形回帰モデル y =がガウス分布w において、重みベクトル w

w ⇠ N (0, ↵I)に従っているとする

47 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

重みwの積分消去
l このとき、Φは定数行列なので、wを定数行列で変換

した y = w もガウス分布に従い、– 平均µ = E[y] = E[ w] = E[w] = 0– 共分散 ⌃ = E[yyT ] E[y]E[y]T= E[( w)( w)T ] ==↵Tl すなわち、yは全体として、y ⇠ N (0, ↵T)のガウス分布に従う.
48 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

E[wwT ]

T

重みwの積分消去 (2)01

00 1 0y1
0
B y2 CBB0C BB C
BB C B⇠N
B .. CBB .. C, ↵ B@ . A@@ . A @yN<latexit sha1_base64="ZpgalaZCId0eK3EaSKstpzvK+/k=">AAAJc3iclZVLb9NAEMenKY8mPNrCBamXtKGolaBaByQQpxaolKpV1Kb0pW4VbHeTWHFiy3bTpFG+AF+AAyeQOCA+BhfEnUM/AuJYEBcOjNdO48STIpyHd2d+//HM7npXs03D9Rg7HUmMXrp85epYMnXt+o2b4xOTt7Zd68jRxZZumZazq6muMI262PIMzxS7tiPUmmaKHa363PfvNITjGlb9pdeyxUFNLdeNkqGrHpqKkyNfuSbKRr1t11TPMZqdVKuopDlPt4pZ/8Ybh5bnBoZ8iov6YY/krlFLtbmumul8h5ui5M2lBqMxX8r6I7HBONP3Uxy/qmlX1FgEbleMIpvjjWZRmU9zPYjiG3PnRh6lshSVDahuDlE+f85HBfn5/iz59H9k1gscPkmhKCVKycy6eG54uSHeP4COUa5488WJDFtg8krHG0rYyEB4rVuTozngcAgW6HAENRBQBw/bJqjg4mcfFGBgo+0A2mhzsGVIv4AOpFB7hJRAQkVrFf/L2NsPrXXs+zFdqdbxKSb+HFSmYZZ9Yx/ZGfvCPrHv7M/QWG0Zw8+lhXct0Aq7OP76zubvf6pqePeg0lNdoNCQvrgmD0rwRNZiYG22tPhV6kH8xsmbs82nhdn2Pfae/cD63rFT9hkrrDd+6h82ROEtRp+V4y0wEocG3nXI4Bi3sdfNVUNfW1o7YT49vl9hyb6DHwNzrKBalT0LjodGaBLPahJci+BaBHdCcCcEd0xwxwRXIrgSwVUJrkpwSwS3RHArBLdCcKsEt0pwuwS3S3B7BLdHcIzgWIzTwvn11zI1r1o4r4E/Pp+afBO6fkH4a7jqewSX/ThlY45GHxdYKNKNkS5J+rn5KzzKdm1x2h+lLh9V9OwdQmXKfUNDy6Au6qGU67GK14dUvCnf1tpAJT1rXLHWl1VPszaQU1SVD/PX0Wfi7pSPEcsDK0rD/nKMKhBUIUa9kLtNBrKSLuEe5O+dwWx2T40gj2BXoj1ZPy6eYcrgiRVvbGcXlIcL2Y1HmcVn4Wk2BlMwA3MY/zEsQg7Hfwv0hJLYSbxKqGO/klPJmeTdAE2MhJrb0HclH/wF0j0ryA==</latexit><latexit sha1_base64="UQk+J0T7yvQSgstNA5m1qkerP+A=">AAAHxHichZXNbtNAEMenLeBSPprCBQkOFVEQp2gTkECcWqCoVasqTUibqqkir7tprPhLtpM0scKBIy/AgRNISCBO8ApceAEOfQTEsUhcODBeO8qHp62txLszv/94Zne9yx1D93zGjqemZy5cvKTMXp67cvXa9fnUwo1tz265mihrtmG7Fa56wtAtUfZ13xAVxxWqyQ2xw5vPQv9OW7ieblsv/a4j9k310NLruqb6aKql7lRb1oFwuatqIqg2PCd85oXZ79eCfi2VZlkmr8VkIxc30hBfBXthZhWqcAA2aNACEwRY4GPbABU8vPcgBwwctO1DgDYXW7r0C+jDHGpbSAkkVLQ28f8Qe3ux1cJ+GNOTag3fYuDPReUiZNhP9pmdsB/sC/vF/p0aK5Axwly6+OSRVji1+Te3Sn/PVZn49KExVJ2h4EifXZMPdXgsa9GxNkdawiq1KH679/ak9KSYCe6xD+w31veeHbPvWKHV/qN93BLFdxg9I8dbYKQqtPGpQRrHOMDeIFeOvkBa+3E+Q35cYcu+i7eOOTZQrcqeDZ1TIxwR7zoiuC7BdQmuR3A9gusQXIfg6gRXJ7gmwTUJbpnglglujeDWCG6d4NYJrkJwFYLbJbhdgmMExxIcj+c3XMvUvPJ4XiN/cj65/BIGfkH4TVz1Q6Iq+0nKwRz1MS6yUKSXID2SDHMLV/goO7Al6XCUBvyoYmjvEypD7hscLZO6UQ+lLCQqLpxScUl+reZEJUNrUrExltVQszGR06hqM85fQ5+Bu9NmgliZWFEc+ysJqkhQxQT1XO42achLuo57ULh3RrM5ODWiPKJdifbkw7h4huUmT6xkYzufzT3I5rceppeexqfZLNyGu3Af4z+CJVjF8S9jDq/hE3yFb8oLxVA8pRWh01Ox5iaMXcqr/8G5myQ=</latexit>

|{z}
y

0

<latexit sha1_base64="UMn9wfJ8bWg9f7KM6Nl/F8sSAyk=">AAAHxnichZXNbtNAEMenLZBSPprCBQkJVURBnKJNABVxaoFKqVpVaULaVE0Ved1NY8Vfsp2kiRWJAydegAMnkDgAR3gDLrwAhz4C4lgkLhwYrx3lw5NiK/HuzO8/ntld73Jb11yPsdOZ2bkLFy8l5i8vXLl67fpicunGrmu1HFWUVUu3nApXXKFrpih7mqeLiu0IxeC62OPNZ4F/ry0cV7PMF17XFoeGcmxqdU1VPDTVkneqLfNIONxRVOFXG64dPFcyj4TR79f8fi2ZYhkmr+V4Ixs1UhBdBWtpLg9VOAILVGiBAQJM8LCtgwIu3geQBQY22g7BR5uDLU36BfRhAbUtpAQSClqb+H+MvYPIamI/iOlKtYpv0fHnoHIZ0uwH+8jO2Hf2mf1kf6fG8mWMIJcuPnmoFXZt8fWt0p//qgx8etAYqs5RcKTPr8mDOjyWtWhYmy0tQZVqGL/de3NWelJM+/fYe/YL63vHTtk3rNBs/1Y/7IjiW4yeluMtMFIV2vhUIYVj7GNvkCtHny+t/SifIT+usGTfwVvDHBuoVmTPgs7UCCfEu04IrktwXYLrEVyP4DoE1yG4OsHVCa5JcE2CWyO4NYLbILgNgtskuE2CqxBcheD2CW6f4BjBsRjHo/kN1jI1rzya19Afn08uv4SBXxB+A1f9kKjKfpyyMUdtjAstFOnGSJckg9yCFT7KDmxxOhilAT+qGNr7hEqX+wZHy6Ru1EMpC7GKC1MqLsmv1ZioZGiNK7bGshpqtiZyGlVtR/mr6NNxd9qOEesTK4pjfz1GFQmqGKOey90mBTlJ13EPCvbOcDYHp0aYR7gr0Z5cEBfPsOzkiRVv7OYy2QeZ3M7D1OrT6DSbh9twF+5j/BVYhTyOfxlzeAWf4At8TeQTZqKV6ITo7EykuQljV+LlPx8Nm6A=</latexit><latexit sha1_base64="cBy7SP6mgyWfvD8VPfcTFpsZ06Q=">AAAHqXichZXNbtNAEMenLeBSPtrCBYlLRRSEhBRtAhKIUwtUatWqygdpU5qq8ppNasWOLdtJmkR5ASSu9MAJJA6Ix+DCC3DoIyCOReLCgfHakZPspNhKvDvz+49ndte73LVMP2DsbGZ27tLlK9r81YVr12/cXFxavrXrOy3PEGXDsRyvwnVfWGZTlAMzsETF9YRuc0vs8caL0L/XFp5vOs1XQdcVh7Zeb5o109ADNJWq7e7RUoplmLxW1EY2bqQgvvLO8twGVOENOGBAC2wQ0IQA2xbo4ON9AFlg4KLtEPpo87BlSr+AASygtoWUQEJHawP/69g7iK1N7Icxfak28C0W/jxUrkCa/WBf2Dn7zr6yn+zv1Fh9GSPMpYtPHmmFe7T49k7pz39VNj4DOE5UFyg40hfXFEANnspaTKzNlZawSiOK3+6dnpeeFdP9++wT+4X1fWRn7BtW2Gz/Nj4XRPEDRk/L8RYYqQptfBqQwjHuY2+YK0dfX1oHcT4JP65wZN/D28Qcj1Gty54DnakRToh3nRBcl+C6BNcjuB7BdQiuQ3A1gqsRXIPgGgS3RnBrBLdJcJsEt0VwWwRXIbgKwe0T3D7BMYJjCsfj+Q3XMjWvPJ7XyK/OJ5dfwtAvCL+Nqz4hqrKvUi7maI5xkYUifYX0STLMLVzho+zQptLhKA35UUViHxAqS+4bHC2TulEPpcwrFeenVFySX6s9UUliVRXbY1klmu2JnEZVO3H+Bvos3J12FGJ9YkVx7K8rVJGgigr1Uu42KchJuoZ7ULh3RrM5PDWiPKJdifbkwrh4hmUnTyy1sZvLZB9lcoXHqdXn8Wk2D3fhHjzA+E9gFTZw/MuYQx3ewXs41R5qBa2ivY7Q2ZlYcxvGLs34Byplj7I=</latexit>

l 線形回帰モデル|

0 (x1 ) · · ·0 (x2 ) · · ·..
.
0 (xN ) · · ·{z

H (x1 )

<latexit sha1_base64="NBwupxqlhEt7DXDOxySJYdiYuWM=">AAAHtHichZXNbtNAEMenLeBSPtrCBYlLRBTEKdoEBAgJqQUqtWpVpQlpU9Vt5TWbxoq/ZDtJkygvwAuAxKmVOCAegwsvwKGPgDgWiQsHxmtHTuJpsZV4d+b3H8/srne5axp+wNjZ1PTMlavXlNnrczdu3ro9v7B4Z9t3Wp4uqrpjOl6Na74wDVtUAyMwRc31hGZxU+zw5uvQv9MWnm849tug64p9SzuyjbqhawGaDtR2N/Myo/JSw1DbncOFLMszeWXSjULcyEJ8lZzFmVVQ4R04oEMLLBBgQ4BtEzTw8d6DAjBw0bYPfbR52DKkX8AA5lDbQkogoaG1if9H2NuLrTb2w5i+VOv4FhN/HiozkGM/2Bd2zr6zr+wn+3thrL6MEebSxSePtMI9nH9/r/LnvyoLnwE0EtUlCo705TUFUIfnshYDa3OlJaxSj+K3ex/OKy/Kuf5Ddsp+YX0n7Ix9wwrt9m/985Yof8LoOTneAiOp0ManDlkc4z72hrly9PWldRDnk/DjCkf2PbwNzLGBak32HOhcGOGYeNcxwXUJrktwPYLrEVyH4DoEVye4OsE1Ca5JcMsEt0xwawS3RnDrBLdOcDWCqxHcLsHtEhwjOJbieDy/4Vqm5pXH8xr50/PJ5Zcw9AvCb+GqTwhV9tOUizkaY1xkoUg/RfokGeYWrvBRdmhL0+EoDflRRWIfECpT7hscLZO6UQ+lLKUqLl1QcUV+rdZEJYk1rdgYyyrRbEzkNKrajPPX0Wfi7rSZIlYmVhTH/kqKKhNUOUW9kbtNFoqSruMeFO6d0WwOT40oj2hXoj3FMC6eYYXJEyvd2C7mC4/zxa0n2aVX8Wk2C/fhATzC+M9gCVZx/KuYgwcf4QROlaeKquiKiNDpqVhzF8Yuxf4HldqTxQ==</latexit>

CB
CB
A@

H (x2 ) CB
H (xN )

<latexit sha1_base64="dyqS5Q5Y6iIb++TwsWA8ydYDFV4=">AAAHr3ichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJqRJ1JTiNZvGir9kO0kTKy/AlQMH4AASB8RjcOEFOPQREMciceHAeO3ISTwtthLvzvz+45nd9S53DN3zGTuZmZ27cPGSMn954crVa9cXl5Zv7Hl2x9VERbMN261x1ROGbomKr/uGqDmuUE1uiCpvPw391a5wPd22nvt9RxyY6pGlN3VN9dFUb3AzaBRb+vBwKcNyTF4r6UY+bmQgvor28twGNOAV2KBBB0wQYIGPbQNU8PDehzwwcNB2AAHaXGzp0i9gCAuo7SAlkFDR2sb/I+ztx1YL+2FMT6o1fIuBPxeVK5BlP9gXdsq+s6/sJ/t7ZqxAxghz6eOTR1rhHC6+vlX+81+ViU8fWonqHAVH+vyafGjCI1mLjrU50hJWqUXxu4O3p+XHpWxwl31iv7C+j+yEfcMKre5v7fOuKL3D6Fk53gIjNaCLTw0yOMYB9ka5cvQF0jqM80n4SYUt+y7eOubYQrUqezb0zoxwTLzrmOD6BNcnuAHBDQiuR3A9gmsSXJPg2gTXJrg1glsjuE2C2yS4LYLbIrgawdUIrk5wdYJjBMdSHI/nN1zL1LzyeF4jf3o+ufwSRn5B+E1c9QnRkP005WCO+gQXWSjSS5EeSYa5hSt8nB3Z0nQ4SiN+XJHYh4TKkPsGR8u0btxDKYupiotnVFyWX6s5VUliTSu2J7JKNNtTOY2rduL8NfQZuDvtpIj1qRXFsb+eokoEVUpRz+Ruk4GCpJu4B4V7ZzSbo1MjyiPalWhPIYyLZ1h++sRKN/YKufz9XGH3QWb1SXyazcNtuAP3MP5DWIUNHP8K5mDCG3gPH5S8UlVeKC8jdHYm1tyEiUvR/wEnqJJD</latexit>

y=

10

w

}

<latexit sha1_base64="UMn9wfJ8bWg9f7KM6Nl/F8sSAyk=">AAAHxnichZXNbtNAEMenLZBSPprCBQkJVURBnKJNABVxaoFKqVpVaULaVE0Ved1NY8Vfsp2kiRWJAydegAMnkDgAR3gDLrwAhz4C4lgkLhwYrx3lw5NiK/HuzO8/ntld73Jb11yPsdOZ2bkLFy8l5i8vXLl67fpicunGrmu1HFWUVUu3nApXXKFrpih7mqeLiu0IxeC62OPNZ4F/ry0cV7PMF17XFoeGcmxqdU1VPDTVkneqLfNIONxRVOFXG64dPFcyj4TR79f8fi2ZYhkmr+V4Ixs1UhBdBWtpLg9VOAILVGiBAQJM8LCtgwIu3geQBQY22g7BR5uDLU36BfRhAbUtpAQSClqb+H+MvYPIamI/iOlKtYpv0fHnoHIZ0uwH+8jO2Hf2mf1kf6fG8mWMIJcuPnmoFXZt8fWt0p//qgx8etAYqs5RcKTPr8mDOjyWtWhYmy0tQZVqGL/de3NWelJM+/fYe/YL63vHTtk3rNBs/1Y/7IjiW4yeluMtMFIV2vhUIYVj7GNvkCtHny+t/SifIT+usGTfwVvDHBuoVmTPgs7UCCfEu04IrktwXYLrEVyP4DoE1yG4OsHVCa5JcE2CWyO4NYLbILgNgtskuE2CqxBcheD2CW6f4BjBsRjHo/kN1jI1rzya19Afn08uv4SBXxB+A1f9kKjKfpyyMUdtjAstFOnGSJckg9yCFT7KDmxxOhilAT+qGNr7hEqX+wZHy6Ru1EMpC7GKC1MqLsmv1ZioZGiNK7bGshpqtiZyGlVtR/mr6NNxd9qOEesTK4pjfz1GFQmqGKOey90mBTlJ13EPCvbOcDYHp0aYR7gr0Z5cEBfPsOzkiRVv7OYy2QeZ3M7D1OrT6DSbh9twF+5j/BVYhTyOfxlzeAWf4At8TeQTZqKV6ITo7EykuQljV+LlPx8Nm6A=</latexit>|

0 (x1 ) · · ·1 (x1 ) · · ·..
.
H (x1 ) · · ·が、ガウス分布に従う重みwを積分消去してTy ⇠ N 0, ↵になった
<latexit sha1_base64="Jrk7lSRfSgV2TOMz6D0XCCJ+vys=">AAAH7XichZXPa9RAFMdfrbq1/mirF8HL6lKpIGV2FRRPrVpoaSnb7a8tnVoycdINm18k6bbbsP+Ad/GgCAoi0j/Di1cPHqp/gXis4MWDL5Ms+yOvNWGTmfc+37fvzUxmhGeZQcjY0cCZwbPnzueGLgxfvHT5ysjo2NW1wN31dbmqu5brV4UWSMt05Gpohpaser7UbGHJdVF/EvvXG9IPTNdZCZue3LK1Hcc0TF0L0bQ9OsMbzTwPTDsfcV2z8ostfpNb0ggnuK2FNWFErHWXa5ZX03hd+k7RC7ko10z1eLbCfXOnFt7ZHi2wSaaufLZRTBsFSK+yOzY4Cxyegws67IINEhwIsW2BBgHem1AEBh7atiBCm48tU/kltGAYtbtISSQ0tNbxuYO9zdTqYD+OGSi1jv9i4c9HZR7G2Tf2iR2zL+yQ/WR/T4wVqRhxLk18i0Qrve2RF9eX//xXZeM7hFpHdYpCIH16TSEY8FDVYmJtnrLEVepJ/MbBq+PlR5Xx6DZ7z35hfe/YEfuMFTqN3/qHJVl5jdHH1XhLjMShgW8dCjjGEfbauQr0RcraSvPp8L0KV/V9vE3MsYZqTfVc2Dsxwj7xX/sE1yS4JsEdENwBwe0R3B7BGQRnEFyd4OoEN01w0wQ3R3BzBDdPcPMEVyW4KsFtENwGwTGCYxlOpPMbr2VqXkU6r4k/O59CfQltvyT8Nq76DsFVP0t5mKPZwyUWigwyZECScW7xCu9m27YsHY9Sm+9WdOwtQmWpfUOgpV/X7aGU5UzF5RMqXlZfq91XSceaVSz0ZNXRLPTl1K1aTPPX0Wfh7rSYIWb6VpTA/kyGqhBUJUM9VbtNAUqKNnAPivfOZDbbp0aSR7Ir0Z5SHBfPsGL/iZVtrJUmi/cmS0v3C1OP09NsCG7ALZjA+A9gCmZx/Fcxh0P4Ct/hR87Nvcy9yb1N0DMDqeYa9Fy5j/8Aw2Oqsg==</latexit>

49 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月){z<latexit sha1_base64="6F4/44a+IiMZ2oG30QJBtr8YG+o=">AAAHsXichZXNbtNAEMenLeBSPtrCBYlLRRTEKdqkSCBOLVCpVasqTZo2UVKK12waK/6S7SRNorwAd8QBCQQSB8RjcOEFOPQREMciceHAeO3ISTwpthLvzvz+45nd9S53DN3zGTubmZ27dPmKMn914dr1GzcXl5ZvHXh2y9VESbMN2y1z1ROGbomSr/uGKDuuUE1uiEPefBb4D9vC9XTb2ve7jjgy1RNLr+ua6qOpWuNmv5Zv6IMX+8dLKZZh8lpJNrJRIwXRlbeX5zahBq/ABg1aYIIAC3xsG6CCh3cVssDAQdsR9NHmYkuXfgEDWEBtCymBhIrWJv6fYK8aWS3sBzE9qdbwLQb+XFSuQJr9YF/YOfvOvrKf7O/UWH0ZI8ili08eaoVzvPj6TvHPf1UmPn1oxKoLFBzpi2vyoQ6PZS061uZIS1ClFsZv996eF58U0v377BP7hfV9ZGfsG1ZotX9rn/dE4R1GT8vxFhipBm18apDCMe5jb5grR19fWgdRPjE/rrBl38VbxxwbqFZlz4bO1AinxLtOCa5LcF2C6xFcj+A6BNchuDrB1QmuSXBNglsnuHWC2yK4LYLbJrhtgisTXJngKgRXIThGcCzB8Wh+g7VMzSuP5jX0J+eTyy9h6BeE38RVHxM12U9SDuaoj3GhhSK9BOmRZJBbsMJH2aEtSQejNORHFbF9QKgMuW9wtEzqRj2UMp+oOD+l4qL8Ws2JSmJrUrEzllWs2ZnIaVS1G+Wvoc/A3Wk3QWxMrCiO/Y0EVSCoQoJ6LnebFOQkXcc9KNg7w9kcnhphHuGuRHtyQVw8w7KTJ1aycZDLZFczub2HqbWn0Wk2D3fhHjzA+I9gDTZx/EvyzHkD7+GDsqpUlJcKD9HZmUhzG8YupfkPkY+TCQ==</latexit>

0 (xN )

11
CC
CC
AA

1 (xN ) CC
H (xN )

T}

ガウス過程p(y|X) = N (0, ↵T)

は、どんな入力 X = {xn }N
n=1 についても成り立つ
à ガウス過程l どんな入力 (x1 , x2 , · · · , xN ) についても、対応する
出力 y = (y1 , y2 , · · · , yN ) がガウス分布に従うとき、y はガウス過程に従う、という– ガウス過程＝無限次元のガウス分布– 線形回帰モデルで、重みwを積分消去したもの
Tの要素を与えるカーネル関数
Kij = k(xi , xj ) = ↵ (xi )T (xj )だけでガウス分布が定まる (カーネル法, SVMと同じ)

l K=↵

50 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

ガウス過程 (2)l xnとxn’が近ければ、共分散行列Kの要素Knn’も大きい↓
yn, yn’が近い値をとる

l ガウス過程は、xが似ていればyも似ている ことを数学的に表すための確率過程.
51 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

カーネルと特徴ベクトルl ガウス過程では、Kij = ↵(xi )T (xj ) だけが必要↓(xi ), (xj ) を直接求める必要はない
02– 例： k(x, x0 ) = (x1 xp01 + x2 xp
+
1)
2
p

のとき
(x) = (x21 , x22 , 2x1 x2 , 2x1 , 2x2 , 1) となるが、この (x) を計算する必要はない
l (x) を求めると、無限次元になることもある(＝無限次元の線形回帰モデルに相当)
l これをカーネルトリックという52 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

さまざまなカーネル
k(x, x0 ) = xT x0– (x) = x を意味する→ガウス過程は、重回帰を包む✓◆
l ガウスカーネル:0 2|x x |
0k(x, x ) = exp✓✓◆
l 指数カーネル:
0|x x |
0k(x, x ) = exp✓l 周期カーネル:✓✓◆◆
0|x x |
0k(x, x ) = exp cos ✓1✓2
l 線形カーネル:<latexit sha1_base64="hKUxHzt1f3DVClMWBfqdkAHBWWc=">AAAH5XichZVLb9NAEMenLZBSHm3hgsSlJQqkUlttAhIIqVILVGrVqmoT2qaqS2SbdWLFiS3bedXNF0DihuDAAQHigPgYXOAK4tCPgDgWiQsHxmtHeXhSbCXenfn9xzO7613FMnTHZex4aHjkzNlzsdHzYxcuXro8PjF5Zccxq7bKt1XTMO2cIjvc0Ct829Vdg+csm8tlxeC7Sumh79+tcdvRzcpjt2nxg7JcqOiarsoumvITC6WkVGvM4u/WzILEG5ZkcM1NzkmaLaveEdql6Tlp2vcfPUm3PMktclduSbZeKLoz+Yk4m2fimoo2UmEjDuG1aU6OrIAET8EEFapQBg4VcLFtgAwO3vuQAgYW2g7AQ5uNLV34ObRgDLVVpDgSMlpL+F/A3n5orWDfj+kItYpvMfBno3IKEuwH+8hO2Bf2if1kfwfG8kQMP5cmPpVAy638+LNr2T//VZXx6UKxozpFoSB9ek0uaHBP1KJjbZaw+FWqQfza4auT7P1MwrvJ3rFfWN9bdsw+Y4WV2m/1wxbPvMboCTHeHCNJUMOnCnEcYw977VwV9HnC2grz6fC9ClP0bbx1zLGIaln0TKgPjNAg3tUguCbBNQnukOAOCa5OcHWC0whOI7gSwZUIbonglghuleBWCW6N4NYILkdwOYLbI7g9gmMExyKcEs6vv5apeVXCeQ380flUxJfQ9nPCX8ZV3yEk0Y9SFuao93CBhSKdCOmQpJ+bv8K72bYtSvuj1Oa7FR17i1AZYt9Q0NKv6/ZQys1IxZsDKs6Kr7XcV0nHGlWs92TV0az35dSt2gjzV9Fn4O60ESGW+1aUgv3lCJUhqEyEeiR2mzikBa3hHuTvncFstk+NII9gV6I9aT8unmGp/hMr2thJz6duz6e37sQXH4Sn2ShchxuQxPh3YRFWcPy3MYf38BW+wfdYIfY89iL2MkCHh0LNVei5Ym/+ASwOpyg=</latexit>

53 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

さまざまなカーネル (2)54 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

直感的理解l 相関のある多変量ガウス分布

55 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

直感的理解l 相関のある多変量ガウス分布

56 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

直感的理解l 相関のある多変量ガウス分布

57 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

「基底関数」の消去
l 点hでの基底関数
h (x) = ⌧ exp

✓

(x

h/H)
r2

2

◆

h
<latexit sha1_base64="PcqcH8xoANut5SR4xdK1Tw0sB6o=">AAAHp3ichZXNbtNAEMenLeBSPtrCBYlLRRQEl2gTkECcWqBSq1YlHyRN1VSV12waK3Zs2U7SJMoLwBXEgRNIHBCPwYUX4NBHQByLxIUD47UjJ9lpsZV4d+b3H8/srne5a5l+wNjJzOzchYuXtPnLC1euXru+uLR8o+I7bc8QZcOxHK/KdV9YZkuUAzOwRNX1hG5zS+zy5rPQv9sRnm86rZdBzxUHtn7UMuumoQdoKjQOl1Isw+S1ojaycSMF8ZV3luc2oAavwAED2mCDgBYE2LZABx/vfcgCAxdtBzBAm4ctU/oFDGEBtW2kBBI6Wpv4f4S9/djawn4Y05dqA99i4c9D5Qqk2Q/2hZ2y7+wr+8n+nhlrIGOEufTwySOtcA8XX98q/fmvysZnAI1EdY6CI31+TQHU4bGsxcTaXGkJqzSi+J3++9PSk2J6cJd9Yr+wvo/shH3DClud38bngih+wOhpOd4CI9Wgg08DUjjGA+yNcuXoG0jrMM4n4ScVjux7eJuYYwPVuuw50D0zwjHxrmOC6xFcj+D6BNcnuC7BdQmuTnB1gmsSXJPg1ghujeA2CW6T4LYIbovgqgRXJbg9gtsjOEZwTOF4PL/hWqbmlcfzGvnV+eTySxj5BeG3cdUnRE32VcrFHM0JLrJQpK+QPkmGuYUrfJwd2VQ6HKURP65I7ENCZcl9g6NlWjfuoZR5peL8GRWX5NdqT1WSWFXF9kRWiWZ7Kqdx1U6cv4E+C3enHYVYn1pRHPvrClUkqKJCPZe7TQpykq7jHhTundFsjk6NKI9oV6I9uTAunmHZ6RNLbVRymeyDTK7wMLX6ND7N5uE23IF7GP8RrMIGjn8ZcxDwBt7CO+2+9kKraNUInZ2JNTdh4tL0f2Mdjrs=</latexit>

を考えてみるl H→∞にしてグリッドを無限に細かくすると、
PH 200k(x, x ) = lim
(x)
(x
)
2
h
h
h=
H
H!1
✓
◆
✓
◆
Z 1
2
0
2
(x h)
(x
h)
2
!
⌧ exp
exp
dh
2
2
r
r
1
✓
◆
p
1
2
0 2
2
=⌧
⇡r /2 exp
(x
x
)
2
2r
✓
◆
1
⌘ ✓1 exp(x x0 )2
ガウスカーネル！
✓2
58 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

ガウス過程回帰モデル
l 新しい入力点x*での出力y*の分布はどうなるか？

59 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

ガウス過程回帰モデル (2)l 学習データのyにy*を加えた y’=(y, y*) が、

学習データのXにx*を加えたX’から計算される行列を共分散行列としたガウス分布に従うのでここでk⇤ = (k(x⇤ , x1 ), k(x⇤ , x2 ), · · · , k(x⇤ , xN ))k⇤⇤ = k(x⇤ , x⇤ )60 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

ガウス過程回帰モデル (3)l 数式で簡潔に書くと

✓ ◆
✓ ✓
K
y
⇠ N 0,
⇤
y
kT⇤

k⇤
k⇤⇤

◆◆

l なので、多変量ガウス分布の条件つき分布の公式から

p(y ⇤ |x⇤, X, y) = N kT⇤ K 1 y, k⇤⇤ kT⇤ K 1 k⇤
– よって、その期待値はE[y ⇤ |x⇤, X, y] = kT⇤ K 1 y
61 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

条件付きガウス分布の公式
l 多変量ガウス分布の条件付き分布は、のとき

l 証明は教科書を参照してください

62 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

条件付きガウス分布のイメージ<latexit sha1_base64="bYXOmILt/IhMc7N8ACyPLA8iLUA=">AAAHbHichZXPaxNBFMdfW21q/dFWPQhFKIaGChImUVA8tWrB0lLSxLSpbQk720lcstlddjdpfpB/wLPgQRQUPIh/hhf/AQ/9E0TwUsGLB9/Obtgk89puSGbmvc/35b2Z2RnumIbnM3Y8Nj5x4eJkYurS9OUrV6/NzM5d3/bshquLom6btlvimidMwxJF3/BNUXJcodW5KXZ47Wng32kK1zNs64XfdsRBXataRsXQNR9NL52lVjlzr1XO3i3PJlmayWdB7WSiThKiJ2fPTaRgHw7BBh0aUAcBFvjYN0EDDz97kAEGDtoOoIs2F3uG9AvowTRqG0gJJDS01vC3iqO9yGrhOIjpSbWO/2Li10XlAiyyH+wLO2Hf2Vf2k/07NVZXxghyaWPLQ61wyjOvbxX+nquqY+vDq1h1hoIjfXZNPlTgkazFwNocaQmq1MP4zc7bk8Lj/GI3xT6xX1jfR3bMvmGFVvOP/nlL5N/J6IeoqWDbxFaHJM5wF0f9TDn6utLai7KJ+RZBtgiuTXBtgusQXIfgjgjuiOAqBFchuBrB1QhuheBWCG6N4NYIbp3g1gmuRHAlgtsluF2CYwTHFI5H6xvsQ2pdebSuoV9dTy53cd8vCH8dd2xM7MuxSjmYozHEhRaK9BTSI8kgNx/rH2T7NpUOZqnPDypie49QmfKd52gZ1Q16KGVOqTh3SsUFtFblSg7SsVVVbAxlFWs2RnIaVG1G+evoM/Fk2VSI1ZEdxXG8qlB5gsor1DN52iQhK+kKns/BuReuZv/ED/MITyXakw3i4v2TGb1t1M52Np25n85uPUguP4luoimYhzuwhPEfwjI8x/kvYg4WvIH38GHyd+JmYj5xO0THxyLNDRh6Eqn/DqmEcQ==</latexit>p(x1 , x2 )<latexit sha1_base64="YhiHKi13lWia+/DZesZFus7jg/U=">AAAHbHichZXPaxNBFMdfW21q/dFWPQhFKIaGegmTKCieWrVgaSlpYtrUtoSd7Wxcstlddjdpfph/wLPgQRQUPIh/hhf/AQ/9E0TwUsGLB9/ObsiPeW03JDPz3uf78t7M7Ax3LdMPGDseG5+4cHEyMXVp+vKVq9dmZueub/tO3dNFUXcsxytxzReWaYtiYAaWKLme0GrcEju8+iT07zSE55uO/TxoueKgplVs0zB1LUDTC3epWc6+apYzd8uzSZZm8llQO5m4k4T4yTlzEynYh0NwQIc61ECADQH2LdDAx88eZICBi7YD6KDNw54p/QK6MI3aOlICCQ2tVfyt4Ggvtto4DmP6Uq3jv1j49VC5AIvsB/vCTth39pX9ZP9OjdWRMcJcWtjySCvc8szrW4W/56pq2Abwsq86Q8GRPrumAAx4KGsxsTZXWsIq9Sh+o/32pPAov9hJsU/sF9b3kR2zb1ih3fijf94S+Xcy+iFqDGwb2OqQxBnu4KiXKUdfR1q7cTZ9vkmQTYJrEVyL4NoE1ya4I4I7IjiD4AyCqxJcleBWCG6F4NYIbo3g1gluneBKBFciuF2C2yU4RnBM4Xi8vuE+pNaVx+sa+dX15HIX9/yC8Ndwx/aJfTlWKRdzNIe4yEKRvkL6JBnmFmD9g2zPptLhLPX4QUXf3iVUlnznOVpGdYMeSplTKs6dUnEBrRW5koN036oqNoay6ms2RnIaVG3G+evos/Bk2VSI1ZEdxXG8qlB5gsor1FN52iQhK2kDz+fw3ItWs3fiR3lEpxLtyYZx8f7JjN42amc7m87cS2e37ieXH8c30RTMwx1YwvgPYBme4fwXMQcb3sB7+DD5O3EzMZ+4HaHjY7HmBgw9idR/P7uEwQ==</latexit>p(x2 |x1 )l 多変量ガウス分布 p(x1 , x2 ) を x1 で条件づけると、<latexit sha1_base64="HEw7b8vMzH1qejvjxAKvcEA62ZE=">AAAHZXichZXPTxNBFMcfoBQRBNQYEw8SGoinZlpNNJ5AJZFASGktlABpdpbZuul2d7O7Lf2R/gMmXuXgSRMPxj/Di/+AB/4CYzxi4sWDb2e32bbzwG3amXnv8319b2Z2hruW6QeMnY2NT1y5OpmaujZ9fWb2xtz8ws1d32l4uijpjuV4Za75wjJtUQrMwBJl1xNanVtij9eeh/69pvB807FfBW1XHNW1qm0apq4FaCq2KtnKfJplmHwW1U427qQhfvLOwsQKHMIxOKBDA+ogwIYA+xZo4OPnALLAwEXbEXTR5mHPlH4BPZhGbQMpgYSG1hr+VnF0EFttHIcxfanW8V8s/HqoXIRl9p19ZufsG/vCfrK/F8bqyhhhLm1seaQVbmXuzd3in/+q6tgG8DpRXaLgSF9eUwAGPJG1mFibKy1hlXoUv9k5PS8+LSx3V9hH9gvr+8DO2Fes0G7+1j/tiMJ7Gf0YNQa2TWx1SOMMd3HUz5SjryutvTibhG8RZIvg2gTXJrgOwXUI7oTgTgjOIDiD4GoEVyO4NYJbI7gNgtsguE2C2yS4MsGVCW6f4PYJjhEcUzger2+4D6l15fG6Rn51PbncxX2/IPx13LEJcSjHKuVijuYQF1ko0ldInyTD3AKsf5Dt21Q6nKU+P6hI7D1CZcl3nqNlVDfooZR5peL8BRUX0VqVKzlIJ1ZVsTWUVaLZGslpULUd56+jz8KTZVsh1kd2FMfxukIVCKqgUC/kaZOGnKQNPJ/Dcy9azf6JH+URnUq0JxfGxfsnO3rbqJ3dXCb7MJPbeZRefRbfRFNwD5bgAcZ/DKvwEue/hDlU4S28g9PJH6nZ1O3UnQgdH4s1t2DoSd3/Bx9/gjU=</latexit><latexit sha1_base64="bYXOmILt/IhMc7N8ACyPLA8iLUA=">AAAHbHichZXPaxNBFMdfW21q/dFWPQhFKIaGChImUVA8tWrB0lLSxLSpbQk720lcstlddjdpfpB/wLPgQRQUPIh/hhf/AQ/9E0TwUsGLB9/Obtgk89puSGbmvc/35b2Z2RnumIbnM3Y8Nj5x4eJkYurS9OUrV6/NzM5d3/bshquLom6btlvimidMwxJF3/BNUXJcodW5KXZ47Wng32kK1zNs64XfdsRBXataRsXQNR9NL52lVjlzr1XO3i3PJlmayWdB7WSiThKiJ2fPTaRgHw7BBh0aUAcBFvjYN0EDDz97kAEGDtoOoIs2F3uG9AvowTRqG0gJJDS01vC3iqO9yGrhOIjpSbWO/2Li10XlAiyyH+wLO2Hf2Vf2k/07NVZXxghyaWPLQ61wyjOvbxX+nquqY+vDq1h1hoIjfXZNPlTgkazFwNocaQmq1MP4zc7bk8Lj/GI3xT6xX1jfR3bMvmGFVvOP/nlL5N/J6IeoqWDbxFaHJM5wF0f9TDn6utLai7KJ+RZBtgiuTXBtgusQXIfgjgjuiOAqBFchuBrB1QhuheBWCG6N4NYIbp3g1gmuRHAlgtsluF2CYwTHFI5H6xvsQ2pdebSuoV9dTy53cd8vCH8dd2xM7MuxSjmYozHEhRaK9BTSI8kgNx/rH2T7NpUOZqnPDypie49QmfKd52gZ1Q16KGVOqTh3SsUFtFblSg7SsVVVbAxlFWs2RnIaVG1G+evoM/Fk2VSI1ZEdxXG8qlB5gsor1DN52iQhK+kKns/BuReuZv/ED/MITyXakw3i4v2TGb1t1M52Np25n85uPUguP4luoimYhzuwhPEfwjI8x/kvYg4WvIH38GHyd+JmYj5xO0THxyLNDRh6Eqn/DqmEcQ==</latexit>「切り口」p(x2 |x1 ) はまたガウス分布になる<latexit sha1_base64="YhiHKi13lWia+/DZesZFus7jg/U=">AAAHbHichZXPaxNBFMdfW21q/dFWPQhFKIaGegmTKCieWrVgaSlpYtrUtoSd7Wxcstlddjdpfph/wLPgQRQUPIh/hhf/AQ/9E0TwUsGLB9/ObsiPeW03JDPz3uf78t7M7Ax3LdMPGDseG5+4cHEyMXVp+vKVq9dmZueub/tO3dNFUXcsxytxzReWaYtiYAaWKLme0GrcEju8+iT07zSE55uO/TxoueKgplVs0zB1LUDTC3epWc6+apYzd8uzSZZm8llQO5m4k4T4yTlzEynYh0NwQIc61ECADQH2LdDAx88eZICBi7YD6KDNw54p/QK6MI3aOlICCQ2tVfyt4Ggvtto4DmP6Uq3jv1j49VC5AIvsB/vCTth39pX9ZP9OjdWRMcJcWtjySCvc8szrW4W/56pq2Abwsq86Q8GRPrumAAx4KGsxsTZXWsIq9Sh+o/32pPAov9hJsU/sF9b3kR2zb1ih3fijf94S+Xcy+iFqDGwb2OqQxBnu4KiXKUdfR1q7cTZ9vkmQTYJrEVyL4NoE1ya4I4I7IjiD4AyCqxJcleBWCG6F4NYIbo3g1gluneBKBFciuF2C2yU4RnBM4Xi8vuE+pNaVx+sa+dX15HIX9/yC8Ndwx/aJfTlWKRdzNIe4yEKRvkL6JBnmFmD9g2zPptLhLPX4QUXf3iVUlnznOVpGdYMeSplTKs6dUnEBrRW5koN036oqNoay6ms2RnIaVG3G+evos/Bk2VSI1ZEdxXG8qlB5gsor1FN52iQhK2kDz+fw3ItWs3fiR3lEpxLtyYZx8f7JjN42amc7m87cS2e37ieXH8c30RTMwx1YwvgPYBme4fwXMQcb3sB7+DD5O3EzMZ+4HaHjY7HmBgw9idR/P7uEwQ==</latexit>

63 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

ガウス過程回帰モデル (4)l 注：ガウス過程回帰の期待値

E[y ⇤ |x⇤, X, y] = kT⇤ K 1 y

はカーネルリッジ回帰と実は同じだが、カーネル法と異なりベイズ推定なので、– 分散も使って分布を推定することができ、
p(y ⇤ |x⇤, X, y) = N kT⇤ K 1 y, k⇤⇤ kT⇤ K 1 k⇤

– カーネル法と違って完全な確率モデルなので、カーネル自体を学習することも可能(通常のカーネル法ではクロスバリデーションに頼る必要があり、最適化は難しい)64 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

ガウス過程回帰のアルゴリズム

l (xtrain,ytrain)が与えられたとき、xtestの各点について

平均muと分散varを出力
65 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

ガウス過程回帰の例

l 新しい入力x*での予測値y*の分布は、ガウス分布l 青線は期待値、水色の領域は
66 / 130

2σのエリア

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

ガウス過程回帰と自然言語処理
l 機械翻訳の品質推定 (Cohn+ 2013)
l 作文の自動採点
l 文の処理時間のモデル化– 特に、分散を捉えることが重要！
– 線形回帰やSVRでは無理

67 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

これらも
同じ問題

機械翻訳の評価 (Cohn+2013)l 文を与えて、その品質(例えばTOEICスコア)を出力する問題“Would you mind helping me?” à 652– 「文の処理時間」を出力する問題とも同じ
l 回帰モデルは一般に非線形– 少しの間違いで、大幅にスコア低下のことも– 短い文では、評価は本来曖昧…分散が重要– ニューラルでは、突然変な値を出す可能性がある– 類似する文は類似するスコアà「類似」を定義
できればよい→ ガウス過程そのもの！
68 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

機械翻訳の評価 (2) (Cohn+2013)l 文スコアの推定を、ガウス過程回帰としてとらえる

l 注: ニューラル手法 (例えばTakahashi+ ACL2020)を取り込むことも可能– ガウス過程の入力特徴をニューラルで学習(Neural CRFと同様のアイデア)– 出力はガウス過程なので、解析的(解釈可能)かつ分散が求められる– Neural Network GP (Wilson+2016他多数)
69 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

機械翻訳の評価 (2) (Cohn+2013)l Support Vector Regressionより高性能– カーネルを学習できる(ARD)àどの特徴が効くかわかる
l 論文ではさらに、マルチタスク学習でアノテーターの相関と信頼度を自動学習
70 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

ガウス過程とカーネルの学習

71 / 80

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

71

ハイパーパラメータの最適化
k(xi , xj ) = ✓1 exp✓|xi xj |✓22◆+ ✓3 (i, j)l カーネルのハイパーパラメータを ✓ = (✓1 , ✓2 , ✓3 )とおくと、yの確率はガウス分布なので、θに依存してp(y|X, ✓) = N (y|0, K✓ )
✓
◆
1
1
1 T
1
=
exp
y
K
✓ y
N/2
1/2
2
(2⇡)
|K✓ |
l すなわち、log p(y|X, ✓) = log |K✓ |yT K✓ 1 y + const.

– これを最大にするθを求めればよい.
72 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

ハイパーパラメータの最適化 (2)L = log p(y|X, ✓) = log |K✓ |yT K✓ 1 y + const.

l ある ✓ 2 ✓ について、微分の連鎖則から
N X
N
X
@L
@L @K✓@L @Kij==@✓@K✓ @✓@Kij @✓
i=1 j=1

l ここで

✓

◆

@
1 @K✓
log |K✓ | = tr K✓
@✓
@✓
@
1
1 @K✓
K✓ = K✓K✓ 1@✓@✓
なので、後は @Kij を使っているカーネルごとに計算すればよい.@✓73 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

ハイパーパラメータの最適化 (3)l @K✓ は?

@✓
→ 各Kijをθで微分して並べた行列.
✓
◆
l 例:
2
|xi xj |+ ✓3 (i, j)
Kij = k(xi , xj ) = ✓1 exp✓2のとき、⌧ = log ✓1 とおけば、
θ1>0 なので ✓1 = e⌧✓◆2@k(xi , xj )|xi xj |⌧⌧= e exp
=
k(x
,
x
)
e
(i, j)ij⌧@⌧e– ✓2 , ✓3 についても同様
74 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

ハイパーパラメータの最適化 (4)l 最適化アルゴリズム (Python, BFGSの場合)
from scipy.optimize import minimize
def optimize (xtrain, ytrain, kernel, kgrad, init):
res = minimize (loglik, init,
args = (xtrain,ytrain,kernel,kgrad),jac = gradient, method = 'BFGS’,
callback = printparam,
options = {'gtol' : 1e-4, 'disp' : True})
print res.message
return res.x– loglik で目的関数(負の対数尤度)を、gradientで偏微分を並べたベクトルを計算

75 / 130

最適化ルーチンは最小化問題を解いているため

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

ハイパーパラメータの最適化 (5)l カーネルk(xi , xj ) = ✓1 exp✓|xi xj |✓22◆+ ✓3 (i, j)

で、✓1 = 1 としてみる
l 上の画像は、観測点が少ないので若干オーバーフィット
76 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

ハイパーパラメータの最適化 (6)log ✓3log ✓2l log ✓2 , log ✓3の関数
l 複数の峰があり、最適化は初期値に依存する
77 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

カーネルの組み合わせl カーネル k1(x,x’) と k2(x,x’) の和や積も、正しい

カーネル関数になる– ✓1 k1 (x, x0 ) + ✓2 k2 (x, x0 )– k1 (x, x0 )p · k2 (x, x0 )q (p, q 2 N)などは、また有効なカーネル関数→GPML4章を参照
l カーネルとして、たとえばを使って ✓1 , ✓2 , ✓3 , ✓4 を最適化すれば、線形性と周期性を自動的に調節した回帰モデルが得られる!
78 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

マウナロアCO2濃度データ

5.4 Model Selection for GP Regression

2

CO concentration, ppm

420
400
380
360
340
320
1960

1970

1980

1990
year

2000

2010

2020

l GPML p.119より引用

Figure 5.6: The 545 observations of monthly averages of the atmospheric concentra-

tionof CO2 made between 1958 and the end of 2003, together with 95% predictive
l 周期カーネルを使うことで、非常に正確に周期データ
confidence region for a Gaussian process regression model, 20 years into the future.
にフィットして予測することができる!
Risingtrend and seasonal variations are clearly visible. Note also that the confidence
interval gets wider the further the predictions are extrapolated.
79 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

as insights into its properties by interpretation of the adapted hyperparame-ガウス分布以外の観測モデル(離散値を含む)

80 / 80

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

80さまざまな観測モデル
l 論文ではがガウス分布だと仮定されることが多いが、現実の観測値yはガウス分布とは限らない– 離散観測値：y=2,1,4,3,1,0,1,…
– 外れ値の存在 (ガウス分布では外れ値を扱えない)– 点過程データ：イベントがfに基づいてランダムに生起

81 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

ポアソン観測モデル
l ポアソン分布: 自然数上の確率分布

82 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

ポアソン観測モデル (2)

l

なので、
とおく
(場所 におけるポアソン分布の期待値)
場所xにおける
植物の個体数の架空データ(久保拓弥「データ解析のための
統計モデリング入門」より)

83 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

ポアソン観測モデル (3)l ここでも、事後分布はガウス分布ではないl たとえばGPyで計算

84 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

ポアソン観測モデル (4)l たとえばGPyで計算
import GPy
def gpr_poisson (data):
N = len(data)
xx = np.linspace (1,N,N)
model = GPy.core.GP (X=xx[:,None], Y=data[:,None],¥kernel=GPy.kern.RBF(1),¥inference_method=GPy.inference.latent_
function_inference.Laplace(),¥likelihood=GPy.likelihoods.Poisson())
model.optimize ()mu,var = model._raw_predict (xx[:,None])plt.plot (xx, np.exp(mu))
plt.fill_between (xx, exp(mu[:,0] + 3*sqrt(var[:,0])),¥
exp(mu[:,0] - 3*sqrt(var[:,0])),¥
color='#ccccff')
plt.plot (xx, data, 'xb', markersize=8)85 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

ポアソン観測モデル (5)l 推定した結果 (ラプラス近似; 分散が小さめ)– 空間的に滑らかな推定結果が得られる
緑本11章と比較！

86 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

ガウス過程とニューラルネット

87 / 80

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

87

ニューラルネットとガウス過程
l Neal (1996)は、ニューラル

ネットワークは素子数→∞の極限でガウス過程と等価であることを示した
l ニューラルネットの多数のパラメータを学習する必要がない!
l 以下、その説明を簡単に紹介

88 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

ニューラルネットとガウス過程 (2)l 入力 xn に対して yn を出力する、

yn<latexit sha1_base64="9LohLkALeohWoe9L6zCvtAqTdE0=">AAAHqXichZXNbtNAEMenLeBSPtrCBYlLRRSEhBRtAhKIUwtUatWqygdpU5oq8ppNasWxLdtJmkR5ASSu9MAJJA6Ix+DCC3DoIyCOReLCgfHakZPstNhKvDvz+49ndte73LVMP2DsdGZ27tLlK9r81YVr12/cXFxavrXrO23PEGXDsRyvwnVfWKYtyoEZWKLiekJvcUvs8eaL0L/XEZ5vOvaroOeKw5besM26aegBmkq9ml1bSrEMk9eK2sjGjRTEV95ZntuAKrwBBwxoQwsE2BBg2wIdfLwPIAsMXLQdwgBtHrZM6RcwhAXUtpESSOhobeJ/A3sHsdXGfhjTl2oD32Lhz0PlCqTZD/aFnbHv7Cv7yf6eG2sgY4S59PDJI61wa4tv75T+/FfVwmcAR4nqAgVH+uKaAqjDU1mLibW50hJWaUTxO/2Ts9KzYnpwn31iv7C+j+yUfcMK7c5v43NBFD9g9LQcb4GRqtDBpwEpHOMB9ka5cvQNpHUY55PwkwpH9j28TczxCNW67DnQPTfCMfGuY4LrEVyP4PoE1ye4LsF1Ca5OcHWCaxJck+DWCG6N4DYJbpPgtghui+AqBFchuH2C2yc4RnBM4Xg8v+FapuaVx/Ma+dX55PJLGPkF4W/hqk+IquyrlIs5mhNcZKFIXyF9kgxzC1f4ODuyqXQ4SiN+XJHYh4TKkvsGR8u0btxDKfNKxflzKi7Jr7U1VUliVRXbE1klmu2pnMZVO3H+Bvos3J12FGJ9akVx7K8rVJGgigr1Uu42KchJuo57ULh3RrM5OjWiPKJdifbkwrh4hmWnTyy1sZvLZB9lcoXHqdXn8Wk2D3fhHjzA+E9gFTZw/MuYQwPewXs40R5qBa2ivY7Q2ZlYcxsmLs34BwY5j60=</latexit><latexit sha1_base64="f8SHKOPxCgw9+pknyUjVbpReW2I=">AAAHq3ichZXNbtNAEMenLeBSPtrCBYlLRRTEhWgTkECcWqBSq1ZVmpA2pakir9m0Vhzbsp1v5QW4cATECSQOiMfgwgtw6CMgjkXiwoHx2pGT7KTYSrw78/uPZ3bXu9y1TD9g7HRmdu7CxUva/OWFK1evXV9cWr6x5ztNzxAlw7Ecr8x1X1imLUqBGVii7HpCb3BL7PP6s9C/3xKebzr2i6DriqOGfmybNdPQAzSVKq1O1a4upViGyWtFbWTjRgriK+8sz21ABV6BAwY0oQECbAiwbYEOPt6HkAUGLtqOoI82D1um9AsYwAJqm0gJJHS01vH/GHuHsdXGfhjTl2oD32Lhz0PlCqTZD/aFnbHv7Cv7yf5OjdWXMcJcuvjkkVa41cXXt4p//qtq4DOAk0R1joIjfX5NAdTgsazFxNpcaQmrNKL4rd7bs+KTQrp/l31iv7C+j+yUfcMK7dZv4/OuKHzA6Gk53gIjVaCFTwNSOMZ97A1z5ejrS+sgzifhxxWO7Ht4m5jjCap12XOgPTVCh3hXh+C6BNcluB7B9QiuTXBtgqsRXI3g6gRXJ7g1glsjuE2C2yS4LYLbIrgywZUJ7oDgDgiOERxTOB7Pb7iWqXnl8bxGfnU+ufwShn5B+Bu46hOiIvsq5WKO5hgXWSjSV0ifJMPcwhU+yg5tKh2O0pAfVST2AaGy5L7B0TKpG/VQyrxScX5KxUX5tTYmKkmsqmJ7LKtEsz2R06hqJ87fQJ+Fu9OOQqxPrCiO/XWFKhBUQaGey90mBTlJ13APCvfOaDaHp0aUR7Qr0Z5cGBfPsOzkiaU29nKZ7INMbvdhavVpfJrNw224A/cw/iNYhQ0c/xLmYMIbeAfvtftaUXupVSJ0dibW3ISxSxP/AExmkJI=</latexit>

右図のような1層のニューラル
ネットを考えるl 式で書くと、(PHyn = j=1 wj hj (xn )PD
hj (xn ) = ( k=0 vjk xnk )wj<latexit sha1_base64="/xaxpPWeaydpO9+ZwBc5wsGVf0U=">AAAHsHichZXNbtNAEMenLeBSPtrCBYlLRRRULtEmIIE4tUClVq2qNCFtSlNFXrNp3PhLtvOtvABnJA4IJJA4IB6DCy/AoY+AOBaJCwfGa0dO4mlrK/HuzO8/ntld73LH0D2fsZOp6ZlLl68os1fnrl2/cXN+YfHWrmc3XU2UNNuw3TJXPWHolij5um+IsuMK1eSG2OON54F/ryVcT7etl37XEYememTpNV1TfTS9qlePlyutTtV6UF1IsQyT11KykY0aKYiuvL04sw4VeA02aNAEEwRY4GPbABU8vA8gCwwctB1CH20utnTpFzCAOdQ2kRJIqGht4P8R9g4iq4X9IKYn1Rq+xcCfi8olSLOf7Cs7ZT/YN/aL/TszVl/GCHLp4pOHWuFU59/cKf69UGXi04d6rDpHwZE+vyYfavBE1qJjbY60BFVqYfxW791p8Wkh3b/PPrPfWN8ndsK+Y4VW64/2ZUcU3mP0tBxvgZEq0MKnBikc4z72hrly9PWldRDlE/PjClv2Xbx1zLGOalX2bGifGaFDvKtDcF2C6xJcj+B6BNcmuDbB1QiuRnANgmsQ3CrBrRLcBsFtENwmwW0SXJngygS3T3D7BMcIjiU4Hs1vsJapeeXRvIb+5Hxy+SUM/YLwm7jqY6Ii+0nKwRz1MS60UKSXID2SDHILVvgoO7Ql6WCUhvyoIrYPCJUh9w2OlkndqIdS5hMV58+ouCi/VnOiktiaVGyNZRVrtiZyGlVtR/lr6DNwd9pOEGsTK4pjfy1BFQiqkKBeyN0mBTlJ13APCvbOcDaHp0aYR7gr0Z5cEBfPsOzkiZVs7OYy2YeZ3M6j1Mqz6DSbhbtwD5Yx/mNYgXUc/xLmYMFb+AAflZxSVqqKGqLTU5HmNoxdyvF/IhiSRg==</latexit><latexit sha1_base64="PnBHKpcTUoEuzEcRLV+OijS07Uo=">AAAHp3ichZVLb9NAEMenLeBSHm3hgsSlIgqCS7QJSCBOLVCpVauSB0lTNVXlNZvWxC/ZTtIkyheAK4gDJ5A4ID4GF74Ah34ExLFIXDgwXjvKY6etrcS7M7//eGZ3vcs9ywxCxo6npmcuXLykzV6eu3L12vX5hcUblcBt+oYoG67l+lWuB8IyHVEOzdASVc8Xus0tsc0bzyL/dkv4gek6L8OOJ/Zs/cAx66ahh2gqvN5fSLEMk9eS2sgmjRQkV95dnFmDGrwCFwxogg0CHAixbYEOAd67kAUGHtr2oIc2H1um9Avowxxqm0gJJHS0NvD/AHu7idXBfhQzkGoD32Lhz0flEqTZT/aVnbAf7Bv7xf6dGqsnY0S5dPDJY63w9uff3Cr9PVdl4zOEw6HqDAVH+uyaQqjDY1mLibV50hJVacTxW90PJ6UnxXTvLvvMfmN9n9gx+44VOq0/xpeCKH7E6Gk53gIj1aCFTwNSOMY97A1y5ejrSWs/yWfIjytc2ffxNjHHQ1TrsudC+9QIR8S7jgiuQ3AdgusSXJfg2gTXJrg6wdUJrkFwDYJbIbgVglsnuHWC2yC4DYKrElyV4HYIbofgGMExhePJ/EZrmZpXnsxr7Ffnk8svYeAXhN/GVT8karKvUh7maI5xsYUiA4UMSDLKLVrho+zAptLRKA34UcXQ3idUltw3OFomdaMeSplXKs6fUnFJfq32RCVDq6rYHMtqqNmcyGlUtZXkb6DPwt1pSyFWJ1YUx/6qQhUJqqhQz+Vuk4KcpOu4B0V7Zzybg1MjziPelWhPLoqLZ1h28sRSG5VcJvsgkys8TC0/TU6zWbgNd+Aexn8Ey7CG41/GHAS8hXfwXruvvdAqWjVGp6cSzU0YuzT9P3Gjjr0=</latexit>j<latexit sha1_base64="lpcqcnLbERbmBH8f/i4+04dwJ4I=">AAAH73ichZXPTxNBFMcfoC7iD0AvJl4aGwwkpE6ricYTqEQIhJRWoITCZnedwtL95e7SUjb1D/Af4GBi1MQDMf4VXrwbDyT6BxiPmHjx4NvZbfpjX3E37c689/m+fW9mdkZ1DN3zGTsZGBw6d/6CNHxx5NLlK1dHx8avrXn2vqvxVc02bLekKh43dIuv+rpv8JLjcsVUDb6uVh+H/vUadz3dtp75DYdvmcqOpVd0TfHRJI89rct7qbKnm6mgrClGark5yaaxv2Mqcn07NzWdejlSk4O9arMfVdvO3ZmfksfSLMPElUo2snEjDfGVt8eH5qEMz8EGDfbBBA4W+Ng2QAEP703IAgMHbVsQoM3Fli78HJowgtp9pDgSClqr+L+Dvc3YamE/jOkJtYZvMfDnojIFE+wbO2an7Av7yH6yv31jBSJGmEsDn2qk5Y48+upG8c9/VSY+fdhtq85QqEifXZMPFXggatGxNkdYwiq1KH7t8Oi0+LAwEdxm79kvrO8dO2GfsUKr9lv7sMILrzH6hBhvjpHKUMOnBmkc4wB7rVxV9AXC2ozzafPdClv0Xbx1zHEX1Yro2VDvG+GAeNcBwTUIrkFwhwR3SHB1gqsTXIXgKgRXJbgqwc0S3CzBLRDcAsEtEtwiwZUIrkRwGwS3QXCM4FiCU+P5DdcyNa9qPK+RPzmfqvgSWn5O+E1c9W2iLPpJysEc9S4uslCklyA9kgxzC1d4J9uyJelwlFp8p6JtbxIqQ+wbKlp6dZ0eSplPVJzvU3FRfK1mTyVta1Kx1JVVW7PUk1OnajnOX0OfgbvTcoKY61lRKvbnElSBoAoJ6onYbdKQE3QF96Bw74xms3VqRHlEuxLtyYVx8QzL9p5YycZaLpO9m8mt3EvPPIpPs2G4CbdgEuPfhxmYx/FfxRw+wVf4Dj+kF9KR9EZ6G6GDA7HmOnRd0vE/612pGg==</latexit>

vjk ⇠ N (0,<latexit sha1_base64="TrCYO938AN9SldJ7ZwZrTCx2d5w=">AAAHrHichZXNbtNAEMenLZBSPtrCBYlLRRTEKdqkSCBOLVCpVasqTZo0VRJVtrtuTfwl20maRHkBTtwQcAKJA+IxuPACHPoIiGORuHBgvHbkJDspthLvzvz+45nd9a7qmoYfMHY+Mzt35eq11Pz1hRs3b91eXFq+U/GdlqfxsuaYjldVFZ+bhs3LgRGYvOp6XLFUkx+ozReh/6DNPd9w7P2g6/KGpZzYhm5oSoCmSl07dgL/aCnNskxcK3IjFzfSEF8FZ3luE+pwDA5o0AILONgQYNsEBXy8a5ADBi7aGtBHm4ctQ/g5DGABtS2kOBIKWpv4f4K9Wmy1sR/G9IVaw7eY+PNQuQIZ9oN9YRfsO/vKfrK/U2P1RYwwly4+1UjL3aPF1/dKf/6rsvAZwGmiukShIn15TQHo8FTUYmBtrrCEVWpR/Hbv7UXpWTHTf8g+sV9Y30d2zr5hhXb7t/Z5jxc/YPSMGG+OkerQxqcGaRzjPvaGuaro6wvrIM4n4ccVjuh7eBuY4ymqFdFzoDM1whnxrjOC6xJcl+B6BNcjuA7BdQhOJzid4JoE1yS4dYJbJ7gtgtsiuG2C2ya4KsFVCe6Q4A4JjhEckzg1nt9wLVPzqsbzGvnl+VTFlzD0c8Jv4apPiLroy5SLORpjXGShSF8ifZIMcwtX+Cg7tMl0OEpDflSR2AeEyhT7hoqWSd2oh1IWpIoLUyouia/VmqgkscqKnbGsEs3ORE6jqt04fw19Ju5OuxKxMbGiVOxvSFSRoIoS9VLsNmnIC1rHPSjcO6PZHJ4aUR7RrkR78mFcPMNykyeW3Kjks7nVbH7vcXrteXyazcN9eACPMP4TWINNHP8y5vAK3sA7eJ/KpvZTtVQjQmdnYs1dGLtS+j9AmZD+</latexit><latexit sha1_base64="VyogNH+mkG17LDChTI0pUzKy71c=">AAAHrHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJk2aKokq2123bvwl20maWHkBTtwQcAKJA+IxuPACHPoIiGORuHBgvHbkJJ4UW4l3Z37/8czueldxDN3zGTufmZ27cvWaNH994cbNW7cXl5bvVD277aq8otqG7dYU2eOGbvGKr/sGrzkul03F4PtK62Xo3+9w19Nta8/vObxpyseWrumq7KOp2jkMTluDw6UMyzFxraQb+biRgfgq2stzG9CAI7BBhTaYwMECH9sGyODhXYc8MHDQ1oQAbS62dOHnMIAF1LaR4kjIaG3h/zH26rHVwn4Y0xNqFd9i4M9F5Qpk2Q/2hV2w7+wr+8n+To0ViBhhLj18KpGWO4eLr++V//xXZeLTh5NEdYlCQfrymnzQ4JmoRcfaHGEJq1Sj+J3+24vy81I2eMg+sV9Y30d2zr5hhVbnt/p5l5c+YPSsGG+OkRrQwacKGRzjAHvDXBX0BcI6iPNJ+HGFLfou3jrmeIJqWfRs6E6NcEa864zgegTXI7g+wfUJrktwXYLTCE4juBbBtQhujeDWCG6T4DYJbovgtgiuRnA1gjsguAOCYwTHUpwSz2+4lql5VeJ5jfzp+VTElzD0c8Jv4qpPiIbopykHc9THuMhCkV6K9EgyzC1c4aPs0Jamw1Ea8qOKxD4gVIbYNxS0TOpGPZSymKq4OKXisvhazYlKEmtasT2WVaLZnshpVLUT56+iz8DdaSdFrE+sKAX76ymqRFClFPVK7DYZKAhawz0o3Duj2RyeGlEe0a5EewphXDzD8pMnVrpRLeTyj3OF3SeZ1RfxaTYP9+EBPML4T2EVNnD8K5jDKbyBd/Beykl7Ul1qRujsTKy5C2OXpP0DaweRJw==</latexit>k<latexit sha1_base64="i4PsFJxuscb3On436ezMeEzl0eo=">AAAHp3ichZXNbtNAEMenLeBSPtrCBYlLRRQEl2gTkECcWqBSq1YlHyRN1VSV12xaK45t2U7SJMoLwBXEgRNIHBCPwYUX4NBHQByLxIUD47UjJ9lJsZV4d+b3H8/srne5a5l+wNjpzOzchYuXtPnLC1euXru+uLR8o+I7Lc8QZcOxHK/KdV9Ypi3KgRlYoup6Qm9yS+zyxrPQv9sWnm869sug64qDpn5km3XT0AM0FRqHSymWYfJaURvZuJGC+Mo7y3MbUINX4IABLWiCABsCbFugg4/3PmSBgYu2A+ijzcOWKf0CBrCA2hZSAgkdrQ38P8Lefmy1sR/G9KXawLdY+PNQuQJp9oN9YWfsO/vKfrK/U2P1ZYwwly4+eaQV7uHi61ulP/9VNfEZwHGiOkfBkT6/pgDq8FjWYmJtrrSEVRpR/Hbv/VnpSTHdv8s+sV9Y30d2yr5hhXb7t/G5IIofMHpajrfASDVo49OAFI5xH3vDXDn6+tI6iPNJ+HGFI/se3ibmeIxqXfYc6EyNcEK864TgugTXJbgewfUIrkNwHYKrE1yd4BoE1yC4NYJbI7hNgtskuC2C2yK4KsFVCW6P4PYIjhEcUzgez2+4lql55fG8Rn51Prn8EoZ+QfibuOoToib7KuVijuYYF1ko0ldInyTD3MIVPsoObSodjtKQH1Uk9gGhsuS+wdEyqRv1UMq8UnF+SsUl+bU2JypJrKpieyyrRLM9kdOoaifO30CfhbvTjkKsT6wojv11hSoSVFGhnsvdJgU5SddxDwr3zmg2h6dGlEe0K9GeXBgXz7Ds5ImlNiq5TPZBJld4mFp9Gp9m83Ab7sA9jP8IVmEDx7+MOQh4A2/hnXZfe6FVtGqEzs7Empswdmn6P3jmjr4=</latexit>

xn<latexit sha1_base64="f8SHKOPxCgw9+pknyUjVbpReW2I=">AAAHq3ichZXNbtNAEMenLeBSPtrCBYlLRRTEhWgTkECcWqBSq1ZVmpA2pakir9m0Vhzbsp1v5QW4cATECSQOiMfgwgtw6CMgjkXiwoHx2pGT7KTYSrw78/uPZ3bXu9y1TD9g7HRmdu7CxUva/OWFK1evXV9cWr6x5ztNzxAlw7Ecr8x1X1imLUqBGVii7HpCb3BL7PP6s9C/3xKebzr2i6DriqOGfmybNdPQAzSVKq1O1a4upViGyWtFbWTjRgriK+8sz21ABV6BAwY0oQECbAiwbYEOPt6HkAUGLtqOoI82D1um9AsYwAJqm0gJJHS01vH/GHuHsdXGfhjTl2oD32Lhz0PlCqTZD/aFnbHv7Cv7yf5OjdWXMcJcuvjkkVa41cXXt4p//qtq4DOAk0R1joIjfX5NAdTgsazFxNpcaQmrNKL4rd7bs+KTQrp/l31iv7C+j+yUfcMK7dZv4/OuKHzA6Gk53gIjVaCFTwNSOMZ97A1z5ejrS+sgzifhxxWO7Ht4m5jjCap12XOgPTVCh3hXh+C6BNcluB7B9QiuTXBtgqsRXI3g6gRXJ7g1glsjuE2C2yS4LYLbIrgywZUJ7oDgDgiOERxTOB7Pb7iWqXnl8bxGfnU+ufwShn5B+Bu46hOiIvsq5WKO5hgXWSjSV0ifJMPcwhU+yg5tKh2O0pAfVST2AaGy5L7B0TKpG/VQyrxScX5KxUX5tTYmKkmsqmJ7LKtEsz2R06hqJ87fQJ+Fu9OOQqxPrCiO/XWFKhBUQaGey90mBTlJ13APCvfOaDaHp0aUR7Qr0Z5cGBfPsOzkiaU29nKZ7INMbvdhavVpfJrNw224A/cw/iNYhQ0c/xLmYMIbeAfvtftaUXupVSJ0dibW3ISxSxP/AExmkJI=</latexit>

xnk<latexit sha1_base64="6WHVIAH7ZCstTetqTAVqZsuoqmI=">AAAHrHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJk2aKokq26xbE3/Jdj6tvAAnbgg4gcQB8RhceAEOfQTEsUhcODBeO3IST4qtxLszv/94Zne9qziG7vmMnc3NL1y6fEVavLp07fqNm8srq7eqnt12VV5RbcN2a4rscUO3eMXXfYPXHJfLpmLwQ6X1PPQfdrjr6bZ14Pcd3jTlE0vXdFX20VTtHQdWa3i8kmE5Jq61dCMfNzIQX0V7dWELGvASbFChDSZwsMDHtgEyeHjXIQ8MHLQ1IUCbiy1d+DkMYQm1baQ4EjJaW/h/gr16bLWwH8b0hFrFtxj4c1G5Bln2g31h5+w7+8p+sr8zYwUiRphLH59KpOXO8fLrO+U//1WZ+PThNFFdoFCQvrgmHzR4ImrRsTZHWMIq1Sh+Z/D2vPy0lA3us0/sF9b3kZ2xb1ih1fmtft7npQ8YPSvGm2OkBnTwqUIGxzjA3ihXBX2BsA7jfBJ+UmGLvou3jjmeoloWPRu6MyP0iHf1CK5PcH2CGxDcgOC6BNclOI3gNIJrEVyL4DYIboPgtglum+B2CG6H4GoEVyO4I4I7IjhGcCzFKfH8hmuZmlclntfIn55PRXwJIz8n/Cau+oRoiH6acjBHfYKLLBTppUiPJMPcwhU+zo5saTocpRE/rkjsQ0JliH1DQcu0btxDKYupioszKi6Lr9WcqiSxphW7E1klmt2pnMZVe3H+KvoM3J32UsTm1IpSsL+ZokoEVUpRL8Ruk4GCoDXcg8K9M5rN0akR5RHtSrSnEMbFMyw/fWKlG9VCLv8wV9h/lFl/Fp9mi3AX7sEDjP8Y1mELx7+CObyCN/AO3ks56UCqS80InZ+LNbdh4pK0f5arkS0=</latexit>

2
v /H)

に従うとする89 / 130···vjk– ただし重み w, v はi.i.d.に2w ),hj (xn )<latexit sha1_base64="+snKFaxrKOt7Jurze6eJStKqFCY=">AAAHqXichZXNbtNAEMenLeBSPtrCBYlLRRSEhBRtAhKIUwtUatWqygdpU5oqst1NauIv2U7SJMoLIHGlB04gcUA8BhdegEMfAXEsEhcOjNeOnGQnxVbi3Znffzyzu97VXNPwA8bOZmbnLl2+osxfXbh2/cbNxaXlW7u+0/J0XtYd0/Eqmupz07B5OTACk1dcj6uWZvI9rfki9O+1uecbjv0q6Lr80FIbtlE3dDVAU6lTe1NbSrEME9eK3MjGjRTEV95ZntuAKhyBAzq0wAIONgTYNkEFH+8DyAIDF22H0Eebhy1D+DkMYAG1LaQ4Eipam/jfwN5BbLWxH8b0hVrHt5j481C5Amn2g31h5+w7+8p+sr9TY/VFjDCXLj61SMvd2uLbO6U//1VZ+AzgOFFdoNCQvrimAOrwVNRiYG2usIRV6lH8du/0vPSsmO7fZ5/YL6zvIztj37BCu/1b/1zgxQ8YPS3Gm2OkKrTxqUMKx7iPvWGuGvr6wjqI80n4cYUj+h7eBuZ4jGpV9BzoTI1wQrzrhOC6BNcluB7B9QiuQ3AdgqsTXJ3gmgTXJLg1glsjuE2C2yS4LYLbIrgKwVUIbp/g9gmOERyTOC2e33AtU/OqxfMa+eX51MSXMPRzwm/hqk+IqujLlIs5GmNcZKFIXyJ9kgxzC1f4KDu0yXQ4SkN+VJHYB4TKFPuGhpZJ3aiHUualivNTKi6Jr9WaqCSxyortsawSzfZETqOqnTh/HX0m7k47ErE+saI07K9LVJGgihL1Uuw2KcgJuo57ULh3RrM5PDWiPKJdifbkwrh4hmUnTyy5sZvLZB9lcoXHqdXn8Wk2D3fhHjzA+E9gFTZw/MuYQwPewXs4VR4qBaWivI7Q2ZlYcxvGLkX/B9qUj6c=</latexit><latexit sha1_base64="Ac9yLM6ntNDV5XzC/KEEhM/ExkM=">AAAIaHichZXLbtNAFIZPKNBgLk1hAYiN1ahVuyCaBBAVUqUWWqlVq6pNSZuq01q2O0lcXxLZzq2WX4AXYMEKJBaIl0Biwwuw6CMAyyKxYcHxJcrF02Ir8cw53398zsx4RmkYmuMScpa6Mnb12vXx9A3h5q3bdyYyk3d3nXrTVllJrRt1u6zIDjM0i5VczTVYuWEz2VQMtqforwL/XovZjla3XrvdBjs05aqlVTRVdtEkZb5Qg1Vc6glUYVXN8mTblru+Zxu+0JUscWZBpC7ruI7bNRh1TNmpedRpmpJ3spD3j1Z9sS2diDXpZJa2OpI1J1J6kGedQ4HWnIasMu8xyT1jHV/oI1RntoXmeWYOhxepo1VNeTaKry8Q/2hZbOGbdL8jeZbuzwmUWcdxigK1tWrNzUmZLMmR8BKTjXzcyEJ8bdUnx1aBwjHUQYUmmMDAAhfbBsjg4H0AeSDQQNsheGizsaWFfgY+CKhtIsWQkNGq438Vewex1cJ+ENMJ1Sq+xcCfjUoRpsl38omck2/kM/lB/l4YywtjBLl08alEWtaQJt482PnzX5WJTxdqfdUlCgXpy2tyoQLzYS0a1tYILUGVahS/dfr2fOdFcdqbIR/IL6zvPTkjX7FCq/Vb/bjNiu8w+nQ43gwjUWjhU4UsjrGHvV6uCvq80OrH+fT5YUU97Nt4a5hjDdVy2KtD+8IIHc67Ohyuy+G6HO6Uw51yuDaHa3O4CoercDidw+kcbonDLXG4NQ63xuHWOdw6hytzuDKH2+dw+xyOcDiS4JR4foO1zJtXJZ7XyJ+cTyX8Enp+xvGbuOr7BA37SaqBOWpDXGThkU6CdLhkkFuwwgfZni1JB6PU4wcVfbvPURnhvqGgZVQ36OEptxIVb11Q8U74tZojlfStScXGUFZ9zcZIToOqzTh/FX0G7k6bCWJlZEUp2F9JUEUOVUxQy+Fuk4VCSFdwDwr2zmg2e6dGlEe0K/E9hSAunmH50RMr2dgt5PJPcoXtp9nFl/FploZHMAWzGP85LMIqjn8J1NRMaiNVSu2O/0xn0vfTDyP0SirW3IOhKz31D7JM1AI=</latexit>

wj ⇠ N (0,<latexit sha1_base64="9LohLkALeohWoe9L6zCvtAqTdE0=">AAAHqXichZXNbtNAEMenLeBSPtrCBYlLRRSEhBRtAhKIUwtUatWqygdpU5oq8ppNasWxLdtJmkR5ASSu9MAJJA6Ix+DCC3DoIyCOReLCgfHakZPstNhKvDvz+49ndte73LVMP2DsdGZ27tLlK9r81YVr12/cXFxavrXrO23PEGXDsRyvwnVfWKYtyoEZWKLiekJvcUvs8eaL0L/XEZ5vOvaroOeKw5besM26aegBmkq9ml1bSrEMk9eK2sjGjRTEV95ZntuAKrwBBwxoQwsE2BBg2wIdfLwPIAsMXLQdwgBtHrZM6RcwhAXUtpESSOhobeJ/A3sHsdXGfhjTl2oD32Lhz0PlCqTZD/aFnbHv7Cv7yf6eG2sgY4S59PDJI61wa4tv75T+/FfVwmcAR4nqAgVH+uKaAqjDU1mLibW50hJWaUTxO/2Ts9KzYnpwn31iv7C+j+yUfcMK7c5v43NBFD9g9LQcb4GRqtDBpwEpHOMB9ka5cvQNpHUY55PwkwpH9j28TczxCNW67DnQPTfCMfGuY4LrEVyP4PoE1ye4LsF1Ca5OcHWCaxJck+DWCG6N4DYJbpPgtghui+AqBFchuH2C2yc4RnBM4Xg8v+FapuaVx/Ma+dX55PJLGPkF4W/hqk+IquyrlIs5mhNcZKFIXyF9kgxzC1f4ODuyqXQ4SiN+XJHYh4TKkvsGR8u0btxDKfNKxflzKi7Jr7U1VUliVRXbE1klmu2pnMZVO3H+Bvos3J12FGJ9akVx7K8rVJGgigr1Uu42KchJuo57ULh3RrM5OjWiPKJdifbkwrh4hmWnTyy1sZvLZB9lcoXHqdXn8Wk2D3fhHjzA+E9gFTZw/MuYQwPewXs40R5qBa2ivY7Q2ZlYcxsmLs34BwY5j60=</latexit>

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

ニューラルネットとガウス過程 (3)l このとき、yn の期待値は?

yn<latexit sha1_base64="9LohLkALeohWoe9L6zCvtAqTdE0=">AAAHqXichZXNbtNAEMenLeBSPtrCBYlLRRSEhBRtAhKIUwtUatWqygdpU5oq8ppNasWxLdtJmkR5ASSu9MAJJA6Ix+DCC3DoIyCOReLCgfHakZPstNhKvDvz+49ndte73LVMP2DsdGZ27tLlK9r81YVr12/cXFxavrXrO23PEGXDsRyvwnVfWKYtyoEZWKLiekJvcUvs8eaL0L/XEZ5vOvaroOeKw5besM26aegBmkq9ml1bSrEMk9eK2sjGjRTEV95ZntuAKrwBBwxoQwsE2BBg2wIdfLwPIAsMXLQdwgBtHrZM6RcwhAXUtpESSOhobeJ/A3sHsdXGfhjTl2oD32Lhz0PlCqTZD/aFnbHv7Cv7yf6eG2sgY4S59PDJI61wa4tv75T+/FfVwmcAR4nqAgVH+uKaAqjDU1mLibW50hJWaUTxO/2Ts9KzYnpwn31iv7C+j+yUfcMK7c5v43NBFD9g9LQcb4GRqtDBpwEpHOMB9ka5cvQNpHUY55PwkwpH9j28TczxCNW67DnQPTfCMfGuY4LrEVyP4PoE1ye4LsF1Ca5OcHWCaxJck+DWCG6N4DYJbpPgtghui+AqBFchuH2C2yc4RnBM4Xg8v+FapuaVx/Ma+dX55PJLGPkF4W/hqk+IquyrlIs5mhNcZKFIXyF9kgxzC1f4ODuyqXQ4SiN+XJHYh4TKkvsGR8u0btxDKfNKxflzKi7Jr7U1VUliVRXbE1klmu2pnMZVO3H+Bvos3J12FGJ9akVx7K8rVJGgigr1Uu42KchJuo57ULh3RrM5OjWiPKJdifbkwrh4hmWnTyy1sZvLZB9lcoXHqdXn8Wk2D3fhHjzA+E9gFTZw/MuYQwPewXs40R5qBa2ivY7Q2ZlYcxsmLs34BwY5j60=</latexit>

l まず、

wj

<latexit sha1_base64="9LohLkALeohWoe9L6zCvtAqTdE0=">AAAHqXichZXNbtNAEMenLeBSPtrCBYlLRRSEhBRtAhKIUwtUatWqygdpU5oq8ppNasWxLdtJmkR5ASSu9MAJJA6Ix+DCC3DoIyCOReLCgfHakZPstNhKvDvz+49ndte73LVMP2DsdGZ27tLlK9r81YVr12/cXFxavrXrO23PEGXDsRyvwnVfWKYtyoEZWKLiekJvcUvs8eaL0L/XEZ5vOvaroOeKw5besM26aegBmkq9ml1bSrEMk9eK2sjGjRTEV95ZntuAKrwBBwxoQwsE2BBg2wIdfLwPIAsMXLQdwgBtHrZM6RcwhAXUtpESSOhobeJ/A3sHsdXGfhjTl2oD32Lhz0PlCqTZD/aFnbHv7Cv7yf6eG2sgY4S59PDJI61wa4tv75T+/FfVwmcAR4nqAgVH+uKaAqjDU1mLibW50hJWaUTxO/2Ts9KzYnpwn31iv7C+j+yUfcMK7c5v43NBFD9g9LQcb4GRqtDBpwEpHOMB9ka5cvQNpHUY55PwkwpH9j28TczxCNW67DnQPTfCMfGuY4LrEVyP4PoE1ye4LsF1Ca5OcHWCaxJck+DWCG6N4DYJbpPgtghui+AqBFchuH2C2yc4RnBM4Xg8v+FapuaVx/Ma+dX55PJLGPkF4W/hqk+IquyrlIs5mhNcZKFIXyF9kgxzC1f4ODuyqXQ4SiN+XJHYh4TKkvsGR8u0btxDKfNKxflzKi7Jr7U1VUliVRXbE1klmu2pnMZVO3H+Bvos3J12FGJ9akVx7K8rVJGgigr1Uu42KchJuo57ULh3RrM5OjWiPKJdifbkwrh4hmWnTyy1sZvLZB9lcoXHqdXn8Wk2D3fhHjzA+E9gFTZw/MuYQwPewXs40R5qBa2ivY7Q2ZlYcxsmLs34BwY5j60=</latexit>

hj (xn )<latexit sha1_base64="+snKFaxrKOt7Jurze6eJStKqFCY=">AAAHqXichZXNbtNAEMenLeBSPtrCBYlLRRSEhBRtAhKIUwtUatWqygdpU5oqst1NauIv2U7SJMoLIHGlB04gcUA8BhdegEMfAXEsEhcOjNeOnGQnxVbi3Znffzyzu97VXNPwA8bOZmbnLl2+osxfXbh2/cbNxaXlW7u+0/J0XtYd0/Eqmupz07B5OTACk1dcj6uWZvI9rfki9O+1uecbjv0q6Lr80FIbtlE3dDVAU6lTe1NbSrEME9eK3MjGjRTEV95ZntuAKhyBAzq0wAIONgTYNkEFH+8DyAIDF22H0Eebhy1D+DkMYAG1LaQ4Eipam/jfwN5BbLWxH8b0hVrHt5j481C5Amn2g31h5+w7+8p+sr9TY/VFjDCXLj61SMvd2uLbO6U//1VZ+AzgOFFdoNCQvrimAOrwVNRiYG2usIRV6lH8du/0vPSsmO7fZ5/YL6zvIztj37BCu/1b/1zgxQ8YPS3Gm2OkKrTxqUMKx7iPvWGuGvr6wjqI80n4cYUj+h7eBuZ4jGpV9BzoTI1wQrzrhOC6BNcluB7B9QiuQ3AdgqsTXJ3gmgTXJLg1glsjuE2C2yS4LYLbIrgKwVUIbp/g9gmOERyTOC2e33AtU/OqxfMa+eX51MSXMPRzwm/hqk+IqujLlIs5GmNcZKFIXyJ9kgxzC1f4KDu0yXQ4SkN+VJHYB4TKFPuGhpZJ3aiHUualivNTKi6Jr9WaqCSxyortsawSzfZETqOqnTh/HX0m7k47ErE+saI07K9LVJGgihL1Uuw2KcgJuo57ULh3RrM5PDWiPKJdifbkwrh4hmUnTyy5sZvLZB9lcoXHqdXn8Wk2D3fhHjzA+E9gFTZw/MuYQwPewXs4VR4qBaWivI7Q2ZlYcxvGLkX/B9qUj6c=</latexit>E[hj (xn )] = E[ (<latexit sha1_base64="g6Sz+u8OMtQNHkNo4gWo0ktj8wI=">AAAH5XichZXPT9RAFMcfoC7iD0AvJl6IGwxcyOxqojEhAWUTCITAIrBkuzZtnV1Kf6btLrs0+w+YeDN68GDUeDD+GV70qvHAn2A8YuLFg6/TbvZHH9hmtzPvfb6v781MZ1TX1P2AseOh4ZFz5y9kRi+OXbp85er4xOS1Hd+pexrf1hzT8Uqq4nNTt/l2oAcmL7keVyzV5Luq8Sjy7za45+uO/ThoubxiKTVbr+qaEqBJnpiXAt4M/KBl8rFCeV8+mJEaTdmercwXypKv1yxlRvLrlhwa86z9ZGmqIYcHRrsph7bRnq3IE1k2x8Q1lW7kkkYWkmvDmRxZBgmeggMa1MECDjYE2DZBAR/vMuSAgYu2CoRo87ClCz+HNoyhto4UR0JBq4H/NeyVE6uN/SimL9QavsXEn4fKKZhmP9hHdsK+sE/sJ/t7aqxQxIhyaeFTjbXclcef3dj681+Vhc8A9ruqMxQq0mfXFEAV7otadKzNFZaoSi2O3zh6dbL1oDgd3mbv2C+s7y07Zp+xQrvxW/uwyYuvMfq0GG+OkSRo4FODLI5xiL1Orir6QmFtJ/l0+X6FI/oe3jrmuI9qRfQcODw1QpN4V5PgWgTXIrgjgjsiuEOCOyS4KsFVCc4gOIPgFglukeBWCG6F4FYJbpXgSgRXIrg9gtsjOEZwLMWpyfxGa5maVzWZ19ifnk9VfAkdPyf8Fq76LiGJfppyMUe9j4stFOmnSJ8ko9yiFd7LdmxpOhqlDt+r6NrbhMoU+4aKlkFdr4dSbqQq3jil4i3xtVoDlXStacVaX1ZdzdpATr2q9SR/DX0m7k7rKaIwsKJU7BdSVJGgiilqSew2WcgLuop7ULR3xrPZOTXiPOJdifbko7h4huUGT6x0Yyc/l7szl9+8m114mJxmo3ATbsEMxr8HC7CM47+NObyHr/ANvmdqmeeZF5mXMTo8lGiuQ9+VefMPM/Cnsg==</latexit>PD

k=0 vjk xnk )]は j に関わらず同じ分布l よって、中心極限定理よりPH
yn = j=1 wj hj (xn )<latexit sha1_base64="kpe6Pp4O3i1aSHEgMdygeITsvoU=">AAAH1HichZVLb9NAEMenLZBSHk3hgsTFIioqEqo2AQmEVKkFKrVqVaUpbVM1rWWbTePEL9nOqyYnxIUDBy4cOIHEAfEFuAIXvgCHfgTEsUhcODBeO8rD02Ir8e7M7z+e2V3vqo6hez5jRyOjY2fOnkuNn5+4cPHS5cn01JUtz667Gt/UbMN2i6ricUO3+Kav+wYvOi5XTNXg22rtUejfbnDX023rid92+J6pHFh6WdcUH01y+nbJ5y3f89sGn2jLljQnlby6KQfVuWxnf0lqylWpIldnSo2WbN2S0xk2y8QlJRvZuJGB+MrbU2NLUIKnYIMGdTCBgwU+tg1QwMN7F7LAwEHbHgRoc7GlCz+HDkygto4UR0JBaw3/D7C3G1st7IcxPaHW8C0G/lxUSjDNfrCP7Jh9Z5/YT/b3xFiBiBHm0sanGmm5I0++vLbx578qE58+VHqqUxQq0qfX5EMZ7otadKzNEZawSi2K3zh8c7zxoDAd3GTv2S+s7x07Yt+wQqvxW/uwzgtvMfq0GG+OkUrQwKcGGRzjAHvdXFX0BcLaifPp8YMKW/RdvHXMsYJqRfRsaJ4YoUW8q0VwbYJrE9whwR0SXJPgmgRXJrgywdUIrkZwCwS3QHDLBLdMcCsEt0JwRYIrEtwOwe0QHCM4luDUeH7DtUzNqxrPa+RPzqcqvoSunxN+E1d9jyiJfpJyMEd9gIssFOklSI8kw9zCFd7Pdm1JOhylLt+v6Nk7hMoQ+4aKlmFdv4dS5hMV50+oeEN8reZQJT1rUrE6kFVPszqUU79qLc5fQ5+Bu9NaglgcWlEq9hcTVIGgCgnqsdhtMpATdBn3oHDvjGaze2pEeUS7Eu3JhXHxDMsOn1jJxlZuNntnNrd+NzP/MD7NxuE63IAZjH8P5mEJx38Tc3gNn+ELfE1tpZ6lnqdeROjoSKy5CgNX6tU/gw6f8A==</latexit><latexit sha1_base64="/xaxpPWeaydpO9+ZwBc5wsGVf0U=">AAAHsHichZXNbtNAEMenLeBSPtrCBYlLRRRULtEmIIE4tUClVq2qNCFtSlNFXrNp3PhLtvOtvABnJA4IJJA4IB6DCy/AoY+AOBaJCwfGa0dO4mlrK/HuzO8/ntld73LH0D2fsZOp6ZlLl68os1fnrl2/cXN+YfHWrmc3XU2UNNuw3TJXPWHolij5um+IsuMK1eSG2OON54F/ryVcT7etl37XEYememTpNV1TfTS9qlePlyutTtV6UF1IsQyT11KykY0aKYiuvL04sw4VeA02aNAEEwRY4GPbABU8vA8gCwwctB1CH20utnTpFzCAOdQ2kRJIqGht4P8R9g4iq4X9IKYn1Rq+xcCfi8olSLOf7Cs7ZT/YN/aL/TszVl/GCHLp4pOHWuFU59/cKf69UGXi04d6rDpHwZE+vyYfavBE1qJjbY60BFVqYfxW791p8Wkh3b/PPrPfWN8ndsK+Y4VW64/2ZUcU3mP0tBxvgZEq0MKnBikc4z72hrly9PWldRDlE/PjClv2Xbx1zLGOalX2bGifGaFDvKtDcF2C6xJcj+B6BNcmuDbB1QiuRnANgmsQ3CrBrRLcBsFtENwmwW0SXJngygS3T3D7BMcIjiU4Hs1vsJapeeXRvIb+5Hxy+SUM/YLwm7jqY6Ii+0nKwRz1MS60UKSXID2SDHILVvgoO7Ql6WCUhvyoIrYPCJUh9w2OlkndqIdS5hMV58+ouCi/VnOiktiaVGyNZRVrtiZyGlVtR/lr6DNwd9pOEGsTK4pjfy1BFQiqkKBeyN0mBTlJ13APCvbOcDaHp0aYR7gr0Z5cEBfPsOzkiZVs7OYy2YeZ3M6j1Mqz6DSbhbtwD5Yx/mNYgXUc/xLmYMFb+AAflZxSVqqKGqLTU5HmNoxdyvF/IhiSRg==</latexit><latexit sha1_base64="PnBHKpcTUoEuzEcRLV+OijS07Uo=">AAAHp3ichZVLb9NAEMenLeBSHm3hgsSlIgqCS7QJSCBOLVCpVauSB0lTNVXlNZvWxC/ZTtIkyheAK4gDJ5A4ID4GF74Ah34ExLFIXDgwXjvKY6etrcS7M7//eGZ3vcs9ywxCxo6npmcuXLykzV6eu3L12vX5hcUblcBt+oYoG67l+lWuB8IyHVEOzdASVc8Xus0tsc0bzyL/dkv4gek6L8OOJ/Zs/cAx66ahh2gqvN5fSLEMk9eS2sgmjRQkV95dnFmDGrwCFwxogg0CHAixbYEOAd67kAUGHtr2oIc2H1um9Avowxxqm0gJJHS0NvD/AHu7idXBfhQzkGoD32Lhz0flEqTZT/aVnbAf7Bv7xf6dGqsnY0S5dPDJY63w9uff3Cr9PVdl4zOEw6HqDAVH+uyaQqjDY1mLibV50hJVacTxW90PJ6UnxXTvLvvMfmN9n9gx+44VOq0/xpeCKH7E6Gk53gIj1aCFTwNSOMY97A1y5ejrSWs/yWfIjytc2ffxNjHHQ1TrsudC+9QIR8S7jgiuQ3AdgusSXJfg2gTXJrg6wdUJrkFwDYJbIbgVglsnuHWC2yC4DYKrElyV4HYIbofgGMExhePJ/EZrmZpXnsxr7Ffnk8svYeAXhN/GVT8karKvUh7maI5xsYUiA4UMSDLKLVrho+zAptLRKA34UcXQ3idUltw3OFomdaMeSplXKs6fUnFJfq32RCVDq6rYHMtqqNmcyGlUtZXkb6DPwt1pSyFWJ1YUx/6qQhUJqqhQz+Vuk4KcpOu4B0V7Zzybg1MjziPelWhPLoqLZ1h28sRSG5VcJvsgkys8TC0/TU6zWbgNd+Aexn8Ey7CG41/GHAS8hXfwXruvvdAqWjVGp6cSzU0YuzT9P3Gjjr0=</latexit>j···<latexit sha1_base64="TrCYO938AN9SldJ7ZwZrTCx2d5w=">AAAHrHichZXNbtNAEMenLZBSPtrCBYlLRRTEKdqkSCBOLVCpVasqTZo0VRJVtrtuTfwl20maRHkBTtwQcAKJA+IxuPACHPoIiGORuHBgvHbkJDspthLvzvz+45nd9a7qmoYfMHY+Mzt35eq11Pz1hRs3b91eXFq+U/GdlqfxsuaYjldVFZ+bhs3LgRGYvOp6XLFUkx+ozReh/6DNPd9w7P2g6/KGpZzYhm5oSoCmSl07dgL/aCnNskxcK3IjFzfSEF8FZ3luE+pwDA5o0AILONgQYNsEBXy8a5ADBi7aGtBHm4ctQ/g5DGABtS2kOBIKWpv4f4K9Wmy1sR/G9IVaw7eY+PNQuQIZ9oN9YRfsO/vKfrK/U2P1RYwwly4+1UjL3aPF1/dKf/6rsvAZwGmiukShIn15TQHo8FTUYmBtrrCEVWpR/Hbv7UXpWTHTf8g+sV9Y30d2zr5hhXb7t/Z5jxc/YPSMGG+OkerQxqcGaRzjPvaGuaro6wvrIM4n4ccVjuh7eBuY4ymqFdFzoDM1whnxrjOC6xJcl+B6BNcjuA7BdQhOJzid4JoE1yS4dYJbJ7gtgtsiuG2C2ya4KsFVCe6Q4A4JjhEckzg1nt9wLVPzqsbzGvnl+VTFlzD0c8Jv4apPiLroy5SLORpjXGShSF8ifZIMcwtX+Cg7tMl0OEpDflSR2AeEyhT7hoqWSd2oh1IWpIoLUyouia/VmqgkscqKnbGsEs3ORE6jqt04fw19Ju5OuxKxMbGiVOxvSFSRoIoS9VLsNmnIC1rHPSjcO6PZHJ4aUR7RrkR78mFcPMNykyeW3Kjks7nVbH7vcXrteXyazcN9eACPMP4TWINNHP8y5vAK3sA7eJ/KpvZTtVQjQmdnYs1dGLtS+j9AmZD+</latexit>

vjk<latexit sha1_base64="VyogNH+mkG17LDChTI0pUzKy71c=">AAAHrHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJk2aKokq2123bvwl20maWHkBTtwQcAKJA+IxuPACHPoIiGORuHBgvHbkJJ4UW4l3Z37/8czueldxDN3zGTufmZ27cvWaNH994cbNW7cXl5bvVD277aq8otqG7dYU2eOGbvGKr/sGrzkul03F4PtK62Xo3+9w19Nta8/vObxpyseWrumq7KOp2jkMTluDw6UMyzFxraQb+biRgfgq2stzG9CAI7BBhTaYwMECH9sGyODhXYc8MHDQ1oQAbS62dOHnMIAF1LaR4kjIaG3h/zH26rHVwn4Y0xNqFd9i4M9F5Qpk2Q/2hV2w7+wr+8n+To0ViBhhLj18KpGWO4eLr++V//xXZeLTh5NEdYlCQfrymnzQ4JmoRcfaHGEJq1Sj+J3+24vy81I2eMg+sV9Y30d2zr5hhVbnt/p5l5c+YPSsGG+OkRrQwacKGRzjAHvDXBX0BcI6iPNJ+HGFLfou3jrmeIJqWfRs6E6NcEa864zgegTXI7g+wfUJrktwXYLTCE4juBbBtQhujeDWCG6T4DYJbovgtgiuRnA1gjsguAOCYwTHUpwSz2+4lql5VeJ5jfzp+VTElzD0c8Jv4qpPiIbopykHc9THuMhCkV6K9EgyzC1c4aPs0Jamw1Ea8qOKxD4gVIbYNxS0TOpGPZSymKq4OKXisvhazYlKEmtasT2WVaLZnshpVLUT56+iz8DdaSdFrE+sKAX76ymqRFClFPVK7DYZKAhawz0o3Duj2RyeGlEe0a5EewphXDzD8pMnVrpRLeTyj3OF3SeZ1RfxaTYP9+EBPML4T2EVNnD8K5jDKbyBd/Beykl7Ul1qRujsTKy5C2OXpP0DaweRJw==</latexit>k<latexit sha1_base64="i4PsFJxuscb3On436ezMeEzl0eo=">AAAHp3ichZXNbtNAEMenLeBSPtrCBYlLRRQEl2gTkECcWqBSq1YlHyRN1VSV12xaK45t2U7SJMoLwBXEgRNIHBCPwYUX4NBHQByLxIUD47UjJ9lJsZV4d+b3H8/srne5a5l+wNjpzOzchYuXtPnLC1euXru+uLR8o+I7Lc8QZcOxHK/KdV9Ypi3KgRlYoup6Qm9yS+zyxrPQv9sWnm869sug64qDpn5km3XT0AM0FRqHSymWYfJaURvZuJGC+Mo7y3MbUINX4IABLWiCABsCbFugg4/3PmSBgYu2A+ijzcOWKf0CBrCA2hZSAgkdrQ38P8Lefmy1sR/G9KXawLdY+PNQuQJp9oN9YWfsO/vKfrK/U2P1ZYwwly4+eaQV7uHi61ulP/9VNfEZwHGiOkfBkT6/pgDq8FjWYmJtrrSEVRpR/Hbv/VnpSTHdv8s+sV9Y30d2yr5hhXb7t/G5IIofMHpajrfASDVo49OAFI5xH3vDXDn6+tI6iPNJ+HGFI/se3ibmeIxqXfYc6EyNcEK864TgugTXJbgewfUIrkNwHYKrE1yd4BoE1yC4NYJbI7hNgtskuC2C2yK4KsFVCW6P4PYIjhEcUzgez2+4lql55fG8Rn51Prn8EoZ+QfibuOoToib7KuVijuYYF1ko0ldInyTD3MIVPsoObSodjtKQH1Uk9gGhsuS+wdEyqRv1UMq8UnF+SsUl+bU2JypJrKpieyyrRLM9kdOoaifO30CfhbvTjkKsT6wojv11hSoSVFGhnsvdJgU5SddxDwr3zmg2h6dGlEe0K9GeXBgXz7Ds5ImlNiq5TPZBJld4mFp9Gp9m83Ab7sA9jP8IVmEDx7+MOQh4A2/hnXZfe6FVtGqEzs7Empswdmn6P3jmjr4=</latexit>

xn<latexit sha1_base64="f8SHKOPxCgw9+pknyUjVbpReW2I=">AAAHq3ichZXNbtNAEMenLeBSPtrCBYlLRRTEhWgTkECcWqBSq1ZVmpA2pakir9m0Vhzbsp1v5QW4cATECSQOiMfgwgtw6CMgjkXiwoHx2pGT7KTYSrw78/uPZ3bXu9y1TD9g7HRmdu7CxUva/OWFK1evXV9cWr6x5ztNzxAlw7Ecr8x1X1imLUqBGVii7HpCb3BL7PP6s9C/3xKebzr2i6DriqOGfmybNdPQAzSVKq1O1a4upViGyWtFbWTjRgriK+8sz21ABV6BAwY0oQECbAiwbYEOPt6HkAUGLtqOoI82D1um9AsYwAJqm0gJJHS01vH/GHuHsdXGfhjTl2oD32Lhz0PlCqTZD/aFnbHv7Cv7yf5OjdWXMcJcuvjkkVa41cXXt4p//qtq4DOAk0R1joIjfX5NAdTgsazFxNpcaQmrNKL4rd7bs+KTQrp/l31iv7C+j+yUfcMK7dZv4/OuKHzA6Gk53gIjVaCFTwNSOMZ97A1z5ejrS+sgzifhxxWO7Ht4m5jjCap12XOgPTVCh3hXh+C6BNcluB7B9QiuTXBtgqsRXI3g6gRXJ7g1glsjuE2C2yS4LYLbIrgywZUJ7oDgDgiOERxTOB7Pb7iWqXnl8bxGfnU+ufwShn5B+Bu46hOiIvsq5WKO5hgXWSjSV0ifJMPcwhU+yg5tKh2O0pAfVST2AaGy5L7B0TKpG/VQyrxScX5KxUX5tTYmKkmsqmJ7LKtEsz2R06hqJ87fQJ+Fu9OOQqxPrCiO/XWFKhBUQaGey90mBTlJ13APCvfOaDaHp0aUR7Qr0Z5cGBfPsOzkiaU29nKZ7INMbvdhavVpfJrNw224A/cw/iNYhQ0c/xLmYMIbeAfvtftaUXupVSJ0dibW3ISxSxP/AExmkJI=</latexit>

xnk<latexit sha1_base64="6WHVIAH7ZCstTetqTAVqZsuoqmI=">AAAHrHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJk2aKokq26xbE3/Jdj6tvAAnbgg4gcQB8RhceAEOfQTEsUhcODBeO3IST4qtxLszv/94Zne9qziG7vmMnc3NL1y6fEVavLp07fqNm8srq7eqnt12VV5RbcN2a4rscUO3eMXXfYPXHJfLpmLwQ6X1PPQfdrjr6bZ14Pcd3jTlE0vXdFX20VTtHQdWa3i8kmE5Jq61dCMfNzIQX0V7dWELGvASbFChDSZwsMDHtgEyeHjXIQ8MHLQ1IUCbiy1d+DkMYQm1baQ4EjJaW/h/gr16bLWwH8b0hFrFtxj4c1G5Bln2g31h5+w7+8p+sr8zYwUiRphLH59KpOXO8fLrO+U//1WZ+PThNFFdoFCQvrgmHzR4ImrRsTZHWMIq1Sh+Z/D2vPy0lA3us0/sF9b3kZ2xb1ih1fmtft7npQ8YPSvGm2OkBnTwqUIGxzjA3ihXBX2BsA7jfBJ+UmGLvou3jjmeoloWPRu6MyP0iHf1CK5PcH2CGxDcgOC6BNclOI3gNIJrEVyL4DYIboPgtglum+B2CG6H4GoEVyO4I4I7IjhGcCzFKfH8hmuZmlclntfIn55PRXwJIz8n/Cau+oRoiH6acjBHfYKLLBTppUiPJMPcwhU+zo5saTocpRE/rkjsQ0JliH1DQcu0btxDKYupioszKi6Lr9WcqiSxphW7E1klmt2pnMZVe3H+KvoM3J32UsTm1IpSsL+ZokoEVUpRL8Ruk4GCoDXcg8K9M5rN0akR5RHtSrSnEMbFMyw/fWKlG9VCLv8wV9h/lFl/Fp9mi3AX7sEDjP8Y1mELx7+CObyCN/AO3ks56UCqS80InZ+LNbdh4pK0f5arkS0=</latexit>

は、H ! 1 で平均0のガウス分布に収束
l 共分散 V [yn ym ] = E[yn ym ] の計算も同様
à y = (y1 , y2 , . . . , yN ) は多変量ガウス分布に収束<latexit sha1_base64="VIxxuRi7NT2e/bvUPasnJ4hXpwo=">AAAHuHichZXNbtNAEMenLeBSPprCBYlLShTEKdoEJFBPLVApVasqTUibqq6CbdapFX/JdpImUV6AF+AAF5CKhHgMLrwAhz4C4lgkLhwYrx3lw5NiK/HuzO8/ntld76quafgBY+dz8wtXrl6TFq8v3bh56/ZyauXOvu+0PI1XNcd0vJqq+Nw0bF4NjMDkNdfjiqWa/EBtvgj9B23u+YZjvwq6Lj+2lIZt6IamBGiqp1LFtLwqB468mpYNWw+69VSG5Zi40slGPm5kIL5KzspCEWR4Aw5o0AILONgQYNsEBXy8jyAPDFy0HUMfbR62DOHnMIAl1LaQ4kgoaG3ifwN7R7HVxn4Y0xdqDd9i4s9DZRqy7Af7wi7Yd/aV/WR/Z8bqixhhLl18qpGWu/Xlt/cqf/6rsvAZwMlIdYlCRfrymgLQ4ZmoxcDaXGEJq9Si+O3eu4vKWjnbf8g+sV9Y30d2zr5hhXb7t3a2x8vvMXpWjDfHSDK08alBBse4j71hrir6+sI6iPMZ8ZMKR/Q9vA3M8QTViug50JkZ4ZR41ynBdQmuS3A9gusRXIfgOgSnE5xOcE2CaxLcBsFtENwWwW0R3DbBbRNcjeBqBHdIcIcExwiOJTg1nt9wLVPzqsbzGvmT86mKL2Ho54TfwlU/ImTRT1Iu5mhMcJGFIv0E6ZNkmFu4wsfZoS1Jh6M05McVI/uAUJli31DRMq0b91DKUqLi0oyKK+JrtaYqGVmTip2JrEaanamcxlW7cf4a+kzcnXYTxObUilKxv5mgygRVTlAvxW6TgYKgddyDwr0zms3hqRHlEe1KtKcQxsUzLD99YiUb+4Vc/nGusPcks/48Ps0W4T48gEcY/ymsQxHHv4o5tOEDnMFnaU16LTUkI0Ln52LNXZi4JO8fkiuUYQ==</latexit><latexit sha1_base64="SeDyNf2bCmx4VxiOUrmq7REqnyw=">AAAHwXichZXNbtNAEMenLeBSPprCBcQlJQriVG0CEggJqaVEatWqShOSpkqiyDab1oq/ZDtJkyjizgtw4ARSDwgJHoILL8Chj4A4FokLB8ZrR07iSbGVeHfm9x/P7K53FVvXXI+xs7n5hUuXr0iLV5euXb9xczmxcqvsWm1H5SXV0i2nosgu1zWTlzzN03nFdrhsKDo/UFqbvv+gwx1Xs8xXXs/mdUM+MrWmpsoemhqJu+Vqr2H2GkY9WVt9XltN5kb9RiLF1pi4kvFGJmykILzy1srCFtTgNVigQhsM4GCCh20dZHDxrkIGGNhoq8MAbQ62NOHnMIQl1LaR4kjIaG3h/xH2qqHVxL4f0xVqFd+i489BZRLS7Af7xM7Zd/aZ/WR/Z8YaiBh+Lj18KoGW243lt3eKf/6rMvDpwXGkukChIH1xTR404amoRcPabGHxq1SD+J3+u/Pis0J68IB9ZL+wvg/sjH3DCs3Ob/V0nxfeY/S0GG+OkWrQwacKKRzjAfZGuSroGwjrMMwn4icVlug7eGuY4zGqZdGzoDszwgnxrhOC6xFcj+D6BNcnuC7BdQmuSXBNgmsRXIvgNghug+C2CW6b4HYIbofgKgRXIbhDgjskOEZwLMYp4fz6a5maVyWc18Afn09FfAkjPyf8Bq76iKiJfpyyMUdtggssFOnGSJck/dz8FT7Ojmxx2h+lET+uiOxDQqWLfUNBy7Ru3EMp87GK8zMqLoqv1ZiqJLLGFbsTWUWa3amcxlV7Yf4q+nTcnfZiRG5qRSnYz8WoAkEVYtRLsdukICvoJu5B/t4ZzObo1AjyCHYl2pP14+IZlpk+seKNcnYt82gtu/84tf4iPM0W4R7ch4cY/wmswxaOfwlzeAOn8AW+SpuSJtmSE6Dzc6HmNkxc0uAfbyeYDA==</latexit><latexit sha1_base64="nQdqgGOpJhxyqpUxBGi90Ss49bM=">AAAHw3ichZXNbtNAEMenLeBSPprCBamXliioSFW0CUggJKQWiNSqVZQmpE1VV5HtblordmzZTlInyoErL8CBE0gIIS7wDFx4AQ59BMSxSFw4MF47yocnxVbi3Znffzyzu95VbUN3PcbOpqZnLl2+Is1enbt2/cbN+cTCrV3XajoaL2uWYTkVVXG5oTd42dM9g1dshyumavA9tf488O+1uOPqVuOl59v80FSOG3pN1xQPTdXEotzy5eWn8vKKX82s+tXsqnxkeS628veriSRLM3EtxRuZqJGE6CpYCzMbIMMRWKBBE0zg0AAP2wYo4OJ9ABlgYKPtELpoc7ClCz+HHsyhtokUR0JBax3/j7F3EFkb2A9iukKt4VsM/DmoXIIU+8E+sXP2nX1mP9nfibG6IkaQi49PNdRyuzr/+k7pz39VJj49OBmoLlCoSF9ckwc1eCxq0bE2W1iCKrUwfqvz5rz0pJjq3mPv2S+s7x07Y9+wwkbrt/ZhhxffYvSUGG+OkWRo4VODJI5xF3v9XFX0dYW1F+Uz4EcVlug7eOuY4wmqFdGzoD0xwinxrlOC8wnOJ7gOwXUIrk1wbYKrEVyN4OoEVye4dYJbJ7hNgtskuC2C2yK4CsFVCG6f4PYJjhEci3FqNL/BWqbmVY3mNfTH51MVX0Lfzwm/iat+QMiiH6dszFEf4UILRbox0iXJILdghQ+zfVucDkapzw8rBvYeoTLEvqGiZVw37KGUhVjFhQkVl8TXao5VMrDGFdsjWQ0022M5DavyUf4a+gzcnfIxIje2olTs52JUkaCKMeqF2G2SkBV0DfegYO8MZ7N/aoR5hLsS7ckGcfEMy4yfWPHGbjadeZDO7jxMrj2LTrNZWIS7sILxH8EabOD4lzGHV/ARvsBXKSfVJUfyQnR6KtLchpFL6v0DM5WYLg==</latexit>– 詳しい計算は、Neal (1996)を参照のこと
90 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

ニューラルネットとガウス過程 (4)l 事前分布からランダムに生成したニューラルネット

について、入力 (x1 , x2 ) = ( 0.2, 0.4) に対する出力(y1 , y2 ) をプロット
y2 15
y2 15
<latexit sha1_base64="4g1wu9DOVIOn3QUzfGN31a/Unzw=">AAAHfHichZXNbtNAEMenLTSlfDSFSyUuLaFVKtpoYypASEgtUImqVZUmpE3VVJHtboIVx7ZsJ82HwgPwAhw4geCAELwEF16AQx8BcSwSF4QYrx05iafFUbK7M7//ZGZ3vatYuua4jJ2MjI5duDgem7g0efnK1WtT8enru45Zt1WeV03dtAuK7HBdM3je1VydFyybyzVF53tK9Ynn32tw29FM47nbsvhhTa4YWllTZRdNpfhMsllKLzVL0mJx7lFxLrnMUtISS60sluIJlmLimY120kEnAcGTMafHFqAIR2CCCnWoAQcDXOzrIIODnwNIAwMLbYfQQZuNPU34OXRhErV1pDgSMlqr+FvB0UFgNXDsxXSEWsV/0fFro3IW5tl39pGdsm/sE/vB/pwZqyNieLm0sFV8LbdKU69mcr//q6ph68KLUHWOQkH6/JpcKMMDUYuGtVnC4lWp+vEb7denuYfZ+c4Ce8d+Yn1v2Qn7ihUajV/qhx2efSOiH6GmjG0DWxUSOMMdHPUyVdDXEdZukE3INwmySXAtgmsRXJvg2gR3THDHBFcmuDLBVQmuSnBrBLdGcBsEt0FwmwS3SXAFgisQ3D7B7RMcIzgW4ZRgfb19SK2rEqyr74+upyJ2cc/PCX8Nd2xIFMU4SlmYozbA+RaKdCKkQ5Jebi7W38/2bFHam6Ue368I7V1CpYt3XkHLsK7fQykzkYozZ1ScQ2tFrGQ/HVqjiq2BrELN1lBO/artIH8VfTqeLNsRYn1oRyk4Xo9QWYLKRqin4rRJgCToMp7P3rnnr2bvxPfz8E8l2iN5cfH+SQ/fNtHOrpRK301JOyuJ1cfBTTQBN+EWJDH+fViFZzj/eczhJbyHz/Bl/G/sduxObNlHR0cCzQ0YeGL3/gHBFYfB</latexit><latexit sha1_base64="63X19ZaHK9udL9Vd/RPcT+N6Dw4=">AAAHa3ichZXPTxNBFMcfoBTxByAXox6ITQkmpplWE40nUEkkEFJaCyVAmt1ltm66v7K7LWyb/gNePXhQD5p4MP4ZXvwHPPAnGOMJEy8efDu7zbadB27Tzsx7n+/rezOzM6prGn7A2MnY+MSFi5OZqUvTl69cvTYzO3d923dansarmmM6Xk1VfG4aNq8GRmDymutxxVJNvqM2n0b+nTb3fMOxXwShyw8spWEbuqEpAZp2l8J64V5YL96tz2ZZnolnQe4Ukk4WkqfkzE0swj4cggMatMACDjYE2DdBAR8/e1AABi7aDqCLNg97hvBz6ME0altIcSQUtDbxt4GjvcRq4ziK6Qu1hv9i4tdD5QLk2Hf2mZ2yb+wL+8H+nhmrK2JEuYTYqrGWu/WZVzcqf/6rsrAN4GWqOkehIn1+TQHo8EjUYmBtrrBEVWpx/HbnzWnlcTnXXWQf2U+s7wM7YV+xQrv9W/u0xctvRfRD1OjYtrHVIIsz3MVRP1MVfV1h7SXZpPwxQR4TXEhwIcF1CK5DcEcEd0RwOsHpBNckuCbBrRDcCsGtEdwawa0T3DrB1QiuRnC7BLdLcIzgmMSpyfpG+5BaVzVZ19gvr6cqdnHfzwm/hTs2JfbFWKZczNEY4mILRfoS6ZNklFuA9Q+yfZtMR7PU5wcVqb1HqEzxzqtoGdUNeihlSaq4dEbFFbQ2xEoO0qlVVmwMZZVqNkZyGlRtJvlr6DPxZNmUiNWRHaXieFWiygRVlqhn4rTJQlHQOp7P0bkXr2b/xI/ziE8l2lOM4uL9Uxi9beTOdjFfuJ8vbj3ILj9JbqIpuAV3YAnjP4RleI7zX8UcLHgN7+D95K/MfOZm5naMjo8lmnkYejK5f96Gg/k=</latexit><latexit sha1_base64="zrBSiDb8zxRR5mW8U9uZKF37rqU=">AAAHqXichZXNbtNAEMenLeBSPtrCBYlLRRSEhBRtAhKIUwtUatWqygdpU5oq8ppNasWOLdtJmkR5ASSu9MAJJA6Ix+DCC3DoIyCOReLCgfHakZPstNhKvDvz+49ndte73LVMP2DsdGZ27tLlK9r81YVr12/cXFxavrXrO23PEGXDsRyvwnVfWGZLlAMzsETF9YRuc0vs8eaL0L/XEZ5vOq1XQc8Vh7beaJl109ADNJV6tVxtKcUyTF4raiMbN1IQX3lneW4DqvAGHDCgDTYIaEGAbQt08PE+gCwwcNF2CAO0edgypV/AEBZQ20ZKIKGjtYn/DewdxNYW9sOYvlQb+BYLfx4qVyDNfrAv7Ix9Z1/ZT/b33FgDGSPMpYdPHmmFW1t8e6f0578qG58BHCWqCxQc6YtrCqAOT2UtJtbmSktYpRHF7/RPzkrPiunBffaJ/cL6PrJT9g0rbHV+G58LovgBo6fleAuMVIUOPg1I4RgPsDfKlaNvIK3DOJ+En1Q4su/hbWKOR6jWZc+B7rkRjol3HRNcj+B6BNcnuD7BdQmuS3B1gqsTXJPgmgS3RnBrBLdJcJsEt0VwWwRXIbgKwe0T3D7BMYJjCsfj+Q3XMjWvPJ7XyK/OJ5dfwsgvCL+Nqz4hqrKvUi7maE5wkYUifYX0STLMLVzh4+zIptLhKI34cUViHxIqS+4bHC3TunEPpcwrFefPqbgkv1Z7qpLEqiq2J7JKNNtTOY2rduL8DfRZuDvtKMT61Iri2F9XqCJBFRXqpdxtUpCTdB33oHDvjGZzdGpEeUS7Eu3JhXHxDMtOn1hqYzeXyT7K5AqPU6vP49NsHu7CPXiA8Z/AKmzg+Jcxhwa8g/dwoj3UClpFex2hszOx5jZMXJrxD1Jnj3E=</latexit><latexit sha1_base64="zrBSiDb8zxRR5mW8U9uZKF37rqU=">AAAHqXichZXNbtNAEMenLeBSPtrCBYlLRRSEhBRtAhKIUwtUatWqygdpU5oq8ppNasWOLdtJmkR5ASSu9MAJJA6Ix+DCC3DoIyCOReLCgfHakZPstNhKvDvz+49ndte73LVMP2DsdGZ27tLlK9r81YVr12/cXFxavrXrO23PEGXDsRyvwnVfWGZLlAMzsETF9YRuc0vs8eaL0L/XEZ5vOq1XQc8Vh7beaJl109ADNJV6tVxtKcUyTF4raiMbN1IQX3lneW4DqvAGHDCgDTYIaEGAbQt08PE+gCwwcNF2CAO0edgypV/AEBZQ20ZKIKGjtYn/DewdxNYW9sOYvlQb+BYLfx4qVyDNfrAv7Ix9Z1/ZT/b33FgDGSPMpYdPHmmFW1t8e6f0578qG58BHCWqCxQc6YtrCqAOT2UtJtbmSktYpRHF7/RPzkrPiunBffaJ/cL6PrJT9g0rbHV+G58LovgBo6fleAuMVIUOPg1I4RgPsDfKlaNvIK3DOJ+En1Q4su/hbWKOR6jWZc+B7rkRjol3HRNcj+B6BNcnuD7BdQmuS3B1gqsTXJPgmgS3RnBrBLdJcJsEt0VwWwRXIbgKwe0T3D7BMYJjCsfj+Q3XMjWvPJ7XyK/OJ5dfwsgvCL+Nqz4hqrKvUi7maE5wkYUifYX0STLMLVzh4+zIptLhKI34cUViHxIqS+4bHC3TunEPpcwrFefPqbgkv1Z7qpLEqiq2J7JKNNtTOY2rduL8DfRZuDvtKMT61Iri2F9XqCJBFRXqpdxtUpCTdB33oHDvjGZzdGpEeUS7Eu3JhXHxDMtOn1hqYzeXyT7K5AqPU6vP49NsHu7CPXiA8Z/AKmzg+Jcxhwa8g/dwoj3UClpFex2hszOx5jZMXJrxD1Jnj3E=</latexit>

10

10

5

5

0

0

-5

-5

-10

-10

-15
-15

-10

-5

0

5

H=1の場合91 / 130

10

15

y1

-15
-15

-10

<latexit sha1_base64="LplDJDBX/79ZxxV6sBREkaOwObQ=">AAAHqXichZXNbtNAEMenLeBSPtrCBYlLRRSEhBRtAhKIUwtUatWqygdpU5oq8ppNasWOLdtJmkR5ASSu9MAJJA6Ix+DCC3DoIyCOReLCgfHakZPstNhKvDvz+49ndte73LVMP2DsdGZ27tLlK9r81YVr12/cXFxavrXrO23PEGXDsRyvwnVfWGZLlAMzsETF9YRuc0vs8eaL0L/XEZ5vOq1XQc8Vh7beaJl109ADNJV6tWxtKcUyTF4raiMbN1IQX3lneW4DqvAGHDCgDTYIaEGAbQt08PE+gCwwcNF2CAO0edgypV/AEBZQ20ZKIKGjtYn/DewdxNYW9sOYvlQb+BYLfx4qVyDNfrAv7Ix9Z1/ZT/b33FgDGSPMpYdPHmmFW1t8e6f0578qG58BHCWqCxQc6YtrCqAOT2UtJtbmSktYpRHF7/RPzkrPiunBffaJ/cL6PrJT9g0rbHV+G58LovgBo6fleAuMVIUOPg1I4RgPsDfKlaNvIK3DOJ+En1Q4su/hbWKOR6jWZc+B7rkRjol3HRNcj+B6BNcnuD7BdQmuS3B1gqsTXJPgmgS3RnBrBLdJcJsEt0VwWwRXIbgKwe0T3D7BMYJjCsfj+Q3XMjWvPJ7XyK/OJ5dfwsgvCL+Nqz4hqrKvUi7maE5wkYUifYX0STLMLVzh4+zIptLhKI34cUViHxIqS+4bHC3TunEPpcwrFefPqbgkv1Z7qpLEqiq2J7JKNNtTOY2rduL8DfRZuDvtKMT61Iri2F9XqCJBFRXqpdxtUpCTdB33oHDvjGZzdGpEeUS7Eu3JhXHxDMtOn1hqYzeXyT7K5AqPU6vP49NsHu7CPXiA8Z/AKmzg+Jcxhwa8g/dwoj3UClpFex2hszOx5jZMXJrxD0skj3A=</latexit>

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

-5

0

5

H=2の場合1015y1<latexit sha1_base64="LplDJDBX/79ZxxV6sBREkaOwObQ=">AAAHqXichZXNbtNAEMenLeBSPtrCBYlLRRSEhBRtAhKIUwtUatWqygdpU5oq8ppNasWOLdtJmkR5ASSu9MAJJA6Ix+DCC3DoIyCOReLCgfHakZPstNhKvDvz+49ndte73LVMP2DsdGZ27tLlK9r81YVr12/cXFxavrXrO23PEGXDsRyvwnVfWGZLlAMzsETF9YRuc0vs8eaL0L/XEZ5vOq1XQc8Vh7beaJl109ADNJV6tWxtKcUyTF4raiMbN1IQX3lneW4DqvAGHDCgDTYIaEGAbQt08PE+gCwwcNF2CAO0edgypV/AEBZQ20ZKIKGjtYn/DewdxNYW9sOYvlQb+BYLfx4qVyDNfrAv7Ix9Z1/ZT/b33FgDGSPMpYdPHmmFW1t8e6f0578qG58BHCWqCxQc6YtrCqAOT2UtJtbmSktYpRHF7/RPzkrPiunBffaJ/cL6PrJT9g0rbHV+G58LovgBo6fleAuMVIUOPg1I4RgPsDfKlaNvIK3DOJ+En1Q4su/hbWKOR6jWZc+B7rkRjol3HRNcj+B6BNcnuD7BdQmuS3B1gqsTXJPgmgS3RnBrBLdJcJsEt0VwWwRXIbgKwe0T3D7BMYJjCsfj+Q3XMjWvPJ7XyK/OJ5dfwsgvCL+Nqz4hqrKvUi7maE5wkYUifYX0STLMLVzh4+zIptLhKI34cUViHxIqS+4bHC3TunEPpcwrFefPqbgkv1Z7qpLEqiq2J7JKNNtTOY2rduL8DfRZuDvtKMT61Iri2F9XqCJBFRXqpdxtUpCTdB33oHDvjGZzdGpEeUS7Eu3JhXHxDMtOn1hqYzeXyT7K5AqPU6vP49NsHu7CPXiA8Z/AKmzg+Jcxhwa8g/dwoj3UClpFex2hszOx5jZMXJrxD0skj3A=</latexit>

ニューラルネットとガウス過程 (5)
y2 15

y215

10

10

5

5

0

0

-5

-5

-10

-10

<latexit sha1_base64="zrBSiDb8zxRR5mW8U9uZKF37rqU=">AAAHqXichZXNbtNAEMenLeBSPtrCBYlLRRSEhBRtAhKIUwtUatWqygdpU5oq8ppNasWOLdtJmkR5ASSu9MAJJA6Ix+DCC3DoIyCOReLCgfHakZPstNhKvDvz+49ndte73LVMP2DsdGZ27tLlK9r81YVr12/cXFxavrXrO23PEGXDsRyvwnVfWGZLlAMzsETF9YRuc0vs8eaL0L/XEZ5vOq1XQc8Vh7beaJl109ADNJV6tVxtKcUyTF4raiMbN1IQX3lneW4DqvAGHDCgDTYIaEGAbQt08PE+gCwwcNF2CAO0edgypV/AEBZQ20ZKIKGjtYn/DewdxNYW9sOYvlQb+BYLfx4qVyDNfrAv7Ix9Z1/ZT/b33FgDGSPMpYdPHmmFW1t8e6f0578qG58BHCWqCxQc6YtrCqAOT2UtJtbmSktYpRHF7/RPzkrPiunBffaJ/cL6PrJT9g0rbHV+G58LovgBo6fleAuMVIUOPg1I4RgPsDfKlaNvIK3DOJ+En1Q4su/hbWKOR6jWZc+B7rkRjol3HRNcj+B6BNcnuD7BdQmuS3B1gqsTXJPgmgS3RnBrBLdJcJsEt0VwWwRXIbgKwe0T3D7BMYJjCsfj+Q3XMjWvPJ7XyK/OJ5dfwsgvCL+Nqz4hqrKvUi7maE5wkYUifYX0STLMLVzh4+zIptLhKI34cUViHxIqS+4bHC3TunEPpcwrFefPqbgkv1Z7qpLEqiq2J7JKNNtTOY2rduL8DfRZuDvtKMT61Iri2F9XqCJBFRXqpdxtUpCTdB33oHDvjGZzdGpEeUS7Eu3JhXHxDMtOn1hqYzeXyT7K5AqPU6vP49NsHu7CPXiA8Z/AKmzg+Jcxhwa8g/dwoj3UClpFex2hszOx5jZMXJrxD1Jnj3E=</latexit><latexit sha1_base64="zrBSiDb8zxRR5mW8U9uZKF37rqU=">AAAHqXichZXNbtNAEMenLeBSPtrCBYlLRRSEhBRtAhKIUwtUatWqygdpU5oq8ppNasWOLdtJmkR5ASSu9MAJJA6Ix+DCC3DoIyCOReLCgfHakZPstNhKvDvz+49ndte73LVMP2DsdGZ27tLlK9r81YVr12/cXFxavrXrO23PEGXDsRyvwnVfWGZLlAMzsETF9YRuc0vs8eaL0L/XEZ5vOq1XQc8Vh7beaJl109ADNJV6tVxtKcUyTF4raiMbN1IQX3lneW4DqvAGHDCgDTYIaEGAbQt08PE+gCwwcNF2CAO0edgypV/AEBZQ20ZKIKGjtYn/DewdxNYW9sOYvlQb+BYLfx4qVyDNfrAv7Ix9Z1/ZT/b33FgDGSPMpYdPHmmFW1t8e6f0578qG58BHCWqCxQc6YtrCqAOT2UtJtbmSktYpRHF7/RPzkrPiunBffaJ/cL6PrJT9g0rbHV+G58LovgBo6fleAuMVIUOPg1I4RgPsDfKlaNvIK3DOJ+En1Q4su/hbWKOR6jWZc+B7rkRjol3HRNcj+B6BNcnuD7BdQmuS3B1gqsTXJPgmgS3RnBrBLdJcJsEt0VwWwRXIbgKwe0T3D7BMYJjCsfj+Q3XMjWvPJ7XyK/OJ5dfwsgvCL+Nqz4hqrKvUi7maE5wkYUifYX0STLMLVzh4+zIptLhKI34cUViHxIqS+4bHC3TunEPpcwrFefPqbgkv1Z7qpLEqiq2J7JKNNtTOY2rduL8DfRZuDvtKMT61Iri2F9XqCJBFRXqpdxtUpCTdB33oHDvjGZzdGpEeUS7Eu3JhXHxDMtOn1hqYzeXyT7K5AqPU6vP49NsHu7CPXiA8Z/AKmzg+Jcxhwa8g/dwoj3UClpFex2hszOx5jZMXJrxD1Jnj3E=</latexit>

-15
-15

-10

-5

0

5

H=10の場合

10

15

y1

-15
-15

-10

<latexit sha1_base64="LplDJDBX/79ZxxV6sBREkaOwObQ=">AAAHqXichZXNbtNAEMenLeBSPtrCBYlLRRSEhBRtAhKIUwtUatWqygdpU5oq8ppNasWOLdtJmkR5ASSu9MAJJA6Ix+DCC3DoIyCOReLCgfHakZPstNhKvDvz+49ndte73LVMP2DsdGZ27tLlK9r81YVr12/cXFxavrXrO23PEGXDsRyvwnVfWGZLlAMzsETF9YRuc0vs8eaL0L/XEZ5vOq1XQc8Vh7beaJl109ADNJV6tWxtKcUyTF4raiMbN1IQX3lneW4DqvAGHDCgDTYIaEGAbQt08PE+gCwwcNF2CAO0edgypV/AEBZQ20ZKIKGjtYn/DewdxNYW9sOYvlQb+BYLfx4qVyDNfrAv7Ix9Z1/ZT/b33FgDGSPMpYdPHmmFW1t8e6f0578qG58BHCWqCxQc6YtrCqAOT2UtJtbmSktYpRHF7/RPzkrPiunBffaJ/cL6PrJT9g0rbHV+G58LovgBo6fleAuMVIUOPg1I4RgPsDfKlaNvIK3DOJ+En1Q4su/hbWKOR6jWZc+B7rkRjol3HRNcj+B6BNcnuD7BdQmuS3B1gqsTXJPgmgS3RnBrBLdJcJsEt0VwWwRXIbgKwe0T3D7BMYJjCsfj+Q3XMjWvPJ7XyK/OJ5dfwsgvCL+Nqz4hqrKvUi7maE5wkYUifYX0STLMLVzh4+zIptLhKI34cUViHxIqS+4bHC3TunEPpcwrFefPqbgkv1Z7qpLEqiq2J7JKNNtTOY2rduL8DfRZuDvtKMT61Iri2F9XqCJBFRXqpdxtUpCTdB33oHDvjGZzdGpEeUS7Eu3JhXHxDMtOn1hqYzeXyT7K5AqPU6vP49NsHu7CPXiA8Z/AKmzg+Jcxhwa8g/dwoj3UClpFex2hszOx5jZMXJrxD0skj3A=</latexit>

-5

0

5

10

H=100の場合

l (y1,y2)の同時分布は多変量ガウス分布に漸近する！

– ノード数H=10ですでにほぼガウス分布と等価– 中心極限定理の効果
92 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

15y1<latexit sha1_base64="LplDJDBX/79ZxxV6sBREkaOwObQ=">AAAHqXichZXNbtNAEMenLeBSPtrCBYlLRRSEhBRtAhKIUwtUatWqygdpU5oq8ppNasWOLdtJmkR5ASSu9MAJJA6Ix+DCC3DoIyCOReLCgfHakZPstNhKvDvz+49ndte73LVMP2DsdGZ27tLlK9r81YVr12/cXFxavrXrO23PEGXDsRyvwnVfWGZLlAMzsETF9YRuc0vs8eaL0L/XEZ5vOq1XQc8Vh7beaJl109ADNJV6tWxtKcUyTF4raiMbN1IQX3lneW4DqvAGHDCgDTYIaEGAbQt08PE+gCwwcNF2CAO0edgypV/AEBZQ20ZKIKGjtYn/DewdxNYW9sOYvlQb+BYLfx4qVyDNfrAv7Ix9Z1/ZT/b33FgDGSPMpYdPHmmFW1t8e6f0578qG58BHCWqCxQc6YtrCqAOT2UtJtbmSktYpRHF7/RPzkrPiunBffaJ/cL6PrJT9g0rbHV+G58LovgBo6fleAuMVIUOPg1I4RgPsDfKlaNvIK3DOJ+En1Q4su/hbWKOR6jWZc+B7rkRjol3HRNcj+B6BNcnuD7BdQmuS3B1gqsTXJPgmgS3RnBrBLdJcJsEt0VwWwRXIbgKwe0T3D7BMYJjCsfj+Q3XMjWvPJ7XyK/OJ5dfwsgvCL+Nqz4hqrKvUi7maE5wkYUifYX0STLMLVzh4+zIptLhKI34cUViHxIqS+4bHC3TunEPpcwrFefPqbgkv1Z7qpLEqiq2J7JKNNtTOY2rduL8DfRZuDvtKMT61Iri2F9XqCJBFRXqpdxtUpCTdB33oHDvjGZzdGpEeUS7Eu3JhXHxDMtOn1hqYzeXyT7K5AqPU6vP49NsHu7CPXiA8Z/AKmzg+Jcxhwa8g/dwoj3UClpFex2hszOx5jZMXJrxD0skj3A=</latexit>ガウス過程による教師なし学習

93 / 80

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

93

ガウス過程と教師なし学習l ガウス過程回帰モデルでは、入力xと出力yのペア(x, y)が与えられていた
l 観測値 y しかない場合はどうする?
l 非常によくある設定 (教師なし学習)– y＝あるユーザーのクリック履歴– y＝ロボットの姿勢ベクトル (各関節角のベクトル)– y＝ある星の吸収線スペクトル– ここでは、yが連続値の場合を考える

94 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

確率的主成分分析
低次元

xn

W 高次元

yn

l Probabilistic PCA (Tipping & Bishop 1999)⇢

yn = Wxn + ✏✏ ⇠ N(0, 2 I)l よって、L =PN

PN

n=1 log p(yn ) =n=1 log N (yn |Wxn ,N=
log 2⇡ + log |C| + tr(C 1 S)
2
(C = WWT + 2 I, S = YYT /N )<latexit sha1_base64="6s9MZNRYX6OTA38+uzzRmxHkKNk=">AAAIlnichZVLb9NAEMcnLY8QHm3hUomLRdQqVWnZBCQQUlFLqGjVKmqbPtVtIttsUqt+yXbTJq65wIkvwIETSBwQH4MLX4BDPwJC4lIkLhwYrx2SxtviPLw78/vPzuyu14qta65HyHGqr//CxUuX01cyV69dvzEwOHRz3bX2HZWtqZZuOZuK7DJdM9map3k627QdJhuKzjaUvWLo32gwx9Usc9Vr2mzHkOumVtNU2UNTdfDnYmZ0inrs0HO9ps4k6u4bVd+cygeVkkR1qy7ZOdpoVs0xaSqTdPpUlXWpFETMETVkb1ep+RsBbRxWzbvU1eqGXCnQxvxYhlIcSpqgNUdW/VLgFwKqs5qX44EK1NakcR70qHiELZ86huQ5Qa5Y8SfyQXmMOlp91+NhckUJI3UN9q9VWR3vGvPuS6ksIdjYwm9l9V5prDqYJZOEX1KykY8bWYivJWuofw4ovAALVNgHAxiY4GFbBxlc/GxDHgjYaNsBH20OtjTuZxBABrX7SDEkZLTu4X8de9ux1cR+GNPlahVH0fHnoFKCEfKNfCIn5Cv5TL6TP2fG8nmMMJcm3pVIy+zqwJvh8u//qgy8e7DbUZ2jUJA+vyYPavCI16JhbTa3hFWqUfxG6+1J+fHKiD9KPpAfWN97cky+YIVm45f6cZmtvMPoI3y+GUai0MC7ClmcYx977VwV9PncGsT5dPjTCov3HfxomOMuqmXes+DgzAiHgrEOBVxTwDUFXEvAtQTcgYA7EHA1AVcTcHsCbk/AzQi4GQE3L+DmBdyCgFsQcJsCblPAbQm4LQFHBBxJcEq8vuFeFq2rEq9r5E+up8KfhLafCfwG7voOQXk/SdmYo3aKiywi0k2QrpAMcwt3eDfbtiXpcJbafLeiYw8EKp2fGwpaenXdHpFyKVHx0hkVl/nTavRU0rEmFYunsupoFnty6laV4vxV9Ol4OpUSxGzPjlKwP5ugVgTUSoJ6xk+bLBQ4XcMzKDw7o9VsvzWiPKJTSewphHHxHZbvfWMlG+uFyfz9ycLyg+z00/htlobbcAdyGP8hTMMczv8aqKnVVCv1KvU6PZx+kp5NP4/QvlSsuQWnrvTSX0VT4BQ=</latexit>

95 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

2I)確率的主成分分析 (2)
低次元

xn

W

高次元

yn

l @L/@W = 0 より、データの尤度Lを最大にするWの最尤推定値はW = Uq (⇤q

2

I)1/2

– ⇤q , Uq： YYT の最大q個の固有値・固有ベクトルを並べた行列– 2 = 0 で通常の主成分分析と一致

96 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

確率的PCAからGPLVMへ
l 確率的PCA：xàyへの射影行列Wを最適化

xn

W

yn

l Wは巨大、xの次元に依存する

à Wの方に事前分布を与えて積分消去
p(W) =

DY

d=1

p(Y|X) =Z

N(wd |0, ↵ 1 I)

p(Y|X, W)p(W)dW
✓
◆
1
1
1
T
=
exp
tr(K
YY
)
DN/2
D/2
2
(2⇡)
|K|

97 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

GPLVMl よって、

DN
log p(Y|X) =log(2⇡)
2
KX = ↵XXT + 1 I

D
log |KX |2

1
tr(KX1 YYT )2

X = (x1 , · · · , xN )l これを最大化する潜在的なXを見つければよい
l Gaussian Process Latent Variable Model(GPLVM)という (Lawrence+, NIPS 2003)

98 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

GPLVMのイメージ

l xが1次元の場合: 各観測値 (×,△,○)の背後にxが存在
99 / 130

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

GPLVMの最適化
DN
log p(Y|X) =log(2⇡)
2
KX = ↵XXT + 1 I

D
log |KX |2

1
tr(KX1 YYT )2

X = (x1 , · · · , xN )l 自然にカーネル化されているà任意のカーネルを導入

k(xn , xm ) = ↵ exp|xn xm |2 + (n, m)@L= KX1 YYT KX1 D KX1l@KX@L@L @KX=–を適用して微分@xnj @Kx @xnj
100 / 130 言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

1

(RBF)

GPLVMの最適化 (2)l Python実装：『ガウス過程と機械学習』サポートページ– http://chasen.org/~daiti-m/gpbook/l Neil Lawrence によるMATLAB原実装– http://inverseprobability.com/gplvm/

101 / 130 言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

GPLVM：計算例
l Oil flowデータ (PRML掲載と同じもの)
0.3
2.4
0.2

0.2

2.2
0.15
2

0.1

0.1
1.8
0.05

0

1.6
0

−0.1

1.4
−0.05
1.2

−0.2

−0.1
1
−0.15

−0.3

0.8

−0.2

−0.4

0.6

−0.25

−0.5
−0.8

−0.6

−0.4

−0.2

0

0.2

0.4

0.6

−0.2

−0.1

0

0.1

0.2

0.3

0.4

Figure 1: Visualisation of the Oil data with (a) PCA (a linear GPLVM) and (b) A GPLVM whichuses an RBF kernel. Crosses, circles and plus signs represent stratifi ed, annular and homogeneousflows respectively. The greyscales in plot (b) indicate the precision with which the manifold was
expressed in data-space for that latent point. The optimised parameters of the kernel were
,
and
.

– 左:
GPLVM
2.2 A確率的PCA、右:Practical Algorithm for GPLVMs– GPLVMは分散を使ってconfidenceの分布も得られる
There are three main components to our revised, computationally efficient, optimisation
process:

102 / 130 言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

Sparsification. Kernel methods may be sped up through sparsification, i.e. representing

GPLVM: 3次元の場合
l 松浦さん“Statmodelingmemorandum”
http://statmodeling.hatena
blog.com/entry/gaussianprocess-latent-variablemodel-2 によるl Stan言語による推定

103 / 130 言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

ガウス過程の自然言語処理への
応用

104 /
80

言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

104

スペクトル混合カーネル
l “Gaussian Process Kernels for Pattern Discovery

and Extrapolation”, Andrew Gordon Wilson, Ryan
Prescott Adams, ICML 2013.
l ガウス過程で使うカーネルを、RBFのような既存のカーネルおよびその組み合わせに限定せず、フーリエ領域で混合ガウス分布を考えることでデータから自動的に学習できる (!)

105 / 130 言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

スペクトル混合カーネル (2)
0
⌧
=
x
x
l ガウス過程のカーネルとして、値がだけに依存する、定常カーネルk(τ)を考える– RBF (ガウス)カーネルもこの仲間
l ボホナーの定理により、任意のk(τ)はZ2⇡i sT⌧k(⌧ ) =
e(ds)
<latexit sha1_base64="q59azai5Ts9o5dJKcYkU42AmF4U=">AAAG53ichZRLaxNRFMdPo461PproRnDTGKpuDDexUBGEVi1YWkqamDalKWFmeicOmcwM88iTfAE37lQQFxVUxI/hxi/goivX4rKCGxeeuTMljzmtE3If5/z+J+fcyT2Kbeiux9jhVOLM2XPS+ekLMxcvXb4ym0xd3XIt31F5WbUMy6kosssN3eRlT/cMXrEdLjcVg28rjceBf7vFHVe3zGde1+Z7Tblu6pquyh6aaslU1ZP9avphNd2ppu/ieLuWzLAsE89cfJGLFhmInoKVSvyAKuyDBSr40AQOJni4NkAGFz+7kAMGNtr2oI82B1e68HMYwAxqfaQ4EjJaGzjWcbcbWU3cBzFdoVbxVwz8Oqicg3n2nX1mR+wb+8J+sr8nxuqLGEEuXZyVUMvt2uyL66U//1U1cfbg+VB1ikJB+vSaPNDgvqhFx9psYQmqVMP4rd7ro9KD4nz/FnvPfmF9B+yQfcUKzdZv9cMmL74V0fdRo+HcwlmFDJ5wH3fHmSro6wvrIMpmyHcIskNwXYLrElyP4HoE1ya4NsFpBKcRXIPgGgS3THDLBLdKcKsEt0ZwawRXIbgKwe0Q3A7BMYJjMS74//mCDFahwicoG2PoY1xooUg3RrokGeTFcZSRGuWH9gGhMsQtU9AyqRv1UMpCrIbCCTWU0FoXZzdKD61xxfpYVkPN+kROo6qNKH8VfQbe5Y0YsTLxDhXcr8SoIkEVY9QTcb8zkBe0hh0x6DTh+znusWEeYR+gPfkgLnb83GR/jy+28tncvWx+cyGz9Cjq/dNwA27CHYy/CEvwFM+/jDm04R18hE+SLr2UXklvQjQxFWmuwdgjHfwDIcZs+w==</latexit><latexit sha1_base64="wkWseKn3C84jqciOv5PvEOS5uqw=">AAAHEnichZTPTxNBFMcfqBXxB6AXEy+rDaYkhkyricZoAgqJBEJKS6GEpc3udlom3W433W2h3fQf8GziwZMkHoz/gTfDhYMXTTxw8mw8YuLFg29nl7R0HzBNd2be+3xf35vtPN02heMydjg0fOHipdjlkSujV69dvzE2PnFzzak3GwbPGXWz3sjrmsNNYfGcK1yT5+0G12q6ydf16kvfv97iDUfUrVW3bfOtmlaxRFkYmoum4vizakJ1teaU8lxRheUWPbWmudu67mW6hbmuwgteSrWFIhT1gVNYVe/6cFe1HZEoOVPF8TibZnIo0UUyXMQhHOn6xPBPUKEEdTCgCTXgYIGLaxM0cPCzCUlgYKNtCzy0NXAlpJ9DF0ZR20SKI6GhtYrPCu42Q6uFez+mI9UG/oqJ3wYqFZhkP9hHdsQO2Cf2i/07NZYnY/i5tHHWAy23i2Ovb2f/nquq4ezCdk91hkJH+uyaXCjDE1mLwNpsafGrNIL4rc7bo+zTzKR3n+2x31jfe3bI9rFCq/XH+LDCM+9k9BJqyji3cDYgjifs4e44Ux19nrR2w2x6/C5B7hJcm+DaBNchuA7B7RDcDsGVCa5McFWCqxLcLMHNEtwCwS0Q3CLBLRJcnuDyBLdBcBsExwiORTj//9eUpL8KFE2CsjGGOMEFFop0IqRDkn5eHJ8aUv18z94lVKa8ZTpaBnX9HkqZjtSQPqWGLFor8uz66Z41qlg6kVVPszSQU79qOczfQJ+Jd3k5QswPvEMd9/MRKkNQmQg1J+93HFKSLmNH9DtN8H6Oe2yQR9AHaE/Kj4sdPznY36OLtdR08uF0auVRfOZF2PtH4A7cgwTGfwwz8ArPP4c57MEBfIPvsTexz7Evsf0AHR4KNbfgxIh9/Q+i7H6s</latexit>

RDの形に表せる (逆フーリエ変換)– (s) が、周波数領域でのk(τ)の等価な表現↓
k(τ)を確率分布で表せる！
<latexit sha1_base64="WVESHGB3r106RH/16eDtgG9SxUY=">AAAG23ichZS/b9NQEMevAUwpP/qDBYmlwioqS/QSkECdWqASVasqTUiTqo0q230OVhzb8o+0iZWJrWJhQEh0AokB8Wew8A8wdGJGjEViYeD87MpJfG1fFL/37j7fy91z3qmOaXg+Y8djuUuXr0hXx69NXL9x89bk1PTMpmcHrsarmm3abl1VPG4aFq/6hm/yuuNypa2avKa2nkX+Woe7nmFbL/2uwxttpWkZuqEpPppqO45nzHsPdqdklmdizGYXhWQhQzJK9nTuJ+zAHtigQQBt4GCBj2sTFPDwsw0FYOCgrQEh2lxcGcLPoQ8TqA2Q4kgoaG3hs4m77cRq4T6K6Qm1hr9i4tdF5SzMsR/sCzth39lX9ov9OzNWKGJEuXRxVmMtd3YnD+9U/l6oauPsw6tUdY5CRfr8mnzQ4YmoxcDaHGGJqtTi+J3e+5PKQnkuvM8+sd9Y30d2zL5hhVbnj/Z5g5ePRPQ91Og4d3DWQMYTDnF3mqmKvlBY+0k2KX9AkAcE1yW4LsH1CK5HcPsEt09wOsHpBNciuBbBLRHcEsGtENwKwa0S3CrB1QmuTnBbBLdFcIzgWIaL/n+BIKNVrAgIysEYxhAXWyjSy5AeSUZ5cXwqSA3yqb1PqExxy1S0jOoGPZSylKmhdEYNFbQ2xdkN0qk1q1gbyirVrI3kNKhaT/LX0GfiXV7PEMsj71DF/XKGKhNUOUM9F/dbhqKgdeyIUaeJ389pj43ziPsA7SlGcbHjF0b7e3axWcwXHuaLG4/kxadJ7x+Hu3AP5jH+Y1iEF3j+VdHt3sIHOJIa0mvpUHoTo7mxRHMbhob07j//CWm3</latexit>

106 / 130 言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

The inverse Fourier
The inverse
transform
Fourierof atransform(symmetrised)of a (symmetrised)
non centred non centred
Kernels andpositiveapproximation
measures
Spectral approximation
Gaussian is: Gaussian
Kernels andis:
positive measures
Spectral

スペクトル混合カーネルのイメージ

Spectral approximation
witha mixture (A.
ofGaussian
Spectral approximation
with a mixtureof Gaussian
Wilson, k̃(A.
µ(!)
µ(!)
k̃ (t)(t)Wilson,
ICML 2013) ICML 2013)
!

!

周波数空間
カーネル
F 1 ! F 1
We obtain
a parametrised
kernel that isF
parametrised
and the1 means by
We(確率分布)obtain a kernelthat isby theandthethemeans (関数)Gaussians
bells inspace:
the measure space:bandwidths ofbandwidths
Gaussians ofbells
in the measure<latexit sha1_base64="TJs8yef1QE+y3SNL6ek7eVzsTO0=">AAAHzHichZW/b9NAFMdfWyCl/GgKCxJLRAhiIboEJBBTCxS1ahWlCWlTNSWyzSWxYseW7SRNLK8M/QcYmEBiQCyssLLwDzD0T0CMRWJh4PnsyEn8Umwlvnvv831+7+58J5uaajuMnczNL5w7fyGxeHHp0uUrV5eTK9d2baNrKbyiGJphVWXJ5pra4RVHdTReNS0u6bLG9+T2U9+/1+OWrRqdF87A5Ie61OyoDVWRHDTVk7druuS0DNOtWWqz5UiWZfS9uuvWFElLPfdeuvdynldPplmWiSsVb+TCRhrCq2isLGxADV6BAQp0QQcOHXCwrYEENt4HkAMGJtoOwUWbhS1V+Dl4sITaLlIcCQmtbfxvYu8gtHaw78e0hVrBt2j4s1CZggz7wT6yU/adfWI/2d+ZsVwRw89lgE850HKzvnx8o/znvyodnw60ItUZChnps2tyoAGPRC0q1mYKi1+lEsTvDd+clh+XMu4d9p79wvresRP2DSvs9H4rH3Z46S1Gz4jx5hipBj18KpDGMXaxN8pVRp8rrF6YT8RPKgzRt/BWMccWqiXRM6A/M8IR8a4jghsQ3IDghgQ3JLg+wfUJrkFwDYJrE1yb4NYIbo3gNgluk+C2CG6L4KoEVyW4fYLbJzhGcCzGyeH8+muZmlc5nNfAH59PWXwJIz8n/Dqu+oioiX6cMjFHdYILLBRpx0ibJP3c/BU+zo5scdofpRE/rojsHqHSxL4ho2VaN+6hlMVYxcUZFZfF16pPVRJZ44rtiawizfZUTuOqQpi/gj4Nd6dCjFifWlEy9tdjVImgSjHqmdht0pAXdAP3IH/vDGZzdGoEeQS7Eu3J+3HxDMtNn1jxxm4+m7ufze88SK8+CU+zRbgJt+Auxn8Iq7CB41/BHI7hM3yBr4lCwkm4CS9A5+dCzXWYuBKv/wGKo55Z</latexit>µ(!)
k̃ (t)µ(!)
k̃ (t)
This can be generalisedThis can betogeneraliseda measure to
based
a measureon the based
sum ofonGaussians.
the sum of Gaussians.
!
F 1! F !1FGP Summer School (Sheffield,
GP Summer
June School2013) (Sheffield, JuneKernel2013)Design<latexit sha1_base64="TJs8yef1QE+y3SNL6ek7eVzsTO0=">AAAHzHichZW/b9NAFMdfWyCl/GgKCxJLRAhiIboEJBBTCxS1ahWlCWlTNSWyzSWxYseW7SRNLK8M/QcYmEBiQCyssLLwDzD0T0CMRWJh4PnsyEn8Umwlvnvv831+7+58J5uaajuMnczNL5w7fyGxeHHp0uUrV5eTK9d2baNrKbyiGJphVWXJ5pra4RVHdTReNS0u6bLG9+T2U9+/1+OWrRqdF87A5Ie61OyoDVWRHDTVk7druuS0DNOtWWqz5UiWZfS9uuvWFElLPfdeuvdynldPplmWiSsVb+TCRhrCq2isLGxADV6BAQp0QQcOHXCwrYEENt4HkAMGJtoOwUWbhS1V+Dl4sITaLlIcCQmtbfxvYu8gtHaw78e0hVrBt2j4s1CZggz7wT6yU/adfWI/2d+ZsVwRw89lgE850HKzvnx8o/znvyodnw60ItUZChnps2tyoAGPRC0q1mYKi1+lEsTvDd+clh+XMu4d9p79wvresRP2DSvs9H4rH3Z46S1Gz4jx5hipBj18KpDGMXaxN8pVRp8rrF6YT8RPKgzRt/BWMccWqiXRM6A/M8IR8a4jghsQ3IDghgQ3JLg+wfUJrkFwDYJrE1yb4NYIbo3gNgluk+C2CG6L4KoEVyW4fYLbJzhGcCzGyeH8+muZmlc5nNfAH59PWXwJIz8n/Dqu+oioiX6cMjFHdYILLBRpx0ibJP3c/BU+zo5scdofpRE/rojsHqHSxL4ho2VaN+6hlMVYxcUZFZfF16pPVRJZ44rtiawizfZUTuOqQpi/gj4Nd6dCjFifWlEy9tdjVImgSjHqmdht0pAXdAP3IH/vDGZzdGoEeQS7Eu3J+3HxDMtNn1jxxm4+m7ufze88SK8+CU+zRbgJt+Auxn8Iq7CB41/BHI7hM3yBr4lCwkm4CS9A5+dCzXWYuBKv/wGKo55Z</latexit>

1Kernel Design

N. Durrande

18 / 67 N. Durrande

18 / 67

Gaussian process summer school 2013の資料“Kernel Design” (N. Durrande) より引用
GP Summer School (Sheffield,
June 2013)
KernelGP Summer
School (Sheffield, June2013)Design

Kernel Design

107 / 130 言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

N. Durrande

19 / 67 N. Durrande

19 / 67

スペクトル混合カーネル (3)l 通常のガウスカーネル⌘
1k(x, x0 ) = exp(x x0 )2 /`22の周波数表現は、フーリエ変換すると<latexit sha1_base64="B0o9cuDck6Z4+EB6eZuErz1SUXQ=">AAAHcnichZXPTxNBFMcfoBTrjxa9GL1UG7QkpU5XE43RBFASCYSUVqCEhWZ3ma2bbtvN7lJaNv0H/Ac8eJLEg/HP8MJVEw/8CcYjJF48+HZ2SX/sA6fpzsx7n+/rezvTGdUyDcdl7HhkdOzS5fHYxJX41WvXbySSkzfXneaerfE1rWk27bKqONw0GnzNNVyTly2bK3XV5Btq7ZXv32hx2zGajbdux+LbdaXaMHRDU1w0VZIvapl2tv1wOvUyJfO2Jc8bVTMTn0nJuq1oXr7ryVlJznYz7RmEdqRHMjfNHSnuc/Z0JZlmOSZaKjrIh4M0hK3QnBxLgAy70AQN9qAOHBrg4tgEBRz8bEEeGFho2wYPbTaODOHn0IU4aveQ4kgoaK3hs4qzrdDawLkf0xFqDX/FxK+NyhRMsZ/sCzthR+wr+8X+nhvLEzH8XDrYq4GWW5XE+9ulP/9V1bF34V1PdYFCRfrimlzQ4ZmoxcDaLGHxq9SC+K2DDyel58Up7wE7ZL+xvk/smH3DChutU+3zKi9+FNF3UaNj38JegzS+YQ9nZ5mq6POEtRtm0+PbBNkmuA7BdQjugOAOCG6f4PYJTic4neBqBFcjuDmCmyO4RYJbJLglglsiuDLBlQluk+A2CY4RHItwari+/j6k1lUN1zXwR9dTFbv4zM8Jfx13bI+QxTxKWZijMcAFFop0IqRDkn7dHJ8KUv18z94lVKb4F6toGdb1eyhlIVJD4ZwaSmitirXpp3vWqGJ5IKueZnkop37VSpi/hj4Tz4qVCLEwtEdUnC9EqCJBFSPUa3F+pEEStI4nrn+SBetzdoYHeQTnDO2R/Lh4o+SH74/oYF3K5R/npNUn6dn58G6ZgLtwHzIY/ynMwht8/2uYwyEcwXf4MX4auxO7FwsvotGRUHMLBlos+w/jx4wC</latexit>⇣

S(s) = (2⇡`2 )1/2 exp( 2⇡ 2 `2 s2 )<latexit sha1_base64="AMkHtCj5O3ah+inHtfl2oHc1PzA=">AAAHZHichZXPaxNBFMdfW21qrSa1CIIgwVBJD8bJKiiC0KoFS0tJE9OmNE3Y2c7GJZtk2d2k+UH+Ac+CB08KHsT/wGs9+A946D8giMcKXjz4dnZD0uxrnZCdmfc+35f3diYz3DINx2XseGJy6sLF6cjMpdnLc1euRmPz17adRtPWRF5rmA27wFVHmEZd5F3DNUXBsoVa46bY4dVnnn+nJWzHaNRfuh1L7NfUSt3QDU110VSOpXJJZ+lJUilaRlGYZklZKvXS95R+vCjaVvKuZy8pvsdBZzmWYCkmWzw8SAeDBAQt05ifikIRDqABGjShBgLq4OLYBBUc/OxBGhhYaNuHHtpsHBnSL6APs6htIiWQUNFaxWcFZ3uBtY5zL6Yj1Rr+iolfG5VxWGTf2Sd2wr6xz+wn+3tmrJ6M4eXSwZ77WmGVo69v5P78V1XD3oVXQ9U5Co70+TW5oMMjWYuBtVnS4lWp+fFb3bcnucfZxd4d9oH9wvres2N2hBXWW7+1j1si+05GP0CNjn0Lew0S+IZ7OBtkytHXk9Z+kM2QbxNkm+A6BNchuC7BdQnukOAOCU4nOJ3gqgRXJbgVglshuDWCWyO4dYJbJ7gCwRUIbpfgdgmOERwLcTxYX28fUuvKg3X1/eH15HIXD/yC8Ndwxw6JopyHKQtzNE5xvoUinRDpkKRXt8CnitQoP7T3CZUp/8UcLeO6UQ+lzIRqyJxRQw6tFbk2o/TQGlZsnMpqqNkYy2lUtRnkr6HPxLNiM0Ssju0RjvPVEJUlqGyIei7PjwQoktbxxPVOMn99Bme4n4d/ztAexYuLN0p6/P4ID7aVVPp+Stl6kFh+GtwtM3ATbkMS4z+EZXiB7z+PObyBL3AEX6d/ROYiC5HrPjo5EWgW4FSL3PoHO0aHlA==</latexit>– 中心0のガウス分布!

108 / 130 言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

スペクトル混合カーネル (4)l k(τ)は周波数領域での確率密度<latexit sha1_base64="WVESHGB3r106RH/16eDtgG9SxUY=">AAAG23ichZS/b9NQEMevAUwpP/qDBYmlwioqS/QSkECdWqASVasqTUiTqo0q230OVhzb8o+0iZWJrWJhQEh0AokB8Wew8A8wdGJGjEViYeD87MpJfG1fFL/37j7fy91z3qmOaXg+Y8djuUuXr0hXx69NXL9x89bk1PTMpmcHrsarmm3abl1VPG4aFq/6hm/yuuNypa2avKa2nkX+Woe7nmFbL/2uwxttpWkZuqEpPppqO45nzHsPdqdklmdizGYXhWQhQzJK9nTuJ+zAHtigQQBt4GCBj2sTFPDwsw0FYOCgrQEh2lxcGcLPoQ8TqA2Q4kgoaG3hs4m77cRq4T6K6Qm1hr9i4tdF5SzMsR/sCzth39lX9ov9OzNWKGJEuXRxVmMtd3YnD+9U/l6oauPsw6tUdY5CRfr8mnzQ4YmoxcDaHGGJqtTi+J3e+5PKQnkuvM8+sd9Y30d2zL5hhVbnj/Z5g5ePRPQ91Og4d3DWQMYTDnF3mqmKvlBY+0k2KX9AkAcE1yW4LsH1CK5HcPsEt09wOsHpBNciuBbBLRHcEsGtENwKwa0S3CrB1QmuTnBbBLdFcIzgWIaL/n+BIKNVrAgIysEYxhAXWyjSy5AeSUZ5cXwqSA3yqb1PqExxy1S0jOoGPZSylKmhdEYNFbQ2xdkN0qk1q1gbyirVrI3kNKhaT/LX0GfiXV7PEMsj71DF/XKGKhNUOUM9F/dbhqKgdeyIUaeJ389pj43ziPsA7SlGcbHjF0b7e3axWcwXHuaLG4/kxadJ7x+Hu3AP5jH+Y1iEF3j+VdHt3sIHOJIa0mvpUHoTo7mxRHMbhob07j//CWm3</latexit>(s) と等価なので、(s) に関して混合ガウス分布を考える– 0に関して対称なので、正だけ考えて鏡映(s | µ,2<latexit sha1_base64="WVESHGB3r106RH/16eDtgG9SxUY=">AAAG23ichZS/b9NQEMevAUwpP/qDBYmlwioqS/QSkECdWqASVasqTUiTqo0q230OVhzb8o+0iZWJrWJhQEh0AokB8Wew8A8wdGJGjEViYeD87MpJfG1fFL/37j7fy91z3qmOaXg+Y8djuUuXr0hXx69NXL9x89bk1PTMpmcHrsarmm3abl1VPG4aFq/6hm/yuuNypa2avKa2nkX+Woe7nmFbL/2uwxttpWkZuqEpPppqO45nzHsPdqdklmdizGYXhWQhQzJK9nTuJ+zAHtigQQBt4GCBj2sTFPDwsw0FYOCgrQEh2lxcGcLPoQ8TqA2Q4kgoaG3hs4m77cRq4T6K6Qm1hr9i4tdF5SzMsR/sCzth39lX9ov9OzNWKGJEuXRxVmMtd3YnD+9U/l6oauPsw6tUdY5CRfr8mnzQ4YmoxcDaHGGJqtTi+J3e+5PKQnkuvM8+sd9Y30d2zL5hhVbnj/Z5g5ePRPQ91Og4d3DWQMYTDnF3mqmKvlBY+0k2KX9AkAcE1yW4LsH1CK5HcPsEt09wOsHpBNciuBbBLRHcEsGtENwKwa0S3CrB1QmuTnBbBLdFcIzgWIaL/n+BIKNVrAgIysEYxhAXWyjSy5AeSUZ5cXwqSA3yqb1PqExxy1S0jOoGPZSylKmhdEYNFbQ2xdkN0qk1q1gbyirVrI3kNKhaT/LX0GfiXV7PEMsj71DF/XKGKhNUOUM9F/dbhqKgdeyIUaeJ389pj43ziPsA7SlGcbHjF0b7e3axWcwXHuaLG4/kxadJ7x+Hu3AP5jH+Y1iEF3j+VdHt3sIHOJIa0mvpUHoTo7mxRHMbhob07j//CWm3</latexit>) = N (s | µ,2)

S(s) = ( (s) + ( s))/ 2<latexit sha1_base64="7tSfeinyeI0Tc6Psx6IUsmbDAQ8=">AAAHLXichZTPbxJREMenqFjxR6leTLwQSQlEio/VRGPSpFWb2LQhFKSl6Vayu33QDQts2IUWkH/Af8CDJ008GA/+BZ68+A/00MTowYMx6qkmXjw4+3Ybfuy0PsK+92Y+32HmLW9U09Atm7GDicCp02eCZyfPhc5fuHhpKjx9ec1qtJoaL2gNo9EsqorFDb3OC7ZuG7xoNrlSUw2+rlYfOP71Nm9aeqP+2O6YfKumVOp6WdcUG02l8Lps7uhxS04+lZNyrZWULb1SU55IidhcT9YUI5LpU15ZDuXjViISm4vE3QiJG2KetRKJm3JSKoWjLMXEiPgXaW8RBW9kG9OBLyDDNjRAgxbUgEMdbFwboICFn01IAwMTbVvQQ1sTV7rwc+hDCLUtpDgSClqr+KzgbtOz1nHvxLSEWsNfMfDbRGUEZtg+e8MO2Uf2ln1nf4+N1RMxnFw6OKuulpulqWdX83/+q6rhbMPOQHWCQkX65JpsKMNdUYuOtZnC4lSpufHb3eeH+Xu5mV6MvWI/sL6X7IB9wArr7d/a61WeeyGib6OmjHMbZw2ieMI93B1lqqKvJ6x9L5sBv0eQewTXIbgOwXUJrktwuwS3S3BlgisTXJXgqgS3QHALBLdEcEsEt0xwywRXJLgiwW0Q3AbBMYJjPs75/7UE6axcRYugTIyhj3CuhSItH2mRpJMXx6eC1DA/sPcJlSFumYqWcd2wh1JmfTVkj6khj9aKOLthemD1K1ZGshpoVsZyGlZlvPw19Bl4lzM+YnHsHaq4X/RROYLK+aiH4n5HQRJ0GTui02nc93PUY9083D5AeyQnLnb89Hh/9y/WpFT6VkpavR2dv+/1/km4BtchjvHvwDw8wvMvYA7v4Sv8hF/Bd8H94KfgZxcNTHiaKzAygt/+AaZohcw=</latexit>l ガウス分布の各要素は、もとの領域では以下のカーネル関数を考えていることと等価k(⌧ | , µ) = exp( 2⇡ 2 2 ⌧ 2 ) cos(2⇡µ⌧ )<latexit sha1_base64="ukX6dPUh9R956JbHrIIzMCo2ueI=">AAAHFXichZRNb9NAEIanAUIpH03hgsSlIipKJIg2BgmEhGiBSlStqjQhbaq6jWx3E6w4thXbaT7IH+AP9MAJpB4Qv4ETCCFx4EIPPXFGHIvEhQPjtat8eNo6inf3needzKzjVW1Dd1zGDsZiZ86ei58fvzBx8dLlK5OJqaurjuU1NF7ULMNqlFTF4YZu8qKruwYv2Q2u1FWDr6m1p358rckbjm6ZL9y2zTfrStXUK7qmuCiVE49rKdlVvFeyo1frym257qUfybxlp+5Isq1vSYGOI0JbUlrWLCflRxD0pXQ5kWQZJq7p6CQbTpIQXjlrKvYTZNgGCzTwoA4cTHBxboACDn42IAsMbNQ2oYtaA2e6iHPowQR6PaQ4EgqqNbxXcbURqiau/ZyOcGv4KwZ+G+ichhm2z96zQ/aVfWC/2L9jc3VFDr+WNo5q4OV2efL19cLfU111HF142Xed4FCRPrknFyrwQPSiY2+2UPwutSB/s7N7WHiYn+neYu/Yb+zvLTtgn7BDs/lH21vh+Tci+zZ6Kjg2cdQgiTvcxdVRpSrGukLthdX0+RZBtgiuTXBtgusQXIfgdghuh+AqBFchuBrB1QhujuDmCG6B4BYIbpHgFgmuRHAlglsnuHWCYwTHIpz///ME6c8Ch0dQNubQh7hAoUgnQjok6dfF8a4gNcj39R7hMsRbpqIy6huMUM5cpIfcMT0UUK2KvRuk+2rUsTRUVd+zNFLToGs5rF/DmIHv8nKEmB95hiqu5yNUnqDyEeqZeL+TIAm6gieif9IEz+fojA3qCM4BOiL5efHEz46e79HJqpTJ3s1IK/eSs0/Cs38cbsBNSGH++zALz3H/i1jDHnyDH7Af341/jH+OfwnQ2FjouQZDV/z7f1vZgCw=</latexit>

109 / 130 言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

スペクトル混合カーネル (5)l すなわち、提案法はカーネルとして、次の混合を考えていることになる (Spectral Mixture kernel)
P
D
⇣ X
⌘
X
(p)
k(⌧ ) =
wp cos(2⇡⌧ Tµ(p) ) exp
2⇡ 2 d ⌧d2<latexit sha1_base64="NYCBISOywSc8B3HKgx5Tt5TJmIM=">AAAHVXichZTNbtNAEMcnpSQlBdryISFxCURFyYFqY5BASJXa0kpUrao0/UpVt5HtbIIVO7ZiO21qRdx5AQ6cQOKAeAwuvABCPXHigDgWiQtIjNcuSeNp2Sje2dnffzKzzo5qG7rjMnaUGLowfDGZGrmUHr185erY+MS1TcfyWhrf0CzDapVVxeGG3uQbru4avGy3uGKqBt9SG0+D/a02bzm61Vx3OzbfNZV6U6/pmuKiqzL+opGTVdOXXcXr5qfTsuOZFd+eLnT3ipn9ip2RNcvJSbKt/6P21uU7YmGi7efsfDeflvmBLc/pdSN3P4xQDSLMZwLhniQ7et1UKtWQDoKgLQV8K18Zz7IpJkYmbhQiIwvRKFoTQ19BhipYoIEHJnBogou2AQo4+NmBAjCw0bcLPvpaaOlin0MX0qj1kOJIKOht4LOOq53I28R1ENMRag1/xcBvC5UZmGSf2Xt2zD6xD+w7+31mLF/ECHLp4KyGWm5Xxl7eWvv1X5WJswvPe6pzFCrS59fkQg0ei1p0rM0WnqBKLYzfPnx1vPakNOnfY2/ZD6zvDTtiH7HCZvun9m6Vl16L6FXU1HBu46xBFk/Yx9VJpiru+cLbjbLp8QcEeUBwHYLrENwhwR0S3D7B7RNcjeBqBNcguAbBzRLcLMEtEtwiwS0R3BLBlQmuTHDbBLdNcIzgWIwL/n+eIAMrVHgEZWMM/RQXeijSiZEOSQZ5cXwqSPXzPX+XUBnilqnoGdT171DKYqyG4hk1rKG3Ls6un+5544rlU1n1NMsDOfWrVqL8Ndwz8C6vxIiFgXeo4nohRpUIqhSj5sX9zoIk6Bp2xKDThO/npMeGeYR9gN6RgrjY8QuD/T1ubEpThQdT0urD7Mxc1PtH4DbchRzGfwQz8AzPfwNz+JYYTdxI3Ex+Sf5JDaeSITqUiDTX4dRIjf0FdAaTnw==</latexit>

p=1

d=1

– パラメータw、μ、σは通常のハイパーパラメータ最適化で学習できる– ARD事前分布を使うことで、不要なガウス分布を除去している110 / 130 言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

Airline Passengerデータ
l 1949-1961の毎月の航空乗客数のうち、最初の8年を学習に使って残りの4年分を予測
実際の
データ
スペクトル
混合
カーネル
Maternカーネル
ガウスカーネル

111 / 130 言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

Airline Passengerデータ (2)ガウスカーネル
スペクトル混合カーネル

l 線形トレンド(一番左)に加え、12, 6, 4, 3ヶ月の周期性とその細かな違いを捉えている– 通常のガウスカーネル(赤)はまったくの大雑把
112 / 130 言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

人間の動作からの副詞の理解
l 『スペクトル混合カーネルとガウス過程に基づく

動画からの副詞の意味理解』(P6-17, 3/17 15:20〜)– 谷口巴(お茶大)、持橋大地(統数研)、他
l “しっかりと”、“さっと”、“慎重に”といった副詞の理解は、特に介護などで今後とても重要– これらは静的な画像ではなく、動作の動的な
時系列の性質に関連している– 適当なニューラル手法では、動的な性質を十分捉えることができない

113 / 130 言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

動画からの副詞の理解
l 動作を表す動画に、「そわそわ」「速足で」「こっそりと」など副詞をクラウドソーシングでタグ付けしてもらう
l 動画からOpenPose+前処理で骨格を抽出

l 48次元の関節座標の時系列データが得られる

114 / 130 言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

動画からの副詞の理解 (2)l 48次元の姿勢データを、GPLVMでP次元の潜在空間に非線形圧縮 (P=3)

l この潜在空間の時系列データの特徴をどう捉えるか?

– 速い、遅い、微妙な震え、...
– 「関数の特徴を捉える」問題
115 / 130 言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

動画からの副詞の理解 (3)l スペクトル混合カーネルの適用：カーネルの周波数空間での特徴を抽出– 直接フーリエ変換すると、関数の位相に依存＆FFTにはデータが不足

l 一方で、各動作には「しっかり」「堂々と」などの副詞が付与されている
116 / 130 言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

Spectral Mixture LDA
l 抽出された動作の周波数空間での成分と、動画に付与された副詞の同時分布をモデル化
à スペクトル混合潜在ディリクレ配分法 (SMLDA)w：<latexit sha1_base64="EFLs/J8MhiPuYkx3JE7BnPCPzjs=">AAAHp3ichZXNbtNAEMenLeBSPtrCBYlLRRQEl2gTkECcWqBSq1YlHyRN1VSV12xaK45t2U7SJMoLwBXEgRNIHBCPwYUX4NBHQByLxIUD47UjJ9lJsZV4d+b3H8/srne5a5l+wNjpzOzchYuXtPnLC1euXru+uLR8o+I7Lc8QZcOxHK/KdV9Ypi3KgRlYoup6Qm9yS+zyxrPQv9sWnm869sug64qDpn5km3XT0AM0FTqHSymWYfJaURvZuJGC+Mo7y3MbUINX4IABLWiCABsCbFugg4/3PmSBgYu2A+ijzcOWKf0CBrCA2hZSAgkdrQ38P8Lefmy1sR/G9KXawLdY+PNQuQJp9oN9YWfsO/vKfrK/U2P1ZYwwly4+eaQV7uHi61ulP/9VNfEZwHGiOkfBkT6/pgDq8FjWYmJtrrSEVRpR/Hbv/VnpSTHdv8s+sV9Y30d2yr5hhXb7t/G5IIofMHpajrfASDVo49OAFI5xH3vDXDn6+tI6iPNJ+HGFI/se3ibmeIxqXfYc6EyNcEK864TgugTXJbgewfUIrkNwHYKrE1yd4BoE1yC4NYJbI7hNgtskuC2C2yK4KsFVCW6P4PYIjhEcUzgez2+4lql55fG8Rn51Prn8EoZ+QfibuOoToib7KuVijuYYF1ko0ldInyTD3MIVPsoObSodjtKQH1Uk9gGhsuS+wdEyqRv1UMq8UnF+SsUl+bU2JypJrKpieyyrRLM9kdOoaifO30CfhbvTjkKsT6wojv11hSoSVFGhnsvdJgU5SddxDwr3zmg2h6dGlEe0K9GeXBgXz7Ds5ImlNiq5TPZBJld4mFp9Gp9m83Ab7sA9jP8IVmEDx7+MOQh4A2/hnXZfe6FVtGqEzs7Empswdmn6P9AKjso=</latexit>z<latexit sha1_base64="2O6M6pKNmBYG0jx166tkBlGGsJA=">AAAHp3ichZXNbtNAEMenLeBSPtrCBYlLRRQEl2gTkECcWqBSq1YlHyRN1VSV12xaK45t2U7SJMoLwBXEgRNIHBCPwYUX4NBHQByLxIUD47UjJ9lJsZV4d+b3H8/srne5a5l+wNjpzOzchYuXtPnLC1euXru+uLR8o+I7Lc8QZcOxHK/KdV9Ypi3KgRlYoup6Qm9yS+zyxrPQv9sWnm869sug64qDpn5km3XT0AM0FXqHSymWYfJaURvZuJGC+Mo7y3MbUINX4IABLWiCABsCbFugg4/3PmSBgYu2A+ijzcOWKf0CBrCA2hZSAgkdrQ38P8Lefmy1sR/G9KXawLdY+PNQuQJp9oN9YWfsO/vKfrK/U2P1ZYwwly4+eaQV7uHi61ulP/9VNfEZwHGiOkfBkT6/pgDq8FjWYmJtrrSEVRpR/Hbv/VnpSTHdv8s+sV9Y30d2yr5hhXb7t/G5IIofMHpajrfASDVo49OAFI5xH3vDXDn6+tI6iPNJ+HGFI/se3ibmeIxqXfYc6EyNcEK864TgugTXJbgewfUIrkNwHYKrE1yd4BoE1yC4NYJbI7hNgtskuC2C2yK4KsFVCW6P4PYIjhEcUzgez2+4lql55fG8Rn51Prn8EoZ+QfibuOoToib7KuVijuYYF1ko0ldInyTD3MIVPsoObSodjtKQH1Uk9gGhsuS+wdEyqRv1UMq8UnF+SsUl+bU2JypJrKpieyyrRLM9kdOoaifO30CfhbvTjkKsT6wojv11hSoSVFGhnsvdJgU5SddxDwr3zmg2h6dGlEe0K9GeXBgXz7Ds5ImlNiq5TPZBJld4mFp9Gp9m83Ab7sA9jP8IVmEDx7+MOQh4A2/hnXZfe6FVtGqEzs7Empswdmn6P+XTjs0=</latexit>↵<latexit sha1_base64="dzDxZ4WRWRQQVVENdzDOwGDvgRQ=">AAAHrHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJk2aKokqr1k3Jv6S7SRNorwAJ24IOIHEAfEYXHgBDn0ExLFIXDgwXjvKhyfFVuLdmd9/PLO73uWuafgBY2dz8wuXLl9RFq8uXbt+4+byyuqtsu+0PE2UNMd0vApXfWEatigFRmCKiusJ1eKmOOTN56H/sC0833Dsg6DrirqlntiGbmhqgKZyTTXdhnq8kmIZJq+1ZCMbN1IQX3lndWELavASHNCgBRYIsCHAtgkq+HhXIQsMXLTVoY82D1uG9AsYwBJqW0gJJFS0NvH/BHvV2GpjP4zpS7WGbzHx56FyDdLsB/vCztl39pX9ZH9nxurLGGEuXXzySCvc4+XXd4p//quy8BlAY6S6QMGRvrimAHR4ImsxsDZXWsIqtSh+u/f2vPi0kO7fZ5/YL6zvIztj37BCu/1b+7wvCh8welqOt8BINWjjU4MUjnEfe8NcOfr60jqI8xnxkwpH9j28DcyxgWpV9hzozIxwSrzrlOC6BNcluB7B9QiuQ3AdgtMJTie4JsE1CW6D4DYIbpvgtgluh+B2CK5CcBWCOyK4I4JjBMcSHI/nN1zL1LzyeF4jf3I+ufwShn5B+C1c9SOiJvtJysUcjQkuslCknyB9kgxzC1f4ODu0JelwlIb8uGJkHxAqU+4bHC3TunEPpcwnKs7PqLgov1ZrqpKRNanYnchqpNmdymlctRfnr6HPxN1pL0FsTq0ojv3NBFUgqEKCeiF3mxTkJK3jHhTundFsDk+NKI9oV6I9uTAunmHZ6RMr2SjnMtmHmdz+o9T6s/g0W4S7cA8eYPzHsA5bOP4lzOEVvIF38F7JKAdKValH6PxcrLkNE5ei/wOZi5Dn</latexit>

wN<latexit sha1_base64="05i1Qsam0Fm9F/5SK3jUPFG0cuo=">AAAHp3ichZXNbtNAEMenLeBSPtrCBYlLRRQEl2gTkECcWqBSq1YlHyRN1VSV12xaK45t2c638gJwBXHgBBIHxGNw4QU49BEQxyJx4cB47chJdlpsJd6d+f3HM7vrXe5aph8wdjIzO3fh4iVt/vLClavXri8uLd+o+E7LM0TZcCzHq3LdF5Zpi3JgBpaoup7Qm9wSu7zxLPTvtoXnm479Mui54qCpH9lm3TT0AE2F7uFSimWYvFbURjZupCC+8s7y3AbU4BU4YEALmiDAhgDbFujg470PWWDgou0ABmjzsGVKv4AhLKC2hZRAQkdrA/+PsLcfW23shzF9qTbwLRb+PFSuQJr9YF/YKfvOvrKf7O+ZsQYyRphLD5880gr3cPH1rdKf/6qa+AzgOFGdo+BIn19TAHV4LGsxsTZXWsIqjSh+u//+tPSkmB7cZZ/YL6zvIzth37BCu/3b+FwQxQ8YPS3HW2CkGrTxaUAKx3iAvVGuHH0DaR3G+ST8pMKRfQ9vE3M8RrUuew50zozQJd7VJbgewfUIrk9wfYLrEFyH4OoEVye4BsE1CG6N4NYIbpPgNglui+C2CK5KcFWC2yO4PYJjBMcUjsfzG65lal55PK+RX51PLr+EkV8Q/iau+oSoyb5KuZijOcFFFor0FdInyTC3cIWPsyObSoejNOLHFYl9SKgsuW9wtEzrxj2UMq9UnD+j4pL8WptTlSRWVbE9kVWi2Z7KaVy1E+dvoM/C3WlHIdanVhTH/rpCFQmqqFDP5W6Tgpyk67gHhXtnNJujUyPKI9qVaE8ujItnWHb6xFIblVwm+yCTKzxMrT6NT7N5uA134B7GfwSrsIHjX8YcBLyBt/BOu6+90CpaNUJnZ2LNTZi4NP0f102Oyw==</latexit><latexit sha1_base64="EFLs/J8MhiPuYkx3JE7BnPCPzjs=">AAAHp3ichZXNbtNAEMenLeBSPtrCBYlLRRQEl2gTkECcWqBSq1YlHyRN1VSV12xaK45t2U7SJMoLwBXEgRNIHBCPwYUX4NBHQByLxIUD47UjJ9lJsZV4d+b3H8/srne5a5l+wNjpzOzchYuXtPnLC1euXru+uLR8o+I7Lc8QZcOxHK/KdV9Ypi3KgRlYoup6Qm9yS+zyxrPQv9sWnm869sug64qDpn5km3XT0AM0FTqHSymWYfJaURvZuJGC+Mo7y3MbUINX4IABLWiCABsCbFugg4/3PmSBgYu2A+ijzcOWKf0CBrCA2hZSAgkdrQ38P8Lefmy1sR/G9KXawLdY+PNQuQJp9oN9YWfsO/vKfrK/U2P1ZYwwly4+eaQV7uHi61ulP/9VNfEZwHGiOkfBkT6/pgDq8FjWYmJtrrSEVRpR/Hbv/VnpSTHdv8s+sV9Y30d2yr5hhXb7t/G5IIofMHpajrfASDVo49OAFI5xH3vDXDn6+tI6iPNJ+HGFI/se3ibmeIxqXfYc6EyNcEK864TgugTXJbgewfUIrkNwHYKrE1yd4BoE1yC4NYJbI7hNgtskuC2C2yK4KsFVCW6P4PYIjhEcUzgez2+4lql55fG8Rn51Prn8EoZ+QfibuOoToib7KuVijuYYF1ko0ldInyTD3MIVPsoObSodjtKQH1Uk9gGhsuS+wdEyqRv1UMq8UnF+SsUl+bU2JypJrKpieyyrRLM9kdOoaifO30CfhbvTjkKsT6wojv11hSoSVFGhnsvdJgU5SddxDwr3zmg2h6dGlEe0K9GeXBgXz7Ds5ImlNiq5TPZBJld4mFp9Gp9m83Ab7sA9jP8IVmEDx7+MOQh4A2/hnXZfe6FVtGqEzs7Empswdmn6P9AKjso=</latexit><latexit sha1_base64="8NIuWjUcVuWpm5f7vJ0xiiQ8VXI=">AAAHp3ichZVLb9NAEMenLeBSHm3hgsSlIgqCS7QJSCBOLVCpVauQB0lTNVXlNZvWil+ynaRJlC8AVxAHTiBxQHwMLnwBDv0IiGORuHBgvHaUx06LrcS7M7//eGZ3vcs9ywxCxk5mZucuXLykzV9euHL12vXFpeUb1cBt+YaoGK7l+jWuB8IyHVEJzdASNc8Xus0tscObzyL/Tlv4gek6L8OuJ/Zt/dAxG6ahh2gq5g+WUizD5LWiNrJJIwXJVXCX5zagDq/ABQNaYIMAB0JsW6BDgPceZIGBh7Z96KPNx5Yp/QIGsIDaFlICCR2tTfw/xN5eYnWwH8UMpNrAt1j481G5Amn2g31hp+w7+8p+sr9nxurLGFEuXXzyWCu8g8XXt8p//quy8RnC0Uh1joIjfX5NITTgsazFxNo8aYmqNOL47d770/KTUrp/l31iv7C+j+yEfcMKnfZv43NRlD5g9LQcb4GR6tDGpwEpHOM+9oa5cvT1pXWQ5DPiJxWu7Pt4m5jjEap12XOhc2aEY+JdxwTXJbguwfUIrkdwHYLrEFyD4BoE1yS4JsGtEdwawW0S3CbBbRHcFsHVCK5GcLsEt0twjOCYwvFkfqO1TM0rT+Y19qvzyeWXMPQLwm/jqh8RddlXKQ9zNCe42EKRgUIGJBnlFq3wcXZoU+lolIb8uGJkHxAqS+4bHC3TunEPpSwoFRfOqLgsv1Z7qpKRVVVsT2Q10mxP5TSuyif5G+izcHfKK8T61Iri2F9XqBJBlRTqudxtUpCTdAP3oGjvjGdzeGrEecS7Eu3JRXHxDMtOn1hqo5rLZB9kcsWHqdWnyWk2D7fhDtzD+I9gFTZw/CuYg4A38Bbeafe1F1pVq8Xo7EyiuQkTl6b/A6ZAjqE=</latexit><latexit sha1_base64="KVgb6x8deLP+hk8QSLdInjWywrc=">AAAHq3ichZXNbtNAEMenLeBSPtrCBYlLRRTEhWgTkECcWqBSq1ZVmpA2pakqr9m0Vvwl20maRHkBLhwBcQKJA+IxuPACHPoIiGORuHBgvHbkJDspthLvzvz+45nd9S73LDMIGTudmp65cPGSNnt57srVa9fnFxZv7ARu0zdExXAt169yPRCW6YhKaIaWqHq+0G1uiV3eeBb5d1vCD0zXeRF2PHFg60eOWTcNPURTpcZFqB8uZFiOyWtJbeSTRgaSq+guzqxBDV6BCwY0wQYBDoTYtkCHAO99yAMDD20H0EObjy1T+gX0YQ61TaQEEjpaG/h/hL39xOpgP4oZSLWBb7Hw56NyCbLsB/vCzth39pX9ZH8nxurJGFEuHXzyWCu8w/nXt8p//quy8RnCcao6R8GRPr+mEOrwWNZiYm2etERVGnH8VvftWflJKdu7yz6xX1jfR3bKvmGFTuu38XlblD5g9Kwcb4GRatDCpwEZHOMe9ga5cvT1pLWf5JPyowpX9n28TczxGNW67LnQnhjhhHjXCcF1CK5DcF2C6xJcm+DaBFcnuDrBNQiuQXArBLdCcOsEt05wGwS3QXBVgqsS3B7B7REcIzimcDyZ32gtU/PKk3mN/ep8cvklDPyC8Nu46lOiJvsq5WGO5ggXWygyUMiAJKPcohU+zA5sKh2N0oAfVqT2PqGy5L7B0TKuG/ZQyqJScXFCxWX5tdpjlaRWVbE5klWq2RzLaVi1leRvoM/C3WlLIVbHVhTH/qpClQiqpFDP5W6TgYKk67gHRXtnPJuDUyPOI96VaE8hiotnWH78xFIbO4Vc/kGusP0ws/w0Oc1m4TbcgXsY/xEswxqOfwVzMOENvIP32n2trL3UajE6PZVobsLIpYl/au2Qcw==</latexit>

µ, ⌃

✓

<latexit sha1_base64="AITDTYeYszXZQqwAw+WBt2OUmSM=">AAAHsHichZXNbtNAEMenLeBSPtrCBYlLRRTEAUWbgATi1AKVWrWq0oS0KU0Vec0mNfGXbCdpEuUFOCNxQCCBxAHxGFx4AQ59BMSxSFw4MF47ysdOW1uJd2d+//HM7nqXe5YZhIwdT03PXLh4SZu9PHfl6rXr8wuLN3YCt+kbomS4luuXuR4Iy3REKTRDS5Q9X+g2t8QubzyL/Lst4Qem67wIO544sPW6Y9ZMQw/R9LJiN+9Ximbd1qsLKZZh8lpSG9mkkYLkyruLM2tQgVfgggFNsEGAAyG2LdAhwHsfssDAQ9sB9NDmY8uUfgF9mENtEymBhI7WBv7XsbefWB3sRzEDqTbwLRb+fFQuQZr9ZF/ZCfvBvrFf7N+psXoyRpRLB5881gqvOv/mVvHvuSobnyEcDlVnKDjSZ9cUQg0ey1pMrM2TlqhKI47f6r47KT4ppHt32Wf2G+v7xI7Zd6zQaf0xvmyLwnuMnpbjLTBSBVr4NCCFY9zD3iBXjr6etPaTfIb8uMKVfR9vE3M8RLUuey60T41wRLzriOA6BNchuC7BdQmuTXBtgqsRXI3gGgTXILgVglshuHWCWye4DYLbILgywZUJbo/g9giOERxTOJ7Mb7SWqXnlybzGfnU+ufwSBn5B+G1c9UOiIvsq5WGO5hgXWygyUMiAJKPcohU+yg5sKh2N0oAfVQztfUJlyX2Do2VSN+qhlHml4vwpFRfl12pPVDK0qorNsayGms2JnEZVW0n+Bvos3J22FGJ1YkVx7K8qVIGgCgr1XO42KchJuoZ7ULR3xrM5ODXiPOJdifbkorh4hmUnTyy1sZPLZB9kctsPU8tPk9NsFm7DHbiH8R/BMqzh+JcwBwfewgf4qOW0slbV9Bidnko0N2Hs0l7/B/uxkmQ=</latexit><latexit sha1_base64="ynPS7gJubn89RDmwNQQr7ofE/NE=">AAAHrHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJk2aKokqr1k3Jv6S7SRNorwAJ24IOIHEAfEYXHgBDn0ExLFIXDgwXjvKhyfFVuLdmd9/PLO73uWuafgBY2dz8wuXLl9RFq8uXbt+4+byyuqtsu+0PE2UNMd0vApXfWEatigFRmCKiusJ1eKmOOTN56H/sC0833Dsg6DrirqlntiGbmhqgKZyLWiIQD1eSbEMk9daspGNGymIr7yzurAFNXgJDmjQAgsE2BBg2wQVfLyrkAUGLtrq0Eebhy1D+gUMYAm1LaQEEipam/h/gr1qbLWxH8b0pVrDt5j481C5Bmn2g31h5+w7+8p+sr8zY/VljDCXLj55pBXu8fLrO8U//1VZ+AygMVJdoOBIX1xTADo8kbUYWJsrLWGVWhS/3Xt7XnxaSPfvs0/sF9b3kZ2xb1ih3f6tfd4XhQ8YPS3HW2CkGrTxqUEKx7iPvWGuHH19aR3E+Yz4SYUj+x7eBubYQLUqew50ZkY4Jd51SnBdgusSXI/gegTXIbgOwekEpxNck+CaBLdBcBsEt01w2wS3Q3A7BFchuArBHRHcEcExgmMJjsfzG65lal55PK+RPzmfXH4JQ78g/Bau+hFRk/0k5WKOxgQXWSjST5A+SYa5hSt8nB3aknQ4SkN+XDGyDwiVKfcNjpZp3biHUuYTFednVFyUX6s1VcnImlTsTmQ10uxO5TSu2ovz19Bn4u60lyA2p1YUx/5mgioQVCFBvZC7TQpyktZxDwr3zmg2h6dGlEe0K9GeXBgXz7Ds9ImVbJRzmezDTG7/UWr9WXyaLcJduAcPMP5jWIctHP8S5vAK3sA7eK9klAOlqtQjdH4u1tyGiUvR/wEOAJD3</latexit>

y<latexit sha1_base64="7M9nOU5+dnI0VTl7I55Qzi3u36c=">AAAHp3ichZXNbtNAEMenLeBSPtrCBYlLRRQEl2gTkECcWqBSq1YlHyRN1VSV12xaK45t2U7SJMoLwBXEgRNIHBCPwYUX4NBHQByLxIUD47UjJ9lJsZV4d+b3H8/srne5a5l+wNjpzOzchYuXtPnLC1euXru+uLR8o+I7Lc8QZcOxHK/KdV9Ypi3KgRlYoup6Qm9yS+zyxrPQv9sWnm869sug64qDpn5km3XT0AM0FbqHSymWYfJaURvZuJGC+Mo7y3MbUINX4IABLWiCABsCbFugg4/3PmSBgYu2A+ijzcOWKf0CBrCA2hZSAgkdrQ38P8Lefmy1sR/G9KXawLdY+PNQuQJp9oN9YWfsO/vKfrK/U2P1ZYwwly4+eaQV7uHi61ulP/9VNfEZwHGiOkfBkT6/pgDq8FjWYmJtrrSEVRpR/Hbv/VnpSTHdv8s+sV9Y30d2yr5hhXb7t/G5IIofMHpajrfASDVo49OAFI5xH3vDXDn6+tI6iPNJ+HGFI/se3ibmeIxqXfYc6EyNcEK864TgugTXJbgewfUIrkNwHYKrE1yd4BoE1yC4NYJbI7hNgtskuC2C2yK4KsFVCW6P4PYIjhEcUzgez2+4lql55fG8Rn51Prn8EoZ+QfibuOoToib7KuVijuYYF1ko0ldInyTD3MIVPsoObSodjtKQH1Uk9gGhsuS+wdEyqRv1UMq8UnF+SsUl+bU2JypJrKpieyyrRLM9kdOoaifO30CfhbvTjkKsT6wojv11hSoSVFGhnsvdJgU5SddxDwr3zmg2h6dGlEe0K9GeXBgXz7Ds5ImlNiq5TPZBJld4mFp9Gp9m83Ab7sA9jP8IVmEDx7+MOQh4A2/hnXZfe6FVtGqEzs7Empswdmn6P96Qjsw=</latexit>

副詞
x：
周波数
z, y：
トピック
✓：
潜在トピ
ック分布

xM P

<latexit sha1_base64="ynPS7gJubn89RDmwNQQr7ofE/NE=">AAAHrHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJk2aKokqr1k3Jv6S7SRNorwAJ24IOIHEAfEYXHgBDn0ExLFIXDgwXjvKhyfFVuLdmd9/PLO73uWuafgBY2dz8wuXLl9RFq8uXbt+4+byyuqtsu+0PE2UNMd0vApXfWEatigFRmCKiusJ1eKmOOTN56H/sC0833Dsg6DrirqlntiGbmhqgKZyLWiIQD1eSbEMk9daspGNGymIr7yzurAFNXgJDmjQAgsE2BBg2wQVfLyrkAUGLtrq0Eebhy1D+gUMYAm1LaQEEipam/h/gr1qbLWxH8b0pVrDt5j481C5Bmn2g31h5+w7+8p+sr8zY/VljDCXLj55pBXu8fLrO8U//1VZ+AygMVJdoOBIX1xTADo8kbUYWJsrLWGVWhS/3Xt7XnxaSPfvs0/sF9b3kZ2xb1ih3f6tfd4XhQ8YPS3HW2CkGrTxqUEKx7iPvWGuHH19aR3E+Yz4SYUj+x7eBubYQLUqew50ZkY4Jd51SnBdgusSXI/gegTXIbgOwekEpxNck+CaBLdBcBsEt01w2wS3Q3A7BFchuArBHRHcEcExgmMJjsfzG65lal55PK+RPzmfXH4JQ78g/Bau+hFRk/0k5WKOxgQXWSjST5A+SYa5hSt8nB3aknQ4SkN+XDGyDwiVKfcNjpZp3biHUuYTFednVFyUX6s1VcnImlTsTmQ10uxO5TSu2ovz19Bn4u60lyA2p1YUx/5mgioQVCFBvZC7TQpyktZxDwr3zmg2h6dGlEe0K9GeXBgXz7Ds9ImVbJRzmezDTG7/UWr9WXyaLcJduAcPMP5jWIctHP8S5vAK3sA7eK9klAOlqtQjdH4u1tyGiUvR/wEOAJD3</latexit><latexit sha1_base64="05i1Qsam0Fm9F/5SK3jUPFG0cuo=">AAAHp3ichZXNbtNAEMenLeBSPtrCBYlLRRQEl2gTkECcWqBSq1YlHyRN1VSV12xaK45t2c638gJwBXHgBBIHxGNw4QU49BEQxyJx4cB47chJdlpsJd6d+f3HM7vrXe5aph8wdjIzO3fh4iVt/vLClavXri8uLd+o+E7LM0TZcCzHq3LdF5Zpi3JgBpaoup7Qm9wSu7zxLPTvtoXnm479Mui54qCpH9lm3TT0AE2F7uFSimWYvFbURjZupCC+8s7y3AbU4BU4YEALmiDAhgDbFujg470PWWDgou0ABmjzsGVKv4AhLKC2hZRAQkdrA/+PsLcfW23shzF9qTbwLRb+PFSuQJr9YF/YKfvOvrKf7O+ZsQYyRphLD5880gr3cPH1rdKf/6qa+AzgOFGdo+BIn19TAHV4LGsxsTZXWsIqjSh+u//+tPSkmB7cZZ/YL6zvIzth37BCu/3b+FwQxQ8YPS3HW2CkGrTxaUAKx3iAvVGuHH0DaR3G+ST8pMKRfQ9vE3M8RrUuew50zozQJd7VJbgewfUIrk9wfYLrEFyH4OoEVye4BsE1CG6N4NYIbpPgNglui+C2CK5KcFWC2yO4PYJjBMcUjsfzG65lal55PK+RX51PLr+EkV8Q/iau+oSoyb5KuZijOcFFFor0FdInyTC3cIWPsyObSoejNOLHFYl9SKgsuW9wtEzrxj2UMq9UnD+j4pL8WptTlSRWVbE9kVWi2Z7KaVy1E+dvoM/C3WlHIdanVhTH/rpCFQmqqFDP5W6Tgpyk67gHhXtnNJujUyPKI9qVaE8ujItnWHb6xFIblVwm+yCTKzxMrT6NT7N5uA134B7GfwSrsIHjX8YcBLyBt/BOu6+90CpaNUJnZ2LNTZi4NP0f102Oyw==</latexit><latexit sha1_base64="Vwn3ZZVFURP9o9lIJ7xfmnETmuQ=">AAAHp3ichZVLb9NAEMenLeBSHm3hgsSlIgqCS7QJSCBOLVCpVUvJg6Sp2qrymk1rxS/ZTtIkyheAK4gDJ5A4ID4GF74Ah34ExLFIXDgwXjvKYyetrcS7M7//eGZ3vcs9ywxCxk6mpmcuXLykzV6eu3L12vX5hcUblcBt+IYoG67l+lWuB8IyHVEOzdASVc8Xus0tsc3rzyL/dlP4gek6r8K2J/Zt/dAxa6ahh2gqvDhYSLEMk9eS2sgmjRQkV95dnFmDPXgNLhjQABsEOBBi2wIdArx3IQsMPLTtQxdtPrZM6RfQgznUNpASSOhoreP/IfZ2E6uD/ShmINUGvsXCn4/KJUizn+wrO2U/2Df2i/2bGKsrY0S5tPHJY63wDubf3Cr9PVdl4zOEo4HqDAVH+uyaQqjBY1mLibV50hJVacTxm50Pp6UnxXT3LvvMfmN9n9gJ+44VOs0/xpeCKH7E6Gk53gIj7UETnwakcIy72OvnytHXldZeks+AH1W4su/jbWKOR6jWZc+F1sQIx8S7jgmuTXBtgusQXIfgWgTXIrgawdUIrk5wdYJbIbgVglsnuHWC2yC4DYKrElyV4HYIbofgGMExhePJ/EZrmZpXnsxr7Ffnk8svoe8XhN/GVT8g9mRfpTzM0RzhYgtFBgoZkGSUW7TCh9m+TaWjUerzw4qBvUeoLLlvcLSM64Y9lDKvVJyfUHFJfq32WCUDq6rYHMlqoNkcy2lYtZXkb6DPwt1pSyFWx1YUx/6qQhUJqqhQz+Vuk4KcpGu4B0V7Zzyb/VMjziPelWhPLoqLZ1h2/MRSG5VcJvsgkys8TC0/TU6zWbgNd+Aexn8Ey7CG41/GHAS8hXfwXruvvdQqWjVGp6cSzU0YuTT9P579jqA=</latexit><latexit sha1_base64="Lyc9+QmYu4Z587ey+fucMquNi1A=">AAAHp3ichZXNbtNAEMenLeBSPtrCBYlLRRQEl2gTkECcWqBSq1YlHyRN1VSV12xaK45t2U7SJMoLwBXEgRNIHBCPwYUX4NBHQByLxIUD47UjJ9lJsZV4d+b3H8/srne5a5l+wNjpzOzchYuXtPnLC1euXru+uLR8o+I7Lc8QZcOxHK/KdV9Ypi3KgRlYoup6Qm9yS+zyxrPQv9sWnm869sug64qDpn5km3XT0AM0FfKHSymWYfJaURvZuJGC+Mo7y3MbUINX4IABLWiCABsCbFugg4/3PmSBgYu2A+ijzcOWKf0CBrCA2hZSAgkdrQ38P8Lefmy1sR/G9KXawLdY+PNQuQJp9oN9YWfsO/vKfrK/U2P1ZYwwly4+eaQV7uHi61ulP/9VNfEZwHGiOkfBkT6/pgDq8FjWYmJtrrSEVRpR/Hbv/VnpSTHdv8s+sV9Y30d2yr5hhXb7t/G5IIofMHpajrfASDVo49OAFI5xH3vDXDn6+tI6iPNJ+HGFI/se3ibmeIxqXfYc6EyNcEK864TgugTXJbgewfUIrkNwHYKrE1yd4BoE1yC4NYJbI7hNgtskuC2C2yK4KsFVCW6P4PYIjhEcUzgez2+4lql55fG8Rn51Prn8EoZ+QfibuOoToib7KuVijuYYF1ko0ldInyTD3MIVPsoObSodjtKQH1Uk9gGhsuS+wdEyqRv1UMq8UnF+SsUl+bU2JypJrKpieyyrRLM9kdOoaifO30CfhbvTjkKsT6wojv11hSoSVFGhnsvdJgU5SddxDwr3zmg2h6dGlEe0K9GeXBgXz7Ds5ImlNiq5TPZBJld4mFp9Gp9m83Ab7sA9jP8IVmEDx7+MOQh4A2/hnXZfe6FVtGqEzs7Empswdmn6P7TGjqM=</latexit><latexit sha1_base64="FIRHTJ6y0aQjTcRcNcbK/HAMxJ0=">AAAHqXichZVLb9NAEMenLeBSHm3hgsSlIgpCAkWbgATi1AKVWrWq8iBtSltVXneTWvFLtpM0ifIFkLjSAyeQOCA+Bhe+AId+BMSxSFw4MF47ymMnxVbi3Znffzyzu97lnmUGIWNnU9Mzly5f0Wavzl27fuPm/MLire3AbfiGKBuu5foVrgfCMh1RDs3QEhXPF7rNLbHD6y8j/05T+IHpOq/DticObL3mmFXT0EM0lTqP2ocLKZZh8lpSG9mkkYLkyruLM2uwD0fgggENsEGAAyG2LdAhwHsPssDAQ9sBdNHmY8uUfgE9mENtAymBhI7WOv7XsLeXWB3sRzEDqTbwLRb+fFQuQZr9YF/YOfvOvrKf7O/EWF0ZI8qljU8ea4V3OP/2TunPf1U2PkM4HqguUHCkL64phCo8k7WYWJsnLVGVRhy/2Tk9Lz0vprv32Sf2C+v7yM7YN6zQaf42PhdE8QNGT8vxFhhpH5r4NCCFY9zFXj9Xjr6utPaSfAb8qMKVfR9vE3M8RrUuey60JkY4Id51QnBtgmsTXIfgOgTXIrgWwVUJrkpwdYKrE9wKwa0Q3DrBrRPcBsFtEFyF4CoEt0twuwTHCI4pHE/mN1rL1LzyZF5jvzqfXH4Jfb8g/Dau+gGxL/sq5WGO5ggXWygyUMiAJKPcohU+zPZtKh2NUp8fVgzsPUJlyX2Do2VcN+yhlHml4vyEikvya7XHKhlYVcXmSFYDzeZYTsOqrSR/A30W7k5bCrE6tqI49lcVqkhQRYV6JXebFOQkXcU9KNo749nsnxpxHvGuRHtyUVw8w7LjJ5ba2M5lso8zucKT1PKL5DSbhbtwDx5g/KewDGs4/mXMoQbv4D2cag+1glbR3sTo9FSiuQ0jl2b8A+q1j4Y=</latexit>

D<latexit sha1_base64="dgnbaQMVfaVGceN9ClP19VhJacI=">AAAHp3ichZXNbtNAEMenLeBSPtrCBYlLRRQEl2gTkECcWmilVq1KPkiaqqkqr7tprTi2ZTtJkygvAFcQB04gcUA8BhdegEMfAXEsEhcOjNeOnGSnxVbi3Znffzyzu97lrmX6AWOnU9Mzly5f0Wavzl27fuPm/MLirYrvtDxDlA3Hcrwq131hmbYoB2ZgiarrCb3JLbHDGy9C/05beL7p2K+Criv2m/qRbdZNQw/QVFg9WEixDJPXktrIxo0UxFfeWZxZhxocggMGtKAJAmwIsG2BDj7ee5AFBi7a9qGPNg9bpvQLGMAcaltICSR0tDbw/wh7e7HVxn4Y05dqA99i4c9D5RKk2Q/2hZ2x7+wr+8n+nhurL2OEuXTxySOtcA/mX98p/fmvqonPAI4T1QUKjvTFNQVQh6eyFhNrc6UlrNKI4rd7789Kz4rp/n32if3C+j6yU/YNK7Tbv43PBVH8gNHTcrwFRqpBG58GpHCM+9gb5srR15fWQZxPwo8rHNn38DYxx2NU67LnQOfcCCfEu04IrktwXYLrEVyP4DoE1yG4OsHVCa5BcA2CWyG4FYLbILgNgtskuE2CqxJcleB2CW6X4BjBMYXj8fyGa5maVx7Pa+RX55PLL2HoF4S/ias+IWqyr1Iu5miOcZGFIn2F9EkyzC1c4aPs0KbS4SgN+VFFYh8QKkvuGxwtk7pRD6XMKxXnz6m4JL/W5kQliVVVbI1llWi2JnIaVW3H+Rvos3B32laItYkVxbG/plBFgioq1KrcbVKQk3Qd96Bw74xmc3hqRHlEuxLtyYVx8QzLTp5YaqOSy2QfZXKFx6nl5/FpNgt34R48wPhPYBnWcfzLmIOAN/AW3mkPtZdaRatG6PRUrLkNY5em/wNdoo6X</latexit>

K<latexit sha1_base64="6JmFPPx+QYs8W91EFceIMmhmqLo=">AAAHp3ichZXNbtNAEMenLeBSPtrCBYlLRRQEl2gTkECcWqBSq1QlHyRN1VSV12xaK3Zs2U7SJMoLwBXEgRNIHBCPwYUX4NBHQByLxIUD47UjJ9lpsZV4d+b3H8/srne5a5l+wNjJzOzchYuXtPnLC1euXru+uLR8o+o7bc8QFcOxHK/GdV9YZktUAjOwRM31hG5zS+zw5rPQv9MRnm86rZdBzxX7tn7YMhumoQdoKuYPllIsw+S1ojaycSMF8VVwluc2oA6vwAED2mCDgBYE2LZABx/vPcgCAxdt+zBAm4ctU/oFDGEBtW2kBBI6Wpv4f4i9vdjawn4Y05dqA99i4c9D5Qqk2Q/2hZ2y7+wr+8n+nhlrIGOEufTwySOtcA8WX98q//mvysZnAEeJ6hwFR/r8mgJowGNZi4m1udISVmlE8Tv996flJ6X04C77xH5hfR/ZCfuGFbY6v43PRVH6gNHTcrwFRqpDB58GpHCMB9gb5crRN5DWYZxPwk8qHNn38DYxxyNU67LnQPfMCMfEu44JrkdwPYLrE1yf4LoE1yW4BsE1CK5JcE2CWyO4NYLbJLhNgssTXJ7gagRXI7hdgtslOEZwTOF4PL/hWqbmlcfzGvnV+eTySxj5BeG3cdUnRF32VcrFHM0JLrJQpK+QPkmGuYUrfJwd2VQ6HKURP65I7ENCZcl9g6NlWjfuoZQFpeLCGRWX5ddqT1WSWFXF1kRWiWZrKqdx1Xacv4E+C3enbYVYn1pRHPvrClUiqJJCPZe7TQpykm7gHhTundFsjk6NKI9oV6I9uTAunmHZ6RNLbVRzmeyDTK74MLX6ND7N5uE23IF7GP8RrMIGjn8FcxDwBt7CO+2+9kKrarUInZ2JNTdh4tL0f5B3jp4=</latexit>

l 各トピックは、副詞の確率分布と周波数空間でのガウス分布の両方を持つ
117 / 130 言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

Spectral Mixture LDA (2)l 推定された副詞のトピックと、対応する対数周波数
Topic 1

Topic 2

Topic 3Topic 4

Topic 5Topic 6

Topic 7

硬く

だらだら

大股で

痛そうに

楽しそうに

堂々と

ゆっくりと

奇妙に

元気なく

威嚇して クタクタな リズミカル サッサッ じっくりとふざけて気だるく どっしりと 足が痛い

調子よく

普通に

静々と

ぎこちなく 脱力して

忍んで

辛そうに

きびきび

力強く

確実に

不自然に

偉そうな

よろよろ

軽快に

颯爽と

一歩ずつ

辛い

GPLVM 1次元目

GPLVM 2次元目

118 / 130 言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

GPLVM 3次元目

Spectral Mixture LDA (3)l テストデータの動画からトピック分布と副詞を予測
確率

動作の
潜在
トピック
分布 ✓
<latexit sha1_base64="ynPS7gJubn89RDmwNQQr7ofE/NE=">AAAHrHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJk2aKokqr1k3Jv6S7SRNorwAJ24IOIHEAfEYXHgBDn0ExLFIXDgwXjvKhyfFVuLdmd9/PLO73uWuafgBY2dz8wuXLl9RFq8uXbt+4+byyuqtsu+0PE2UNMd0vApXfWEatigFRmCKiusJ1eKmOOTN56H/sC0833Dsg6DrirqlntiGbmhqgKZyLWiIQD1eSbEMk9daspGNGymIr7yzurAFNXgJDmjQAgsE2BBg2wQVfLyrkAUGLtrq0Eebhy1D+gUMYAm1LaQEEipam/h/gr1qbLWxH8b0pVrDt5j481C5Bmn2g31h5+w7+8p+sr8zY/VljDCXLj55pBXu8fLrO8U//1VZ+AygMVJdoOBIX1xTADo8kbUYWJsrLWGVWhS/3Xt7XnxaSPfvs0/sF9b3kZ2xb1ih3f6tfd4XhQ8YPS3HW2CkGrTxqUEKx7iPvWGuHH19aR3E+Yz4SYUj+x7eBubYQLUqew50ZkY4Jd51SnBdgusSXI/gegTXIbgOwekEpxNck+CaBLdBcBsEt01w2wS3Q3A7BFchuArBHRHcEcExgmMJjsfzG65lal55PK+RPzmfXH4JQ78g/Bau+hFRk/0k5WKOxgQXWSjST5A+SYa5hSt8nB3aknQ4SkN+XDGyDwiVKfcNjpZp3biHUuYTFednVFyUX6s1VcnImlTsTmQ10uxO5TSu2ovz19Bn4u60lyA2p1YUx/5mgioQVCFBvZC7TQpyktZxDwr3zmg2h6dGlEe0K9GeXBgXz7Ds9ImVbJRzmezDTG7/UWr9WXyaLcJduAcPMP5jWIctHP8S5vAK3sA7eK9klAOlqtQjdH4u1tyGiUvR/wEOAJD3</latexit>

潜在トピック
副詞

予測パープレキシティ：
149 (ユニグラム)
à 32 (スペクトル混合LDA)

予測確率

ぎこちなく

0.056

痛そうに

0.054

不自然に

0.048

ゆっくり

0.036

ふざけて

0.035

119 / 130 言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

地理言語学l 科研費国際共同研究強化(B)「 時空間を融合する：

GISと数理モデルを用いた新たな言語変化へのアプローチ」(代表：菊澤律子 (民博))– NLPからは持橋、村脇さん(京大)が参加
l フィジーの方言のモデル化– Murawaki "Latent Geographical Factors forAnalyzing the Evolution of Dialects in Contact”(EMNLP 2020)– 以下は、村脇さんの研究と若干違うモデル化

120 / 130 言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

フィジー共和国
l 成田から直行便で9時間

121 / 130 言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

フィジー語方言の分布
180.58 39.84
182.76 39.67
183.34 39.17
183.90 39.86
184.13 39.87
184.61 38.85
185.01 40.03
185.27 38.75
185.54 39.32
186.13 39.09
186.16 39.83
186.46 39.19
186.66 38.71
186.94 40.25
187.21 39.07
187.24 38.79
187.42 38.74
122 / 130

oti devu
oti rewa
oti
oti
rewa devu
oti devu
devu
oti devu rewa
oti rewa devu
devu
devu
rewa oti
oti devu
devu
oti
oti
oti

l どうやって方言の空間分布をモデル化する?

Variations in xk<latexit sha1_base64="YITVBHH+BDVKAyw4G+yWWI+Rt9I=">AAAHZXichZXPTxNBFMcfoBQRBNQYEw8SGoinZlpNNJ5AJZFASGktlABpdpbZuul2d7O7Lf2R/gMmXuXgSRMPxj/Di/+AB/4CYzxi4sWDb2e32bbzwG3amXnv8319b2Z2hruW6QeMnY2NT1y5OpmaujZ9fWb2xtz8ws1d32l4uijpjuV4Za75wjJtUQrMwBJl1xNanVtij9eeh/69pvB807FfBW1XHNW1qm0apq4FaCq2KrXKfJplmHwW1U427qQhfvLOwsQKHMIxOKBDA+ogwIYA+xZo4OPnALLAwEXbEXTR5mHPlH4BPZhGbQMpgYSG1hr+VnF0EFttHIcxfanW8V8s/HqoXIRl9p19ZufsG/vCfrK/F8bqyhhhLm1seaQVbmXuzd3in/+q6tgG8DpRXaLgSF9eUwAGPJG1mFibKy1hlXoUv9k5PS8+LSx3V9hH9gvr+8DO2Fes0G7+1j/tiMJ7Gf0YNQa2TWx1SOMMd3HUz5SjryutvTibhG8RZIvg2gTXJrgOwXUI7oTgTgjOIDiD4GoEVyO4NYJbI7gNgtsguE2C2yS4MsGVCW6f4PYJjhEcUzger2+4D6l15fG6Rn51PbncxX2/IPx13LEJcSjHKuVijuYQF1ko0ldInyTD3AKsf5Dt21Q6nKU+P6hI7D1CZcl3nqNlVDfooZR5peL8BRUX0VqVKzlIJ1ZVsTWUVaLZGslpULUd56+jz8KTZVsh1kd2FMfxukIVCKqgUC/kaZOGnKQNPJ/Dcy9azf6JH+URnUq0JxfGxfsnO3rbqJ3dXCb7MJPbeZRefRbfRFNwD5bgAcZ/DKvwEue/hDlU4S28g9PJH6nZ1O3UnQgdH4s1t2DoSd3/B7VUgm8=</latexit>l xk = (transformed) tendency of word k for a concept<latexit sha1_base64="YITVBHH+BDVKAyw4G+yWWI+Rt9I=">AAAHZXichZXPTxNBFMcfoBQRBNQYEw8SGoinZlpNNJ5AJZFASGktlABpdpbZuul2d7O7Lf2R/gMmXuXgSRMPxj/Di/+AB/4CYzxi4sWDb2e32bbzwG3amXnv8319b2Z2hruW6QeMnY2NT1y5OpmaujZ9fWb2xtz8ws1d32l4uijpjuV4Za75wjJtUQrMwBJl1xNanVtij9eeh/69pvB807FfBW1XHNW1qm0apq4FaCq2KrXKfJplmHwW1U427qQhfvLOwsQKHMIxOKBDA+ogwIYA+xZo4OPnALLAwEXbEXTR5mHPlH4BPZhGbQMpgYSG1hr+VnF0EFttHIcxfanW8V8s/HqoXIRl9p19ZufsG/vCfrK/F8bqyhhhLm1seaQVbmXuzd3in/+q6tgG8DpRXaLgSF9eUwAGPJG1mFibKy1hlXoUv9k5PS8+LSx3V9hH9gvr+8DO2Fes0G7+1j/tiMJ7Gf0YNQa2TWx1SOMMd3HUz5SjryutvTibhG8RZIvg2gTXJrgOwXUI7oTgTgjOIDiD4GoEVyO4NYJbI7gNgtsguE2C2yS4MsGVCW6f4PYJjhEcUzger2+4D6l15fG6Rn51PbncxX2/IPx13LEJcSjHKuVijuYQF1ko0ldInyTD3AKsf5Dt21Q6nKU+P6hI7D1CZcl3nqNlVDfooZR5peL8BRUX0VqVKzlIJ1ZVsTWUVaLZGslpULUd56+jz8KTZVsh1kd2FMfxukIVCKqgUC/kaZOGnKQNPJ/Dcy9azf6JH+URnUq0JxfGxfsnO3rbqJ3dXCb7MJPbeZRefRbfRFNwD5bgAcZ/DKvwEue/hDlU4S28g9PJH6nZ1O3UnQgdH4s1t2DoSd3/B7VUgm8=</latexit>l To model spatial variations of xk , xk is assumed to<latexit sha1_base64="YITVBHH+BDVKAyw4G+yWWI+Rt9I=">AAAHZXichZXPTxNBFMcfoBQRBNQYEw8SGoinZlpNNJ5AJZFASGktlABpdpbZuul2d7O7Lf2R/gMmXuXgSRMPxj/Di/+AB/4CYzxi4sWDb2e32bbzwG3amXnv8319b2Z2hruW6QeMnY2NT1y5OpmaujZ9fWb2xtz8ws1d32l4uijpjuV4Za75wjJtUQrMwBJl1xNanVtij9eeh/69pvB807FfBW1XHNW1qm0apq4FaCq2KrXKfJplmHwW1U427qQhfvLOwsQKHMIxOKBDA+ogwIYA+xZo4OPnALLAwEXbEXTR5mHPlH4BPZhGbQMpgYSG1hr+VnF0EFttHIcxfanW8V8s/HqoXIRl9p19ZufsG/vCfrK/F8bqyhhhLm1seaQVbmXuzd3in/+q6tgG8DpRXaLgSF9eUwAGPJG1mFibKy1hlXoUv9k5PS8+LSx3V9hH9gvr+8DO2Fes0G7+1j/tiMJ7Gf0YNQa2TWx1SOMMd3HUz5SjryutvTibhG8RZIvg2gTXJrgOwXUI7oTgTgjOIDiD4GoEVyO4NYJbI7gNgtsguE2C2yS4MsGVCW6f4PYJjhEcUzger2+4D6l15fG6Rn51PbncxX2/IPx13LEJcSjHKuVijuYQF1ko0ldInyTD3AKsf5Dt21Q6nKU+P6hI7D1CZcl3nqNlVDfooZR5peL8BRUX0VqVKzlIJ1ZVsTWUVaLZGslpULUd56+jz8KTZVsh1kd2FMfxukIVCKqgUC/kaZOGnKQNPJ/Dcy9azf6JH+URnUq0JxfGxfsnO3rbqJ3dXCb7MJPbeZRefRbfRFNwD5bgAcZ/DKvwEue/hDlU4S28g9PJH6nZ1O3UnQgdH4s1t2DoSd3/B7VUgm8=</latexit><latexit sha1_base64="YITVBHH+BDVKAyw4G+yWWI+Rt9I=">AAAHZXichZXPTxNBFMcfoBQRBNQYEw8SGoinZlpNNJ5AJZFASGktlABpdpbZuul2d7O7Lf2R/gMmXuXgSRMPxj/Di/+AB/4CYzxi4sWDb2e32bbzwG3amXnv8319b2Z2hruW6QeMnY2NT1y5OpmaujZ9fWb2xtz8ws1d32l4uijpjuV4Za75wjJtUQrMwBJl1xNanVtij9eeh/69pvB807FfBW1XHNW1qm0apq4FaCq2KrXKfJplmHwW1U427qQhfvLOwsQKHMIxOKBDA+ogwIYA+xZo4OPnALLAwEXbEXTR5mHPlH4BPZhGbQMpgYSG1hr+VnF0EFttHIcxfanW8V8s/HqoXIRl9p19ZufsG/vCfrK/F8bqyhhhLm1seaQVbmXuzd3in/+q6tgG8DpRXaLgSF9eUwAGPJG1mFibKy1hlXoUv9k5PS8+LSx3V9hH9gvr+8DO2Fes0G7+1j/tiMJ7Gf0YNQa2TWx1SOMMd3HUz5SjryutvTibhG8RZIvg2gTXJrgOwXUI7oTgTgjOIDiD4GoEVyO4NYJbI7gNgtsguE2C2yS4MsGVCW6f4PYJjhEcUzger2+4D6l15fG6Rn51PbncxX2/IPx13LEJcSjHKuVijuYQF1ko0ldInyTD3AKsf5Dt21Q6nKU+P6hI7D1CZcl3nqNlVDfooZR5peL8BRUX0VqVKzlIJ1ZVsTWUVaLZGslpULUd56+jz8KTZVsh1kd2FMfxukIVCKqgUC/kaZOGnKQNPJ/Dcy9azf6JH+URnUq0JxfGxfsnO3rbqJ3dXCb7MJPbeZRefRbfRFNwD5bgAcZ/DKvwEue/hDlU4S28g9PJH6nZ1O3UnQgdH4s1t2DoSd3/B7VUgm8=</latexit>

distribute according to a Gaussian process:x1

x2<latexit sha1_base64="HEw7b8vMzH1qejvjxAKvcEA62ZE=">AAAHZXichZXPTxNBFMcfoBQRBNQYEw8SGoinZlpNNJ5AJZFASGktlABpdpbZuul2d7O7Lf2R/gMmXuXgSRMPxj/Di/+AB/4CYzxi4sWDb2e32bbzwG3amXnv8319b2Z2hruW6QeMnY2NT1y5OpmaujZ9fWb2xtz8ws1d32l4uijpjuV4Za75wjJtUQrMwBJl1xNanVtij9eeh/69pvB807FfBW1XHNW1qm0apq4FaCq2KtnKfJplmHwW1U427qQhfvLOwsQKHMIxOKBDA+ogwIYA+xZo4OPnALLAwEXbEXTR5mHPlH4BPZhGbQMpgYSG1hr+VnF0EFttHIcxfanW8V8s/HqoXIRl9p19ZufsG/vCfrK/F8bqyhhhLm1seaQVbmXuzd3in/+q6tgG8DpRXaLgSF9eUwAGPJG1mFibKy1hlXoUv9k5PS8+LSx3V9hH9gvr+8DO2Fes0G7+1j/tiMJ7Gf0YNQa2TWx1SOMMd3HUz5SjryutvTibhG8RZIvg2gTXJrgOwXUI7oTgTgjOIDiD4GoEVyO4NYJbI7gNgtsguE2C2yS4MsGVCW6f4PYJjhEcUzger2+4D6l15fG6Rn51PbncxX2/IPx13LEJcSjHKuVijuYQF1ko0ldInyTD3AKsf5Dt21Q6nKU+P6hI7D1CZcl3nqNlVDfooZR5peL8BRUX0VqVKzlIJ1ZVsTWUVaLZGslpULUd56+jz8KTZVsh1kd2FMfxukIVCKqgUC/kaZOGnKQNPJ/Dcy9azf6JH+URnUq0JxfGxfsnO3rbqJ3dXCb7MJPbeZRefRbfRFNwD5bgAcZ/DKvwEue/hDlU4S28g9PJH6nZ1O3UnQgdH4s1t2DoSd3/Bx9/gjU=</latexit><latexit sha1_base64="/a9j3PRpFf0UPrSEYFZ36RuRNUI=">AAAHZXichZXPTxNBFMcfoBQRBNQYEw8SGoinZlpNNJ5AJZFASGktlABpdpbZuul2d7O7Lf2R/gMmXuXgSRMPxj/Di/+AB/4CYzxi4sWDb2e32bbzwG3amXnv8319b2Z2hruW6QeMnY2NT1y5OpmaujZ9fWb2xtz8ws1d32l4uijpjuV4Za75wjJtUQrMwBJl1xNanVtij9eeh/69pvB807FfBW1XHNW1qm0apq4FaCq2KrnKfJplmHwW1U427qQhfvLOwsQKHMIxOKBDA+ogwIYA+xZo4OPnALLAwEXbEXTR5mHPlH4BPZhGbQMpgYSG1hr+VnF0EFttHIcxfanW8V8s/HqoXIRl9p19ZufsG/vCfrK/F8bqyhhhLm1seaQVbmXuzd3in/+q6tgG8DpRXaLgSF9eUwAGPJG1mFibKy1hlXoUv9k5PS8+LSx3V9hH9gvr+8DO2Fes0G7+1j/tiMJ7Gf0YNQa2TWx1SOMMd3HUz5SjryutvTibhG8RZIvg2gTXJrgOwXUI7oTgTgjOIDiD4GoEVyO4NYJbI7gNgtsguE2C2yS4MsGVCW6f4PYJjhEcUzger2+4D6l15fG6Rn51PbncxX2/IPx13LEJcSjHKuVijuYQF1ko0ldInyTD3AKsf5Dt21Q6nKU+P6hI7D1CZcl3nqNlVDfooZR5peL8BRUX0VqVKzlIJ1ZVsTWUVaLZGslpULUd56+jz8KTZVsh1kd2FMfxukIVCKqgUC/kaZOGnKQNPJ/Dcy9azf6JH+URnUq0JxfGxfsnO3rbqJ3dXCb7MJPbeZRefRbfRFNwD5bgAcZ/DKvwEue/hDlU4S28g9PJH6nZ1O3UnQgdH4s1t2DoSd3/ByZ+gjY=</latexit>

4

4
2

2

0
0

-2
-2
1

123 / 130

0.8

0.6

0.4

0.2

0

0

0.2

0.4

0.6

0.8

1

-4
1

0.8

0.6

0.4

0.2

0

0

0.2

0.4

0.6

0.8

1

The Modell yi = {w1 , w2 , · · · } : words used by a communalect i<latexit sha1_base64="lzoUxnazRQ+szIAZpeRaqHmyTw0=">AAAHfHichZXNbtNAEMenLTSlfDSFSyUuEaEVEm20CQgQElILVKJqVaUJaVM1lWU762DFsS3bSZpY4QF4AQ6cQHBACF6CCy/AoY+AOBaJC0KM147y4WlxlOzuzO8/mdld7yq2obseY8cTk1Pnzk8nZi7MXrx0+cpccv7qrms1HZWXVMuwnLIiu9zQTV7ydM/gZdvhckMx+J5SfxL491rccXXLfO51bH7YkGumrumq7KFJSi50JD31KFXx21J2uS3llitq1fLcSk9KplmGiScV72SjThqiJ2/NTy1BBapggQpNaAAHEzzsGyCDi58DyAIDG22H4KPNwZ4u/Bx6MIvaJlIcCRmtdfyt4eggspo4DmK6Qq3ivxj4dVCZgkX2nX1kJ+wb+8R+sD+nxvJFjCCXDrZKqOW2NPdqofj7v6oGth68GKjOUChIn12TBxo8ELXoWJstLEGVahi/1X19UnxYWPSX2Dv2E+t7y47ZV6zQbP1SP+zwwhsRvYoaDdsWtiqkcYZ9HPUzVdDnC2svymbAHxHkEcF1CK5DcF2C6xJcm+DaBKcRnEZwdYKrE9wawa0R3AbBbRDcJsFtElyZ4MoEt09w+wTHCI7FOCVa32AfUuuqROsa+uPrqYhd3Pdzwt/AHTsgKmIcp2zMUR/hQgtFujHSJckgNw/rH2b7tjgdzFKfH1YM7D1CZYh3XkHLuG7YQynzsYrzp1RcRGtNrOQwPbDGFVsjWQ00W2M5Dau2o/xV9Bl4smzHiPWxHaXgeD1GFQiqEKOeitMmDTlBa3g+B+deuJr9Ez/MIzyVaE8uiIv3T3b8tol3dnOZ7J1MbuduevVxdBPNwHW4Abcw/n1YhWc4/yXM4SW8h8/wZfpv4mbidmIlRCcnIs01GHkS9/4B/SGKfg==</latexit>

for a single conceptl Y = (y1 , · · · , yN ) : collections of yi over N different
communalects<latexit sha1_base64="bjUq6mFY+jKCo0VT+ea5IeNGL4Q=">AAAHZXichZXPTxNBFMcfoBRRBNQYEw8SG4inZlpNNJ5AJZFASGktlABpdpbZuun+yu620Db9B0y8ysGTJh6Mf4YX/wEP/AXGeMTEiwffzm6zbeeB27Qz897n+/rezOwM9ywzCBk7HRufuHR5MjN1ZfrqtZnrs3PzN7YDt+nroqK7lutXuRYIy3REJTRDS1Q9X2g2t8QObzyP/Dst4Qem67wK2544sLW6YxqmroVoKrdrZm0uy3JMPgtqJ590spA8RXd+Ygn24RBc0KEJNghwIMS+BRoE+NmDPDDw0HYAXbT52DOlX0APplHbREogoaG1gb91HO0lVgfHUcxAqnX8Fwu/PioXYJF9Z5/ZGfvGvrCf7O+5sboyRpRLG1sea4VXm31zp/znvyob2xBep6oLFBzpi2sKwYAnshYTa/OkJapSj+O3Oidn5aelxe4S+8h+YX0f2Cn7ihU6rd/6py1Rei+jH6LGwLaFrQ5ZnOEujvqZcvR1pbWXZJPyxwR5THBtgmsTXIfgOgR3RHBHBGcQnEFwDYJrENwKwa0Q3BrBrRHcOsGtE1yV4KoEt0twuwTHCI4pHE/WN9qH1LryZF1jv7qeXO7ivl8Qfht3bErsy7FKeZijOcTFFooMFDIgySi3EOsfZPs2lY5mqc8PKlJ7j1BZ8p3naBnVDXooZVGpuHhOxWW01uVKDtKpVVVsDGWVajZGchpUbSb56+iz8GTZVIjVkR3FcbyqUCWCKinUC3naZKEgaQPP5+jci1ezf+LHecSnEu0pRHHx/smP3jZqZ7uQyz/MFbYeZZefJTfRFNyF+/AA4z+GZXiJ81/BHOrwFt7ByeSPzEzmVuZ2jI6PJZqbMPRk7v0DrleCbg==</latexit><latexit sha1_base64="InPxCeXSRCZFLCy5+A4G2P0d/8M=">AAAHenichZXPTxNBFMcfoBTxB0UTY+IFaCAQSTOtJBoTE1BJJJCmtBbaUNLsbqd10+3uZndb2Nb+A/4DHjxJ4sHgf+HFf8ADf4LxiIkXDr6d3Wbb7gO2aWfmvc/39b2Z2RnZ1FTbYexsbHzixs3J2NSt6dt37t6bic/e37ONlqXwgmJohlWUJZtrqs4LjupovGhaXGrKGt+XG689/36bW7Zq6O8c1+SHTamuqzVVkRw0VeIPS+X5l+X5ZbeSWi0rVcOxV91KZqUST7AkE89ctJMKOgkInqwxO7EEZaiCAQq0oAkcdHCwr4EENn4OIAUMTLQdQhdtFvZU4efQg2nUtpDiSEhobeBvHUcHgVXHsRfTFmoF/0XDr4XKOVhkv9g3ds5+slP2m11cGqsrYni5uNjKvpablZmPj/L/rlU1sXXgfai6QiEjfXVNDtTguahFxdpMYfGqVPz47c6n8/yL3GJ3iZ2wP1jfF3bGfmCFevuv8nWX5z6L6FXU1LBtY6tAAme4i6N+pjL6usLaC7IJ+WOCPCY4l+BcgusQXIfgjgjuiOBqBFcjuAbBNQhug+A2CG6L4LYIbpvgtgmuSHBFgisRXIngGMGxCCcH6+vtQ2pd5WBdfX90PWWxi/t+TvibuGNDoizGUcrEHNUhzrdQpB0hbZL0cnOw/kG2b4vS3iz1+UFFaO8RKk288zJaRnWDHkqZjVScvaTiPFrrYiUH6dAaVewMZRVqdkZyGlRlgvwV9Gl4smQixObIjpJxvBmhcgSVi1BvxGmTgLSga3g+e+eev5r9E9/Pwz+VaE/ai4v3T2r0tol29tLJ1NNkenctsf4quImm4DEswDLGfwbr8Bbnv4A5fIATOIXvkxexhdhK7ImPjo8Fmgcw9MTW/gOX1Yj9</latexit>p(Y, X) = p(Y |X)p(X)=<latexit sha1_base64="0YCl/SdbCU7QFdzBTBVjLX1bLg8=">AAAH/nichZXPaxNBFMdfWjU1/mirF8HLYmhIoNRJFBSh0KoFS0toU9tu6daws5lNl2x2l93Nr24XPPsPCHpSUBARr969+A946J8gHit48eDbHzFpdlo3JDPz3uf78t7M7Ay1dM1xCTlKjY2fO38hPXExc+nylauTU9PXthyzZStsUzF10xap7DBdM9imq7k6Ey2byU2qs23aeBT4t9vMdjTTeOr2LLbXlOuGpmqK7KKpOvXKyu/MioXcPLaHYsHKiwVJyuTmJZ2pbj4jWbZZq3rafNF/VhbiUUeQNEPoVTVfsPKdQ6kpu/tU9bp+VStkJFur77sFQVJqpitkpJZRYza1ZYV5IajIulf28+I/GfFn+90Vv+BXEaNm1/P96lSWzJHwEZKdYtzJQvysmdPjOZCgBiYo0IImMDDAxb4OMjj42YUiELDQtgce2mzsaaGfgQ8Z1LaQYkjIaG3gbx1Hu7HVwHEQ0wnVCv6Ljl8blQLMkO/kAzkm38hH8oP8OTWWF8YIculhSyMts6qTL25s/P6vqomtC/sD1RkKivTZNbmgwv2wFg1rs0JLUKUSxW8fvDzeeFCZ8XLkLfmJ9b0hR+QrVmi0fynv1lnldRi9hhoV2za2CmRxhj0c9TOl6PNCqx9nM+C7HLLL4XocrsfhDjjcAYfrcLgOh1M5nMrhGhyuweEWOdwih1vmcMscboXDrXA4kcOJHG6Hw+1wOMLhSIKj8foG+5C3rjRe18ifXE8a7uK+n3H8TdyxA0IKx0nKwhy1E1xk4ZFOgnS4ZJCbi/UPs31bkg5mqc8PKwZ2n6PSw3eeomVUN+zhKdcSFa+dUvEGWuvhSg7TA2tSsXoiq4FmdSSnYVU5zl9Bn44nSzlBLI3sKIrjpQRV4VCVBPU4PG2yUAppFc/n4NyLVrN/4kd5RKcS31MK4uL9Uxy9bZKdrdJc8c5caf1uduFhfBNNwE24BXmMfw8W4AnO/yYoKUjlUrdTJP08/T79Kf05QsdSseY6nHjSX/4Cmdq5yA==</latexit>

N Y
Y

i=1 w2yip(w|xi )Softmax!

· N (X|0, K)|{z}Gaussian process– X can be sampled through an elliptical slice
sampling (Murray+ 2010)
124 / 130

Examples on word 5

125 / 130

Examples on word 5

126 / 130

oti

devu

rewa

kora

Examples on word 2

127 / 130

Examples on word 2

128 / 130

qu

au

kau

u

まとめ
l ガウス過程：連続的に変化する関数を生成する

確率過程– ガウス過程回帰＝カーネル法に基づくベイズ的な非線形回帰モデル– 空間データやロボティクスなど、自然言語処理でもこれから連続値を扱う必要– 教師なし学習も含め、さまざまな応用
l 深層学習はノード数→∞でガウス過程に一致
3l 計算量はナイーブには O(N ) だが、様々な計算量削減
2O(N)
法があり、実質l 詳しくは、『ガウス過程と機械学習』を参照のこと<latexit sha1_base64="mCUP+zb/4rZRvDkeKtjwvGqy814=">AAAHrHichZXNbtNAEMenLeBSPtrCBYlLRRRULtEmRQJxaoFKrVqFNGnSVEmpbLNuTfwl20maRHkBTtwQcAKJA+IxuPACHPoIiGORuHBgvHbkJJ60thLvzvz+45nd9a7iGLrnM3Y6NT1z6fIVafbq3LXrN27OLyzeqnh201V5WbUN260qsscN3eJlX/cNXnVcLpuKwfeUxrPAv9firqfb1q7fcfiBKR9Zuqarso+myovl/MuVB4cLKZZh4lpKNrJRIwXRVbAXZzagDq/ABhWaYAIHC3xsGyCDh3cNssDAQdsB9NDmYksXfg59mENtEymOhIzWBv4fYa8WWS3sBzE9oVbxLQb+XFQuQZr9ZF/ZGfvBvrFf7N/EWD0RI8ilg08l1HLncP7NndLfC1UmPn04jlXnKBSkz6/JBw0ei1p0rM0RlqBKNYzf6r47Kz0ppnv32Wf2G+v7xE7Zd6zQav1Rv+zw4keMnhbjzTFSHVr4VCGFY9zD3iBXBX09Ye1H+cT8qMIWfRdvHXM8RrUseja0J0Y4Id51QnAdgusQXJfgugTXJrg2wWkEpxFcg+AaBLdGcGsEt0lwmwS3RXBbBFcluCrB7RPcPsExgmMJTonmN1jL1Lwq0byG/uR8KuJLGPg54Tdx1cdEXfSTlIM56iNcaKFIL0F6JBnkFqzwYXZgS9LBKA34YUVs7xMqQ+wbClrGdcMeSllIVFyYUHFJfK3mWCWxNanYHskq1myP5TSsykf5q+gzcHfKJ4j1sRWlYH89QRUJqpignovdJgU5QWu4BwV7Zzibg1MjzCPclWhPLoiLZ1h2/MRKNiq5THYlk9t5mFp9Gp1ms3AX7sEyxn8Eq7CB41/GHF7DW3gPH6SMtCvVpIMQnZ6KNLdh5JK0/ybwkAQ=</latexit><latexit sha1_base64="9RZvK5sLEfyKilwG/A45nciJQk0=">AAAHrHichZXNbtNAEMenLeBSPtrCBYlLRRRULtEmIIE4tUClVq1CmjRpqiRUtlm3Jv6S7SRNorwAJ24IOIHEAfEYXHgBDn0ExLFIXDgwXjtyEk+KrcS7M7//eGZ3vas4hu75jJ3OzM5duHhJmr+8cOXqteuLS8s3Kp7dclVeVm3DdquK7HFDt3jZ132DVx2Xy6Zi8H2l+TTw77e56+m2ted3Hd4w5SNL13RV9tFUeb6af5G7d7iUYhkmrpVkIxs1UhBdBXt5bhPq8BJsUKEFJnCwwMe2ATJ4eNcgCwwctDWgjzYXW7rwcxjAAmpbSHEkZLQ28f8Ie7XIamE/iOkJtYpvMfDnonIF0uwH+8LO2Hf2lf1kf6fG6osYQS5dfCqhljuHi69vlf78V2Xi04fjWHWOQkH6/Jp80OCRqEXH2hxhCapUw/jt3tuz0uNiun+XfWK/sL6P7JR9wwqt9m/18y4vfsDoaTHeHCPVoY1PFVI4xn3sDXNV0NcX1kGUT8yPK2zRd/HWMcdjVMuiZ0NnaoQT4l0nBNcluC7B9QiuR3AdgusQnEZwGsE1Ca5JcOsEt05wWwS3RXDbBLdNcFWCqxLcAcEdEBwjOJbglGh+g7VMzasSzWvoT86nIr6EoZ8TfhNXfUzURT9JOZijPsaFFor0EqRHkkFuwQofZYe2JB2M0pAfVcT2AaEyxL6hoGVSN+qhlIVExYUpFZfE12pOVBJbk4qdsaxizc5ETqOqfJS/ij4Dd6d8gtiYWFEK9jcSVJGgignqmdhtUpATtIZ7ULB3hrM5PDXCPMJdifbkgrh4hmUnT6xko5LLZO9ncrsPUmtPotNsHm7DHVjF+A9hDTZx/MuYwyt4A+/gvZSR9qSa1AjR2ZlIcxPGLkn7Bx+skAM=</latexit>

129 / 130 言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)

終わり
l お疲れ様でした。
l 表紙が鹿なのは、著者の二人がどちらもNAIST出身のため.

130 / 130 言語処理学会 第 27 回年次大会 チュートリアル資料 (2021年3月)