確率的潜在意味スケーリング
持橋大地
統計数理研究所 数理・推論研究系
daichi@ism.ac.jp
情報処理学会 第249回自然言語処理研究会
2021-7-28 (水)はじめにl テキストを連続的な尺度で測りたい場合は、多くある– 住民へのアンケートがどれくらい肯定的か、否定的か– ホテルの評価で特に否定的(肯定的)なレビューはどれか– ある政治家の発言や法案がどれくらい保守的か/革新的か– 書簡から伺える作家の分裂症気質がどれくらいか
2/42

2

テキスト分類とは異なる!
l 1/0の単純なテキスト分類では対処できない(自民党ならば右派なのは自明なので、その中の違いが重要)
l 人間が事前に付けたラベルではなく、自由な軸でテキストの連続的なスケールを測りたい(英語は南北戦争前後でどのように変わったのか?)l 教師データは一般に存在しないà教師なし学習

3/42

3

政治学方法論 (Political Methodology)
l 政治学に関する計量分析とその方法論の分野– 政治に関して、科学的・客観的な言明を行いたい– 文系分野としてはかなり高度な統計学・機械学習l 特に、テキストの分析は中でも大きな分野– 背景：政治的なテキストのデータ化が進んでいる(国会会議録、地方議会議事録、法案のテキスト、
外交文書、共産党機関紙、...)– 2019年秋に、POLTEXT 2019に招待されて参加

Sean Gerrish and David M. Blei. “How They Vote: Issue4/42 Adjusted Models of Legislative Behavior”, NIPS 2012

4

LSS (Latent Semantic Scaling)l LSE(当時)の渡辺さんが開発 (Watanabe 2015/2020)l テキストをある視点で時系列分析するためのR

パッケージ

5/42

5

LSS/quanteda
l Rを使って手軽に分析できるため、世界的に使われて

いる

6/42

6

LSSによる分析例
l 御器谷さん(慶応大学博士課程)による、中国の人民日報の中での「伝統」の使われ方の分析 @POLTEXT 2019

ノイズが多い！

7/42

7LSSによる分析例 (2)l 山尾さん (九大) / イスラム国の異なる宗派主義の時間

変化, イラクの3種類の新聞記事(赤青緑) @POLTEXT
l 各文書での分散が非常に大きい
8/42

8

LSSの分析方法
l テキストの集合から、与えられた尺度の変化を抽出する方法 (古典的なベクトル空間モデル)
l 尺度：極性語とのベクトル空間での近さ(ex: positive-negative, left-right)

9/42

9

LSSによる分析方法 (1)l 目標語 wとの共起に基づいて、解析に用いる

特徴語 c を選ぶ
l 例) 目標語 “econom*” との共起から選ばれた特徴語

10/42

10

LSSによる分析方法 (2)l 特徴語を文書-単語行列の主成分分析で求めた、極性語とのコサイン距離でスコアリング
極性語 vi は複数あるので、
cos類似度を平均

s(w) =<latexit sha1_base64="N8ACs+cr+Pxtr2HxMbqdxBSMnzY=">AAAHwXichZXNbtNAEMenLZASPtrCBYlLRNQolSBah0ogpEotpRJVP9SmtE1Vh8jeblIrdhxsJ2lq+QV4AQ6cQOKAeIxeeAEOfYSKG0XiwoHJ2lXSeBocxbs78/uvZ3bWa71hGq7H2OnI6Ni16zcS4zeTt27fuTsxOXVvx7WbDhfb3DZtp6hrrjCNutj2DM8UxYYjNEs3xa5eW+z6d1vCcQ27/sbrNETJ0qp1o2JwzUNTebLkZtszc2rF0bivBP5aoLpNq+wbc0rwdi2VUbntZtWW4H47eCzbVlA2ZlR+YHtJVd1/ouRmhVVKZtR3Te0g5auOlXK57Ygg20KuPJlmOSavVLyjRJ00RNeGPTWWARUOwAYOTbBAQB087JuggYu/fVCAQQNtJfDR5mDPkH4BASRR20RKIKGhtYb3Ko72I2sdx905Xanm+BQT/w4qUzDNfrCv7Jx9Z9/YGft75Vy+nKMbSwdbPdSKRnni/YOtP/9VWdh6cNhTDVHoSA/PyYMKPJe5GJhbQ1q6WfJw/tbxh/OtF4VpP8M+s5+Y3yd2yk4ww3rrN/+yKQofhzy9iuuiofVQru+RjGRa1kbgU1VoYcshjfXwcXSRl44+X1qDKPYef0SQRwTXIbgOwR0T3DHBtQmuTXAVgqsQXI3gagS3QHALBLdMcMsEt0JwKwRXJLgiwe0R3B7BMYJjMU6P6tvdtVRd9aiuoT9eT13uugu/IPwW7tQeocpxnAp3bD8XWijSjZEuSXbzFnjXkOrne/aAUJnyndfRMqjr91DKjVgOG1fksIXWqqxNP92zxhWrl6LqaVYHYupXrUfxc/SZeLKsx4ilgT2i43gpRhUIqhCjXsnzIw15SVfkOcSj+lyc+GEc4TlDe/LdefH7owx+beKdnXxOeZrLb86m519GX6JxeAiPIIvzP4N5eI3rv40xnMAZ/ILzxGLCSDQSToiOjkSa+3DpSvj/AOGVpN8=</latexit>

11/42

M
X
1

cos(w,~ ~vi )·
M i=1 score(v )i11Wordfish (Slapin and Proksch 2008)l ポアソン確率モデルに基づく教師なしIRT– yivt を時間 t で政党 i が単語 v を使った頻度として、
YYY
p(Y ) =
Po(exp(↵it + v + v ⇤ ✓it ))<latexit sha1_base64="VB88cjsRwTJ7u+FmzUUDkaxMjRY=">AAAHjnichZXNbtNAEMenLZASPprCBYmLRVSUUCnaBAQIqaIFKrVqVaUJbVPVVeR1N40VJ7ZsJ21i5QV4AQ6cQOKAeAcuXHgBDr1zQQguReLCgfHaVdJ4WhzFOzvz+09mvJs1t03D9Rg7GhufuHDxUmLycvLK1WvXp1LTNzZdq+3oYkO3TMupcM0VptESG57hmaJiO0JrclNs8cbzIL7VEY5rWK2XXtcWu01tv2XUDF3z0FVNVezMdnYuqdqOtVf1lHA0orGT9FWnqRStfkYVh3ZG1Uy7rlV9w+vPqrZrVDvKrKJy4Wlo3VNUrx6YQTibrabSLMfkpcSNfGSkIbqK1vTEFKiwBxbo0IYmCGiBh7YJGrj42YE8MLDRtws++hy0DBkX0IckattICSQ09Dbwvo+zncjbwnmQ05VqHX/FxK+DSgVm2Ff2gR2zL+wj+87+npnLlzmCWro48lAr7OrUq1vlP/9VNXH0oD5QnaPgSJ/fkwc1eCx7MbA3W3qCLvUwf6f3+rj8pDTj32Xv2A/s7y07Yp+xw1bnt/5+XZTeyOx7qKnh2MFRhzQ+YR9nJ5VyjPnS24+qGfCHBHlIcF2C6xJcj+B6BHdAcAcEVyO4GsE1CK5BcAsEt0BwywS3THArBLdCcBWCqxDcNsFtExwjOBbjeLS+wT6k1pVH6xrG4+vJ5S4+iQsi3sQdOyBUOY9TNtZonOJCD0W6MdIlyaBvgXcNqWF+4O8TKlP+izl6RnXDEUpZjPVQPKOHMnr35doM0wNvXLF6qqqBZnWkpmHVWlS/jjETz4q1GLE4skc4zhdjVImgSjHqhTw/0lCQdA1P3OAkC9fn5AwP6wjPGTpSCPLiGyU/+v6IG5uFXP5+rrD+ID3/LHq3TMJtuAMZzP8I5mEJn/8G1vAJvsFP+JVIJR4m5hJPQ3R8LNLchFNXYukfu0qY4w==</latexit>

t

i

v

を最大化する政党の位置θと単語パラメータβを求める

l 完全な教師なし学習なので、得られる軸が分析したい

軸と一致する保証がない
l 分析するテキスト集合に依存→選択の方法はない
l ポアソンモデルは、テキストの長さに依存

12/42

12

現在のテキスト分析の課題
l LSS: 特徴語・種語の選択や前処理に人手が介在– ヒューリスティックにより、結果が変わってしまう– 統計的に何を計算しているのか、の基準が曖昧
l Wordfish: 抽出される軸が分析したい軸と一致している
保証がない
Wordfishと項目反応理論(IRT)をベースに、LSSを確率化したい…Probabilistic LSS (PLSS)

13/42

13

PLSSと項目反応理論 (IRT)l 項目反応理論 (IRT) : 心理統計学における、被験者の潜在的特性を推定するための統計モデル
l SlapinのWordfish (ポアソンGLM)<latexit sha1_base64="5yAyazEB4GjtEbtRoZwjjuOzzmE=">AAAHfnichZXPTxNBFMcfoBbrD4peTLwUG0iRWKfVRGJCAioJBEJKEShhSbOzTNtNt93N7nahbPoP+A948KSJB2PiP+HFP0APHPRuPGLixYNvZ5e0dB84TXdm3vt8X9/bmc5wy9Adl7HjoeGRS5evJEavJq9dv3FzLDV+a8sx27YmNjXTMO0yVx1h6C2x6equIcqWLdQmN8Q2bzwP/NuesB3dbL10O5bYa6q1ll7VNdVFUyW1ZGU7FV/33K4yMadMNKbnfMVupotmN6uIQyurqIZVV5FwuzOK5egVb0bhwlUr3n3FrQeDwDU9naykMizHZEvHB/lokIGoFc3xkTFQYB9M0KANTRDQAhfHBqjg4GcX8sDAQtse+GizcaRLv4AuJFHbRkogoaK1gc8aznYjawvnQUxHqjX8FQO/NirTMMm+sQ/shH1hH9lP9vfcWL6MEeTSwZ6HWmFVxl7d2fjzX1UTexfqPdUFCo70xTW5UIVZWYuOtVnSElSphfG9o9cnG09Lk/4Ue8d+YX1v2TH7jBW2vN/a+3VReiOj76Omir2HvQYZfMM+zk4z5ejzpbUbZdPjDwnykOA6BNchuCOCOyK4A4I7ILgqwVUJrkFwDYJbILgFglsmuGWCWyG4FYIrE1yZ4HYIbofgGMGxGMej9Q32IbWuPFrX0B9fTy538alfEP4m7tgeoch5nLIwR/0MF1oo0omRDkkGdQt8qkj18z17l1AZ8l/M0TKo6/dQymKshuI5NWygtSbXpp/uWeOK1TNZ9TSrAzn1q9ai/DX0GXhWrMWIxYE9wnG+GKNKBFWKUS/k+ZGBgqSreOIGJ1m4PqdneJhHeM7QnkIQF2+U/OD9ER9sFXL5R7nC+uPM/LPobhmFu3APshj/CczDEr7/TczhE3yF7/AjAYmpxIPEwxAdHoo0t+FMS8z+A0wuk0I=</latexit>p(yivt = k) = Po(exp(↵it +v +の代わりに、次の多項モデルを考える
l 多項分布 IRT:p(v|✓, ) / p(v) exp (✓ · v )exp (log p(v) + ✓ ·<latexit sha1_base64="VqgN3hXuI6yPJqiGV26qR6hZDa4=">AAAIR3icjZXPT9RAFMffgri4/gD0YuKlcQOBQMjsitGYkIBKAoEQWASWUNy0ZZZttt02bbew1P0H/Ac8eDCaeDD+GV70D/DAn2A8eMCoBw++TrvZH32AbXY7897n+/rezHRGtQ3d9Rg7SfX1Xxq4nB68krl67fqNoeGRm1uuVXc0vqlZhuUUVcXlhl7jm57uGbxoO1wxVYNvq9UnoX/b546rW7VnXsPme6ZyUNPLuqZ4aCoNv7HH/ReyV+GeMiXbFX0iMybbjmV7VgY9EzI/suWp8QiQtX3LC6GSPyHJcmZsVpLLjqIFLcqwDqRQJU1KSUUzE8hu3SwF/myu+XxL+j9RaTjLppm4pGQjFzeyEF9r1kj/IsiwDxZoUAcTONTAw7YBCrh470IOGNho24MAbQ62dOHn0IQMautIcSQUtFbx/wB7u7G1hv0wpivUGr7FwJ+DSglG2Vf2gZ2yz+wj+8b+nhkrEDHCXBr4VCMtt0tDL29v/L5QZeLTg0pbdY5CRfr8mjwow0NRi4612cISVqlF8f3jV6cbjwqjwRh7x75jfW/ZCfuEFdb8n9r7dV54jdFHxXhzjCSDj08NsjjGAfZauaroC4S1GefT5rsVlug7eOuYYwXViuhZcHhmhCPiXUcE1yC4BsEdE9wxwR0S3CHBlQmuTHBVgqsS3DzBzRPcEsEtEdwywS0TXJHgigS3Q3A7BMcIjiU4NZ7fcC1T86rG8xr5k/Opii+h5eeE38RV3yZk0U9SNuaod3GRhSLdBOmSZJhbuMI72ZYtSYej1OI7FW17k1AZYt9Q0dKr6/RQyrVExWtnVLwhvlazp5K2NalY6cqqrVnpyalTtRrnr6HPwN1pNUEs9KwoFfsLCapAUIUE9VTsNlnIC7qMe1C4d0az2To1ojyiXYn25MO4eIblek+sZGMrP527N51fn8nOPY5Ps0G4A3dhHOM/gDlYxPHfBC01kJpMzaTup7+kf6R/pf9EaF8q1tyCrmsw9Q+0Zccv</latexit>l どんなモデル?
14/42

= PV

v ⇤ ✓it ))v)

v=1 exp (log p(v) + ✓ ·v)

14

PLSS: Simple multinomial IRT
p(v|✓, ) / p(v) exp (✓ ·未知v)

exp (log p(v) + ✓ ·

= PV

v)

v=1 exp (log p(v) + ✓ ·<latexit sha1_base64="VqgN3hXuI6yPJqiGV26qR6hZDa4=">AAAIR3icjZXPT9RAFMffgri4/gD0YuKlcQOBQMjsitGYkIBKAoEQWASWUNy0ZZZttt02bbew1P0H/Ac8eDCaeDD+GV70D/DAn2A8eMCoBw++TrvZH32AbXY7897n+/rezHRGtQ3d9Rg7SfX1Xxq4nB68krl67fqNoeGRm1uuVXc0vqlZhuUUVcXlhl7jm57uGbxoO1wxVYNvq9UnoX/b546rW7VnXsPme6ZyUNPLuqZ4aCoNv7HH/ReyV+GeMiXbFX0iMybbjmV7VgY9EzI/suWp8QiQtX3LC6GSPyHJcmZsVpLLjqIFLcqwDqRQJU1KSUUzE8hu3SwF/myu+XxL+j9RaTjLppm4pGQjFzeyEF9r1kj/IsiwDxZoUAcTONTAw7YBCrh470IOGNho24MAbQ62dOHn0IQMautIcSQUtFbx/wB7u7G1hv0wpivUGr7FwJ+DSglG2Vf2gZ2yz+wj+8b+nhkrEDHCXBr4VCMtt0tDL29v/L5QZeLTg0pbdY5CRfr8mjwow0NRi4612cISVqlF8f3jV6cbjwqjwRh7x75jfW/ZCfuEFdb8n9r7dV54jdFHxXhzjCSDj08NsjjGAfZauaroC4S1GefT5rsVlug7eOuYYwXViuhZcHhmhCPiXUcE1yC4BsEdE9wxwR0S3CHBlQmuTHBVgqsS3DzBzRPcEsEtEdwywS0TXJHgigS3Q3A7BMcIjiU4NZ7fcC1T86rG8xr5k/Opii+h5eeE38RV3yZk0U9SNuaod3GRhSLdBOmSZJhbuMI72ZYtSYej1OI7FW17k1AZYt9Q0dKr6/RQyrVExWtnVLwhvlazp5K2NalY6cqqrVnpyalTtRrnr6HPwN1pNUEs9KwoFfsLCapAUIUE9VTsNlnIC7qMe1C4d0az2To1ojyiXYn25MO4eIblek+sZGMrP527N51fn8nOPY5Ps0G4A3dhHOM/gDlYxPHfBC01kJpMzaTup7+kf6R/pf9EaF8q1tyCrmsw9Q+0Zccv</latexit>未知v)

l テキストに、潜在的な極性 ✓ ⇠ N (0, 1) が存在すると<latexit sha1_base64="BTZkj+IVGd9RSsVkDQUdRza2YDc=">AAAHxHichZXNbtNAEMenLZBSPprCBQkOKVFQkapoE5BAnFqgqFWrKk1Im6quIttsGit2bNlO0sQKB468AAdOICGBOMErcOEFOPQREMciceHAeO3ISTwpthLvzvz+45nd9a5i6ZrjMnYyNT1z7vyFxOzFuUuXr1ydTy5c23XMlq3ysmrqpl1RZIfrWpOXXc3VecWyuWwoOt9TGk98/16b245mNp+7XYsfGvJRU6tpquyiqZq8Jbl17srSouRohrSY8iRV1lPb/SW2nLtbTaZZlokrFW/kwkYawqtgLsysgwQvwAQVWmAAhya42NZBBgfvA8gBAwtth+ChzcaWJvwc+jCH2hZSHAkZrQ38P8LeQWhtYt+P6Qi1im/R8WejMgUZ9oN9YqfsO/vMfrK/E2N5IoafSxefSqDlVnX+9Y3Sn/+qDHy6UI9UZygUpM+uyYUaPBS1aFibJSx+lWoQv917c1p6VMx4d9h79gvre8dO2DessNn+rX7Y4cW3GD0jxptjJAna+FQhjWPsYW+Qq4I+T1j7YT4RP6owRd/GW8Mc66iWRc+EzsQIx8S7jgmuS3BdgusRXI/gOgTXIbgawdUIrkFwDYJbJbhVgtsguA2C2yS4TYKrEFyF4PYJbp/gGMGxGKeE8+uvZWpelXBeA398PhXxJQz8nPAbuOojQhL9OGVhjtoIF1go0omRDkn6ufkrfJgd2OK0P0oDflgR2fuEShf7hoKWcd2wh1IWYhUXJlRcEl+rMVZJZI0rtkayijRbYzkNq7bD/FX06bg7bceItbEVpWB/LUYVCaoYo56K3SYNeUHXcA/y985gNgenRpBHsCvRnrwfF8+w3PiJFW/s5rO5e9n8zv30yuPwNJuFm3AbljD+A1iBdRz/MubwCj7CF/iaeJbQE06iFaDTU6HmOoxciZf/AApLmJM=</latexit>

仮定
l 単語 v の確率は、ユニグラム確率 p(v) に因子
exp(✓ · v ) が掛け合わされて決まる– ✓ と v の正負が一致すると高い確率à v は単語 v の極性
l ✓ も v も未知の場合の教師なしロジスティック回帰と考えてもよい<latexit sha1_base64="BT8b2Ykhk5arXIZX4/Rzz8aeP+k=">AAAHp3ichZXNbtNAEMenLeBSPtrCBYlLRRQEl2gTkECcWqBSq1YlHyRN1VSV12xaK45t2U7SJMoLwBXEgRNIHBCPwYUX4NBHQByLxIUD47UjJ9lJsZV4d+b3H8/srne5a5l+wNjpzOzchYuXtPnLC1euXru+uLR8o+I7Lc8QZcOxHK/KdV9Ypi3KgRlYoup6Qm9yS+zyxrPQv9sWnm869sug64qDpn5km3XT0AM0FdqHSymWYfJaURvZuJGC+Mo7y3MbUINX4IABLWiCABsCbFugg4/3PmSBgYu2A+ijzcOWKf0CBrCA2hZSAgkdrQ38P8Lefmy1sR/G9KXawLdY+PNQuQJp9oN9YWfsO/vKfrK/U2P1ZYwwly4+eaQV7uHi61ulP/9VNfEZwHGiOkfBkT6/pgDq8FjWYmJtrrSEVRpR/Hbv/VnpSTHdv8s+sV9Y30d2yr5hhXb7t/G5IIofMHpajrfASDVo49OAFI5xH3vDXDn6+tI6iPNJ+HGFI/se3ibmeIxqXfYc6EyNcEK864TgugTXJbgewfUIrkNwHYKrE1yd4BoE1yC4NYJbI7hNgtskuC2C2yK4KsFVCW6P4PYIjhEcUzgez2+4lql55fG8Rn51Prn8EoZ+QfibuOoToib7KuVijuYYF1ko0ldInyTD3MIVPsoObSodjtKQH1Uk9gGhsuS+wdEyqRv1UMq8UnF+SsUl+bU2JypJrKpieyyrRLM9kdOoaifO30CfhbvTjkKsT6wojv11hSoSVFGhnsvdJgU5SddxDwr3zmg2h6dGlEe0K9GeXBgXz7Ds5ImlNiq5TPZBJld4mFp9Gp9m83Ab7sA9jP8IVmEDx7+MOQh4A2/hnXZfe6FVtGqEzs7Empswdmn6P8jHjsk=</latexit><latexit sha1_base64="i0ePQI6WPmGxDCpJU73K+WY9FuQ=">AAAHqnichZXNbtNAEMenLeBSPtrCBYlLRRRUJBRtAhKIUwtUatWqShPSJkqqyutuGiv+ku0kTaK8AAeuReIEEgfEY3DhBTj0ERDHInHhwHjtyEk8KbYS7878/uOZ3fUudwzd8xk7n5mdu3L1mjJ/feHGzVu3F5eW7+x7dsvVREmzDdstc9UThm6Jkq/7hig7rlBNbogD3nwV+A/awvV023rjdx1xaKonll7XNdUPTM5q+9HRUoplmLxWko1s1EhBdOXt5blNqMEx2KBBC0wQYIGPbQNU8PCuQhYYOGg7hD7aXGzp0i9gAAuobSElkFDR2sT/E+xVI6uF/SCmJ9UavsXAn4vKFUizH+wLu2Df2Vf2k/2dGqsvYwS5dPHJQ61wjhbf3iv++a/KxKcPjVh1iYIjfXlNPtThuaxFx9ocaQmq1ML47d7ZRfFFId1/yD6xX1jfR3bOvmGFVvu39nlPFD5g9LQcb4GRatDGpwYpHOM+9oa5cvT1pXUQ5RPz4wpb9l28dcyxgWpV9mzoTI1wSrzrlOC6BNcluB7B9QiuQ3AdgqsTXJ3gmgTXJLh1glsnuC2C2yK4bYLbJrgywZUJrkJwFYJjBMcSHI/mN1jL1LzyaF5Df3I+ufwShn5B+E1c9TFRk/0k5WCO+hgXWijSS5AeSQa5BSt8lB3aknQwSkN+VBHbB4TKkPsGR8ukbtRDKfOJivNTKi7Kr9WcqCS2JhU7Y1nFmp2JnEZVu1H+GvoM3J12E8TGxIri2N9IUAWCKiSo13K3SUFO0nXcg4K9M5zN4akR5hHuSrQnF8TFMyw7eWIlG/u5TPZJJrf3NLX2MjrN5uE+PIBVjP8M1mATx7+EOTTgHZzBe+WxUlAqSjVEZ2cizV0Yu5Tjf8Spj6g=</latexit><latexit sha1_base64="+6CHhOFTthAxa988RjaqHZXdjtg=">AAAHwXichZXNbtNAEMenLeBSPprCBcQlIgoql2gTkECcWkqlVq2qNCFtqrqKbHfTWPGXbOdbEXdegAMnkHpASPAQXHgBDn0ExLFIXDgwXjtyEk+LrcS7M7//eGZ3vas6hu75jJ3NzM5duXpNmr++cOPmrduLqaU7e57dcjVe0WzDdquq4nFDt3jF132DVx2XK6Zq8H21uRb499vc9XTbeu33HH5kKieWXtc1xUdTLXVf5l1nWfYb3FfSsnZs+2nZaei19uNaKsNyTFzpZCMfNTIQXUV7aW4DZDgGGzRogQkcLPCxbYACHt6HkAcGDtqOYIA2F1u68HMYwgJqW0hxJBS0NvH/BHuHkdXCfhDTE2oN32Lgz0VlGrLsB/vEztl39pn9ZH8vjDUQMYJcevhUQy13aotv75X//Fdl4tOHRqy6RKEifXlNPtThuahFx9ocYQmq1ML47f678/KLUnbwiH1kv7C+D+yMfcMKrfZv7XSXl95j9KwYb46RZGjjU4MMjvEAe6NcVfQNhHUY5RPzkwpb9F28dcyxgWpF9GzoXBihS7yrS3A9gusRXJ/g+gTXIbgOwdUJrk5wTYJrEtwqwa0S3CbBbRLcFsFtEVyV4KoEd0BwBwTHCI4lODWa32AtU/OqRvMa+pPzqYovYeTnhN/EVR8TsugnKQdz1Ce40EKRXoL0SDLILVjh4+zIlqSDURrx44rYPiRUhtg3VLRM68Y9lLKYqLh4QcVl8bWaU5XE1qRieyKrWLM9ldO4aifKX0OfgbvTToJYn1pRKvbXE1SJoEoJ6pXYbTJQEHQd96Bg7wxnc3RqhHmEuxLtKQRx8QzLT59YycZeIZd/kivsPs2svIxOs3l4AA9hGeM/gxXYwPGvYA5v4BS+wFdpTdIlR3JDdHYm0tyFiUsa/ANwYJiY</latexit><latexit sha1_base64="BT8b2Ykhk5arXIZX4/Rzz8aeP+k=">AAAHp3ichZXNbtNAEMenLeBSPtrCBYlLRRQEl2gTkECcWqBSq1YlHyRN1VSV12xaK45t2U7SJMoLwBXEgRNIHBCPwYUX4NBHQByLxIUD47UjJ9lJsZV4d+b3H8/srne5a5l+wNjpzOzchYuXtPnLC1euXru+uLR8o+I7Lc8QZcOxHK/KdV9Ypi3KgRlYoup6Qm9yS+zyxrPQv9sWnm869sug64qDpn5km3XT0AM0FdqHSymWYfJaURvZuJGC+Mo7y3MbUINX4IABLWiCABsCbFugg4/3PmSBgYu2A+ijzcOWKf0CBrCA2hZSAgkdrQ38P8Lefmy1sR/G9KXawLdY+PNQuQJp9oN9YWfsO/vKfrK/U2P1ZYwwly4+eaQV7uHi61ulP/9VNfEZwHGiOkfBkT6/pgDq8FjWYmJtrrSEVRpR/Hbv/VnpSTHdv8s+sV9Y30d2yr5hhXb7t/G5IIofMHpajrfASDVo49OAFI5xH3vDXDn6+tI6iPNJ+HGFI/se3ibmeIxqXfYc6EyNcEK864TgugTXJbgewfUIrkNwHYKrE1yd4BoE1yC4NYJbI7hNgtskuC2C2yK4KsFVCW6P4PYIjhEcUzgez2+4lql55fG8Rn51Prn8EoZ+QfibuOoToib7KuVijuYYF1ko0ldInyTD3MIVPsoObSodjtKQH1Uk9gGhsuS+wdEyqRv1UMq8UnF+SsUl+bU2JypJrKpieyyrRLM9kdOoaifO30CfhbvTjkKsT6wojv11hSoSVFGhnsvdJgU5SddxDwr3zmg2h6dGlEe0K9GeXBgXz7Ds5ImlNiq5TPZBJld4mFp9Gp9m83Ab7sA9jP8IVmEDx7+MOQh4A2/hnXZfe6FVtGqEzs7Empswdmn6P8jHjsk=</latexit><latexit sha1_base64="ynPS7gJubn89RDmwNQQr7ofE/NE=">AAAHrHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJk2aKokqr1k3Jv6S7SRNorwAJ24IOIHEAfEYXHgBDn0ExLFIXDgwXjvKhyfFVuLdmd9/PLO73uWuafgBY2dz8wuXLl9RFq8uXbt+4+byyuqtsu+0PE2UNMd0vApXfWEatigFRmCKiusJ1eKmOOTN56H/sC0833Dsg6DrirqlntiGbmhqgKZyLWiIQD1eSbEMk9daspGNGymIr7yzurAFNXgJDmjQAgsE2BBg2wQVfLyrkAUGLtrq0Eebhy1D+gUMYAm1LaQEEipam/h/gr1qbLWxH8b0pVrDt5j481C5Bmn2g31h5+w7+8p+sr8zY/VljDCXLj55pBXu8fLrO8U//1VZ+AygMVJdoOBIX1xTADo8kbUYWJsrLWGVWhS/3Xt7XnxaSPfvs0/sF9b3kZ2xb1ih3f6tfd4XhQ8YPS3HW2CkGrTxqUEKx7iPvWGuHH19aR3E+Yz4SYUj+x7eBubYQLUqew50ZkY4Jd51SnBdgusSXI/gegTXIbgOwekEpxNck+CaBLdBcBsEt01w2wS3Q3A7BFchuArBHRHcEcExgmMJjsfzG65lal55PK+RPzmfXH4JQ78g/Bau+hFRk/0k5WKOxgQXWSjST5A+SYa5hSt8nB3aknQ4SkN+XDGyDwiVKfcNjpZp3biHUuYTFednVFyUX6s1VcnImlTsTmQ10uxO5TSu2ovz19Bn4u60lyA2p1YUx/5mgioQVCFBvZC7TQpyktZxDwr3zmg2h6dGlEe0K9GeXBgXz7Ds9ImVbJRzmezDTG7/UWr9WXyaLcJduAcPMP5jWIctHP8S5vAK3sA7eK9klAOlqtQjdH4u1tyGiUvR/wEOAJD3</latexit><latexit sha1_base64="8H9nhaGi7XXmCa1ezk/U7FP7bMI=">AAAHrHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJk2aKokqr1k3Jv6S7SRNorwAJ24IOIHEAfEYXHgBDn0ExLFIXDgwXjvKhyfFVuLdmd9/PLO73uWuafgBY2dz8wuXLl9RFq8uXbt+4+byyuqtsu+0PE2UNMd0vApXfWEatigFRmCKiusJ1eKmOOTN56H/sC0833Dsg6DrirqlntiGbmhqgKZyzW0Yx+3jlRTLMHmtJRvZuJGC+Mo7qwtbUIOX4IAGLbBAgA0Btk1Qwce7Cllg4KKtDn20edgypF/AAJZQ20JKIKGitYn/J9irxlYb+2FMX6o1fIuJPw+Va5BmP9gXds6+s6/sJ/s7M1Zfxghz6eKTR1rhHi+/vlP881+Vhc8AGiPVBQqO9MU1BaDDE1mLgbW50hJWqUXx272358WnhXT/PvvEfmF9H9kZ+4YV2u3f2ud9UfiA0dNyvAVGqkEbnxqkcIz72BvmytHXl9ZBnM+In1Q4su/hbWCODVSrsudAZ2aEU+JdpwTXJbguwfUIrkdwHYLrEJxOcDrBNQmuSXAbBLdBcNsEt01wOwS3Q3AVgqsQ3BHBHREcIziW4Hg8v+FapuaVx/Ma+ZPzyeWXMPQLwm/hqh8RNdlPUi7maExwkYUi/QTpk2SYW7jCx9mhLUmHozTkxxUj+4BQmXLf4GiZ1o17KGU+UXF+RsVF+bVaU5WMrEnF7kRWI83uVE7jqr04fw19Ju5Oewlic2pFcexvJqgCQRUS1Au526QgJ2kd96Bw74xmc3hqRHlEuxLtyYVx8QzLTp9YyUY5l8k+zOT2H6XWn8Wn2SLchXvwAOM/hnXYwvEvYQ6v4A28g/dKRjlQqko9QufnYs1tmLgU/R8N45D3</latexit><latexit sha1_base64="8H9nhaGi7XXmCa1ezk/U7FP7bMI=">AAAHrHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJk2aKokqr1k3Jv6S7SRNorwAJ24IOIHEAfEYXHgBDn0ExLFIXDgwXjvKhyfFVuLdmd9/PLO73uWuafgBY2dz8wuXLl9RFq8uXbt+4+byyuqtsu+0PE2UNMd0vApXfWEatigFRmCKiusJ1eKmOOTN56H/sC0833Dsg6DrirqlntiGbmhqgKZyzW0Yx+3jlRTLMHmtJRvZuJGC+Mo7qwtbUIOX4IAGLbBAgA0Btk1Qwce7Cllg4KKtDn20edgypF/AAJZQ20JKIKGitYn/J9irxlYb+2FMX6o1fIuJPw+Va5BmP9gXds6+s6/sJ/s7M1Zfxghz6eKTR1rhHi+/vlP881+Vhc8AGiPVBQqO9MU1BaDDE1mLgbW50hJWqUXx272358WnhXT/PvvEfmF9H9kZ+4YV2u3f2ud9UfiA0dNyvAVGqkEbnxqkcIz72BvmytHXl9ZBnM+In1Q4su/hbWCODVSrsudAZ2aEU+JdpwTXJbguwfUIrkdwHYLrEJxOcDrBNQmuSXAbBLdBcNsEt01wOwS3Q3AVgqsQ3BHBHREcIziW4Hg8v+FapuaVx/Ma+ZPzyeWXMPQLwm/hqh8RNdlPUi7maExwkYUi/QTpk2SYW7jCx9mhLUmHozTkxxUj+4BQmXLf4GiZ1o17KGU+UXF+RsVF+bVaU5WMrEnF7kRWI83uVE7jqr04fw19Ju5Oewlic2pFcexvJqgCQRUS1Au526QgJ2kd96Bw74xmc3hqRHlEuxLtyYVx8QzLTp9YyUY5l8k+zOT2H6XWn8Wn2SLchXvwAOM/hnXYwvEvYQ6v4A28g/dKRjlQqko9QufnYs1tmLgU/R8N45D3</latexit><latexit sha1_base64="ynPS7gJubn89RDmwNQQr7ofE/NE=">AAAHrHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJk2aKokqr1k3Jv6S7SRNorwAJ24IOIHEAfEYXHgBDn0ExLFIXDgwXjvKhyfFVuLdmd9/PLO73uWuafgBY2dz8wuXLl9RFq8uXbt+4+byyuqtsu+0PE2UNMd0vApXfWEatigFRmCKiusJ1eKmOOTN56H/sC0833Dsg6DrirqlntiGbmhqgKZyLWiIQD1eSbEMk9daspGNGymIr7yzurAFNXgJDmjQAgsE2BBg2wQVfLyrkAUGLtrq0Eebhy1D+gUMYAm1LaQEEipam/h/gr1qbLWxH8b0pVrDt5j481C5Bmn2g31h5+w7+8p+sr8zY/VljDCXLj55pBXu8fLrO8U//1VZ+AygMVJdoOBIX1xTADo8kbUYWJsrLWGVWhS/3Xt7XnxaSPfvs0/sF9b3kZ2xb1ih3f6tfd4XhQ8YPS3HW2CkGrTxqUEKx7iPvWGuHH19aR3E+Yz4SYUj+x7eBubYQLUqew50ZkY4Jd51SnBdgusSXI/gegTXIbgOwekEpxNck+CaBLdBcBsEt01w2wS3Q3A7BFchuArBHRHcEcExgmMJjsfzG65lal55PK+RPzmfXH4JQ78g/Bau+hFRk/0k5WKOxgQXWSjST5A+SYa5hSt8nB3aknQ4SkN+XDGyDwiVKfcNjpZp3biHUuYTFednVFyUX6s1VcnImlTsTmQ10uxO5TSu2ovz19Bn4u60lyA2p1YUx/5mgioQVCFBvZC7TQpyktZxDwr3zmg2h6dGlEe0K9GeXBgXz7Ds9ImVbJRzmezDTG7/UWr9WXyaLcJduAcPMP5jWIctHP8S5vAK3sA7eK9klAOlqtQjdH4u1tyGiUvR/wEOAJD3</latexit><latexit sha1_base64="8H9nhaGi7XXmCa1ezk/U7FP7bMI=">AAAHrHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJk2aKokqr1k3Jv6S7SRNorwAJ24IOIHEAfEYXHgBDn0ExLFIXDgwXjvKhyfFVuLdmd9/PLO73uWuafgBY2dz8wuXLl9RFq8uXbt+4+byyuqtsu+0PE2UNMd0vApXfWEatigFRmCKiusJ1eKmOOTN56H/sC0833Dsg6DrirqlntiGbmhqgKZyzW0Yx+3jlRTLMHmtJRvZuJGC+Mo7qwtbUIOX4IAGLbBAgA0Btk1Qwce7Cllg4KKtDn20edgypF/AAJZQ20JKIKGitYn/J9irxlYb+2FMX6o1fIuJPw+Va5BmP9gXds6+s6/sJ/s7M1Zfxghz6eKTR1rhHi+/vlP881+Vhc8AGiPVBQqO9MU1BaDDE1mLgbW50hJWqUXx272358WnhXT/PvvEfmF9H9kZ+4YV2u3f2ud9UfiA0dNyvAVGqkEbnxqkcIz72BvmytHXl9ZBnM+In1Q4su/hbWCODVSrsudAZ2aEU+JdpwTXJbguwfUIrkdwHYLrEJxOcDrBNQmuSXAbBLdBcNsEt01wOwS3Q3AVgqsQ3BHBHREcIziW4Hg8v+FapuaVx/Ma+ZPzyeWXMPQLwm/hqh8RNdlPUi7maExwkYUi/QTpk2SYW7jCx9mhLUmHozTkxxUj+4BQmXLf4GiZ1o17KGU+UXF+RsVF+bVaU5WMrEnF7kRWI83uVE7jqr04fw19Ju5Oewlic2pFcexvJqgCQRUS1Au526QgJ2kd96Bw74xmc3hqRHlEuxLtyYVx8QzLTp9YyUY5l8k+zOT2H6XWn8Wn2SLchXvwAOM/hnXYwvEvYQ6v4A28g/dKRjlQqko9QufnYs1tmLgU/R8N45D3</latexit>

15/42

15

PLSS: 単語ベクトルの利用
l 単語に関する言語的知識を使うために、単語ベクトルの利用を考えるl GloVeやWord2vec等で事前に計算された単語ベクトルを利用 (手元のテキストで計算してもよい)l ニューラル単語ベクトルの空間に、以下で示すような部分空間が存在する: Ultradense Embedding(Rothe+ 2016)– DensRay (Dufter and Schutze 2019)は、以下の簡単な手法より明らかに性能が悪かった(詳しい議論は論文を参照)

16/42

16

PLSS: 単語ベクトルの利用 (2)v と書くことにすると、単語毎のl 単語 v のベクトルを ~<latexit sha1_base64="BT8b2Ykhk5arXIZX4/Rzz8aeP+k=">AAAHp3ichZXNbtNAEMenLeBSPtrCBYlLRRQEl2gTkECcWqBSq1YlHyRN1VSV12xaK45t2U7SJMoLwBXEgRNIHBCPwYUX4NBHQByLxIUD47UjJ9lJsZV4d+b3H8/srne5a5l+wNjpzOzchYuXtPnLC1euXru+uLR8o+I7Lc8QZcOxHK/KdV9Ypi3KgRlYoup6Qm9yS+zyxrPQv9sWnm869sug64qDpn5km3XT0AM0FdqHSymWYfJaURvZuJGC+Mo7y3MbUINX4IABLWiCABsCbFugg4/3PmSBgYu2A+ijzcOWKf0CBrCA2hZSAgkdrQ38P8Lefmy1sR/G9KXawLdY+PNQuQJp9oN9YWfsO/vKfrK/U2P1ZYwwly4+eaQV7uHi61ulP/9VNfEZwHGiOkfBkT6/pgDq8FjWYmJtrrSEVRpR/Hbv/VnpSTHdv8s+sV9Y30d2yr5hhXb7t/G5IIofMHpajrfASDVo49OAFI5xH3vDXDn6+tI6iPNJ+HGFI/se3ibmeIxqXfYc6EyNcEK864TgugTXJbgewfUIrkNwHYKrE1yd4BoE1yC4NYJbI7hNgtskuC2C2yK4KsFVCW6P4PYIjhEcUzgez2+4lql55fG8Rn51Prn8EoZ+QfibuOoToib7KuVijuYYF1ko0ldInyTD3MIVPsoObSodjtKQH1Uk9gGhsuS+wdEyqRv1UMq8UnF+SsUl+bU2JypJrKpieyyrRLM9kdOoaifO30CfhbvTjkKsT6wojv11hSoSVFGhnsvdJgU5SddxDwr3zmg2h6dGlEe0K9GeXBgXz7Ds5ImlNiq5TPZBJld4mFp9Gp9m83Ab7sA9jP8IVmEDx7+MOQh4A2/hnXZfe6FVtGqEzs7Empswdmn6P8jHjsk=</latexit><latexit sha1_base64="y3joY1EIc1JYoB6mt2kyC6cDDtg=">AAAHa3ichZXNbtNAEMenLTSlfLSlFwQcKqIAp2gTkECcWqASVauqTUiTqqkqr9kEK45t2Y7bxMoLcOOERE8gcUA8BhdegEMfASFOReLCgfHakZPstDhKvDvz+09mdtdj7piG5zN2MjE5deHidGbm0uzlK1evzc0vXN/x7I6ri4pum7Zb45onTMMSFd/wTVFzXKG1uSmqvPUs8lcD4XqGbb30u47Yb2tNy2gYuuajqVoPhB4G/YP5LMszeS2pg0IyyEJybdkLU/egDq/ABh060AYBFvg4NkEDDz97UAAGDtr2IUSbiyND+gX0YRa1HaQEEhpaW/jbxNleYrVwHsX0pFrHfzHx66JyCXLsO/vMTtk39oX9YH/PjBXKGFEuXbzzWCucg7k3N8p//qtq492H16nqHAVH+vyafGjAY1mLgbU50hJVqcfxg9670/KTUi68yz6yn1jfB3bCvmKFVvBb/7QtSscYPSfXW2CkOgR41yGLaxzibJArR18orf0kn5Q/IsgjgusSXJfgegTXI7hDgjskuAbBNQiuRXAtglshuBWCWyO4NYJbJ7h1gqsRXI3gdglul+AYwTGF48n+RieR2lee7GvsV/eTy3M88AvC38YzmxJ1OVcpB3M0RrjYQpGeQnokGeXmY/3D7MCm0tEqDfhhRWrvEypTPvUcLeO6YQ+l3FIq3jqj4jJam3Inh+nUqio2RrJKNRtjOQ2rNpP8dfSZ2Fs2FWJ17ERxnK8qVImgSgr1XHabLBQl3cAOHXW+eDcHPT/OI+5KtKcYxcU3UGH8faMOdor5woN8cfthdvlp8i6agVtwB+5j/EewDC9w/Suy+76F93A8/SuzmLmZuR2jkxOJZhFGrkzuH6OfhI0=</latexit>

バイアス v に代えて、次のモデルを考える
l 単語ベクトルに対する回帰係数 を使って、<latexit sha1_base64="fKyvhge90IQNDlAdn2Nw798Wtg4=">AAAHqnichZXNbtNAEMenLeBSPtrCBYlLRVTEAUWbgATi1AIVVK2qNCFpoqSKbGfdmPhLtpM0ifICnLgh4AQSB8RjcOEFOPQREMciceHAeO3ISTxpbSW7O/P7j2e8613FMXTPZ+xkbn7hwsVL0uLlpStXr11fXlm9UfLstqvyomobtltWZI8busWLvu4bvOy4XDYVgx8orWeB/6DDXU+3rVd+z+GHpnxk6Zquyj6aSjWnqdc79ZUUSzNxrSU7maiTgujK2asLL6AGDbBBhTaYwMECH/sGyODhXYUMMHDQdggDtLnY04WfwxCWUNtGiiMho7WF/0c4qkZWC8dBTE+oVXyKgT8XlWuwzn6yr+yU/WDf2C/2b2asgYgR5NLDVgm13Kkvv7lV+HuuysTWh2asOkOhIH12TT5o8FjUomNtjrAEVaph/E7/3WnhSX59cJd9Zr+xvk/shH3HCq3OH/XLPs9/FNEbqNGw7WCrQgrf8ABHo0wV9A2EdRhlE/OTCluMXbx1zLCJalmMbOjOjHBMPOuY4HoE1yO4PsH1Ca5LcF2C0whOI7gWwbUIbpPgNglum+C2CW6H4HYIrkxwZYKrEFyF4BjBsQSnRPMbrGRqXpVoXkN/cj4V8R2M/Jzwm7jmY6ImxknKwRz1CS60UKSXID2SDHILVvg4O7Il6eAtjfhxRWwfEipD7BoKWqZ14x5KmUtUnJtRcUF8reZUJbE1qdidyCrW7E7lNK7ai/JX0Wfg3rSXILamVpSC460ElSeofIJ6LnabFGQFreEeFOyc4WyOzowwj3BXoj3ZIC6eYJnp8yrZKWXTmQfp7P7D1MbT6CxbhNtwB+5h/EewAS/x/Rcxh9fwFt7DB+m+lJcqUjVE5+cizU2YuKTGfzCdkMc=</latexit><latexit sha1_base64="x1R2dLyocGWtbJNnhD1WFWmAFbo=">AAAHsHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJqRNaarIazatib9ku0kTKy/AGYkDAgkkDojH4MILcOgjII5F4sKB8dpRPnZSbCXenfn9xzO7613uWWYQMnY6NT1z4eIlbfby3JWr167PLyze2AncY98QFcO1XL/K9UBYpiMqoRlaour5Qre5JXZ582ns320JPzBd53nY8cSBrR86ZsM09BBNL2rcjmpchHqvvpBhOSavJbWRTxsZSK+iuzizBjV4CS4YcAw2CHAgxLYFOgR470MeGHhoO4AIbT62TOkX0IM51B4jJZDQ0drE/0Ps7adWB/txzECqDXyLhT8flUuQZT/YF3bGvrOv7Cf7OzFWJGPEuXTwyROt8Orzr2+V//xXZeMzhKOB6hwFR/r8mkJowCNZi4m1edISV2kk8Vvdt2flx6VsdJd9Yr+wvo/slH3DCp3Wb+Pztii9w+hZOd4CI9WghU8DMjjGEfb6uXL0RdLaS/MZ8KMKV/Z9vE3M8QjVuuy50J4Y4YR41wnBdQiuQ3BdgusSXJvg2gTXILgGwTUJrklwKwS3QnDrBLdOcBsEt0FwVYKrEtwewe0RHCM4pnA8nd94LVPzytN5TfzqfHL5JfT9gvDbuOoHRE32VcrDHM0RLrFQZKCQAUnGucUrfJjt21Q6HqU+P6wY2HuEypL7BkfLuG7YQymLSsXFCRWX5ddqj1UysKqKzZGsBprNsZyGVVtp/gb6LNydthRidWxFceyvKlSJoEoK9UzuNhkoSLqBe1C8dyaz2T81kjySXYn2FOK4eIblx08stbFTyOXv5wrbDzLLT9LTbBZuwx24h/EfwjKs4fhXMAcH3sB7+KAVtKpW1/QEnZ5KNTdh5NJe/QPTkpLI</latexit><latexit sha1_base64="IDQqBUiUWO5fAuXVMlvD+GuoZl8=">AAAIJ3iclZXPa9RAFMffturWrdrWHyB4WVwqFUuZXQVFEFq10NJS2u2vLU1dMulsGzbZhCSbdhsX7/4DHjwpeCj+GV68eVLs0YMH8VjBiwdfJln2R14rJuxm5r3P9+W9mckMtw3d9Rg7SvX1nzl7Lj1wPjN44eKloeGRy2uuVXc0sapZhuWUuOoKQ6+JVU/3DFGyHaGa3BDrvPok9K/7wnF1q7biNWyxZao7Nb2ia6qHpvLwC3vMf654u8JTxxXO8XH7UUapOKoWKGLfVsbHFGEYZT97JxtRWUXbtrxsxD5bUXyhBX7zdjMTKG7dRPD/ZOXhHJtg8somG/m4kYP4WrRG+mdAgW2wQIM6mCCgBh62DVDBxXsT8sDARtsWBGhzsKVLv4AmZFBbR0ogoaK1iv872NuMrTXshzFdqdbwLQb+HFRmYZR9ZofsmH1k79kP9ufEWIGMEebSwCePtMIuD728vvz7nyoTnx7stlWnKDjSp9fkQQUeyFp0rM2WlrBKLYrvH7w6Xn5YHA1usbfsJ9b3hh2xD1hhzf+lvVsSxdcYfVSOt8BICvj41CCHYxxgr5UrR18grc04nzbfrbBk38Fbxxx3Ua3KngV7J0bYJ961T3ANgmsQ3AHBHRDcHsHtEVyF4CoEVyW4KsFNEdwUwc0S3CzBzRHcHMGVCK5EcBsEt0FwjOBYguPx/IZrmZpXHs9r5E/OJ5dfQssvCL+Jq75NKLKfpGzMUe/iIgtFugnSJckwt3CFd7ItW5IOR6nFdyra9iahMuS+wdHSq+v0UMrFRMWLJ1S8LL9Ws6eStjWpmO/Kqq2Z78mpU7UQ56+hz8DdaSFBTPesKI796QRVJKhignoqd5scFCRdwT0o3Duj2WydGlEe0a5EewphXDzD8r0nVrKxVpjI350oLN3LTT6OT7MBuAE3YQzj34dJmMHxX8UcvqcGU1dT19KH6U/pL+mvEdqXijVXoOtKf/sLjtK+Sw==</latexit>–

exp (`v + ✓ · T ~v )p(v|✓, ) = P
T~
exp
(`
+
✓
·
v)
v
v

v の内積 T ~v が、 v と同じ働きと~– LSSで使われているコサイン類似度の確率モデル化<latexit sha1_base64="y3joY1EIc1JYoB6mt2kyC6cDDtg=">AAAHa3ichZXNbtNAEMenLTSlfLSlFwQcKqIAp2gTkECcWqASVauqTUiTqqkqr9kEK45t2Y7bxMoLcOOERE8gcUA8BhdegEMfASFOReLCgfHakZPstDhKvDvz+09mdtdj7piG5zN2MjE5deHidGbm0uzlK1evzc0vXN/x7I6ri4pum7Zb45onTMMSFd/wTVFzXKG1uSmqvPUs8lcD4XqGbb30u47Yb2tNy2gYuuajqVoPhB4G/YP5LMszeS2pg0IyyEJybdkLU/egDq/ABh060AYBFvg4NkEDDz97UAAGDtr2IUSbiyND+gX0YRa1HaQEEhpaW/jbxNleYrVwHsX0pFrHfzHx66JyCXLsO/vMTtk39oX9YH/PjBXKGFEuXbzzWCucg7k3N8p//qtq492H16nqHAVH+vyafGjAY1mLgbU50hJVqcfxg9670/KTUi68yz6yn1jfB3bCvmKFVvBb/7QtSscYPSfXW2CkOgR41yGLaxzibJArR18orf0kn5Q/IsgjgusSXJfgegTXI7hDgjskuAbBNQiuRXAtglshuBWCWyO4NYJbJ7h1gqsRXI3gdglul+AYwTGF48n+RieR2lee7GvsV/eTy3M88AvC38YzmxJ1OVcpB3M0RrjYQpGeQnokGeXmY/3D7MCm0tEqDfhhRWrvEypTPvUcLeO6YQ+l3FIq3jqj4jJam3Inh+nUqio2RrJKNRtjOQ2rNpP8dfSZ2Fs2FWJ17ERxnK8qVImgSgr1XHabLBQl3cAOHXW+eDcHPT/OI+5KtKcYxcU3UGH8faMOdor5woN8cfthdvlp8i6agVtwB+5j/EewDC9w/Suy+76F93A8/SuzmLmZuR2jkxOJZhFGrkzuH6OfhI0=</latexit><latexit sha1_base64="x1R2dLyocGWtbJNnhD1WFWmAFbo=">AAAHsHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJqRNaarIazatib9ku0kTKy/AGYkDAgkkDojH4MILcOgjII5F4sKB8dpRPnZSbCXenfn9xzO7613uWWYQMnY6NT1z4eIlbfby3JWr167PLyze2AncY98QFcO1XL/K9UBYpiMqoRlaour5Qre5JXZ582ns320JPzBd53nY8cSBrR86ZsM09BBNL2rcjmpchHqvvpBhOSavJbWRTxsZSK+iuzizBjV4CS4YcAw2CHAgxLYFOgR470MeGHhoO4AIbT62TOkX0IM51B4jJZDQ0drE/0Ps7adWB/txzECqDXyLhT8flUuQZT/YF3bGvrOv7Cf7OzFWJGPEuXTwyROt8Orzr2+V//xXZeMzhKOB6hwFR/r8mkJowCNZi4m1edISV2kk8Vvdt2flx6VsdJd9Yr+wvo/slH3DCp3Wb+Pztii9w+hZOd4CI9WghU8DMjjGEfb6uXL0RdLaS/MZ8KMKV/Z9vE3M8QjVuuy50J4Y4YR41wnBdQiuQ3BdgusSXJvg2gTXILgGwTUJrklwKwS3QnDrBLdOcBsEt0FwVYKrEtwewe0RHCM4pnA8nd94LVPzytN5TfzqfHL5JfT9gvDbuOoHRE32VcrDHM0RLrFQZKCQAUnGucUrfJjt21Q6HqU+P6wY2HuEypL7BkfLuG7YQymLSsXFCRWX5ddqj1UysKqKzZGsBprNsZyGVVtp/gb6LNydthRidWxFceyvKlSJoEoK9UzuNhkoSLqBe1C8dyaz2T81kjySXYn2FOK4eIblx08stbFTyOXv5wrbDzLLT9LTbBZuwx24h/EfwjKs4fhXMAcH3sB7+KAVtKpW1/QEnZ5KNTdh5NJe/QPTkpLI</latexit><latexit sha1_base64="fKyvhge90IQNDlAdn2Nw798Wtg4=">AAAHqnichZXNbtNAEMenLeBSPtrCBYlLRVTEAUWbgATi1AIVVK2qNCFpoqSKbGfdmPhLtpM0ifICnLgh4AQSB8RjcOEFOPQREMciceHAeO3ISTxpbSW7O/P7j2e8613FMXTPZ+xkbn7hwsVL0uLlpStXr11fXlm9UfLstqvyomobtltWZI8busWLvu4bvOy4XDYVgx8orWeB/6DDXU+3rVd+z+GHpnxk6Zquyj6aSjWnqdc79ZUUSzNxrSU7maiTgujK2asLL6AGDbBBhTaYwMECH/sGyODhXYUMMHDQdggDtLnY04WfwxCWUNtGiiMho7WF/0c4qkZWC8dBTE+oVXyKgT8XlWuwzn6yr+yU/WDf2C/2b2asgYgR5NLDVgm13Kkvv7lV+HuuysTWh2asOkOhIH12TT5o8FjUomNtjrAEVaph/E7/3WnhSX59cJd9Zr+xvk/shH3HCq3OH/XLPs9/FNEbqNGw7WCrQgrf8ABHo0wV9A2EdRhlE/OTCluMXbx1zLCJalmMbOjOjHBMPOuY4HoE1yO4PsH1Ca5LcF2C0whOI7gWwbUIbpPgNglum+C2CW6H4HYIrkxwZYKrEFyF4BjBsQSnRPMbrGRqXpVoXkN/cj4V8R2M/Jzwm7jmY6ImxknKwRz1CS60UKSXID2SDHILVvg4O7Il6eAtjfhxRWwfEipD7BoKWqZ14x5KmUtUnJtRcUF8reZUJbE1qdidyCrW7E7lNK7ai/JX0Wfg3rSXILamVpSC460ElSeofIJ6LnabFGQFreEeFOyc4WyOzowwj3BXoj3ZIC6eYJnp8yrZKWXTmQfp7P7D1MbT6CxbhNtwB+5h/EewAS/x/Rcxh9fwFt7DB+m+lJcqUjVE5+cizU2YuKTGfzCdkMc=</latexit><latexit sha1_base64="nr60tu3YmhVVytqyxQbVddgKW1I=">AAAHu3ichZXNbtNAEMenLeBSPprSCxKXiiiIU7RJkUBISC1QqVWrKk2aNlVTIq/ZtCZ2bNlO0sTKC/ACHDggkJCoeAwuvACHPgLiWCQuHBivHTmJJ8VW4t2Z3388s7ve5bahux5j51PTM1euXlNmr8/duHnr9nxq4c6ea7UcTZQ1y7CcClddYehNUfZ0zxAV2xGqyQ2xzxsvAv9+WziubjV3va4tjkz1uKnXdU310FRLLVa56Ve58NT+q91qW2h+u19LpVmWyWsp2chFjTREV8FamFmHKrwGCzRogQkCmuBh2wAVXLwPIQcMbLQdgY82B1u69AvowxxqW0gJJFS0NvD/GHuHkbWJ/SCmK9UavsXAn4PKJciwH+yMXbDv7Cv7yf5OjOXLGEEuXXzyUCvs2vzbu6U//1WZ+PTgJFZdouBIX16TB3V4ImvRsTZbWoIqtTB+u/fuovS0mPEfsE/sF9b3kZ2zb1hhs/1b+7wjiu8xekaOt8BIVWjjU4M0jrGPvUGuHH2+tPajfGJ+VGHJvoO3jjmeoFqVPQs6EyOcEu86JbguwXUJrkdwPYLrEFyH4OoEVye4BsE1CG6V4FYJboPgNghuk+A2Ca5CcBWCOyC4A4JjBMcSHI/mN1jL1LzyaF5Df3I+ufwSBn5B+E1c9TFRlf0kZWOO+ggXWijSTZAuSQa5BSt8mB3YknQwSgN+WBHb+4TKkPsGR8u4bthDKQuJigsTKi7Jr9UcqyS2JhVbI1nFmq2xnIZV21H+GvoM3J22E8Ta2Iri2F9LUEWCKiaol3K3SUNe0nXcg4K9M5zNwakR5hHuSrQnH8TFMyw3fmIlG3v5bG45m995lF55Hp1ms3AP7sNDjP8YVmAdx7+MOXThA3yBM+WZoilvFCNEp6cizSKMXErrH8LHlw0=</latexit>

l 単語ベクトルと同じ次元のパラメータ<latexit sha1_base64="x1R2dLyocGWtbJNnhD1WFWmAFbo=">AAAHsHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJqRNaarIazatib9ku0kTKy/AGYkDAgkkDojH4MILcOgjII5F4sKB8dpRPnZSbCXenfn9xzO7613uWWYQMnY6NT1z4eIlbfby3JWr167PLyze2AncY98QFcO1XL/K9UBYpiMqoRlaour5Qre5JXZ582ns320JPzBd53nY8cSBrR86ZsM09BBNL2rcjmpchHqvvpBhOSavJbWRTxsZSK+iuzizBjV4CS4YcAw2CHAgxLYFOgR470MeGHhoO4AIbT62TOkX0IM51B4jJZDQ0drE/0Ps7adWB/txzECqDXyLhT8flUuQZT/YF3bGvrOv7Cf7OzFWJGPEuXTwyROt8Orzr2+V//xXZeMzhKOB6hwFR/r8mkJowCNZi4m1edISV2kk8Vvdt2flx6VsdJd9Yr+wvo/slH3DCp3Wb+Pztii9w+hZOd4CI9WghU8DMjjGEfb6uXL0RdLaS/MZ8KMKV/Z9vE3M8QjVuuy50J4Y4YR41wnBdQiuQ3BdgusSXJvg2gTXILgGwTUJrklwKwS3QnDrBLdOcBsEt0FwVYKrEtwewe0RHCM4pnA8nd94LVPzytN5TfzqfHL5JfT9gvDbuOoHRE32VcrDHM0RLrFQZKCQAUnGucUrfJjt21Q6HqU+P6wY2HuEypL7BkfLuG7YQymLSsXFCRWX5ddqj1UysKqKzZGsBprNsZyGVVtp/gb6LNydthRidWxFceyvKlSJoEoK9UzuNhkoSLqBe1C8dyaz2T81kjySXYn2FOK4eIblx08stbFTyOXv5wrbDzLLT9LTbBZuwx24h/EfwjKs4fhXMAcH3sB7+KAVtKpW1/QEnZ5KNTdh5NJe/QPTkpLI</latexit>

を、1つ推定すればよい

17/42

17

<latexit sha1_base64="x1R2dLyocGWtbJNnhD1WFWmAFbo=">AAAHsHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJqRNaarIazatib9ku0kTKy/AGYkDAgkkDojH4MILcOgjII5F4sKB8dpRPnZSbCXenfn9xzO7613uWWYQMnY6NT1z4eIlbfby3JWr167PLyze2AncY98QFcO1XL/K9UBYpiMqoRlaour5Qre5JXZ582ns320JPzBd53nY8cSBrR86ZsM09BBNL2rcjmpchHqvvpBhOSavJbWRTxsZSK+iuzizBjV4CS4YcAw2CHAgxLYFOgR470MeGHhoO4AIbT62TOkX0IM51B4jJZDQ0drE/0Ps7adWB/txzECqDXyLhT8flUuQZT/YF3bGvrOv7Cf7OzFWJGPEuXTwyROt8Orzr2+V//xXZeMzhKOB6hwFR/r8mkJowCNZi4m1edISV2kk8Vvdt2flx6VsdJd9Yr+wvo/slH3DCp3Wb+Pztii9w+hZOd4CI9WghU8DMjjGEfb6uXL0RdLaS/MZ8KMKV/Z9vE3M8QjVuuy50J4Y4YR41wnBdQiuQ3BdgusSXJvg2gTXILgGwTUJrklwKwS3QnDrBLdOcBsEt0FwVYKrEtwewe0RHCM4pnA8nd94LVPzytN5TfzqfHL5JfT9gvDbuOoHRE32VcrDHM0RLrFQZKCQAUnGucUrfJjt21Q6HqU+P6wY2HuEypL7BkfLuG7YQymLSsXFCRWX5ddqj1UysKqKzZGsBprNsZyGVVtp/gb6LNydthRidWxFceyvKlSJoEoK9UzuNhkoSLqBe1C8dyaz2T81kjySXYn2FOK4eIblx08stbFTyOXv5wrbDzLLT9LTbBZuwx24h/EfwjKs4fhXMAcH3sB7+KAVtKpW1/QEnZ5KNTdh5NJe/QPTkpLI</latexit>の推定

l 最も簡単には、＋ーを与えた少数の極性語辞書の単語ベクトルの平均の差を計算‘good’
‘bad’

× ×
×
× ▲

‘poor’××▲ × ‘well’×<latexit sha1_base64="x1R2dLyocGWtbJNnhD1WFWmAFbo=">AAAHsHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJqRNaarIazatib9ku0kTKy/AGYkDAgkkDojH4MILcOgjII5F4sKB8dpRPnZSbCXenfn9xzO7613uWWYQMnY6NT1z4eIlbfby3JWr167PLyze2AncY98QFcO1XL/K9UBYpiMqoRlaour5Qre5JXZ582ns320JPzBd53nY8cSBrR86ZsM09BBNL2rcjmpchHqvvpBhOSavJbWRTxsZSK+iuzizBjV4CS4YcAw2CHAgxLYFOgR470MeGHhoO4AIbT62TOkX0IM51B4jJZDQ0drE/0Ps7adWB/txzECqDXyLhT8flUuQZT/YF3bGvrOv7Cf7OzFWJGPEuXTwyROt8Orzr2+V//xXZeMzhKOB6hwFR/r8mkJowCNZi4m1edISV2kk8Vvdt2flx6VsdJd9Yr+wvo/slH3DCp3Wb+Pztii9w+hZOd4CI9WghU8DMjjGEfb6uXL0RdLaS/MZ8KMKV/Z9vE3M8QjVuuy50J4Y4YR41wnBdQiuQ3BdgusSXJvg2gTXILgGwTUJrklwKwS3QnDrBLdOcBsEt0FwVYKrEtwewe0RHCM4pnA8nd94LVPzytN5TfzqfHL5JfT9gvDbuOoHRE32VcrDHM0RLrFQZKCQAUnGucUrfJjt21Q6HqU+P6wY2HuEypL7BkfLuG7YQymLSsXFCRWX5ddqj1UysKqKzZGsBprNsZyGVVtp/gb6LNydthRidWxFceyvKlSJoEoK9UzuNhkoSLqBe1C8dyaz2T81kjySXYn2FOK4eIblx08stbFTyOXv5wrbDzLLT9LTbBZuwx24h/EfwjKs4fhXMAcH3sB7+KAVtKpW1/QEnZ5KNTdh5NJe/QPTkpLI</latexit>‘nasty’–18/42のノルムは1にする→極性語として極端な単語を与える必要がない (LSSとの違い)<latexit sha1_base64="x1R2dLyocGWtbJNnhD1WFWmAFbo=">AAAHsHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJqRNaarIazatib9ku0kTKy/AGYkDAgkkDojH4MILcOgjII5F4sKB8dpRPnZSbCXenfn9xzO7613uWWYQMnY6NT1z4eIlbfby3JWr167PLyze2AncY98QFcO1XL/K9UBYpiMqoRlaour5Qre5JXZ582ns320JPzBd53nY8cSBrR86ZsM09BBNL2rcjmpchHqvvpBhOSavJbWRTxsZSK+iuzizBjV4CS4YcAw2CHAgxLYFOgR470MeGHhoO4AIbT62TOkX0IM51B4jJZDQ0drE/0Ps7adWB/txzECqDXyLhT8flUuQZT/YF3bGvrOv7Cf7OzFWJGPEuXTwyROt8Orzr2+V//xXZeMzhKOB6hwFR/r8mkJowCNZi4m1edISV2kk8Vvdt2flx6VsdJd9Yr+wvo/slH3DCp3Wb+Pztii9w+hZOd4CI9WghU8DMjjGEfb6uXL0RdLaS/MZ8KMKV/Z9vE3M8QjVuuy50J4Y4YR41wnBdQiuQ3BdgusSXJvg2gTXILgGwTUJrklwKwS3QnDrBLdOcBsEt0FwVYKrEtwewe0RHCM4pnA8nd94LVPzytN5TfzqfHL5JfT9gvDbuOoHRE32VcrDHM0RLrFQZKCQAUnGucUrfJjt21Q6HqU+P6wY2HuEypL7BkfLuG7YQymLSsXFCRWX5ddqj1UysKqKzZGsBprNsZyGVVtp/gb6LNydthRidWxFceyvKlSJoEoK9UzuNhkoSLqBe1C8dyaz2T81kjySXYn2FOK4eIblx08stbFTyOXv5wrbDzLLT9LTbBZuwx24h/EfwjKs4fhXMAcH3sB7+KAVtKpW1/QEnZ5KNTdh5NJe/QPTkpLI</latexit>

18

<latexit sha1_base64="x1R2dLyocGWtbJNnhD1WFWmAFbo=">AAAHsHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJqRNaarIazatib9ku0kTKy/AGYkDAgkkDojH4MILcOgjII5F4sKB8dpRPnZSbCXenfn9xzO7613uWWYQMnY6NT1z4eIlbfby3JWr167PLyze2AncY98QFcO1XL/K9UBYpiMqoRlaour5Qre5JXZ582ns320JPzBd53nY8cSBrR86ZsM09BBNL2rcjmpchHqvvpBhOSavJbWRTxsZSK+iuzizBjV4CS4YcAw2CHAgxLYFOgR470MeGHhoO4AIbT62TOkX0IM51B4jJZDQ0drE/0Ps7adWB/txzECqDXyLhT8flUuQZT/YF3bGvrOv7Cf7OzFWJGPEuXTwyROt8Orzr2+V//xXZeMzhKOB6hwFR/r8mkJowCNZi4m1edISV2kk8Vvdt2flx6VsdJd9Yr+wvo/slH3DCp3Wb+Pztii9w+hZOd4CI9WghU8DMjjGEfb6uXL0RdLaS/MZ8KMKV/Z9vE3M8QjVuuy50J4Y4YR41wnBdQiuQ3BdgusSXJvg2gTXILgGwTUJrklwKwS3QnDrBLdOcBsEt0FwVYKrEtwewe0RHCM4pnA8nd94LVPzytN5TfzqfHL5JfT9gvDbuOoHRE32VcrDHM0RLrFQZKCQAUnGucUrfJjt21Q6HqU+P6wY2HuEypL7BkfLuG7YQymLSsXFCRWX5ddqj1UysKqKzZGsBprNsZyGVVtp/gb6LNydthRidWxFceyvKlSJoEoK9UzuNhkoSLqBe1C8dyaz2T81kjySXYn2FOK4eIblx08stbFTyOXv5wrbDzLLT9LTbBZuwx24h/EfwjKs4fhXMAcH3sB7+KAVtKpW1/QEnZ5KNTdh5NJe/QPTkpLI</latexit>の推定

v について、 v =l 各単語ベクトル ~<latexit sha1_base64="LPCnfOjS+vyam7axb5NUUU/IOTw=">AAAHrXichZXNbtNAEMenLeBSPtrCBYlLRRTEKWwCEohTC1Rq1apKE9Kkakplm01qxY4t23GaWHkBbpyQ6AkkDojH4MILcOgjII5F4sKB8dqRk+yk2Eq8O/P7j2d217uaYxqez9jZzOzcpctXlPmrC9eu37i5uLR8a8+zO67OK7pt2m5NUz1uGm1e8Q3f5DXH5aqlmbyqtV5E/mrAXc+w26/8nsMPLbXZNhqGrvpoqtYDrofB4Ggpw3JMXCtyI580MpBcRXt5bgPq8AZs0KEDFnBog49tE1Tw8D6APDBw0HYIIdpcbBnCz2EAC6jtIMWRUNHawv8m9g4Saxv7UUxPqHV8i4k/F5UrkGU/2Bd2zr6zr+wn+zs1VihiRLn08KnFWu4cLb69U/7zX5WFTx+OU9UFCg3pi2vyoQFPRS0G1uYIS1SlHscP+u/Py89K2fA++8R+YX0f2Rn7hhW2g9/6511eOsXoWTHeHCPVIcCnDhkc4xB7w1w19IXCOkjySflxhS36Lt4G5niMalX0bOhOjXBCvOuE4HoE1yO4PsH1Ca5LcF2CaxBcg+BaBNciuDWCWyO4TYLbJLgtgtsiuBrB1Qhun+D2CY4RHJM4LZnfaC1T86ol8xr75fnUxJcw9HPCb+GqT4m66MuUgzkaY1xsoUhPIj2SjHKLVvgoO7TJdDRKQ35UkdoHhMoU+4aGlkndqIdSFqWKi1MqLouv1ZqoJLXKiu2xrFLN9kROo6qdJH8dfSbuTjsSsT6xojTsr0tUiaBKEvVS7DYZKAi6gXtQtHfGszk8NeI84l2J9hSiuHiG5SdPLLmxV8jlH+UKu48zq8+T02we7sI9eIDxn8AqbOD4V8T+/Q4+wKnyUKkodeV1jM7OJJrbMHYpzX98uJGX</latexit><latexit sha1_base64="XxKnA+bZTp88JOW/Dt+5hYGfZXk=">AAAHxnichZXNbtNAEMenLZBSPprCBQkJtURFnKpNQAIhIbVApVStqjRt2lR1ibxm01rxl2zHaWpF4sCJF+DACSQOwBHegAsvwKGPgDgWiQsHxmtH+fCk2Eq8O/P7j2d217vcMXTPZ+xkbHzi3PkLmcmLU5cuX7k6nZ25tu3ZTVcTFc02bLfKVU8YuiUqvu4bouq4QjW5IXZ442nk3wmE6+m2teW3HbFvqgeWXtc11UdTLXtLcQ71WqDMPVbmFG6GChe+2nm+pQRCC4NOLZtjC0xes+lGPmnkILlK9sxEERR4ATZo0AQTBFjgY9sAFTy89yAPDBy07UOINhdbuvQL6MAUaptICSRUtDbw/wB7e4nVwn4U05NqDd9i4M9F5SzMsx/sIztl39ln9pP9HRkrlDGiXNr45LFWOLXp1zc2//xXZeLTh8Oe6gwFR/rsmnyow0NZi461OdISVanF8YPjN6ebj8rz4R32nv3C+t6xE/YNK7SC39qHDVF+i9Hn5XgLjKRAgE8NcjjGIfa6uXL0hdLaSfLp8YMKW/ZdvHXM8RDVquzZ0BoZ4Yh41xHBtQmuTXDHBHdMcC2CaxFcneDqBNcguAbBLRHcEsGtENwKwa0S3CrBVQmuSnC7BLdLcIzgWIrjyfxGa5maV57Ma+xPzyeXX0LXLwi/iau+Ryiyn6YczFEf4GILRXop0iPJKLdohfezXVuajkapy/crevYOoTLkvsHRMqzr91DKUqri0oiKN+XXag5V0rOmFWsDWfU0a0M59avWk/w19Bm4O62niOWhFcWxv5yiygRVTlHP5G6Tg4Kk67gHRXtnPJvdUyPOI96VaE8hiotnWH74xEo3tgsL+XsLhY37ucUnyWk2CTfhNtzF+A9gEYo4/hXM4RV8gi/wNVPMWJlmphWj42OJ5joMXJmX/wCLaJsk</latexit>T~v が軸 に<latexit sha1_base64="x1R2dLyocGWtbJNnhD1WFWmAFbo=">AAAHsHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJqRNaarIazatib9ku0kTKy/AGYkDAgkkDojH4MILcOgjII5F4sKB8dpRPnZSbCXenfn9xzO7613uWWYQMnY6NT1z4eIlbfby3JWr167PLyze2AncY98QFcO1XL/K9UBYpiMqoRlaour5Qre5JXZ582ns320JPzBd53nY8cSBrR86ZsM09BBNL2rcjmpchHqvvpBhOSavJbWRTxsZSK+iuzizBjV4CS4YcAw2CHAgxLYFOgR470MeGHhoO4AIbT62TOkX0IM51B4jJZDQ0drE/0Ps7adWB/txzECqDXyLhT8flUuQZT/YF3bGvrOv7Cf7OzFWJGPEuXTwyROt8Orzr2+V//xXZeMzhKOB6hwFR/r8mkJowCNZi4m1edISV2kk8Vvdt2flx6VsdJd9Yr+wvo/slH3DCp3Wb+Pztii9w+hZOd4CI9WghU8DMjjGEfb6uXL0RdLaS/MZ8KMKV/Z9vE3M8QjVuuy50J4Y4YR41wnBdQiuQ3BdgusSXJvg2gTXILgGwTUJrklwKwS3QnDrBLdOcBsEt0FwVYKrEtwewe0RHCM4pnA8nd94LVPzytN5TfzqfHL5JfT9gvDbuOoHRE32VcrDHM0RLrFQZKCQAUnGucUrfJjt21Q6HqU+P6wY2HuEypL7BkfLuG7YQymLSsXFCRWX5ddqj1UysKqKzZGsBprNsZyGVVtp/gb6LNydthRidWxFceyvKlSJoEoK9UzuNhkoSLqBe1C8dyaz2T81kjySXYn2FOK4eIblx08stbFTyOXv5wrbDzLLT9LTbBZuwx24h/EfwjKs4fhXMAcH3sB7+KAVtKpW1/QEnZ5KNTdh5NJe/QPTkpLI</latexit>

沿った「単語の極性」を表す
l 例: 英語の一般的なpositive-negative辞書を使った場合# general positive-negative words, same as LSS
positivegood nice excellent positive fortunate correct superior
negative
bad nasty poor negative unfortunate wrong inferior

19/42

19

計算された単語の極性
honoredselected
covetedsuite
invitedexcellenttastingcraft
chosennice
designed
availablepleasant
fortunate

20/42

0.46580.46350.42540.41890.41850.41830.4146
0.41170.4116
0.40530.38840.38580.38490.3780

guest
customsuitesdesigning
terrific
bookedflexiblespa
wonderfulslatedplus
buick
indooraccessible<latexit sha1_base64="XxKnA+bZTp88JOW/Dt+5hYGfZXk=">AAAHxnichZXNbtNAEMenLZBSPprCBQkJtURFnKpNQAIhIbVApVStqjRt2lR1ibxm01rxl2zHaWpF4sCJF+DACSQOwBHegAsvwKGPgDgWiQsHxmtH+fCk2Eq8O/P7j2d217vcMXTPZ+xkbHzi3PkLmcmLU5cuX7k6nZ25tu3ZTVcTFc02bLfKVU8YuiUqvu4bouq4QjW5IXZ442nk3wmE6+m2teW3HbFvqgeWXtc11UdTLXtLcQ71WqDMPVbmFG6GChe+2nm+pQRCC4NOLZtjC0xes+lGPmnkILlK9sxEERR4ATZo0AQTBFjgY9sAFTy89yAPDBy07UOINhdbuvQL6MAUaptICSRUtDbw/wB7e4nVwn4U05NqDd9i4M9F5SzMsx/sIztl39ln9pP9HRkrlDGiXNr45LFWOLXp1zc2//xXZeLTh8Oe6gwFR/rsmnyow0NZi461OdISVanF8YPjN6ebj8rz4R32nv3C+t6xE/YNK7SC39qHDVF+i9Hn5XgLjKRAgE8NcjjGIfa6uXL0hdLaSfLp8YMKW/ZdvHXM8RDVquzZ0BoZ4Yh41xHBtQmuTXDHBHdMcC2CaxFcneDqBNcguAbBLRHcEsGtENwKwa0S3CrBVQmuSnC7BLdLcIzgWIrjyfxGa5maV57Ma+xPzyeXX0LXLwi/iau+Ryiyn6YczFEf4GILRXop0iPJKLdohfezXVuajkapy/crevYOoTLkvsHRMqzr91DKUqri0oiKN+XXag5V0rOmFWsDWfU0a0M59avWk/w19Bm4O62niOWhFcWxv5yiygRVTlHP5G6Tg4Kk67gHRXtnPJvdUyPOI96VaE8hiotnWH74xEo3tgsL+XsLhY37ucUnyWk2CTfhNtzF+A9gEYo4/hXM4RV8gi/wNVPMWJlmphWj42OJ5joMXJmX/wCLaJsk</latexit>v=

0.37650.37310.37190.37160.37080.36860.36540.36050.35790.35740.35580.35540.35520.3544T~v (上位)

uniquededicatedloungecertifiedwines
viaelegant
installed
happy
venue
prepared
designpreparingfine

0.35330.35300.34680.34590.34510.34470.34140.34030.34020.34000.33930.33830.33700.336920

計算された単語の極性<latexit sha1_base64="XxKnA+bZTp88JOW/Dt+5hYGfZXk=">AAAHxnichZXNbtNAEMenLZBSPprCBQkJtURFnKpNQAIhIbVApVStqjRt2lR1ibxm01rxl2zHaWpF4sCJF+DACSQOwBHegAsvwKGPgDgWiQsHxmtH+fCk2Eq8O/P7j2d217vcMXTPZ+xkbHzi3PkLmcmLU5cuX7k6nZ25tu3ZTVcTFc02bLfKVU8YuiUqvu4bouq4QjW5IXZ442nk3wmE6+m2teW3HbFvqgeWXtc11UdTLXtLcQ71WqDMPVbmFG6GChe+2nm+pQRCC4NOLZtjC0xes+lGPmnkILlK9sxEERR4ATZo0AQTBFjgY9sAFTy89yAPDBy07UOINhdbuvQL6MAUaptICSRUtDbw/wB7e4nVwn4U05NqDd9i4M9F5SzMsx/sIztl39ln9pP9HRkrlDGiXNr45LFWOLXp1zc2//xXZeLTh8Oe6gwFR/rsmnyow0NZi461OdISVanF8YPjN6ebj8rz4R32nv3C+t6xE/YNK7SC39qHDVF+i9Hn5XgLjKRAgE8NcjjGIfa6uXL0hdLaSfLp8YMKW/ZdvHXM8RDVquzZ0BoZ4Yh41xHBtQmuTXDHBHdMcC2CaxFcneDqBNcguAbBLRHcEsGtENwKwa0S3CrBVQmuSnC7BLdLcIzgWIrjyfxGa5maV57Ma+xPzyeXX0LXLwi/iau+Ryiyn6YczFEf4GILRXop0iPJKLdohfezXVuajkapy/crevYOoTLkvsHRMqzr91DKUqri0oiKN+XXag5V0rOmFWsDWfU0a0M59avWk/w19Bm4O62niOWhFcWxv5yiygRVTlHP5G6Tg4Kk67gHRXtnPJvdUyPOI96VaE8hiotnWH74xEo3tgsL+XsLhY37ucUnyWk2CTfhNtzF+A9gEYo4/hXM4RV8gi/wNVPMWJlmphWj42OJ5joMXJmX/wCLaJsk</latexit>v=T~v (下位)

greed-0.5244 anger-0.4404 rumors-0.4045
rampant-0.5135 scandals-0.4394 backlash-0.4031
panic-0.4923 violence-0.4367 reckless-0.4018fear-0.4839 catastrophe -0.4350 misery-0.4018
racism-0.4753 rage
-0.4317 enron-0.4013
ignoring-0.4693 violent-0.4298 tide
-0.4010unrest-0.4618 abuses-0.4234 depression -0.3978
chaos-0.4593 outrage-0.4233 badly-0.3972
intimidation-0.4500 distress-0.4202 confronting -0.396
riots-0.4532 abruptly-0.4175 epidemic-0.3940
subprime-0.4514 blame-0.4164 persistent -0.3935
fears-0.4489 bust
-0.4096 meltdown-0.3921collapse-0.4429 resentment -0.4065 deepening-0.3886
fearful-0.4418 anxiety-0.4053 rhetoric-0.3882

l 辞書でごく一部の単語を指定しただけで、多数の単語に適切な極性が与えられている！
21/42

21

の半教師あり学習<latexit sha1_base64="x1R2dLyocGWtbJNnhD1WFWmAFbo=">AAAHsHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJqRNaarIazatib9ku0kTKy/AGYkDAgkkDojH4MILcOgjII5F4sKB8dpRPnZSbCXenfn9xzO7613uWWYQMnY6NT1z4eIlbfby3JWr167PLyze2AncY98QFcO1XL/K9UBYpiMqoRlaour5Qre5JXZ582ns320JPzBd53nY8cSBrR86ZsM09BBNL2rcjmpchHqvvpBhOSavJbWRTxsZSK+iuzizBjV4CS4YcAw2CHAgxLYFOgR470MeGHhoO4AIbT62TOkX0IM51B4jJZDQ0drE/0Ps7adWB/txzECqDXyLhT8flUuQZT/YF3bGvrOv7Cf7OzFWJGPEuXTwyROt8Orzr2+V//xXZeMzhKOB6hwFR/r8mkJowCNZi4m1edISV2kk8Vvdt2flx6VsdJd9Yr+wvo/slH3DCp3Wb+Pztii9w+hZOd4CI9WghU8DMjjGEfb6uXL0RdLaS/MZ8KMKV/Z9vE3M8QjVuuy50J4Y4YR41wnBdQiuQ3BdgusSXJvg2gTXILgGwTUJrklwKwS3QnDrBLdOcBsEt0FwVYKrEtwewe0RHCM4pnA8nd94LVPzytN5TfzqfHL5JfT9gvDbuOoHRE32VcrDHM0RLrFQZKCQAUnGucUrfJjt21Q6HqU+P6wY2HuEypL7BkfLuG7YQymLSsXFCRWX5ddqj1UysKqKzZGsBprNsZyGVVtp/gb6LNydthRidWxFceyvKlSJoEoK9UzuNhkoSLqBe1C8dyaz2T81kjySXYn2FOK4eIblx08stbFTyOXv5wrbDzLLT9LTbBZuwx24h/EfwjKs4fhXMAcH3sB7+KAVtKpW1/QEnZ5KNTdh5NJe/QPTkpLI</latexit>

l 辞書が分析前に自明に準備できるとは限らない

à 辞書の代わりに、「正例のテキスト集合」「負例のテキスト集合」を少数だけ与える
l 辞書と同時に使うことも可能：辞書による を初期値にして学習
l データ:X` , Y` ：ラベルがある少数のテキストとラベル
Xu ：ラベルのない多数のテキスト– 機械学習的には、半教師あり学習の枠組み<latexit sha1_base64="x1R2dLyocGWtbJNnhD1WFWmAFbo=">AAAHsHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJqRNaarIazatib9ku0kTKy/AGYkDAgkkDojH4MILcOgjII5F4sKB8dpRPnZSbCXenfn9xzO7613uWWYQMnY6NT1z4eIlbfby3JWr167PLyze2AncY98QFcO1XL/K9UBYpiMqoRlaour5Qre5JXZ582ns320JPzBd53nY8cSBrR86ZsM09BBNL2rcjmpchHqvvpBhOSavJbWRTxsZSK+iuzizBjV4CS4YcAw2CHAgxLYFOgR470MeGHhoO4AIbT62TOkX0IM51B4jJZDQ0drE/0Ps7adWB/txzECqDXyLhT8flUuQZT/YF3bGvrOv7Cf7OzFWJGPEuXTwyROt8Orzr2+V//xXZeMzhKOB6hwFR/r8mkJowCNZi4m1edISV2kk8Vvdt2flx6VsdJd9Yr+wvo/slH3DCp3Wb+Pztii9w+hZOd4CI9WghU8DMjjGEfb6uXL0RdLaS/MZ8KMKV/Z9vE3M8QjVuuy50J4Y4YR41wnBdQiuQ3BdgusSXJvg2gTXILgGwTUJrklwKwS3QnDrBLdOcBsEt0FwVYKrEtwewe0RHCM4pnA8nd94LVPzytN5TfzqfHL5JfT9gvDbuOoHRE32VcrDHM0RLrFQZKCQAUnGucUrfJjt21Q6HqU+P6wY2HuEypL7BkfLuG7YQymLSsXFCRWX5ddqj1UysKqKzZGsBprNsZyGVVtp/gb6LNydthRidWxFceyvKlSJoEoK9UzuNhkoSLqBe1C8dyaz2T81kjySXYn2FOK4eIblx08stbFTyOXv5wrbDzLLT9LTbBZuwx24h/EfwjKs4fhXMAcH3sB7+KAVtKpW1/QEnZ5KNTdh5NJe/QPTkpLI</latexit><latexit sha1_base64="0vMdil/wHEXj45kw17cWDBNcqbA=">AAAHtHichZXNbtNAEMenLeBSPtrCBYlLRBTEAUWbgABxaoFKrVpVaULaRE0bec2mteIv2U7SJMoL8AIgcWolDojH4MILcOgjII5F4sKB8dqRk3hSbCXenfn9xzO7613uGLrnM3Y+Mzt35eo1Zf76wo2bt24vLi3f2fXslquJsmYbtlvhqicM3RJlX/cNUXFcoZrcEHu8+Trw77WF6+m29dbvOuLAVI8svaFrqo+mw0q9Jgzjcaoqn/WlNMsyeaWSjVzUSEN0FezluXWowTuwQYMWmCDAAh/bBqjg4b0POWDgoO0A+mhzsaVLv4ABLKC2hZRAQkVrE/+PsLcfWS3sBzE9qdbwLQb+XFSmIMN+sC/sgn1nX9lP9ndqrL6MEeTSxScPtcKpL76/V/rzX5WJTx+OY9UlCo705TX50IAXshYda3OkJahSC+O3ex8uSi+Lmf5DdsZ+YX2n7Jx9wwqt9m/t844ofsLoGTneAiPVoI1PDdI4xn3sDXPl6OtL6yDKJ+bHFbbsu3jrmOMxqlXZs6EzNcIJ8a4TgusSXJfgegTXI7gOwXUIrkFwDYJrElyT4FYJbpXgNghug+A2CW6T4CoEVyG4KsFVCY4RHEtwPJrfYC1T88qjeQ39yfnk8ksY+gXhN3HVx0RN9pOUgznqY1xooUgvQXokGeQWrPBRdmhL0sEoDflRRWwfECpD7hscLZO6UQ+lLCQqLkypuCS/VnOiktiaVGyNZRVrtiZyGlVtR/lr6DNwd9pOEGsTK4pjfy1BFQmqmKDeyN0mDXlJN3APCvbOcDaHp0aYR7gr0Z58EBfPsNzkiZVs7OazuSfZ/M7T9Mqr6DSbh/vwAB5h/OewAus4/mXMwYWPcApnyjOlpmiKCNHZmUhzF8YuxfoHgVGTwg==</latexit><latexit sha1_base64="YlwIyjvZ5BEBaXebfuyz09wCfOM=">AAAHqXichZXNbtNAEMenLeBSPtrCBYlLRRSEhBRtAhKIUwtUatWqygdpXZoqss0mteIv2U7SJMoLIHGlB04gcUA8BhdegEMfAXEsEhcOjNeOnGSnxVbi3Znffzyzu97VPcsMQsZOZ2bnLl2+osxfXbh2/cbNxaXlW7uB2/YNXjVcy/VVXQu4ZTq8GpqhxVXP55qtW3xPb72I/Hsd7gem67wKex4/tLWmYzZMQwvRVFHr7fpShuWYuFbkRj5pZCC5iu7y3AbU4A24YEAbbODgQIhtCzQI8D6APDDw0HYIA7T52DKFn8MQFlDbRoojoaG1hf9N7B0kVgf7UcxAqA18i4U/H5UrkGU/2Bd2xr6zr+wn+3turIGIEeXSw6cea7lXX3x7p/LnvyobnyEcpaoLFDrSF9cUQgOeilpMrM0TlqhKI47f6Z+cVZ6Vs4P77BP7hfV9ZKfsG1bodH4bn0u8/AGjZ8V4c4xUgw4+DcjgGA+wN8pVR99AWIdJPik/qXBF38fbxByPUK2JngvdcyMcE+86JrgewfUIrk9wfYLrElyX4BoE1yC4FsG1CG6N4NYIbpPgNglui+C2CE4lOJXg9glun+AYwTGJ05P5jdYyNa96Mq+xX55PXXwJIz8n/Dau+pSoib5MeZijOcHFFooMJDIgySi3aIWPsyObTEejNOLHFal9SKgssW/oaJnWjXsoZVGquHhOxRXxtdpTlaRWWbE9kVWq2Z7KaVy1k+RvoM/C3WlHItanVpSO/XWJKhNUWaJeit0mAwVBN3APivbOeDZHp0acR7wr0Z5CFBfPsPz0iSU3dgu5/KNcofQ4s/o8Oc3m4S7cgwcY/wmswgaOfxVzaMI7eA8nykOlpKjK6xidnUk0t2HiUox/SRqPkw==</latexit>

22/42

22

の半教師あり学習(2) method
Estimating: corrected<latexit sha1_base64="x1R2dLyocGWtbJNnhD1WFWmAFbo=">AAAHsHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJqRNaarIazatib9ku0kTKy/AGYkDAgkkDojH4MILcOgjII5F4sKB8dpRPnZSbCXenfn9xzO7613uWWYQMnY6NT1z4eIlbfby3JWr167PLyze2AncY98QFcO1XL/K9UBYpiMqoRlaour5Qre5JXZ582ns320JPzBd53nY8cSBrR86ZsM09BBNL2rcjmpchHqvvpBhOSavJbWRTxsZSK+iuzizBjV4CS4YcAw2CHAgxLYFOgR470MeGHhoO4AIbT62TOkX0IM51B4jJZDQ0drE/0Ps7adWB/txzECqDXyLhT8flUuQZT/YF3bGvrOv7Cf7OzFWJGPEuXTwyROt8Orzr2+V//xXZeMzhKOB6hwFR/r8mkJowCNZi4m1edISV2kk8Vvdt2flx6VsdJd9Yr+wvo/slH3DCp3Wb+Pztii9w+hZOd4CI9WghU8DMjjGEfb6uXL0RdLaS/MZ8KMKV/Z9vE3M8QjVuuy50J4Y4YR41wnBdQiuQ3BdgusSXJvg2gTXILgGwTUJrklwKwS3QnDrBLdOcBsEt0FwVYKrEtwewe0RHCM4pnA8nd94LVPzytN5TfzqfHL5JfT9gvDbuOoHRE32VcrDHM0RLrFQZKCQAUnGucUrfJjt21Q6HqU+P6wY2HuEypL7BkfLuG7YQymLSsXFCRWX5ddqj1UysKqKzZGsBprNsZyGVVtp/gb6LNydthRidWxFceyvKlSJoEoK9UzuNhkoSLqBe1C8dyaz2T81kjySXYn2FOK4eIblx08stbFTyOXv5wrbDzLLT9LTbBZuwx24h/EfwjKs4fhXMAcH3sB7+KAVtKpW1/QEnZ5KNTdh5NJe/QPTkpLI</latexit><latexit sha1_base64="x1R2dLyocGWtbJNnhD1WFWmAFbo=">AAAHsHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJqRNaarIazatib9ku0kTKy/AGYkDAgkkDojH4MILcOgjII5F4sKB8dpRPnZSbCXenfn9xzO7613uWWYQMnY6NT1z4eIlbfby3JWr167PLyze2AncY98QFcO1XL/K9UBYpiMqoRlaour5Qre5JXZ582ns320JPzBd53nY8cSBrR86ZsM09BBNL2rcjmpchHqvvpBhOSavJbWRTxsZSK+iuzizBjV4CS4YcAw2CHAgxLYFOgR470MeGHhoO4AIbT62TOkX0IM51B4jJZDQ0drE/0Ps7adWB/txzECqDXyLhT8flUuQZT/YF3bGvrOv7Cf7OzFWJGPEuXTwyROt8Orzr2+V//xXZeMzhKOB6hwFR/r8mkJowCNZi4m1edISV2kk8Vvdt2flx6VsdJd9Yr+wvo/slH3DCp3Wb+Pztii9w+hZOd4CI9WghU8DMjjGEfb6uXL0RdLaS/MZ8KMKV/Z9vE3M8QjVuuy50J4Y4YR41wnBdQiuQ3BdgusSXJvg2gTXILgGwTUJrklwKwS3QnDrBLdOcBsEt0FwVYKrEtwewe0RHCM4pnA8nd94LVPzytN5TfzqfHL5JfT9gvDbuOoHRE32VcrDHM0RLrFQZKCQAUnGucUrfJjt21Q6HqU+P6wY2HuEypL7BkfLuG7YQymLSsXFCRWX5ddqj1UysKqKzZGsBprNsZyGVVtp/gb6LNydthRidWxFceyvKlSJoEoK9UzuNhkoSLqBe1C8dyaz2T81kjySXYn2FOK4eIblx08stbFTyOXv5wrbDzLLT9LTbBZuwx24h/EfwjKs4fhXMAcH3sB7+KAVtKpW1/QEnZ5KNTdh5NJe/QPTkpLI</latexit>) (だけ)を最大化するように
l p(Y` |X
l Learnby`onlymaximizing p(Y` |X` )<latexit sha1_base64="XK+xpvQ59H4JblugmDQGR27FTkg=">AAAHrHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJk2aKokqr1m3Jv6S7SRNorwAJ24IOIHEAfEYXHgBDn0ExLFIXDgwXjtyEk+LrcS7M7//eGZ3vctd0/ADxk5nZucuXb6izF9duHb9xs3FpeVbVd9pe5qoaI7peDWu+sI0bFEJjMAUNdcTqsVNsc9bz0P/fkd4vuHYe0HPFU1LPbIN3dDUAE3VBuciUA+XMizH5LWSbuTjRgbiq+gsz21AA16CAxq0wQIBNgTYNkEFH+865IGBi7YmDNDmYcuQfgFDWEBtGymBhIrWFv4fYa8eW23shzF9qdbwLSb+PFSuQJb9YF/YGfvOvrKf7O+5sQYyRphLD5880gr3cPH1nfKf/6osfAZwnKguUHCkL64pAB2eyFoMrM2VlrBKLYrf6b89Kz8tZQf32Sf2C+v7yE7ZN6zQ7vzWPu+K0geMnpXjLTBSAzr41CCDYzzA3ihXjr6BtA7jfBJ+UuHIvoe3gTkeo1qVPQe650Y4Id51QnA9gusRXJ/g+gTXJbguwekEpxNci+BaBLdGcGsEt0lwmwS3RXBbBFcjuBrBHRDcAcExgmMpjsfzG65lal55PK+RPz2fXH4JI78g/Bau+oRoyH6acjFHY4KLLBTpp0ifJMPcwhU+zo5saTocpRE/rkjsQ0Jlyn2Do2VaN+6hlMVUxcVzKi7Lr9WaqiSxphXbE1klmu2pnMZVO3H+GvpM3J12UsT61Iri2F9PUSWCKqWoF3K3yUBB0jruQeHeGc3m6NSI8oh2JdpTCOPiGZafPrHSjWohl3+YK+w+yqw+i0+zebgL9+ABxn8Mq7CB41/BHF7BG3gH75WcsqfUlWaEzs7EmtswcSn6P19PkN8=</latexit>

を学習<latexit sha1_base64="tKLc9AVqwcrZQOWYiLe+kDbD9WA=">AAAHuHichZXNbtNAEMenLeBSPprCBYlLRRRULtEmIIF6aoFKrVpVaULaRE2Ves0mteIv2U7SJOQFeAEOcAGpSIjH4MILcOgjII5F4sKB8dpRPjwpthLvzvz+45nd9S53DN3zGTufmZ27cvWaMn994cbNW7cXE0t39j276WqiqNmG7Za46glDt0TR131DlBxXqCY3xAFvvAj8By3herptvfI7jjgy1bql13RN9dFUTSSclXK1IgzjTUk+HlUTSZZm8lqONzJRIwnRlbOX5jahAq/BBg2aYIIAC3xsG6CCh/chZICBg7Yj6KHNxZYu/QL6sIDaJlICCRWtDfyvY+8wslrYD2J6Uq3hWwz8uahchhT7wb6wC/adfWU/2d+psXoyRpBLB5881Aqnuvj2XuHPf1UmPn04GaouUXCkL6/Jhxo8k7XoWJsjLUGVWhi/1X13UVjNp3oP2Sf2C+v7yM7ZN6zQav3WzvZE/j1GT8nxFhipAi18apDEMe5hb5ArR19PWvtRPkN+XGHLvou3jjmeoFqVPRvaUyOcEu86JbgOwXUIrktwXYJrE1yb4GoEVyO4BsE1CG6d4NYJbovgtghum+C2Ca5EcCWCKxNcmeAYwbEYx6P5DdYyNa88mtfQH59PLr+EgV8QfhNX/ZCoyH6ccjBHfYwLLRTpxUiPJIPcghU+yg5scToYpQE/qhja+4TKkPsGR8ukbtRDKXOxinNTKi7Ir9WcqGRojSt2xrIaanYmchpV7Ub5a+gzcHfajREbEyuKY38jRuUJKh+jXsrdJglZSddwDwr2znA2B6dGmEe4K9GebBAXz7DM5IkVb+xn05nH6ezek+Ta8+g0m4f78ABWMP5TWINNHP8i5tCCD3AGn5VV5VipK3qIzs5EmrswdinuP+PVlPg=</latexit><latexit sha1_base64="XK+xpvQ59H4JblugmDQGR27FTkg=">AAAHrHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJk2aKokqr1m3Jv6S7SRNorwAJ24IOIHEAfEYXHgBDn0ExLFIXDgwXjtyEk+LrcS7M7//eGZ3vctd0/ADxk5nZucuXb6izF9duHb9xs3FpeVbVd9pe5qoaI7peDWu+sI0bFEJjMAUNdcTqsVNsc9bz0P/fkd4vuHYe0HPFU1LPbIN3dDUAE3VBuciUA+XMizH5LWSbuTjRgbiq+gsz21AA16CAxq0wQIBNgTYNkEFH+865IGBi7YmDNDmYcuQfgFDWEBtGymBhIrWFv4fYa8eW23shzF9qdbwLSb+PFSuQJb9YF/YGfvOvrKf7O+5sQYyRphLD5880gr3cPH1nfKf/6osfAZwnKguUHCkL64pAB2eyFoMrM2VlrBKLYrf6b89Kz8tZQf32Sf2C+v7yE7ZN6zQ7vzWPu+K0geMnpXjLTBSAzr41CCDYzzA3ihXjr6BtA7jfBJ+UuHIvoe3gTkeo1qVPQe650Y4Id51QnA9gusRXJ/g+gTXJbguwekEpxNci+BaBLdGcGsEt0lwmwS3RXBbBFcjuBrBHRDcAcExgmMpjsfzG65lal55PK+RPz2fXH4JI78g/Bau+oRoyH6acjFHY4KLLBTpp0ifJMPcwhU+zo5saTocpRE/rkjsQ0Jlyn2Do2VaN+6hlMVUxcVzKi7Lr9WaqiSxphXbE1klmu2pnMZVO3H+GvpM3J12UsT61Iri2F9PUSWCKqWoF3K3yUBB0jruQeHeGc3m6NSI8oh2JdpTCOPiGZafPrHSjWohl3+YK+w+yqw+i0+zebgL9+ABxn8Mq7CB41/BHF7BG3gH75WcsqfUlWaEzs7EmtswcSn6P19PkN8=</latexit><latexit sha1_base64="tKLc9AVqwcrZQOWYiLe+kDbD9WA=">AAAHuHichZXNbtNAEMenLeBSPprCBYlLRRRULtEmIIF6aoFKrVpVaULaRE2Ves0mteIv2U7SJOQFeAEOcAGpSIjH4MILcOgjII5F4sKB8dpRPjwpthLvzvz+45nd9S53DN3zGTufmZ27cvWaMn994cbNW7cXE0t39j276WqiqNmG7Za46glDt0TR131DlBxXqCY3xAFvvAj8By3herptvfI7jjgy1bql13RN9dFUTSSclXK1IgzjTUk+HlUTSZZm8lqONzJRIwnRlbOX5jahAq/BBg2aYIIAC3xsG6CCh/chZICBg7Yj6KHNxZYu/QL6sIDaJlICCRWtDfyvY+8wslrYD2J6Uq3hWwz8uahchhT7wb6wC/adfWU/2d+psXoyRpBLB5881Aqnuvj2XuHPf1UmPn04GaouUXCkL6/Jhxo8k7XoWJsjLUGVWhi/1X13UVjNp3oP2Sf2C+v7yM7ZN6zQav3WzvZE/j1GT8nxFhipAi18apDEMe5hb5ArR19PWvtRPkN+XGHLvou3jjmeoFqVPRvaUyOcEu86JbgOwXUIrktwXYJrE1yb4GoEVyO4BsE1CG6d4NYJbovgtghum+C2Ca5EcCWCKxNcmeAYwbEYx6P5DdYyNa88mtfQH59PLr+EgV8QfhNX/ZCoyH6ccjBHfYwLLRTpxUiPJIPcghU+yg5scToYpQE/qhja+4TKkPsGR8ukbtRDKXOxinNTKi7Ir9WcqGRojSt2xrIaanYmchpV7Ub5a+gzcHfajREbEyuKY38jRuUJKh+jXsrdJglZSddwDwr2znA2B6dGmEe4K9GebBAXz7DM5IkVb+xn05nH6ezek+Ta8+g0m4f78ABWMP5TWINNHP8i5tCCD3AGn5VV5VipK3qIzs5EmrswdinuP+PVlPg=</latexit>✓<latexit sha1_base64="ynPS7gJubn89RDmwNQQr7ofE/NE=">AAAHrHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJk2aKokqr1k3Jv6S7SRNorwAJ24IOIHEAfEYXHgBDn0ExLFIXDgwXjvKhyfFVuLdmd9/PLO73uWuafgBY2dz8wuXLl9RFq8uXbt+4+byyuqtsu+0PE2UNMd0vApXfWEatigFRmCKiusJ1eKmOOTN56H/sC0833Dsg6DrirqlntiGbmhqgKZyLWiIQD1eSbEMk9daspGNGymIr7yzurAFNXgJDmjQAgsE2BBg2wQVfLyrkAUGLtrq0Eebhy1D+gUMYAm1LaQEEipam/h/gr1qbLWxH8b0pVrDt5j481C5Bmn2g31h5+w7+8p+sr8zY/VljDCXLj55pBXu8fLrO8U//1VZ+AygMVJdoOBIX1xTADo8kbUYWJsrLWGVWhS/3Xt7XnxaSPfvs0/sF9b3kZ2xb1ih3f6tfd4XhQ8YPS3HW2CkGrTxqUEKx7iPvWGuHH19aR3E+Yz4SYUj+x7eBubYQLUqew50ZkY4Jd51SnBdgusSXI/gegTXIbgOwekEpxNck+CaBLdBcBsEt01w2wS3Q3A7BFchuArBHRHcEcExgmMJjsfzG65lal55PK+RPzmfXH4JQ78g/Bau+hFRk/0k5WKOxgQXWSjST5A+SYa5hSt8nB3aknQ4SkN+XDGyDwiVKfcNjpZp3biHUuYTFednVFyUX6s1VcnImlTsTmQ10uxO5TSu2ovz19Bn4u60lyA2p1YUx/5mgioQVCFBvZC7TQpyktZxDwr3zmg2h6dGlEe0K9GeXBgXz7Ds9ImVbJRzmezDTG7/UWr9WXyaLcJduAcPMP5jWIctHP8S5vAK3sA7eK9klAOlqtQjdH4u1tyGiUvR/wEOAJD3</latexit>

v N<latexit sha1_base64="XK+xpvQ59H4JblugmDQGR27FTkg=">AAAHrHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJk2aKokqr1m3Jv6S7SRNorwAJ24IOIHEAfEYXHgBDn0ExLFIXDgwXjtyEk+LrcS7M7//eGZ3vctd0/ADxk5nZucuXb6izF9duHb9xs3FpeVbVd9pe5qoaI7peDWu+sI0bFEJjMAUNdcTqsVNsc9bz0P/fkd4vuHYe0HPFU1LPbIN3dDUAE3VBuciUA+XMizH5LWSbuTjRgbiq+gsz21AA16CAxq0wQIBNgTYNkEFH+865IGBi7YmDNDmYcuQfgFDWEBtGymBhIrWFv4fYa8eW23shzF9qdbwLSb+PFSuQJb9YF/YGfvOvrKf7O+5sQYyRphLD5880gr3cPH1nfKf/6osfAZwnKguUHCkL64pAB2eyFoMrM2VlrBKLYrf6b89Kz8tZQf32Sf2C+v7yE7ZN6zQ7vzWPu+K0geMnpXjLTBSAzr41CCDYzzA3ihXjr6BtA7jfBJ+UuHIvoe3gTkeo1qVPQe650Y4Id51QnA9gusRXJ/g+gTXJbguwekEpxNci+BaBLdGcGsEt0lwmwS3RXBbBFcjuBrBHRDcAcExgmMpjsfzG65lal55PK+RPz2fXH4JI78g/Bau+oRoyH6acjFHY4KLLBTpp0ifJMPcwhU+zo5saTocpRE/rkjsQ0Jlyn2Do2VaN+6hlMVUxcVzKi7Lr9WaqiSxphXbE1klmu2pnMZVO3H+GvpM3J12UsT61Iri2F9PUSWCKqWoF3K3yUBB0jruQeHeGc3m6NSI8oh2JdpTCOPiGZafPrHSjWohl3+YK+w+yqw+i0+zebgL9+ABxn8Mq7CB41/BHF7BG3gH75WcsqfUlWaEzs7EmtswcSn6P19PkN8=</latexit><latexit sha1_base64="BT8b2Ykhk5arXIZX4/Rzz8aeP+k=">AAAHp3ichZXNbtNAEMenLeBSPtrCBYlLRRQEl2gTkECcWqBSq1YlHyRN1VSV12xaK45t2U7SJMoLwBXEgRNIHBCPwYUX4NBHQByLxIUD47UjJ9lJsZV4d+b3H8/srne5a5l+wNjpzOzchYuXtPnLC1euXru+uLR8o+I7Lc8QZcOxHK/KdV9Ypi3KgRlYoup6Qm9yS+zyxrPQv9sWnm869sug64qDpn5km3XT0AM0FdqHSymWYfJaURvZuJGC+Mo7y3MbUINX4IABLWiCABsCbFugg4/3PmSBgYu2A+ijzcOWKf0CBrCA2hZSAgkdrQ38P8Lefmy1sR/G9KXawLdY+PNQuQJp9oN9YWfsO/vKfrK/U2P1ZYwwly4+eaQV7uHi61ulP/9VNfEZwHGiOkfBkT6/pgDq8FjWYmJtrrSEVRpR/Hbv/VnpSTHdv8s+sV9Y30d2yr5hhXb7t/G5IIofMHpajrfASDVo49OAFI5xH3vDXDn6+tI6iPNJ+HGFI/se3ibmeIxqXfYc6EyNcEK864TgugTXJbgewfUIrkNwHYKrE1yd4BoE1yC4NYJbI7hNgtskuC2C2yK4KsFVCW6P4PYIjhEcUzgez2+4lql55fG8Rn51Prn8EoZ+QfibuOoToib7KuVijuYYF1ko0ldInyTD3MIVPsoObSodjtKQH1Uk9gGhsuS+wdEyqRv1UMq8UnF+SsUl+bU2JypJrKpieyyrRLM9kdOoaifO30CfhbvTjkKsT6wojv11hSoSVFGhnsvdJgU5SddxDwr3zmg2h6dGlEe0K9GeXBgXz7Ds5ImlNiq5TPZBJld4mFp9Gp9m83Ab7sA9jP8IVmEDx7+MOQh4A2/hnXZfe6FVtGqEzs7Empswdmn6P8jHjsk=</latexit><latexit sha1_base64="8NIuWjUcVuWpm5f7vJ0xiiQ8VXI=">AAAHp3ichZVLb9NAEMenLeBSHm3hgsSlIgqCS7QJSCBOLVCpVauQB0lTNVXlNZvWil+ynaRJlC8AVxAHTiBxQHwMLnwBDv0IiGORuHBgvHaUx06LrcS7M7//eGZ3vcs9ywxCxk5mZucuXLykzV9euHL12vXFpeUb1cBt+YaoGK7l+jWuB8IyHVEJzdASNc8Xus0tscObzyL/Tlv4gek6L8OuJ/Zt/dAxG6ahh2gq5g+WUizD5LWiNrJJIwXJVXCX5zagDq/ABQNaYIMAB0JsW6BDgPceZIGBh7Z96KPNx5Yp/QIGsIDaFlICCR2tTfw/xN5eYnWwH8UMpNrAt1j481G5Amn2g31hp+w7+8p+sr9nxurLGFEuXXzyWCu8g8XXt8p//quy8RnC0Uh1joIjfX5NITTgsazFxNo8aYmqNOL47d770/KTUrp/l31iv7C+j+yEfcMKnfZv43NRlD5g9LQcb4GR6tDGpwEpHOM+9oa5cvT1pXWQ5DPiJxWu7Pt4m5jjEap12XOhc2aEY+JdxwTXJbguwfUIrkdwHYLrEFyD4BoE1yS4JsGtEdwawW0S3CbBbRHcFsHVCK5GcLsEt0twjOCYwvFkfqO1TM0rT+Y19qvzyeWXMPQLwm/jqh8RddlXKQ9zNCe42EKRgUIGJBnlFq3wcXZoU+lolIb8uGJkHxAqS+4bHC3TunEPpSwoFRfOqLgsv1Z7qpKRVVVsT2Q10mxP5TSuyif5G+izcHfKK8T61Iri2F9XqBJBlRTqudxtUpCTdAP3oGjvjGdzeGrEecS7Eu3JRXHxDMtOn1hqo5rLZB9kcsWHqdWnyWk2D7fhDtzD+I9gFTZw/CuYg4A38Bbeafe1F1pVq8Xo7EyiuQkTl6b/A6ZAjqE=</latexit>yDYY= p(y|✓) p(v|✓,p(v|✓,) ) 未知
p(y,p(y,d|✓)d|✓)= p(y|✓)<latexit sha1_base64="7M9nOU5+dnI0VTl7I55Qzi3u36c=">AAAHp3ichZXNbtNAEMenLeBSPtrCBYlLRRQEl2gTkECcWqBSq1YlHyRN1VSV12xaK45t2U7SJMoLwBXEgRNIHBCPwYUX4NBHQByLxIUD47UjJ9lJsZV4d+b3H8/srne5a5l+wNjpzOzchYuXtPnLC1euXru+uLR8o+I7Lc8QZcOxHK/KdV9Ypi3KgRlYoup6Qm9yS+zyxrPQv9sWnm869sug64qDpn5km3XT0AM0FbqHSymWYfJaURvZuJGC+Mo7y3MbUINX4IABLWiCABsCbFugg4/3PmSBgYu2A+ijzcOWKf0CBrCA2hZSAgkdrQ38P8Lefmy1sR/G9KXawLdY+PNQuQJp9oN9YWfsO/vKfrK/U2P1ZYwwly4+eaQV7uHi61ulP/9VNfEZwHGiOkfBkT6/pgDq8FjWYmJtrrSEVRpR/Hbv/VnpSTHdv8s+sV9Y30d2yr5hhXb7t/G5IIofMHpajrfASDVo49OAFI5xH3vDXDn6+tI6iPNJ+HGFI/se3ibmeIxqXfYc6EyNcEK864TgugTXJbgewfUIrkNwHYKrE1yd4BoE1yC4NYJbI7hNgtskuC2C2yK4KsFVCW6P4PYIjhEcUzgez2+4lql55fG8Rn51Prn8EoZ+QfibuOoToib7KuVijuYYF1ko0ldInyTD3MIVPsoObSodjtKQH1Uk9gGhsuS+wdEyqRv1UMq8UnF+SsUl+bU2JypJrKpieyyrRLM9kdOoaifO30CfhbvTjkKsT6wojv11hSoSVFGhnsvdJgU5SddxDwr3zmg2h6dGlEe0K9GeXBgXz7Ds5ImlNiq5TPZBJld4mFp9Gp9m83Ab7sA9jP8IVmEDx7+MOQh4A2/hnXZfe6FVtGqEzs7Empswdmn6P96Qjsw=</latexit><latexit sha1_base64="dgnbaQMVfaVGceN9ClP19VhJacI=">AAAHp3ichZXNbtNAEMenLeBSPtrCBYlLRRQEl2gTkECcWmilVq1KPkiaqqkqr7tprTi2ZTtJkygvAFcQB04gcUA8BhdegEMfAXEsEhcOjNeOnGSnxVbi3Znffzyzu97lrmX6AWOnU9Mzly5f0Wavzl27fuPm/MLirYrvtDxDlA3Hcrwq131hmbYoB2ZgiarrCb3JLbHDGy9C/05beL7p2K+Criv2m/qRbdZNQw/QVFg9WEixDJPXktrIxo0UxFfeWZxZhxocggMGtKAJAmwIsG2BDj7ee5AFBi7a9qGPNg9bpvQLGMAcaltICSR0tDbw/wh7e7HVxn4Y05dqA99i4c9D5RKk2Q/2hZ2x7+wr+8n+nhurL2OEuXTxySOtcA/mX98p/fmvqonPAI4T1QUKjvTFNQVQh6eyFhNrc6UlrNKI4rd7789Kz4rp/n32if3C+j6yU/YNK7Tbv43PBVH8gNHTcrwFRqpBG58GpHCM+9gb5srR15fWQZxPwo8rHNn38DYxx2NU67LnQOfcCCfEu04IrktwXYLrEVyP4DoE1yG4OsHVCa5BcA2CWyG4FYLbILgNgtskuE2CqxJcleB2CW6X4BjBMYXj8fyGa5maVx7Pa+RX55PLL2HoF4S/ias+IWqyr1Iu5miOcZGFIn2F9EkyzC1c4aPs0KbS4SgN+VFFYh8QKkvuGxwtk7pRD6XMKxXnz6m4JL/W5kQliVVVbI1llWi2JnIaVW3H+Rvos3B32laItYkVxbG/plBFgioq1KrcbVKQk3Qd96Bw74xmc3hqRHlEuxLtyYVx8QzLTp5YaqOSy2QfZXKFx6nl5/FpNgt34R48wPhPYBnWcfzLmIOAN/AW3mkPtZdaRatG6PRUrLkNY5em/wNdoo6X</latexit>

v2dv2dexp(`
exp(`· T· ~v )T ~v )
未知
v +✓
v +✓
p(v|✓,)=p(v|✓, ) = PVPV
T~
T
exp(`
+✓
·
v)
exp(`
+✓
·
~
v
)
v
v
v=1v=1<latexit sha1_base64="bPv6oxq9RlzvtBZO0xp33r1av5w=">AAAIdHiclZXNbtNAEMcnFGgIH23hggSHlChVK0q0CSAQUqUWqNSqVdWmX6m6bWQ7m9aKE1u24zY1eQFegAMnkDggHoMLB64c+giIYxFcODBeO0oaT4uwlXhn5vcfz+zaa9UydMdl7DhxYeDipcuDySupq9eu3xgaHrm54ZhNWxPrmmmYdklVHGHoDbHu6q4hSpYtlLpqiE219iKIb3rCdnSzsea2LLFTV/YaelXXFBdd5eGv1nhrsvKKu/vCVSbGplJod6w0t2yzUva9NNcb6UobY14Um+SqGiApzrcf5B6Lwx0iiNl41VY0n4tDa5wLwyh7fPQ+Hw0xrlVMN0R317gnNN9rT7RTPneadbzpVL69u5H+L2l5OMNyTB7p+CAfDTIQHcvmyMAccKiACRo0oQ4CGuDi2AAFHDy3IQ8MLPTtgI8+G0e6jAtoQwq1TaQEEgp6a/i/h9Z25G2gHeR0pFrDuxj4s1GZhiz7xj6yE/aFfWLf2Z8zc/kyR1BLC69qqBVWeej17dXf/1TV8erCfld1jkJF+vyeXKjCU9mLjr1Z0hN0qYX5vaM3J6vPill/jL1nP7C/d+yYfcYOG95P7cOKKL7F7Fk53wIzcfDwqkEG59hHq1OrijFfettRPV3+tMKUto2njjXuo1qRlgkHZ2Y4JO51SHAtgmsR3BHBHRHcAcEdEFyV4KoEVyO4GsHNENwMwc0T3DzBLRDcAsGVCK5EcFsEt0VwjOBYjFOj9Q2eZWpd1Whdw3h8PVX5JnTigojX8anvElzaccrCGvVTXOihSCdGOiQZ1BY84b1sxxeng1nq8L2Krr9NqAy5b6jo6df1Rijlcqzj5TM6XpVva72vk643rlg8VVVXs9hXU69qKapfw5iBu9NSjJjte6JUtGdjVJGgijHqpdxtMlCQdBX3oGDvDFez89UI6wh3JTpSCPLiNyzf/8WKDzYKufzDXGHlUWb6efQ1S8IduAfjmP8JTMMczv86aIlCopRQEurgr+TdZCaZDdELiUhzC04dydxfNjjXSA==</latexit><latexit sha1_base64="bPv6oxq9RlzvtBZO0xp33r1av5w=">AAAIdHiclZXNbtNAEMcnFGgIH23hggSHlChVK0q0CSAQUqUWqNSqVdWmX6m6bWQ7m9aKE1u24zY1eQFegAMnkDggHoMLB64c+giIYxFcODBeO0oaT4uwlXhn5vcfz+zaa9UydMdl7DhxYeDipcuDySupq9eu3xgaHrm54ZhNWxPrmmmYdklVHGHoDbHu6q4hSpYtlLpqiE219iKIb3rCdnSzsea2LLFTV/YaelXXFBdd5eGv1nhrsvKKu/vCVSbGplJod6w0t2yzUva9NNcb6UobY14Um+SqGiApzrcf5B6Lwx0iiNl41VY0n4tDa5wLwyh7fPQ+Hw0xrlVMN0R317gnNN9rT7RTPneadbzpVL69u5H+L2l5OMNyTB7p+CAfDTIQHcvmyMAccKiACRo0oQ4CGuDi2AAFHDy3IQ8MLPTtgI8+G0e6jAtoQwq1TaQEEgp6a/i/h9Z25G2gHeR0pFrDuxj4s1GZhiz7xj6yE/aFfWLf2Z8zc/kyR1BLC69qqBVWeej17dXf/1TV8erCfld1jkJF+vyeXKjCU9mLjr1Z0hN0qYX5vaM3J6vPill/jL1nP7C/d+yYfcYOG95P7cOKKL7F7Fk53wIzcfDwqkEG59hHq1OrijFfettRPV3+tMKUto2njjXuo1qRlgkHZ2Y4JO51SHAtgmsR3BHBHRHcAcEdEFyV4KoEVyO4GsHNENwMwc0T3DzBLRDcAsGVCK5EcFsEt0VwjOBYjFOj9Q2eZWpd1Whdw3h8PVX5JnTigojX8anvElzaccrCGvVTXOihSCdGOiQZ1BY84b1sxxeng1nq8L2Krr9NqAy5b6jo6df1Rijlcqzj5TM6XpVva72vk643rlg8VVVXs9hXU69qKapfw5iBu9NSjJjte6JUtGdjVJGgijHqpdxtMlCQdBX3oGDvDFez89UI6wh3JTpSCPLiNyzf/8WKDzYKufzDXGHlUWb6efQ1S8IduAfjmP8JTMMczv86aIlCopRQEurgr+TdZCaZDdELiUhzC04dydxfNjjXSA==</latexit>l Problem:✓ of labeled data is unknown!
✓ はそもそも未知！
l 問題：ラベル付きデータの<latexit sha1_base64="ynPS7gJubn89RDmwNQQr7ofE/NE=">AAAHrHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJk2aKokqr1k3Jv6S7SRNorwAJ24IOIHEAfEYXHgBDn0ExLFIXDgwXjvKhyfFVuLdmd9/PLO73uWuafgBY2dz8wuXLl9RFq8uXbt+4+byyuqtsu+0PE2UNMd0vApXfWEatigFRmCKiusJ1eKmOOTN56H/sC0833Dsg6DrirqlntiGbmhqgKZyLWiIQD1eSbEMk9daspGNGymIr7yzurAFNXgJDmjQAgsE2BBg2wQVfLyrkAUGLtrq0Eebhy1D+gUMYAm1LaQEEipam/h/gr1qbLWxH8b0pVrDt5j481C5Bmn2g31h5+w7+8p+sr8zY/VljDCXLj55pBXu8fLrO8U//1VZ+AygMVJdoOBIX1xTADo8kbUYWJsrLWGVWhS/3Xt7XnxaSPfvs0/sF9b3kZ2xb1ih3f6tfd4XhQ8YPS3HW2CkGrTxqUEKx7iPvWGuHH19aR3E+Yz4SYUj+x7eBubYQLUqew50ZkY4Jd51SnBdgusSXI/gegTXIbgOwekEpxNck+CaBLdBcBsEt01w2wS3Q3A7BFchuArBHRHcEcExgmMJjsfzG65lal55PK+RPzmfXH4JQ78g/Bau+hFRk/0k5WKOxgQXWSjST5A+SYa5hSt8nB3aknQ4SkN+XDGyDwiVKfcNjpZp3biHUuYTFednVFyUX6s1VcnImlTsTmQ10uxO5TSu2ovz19Bn4u60lyA2p1YUx/5mgioQVCFBvZC7TQpyktZxDwr3zmg2h6dGlEe0K9GeXBgXz7Ds9ImVbJRzmezDTG7/UWr9WXyaLcJduAcPMP5jWIctHP8S5vAK3sA7eK9klAOlqtQjdH4u1tyGiUvR/wEOAJD3</latexit><latexit sha1_base64="ynPS7gJubn89RDmwNQQr7ofE/NE=">AAAHrHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJk2aKokqr1k3Jv6S7SRNorwAJ24IOIHEAfEYXHgBDn0ExLFIXDgwXjvKhyfFVuLdmd9/PLO73uWuafgBY2dz8wuXLl9RFq8uXbt+4+byyuqtsu+0PE2UNMd0vApXfWEatigFRmCKiusJ1eKmOOTN56H/sC0833Dsg6DrirqlntiGbmhqgKZyLWiIQD1eSbEMk9daspGNGymIr7yzurAFNXgJDmjQAgsE2BBg2wQVfLyrkAUGLtrq0Eebhy1D+gUMYAm1LaQEEipam/h/gr1qbLWxH8b0pVrDt5j481C5Bmn2g31h5+w7+8p+sr8zY/VljDCXLj55pBXu8fLrO8U//1VZ+AygMVJdoOBIX1xTADo8kbUYWJsrLWGVWhS/3Xt7XnxaSPfvs0/sF9b3kZ2xb1ih3f6tfd4XhQ8YPS3HW2CkGrTxqUEKx7iPvWGuHH19aR3E+Yz4SYUj+x7eBubYQLUqew50ZkY4Jd51SnBdgusSXI/gegTXIbgOwekEpxNck+CaBLdBcBsEt01w2wS3Q3A7BFchuArBHRHcEcExgmMJjsfzG65lal55PK+RPzmfXH4JQ78g/Bau+hFRk/0k5WKOxgQXWSjST5A+SYa5hSt8nB3aknQ4SkN+XDGyDwiVKfcNjpZp3biHUuYTFednVFyUX6s1VcnImlTsTmQ10uxO5TSu2ovz19Bn4u60lyA2p1YUx/5mgioQVCFBvZC7TQpyktZxDwr3zmg2h6dGlEe0K9GeXBgXz7Ds9ImVbJRzmezDTG7/UWr9WXyaLcJduAcPMP5jWIctHP8S5vAK3sA7eK9klAOlqtQjdH4u1tyGiUvR/wEOAJD3</latexit>

23/42

23

の学習 (1)<latexit sha1_base64="x1R2dLyocGWtbJNnhD1WFWmAFbo=">AAAHsHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJqRNaarIazatib9ku0kTKy/AGYkDAgkkDojH4MILcOgjII5F4sKB8dpRPnZSbCXenfn9xzO7613uWWYQMnY6NT1z4eIlbfby3JWr167PLyze2AncY98QFcO1XL/K9UBYpiMqoRlaour5Qre5JXZ582ns320JPzBd53nY8cSBrR86ZsM09BBNL2rcjmpchHqvvpBhOSavJbWRTxsZSK+iuzizBjV4CS4YcAw2CHAgxLYFOgR470MeGHhoO4AIbT62TOkX0IM51B4jJZDQ0drE/0Ps7adWB/txzECqDXyLhT8flUuQZT/YF3bGvrOv7Cf7OzFWJGPEuXTwyROt8Orzr2+V//xXZeMzhKOB6hwFR/r8mkJowCNZi4m1edISV2kk8Vvdt2flx6VsdJd9Yr+wvo/slH3DCp3Wb+Pztii9w+hZOd4CI9WghU8DMjjGEfb6uXL0RdLaS/MZ8KMKV/Z9vE3M8QjVuuy50J4Y4YR41wnBdQiuQ3BdgusSXJvg2gTXILgGwTUJrklwKwS3QnDrBLdOcBsEt0FwVYKrEtwewe0RHCM4pnA8nd94LVPzytN5TfzqfHL5JfT9gvDbuOoHRE32VcrDHM0RLrFQZKCQAUnGucUrfJjt21Q6HqU+P6wY2HuEypL7BkfLuG7YQymLSsXFCRWX5ddqj1UysKqKzZGsBprNsZyGVVtp/gb6LNydthRidWxFceyvKlSJoEoK9UzuNhkoSLqBe1C8dyaz2T81kjySXYn2FOK4eIblx08stbFTyOXv5wrbDzLLT9LTbBZuwx24h/EfwjKs4fhXMAcH3sB7+KAVtKpW1/QEnZ5KNTdh5NJe/QPTkpLI</latexit>l ✓ を積分消去して、 のみを学習する<latexit sha1_base64="ynPS7gJubn89RDmwNQQr7ofE/NE=">AAAHrHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJk2aKokqr1k3Jv6S7SRNorwAJ24IOIHEAfEYXHgBDn0ExLFIXDgwXjvKhyfFVuLdmd9/PLO73uWuafgBY2dz8wuXLl9RFq8uXbt+4+byyuqtsu+0PE2UNMd0vApXfWEatigFRmCKiusJ1eKmOOTN56H/sC0833Dsg6DrirqlntiGbmhqgKZyLWiIQD1eSbEMk9daspGNGymIr7yzurAFNXgJDmjQAgsE2BBg2wQVfLyrkAUGLtrq0Eebhy1D+gUMYAm1LaQEEipam/h/gr1qbLWxH8b0pVrDt5j481C5Bmn2g31h5+w7+8p+sr8zY/VljDCXLj55pBXu8fLrO8U//1VZ+AygMVJdoOBIX1xTADo8kbUYWJsrLWGVWhS/3Xt7XnxaSPfvs0/sF9b3kZ2xb1ih3f6tfd4XhQ8YPS3HW2CkGrTxqUEKx7iPvWGuHH19aR3E+Yz4SYUj+x7eBubYQLUqew50ZkY4Jd51SnBdgusSXI/gegTXIbgOwekEpxNck+CaBLdBcBsEt01w2wS3Q3A7BFchuArBHRHcEcExgmMJjsfzG65lal55PK+RPzmfXH4JQ78g/Bau+hFRk/0k5WKOxgQXWSjST5A+SYa5hSt8nB3aknQ4SkN+XDGyDwiVKfcNjpZp3biHUuYTFednVFyUX6s1VcnImlTsTmQ10uxO5TSu2ovz19Bn4u60lyA2p1YUx/5mgioQVCFBvZC7TQpyktZxDwr3zmg2h6dGlEe0K9GeXBgXz7Ds9ImVbJRzmezDTG7/UWr9WXyaLcJduAcPMP5jWIctHP8S5vAK3sA7eK9klAOlqtQjdH4u1tyGiUvR/wEOAJD3</latexit><latexit sha1_base64="x1R2dLyocGWtbJNnhD1WFWmAFbo=">AAAHsHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJqRNaarIazatib9ku0kTKy/AGYkDAgkkDojH4MILcOgjII5F4sKB8dpRPnZSbCXenfn9xzO7613uWWYQMnY6NT1z4eIlbfby3JWr167PLyze2AncY98QFcO1XL/K9UBYpiMqoRlaour5Qre5JXZ582ns320JPzBd53nY8cSBrR86ZsM09BBNL2rcjmpchHqvvpBhOSavJbWRTxsZSK+iuzizBjV4CS4YcAw2CHAgxLYFOgR470MeGHhoO4AIbT62TOkX0IM51B4jJZDQ0drE/0Ps7adWB/txzECqDXyLhT8flUuQZT/YF3bGvrOv7Cf7OzFWJGPEuXTwyROt8Orzr2+V//xXZeMzhKOB6hwFR/r8mkJowCNZi4m1edISV2kk8Vvdt2flx6VsdJd9Yr+wvo/slH3DCp3Wb+Pztii9w+hZOd4CI9WghU8DMjjGEfb6uXL0RdLaS/MZ8KMKV/Z9vE3M8QjVuuy50J4Y4YR41wnBdQiuQ3BdgusSXJvg2gTXILgGwTUJrklwKwS3QnDrBLdOcBsEt0FwVYKrEtwewe0RHCM4pnA8nd94LVPzytN5TfzqfHL5JfT9gvDbuOoHRE32VcrDHM0RLrFQZKCQAUnGucUrfJjt21Q6HqU+P6wY2HuEypL7BkfLuG7YQymLSsXFCRWX5ddqj1UysKqKzZGsBprNsZyGVVtp/gb6LNydthRidWxFceyvKlSJoEoK9UzuNhkoSLqBe1C8dyaz2T81kjySXYn2FOK4eIblx08stbFTyOXv5wrbDzLLT9LTbBZuwx24h/EfwjKs4fhXMAcH3sB7+KAVtKpW1/QEnZ5KNTdh5NJe/QPTkpLI</latexit><latexit sha1_base64="pnuUZXMeUx/qEjBgcJnhZEgooxk=">AAAIR3ichZXNTtRQFMdPQRwcPwDdmLgZnWCGCOTOiNGYkIBKAoEQGASGUJy0nTvQTL/SloGhzAv4Ai5cGE1cGB/DjT6ACx7BuHCBURcuPL3tZD56wDbT3nvO73/mnHtv71UdQ/d8xk6kvv4LAxdTg5fSl69cvTY0PHJ9w7P3XY2va7ZhuyVV8bihW3zd132DlxyXK6Zq8E219jT0b9a56+m29dxvOHzHVHYtvaprio+m8vAbJ9cYrxzLqhnIKveV5th0WtYt/wU+qn6jHExEjWZGvh3eAh+X/T1kO1WVyJSezpynTqP8OCLHnFwlbo53xHFysTsOWB7OskkmrkyykY8bWYivFXukfx5kqIANGuyDCRws8LFtgAIe3tuQBwYO2nYgQJuLLV34OTQhjdp9pDgSClpr+NzF3nZstbAfxvSEWsN/MfDnojIDo+wr+8BO2Wf2kX1jf8+MFYgYYS4NfKuRljvloZc3137/V2Xi24e9tuochYr0+TX5UIVHohYda3OEJaxSi+LXj16drj0ujgZ32Tv2Het7y07YJ6zQqv/U3q/y4muMPirGm2MkGer41iCLYxxgr5Wrir5AWJtxPm2+W2GLvou3jjnuoVoRPRsOzoxwSPzXIcE1CK5BcEcEd0RwBwR3QHBVgqsSXI3gagQ3S3CzBLdAcAsEt0hwiwRXIrgSwW0R3BbBMYJjCU6N5zdcy9S8qvG8Rv7kfKriS2j5OeE3cdW3CVn0k5SDOepdXGShSC9BeiQZ5hau8E62ZUvS4Si1+E5F294kVIbYN1S09Oo6PZRyJVHxyhkVr4mv1eyppG1NKpa6smprlnpy6lQtx/lr6DNwd1pOEHM9K0rF/lyCKhJUMUE9E7tNFgqCruIeFO6d0Wy2To0oj2hXoj2FMC6eYfneEyvZ2ChM5u9PFlansjNP4tNsEG7BHchh/IcwA/M4/uugSQPSPWlKepD6kvqR+pX6E6F9Uqy5AV3XoPQPZfzJhg==</latexit>

l

Z 1
Z 1
p(y, d| ) =p(y, d, ✓| )d✓ =p(y|✓)p(d|✓, )p(✓)d✓11p(✓) は標準正規分布 N (0, 1) なので、Gauss-Hermite
求積で上の式は高精度に数値積分できる<latexit sha1_base64="rGIv5rqWRJf4gwdvtz3RvYrR4Z8=">AAAHr3ichZXNbtNAEMenLeBSPtrCBYlLRRRULtEmIIE4tUClVq2qNCFNoqYU22waK/6S7SRNorwAVw4cgANIHBCPwYUX4NBHQByLxIUD47UjJ9lJsZV4d+b3H8/srnc11zT8gLHTmdm5CxcvKfOXF65cvXZ9cWn5xr7vtDydl3THdLyKpvrcNGxeCozA5BXX46qlmbysNZ+G/nKbe77h2M+DrssPLfXYNuqGrgZoqrqrtaDBA/Xe0VKKZZi4VuRGNm6kIL7yzvLcJtTgFTigQwss4GBDgG0TVPDxPoAsMHDRdgh9tHnYMoSfwwAWUNtCiiOhorWJ/8fYO4itNvbDmL5Q6/gWE38eKlcgzX6wL+yMfWdf2U/2d2qsvogR5tLFpxZpuXu0+PpW8c9/VRY+A2gkqnMUGtLn1xRAHR6JWgyszRWWsEo9it/uvT0rPi6k+3fZJ/YL6/vITtk3rNBu/9Y/7/HCO4yeFuPNMVIN2vjUIYVj3MfeMFcNfX1hHcT5JPy4whF9D28Dc2ygWhU9BzpTI5wQ7zohuC7BdQmuR3A9gusQXIfg6gRXJ7gmwTUJbp3g1glui+C2CG6b4LYJrkJwFYKrElyV4BjBMYnT4vkN1zI1r1o8r5Ffnk9NfAlDPyf8Fq76hKiJvky5mKMxxkUWivQl0ifJMLdwhY+yQ5tMh6M05EcViX1AqEyxb2homdSNeihlXqo4P6XiovharYlKEqus2BnLKtHsTOQ0qtqN89fRZ+LutCsRGxMrSsP+hkQVCKogUc/EbpOCnKDruAeFe2c0m8NTI8oj2pVoTy6Mi2dYdvLEkhv7uUz2fia39yC19iQ+zebhNtyBVYz/ENZgE8e/hDlY8Abewwclq5SVF8rLCJ2diTU3YexSjH8O9JHW</latexit><latexit sha1_base64="T2LHKl+PpK5MvygqHGzI1vVv8PQ=">AAAHs3ichZXNbtNAEMenLeBSPtrCBYlLRBRUJBRtAgjEqQUqtWoVpQlpUyVR5XU3rRU7NraTNLHyArxAD1woEgfEY3DhBTj0ERDHInHhwHjtKB+eFFuJd2d+//HM7nqX24bueoydz8zOXbl6TZm/vnDj5q3bi0vLd3Zdq+VooqRZhuWUueoKQ2+Kkqd7hijbjlBNbog93ngd+PfawnF1q/nW69qiZqpHTb2ua6qHpppf1VQjkeuvsMeZRwdLSZZm8krEG5mokYToylvLcxtQhUOwQIMWmCCgCR62DVDBxbsCGWBgo60GPtocbOnSL6APC6htISWQUNHawP8j7FUiaxP7QUxXqjV8i4E/B5UJSLEf7Au7YN/ZV/aT/Z0ay5cxgly6+OShVtgHi+/vFf/8V2Xi04PjoeoSBUf68po8qMMLWYuOtdnSElSphfHbvdOL4stCyn/IPrFfWN8ZO2ffsMJm+7f2eUcUPmD0lBxvgZGq0ManBkkcYx97g1w5+nxp7Uf5DPlxhSX7Dt465niMalX2LOhMjXBCvOuE4LoE1yW4HsH1CK5DcB2CqxNcneAaBNcguDWCWyO4TYLbJLgtgtsiuDLBlQlun+D2CY4RHItxPJrfYC1T88qjeQ398fnk8ksY+AXhN3HVD4mq7McpG3PUx7jQQpFujHRJMsgtWOGj7MAWp4NRGvCjiqG9T6gMuW9wtEzqRj2UMh+rOD+l4qL8Ws2JSobWuGJ7LKuhZnsip1FVLspfQ5+Bu1MuRqxPrCiO/fUYVSCoQox6I3ebJGQlXcc9KNg7w9kcnBphHuGuRHuyQVw8wzKTJ1a8sZtNZ56ksztPk6uvotNsHu7DA1jB+M9hFTZw/EuYwzs4hY9wpjxTKgpXDkN0dibS3IWxSzH/ATxPkps=</latexit>

Z 1<latexit sha1_base64="lmlbOtdzIsB+meKk67ZdPIayH9g=">AAAIHnichZXPa9RAFMffturWbbWtXgQvi0ulBS2zq6AIQqsWWlpKu7XtFtMuSTpph0022yS7223MP+A/4MGLCh7EP0MQL+JJsOA/IB4rePHgyyTL/shrTdhk5r3P9+17M5MZrWYK12PsODUweO78hfTQxczwyKXLo2PjVzZcu+7ofF23TdspaarLTVHl657wTF6qOVy1NJNvapXHoX+zwR1X2NWnXqvGty11ryoMoasemspjDUVUvR18GF6r7N+OGkHGmFS8fe6pU76iq2Z2OYj7z9mt/NRu1M4orrD4QUYxHFX384GvuAeO5ys1EQRZxa1bZV88zAc789lmWWQxonQXgsOymCqP5dg0k1c22cjHjRzE14o9PjgPCuyCDTrUwQIOVfCwbYIKLt7PIA8MamjbBh9tDraE9HMIIIPaOlIcCRWtFXzuYe9ZbK1iP4zpSrWO/2Liz0FlFibYN/aenbDP7AP7yf6eGsuXMcJcWvjWIi2vlUdfXFv781+VhW8P9juqMxQa0mfX5IEB92UtAmurSUtYpR7Fbxy9PFl7UJzwb7K37BfW94Yds49YYbXxW3+3youvMPqEHG+OkRRo4FuHHI6xj712rhr6fGkN4nw6fK/Cln0Hb4E57qNalT0bmqdGOCT+65DgWgTXIrgjgjsiuCbBNQnOIDiD4CoEVyG4WYKbJbgFglsguEWCWyS4EsGVCG6L4LYIjhEcS3BaPL/hWqbmVYvnNfIn51OTX0Lbzwm/hau+Qyiyn6RqmKPo4SILRboJ0iXJMLdwhXezbVuSDkepzXcrOvaAUJly39DQ0q/r9lDKlUTFK6dUvCa/Vquvko41qVjqyaqjWerLqVu1HOevo8/E3Wk5Qcz1rSgN+3MJqkhQxQT1RO42OShI2sA9KNw7o9lsnxpRHtGuRHsKYVw8w/L9J1aysVGYzt+ZLqzezc08ik+zIbgON2AS49+DGZjH8V/HHH6kBlLDqZH06/Sn9Jf01wgdSMWaq9Bzpb//A7heu9s=</latexit>

H

p
1 X
f (✓)N (✓|0, 1)d✓ ' p
wi f ( 2xi )⇡ i=1
1– H個の分点 x1 · · · xH とその重み w1 · · · wH は直交エルミート多項式から事前に数学的に求まる– f (✓) を直交多項式で近似していることに相当<latexit sha1_base64="t9wS836LYIXmnR672MMIIQKZzaU=">AAAHtHichZXNbtNAEMenLeBSPtrCBYlLRBTEKdqkCBCnFqiUqlWVJqRN1ZTIdjetFX/Jdr6VF+AFQOLUShwQj8GFF+DQR0Aci8SFA+O1IyfZabGVeHfm9x/P7K53Ndc0/ICx85nZuWvXbyjzNxdu3b5zd3Fp+d6u77Q8nVd0x3S8qqb63DRsXgmMwORV1+OqpZl8T2u+Dv17be75hmO/DXouP7TUY9toGLoaoOldt55L1fQjJ/BT3XqhvpRmWSaulNzIxY00xFfRWZ4rQA2OwAEdWmABBxsCbJuggo/3AeSAgYu2QxigzcOWIfwchrCA2hZSHAkVrU38P8beQWy1sR/G9IVax7eY+PNQmYIM+8G+sAv2nX1lP9nfS2MNRIwwlx4+tUjL3fri+wflP/9VWfgM4CRRXaHQkL66pgAa8ELUYmBtrrCEVepR/Hb/w0X5ZSkzeMzO2C+s75Sds29Yod3+rX/e4aVPGD0jxptjpBq08alDGsd4gL1Rrhr6BsI6jPNJ+EmFI/oe3gbmeIJqVfQc6FwaoUu8q0twPYLrEVyf4PoE1yG4DsE1CK5BcE2CaxLcGsGtEdwGwW0Q3CbBbRJcleCqBLdPcPsExwiOSZwWz2+4lql51eJ5jfzyfGriSxj5OeG3cNUnRE30ZcrFHI0JLrJQpC+RPkmGuYUrfJwd2WQ6HKURP65I7ENCZYp9Q0PLtG7cQymLUsXFSyoui6/VmqokscqKrYmsEs3WVE7jqu04fx19Ju5O2xKxPrWiNOyvS1SJoEoS9UbsNmnIC7qBe1C4d0azOTo1ojyiXYn25MO4eIblpk8subGbz+ZWsvmdp+nVV/FpNg8P4RE8wfjPYRUKOP4VzMGDj3AKZ8ozpaboCo/Q2ZlYcx8mLsX+ByLFk7U=</latexit><latexit sha1_base64="qQ4o++Z+EkpZnDye5eSR0/rOokU=">AAAHtHichZXNbtNAEMenLeBSPtrCBYlLRBTEKdqkCBCnFqiUqlWVJqRN1ZTI625aK/6S7SRNorwALwASp1bigHgMLrwAhz4C4lgkLhwYrx05iSfFVuLdmd9/PLO73uWOoXs+Yxczs3PXrt9Q5m8u3Lp95+7i0vK9Xc9uuZqoaLZhu1WuesLQLVHxdd8QVccVqskNscebrwP/Xlu4nm5bb/2uIw5N9djSG7qm+mh616nnUjXtyPa9VKdeqC+lWZbJK5Vs5KJGGqKraC/PFaAGR2CDBi0wQYAFPrYNUMHD+wBywMBB2yH00eZiS5d+AQNYQG0LKYGEitYm/h9j7yCyWtgPYnpSreFbDPy5qExBhv1gX9gl+86+sp/s79RYfRkjyKWLTx5qhVNffP+g/Oe/KhOfPpzEqisUHOmra/KhAS9kLTrW5khLUKUWxm/3PlyWX5Yy/cfsnP3C+s7YBfuGFVrt39rnHVH6hNEzcrwFRqpBG58apHGM+9gb5srR15fWQZRPzI8rbNl38dYxxxNUq7JnQ2dqhFPiXacE1yW4LsH1CK5HcB2C6xBcg+AaBNckuCbBrRHcGsFtENwGwW0S3CbBVQmuSnD7BLdPcIzgWILj0fwGa5maVx7Na+hPzieXX8LQLwi/ias+Jmqyn6QczFEf40ILRXoJ0iPJILdghY+yQ1uSDkZpyI8qYvuAUBly3+BomdSNeihlMVFxcUrFZfm1mhOVxNakYmssq1izNZHTqGo7yl9Dn4G703aCWJ9YURz76wmqRFClBPVG7jZpyEu6gXtQsHeGszk8NcI8wl2J9uSDuHiG5SZPrGRjN5/NrWTzO0/Tq6+i02weHsIjeILxn8MqFHD8K5iDCx/hDM6VZ0pN0RQRorMzkeY+jF2K9Q8UMJOz</latexit><latexit sha1_base64="sRmWx0qRMwASIGKkCqQwgtH150M=">AAAHr3ichZXNbtNAEMenLeBSPtrCBYlLRRRULtEmIIE4tUClVq2qNCFNoqYU26wbK3Zs2U7SJMoLcOXAATiAxAHxGFx4AQ59BMSxSFw4MF47cpKdFFuJd2d+//HM7npXcy3TDxg7nZmdu3DxkjJ/eeHK1WvXF5eWb+z7TsvTeUl3LMeraKrPLbPJS4EZWLziely1NYuXtcbT0F9uc883nebzoOvyQ1s9bpqGqasBmqrGai2o80C9d7SUYhkmrhW5kY0bKYivvLM8twk1eAUO6NACGzg0IcC2BSr4eB9AFhi4aDuEPto8bJnCz2EAC6htIcWRUNHawP9j7B3E1ib2w5i+UOv4Fgt/HipXIM1+sC/sjH1nX9lP9ndqrL6IEebSxacWabl7tPj6VvHPf1U2PgOoJ6pzFBrS59cUgAGPRC0m1uYKS1ilHsVv996eFR8X0v277BP7hfV9ZKfsG1bYbP/WP+/xwjuMnhbjzTFSDdr41CGFY9zH3jBXDX19YR3E+ST8uMIRfQ9vE3Oso1oVPQc6UyOcEO86IbguwXUJrkdwPYLrEFyH4AyCMwiuQXANglsnuHWC2yK4LYLbJrhtgqsQXIXgqgRXJThGcEzitHh+w7VMzasWz2vkl+dTE1/C0M8Jv42rPiFqoi9TLuZojnGRhSJ9ifRJMswtXOGj7NAm0+EoDflRRWIfECpL7BsaWiZ1ox5KmZcqzk+puCi+VnuiksQqK3bGsko0OxM5jap24/x19Fm4O+1KxMbEitKwvyFRBYIqSNQzsdukICdoA/egcO+MZnN4akR5RLsS7cmFcfEMy06eWHJjP5fJ3s/k9h6k1p7Ep9k83IY7sIrxH8IabOL4lzAHG97Ae/igZJWy8kJ5GaGzM7HmJoxdivkPxfeRzA==</latexit>

24/42

24

の学習 (2)<latexit sha1_base64="x1R2dLyocGWtbJNnhD1WFWmAFbo=">AAAHsHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJqRNaarIazatib9ku0kTKy/AGYkDAgkkDojH4MILcOgjII5F4sKB8dpRPnZSbCXenfn9xzO7613uWWYQMnY6NT1z4eIlbfby3JWr167PLyze2AncY98QFcO1XL/K9UBYpiMqoRlaour5Qre5JXZ582ns320JPzBd53nY8cSBrR86ZsM09BBNL2rcjmpchHqvvpBhOSavJbWRTxsZSK+iuzizBjV4CS4YcAw2CHAgxLYFOgR470MeGHhoO4AIbT62TOkX0IM51B4jJZDQ0drE/0Ps7adWB/txzECqDXyLhT8flUuQZT/YF3bGvrOv7Cf7OzFWJGPEuXTwyROt8Orzr2+V//xXZeMzhKOB6hwFR/r8mkJowCNZi4m1edISV2kk8Vvdt2flx6VsdJd9Yr+wvo/slH3DCp3Wb+Pztii9w+hZOd4CI9WghU8DMjjGEfb6uXL0RdLaS/MZ8KMKV/Z9vE3M8QjVuuy50J4Y4YR41wnBdQiuQ3BdgusSXJvg2gTXILgGwTUJrklwKwS3QnDrBLdOcBsEt0FwVYKrEtwewe0RHCM4pnA8nd94LVPzytN5TfzqfHL5JfT9gvDbuOoHRE32VcrDHM0RLrFQZKCQAUnGucUrfJjt21Q6HqU+P6wY2HuEypL7BkfLuG7YQymLSsXFCRWX5ddqj1UysKqKzZGsBprNsZyGVVtp/gb6LNydthRidWxFceyvKlSJoEoK9UzuNhkoSLqBe1C8dyaz2T81kjySXYn2FOK4eIblx08stbFTyOXv5wrbDzLLT9LTbBZuwx24h/EfwjKs4fhXMAcH3sB7+KAVtKpW1/QEnZ5KNTdh5NJe/QPTkpLI</latexit><latexit sha1_base64="oHc8k4KH82R2oaZW19JGbFkBez8=">AAAHvHichZXNbtNAEMenLeBSPpoCByQuEVFQkVC0CUggDqgFKrVqFaUJaVM1VWS7m8aKv2Q7SZOQF+AFOHABJA6Fx+DCC3DoIyCOReLCgfHakZN40tpKvDvz+49ndte7iq1rrsfY6czs3KXLV6T5qwvXrt+4uZhYurXjWi1H5WXV0i2nosgu1zWTlz3N03nFdrhsKDrfVZqvfP9umzuuZplvvK7NDwz5yNTqmip7aKol7vSrqqwn84PlqtfgnvyWPco+rCVSLMPElYw3smEjBeFVsJbm1qEKh2CBCi0wgIMJHrZ1kMHFex+ywMBG2wH00eZgSxN+DgNYQG0LKY6EjNYm/h9hbz+0mtj3Y7pCreJbdPw5qExCmv1kJ+yM/WDf2C/2b2qsvojh59LFpxJouV1bfHe39PdClYFPDxqR6hyFgvT5NXlQh2eiFg1rs4XFr1IN4rd7789Kz4vp/gP2mf3G+j6xU/YdKzTbf9Qv27z4AaOnxXhzjFSFNj5VSOEY97E3zFVBX19YB2E+ET+usETfwVvDHBuolkXPgs7UCMfEu44JrktwXYLrEVyP4DoE1yG4OsHVCa5JcE2CWyW4VYLbILgNgtskuE2CqxBcheD2CG6P4BjBsRinhPPrr2VqXpVwXgN/fD4V8SUM/ZzwG7jqI6Iq+nHKxhy1MS6wUKQbI12S9HPzV/goO7TFaX+UhvyoIrIPCJUu9g0FLZO6UQ+lLMQqLkypuCS+VmOiksgaV2yNZRVptiZyGlXlw/xV9Om4O+VjxNrEilKwvxajigRVjFGvxW6Tgpyg67gH+XtnMJvDUyPII9iVaE/Oj4tnWHbyxIo3dnKZ7ONMbvtJauVleJrNwz24D8sY/ymswDqOfxlz6MFHOIGv0gvpUGpKRoDOzoSa2zB2Se3/A6uWAA==</latexit>

N (✓|0, 1)

l Gauss-Hermite求積: 緑の分点で計算するだけで、<latexit sha1_base64="T2LHKl+PpK5MvygqHGzI1vVv8PQ=">AAAHs3ichZXNbtNAEMenLeBSPtrCBYlLRBRUJBRtAgjEqQUqtWoVpQlpUyVR5XU3rRU7NraTNLHyArxAD1woEgfEY3DhBTj0ERDHInHhwHjtKB+eFFuJd2d+//HM7nqX24bueoydz8zOXbl6TZm/vnDj5q3bi0vLd3Zdq+VooqRZhuWUueoKQ2+Kkqd7hijbjlBNbog93ngd+PfawnF1q/nW69qiZqpHTb2ua6qHpppf1VQjkeuvsMeZRwdLSZZm8krEG5mokYToylvLcxtQhUOwQIMWmCCgCR62DVDBxbsCGWBgo60GPtocbOnSL6APC6htISWQUNHawP8j7FUiaxP7QUxXqjV8i4E/B5UJSLEf7Au7YN/ZV/aT/Z0ay5cxgly6+OShVtgHi+/vFf/8V2Xi04PjoeoSBUf68po8qMMLWYuOtdnSElSphfHbvdOL4stCyn/IPrFfWN8ZO2ffsMJm+7f2eUcUPmD0lBxvgZGq0ManBkkcYx97g1w5+nxp7Uf5DPlxhSX7Dt465niMalX2LOhMjXBCvOuE4LoE1yW4HsH1CK5DcB2CqxNcneAaBNcguDWCWyO4TYLbJLgtgtsiuDLBlQlun+D2CY4RHItxPJrfYC1T88qjeQ398fnk8ksY+AXhN3HVD4mq7McpG3PUx7jQQpFujHRJMsgtWOGj7MAWp4NRGvCjiqG9T6gMuW9wtEzqRj2UMh+rOD+l4qL8Ws2JSobWuGJ7LKuhZnsip1FVLspfQ5+Bu1MuRqxPrCiO/fUYVSCoQox6I3ebJGQlXcc9KNg7w9kcnBphHuGuRHuyQVw8wzKTJ1a8sZtNZ56ksztPk6uvotNsHu7DA1jB+M9hFTZw/EuYwzs4hY9wpjxTKgpXDkN0dibS3IWxSzH/ATxPkps=</latexit>

N (0, 1) に関する積分は高精度に計算できる
Z 1<latexit sha1_base64="lmlbOtdzIsB+meKk67ZdPIayH9g=">AAAIHnichZXPa9RAFMffturWbbWtXgQvi0ulBS2zq6AIQqsWWlpKu7XtFtMuSTpph0022yS7223MP+A/4MGLCh7EP0MQL+JJsOA/IB4rePHgyyTL/shrTdhk5r3P9+17M5MZrWYK12PsODUweO78hfTQxczwyKXLo2PjVzZcu+7ofF23TdspaarLTVHl657wTF6qOVy1NJNvapXHoX+zwR1X2NWnXqvGty11ryoMoasemspjDUVUvR18GF6r7N+OGkHGmFS8fe6pU76iq2Z2OYj7z9mt/NRu1M4orrD4QUYxHFX384GvuAeO5ys1EQRZxa1bZV88zAc789lmWWQxonQXgsOymCqP5dg0k1c22cjHjRzE14o9PjgPCuyCDTrUwQIOVfCwbYIKLt7PIA8MamjbBh9tDraE9HMIIIPaOlIcCRWtFXzuYe9ZbK1iP4zpSrWO/2Liz0FlFibYN/aenbDP7AP7yf6eGsuXMcJcWvjWIi2vlUdfXFv781+VhW8P9juqMxQa0mfX5IEB92UtAmurSUtYpR7Fbxy9PFl7UJzwb7K37BfW94Yds49YYbXxW3+3youvMPqEHG+OkRRo4FuHHI6xj712rhr6fGkN4nw6fK/Cln0Hb4E57qNalT0bmqdGOCT+65DgWgTXIrgjgjsiuCbBNQnOIDiD4CoEVyG4WYKbJbgFglsguEWCWyS4EsGVCG6L4LYIjhEcS3BaPL/hWqbmVYvnNfIn51OTX0Lbzwm/hau+Qyiyn6RqmKPo4SILRboJ0iXJMLdwhXezbVuSDkepzXcrOvaAUJly39DQ0q/r9lDKlUTFK6dUvCa/Vquvko41qVjqyaqjWerLqVu1HOevo8/E3Wk5Qcz1rSgN+3MJqkhQxQT1RO42OShI2sA9KNw7o9lsnxpRHtGuRHsKYVw8w/L9J1aysVGYzt+ZLqzezc08ik+zIbgON2AS49+DGZjH8V/HHH6kBlLDqZH06/Sn9Jf01wgdSMWaq9Bzpb//A7heu9s=</latexit>

25/42

H
X
p
1
f (✓)N (✓|0, 1)d✓ ' p
wi f ( 2xi )
⇡ i=1
1

25

<latexit sha1_base64="x1R2dLyocGWtbJNnhD1WFWmAFbo=">AAAHsHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJqRNaarIazatib9ku0kTKy/AGYkDAgkkDojH4MILcOgjII5F4sKB8dpRPnZSbCXenfn9xzO7613uWWYQMnY6NT1z4eIlbfby3JWr167PLyze2AncY98QFcO1XL/K9UBYpiMqoRlaour5Qre5JXZ582ns320JPzBd53nY8cSBrR86ZsM09BBNL2rcjmpchHqvvpBhOSavJbWRTxsZSK+iuzizBjV4CS4YcAw2CHAgxLYFOgR470MeGHhoO4AIbT62TOkX0IM51B4jJZDQ0drE/0Ps7adWB/txzECqDXyLhT8flUuQZT/YF3bGvrOv7Cf7OzFWJGPEuXTwyROt8Orzr2+V//xXZeMzhKOB6hwFR/r8mkJowCNZi4m1edISV2kk8Vvdt2flx6VsdJd9Yr+wvo/slH3DCp3Wb+Pztii9w+hZOd4CI9WghU8DMjjGEfb6uXL0RdLaS/MZ8KMKV/Z9vE3M8QjVuuy50J4Y4YR41wnBdQiuQ3BdgusSXJvg2gTXILgGwTUJrklwKwS3QnDrBLdOcBsEt0FwVYKrEtwewe0RHCM4pnA8nd94LVPzytN5TfzqfHL5JfT9gvDbuOoHRE32VcrDHM0RLrFQZKCQAUnGucUrfJjt21Q6HqU+P6wY2HuEypL7BkfLuG7YQymLSsXFCRWX5ddqj1UysKqKzZGsBprNsZyGVVtp/gb6LNydthRidWxFceyvKlSJoEoK9UzuNhkoSLqBe1C8dyaz2T81kjySXYn2FOK4eIblx08stbFTyOXv5wrbDzLLT9LTbBZuwx24h/EfwjKs4fhXMAcH3sB7+KAVtKpW1/QEnZ5KNTdh5NJe/QPTkpLI</latexit>の学習 (3)l 問題: 実際のテキストでは、尤度 p(d|✓) は特定の<latexit sha1_base64="wQSoHwNgBT/BvZAhV5Oykg9D4Ms=">AAAHsXichZXNbtNAEMenLeBSPtrCBYlLRRRULtUmRQJxaoFKrVpVaULaRElVvO6mseIv2U7SJOQFuCMOSCCQOCAegwsvwKGPgDgWiQsHxmtHTuJJsZV4d+b3H8/srne5Y+iez9jZ1PTMpctXlNmrc9eu37g5v7B4a9+zm64mippt2G6Jq54wdEsUfd03RMlxhWpyQxzwxrPAf9ASrqfb1gu/44hDUz2x9JquqT6aKs7y8auqXxe++uBoIcVWmLyWko1M1EhBdOXsxZlNqMIx2KBBE0wQYIGPbQNU8PCuQAYYOGg7hB7aXGzp0i+gD3OobSIlkFDR2sD/E+xVIquF/SCmJ9UavsXAn4vKJUizH+wLO2ff2Vf2k/2dGKsnYwS5dPDJQ61wjuZf3yn8+a/KxKcP9Vh1gYIjfXFNPtTgsaxFx9ocaQmq1ML4re7b88KTfLp3n31iv7C+j+yMfcMKrdZv7fOeyL/D6Gk53gIjVaGFTw1SOMY97A1y5ejrSWs/yifmRxW27Lt465hjHdWq7NnQnhjhlHjXKcF1CK5DcF2C6xJcm+DaBFcjuBrBNQiuQXDrBLdOcFsEt0Vw2wS3TXAlgisRXJngygTHCI4lOB7Nb7CWqXnl0byG/uR8cvklDPyC8Ju46mOiKvtJysEc9REutFCklyA9kgxyC1b4MDuwJelglAb8sCK29wmVIfcNjpZx3bCHUuYSFecmVFyQX6s5VklsTSp2RrKKNTtjOQ2rdqP8NfQZuDvtJoiNsRXFsb+RoPIElU9Qz+Vuk4KspGu4BwV7Zzibg1MjzCPclWhPNoiLZ1hm/MRKNvazK5nVlezew9Ta0+g0m4W7cA+WMf4jWINNHP+iPHPewHv4oKwqZeWlwkN0eirS3IaRS2n8A8cKkso=</latexit>✓ の周りに集中à緑の分点がヒットしない2
l 解決策: 積分を仮想的に N (µ̂, ˆ ) で行うように変数変換 (Liu+ 1994, Biometrika)– µ̂ は2分探索で、ˆ 2 は数値二階差分で計算できる<latexit sha1_base64="ynPS7gJubn89RDmwNQQr7ofE/NE=">AAAHrHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJk2aKokqr1k3Jv6S7SRNorwAJ24IOIHEAfEYXHgBDn0ExLFIXDgwXjvKhyfFVuLdmd9/PLO73uWuafgBY2dz8wuXLl9RFq8uXbt+4+byyuqtsu+0PE2UNMd0vApXfWEatigFRmCKiusJ1eKmOOTN56H/sC0833Dsg6DrirqlntiGbmhqgKZyLWiIQD1eSbEMk9daspGNGymIr7yzurAFNXgJDmjQAgsE2BBg2wQVfLyrkAUGLtrq0Eebhy1D+gUMYAm1LaQEEipam/h/gr1qbLWxH8b0pVrDt5j481C5Bmn2g31h5+w7+8p+sr8zY/VljDCXLj55pBXu8fLrO8U//1VZ+AygMVJdoOBIX1xTADo8kbUYWJsrLWGVWhS/3Xt7XnxaSPfvs0/sF9b3kZ2xb1ih3f6tfd4XhQ8YPS3HW2CkGrTxqUEKx7iPvWGuHH19aR3E+Yz4SYUj+x7eBubYQLUqew50ZkY4Jd51SnBdgusSXI/gegTXIbgOwekEpxNck+CaBLdBcBsEt01w2wS3Q3A7BFchuArBHRHcEcExgmMJjsfzG65lal55PK+RPzmfXH4JQ78g/Bau+hFRk/0k5WKOxgQXWSjST5A+SYa5hSt8nB3aknQ4SkN+XDGyDwiVKfcNjpZp3biHUuYTFednVFyUX6s1VcnImlTsTmQ10uxO5TSu2ovz19Bn4u60lyA2p1YUx/5mgioQVCFBvZC7TQpyktZxDwr3zmg2h6dGlEe0K9GeXBgXz7Ds9ImVbJRzmezDTG7/UWr9WXyaLcJduAcPMP5jWIctHP8S5vAK3sA7eK9klAOlqtQjdH4u1tyGiUvR/wEOAJD3</latexit><latexit sha1_base64="aAK/tz4Y2ldtQn6zg40RzTOB2cI=">AAAH23ichZVLb9NAEMenLeBSHm3hgsQlIioqEqo2KRKIUwtUatUqalPSpqrbyHY3jRW/ZDtJU8snbhVXhBAnkDggPgQHLuUDcOhHQByLxIUD47WjPDwpthLvzvz+45nd9a7qGLrnM3Y2Mjp26fIVafzqxLXrN25OTk3f2vLshqvxkmYbtltWFY8busVLvu4bvOy4XDFVg2+r9eeRf7vJXU+3rZd+2+F7pnJo6VVdU3w0VabmZZ8f+SJO4PKDMAhkTTEyhXBWril+IJuN8GHc8vRDUwn38w/CylSWzTFxZdKNXNLIQnKt29NjyyDDAdigQQNM4GCBj20DFPDw3oUcMHDQtgcB2lxs6cLPIYQJ1DaQ4kgoaK3j/yH2dhOrhf0opifUGr7FwJ+LygzMsB/sMztnp+wL+8n+Do0ViBhRLm18qrGWO5XJkzubf/6rMvHpQ62rukChIn1xTT5U4YmoRcfaHGGJqtTi+M3jt+ebT4szwX32kf3C+j6wM/YNK7Sav7VPG7z4HqPPiPHmGEmGJj41yOIYB9jr5KqiLxDWMMmny/crbNF38dYxxxqqFdGzoTU0whHxriOCaxNcm+COCe6Y4FoE1yK4KsFVCa5OcHWCWyS4RYJbIbgVglsluFWCKxNcmeB2CG6H4BjBsRSnJvMbrWVqXtVkXmN/ej5V8SV0/Jzwm7jqu4Qs+mnKwRz1Pi62UKSXIj2SjHKLVngv27Gl6WiUOnyvomsPCZUh9g0VLYO6Xg+lXE9VvD6k4k3xtZoDlXStacVaX1ZdzdpATr2qQpK/hj4Dd6dCilgaWFEq9pdSVJGgiinqhdhtspAXdBX3oGjvjGezc2rEecS7Eu3JR3HxDMsNnljpxlZ+Ljc/l994lF14lpxm43AX7sEsxn8MC7CM41/CHN7BVziF79Ke9Eo6kV7H6OhIorkNfZf05h/WbaSv</latexit><latexit sha1_base64="BuASqqmAifUpUFveFUaxYq3WRzs=">AAAHtHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdqkCBCnFqjUqlXVJqRNVbeVbTaJFX/JdpImUV6AFwCJUytxQDwGF16AQx8BcSwSFw6M146cZCfFVuLdmd9/PLO73tU9ywxCxi6mpmeuXb+hzN6cu3X7zt35hcV7e4Hb9A1eNlzL9Su6FnDLdHg5NEOLVzyfa7Zu8X298Try77e4H5iu8zbsePzI1mqOWTUNLUTTsVrXwp4amDVb6x8XThYyLMfEtSQ38kkjA8m14y7OrIMK78AFA5pgAwcHQmxboEGA9yHkgYGHtiPooc3Hlin8HPowh9omUhwJDa0N/K9h7zCxOtiPYgZCbeBbLPz5qFyCLPvBvrBL9p19ZT/Z34mxeiJGlEsHn3qs5d7J/PsHpT//Vdn4DKGeqq5Q6EhfXVMIVXghajGxNk9YoiqNOH6r++Gy9LKY7T1m5+wX1nfGLtg3rNBp/TY+7/LiJ4yeFePNMZIKLXwakMEx7mFvkKuOvp6w9pN8Un5U4Yq+j7eJOdZRrYmeC+2JEU6Jd50SXIfgOgTXJbguwbUJrk1wVYKrElyD4BoEt0pwqwS3QXAbBLdJcJsEVyG4CsEdENwBwTGCYxKnJ/MbrWVqXvVkXmO/PJ+6+BIGfk74bVz1KaGKvkx5mKM5wsUWigwkMiDJKLdohQ+zA5tMR6M04IcVqb1PqCyxb+hoGdcNeyjljlTxzoSKS+JrtccqSa2yYmskq1SzNZbTsGo7yd9An4W707ZErI2tKB37axJVJKiiRL0Ru00GCoKu4h4U7Z3xbA5OjTiPeFeiPYUoLp5h+fETS27sFXL55Vxh92lm5VVyms3CQ3gETzD+c1iBdRz/Mubgw0c4g3PlmaIqhsJjdHoq0dyHkUtx/gEYiZRj</latexit><latexit sha1_base64="jWuqPL/AeRCEHHOE6cy2AUsBzpg=">AAAHr3ichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJqRJ1JTiNZvGir9kO0kTKy/AlQMH4AASB8RjcOEFOPQREMciceHAeO3ISTwtthLvzvz+45nd9S53DN3zGTuZmZ27cPGSMn954crVa9cXl5Zv7Hl2x9VERbMN261x1ROGbomKr/uGqDmuUE1uiCpvPw391a5wPd22nvt9RxyY6pGlN3VN9dFUb7RUP2iYneHhUoblmLxW0o183MhAfBXt5bkNaMArsEGDDpggwAIf2wao4OG9D3lg4KDtAAK0udjSpV/AEBZQ20FKIKGitY3/R9jbj60W9sOYnlRr+BYDfy4qVyDLfrAv7JR9Z1/ZT/b3zFiBjBHm0scnj7TCOVx8fav8578qE58+tBLVOQqO9Pk1+dCER7IWHWtzpCWsUovidwdvT8uPS9ngLvvEfmF9H9kJ+4YVWt3f2uddUXqH0bNyvAVGakAXnxpkcIwD7I1y5egLpHUY55Pwkwpb9l28dcyxhWpV9mzonRnhmHjXMcH1Ca5PcAOCGxBcj+B6BNckuCbBtQmuTXBrBLdGcJsEt0lwWwS3RXA1gqsRXJ3g6gTHCI6lOB7Pb7iWqXnl8bxG/vR8cvkljPyC8Ju46hOiIftpysEc9QkuslCklyI9kgxzC1f4ODuypelwlEb8uCKxDwmVIfcNjpZp3biHUhZTFRfPqLgsv1ZzqpLEmlZsT2SVaLanchpX7cT5a+gzcHfaSRHrUyuKY389RZUIqpSinsndJgMFSTdxDwr3zmg2R6dGlEe0K9GeQhgXz7D89ImVbuwVcvn7ucLug8zqk/g0m4fbcAfuYfyHsAobOP4VzMGEN/AePih5paq8UF5G6OxMrLkJE5ei/wN9eZJy</latexit>

26/42

26

の学習 (4)<latexit sha1_base64="x1R2dLyocGWtbJNnhD1WFWmAFbo=">AAAHsHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJqRNaarIazatib9ku0kTKy/AGYkDAgkkDojH4MILcOgjII5F4sKB8dpRPnZSbCXenfn9xzO7613uWWYQMnY6NT1z4eIlbfby3JWr167PLyze2AncY98QFcO1XL/K9UBYpiMqoRlaour5Qre5JXZ582ns320JPzBd53nY8cSBrR86ZsM09BBNL2rcjmpchHqvvpBhOSavJbWRTxsZSK+iuzizBjV4CS4YcAw2CHAgxLYFOgR470MeGHhoO4AIbT62TOkX0IM51B4jJZDQ0drE/0Ps7adWB/txzECqDXyLhT8flUuQZT/YF3bGvrOv7Cf7OzFWJGPEuXTwyROt8Orzr2+V//xXZeMzhKOB6hwFR/r8mkJowCNZi4m1edISV2kk8Vvdt2flx6VsdJd9Yr+wvo/slH3DCp3Wb+Pztii9w+hZOd4CI9WghU8DMjjGEfb6uXL0RdLaS/MZ8KMKV/Z9vE3M8QjVuuy50J4Y4YR41wnBdQiuQ3BdgusSXJvg2gTXILgGwTUJrklwKwS3QnDrBLdOcBsEt0FwVYKrEtwewe0RHCM4pnA8nd94LVPzytN5TfzqfHL5JfT9gvDbuOoHRE32VcrDHM0RLrFQZKCQAUnGucUrfJjt21Q6HqU+P6wY2HuEypL7BkfLuG7YQymLSsXFCRWX5ddqj1UysKqKzZGsBprNsZyGVVtp/gb6LNydthRidWxFceyvKlSJoEoK9UzuNhkoSLqBe1C8dyaz2T81kjySXYn2FOK4eIblx08stbFTyOXv5wrbDzLLT9LTbBZuwx24h/EfwjKs4fhXMAcH3sB7+KAVtKpW1/QEnZ5KNTdh5NJe/QPTkpLI</latexit>

log

Z 1

1

"

e`(✓) N (✓|0, 1)d✓' log p<latexit sha1_base64="fULMOSwr2FYeA0io97ZVtls+LBY=">AAAIrXichZXfT9NQFMfPBHXWH4C+mPiyuUBYBLybJhoTE1BJIBACQ2CEy5a23G3N2rW03cao/Qd888lEnjTxwfhn+OI/4AN/gvERE1988PS2y370gl3We+45n+/pOb3trWLpmuMScpq4NDJ6+crV5DXp+o2bt8bGJ25vO2bTVtmWauqmXVRkh+lag225mquzomUz2VB0tqPUXwbxnRazHc1svHY7Fts35GpDq2iq7KKrPJEYnaK6WU1RreGW8FRxO2VvNjR8iZU8ynR9mro15spZn65F5hsyk8sehDal0hR1NIMdSkEqqrOKuyfRii2rHvqrhuzjeGi7HrU035eo0zTKXv15zi+tpCg7sriCelydapfrKZp+QNMpfuVOuZ7tznnGHCabydMZn6a5brrPzy9WyvuBiqZnkTCa2VKem+hCy9aqNTcrhSP1I2O/PJ4hc4QfqbiRi4wMRMe6OTGyBBQOwAQVmmAAgwa4aOsgg4O/PcgBAQt9++Chz0ZL43EGPkiobSLFkJDRW8dzFWd7kbeB8yCnw9UqXkXHv43KFEySH+QLOSPfyVfyk/w9N5fHcwS1dHBUQi2zymNv727++a/KwNGFWk91gUJB+uKeXKjAU96Lhr1Z3BN0qYb5W8fvzzafFSa9KfKJ/ML+PpJT8g07bLR+q583WOEEs0/y+80wE4UWjipk8B57OOvWqmDM414/qqfHDypMPrfxp2GNNVTLfGZC+9wMR4JrHQm4joDrCLhjAXcs4NoCri3gKgKuIuDqAq4u4BYE3IKAWxZwywJuRcCtCLiigCsKuF0BtyvgiIAjMU6J1jd4lkXrqkTrGsbj66nwN6EbZ4K4gU99j6B8HqcsrFEb4EKPiHRipCMkg9qCJ7yf7fridHCXuny/ouf3BSqd7xsKeoZ1/RGRcj3W8fo5HW/yt9UY6qTnjStWB6rqaVaHaupXrUX1qxjTcXdaixGLQ0+UgvPFGFUQUIUY9YrvNhnIc7qCe1Cwd4ar2f1qhHWEu5I4kg/y4jcsN/zFihvb+bnco7n8xuPM/Ivoa5aEe3AfpjH/E5iHJbz/W6Am6ol3iQ+Jk+TD5FaSJksheikRae7AwJGs/gNTF+qX</latexit>

⇡

K
X

k=1

⇢

を含む
<latexit sha1_base64="x1R2dLyocGWtbJNnhD1WFWmAFbo=">AAAHsHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJqRNaarIazatib9ku0kTKy/AGYkDAgkkDojH4MILcOgjII5F4sKB8dpRPnZSbCXenfn9xzO7613uWWYQMnY6NT1z4eIlbfby3JWr167PLyze2AncY98QFcO1XL/K9UBYpiMqoRlaour5Qre5JXZ582ns320JPzBd53nY8cSBrR86ZsM09BBNL2rcjmpchHqvvpBhOSavJbWRTxsZSK+iuzizBjV4CS4YcAw2CHAgxLYFOgR470MeGHhoO4AIbT62TOkX0IM51B4jJZDQ0drE/0Ps7adWB/txzECqDXyLhT8flUuQZT/YF3bGvrOv7Cf7OzFWJGPEuXTwyROt8Orzr2+V//xXZeMzhKOB6hwFR/r8mkJowCNZi4m1edISV2kk8Vvdt2flx6VsdJd9Yr+wvo/slH3DCp3Wb+Pztii9w+hZOd4CI9WghU8DMjjGEfb6uXL0RdLaS/MZ8KMKV/Z9vE3M8QjVuuy50J4Y4YR41wnBdQiuQ3BdgusSXJvg2gTXILgGwTUJrklwKwS3QnDrBLdOcBsEt0FwVYKrEtwewe0RHCM4pnA8nd94LVPzytN5TfzqfHL5JfT9gvDbuOoHRE32VcrDHM0RLrFQZKCQAUnGucUrfJjt21Q6HqU+P6wY2HuEypL7BkfLuG7YQymLSsXFCRWX5ddqj1UysKqKzZGsBprNsZyGVVtp/gb6LNydthRidWxFceyvKlSJoEoK9UzuNhkoSLqBe1C8dyaz2T81kjySXYn2FOK4eIblx08stbFTyOXv5wrbDzLLT9LTbBZuwx24h/EfwjKs4fhXMAcH3sB7+KAVtKpW1/QEnZ5KNTdh5NJe/QPTkpLI</latexit>1
exp log wk +`(yk )+
2

✓

1

2
2
(y
µ)
y
k
2 k

◆ #

l 実際の計算は、上式のようにすべて対数で行う

はK次元のベクトルなので、さらにこの式を で偏微分して勾配を計算àL-BFGSで最適化– Hamiltonian MCMCによるベイズ推定も試したが、最適化によるMAP推定の結果がよかった
l ベクトル化によるRの実装が大変。。
l

27/42

<latexit sha1_base64="x1R2dLyocGWtbJNnhD1WFWmAFbo=">AAAHsHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJqRNaarIazatib9ku0kTKy/AGYkDAgkkDojH4MILcOgjII5F4sKB8dpRPnZSbCXenfn9xzO7613uWWYQMnY6NT1z4eIlbfby3JWr167PLyze2AncY98QFcO1XL/K9UBYpiMqoRlaour5Qre5JXZ582ns320JPzBd53nY8cSBrR86ZsM09BBNL2rcjmpchHqvvpBhOSavJbWRTxsZSK+iuzizBjV4CS4YcAw2CHAgxLYFOgR470MeGHhoO4AIbT62TOkX0IM51B4jJZDQ0drE/0Ps7adWB/txzECqDXyLhT8flUuQZT/YF3bGvrOv7Cf7OzFWJGPEuXTwyROt8Orzr2+V//xXZeMzhKOB6hwFR/r8mkJowCNZi4m1edISV2kk8Vvdt2flx6VsdJd9Yr+wvo/slH3DCp3Wb+Pztii9w+hZOd4CI9WghU8DMjjGEfb6uXL0RdLaS/MZ8KMKV/Z9vE3M8QjVuuy50J4Y4YR41wnBdQiuQ3BdgusSXJvg2gTXILgGwTUJrklwKwS3QnDrBLdOcBsEt0FwVYKrEtwewe0RHCM4pnA8nd94LVPzytN5TfzqfHL5JfT9gvDbuOoHRE32VcrDHM0RLrFQZKCQAUnGucUrfJjt21Q6HqU+P6wY2HuEypL7BkfLuG7YQymLSsXFCRWX5ddqj1UysKqKzZGsBprNsZyGVVtp/gb6LNydthRidWxFceyvKlSJoEoK9UzuNhkoSLqBe1C8dyaz2T81kjySXYn2FOK4eIblx08stbFTyOXv5wrbDzLLT9LTbBZuwx24h/EfwjKs4fhXMAcH3sB7+KAVtKpW1/QEnZ5KNTdh5NJe/QPTkpLI</latexit><latexit sha1_base64="x1R2dLyocGWtbJNnhD1WFWmAFbo=">AAAHsHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJqRNaarIazatib9ku0kTKy/AGYkDAgkkDojH4MILcOgjII5F4sKB8dpRPnZSbCXenfn9xzO7613uWWYQMnY6NT1z4eIlbfby3JWr167PLyze2AncY98QFcO1XL/K9UBYpiMqoRlaour5Qre5JXZ582ns320JPzBd53nY8cSBrR86ZsM09BBNL2rcjmpchHqvvpBhOSavJbWRTxsZSK+iuzizBjV4CS4YcAw2CHAgxLYFOgR470MeGHhoO4AIbT62TOkX0IM51B4jJZDQ0drE/0Ps7adWB/txzECqDXyLhT8flUuQZT/YF3bGvrOv7Cf7OzFWJGPEuXTwyROt8Orzr2+V//xXZeMzhKOB6hwFR/r8mkJowCNZi4m1edISV2kk8Vvdt2flx6VsdJd9Yr+wvo/slH3DCp3Wb+Pztii9w+hZOd4CI9WghU8DMjjGEfb6uXL0RdLaS/MZ8KMKV/Z9vE3M8QjVuuy50J4Y4YR41wnBdQiuQ3BdgusSXJvg2gTXILgGwTUJrklwKwS3QnDrBLdOcBsEt0FwVYKrEtwewe0RHCM4pnA8nd94LVPzytN5TfzqfHL5JfT9gvDbuOoHRE32VcrDHM0RLrFQZKCQAUnGucUrfJjt21Q6HqU+P6wY2HuEypL7BkfLuG7YQymLSsXFCRWX5ddqj1UysKqKzZGsBprNsZyGVVtp/gb6LNydthRidWxFceyvKlSJoEoK9UzuNhkoSLqBe1C8dyaz2T81kjySXYn2FOK4eIblx08stbFTyOXv5wrbDzLLT9LTbBZuwx24h/EfwjKs4fhXMAcH3sB7+KAVtKpW1/QEnZ5KNTdh5NJe/QPTkpLI</latexit>

27

実験とデータl Young and Soroka (Political Communication, 2012) のテキストに対する人手のコーディングデータ<doc>
The rate at which Americans bought new single family homes
dropped 14 percent in September from the month before x theGovernment reported today . Resurging mortgage rates and a
sharp jump in home prices apparently deterred potential ...
<doc>
EXCEPT for ‘’conservative ,‘’ which is the way Ronald Reagan
describes himself x economic labels are difficult to pin on the
President elect . One of the best ways to predict what he may do
as President is to examine ...

l [“Neutral” “Negative” “Negative”], [“Neutral” “Neutral”“Neutral”] のような3人の評定を、5段階に変換– この生評定データを使った方がよい?
28/42

28

極性語
l 極性語の辞書としては、LSS (Watanabe 2020)で使われている次の標準的なpositive-negative辞書を使用# LSS's data_dictionary_sentimentpositivegood nice excellent positive fortunate correct superior
negative
bad nasty poor negative unfortunate wrong inferiorl 注: 提案法はPositive-Negativeのような自明な軸だけでなく、任意の複雑な意味的な軸を扱える

29/42

29

LSSと人手のスケールとの相関
5

scale

「正解」 4
3
2
1
−4

−2

0

2

4

θ 「推定値」
l 平均値(△)は微妙にスケールに相関しているが、非常にノイズが多い状態 (相関係数 ⇢ =0.065、平均だと0.901)<latexit sha1_base64="Y3K9g+a6I/Ij2AvFg7b9TQurMWI=">AAAHqnichZXNbtNAEMenLeBSPtrCBYlLRRTEAVWbgATi1AKVWrWq0oS0iZKq8rqbxoq/ZDtJkygvwIFrkTiBxAHxGFx4AQ59BMSxSFw4MF47ysdOiq3EuzO//3hmd73LPcsMQsbOZ2bnrly9ps1fX7hx89btxaXlO/uB2/QNUTRcy/VLXA+EZTqiGJqhJUqeL3SbW+KAN15F/oOW8APTdd6EHU8c2vqJY9ZMQw8jU9Wvu0dLKbbK5LWiNjJJIwXJlXOX5zahCsfgggFNsEGAAyG2LdAhwLsCGWDgoe0QemjzsWVKv4A+LKC2iZRAQkdrA/9PsFdJrA72o5iBVBv4Fgt/PipXIM1+sC/sgn1nX9lP9ndqrJ6MEeXSwSePtcI7Wnx7r/DnvyobnyHUh6pLFBzpy2sKoQbPZS0m1uZJS1SlEcdvdc8uCi/y6d5D9on9wvo+snP2DSt0Wr+Nz3si/wGjp+V4C4xUhRY+DUjhGPewN8iVo68nrf0knyE/rnBl38fbxBzrqNZlz4X21AinxLtOCa5DcB2C6xJcl+DaBNcmuBrB1QiuQXANglsnuHWC2yK4LYLbJrhtgisRXIngygRXJjhGcEzheDK/0Vqm5pUn8xr71fnk8ksY+AXht3HVD4mq7KuUhzmaY1xsochAIQOSjHKLVvgoO7CpdDRKA35UMbT3CZUl9w2OlkndqIdS5pSKc1MqLsiv1Z6oZGhVFTtjWQ01OxM5jap2k/wN9Fm4O+0qxMbEiuLY31CoPEHlFeq13G1SkJV0DfegaO+MZ3NwasR5xLsS7clGcfEMy0yeWGpjP7uaebKa3XuaWnuZnGbzcB8ewCOM/wzWYBPHv4g51OEdnMF77bGW18paJUZnZxLNXRi7tON/4+qQFg==</latexit>

30/42

30

PSSと人手のスケールとの相関
5

scale

「正解」4
3
2
1
−4

−2

0

2

4

θ 「推定値」
l LSSよりかなり高い相関が出る ( ⇢ =0.240, 平均だと0.965)<latexit sha1_base64="Y3K9g+a6I/Ij2AvFg7b9TQurMWI=">AAAHqnichZXNbtNAEMenLeBSPtrCBYlLRRTEAVWbgATi1AKVWrWq0oS0iZKq8rqbxoq/ZDtJkygvwIFrkTiBxAHxGFx4AQ59BMSxSFw4MF47ysdOiq3EuzO//3hmd73LPcsMQsbOZ2bnrly9ps1fX7hx89btxaXlO/uB2/QNUTRcy/VLXA+EZTqiGJqhJUqeL3SbW+KAN15F/oOW8APTdd6EHU8c2vqJY9ZMQw8jU9Wvu0dLKbbK5LWiNjJJIwXJlXOX5zahCsfgggFNsEGAAyG2LdAhwLsCGWDgoe0QemjzsWVKv4A+LKC2iZRAQkdrA/9PsFdJrA72o5iBVBv4Fgt/PipXIM1+sC/sgn1nX9lP9ndqrJ6MEeXSwSePtcI7Wnx7r/DnvyobnyHUh6pLFBzpy2sKoQbPZS0m1uZJS1SlEcdvdc8uCi/y6d5D9on9wvo+snP2DSt0Wr+Nz3si/wGjp+V4C4xUhRY+DUjhGPewN8iVo68nrf0knyE/rnBl38fbxBzrqNZlz4X21AinxLtOCa5DcB2C6xJcl+DaBNcmuBrB1QiuQXANglsnuHWC2yK4LYLbJrhtgisRXIngygRXJjhGcEzheDK/0Vqm5pUn8xr71fnk8ksY+AXht3HVD4mq7KuUhzmaY1xsochAIQOSjHKLVvgoO7CpdDRKA35UMbT3CZUl9w2OlkndqIdS5pSKc1MqLsiv1Z6oZGhVFTtjWQ01OxM5jap2k/wN9Fm4O+0qxMbEiuLY31CoPEHlFeq13G1SkJV0DfegaO+MZ3NwasR5xLsS7clGcfEMy0yeWGpjP7uaebKa3XuaWnuZnGbzcB8ewCOM/wzWYBPHv4g51OEdnMF77bGW18paJUZnZxLNXRi7tON/4+qQFg==</latexit>

l モデルが Bag of words なので、さらに改善の余地あり
31/42

31

極性辞書＋半教師あり学習
5

scale

4
3
2
1
−4

−2

0

2

4

θ
l 標準的な極性辞書に正例/負例を15件加えて学習l 相関係数 ⇢ =0.348, 平均(△)を使えば0.985に上昇<latexit sha1_base64="Y3K9g+a6I/Ij2AvFg7b9TQurMWI=">AAAHqnichZXNbtNAEMenLeBSPtrCBYlLRRTEAVWbgATi1AKVWrWq0oS0iZKq8rqbxoq/ZDtJkygvwIFrkTiBxAHxGFx4AQ59BMSxSFw4MF47ysdOiq3EuzO//3hmd73LPcsMQsbOZ2bnrly9ps1fX7hx89btxaXlO/uB2/QNUTRcy/VLXA+EZTqiGJqhJUqeL3SbW+KAN15F/oOW8APTdd6EHU8c2vqJY9ZMQw8jU9Wvu0dLKbbK5LWiNjJJIwXJlXOX5zahCsfgggFNsEGAAyG2LdAhwLsCGWDgoe0QemjzsWVKv4A+LKC2iZRAQkdrA/9PsFdJrA72o5iBVBv4Fgt/PipXIM1+sC/sgn1nX9lP9ndqrJ6MEeXSwSePtcI7Wnx7r/DnvyobnyHUh6pLFBzpy2sKoQbPZS0m1uZJS1SlEcdvdc8uCi/y6d5D9on9wvo+snP2DSt0Wr+Nz3si/wGjp+V4C4xUhRY+DUjhGPewN8iVo68nrf0knyE/rnBl38fbxBzrqNZlz4X21AinxLtOCa5DcB2C6xJcl+DaBNcmuBrB1QiuQXANglsnuHWC2yK4LYLbJrhtgisRXIngygRXJjhGcEzheDK/0Vqm5pUn8xr71fnk8ksY+AXht3HVD4mq7KuUhzmaY1xsochAIQOSjHKLVvgoO7CpdDRKA35UMbT3CZUl9w2OlkndqIdS5pSKc1MqLsiv1Z6oZGhVFTtjWQ01OxM5jap2k/wN9Fm4O+0qxMbEiuLY31CoPEHlFeq13G1SkJV0DfegaO+MZ3NwasR5xLsS7clGcfEMy0yeWGpjP7uaebKa3XuaWnuZnGbzcB8ewCOM/wzWYBPHv4g51OEdnMF77bGW18paJUZnZxLNXRi7tON/4+qQFg==</latexit>

32/42

32

国会議事録の分析
l 2021年春の通常国会の衆議院・農林水産委員会の議事録を使用 (Webからスクレーピング)– 議員の論点の違いが比較的明らかなため– 12回の開催、1,324個の発言
l 例として、玉木雄一郎議員(国民民主党)の発言を+、田村貴昭議員(日本共産党)の発言を-として、それぞれランダムに20発言を抽出して半教師あり
テキストとする
lを最適化して求め、他の発言をPLSSで分析して潜在的な極性 ✓ を計算
l 極性辞書は使わない (準備できない)<latexit sha1_base64="x1R2dLyocGWtbJNnhD1WFWmAFbo=">AAAHsHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJqRNaarIazatib9ku0kTKy/AGYkDAgkkDojH4MILcOgjII5F4sKB8dpRPnZSbCXenfn9xzO7613uWWYQMnY6NT1z4eIlbfby3JWr167PLyze2AncY98QFcO1XL/K9UBYpiMqoRlaour5Qre5JXZ582ns320JPzBd53nY8cSBrR86ZsM09BBNL2rcjmpchHqvvpBhOSavJbWRTxsZSK+iuzizBjV4CS4YcAw2CHAgxLYFOgR470MeGHhoO4AIbT62TOkX0IM51B4jJZDQ0drE/0Ps7adWB/txzECqDXyLhT8flUuQZT/YF3bGvrOv7Cf7OzFWJGPEuXTwyROt8Orzr2+V//xXZeMzhKOB6hwFR/r8mkJowCNZi4m1edISV2kk8Vvdt2flx6VsdJd9Yr+wvo/slH3DCp3Wb+Pztii9w+hZOd4CI9WghU8DMjjGEfb6uXL0RdLaS/MZ8KMKV/Z9vE3M8QjVuuy50J4Y4YR41wnBdQiuQ3BdgusSXJvg2gTXILgGwTUJrklwKwS3QnDrBLdOcBsEt0FwVYKrEtwewe0RHCM4pnA8nd94LVPzytN5TfzqfHL5JfT9gvDbuOoHRE32VcrDHM0RLrFQZKCQAUnGucUrfJjt21Q6HqU+P6wY2HuEypL7BkfLuG7YQymLSsXFCRWX5ddqj1UysKqKzZGsBprNsZyGVVtp/gb6LNydthRidWxFceyvKlSJoEoK9UzuNhkoSLqBe1C8dyaz2T81kjySXYn2FOK4eIblx08stbFTyOXv5wrbDzLLT9LTbBZuwx24h/EfwjKs4fhXMAcH3sB7+KAVtKpW1/QEnZ5KNTdh5NJe/QPTkpLI</latexit><latexit sha1_base64="ynPS7gJubn89RDmwNQQr7ofE/NE=">AAAHrHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJk2aKokqr1k3Jv6S7SRNorwAJ24IOIHEAfEYXHgBDn0ExLFIXDgwXjvKhyfFVuLdmd9/PLO73uWuafgBY2dz8wuXLl9RFq8uXbt+4+byyuqtsu+0PE2UNMd0vApXfWEatigFRmCKiusJ1eKmOOTN56H/sC0833Dsg6DrirqlntiGbmhqgKZyLWiIQD1eSbEMk9daspGNGymIr7yzurAFNXgJDmjQAgsE2BBg2wQVfLyrkAUGLtrq0Eebhy1D+gUMYAm1LaQEEipam/h/gr1qbLWxH8b0pVrDt5j481C5Bmn2g31h5+w7+8p+sr8zY/VljDCXLj55pBXu8fLrO8U//1VZ+AygMVJdoOBIX1xTADo8kbUYWJsrLWGVWhS/3Xt7XnxaSPfvs0/sF9b3kZ2xb1ih3f6tfd4XhQ8YPS3HW2CkGrTxqUEKx7iPvWGuHH19aR3E+Yz4SYUj+x7eBubYQLUqew50ZkY4Jd51SnBdgusSXI/gegTXIbgOwekEpxNck+CaBLdBcBsEt01w2wS3Q3A7BFchuArBHRHcEcExgmMJjsfzG65lal55PK+RPzmfXH4JQ78g/Bau+hFRk/0k5WKOxgQXWSjST5A+SYa5hSt8nB3aknQ4SkN+XDGyDwiVKfcNjpZp3biHUuYTFednVFyUX6s1VcnImlTsTmQ10uxO5TSu2ovz19Bn4u60lyA2p1YUx/5mgioQVCFBvZC7TQpyktZxDwr3zmg2h6dGlEe0K9GeXBgXz7Ds9ImVbJRzmezDTG7/UWr9WXyaLcJduAcPMP5jWIctHP8S5vAK3sA7eK9klAOlqtQjdH4u1tyGiUvR/wEOAJD3</latexit>

33/42

33

0.7655
光吉政府参考人
お答えいたします。 農協の株式会社化につきましては、株式会社になったときに、例え
0.7329野上国務大臣新型コロナウイルスの状況に対して、様々なお立場の方が非常に厳しい状況に直面してい2021
年の第
204 回通常国会・衆議院・農林水産委員会による発言を, 玉木雄一郎 (国民民主党)–田村貴昭 (日本共産
0.6108
重徳委員
野上大臣、よく聞いていてくださいね。あほみたいな話ですわ、これ。八丁組合、元祖が発言を
θ の極性軸にして計算した各発言の潜在的なθ と発言内容. 1324 件の発言のうち, ランダムに 40 個を選択して0.4997
玉木委員
国民民主党の玉木雄一郎です。 ちょっと順番を変えて、まず、備蓄米の子供食堂、子供しているの計算には, 玉木・田村の両氏の発言から, ランダムに 20 件を半教師ありデータとして用いた.
0.4790 . β青山（大）委員
繰り返しですけれども、日本一のレンコンの産地である霞ケ浦周辺、茨城県において、以0.3310
葉梨副大臣
令和元年七月でございますけれども、日本国内で、ツマジロクサヨトウという害虫ですね
0.0967
水田政府参考人
お答えいたします。
委員御指摘の、まず空舎延長事業でございますけれども、これは、
θ
発言者
発言内容
0.0789緑川委員
それと同様ということで、何が違うのか、私からお話ししたいと思います。 三年前の豪1.6410大串（博）委員
立憲民主党・無所属の大串です。 早速質疑に入ります。 貯保法ですけれども、私は、
0.0540
野上国務大臣
今御紹介いただきましたみどりの食料システム戦略でありますが、先般、中間取りまとめ
1.4988
矢上委員
時間の関係で次の質問に移らせてもらいますけれども、低コスト化対策ですね。二問あっ−0.1532
水田政府参考人
お答えいたします。 高収益作物次期作支援交付金の件について御質問いただきました。
1.4838重徳委員
だから、農水省に何の非もないのかと言っているんですよ。 例えば、大臣、富山県の御−0.1984
本郷政府参考人
お答えをいたします。 本法案においては、成長に優れた苗木を積極的に用いた再造林を
1.3139大串（博）委員
全くちぐはぐですね。一時的な要因で余っているんだったら、一時的に市場から切り離さ−0.2142
神谷（裕）委員
仮にですけれども、当初、倫理の問題の中で、議員、あるいは元大臣、大臣、そういった
1.1895本郷政府参考人
木材流通に関してでございます。需給のミスマッチを起こさないように、生産、加工の事−0.3023
野上国務大臣
今御指摘をいただきました件につきまして、農林漁業やあるいは食品産業の分野におきま
1.0874玉木委員
国民民主党の玉木雄一郎です。 本法案についてまず質問いたします。 先ほどから、規−0.3433
水田政府参考人
お答えいたします。 新制度では、利用に関する基準を遵守することで、構造に関する技
1.0784
玉木委員
コロナにはいろいろなことを教えてもらったなと思ったんですが、例えば、マスク一つ国−0.3503
八木参考人
お答えさせていただきます。 基幹的農業従事者数の減少が見込まれる現状におきまして
1.0716
近藤（和）委員石川県能登半島の近藤和也でございます。よろしくお願いいたします。 ＣＯＶＩＤ―1−0.4448
野上国務大臣
近年、農林水産、食品産業の分野におきましては、輸出の促進ですとかあるいはスマート1.0316
金子（恵）委員
今、イノベーションの話もされたので、済みません、順番を変えて、林業労働力の育成、−0.4626
野上国務大臣お話がありましたとおり、本年四月に、兵庫県農業会議と兵庫県の農地バンクであります
0.8315
神谷（裕）委員
そうしますと、遡れる限り遡るということだと思うんですが、そこで、先ほど議論になっ−0.5006
森政府参考人お答えいたします。 委員御指摘のとおり、協議の詳細につきましてはお答えすることは0.7655
光吉政府参考人
お答えいたします。 農協の株式会社化につきましては、株式会社になったときに、例え−0.5094伏見政府参考人
お答え申し上げます。 まず、私も、公務員として不適切な行為があったことを深く反省
0.7329野上国務大臣新型コロナウイルスの状況に対して、様々なお立場の方が非常に厳しい状況に直面してい−0.5228
野上国務大臣
御指摘のございました主要農作物種子法につきましては、昭和二十七年に、戦後の食料増
0.6108
重徳委員
野上大臣、よく聞いていてくださいね。あほみたいな話ですわ、これ。八丁組合、元祖が−0.7074
野上国務大臣間伐等特措法によりまして、平成二十年の法律制定後、一定以上の森林面積を有します市
0.4997
玉木委員
国民民主党の玉木雄一郎です。 ちょっと順番を変えて、まず、備蓄米の子供食堂、子供−0.8432
葉梨副大臣
お答えいたします。 佐々木先生の資料の二の品目横断的経営安定対策、これが導入され0.4790青山（大）委員
繰り返しですけれども、日本一のレンコンの産地である霞ケ浦周辺、茨城県において、以−1.0359
水田政府参考人
お答えいたします。 委員御指摘の冊子の二ページのところに「ＥＵやアメリカの現状」
0.3310
葉梨副大臣
令和元年七月でございますけれども、日本国内で、ツマジロクサヨトウという害虫ですね−1.5408
高鳥委員長
お諮りいたします。 ただいま議決いたしました法律案に関する委員会報告書の作成につ0.0967
水田政府参考人
お答えいたします。 委員御指摘の、まず空舎延長事業でございますけれども、これは、−1.5771
高鳥委員長
起立少数。よって、本修正案は否決されました。 次に、原案について採決いたします。
0.0789緑川委員
それと同様ということで、何が違うのか、私からお話ししたいと思います。 三年前の豪−1.9059
大串（博）委員
今回の農中さんの議論を契機に是非いい議論をしていただきたいと思いますし、間違って0.0540
野上国務大臣
今御紹介いただきましたみどりの食料システム戦略でありますが、先般、中間取りまとめ−2.2223
田村（貴）委員
私は、日本共産党を代表して、本法案に反対の立場から討論を行います。 第一に、改正−0.1532
水田政府参考人
お答えいたします。 高収益作物次期作支援交付金の件について御質問いただきました。
−2.5166
田村（貴）委員
私は、日本共産党を代表して、畜舎等の建築及び利用の特例に関する法律案に反対の討論−0.1984
本郷政府参考人
お答えをいたします。 本法案においては、成長に優れた苗木を積極的に用いた再造林を−2.6210
重徳委員
立憲民主党の重徳和彦です。 今日は矢上筆頭、先輩、同僚議員の御了解をいただきまし−0.2142
神谷（裕）委員
仮にですけれども、当初、倫理の問題の中で、議員、あるいは元大臣、大臣、そういった−3.5215新井政府参考人
お答えいたします。 ＯＩＥ連絡協議会は、産業界及び学界における技術者又は学識経験−0.3023
野上国務大臣
今御指摘をいただきました件につきまして、農林漁業やあるいは食品産業の分野におきま−0.3433
水田政府参考人
お答えいたします。 新制度では、利用に関する基準を遵守することで、構造に関する技−0.3503
八木参考人
お答えさせていただきます。 基幹的農業従事者数の減少が見込まれる現状におきまして−0.4448
野上国務大臣
近年、農林水産、食品産業の分野におきましては、輸出の促進ですとかあるいはスマート−0.4626
野上国務大臣お話がありましたとおり、本年四月に、兵庫県農業会議と兵庫県の農地バンクであります−0.5006
森政府参考人お答えいたします。 委員御指摘のとおり、協議の詳細につきましてはお答えすることは−0.5094伏見政府参考人
お答え申し上げます。 まず、私も、公務員として不適切な行為があったことを深く反省−0.5228
野上国務大臣
御指摘のございました主要農作物種子法につきましては、昭和二十七年に、戦後の食料増 34
34/42−0.7074
野上国務大臣間伐等特措法によりまして、平成二十年の法律制定後、一定以上の森林面積を有します市

国会議事録の分析 (結果):l 玉木ー田村の極性軸上に、連続的に発言を並べられる情報処理学会研究報告

国会議事録の分析(結果)
IPSJ SIG Technical Reportl 玉木ー田村議員を極性軸とした際の、各単語の極性
表 7 衆議院農林水産委員会において, 玉木 (国民民主党)–田村 (日メータに依存<latexit sha1_base64="PtMQeYqGyTuOi1FnbLxxp3VhGWc=">AAAHwnichZVLb9NAEMenLZBSHk3hguBSEQVxqjYBCYSE1EIrtWpVpUkfqeo28ppNa+IXtus0MZE48wU4cAIJJMQBvgMXvgCHfgTEsUhcODBeO8rD02Ir8e7M7z+e2V3vcsfQPZ+x45HRsXPnL2TGL05cunzl6mR26tqmZx+6mtjQbMN2q1z1hKFbYsPXfUNUHVeoJjfEFm88jfxbgXA93bbW/ZYjdk1139Lruqb6aKplbyrOgV4LHivcDBUufLWzt64EQguDTi2bYzNMXtPpRiFp5CC5SvbU2CIo8Axs0OAQTBBggY9tA1Tw8N6BAjBw0LYLIdpcbOnSL6ADE6g9REogoaK1gf/72NtJrBb2o5ieVGv4FgN/LiqnIc9+sE/shH1nn9lP9vfUWKGMEeXSwiePtcKpTb6+UfnzX5WJTx8OeqozFBzps2vyoQ4PZS061uZIS1SlFscP2m9OKo/K+fAOe89+YX3v2DH7hhVawW/tw5oov8XoeTneAiMpEOBTgxyOcYi9bq4cfaG0dpJ8evygwpZ9F28dczxAtSp7NjRPjXBEvOuI4FoE1yK4NsG1Ca5JcE2CqxNcneAaBNcguDmCmyO4JYJbIrhlglsmuCrBVQlum+C2CY4RHEtxPJnfaC1T88qTeY396fnk8kvo+gXhN3HV9whF9tOUgznqA1xsoUgvRXokGeUWrfB+tmtL09Eodfl+Rc/eIVSG3Dc4WoZ1/R5KWUpVXDql4or8Ws2hSnrWtGJlIKueZmUop37VapK/hj4Dd6fVFLEwtKI49hdSVJmgyilqXu42OShKuo57ULR3xrPZPTXiPOJdifYUo7h4hhWGT6x0Y7M4U7g3U1y7n5t9kpxm43ALbsNdjP8AZmERx38Dc3gFH+ELfM3MZ55nXmS8GB0dSTTXYeDKvPwHqKeaAg==</latexit>v =T本共産党) の発言を軸にして計算された各単語の極性 φ .

~v

(玉木側)

35/42

v

v
まずは
なので
一つ
ミリ
増やす
整い
もっと
もう少し
植え付ける
切り替える
一番
どうにか
しっかり
同時に
早く
戦える
重点
とにかく
歩
試し

φv
0.51670.45600.43640.4246
0.41780.41090.40140.40120.39950.39850.3982
0.39400.39030.38970.38900.3886
0.37880.37690.37620.3681

v
訴訟
傍聴
毀損
原告
敗訴
控訴
係争
裁判所
判決
審
シベリア
退け
高裁
弁護
最高裁
紛争
賠償
在住
証言
棄却

φv
−0.5769−0.5646−0.5519−0.5481−0.5147−0.5010−0.4963−0.4962−0.4808−0.4727−0.4599−0.4491−0.4462−0.4431−0.4410−0.4303−0.4229−0.4199−0.4196−0.4105

を行えるよう
謝辞

政治学でのテ

呼びいただき(田村側)(ラザード・
だいた福元健皆様, 実験に大学大学院政
参考文献
[1]

[2]

Sean G
Roll C
2011.
Viet-Aand K
35archica
Repub

テキストの統計的抽出
l 分析に用いるテキストの選択を、客観的に行う必要– Wordfishなど教師なし手法では、結果に直結– キーワード検索では漏れが大きい– Polmeth分野ではこれまで、トピックの選択などが人手で行われてきた (トピック数>1000だと破綻)
l このために、– 背景分布付き潜在トピックモデルを使う方法✓ニューラル文書ベクトルを使用する方法を提案した (詳細は論文参照)

36/42

36

テキストの統計的抽出 (2)Doc2Vecより高性能

l 線形代数で解析的に計算できるニューラル文書ベクトルから、検索語と各文書のコサイン類似度を計算
l 例: Livedoorニュースコーパスを、“恋愛 結婚”で各文書のコサイン類似度を計算
外れ値がある！

スコア

文書番号
37/42

37

テキストの統計的抽出 (4)l スコアをプロットすると、右端に外れ値が存在à対数スケールだと明らか
外れ値!
スコア

対数
スケール
スコア

38/42

38

テキストの統計的抽出 (5)正規分布

コーシー分布＝外れ値
スコア

l 外れ値を、正規-コーシー混合分布としてモデル化

à コーシー分布の確率が高いテキストが外れ値
à 検索したキーワードに関連するテキスト
l 正規-コーシー混合モデルは、EMアルゴリズムで高速に推定できる– コーシー分布は解析解がないため、BFGSで最適化– 詳細は論文を参照のこと
39/42

39

IPSJ SIG Technical Report

テキストの統計的抽出
(6)
付録 B

ニューラル文書ベクトルを用いて, Livedoor コーパスから T = {“恋愛”, “結婚”} として抽出されl この基準で抽出すると、閾値を人間が設定する必要がト. 抽出された 262 個のテキストから, ランダムに 40 個を選択して表示している. 数字は文書番号をなく、高精度に関連するテキストだけを抽出できる

文書番号
スニペット
48 既婚女性の話に恋愛を学ぶ独身女性ばかりの職場に勤務するサオリさん（28 歳
50 独身男性は独女より人妻と遊びたいってホント？「結婚をしたら独身男性から86 モテる男が選ぶ女子の条件「素敵だと思う人には、もうすでに奥さんがいる」
99 人に聞いてはいけないことお盆に帰省した沙織さん（30 歳）に「実家は楽しか116 新しい結婚の形？「事実婚」とは実際どんな制度なのか最近メディア等で「事156 恋の駆け引きができる女、できない女「追いかけられると逃げたくなり、逃げ
181 2011 年こそ結婚したい！独女・独男の婚活事情「婚活」という言葉が流行語大186 仕事、遠距離恋愛……。会えない時間で愛は育つか？俳優の向井理さんとモデル
239 アラフォーだって結婚式したい！ Presentedby ゆるっと cafe 独女の皆さま、はじ298 意外に大変?!モテる定説 マメな男 との交際事情メールや電話で連絡を怠らず
309 独女的映画レビュー vol.7『』 人を好きになる気持ち ってどんな気持ちだっけ
314 あなたはいくつまで恋ができると思いますか？今年 4 月、2 週に渡って朝日新聞
316 今さらながら、運命の出会いについて考えてみる「もしあの時……」と選ばなか395 ケンカをしても気持ちが冷めている…。「長すぎた春」の予感先日、28 歳の誕生
448 独女通信が見た「独女たちの 5 年の軌跡」Vol.5〜婚活とは、人生最大の営業活
468 恋愛感情がイマイチでも結婚はできるのか？婚活ブームの影響で、寸前と言わ596 １回限りの関係で終わってしまう女昨年から婚活に励んでいる恵美さん（36 歳
618 【オトナ女子のリアルな悩み】同時に 2 人好きになってしまいましたたとえ片想
Livedoorから抽出された262件のテキストから、ランダムに選んだもの
631 このままじゃ婚期を逃す!?趣味に走るオタク独女ここ数年「価値観が多様化し650 同世代の長谷川理恵の破局について思うこと恋アラフォー、長谷川理恵（38 歳
798 結婚は 相手 より タイミング の問題？「」 真面目で清楚なお嬢様タイプ の40
40/42
845 独女的『「ゆるオタ君」と結婚しよう』婚活に疲れ気味、あるいは「いい男がまとめl 確率的潜在意味スケーリング(PLSS):

テキストを任意の潜在的な軸で連続的に測定する– 項目反応理論をベースにした、LSSの確率拡張– LSIからPLSI (Hofmann 1999)への拡張と同じ方向l 極性辞書または少数の代表テキストから、測定軸を推定
l 公開されている尺度データでLSSより高性能、
国会議事録など、様々な生テキストで実験
l 関連して、キーワードに関係する文書を統計的に選択するための正規-コーシー混合モデルを提案

41/42

41

Future Workl 今回はユニグラムの、非常に限定された特徴しか使っていない– バイグラムなど、単語の組み合わせの利用– 品詞などの利用 (形容詞+名詞など)– 反転表現への対応 (not good など)– 有効な特徴を自動的に抜き出す方法はあるか?
l Benoit+ (2016)でのクラウドソーシングされた評価
データでの実験l Rパッケージは広い方々に使っていただけるよう、
github で公開予定です42/4242