自然言語処理・機械学習における企業との連携持橋大地
統計数理研究所 数理・推論研究系
daichi@ism.ac.jp「統計的機械学習」の中核としての統計数理
シンポジウム2023-5-25 (木)自己紹介l 持橋大地

統計数理研究所 数理・推論研究系 /総合研究大学院大学 統計科学専攻
l 1998年 東京大学教養学部基礎科学科第二卒
2005年 奈良先端科学技術大学院大学博士後期修了
2011年〜統数研
l 専門：統計的自然言語処理、ベイズ統計的機械学習

産学官における連携
l 日本学術振興会

グローバル学術情報センター(2015〜)
学術情報分析センター(2018〜)
l 分析研究員 (定員3名) の一人を継続して務めています産学官における連携 (2)l 科研費の審査では、審査点の分布を擬似的に正規分布に近づける“Tスコア”という補正方式が使われている– 物理の主任研究員が考案したもの– 各審査員の特徴などを見ていない形式的補正のため、ボーダーライン付近で多数の同点が発生– 科研費の審査員は、どうしてもこのスコアに判断がバイアスされる
0

Tスコア： y = 3 +<latexit sha1_base64="Ax8W4uVjS4muctiOgdooOVFCXLs=">AAAHi3ichZXNbtNAEMenLZBSKE3hgsQlImqLhIg2CQJUgdQCkahaVWlC2lR1FdnuOpjYiWU7aR0rL4DEmQMnkDggjlzhxIUX4NBHQByLxIUD47WjfHhaHCW7O/P7T2Z217uKZeiOy9jxxOTUufMXEtMXZy5dnr0yl5y/uu202rbKK2rLaNlVRXa4oTd5xdVdg1ctm8umYvAdpfEk8O90uO3oreZz17P4vinXm7qmq7KLplpyyVt6lL8tabas+t4dyWzXXvZ8ydHrpow9ydVN7qRY5l4tmWYZJp5UvJONOmmInmJrfmoRJDiAFqjQBhM4NMHFvgEyOPjZgywwsNC2Dz7abOzpws+hBzOobSPFkZDR2sDfOo72ImsTx0FMR6hV/BcDvzYqU7DAfrCP7IR9Z5/YT/b31Fi+iBHk4mGrhFpu1eZeXS//+a/KxNaFFwPVGQoF6bNrckGDB6IWHWuzhCWoUg3jd7pvTsrLpQV/kb1nv7C+d+yYfcMKm53f6octXnoroh+gRsO2g60KaZxhH0f9TBX0+cLai7IZ8EcEeURwHsF5BNcluC7BHRLcIcFpBKcRXIPgGgS3SnCrBLdGcGsEt05w6wRXJbgqwe0S3C7BMYJjMU6J1jfYh9S6KtG6hv74eipiF/f9nPCbuGMHhCTGccrCHPURLrRQpBMjHZIMcnOx/mG2b4vTwSz1+WHFwN4jVIZ45xW0jOuGPZSyGKu4eErFZbTWxUoO0wNrXLExktVAszGW07BqM8pfRZ+BJ8tmjCiM7SgFx4UYVSKoUox6Kk6bNOQEreH5HJx74Wr2T/wwj/BUoj25IC7eP9nx2ybe2c5lsvlMbutueuVxdBNNww24Cbcw/n1YgWc4/xXM4TV8hi/wNTGbyCeWEw9DdHIi0lyDkSdR+Adt8Y//</latexit>

y

µj
j

⇥ 0.6

が審査員 j から評点 c を得る確率は以下で与えられる。この確率を各 c についてプロットしたものが図 1 となっている。

産学官における連携 (3)l 心理統計学における項目反応理論(IRT)による
IRT において、得点の確率は審査員 j ごとに異なることに注意されたい。IRT では、観測された得点をもとに各審査員の潜在的な評価パラメータ a , b を最適化によって求めることができ
科研費審査点の補正・連続モデル化る。
– 潜在的な「良さ」✓ を連続値として推定
jjc<latexit sha1_base64="3o2Cm+aYIQ8+S8IBgMleecPUSY8=">AAAHaHichZXPTxNBFMcfoBTxB0UParwQGoinZlpNNJ5AJZFASGltKaGE7CyzZe12d7O7LbRN/wFP3ox60sSD8c/w4j/ggT9BPWLixYNvZ7fZ0nnANu3MvPf5vr43MzvDXcv0A8aOx8YnLl2eTE1dmb567fqNmfTszYrvtDxdlHXHcrwq13xhmbYoB2ZgiarrCa3JLbHFG89C/1ZbeL7p2C+Djit2m1rdNg1T1wI0VWrBgQi0vXSGZZl85tROLu5kIH4KzuzEItRgHxzQoQVNEGBDgH0LNPDxswM5YOCibRd6aPOwZ0q/gD5Mo7aFlEBCQ2sDf+s42omtNo7DmL5U6/gvFn49VM7BAvvBvrAT9p19ZT/ZvzNj9WSMMJcOtjzSCndv5vWd0t8LVU1sAzhIVOcoONLn1xSAAY9lLSbW5kpLWKUexW93356UnhQXeovsE/uN9X1kx+wbVmi3/+ifN0Xxg4y+jxoD2za2OmRwhns4GmTK0deT1n6cTcIfEeQRwXUIrkNwXYLrEtwhwR0SnEFwBsE1CK5BcMsEt0xwqwS3SnBrBLdGcFWCqxLcNsFtExwjOKZwPF7fcB9S68rjdY386npyuYsHfkH4m7hjE6ImxyrlYo7mKS6yUKSvkD5JhrkFWP8wO7CpdDhLA35Ykdj7hMqS7zxHy6hu2EMpC0rFhTMqLqG1LldymE6sqmL9VFaJZn0kp2HVRpy/jj4LT5YNhVgZ2VEcxysKVSSookI9l6dNBvKSNvB8Ds+9aDUHJ36UR3Qq0Z58GBfvn9zobaN2Kvls7kE2v/kws/Q0vomm4B7Mw32M/wiW4AXOfxlzeAVv4B28n/yVSqdup+5G6PhYrLkFp57U/H+InYO9</latexit>

審査員 A

審査員 B

✓

θ

θ
<latexit sha1_base64="3o2Cm+aYIQ8+S8IBgMleecPUSY8=">AAAHaHichZXPTxNBFMcfoBTxB0UParwQGoinZlpNNJ5AJZFASGltKaGE7CyzZe12d7O7LbRN/wFP3ox60sSD8c/w4j/ggT9BPWLixYNvZ7fZ0nnANu3MvPf5vr43MzvDXcv0A8aOx8YnLl2eTE1dmb567fqNmfTszYrvtDxdlHXHcrwq13xhmbYoB2ZgiarrCa3JLbHFG89C/1ZbeL7p2C+Djit2m1rdNg1T1wI0VWrBgQi0vXSGZZl85tROLu5kIH4KzuzEItRgHxzQoQVNEGBDgH0LNPDxswM5YOCibRd6aPOwZ0q/gD5Mo7aFlEBCQ2sDf+s42omtNo7DmL5U6/gvFn49VM7BAvvBvrAT9p19ZT/ZvzNj9WSMMJcOtjzSCndv5vWd0t8LVU1sAzhIVOcoONLn1xSAAY9lLSbW5kpLWKUexW93356UnhQXeovsE/uN9X1kx+wbVmi3/+ifN0Xxg4y+jxoD2za2OmRwhns4GmTK0deT1n6cTcIfEeQRwXUIrkNwXYLrEtwhwR0SnEFwBsE1CK5BcMsEt0xwqwS3SnBrBLdGcFWCqxLcNsFtExwjOKZwPF7fcB9S68rjdY386npyuYsHfkH4m7hjE6ImxyrlYo7mKS6yUKSvkD5JhrkFWP8wO7CpdDhLA35Ykdj7hMqS7zxHy6hu2EMpC0rFhTMqLqG1LldymE6sqmL9VFaJZn0kp2HVRpy/jj4LT5YNhVgZ2VEcxysKVSSookI9l6dNBvKSNvB8Ds+9aDUHJ36UR3Qq0Z58GBfvn9zobaN2Kvls7kE2v/kws/Q0vomm4B7Mw32M/wiW4AXOfxlzeAVv4B28n/yVSqdup+5G6PhYrLkFp57U/H+InYO9</latexit>✓<latexit sha1_base64="3o2Cm+aYIQ8+S8IBgMleecPUSY8=">AAAHaHichZXPTxNBFMcfoBTxB0UParwQGoinZlpNNJ5AJZFASGltKaGE7CyzZe12d7O7LbRN/wFP3ox60sSD8c/w4j/ggT9BPWLixYNvZ7fZ0nnANu3MvPf5vr43MzvDXcv0A8aOx8YnLl2eTE1dmb567fqNmfTszYrvtDxdlHXHcrwq13xhmbYoB2ZgiarrCa3JLbHFG89C/1ZbeL7p2C+Djit2m1rdNg1T1wI0VWrBgQi0vXSGZZl85tROLu5kIH4KzuzEItRgHxzQoQVNEGBDgH0LNPDxswM5YOCibRd6aPOwZ0q/gD5Mo7aFlEBCQ2sDf+s42omtNo7DmL5U6/gvFn49VM7BAvvBvrAT9p19ZT/ZvzNj9WSMMJcOtjzSCndv5vWd0t8LVU1sAzhIVOcoONLn1xSAAY9lLSbW5kpLWKUexW93356UnhQXeovsE/uN9X1kx+wbVmi3/+ifN0Xxg4y+jxoD2za2OmRwhns4GmTK0deT1n6cTcIfEeQRwXUIrkNwXYLrEtwhwR0SnEFwBsE1CK5BcMsEt0xwqwS3SnBrBLdGcFWCqxLcNsFtExwjOKZwPF7fcB9S68rjdY386npyuYsHfkH4m7hjE6ImxyrlYo7mKS6yUKSvkD5JhrkFWP8wO7CpdDhLA35Ykdj7hMqS7zxHy6hu2EMpC0rFhTMqLqG1LldymE6sqmL9VFaJZn0kp2HVRpy/jj4LT5YNhVgZ2VEcxysKVSSookI9l6dNBvKSNvB8Ds+9aDUHJ36UR3Qq0Z58GBfvn9zobaN2Kvls7kE2v/kws/Q0vomm4B7Mw32M/wiW4AXOfxlzeAVv4B28n/yVSqdup+5G6PhYrLkFp57U/H+InYO9</latexit>

図 1. IRT による科研費申請に対するスコアの応答曲線の例。審査員によって各曲線の形状が異なり、そのパラメータはデータから統計的に学習される。
これに対して、現在使われている T スコアの変換式は以下のものである。

産学官における連携 (4)l θを多次元にà多様な審査の観点を統計モデル化– 各審査員は、潜在空間でその人の「審査軸」のベクトルを持っている– 多次元項目反応理論により、MCMCで計算可能
2

Reviewer 5
Reviewer 3
Reviewer
Reviewer41

0

Reviewer 2

科研費
申請書 -1-2-2

ある物理分野での審査点から導出した
潜在評価点と審査員の評価軸

Reviewer 6

1

-1

0

1

2

-2

-1

0

1

2

産学官における連携 (5)l 潜在意味解析およびニューラル文書ベクトルによる、各申請書の審査員候補の推薦 (中身はSVD+線形回帰)

企業との主な共同研究
l NTTコミュニケーション科学基礎研究所 (2011〜)
l デンソーITラボラトリ (2014〜)
l 博報堂 研究開発局 (2015〜)
l AGC(旭硝子) (2018〜) à統計科学専攻入学
l D2C (2018〜) (ドコモ&電通)
l ブリヂストン (2019〜) à統計科学専攻入学
l コーセー (2021〜) à統計科学専攻入学
l 三井住友海上火災 (2022〜)
l KDDI総合研究所 (2023〜)
l 横河電機 (2023〜)

デンソーITラボラトリとの共同研究
l (株)デンソーの持つ独立研究所、渋谷l 共同研究のきっかけ:
ITLabの内海さんが、半教師あり形態素解析
についてうまくいかない
点があり、共同研究を依頼された
l 自動車の車内でのコミュニケーションのための基礎研究デンソーITラボラトリ (2)l 当初持ち込まれたSHD-CRFによる半教師あり学習は、非常に局所解に陥りやすいことを指摘↓
局所解に陥らないベイズ学習に移行
l 任意の言語の文字列から、単語とその品詞をすべて
教師なし学習する PYHSMM (Pitman-Yor Hidden
Semi-Markov Model) を提案
l 自然言語処理のトップ国際会議 ACL 2015 に本会議論文として採択

“非教科書的”な言語の解析
今个学期第一次来图书馆呀〜嘻嘻〜感觉好好呀〜稳紧写论文既资料呀〜收获唔多，睇来要上网“刮”料拉活动精彩照片集锦8-行进途中，璀璨夜色到底这次是不是真的要走啦！！！tnnd敢不敢不要再变来变
去了[愤怒]
我一直很开心的，，不是吗？？杭州的几个，我很想你们，，
空了就来。。一定的，。。你们懂！！！玲姐，，生意兴
旺！！你们等着我！！！！继续我的骄傲，不可一世！！！！！
#小月月~月月~蓉荣#真月月，假月月，真假月月谁记得。
浮云，一切都是浮云！
l 中国語のWeibo(SNS)の文の例

教師なし形態素解析 (持橋2009)
first,shedreamedoflittlealiceherself,andonceagainthetinyhandswereclaspedupo
nherknee,andthebrighteagereyeswerelookingupintohersshecouldheartheverytonesofhervoice,andseethatqueerlittletossofherheadtokeepbackthewanderinghai
rthatwouldalwaysgetintohereyesandstillasshelistened,orseemedtolisten,thewho
leplacearoundherbecamealivethestrangecreaturesofherlittlesister'sdream.thelo
Nggrassrustledatherfeetasthewhiterabbithurriedbythefrightenedmousesplashed
Hiswaythroughtheneighbouringpoolshecouldheartherattleoftheteacupsasthemar
chhareandhisfriendssharedtheirneverendingmeal,andtheshrillvoiceofthequeen…
first, she dream ed of little alice herself ,and once again the tiny hand s wereclasped upon her knee ,and the bright eager eyes were looking up into hers -shecould hearthe very tone s of her voice , and see that queer little toss ofherhead to keep back the wandering hair that would always get into hereyes -and still as she listened , or seemed to listen , thewhole place a round her
became alive the strange creatures of her little sister 'sdream. thelong grassrustled ather feet as thewhitera bbit hurried by -- the frightened mouse splashed
his way through the neighbour ing pool -- shecould hearthe rattle ofthe tea cups
as the marchhare and his friends shared their never -endingme a l ,and the …

隠れた「品詞」との同時学習 (ACL 2015)l 単語だけでなく、その“品詞”も知りたい→同時学習– MCMCの前向き確率は(k:単語長, z:品詞)– Amazon EC2と並列化を使った膨大な計算量
デンソーITラボラトリとの共同研究

日本語方言の教師なし解析例
l 三河弁のTwitterアカウントから教師なし学習– 方言特有の語尾、顔文字、局所的な地名などがそれぞれ別の「品詞」に自動的に学習されている

(株) D2Cとの共同研究
l NTTドコモと電通の合同のマーケティング企業
l 共同研究のきっかけ：
先方からの依頼(理研/東大の杉山教授と私の2名)
l 先方の目的：
長期的な視点で、自然言語処理に関する基礎体力を高めたい
l 「メール型広告におけるタイトルが開封に与える影響」, 情報処理学会SIG-IFAT研究会, 2022.

(株) D2C メッセージS
(2)
u背景:
l ka
• ドコモのメッセージSにおける開封4(株) D2C (3)l ドコモの“メッセージS”は、登録者3300万人
l クリック以前に、そもそもメールを開封してもらう

必要l 特徴量: タイトル文字列のみ
l ユーザーによって、どんなタイトルのメッセージを開封するかが異なる

開封予測

droid vs iOS)

開封率

報

⾼

合Androidユーザの⽅がザより開封率が⾼いでわずかに差がある

平均開封率

低
年齢

(株) D2C (4)メッセージSの例

l 研究その1:

タイトル文字列を統計的にフレーズ化
à L1ロジスティック回帰で開封予測
l 研究その2:
各フレーズについて、開封したユーザの特徴との正規化自己相互情報量 (Normalized PMI) を計算

(株) D2C (5)u結果• 相互情報量を使ったタイトルの評価- 学習データのうち開封がされたログについて、
フレーズと特徴(年代×性別)のNPMI(p,f)を計算

19

(株) D2C (6)l Normalized PMI (正規化自己相互情報量)p(f |p)
NPMI(p, f ) = log
p(f )( log p(p, f ))<latexit sha1_base64="2nrmEN8KWVPpE0pF/1H5unnRemM=">AAAHq3ichZXNbtNAEMenLZBSPprCBYmLRdQqkWjYBCQQElILVFC1RGlC25S6imx3nVpxYst20qYmL8ALcOAEEgeEeAou3BGHSvAAiGORuHBgvHaUD0+Lo2R3Z37/yczuele1TcP1GDsaG584c/ZcYvL81IWLly5PJ2eubLhWy9H4umaZllNRFZebRpOve4Zn8ortcKWhmnxTrT8K/Jtt7riG1XzudWy+01BqTUM3NMVDUzX5xJedhlQoPlvupu2bekZ6IMkm172sbFo1SdYdRfPttP7SznSDNtOVZMeo7Xm3ptLzArGFLFNNpliWiUeKd3JRJwXRU7RmJuZAhl2wQIMWNIBDEzzsm6CAi59tyAEDG2074KPNwZ4h/By6MIXaFlIcCQWtdfyt4Wg7sjZxHMR0hVrDfzHx66BSgln2jX1gx+wL+8h+sr8nxvJFjCCXDrZqqOV2dfrVtfKf/6oa2Hqw11edolCRPr0mD3S4J2oxsDZbWIIqtTB++/D1cfl+adafY+/YL6zvLTtin7HCZvu39n6Nl96I6Luo0bFtY6tBCmfYx1EvUxV9vrB2o2z6/AFBHhBch+A6BHdIcIcEt09w+wSnE5xOcHWCqxPcIsEtEtwywS0T3ArBrRBcheAqBLdFcFsExwiOxTg1Wt9gH1LrqkbrGvrj66mKXdzzc8LfwB3bJ2QxjlM25mgMcaGFIt0Y6ZJkkJuH9Q+yPVucDmapxw8q+vYuoTLFO6+iZVQ36KGUxVjFxRMqLqO1JlZykO5b44rVoaz6mtWRnAZVhSh/DX0mniyFGLE0sqNUHC/FqBJBlWLUY3HapCAvaB3P5+DcC1ezd+KHeYSnEu3JB3Hx/smN3jbxzkY+m7udza/dSS08jG6iSbgONyCN8e/CAjzF+V/HHD7BV/gOPxLziXLiRUIO0fGxSHMVhp4E/wcgLJpF</latexit><latexit sha1_base64="29+WpGLWt09dYYNSyfO+gS+bPIg=">AAAHg3ichZXLbtNAFIZPW0pKuDSFDRILIqJWRUA0DpVASEgtUImoJUoT2qZqqsh2x8GKb9hO2iTKkg0vwIIVSCxQt/AEbHgBFn0ExLJIbFhwPHaUi0+Lo2Rm/vP9k3M847HiGLrnM3Y8MTl1bvp8YuZC8uKly1dmU3NXtzy76ap8U7UN260osscN3eKbvu4bvOK4XDYVg28rjadBfLvFXU+3rZd+2+F7ply3dE1XZR+lWurmPSldNfjrdLfqmulC8UW+t+jc1W6HopSspTIsy8SVjnekqJOB6Crac1MLUIV9sEGFJpjAwQIf+wbI4OFnFyRg4KC2B13UXOzpIs6hB0n0NpHiSMioNvC3jqPdSLVwHMzpCbeK/2Lg10VnGubZD/aZnbDv7Ij9ZH9Pnasr5ghyaWOrhF7u1GbfXi//+a/LxNaHVwPXGQ4F6bNr8kGDh6IWHWtzhBJUqYbztzrvTsqPSvPdBfaR/cL6PrBj9g0rtFq/1U8bvPRezL6PHg3bFrYqZPAOd3HUz1TBWFeovSibAX9IkIcE1ya4NsF1CK5DcAcEd0BwGsFpBNcguAbBrRDcCsHlCS5PcGsEt0ZwFYKrENwOwe0QHCM4FuOUaH2DfUitqxKtaxiPr6cidnE/zom4iTt2QFTFOE45mKM+woUKRXox0iPJIDcf6x9m+1qcDu5Snx92DPQe4TLEM6+gMu4bjlDOYqzi4ikVl1Gti5Ucpgdq3LE+ktXAsz6W07CrEOWvYszAk6UQI1bHdpSC49UYVSKoUox6Jk6bDOQEreH5HJx74Wr2T/wwj/BUoiO5YF58/0jjb5t4ZyuXle5ncxtLmeUn0ZtoBm7ALVjE+R/AMjzH+7+JObyBI/gCXxPTiTuJXGIpRCcnIs81GLkSj/8BW6+Kpg==</latexit>

1  NPMI(p, f )  1– p(f|p) : フレーズpを含むタイトルを開封した中で特徴fを持つユーザーの割合– p(f) : ユーザーが特徴fを持つ事前確率– p(p,f) : 特徴fのユーザーがタイトルにフレーズpを含むメッセージを開封した確率

u結果• 男性に効果的なフレーズ例- “転職”• 若年層のほうが⾼齢世代より転職活動に積極的という解釈に⼀致- “売却”• 不動産や⾞の売却で使⽤されるフレーズで⾼齢男性が資産が成熟して管理する⽴場にあることを⽰唆- フレーズと特徴の共起度から直感と⽭盾のない知⾒が得られている20

u結果• 男性に効果的なフレーズ例- “転職”• 若年層のほうが⾼齢世代より転職活動に積極的という解釈に⼀致- “売却”• 不動産や⾞の売却で使⽤されるフレーズで⾼齢男性が資産が成熟して管理する⽴場にあることを⽰唆- フレーズと特徴の共起度から直感と⽭盾のない知⾒が得られている

20

u結果

•
•
•
•
•

男性にやや肯定的、⼥性に否定的
男性にやや否定的、⼥性にやや肯定的
男性に否定的、⼥性にやや肯定的
開封への影響は弱い
若い世代に肯定的、⾼齢層に否定的

22

u付録
おまけ (1/3)

24

(株)D2Cとの共同研究
l 数千万人のユーザーを抱えるNTTドコモでしかできない、実際のユーザーの嗜好をとらえる研究– 大学では、こうした現実のデータは入手不能
l 正規化自己相互情報量を計算することで、どんな言葉がどんなユーザーの開封に繋がるのかを統計的に分析できた
l あまり教科書には書かれていないため、専門家の一部しか使えない手法 à教科書執筆中

(株)ブリヂストンとの共同研究
l 共同研究のきっかけ:

URAを介した依頼– 統数研とは、以前より
別内容で共同研究を行っていた
l 営業等から多数上がる
社内文書の資源化
à 文書の統計的可視化についての研究
l ECML-PKDD 2022に採択
l 統計科学専攻に入学 (主指導: 藤澤教授)

NPDV
l NPDV: Nonparametric Bayesian Deep Visualization

NPDV

t-SNE (2008)

PaCMAP (2021)– 各点は一つの文書– 潜在空間で無限ガウス混合モデルでクラスタリング
も同時に行うNonparametric Bayeisna Deep Visualization: Overview• Integrate NN-iWMM and a visualization method into a Bayesian model- Infer X so as to be optimal to estimate V

8/30

Security Classification

Neural Network = Gaussian process (Neal 1994)• >$"7/&'6$88&"'/)?&.'@@'A$%6'$"0*%+'/)?&.'• $9%6 3*%0*%'B!C-D$+'A.$%%&"')+=zi1 (x) = b1i +N1
X

Wij1 x1j (x), x1j (x) =

b0j +

j=1

<latexit sha1_base64="LMYTwKSxLTup9cVMeObg85dJ7Rc=">AAAIIXichZXNbtNAEMcnlJISoB9wQeJiERW1AlWbgARCqtQClVq1qtqUtqma1orNpnFix5btpEks9wF4AQ6cAHFAPAYXuCEkDhUHzohjkbhwYLx2yIenxVbi3Znffzyzu95VLF1zXMaOE+eGzg9fSI5cTF26fGV0bHzi6pZj1m2Vb6qmbtp5pehwXavxTVdzdZ63bF40FJ1vK9XHgX+7wW1HM2tP3ZbF94ziQU0raWrRRZM83mrvZ2RtqjktzUpK0JRuSwWnbsheZTbj73urcsaXttHhaRW/ic8Ksneko6NUp4PCglXWpILOS+5UStlncuVfkGoQZBkDMAxY9aWmXE0VbO2g7E7L42k2w8QlxRuZqJGG6FozJ4YWoQDPwAQV6mAAhxq42NahCA7eu5ABBhba9sBDm40tTfg5+JBCbR0pjkQRrVX8P8DebmStYT+I6Qi1im/R8WejUoJJ9pW9YyfsI3vPfrA/p8byRIwglxY+lVDLLXns+fWN3/9VGfh0odxVnaFQkD67JhdK8EDUomFtlrAEVaph/Eb7xcnGw9ykd4u9Zj+xvlfsmH3ACmuNX+rbdZ57idEnxXhzjFSABj5VSOMYe9jr5KqgzxNWP8qny/crTNG38dYwxzKqi6JnwuGpEZrEu5oE1yK4FsG1Ca5NcIcEd0hwJYIrEVyV4KoEN09w8wS3RHBLBLdMcMsElye4PMHtENwOwTGCYzFOieY3WMvUvCrRvIb++Hwq4kvo+DnhN3DVd4mC6McpC3PU+rjQQpFOjHRIMsgtWOG9bMcWp4NR6vC9iq7dJ1S62DcUtAzqej2Uci1W8dopFW+Ir9UYqKRrjStW+rLqalYGcupVrUb5q+jTcXdajRELAytKwf5CjMoRVC5GPRG7TRqygi7hHhTsneFsdk6NMI9wV6I92SAunmGZwRMr3tjKzmTuzmTX76XnHkWn2QjcgJswhfHvwxws4vhvYg7fE8OJ0cRY8k3yU/Jz8kuInktEmmvQdyW//QWPvLeb</latexit><latexit sha1_base64="G6XmFjgUM/Lat9F/OGdVLLxN0U0=">AAAHqXichZXNbtNAEMenLeBSPtrCBYlLRRSEhBRtAhKIUwtUatUqygdpU5oq8ppNasVfsp2kSZQXQOJKD5xA4oB4DC68AIc+AuJYJC4cGK8dOYknxVbi3Znffzyzu97ljqF7PmNnc/MLly5fURavLl27fuPm8srqrT3PbruaqGi2YbtVrnrC0C1R8XXfEFXHFarJDbHPWy8C/35HuJ5uW6/8niOOTLVp6Q1dU300lfP1XH0lxTJMXmvJRjZqpCC6CvbqwhbU4A3YoEEbTBBggY9tA1Tw8D6ELDBw0HYEA7S52NKlX8AQllDbRkogoaK1hf9N7B1GVgv7QUxPqjV8i4E/F5VrkGY/2Bd2zr6zr+wn+zsz1kDGCHLp4ZOHWuHUl9/eKf/5r8rEpw/HseoCBUf64pp8aMBTWYuOtTnSElSphfE7/dPz8rNSenCffWK/sL6P7Ix9wwqtzm/tc1GUPmD0tBxvgZFq0MGnBikc4wH2Rrly9A2kdRjlE/OTClv2Xbx1zPEY1ars2dCdGeGEeNcJwfUIrkdwfYLrE1yX4LoE1yC4BsG1CK5FcBsEt0Fw2wS3TXA7BLdDcFWCqxLcAcEdEBwjOJbgeDS/wVqm5pVH8xr6k/PJ5Zcw8gvCb+Kqj4ma7CcpB3PUJ7jQQpFegvRIMsgtWOHj7MiWpINRGvHjitg+JFSG3Dc4WqZ14x5KWUhUXJhRcVl+reZUJbE1qdidyCrW7E7lNK7KR/lr6DNwd8oniM2pFcWxv5mgSgRVSlAv5W6TgpykG7gHBXtnOJujUyPMI9yVaE8uiItnWHb6xEo29nKZ7KNMrvg4tf48Os0W4S7cgwcY/wmswxaOfwVzaMI7eA+nykOlqFSV1yE6PxdpbsPEpWj/ABnBj0Y=</latexit><latexit sha1_base64="R8ZqzoF4SDVnDSmgi4CIMGySDBw=">AAAHuHichZXNbtNAEMenLeBSPprCBYlLIAriVG0CEqinFqjUqlWVJqRN1ZTgNevUimNbtpM0ifICvAAHuIBUJMRjcOEFOPQREMciceHAeO3ISTwpthLvzvz+45nd9S53TMPzGTubmZ27dPmKMn914dr1GzcXU0u39jy75WqirNmm7Va46gnTsETZN3xTVBxXqE1uin3eeB7499vC9Qzbeul3HXHUVOuWoRua6qOplkpVTaH7quvaneq9NH+Vq6UybJnJK51s5KJGBqKrYC/NbUAV3oANGrSgCQIs8LFtggoe3oeQAwYO2o6gjzYXW4b0CxjAAmpbSAkkVLQ28L+OvcPIamE/iOlJtYZvMfHnojINWfaDfWHn7Dv7yn6yv1Nj9WWMIJcuPnmoFU5t8e2d0p//qpr49OE4Vl2g4EhfXJMPOjyVtRhYmyMtQZVaGL/de3deWilm+w/YJ/YL6/vIztg3rNBq/9ZOd0XxPUbPyvEWGKkKbXxqkMEx7mNvmCtHX19aB1E+MT+usGXfxdvAHI9RrcqeDZ2pEU6Id50QXJfgugTXI7gewXUIrkNwOsHpBNcguAbBrRHcGsFtEtwmwW0R3BbBVQiuQnAHBHdAcIzgWILj0fwGa5maVx7Na+hPzieXX8LQLwh/E1d9TFRlP0k5mKMxxoUWivQSpEeSQW7BCh9lh7YkHYzSkB9VxPYBoTLlvsHRMqkb9VDKQqLiwpSKS/JrbU5UEluTiu2xrGLN9kROo6qdKH8NfSbuTjsJYn1iRXHsryeoIkEVE9QLudtkIC9pHfegYO8MZ3N4aoR5hLsS7ckHcfEMy02eWMnGXn4592g5v/s4s/osOs3m4S7ch4cY/wmswgaOfxlzaMMHOIXPyoryWqkrRojOzkSa2zB2Ke4/DTCU2g==</latexit><latexit sha1_base64="BMNGLV1GIjQKiMie4pR3ONbwDZc=">AAAHqXichZVLb9NAEMenLeBSHm3hgsSlIgpCQoo2AQnEqQUqtWpV5UHalL7kNZvUil+ynaRJlC+AxJUeOIHEAfExuPAFOPQjII5F4sKB8dpRHjspthLvzvz+45nd9S73LDMIGTubmp65dPmKNnt17tr1GzfnFxZvbQduwzdE2XAt169wPRCW6YhyaIaWqHi+0G1uiR1efxH5d5rCD0zXeRW2PXFg6zXHrJqGHqKp1DnMHi2kWIbJa0ltZJNGCpIr7y7OrME+vAEXDGiADQIcCLFtgQ4B3nuQBQYe2g6gizYfW6b0C+jBHGobSAkkdLTW8b+Gvb3E6mA/ihlItYFvsfDno3IJ0uwH+8LO2Xf2lf1kfyfG6soYUS5tfPJYK7yj+bd3Sn/+q7LxGcLxQHWBgiN9cU0hVOGprMXE2jxpiao04vjNzul56Vkx3b3PPrFfWN9Hdsa+YYVO87fxuSCKHzB6Wo63wEj70MSnASkc4y72+rly9HWltZfkM+BHFa7s+3ibmOMxqnXZc6E1McIJ8a4TgmsTXJvgOgTXIbgWwbUIrkpwVYKrE1yd4FYIboXg1gluneA2CG6D4CoEVyG4XYLbJThGcEzheDK/0Vqm5pUn8xr71fnk8kvo+wXht3HVD4h92VcpD3M0R7jYQpGBQgYkGeUWrfBhtm9T6WiU+vywYmDvESpL7hscLeO6YQ+lzCsV5ydUXJJfqz1WycCqKjZHshpoNsdyGlZtJfkb6LNwd9pSiNWxFcWxv6pQRYIqKtRLudukICfpKu5B0d4Zz2b/1IjziHcl2pOL4uIZlh0/sdTGdi6TfZTJFR6nlp8np9ks3IV78ADjP4FlWMPxL2MONXgH7+FUe6gVtIr2OkanpxLNbRi5NOMfSyWPcA==</latexit>

W

b1

1

<latexit sha1_base64="QXvz4mzIdmqYGLWxMRKRtVXlQuE=">AAAHsnichZXNbtNAEMenLeBSPtrCBYlLRRTEKdqklUCcWqBSq1ZVmpImpSmV16wbK/6S7SRNorwADwAHDnxIHBCPwYUX4NBHQByLxIUD47UjJ/Gk2Eq8O/P7j2d217vcNQ0/YOxsanrm0uUryuzVuWvXb9ycX1i8te87TU8TZc0xHa/KVV+Yhi3KgRGYoup6QrW4KSq88TT0V1rC8w3Hfh50XHFkqSe2oRuaGqCpVrPUoM71XqX/Mn+8kGE5Jq+ldCMfNzIQX0VncWYDavAKHNCgCRYIsCHAtgkq+HgfQh4YuGg7gh7aPGwZ0i+gD3OobSIlkFDR2sD/E+wdxlYb+2FMX6o1fIuJPw+VS5BlP9gXds6+s6/sJ/s7MVZPxghz6eCTR1rhHs+/vrP3578qC58B1BPVBQqO9MU1BaDDI1mLgbW50hJWqUXxW92353uPS9neffaJ/cL6PrIz9g0rtFu/tc+7ovQOo2fleAuMVIMWPjXI4Bj3sDfIlaOvJ639OJ+EH1U4su/hbWCOdVSrsudAe2KEU+JdpwTXIbgOwXUJrktwbYJrE5xOcDrBNQiuQXBrBLdGcJsEt0lwWwS3RXBVgqsS3AHBHRAcIziW4ng8v+FapuaVx/Ma+dPzyeWXMPALwm/hqk+ImuynKRdzNEa4yEKRfor0STLMLVzhw+zAlqbDURrww4rE3idUptw3OFrGdcMeSllMVVycUPGe/FqtsUoSa1qxPZJVotkey2lYtRPnr6HPxN1pJ0Wsj60ojv31FFUiqFKKeiZ3mwwUJK3jHhTundFsDk6NKI9oV6I9hTAunmH58RMr3dgv5PLLucLuSmb1SXyazcJduAcPMP5DWIUNHP8y5uDCG3gPH5QV5YWiKlqETk/FmtswcinmP07xk20=</latexit>

N1x<latexit sha1_base64="EvynLVwq2k3n8W/w6hPV9wqJLEA=">AAAHqXichZXNbtNAEMenLeBSPtrCBYlLRRSEhBRtAhKIUwtUatUqygdpU5oq8ppNasVfsp2kSZQXQOJKD5xA4oB4DC68AIc+AuJYJC4cGK8dOYknxVbi3Znffzyzu97ljqF7PmNnc/MLly5fURavLl27fuPm8srqrT3PbruaqGi2YbtVrnrC0C1R8XXfEFXHFarJDbHPWy8C/35HuJ5uW6/8niOOTLVp6Q1dU300lfP1bH0lxTJMXmvJRjZqpCC6CvbqwhbU4A3YoEEbTBBggY9tA1Tw8D6ELDBw0HYEA7S52NKlX8AQllDbRkogoaK1hf9N7B1GVgv7QUxPqjV8i4E/F5VrkGY/2Bd2zr6zr+wn+zsz1kDGCHLp4ZOHWuHUl9/eKf/5r8rEpw/HseoCBUf64pp8aMBTWYuOtTnSElSphfE7/dPz8rNSenCffWK/sL6P7Ix9wwqtzm/tc1GUPmD0tBxvgZFq0MGnBikc4wH2Rrly9A2kdRjlE/OTClv2Xbx1zPEY1ars2dCdGeGEeNcJwfUIrkdwfYLrE1yX4LoE1yC4BsG1CK5FcBsEt0Fw2wS3TXA7BLdDcFWCqxLcAcEdEBwjOJbgeDS/wVqm5pVH8xr6k/PJ5Zcw8gvCb+Kqj4ma7CcpB3PUJ7jQQpFegvRIMsgtWOHj7MiWpINRGvHjitg+JFSG3Dc4WqZ14x5KWUhUXJhRcVl+reZUJbE1qdidyCrW7E7lNK7KR/lr6DNwd8oniM2pFcWxv5mgSgRVSlAv5W6TgpykG7gHBXtnOJujUyPMI9yVaE8uiItnWHb6xEo29nKZ7KNMrvg4tf48Os0W4S7cgwcY/wmswxaOfwVzaMI7eA+nykOlqFSV1yE6PxdpbsPEpWj/ABJ+j0U=</latexit>

1<latexit sha1_base64="Gbam75vABvGioZzco2NfSg9FmmE=">AAAHqXichZVLb9NAEMenLeBSHm3hgsSlIgpCQoo2AQnEqQUqtWpV5UHalKatvGaTWvFLtvNWvgASV3rgBBIHxMfgwhfg0I+AOBaJCwfGa0dO4kmxlXh35vcfz+yud7lj6J7P2NnM7Nyly1eU+asL167fuLm4tHxr17ObribKmm3YboWrnjB0S5R93TdExXGFanJD7PHGi8C/1xKup9vWK7/riENTrVt6TddUH02lzlH2eCnFMkxeK8lGNmqkILry9vLcBlThDdigQRNMEGCBj20DVPDwPoAsMHDQdgh9tLnY0qVfwAAWUNtESiChorWB/3XsHURWC/tBTE+qNXyLgT8XlSuQZj/YF3bOvrOv7Cf7OzVWX8YIcunik4da4Rwvvr1T+vNflYlPH05i1QUKjvTFNflQg6eyFh1rc6QlqFIL47d6p+elZ8V0/z77xH5hfR/ZGfuGFVqt39rngih+wOhpOd4CI1WhhU8NUjjGfewNc+Xo60vrIMon5scVtuy7eOuY4wmqVdmzoT01Qod4V4fgugTXJbgewfUIrk1wbYKrEVyN4BoE1yC4NYJbI7hNgtskuC2C2yK4CsFVCG6f4PYJjhEcS3A8mt9gLVPzyqN5Df3J+eTySxj6BeE3cdXHRFX2k5SDOepjXGihSC9BeiQZ5Bas8FF2aEvSwSgN+VFFbB8QKkPuGxwtk7pRD6XMJyrOT6m4JL9Wc6KS2JpUbI9lFWu2J3IaVe1E+WvoM3B32kkQ6xMrimN/PUEVCaqYoF7K3SYFOUnXcA8K9s5wNoenRphHuCvRnlwQF8+w7OSJlWzs5jLZR5lc4XFq9Xl0ms3DXbgHDzD+E1iFDRz/MuZQh3fwHk6Vh0pBqSivQ3R2JtLchrFL0f4BPJuPbg==</latexit><latexit sha1_base64="pnBwoIFlxOZzvBwgvbEjhepf8Hc=">AAAHuHichZXNbtNAEMenLeBSPprCBYlLIAriVG0CEqinFqjUqlWVJqRN1ZTgNevUimNbtpM0ifICvAAHuIBUJMRjcOEFOPQREMciceHAeO3ISTwpthLvzvz+45nd9S53TMPzGTubmZ27dPmKMn914dr1GzcXU0u39jy75WqirNmm7Va46gnTsETZN3xTVBxXqE1uin3eeB7499vC9Qzbeul3HXHUVOuWoRua6qOplkpVTaH7quvaneq9NH/FaqkMW2bySicbuaiRgegq2EtzG1CFN2CDBi1oggALfGyboIKH9yHkgIGDtiPoo83FliH9AgawgNoWUgIJFa0N/K9j7zCyWtgPYnpSreFbTPy5qExDlv1gX9g5+86+sp/s79RYfRkjyKWLTx5qhVNbfHun9Oe/qiY+fTiOVRcoONIX1+SDDk9lLQbW5khLUKUWxm/33p2XVorZ/gP2if3C+j6yM/YNK7Tav7XTXVF8j9GzcrwFRqpCG58aZHCM+9gb5srR15fWQZRPzI8rbNl38TYwx2NUq7JnQ2dqhBPiXScE1yW4LsH1CK5HcB2C6xCcTnA6wTUIrkFwawS3RnCbBLdJcFsEt0VwFYKrENwBwR0QHCM4luB4NL/BWqbmlUfzGvqT88nllzD0C8LfxFUfE1XZT1IO5miMcaGFIr0E6ZFkkFuwwkfZoS1JB6M05EcVsX1AqEy5b3C0TOpGPZSykKi4MKXikvxamxOVxNakYnssq1izPZHTqGonyl9Dn4m7006CWJ9YURz76wmqSFDFBPVC7jYZyEtaxz0o2DvD2RyeGmEe4a5Ee/JBXDzDcpMnVrKxl1/OPVrO7z7OrD6LTrN5uAv34SHGfwKrsIHjX8Yc2vABTuGzsqK8VuqKEaKzM5HmNoxdivsPBe2U2Q==</latexit>b0<latexit sha1_base64="nnbc5hsCBtXrsdTmvR4Ug0hlEGg=">AAAHsnichZXNbtNAEMenLeBSPtrCBYlLRRTEKdqklUCcWqBSq1ZVmpImpSmV16wbK/6S7SRNorwADwAHDnxIHBCPwYUX4NBHQByLxIUD47UjJ/Gk2Eq8O/P7j2d217vcNQ0/YOxsanrm0uUryuzVuWvXb9ycX1i8te87TU8TZc0xHa/KVV+Yhi3KgRGYoup6QrW4KSq88TT0V1rC8w3Hfh50XHFkqSe2oRuaGqCpVrPUoM71XqX/kh0vZFiOyWsp3cjHjQzEV9FZnNmAGrwCBzRoggUCbAiwbYIKPt6HkAcGLtqOoIc2D1uG9Avowxxqm0gJJFS0NvD/BHuHsdXGfhjTl2oN32Liz0PlEmTZD/aFnbPv7Cv7yf5OjNWTMcJcOvjkkVa4x/Ov7+z9+a/KwmcA9UR1gYIjfXFNAejwSNZiYG2utIRValH8Vvft+d7jUrZ3n31iv7C+j+yMfcMK7dZv7fOuKL3D6Fk53gIj1aCFTw0yOMY97A1y5ejrSWs/zifhRxWO7Ht4G5hjHdWq7DnQnhjhlHjXKcF1CK5DcF2C6xJcm+DaBKcTnE5wDYJrENwawa0R3CbBbRLcFsFtEVyV4KoEd0BwBwTHCI6lOB7Pb7iWqXnl8bxG/vR8cvklDPyC8Fu46hOiJvtpysUcjREuslCknyJ9kgxzC1f4MDuwpelwlAb8sCKx9wmVKfcNjpZx3bCHUhZTFRcnVLwnv1ZrrJLEmlZsj2SVaLbHchpW7cT5a+gzcXfaSRHrYyuKY389RZUIqpSinsndJgMFSeu4B4V7ZzSbg1MjyiPalWhPIYyLZ1h+/MRKN/YLufxyrrC7kll9Ep9ms3AX7sEDjP8QVmEDx7+MObjwBt7DB2VFeaGoihah01Ox5jaMXIr5D0euk2w=</latexit><latexit sha1_base64="be+5Foc0l/Cr4ohUtAHWc5/6x0A=">AAAHqXichZXNbtNAEMenLeBSPtrCBYlLRRSEhBRtAhKIUwtUatUqygdpU5oq8ppNasVfsp2kSZQXQOJKD5xA4oB4DC68AIc+AuJYJC4cGK8dOYknxVbi3Znffzyzu97ljqF7PmNnc/MLly5fURavLl27fuPm8srqrT3PbruaqGi2YbtVrnrC0C1R8XXfEFXHFarJDbHPWy8C/35HuJ5uW6/8niOOTLVp6Q1dU300lfN1Vl9JsQyT11qykY0aKYiugr26sAU1eAM2aNAGEwRY4GPbABU8vA8hCwwctB3BAG0utnTpFzCEJdS2kRJIqGht4X8Te4eR1cJ+ENOTag3fYuDPReUapNkP9oWds+/sK/vJ/s6MNZAxglx6+OShVjj15bd3yn/+qzLx6cNxrLpAwZG+uCYfGvBU1qJjbY60BFVqYfxO//S8/KyUHtxnn9gvrO8jO2PfsEKr81v7XBSlDxg9LcdbYKQadPCpQQrHeIC9Ua4cfQNpHUb5xPykwpZ9F28dczxGtSp7NnRnRjgh3nVCcD2C6xFcn+D6BNcluC7BNQiuQXAtgmsR3AbBbRDcNsFtE9wOwe0QXJXgqgR3QHAHBMcIjiU4Hs1vsJapeeXRvIb+5Hxy+SWM/ILwm7jqY6Im+0nKwRz1CS60UKSXID2SDHILVvg4O7Il6WCURvy4IrYPCZUh9w2OlmnduIdSFhIVF2ZUXJZfqzlVSWxNKnYnsoo1u1M5javyUf4a+gzcnfIJYnNqRXHsbyaoEkGVEtRLudukICfpBu5Bwd4Zzubo1AjzCHcl2pML4uIZlp0+sZKNvVwm+yiTKz5OrT+PTrNFuAv34AHGfwLrsIXjX8EcmvAO3sOp8lApKlXldYjOz0Wa2zBxKdo/CzuPRA==</latexit>

10/30<latexit sha1_base64="k9z/fC3sUS8igmMXyuUyMOpPBzU=">AAAH2HichZXNbtNAEMenLZBSPprCBYmLRRRUJFQ2AQnEqQUqtWoVpQlpUpoS2WaTmtixZTtJEysSNwRHDnDgBBIHxCtwQyBegEMfAXEsEhcOjNeO8uFJsZV4d+b3H8/srncVS9ccl7HDqemZEydPxWZPz505e+78fHzhwrZjNm2VF1RTN+2SIjtc1xq84GquzkuWzWVD0XlRqd/3/cUWtx3NbDx0OxbfM+RaQ6tqquyiqRJnxYqnPe099spc13tS2dEMySursi5leovsOvZrhlxpSzekTMVHrlXiCbbExCVFG6mwkYDwypoLM2tQhidgggpNMIBDA1xs6yCDg/cupICBhbY98NBmY0sTfg49mENtEymOhIzWOv7XsLcbWhvY92M6Qq3iW3T82aiUIMl+sI/siH1nn9hP9ndiLE/E8HPp4FMJtNyqzL+8lP/zX5WBTxf2B6pjFArSx9fkQhXuiFo0rM0SFr9KNYjf6r45yt/NJb2r7D37hfW9Y4fsC1bYaP1WP2zx3FuMnhTjzTFSGVr4VCGBY+xhr5+rgj5PWHthPgN+VGGKvo23hjnuo1oWPRPaEyMcEO86ILgOwXUIrktwXYJrE1yb4KoEVyW4OsHVCW6F4FYIbp3g1glug+A2CK5EcCWC2yG4HYJjBMcinBLOr7+WqXlVwnkN/NH5VMSX0Pdzwm/gqh8QZdGPUhbmqI1wgYUinQjpkKSfm7/Ch9m+LUr7o9TnhxUDe49Q6WLfUNAyrhv2UMpspOLshIrz4ms1xioZWKOKzZGsBprNsZyGVZkwfxV9Ou5OmQixOraiFOyvRqgcQeUi1AOx2yQgLegq7kH+3hnMZv/UCPIIdiXak/bj4hmWGj+xoo3t9FLq5lJ661Zi+V54ms3CZbgCixj/NizDGo5/AXN4DZ/hK3yLPYo9iz2PvQjQ6alQcxFGrtirfwavoUY=</latexit>

Bias<latexit sha1_base64="YenEqkRjQZTRC/KLFgp+uDfhZ/o=">AAAHynichZXNbtNAEMenLZBSPprCBYlL1CioSKjaBCQQpxao1KpRlCakTdW0kddsUit2bNlO0sTKjQPiBThwAokDQuIKdy68AIc+AuJYJC4cGK8d5cOTYivx7szvP57ZXe9yS9ccl7HTmdm5CxcvxeYvL1y5eu36Ynzpxq5jtmxVlFRTN+0yVxyha01RcjVXF2XLForBdbHHG099/15b2I5mNp+7XUscGkq9qdU0VXHRVI0v86OK0PWqlqg4mpHwKqqiJ3L9FXYP+3VDqfK71XiSrTJ5JaKNdNhIQnjlzaW5TajACzBBhRYYIKAJLrZ1UMDB+wDSwMBC2yF4aLOxpUm/gD4soLaFlEBCQWsD/+vYOwitTez7MR2pVvEtOv5sVCYgxX6wj+yMfWef2E/2d2osT8bwc+nikwdaYVUXX98q/vmvysCnC8dD1TkKjvT5NblQg0eyFg1rs6TFr1IN4rd7b86Kjwsp7w57z35hfe/YKfuGFTbbv9UPO6LwFqOn5HgLjFSBNj5VSOIYe9gb5MrR50lrP8xnyI8rTNm38dYwx2NUK7JnQmdqhBPiXScE1yW4LsH1CK5HcB2C6xBcjeBqBNcguAbBrRPcOsFtEdwWwW0T3DbBlQmuTHD7BLdPcIzgWITj4fz6a5maVx7Oa+CPzieXX8LALwi/gat+SFRkP0pZmKM2xgUWinQipEOSfm7+Ch9lB7Yo7Y/SgB9VDO19QqXLfYOjZVI36qGU+UjF+SkVF+XXakxUMrRGFdmxrIaa7EROo6pcmL+KPh13p1yE2JhYURz7GxGqQFCFCPVM7jZJyEi6hnuQv3cGszk4NYI8gl2J9mT8uHiGpSdPrGhjN7Oavr+a2XmQXHsSnmbzcBuWYQXjP4Q12MTxL2EOr+AzfIGvsWzMjnVjXoDOzoSamzB2xV7+A8oIm6E=</latexit>x<latexit sha1_base64="05i1Qsam0Fm9F/5SK3jUPFG0cuo=">AAAHp3ichZXNbtNAEMenLeBSPtrCBYlLRRQEl2gTkECcWqBSq1YlHyRN1VSV12xaK45t2c638gJwBXHgBBIHxGNw4QU49BEQxyJx4cB47chJdlpsJd6d+f3HM7vrXe5aph8wdjIzO3fh4iVt/vLClavXri8uLd+o+E7LM0TZcCzHq3LdF5Zpi3JgBpaoup7Qm9wSu7zxLPTvtoXnm479Mui54qCpH9lm3TT0AE2F7uFSimWYvFbURjZupCC+8s7y3AbU4BU4YEALmiDAhgDbFujg470PWWDgou0ABmjzsGVKv4AhLKC2hZRAQkdrA/+PsLcfW23shzF9qTbwLRb+PFSuQJr9YF/YKfvOvrKf7O+ZsQYyRphLD5880gr3cPH1rdKf/6qa+AzgOFGdo+BIn19TAHV4LGsxsTZXWsIqjSh+u//+tPSkmB7cZZ/YL6zvIzth37BCu/3b+FwQxQ8YPS3HW2CkGrTxaUAKx3iAvVGuHH0DaR3G+ST8pMKRfQ9vE3M8RrUuew50zozQJd7VJbgewfUIrk9wfYLrEFyH4OoEVye4BsE1CG6N4NYIbpPgNglui+C2CK5KcFWC2yO4PYJjBMcUjsfzG65lal55PK+RX51PLr+EkV8Q/iau+oSoyb5KuZijOcFFFor0FdInyTC3cIWPsyObSoejNOLHFYl9SKgsuW9wtEzrxj2UMq9UnD+j4pL8WptTlSRWVbE9kVWi2Z7KaVy1E+dvoM/C3WlHIdanVhTH/rpCFQmqqFDP5W6Tgpyk67gHhXtnNJujUyPKI9qVaE8ujItnWHb6xFIblVwm+yCTKzxMrT6NT7N5uA134B7GfwSrsIHjX8YcBLyBt/BOu6+90CpaNUJnZ2LNTZi4NP0f102Oyw==</latexit>

Security Classification!

Connection
Wij` ⇠ N (0, w /N` )b`i ⇠ N (0,

W0
N0

0
Wjk
xk

k=1

z1

N2

K
X

b)

NNGP (Neural Network Gaussian Process) (Lee+ 2017)
zj` 1
` 1
• J++*,&'''''''''/)?&.'3*%0*%'''''''''$+'(;=NX̀
zi` (x) = b`i +Wij` x`j (x), x`j (x) = (zj` 1 (x))<latexit sha1_base64="vqdzNAQOmaqadAvlqEJ7xT5gIv4=">AAAHsHichZXNbtNAEMenLeBSPtrCBYlLSxTEhWgTkECcWqBSq1ZVmpA2pa4i22xaE3/JdpImUV6AMxIHBBJIHBCPwYUX4NBHQByLxIUD47UjJ9lpayvx7szvP57ZXe/qnmUGIWPHE5NTFy5eUqYvz1y5eu367Nz8je3AbfoGrxiu5fpVXQu4ZTq8EpqhxauezzVbt/iO3ngW+Xda3A9M13kRdjy+b2sHjlk3DS1E00uVW5a6eF9dzNfmMizHxLUgN/JJIwPJVXTnp1ZBhVfgggFNsIGDAyG2LdAgwHsP8sDAQ9s+9NDmY8sUfg59mEFtEymOhIbWBv4fYG8vsTrYj2IGQm3gWyz8+ahcgCz7yb6yE/aDfWO/2L9TY/VEjCiXDj71WMu92uybW+W/56psfIZwmKrOUOhIn11TCHV4LGoxsTZPWKIqjTh+q/vupPyklO3dZZ/Zb6zvEztm37FCp/XH+LLFS+8xelaMN8dIKrTwaUAGx7iHvUGuOvp6wtpP8kn5UYUr+j7eJuZ4iGpN9FxonxrhiHjXEcF1CK5DcF2C6xJcm+DaBFcnuDrBNQiuQXDLBLdMcGsEt0Zw6wS3TnBVgqsS3C7B7RIcIzgmcXoyv9FapuZVT+Y19svzqYsvYeDnhN/GVZ8SqujLlIc5miNcbKHIQCIDkoxyi1b4MDuwyXQ0SgN+WJHa+4TKEvuGjpZx3bCHUhaliounVFwWX6s9VklqlRUbI1mlmo2xnIZVm0n+Bvos3J02JWJlbEXp2F+RqBJBlSTqudhtMlAQdB33oGjvjGdzcGrEecS7Eu0pRHHxDMuPn1hyY7uQyz/IFbYeZpaeJqfZNNyGO3AP4z+CJVjF8a9gDg68hQ/wUSkoVaWmaDE6OZFobsLIpbz+D1y3kZ4=</latexit><latexit sha1_base64="SoxEhCxzgAAaMSMN6eFb2Lc4u2Q=">AAAHsnichZXNbtNAEMenLeBSPtrCBYlLRRTEhWgTKoE4tUClVq2qNCFtSlMi22xaE3/JdpImVl6AB4ADBz4kDojH4MILcOgjII5F4sKB8dqRk+y0tZV4d+b3H8/srnc11zT8gLHjicmpCxcvKdOXZ65cvXZ9dm7+xrbvtDydV3THdLyqpvrcNGxeCYzA5FXX46qlmXxHaz6N/Dtt7vmGYz8Pui7ft9QD22gYuhqgqdZ7Gda4ad7P9+uv63MZlmPiWpAb+aSRgeQqOvNTq1CDV+CADi2wgIMNAbZNUMHHew/ywMBF2z6EaPOwZQg/hz7MoLaFFEdCRWsT/w+wt5dYbexHMX2h1vEtJv48VC5Alv1kX9kJ+8G+sV/s36mxQhEjyqWLTy3Wcrc+++ZW+e+5KgufARymqjMUGtJn1xRAAx6JWgyszRWWqEo9jt/uvTspPy5lw7vsM/uN9X1ix+w7Vmi3/+hftnjpPUbPivHmGKkGbXzqkMExDrE3yFVDXyis/SSflB9VOKLv4W1gjoeoVkXPgc6pEY6Idx0RXJfgugTXI7gewXUIrkNwDYJrEFyT4JoEt0xwywS3RnBrBLdOcOsEVyW4KsHtEtwuwTGCYxKnJfMbrWVqXrVkXmO/PJ+a+BIGfk74LVz1KVETfZlyMUdjhIstFOlLpE+SUW7RCh9mBzaZjkZpwA8rUnufUJli39DQMq4b9lDKolRx8ZSKy+JrtcYqSa2yYmMkq1SzMZbTsGozyV9Hn4m706ZErIytKA37KxJVIqiSRD0Tu00GCoJu4B4U7Z3xbA5OjTiPeFeiPYUoLp5h+fETS25sF3L5B7nC1mJm6Ulymk3DbbgD9zD+Q1iCVRz/Cubgwlv4AB+VReWFoip6jE5OJJqbMHIp5n+DCJNR</latexit>

j=1<latexit sha1_base64="D+0iXPO1Z5TDOh3tf0nEKC4ghVE=">AAAIF3ichZXfT9NQFMfP+OFw/gD0xcSXxgUDEcjdNNGYkIBKAoEQGAIjFJa13kFZuzZtN7Y15Q/wHzDGJ018MP4RPpgYXn3ggT/B+IiJD/rg6W2X/egB22y955zP9/Sce9tbxdI1x2XsLNHXPzB4JTl0NXXt+o2bwyOjtzYds2qrfEM1ddPOK0WH61qFb7iaq/O8ZfOioeh8Syk/D+JbNW47mll56TYsvmsU9ytaSVOLLroKI2ZzT+a6XtDG6xPSjKRElvRAkp2qUfAOZzL+nrdSCNx+aisMe9qhL09K9dA6ROmkdHyc6rAlzCVbB9p4c88LnFMZX/gnCiNpNs3EIcUHmWiQhuhYNUf7F0CGV2CCClUwgEMFXBzrUAQHzx3IAAMLfbvgoc/GkSbiHHxIobaKFEeiiN4y/u+jtRN5K2gHOR2hVvEuOv5sVEowxk7ZJ3bOTthn9oP9vTCXJ3IEtTTwqoRabhWGX99Z//1flYFXFw7aqksUCtKX9+RCCZ6IXjTszRKeoEs1zF9rvjlff5ob8+6zD+wn9veenbGv2GGl9kv9uMZz7zD7mJhvjplkqOFVhTTOsYdWq1YFY57w+lE9bb5bYQrbxlPDGg9QXRSWCUcXZqgT96oTXIPgGgTXJLgmwR0R3BHBlQiuRHBlgisT3BzBzRHcIsEtEtwSwS0RXJ7g8gS3TXDbBMcIjsU4JVrf4Fmm1lWJ1jWMx9dTEW9CK86JuIFPfZuQhR2nLKxR6+JCD0U6MdIhyaC24AnvZFu+OB3MUovvVLT9PqHSxb6hoKdX1xmhlKuxjlcv6HhdvK1GTydtb1yx3FVVW7PcU1OnaiWqX8WYjrvTSoyY73miFLTnY1SOoHIx6oXYbdKQFXQJ96Bg7wxXs/XVCOsIdyU6kg3y4jcs0/vFig82s9OZh9PZtUfp2WfR12wI7sI9GMf8j2EWFnD+N7CGU/iTGEgMJt8mvyS/JU9CtC8RaW5D15H8/g92B7a7</latexit>• ` K/)?&.'2&)"'$+'IL'5).$)"1&'$+<latexit sha1_base64="LeHFiym2DY6K2nLXvH/KvCo2or0=">AAAHqnichZXNbtNAEMenLeBSPtrCBYlLRRTEAVWbgATi1AKVWrWq0oS0iZKq8rqbxoq/ZDtJkygvwIFrkTiBxAHxGFx4AQ59BMSxSFw4MF47ysdOiq3EuzO//3hmd73LPcsMQsbOZ2bnrly9ps1fX7hx89btxaXlO/uB2/QNUTRcy/VLXA+EZTqiGJqhJUqeL3SbW+KAN15F/oOW8APTdd6EHU8c2vqJY9ZMQw8jU1VY1tFSiq0yea2ojUzSSEFy5dzluU2owjG4YEATbBDgQIhtC3QI8K5ABhh4aDuEHtp8bJnSL6APC6htIiWQ0NHawP8T7FUSq4P9KGYg1Qa+xcKfj8oVSLMf7Au7YN/ZV/aT/Z0aqydjRLl08MljrfCOFt/eK/z5r8rGZwj1oeoSBUf68ppCqMFzWYuJtXnSElVpxPFb3bOLwot8uveQfWK/sL6P7Jx9wwqd1m/j857If8DoaTneAiNVoYVPA1I4xj3sDXLl6OtJaz/JZ8iPK1zZ9/E2Mcc6qnXZc6E9NcIp8a5TgusQXIfgugTXJbg2wbUJrkZwNYJrEFyD4NYJbp3gtghui+C2CW6b4EoEVyK4MsGVCY4RHFM4nsxvtJapeeXJvMZ+dT65/BIGfkH4bVz1Q6Iq+yrlYY7mGBdbKDJQyIAko9yiFT7KDmwqHY3SgB9VDO19QmXJfYOjZVI36qGUOaXi3JSKC/JrtScqGVpVxc5YVkPNzkROo6rdJH8DfRbuTrsKsTGxojj2NxQqT1B5hXotd5sUZCVdwz0o2jvj2RycGnEe8a5Ee7JRXDzDMpMnltrYz65mnqxm956m1l4mp9k83IcH8AjjP4M12MTxL2IOdXgHZ/Bee6zltbJWidHZmURzF8Yu7fgfjLCQCg==</latexit>

K ` (x, x0 ) ⌘ E [zi` (x)zi` (x0 )]=<latexit sha1_base64="dRe8k7P6/VXC7507Sd2oVEolzP4=">AAAIenichZXNbtNAEMcnLdAQPtrCBYlL2qhtoqbVJlSiQkJqgYpWqao0pTRVnES22SRW7DjYzqeVF+AFOHACiQPiMbhwRuLQR0Aci8SlB8ZrR07ibbGVeHfm9x/P7K53paaqmBYhZ6Gp6WvXb8yEb0Zu3b5zd3Zu/t5rU28ZMj2WdVU38pJoUlVp0GNLsVSabxpU1CSVnkj1547/pE0NU9Ebr6xekxY1sdpQKoosWmgqz/3IlASqqvFusruSiCwL9G1LaUcFTbRqkmTvDIRkoc+IshLvJvzmSqIYFYTI8tOoYCpVTSxLpXR0ddjplNJCMuJHKdv9ku1IhYU1YSE1KCsOqUVtwdCiL7ODOElmxoDEICKotGIVhGZNiXviNUeIWSQ4xhW0Gkq1ZhUj5bkYWSfsigYbKa8RA+/K6vPTuyDAG9BBhhZoQKEBFrZVEMHEuwApINBEWxFstBnYUpifwgAiqG0hRZEQ0VrH/yr2Cp61gX0npsnUMr5FxZ+ByigskZ/kCzkn38lX8otcXBrLZjGcXHr4lFwtbZZn3z04+vtflYZPC2q+6gqFhPTVNVlQgU1Wi4K1NZnFqVJ247f778+PnuSW7GXyifzG+j6SM/INK2y0/8ifD2nuA0ZfYuNNMZIAbXzKEMMxtrE3zFVCn82sAy8fnx9X6Kxv4K1gjjVUi6ynQ+fSCF3Ou7ocrsfhehyuz+H6HK7D4TocrsLhKhyuzuHqHG6bw21zuD0Ot8fhMhwuw+HyHC7P4U453CmHIxyOBDjJm19nLfPmVfLm1fUH51NiX8LQTzl+DVe9TwisH6SamKMyxrkWHmkGSJNLOrk5K3yUHdqCtDNKQ35U4dsHHJXK9g0JLZO6UQ9PmQ1UnL2k4iP2tWoTlfjWoGJ/LCtfsz+R06jqwMtfRp+Ku9NBgNiZWFES9ncCVI5D5QLUC7bbxCDN6AruQc7e6c7m8NRw83B3Jb4n7cTFMyw1eWIFG6/T66lH6+nDjdjWM+80C8NDWIQ4xn8MW7CL438McmgzVApVQ7WZi/BiOBFeddGpkKe5D2NXeOMf9ezVvA==</latexit>

2
b +

2
w Ezi` 1 ⇠GP(0,K ` 1 )⇥(zi` 1 (x))• H6$+'&-0&1%)%$3"'1)"'4&'13,0*%&8'4?=
CMD'(;'.&7.&++$3"'CND'@*,&.$1)/')00.3-$,)%$3"'
COD'J")/?%$1)/'+3/*%$3"'#3.'+0&1$#$1'P /$Q&'R&GS
12/30

Security Classification(zi` 1 (x0 ))⇤NNGP (Neural Network Gaussian Process) (2)• T6&"'P $+'R&GS CF63U>)*/ NIIVL'G&&W'NIMXD'=
2 q
K ` (x, x0 ) = b2 + w K ` 1 (x, x)K ` 1 (x0 , x0 )
2⇡ ⇣
⌘
` 1
` 1
` 1
⇥ sin ✓x,x0 + (⇡ ✓x,x0 ) cos ✓x,x0!
K ` (x, x0 )`1
p✓x,x0 = cos
K ` (x, x)K ` (x0 , x0 )<latexit sha1_base64="OtJcMBUNis/jw/ks9eudqB2RHqY=">AAAI9HichZVLb9NAEMcnPIN5lMIFiYtF1NIIWm0CCISExKtSUVDVB32gbhPZZtNYtWNju2lay1+AL8ABLoA4ICQOfAUufAEkOMINcQSJCwfGa5uk8bTYSrw78/uPZ3bXu7prmX7A2JfCvv0HDh46XDyiHD12/MTQyeFTi76z4RliwXAsx1vWNV9YZlssBGZgiWXXE5qtW2JJX78T+5c6wvNNp/0g2HLFqq2ttc2maWgBmhrDhVqtzoVljXUvds+XldEbKvfNNVtr6PWqekHlTU8zwtS0Wa9GYZW7ZqRw/7EXhLV6GGvHK1EsL/d3z8fhIpXzlXE2cUV0V5VRlbd8VzNEeFnYEQ9MW/gKt0QzGMNwZpsHLRFo/0I0wjijCHNQxvCV6rhKA2WVG45P+xTumWutoKxwrqREDGTeuFjU1kNUqFkmsuD+MYnCrNjMVs6aSZG91zROltgEk5eab1TSRgnSa8YZ3j8FHB6BAwZsgA0C2hBg2wINfLxXoAIMXLStQog2D1um9AuIQEHtBlICCQ2t6/i/hr2V1NrGfhzTl2oD32Lhz0OlCiPsE3vDfrKP7C37zv7sGiuUMeJctvCpJ1rhNoaenJn//V+Vjc8AWj3VHgod6b1rCqAJ12QtJtbmSktcpZHE72w//Tl/fW4kHGUv2Q+s7wX7wj5ghe3OL+P1rJh7htFH5HgLjMShg08DSjjGIfayXHX0hdIapfn0+J0KR/Y9vE3MsYVqTfYc2Nw1Qpd4V5fgtghui+C2CW6b4DYJbpPgmgTXJLh1glsnuFsEd4vg7hHcPYKrEVyN4JYJbpngHhLcQ4JjBMdynJ7Ob7yWqXnV03lN/Pn51OWXkPkF4bdx1fcILvt5ysUczR1cYqFIP0f6JBnnFq/wfjaz5el4lDK+X9GzR4TKkvuGjpZBXb+HUs7kKp7ZpeJ5+bXaA5X0rHnF/R1Z9TT3B3LqV02n+Rvos3B3ms4RkwMrSsf+ZI6aI6i5HHVX7jYlqEq6iXtQvHcms5mdGkkeya5Ee6pxXDzDKoMnVr6xWJ2oXJqozl4u3bydnmZFOAvnYAzjX4WbMIXjvwBG4X3hc+Fr4VuxU3xefFV8naD7CqnmNOy4iu/+Am4oApU=</latexit>• 2*/%$K/)?&.'@@'$+'34%)$"&8'Y*+%'4?',)%.$-',*/%$0/$1)%$3"+Z

13/30

Security Classification

Nonparametric Bayeisna Deep Visualization: Overview• Integrate NN-iWMM and a visualization method into a Bayesian model- Infer X so as to be optimal to estimate V

8/30

Security Classification

NN-iWMM: Generative process• Incorporate ARD-NNGP and ∞~GMM into a latent variable model∞-GMM: to be optimized
:no need to be optimized
NN-iWMM

ARD-NNGP

16/30

Security Classification# of layers

# of units# of latent dims# of clustersData generation setup• Generate 100-dimensional data through NN transformation• Apply 4 methods including NPDV (MF) to recover the original data
100D space
n

Y1





Mammoth in
3-dimensional space

20/30

N

Security Classification… Y100

3D space

Visualization results• NPDV (MF) could recover the original mammoth shape accurately• Some body parts (horn, pow) was found through estimated clusters(a) NPDV (MF)21/30

(b) t-SNE(2008)(c) Trimap(2018)

Security Classification(d) PaCMAP(2021)

Qualitative comparison @ 20 newsgroups• Coloring provides intuitive understanding for the cluster structure• NPDV shows better cluster separation than (b)(a) NPDV(t-SNE)

26/30(b) VSB-DVM

Security Classification(c) t-SNE(2008)(d) PaCMAP(2021)

Latent cluster discovery @ Brown corpus• Visualize plausible topics and their relationships through NPDV

29/30

Security Classification

(株)ブリヂストンとの共同研究: まとめl 社内文書の可視化のための、新しいニューラル+統計

モデルによる可視化法: NPDV
– 潜在層は無限ガウス混合モデル– 潜在層à観測次元へはニューラルネットガウス過程(NNと等価だが、重みがすべて積分消去されており最適化不要)
l 統計的に考えることで、可視化に余計なパラメータ推定を必要とせず、クラスタ数も自動推定
l 担当者の高い理解力・実装力

全体のまとめl 政府機関や企業しか持っていないデータ・実問題に対する共同研究 à 統計学の知見が有効l 共同研究でアドバイスをしないと、実用的な速度で動かないことが多い (実装のKnow-How)l 企業側の担当者の理論面での理解力・実装力の高さ
àトップ国際会議にも採択
l 最近忘れられかけている、統計的機械学習の基本を共有していく必要を実感

教科書 (刊行予定)
l 岩波書店より、2023年中に発売予定 (現在284p)
l 他の教科書にあまり詳しく書かれていない話も扱っています
l http://chasen.org/~daitim/textmodel/
で草稿を公開・意見募集中

40/37