カーネル法に基づく共起尺度
横井 祥1,2 福水 健次3 小林 颯介4 乾 健太郎1,2
Z = {(xi , yi )}ni=1 ⇠ PXY

入力

f : (x, y) 7! D[p(x, y)kp(x)p(y)]学習したい尺度

1D2-46※ 学生優秀プレゼンテーション賞対象

yokoi@ecei.tohoku.ac.jp

東北大 2 理研AIP 3 統数研 4 PFNペアで観測されるデータ
データ (x, y) の関連の強さを測りたい

p(x, y)が p(x)p(y) に対してどの程度大きいかを適当な尺度で測りたい

疎な対象（文や句）でも高速に計算できる共起・関連の強さの尺度の提案

2 PMIの推定

1 自己相互情報量 (PMI)

単語間の共起の強さを測る

NLPで典型的に用いられる尺度

相互情報量

文間の関連の強さを測る

コロケーション抽出 [Church&Hanksʼ90]
対話の応答文生成 [Li+ʼ16]
強く共起する単語ペア(e.g., “New York”)を抽出したい. p(y|x) 上位には “I donʼt know.” のようなp(x, y) 上位には “is the” などが出てきてしまう.
「ありきたりでつまらない」応答が出てきてしまう.

I(X, Y ) = KL[PXY kPX PY ]
p(x, y)= E logx,yp(x)p(y)n·c(x,y)[ y; Z) = log
PMI(x,c(x, ·)c(·, y)p(x, y)
自己相互情報量 PMI(x, y; X, Y ) = logp(x)p(y)pb(y|x)[ y; Z) = log
PMI(x,pb(y)各 pを頻度で推定学習が軽い

学習が重いy を生成して誤差逆伝搬, ハイパーパラメータ調整カウントするだけ

データの疎性に弱い

データの疎性に強い文や句には使えない

4 Pointwise HSICk, ` : 正定値カーネル;,: 特徴関数提案手法

G : RKHS with ` : Y ⇥ Y ! R;

連続空間への埋込

3 Pointwise HSIC の推定

カーネル平均埋め込み

F : RKHS with k : X ⇥ X ! R; (x) := k(x, ·)(y) := `(y, ·)mX := E[ (X)] 2 F, mY := E[ (Y )] 2 G\PHSIC(x,y; Z, k, `)>b1 (xx) C (ymXY := E[ (X) (Y )> ] 2 F ⌦ G> 2HSIC(X, Y ; k, `) = kmXY mX mY kHS
HSIC [Gretton+ʼ05]>= E [( (x) mX ) CXY ((X),(Y)の間のX, Y の特徴空間での表現
hix,y>E ( (x) mX ) ( (y) mY )
相互共分散 CXY = x,y0 ˜0= E [ 0E 0 [k̃(x, x )`(y, y )]]のノルム kCXY k2HSx,y x ,yXY(y)mY )]12nk̃(x, x0 ) = k(x, x0 )E0 [(x, x0 )]xxx,xmX )> CXY ( (y)˜ y 0 )]
= 0E 0 [k̃(x, x0 )`(y,mY )x ,yPMIは完全一致で既知のデータと照合• PHSICは類似度関数（カーネル）を用いて既知のデータと照合(x , y )6⇡

RKHS6⇡⇡⇡

RKHS{· · ·, (xi , yi ), · · ·, (xj , yj ), · · · }(x , y )(x , y )⇡カーネル{· · ·, (xi , yi ), · · ·, (xj , yj ), · · · } {· · ·, (xi , yi ), · · ·, (xj , yj ), · · · }

分布仮説に基づく単語・文の分散表現を再学習抜きで利用可能• 単語ベクトルの和＋cosで高精度な類似度計算 [Tian+ʼ17]• 文の表現学習法も多数 [Kiros+ʼ15][Hill+ʼ16]•

SVM時代に作られた多くの構造カーネルがそのまま利用可能• 文字列カーネル [Kate&Mooneyʼ06], 木カーネル [Collins&Duffyʼ02]•

複数の類似尺度を組合せることができる• 正定値カーネルの和や積も正定値カーネル

まとめ・議論類似性（正定値カーネル）を用いた関連・共起の尺度の提案

類似性（正定値カーネル） → 関連・共起>(yi )P1kĈXY k2F = k n(x)>xyiii\PHSIC(x,y; Z, k, `)> 2(y) kHS

x y> k2F①(x非線形カーネル>

0n⇥dK ⇡ AA , A 2 R, d < n k(x, x ) ⇡ a a※ 非線形カーネルの場合も不完全コレスキー分解を介して近似計算が可能x̄) ĈXY (yȳ)

1˜ yi )k̃(x,x)`(y,iin= n1 (k n1 K1)> H(` n1 L1)②1n (a> 0>(y))

Pn⇥n1>2k(HA)
Bk2Fn(x))> ĈXY ( (y)( (x)K = (k(xi , xj )) 2 R
1>1n⇥ntr(K̃L̃)
H=I
112R2nnK̃ = HKH

カーネル

1 > >
>
A1)
((HA)
B)(bn(i)ai =k(x, x )1 >n B 1)

Pi 1

m=1 am Aim

Aii

予備実験
タスク：Narrative Event Chain [Schank&Abelsonʼ77, Chambers&Jurafskyʼ08]
2文が同一文書内に連続して登場するかを予測• Z ：文対の集合 例：(“Tom killed Nancy.”, “The police arrested Tom immediately.”)• 先行研究：PMI(X kill, arrest X)
登場人物の位置と述語動詞••

提案手法：PHSIC(“Tom killed Nancy.”, “The police arrested Tom immediately.”)0

カーネル： k(x, x ) = cos(• 高速な推定（線形カーネル, 不完全コレスキー分解）• データの疎性に強い（類似度による緩和）

2
kĈXY kHSP
1= k n i (xi )線形カーネル

6⇡

6⇡

=6=

(x , y )既存の類似度関数をそのまま活用できる•\HSIC(Z;k, `)PHSICP1
˜k̃(x,x)`(y,yi )
iin

⇡

==6=

⬇

(x , y )Z = {· · ·, (xi , yi ), · · · }(x , y )(x , y )=⬆

x i ^ y = yi ]i I[x = Pi I[x = xi ]i I[y = yi ]0> 0k(x,x)=xx(x) = x 2 R※ 既存の分散表現間の cos（線形カーネル）で高精度の類似度計算が可能
d•n·log P1 >nB 1

充実した類似尺度を介したスムージング

お気持ち：類似度でスムージングしたPMIPMIa

データの疎性に強い

Pointwise HSIC の特徴

P

1 > >
>
A1
((HA)
B) b
n

① 線形カーネルの場合は特徴空間で計算② 非線形カーネルの場合はデータ空間で近似計算
いずれの場合も222O(d)
O(nd)
O(d)
学習
モデルサイズ予測n : サンプルサイズ, d : 次元数

E[(x, x0 )] + E 0 [(x, x0 )]PHSIC(x, y; X, Y, k, `) = ( (x)データ (x, y) の相互共分散への寄与

y)

学習が軽いk̃ : X で中心化した正定値カーネルPointwise HSIC

各言語モデルをRNNで学習P

wordvecs(x),Pwordvecs(x0 )) 文をまるまる利用できる

コーパス：(a) Gigawordから1万文 (b) Fairy Taleから1000文• 結果：AUC-ROCが大幅上昇 →PMIPHSIC•• 分布仮説に基づく単語ベクトル学習（共起 → 類似性）との接続？

Gigaword

0.569

0.711

• コールドスタート＆ユーザアイテム行列が疎の場合の内容ベースフィルタリングに使える？

Fairy Tale

0.596

0.666