言語処理学会 第21回年次大会 発表論文集 (2015年3月)

ノンパラメトリックベイズによる意味役割推定
松尾 健太

石原 靖弘

竹内 孔一

岡山大学大学院自然科学研究科{kmatsuo,ishihara,koichi}@cl.cs.okayama-u.ac.jp
1 はじめに2 提案手法

近年，インターネット上でさまざまな情報が交換さ

本節ではまず，依存木について述べ，例文を用いて依れており情報交換の手段は画像，音声，言語などさまざ存木の各要素について説明する．次に，依存木のモデまである．言語による情報交換では記述の仕方は情報

ルとサンプリングする変数について述べる．最後にサ発信者によってさまざまで同じ意味を表すにも同一のンプリング時に学習データを用いる方法を説明する．

文となるとは限らない．それらの文を構造化して扱う

2.1 依存木ことができれば，自動翻訳，文章要約などさまざまな言項の意味役割は係り先の述語の態や項の品詞，格な語処理に応用することができる．構造化の方法としてどにより決定される．このことから述語との係り関係文の構造を述語語義と意味役割として捉えるというもを表す依存木をモデルとした．依存木は本来，項や述のがある [1]．これによりそれぞれの文を抽象化して扱語の表層により表現されるが，本研究では項の表層部うことができ，それらを自動で判定する研究が盛んに分を項の意味役割，述語の表層部分を述語の語義とした行われている．述語語義と意味役割の推定にはルールモデルを用いる．依存木の性質は [6] を参考にし，文のによるもの [2] やグラフ分割によるもの [3] など，さま中の依存関係が満たす性質 (公理) として挙げられていざまであるが本研究ではノンパラメトリックベイズにる 4 つの性質のうち 1 と 2 を満たす依存木を構築した．

よる述語語義と意味役割の推定を扱う．従来，英語文やドイツ語文におけるノンパラメトリックベイズによる意味役割推定は行われているが [4][5]，調査した限り
では日本語文に対してノンパラメトリックベイズによる推定は行われていない．そこで本研究では日本語文

1. 1 つの要素のみが独立している
2. 他の要素はすべて何らかの要素に直接依存する
3. どの要素も 2 つ以上の要素に直接依存しない
4. もし A が B に直接依存し，要素 C が線形順序をなす連鎖において両者の間に位置する場合，C はを対象としたノンパラメトリックベイズによる意味役

A または B または A と B の間に位置する他の要割推定について述べる．ノンパラメトリックベイズで素に直接依存するはデータに応じて扱うモデル自体の複雑さを学習することができ，いくつかのパラメータで記述される分布

性質１の独立した要素とは述語の語義であり，他の要ではなく柔軟な分布を考えることができる．英語では

素は述語と係り関係にある項の意味役割や項の意味役

文内での主語との位置関係が意味役割を決める有力な割を決定する要素となる品詞，格情報などとなる．以情報となるが，日本語では項が格をとり主語や述語に下に「私は本を買った」を例文とした依存木の図を載せ対して自由な位置を取ることから，主語との位置関係る．この文では「購入」が述語「買った」の語義，「動を意味役割推定に用いることができない．このような作主」と「対象」は「購入」と係り関係にある項の意味日本語の特徴を踏まえたうえで述語との係り受け関係役割である．「動作主」と「対象」は「購入」に依存しを依存木として表したモデルを構築し，意味役割推定ている．品詞「名詞」と格「ハ格」が「動作主」に，品を行った．さらに半教師あり学習も行った．以下の章

詞「名詞」と格「ヲ格」が「対象」に依存している．まではまず 2 章で手法と依存木によるモデルについて述

た，述語の態「past」と品詞「動詞」は述語の語義「購べる．3 章で実験の結果を示し，4 章で結果の考察，5入」に依存している．このようなモデルをノンパラメ

章でまとめを述べる．

トリックベイズの言語モデルとして用いる．

― 297 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

本手法では role は確率基底測度を共有した複数の DP

購入から生成されるとし，smantic の各 G′k を πk′ ，ϕk′ ，ϕ′k′で，role の各 Gk を πk ，ϕk ，ϕ′k で表す．πk′ は semantic

動詞

past

動作主のクラス k’ の確率分布，ϕk′ と ϕ′k′ は各データの確率対象分布のパラメータを表す．πk はクラス k の semantic名詞

図1

ハ格

名詞に依存する role の確率分布，ϕk と ϕ′k は role に対するヲ各データの確率分布のパラメータを表す．従ってこのモデルは以下のように定義される．

依存木のモデルβ|γ ∼ GEM (γ)，

ここでは依存木をノンパラメトリックベイズのモデ

πk |α0 ，β ∼ DP (α0 ，β)，′ϕk′ ∼ H ，ϕk′ ∼ H ′ ，ϕk ∼ H ′′ ，ϕ′k ∼ H ′′′ ，ルとした場合，どのようにモデル化されるかについて述

rolet′ |semantic ∼ M ultinomial(πsemantict )，べる．図 2 を見てもらいたい．依存木はノード Tt ，Tt′

wordt |semantict ∼ F (ϕsemantict )，2.2

ノンパラメトリックベイズγΒ ~ GEM(γ)πk ~ DP(α0,β)Φk’ ~ HΦ’k’ ~ H’Φk ~ H’’Φ’k ~ H’’’βsemantic1

α0πkH

φk’H’

φ’k’

H’’

φ’kH’’’

φ’krole1
voice1

role2

post |rolet ∼ F ′′ (ϕrolet )，relt |rolet ∼ F ′′′ (ϕ′rolet )．
こ れ は パ ラ メ ー タ (ϕsemantic ，ϕ′semantic ，ϕrole ，ϕ′role )に従う分布があり，各データは対応するパラメータに

pos1
pos2

post |semantict ∼ F ′ (ϕ′semantict )，よって表される分布から条件付き独立で生成されるこ
rel1

pos3とを表している．semantic のクラスを表す semantict

rel2

は他のクラスに依存しないのでパラメータ α0 ，基底測度 γ に従うディリクレ過程に従って生成される．

∞

2.3 推定図2

ノンパラメトリックベイズの依存木モデル

推定では，データが与えられたときの事後確率を最を持ち，t と t’ はそれぞれノードのクラス semantic(語義) とクラス role(意味役割) を表す．semantic はデー
タ post (品詞)，voicet (態) を role はデータ pos′t (品詞)，relt′ (格) を持つ．ここで Tt ，Tt′ の確率 p(Tt ) と p(Tt′ )は次のように定義される．

p(Tt ) =p(post |semantict )p(voicet |semantict )p(semantict )p(Tt′ ) =p(pos′t |role′t )p(relt′ |role′t )p(semantict |role′t )p(role′t )ここで，role は semantic に依存して確率分布が表されるので HDP[8] を用いる．HDP は確率基底測度 G0を共有した複数の DP であらわされ，G0 も DP によって導出される．Gk ∼ DP (α0 , G0 ) また，G0 はG0 ∼ DP (γ, H) で導出される．ここで stick-breaking
construction[7] から HDP は次のように解釈される．
G0 =∞∑βk′ δϕk′k′ =1

Gk =∞∑πkk′ δϕk′k′ =1β ∼ GEM (γ)πk ∼ DP (α0 , β)ϕk′ ∼ H大にするような semantic，role のクラスの集合を求める．しかし，クラス数が無限にあるのですべてのクラスを考慮して事後確率を求めることができない．そこでギブスサンプリング [8] を用いて各データに対して順次サンプリングを行い近似的に事後確率を求める．サンプリングでは z，m，βをサンプリングする．詳細は[8] を見てもらいたい．
Sampling z:
zt ,zt′ はデータ t に対しての semantic，role それぞれのクラスを表す．これらは次のように動的に求める．

p(semantict |voicet ，post ) ∼p(voicet |semantict )p(post |semantict )p(semantict )p(rolet |post , relt , semantic′t ) ∼p(post |rolet )p(relt |rolet )p(rolet )n+α0xt k
ここでデータの事後確率は p(xt |zt ) = n.k+N α0 となる．xt は t と対応する word，pos，rel を，zt は t と対応する role または semantic を表す．nxk はクラスｋのデータｘの総数であり，N はデータ x の総数である．
各データごとのサンプリングでは現在出現しているクラスの K 個と未知のクラスを表すクラスについて確率― 298 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

分布を算出し，データのクラスをサンプルする．未知対して項の素性や項と前後の項との素性を特徴に用いのクラスを表すクラスはまだ出現していないクラスすて学習し意味役割を付与しており，本手法とは条件がべてを表している．サンプルされたものが未知のクラ異なるが目安として載せている．

スであった場合，新しいクラスとし K に加え，新しく3.1 実験方法

未知のクラスを定義したのち後述する β を計算し直す．

半教師あり学習 (sIDT:semi-supervised learning forInfinite Dependent Tree) では，3.4 で述べた方法をSampling m:
ここでは変数 m を導入する．m は各 semantic に用い，学習データ 1331 文はサンプリングせずテスト依存している role のクラスごとの数を表し，mij はデータ 1331 文にサンプリングを行う．教師なし学習

semantic のクラス i に依存している role のクラス j（uIDT:unsupervised learning for Infinite dependentの数を表す．m の条件付き確率は p(mij = m|z ，β ，model）ではテストデータにサンプリングを行う．サンα0 ) ∝ S(nij ，m)(α0 βj )プリング時のパラメータ α0 ，α0′ ，γ ，γ ′ は同じでそれmと表せる．ここで，S(n，m)

は第一種スターリング数である*1 ．

ぞれ 1.0，1.0，0.6，0.6 と設定し，サンプリングは 500

Sampling β:回行った．サンプリング後の各クラスにどの意味役割

パラメータ β は role のクラスそれぞれの確率をを付与するかはサンプリングのみでは決めることがで表す ．β は m を用 いて 表す こ とが で き，次 に 示すきないので，各クラスごとに正解データと比較し，クラディリクレ分布を用いてサンプリングできる． (β1ス内にもっとも多かった意味役割をそのクラスの意味，· · · ，βK ，k′ =K+1 βk ) ∼ Dirichlet(m.1 ，· · · ，m.K
∑K′，γ)，m.K =k′ =1 mk k ．ここで，m.k はすべての役割とした．CRF では意味役割項の表層，読み，基本

semantic のクラスにおいての role のクラス k の数を前後の組み合わせを特徴としている．

表す．

3.2 実験結果∑∞2.4′

形，品詞と述語の表層，述語の基本形，助詞とそれらの半教師あり学習

以下の表に各手法の意味役割の precision，recall，f

ノンパラメトリックベイズではサンプリング時は各値を示す．
表1

クラスがどの意味役割を表しているかわからない．こ各手法の precision，recall，f 値のため学習データを用いるには学習データ及びサンプ手法

precision(%)

recall(%)

f 値 (%)

リングの一部に工夫が必要になる．まず，あらかじめ

uIDT

34.61

34.61

34.61

学習データに意味役割ごとにクラスを割り当てておく．

sIDT

42.76

42.76

42.76

例えば「対象」は 1，「目的」は 2，というように同じCRF

48.77

37.26

42.25

意味役割には同じクラスを割り当てる．これらのデー
タを学習データとし，クラスが割り当てられていない

uIDT および sIDT の precision，recall はクラスをデータ (テストデータ) とともにサンプリングを行う．

割り当てるため，f 値と同じ値になっている．sIDT がクラスがあらかじめ割り当ててあるデータはクラスのわずかに CRF よりも高い精度を出している．

サンプリングを行わず，テストデータにのみサンプリ

4 考察

ングを行う．学習データはサンプリングの際 nxk ，nij ，などに影響を与える．このように学習データを利用し，各サンプリングに用いる．

ここではサンプリングされたクラス，クラスの割り当て方，サンプリング回数について述べる．まずサン
プリングされたクラスについて述べる．各クラスの数

3 実験

は「対象」が最も多く 64，ついで「動作主」が 25，「原実験では 2662 文に対して係り受け解析まで自動で因」が 9，「連語副詞 (仮)」が 8 と続いている．「対象」

行い，人手で意味役割と語義を付与したデータを用いのクラスには「対象 (身体部分)」や「対象 (生成物)」なた*2 ．比較は CRF と行った．CRF では項の連続列にどが含まれており，「身体部分」や「生成物」などの副分類ではなければ識別できていると考えた．また，「動作*1 S(0, 0) = S(1, 1) = 1, s(n, 0) = 0 for n > 0, s(n, m) = 0for m > n, and S(n + 1, m) = s(n, m − 1) + nS(n, m)
for others*2 koichi et al. Annotating Semantic Role Infomation toJapanese Balanced Corpus. (to appear)

主」，「経験者」は同じクラスに分類されることが多く，格が「は」で品詞が「名詞-固有名詞-人名」である項がクラスを占めている．特徴的なクラスもいくつか存在― 299 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

し，例えば「原因」のクラスの一つでは含まれているの意味役割推定を行った．実験では 2662 文を用いて学習はすべて「原因」の項で格が「ので」の項のみであった．

を行い，CRF と同等の精度で意味役割の推定を行うこ

他には「起点」のクラスでは格が「から」で品詞が「名とができた．クラスへの意味役割の割り当て方などが詞-普通名詞-一般」など，決定的な特徴により分類が行今後の課題である．

われていた．上で示したのはクラスの数であり意味役謝辞

割自体の数ではない．「連語副詞 (仮)」は 8 クラスあるが，そのうちのいくつかのクラスは複数種類の意味役割項が含まれており，たまたま「連語副詞 (仮)」の数だ
け他の意味役割より 1 多いことで「連語副詞 (仮)」と割本研究の遂行にあたって JSPS 科研費 (26370485) の助成を受けた．

参考文献り当てられたというクラスがある．このようなクラス[1] Jane B. Grimshaw. Argument Structure (Lin-は本研究で用いた特徴では分けることができない曖昧guistic Inquiry Monographs ). The Mit Press.

な項が集まったクラスを表しており，識別することが1990.

できていない項のクラスであると言える．次にクラス[2] 池田 吉優, 竹内 孔一. 意味役割と述語の概念をの割り当て方について述べる．提案手法ではサンプリ

付 与 す る シ ス テ ム の 構 築. 信 学 技 報. Vol. 114,

ング結果と正解データを照らし合わせて意味役割に割NLC2014-39, pp. 55-60, 2014.

り当てている．しかし，実際には正解がわからないた[3] Joel Lang and Mirella Lapata. Similarity-Driven

め，どのようにクラスに意味役割を割り当てるかが問

Semantic Role Induction via Fraph Partitioning.

題になる．半教師あり学習であれば，クラスを固定しAssociation for Computational Linguistics.Vol.

た学習データを元に，意味役割を割り当てることがで

40, pp. 633-669, 2014.

きる．また，半教師あり学習にも言えるが，教師なし学[4] Titov,Ivan

andKlementiev,Alexandre.

習でも未知のデータの中に正解データを加えてサンプ

Crosslingual Induction of Semantic Roles.

リングを行うことで，正解データから各クラスに意味

Association for Computational Linguistics. pp.

役割を割り当てることができる．ただし，サンプリン647-656, 2012.

グ後のクラスに学習データが含まれていなければこの[5] Ivan Titov and et al. Semi-Supervised Semantic

方法でも割り当てることができないので，実際に未知

Role Labeling. Approaching from an Unsuper-のデータに対して意味役割を推定する場合，この問題

vised Perspective. 2009.

を考える必要がある．次にサンプリング回数について[6] 麻生 英樹. 句構造と依存構造について. The 26th

述べる．ギブスサンプリングでは無限回のサンプリン

Annual Conference of the Japanese Society for

グを行うことを仮定している．しかし実際には無限回

Artificial Intelligence. 2012.のサンプリングはできないので，ある程度の回数を設[7] Jayaram Sethuraman. A CONSTRUCTIVE定する．なのでサンプリングがどのくらい必要かが問DEFINITION OF DIRICHLET PRIORS. Sta-

題になる．テストデータの初期値に正解クラスを設定

tistica Sinica. pp. 639-650, 1994.

して，sIDT と同じ条件でサンプリングした結果，精度[8] Yee Whye Teh, Michael I Jordan, Mathew J

は 49.09% であった．このことから，提案手法のモデル

Beal and David M Blei. Hierachical Dirich-と学習データに対して実験で設定したサンプリング回

let Processes. American Statistical Association.

数は少ないと考えた．ただし，これは精度が 49.09% とVol. 101, pp. 1566-1581, 2012.

なるクラスの状態が精度 42.25% となるクラスの状態[9] Tamura, Akihiro and Watanabe, Taro andよりも安定している必要がある．さらにこの二つの状

Sumita, Eiichiro and Takamura, Hiroya and態の間に精度が落ち込む部分があった場合，これをサOkumura, Manabu. Part-of-Speedch Induction

ンプリングによって越える必要がある．

in Dependency Trees for Staticstical MachineTranslation. Association for Computational Lin-

5 おわりにguistics. pp. 841-851, 2012.

本研究では依存木によって述語と意味役割項の係り関係をモデル化し，ノンパラメトリックベイズによる― 300 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.