言語処理学会 第21回年次大会 発表論文集 (2015年3月)

事態間知識における項の対応付け学習
小浜 翔太郎 † 柴田 知秀 †‡ 黒橋 禎夫 †‡†京都大学大学院情報学研究科 ‡ 独立行政法人 科学技術振興機構 CREST{kohama, shibata, kuro}@nlp.ist.i.kyoto-u.ac.jp

1

はじめに階でタスクを実施することと，Whitehill らが提唱した EM アルゴリズムに基づくラベルの確率値推定手法

機械学習の進歩や大規模テキストの利用により，形態素解析や構文解析は高精度で行うことができるよう[3] で対処した．
以降，2 節で日本語における事態間知識獲得の既存になってきた．しかし，省略・照応解析を高精度で行手法，3 節で学習による項の対応付け，4 節でクラウうことはまだ難しい．省略・照応解析に必要となる知ドソーシングを用いた対応付けデータの作成，5 節で識のひとつに述語と項の関係があり，これは格フレーは提案手法の評価と考察について述べる．

ムという形で大規模に自動獲得されている [1]．しかしながら，格フレームだけでは照応先を解析するには2難しい例も存在する．例えば「グーグルはモトローラ

日本語における事態間知識獲得の既存手法を買収した。彼ら が破綻していたからだ。」における「彼ら」が「グーグル」と「モトローラ」のどちらを参

英語では照応解析が高精度で解析可能となってきて照しているかを解析する場合である．上記の「彼ら」

おり，照応解析は知識獲得や様々なタスクに重要な基は述語と項の関係のみで解析するのは難しいが，「ある礎処理として利用されている．英語で提案されている

会社 A が破綻すると，別の会社 B が A を買収するこ

事態間知識を獲得する手法は，共参照を手掛かりとすとが多い」という知識があれば「彼ら」が「モトローる手法が多い [4]．しかしながら，英語と比較するとラ」を参照していることが解析できる．したがって，日本語では照応詞の性別や単複の情報がないうえに，「A が破綻する ⇒ B が A を買収する」

照応詞の省略がよく起こるために，共参照を高精度でのような２つの良く起こる出来事とそれらの間にどの解析することは現在も難しい．そのため，英語での手ような項の対応付けがあるかという知識（以降，事態法をそのまま日本語の事態間知識獲得に利用すること間知識と呼ぶ）が省略・照応解析の重要な手がかりとは難しい．

なる．日本語の事態間知識を大規模に獲得する手法とそこで Shibata ら [2] は日本語において事態間知識をして，Shibata ら [2] はアソシエーション分析を用いた獲得するために，１段階目にアソシエーション分析をよく共起する事態対の抽出と，格フレームを用いた項用いてよく共起する事態対の抽出を行い，２段階目にの対応付けを２段階に分けて行う手法を提案している．

格フレームを用いて事態間の項の対応付けを行う手法

本研究では，Shibata らの手法をもとによく共起すを提案した．Shibata らの手法では述語項構造を事態る事態対の抽出を行い，ヒューリスティックなルールにの単位として扱っている．項は格とその格で述語と関よって行われていた項の対応付けを機械学習によって係をもつ語から構成され，述語項構造は述語と，述語行う．また，日本語の事態間知識に対する評価セットと係り受け関係をもつ項で構成される構造とする．例の構築法も提案する．Shibata らは 100 個の知識をラ

えば「太郎が花子にお金を貸す」という文に現れる述ンダムサンプリングして自ら評価を行っている．この語項構造は，「貸す (ガ格:太郎, ニ格:花子, ヲ格:お金)」

評価手法では高品質な評価ができる一方で，大規模にと表すことができる．この手法によって Shibata らは知識を評価することは難しい. そこでクラウドソーシ

およそ 100,000 個のユニークな事態と 340,000 個の事ングによって，抽出された事態対の共起に対する評価

態間知識を得ている [5]．と項の対応付けの正解データ作成を行った．アノテー

１段階目のアソシエーション分析は Apriori[6] といションの信頼性という，クラウドソーシングによる言うアルゴリズムで行われる．Apriori はアイテムセッ

語リソース作成における一般の問題に対しては，２段ト集合の中から頻出アイテム集合とアソシエーション― 1064 ―Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

の支持述語項構造対には，「拾う (ガ格:彼, ヲ格:財布),届ける (ニ格:警察)」が含まれる．
次にクラウドソーシングによって作成した対応付けの正解データを使って，対応付けを学習するモデルについて述べる．学習は最大エントロピー法で行う．ある事態間知識 ek : PA1 ⇒ PA2 が与えられたときに，cf1 , cf2 を pred1 , pred2 に対応する格フレームとし，aを項の対応付け，ps を ek の支持述語項構造対としたとき，以下のように事後確率をモデル化する．

P (cf1 , cf2 , a|ek, ps; Λ) =図 1: Shibata らによる事態間知識作成の流れ

exp{Λ · F(cf1 , cf2 , a, ek, ps)}Z(ek, ps)

∑Z(ek, ps) =exp{Λ·F(cf1 , cf2 , a, ek, ps)}

{cf1 ,cf2 ,a}∈C(ek,ps)

ルールを効率よく獲得するアルゴリズムの１つである．

ここで Λ は学習した重み，F(cf1 , cf2 , a, ek, ps) を素

Shibata らは，項と述語をアイテムとみなし，コーパ
スで係り受け関係を持つ述語項構造対をアイテムセッ
トとみなすことによって，よく共起する事態対をアソ性ベクトル，C(ek, ps) は ek, ps が与えられたときのシエーションルールとして効率的に獲得する．この段が最大になるような対応付けを求める．

格フレーム番号と対応付けの候補の集合とする．このモデルを用いて対応付けの予測を行うには，事後確率階で得られた事態対には，コーパスでよく省略される(cfˆ1 , cfˆ2 , â) = argmax P (cf1 , cf2 , a|ek, ps)

項は残っていない．例えば，図 1 における１段階目でcf1 ,cf2 ,a獲得した事態対は「財布を拾う ⇒ 警察に届ける」であり，よく省略される主語や目的語の項は残っていない．

次にこのモデルの重みの推定法について説明する．

２段階目では，格フレームを用いて事態間の項の対素性に用いるすべての情報がデータに付与されてい応付けを行う．格フレームは，述語がテキスト上でどる場合の学習とは異なり，今回の学習データには格フのような語と一緒に現れるかを格ごとに整理した言語

レーム番号の情報は付与されていない．これは省略解リソースである．述語の多義性を扱うために格フレー

析における，学習データに省略されている項は付与さ

ムは語義ごとにクラスタリングされており，ある述語れているが，格フレームの番号は付与されていない状の格フレームは番号付きで複数存在する．格フレーム

況に類似している．そこで Sasano ら [7] が提案した，を用いて項の分布を推定することで格フレーム間で項格フレーム番号の推定とパラメータの推定を交互にの類似度を計算し，１段階目では残っていない項に対行う省略解析のモデルを参考に，N 個の訓練データしても対応付けをもった事態間知識を獲得する．例え{(a(1) , ek (1) , ps(1) ), ..., (a(N ) , ek (N ) , ps(N ) )} から重みば，図 1 において最終的に得られる事態間知識は「XΛ を次の手続きにしたがって学習する．

が Y を拾う ⇒ X が Y を警察に届ける」であり，１段階目の段階では残っていなかった「届ける」の「が」と「を」が対応付いている．

3

1. Λ を [0.0, 1.0] でランダムに初期化する
2. 訓練データすべてに対して，現在の Λ を使って格フレーム番号を推定する．
ˆ(n) ˆ(n)(n)(n)(cf1 , cf2 )= argmax P (cf1 , cf2 , a(n) |ek (n) , ps(n) ; Λ)

学習による項の対応付け(n)cf1(n),cf2

提案手法の説明に必要な用語を導入する．ある事態
間知識 ek : PA1 ⇒ PA2 に対して，事態 PA1 , PA2 の述語を pred1 , pred2 とする．本研究では事態間知識のもととなる事態対は Apriori を用いて獲得する．ある

この際に２つの格フレームのすべての組み合わせを考慮すると非常に数が大きくなってしまうので，支持述語項構造対と格フレームにおける項の類似

事態間知識に対して，その事態対が獲得されるもとと度を計算し候補を減らす．推定された格フレームなる述語項構造対の集合を，その事態間知識の支持述

番号が前回と比較してすべて同じ場合，または更語項構造対と呼ぶ．例えば，図 1 における「X が Y新の上限回に達した場合に学習を終了する．そうを拾う ⇒ X が Y を警察に届ける」という事態間知識― 1065 ―でない場合は step 3. に進む.

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

3. step 2. で推定した格フレーム番号と訓練データを用いて L2 正則化項付き対数尤度 LA を最大化すで得られた事態対がよく共起するかを「はい」「いいる Λ を求めて step 2. へ戻る．その際，対応付けて PA1 のそれぞれの項が PA2 の項に対応するかを選がa(n)でないものをランダムに選んで訓練デー

タに負例として追加する．

LA =N
∑

え」という選択肢のどちらかを選んでもらった．そしんでもらった．例えば PA1 の「が」については「A がpred1 と言えたとすると A と pred2 を使った正しい文

ˆ(n) ˆ(n)logP (cf1 , cf2 , a(n) |ek (n) , ps(n) ; Λ) − αkΛk2n=1を教えて下さい」という問題文で「A が pred2 」「A をpred2 」「A に pred2 」「A で pred2 」「どれも適切でない」という選択肢のいずれかを選んでもらった．PA1

step 2., step 3. ともに尤度は単調に増加するので収の「を」「に」「で」についても同様に問題文を作成し束は保証されるが，最大値が求まる保証はないため，選択肢を選んでもらった．

複数の初期値を用いて推定を行い，それらの平均を最２段階目のタスク2 は，１段階目のタスクの結果で終的な推定値として使用する．実装には Classias[8] を得られた結果に対して EM アルゴリズムで推定した確利用した．

率値が高い対応付けだけを対象に行う．１段階目の結素性としては，３種類の素性を利用した．対応付け

果，事態間知識 PA1 ⇒ PA2 に対して PA1 の case1 とされている項ペアに対しては，格フレーム間と支持述

PA2 の case2 が高確率で対応付くと推定された場合，語項構造対それぞれでの項の類似度を対応付きやすさ「A case1 pred1 ⇒ A case2 pred2 という２つの出来を示す実数素性として，対応付けされていない項ペア事がどれくらい連続して起こるかを選んで下さい．たに対しては，対応付けされていないことを示すバイナ

だし A には共通の名詞が入るとし，どちらかの出来リ素性を利用した．

事が日本語として不自然な場合は 起こらない を選ん4で下さい」という問題文で「よく起こる」「たまに起クラウドソーシングによるこる」「起こらない」という選択肢のいずれかを選んでもらった．

対応付けデータの作成

これらのタスクをランダムサンプルした 1,500 個の本研究ではクラウドソーシングによって抽出した事

事態間知識について Yahoo!クラウドソーシングを利態対の共起に対する評価と項の対応付けの正解データ用し行った．すべてのアノテーションは 1 つあたり 10作成を行った．クラウドソーシングとは，オンライン人につけてもらった．3の不特定多数の人に仕事を頼んで成果物を得るプラットフォームやプロセスのことをいう．クラウドソーシ

5

評価と考察

ングを利用することで安価で素早く評価やアノテー本研究ではクラウドソーシングによって作成した対ションを行うことができる．一方で，クラウドソーシ応付けの正解データを用いた事態間知識の新たな評価

ングによる言語リソースの作成はアノテーションの信法を提案する．機械翻訳の分野でアライメントの評価に頼性が低いという問題点がある．そこで本研究では２用いられる Recall, Precision, AER (Alignment段階でタスクを実施することと，Whitehill らが提唱した EM アルゴリズムに基づくラベルの確率値推定手法 [3] で対処する．タスクを２段階で行う事で，１段階目のタスクの誤ったアノテーションを２段階目タスクで訂正することで品質を保証する．Whitehill らのモデルでは，設問の真の答えを潜在変数とし，ワーカ

Error Rate) という評価指標を事態間知識の評価に用いる．AER では正解データを更にアノテータの評価に合わせて Possible と Sure に分ける．A をシス
テム出力，S を Sure，P を Possible (ただし S ⊆ P )とすると，Recall, Precision, AER は以下の式で表される．の能力と問題の難易度をパラメーターとした EM アルゴリズムで推定する．多数派に投票することの少ない

Recall =ワーカの投票の重みが低くなり，単純な多数決に比べアノテーションの品質を保証することができる．

|A ∩ P ||A ∩ S|, Precision =,|S||A|

AER = 1 −Apriori で得られた事態対 PA1 ⇒ PA2 に対して|A ∩ S| + |A ∩ P ||A| + |S|「が」「を」「に」「で」格で関係をもつ項を対象に，対応付けのアノテーションを行うタスクについて順に説明する．まず１段階目のタスク1 では，ワーカに Apriori
1 http://crowdsourcing.yahoo.co.jp/request/detail/3588382294

2 http://crowdsourcing.yahoo.co.jp/request/detail/3588398818
3 アノテーションにかかった時間はそれぞれ 1.5 時間，7 時間で，費用は約 50,000 円であった．

― 1066 ―Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

表 1: 得られた事態間知識

Apriori で得られた事態対Gold data
SurePossible

熱戦を繰り広げる ⇒ 優勝するが → が, で → でを→で頁を開く ⇒ 表示されるを → が, で → で切手を貼る ⇒ ポストに入れるが → が, に → をベースライン

提案手法に → が, で → でが → が, で → でを → に, に → がを → が, で → でが → で, に → にが → が, で → で

表 2: 実験結果

Recall, Precision は大きいほど，AER は小さいほど，性能が良いことを示す．この指標を使うことによって，自動的に対応付けの評価を行う事ができる．

Sytem

RecallPrecision

AER

ベースライン

0.26
0.59

0.22
0.57

0.76
0.42

提案手法

第１段階目のタスクにおける事態対の共起に関する問に対して１０人中６人以上が「はい」と答えており，かつ少なくとも１つは正解の対応付けが付いた

謝辞

937 データを評価に用いた．Sure, Possible ラベルは２段階目のタスクの EM アルゴリズムによる確率に従って付与した．
「よく起こる」,「たまに起こる」の確率が最も高い場合に，それぞれ Sure, Possible のラベルを付与し「起こらない」の確率が最も高い場合にはラベルを付与しない．ベースラインは，Shibata らが用いた格フレームにおける項の類似度による対応付けとする．提案手法の対応付けの学習は，更新の上限を15 回としモデルは３回の推定結果の平均とした．学習による対応付けの結果は５分割交差検定の結果である．結果， AER がベースラインに比べて提案手法では 34 ポイント改善した．実験で得られた対応付けを表 1 に，実験結果を表 2 にまとめた．
格フレームにおける項の類似度による対応付けに比べ学習による対応付けは学習データ全体の傾向を反映する．そのため実際は対応づいているがコーパスでは

本研究は科学技術振興機構 CREST「知識に基づく構造的言語処理の確立と知識インフラの構築」の支援のもとで行われた．

参考文献[1] Kawahara, D. and Kurohashi, S.: A Fullylexicalized Probabilistic Model for Japanese Syntactic and Case Structure Analysis, In Proc of.
NAACL HLT (2006).
[2] Shibata, T. and Kurohashi, S.:
Acquiring Strongly-related Events using Predicateargument Co-occurring Statistics and Case
Frames, In Proc. of IJCNLP (2011).
[3] Whitehill, J., fan Wu, T., Bergsma, J., Movellan, J. R. and Ruvolo, P. L.: Whose Vote ShouldCount More: Optimal Integration of Labels fromLabelers of Unknown Expertise, In Proc. of NIPS
(2009).

よく省略されるために格フレームにおける項の類似度が低くなりがちである「が → が」や「で → で」が正しく対応付けできる傾向がある．しかし同じ格が対応付く傾向が強いため，事態間で格が交替して対応付いている場合に誤った対応付けをすることが多い．

6

まとめと今後の課題
日本語の事態間知識における項の対応付けを機械学習によって行った．またクラウドソーシングによって作成した正解データによって手法の有効性を確認した．
今後の課題としては，有効な素性の抽出や学習アルゴリズムの変更によって格交替が起きている場合に対処すること，照応解析のテストデータでの有効性を確認することが挙げられる．

[4] Chambers, N. and Jurafsky, D.: UnsupervisedLearning of Narrative Event Chains., In Proc. ofACL (2008).
[5] Shibata, T., Kohama, S. and Kurohashi, S.: ALarge Scale Database of Strongly-related Eventsin Japanese, In Proc. of LREC (2014).
[6] Agrawal, R., Imieliński, T. and Swami, A.: Mining Association Rules Between Sets of Items inLarge Databases, In Proc. of SIGMOD (1993).
[7] Sasano, R. and Kurohashi, S.: A Discriminative
Approach to Japanese Zero Anaphora Resolution with Large-scale Lexicalized Case Frames,
In Proc. of IJCNLP (2011).
[8] Okazaki, N.: Classias: A Collection of MachineLearning Algorithms for Classification (2009).

― 1067 ―Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.