言語処理学会 第24回年次大会 発表論文集 (2018年3月)

FrameNet を利用した談話関係の認識
加藤 恒昭 †李 凌寒*東京大学 大学院総合文化研究科

ryou0634@g.ecc.u-tokyo.ac.jp*; kato@boz.c.u-tokyo.ac.jp†

1

はじめに

談話関係認識とは、テキスト中の文や節といった談話単位の修辞関係や談話関係を同定するタスクであり、包括的な意味理解を必要とする自動要約や対話システムの高度化のために重要である。例えば、例 (1) では
２つの談話単位 Arg1 と Arg2 の間に、〈原因〉の談話関係が認められる。

(1) Arg1: I can’t go hiking tomorrow.
Arg2: It will be raining.
談話単位間にはしばしば「談話マーカ」（because などの接続詞）と呼ばれる明示的な (explicit) 手掛かりがあり、その場合の処理は比較的容易であるが、上記の例のように談話マーカが存在しない非明示的な(implicit) な談話関係認識は非常に困難である。現状の手法では談話単位内の単語といった表層的な情報のみを用いたモデルが主であるが、非明示的な談話関係を正確に捉えるためには、世界知識や常識を用いた推論が必要になると考えられる。
そこで本研究では、言語学知識データベースのFrameNet[1] の有用性を調査する。FrameNet は、フレーム意味論 [7] の「単語が使用されるとき話者はとある背景知識（フレーム）を前提にしてその語を使用している」という考えに基づき、1200 余りのフレームの知識をまとめており、特にフレーム間関係が談話関係認識に役立つことが期待される。本研究では FrameNetのシンボリックな知識をニューラルネットワークに入力するために、知識グラフ埋め込み（Knowledge GraphEmbedding）の手法 [2] を用いて、フレームの分散表現を獲得する。分散表現は FrameNet に記述されていない知識を補うことも期待できる。
実験として、談話関係認識で一般的に用いられる
the Penn Discourse Treebank (PDTB) を用いた非明示的な談話関係を分類するタスクを行う。PDTB では談話関係が階層的に分類されているが、今回は最上位の分類を行った。分類器として多層パーセプトロン（MLP）を用い、ベースラインとして単語埋め込み（Word Embedding）を入力とするエンコーダーを用いたモデルを採用する。フレーム情報を用いる際は、入力文で認識されたフレームのペアについて重み付けをし、それらの分散表現の重み付き和を MLP に入力する。
結果として、フレーム情報のみのモデルとランダムベースラインを比較したところ、フレームのモデルが有意に高い F 値を達成した。このことから、フレームは談話関係認識に有用な情報を持っていると考えられる。しかし、フレームと単語の情報を合わせたモデルと、単語のみのモデルを比較したところ、フレームの情報による F 値の有意な向上は見られなかった。原因として、(1) フレームから得られる情報がすでに単語埋め込みに含まれていること (2) 単純なフレーム間関係だけでは談話関係認識の手がかりにならないことが考えられる。

2

背景2.1談話関係認識

談話関係認識には、以前、人手で作成した特徴量を元に機械学習を用いる手法が用いられていた [10]。しかし最近では、煩雑な特徴量設計を必要としない単語埋め込みを用いた畳み込みニューラルネットワーク（CNN）[11] やリカレント・ニューラルネットワーク（RNN）[9] を用いたモデルが高い精度を上げている。
しかし、既存の手法では単語からの表層的な情報しか考慮することができず、その背景にある知識を用いることができない。そこで、次に紹介する FrameNetの情報がその欠点を補えるのではないかと考える。

2.2

FrameNet

FrameNet[1] は、フレーム意味論 [7] に基づき 1,221のフレームの定義に加え、フレームの意味役割 (frameelements; FEs)、フレームを喚起する単語 (lexicalunits; LUs) をまとめている。また、Inherits from/IsInheried of や Precedes/Is preceded by など全 13 種のフレーム間関係（frame-to-frame relation）が定義されており、これらが特に談話関係特定に役立つことが― 272 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

期待できる。例えば、precedes/is preceded by の関係
は Temporal の談話関係を認識するのに強力な手がかりになると予想される。

2.3

知識グラフの埋め込み

FrameNet のシンボリックな知識をニューラルネットワークに適した表現に変換するための、フレームの分散表現を得る手法について述べる。FrameNet のデータは、フレームを節点、フレーム間関係を辺とする知識グラフとみなすことができる。知識グラフを連続ベクトル空間に埋め込む手法は、知識グラフ補完の文脈で研究されてきたが、FrameNet のデータに応用した研究もあり [3]、そこでは TransE モデル [2] が欠損データの予測に関して最も高い精度を収めている。
そこで、本研究でも以下に説明する TransE モデルを採用する。
フレームの分散表現を得る際には、FrameNet に定義された全フレームを F 、７つのフレーム間関係（逆関係と See also を除いた）を R とし、関係の事例を表す三つ組 {(h, r, t)|h, t ∈ R, r ∈ F } の訓練データ
集合 S から、F と R の Df 次元ベクトル表現を学習する。TransE モデルでは関係は要素間の変換として表現され、ある関係 (h, r, t) が成立する場合、対応するベクトルは h + r ≈ t を満たし、そうでない場合
h + r は t から離れている。学習では以下の目的関数を最小化する。
∑∑
L=[γ+d(h+r, t)−d(h′ +r, t′ )]+′(h,r,t)∈S (h′ ,r,t′ )∈S(h,r,t)(1)[x]+ は max(0, x) を表す。γ > 0 はマージンを表すハイパーパラメーターであり, d には距離関数として L1または L2 ノルムが用いられる。集合 S ′ は、ある関係について成り立ちうる組み合わせ全ての集合であり、必ずしも成立しない負例として用いられる。

図 1: 単語とフレーム情報を考慮したモデル較する。最終的な分類には、単語またはフレームからの情報 r Args , r F rames を受け取り、談話関係の二値分類結果を出力する隠れ層一層を持つ MLP を用いる。
以下に単語またはフレームの情報をエンコードするモデルの詳細を記述する。

3.1

単語情報の利用

談 話 単 位 内 の 単 語 は 、訓 練 済 み の GoogleNews Vectors 1 で 初 期 化 さ れ た 単 語 埋 め 込 み
層 を 通 じ て 、Dw (=300) 次 元 の 分 散 表 現 の 並 び
Arg1
Arg2
[w1Arg1 , w2Arg1 , ..., wN], [w1Arg2 , w2Arg2 , ..., wN]
12へと変換される。これを以下に記述するエンコーダーによって、r Args ∈ RDa へと変換する。
単語エンコーダーとして、シンプルかつ比較的高い精度を達成している Zhang ら [11] のモデルを採用した。
このエンコーダーは 3 つのプーリング操作、average,min, max を用いて、入力となるベクトル列から固定長の特徴量を抽出する。

1 ∑wicavg =N i=1(3)

cmin = min(w1 , w2 , ..., wN )(4)cmax = max(w1 , w2 , ..., wN )(5)N′S(h,r,t)= {(h′ , r, t)|h′ ∈ E} ∪ {(h, r, t′ )|t′ ∈ E}

(2)

学習の際は、目的関数 L を単にノルムを大きくすることで小さくするのを防ぐため、要素ベクトルの L2
ノルムは 1 になるよう正規化される。本研究では先行研究 [3] にならい、γ = 1、距離関数 d は L1 ノルム、学習されるフレームの分散表現の次元は Df = 50 とした。

3min, max は入力となる行列の行からそれぞれ最小／最大値を抽出する。 これらのベクトルは縦に連結されたのち、非線形の tanh を通し、正規化され出力される。
Arg1 Arg1 Arg2 Arg2 Arg2
a = [cArg1
avg ; cmin ; cmax ; cavg ; cmin ; cmax ]手法

本研究では、単語の情報のみを考慮したモデルと、それをフレーム情報と合わせたモデル（図 1）とを比― 273 ―

r Args =tanh(a)|tanh(a)|(6)(7)

1 https://code.google.com/archive/p/word2vec/

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

3.2

フレーム情報の利用

フレームの分散表現をニューラル分類器に入力するために、固定長表現に変換する手法を説明する。
この手法は、談話関係認識で単語ペアについて重み付けをする Chen らの手法 [4] を参考にした。まず、Arg1, Arg2 をフレーム意味論に基づいたパーサー SEMAFOR[5] で解析し、認識されたフレームを前述の Df 次元の TransE ベクトルに変換し、
Arg2
Arg1] を], [f1Arg2 , f2Arg2 , ..., fM[f1Arg1 , f2Arg1 , ..., fM21得る。このうち、談話関係認識に関連する情報のみを得るために Arg1, Arg2 間のフレーム対に以下のように重みを計算する。

fiArg1si,j = z T tanh(Wa fjArg2
 + b a ) + bz
Arg1
Arg2fi− fj(8)exp(si,j )i,j exp(si,j )s′i,j = ∑(9)

ここで、TransE モデルの、ベクトルの差分が関係を表すという性質から f Arg1 − f Arg2 の項をフレーム間関係の情報として加える。最終的なフレームの表現r F rames は以下の通りとなる。

Arg1
fi
∑


(10)
r F rames =s′i,j fjArg2
Arg1
Arg2i,jfi
− fj

4

実験4.1

設定

実験データには、先行研究にならい、PDTB のうちセクション 2-20 を訓練セット, 0-1 を評価セット,21-22 をテストセットとして用いた。タスクは PDTBの一番上の階層の４つの関係についての正負の二値分類とした。表 1 に示されている通り、訓練データ内の正負例の分布が関係によって偏っているため、訓練の際はエポック毎に、正負例の数を揃えるようにダウンサンプリングを行った。

モデルの訓練について、最適化するパラメーター
は単語埋め込み Ew 、フレームに重み付けをする際の Wa , ba , z, bz 、また分類器の Wout , bout であり、フレームの分散表現は含まれない。訓練は全て訓練デー
タにおけるモデルの出力と正解ラベルとの交差エントロピー誤差を最小化することで行った。最適化アルゴリズムとして Adam [8] を用い、過学習を防ぐために評価セットでの F 値の最高値が 10 epoch 変わらなかった時点で訓練を打ち切り、評価セットで最高値を記録したモデルでテストセットの評価を行った。

4.2

予備実験として、テストセットのラベル分布に従ってランダムに予測するベースラインと、フレームのみの情報を用いるモデルの F 値を比較した結果を表 2 に示す。ランダムベースラインに比べ、フレームのみのモデルが 5 ポイントから 16 ポイントと有意に高い F値を達成している。従って、フレームは談話関係認識に有用な情報をある程度含んでいると考えられる。
表 2: ランダム/フレームのみモデルの比較（F 値）

Relation
Comparison
Contingency
Expansion
TemporalTrain
1928/10704
3237/9395
6988/5644
757/11875
12632

Dev
196/987
283/900
668/515
63/1120
1183

Test
151/895
272/774
573/473
85/961
1046

ランダム
14.43
26.00
54.78
8.12

フレームのみ
28.78
42.87
63.10
13.14

次に、単語情報のみのモデルと、それにフレーム情報を加えたモデルの F 値を比較した結果を表 3 に示す。フレームありのモデルは、ベースラインモデルに比べて最大 2 ポイント低いまたはわずかに 1 ポイント高い F 値を記録している。フレーム情報はパフォーマンスの向上に有意に寄与せずに、むしろ過学習を引き起こしていることが多いと考えられる。
表 3: フレームあり/なしモデルの比較（F 値）
関係
Comparison
Contingency
Expansion
Temporal

表 1: PDTB のデータラベルの分布Comparison
Contingency
Expansion
Temporal
Total

結果

5

単語のみ
39.61
53.14
68.71
33.19

単語・フレーム
37.30
53.47
68.54
32.51

分析

フレームの情報は、単語情報を考慮したモデルの改善に寄与しなかった。これには２つの主な原因が考えらえる：（１）FrameNet のデータ量では人間の複雑― 274 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

な知識を完全に表現することは難しく、単語埋め込みにフレームの情報とほぼ等価なものが既に含まれている;（２）談話関係認識は単純なフレーム間関係に注目するだけでは解くことができない。以下にそれぞれの分析を述べる。
（1）フレームが提供する情報として、単語の一般化が挙げられる。例えば、Sleep のフレームは LU として、asleep, drowse, nap, unconscious などを持ち、これらを睡眠に関連する単語として一般化する。しかし、大規模コーパスによって学習された単語埋め込みにも、同様の情報は含まれており、実際に sleep の単語ベクトルと他の単語のコサイン類似度をとると、上位 50 の単語のうちに Sleep の LU が大部分確認できる。さらに、フレーム間関係も同様に大規模コーパスから学習されている可能性がある。
また、FrameNet のデータ量が人間の世界知識を補うには小さすぎるということも考えらえる。FrameNet
は 1,221 フレームを要素として持ち、逆関係を除いた7 つの関係、要素間の 1,935 の関係例を持つが、他の知識データセット、例えば WordNet [6] の持つ 117,000要素、20 関係、500,000 の関係例に比べると、大幅に小さい。
（２）談話関係認識は、そもそもフレーム間関係に注目するだけで精度が向上するものではないという可能性がある。実験前の直感的な仮説として、precedesのフレーム間関係は Temporal の談話関係認識に有用である、というものがあった。しかし、フレームありモデルが実際にフレーム対に割り当てた重み s′ を調べると、モデルは Temporal の関係認識の際に precedesの関係に高い重みを割り当てているわけではないことが分かった。
原因として、訓練データ内のフレーム間関係の分布が考えられる。実際に precedes の関係が Temporalの訓練データ内でどのように分布しているかを調べると、4.7% (4/85) の正例が precedes の関係を持つフレームのペアを含む一方で、4.1% (48/951) の負例も同様に precedes のフレーム対を持つことが分かった。
precedes の関係が、正／負例にわたってほぼ同じ比率で分布しているため、Temporal の認識に precedes の関係を利用することが難しくなっていると思われる。
このような直感に反する言語学的素性の分布は他の談話関係においても報告されており（例：Pitler ら [10]の研究における、単語極性ペアの素性と Comparisonの談話関係）、単純な言語学的素性に注目するだけでは、談話関係認識の精度向上は難しく、より深い意味や文脈を捉えるような情報が必要であることが示唆される。

6

おわりに本研究では、FrameNet の談話関係認識への有用性を調査した。結果としてフレーム情報を加えることによる既存モデルの有意な精度向上は見られなかった。
今後の方向性として、人手で整備されたデータだけからでなく、タグ付けされていないテキストデータなどから、より大規模な知識を獲得する手法の研究などが挙げられる。
謝 辞 本 研 究 は JSPS 科 研 費#17H01831 お よ び#15K12873 の助成を受けた。ご支援に深く感謝する。

参考文献[1] C. F Baker. FrameNet: A Knowledge Base for Natural Language Processing. In Proc. of Frame Semantics in NLP A Workshop in Honor of ChuckFillmore, pp. 1–5, Baltimore, Maryland USA, 2014.
[2] A. Bordes, N. Usunier, A. Garcia-Duran, J. Weston, and O. Yakhnenko. Translating Embeddingsfor Modeling Multi-relational Data. In C J CBurges, L Bottou, M Welling, Z Ghahramani, andK Q Weinberger, editors, Advances in NIPS 26, pp.
2787–2795. Curran Associates, Inc., 2013.
[3] T. Botschen, H. Mousselly-Serigh, and I. Gurevych.
Prediction of Frame-to-Frame Relations in theFrameNet Hierarchy with Frame Embeddings. In
Proc. of the 2nd Workshop on Representation Learning for NLP, pp. 146–156, Vancouver, Canada, 2017.
[4] J. Chen, Q. Zhang, P. Liu, X. Qiu, and X. Huang.
Implicit Discourse Relation Detection via a Deep
Architecture with Gated Relevance Network. In
Proc. of the 54th ACL, pp. 1726–1735, Berlin, Germany, 2016.
[5] D. Das, D. Chen, A. F T Martins, N. Schneider,and N. A Smith. Frame-Semantic Parsing. Computational Linguistics, Vol. 40, No. 1, pp. 9–56, 2014.
[6] C. Fellbaum. WordNet: An Electronic LexicalDatabase. MIT Press, Cambridge, MA, 1998.
[7] Charles J Fillmore. Frame Semantics and the Natureof Language. Annals of the New York Academy ofSciences, Vol. 280, No. 1, pp. 20–32, 1976.
[8] D. P Kingma and J. L. Ba. Adam: A Method for
Stochastic Optimization. The International Conference on Learning Representations, pp. 1–15, 2015.
[9] Y. Liu and S. Li. Recognizing Implicit Discourse
Relations via Repeated Reading: Neural Networks
with Multi-Level Attention. In Proc. of the 2016
EMNLP, pp. 1224–1233, Austin, Texas, 2016.
[10] E. Pitler, A. Louis, and A. Nenkova. Automatic
sense prediction for implicit discourse relations intext. In Proc. of the ACL and the 4th IJCNLP ofthe AFNLP, pp. 683–691, Suntec, Singapore, 2009.
ACL and AFNLP.
[11] B. Zhang, J. Su, D. Xiong, Y. Lu, H. Duan, andJ. Yao. Shallow Convolutional Neural Network forImplicit Discourse Relation Recognition. In Proc. ofthe 2015 EMNLP, pp. 2230–2235, Lisbon, Portugal,2015.

― 275 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.