深層距離学習を用いた動詞の意味フレーム推定

動詞の意味フレーム推定は、テキスト中の動詞を、その動詞が喚起する意味フレームごとにまとめるタスクである。たとえば、表1に示されるFrameNet[1,2]の8つの用例の場合、各動詞が喚起するフレームごとにグループ化し、4つのクラスタを形成することが目標となる。意味フレーム推定において、ELMo[3]やBERT[4]などの文脈化単語埋め込みの有用性が報告されている[5,6,7]。図1(a)はFrameNetに含まれる用例中の動詞の事前学習済みBERT(VanillaBERT)による埋め込みをt-SNE[8]で2次元にマッピングした結果である。動詞「cover」の用例(1)と(7)は空間上で離れている一方、同じTopicフレームを喚起する動詞の用例(7)と(8)は近くに位置しており、ある程度、意味フレームの違いを反映した埋め込み空間であるといえる。しかし、同じフレームを喚起する動詞が離れた位置に存在するケースも散見される。たとえば、同じRemovingフレームを喚起する動詞の用例(5)と(6)は互いに離れた位置に存在している。これはVanillaBERTの埋め込み空間が、意味的に似た事例が近い位置に、異なる事例が離れた位置になるとフレーム用例Filling(1)Shecoveredhermouthwithherhand.(2)Iﬁlledanotebookwithmyname.Placing(3)Youcanembedgraphsinyourworksheet.(4)Heparkedthecaratthehotel.Removing(5)Volunteersremovedgrassfromthemarsh.(6)They’ddrainedthedropfromtheteapot.Topic(7)Eachdatabasewillcoveraspeciﬁctopic.(8)Chapter8treatstheeducationaladvantages.(1)(2)(3)(4)(5)(6)(7)(8)(a)VanillaBERT(b)Fine-tunedBERTw/AdaCosングされたBERTによる動詞の埋め込みの2次元マッピング。各色(形)はFilling(•)、Placing(×)、Removing(■)、Topic(+)フレームを示し、数字は表1と対応する。いう人の直観と常に一致しているわけではないことを意味している。本研究では、フレームに関する人の直観をより強く反映した意味フレーム推定手法を実現するため、コーパス内の一部の述語に対してアノテートされたデータの存在を仮定する教師あり意味フレーム推定タスクにおいて、深層距離学習に基づき文脈化単語埋め込みをファインチューニングすることで、高精度な意味フレーム推定を実現する手法を提案する。深層距離学習は、同じラベルの事例を埋め込み空間上で近づけ、異なるラベルの事例を遠ざける学習を行うものであり、教師データに基づく埋め込み空間の調整が期待できる。図1(b)は代表的な深層距離学習手法の1つであるAdaCos[9]を用いてファインチューニングしたBERTによる埋め込みの2次元マッピングである。VanillaBERTにおいて同じ意.味フレームを喚起する動詞の用例であるにも関わらず、距離が離れていた用例(3)と(4)、用例(5)と(6)が、AdaCosを用いてファインチューニングしたBERTでは、互いに近い位置に存在していることが確認できる。これは、深層距離学習によって、意味フレームに関する人の直観をより反映させた埋め込み空間が得られたことを示している。