言語処理学会 第26回年次大会 発表論文集 (2020年3月)

意味表現 N3: Non-loss Normalized Network
弘中 智彦

井出 竜鳳

下村 光彦

大洞 日音

倉田 伊織

永田 基樹

森 遼太

株式会社 pluszero
E-mail: {hironaka.tomohiko, ide.ryuhoh, shimomura.mitsuhiko, daido.hinari, kurata.iori,
nagata.motoki, mori.ryota}@plus-zero.co.jp

はじめにAMR のグラフにおいては，各頂点がインスタンス(具体的な対象) もしくはクラス (性質) のいずれかを表与えられた文章を読解して質問に対して適切な回答す．図 1 の場合，“boy”, “want-01”, “go-01” がクラスをする機械読解タスクは，コールセンターや検索エンであり，それ以外のラベル付けされていない頂点がイジンをはじめ幅広い応用先がある分野であり，近年注ンスタンスを表す．instance-of 関係は，「ある対象があ目を集めている．
る性質を持つ (クラスに属する)」という関係を一般化
機械読解に対して現在有力とされている手法に，Neuしたものである．例えば “boy” とラベル付けされた頂
ral Network (NN) がある．ベンチマークとして広く用点と instance-of 関係を持つ頂点があるが，これは，「こいられている SQuAD[1] において最も高い F1 スコアの頂点が表す対象が “boy” であるという性質を持つ」
を出した手法 [2] も NN をベースにしており，人間をことを意味する．また，“want-01”, “go-01” といった上回る正答率を出している．しかし，NN ベースの手動詞でラベル付けされたクラスに対しては，対応する法は，distract 文と呼ばれる質問文には関係ない文をインスタンスはイベントと呼ばれ，「1 つの出来事」を挿入すると正答率が大きく落ちるという問題 [3] が知表す．
られていて，文章の意味を理解して読解しているわけ
AMR は，論理式による表現に変換することができではない．
る．図 1 を論理式に変換すると式 (1) のようになる．
文章の意味を正しく理解して読解問題に回答するた
めに，自然言語をまず中間形式に変換するという手法∃w, b, g :が考えられる．異なる意味を持つ文章は異なる中間形
instance(w, want-01) ∧ instance(g, go-01)∧(1)式に対応し，異なる文章でも意味が同じであれば同じinstance(b, boy) ∧ arg0(w, b)∧
中間形式に対応することで，文章の意味を反映し，文arg1(w, g) ∧ arg0(g, b)
字情報より本質的な意味を扱うことができる．
すでに知られている中間形式として，Abstract Meanグラフ表現においてラベル付けされていない 3 つのing Representation(AMR)[4] が存在する．しかし 4 章 頂点は，論理式表現においては “w”, “b”, “g” としてで示すように，読解問題に適用するためには AMR の ラベル付けされている．
表現力では不足している．本研究では，新しい中間表
3 N3 の基本構造
現の形式として Non-loss Normalized Network(N3) を本論文で提案する N3 形式には 2 つの特徴がある．
提案する．
AMR との対応のため，“A boy wants to go.” という2 AMR の基本構造
文章を N3 によって表現すると図 2 のようになる．
AMR は複数の頂点とそれらの間の関係からなるグboy
ラフ構造となっている．例えば，“A boy wants to go.”Instance-Of#1.1.1.2という文章の意味を AMR によって表現すると図 1 の?1
argS
argSようになる．
want#1.1.1.1 go#1.2.1.1

1

argdO
#1.2.0.0

ARG1

図 2: “A boy wants to go.” の N3

ARG0

instance

ARG0

instance

want-01
instanceboygo-01

図 1: “A boy wants to go.” の AMR“?1” はインスタンスを意味するノードであり、AMR論理式表現における “b” に対応する。
AMR と異なる点を以下に示す．

― 1491 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

• Event Identifier の導入

studentargS

AMR にはない N3 の特徴として，Event Identihave#1.1.1.1
fier を導入したことがあげられる．Event IdenargdO
pentifier はそれぞれの関係 (グラフのエッジに対応)
図3:(a.1),(a.2)のN3(インスタンスなし)
に対して一意に割り当てられ，「いくつかの関係をまとめて 1 つの出来事 (イベント) とみなす」
dents have a pen?” という質問文が与えられたということを表現する．#a.b.c.d という Eventとする．これは，後者の文が成立するかどうかをIdentifier に対して，a を「文番号」，b を「イベ問うものであるが，前者の文が本文にあるとそント番号」，c を「DTS 番号」，d を「リレーショれを根拠にして “Yes” と回答してしまうが，こン番号」と呼ぶ．文番号は同じ文に対して同じ番れは正答ではない．このような問題を解決するた号を割り当て，イベント番号は同じ出来事に関め，インスタンスとクラスの分割は必要である．
する意味表現に同じ番号を割り当てることで，複AMR の問題点と N3 による解決数の関係のまとまりを示すことができる．DTS 4[4] においては，AMR を用いて表現できない意味と番号は，DTS(Dependent Type Semantics)[5] を由来としたまとまりであり，後述 (4 章) のよう して「時制・数量・全称量化子・反実仮想」の 4 点を例「否定」に関しては上記論文ではに「条件」を表すために用いられる．リレーショ に挙げている．また，AMRで表現可能であると主張しているが，適切な意
ン番号は全ての関係 (リレーション) に対して異なる番号を割り当てる．また，Event Identifier 味表現ではない．AMR のこれらの欠点は，N3 によっのそれぞれの番号は，1-indexed とし，同じ番号 て解決される．すなわち N3 は，上述の 5 点を適切にでのまとまりそのものを示すために “0” を使う． 表現できるような意味表現となっている．以下，これ
例えば，#1.2.0.0 という Event Identifier は，文 らの 5 点に関する例文と，AMR・N3 それぞれによる番号 1, イベント番号 2 を持つリレーションの集 意味表現を示し，N3 により適切に表現可能であることを示す．
合を指す．
• 時制

• イベントのインスタンスの省略
AMR においては，出来事を表すイベントをインスタンスと扱い，動詞そのものをクラスとして扱っていた．図 1 の AMR 表現では，w と g をインスタンス，“want-01” と “go-01” をそれに対応するクラスとしている．これに対して，N3 においては図 2 からわかるように，“want”, “go” に対応するイベントはそれぞれ#1.1.0.0，#1.2.0.0であり，インスタンスとクラスの区別をしていな
い．SQuAD の一部の問題に対して検討を行い、イベントにおけるインスタンスとクラスの区別をしなくても、読解問題に正確に回答する上で問題はないことを確認している。
ただし，具体物 (“boy”) に対しては，インスタンスとクラスの区別を行っている．必要性を示すため，以下の 2 つの文を考える．

(a.1) A student has a pen.
(a.2) Students have a pen.
これを，インスタンスを導入せずに表現すると，どちらも図 3 のようになる．
この 2 つの文の意味が区別できないことは，読解問題への応用上問題がある．例えば，“Do stu-― 1492 ―(1.1) A boy will go.
(1.2) A boy goes.

ARG0

instance

instance
go-01boy

図 4: (1.1), (1.2) の AMR
boywill

Instance-Of#1.1.1.2?1boy
Instance-Of#1.1.1.2

modify#1.1.1.3

argS
go#1.1.1.1 #1.1.0.0

図 5: (1.1) の N3?1
argS
go#1.1.1.1

図 6: (1.2) の N3

AMR には時制の表現方法が存在しないため，どちらの例文も意味表現が図 4 のようになり，意味を区別することができない．一方 N3 を用いた意味表現では，Event Identifier によって 1 つの単位の出来事を扱っている．そのため，「出来事そのもの」と「その出来事に関する情報」をまとめて扱える．これが AMR との大きな違いである．例文 (1.1) の意味は「ある対象 (boy) が “go”という行動をする」という出来事と「その出来Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

事が未来のことである」という 2 つの意味に分donkey

けることができる．N3 を用いた意味表現においInstance-Of#1.1.1.2て，前者は#1.1.1.1, 後者は#1.1.1.3 によって意?2

donkeyfarmer

Instance-Of#1.1.2.1
own#1.1.1.1

?2

argdO
Instance-Of#1.1.1.4
own#1.1.1.1

argS ?1

味を表現しているが，この 2 つの ID は Event 番号が一致しており，この 2 つの意味が同じ出来

argS ?1

modify#1.1.2.2
varfunc.every

oldmodify#1.1.1.2

conditionold#1.1.2.0

事に関するものであることを意味する．

farmer

Instance-Of#1.1.1.3
argdO

図 11: (3.1) の N3

図 12: (3.2) の N3

• 数量す必要がある．この「条件」は出来事ではない(2.1) A boy eats an apple.

ため，イベント変数ではなく DTS 変数を用いて意味のまとまりを表現する．

(2.2) A boy eats two apples.

• 反実仮想ARG1
ARG0(4.1) John knows that Mary came.

instance

instance(4.2) John believes that Mary came.

instance
eat-01boyapple

図 7: (2.1), (2.2) の AMR

ARG0Johnapple

apple

ARG0

Instance-Of#1.1.1.3

boy

Instance-Of#1.1.1.3?2?2

instance

argdO Instance-Of#1.1.1.2
eat#1.1.1.1
argS ?1

ARG0
Johninstance
ARG1

instance

ARG0

believe-01
instance

boycome-01

Mary

argdO Instance-Of#1.1.1.2

eat#1.1.1.1
func.amount#1.1.1.4 argS ?1

図 13: (4.1) の AMR
John

図 9: (2.2) の N3

AMR には数量の表現方法が存在しないため，どちらの例文も意味表現が図 7 のようになり，意味を区別することができない．一方 N3 においては時制のときと同様，「ある男の子がりんごを食べる」と「そのリンゴは 2 つである」という 2 つの意味に分けて表現し，Event Identifier によって同じ出来事に関するものであることを表現する．
• 全称量化子(3.1) Every old farmer owns a donkey.

come-01Mary

図 14: (4.2) の AMR
JohnMaryMary

argS

argS

argS

argS

know#1.1.1.1

come#1.2.1.1

believe#1.1.1.1

come#1.2.1.12

図 8: (2.1) の N3

know-01

ARG1

argdO

argdO

func.factive#1.2.1.2#1.2.0.0#1.2.0.0

図 15: (4.1) の N3

図 16: (4.2) の N3

上の 2 つの文章の意味に関して補足する．文章(4.1) においては従属節 “Mary came.” が事実であることが従うが，一方で (4.2) という文章においては事実とは限らない，という違いがある．
これは，“know” が叙実的動詞 (factive verb) であり，“believe” はそうでないという違いから生じる．
• 否定(3.2) An old farmer owns a donkey.

(5.1) The boy does not go.
ARG1ARG0
instance

instance(5.2) The boy goes.

own-01
modinstancedonkeyinstance
farmerold

図 10: (3.1), (3.2) の AMR
全称量化子は，“func.every” によって表される．

“condition” は条件であり，「?1 が farmer である，かつ?1 が old である」という意味のまとまりを指している．#1.1.1.0 で表される意味表現にこの条件を満たす?1 を代入すると真となる，ということが N3 グラフ (図 11) の意味である．

Banarescu et al. (2013) によると，AMR を用いて否定文が表現できるとして，具体的な例文(5.1) における AMR の例 (図 17) を挙げている．
また，これを論理式に変換すると (2) のようになる．
∃g, b : instance(g, go-01)∧
instance(b, boy) ∧ arg0(g, b)∧(2)porality(g, −)図 11 において条件は 2 つのリレーション (#1.1.2.1と#1.1.2.2) で表されており，それらの関連を示― 1493 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

polarity
ARG0

instance

ーinstance

instance

go-01

go-01

boy

図 17: (5.1) の AMR
boy

argS
go#1.1.1.1

図 18: (5.2) の AMR
boy

Instance-Of#1.1.1.2

func.not#1.1.1.3
not

図 19: (5.1) の N3argSを提案した．既存研究において知られている AMR は，語の活用による時制や数量の情報と全称量化子，現実と反実仮想の区別，否定を扱えないことが問題となっInstance-Of#1.1.1.2?1

本研究では，自然言語を機械で処理するための意味表現の形式として Non-loss Normalized Network(N3)instanceboy

おわりに6

ARG0ているが，N3 ではこれらの問題は発生しない．

?1

既存の NN ベースの機械読解手法を，入力を自然言go#1.1.1.1

語から N3 に変換してから適用することで，文章の意

図 20: (5.2) の N3

味をより理解して読解問題に回答できることが期待さ

一方，例文 (5.2) の AMR 表現 (図 18) に対応すれる．また，意味を正確に表現するという N3 の特徴る論理式による表現は (3) のようになる．

を機械読解に生かすため，意味表現グラフの類似度を計算する手法 [6] と組み合わせることを検討している．

∃g, b : instance(g, go-01)∧
instance(b, boy) ∧ arg0(g, b)(3)

現状，代表的な読解データセットである SQuAD1.1の本文と質問文，加えて文法書 Evergreen[7] の例文において検討を行い，N3 を用いて表現可能であること
論理式 (2) は論理式 (3) を含意するが，これは， を確認している．より広範な文章において意味を表現

AMR の表現 (2) が文章 (5.1) の意味を正しく意味を表現できていないことを意味する．

可能であることを確認し，必要に応じて拡張すること

N3 による意味表現 (19) においては，この問題は発生しない．文章 (5.1) の意味を “The boy goes.”と「それを否定する」という 2 つの意味に分けることは AMR と同様だが，Event Identifier を用いることで「その 2 つの意味がひとまとまりである」と表現できるためである．

参考文献

が，今後の課題である．

[1] Rajpurkar, Pranav, et al. “Squad: 100,000+questions for machine comprehension of text.”
Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing,2016.
[2] Lan, Zhenzhong, et al. “Albert: A lite bert for
5 議論
self-supervised learning of language representaAMR は，「本文が与えられ、質問文に対して回答すtions.” arXiv preprint arXiv:1909.11942, 2019.
る」という機械読解タスクには適していない表現方法[3] Jia, Robin, and Percy Liang. “Adversarial examである．なぜなら，このタスクにおいては本文の意味
ples for evaluating reading comprehension sysを正確に表現することが重要であるからである．AMRtems.” Proceedings of the 2017 Conference on
は 4 章で述べたように，特定の種類の文章の意味が区
Empirical Methods in Natural Language Pro別できないという問題点があり，この問題点は，機械読cessing, 2017.
解タスクの正解率の低下に直接関わる．AMR において
[4] Banarescu, Laura, et al. “Abstract meaning repは，(a)“The boy doesn’t go.” と (b)“The boy goes.”
resentation for sembanking.” Proceedings of theという 2 つの文章の意味を区別できない．質問文とし7th Linguistic Annotation Workshop and Interて “Does the boy go?” が与えられたとき，文章 (a) がoperability with Discourse, 2013.
[5]Bekki,
Daisuke, and Koji Mineshima. “Context本文にあったときには “No”，文章 (b) が本文にあっpassing and underspecification in dependent
たときには “Yes” という答えが期待されるが，本文をtype semantics.” Modern perspectives in typeAMR によって表現する場合，2 つの文の意味が区別でtheoretical semantics. Springer, Cham, pp. 11きないため，本文に文章 (a) と文章 (b) のどちらがあっ
41, 2017.
た場合でも同じ答えを返すことしかできない．これは，[6] 下村 光彦, ほか. “意味表現 N3 (Non-loss NormalAMR を中間的な意味表現として採用している限り回
ized Network) とグラフマッチングによる機械読避できない，原理的な問題点であるが，意味表現とし解エンジン”. 言語処理学会 2020 投稿済み, 2020.て N3 を用いることで回避できる．そのため，意味が[7]川崎芳人, ほか. “総合英語 Evergreen”. いいずな
区別できないことによる問題は発生せず，AMR より書店, 2007.
機械読解に適した意味表現と言える．

― 1494 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.