BERTはどのように逆接の談話関係を判定しているか─Attentionと品詞を手がかりとして─

自然言語には、「また」や「しかし」といった、文や節の間にある意味的な関係・つながりを示す様々な表現が存在し、言語学・自然言語処理いずれの分野でも研究の対象となっている[1,2]。この意味的な関係は談話関係(discourserelation)と呼ばれ、談話関係がどのように決定されるかを解明することは、言語理解において意味的なつながりや構造がどのように把握されているかを解明することに繋がる。本研究では、Transformerベースの言語モデルであるBERT[3]が逆接等の談話関係を判定する際にどのような品詞に注意を向けているかを、モデルの推論時のAttentionWeightを分析することで明らかにする。また、BERTの各layerやheadがそれぞれ異なる言語的側面を捉えているという先行研究における知見[4,5]が、日本語においても同様に認められるか、さらに、複雑な意味構造の把握を必要とする逆接等の談話関係認識においても認められるかを明らかにする。これらの問いに答えるために、本研究では、逆接等の談話関係認識に特化したデータセットでBERTをﬁne-tuningして談話関係認識モデルを構築したあと、testデータに対するモデルの推論において、分類問題における予測を総合的に表現するとされる[CLS]トークンからのAttentionWeightを分析することで、モデルがどのような品詞に注意を向けて談話関係認識を行っているかを検証する（図1）。その際に、モデルの各layerやheadごとにも分析を行う。分析の結果、BERTは日本語談話関係認識において、全体としては入力トークンの品詞に一定程度満遍なく注意を向けていることが明らかになった。また、英語を対象とした先行研究が示すのと同様に、各layerやheadが最も強い注意を向けている品詞はそれぞれ異なり、日本語談話関係認識においてもアーキテクチャにおける個々の要素がそれぞれ異なる役割を果たしていることが示唆された。本研究の結果は、自然言語処理や計算言語学の視点から、言語における意味的な構造の把握のなかでも、特に逆接がもつ暗黙の推論関係がどのように認識されるかの解明に寄与するものとして位置づけられる。