BERTはどのように逆接の談話関係を判定しているか─Attentionと品詞を手がかりとして─

本研究は、BERTが自然言語処理・計算言語学の中でも特に複雑な意味構造の把握が必要な逆接等の談話関係認識を行う際に、どのような品詞にAttentionを向けているかを明らかにする。分析の結果、BERTは談話関係認識において、各品詞に満遍なく注意を向けているものの、各layerやheadはそれぞれ異なる品詞に注意を向けており、アーキテクチャにおいてそれぞれのlayerやheadが異なる役割を果たしているという先行研究の結果が日本語における逆接等の談話関係認識においても同様に認められることが明らかになった。