言語モデルにおける共参照解決を担う注意ヘッドの分析

共参照関係を捉えることは言語理解に必要不可欠だが，言語モデルの内部でどのように実現されているかは十分に解明されていない．既存研究では初期のTransformerモデル（BERT）において，文字列一致や簡単な先行詞選択を行う注意ヘッドが特定されているものの，分析は短い入力に限定されている．本研究では，現代の言語モデルにおける共参照解決メカニズムの解明を目指し，長文データセットを用いて注意ヘッドを分析した．実験の結果，ルールベースの性能を上回る複数のヘッドを特定し，それらが協調的に先行詞選択に寄与していることが示唆された．