言語モデルにおける共参照解決を担う注意ヘッドの分析

共参照解決は表層的なパターンマッチを超えた言語理解をどの程度獲得しているかを評価する上で重要であるが[1–3]，言語モデルが共参照関係をどのように解決するのかは明らかにされていない．既存研究では，言語モデルの中で共参照解決に主に貢献しているのはマルチヘッド注意機構であり，共参照解決に寄与するヘッドは先行詞トークンへ強い注意を向けるという仮説のもと，注意ヘッドの分析が行われている．例えば，先行研究[4]では初期のTransformerモデル（BERT）を分析し，文字列一致や簡単な先行詞選択を行う注意ヘッドを特定した．ただし，初期のモデルを対象としている点や，分析に用いるデータの入力長が短く近年の言語モデルの長文脈処理を反映していない点などの制約がある．また，注意ヘッドの先行詞選択性能はパターンマッチのルールベースによる性能を上回っていないため，そのヘッドが単なる文字列一致等を扱うヘッドであるか，表層的な理解を超えた共参照解決も行っているヘッドであるかは不明である．本研究では，現代の言語モデルにおける共参照解決メカニズムの解明を目指す．その初歩として，共参照関係の一部である先行詞選択に着目し，平均約1,592トークンと長文であるBookCorefデータセット[5]を用いて，近年のデコーダ言語モデルがどのように先行詞選択を行うかをヘッドレベルで分析した．実験では，メンション間の注意スコアに着目し，各ヘッドのスコアと共参照関係の有無の相関を分析するとともに，各ヘッドを注意スコアによる先行詞選択モデル[6]として評価した．さらに，ルールベースの先行詞選択手法[7]との比較を行うことで，ヘッドが表層的なパターンマッチを超えて共参照関係を真に捉えているかを検証した．その結果，各ヘッドの注意スコアと共参照関係の有無に相関があることを確認した．また，中間層のヘッドにおいて，ルールベースによるベースラインの性能を大きく上回るヘッドが観察され，表層レベルを超えたより深い言語理解を実現している可能性が示された．定性分析では，高スコアの注意ヘッドが距離的に遠く，ルールベースでは解決できない共参照を解決している結果が得られた．さらに，特定の1つのヘッドではなく，中間層の複数のヘッドが協調的に先行詞選択に寄与していることを示唆する結果が得られた．