Minimal-pairParadigmデータセットにおけるトークン長バイアスの分析と改善

容認性判断タスクは与えられた文が人間にとって容認可能かを判定するタスクであり，言語モデルの言語知識を測定する際に用いられる[1,2]．最も広く使われている容認性判断コーパスはCoLA（CorpusofLinguisticAcceptability）[3]であり，言語知識の測定には分類器の教師あり学習が必要である．しかしながら，そのような分類器を用いた測定は，言語モデルが言語知識を事前学習時に獲得したのか，それとも分類器の教師あり学習時に獲得したのかの区別が難しいという問題がある[4]．この問題を解決するために，教師なし手法による容認性判断が注目されている．その中でも，Minimal-pairParadigm（MPP）データセットを利用したアプローチが主流となっている．[4,5,6]．MPPデータセットは，一単語のみ異なるような容認可能な文と容認不可能な文のペアであるミニマルペア容認可能な文容認不可能な文Thaticevaporized.Thaticeresembles.a(文長：4)(文長：4)トークン化Thaticevaporized.Thaticeresembles.(トークン長：5)(トークン長：4)b対数尤度を計算logPLM=-34.5<-6.0-10.1-9.8-5.3-4.9-6.0-10.1-10.6-7.9logPLM=-36.0c例．（a）同じ文長である元のミニマルペア，（b）トークン長バイアスの例，（c）対数尤度とトークン長の比例関係．の集合で構成される[7]．言語モデルの言語知識は，モデルが容認可能な文に対して容認不可能な文よりも高い容認度を割り当てるミニマルペアの割合に基づいて評価する．評価では，各ミニマルペアで容認度を予測する必要があり，文の対数尤度が一般的に使用されている．この指標は，言語モデルが正しい言語知識を獲得しているならば，容認可能な文に対して容認不可能な文よりも高い対数尤度を推定するという仮定の下で使用されている．文の対数尤度が容認度としてMPPデータセットで用いられているが，各ミニマルペアにおける容認可能な文と容認不可能な文の単語数を揃える必要があるという制約が存在する．これは，文の対数尤度は文の長さに比例して小さくなることが知られてい.るためであり，正しい性能評価を行うためには必要不可欠な制約である（図1-a）[4]．しかし，GPT-2[8]やBERT[9]のような現在使用される事前学習済み言語モデルを評価するには，不十分な制約である可能性がある．なぜなら，事前学習済み言語モデルは文をサブワード単位でトークン化するため，単語数は同一な容認可能な文と容認不可能な文においても，トークン長では異なる可能性がある（図1-b）．そして，対数尤度はトークン長にも影響されることが知られているため[10]，このようなトークン長の差はトークン長バイアスを引き起こし，評価結果に影響を与える可能性がある（図1-c）．しかしながら，MPPデータセットにトークン長バイアスを引き起こすようなミニマルペアが存在するのか，また評価結果にどのような影響が生じるかは自明でない．そこで本研究は，トークン長バイアスがMPPデータセットを用いた評価に与える影響について分析した．まず，MPPデータセットの言語や種類を問わず，ミニマルペアの容認可能な文と容認不可能な文のトークン長が異なると，評価に悪影響を及ぼすことを示す．加えて，トークン長で正規化した対数尤度は，トークン長バイアスを軽減できるか検証する．これは，対数尤度はトークン長と負の相関があるため[10]，トークン長で対数尤度を正規化することでトークン長バイアスの影響を軽減できる可能性があるからである．そのため本論文では，「トークン長バイアスはMPPデータセットの評価結果に影響するか？」と「トークン長で正規化した対数尤度はトークン長バイアスを軽減できるのか？」という