Minimal-pairParadigmデータセットにおけるトークン長バイアスの分析と改善

教師なし手法で言語モデルの言語能力を測るために，Minimal-pairparadigm（MPP）データセットがベンチマークとして用いられる．MPPでは，容認可能な文に対して容認不可能な文より高い対数尤度を予測したミニマルペアの割合によって，言語能力を評価する．この対数尤度は文長に影響されるため，容認可能な文と容認不可能な文の単語数を揃えることが通例である．しかしながら，近年の言語モデルは文をトークン化するため，単語数を揃えるだけでは不十分である可能性がある．本研究は，容認可能な文と容認不可能な文の間でトークン長が異なることで起きるバイアスが言語・データセット横断的に存在しており，トークン長を揃えることでバイアスが改善できることを示す．