概要

1　はじめに
容認性判断タスクは与えられた文が人間にとって容認可能かを判定するタスクであり，言語モデルの言語知識を測定する際に用いられる[1, 2]. 最も広く使われている容認性判断コーパスはCoLA (Corpus of Linguistic Acceptability)  [3]であり，言語知識の測定には分類器の教師あり学習が必要である．しかしながら，そのような分類器を用いた測定は，言語モデルが言語知識を事前学習時に獲得したのか，それとも分類器の教師あり学習時に獲得したのかの区別が難しいという問題がある[4].この問題を解決するために，教師なし手法による容認性判断が注目されている.その中でも, Minimal-pair Paradigm（MPP）データセットを利用したアプローチが主流となっている． [4, 5, 6].  MPPデータセットは，一単語のみ異なるような容認可能な文と容認不可能な文のペアであるミニマルペア(a)同じ文長である元のミニマルペア、（b）トークン長バイアスの例，（c）対数尤度とトークン長の比例関係.の集合で構成される[7]. 言語モデルの言語知識は,モデルが容認可能な文に対して容認不可能な文よりも高い容認度を割り当てるミニマルペアの割合に基づいて評価する．評価では，各ミニマルペアで容認度を予測する必要があり，文の対数尤度が一般的に使用されている．この指標は，言語モデルが正しい言語知識を獲得しているならば，容認可能な文に対して容認不可能な文よりも高い対数尤度を推定するという仮定の下で使用されている.文の対数尤度が容認度としてMPPデータセットで用いられているが，各ミニマルペアにおける容認可能な文と容認不可能な文の単語数を揃える必要があるという制約が存在する．これは，文の対数尤度は文の長さに比例して小さくなることが知られているためであり，正しい性能評価を行うためには必要不可欠な制約である（図1-a）[4].しかし，GPT-2 [8]やBERT [9]のような現在使用される事前学習済み言語モデルを評価するには，不十分な制約である可能性がある。なぜなら，事前学習済み言語モデルは文をサプワード単位でトークン化するため，単語数は同一な容認可能な文と容認不可能な文においても，トークン長では異なる可能性がある（図1-b）.そして，対数尤度はトークン長にも影響されることが知られているため[10]，このようなトークン長の差はトークン長バイアスを引き起こし，評価結果に影響を与える可能性がある（図1-c）、しかしながら，MPPデータセットにトークン長バイアスを引き起こすようなミニマルペアが存在するのか，また評価結果にどのような影響が生じるかは自明でない.そこで本研究は，トークン長バイアスがMPPデータセットを用いた評価に与える影響について分析した.まず，MPPデータセットの言語や種類を問わず，ミニマルペアの容認可能な文と容認不可能な文のトークン長が異なると，評価に悪影響を及ぼすことを示す.加えて，トークン長で正規化した対数尤度は，トークン長バイアスを軽減できるか検証する.これは，対数尤度はトークン長と負の相関があるため[10],トークン長で対数尤度を正規化することでトークン長バイアスの影響を軽減できる可能性があるからである.そのため本論文では,「トークン長バイアスはMPPデータセットの評価結果に影響するか？」と「トークン長で正規化した対数尤度はトークン長バイアスを軽減できるのか？」という2つの研究課題を明らかにすることを目的に分析を行った．本研究の貢献は以下の通りである： • MPPデータセットではトークン長バイアスが生じており，モデルの言語能力を正しく評価できないことを明らかにした. •正規化対数尤度はトークン長バイアスを軽減できず，誤った評価結果になることを示した. •ミニマルペアのトークン長を揃えることでトークン長バイアスを改善する手法を提案し，ケーススタディとしてBLiMPデータセットの改善を行うことでその有効性を分析した.
2   関連研究
MPPデータセットは，BLiMP [4]のようなモデルの文法知識を評価するものが多かったが，現在では社会的偏見の度合いを評価するCrowS-Pairs [5]や上位・下位概念の認識度合いを評価するCOMPS [6]などが登場している．また，MPPデータセットの多くは，英語の言語知識の評価に焦点を当てている．しかし，英語以外の言語モデルの言語知識を測定する必要性から，様々な言語のMPPデータセットが提案されている. 例えば，SLING [11]やJBLiMP [ 12 ],  Arabic minimal pairs  (Arabic MP)  [ 13 ], French CrowS-Pairs [14]などがある. MPPデータセットにおいて，一般的に文の対数尤度が容認度として使用される[4, 5].  GPT-2のような自己回帰言語モデルでは，連鎖規則を適用して各トークンの確率を合計することで，文の対数尤度を容易に推定することができる.文Sが与えられたとき，文の対数尤度logPlm(S)は，すでに出力されたトークンS<1 := (w1, ...,st-1)から各トークンs,を予測する条件付き対数確率の和として計算される.これは次のように表される：
一方，BERTのような双方向文脈表現を使用するマスク言語モデルでは，文の対数尤度を直接推定することができない[9].代わりに，Pseudo- log-likelihood（PLL）が用いられる[15].  PLLでは,トークンs,をマスクし,その前後のトークンS\r := (s1, ..., s1-1, s1+1, ..., s1sl)を用いてトークンの対数確率を予測する.マスク言語モデルにおいて，文のPLLlogPmlm(S)は，各トークンの条件付き対数確率log P MLM ( s t | S \ t )の和として計算でき，次式で表される：
PLLはマスク言語モデルにおいて文の対数尤度を推定することを可能としたが，語彙外の単語のPLLを過大評価してしまうという問題がある．この問題を克服するために，Kaufら[10]はPLLに代わる計算手法としてPLL-word-l2rを提案した．対数尤度を予測したいサプワードトークンsw,のみをマスクするのではなく，語彙外の単語を構成する将来のサプワードトークンsws,をマスクすることで，PLLを推定する．PLL-word-l2rは文の対数尤度を以下のように推定する：

3　研究課題の調査方針
3.1 調査観点1：トークン長バイアス
本研究では，容認可能な文と容認不可能な文におけるトークン長の差がMPPデータセットを用いた評価に対する影響を調査する．そのために，各MPPデータセットにおいて，容認可能な文のトークン長（A）が容認不可能な文のトークン長（U）と比較して、同じか、長いか、短いかでミニマルペアを分類した（以降それぞれの分類をa=u,  a>u,  a<uと示す). もし，トークン長バイアスがMPPデータセットを用いた評価に影響しないのであれば、全ての分類において精度は同じであり，変化しないはずである. そのため，A>UとA<Uの精度をA=Uの精度と比較することでMPPデータセットにおけるトークン長バイアスを分析する．具体的には，容認可能な文から容認不可能な文を引いたものをトークン長の差とし，トークン長の差と精度の変化を観察する.
3.2 調査観点2：対数尤度の正規化
対数尤度はトークン長に比例するため，対数尤度をトークン長で正規化することで，トークン長バイアスを軽減できる可能性がある．実際に先行研究[16, 17, 12]では，トークン長の影響を軽減するために，正規化した文の対数尤度を使用している．彼らはMeanLP，PenLP，SLOR [18]のような正規化手法を用いて文の対数尤度を正規化した．しかしながら，このような正規化手法がMPPタスクにおいて有効であり，文の対数尤度を正しく正規化できるかどうかは不明である．そこで本研究では，MPPデータセットにおいて文の対数尤度をトークン長で正規化することが有効かどうかを分析する.本研究では，正規化手法としてMeanLPとPenLPを用いる.  MeanLPとPenLPはどちらもトークン長で対数尤度を正規化するが，PenLPはトークン長を係数αでスケーリングする．本研究ではα = 0.8に設定した.  MeanLPとPenLPはそれぞれ以下のように計算される：
本研究では，正規化した文対数尤度とトークン長の相関を観察することにより，正規化した対数尤度がトークン長バイアスを緩和できるか調査した.
4 実験
4.1モデル
トークン長バイアスがモデルの種類によらず生じる現象であることを示すために，自己回帰言語モデルとしてGPT-2 [8],マスク言語モデルとしてBERT [9]とRoBERTa [19]を使用した．使用した各モデルの詳細を付録Aの表1に示す.マスク言語モデルの対数尤度は，PLL-word- l2r [10]で算出した．文の対数尤度を予測するのには，minicons [ 16 ]を使用した．
4.2データ
英語のMPPデータセットとして，BLiMP [4]とCrowS-Pairs [5], COMPS [6]を使用した.また,英語以外の他言語のMPPデータセットとして, JBLiMP [ 12 ]とFrench CrowS-Pairs [ 14 ],  Arabic MP [ 13 ]を使用した.各モデルにおけるMPPデータセットのA=U,  A>U,  A<Uのデータ数を付録Bの表2に示す.
4.3実験結果
トークン長の差と評価  MPPデータセットにおけるトークン長の差が精度に対してどのような影響を与えるのか分析した．実験結果を図2に示す．結果として，容認可能な文が容認不可能な文よりも長いとき（A>U）モデルは容認不可能な文に対して高い対数尤度を付与しやすく，精度が大きく落ちてしまうことが判明した．一方で，容認可能な文が容認不可能な文よりも短いとき(a<u),モデルは容認可能な文に対して高い対数尤度を付与しやすく、精度が大きく上がることが示された.この現象はすべてのMPPデータセットにおいて共通であるため、構成している単語や文の構造の問題ではないことが示唆される.これらの結果から,ミニマルペアにおけるトークン長に差が存在する場合，文の容認性に関わらず，トークン長が短い文の方が高い対数尤度が割り当てられやすいことが確認された．このバイアスは、トークン化手法が評価結果に影響を与えるため，MPPデータセットが言語モデルの言語能力を正確に評価することを妨げるという問題がある．したがって，現在利用可能なMPPデータセットはトークン長バイアスに苦しんでおり，モデルの言語能力を正しく評価できていないと結論づける.また，GPT-2とBERTモデルは全体的にトークン長パイアスの影響を受けやすかった．一方で， RoBERTaモデルでは影響が小さいことが示された.しかしながら，なぜRoBERTaモデルがこのような特性を持つのかは不明であり，より詳細な検証は今後の課題である.トークン長による正規化 セクション3.2で述べたように，トークン長で正規化した文対数尤度がトークン長バイアスを緩和できるか分析した．図3は，正規化した対数尤度を使用した場合のトークン長差と精度の変化を示す.  MeanLPはトークン長バイアスを軽減するために用いられているが，トークン長に差が存在すると精度が変化することを示している.そのため,トークン長バイアスの影響はMeanLPでは軽減できない．一方，PenLPの結果は，BLiMPとCrowS-Pairsなどのデータセットにおいて，トークン長の差に関わらず精度が比較的一定であり，LPやMeanLPに比べてトークン長バイアスを軽減できている.しかし，COMPSではトークン長の差に精度が影響されていることが確認される.従って，混乱を招くような評価結果をもたらす可能性があるため，PenLPは全てのMPPデータセットにおいて一貫して使用できる手法ではない．上記の結果から，トークン長で正規化する手法はMPPデータセットに用いることができないと結論づける.
5 MPPデータセットの改善
トークン長バイアスを除去する手法として，ミニマルペアにおける容認可能な文と容認不可能な文のトークン長を揃える方法が考えられる.そこで本研究は，BLiMPデータセットの改善をMPPデータセットにおけるトークン長バイアスの除去のケーススタディとして行った. 付録Cの表3は，元のBLiMPとバイアス除去したBLiMPを比較した実験結果である．全体として，モデル間の性能差が縮まっており，一部のサプセットではモデル性能の順位に変動が起きていることが確認できる．特に， “Expletive It Object Raising”の場合，元のBLiMPを用いた性能評価では，GPT-2のモデルは81.2 %であったのに対して，バイアス除去すると90.1 %となっている．これは、トークン長バイアスによりモデル性能を過少評価してしまった例である．このことから，現状のMPPデータセットでは，異なるトークン化手法ーを用いたモデルの性能を正しく比較することは不可能であり，トークン長を調整することにより公正に比較することが可能である.
6　おわりに
本研究では，MPPデータセットにおけるトークン長バイアスについて分析した．実験の結果，MPPデータセットでは容認可能な文と容認不可能な文においてトークン長に差が存在すると，精度に大きく影響するということが判明した．このことから，現在の単語単位での長さを揃える構築手法では不十分であり，トークン長単位で長さを揃える構築手法が必要であることを示した．今後は，対数尤度に代わる容認度の模索とRoBERTaのトークン長バイアスに関する頑健性に関する調査を検討する. Noam Chomsky. Syntactic Structures . Mouton and Co., [1] The Hague, 1957. The Empirical Base of Linguistics: C.T. Schutze. [2] Grammaticality Judgments and Linguistic Method- ology. University of Chicago Press, 1996. Alex Warstadt, Amanpreet Singh, and Samuel R. Bow- [3] man. Neural network acceptability judgments. Transac- tions of the Association for Computational Linguis- tics , Vol. 7, pp. 625–641, 2019. Alex Warstadt, Alicia Parrish, Haokun Liu, Anhad Mo- [4] hananey, Wei Peng, Sheng-Fu Wang, and Samuel R. Bow- man.  BLiMP: The benchmark of linguistic minimal pairs for English. Transactions of the Association for Com- putational Linguistics , Vol. 8, pp. 377–392, 2020. Nikita Nangia, Clara Vania, Rasika Bhalerao, and [5] Samuel R. Bowman.  CrowS-pairs:  A challenge dataset for measuring social biases in masked language models. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1953–1967, Online, November 2020. Association for Computational Linguistics. Kanishka Misra, Julia Rayz, and Allyson Ettinger. [6] COMPS: Conceptual minimal pair sentences for testing ro- bust property knowledge and its inheritance in pre-trained language models.  In Proceedings of the 17th Confer- ence of the European Chapter of the Association for Computational Linguistics , pp. 2928–2949, Dubrovnik, Croatia, May 2023. Association for Computational Lin- guistics. Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. As- [7] sessing the ability of LSTMs to learn syntax-sensitive de- pendencies. Transactions of the Association for Com- putational Linguistics , Vol. 4, pp. 521–535, 2016. Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario [8] Amodei, and Ilya Sutskever. Language models are unsu- pervised multitask learners.  OpenAl blog , Vol. 1(8):9, , 2019. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina [9] BERT: Pre-training of deep bidirectional Toutanova. transformers for language understanding.  In Proceed- ings of the 2019 Conference of the North American Chapter of the Association for Computational Lin- guistics: Human Language Technologies, Volume 1 (Long and Short Papers) , pp. 4171-4186, Minneapo- lis, Minnesota, June 2019. Association for Computational Linguistics. Carina Kauf and Anna Ivanova. A better way to do masked [10] language model scoring. In Proceedings of the 61st An- nual Meeting of the Association for Computational Linguistics (Volume 2:  Short Papers) , pp. 925–935, Toronto, Canada, July 2023. Association for Computa- tional Linguistics. Yixiao Song, Kalpesh Krishna, Rajesh Bhatt, and Mohit [11] Iyyer. SLING: Sino linguistic evaluation of large language models.  In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp. 4606–4634, Abu Dhabi, United Arab Emirates, De- cember 2022. Association for Computational Linguistics. Taiga Someya and Yohei Oseki. JBLiMP: Japanese bench- [12] mark of linguistic minimal pairs.  In Findings of the Association for Computational Linguistics:  EACL 2023 , pp. 1581–1594, Dubrovnik, Croatia, May 2023. As- sociation for Computational Linguistics. Wafa Abdullah Alrajhi, Hend Al-Khalifa, and Abdulmalik [13] AlSalman.  Assessing the linguistic knowledge in Ara- bic pre-trained language models using minimal pairs.  In Proceedings of the The Seventh Arabic Natural Lan- guage Processing Workshop (WANLP), pp. 185–193, Abu Dhabi, United Arab Emirates (Hybrid), December 2022. Association for Computational Linguistics. Aurélie Névéol, Yoann Dupont, Julien Bezançon, and [14] Karën Fort.  French CrowS-pairs:  Extending a challenge dataset for measuring social bias in masked language mod- els to a language other than English.  In Proceedings of the 60th Annual Meeting of the Association for Com- putational Linguistics (Volume 1: Long Papers) , pp. 8521–8531, Dublin, Ireland, May 2022. Association for Computational Linguistics. Julian Salazar, Davis Liang, Toan Q. Nguyen, and Katrin [15] Kirchhoff. Masked language model scoring. In Proceed- ings of the 58th Annual Meeting of the Association for Computational Linguistics , pp. 2699–2712, Online, July 2020. Association for Computational Linguistics. Kanishka Misra.  minicons:  Enabling flexible behav- [16] ioral and representational analyses of transformer language models. arXiv preprint arXiv:2203.13112 , 2022. Vladislav Mikhailov, Tatiana Shamardina, Max Ryabinin, [17] Alena Pestova, Ivan Smurov, and Ekaterina Artemova. Ru- CoLA: Russian corpus of linguistic acceptability.  In Pro- ceedings of the 2022 Conference on Empirical Meth- ods in Natural Language Processing , pp. 5207–5227, Abu Dhabi, United Arab Emirates, December 2022. Asso- ciation for Computational Linguistics. Jey Han Lau, Carlos Armendariz, Shalom Lappin, [18] Matthew Purver, and Chang Shu.  How Furiously Can Colorless Green Ideas Sleep?  Sentence Acceptability in Context. Transactions of the Association for Compu- tational Linguistics , Vol. 8, pp. 296–310, 06 2020. Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Man- [19] dar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta:  A ro- bustly optimized bert pretraining approach. arXiv preprint arXiv:2203.13112 , 2019.
表2　それぞれのデータセットのサプセットにおいてトークン長が容認可能な文と容認不可能な文で異なるようなミニ
表３　元のBLiMPとパイアス除去を行ったBLiMPでモデルの性能評価した実験結果. トークン長パイアスによる影響が大きかった上位10個の文法現象サプセットを実験結果として載せている.