小規模言語モデルによる統語パラメータの獲得

近年、OpenAIのGPT[1]に代表される大規模言語モデルの発展が著しく、特にTransformer[2]に基づく言語モデルは多くの下流タスクで高い性能を実現している。このように、言語を理解している様に見える言語モデルだが、内部がブラックボックスであるため、言語モデルがどれほど主述の一致などの統語能力を獲得しているのか検証する研究が活発になりつつある[3,4]。また、様々な統語現象を包括的にまとめたCoLA(CorpusofLinguisticAcceptability)[5]やBLiMP（BenchmarkofLinguisticMinimalPairsforEnglish)[6]等のベンチマークが構築され、言語モデルの統語能力を評価する研究が進展した。しかしながら、これらの研究は統語現象毎の統語能力を評価しているため、記述的な評価に終始してしまっているという問題がある。例えば、ある言語モデルが統語現象AとBに正解し、統語現象CとDに正解しない場合、・な・ぜその様な結果になっているのか説明が得られない。従って、統語現象毎の統語能力だけでは無く、統語現象間の相関・クラスター効果に関する統語能力も評価する必要がある。この統語現象間の相関・クラスター効果は、理論言語学において統語パラメータと呼ばれ、主にONとOFFの2値を取る「スイッチ」の様なものであり、統語現象間の相関・クラスター効果を説明するものとして提案されている。これまで、統語パラメータが生得的に賦与されると仮定した上で、統語パラメータの・値が学習できるか検証する研究は存在したが[7,8]、統語パラメータ・自・体が言語モデルによって獲得できるか検証する研究は存在しない。そこで、本研究では、言語モデルが統語パラメータを獲得できるか検証することを目的とする。具体的には、人間の言語獲得を量・質共に近似した小規模言語モデルであるBabyBERTa[9]が、冠詞の有無と2種類の移動の可否の間の相関・クラスター効果を説明するNP/DPパラメータ[10]を獲得できるか検証する。特に、NP/DPパラメータによって説明される統語現象と、NP/DPパラメータによって説明されない一般的な統語現象（Zorro[9]に含まれる統語現象）を、言語モデルによる統語獲得が収束するタイミングに関して比較する。