小規模言語モデルによる統語パラメータの獲得

本研究では、言語モデルが統語パラメータを獲得できるか検証することを目的とする。統語パラメータとは、CoLA/BLiMP等のベンチマークで評価される様な統語現象毎の統語能力では無く、統語現象間の相関・クラスター効果に関する統語能力であり、理論言語学において生得的に賦与されると仮定されている。具体的には、人間の言語獲得を量・質共に近似した小規模言語モデルであるBabyBERTaが、冠詞の有無と2種類の移動の可否の間の相関・クラスター効果を説明するNP/DPパラメータを獲得できるか検証する。結果として、BabyBERTaがNP/DPパラメータを部分的に獲得できることが示され、統語パラメータが生得的に賦与される必要は無く、経験的に獲得される可能性が示唆された。