言語モデルの言語獲得装置

大規模言語モデル（LLM）はスケーリング則[1]により人間並みの文法能力を示す一方で，言語獲得効率では依然として人間に大きく劣る．LLMが人間と同等の能力を獲得するには，人間が言語獲得で経験する刺激と比べて数桁多い学習データが必要であることが指摘されている[2]．この非効率性は，LLMが自然言語に特化した帰納バイアスを持たず，極めて自由度の高い状態からの統計学習に依存していることに起因しており[3]，人間の効率的な帰納バイアスを取り入れる余地は大きいと考えられる．人間の効率的な言語獲得を説明する枠組みとして，言語獲得装置（LanguageAcquisitionDevice;LAD）仮説がある[4]．LAD仮説は，生得的知識が文法の仮説空間を制約することで，限られた刺激（“刺激の貧困”[5]）からでも効率的な言語獲得が可能になるとする．本研究では，LADが示唆する帰納バイアスを言語モデルに組み込むことで，効率的な言語獲得が誘発されるかを検証する．具体的には，ミニマリスト文法（MG）[6]に基づき，自然言語の背後にある抽象的な統語構造を生成し，自然言語による事前学習（pre-training;PT）に先行して学習させる新たな事前事前学習（pre-pretraining;PPT）を提案する．そして，C4[7]を用いて訓練したPythia-1B[8]に基づき評価実験を行ったところ，PPT無しのベースラインと比較して，同等の文法能力を維持しつつ最大35%のトークン効率改善を達成した．さらに，この効率化の要因を切り分けるため，抽象化モデルによる統制実験を行った．その結果，MP-Structの主要部駆動の構成を抽出したMP-StructCoreは，語彙数を揃えた対照系列を有意に上回り，先行研究[9]で最良な形式言語バイアスとして報告された𝑘-ShuﬄeDyckを超える学習効率を達成した．このことは，PPT言語の有効性をチョムスキー階層[10]に基づく表現力と回路複雑性[11]の交差として整理する先行研究の枠組み[9]に加えて，機能範疇が担う構造的標識1）の配置が依存同定曖昧性を低下させることが，学習効率の差を説明しうる要因であることを示唆する．