言語モデルの言語獲得装置

大規模言語モデルは汎用的な文法能力を示す一方，学習効率では人間と大きな乖離がある．本研究では，生得的知識が文法の仮説空間を制約して効率的学習を可能にするという言語獲得装置仮説に着想を得て，新たな事前事前学習手法を提案する．提案手法は，自然言語による事前学習に先立ち，ミニマリスト文法から生成された自然言語の背後にある言語構造をモデルに先行学習させる．実験の結果，提案手法は通常のランダム初期化と比較して，同等の文法能力を維持しつつ，最大35%のトークン効率改善を達成した．さらに，提案手法を抽象化した形式言語による統制実験により，先行研究で強調されてきたチョムスキー階層と回路複雑性の交差で整理される表現力とは別に，機能範疇の配置がもたらす依存同定曖昧性の低さという新たな軸が学習効率に寄与しうることが示唆された．