作業記憶の発達的特性が言語獲得の臨界期を形成する

大規模言語モデル（LLM）は，あたかも人間のような汎用的な言語能力を有する一方，言語獲得効率においては依然として人間には遠く及ばない．LLMは多くの評価指標において人間と同等の性能を達するために人間と比較して3～4桁多いデータ量を必要とすることが指摘されている[1]．このLLMと人間のデータ効率性の乖離は，LLMがスケールアップに依存している現状を反映しており，学習効率を抜本的に改善する潜在的な余地があることを示唆していると同時に，人間の言語処理や獲得過程からの「教訓」が存在しうることを示唆している．人間の言語獲得効率についての重要な理論として，臨界期仮説[2]がある．臨界期仮説は，言語を効率的に習得できる特定の時期が存在し，この時期を過ぎるとその能力が低下するという理論である．幼少期に言語を聞く機会が制限された事例や第二言語習得における年齢の影響など，多くの研究が臨界期の存在を支持している[3]．しかし，幼児が大人幼児期から初期学齢期中学齢期から思春期思春期後臨界期作業記憶15歳8歳2歳より効率よく言語を習得できる理由は未解明な部分が多い．言語獲得における臨界期の有力な説明の一つとして，幼児の認知的な制約（例:短期記憶の容量や注意の範囲）がむしろ言語学習に有利に働くとされるNewportのLessismore仮説[4]がある．この仮説では，幼児は処理可能な情報が限られるため，言語の基本的なパターンや構造（例:文法規則）を効率的に抽出できる一方，大人は認知能力が高いがゆえに複雑な情報に気を取られ，規則の学習が妨げられると説明される．本研究では，Lessismore仮説から着想を得て，人間の認知発達的特性，特に作業記憶の発達的特性を言語モデルに組み込むことで効率的な言語獲得が誘発されるかを調査する．具体的には，臨界期に相当する時期の作業記憶の指数関数的増加を模倣した言語モデルを設計し，これが学習効率にどのような影響を与えるかを分析する．子ども向け発話（Child-DirectedSpeech;CDS）データセット[5]を用いて訓練したGPT-2[6]をもとに，CDSに特化した文法評価ベンチマークであるZorro[7]を用いて評価実験を行ったところ，学習初期から一定の作業記憶を有するモデルに比べ，学習初期は作業記憶を制限し，学習が進むにつれて指数関数的に制限を緩和する認知発達的に妥当なモデルの方が性能が高い結.果となった．これらの知見はデータ効率の高い言語モデル設計に向けた新たな指針を提供するとともに（自然言語処理分野への貢献），長年議論が続いている人間の言語獲得における臨界期仮説に対する間接証拠を提供するものである（認知科学分野への貢献）．