小規模言語モデルによる子供の過剰一般化のモデリング

近年の大規模言語モデル(LLM)の精度は飛躍的に向上しているものの，いまだに様々な誤りを起こす．しかしニューラルモデルのブラックボックス性から，誤りがどうして起きるのかは現在自明でないことがほとんどであり，その誤りを制御するための確立された知見は少ない．さらに，現在のLLMは学習に膨大なデータを必要とするため，データ収集コストや学習時間の観点から問題視されている．一方で乳幼児は低リソースで母語を獲得できることが知られており，LLMの一つであるGPT-3[1]は学習に約2,000億語必要とするのに対し，乳幼児は1億語程度の学習量しか必要としないと言われている[2]．近年の研究では人間の言語獲得を模倣することによる効果が示されており，子供向けの語彙やChild-directed-speech(CDS)を学習データに用いることで学習効率が向上することがわかっている[3][4]．他方で，心理言語学や認知言語学の分野では子供の誤用やそれに伴ってU字を描く学習曲線について生成確率Ieatedapplesyesterday.誤0.0000001言語モデルIateapplesyesterday.0.0005正モデルはこちらを好むの研究が多くされており，これらが子供の言語獲得プロセスについて示唆を与えると言われている[5]．以上の背景から，本研究ではLMで人間の誤りを模倣することで人間らしい学習過程を得られる可能性があるという仮説を立てる．また，人間らしい学習過程の実現に付随して，既存研究で示されているような学習効率の向上も期待できる．仮説の検証に向けた第一段階として，本論文では，既存のLMが人間の誤りの特徴をどの程度捉えているか分析するため，(1)人間らしい学習曲線を描くか，(2)間違いの種類は人間らしいかを観察する．子供の言語獲得過程に見られる代表的な特徴の一つとして，得た言語知識を過剰に一般化することが知られており，例えば英語の動詞の過去形の屈折の学習は過剰な一般化を観察するためによく取り上げられる現象である．本研究では，英語の動詞の過去形の過剰な一般化に注目し，CDSを学習データに用いたニューラルLMの，英語の動詞の屈折の学習過程を観察する．具体的には，過剰な一般化が含まれる文と含まれない文のペアを用意し，図1に示すようなミニマルペアデータを用いたLMの選好の観察によって各ステップでモデルがどのような誤りを好むか評価を行った．その結果，CDSで学習されたモデルよりも比較対象として用意したWikipediaで学習されたモデルの方がより子供に近いU字の学習曲線を示した．さらに，誤りの種類の選好はどの学習データでも子供とは異なる傾向を示し，言語モデル.の学習過程での誤りの選好は人間の特徴を十分に捉えていない可能性が示唆された．