小規模言語モデルによる子供の過剰一般化のモデリング

近年，言語モデルの学習データを子供の入力に近づけることで学習効率向上が示されるなど，人間の言語獲得過程を模倣することの有効性が示唆されている．一方で子供の一般化の特徴を機械で説明しようという研究は長らくされているが，その多くは語の屈折を直接学習するなど子供の学習環境とは異なるものである．本研究は，子供が言語獲得過程で起こす誤りを模倣することで言語モデル(LM)が人間らしい学習過程を得られるという仮説のもと，子供の入力に近いデータで学習したLMの誤りの選好を分析した．その結果，子供の入力に近い学習データを用いるのみでは人間の学習過程の誤りの特徴は十分に捉えられない可能性が示唆された．