周期表タスクにおける言語モデルの創発的能力と言語モデルが持つ記憶について

近年，大規模な自己回帰言語モデルは広範な下流タスクを追加学習なしで実行できることが判明している．下流タスクにおけるモデルの性能は，一般的にはモデルサイズに対してスケールすることが知られている．しかし，広範な下流タスクにおける性能とモデルサイズとの関係を調べた実験において，モデルサイズの増加に対して不連続な性能改善がみられるタスクの存在が報告されており，このような傾向は創発的能力と呼ばれている．特に知識集約型タスクで創発的能力が現れる理由について，問題に正解するための知識がモデルサイズに対して不連続に偏在するためなのか，あるいはその他の理由があるのか，未だ解明されていない．本研究では，創発的能力が見られる知識集約型タスクの1つである周期表タスクについて，モデルが保持する知識とモデルサイズとの関係について調べた．解析の結果，周期表タスクの回答に必要な知識は小規模なモデルも獲得していること，またその知識の正確さはモデルサイズに対しスケールすることが判明した．