周期表タスクにおける言語モデルの創発的能力と言語モデルが持つ記憶について

近年，大規模な自己回帰言語モデルは広範な下流タスクを追加学習なしに実行する能力があることが判明している[1,2]．下流タスクにおける性能とモデルサイズ，すなわちモデルの学習可能パラメータ数との関係を調べた研究において，タスクの精度がモデルサイズの増加に対して不連続に改善するタスクがあることが報告されており，このような傾向は創発的能力(emergentabilities)と呼ばれている[3]．創発的能力について，その起源や理由については未だ解明されていない．一般に言語モデルの性能は，その規模にスケールすると考えられている．例えば言語モデルそのものの性能指標（事前学習時の損失値）は，モデルサイズ，学習データ量，および事前学習時の計算量の増加のそれぞれに対して単調に改善するスケール則が成り立つことが知られている[4,5]．また，モデルが保持できる知識の量は，モデルサイズにスケールすると考えられている[6,7,8]．例えばBIG-bench[2]のqa_wikidata1）という質問応答タスクでは，モデルサイズを2倍にするごとに精度が約5.3ポイント向上するという関係（べき乗則）を見ることができる．このようなべき乗則は言語モデルの他，画像認識など自然言語処理以外の分野も含めて深層学習の多くのタスクでも見られる現象であり[9]，理論的な解析も進みつつある[10,11]．それに対し，原子番号から元素名を予測するタスクである周期表タスクは，qa_wikidataと同じく知識を問う質問応答タスクであるが，タスクの精度とモデルサイズとの関係は全く異なる．具体的には，学習可能パラメータ数が10B程度以下のモデルでは全く正解できないが，それを超える規模のモデルで突如として精度が向上するという創発的能力が発現することが報告されている[2,3]．周期表タスクで創発的能力が見られる理由について，回答に必要な知識が大規模なモデルにのみ偏在しているのか，あるいは他の要因があるのか，未だ切り分けができていない．特に前者に着目すると，創発的能力に関する理解を深めるためには，モデルサイズがある閾値を超えたときに突如として知識が獲得されるようになるといった傾向があるかどうか調べる必要がある．本稿では周期表タスクを題材とし，これに正解するために必要な知識と，それ以外の要素として回答を導く推論能力の2つの要素に分解して考える．特1）https://github.com/google/BIG-bench/tree/main/bigbench/benchmark_tasks/qa_wikidata.に前者に着目し，モデルサイズに応じて周期表に関する知識量がどのように変化するかを調査することで，創発的能力に関する新たな洞察を与える．