算術タスクを用いた文脈内学習による外挿能力の分析

大規模言語モデルは文脈内学習(ICL)が可能であることが知られているが,その内部メカニズムについては未だ統一的な見解が存在しない.争点の一つに,ICLによってパラメータを更新することなく未知のタスクに適応可能か,すなわち外挿可能かどうかという点がある.そこで本研究では,二変数一次関数𝑧=𝑎𝑥+𝑏𝑦に基づく算術データセットを構築し,ICLによる内挿・外挿能力を定量的に評価した.その結果,ICLによって部分的に未学習のタスクでも解決可能であること,文脈内の例を増加させることで,内挿時と外挿時の内部表現が類似する傾向にあること,学習データ内のタスクの多様性がICL能力の創発に重要であることが示唆された.