算術タスクを用いた文脈内学習による外挿能力の分析

大規模言語モデル（LargeLanguageModel,以下LLM）は,文脈内学習（In-ContextLearning,以下ICL）[1,2]が可能であることが知られている.ICLとは,プロンプト内にタスクの例を提示することで,パラメータを更新することなく推論性能を向上させる手法であり,学習データの準備や追加の計算資源が必要ないため,効率的で柔軟な応用が可能である[3,4].ICLのメカニズムに関しては,文脈内の例からタスクの特性を認識し,事前学習済みのタスクを選択・適用しているという仮説[5]や,選択だけでなく,複数の学習済みタスクを組み合わせて推論が可能であるという仮説[6]が提起されている.さらに,ICLはタスクの学習方法そのものを学ぶことが可能であり,文脈内の例を基に未学習のタスクに適応できるという仮説もある[7].しかし,これらの仮説は必ずしも実験結果と整合せず[8],ICLのメカニズムに関する統一的な理解は未だ得られていない.特に,ICLによって未学習タスクに適応可能であるかどうかは,これらの仮説に説得的な根拠,あるいからデータセットを構築：1~4桁の整数：{0,1,...,9}のいずれか3種類の学習データを構築を含むか否か×5(shot数:{0,1,2,4,8})学習データ1評価データは共通内挿:×5評価データ学習データ2×5内挿:学習データ3×5正答率と内部表現による比較分析外挿:法と評価の流れ.データセットは𝑧=𝑎𝑥+𝑏𝑦に基づいて構築する.学習データは係数𝑎,𝑏=5を含むか否かによって3種類に分類される.評価データは𝑎,𝑏=5を含むため,学習データに含まれる𝑎,𝑏の範囲によって,内挿と外挿が定義される.学習データ1～3はさらにshot数によって5種類に分類され,学習データは合計15種類となる.は反例を与えるため重要な争点となっている[9,10].しかし,大規模な言語データを学習する場合,学習済みのタスク(内挿)と完全に未学習のタスク(外挿)の境界を明確に定義することは現実的でなく,ICLによる外挿能力を厳密に評価することは困難である.そこで本研究では,算術タスクを用いてICLの外挿能力を分析することで,ICLのメカニズムに関して重要な知見を与えることを目的とする.算術タスクは,数字の桁数や変数の範囲を制御することで,内挿と外挿の領域を明確に分離できるという利点がある.さらに,本タスクの推論には文脈内の例が不可欠であるように設計されており,タスクが解決された場合にはICLが行われたことを保証できる.実験では,計15種類のデータセットを独自に構築し,それぞれを学習したモデルの評価データ正解率と,埋め込み表現の比較分析を通してICLによる外.挿能力の分析を行った.その結果,次のような知見が得られた.(i)ICLによって,学習済みタスクを組み合わせて新たなタスクを解決可能であること.(ii)shot数を増加させることで,内挿時と外挿時の内部表現が類似する傾向にあること.(iii)学習データ内のタスクの多様性がICL能力の創発に重要であること.本研究で得られた知見は,ICLのメカニズム理解へ大きく貢献するものである.