文脈内学習におけるタスク指向情報除去のメカニズム

ICLは，入力-ラベル対からなるデモとクエリを言語モデル（LM）に与え，クエリのラベルを予測させる枠組みである．既存研究では，ICLのメカニズムを特定の入力要素[1,2,3,4]，事前学習分布[5,6,7,8]，または単純なアルゴリズムとの類似[9,10,11]として説明してきた．さらに，MechanisticInterpretabilityにおける研究[12,13,14,15,16,17,18]では，ICLをアテンションヘッド等の構成要素へ還元し，誘導ヘッドによるデモからのラベルコピー機構をその中核的メカニズムと位置づけている．しかし，クエリに対する正解ラベルがデモに含まれない状況(UnseenLabelシナリオ)においても[17,15]，ICLは0-shot設定を上回る性能を示すことが報告されている．この性能差は，デモからのラベルコピーだけでは説明できず，誘導ヘッド以外にもICLを支える追加的なメカニズムが存在することを示唆する．以上を踏まえ，本研究では図1(B)に示す新たな視点を提案する．すなわち，ICLを「新しい情報を出力へコピーする[15]」「新たなタスクを学習する[19]」過程として捉えるのではなく，クエリ中のタスク非関連情報を除去し，デモで指定されたタスクを強調する過程として捉える．具体的には，既存研究[20,21]より，クエリの隠れ状態には様々な情報が異なる部分空間に混在しており（図1(A)），ICLは，デモの情報を利用して隠れ状態からタスク非関連情報を除去し，タスク関連情報が集中的に存在する部分空間（タスク言語化部分空間;Task-VerbalizationSubspace;TVS）を強調しているというのが我々の仮説である．デモのない0-shot入力で尤もらしいがタスク指向的でない非選択的な出力が生じてしまう（図1(D)）のは，隠れ状態がノイズまみれだからというわけである．この仮説を検証するため，図1(C)に示すように，0-shot入力の最終トークンの残差流に低ランクフィルタを人工的に注入し，望ましい出力からTVSを特定した．その結果，低ランクなTVSでも精度は大幅に向上し，TVSに直交する情報の除去が非選択的出力を抑制し，タスク指向の出力を強制できることが示された．これらの知見に基づき，本研究では，低ランクフィルタを注入した人工的な0-shot設定におけるタスク指向情報除去を，自然な（注入を行わない）few-shotシナリオへと一般化する．図1(B)に示すように，few-shotのデモに導かれることで，LMは，先行する低ランクフィルタ注入実験で独立に算出されたTVSに向かって隠れ状態を暗黙的に駆動し，タスク特化の出力を生成すること，さらに，UnseenLabelシナリオにおける同様の挙動も確認した．加えて，誘導ヘッドから独立した，情報除去を実行するアテンションヘッドの一群を特定した．アブレーション実験により，精度が大幅に低下すること，特にUnseenLabelシナリオでは精度がゼロ近傍まで落ちることが確認された．この結果は，タスク指向情報除去がICLの，特に誘導ヘッドのみでは説明できないUnseenLabelシナリオにおける有効なメカニズムであることを示している．