文脈内学習におけるタスク指向情報除去のメカニズム

本研究では，情報除去の観点から文脈内学習（In-contextLearning,ICL）のメカニズムを分析する．まず，言語モデルは，0-shotクエリを複数タスクの情報が混在した非選択的な表現として符号化するため，意図した出力を得難いことを示す．次に，低ランクフィルタに基づく選択的な情報除去により，0-shotのモデル出力を意図したタスクへと誘導できること，及びfew-shotICLはこの情報除去操作を自然に実現していることを示す．最後に，情報除去操作を担う重要なアテンションヘッドを同定し，これらがICLの性能に大きく寄与することを確認する．