文脈内学習におけるデモの親和性と多様性の提案

ICLとは,大規模言語モデルに少数の入出力例(デモ)と解かせる入力(クエリ)をプロンプトとして与え,パラメータの更新を行わずにクエリに対する予測を行わせる利用法や能力を指す.近年,タスク性能に影響するデモの性質を用いてデモ選択を行うことで,タスク性能が向上できることがわかっている[1].例えば,BM25など表層の類似度を基にデモを選択する手法では[2],『クエリとの類似性』という”デモの性質”に基づいてデモを選択しタスク性能が向上しているが,なぜ性能改善に繋がるのか十分に解明されていない.ここで我々は,既存のデモ選択手法が,限られた特定のデモの性質を最大化するようなデモを選択することにより,タスク性能を改善していると考えている.この仮説を検証するために,次のような理想的なデモの性質を検討する:要件1提案するデモの性質とタスク性能に相関があること.要件2さまざまな既存手法が,提案するデモの性質を改善していること．もしこのような性質を持つデモを確認できれば,既ランダムサンプリング,右:BGEM3に基づくデモ選択).色がAccuracyを表しており,ランダムにデモを選択した場合(左)と比較して,類似度に基づき選択されたデモは親和性度および多様性度が収束する存のデモ選択手法がこの性質を実質的に改善することによってタスク性能を向上させていると考えることができ,この性質を分析することでデモ選択とタスク性能のメカニズムの解明に繋がる.本研究では,既存のデモ選択基準[1]に基づき,理想的な良いデモの性質として,内部表現上の「デモとクエリの親和性」と「デモ同士の多様性」を導入する.具体的には,言語モデルの推論において重要な役割を果たす特定のインダクションヘッドに着目し(2章),このインダクションヘッドの部分空間上で内部表現の親和性度および多様性度を定義する(3.1節).そして,これらのデモの性質が要件1,2を満たすかを確認する．実験の結果,要件1について,Llama38Bにおいて親和性度はさまざまなデータセットおよびデモ数を通してタスク性能と相関を示した一方,多様性度についてはモデルやデータセットによって異なる傾向がみられた(図2).これにより,親和性は要件1を満たし,デモ選択において望ましい性質であることが確認された．次に要件2について,既存のデモ選択.手法を用いた実験を行った結果,Falcon7Bでは親和性度および多様性度がAccuracyが高くなりやすい範囲に収束する傾向が見られ(図1),既存手法が親和性度および多様性度を収束させるようなデモ選択を行っていることが確認された.一方,Llama38Bでは既存手法で親和性度および多様性度を収束する傾向は見られなかった.本研究の貢献は次の通りである:•既存手法に対する良いデモの性質として,「デモとクエリの親和性」と「デモ同士の多様性」を提案し,その中で親和性が特にタスク性能に寄与するデモ選択における望ましい性質であることを示した.•Falcon7Bにおいては,既存のデモ選択基準が,タスク性能を向上させるような性質を持つデモを選んでいる可能性があることを確認した.