大規模言語モデルにおけるICLバイアスの選択的補正

大規模言語モデル(LLM)は様々なタスクで高い性能を示しているが,In-ContextLearning(ICL)時の例示の与え方によって出力が大きく変動するという問題（バイアス）が指摘されている.ここで,ICLとは,モデルのパラメータを更新することなく,プロンプト中に示された少数のデモンストレーション（例示）からタスクを推論するLLMの能力を指す[1].具体的には,ICLの形態として,例示を与えない場合をZero-shotLearning,1件だけ与える場合をOne-shotLearning,複数のデモを与える場合をFew-shotLearningと呼ぶ.このようなバイアスを適切に抑制する必要性が高まる一方,既存の研究では,例示やタスク形式に依存しやすいバイアスへの対策として,いくつかのキャリブレーション手法が提案されている[2,3,4].また,Retriever-AugmentedGeneration(RAG)[5]は,外部知識を活用して,ICLにおける回答精度を向上させる効果的な手法として注目されている.しかし,RAGがICLにおけるバイアスに与える影響や,既存のキャリブレーション手法との相互作用については十分な検証がなされていない.本研究では,ICL例示によるバイアスの抑制を対象に,キャリブレーション手法とRAGを組み合わせた際の効果を検証する.また,この検証過程で,ICL例示を与えた際，例示の違いによって回答が大きく変動する問題を「ICL依存問題」と定義し,それらを選択的に補正する手法の有効性について評価する.検証は医療系タスクを題材に行う.医療領域は専門性が特に高く,RAGによる外部知識の活用効果を測定する事例として適していると考えられる.