大規模言語モデルを用いた質問応答システムが広く注目されているが,生成される回答にはさまざまなバイアスが生じることが指摘されている.本研究では,LLMがIn-ContextLearning(ICL)における例示の与え方によって引き起こすバイアスに対し,キャリブレーション手法とRetriever-AugmentedGeneration(RAG)が与える影響を検証する.特に,与えたICL例示によってモデルの予測が大きく変動する問題をICL依存問題と定義し,それらを選択的に補正するキャリブレーション手法を提案した上で,RAGとの併用効果を評価した.実験の結果,従来手法よりも効果的にICLによるバイアスを抑制し,特定条件下では精度でも従来手法を上回ることを確認した.

大規模言語モデル(LLM)は様々なタスクで高い性能を示しているが,In-ContextLearning(ICL)時の例示の与え方によって出力が大きく変動するという問題（バイアス）が指摘されている.ここで,ICLとは,モデルのパラメータを更新することなく,プロンプト中に示された少数のデモンストレーション（例示）からタスクを推論するLLMの能力を指す[1].具体的には,ICLの形態として,例示を与えない場合をZero-shotLearning,1件だけ与える場合をOne-shotLearning,複数のデモを与える場合をFew-shotLearningと呼ぶ.このようなバイアスを適切に抑制する必要性が高まる一方,既存の研究では,例示やタスク形式に依存しやすいバイアスへの対策として,いくつかのキャリブレーション手法が提案されている[2,3,4].また,Retriever-AugmentedGeneration(RAG)[5]は,外部知識を活用して,ICLにおける回答精度を向上させる効果的な手法として注目されている.しかし,RAGがICLにおけるバイアスに与える影響や,既存のキャリブレーション手法との相互作用については十分な検証がなされていない.本研究では,ICL例示によるバイアスの抑制を対象に,キャリブレーション手法とRAGを組み合わせた際の効果を検証する.また,この検証過程で,ICL例示を与えた際，例示の違いによって回答が大きく変動する問題を「ICL依存問題」と定義し,それらを選択的に補正する手法の有効性について評価する.検証は医療系タスクを題材に行う.医療領域は専門性が特に高く,RAGによる外部知識の活用効果を測定する事例として適していると考えられる.