大規模言語モデルにおける幻覚緩和のための単語確率の外挿

GPT-4やLlama，PaLMなどの大規模言語モデル（LLM）の進化は下流タスクの性能を急激に上昇させただけでなく，我々の社会に大きな影響を及ぼしている．このような技術革新が起きた一方で，尤もらしい誤情報を生成する「幻覚」が重要課題となっている．本研究ではLLMの構造や学習済みパラメータを変更せず，容易に幻覚を低減する効果的な手法を提案する．この手法はTransformerの低層から高層にかけての単語確率の軌道に着目し，仮想的な追加層における単語確率を予測して外挿することで，より正確な単語生成を促進し幻覚の発生を抑制する．実験により，提案手法は既存手法と比較して幻覚生成の抑制において同等の性能を達成していることが示された．