DPO-AHR:LLMの過剰拒否を抑えるアライメント手法

大規模言語モデル（LargeLanguageModel;LLM）の一般利用が拡大する中で，有害出力の抑制に向けたアライメントが重要である．一方で，アライメントは無害入力に対する拒否を増やし，過剰拒否として有用性を損なう場合がある．本研究では，先行研究に基づき拒否応答に関連するアテンションヘッドを同定し，当該ヘッドの出力がベースLLMから過度に乖離しないように正則化する項をDirectPreferenceOptimization（DPO）に付加した学習手法DPO-AHRを提案する．有害・無害プロンプトに対するLLM-as-a-judge評価の結果，提案手法は安全性を一定程度維持しつつ過剰拒否を低減させたことを示した．