DPO-AHR:LLMの過剰拒否を抑えるアライメント手法

大規模言語モデル（LLM）の一般利用において，有害な応答を抑制する安全性確保のためにアライメントが提案されている．アライメント（AIalignment）とは，モデルの出力が人間の意図や価値観に沿うように，学習や制御を通じてモデルの挙動を調整することを指す．特に，LLMの倫理・安全性の観点から，ReinforcementLearningfromHumanFeedback（RLHF）[1]やConstitutionalAI[2]など，多様なアライメント手法が提案され，有害な応答の抑制に一定の成功を収めている．一方で，アライメント手法の副作用として，無害な入力に対しても過度に拒否・回避してしまう「過剰拒否（over-refusal）」が指摘されている[3,4]．過剰拒否は使用者体験やタスク有用性を低下させるため，安全性を維持しつつこれを緩和することが求められる．過剰拒否を緩和するため，推論時に拒否挙動を選択的に制御する手法[5]や，無害プロンプトの拒否率を評価するベンチマーク[3,4]などのアプローチが検討されている．また，LLMの拒否挙動そのものorg/licenses/by/4.0/).org/licenses/by/4.0/).その上で，頻度の高い順に上位top-𝑘をSとして用いる．3.2既存手法：DPO本研究の提案手法はDPO[8]を既存手法としている拡張であるため，まずDPOを簡潔に述べる．選好データ(𝑥,𝑦+,𝑦−)（同一プロンプト𝑥に対する好ましい応答𝑦+と好ましくない応答𝑦−）と参照LLM𝜋refを用いるDPO損失は次式(3)で与えられる．LDPO(𝜃)=−E(𝑥,𝑦+,𝑦−)hlog𝜎𝛽log𝜋𝜃(𝑦+|𝑥)𝜋ref(𝑦−|𝑥)i(3)𝜋𝜃(𝑦−|𝑥)𝜋ref(𝑦+|𝑥)ここで𝜋𝜃は学習中のpolicy，𝜋refは参照LLM，𝛽は温度パラメータ，𝜎(·)はシグモイド関数である．3.3提案：アテンションヘッド正則化項の導入（AHR）本研究では，学習開始時点で固定したベースLLMを参照LLMとして用いる．ベースLLM𝜋refと学習中のLLM𝜋𝜃のアテンションヘッド出力の乖離を抑えるため，次の正則化項を導入する．𝑜𝜋𝜃,(𝑙,ℎ)𝑡∗(𝑥)−𝑜𝜋ref,(𝑙,ℎ)𝑡∗(𝑥)