LLMのアテンションヘッドに着目したジェイルブレイク攻撃の分析と防御手法の提案

大規模言語モデル（LargeLanguageModel;LLM）はジェイルブレイク攻撃に対して脆弱であり，違法行為や非倫理的な内容などの有害な出力をしてしまうリスクがある．このジェイルブレイク攻撃に対して，LLMが有害な出力をしてしまうメカニズムは十分に解明されていない．本研究ではLLMのアテンションヘッドに着目して内部状態の分析を行い，数%のアテンションヘッドが有害な出力に大きく関与していることを明らかにする．また，分析結果を利用して，アテンションヘッドへの介入による防御手法を提案する．実験の結果，提案手法によ性能の低下を3%以内に抑えつつ，攻撃成功率を2，3%程度まで低下させられることが確認された．