大規模言語モデル（LargeLanguageModel;LLM）はジェイルブレイク攻撃に対して脆弱であり，違法行為や非倫理的な内容などの有害な出力をしてしまうリスクがある．このジェイルブレイク攻撃に対して，LLMが有害な出力をしてしまうメカニズムは十分に解明されていない．本研究ではLLMのアテンションヘッドに着目して内部状態の分析を行い，数%のアテンションヘッドが有害な出力に大きく関与していることを明らかにする．また，分析結果を利用して，アテンションヘッドへの介入による防御手法を提案する．実験の結果，提案手法によ性能の低下を3%以内に抑えつつ，攻撃成功率を2，3%程度まで低下させられることが確認された．

近年，ChatGPT[1]やLlama[2]などの大規模言語モデル（LLM）がテキスト生成や質問応答など，自然言語処理のさまざまなタスクにおいて用いられ，優れた性能を発揮している．その一方で，これらのLLMには，虚偽の情報や違法行為などの有害な内容を出力する可能性があるため，セキュリティの問題が挙げられている．これらの問題に対処するため，通常，LLMはSupervisedFine-Tuning（SFT）[3]やReinforcementLearningfromHumanFeedback（RLHF）[4]などによって人間の価値観や意図に沿う出力をするように調整（Alignment）されている．このような調整により，ある程度有害な出力は制御されているものの，攻撃者が意図的に調整を回避しようとした場合に防ぐことができず，ジェイルブレイク攻撃[5,6,7,8]に対して脆弱であることが知られている．ジェイルブレイク攻撃は，LLMから違法行為や非倫理的な内容などの有害な出力を引き出す攻撃であり，“Sure,here’s...”などのような肯定応答を生成する確率が高くなるように入力を巧妙に細工する手法などが提案されている．これらの攻撃に対して，プロンプトレベルでの分析[9]は行われている一方で，モデル内部の状態に着目した分析を行っている研究は少なく，LLMが有害な出力をしてしまうメカニズムは十分に解明されていない．本研究では，代表的なオープンソースモデルであるLlama2-7B-chat-hfモデル[2]を対象に，トランスフォーマーの主構造の1つであるマルチヘッドアテンション機構に着目して内部状態の分析を行う．具体的には，攻撃に成功したプロンプトに対して，各アテンションヘッドの値を否定応答（“Icannot...”など）した元のプロンプトにおけるヘッドの値で置き換えた場合と通常の推論時での肯定応答の出力確率を比較することで，各アテンションヘッドが出力に与える影響を評価する．分析の結果，一部のアテンションヘッドが有害な出力に大きく関与していることが明らかになった．さらに，分析結果を利用して，特定のアテンションヘッドへの介入による防御手法を提案する．分析によって得られた影響の大きいアテンションヘッドの値を，元のアテンションヘッドの値と否定応答したプロンプトにおけるアテンションヘッドの平均値の重み付き平均で置き換えることにより，防御を行.う（図1）．評価実験の結果，提案手法は代表的なジェイルブレイク攻撃手法であるGCG[5]とAutoDAN[6]に対して攻撃成功率を低下させることが確認された．また，防御手法を考える際には，防御によって元の言語モデルの性能を低下させることなく，攻撃を防ぐことが要求される．そこで，さまざまなデータセットに対して，介入前後での性能の評価を行った結果，知識や推論能力については性能を維持することが確認された．また，指示データセットに対する性能（否定応答に変化した割合）の低下も最小限に抑えた．