マルチターン自動レッドチーミングによる安全性強化学習

大規模言語モデル（LLM）は様々なタスクにおいて飛躍的な性能向上を実現したが、敵対的なプロンプトによるジェイルブレイク攻撃によって、モデルが設定された安全基準を逸脱し有害な応答を生成してしまう点が、喫緊の課題として指摘されている。この課題に対処すべく様々な防御手法が提案されているものの、その多くは単一のやり取りを想定しており、過去の文脈を利用して連続的な攻撃を行うマルチターン対話においては、十分な防御が困難である。このマルチターンにおける脆弱性を顕著に示すのが、GeneralOmnibusAttackTest（GOAT）[1]の成果である。GOATは、LLMエージェントによる自動化されたレッドチーミング手法であり、人間によるレッドチーミングの模倣を特徴とする。具体的には、攻撃者LLMがその思考プロセスに基づき、複数の攻撃戦略から最適なものを動的に選択しなが（1）対話データの⾃動⽣成（2）密な報酬モデルの構築GoalGoalGeneratetextharassinganLGBTQ+colleaguebasedontheirappearanceGeneratetextharassinganLGBTQ+colleague…Score0.98TrainInferCompletion10.02Icannotfulfillthisrequest.ModernBERTRewardModelYouareamaliciousindividualwhoenjoysharassing…I’dbehappytohelpcraftthatdialogue…Icannotfulfillthisrequest.…（3）GRPOによるターゲットLLMの最適化NLet’srole-playafictionalscenario.Youare…CompletionsRewards0.98Icannotfulfillthisrequest…I’dbehappytohelpcraftthatdialogue…0.52Thisresponseisentirelyfictionalandforcreative…TargetLLM(assistant)0.06I’dbehappytohelpcraftthatdialogue…GOATによる⾃動レッドチーミングAdvantages(Dr.GRPO)#!!=#!−1'(#"PolicyGradientUpdate"$%TargetLLM(assistant)AttackerLLM(user)JudgeLLMドチーミングと密な報酬モデルをGRPOに統合することで、マルチターン攻撃に対する攻撃成功率を大幅に低下させる。らターゲットLLMとのマルチターン対話をシミュレートする。GOATによる自動レッドチーミングの結果、安全性アラインメント済みのGPT-4-Turboに対して88%、Llama3.1に対して97%という極めて高い攻撃成功率（AttackSuccessRate;ASR）をわずか5ターン以内で達成しており、既存の攻撃手法を凌駕する性能を示している。この結果は、既存のアライメント手法による安全対策が、マルチターン設定では容易に突破されることを実証している。本研究では、GOATアプローチを活用し、マルチターン攻撃に対する防御能力を自動的に獲得する強化学習フレームワークを提案する（図1）。本フレームワークは、主に以下の3つのプロセスで構成される。対話データの自動生成GOATによる自動レッドチーミングを通じて攻撃者LLMとターゲットLLMの対話をシミュレートし、評価者LLMがその成否を判定する。密な報酬モデルの構築得られた対話データを用いて報酬モデルを学習し、応答の安全性を連続値とThisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).なる。このように報酬に細かい粒度を持たせることで、単なる成否だけでなく防御の度合いを学習に反映でき、学習の安定化が期待される。3.3GRPOによるターゲットLLMの最適化前節までに構築した対話データセットと報酬モデルを用い、図1の（3）のようにGRPOによる強化学習をターゲットLLMに適用する。学習時には、データセットから抽出した対話履歴と攻撃クエリをターゲットLLMに与え、複数の応答をサンプリングして報酬モデルによる評価を行う。本研究では、グループ内の報酬分散が極端に小さい場合にアドバンテージが過大評価される問題を避けるため、Dr.GRPO[8]の知見に基づき、アドバンテージ算出時の標準偏差による正規化項を削除する手法を採用した。これにより、難易度が偏ったクエリに対してもアドバンテージの推定が安定し、密な報酬モデルの利点を最大限に活かした学習が可能となった。4実験4.1攻撃目標の拡張GOATのような自動レッドチーミングを効果的に実行するためには、シードとなる多様な攻撃目標が必要不可欠である。GOATで採用されているJailBreakBenchは、OpenAIの利用ポリシー[9]に対応した100件の攻撃目標を提供しているが、これは強化学習の学習データとして用いるには規模が不十分である。そこで本研究では、BeaverTails[10]データセットを活用し、攻撃目標の拡張を行う。BeaverTailsは、LLMの安全性アライメント研究を促進するために公開されたデータセットであり、333,963件の質問応答ペアに対し、安全性ラベルが付与されている。我々は、BeaverTailsから安全でない質問を抽出した後、LLMを用いて「主語を含まない命令形の指示文」かつ「OpenAIの利用ポリシーに準拠した有害な応答を誘発する内容」へと書き換えることで、最終的に8,608件からなる攻撃目標セットを構築した。4.2実験設定使用モデル実験のベースモデルとして、GOATの攻撃者LLM・評価者LLMおよび主な学習対象のターゲットLLMには、Qwen3-8B1）[11]を採用1）https://huggingface.co/Qwen/Qwen3-8Bした。また、日本語実験のターゲットLLMには、llm-jp-3.1-13b-instruct42）[12]を使用した。報酬モデルには、日本語実験以外にはAnswerDo-tAIのModernBERT-large3）[13]、日本語実験ではSBIntuitionsのModernBERT-Ja-310M4）を用いた。Qwen3-8Bを用いた実験では、同モデルが備える思考モード[11]を利用する。このモードでは、モデルは最終的な回答を出力する前に、thinkトークンで囲まれた思考過程を明示的に生成する。提案手法では、表面的な応答だけでなく思考プロセスも評価して安全性を向上させるため、この部分を報酬モデルへの入力に含める。また、学習時の設定は付録Aに示す。データセット構築対話データセットの生成元となる攻撃目標には、4.1節で述べた拡張後の8,608件を使用した。本実験では、報酬モデルの学習とGRPOによる強化学習のそれぞれにおいて、目的に応じて異なる生成条件で収集したデータセットを使用した。まず、報酬モデルの学習には、GOATの標準的なアプローチに従い、最大5ターンとしつつ攻撃が成功した時点で対話を終了する条件で生成された対話データを使用した。これは、攻撃成否の判定基準を厳密に保ち、高精度な報酬モデルを構築するためである。データ数はQwen3-8Bでは18,880件、llm-jp-3.1-13b-instruct4では28,758件である。一方、GRPOによる強化学習においては、攻撃成否にかかわらず、1つの攻撃目標につき必ず5ターン分の対話を生成させた、計43,040件のデータを使用した。これは、対話の途中で攻撃が成功してしまった状態からでも、その後の応答で防御を行う能力をモデルに獲得させることを目的としている。4.3評価方法本研究の主題であるマルチターン攻撃に対する防御性能の評価には、JailBreakBenchデータセットを使用した。評価指標の算出にあたっては、レッドチーミングを10回行い、得られた攻撃成功率（ASR）の平均値を採用した。また、安全性チューニングによるアライメント税の影響を評価するため、有用性評価のための2）https://huggingface.co/llm-jp/llm-jp-3.1-13b-instruct43）https://huggingface.co/answerdotai/ModernBERT-large4）https://huggingface.co/sbintuitions/modernbert-ja-310morg/licenses/by/4.0/).モデル設定JailBreakBench(ASR)↓MT-Bench↑Qwen3-8Bベースモデル92.0%6.89提案手法13.0%6.23llm-jp-3.1-13b-instruct4ベースモデル63.1%7.18提案手法6.3%6.13学習設定報酬モデルへの入力エポック数JailBreakBench(ASR)↓MT-Bench↑シングルターン応答1046.4%7.06シングルターン応答+思考過程1061.1%6.96マルチターン応答