マルチターン自動レッドチーミングによる安全性強化学習

大規模言語モデル（LargeLanguageModel;LLM）はジェイルブレイク攻撃に対して脆弱であり、特に複数のやり取りを介したマルチターン対話においては、既存の安全性アラインメントを回避して有害な内容を出力するリスクが顕著である。本研究では、こうしたマルチターン攻撃に対する防御能力の向上を目的とし、自動化されたレッドチーミングと強化学習を統合した新たな防御フレームワークを提案する。提案手法では、自動レッドチーミングを通じて収集された対話データに基づき、応答の安全性を評価する報酬モデルを構築し、強化学習を通じてモデルの安全性を強化する。評価実験の結果、提案手法は日本語および英語の双方において、マルチターンにおける攻撃成功率を大幅に低減（92.0%→13.0%）できることを確認した。