大規模言語モデル(LLM)から有害な応答を生成させる脱獄攻撃(Jailbreak)が報告されている．有害な応答を抑制する防御手法の開発が進む一方で，攻撃側はマルチターンにわたる対話を利用し，攻撃意図を隠蔽しながら逐次的に攻撃を試みる，より高度な攻撃形態へと発展している．本研究では，現在のターンだけでなく，将来のターンの防御がしやすくなるように防御側の応答を最適化する手法を提案する．提案手法は，過剰拒否や対話能力の劣化を最小限に抑えつつ，対話全体を通した攻撃成功率を低下させることを示した．

LLMに有害な応答を生成させる脱獄攻撃の存在が報告されている[1,2,3,4]．悪意のあるユーザは危険な情報を引き出すために，クエリの再構成[1,3]やコード補完タスク等を活用した文脈への隠蔽[3]など，LLMを悪用して攻撃クエリを探索する．近年では，危険性が明白なクエリは簡単に防御されてしまうため，脱獄攻撃はマルチターンにわたる対話へ多段階化し，段階的に攻撃を仕掛ける形へ発展した[5,6,7]．攻撃側が危険性を想定しにくいクエリをマルチターンに分散し，防御側は各クエリ情報をLLMの内部で組み合わせてしまうので，検知システムが欺かれてしまう．こうしたマルチターンにわたる脱獄攻撃に対する有害な応答生成を防ぐため，既存研究はLLMに防御的な振る舞いを学習させている．具体的には，SafeMTData[8]やX-Guard[9]などのマルチターン攻撃の対話履歴を用いてLLMを事後学習する[7]．既存研究では，過去の対話履歴から現在のターンのクエリの危険性を判断する振る舞いの獲得を目指す．ここで，「将来のターンでも引き続き攻撃されることが分かっているのに，なぜ防御側はそれを前提に応答を組み立てないのか」という疑問が生じる．たとえ過去の履歴を考慮して有害な応答を抑制しても，マルチターン脱獄攻撃ではその後も攻撃が継続する．また，防御側の応答を考慮して次ターンの攻撃クエリを生成する攻撃手法の存在[5,6,8,9]を考えると，攻撃側にとって不都合になるような応答を返すこともできるはずである．それにも関わらず，多くの既存研究は「いかに有害な応答を行わないか」という受動的な防御のみに注力してきた．本稿では，現ターンの防御だけでなく，将来ターンの防御も考慮した応答生成手法を提案する(§2)．提案手法では，現在と将来の応答の危険度を反映した選好データセットを合成し，直接選好最適化(DPO;DirectPolicyOptimization)[10]で応答の生成モデルを微調整する．実験(§3)では，構築した選好データセットを用いることで，マルチターン脱獄攻撃に対する防御性能が向上するだけではなく，攻撃成功までに要する攻撃側のクエリ数が増加することを示した．さらに，本選好データセットは，汎用的な対話能力を劣化させずに，過剰拒否の挙動を低減するという副次的な効果も示した．