JMT-Safety:日本語マルチターン対話における安全性評価ベンチマーク

実世界における人間とLLMの対話は,主にマルチターン形式で行われる.しかし,従来の安全性評価の多くはシングルターンに限定されており,複雑な文脈における潜在的リスクを十分に捉えきれていない.本研究では,実社会での利用実態に即した評価を実現するため,日本語マルチターンベンチマークJMT-Safetyを構築する.本ベンチマークは,マルチターン対話において有害な発話を誘発させる攻撃手法を網羅的に収録する.それらへの応答をLLM-as-a-Judge[1]によって評価した結果,マルチターンにおける有害応答率がシングルターン比で最大約3.9倍となった.これは,従来の評価手法が捉えきれなかった脆弱性を明らかにしており,本ベンチマークの有用性を実証するものである.