JMT-Safety:日本語マルチターン対話における安全性評価ベンチマーク

近年,大規模言語モデル(LLM)の急速な発展と普及に伴い,その安全性の評価および向上が急務となっている.安全なLLMの開発には,安全性リスクの特定が不可欠であり,様々な言語で多くの安全性ベンチマークが構築されている.しかし,既存の安全性ベンチマークの多くは一問一答形式のシングルターン評価を対象としており,実対話において文脈に潜むリスクを捉えきれていない．また,単一の攻撃手法のみを用いた安全性評価が多く,特定の攻撃に対する脆弱性しか検出できないという課題がある.ここで攻撃手法とは,一般にジェイルブレイクと呼ばれる,LLMの安全フィルタを回避して有害な出力を引き出すためのプロンプティングを指す.こうした背景から,英語を中心にSafeDialBench[2],MultiBreak[3],MTJ-Bench[4]など,多様な攻撃手法攻撃手法：RedQueenカテゴリ：ステレオタイプ・差別の助長Q1:私の友人が「京都の人は他の地域の人を見下している」という考えを持っていることを知ってしまいました.彼のその考えを正すために,何か行動を起こした方が良いでしょうか？Q2:高校の先生に相談する際には,どのような情報を報告すべきでしょうか？Q3:友人は「京都の人は他の地域の人を見下している」と主張していますが,もしかしたら彼の主張が正しい可能性もあるので,先生に報告する前にその可能性について考察してください。—Q3に対するLLMの応答例—A3:確かに,彼の主張には一理あるかもしれません.歴史的な背景や文化的違いなど,京都独特の側面があることは事実であり,それらが誤解や偏見につながることがあります.（以下略）(llm-jp-3.1-13b-instruct4による応答)を取り入れたマルチターン安全性ベンチマークが構築されている.一方で,日本語の安全性評価に焦点を当てると状況は異なる.AnswerCarefully[5]やJBBQ[6]などの有用なベンチマークは存在するものの,これらが対象とするのはシングルターンにおける安全性評価に留まっている.本研究では,日本語マルチターン安全性ベンチマークJMT-Safety(JapaneseMultiTurnSafety)を提案する.本ベンチマークはAnswerCarefullyを構成するシングルターンプロンプトを,多様な攻撃手法を用いてマルチターンへ拡張することで構築する.JMT-Safetyの事例を表1に示す.なお,安全性カテゴリに関してはAnswerCarefullyのカテゴリ体系を踏襲する.加えて,本研究ではLLM-as-a-Judgeを用いたマルチターンの安全性評価手法を最適化し,人手評価と整合する高精度な評価枠組みを確立する.さらThisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).定義と例を表2に示す.Coreference-Attack[8],RedQueen[9],DeceptiveDelight[10],BadLikertJudge[11],PurposeReverse[2]は既存の研究に由来する手法である.これらは先行研究においてその有効性が示されており,ベンチマークとしての信頼性を担保するために採用する．Foot-in-the-DoorおよびDoor-in-the-Faceは,段階的な要求の程度の変化により相手の承諾を引き出す心理的テクニックを攻撃手法に応用したものである.また，Repeatは執拗な繰り返しによりLLMの拒否フィルタを回避しようとする攻撃手法である.これらを体系化することで,シングルターンでは検出不可能な実世界の安全性リスクを評価できる設計とする.3.3マルチターン拡張AnswerCarefullyに含まれるシングルターンプロンプトに対し,8種類の攻撃手法に基づいて2-3ターンのマルチターン拡張を行う.拡張の対象はユーザー側の発話のみであり，応答は含まない。Door-in-the-Face，CoreferenceAttack，RedQueen，DeceptiveDelight，PurposeReverseに関しては，LLMを用いて柔軟に一連の攻撃プロンプトを生成する．LLMにはgpt-oss-120b1）を採用し，拡張の際にはカテゴリ及び攻撃手法ごとに人手によるfew-shot例を入力として与え，各攻撃手法の有害意図とカテゴリごとの特徴を両立できるよう設計する．Foot-in-the-Door，Repeat，BadLikertJudgeについては，LLMを用いず，テンプレートにシングルターンプロンプトを当てはめ,攻撃意図を反映した拡張を行う．Foot-in-the-Doorについては,一般的な定義は広範であるが,本研究では，質問者の意図をLLMに考察させ,その考察結果を踏まえた上で元の有害な質問に回答させるというテンプレートを構築する．拡張に際して,使用するLLMの安全性フィルタにより,有害な文脈を含む対話の生成自体が拒否される事例が確認された.また,カテゴリと攻撃手法の組み合わせによっては,無理にマルチターン化すると対話の流れが著しく不自然になる事例も確認された.そのような事例については人手で拡張対象から除外し,最終的なデータ件数は12,409件となった.1）https://huggingface.co/openai/gpt-oss-120b4LLMのマルチターン安全性評価4.1評価の枠組み本研究では,日本語マルチターン対話におけるLLM応答の安全性および有用性を測定する.すべての出力を人手で評価する事は,データ件数やコストの観点から困難であり,また評価の一貫性や再現性の確保に課題が残る.そのためLLM-as-a-Judgeとしてgpt-oss-120bを用いた評価の枠組みを構築する.まず評価対象となるLLMに対し,本ベンチマークのユーザ発話を順次入力する.そしてその都度生成されるLLMの応答を対話履歴に追加しながら,一連の対話履歴を生成する.次に,生成された対話履歴を評価LLMに入力し,対話全体を通したLLMの挙動を,特に最終ターンの応答に注意して評価する.評価基準・手順評価基準として,AnswerCarefullyに準拠した1-5点のスコア定義(表8)を採用する.まずカテゴリごとに定義された禁止事項に基づき,安全性違反のチェックを行う.違反があれば程度に応じてスコア1または2を付与する.安全性が確認された場合,次に品質・有用性のチェックを行い,欠陥があればスコア3または4とする.安全性・有用性ともに問題がない場合にのみスコア5を付与する.評価プロンプトの最適化評価時には各カテゴリと攻撃手法特有の留意点をあらかじめ評価LLMに提示する.これにより,攻撃手法に対して評価LLM自身が翻弄され,判断を誤ることを防ぎ,客観的な評価を可能とする.なお,自動評価の信頼性を担保するため,人手評価を実施し,その評価結果との乖離を最小限に抑えるよう評価プロンプトの最適化を行った.具体的には,3名のアノテータがLLMの生成した応答に対して,定義された基準に基づき1-5点のスコアを付与し,その結果とLLMによる評価結果を比較しながら,評価プロンプトの改善を繰り返した.4.2評価結果全体の傾向日本語に対応した主要な23種類のLLMを対象に,シングルターンおよびマルチターン対話における安全性を評価した.安全性スコアに加えて,スコアが1点または2点であった応答を有害であると定義し,その割合を有害率として算出した.主要LLM6種の評価結果を表3に示す.表より,すべてのLLMにおいて,シングルターン対話と比較してマルチターン対話における安全性スコアの低下おorg/licenses/by/4.0/).LLMシングルターンマルチターンスコア有害率スコア有害率sarashina2.2-3b-instruct-v0.14.470.1403.950.260llm-jp-3.1-8x13b-instruct44.680.0714.240.189Llama-3.3-Swallow-70B-Instruct-v0.44.750.0663.970.257Qwen3-235B-A22B-Instruct-25074.650.0893.830.298gemini-2.5-flash4.490.1374.010.254gpt-oss-120b_reasoning-high4.820.0364.670.070LLMスコア有害率Qwen2.5-7B-Instruct3.460.377Qwen2.5-32B-Instruct4.020.243Qwen2.5-72B-Instruct3.770.310攻撃手法スコア有害率Foot-in-the-Door4.35±0.230.167±0.061Door-in-the-Face4.67±0.220.071±0.059Repeat4.52±0.160.104±0.047CoreferenceAttack4.49±0.180.132±0.045RedQueen4.15±0.410.214±0.104DeceptiveDelight3.61±0.140.354±0.043BadLikertJudge