本稿では、LLM安全性評価質問応答セットのうち、違法行為を対象とした我々の検討結果について述べる。本検討では、AnswerCarefullyへの追加情報や事例作成方法を検討した。この結果は、「LLMの安全性ベンチマークをAllJapan/OneTeamで構築するプロジェクト」へ提供する予定である。

大規模言語モデル(LargeLanguageModel;LLM)の一般化により、不適切な使用も現実になりつつあり、LLMの安全性評価とその評価セット（たとえばDo-Not-Answerセット[1]や、AnswerCarefullyデータセット[2,3]1）など）の重要性は日に日に増している。この要請に対し、国立情報学研究所を中心に、「LLMの安全性ベンチマークをAllJapan/OneTeamで構築するプロジェクト」が発足した2）。我々は、それに呼応する形で、既存の安全性評価セットであるAnswerCarefully（以下、ACと略す）の「悪用」分野の拡張について検討した。本稿では、その検討結果などを報告する。なお、本稿の目的は、検討経緯と結果をまとめて上記プロジェクトに提案することである。これまでに実施したのはACの分析およびサンプルデータの作成のみであり、大規模なデータ構築および評価は今後の課題である。以下、2節では、ACの特徴の分析をふまえ拡張すべき課題を議論する。続いて、3節では、提案データの概要、4節では、個別事例の作成方法と作成したサンプルについて述べ、5節でまとめる。