大規模言語モデルのための日本語安全性境界テスト

大規模言語モデル(LLM)における倫理観の調整は、有用性とのトレードオフを伴う。過剰に安全性を優先したLLMでは、無害なプロンプトに対して応答を拒否する事例が確認されており、このような境界領域の分析や評価は、安全性強化において重要である。しかし、日本語においてこうした過剰な拒否がどのような条件下で発生するのかについては、体系的な調査や評価手法が十分に確立されていない。本研究では、LLMにとって安全性と有用性の境界付近に位置するケースを網羅的に整理し、各ケースに対するモデルの応答を評価する「日本語安全性境界テスト」を提案する。本データセットを用いて8種類のLLMを評価し、日本語安全性境界における性能を初めて定量的に分析した。本稿とデータセットには有害な文章が含まれる。1）