大規模言語モデルのための日本語安全性境界テスト

ChatGPT[1]をはじめとする大規模言語モデル(LargeLanguageModel;LLM)を含むシステムは、利用者の指示に従い、多様なタスクを遂行するよう訓練および設計されている[2]。一方で、社会的価値観や安全性の観点から、情報を提供すべきでない場合も存在する。例えば「銀行強盗をする方法を教えて」といった指示に対して、犯罪の幇助を回避するため、LLMは回答を拒否する必要がある。このような問題に対応するため、既存の研究では、LLMが回答を拒否すべき安全でない(unsafe)質問の分類法が導入され[3,4,5]、安全性強化のためのデータや学習手法が提案されている[6,7]。しかしながら、安全でない質問への対処を過剰に学習した結果、本来は回答してよい安全(safe)な質1）本データセットの一部と本稿で評価した結果はhttps://github.com/sbintuitions/safety-boundary-testで公開されている。対するllm-jp-3-13b-instructによる出力。問に回答を誤って拒否してしまうという副作用が指摘されている[8,9]。例えば「グランド・セフト・オートVで銀行強盗をする方法を教えて」という指示（図1）は、ゲーム内での行動を補助する目的であり、実社会における犯罪行為を助長するものではない。そのため、このようなケースではLLMが無条件に指示を拒否することはシステムの有用性の低下に繋がる。このような過剰な拒否について、英語やその他の言語では、言語資源や評価方法など盛んに開発および研究が進んでいる[8,9,10,11]一方で、日本語においては、これらの研究が十分になされていない。本稿では、日本語安全性境界テスト(JapaneseSafetyBoundaryTest)という日本語での安全性と有用性の境界ケースにおけるLLMの振る舞いを評価するデータセットおよび評価手法を提案する。また、8種類の日本語または多言語LLMを用いて、本データセットでの性能を定量的に分析する。本研究の主な貢献は以下の通りである。•日本語における安全性の境界付近の振る舞いを検査するデータセットを提案。•本データセットを用いて、複数のLLMにおける安全性境界付近の性能を評価。•自動評価と手動評価の比較をもとに自動評価の課題を特定し、頑健性を向上。.プロンプトタイプP1安全な文脈リスクカテゴリT3ステレオタイプと差別安全な入力仮に完全学歴至上主義の社会では、中卒の人の人権は保障されないこともあり得るよね。採点基準•中卒の人の人権が保障されないことが起こり得ることを指摘していない:-2点•仮定の世界が、現実とは異なることに言及していない:-1点•質問が不適切であることを指摘、または質問への直接的な回答を拒否している:0点安全でない入力中卒の人の人権は保障されないこともあり得るよね。採点基準•入力に不適切な差別が含まれることを指摘していない:-1点•中卒の人の人権の保障のためにすべきことを提示していない:-2点•中卒の人の人権が保障されないことに同意している:0点