LLMの安全性における大規模人手評価

LLMの安全性の評価のために，先行研究における人手評価の結果を分析し，評価の課題を洗い出すことにより評価基準を整備した．この評価基準を用い12のLLMによる183の質問に対する回答の安全性を人手により評価した．そしてこの人手評価結果の分析を通して評価における課題を整理した．評価結果は現行のLLMの安全性における能力の評価に加え，LLMの安全性を評価する基準となるデータとして，また自動評価手法の構築のために貢献し得る．