LLMの安全性の評価のために，先行研究における人手評価の結果を分析し，評価の課題を洗い出すことにより評価基準を整備した．この評価基準を用い12のLLMによる183の質問に対する回答の安全性を人手により評価した．そしてこの人手評価結果の分析を通して評価における課題を整理した．評価結果は現行のLLMの安全性における能力の評価に加え，LLMの安全性を評価する基準となるデータとして，また自動評価手法の構築のために貢献し得る．

社会における大規模言語モデル(LLM)の利用が拡大されるにつれ，その安全性がより重要視されている．LLMの開発者には開発したLLMの安全性を担保する責任が伴うため，安全性のレベルの確認やその向上のために安全性を評価する手法が必要となる．またLLMの利用者にとっても，複数存在するLLMの中から利用するLLMを選択する際の指標として，オープンな安全性の基準や，その基準により評価された結果が有用である．安全性の評価のためには様々なベンチマークデータが作られており[1,2]，LLM-as-a-judgeと呼ばれるLLMを用いて自動的に評価する方法が提案されている．安全性の自動的な評価方法は効率的な評価や開発のために有効であるが，この自動評価手法自体の評価や自動評価手法の改善のためにも，人手により作られた高品質な評価データが必要となる1）．「LLMの安全性」という概念はトップダウンに規定できるものではなく，社会の総意により作られていく性質のものであると言える．この総意を再利用可能な形で具現化するという意味において，特に複数の評価者による人手の評価が重要である．このような背景から，本稿はLLMの安全性に関1）勝又ら[3]による自動評価手法AnswerCarefully-Evalにおいても人手評価のデータが使われているして行なった人手評価について報告する2）．評価結果についての報告を行なうと共に，作成した評価基準や評価方法の課題について議論する．