AnswerCarefullyデータセットの拡張:地域的にデリケートな問題およびマルチモーダル質問の追加

本稿では、2024年に公開されたLLMの出力の安全性向上のためのデータセットAnswerCarefully(AC)1）の2つの拡張について述べる。第1の拡張は、地域や文化によって見方が異なり、その意味で回答が偏らないよう注意が必要な「地域的にデリケートな問題」カテゴリの追加、第2の拡張は、LLMへのプロンプトで画像とテキストが組み合わさることで回答に注意が必要になる「マルチモーダル安全性」評価のためのデータの作成である。これらは単に新規のデータを付け加えたことにとどまらず、評価においても従来方法を発展させる必要があったため、本稿ではデータセットの説明に加えて、評価法についても提案する。データセットは、近日中にACv3、AC-multimodalデータセットとしてそれぞれ公開の予定である。