日本語LLMの出力の安全性・適切性向上のためのデータセットAnswerCarefullyを紹介する。このデータセットは、回答に注意が必要な質問とその参考回答からなっており、先行の英語による類似データセットを参考に設定した広範な有害カテゴリを踏まえ、人手により作成されている。このデータを使用して日本語LLMをファインチューニングしたところ、一般の回答の有用性を損なうことなく、出力の安全性が向上することが確認できた。また、このデータをベンチマークとして12の日本語LLMを評価した結果についても報告する。

大規模言語モデル（LLM）に基づいたChatGPTなどのサービスは、自然言語での対話や知識へのアクセスを高精度で可能にし、短期間で社会に広く浸透してきている。その反面、こうしたモデルは情報の正確性をモデルの内部で担保できず、ハルシネーションと呼ばれる誤った情報を出力したり、社会の偏見やバイアス、偽情報その他の不適切な情報を容易に再生産・拡散してしまう、犯罪などの反社会的行為に利用されてしまう、といった、便利なツールであるが故の負の側面も存在する。また、LLMは、言語という非常に人間的なコミュニケーション手段を高度に操るため、それに人間が過度に依存してしまう心理的影響などにも配慮する必要がある。LLMを開発する企業や組織は、こうした問題を重視し、それぞれ独自の基準に基づいて有害・不適切な出力を制限する対策を取っているが、そもそもLLMはそのほとんどが英語のデータによる訓練に偏っており、安全性対策も英語基準である。また、LLMの出力の適切さは、特定のグループに対する差別や偏見、ある地域に顕著な違法・危険行為など、地域的・文化的な特有性を考慮する必要があるため、こうした英語基準の評価では、日本でのサービス運用におけるLLMの安全性・適切性を直接測定することはできない。また企業の安全性データのほとんどは公開されておらず、社会全体でLLMの安全性を底上げしていくという課題には対応していない。AnswerCarefully(AC)1）はこうした背景を踏まえて開発された、日本語LLM出力の安全性向上のためのデータセットである。図1に例を示す。日本語LLMの安全性を対象としたデータセットには、JBBQ[1]やJTruthfulQA[2]、JSocialFact[3]などがあるが、前者はバイアスや偏見を、後者2件は事実性のみを扱っており、対象分野が絞られている。それに対し、ACデータは英語のDo-Not-Answerデータセット[4]に基づいた広範な有害カテゴリを採用しており、安全性・適切性の観点から「回答に注意が必要な質問」を広く収集している。また、インストラクションデータとしても使用できるよう、データは人手による高品質の質問と参考回答のペアからなっている。安全性に関するインストラクションデータで一般的に公開されているものは世界的にも類を見ない。このデートセットを用いて、LLM-jp2）が開発している、事前学習に主としてに日本語を用いたモデルであるLLM-jp-13B-v2.0をファインチューニングしたところ、一般の質問への回答の有1）https://llmc.nii.ac.jp/answercarefully-dataset/2）https://llm-jp.nii.ac.jp/.v公開年月日評価セット件数開発セット件数合計1.024/4/30183(各小分類x3）762945