日本語大規模言語モデルの有用性と安全性の両立に向けたチューニング手法の検証

大規模言語モデルは多様な入力に対しても有用な回答を生成できるが，出力された回答の安全性に関する課題も指摘されている．特に日本語LLMの研究開発では安全性に対する対策がまだ十分には進んでいない．本研究では日本語LLMの安全性向上を目的としたチューニングを行い，特に有用性を損なわずに安全性を向上させる手法について検討する．さらに日本語LLMの安全性を自動で評価するツールを新たに作成し，チューニングによる安全性向上を定量的に検証する．実験では，SupervisedFine-TuningやDirectPreferenceOptimizationを適切に組み合わせることで，安全性を効果的に向上させられることを確認した．