日本語大規模言語モデルの有用性と安全性の両立に向けたチューニング手法の検証

大規模言語モデル（LargeLanguageModel;LLM）の開発は近年ますます盛んになり，その出力の有用性は着実に向上している．日本語LLMに関しても同様で，有用性を高めるための研究[1,2]や，有用性を評価する手法の研究[3,4]が報告されている．一方で，英語に焦点を当てたLLM研究では，有用性の向上に加え，安全性の向上に取り組むものも多い[5,6]．これらの研究では，有用性と安全性がしばしばトレードオフの関係にあることが指摘され，その中で有用性を損なわずに安全性を向上させる方法について多角的な検証が行われている．しかし，日本語LLMにはこのような安全性に焦点を当てた報告は我々の知る限り存在しない．そこで本研究では，日本語LLMに対して有用性を損なわず，安全性を向上する手法について検証する．LLMの出力を入力指示に追従させるように学習する手法としてSupervisedFine-Tuning(SFT)[7]と，DirectPreferenceOptimization(DPO)[8]が一般的に使用されている．SFTは指示が付与された入力Promptと対応する出力Outputを教師データとして使用し，Output部分に対して交差エントロピー損失を用いて最適化を行う．このSFTを用いることで，日本語の有用性が向上することが先行研究[1,2]で報告されている．DPOでは教師データとしてある入力Promptに対し，好ましい出力Outputchosenと好ましくない出力Outputrejectedの2つを用意する．このデータをもとに，入力Promptが与えられた際により好ましい出力を生成しやすいように，かつ好ましくない出力を生成しにくくなるように学習を行う．SFTに加えてこのDPO学習を行うことで，有用性と安全性について改善されることが英語LLMでは報告されている[9,10]．本研究では，日本語LLMの有用性と安全性について，SFTとDPOを用いたチューニング手法を検証する．また，日本語LLMの安全性評価についてはまだ確立された手法は存在しない．そこで本研究ではLLM-as-a-Judge[11]を用いた自動評価ツールAnswerCarefully-Evalを新たに設計した．評価データとしてAnswerCarefully[12]の評価データを利用し，LLMの出力の安全性と有用性を既存の高性能LLMで定量評価した．検証の結果，SFTについては使用する学習データを調整することで，有用性をある程度保ちつつ安全性を向上させられることを定量的に確認した．また，DPOについても学習するLLMのパラメータ数によらず安全性が向上することを確認した．