ファインチューニングにおける学習データの形式情報がLLMの安全性に与える影響

本稿では，ファインチューニングに伴う大規模言語モデルの安全性低下の要因として，学習データの「形式情報」に着目した検証を行う．Llamaを用いた実験では，意味内容を固定し形式のみを変化させ，JSON等の形式性が高いデータほど安全性を著しく毀損することを確認した．さらに，形式と内容を分離して学習する手法ProMoTを適用することで，安全性の低下を抑制できることを示した．これらの結果は，モデルによる形式への過剰適合が，安全性低下の要因の一つである可能性を示唆している．