ファインチューニングにおける学習データの形式情報がLLMの安全性に与える影響

大規模言語モデル（LargeLanguageModel:LLM）は，アライメント技術により，有用性と安全性のバランスが保たれている[1]．しかし，下流タスクへの適応を目的としたファインチューニング（FT）を行うことで，これらの安全性が容易に損なわれる現象が報告されている[2]．特に重大な課題として，攻撃的な意図を含まない一般的な良性データセットを用いたFTであっても，モデルの防御機能が低下する点が挙げられる．この要因について，Heら[3]は，有害な指示とベクトル空間上で類似する良性データがリスク要因であるとし，その特徴として数式や箇条書き等の形式が多く含まれることを報告している．しかし，彼らの分析はあくまで類似度に基づく相関関係の指摘に留まり，こうしたデータの「形式」そのものが安全性低下の直接的な原因であるかは検証されていない．本研究では，「学習データの形式情報」が安全性低下を引き起こす要因であるという仮説を検証した．具体的には，意味内容を同一に保ちつつ形式（JSON，箇条書き，自然文）のみを変化させたデータを用いてFTを行い，形式の違いが安全性に与える影響を定量的に調査した．その結果，複雑な形式を持つデータほど，モデルの安全性を著しく低下させることが明らかになった．さらに本研究では，この仮説を裏付けるため，形式と内容を分離して学習する手法ProMoT[4]を適用した検証を行う．実験の結果，形式情報の学習を抑制することで，タスク性能とのトレードオフは見られるものの，安全性の低下を大幅に抑えられることが確認された．これらの結果は，モデルがデータの形式情報へ過剰に適合することが，安全性低下の一因であることを示唆するものである．