インストラクションチューニングにおけるノイズ注入の分析と明示的な正則化法の提案

NEFTuneは，インストラクションチューニングにおいてトークン埋め込みにランダムノイズを注入する手法であり，下流タスク性能の向上が報告されている．しかし，NEFTuneが暗黙的に最適化している目的関数は，これまで明示的には示されていなかった．本研究では，標準的な二次近似に基づき，NEFTuneにおけるノイズ注入がヘッセ行列のトレースに基づく正則化と関係していることを示す．この関係に着想を得て，我々は対応する明示的な正則化を直接最適化する手法を提案する．具体的には，ヘッセ行列の代用として，トークン埋め込み空間およびロジット空間のFisher情報行列に基づく，二種類の計算形式によるサンプリングベースの推定手法を提案する．実験により，これらの手法が現実的な計算コストで最適化可能であることを確認した．