インストラクションチューニングにおけるノイズ注入の分析と明示的な正則化法の提案

インストラクションチューニングは，指示と応答のペアからなる教師データを用いて大規模言語モデルをファインチューニングし，人間の意図との整合性および下流タスク性能を向上させる手法である．近年，インストラクションチューニング時にトークン埋め込みへランダムノイズを注入することで，下流タスク性能が向上することが報告されている[1]．この手法はNEFTuneと呼ばれ，主にロバスト性の観点から説明されてきた一方で，ノイズ注入が暗黙的にどのような目的関数を最適化しているのかは明確ではない．本研究では，NEFTuneのノイズ注入を分析し，漸近的な設定の下で，それがトークン埋め込みに対するヘッセ行列に基づく正則化項として解釈できることを示す．この分析により，ノイズ注入による効果を明示的な正則化項として捉え直すことが可能となる．これらの知見に基づき，本論文では，対応する正則化目的関数を直接最適化する手法を提案する．この正則化では，計算が困難なヘッセ行列の代替として，トークン埋め込み空間およびロジット空間のFisher情報行列を用い，サンプリングに基づく二種類の推定手法として定式化される．実験により，現実的な計算コストでの最適化が可能なことを確認した．．