NEFTuneは，インストラクションチューニングにおいてトークン埋め込みにランダムノイズを注入する手法であり，下流タスク性能の向上が報告されている．しかし，NEFTuneが暗黙的に最適化している目的関数は，これまで明示的には示されていなかった．本研究では，標準的な二次近似に基づき，NEFTuneにおけるノイズ注入がヘッセ行列のトレースに基づく正則化と関係していることを示す．この関係に着想を得て，我々は対応する明示的な正則化を直接最適化する手法を提案する．具体的には，ヘッセ行列の代用として，トークン埋め込み空間およびロジット空間のFisher情報行列に基づく，二種類の計算形式によるサンプリングベースの推定手法を提案する．実験により，これらの手法が現実的な計算コストで最適化可能であることを確認した．

インストラクションチューニングは，指示と応答のペアからなる教師データを用いて大規模言語モデルをファインチューニングし，人間の意図との整合性および下流タスク性能を向上させる手法である．近年，インストラクションチューニング時にトークン埋め込みへランダムノイズを注入することで，下流タスク性能が向上することが報告されている[1]．この手法はNEFTuneと呼ばれ，主にロバスト性の観点から説明されてきた一方で，ノイズ注入が暗黙的にどのような目的関数を最適化しているのかは明確ではない．本研究では，NEFTuneのノイズ注入を分析し，漸近的な設定の下で，それがトークン埋め込みに対するヘッセ行列に基づく正則化項として解釈できることを示す．この分析により，ノイズ注入による効果を明示的な正則化項として捉え直すことが可能となる．これらの知見に基づき，本論文では，対応する正則化目的関数を直接最適化する手法を提案する．この正則化では，計算が困難なヘッセ行列の代替として，トークン埋め込み空間およびロジット空間のFisher情報行列を用い，サンプリングに基づく二種類の推定手法として定式化される．実験により，現実的な計算コストでの最適化が可能なことを確認した．．