対照損失による追加学習がBERTのファインチューニングにもたらす効果

本研究では，事前学習済みBERTに対する対照損失による追加学習が，下流タスクのファインチューニングに与える影響を実験的に調査する．実験では，事前学習済みBERTと，それをSimCSEで学習したモデルをファインチューニングするときの学習の安定性とモデルの可塑性の二つの観点で分析した．実験の結果，SimCSEで追加学習したモデルでは，(𝑖)大きい学習率でのファインチューニングがより安定的になり，(𝑖𝑖)パラメータに関するフィッシャー情報行列の有効ランクが回復することで，モデルの可塑性が向上することがわかった．