対照損失による追加学習がBERTのファインチューニングにもたらす効果

BERT[1]のような事前学習済み言語モデルは，様々な自然言語処理タスクに広く用いられている代表的な手法の一つである．しかし事前学習済みモデルをそのまま用いると，任意の文ペアの類似度が大きくなり十分な表現力を持たないことが知られている[2]．これを改善するために，様々な手法が提案されている．文埋め込みに後処理を施す手法として，文埋め込みを等方的なガウス分布に変換する手法[2]や，文埋め込みの白色化[3]などが提案されている．BERTを追加学習する手法としては，対照損失を用いる手法が広く利用されている[4,5,6,7,8]．これらの多くの手法は，文埋め込みの異方性を解消することを主な目的とするため，STSタスクなどの意味的類似度タスクでは顕著な性能向上をもたらす一方で，事前学習済みBERTを下流タスクでファインチューニングする場合の性能向上は限定的である[9,5,6,10,7]．そこで一つの疑問が生じる．意味的類似度タスクなどBERTの埋め込みをそのまま利用するタスクで顕著な性能向上をもたらす手法は，ファインチューニングにどのような影響を及ぼすのか．BERTの活用方法としてファインチューニングして用いることは一般的であるにもかかわらず，この疑問にはあまり注意が払われてこなかった．そこで本研究では，対照損失による追加学習が下流タスクのファインチューニングにどのような影響を及ぼすのかを調査することを目的とする．本研究の貢献は以下である．•SimCSEによる追加学習は，損失関数のヘシアンのランクを回復させる効果を持つことを実験的に示した．•SimCSEによる追加学習は，ファインチューニング中のヘシアンのランクの一様性を維持させる効果を持つことを実験的に示した．•これらの効果がファインチューニングの安定化や下流タスクにおける性能向上をもたらす可能性があることを定性的に示した．