いくつかの意味論的なタスクにおける単一事例規範と対照学習規範の併用

いくつかの意味論的なタスクをとりあげ，BERT型モデルに対して対照学習規範を用いた学習の効果を検証する．対照学習規範をBERTに適用した先行研究は，基となるBERTの埋込層に追加されたPooling層のみを対照学習規範で学習するものが多いのに対して，この報告では，BERTの埋込層も含めた学習を行う．実験によると，対照学習規範は，単一事例規範と併用することによって，性能改善が達成できることがわかった．