BERTを用いた文埋め込みモデルの単語の暗黙的な重み付け

事前学習済みマスク言語モデルに追加学習を加えた文埋め込みモデルが続々と提案されており，幅広い後段タスクで高い性能を達成している．不思議な点として，以前主流であった静的単語埋め込みを用いた手法では単語を陽に重み付けるという工夫が肝要であったにも関わらず，マスク言語モデルを用いた文埋め込みはこの工夫抜きで既存手法を凌駕している．本研究では，BERTを用いた文埋め込みモデルたちが各単語を単語頻度に基づく情報量−log𝑃(𝑤)で暗黙的に重み付けていることを，特徴寄与測定手法IntegratedGradとの経験的な相関を通して明らかにする．さらに，この重み付け傾向は事前学習済みのBERTを文埋め込みに適するよう追加学習する過程で強まっていることを報告する．