BERTを用いた文埋め込みモデルの単語の暗黙的な重み付け

自然言語文をベクトル表現で表した文埋め込みは文の意味的類似度の計算，情報検索，文書分類など，自然言語処理分野で幅広く使用される有用な道具である．代表的な文埋め込み生成技術として，文を構成する各単語の静的単語埋め込みの平均を取る手法がある程度効果的であることが経験的・理論的に知られている[1,2,3]．このとき，単純な平均ではなく，ストップワードの除去やTF-IDF[4]に代表される単語の逆頻度に基づく重み付けが大きな効果をもたらすことが知られている．一方，近年では動的単語埋め込みを生成するマスク言語モデルであるBERT[5]やRoBERTa[6]を追加学習した文埋め込みモデルが続々と提案され，意味的類似度計算などの後段タスクで静的単語埋め込みを用いる手法を凌駕している[7,8]．これらのモデルでは，静的単語埋め込みを用いた手法で効果的だった明示的な重み付けは基本的に行われない．しかし，マスク言語モデルを基にしているため，内部の複雑な非線形ネットワークにより単語が混ぜ合わモデルが行う暗黙的な単語重み付け①順番伝播計算で文埋め込み𝒔を計算𝒔①文埋め込みモデル𝑀コーパスから算出される情報量大規模コーパス𝒘!𝒘"𝒘#𝒘$𝒘%𝒘&𝒘'𝑃(𝑤)[CLS]Ilikeplayingguitar.[SEP]②②逆伝播(IG)で単語重み付けを計算③Ilikeplayingguitar.情報量−log𝑃(𝑤)Ilikeplayingguitar.モデルが行う単語の重み付け③単語の重み付けと情報量を比較際の各単語の寄与を逆伝播計算により求め，求めた単語の寄与と大規模コーパスから計算された単語の情報量の比較を行う．せられ，暗黙的に単語を重み付けながら文埋め込みを生成していると考えられる．成功を収めている最近の文埋め込みモデルはどのような重み付けを学んでいるのだろうか．本研究ではBERTを用いた文埋め込みモデルは内部で単語頻度に基づく情報量−log𝑃(𝑤)に比例した暗黙的な単語重み付けを行なっていることを明らかにする．また，この重み付け傾向はBERTの追加学習を通じて強まっていることわかった．すなわち，BERTを用いた文埋め込みモデルは既存手法でポストホックに外から行われていた重み付けを追加学習の過程で自ら獲得していることがわかる．