なぜ平均プーリングはうまく動くのか？テキスト埋め込みの二次統計量の崩壊の定量化

テキスト埋め込みは，標準的には単語埋め込みの平均プーリングで得られる．本稿では，平均プーリングが元の単語埋め込み集合の一次の統計量（平均）のみを使っており，その空間的な広がりを表す二次以後の統計量が失われる点に着目する．実モデルの状況を調べるため，まず平均プーリングによる二次統計量の崩壊の度合いを定量化する指標を提案する．次にこの指標を実テキストと実モデルに適用し，事前学習済みモデルを対照学習で微調整した近年のモデルでは，ベースモデルより二次統計量の崩壊が生じづらいことを経験的に確かめた．粗い集約手法に見える平均プーリングの再検討から，近年のモデルの有用性に新しい視点を与える．