テキスト埋め込みは，標準的には単語埋め込みの平均プーリングで得られる．本稿では，平均プーリングが元の単語埋め込み集合の一次の統計量（平均）のみを使っており，その空間的な広がりを表す二次以後の統計量が失われる点に着目する．実モデルの状況を調べるため，まず平均プーリングによる二次統計量の崩壊の度合いを定量化する指標を提案する．次にこの指標を実テキストと実モデルに適用し，事前学習済みモデルを対照学習で微調整した近年のモデルでは，ベースモデルより二次統計量の崩壊が生じづらいことを経験的に確かめた．粗い集約手法に見える平均プーリングの再検討から，近年のモデルの有用性に新しい視点を与える．

文や文書を単一のベクトルで表現するテキスト埋め込みにより，情報検索[3]や自動評価[4]など幅広い自然言語処理タスクを，統一的な枠組みで扱えるようになった．一方で，訓練データ[5]や次元[6]の観点から検討されてきたように，性能向上と性質の理解は今なお重要な課題である．．本稿では，テキスト埋め込みを構築する際に，単語レベルの表現をどのように集約するかという集約手法に着目する．集約手法としては，テキスト中の単語埋め込みを平均する平均プーリングが標準的である．この単純な手法は，古典的な静的単語埋め込み[7]から最先端のTransformer[8]エンコーダによる文脈化埋め込み[5,9]に至るまで，様々な埋め込み表現で経験的な有用性が確認されてきた．平均プーリングは標準的な手法である一方で，粗い集約手法にも見える．本稿では，平均プーリングは単語埋め込み集合を一次の統計量（平均）のみで!平均プーリングは二次の統計量を崩壊させる？単語埋め込み空間●単語埋め込み★平均プーリング後のテキスト埋め込み(一次の統計量)二次の統計量✅微調整後のモデルではこの問題が生じにくいベースモデル(BERT)微調整後のモデル(GTEbase)対照学習よる微調整テキスト1:VirginiaWoolfsetmanyscenesofhernovel“NightandDay”(1919)inRussellSquare.テキスト2:GhizwasborninCharlottetown,PrinceEdwarIsland,toAtallahJosephGhiz,aLebanesecornerstoreowner,andMargueriteF.Ghiz(néeMcKarris).単語埋め込み集合であっても，ほとんど同じテキスト埋め込みに集約しうる．下部：微調整後のモデルでは平均プーリングによる崩壊が，そのベースモデルよりも生じにくいことを経験的に確認した（§5）．各図はBERT[1]とGTEbase[2]の埋め込みを主成分分析で可視化している．この例は§4の指標によって発見した．要約するため，空間的な広がりを捉える二次以降の統計量が失われる点に着目する図1上部にその例を示す．この例では，元の単語埋め込み集合は異なる（[•,···,•]≠[•,···,•]）にもかかわらず，平均プーリング後のテキスト埋め込みはほとんど同じものになる（⋆≒⋆）．こうした問題を回避するため，テキストを単語埋め込み集合として表現する手法も提案されてきた[10,11,12,13]．しかし，テキスト埋め込みはその計算コストの軽さ[14]や経験的な有効性[13]から，依然として広く利用されている．では，実際のテキストとモデルにおいて平均プーリングはどの程度情報を捨てているのか？これを調べるために，まず平均プーリングによる二次統計量の崩壊度を定量化する指標を提案する（§4）．次に，この指標を実テキストと実モデルに適用し，事前学Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).✘崩壊あり✓崩壊なし≠★≠★∧≠★≒★∧11SOCM二次の統計量の距離!!0100一次の統計量★!"≠★≠★∧≒★≒★∧✓崩壊なし✓崩壊なしその定量化．四隅の図は崩壊が生じる場合と生じない場合を一次の統計量と二次の統計量の類似度で分類している．ヒートマップは(𝑑𝜇,𝑑Σ)の各組み合わせに対するSOCMの値．崩壊が生じる場合にSOCMの値は大きく，生じない場合には小さい値となる．SOCM）を形式的に導入する．§4.1で述べたように，本稿では崩壊は一次および二次の統計量の類似度によって特徴付けた．そのため一次と二次それぞれの統計量同士の距離によってSOCMを構成する．また，SOCMに望ましい性質を整理し，それらがすべて満たされるように尺度を構築する．SOCMの定義二つの単語埋め込み集合𝑿1と𝑿2が与えられたときの平均プーリングによる二次統計量の崩壊度SOCMとを次式で定義する：SOCM(𝑑𝜇,𝑑Σ):=(1−𝑑𝜇)𝑑Σ.(4)ここで，𝑑𝜇は一次統計量𝝁(𝑿1)と𝝁(𝑿2)の距離であり，ユークリッド距離に基づいて次式で定義する：𝑑𝜇:=∥𝝁(𝑿1)−𝝁(𝑿2)∥22/4(5)テキスト埋め込みの慣例として一般的なノルム正規化∥𝝁(𝑿𝑖)∥=1を仮定すると，𝑑𝜇∈[0,1]2）となり，また𝑑𝜇はテキスト埋め込みの標準的な距離尺度に対応する．また，𝑑Σは二次統計量𝚺(𝑿1)と𝚺(𝑿2)の距離であり，ブレスワッサースタイン距離[20]に基づいて次式で定義する：𝑑Σ:=tr(𝚺(𝑿1)+𝚺(𝑿2)−2(𝚺(𝑿1)1/2𝚺(𝑿2)𝚺(𝑿1)1/2)1/2)/4.(6)ここで，比較を簡単にするために，𝑑Σを𝑑𝜇と同じ範囲にするためにtr(𝚺(𝑿𝑖))≤2を仮定する．この仮定は，単語埋め込み集合の分散が極端に大きくないという§4.1の仮定にも対応する．このと2）1/4は𝑑𝜇を[0,1]に収めるためのスケーリングである．き，𝑑Σ∈[0,1]3）となる．𝑑𝜇,𝑑Σ∈[0,1]と式(4)からSOCM∈[0,1]であり，値が大きいほど崩壊の度合いも大きいことを表す．§4.1で述べたように，崩壊は一次統計量が似ていて（𝑑𝜇が小さい）かつ二次統計量が異なる（𝑑Σが大きい）ときに生じる．SOCMは(1−𝑑𝜇)𝑑Σという形により，この直感を反映する．以降では，このSOCMの設計の妥当性を議論する．統計量同士の距離一次と二次の統計量の同士距離として𝑑𝜇と𝑑Σを採用した．これは単語埋め込み集合の違いが一次の統計量の違い𝑑𝜇と二次の統計量の違い𝑑Σに分解できることに基づく．形式的には，𝑑𝜇と𝑑Σは𝐿2-ワッサースタイン距離𝑊2