平均プーリングによる文埋め込みの再検討：平均は点群の要約として十分か？

文・段落・文書といった単語より大きな単位のテキストをベクトル化することで，情報検索や文書分類をはじめとする広範な自然言語処理タスクが，深層学習のフレームワークで統一的に解けるようになる[1,2]．とりわけ最近では，大規模言語モデルに外部知識を効率的に取り込むための手法である検索拡張生成（RAG）においても，文埋め込みが主要な役割を担っている[3,4]．自然言語の表現学習における基本単位は単語（トークン）であり，文埋め込みも一般に単語の埋め込み表現から作られる．中でも最も標準的で人気のある方法は，文中の各単語埋め込みを平均することにより文埋め込みを構成する平均プーリングである．静的単語埋め込みに基づく手法群[5]から動的単語埋め込みに基づく手法群[6,7]まで，これまで経験的な有用性が広く示されてきた．人気の高い平均プーリングであるが，よく考えるといささか乱暴な計算方法に見える．問題の起きる⽂2mean2mean1⽂1青色の点群と橙色の点群はそれぞれ別の文の単語埋め込み集合である．これらの点群の配置は明らかに異なっているが，平均プーリングで点群を1点に集約することで文埋め込み同士はほとんど同じになってしまう．例として，図1に，二つの単語埋め込みの集合と，これらを平均プーリングでそれぞれ1点に集約した様子を示す．図の青色の点群と橙色の点群（単語埋め込み集合）の配置は明らかに異なり，つまり文を構成する単語集合の表す意味は異なる状態を図示している．一方で平均プーリング（×印）で作られた文埋め込み同士はほとんど同じものになり，つまり意味の異なる二つの文にほとんど同じ表現が与えられてしまう．まとめると，もともと点群として表現されている文を1点に要約することで，点群の空間的な広がりが持つ意味の異なりの情報を潰してしまう可能性がある，ということだ1）．本稿では，(Q1)上記の仮説上の問題が実際のテキストとモデルで起きているのかどうか，(Q2)また起きているとしてそれはどの程度の割合なのかを，文間の意味類似度（STS）データセットを利用して経験的に検証する．実験の結果，(A1)前述の問題が生じるような文ペアが確かに存在していること，つまり意味的に異なる文が平均プーリングで「同一視」されてしまうという問題が，実際のテキストとモデ1）単語埋め込みの集合を高次元空間の経験分布と見れば，平均プーリングでの要約は，1次のモーメントのみを参照することを意味する．分散共分散以後（2次のモーメント以後）の情報を無視することに注目すれば，統計的な意味でもその乱暴さは明らかであろう．.ルでも起きていること，(A2)一方でその割合は小さいこと,がわかった．問題が生じる確率が低いことは，平均プーリングが経験的に有用であるという従来の知見を支持するものである．一方で，前述した問題は実際のテキストとモデルでも生じる明確なエラーであり，今後適切な措置を講じていく必要もあると考えられる．本稿が，文という自然言語の基本単位の表現を深層学習時代にどう構成すべきかという問題を再検討する契機となれば嬉しい．