平均プーリングによる文埋め込みの再検討：平均は点群の要約として十分か？

文や文書のベクトル化は，検索拡張生成（RAG）をはじめとした広範な自然言語処理アプリケーションを実装するための基盤技術である．本稿では，文埋め込みの標準的な構成方法である平均プーリングが，構成要素となる単語埋め込み集合の持つ空間的な広がりの情報を潰し得る，という問題を指摘する．また実験により，上記の問題が実際のテキストと深層学習モデルで確かに生じていることと，一方でその割合は小さいことを示す．実験結果は平均プーリングの経験的な有用性を支持するものだが，同時に，文表現の構成方法を再検討する必要性を示唆するものである．