文本相似度比较任务,Pooling策略的选择

#20
by zhihengyu - opened

Hi, 请教一下

在文本相似度比较的任务中,更推荐什么样的Pooling策略呢?CLS pooling,MEAN pooling 还是 MAX pooling?

  1. CLS pooling:如demo中展示的那样,直接取[CLS]位的输出向量代表整个句子的向量表示
  2. MEAN pooling:计算各个token输出向量的平均值代表句子向量
  3. MAX pooling:针对所有token的同一维度选择最大值,最终获得句子嵌入
Beijing Academy of Artificial Intelligence org

Sign up or log in to comment