embedding维度问题

#19
by vicp - opened

向量化之后的维度为什么是768,这个维度更大之后效果会更好吧,可以调吗?

Moka HR SaSS org

维度更大可能会更好,注意是可能,因为有论文测试过,在 embedding 上做 PCA 降维后,效果反而提高了。可以通过微调进行调整,需要添加一个新的 Linear 头。

维度更大可能会更好,注意是可能,因为有论文测试过,在 embedding 上做 PCA 降维后,效果反而提高了。可以通过微调进行调整,需要添加一个新的 Linear 头。

如果想对m3e输出的纬度降维的话可以直接在配置文件里修改吗

Moka HR SaSS org

不能,如果想要对 m3e 输出进行降维的话,需要额外自己添加一部分代码,比如做 PCA 这种,只修改配置文件没有办法生效。

不能,如果想要对 m3e 输出进行降维的话,需要额外自己添加一部分代码,比如做 PCA 这种,只修改配置文件没有办法生效。

也就是说,在config文件里直接把768改为我想要的512没有用,需要针对输出的768纬度的数据再写个PCA脚本进行处理得到512这样才有效吗,还有一个问题就是降维之后评测脚本还能用吗

Moka HR SaSS org

对的,只有这样才有效,降维之后评测脚本也可以使用。

维度更大可能会更好,注意是可能,因为有论文测试过,在 embedding 上做 PCA 降维后,效果反而提高了。可以通过微调进行调整,需要添加一个新的 Linear 头。

还有一个问题想请教,pca降维怎么对一组数据进行降维呢,因为每一个数据是(1,768)这样的,只能降到1维吧

vicp changed discussion status to closed
vicp changed discussion status to open

维度更大可能会更好,注意是可能,因为有论文测试过,在 embedding 上做 PCA 降维后,效果反而提高了。可以通过微调进行调整,需要添加一个新的 Linear 头。

还有一个问题想请教,pca降维怎么对一组数据进行降维呢,因为每一个数据是(1,768)这样的,只能降到1维吧

比如batch=96,那么测试的时候得到的向量化结果就是(96,768),用pca降维的方法是直接把96个作为一组吗,这样只能降到96以下

维度更大可能会更好,注意是可能,因为有论文测试过,在 embedding 上做 PCA 降维后,效果反而提高了。可以通过微调进行调整,需要添加一个新的 Linear 头。

还有一个问题想请教,pca降维怎么对一组数据进行降维呢,因为每一个数据是(1,768)这样的,只能降到1维吧

这个embedding做pca的论文有参考的吗

Sign up or log in to comment