使用FAISS，余弦相似度低
#6
by
jayceeNice
- opened
使用langchain，用bge-large-zh-v1.5对一个文本文件进行嵌入之后，query是文本的一部分，召回计算得到的余弦相似度只有0.9
使用langchain，用bge-large-zh-v1.5对一个文本文件进行嵌入之后，query是文本的一部分，召回计算得到的余弦相似度只有0.9
你好，请问下使用您使用向量模型前已经对文本进行切好块了吗，是如何切得？按照固定片段、还是没句话分隔下、还是说按照文章标题结构？
是简单做了测试，我输入的是一个txt文本，每一行是一个问题，一共100行，我按照问题进行了切分，得到了一个长度为100的list。然后我的query就是list中的一项 ，得到的结果只有0.9
langchain中自动给query加上了instruction，所以相同文本相似度不是1.0，可以设置model.query_instruction = ""，取消query_instruction
好的 ，感谢