prompt格式问题

#6
by NSSSJSS - opened

请问该模型的prompt格式是怎样的?还跟之前的chatglm3-6b一样吗?

应该是一致的,py代码基本没有修改

使用chatglm3的代码已经跑通推理,可惜没有quantizer部分

Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University org

template需要用新的部分,如果你是chat这个接口跑的就没事,否则要用新的template

image.png
这是咋回事

image.png
这是咋回事

prompt格式没有调整好,出现幻觉问题了

Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University org
edited 16 days ago

chatchat目前不适配,请使用官方demo

zRzRzRzRzRzRzR changed discussion status to closed

Sign up or log in to comment