中文偶尔会有乱码出现，为啥
推理框架用的是ctransformers,底层是exllama
模型本身用的是chatml模板，而lima-erp是用的alpaca格式的指令模板，所以需要将 \n### Reponse 和 \n### Request 加到停止符中
\n### Reponse
\n### Request
我用awq推理正常了
· Sign up or log in to comment
