推理速度很慢
#8
by
Octopath
- opened
看了一下模型是在GPU跑的，A100 的卡上推理快1分钟（其他类似规模大模型大约耗时3秒），do_sample=False的情况下也是1分钟。用的是示例代码。
我这面还行3.5s左右，但是结果额。。。。
我这面还行3.5s左右，但是结果额。。。。
你这个是prompt给的不对，这个和Chatglm不一样，可以看看gpt3.5的prompt是怎么塞的
您是怎么用的？给几个prompt参考一下
还有是如何能够输出完整？把已输出结果循环输入吗？
这个不是chat版本，哈哈哈哈
这个不是chat版本，而是语言模型续写的版本吧。