为什么这个包导入ollama用Ollama运行就乱讲一通?

#2
by Kollcn - opened

放在LMstudio里跑又是完全正常

可以用我们转化的ollama模型:
https://ollama.com/wangshenzhi/llama3-8b-chinese-chat-ollama-q8

或者直接运行下面的命令:
ollama run wangshenzhi/llama3-8b-chinese-chat-ollama-q8

ollama的也试过,没有一开始乱讲,到最后还是会开始乱讲死循环

输出token量大了,确实会乱讲,加重复乱码.用楼主提供的模型也一样,另外输入1000字以上的文本大概率,后面一直重复输出乱码,调整参数也没用

可以用我们转化的ollama模型:
https://ollama.com/wangshenzhi/llama3-8b-chinese-chat-ollama-q8

或者直接运行下面的命令:
ollama run wangshenzhi/llama3-8b-chinese-chat-ollama-q8

我在ollama测试了上面的模型,效果明显好于GGUF格式的模型。请问这是问什么呢,格式会导致模型生成有很大的变化吗?

我也遇到了这个疯狂输出的问题,有点搞笑~~哈哈哈,换了ollama上的模型好很多,同样很困惑~

我也遇到了这个疯狂输出的问题,有点搞笑~~哈哈哈,换了ollama上的模型好很多,同样很困惑~

+1,一样的问题

+1,一样的问题

为什么经常输出无关的代码?

同样的问题。胡说一统。不会结束

Sign up or log in to comment