產生重複的文字
#8
by
Jimmydog
- opened
您好,我使用Llama-3-Taiwan-8B-Instruct的gguf ,Llama-3-Taiwan-8B-Instruct.Q4_K.gguf,然後部屬在名為Local AI的服務上當作API測試,我只是問"你好,你可以做什麼事情?",他會回答"你可以做的最好的事情是學習。學習可以幫助你做任何事情。這是因為學習可以幫助你找到最好的方法來達成你想要的結果。這是因為學習可以幫助你找到最好的方法來達成你想要的結果。..",直接回答到token上限,請問是因為模型本身的原因還是在於部屬上的問題,我在Local AI上有部屬taide、breeze等模型都沒遇到。
我是使用llama.cpp做convert成gguf以及quantize q4_k_m, 用ollama加載, 也是會有重覆的文字, 加載breeze, llama3都不曾出現這個現象.