中文回答出現亂碼
您好，使用4 bit 版本發現模型有一定機率產生大篇幅的中文亂碼，請問有何方法降低亂碼出現機率?
目前在英文和數學相關問題均發現有機率產生亂碼。
註. 使用LM Studio來host此模型。
您好，
請問您的 LM Studio 版本是 ?
剛剛用 LM-Studio（版本 0.2.22，沒改任何設定，單純下載 GGUF，載入模型，直接測試。）
測試 Q4_K_M 結果 OK。
(taide/Llama3-TAIDE-LX-8B-Chat-Alpha1-4bit/taide-8b-a.3-q4_k_m.gguf)可以換個 4 bits 模型，double check 一下，e.g. 測試 Q4_0 結果也 OK。
（nctu6/Llama3-TAIDE-LX-8B-Chat-Alpha1-GGUF/Llama3-TAIDE-LX-8B-Chat-Alpha1-Q4_0.gguf）
Best regards.
您好，
請問您的 LM Studio 版本是 ?
剛剛用 LM-Studio（版本 0.2.22，沒改任何設定，單純下載 GGUF，載入模型，直接測試。）
測試 Q4_K_M 結果 OK。
(taide/Llama3-TAIDE-LX-8B-Chat-Alpha1-4bit/taide-8b-a.3-q4_k_m.gguf)可以換個 4 bits 模型，double check 一下，e.g. 測試 Q4_0 結果也 OK。
（nctu6/Llama3-TAIDE-LX-8B-Chat-Alpha1-GGUF/Llama3-TAIDE-LX-8B-Chat-Alpha1-Q4_0.gguf）Best regards.
我使用Linux版本的LM Studio 0.2.22，只有更改System Prompt成中文，其餘未做更改。
更換成8bit、f16的版本後不再出現亂碼問題，感謝提供權重。
剛下載測試時有遇到相同的問題，好像是token超過設定數值的時候容易發生。
我自己的解決辦法是到設定下 tools 下的 context overflow policy 調成第二個選項 keep the system prompt… 後就沒遇到類似的問題，可以試試看