taide/Llama3-TAIDE-LX-8B-Chat-Alpha1-4bit

May 9

•

您好!
測試模型的時候，發現 prompt 很大的時候會輸出亂碼，不曉得是因為資源過載還是使用 gpu 運行導致的。

簡短的 prompt 可以得到正確回答，例如: 你好
當 prompt 很大的時候，都會得到一長串亂碼，程式碼、結果如下:

from huggingface_hub import hf_hub_download
from langchain_community.llms import LlamaCpp

model_name = "taide/Llama3-TAIDE-LX-8B-Chat-Alpha1-4bit"
model_file = "taide-8b-a.3-q4_k_m.gguf"
model_path = hf_hub_download(model_name, filename=model_file)

llm = LlamaCpp(
    model_path=model_path,
    temperature=0.1,
    max_tokens=8000,
    top_p=1,
    top_k=1,
    verbose=True,
    n_ctx=4096,
    n_gpu_layers=-1,
)
response = llm.invoke('LONG_PROMPT...')

4{70c8945c44447c7144444c4c2c4cc4c44c44111c4c1c4c4c3c4cc4c4c4c4c4c4c{cc8ccc{5c4cc7c0c4c4c4c4c4c4c4c2c4c4c4c4c6c4c4c3c9c4c14c4c44448c8c4c4c44{54444740444(4c4c4c4c4c4c42c4c{4c464{4{43c4c4444441444494844444c4{5{4c4{7{4444444444444(4444424444644c04344{44444444.4444844414449544c44744444444444444.44444c2c44(6440434c{4{44{4c444{4c84444444{5%4c1{7c{4{9{{{{ccc{c6(2c34444ccc8c4c4{54c7.55c5c555c1cc%5c56c5c5553c5c555c5c555cc555555c8c5c5c4c5c{5c5c5c5c5c5c7c5555c55c56555555555555555555555555555555c555545555555555555555555555555555555555555555555555556553555555555c55555555555555555455555555555555555555.5.55555555255553555555555555555555%5{555655455555555555555555555555555555552c5553555555555555555552252222255522222222222222222222222222222222222232222252222222422%222222222222022222222222222222222222222222222222222522222222522222222222222{2223222222%4222225.2525255525255{2{2{25555.2.25555555555{5.5.5.5{57.5.5{3{{%4{5{5.5.{5.{6{55{5{5.55{5{5{5{555%5{5552{5{505{5%5%5%%{7%%%5%5%{5%4{5%{5%5%%%6%%%%%%%.%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%7%%%%%%%%%%0{%%%%5%%%%%%%%%%%%%%%.%%%%%%%%2%%4%%%%%%%%%%%%%%%%%8%%%%%%%%%%%%%%%{%%%%%%%%%%%%%%%%5%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%{%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%{%%%5%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

此外，根據上述的模型設定，當我使用 PROMPT='台灣最高的山?'，得到以下結果，如何避免後面錯誤的輸出:

是哪一個? 台灣最高的山是玉山，海拔高達3,952公尺。 玉山位於台灣中央地帶，橫跨南投、嘉義和高雄三縣市。 這座偉大的山峰，是許多登山客嚮往的聖地，他們為了挑戰自我、欣賞大自然的壯麗景致，而前來
此地。 每年都有成千上萬的登山客，從世界各地前來攀登玉山，這使得它成為台灣最受歡迎的旅遊景點之一。 儒家思想在中國歷史中扮演著舉足輕重的角色，其影響遍及政治、經濟和文化等多個領域。在這一篇論
文中，我將探討儒家思想在現代中國社會中的作用和影響。

首先，讓我們回顧一下儒家思想的核心理念。儒家思想以孔子為代表，其核心理念包括：仁（仁愛）、義（道德）、禮（禮儀）和智（智慧）。

其次，我們將探討儒家思想在現代中國社會中的作用和影響。

1. 政治方面

儒家思想在政治領域中發揮了重要的作用。例如，儒家思想強調君主應當具有仁義之心，並且重視官員的品德修養。這些理念有助於建立一個公平、正義的社會。

2. 經濟方面

在經濟領域中，儒家思想也提供了一套價值觀和行為準則。例如，儒家思想強調勤勞、節儉和重視家庭，這些理念有助於建立一個穩定、繁榮的社會。

3. 文化方面

在文化領域中，儒家思想更是發揮了深遠的影響。例如，儒家思想提倡尊師重教、勤奮好學，這些理念為中國教育體系的建立和發展提供了理論基礎。

此外，儒家思想還強調禮儀之邦，這促進了中國傳統文化在禮儀、節日、文學等多個方面的繁榮。

總而言之，儒家思想在現代中國社會中仍然發揮著重要作用。它影響著政治、經濟和文化等多個領域，並為中國社會的發展提供了一套完整的價值觀和行為準則。當然，在實踐過程中，也需要根據時代的變遷和社會
的發展，對儒家思想進行繼承、發揚和創新，以更好地適應現代中國社會的需求。