Hugging Face's logo

taide
/
Llama3-TAIDE-LX-8B-Chat-Alpha1

Text Generation
Transformers
Safetensors
llama
conversational
Inference Endpoints
text-generation-inference
Model card Files Community
16

請問怎麼本地端寫程式碼呼叫model，更進階一步fine tune?

#2
by NCGWRjason - opened
Discussion
NCGWRjason

不好意思，請問一下
我到Files裡面發現有13個檔案這麼多，主要要怎麼load進model用python程式碼執行呢?
有要到unsloth或是github的網站上下載嗎?
之前用的是GGUF檔案，所以可以直接import工具使用

謝謝

nctu6
 TAIDE org

您好，

可以參考這個教學網頁：
https://github.com/philschmid/deep-learning-pytorch-huggingface/blob/main/training/fine-tune-llms-in-2024-with-trl.ipynb

需要注意：

  1. 填入自己的 access token（https://huggingface.co/docs/hub/security-tokens）
login(
  token="", # ADD YOUR TOKEN HERE
  add_to_git_credential=True
)
  1. 修改 Hugging Face model id
model_id = "taide/Llama3-TAIDE-LX-8B-Chat-Alpha1"

Best regards.

aqweteddy changed discussion status to closed

Sign up or log in to comment