如何fine-tune模型以適應特定任務
#3
by
yz380270834
- opened
您好，首先非常感謝TAIDE團隊開源此模型，
我想要詢問如果要fine-tune此模型，
是否可以用meta llama提供的微調方式，
來微調TAIDE-LX-7B模型呢?
再次感謝，靜候回復!
您好，
請參考：
https://huggingface.co/learn/nlp-course/zh-TW/chapter3/1?fw=pt
- 準備訓練資料
- 微調(預訓練)模型
Best regards.
ZoneTwelve
changed discussion status to
closed
taide模型有自己的tokenizer嗎?還是可以沿用llama3 的 tokenizer?
taide模型有自己的tokenizer嗎?還是可以沿用llama3 的 tokenizer?
taide看來是使用自己的tokenizer，大小為56K，目前沒有資料釋出，但似乎是延用llama 2的tokenizer，感覺也像是sentencepiece訓練出來的。
您好，
taide/TAIDE-LX-7B 是基於 llama-2 模型訓練。
llama-3 版本請參考：https://huggingface.co/taide/Llama3-TAIDE-LX-8B-Chat-Alpha1
Best Regards.
感謝您的回覆，謝謝。