請問有機會發佈 GGUF 的版本嗎?
#3
by
NeroUCH
- opened
如題:請問有機會發佈 GGUF 的版本嗎?
NeroUCH
changed discussion status to
closed
NeroUCH
changed discussion status to
open
回覆:目前唐鳳委員有上傳一版,測試後再分享:https://huggingface.co/audreyt/Breeze-7B-Instruct-v0.1-GGUF
您好,
感謝您對我們模型的支持,在模型的使用上,我們模型的詞表是有擴充的,並不是mistral本來的大小,請多加流意。若您使用64k版本,也要同時注意positional embedding的模式是否正確。您可以利用我們所架設的playground來驗證輸出是否符合預期。
Splend1dchan
changed discussion status to
closed