Optimalizált verziók?
#1
by
Mykee
- opened
Üdvözlöm a fejlesztőket!
Örülök a magyar modellnek, mert végre natív nyelven is használhatom a szöveggenerátorokat.
Érdeklődnék, hogy lesz-e ebből a modellből többféle optimalizált verzió? GPTQ és GGML kiadásokra gondolok, illetve egy olyan optimalizált verzió, amit Lora-ra is edzhetek?
Ezt a kiadást próbáltam, és kb. 43 óra lenne egy Lora edzése azon a gépen, ahol egy Llama-1 modellre 7 óra a Lora edzése.
Frissítés: TheBloke, a jelenlegi legnagyobb modellkészítő és kvantáló elkészítette a GGML és GPTQ verziókat többféle optimalizálással, aki használni szeretné:
https://huggingface.co/TheBloke/PULI-GPT-3SX-GGML
https://huggingface.co/TheBloke/PULI-GPT-3SX-GPTQ
Hálás köszönet nektek a modellért és TheBloke-nak a konvertálásért! 😍💖🙏
Mykee
changed discussion status to
closed