wersje chat i instruct 12B i 8B w exllama3
W moim setupie (TabbyAPI) nie mogę użyć PLLuMa - czy planujecie zrobić kwantyzację na EXL3 lub GPTQ?
Tak by hulał w 12GB VRAM ;)
Chwilo jestem poza tym tematem ale zobacze co moge dla ciebie zrobic tylko ze dopiero pod wieczor jesli Ci pasuje 😁
Pozdrawiam 😀
Chwilo jestem poza tym tematem ale zobacze co moge dla ciebie zrobic tylko ze dopiero pod wieczor jesli Ci pasuje 😁
Pozdrawiam 😀
Jasne, na luźnym luzie! Piękne dzięki!
Hej Rorq! 👋
Gotowe — skwantyzowałem PLLuM-12B-chat-2512 do EXL3 4.5bpw dokładnie pod Twój setup.
Co masz do dyspozycji:
PLLuM-12B-chat-2512-EXL3-4.5bpw
Czy 12GB VRAM wystarczy?
Tak, z zapasem:
Wagi modelu: ~7.4 GB
Kontekst (4096 tokenów): ~1.5–2 GB
Łącznie: ~9–10 GB → zostaje 2+ GB bufora
Jakość kwantyzacji:
SQNR ~33 dB — powyżej progu percepcji, polska składnia zachowana
Format EXL3 = najszybszy inference GPU spośród dostępnych formatów
Model jest na S3 i jak tylko wroce z pracy to wszystko ci udostepnie na HuggingFace pod Mati83moni/PLLuM-12B-chat-2512-EXL3.
Pozdrawiam! 🚀
O to twoj zkwantyzowany model praktycznie pod twoja karte tak jak prosiles 😁
https://huggingface.co/Mati83moni/PLLuM-12B-chat-2512-EXL3
@Rorq Can you check it please 😉
Wspaniale - pobieram i w końcu potestuję 😃
Dziękować - niech Ci lipiec chłodnym będzie!