Как её запустить на Кобольде?

#1
by dimwap - opened

Нужно ли и можно ли её квантизировать в gguf?

Привет! Нужно будет выполнить конрвертацию в GGUF формат, пример есть тут: https://github.com/EvilFreelancer/saiga-custom/blob/main/pavelgpt_7b_128k.ipynb (последние две секции)

Но можете взять уже готовые веса конвертированные в GGUF: https://huggingface.co/evilfreelancer/PavelGPT-7B-128K-v0.1-GGUF и дальше работать с ними как с любой другою моделью.

evilfreelancer changed discussion status to closed

Sign up or log in to comment