Как её запустить на Кобольде?
#1
by
dimwap
- opened
Нужно ли и можно ли её квантизировать в gguf?
Привет! Нужно будет выполнить конрвертацию в GGUF формат, пример есть тут: https://github.com/EvilFreelancer/saiga-custom/blob/main/pavelgpt_7b_128k.ipynb (последние две секции)
Но можете взять уже готовые веса конвертированные в GGUF: https://huggingface.co/evilfreelancer/PavelGPT-7B-128K-v0.1-GGUF и дальше работать с ними как с любой другою моделью.
evilfreelancer
changed discussion status to
closed