Есть ли в планах сконвертировать в ggml 4q формат для запуска на CPU?
#1
by
ai2p
- opened
Чтобы запускать в llama.cpp !
Не знаю, поможет ли, но у меня спокойно запускается в https://github.com/tatsu-lab/stanford_alpaca
Для связности: https://huggingface.co/IlyaGusev/saiga_7b_lora_llamacpp
Не совсем llama_7b_ru_turbo_alpaca_lora, но должно решать проблему
IlyaGusev
changed discussion status to
closed