顺带一提例如OpenBuddy/openbuddy-qwq-32b-v24.1-200k这些原始模型不带q标识的也属于q系列模型吗,能否在提供gguf量化版的同时提供q系列的原始权重,以便量化为更多格式(gguf-imatrix mlx)
Falcon原始模型没有tokenizer.model,可能需要关注一下llama.cpp转换脚本近期有没有更新。
我们会考虑提供q系列的完整版本。
· Sign up or log in to comment