注意:此模型的结构为Qwen2.
注意2:由于qwen2的llama.cpp支持(转换gguf或推理部分)存在问题(质量严重下滑,退化等),使用transformers/vllm推理则没有这个问题,因此在llama.cpp解决这个问题之前,先只发布hf格式的全量模型官方貌似已经修复
- Downloads last month
- 3
注意:此模型的结构为Qwen2.
注意2:由于qwen2的llama.cpp支持(转换gguf或推理部分)存在问题(质量严重下滑,退化等),使用transformers/vllm推理则没有这个问题,因此在llama.cpp解决这个问题之前,先只发布hf格式的全量模型官方貌似已经修复