原始模型:Sakura-13B-LNovel-v0.11pre1
4Bit AWQ量化,未测试,不建议使用。
采用未安装flash_attn的环境进行量化
Intel-XPU测试用,该量化模型可能不适合所有人。
- Downloads last month
- 10
Inference API (serverless) does not yet support model repos that contain custom code.
原始模型:Sakura-13B-LNovel-v0.11pre1
4Bit AWQ量化,未测试,不建议使用。
采用未安装flash_attn的环境进行量化
Intel-XPU测试用,该量化模型可能不适合所有人。