license: cc-by-nc-sa-4.0 | |
原始模型:[Sakura-13B-LNovel-v0.11pre1](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0.11pre1) | |
4Bit AWQ量化,未测试,不建议使用。 | |
采用带有flash_attn的环境进行量化 |
license: cc-by-nc-sa-4.0 | |
原始模型:[Sakura-13B-LNovel-v0.11pre1](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0.11pre1) | |
4Bit AWQ量化,未测试,不建议使用。 | |
采用带有flash_attn的环境进行量化 |