Update README.md
Browse files
README.md
CHANGED
@@ -18,11 +18,11 @@ language:
|
|
18 |
- 20% wikimedia/wikipedia 20231101.en (维基百科数据集—>英文子集)
|
19 |
- 10% OSCAR unshuffled_deduplicated_en (OSCAR—>英文去重子集)
|
20 |
|
21 |
-
|
22 |
目的是为了更好的映射Yi-6B-200K训练时使用的数据,达到更好的量化效果。
|
23 |
|
|
|
24 |
这里提供了共四个量化后的模型权重(下面按量化后的性能排序):
|
25 |
-
- [AutoGPTQ-8bit-
|
26 |
- [AutoAWQ-4bit-32gs](https://huggingface.co/ECj/Yi-6B-200K-AWQ/tree/main) 使用AWQ方式进行4bit量化,比GPTQ-4bit生成质量优秀,但兼容性不如GPTQ
|
27 |
- [AutoGPTQ-4bit-32gs](https://huggingface.co/ECj/Yi-6B-200K-GPTQ/tree/main) 使用GPTQ方式进行4bit量化,使用了Group size 32,比默认设置量化的效果更优秀。
|
28 |
- [AutoGPTQ-4bit-128gs](https://huggingface.co/ECj/Yi-6B-200K-GPTQ/tree/4bits-gps128-descactF) 使用GPTQ方式进行4bit量化,使用了AutoGPTQ的默认设置。
|
|
|
18 |
- 20% wikimedia/wikipedia 20231101.en (维基百科数据集—>英文子集)
|
19 |
- 10% OSCAR unshuffled_deduplicated_en (OSCAR—>英文去重子集)
|
20 |
|
|
|
21 |
目的是为了更好的映射Yi-6B-200K训练时使用的数据,达到更好的量化效果。
|
22 |
|
23 |
+
|
24 |
这里提供了共四个量化后的模型权重(下面按量化后的性能排序):
|
25 |
+
- [AutoGPTQ-8bit-32gs](https://huggingface.co/ECj/Yi-6B-200K-GPTQ/tree/8bits-gps32) 使用GPTQ方式进行8bit量化,拥有最高的生成质量。
|
26 |
- [AutoAWQ-4bit-32gs](https://huggingface.co/ECj/Yi-6B-200K-AWQ/tree/main) 使用AWQ方式进行4bit量化,比GPTQ-4bit生成质量优秀,但兼容性不如GPTQ
|
27 |
- [AutoGPTQ-4bit-32gs](https://huggingface.co/ECj/Yi-6B-200K-GPTQ/tree/main) 使用GPTQ方式进行4bit量化,使用了Group size 32,比默认设置量化的效果更优秀。
|
28 |
- [AutoGPTQ-4bit-128gs](https://huggingface.co/ECj/Yi-6B-200K-GPTQ/tree/4bits-gps128-descactF) 使用GPTQ方式进行4bit量化,使用了AutoGPTQ的默认设置。
|