ECj
/

Yi-6B-200K-AWQ

Text Generation

text-generation-inference

Inference Endpoints

4-bit precision

Model card Files Files and versions Community

ECj commited on Dec 5, 2023

Commit

f99ede9

•

1 Parent(s): ab98d26

Update README.md

Files changed (1) hide show

README.md +2 -2

README.md CHANGED Viewed

@@ -18,11 +18,11 @@ language:
    - 20% wikimedia/wikipedia 20231101.en （维基百科数据集—>英文子集）
    - 10% OSCAR unshuffled_deduplicated_en （OSCAR—>英文去重子集）
 目的是为了更好的映射Yi-6B-200K训练时使用的数据，达到更好的量化效果。
 这里提供了共四个量化后的模型权重（下面按量化后的性能排序）：
-  - [AutoGPTQ-8bit-128gs](https://huggingface.co/ECj/Yi-6B-200K-GPTQ/tree/8bits-gps32)  使用GPTQ方式进行8bit量化，拥有最高的生成质量。
   - [AutoAWQ-4bit-32gs](https://huggingface.co/ECj/Yi-6B-200K-AWQ/tree/main) 使用AWQ方式进行4bit量化，比GPTQ-4bit生成质量优秀，但兼容性不如GPTQ
   - [AutoGPTQ-4bit-32gs](https://huggingface.co/ECj/Yi-6B-200K-GPTQ/tree/main) 使用GPTQ方式进行4bit量化，使用了Group size 32，比默认设置量化的效果更优秀。
   - [AutoGPTQ-4bit-128gs](https://huggingface.co/ECj/Yi-6B-200K-GPTQ/tree/4bits-gps128-descactF) 使用GPTQ方式进行4bit量化，使用了AutoGPTQ的默认设置。

    - 20% wikimedia/wikipedia 20231101.en （维基百科数据集—>英文子集）
    - 10% OSCAR unshuffled_deduplicated_en （OSCAR—>英文去重子集）
 目的是为了更好的映射Yi-6B-200K训练时使用的数据，达到更好的量化效果。
 这里提供了共四个量化后的模型权重（下面按量化后的性能排序）：
+  - [AutoGPTQ-8bit-32gs](https://huggingface.co/ECj/Yi-6B-200K-GPTQ/tree/8bits-gps32)  使用GPTQ方式进行8bit量化，拥有最高的生成质量。
   - [AutoAWQ-4bit-32gs](https://huggingface.co/ECj/Yi-6B-200K-AWQ/tree/main) 使用AWQ方式进行4bit量化，比GPTQ-4bit生成质量优秀，但兼容性不如GPTQ
   - [AutoGPTQ-4bit-32gs](https://huggingface.co/ECj/Yi-6B-200K-GPTQ/tree/main) 使用GPTQ方式进行4bit量化，使用了Group size 32，比默认设置量化的效果更优秀。
   - [AutoGPTQ-4bit-128gs](https://huggingface.co/ECj/Yi-6B-200K-GPTQ/tree/4bits-gps128-descactF) 使用GPTQ方式进行4bit量化，使用了AutoGPTQ的默认设置。