|
--- |
|
license: other |
|
license_name: yi-license |
|
license_link: https://huggingface.co/01-ai/Yi-6B-200K/blob/main/LICENSE |
|
language: |
|
- zh |
|
--- |
|
这个模型是01-ai/Yi-6B-200K经过AutoGPTQ/AutoAWQ量化后保存的模型，与TheBloke/Yi-6B-200K-GPTQ的不同在于仅在于量化时使用的数据。 |
|
|
|
量化时使用的数据为（仅为量化时使用的数据，不代表训练数据）： |
|
- 70% 中文 |
|
- 30% wikimedia/wikipedia 20231101.zh （维基百科数据集—>中文子集） |
|
- 10% wikimedia/wikipedia 20231101.zh-classical （维基百科数据集—>文言文子集） |
|
- 10% wikimedia/wikipedia 20231101.zh-yue （维基百科数据集—>粤语子集） |
|
- 10% wikimedia/wikipedia 20231101.zh-min-nan （维基百科数据集—>闽南语子集） |
|
- 10% OSCAR unshuffled_deduplicated_zh （OSCAR—>中文去重子集） |
|
- 30% 英文 |
|
- 20% wikimedia/wikipedia 20231101.en （维基百科数据集—>英文子集） |
|
- 10% OSCAR unshuffled_deduplicated_en （OSCAR—>英文去重子集） |
|
|
|
目的是为了更好的映射Yi-6B-200K训练时使用的数据，达到更好的量化效果。 |
|
|
|
|
|
这里提供了共四个量化后的模型权重（下面按量化后的性能排序）： |
|
- [AutoGPTQ-8bit-32gs](https://huggingface.co/ECj/Yi-6B-200K-GPTQ/tree/8bits-gps32) 使用GPTQ方式进行8bit量化，拥有最高的生成质量。 |
|
- [AutoAWQ-4bit-32gs](https://huggingface.co/ECj/Yi-6B-200K-AWQ/tree/main) 使用AWQ方式进行4bit量化，比GPTQ-4bit生成质量优秀，但兼容性不如GPTQ |
|
- [AutoGPTQ-4bit-32gs](https://huggingface.co/ECj/Yi-6B-200K-GPTQ/tree/main) 使用GPTQ方式进行4bit量化，使用了Group size 32，比默认设置量化的效果更优秀。 |
|
- [AutoGPTQ-4bit-128gs](https://huggingface.co/ECj/Yi-6B-200K-GPTQ/tree/4bits-gps128-descactF) 使用GPTQ方式进行4bit量化，使用了AutoGPTQ的默认设置。 |
