Update README.md
Browse files
README.md
CHANGED
|
@@ -1,3 +1,16 @@
|
|
| 1 |
---
|
| 2 |
license: llama2
|
| 3 |
---
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
---
|
| 2 |
license: llama2
|
| 3 |
---
|
| 4 |
+
|
| 5 |
+
## 介绍
|
| 6 |
+
|
| 7 |
+
XuanYuan2-70B系列模型是在XuanYuan-70B基座模型基础上，使用更多高质量的语料进行继续预训练和指令微调，并进行基于人类反馈的强化训练而得到。相比第一代XuanYuan-70B系列模型，第二代模型在通用性、安全性和金融能力上都得到了明显提高，模型输出更加符合人类偏好。同时，第二代模型支持的上下文长度达到16k，能够更好处理长文本输入，适用范围更为广泛。模型细节请参考文档：[Report](https://github.com/Duxiaoman-DI/XuanYuan/blob/main/xuanyuan2_70b_report.md)
|
| 8 |
+
|
| 9 |
+
XuanYuan2-70B系列共包含4个模型，包括基座模型XuanYuan2-70B，chat模型XuanYuan2-70B-Chat，chat模型的量化版本XuanYuan2-70B-Chat-8bit和XuanYuan2-70B-Chat-4bit。各个模型的下载链接为：
|
| 10 |
+
|
| 11 |
+
|
| 12 |
+
主要特点：
|
| 13 |
+
|
| 14 |
+
- 使用更多高质量的数据进行继续预训练和指令微调，各项能力持续提升
|
| 15 |
+
- 支持的上下文长度达到了16k，使用范围更广
|
| 16 |
+
- 基于人类的反馈信息进行强化训练，进一步对齐了人类偏好
|