Commit
•
e7d59ac
1
Parent(s):
2f1ee86
Update README.md
Browse files
README.md
CHANGED
|
@@ -1,3 +1,16 @@
|
|
| 1 |
---
|
| 2 |
license: apache-2.0
|
|
|
|
|
|
|
| 3 |
---
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
---
|
| 2 |
license: apache-2.0
|
| 3 |
+
datasets:
|
| 4 |
+
- fireinwind/GPT4_Instinwild_belle_cn_school_math_zdmqa
|
| 5 |
---
|
| 6 |
+
|
| 7 |
+
这个模型是基于baichuan的7B的一个SFT的实例模型.
|
| 8 |
+
我们采用了一个大约150K的混合的数据集来对baichuan7B进行SFT微调,希望他能在完成基本对话的基础上,能做一些关于想象力,推理能力,数理能力的增强.
|
| 9 |
+
我们还混入了大约1K的ZDM的经过手工筛选的润色撰写的QA内容,希望能增强一些关于商品品质,购物咨询方面的能力.
|
| 10 |
+
|
| 11 |
+
经过20个epoch的训练,我们获得了这样一个SFT模型.从测试的结果看,具有了基本的对话和回答问题的能力,在逻辑推理方面好于Vicuna和ChatGLM6B,欢迎大家继续测试.
|
| 12 |
+
|
| 13 |
+
百川7B的项目在这里:https://github.com/baichuan-inc/baichuan-7B
|
| 14 |
+
微调的框架在这里: https://github.com/hiyouga/LLaMA-Efficient-Tuning
|
| 15 |
+
|
| 16 |
+
感谢大家的辛勤工作,我们稍后也会不断努力的继续工作.欢迎大家和我们交流
|