Commit
•
238759d
1
Parent(s):
f1f6b6d
Create README.md
Browse files
README.md
ADDED
|
@@ -0,0 +1,19 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
---
|
| 2 |
+
datasets:
|
| 3 |
+
- BelleGroup/train_3.5M_CN
|
| 4 |
+
- BelleGroup/train_2M_CN
|
| 5 |
+
language:
|
| 6 |
+
- zh
|
| 7 |
+
---
|
| 8 |
+
|
| 9 |
+
## 介绍
|
| 10 |
+
1. 使用了大概几万条的数据，对falcon-7b模型做了sft，这里分享出我的模型权重
|
| 11 |
+
2. falcon-7b是支持中文语言的。
|
| 12 |
+
|
| 13 |
+
## 效果
|
| 14 |
+
1. 效果其实一般，没有bloom-7b效果好。这里分享我的bloom-7b-v2模型权重[https://huggingface.co/yuanzhoulvpi/chinese_bloom_7b_chat_v2](https://huggingface.co/yuanzhoulvpi/chinese_bloom_7b_chat_v2)
|
| 15 |
+
|
| 16 |
+
|
| 17 |
+
## 说个冷知识
|
| 18 |
+
1. falcon-7b模型，在结构上是和bloom差不多的，但是添加了RotaryEmbedding、memorry_efficient_attention。
|
| 19 |
+
2. 因此如果想要对falcon-7b做sft的话，可以看我之前训练bloom的代码[https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/chinese_bloom](https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/chinese_bloom)
|