Commit
•
734f349
1
Parent(s):
b5553a3
Update README.md
Browse files
README.md
CHANGED
@@ -57,6 +57,9 @@ tags:
|
|
57 |
|
58 |
```
|
59 |
**原始llama2词表大小32000,与40k训练的中文分词模型合并之后词表大小为68419,sft添加pad字符之后大小为68420**
|
|
|
|
|
|
|
60 |
## 🚀step2:二次预训练
|
61 |
|
62 |
> 在中文预训练语料上对LLaMA进行增量预训练、继续预训练,目前训练语料20GB,后续继续迭代更新
|
|
|
57 |
|
58 |
```
|
59 |
**原始llama2词表大小32000,与40k训练的中文分词模型合并之后词表大小为68419,sft添加pad字符之后大小为68420**
|
60 |
+
|
61 |
+
|
62 |
+
|
63 |
## 🚀step2:二次预训练
|
64 |
|
65 |
> 在中文预训练语料上对LLaMA进行增量预训练、继续预训练,目前训练语料20GB,后续继续迭代更新
|