File size: 554 Bytes
531e03f a241a60 d83e11c 32e3229 9399df1 d83e11c 531e03f |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 |
---
datasets:
- Skywork/SkyPile-150B
language:
- zh
---
Huggingface一直传不上去，实在服了。
底模： https://huggingface.co/maywell/Qwen2-7B-Multilingual-RP
模型权重 onedrive 网盘链接：https://1drv.ms/f/s!AhZjDG-YTY7njS2ZydadTCEIz9sl?e=gookaL
如果可以的话，希望能帮我传到Huggingface上。
使用MergeKit自缝合后继续预训练 2000sample * 4096token / 8 grad accumulation。
loss快速下降期已经结束但可能还需要进一步的预训练。
MergeKit合成方法：
* 0-2
* 1-3
* 2-4
* 3-5
以此类推 |