datasets: | |
- Skywork/SkyPile-150B | |
language: | |
- zh | |
Huggingface一直传不上去,实在服了。 | |
底模: https://huggingface.co/maywell/Qwen2-7B-Multilingual-RP | |
模型权重 onedrive 网盘链接:https://1drv.ms/f/s!AhZjDG-YTY7njS2ZydadTCEIz9sl?e=gookaL | |
如果可以的话,希望能帮我传到Huggingface上。 | |
使用MergeKit自缝合后继续预训练 2000sample * 4096token / 8 grad accumulation。 | |
loss快速下降期已经结束但可能还需要进一步的预训练。 | |
MergeKit合成方法: | |
* 0-2 | |
* 1-3 | |
* 2-4 | |
* 3-5 | |
以此类推 |