---
datasets:
- Skywork/SkyPile-150B
language:
- zh
---
Huggingface一直传不上去，实在服了。

底模： https://huggingface.co/maywell/Qwen2-7B-Multilingual-RP

模型权重 onedrive 网盘链接：https://1drv.ms/f/s!AhZjDG-YTY7njS2ZydadTCEIz9sl?e=gookaL
如果可以的话，希望能帮我传到Huggingface上。

使用MergeKit自缝合后继续预训练 2000sample * 4096token / 8 grad accumulation。

loss快速下降期已经结束但可能还需要进一步的预训练。

MergeKit合成方法：
* 0-2
* 1-3
* 2-4
* 3-5
以此类推