metadata
datasets:
- Skywork/SkyPile-150B
language:
- zh
Huggingface一直传不上去，实在服了。
底模： https://huggingface.co/maywell/Qwen2-7B-Multilingual-RP
未量化模型权重 onedrive 网盘链接：https://1drv.ms/f/s!AhZjDG-YTY7njS2ZydadTCEIz9sl?e=gookaL 如果可以的话，希望能帮我传到Huggingface上。
使用MergeKit自缝合后继续预训练 2000sample * 4096token / 8 grad accumulation。
loss快速下降期已经结束但可能还需要进一步的预训练。
MergeKit合成方法：
- 0-2
- 1-3
- 2-4
- 3-5 以此类推