| datasets: | |
| - Skywork/SkyPile-150B | |
| language: | |
| - zh | |
| Huggingface一直传不上去，实在服了。 | |
| 底模： https://huggingface.co/maywell/Qwen2-7B-Multilingual-RP | |
| 模型权重 onedrive 网盘链接：https://1drv.ms/f/s!AhZjDG-YTY7njS2ZydadTCEIz9sl?e=gookaL | |
| 如果可以的话，希望能帮我传到Huggingface上。 | |
| 使用MergeKit自缝合后继续预训练 2000sample * 4096token / 8 grad accumulation。 | |
| loss快速下降期已经结束但可能还需要进一步的预训练。 | |
| MergeKit合成方法： | |
| * 0-2 | |
| * 1-3 | |
| * 2-4 | |
| * 3-5 | |
| 以此类推 |