Monor

/

Qwen1.5-0.5B-h-world

like 3

@Gecvvvo 基模参数才0.5B，2张16G的卡训练。

训练细节：
1、全参继续预训练（无LoRA、无QLoRA）
2、learning rate：1e5
3、batch_size：transformers自动寻找
4、训练框架：llama-factory

7B和14B的：
1、4卡
2、fsdp+QLRA
3、其他同上

哦哦，感谢大佬回答，我尝试一下