283d479 b19ccfc
1
2
3
4
个人项目：https://github.com/jiahe7ay/MINI_LLM/tree/main 中的预训练模型权重 基座是对qwen进行修改，参数量改为1.4b 训练数据为维基百科+baidu百科+天工数据集前20个文件，token数量约为8b
