niuwz commited on
Commit
71d5f34
1 Parent(s): 7ab64e2

modified: README.md

Browse files
Files changed (1) hide show
  1. README.md +18 -1
README.md CHANGED
@@ -8,4 +8,21 @@ datasets:
8
  language:
9
  - zh
10
  pipeline_tag: text-generation
11
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
8
  language:
9
  - zh
10
  pipeline_tag: text-generation
11
+ ---
12
+ <div align="center">
13
+
14
+ # Mini Chinese Phi3
15
+
16
+ </div>
17
+
18
+ Mini-Chinese-Phi3是一个基于phi3模型结构的小型对话模型,总参数量约0.13B,使用常见的中文语料进行预训练和微调。主要内容包括了
19
+ - 数据集的整理与简单清洗
20
+ - 中文词表预训练
21
+ - 基于phi3结构的模型预训练
22
+ - 基于预训练模型的指令微调(SFT),包括了全量微调和LoRA微调
23
+ - 基于指令微调模型的直接偏好优化(DPO)
24
+ - 模型评测 **(待做)**
25
+
26
+ 项目中的所有训练过程均在两张3090显卡上进行,使用DeepSpeed框架和Flash Attention 2进行加速,预训练用时约40小时,SFT和DPO微调共用时约8小时。本项目是我在学习LLM过程中的一个简单实践,同时也希望能够帮助到同样初学大模型的小伙伴。
27
+
28
+ 项目训练细节等已在Github上开源,欢迎大家提出宝贵意见和建议。[项目地址](https://github.com/niuwz/MiniChinesePhi3)