FancyJay commited on
Commit
f9b2fac
1 Parent(s): c7e3047

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +11 -1
README.md CHANGED
@@ -1,7 +1,7 @@
1
  ---
2
  license: apache-2.0
3
  ---
4
- ZhiLu是一个基于中文Alpaca2-13B进行二次训练的金融大模型,我们使用大量中英文语料进行增量预训练,同时使用高质量指令数据进行对齐。
5
 
6
  模型训练的目标是在保持通用能力的前提下,显著提升金融领域的能力。具体细节参考:[ZhiLu-github仓库](https://github.com/SYSU-MUCFC-FinTech-Research-Center/ZhiLu)
7
 
@@ -9,6 +9,16 @@ ZhiLu是一个基于中文Alpaca2-13B进行二次训练的金融大模型,我
9
 
10
  本项目提供ZhiLu的完整模型,使用该模型,用户不用再下载LoRA模块。
11
 
 
 
 
 
 
 
 
 
 
 
12
  # 快速使用
13
 
14
  ```python
 
1
  ---
2
  license: apache-2.0
3
  ---
4
+ ZhiLu是一个基于[中文Alpaca2-13B](https://github.com/ymcui/Chinese-LLaMA-Alpaca-2)进行二次训练的金融大模型,我们使用大量中英文语料进行增量预训练,同时使用高质量指令数据进行对齐。
5
 
6
  模型训练的目标是在保持通用能力的前提下,显著提升金融领域的能力。具体细节参考:[ZhiLu-github仓库](https://github.com/SYSU-MUCFC-FinTech-Research-Center/ZhiLu)
7
 
 
9
 
10
  本项目提供ZhiLu的完整模型,使用该模型,用户不用再下载LoRA模块。
11
 
12
+ # 数据质量
13
+
14
+ 我们收集了各类数据,包括上市公司公告、财经新闻、上市公司年度报告、新闻、金融资讯、社区问答、维基百科等高质量数据。
15
+
16
+ 模型训练的总token数为`14.69B`,通用语料与金融预料比例约为2:1,中英配比约为2:1。
17
+
18
+ # 模型训练
19
+
20
+ ZhiLu使用LoRA进行高效训练(含emb/lm-head),使用FlashAttention-2技术进行加速训练,公布了Full Model(本仓库)和[LoRA模块](https://huggingface.co/SYSU-MUCFC-FinTech-Research-Center/ZhiLu-LoRA-13B-Instruct)
21
+
22
  # 快速使用
23
 
24
  ```python