Update README.md
Browse files
README.md
CHANGED
|
@@ -1,16 +1,26 @@
|
|
| 1 |
---
|
| 2 |
license: apache-2.0
|
| 3 |
---
|
| 4 |
-
ZhiLu
|
| 5 |
|
| 6 |
模型训练的目标是在保持通用能力的前提下，显著提升金融领域的能力。具体细节参考：[ZhiLu-github仓库](https://github.com/SYSU-MUCFC-FinTech-Research-Center/ZhiLu)
|
| 7 |
|
| 8 |
# ZhiLu-LoRA-13B-Instruct
|
| 9 |
|
| 10 |
-
|
| 11 |
|
| 12 |
用户在使用前，可使用`peft库`进行加载，或与`Alpaca-2-13B`进行合并得到完整模型，合并代码及具体细节参考：[ZhiLu-github仓库](https://github.com/SYSU-MUCFC-FinTech-Research-Center/ZhiLu)。
|
| 13 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 14 |
# 快速使用
|
| 15 |
|
| 16 |
```python
|
|
|
|
| 1 |
---
|
| 2 |
license: apache-2.0
|
| 3 |
---
|
| 4 |
+
ZhiLu是一个基于[中文Alpaca2-13B](https://github.com/ymcui/Chinese-LLaMA-Alpaca-2)进行二次训练的金融大模型，我们使用大量中英文语料进行增量预训练，同时使用高质量指令数据进行对齐。
|
| 5 |
|
| 6 |
模型训练的目标是在保持通用能力的前提下，显著提升金融领域的能力。具体细节参考：[ZhiLu-github仓库](https://github.com/SYSU-MUCFC-FinTech-Research-Center/ZhiLu)
|
| 7 |
|
| 8 |
# ZhiLu-LoRA-13B-Instruct
|
| 9 |
|
| 10 |
+
本仓库提供ZhiLu的`LoRA模块`，提供给已有`Alpaca-2-13B`模型的用户。
|
| 11 |
|
| 12 |
用户在使用前，可使用`peft库`进行加载，或与`Alpaca-2-13B`进行合并得到完整模型，合并代码及具体细节参考：[ZhiLu-github仓库](https://github.com/SYSU-MUCFC-FinTech-Research-Center/ZhiLu)。
|
| 13 |
|
| 14 |
+
# 数据质量
|
| 15 |
+
|
| 16 |
+
我们收集了各类数据，包括上市公司公告、财经新闻、上市公司年度报告、新闻、金融资讯、社区问答、维基百科等高质量数据。
|
| 17 |
+
|
| 18 |
+
模型训练的总token数为`14.69B`，通用语料与金融预料比例约为2:1，中英配比约为2:1。
|
| 19 |
+
|
| 20 |
+
# 模型训练
|
| 21 |
+
|
| 22 |
+
ZhiLu使用LoRA进行高效训练（含emb/lm-head），使用FlashAttention-2技术进行加速训练，公布了LoRA模块（本仓库）和[Full Model](https://huggingface.co/SYSU-MUCFC-FinTech-Research-Center/ZhiLu-13B-Instruct)
|
| 23 |
+
|
| 24 |
# 快速使用
|
| 25 |
|
| 26 |
```python
|