Spaces:
Runtime error
Runtime error
File size: 6,098 Bytes
50f0fbb |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 |
## 最新发布
* \[2022.09.13\] [更新ErLangShen系列DeBERTa预训练代码](https://huggingface.co/IDEA-CCNL/Erlangshen-DeBERTa-v2-97M-Chinese)
* \[2022.09.13\] [更新RanDeng系列Bart预训练代码](https://huggingface.co/IDEA-CCNL/Randeng-BART-139M)
* \[2022.09.13\] [更新ErLangShen系列Bert预训练代码](https://huggingface.co/IDEA-CCNL/Erlangshen-MegatronBert-1.3B)
* \[2022.05.11\] [更新TaiYi系列VIT多模态模型及下游任务示例](https://fengshenbang-doc.readthedocs.io/zh/latest/docs/太乙系列/Taiyi-vit-87M-D.html)
* \[2022.05.11\] [更新BiGan系列Transformer-XL去噪模型及下游任务示例](https://fengshenbang-doc.readthedocs.io/zh/latest/docs/比干系列/Bigan-Transformer-XL-denoise-1.1B.html)
* \[2022.05.11\] [更新ErLangShen系列下游任务示例](https://fengshenbang-doc.readthedocs.io/zh/latest/docs/二郎神系列/Erlangshen-Roberta-110M-NLI.html)
# 导航
- [导航](#导航)
- [框架简介](#框架简介)
- [依赖环境](#依赖环境)
- [项目结构](#项目结构)
- [设计思路](#设计思路)
- [分类下游任务](#分类下游任务)
## 框架简介
FengShen训练框架是封神榜大模型开源计划的重要一环，在大模型的生产和应用中起到至关重要的作用。FengShen可以应用在基于海量数据的预训练以及各种下游任务的finetune中。封神榜专注于NLP大模型开源，然而模型的增大带来不仅仅是训练的问题，在使用上也存在诸多不便。为了解决训练和使用的问题，FengShen参考了目前开源的优秀方案并且重新设计了Pipeline，用户可以根据自己的需求，从封神榜中选取丰富的预训练模型，同时利用FengShen快速微调下游任务。
目前所有实例以及文档可以查看我们的[Wiki](https://fengshenbang-doc.readthedocs.io/zh/latest/index.html)
所有的模型可以在[Huggingface主页](https://huggingface.co/IDEA-CCNL)找到
通过我们的框架，你可以快速享受到：
1. 比原生torch更强的性能，训练速度提升<font color=#0000FF >**300%**</font>
2. 支持更大的模型，支持<font color=#0000FF >**百亿级别**</font>内模型训练及微调
3. 支持<font color=#0000FF >**TB级以上**</font>的数据集，在家用主机上即可享受预训练模型带来的效果提升
3. 丰富的预训练、下游任务示例，一键开始训练
4. 适应各种设备环境，支持在CPU、GPU、TPU等不同设备上运行
5. 集成主流的分布式训练逻辑，无需修改代码即可支持DDP、Zero Optimizer等分布式优化技术
## 依赖环境
* Python >= 3.8
* torch >= 1.8
* transformers >= 3.2.0
* pytorch-lightning >= 1.5.10
在Fengshenbang-LM根目录下
pip install --editable ./
## 项目结构
```
├── data # 支持多种数据处理方式以及数据集
│ ├── cbart_dataloader
| ├── fs_datasets # 基于transformers datasets的封装，新增中文数据集(开源计划中)
| ├── universal_datamodule # 打通fs_datasets与lightning datamodule，减少重复开发工作量
│ ├── megatron_dataloader # 支持基于Megatron实现的TB级别数据集处理、训练
│ ├── mmap_dataloader # 通用的Memmap形式的数据加载
│ └── task_dataloader # 支持多种下游任务
├── examples # 丰富的示例，从预训练到下游任务，应有尽有。
├── metric # 提供各种metric计算，支持用户自定义metric
├── losses # 同样支持loss自定义，满足定制化需求
├── tokenizer # 支持自定义tokenizer，比如我们使用的SentencePiece训练代码等
├── models # 模型库
│ ├── auto # 支持自动导入对应的模型
│ ├── bart
│ ├── longformer
│ ├── megatron_t5
│ └── roformer
└── utils # 实用函数
```
## 设计思路
FengShen框架目前整体基于Pytorch-Lightning & Transformer进行开发，在底层框架上不断开源基于中文的预训练模型，同时提供丰富的examples，每一个封神榜的模型都能找到对应的预训练、下游任务代码。
在FengShen上开发，整体可以按照下面的三个步骤进行：
1. 封装数据处理流程 -> pytorch_lightning.LightningDataModule
2. 封装模型结构 -> pytorch_lightning.LightningModule
3. 配置一些插件，比如log_monitor，checkpoint_callback等等。
一个完整的DEMO可以看Randeng-BART系列实例 -> [文档](https://fengshenbang-doc.readthedocs.io/zh/latest/docs/燃灯系列/BART-139M.html) [代码](https://github.com/IDEA-CCNL/Fengshenbang-LM/tree/hf-ds/fengshen/examples/pretrain_bart)
## 分类下游任务
在examples/classification目录下，我们提供丰富的分类任务的示例，其中我们提供三个一键式运行的示例。
* demo_classification_afqmc_roberta.sh 使用DDP微调roberta
* demo_classification_afqmc_roberta_deepspeed.sh 结合deepspeed微调roberta，获得更快的运算速度
* demo_classification_afqmc_erlangshen_offload.sh 仅需7G显存即可微调我们效果最好的二郎神系列模型
上述示例均采用AFQMC的数据集，关于数据集的介绍可以在[这里](https://www.cluebenchmarks.com/introduce.html)找到。
同时我们处理过的数据文件已经放在Huggingface上，点击[这里](https://huggingface.co/datasets/IDEA-CCNL/AFQMC)直达源文件。
仅需要按我们的格式稍微处理一下数据集，即可适配下游不同的分类任务。
在脚本示例中，仅需要修改如下参数即可适配本地文件
```
--dataset_name IDEA-CCNL/AFQMC \
-------> 修改为
--data_dir $DATA_DIR \ # 数据目录
--train_data train.json \ # 数据文件
--valid_data dev.json \
--test_data test.json \
```
|