Package: mindformers
欢迎来到MindSpore Transformers（MindFormers）一、介绍MindSpore Transformers套件的目标是构建一个大模型训练、微调、评估、推理、部署的全流程开发套件：
提供业内主流的Transformer类预训练模型和SOTA下游任务应用，涵盖丰富的并行特性。期望帮助用户轻松的实现大模型训练和创新研发。MindSpore Transformers套件基于MindSpore内置的并行技术和组件化设计，具备如下特点：一行代码实现从单卡到大规模集群训练的无缝切换；提供灵活易用的个性化并行配置；能够自动进行拓扑感知，高效地融合数据并行和模型并行策略；一键启动任意任务的单卡/多卡训练、微调、评估、推理流程；支持用户进行组件化配置任意模块，如优化器、学习策略、网络组装等；提供Trainer、pipeline、AutoClass等高阶易用性接口；提供预置SOTA权重自动下载及加载功能；支持人工智能计算中心无缝迁移部署；如果您对MindSpore Transformers有任何建议，请通过issue与我们联系，我们将及时处理。MindFormers教程文档模型README任务READMEMindPet指导教程AICC指导教程目前支持的模型列表如下：模型任务（task name）模型（model name）LLama2text_generationllama2_7bllama2_13bllama2_7b_lorallama2_13b_lorallama2_70bGLM2text_generationglm2_6bglm2_6b_loraCodeGeex2text_generationcodegeex2_6bLLamatext_generationllama_7bllama_13bllama_7b_loraGLMtext_generationglm_6bglm_6b_loraBloomtext_generationbloom_560mbloom_7.1bGPT2text_generationgpt2_smallgpt2_13bPanGuAlphatext_generationpangualpha_2_6_bpangualpha_13bBLIP2contrastive_language_image_pretrainzero_shot_image_classificationblip2_stage1_vit_gCLIPcontrastive_language_image_pretrainzero_shot_image_classificationclip_vit_b_32clip_vit_b_16clip_vit_l_14clip_vit_l_14@336BERTmasked_language_modelingtext_classificationtoken_classificationquestion_answeringbert_base_uncasedtxtcls_bert_base_uncasedtxtcls_bert_base_uncased_mnlitokcls_bert_base_chinesetokcls_bert_base_chinese_cluenerqa_bert_base_uncasedqa_bert_base_chinese_uncasedT5translationt5_smallsamsegment_anythingsam_vit_bsam_vit_lsam_vit_hMAEmasked_image_modelingmae_vit_base_p16VITimage_classificationvit_base_p16Swinimage_classificationswin_base_p4w7目前在research中支持的模型列表如下：模型任务（task name）模型（model name）skyworktext_generationskywork_13bBaichuan2text_generationbaichuan2_7bbaichuan2_13bbaichuan2_7b_lorabaichuan2_13b_loraBaichuantext_generationbaichuan_7bbaichuan_13bQwentext_generationqwen_7bqwen_14bWizardcodertext_generationwizardcoder_15bInternlmtext_generationInternlm_7bziyatext_generationziya_13bVisualGLMimage_to_textvisualglm二、mindformers安装方式1：Linux源码编译安装支持源码编译安装，用户可以执行下述的命令进行包的安装gitclone-bdevhttps://gitee.com/mindspore/mindformers.gitcdmindformers
bashbuild.sh方式2：镜像docker下载命令dockerpullswr.cn-central-221.ovaijisuan.com/mindformers/mindformers0.8.0_mindspore2.2.0:aarch_20231025创建容器# --device用于控制指定容器的运行NPU卡号和范围# -v 用于映射容器外的目录# --name 用于自定义容器名称dockerrun-it-uroot\--ipc=host\--networkhost\--device=/dev/davinci0\--device=/dev/davinci1\--device=/dev/davinci2\--device=/dev/davinci3\--device=/dev/davinci4\--device=/dev/davinci5\--device=/dev/davinci6\--device=/dev/davinci7\--device=/dev/davinci_manager\--device=/dev/devmm_svm\--device=/dev/hisi_hdc\-v/etc/localtime:/etc/localtime\-v/usr/local/Ascend/driver:/usr/local/Ascend/driver\-v/var/log/npu/:/usr/slog\-v/usr/local/bin/npu-smi:/usr/local/bin/npu-smi\--name{请手动输入容器名称}\swr.cn-central-221.ovaijisuan.com/mindformers/mindformers0.8.0_mindspore2.2.0:aarch_20231025\/bin/bash三、版本匹配关系当前支持的硬件为Atlas 800训练服务器 与Atlas 800T A2训练服务器MindFormersMindPetMindSporePythonCANN驱动固件镜像链接备注dev1.0.2master3.9///开发分支(非稳定版本)dev1.0.22.2.03.97.0.0.beta1:aarch64x86_64固件驱动获取链接/开发分支(非稳定版本)0.81.0.22.2.13.9///发布版本分支0.81.0.22.2.03.97.0.RC.beta1:aarch64x86_64固件驱动获取链接物理机AICC发布版本分支0.71.0.12.1.13.96.3.RC2.alpha005:aarch64x86_64固件驱动获取链接/旧版本分支其中CANN，固件驱动的安装需与使用的机器匹配，请注意识别机器型号，选择对应架构的版本四、快速使用MindFormers套件对外提供两种使用和开发形式，为开发者提供灵活且简洁的使用方式和高阶开发接口。方式一：使用已有脚本启动用户可以直接clone整个仓库，按照以下步骤即可运行套件中已支持的任意configs模型任务配置文件，方便用户快速进行使用和开发：准备工作step1：git clone mindformersgitclone-bdevhttps://gitee.com/mindspore/mindformers.gitcdmindformersstep2:  准备相应任务的数据集，请参考docs目录下各模型的README.md文档准备相应数据集step3：修改配置文件configs/{model_name}/run_{model_name}_***.yaml中数据集路径step4：如果要使用分布式训练，则需提前生成RANK_TABLE_FILE# 不包含8本身，生成0~7卡的hccl json文件pythonmindformers/tools/hccl_tools.py--device_num[0,8)单卡启动：统一接口启动，根据模型 CONFIG 完成任意模型的单卡训练、微调、评估、推理流程# 训练启动，run_mode支持train、finetune、eval、predict四个关键字，以分别完成模型训练、评估、推理功能，默认使用配置文件中的run_modepythonrun_mindformer.py--config{CONFIG_PATH}--run_mode{train/finetune/eval/predict}多卡启动： scripts 脚本启动，根据模型 CONFIG 完成任意模型的单卡/多卡训练、微调、评估、推理流程使用rank table方式启动# 8卡分布式运行， DEVICE_RANGE = [0,8), 不包含8本身cdscripts
bashrun_distribute.shRANK_TABLE_FILECONFIG_PATHDEVICE_RANGERUN_MODE使用动态组网方式启动# 8卡分布式运行启动前的准备:1.使用hostname命令将每台服务器hostname设置为各自的ip:hostname[hostip],如果在docker内需求设置为docker内部ip,同时保证各个服务器之间docker网络互通2.设置环境变量:exportSERVER_ID=0;exportSERVER_NUM=1;exportPER_DEVICE_NUMS=8;exportMS_SCHED_HOST=[HOSTIP];exportMS_SCHED_PORT=[PORT]cdscripts# SERVER_ID为当前服务器序号，SERVER_NUM为服务器的总数，PER_DEVICE_NUMS为每台服务器使用的卡数默认值为8，MS_SCHED_HOST为调度节点的ip，MS_SCHED_PORT为通信端口bashrun_distribute_ps_auto.shCONFIG_PATHRUN_MODE常用参数说明RANK_TABLE_FILE: 由mindformers/tools/hccl_tools.py生成的分布式json文件
CONFIG_PATH: 为configs文件夹下面的{model_name}/run_*.yaml配置文件
DEVICE_ID: 为设备卡，范围为0~7
DEVICE_RANGE: 为单机分布式卡的范围, 如[0,8]为8卡分布式，不包含8本身
RUN_MODE: 为任务运行状态，支持关键字 train\finetune\eval\predict\export方式二：调用API启动详细高阶API使用教程请参考：MindFormers大模型使用教程准备工作step 1：安装mindformers具体安装请参考第二章。step2: 准备数据准备相应任务的数据集，请参考docs目录下各模型的README.md文档准备相应数据集。Trainer 快速入门用户可以通过以上方式安装mindformers库，然后利用Trainer高阶接口执行模型任务的训练、微调、评估、推理功能。Trainer 训练/微调启动用户可使用Trainer.train或者Trainer.finetune接口完成模型的训练/微调/断点续训。importmindspore;mindspore.set_context(mode=0,device_id=0)frommindformersimportTrainercls_trainer=Trainer(task='image_classification',# 已支持的任务名model='vit_base_p16',# 已支持的模型名train_dataset="/data/imageNet-1k/train",# 传入标准的训练数据集路径，默认支持ImageNet数据集格式eval_dataset="/data/imageNet-1k/val")# 传入标准的评估数据集路径，默认支持ImageNet数据集格式# Example 1： 开启训练复现流程cls_trainer.train()# Example 2： 加载集成的mae权重，开启微调流程cls_trainer.finetune(finetune_checkpoint='mae_vit_base_p16')# Example 3： 开启断点续训功能cls_trainer.train(train_checkpoint=True,resume_training=True)Trainer 评估启动用户可使用Trainer.evaluate接口完成模型的评估流程。importmindspore;mindspore.set_context(mode=0,device_id=0)frommindformersimportTrainercls_trainer=Trainer(task='image_classification',# 已支持的任务名model='vit_base_p16',# 已支持的模型名eval_dataset="/data/imageNet-1k/val")# 传入标准的评估数据集路径，默认支持ImageNet数据集格式# Example 1： 开启评估已集成模型权重的复现流程cls_trainer.evaluate()# Example 2： 开启评估训练得到的最后一个权重cls_trainer.evaluate(eval_checkpoint=True)# Example 3： 开启评估指定的模型权重cls_trainer.evaluate(eval_checkpoint='./output/checkpoint/rank_0/mindformers.ckpt')结果打印示例(已集成的vit_base_p16模型权重评估分数)：
Top1 Accuracy=0.8317Trainer 推理启动用户可使用Trainer.predict接口完成模型的推理流程。importmindspore;mindspore.set_context(mode=0,device_id=0)frommindformersimportTrainercls_trainer=Trainer(task='image_classification',# 已支持的任务名model='vit_base_p16')# 已支持的模型名input_data='./cat.png'# 一张猫的图片# Example 1： 指定输入的数据完成模型推理predict_result_d=cls_trainer.predict(input_data=input_data)# Example 2： 开启推理（自动加载训练得到的最后一个权重）predict_result_b=cls_trainer.predict(input_data=input_data,predict_checkpoint=True)# Example 3： 加载指定的权重以完成推理predict_result_c=cls_trainer.predict(input_data=input_data,predict_checkpoint='./output/checkpoint/rank_0/mindformers.ckpt')print(predict_result_d)结果打印示例(已集成的vit_base_p16模型权重推理结果)：
{‘label’: 'cat', score: 0.99}pipeline 快速入门MindFormers套件为用户提供了已集成模型的pipeline推理接口，方便用户体验大模型推理服务。pipeline 使用# 以gpt2 small为例importmindspore;mindspore.set_context(mode=0,device_id=0)frommindformers.pipelineimportpipelinepipeline_task=pipeline(task="text_generation",model="gpt2")pipeline_result=pipeline_task("An increasing sequence: one,",do_sample=False,max_length=20)print(pipeline_result)结果打印示例(已集成的gpt2模型权重推理结果)：
[{'text_generation_text': ['An increasing sequence: one, two, three, four, five, six, seven, eight,']}]AutoClass 快速入门MindFormers套件为用户提供了高阶AutoClass类，包含AutoConfig、AutoModel、AutoProcessor、AutoTokenizer四类，方便开发者进行调用。AutoConfig 获取已支持的任意模型配置frommindformersimportAutoConfig# 获取gpt2的模型配置gpt2_config=AutoConfig.from_pretrained('gpt2')# 获取vit_base_p16的模型配置vit_base_p16_config=AutoConfig.from_pretrained('vit_base_p16')AutoModel 获取已支持的网络模型frommindformersimportAutoModel# 利用from_pretrained功能实现模型的实例化（默认加载对应权重）gpt2=AutoModel.from_pretrained('gpt2')# 利用from_config功能实现模型的实例化（默认加载对应权重）gpt2_config=AutoConfig.from_pretrained('gpt2')gpt2=AutoModel.from_config(gpt2_config)# 利用save_pretrained功能保存模型对应配置gpt2.save_pretrained('./gpt2',save_name='gpt2')AutoProcessor 获取已支持的预处理方法frommindformersimportAutoProcessor# 通过模型名关键字获取对应模型预处理过程（实例化gpt2的预处理过程，通常用于Trainer/pipeline推理入参）gpt2_processor_a=AutoProcessor.from_pretrained('gpt2')# 通过yaml文件获取相应的预处理过程gpt2_processor_b=AutoProcessor.from_pretrained('configs/gpt2/run_gpt2.yaml')AutoTokenizer 获取已支持的tokenizer方法frommindformersimportAutoTokenizer# 通过模型名关键字获取对应模型预处理过程（实例化gpt2的tokenizer，通常用于Trainer/pipeline推理入参）gpt2_tokenizer=AutoTokenizer.from_pretrained('gpt2')五、贡献欢迎参与社区贡献，可参考MindSpore贡献要求Contributor Wiki。六、许可证Apache 2.0许可证