自然语言处理
预训练技术最早被应用于计算机视觉领域，自2015年开始在视觉领域被广泛应用，比如，开发者可以在庞大的ImageNet图像数据上对模型进行预训练，然后针对不同的任务对较小的数据进行进一步的微调。2017年，Google首次提出了Transformer模型,该模型使用编码器（Encoder）和解码器（Decoder）的整体架构，成为自然语言处理领域的基础预训练模型。Transformer模型的出现是自然语言处理领域里程碑式突破，使得自然语言处理领域各项任务性能得到极大提升。 在Transformer模型的基础上，Google人工智能研究院在2018年10月进一步提出一个基于掩码的预训练模型BERT，模型在超过11个自然语言处理任务上获得了效果突破。2020年5月，OpenAI发布了具有1750亿参数的超大规模预训练模型GPT-3,并且在多个类型的下游自然语言任务上无需微调即可表现优异，引发了预训练大模型的研发浪潮。2021年1月，Google Brain构建了1个基于简化稀疏架构的预训练模型Switch Transformer，将语言模型的参数量扩展至 1.6 万亿规模。在智源悟道1.75万亿模型出现之前，Switch Transformer是之前全球规模最大的自然语言处理预训练模型。