Transformer模型 Transformer模型直译为变换器是一种采用注意力机制的深度学习模型这一机制可以按输入数据各部分重要性的不同而分配不同的权重该模型主要用于自然语言处理NLP与计算机视觉CV领域 与循环神经网络RNN一样Transformer模型旨在处理自然语言等顺序输入数据可应用于翻译文本摘要等任务而与RNN不同的是Transformer模型能够一次性处理所有输入数据注意力机制可以为输入序列中的任意位置提供上下文如果输入数据是自然语言则Transformer不必像RNN一样一次只处理一个单词这种架构允许更多的并行计算并以此减少训练时间 Transformer模型于年由谷歌大脑的一个团队推出现已逐步取代长短期记忆LSTM等RNN模型成为了NLP问题的首选模型并行化优势允许其在更大的数据集上进行训练这也促成了BERTGPT等预训练模型的发展这些系统使用了维基百科Common Crawl英语Common Crawl等大型语料库进行训练并可以针对特定任务进行微调