转换器是在编码器-解码器前馈神经网络中使用自注意力机制的深度学习模型。它们可以像 RNN 一样处理顺序数据。
自注意力
转换器不使用隐藏状态来捕获数据序列的相互依赖性。相反，它们使用自注意力头来并行处理数据序列。这使转换器能够使用比 RNN 更短的时间训练和处理更长的序列。借助自注意力机制，转换器可克服 RNN 面临的内存限制和序列相互依赖性。转换器可以并行处理数据序列，并使用位置编码来记住每个输入与其他输入的关系。
并行性
转换器通过在训练期间启用并行性来解决 RNN 面临的梯度问题。通过同时处理所有输入序列，转换器不受反向传播限制，因为梯度可以自由流向所有权重。它们还针对并行计算进行了优化，图形处理单元（GPU）为生成式人工智能开发提供了这种优化。并行性使转换器能够通过构建更大的模型来大规模扩展和处理复杂的 NLP 任务。