注意力机制 注意力机制英語attention是人工神经网络中一种模仿认知注意力的技术这种机制可以增强神经网络输入数据中某些部分的权重同时减弱其他部分的权重以此将网络的关注点聚焦于数据中最重要的一小部分数据中哪些部分比其他部分更重要取决于上下文可以通过梯度下降法对注意力机制进行训练 类似于注意力机制的架构最早于年代提出当时提出的名称包括乘法模块multiplicative modulesigma pi单元超网络hypernetwork等注意力机制的灵活性来自于它的软权重特性即这种权重是可以在运行时改变的而非像通常的权重一样必须在运行时保持固定注意力机制的用途包括神经图灵机中的记忆功能可微分神经计算机英语Differentiable neural computer中的推理任务Transformer模型中的语言处理Perceiver感知器模型中的多模态数据处理声音图像视频和文本