就使梯度（误差信号）随着n呈指数递减，导致前端层的训练非常缓慢。反向传播使研究人员从头开始训练监督式深度人工神经网络，最初收效甚微。 1991年赛普·霍克赖特（Hochreiter）的毕业论文正式确认了“梯度消失问题”失败的原因。梯度消失问题不仅影响多层前馈网络，还影响循环网络。循环网络是通过将前馈网络深度展开来训练，在网络处理的输入序列的每个时间步骤中，都会产生一个新的层。当所使用的激活函数之导数可以取较大值时，则可能会遇到相关的梯度爆炸问题（exploding gradient problem）