个输出层）。为了使隐藏层能够适合所有有用的函数，多层网络必须具有用于多个层的非线性激活函数：仅用线性激活函数的多层网络会与相当于单层线性网络。常用的非线性激活函数有逻辑函数、柔性最大函数和高斯函数。用反向传播算法求梯度已被重新发现多次，是更加一般的自动微分技术在反向积累模式的特例。它也与密切相关，也是继续研究的一部分。<section end=algorithm />
直观理解.
学习作为一个优化问题.在给出反向传播算法的数学推导之前，我们举一个例子来