BP网络都是多层感知机（通常都会有一个输入层、一个隐藏层及一个输出层）。为了使隐藏层能够适合所有有用的函数，多层网络必须具有用于多个层的非线性激活函数：仅用线性激活函数的多层网络会与相当于单层线性网络。常用的非线性激活函数有逻辑函数、柔性最大函数和高斯函数。用反向传播算法求梯度已被重新发现多次，是更加一般的自动微分技术在反向积累模式的特例。它也与密切相关，也是继续研究的一部分。<section end=algorithm />
直观理解.
学习作为一