反向传播算法

反向传播（Backpropagation，意为误差反向传播，缩写为BP）是对多层人工神经网络进行梯度下降的算法，也就是用链式法则以网络每层的权重为变数计算损失函数的梯度，以更新权重来最小化损失函数。
动机.
任何监督式学习算法的目标是找到一个能把一组输入最好地映射到其正确的输出的函数。例如一个简单的分类任务，其中输入是动物的图像，正确的输出将是动物的名称。一些输入和输出模式可以很容易地通过单层神经网络（如感知器）学习。但是这些单层的感知机只能学习一些比较简单的模式，例如那些非模式。例如，人可以通过识别动物的图像的某些特征进行分类，例如肢的数目，皮肤的纹理（无论是毛皮，羽毛，鳞片等），该动物的体型，以及种种其他特征。但是，单层神经网络必须仅仅使用图像中的像素的强度来学习一个输出一个标签函数。因为它被限制为仅具有一个层，所以没有办法从输入中学习到任何抽象特征。多层的网络克服了这一限制，因为它可以创建内部表示，并在每一层学习不同的特征。 第一层可能负责从图像的单个像素的输入学习线条的走向。第二层可能就会结合第一层所学并学习识别简单形状（如圆形）。每升高一层就学习越来越多的抽象特征，如上文提到的用来图像分类。每一层都是从它下方的层中找到模式，就是这种能力创建了独立于为多层网络提供能量的外界输入的内部表达形式。
反向传播算法的发展的目标和动机是找到一种训练的多层神经网络的方法，于是它可以学习合适的内部表达来让它学习任意的输入到输出的映射。
概括.
反向传播算法（BP 算法）主要由两个阶段组成：激励传播与权重更新。
第1阶段：激励传播.
每次迭代中的传播环节包含两步：
第2阶段：权重更新.
对于每个突触上的权重，按照以下步骤进行更新：
这个比例（百分比）将会影响到训练过程的速度和效果，因此成为「训练因子」。梯度的方向指明了误差扩大的方向，因此在更新权重的时候需要对其取反，从而减小权重引起的误差。
第 1 和第 2 阶段可以反复循环迭代，直到网络对输入的响应达到满意的预定的目标范围为止。
算法.
数学推导.
假设多层人工神经网络的第 formula_1 层是由线性算子 formula_2 和激活函数 formula_3 所构成，也就是说，第 formula_1 层的输入是 formula_5 维实数向量
输出则为formula_7 维实向量
换句话说，第 formula_9 层的输出 formula_10 就是第 formula_1 层的输入。
而 formula_12 和 formula_10 的具体(以第 formula_14 分量表示)递回关系为
上式通常会简写为
若这个多层人工神经网路总共有 formula_18 层，也就是说，formula_19 是最一开始的输入，而 formula_20 是最后一层的输出，那跟损失函数 formula_21 是以最后一层输出 formula_20 的各分量 formula_23 (与真实值)为变数。依据上面的递回关系，可以把 formula_21 进一步的转成以第 formula_18 层的输入 formula_26 与权重因子 formula_27 为变数的函数 formula_28
由此可以归纳到 formula_32 的情况(注意到前几层的权重因子不会消失在表达式中)
那这样如果假设适当的可微分条件，由链式法则会有以下的递回关系 ( 若取 formula_36 和 formula_37 )
这样就可以依据这个递回关系进行梯度下降，因为计算上是由 formula_23 对 损失函数 formula_21 的偏微分出发，一层层向后递推出前面各层的权重因子梯度，所以被称为反向传播。
注意到可将输入设为
并多加一行权重因子 formula_43 为偏移，就可以把有偏移的多层网路纳入刚刚讨论的范围内。
实际范例.
三层网络算法（只有一个隐藏层）：
这个算法的名称意味着误差会从输出结点反向传播到输入结点。严格地讲，反向传播算法对网络的可修改权值计算了网络误差的梯度。 这个梯度会在简单中经常用来求最小化误差的权重。通常“反向传播”这个词使用更一般的含义，用来指涵盖了计算梯度以及在随机梯度下降法中使用的整个过程。在适用反向传播算法的网络中，它通常可以快速收敛到令人满意的极小值。
直观理解.
学习作为一个优化问题.
在给出反向传播算法的数学推导之前，我们举一个例子来培养关于神经元的真实输出与正确输出间的直观感受。考虑一个有两个输入单元、一个输出单元、没有隐藏单元的简单神经网络。每个神经元都使用输入的加权作为。
在训练之前，我们将随机分配权重formula_46。之后神经元根据训练实例进行学习。在此例中，训练集为 (formula_47, formula_48, formula_49)，其中 formula_47 与 formula_48 是网络的输入，formula_49 为正确输出（在给定相同的输入时网络最终应当产生的输出）。网络在给定 formula_47 和 formula_48 时，会计算一个输出 formula_55，很可能与 formula_49 不同（因为权重最初是随机的）。为了衡量期望输出 formula_49 与实际输出 formula_55 之间的差异，一个常用的方法是采用平方误差测度：
其中 formula_60 为误差。
举例来讲，考虑单一训练实例的网络：formula_61，输入 formula_47 与 formula_48 均为1，正确输出 formula_49 为 0。现在若将实际输出 formula_55 画在x轴，误差 formula_60 画在 formula_55 轴，得出的是一条抛物线。抛物线的极小值对应输出 formula_55，最小化了误差 formula_60。对于单一训练实例，极小值还会接触到 formula_70 轴，这意味着误差为零，网络可以产生与期望输出 formula_49 完全匹配的输出 formula_55。因此，把输入映射到输出的问题就化为了一个找到一个能产生最小误差的函数的最佳化问题。
然而，一个神经元的输出取决于其所有输入的加权总和：
其中 formula_74 和 formula_75 是从输入单元到输出单元相连的权重。因此，误差取决于输入到该神经元的权重，也是网络要学习最终需要改变的。若每个权重都画在一个水平的轴上，而误差画在垂直轴上，得出的就是一个抛物面（若一个神经元有 formula_76 个权重，则误差曲面的维度就会是 formula_77，因而就是二维抛物线的 formula_77 维等价）。
反向传播算法的目的是找到一组能最大限度地减小误差的权重。寻找抛物线或任意维度中的任何函数的极大值的方法有若干种。其中一种方法是通过求解方程组，但这依赖于网络是一个线性系统，而目标也需要可以训练多层非线性网络（因为多层线性网络与单层网络等价）。在反向传播中使用的方法是梯度下降法。
运用类比理解梯度下降法.
梯度下降法背后的直观感受可以用假设情境进行说明。一个被卡在山上的人正在试图下山（即试图找到极小值）。大雾使得能见度非常低。因此，下山的道路是看不见的，所以他必须利用局部信息来找到极小值。他可以使用梯度下降法，该方法涉及到察看在他当前位置山的陡峭程度，然后沿着负陡度（即下坡）最大的方向前进。如果他要找到山顶（即极大值）的话，他需要沿着正陡度（即上坡）最大的方向前进。使用此方法，他会最终找到下山的路。不过，要假设山的陡度不能通过简单地观察得到，而需要复杂的工具测量，而这个工具此人恰好有。需要相当长的一段时间用仪器测量山的陡峭度，因此如果他想在日落之前下山，就需要最小化仪器的使用率。问题就在于怎样选取他测量山的陡峭度的频率才不致偏离路线。
在这个类比中，此人代表反向传播算法，而下山路径表示能使误差最小化的权重集合。山的陡度表示误差曲面在该点的斜率。他要前行的方向对应于误差曲面在该点的梯度。用来测量陡峭度的工具是微分（误差曲面的斜率可以通过对平方误差函数在该点求导数计算出来）。他在两次测量之间前行的距离（与测量频率成正比）是算法的学习速率。参见限制一节中对此类型“爬山”算法的限制的讨论。
历史.
弗拉基米尔·瓦普尼克在他的书《支持向量机》中首次发表反向传播算法。在1969年和何毓琦将其描述为多级动态系统优化方法。 直到1974年以后在神经网络的背景下应用，并由、、杰弗里·辛顿和的著作，它才获得认可，并引发了一场人工神经网络的研究领域的“文艺复兴”。在21世纪初人们对其失去兴趣，但在2010年后又拥有了兴趣，如今可以通过GPU等大型现代运算器件用于训练更大的网络。例如在2013年，顶级语音识别器现在使用反向传播算法训练神经网络。