以使用任何形式的激活函数，譬如阶梯函数逻辑Sigmoid函数，但为了使用反向传播算法进行有效学习，激活函数必须限制为可微函数。由于具有良好可微性，很多S函数，尤其是双曲正切函数（Hyperbolic tangent）及逻辑函数，被采用为激活函数。在深度学习的最新发展中，线性整流(ReLU)更频繁地被用来克服与S函数相关的数值问题。两个历史上常见的激活函数都是 S函数，形式是formula_1 和 formula_2。第一个是个双曲正切函数，定义域为 -1 到 1；第二个是个逻辑函数，形状很相