微函数。由于具有良好可微性，很多S函数，尤其是双曲正切函数（Hyperbolic tangent）及逻辑函数，被采用为激活函数。在深度学习的最新发展中，线性整流(ReLU)更频繁地被用来克服与S函数相关的数值问题。两个历史上常见的激活函数都是S函数，形式是formula_1 和 formula_2。第一个是个双曲正切函数，定义域为 -1 到 1；第二个是个逻辑函数，形状很相似但是定义域为 0 到 1。令 y 为第 i 个节点（神经元）的输出，而 v 是输入连接的加权和。也有其他的激活函数，