数。在深度学习的最新发展中，线性整流(ReLU)更频繁地被用来克服与S函数相关的数值问题。两个历史上常见的激活函数都是 S函数，形式是formula_1 和 formula_2。第一个是个双曲正切函数，定义域为 -1 到 1；第二个是个逻辑函数，形状很相似但是定义域为 0 到 1。令 y 为第 i 个节点（神经元）的输出，而 v 是输入连接的加权和。也有其他的激活函数，例如线性整流函数，径向基函数（用于径向基函数网络，另一种监督神经网络模型）。
层.MLP由三层或更