formula_1 和 formula_2。第一个是个双曲正切函数，定义域为 -1 到 1；第二个是个逻辑函数，形状很相似但是定义域为 0 到 1。令 y 为第 i 个节点（神经元）的输出，而 v 是输入连接的加权和。也有其他的激活函数，例如线性整流函数，径向基函数（用于径向基函数网络，另一种监督神经网络模型）。
层.MLP由三层或更多层非线性激活节点组成(一个输入层和一个具有一个或多个隐藏层的输出层)。由于多层互连是完全连接的，所以一层中的每个节点都以一定的权重 w 连接