带泄露整流函数 (Leaky ReLU)，其中 formula_2 为神经元(Neuron)的输入。线性整流被认为有一定的生物学原理，并且由于在实践中通常有着比其他常用激励函数（譬如逻辑函数）更好的效果，而被如今的深度神经网络广泛使用于诸如图像识别等计算机视觉人工智能领域。
定义.通常意义下，线性整流函数指代数学中的斜坡函数，即而在神经网络中，线性整流作为神经元的激活函数，定义了该神经元在线性变换 formula_4之后的非线性输出结果。换言之，对于进入神经元的来自上一层神经网