正規化線形関数
漏洩(リーキー、Leaky)ReLUは、ユニットがアクティブでない時に小さな正の勾配を許容する。
f ( x ) = { x if x > 0 0.01 x otherwise {\displaystyle f(x)={\begin{cases}x&{\mbox{if }}x>0\\0.01x&{\mbox{otherwise}}\end{cases}}}