激活函数
单变量输入激活函數

| 名稱 | 函數圖形 | 方程式 | 導數 | 區間 | 连续性 | 單調 | 一阶导数单调 | 原点近似恒等 |
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 恆等函數 |  |  f(x)=x |  f'(x)=1 |  (-\infty ,\infty ) |  C^{\infty } | 是 | 是 | 是 |
| 單位階躍函數 |  |  f(x)={\begin{cases}0&{\text{for }}x<0\\1&{\text{for }}x\geq 0\end{cases}} |  f'(x)={\begin{cases}0&{\text{for }}x\neq 0\\{\text{不  存  在}}&{\text{for }}x=0\end{cases}} |  \{0,1\} |  C^{-1} | 是 | 否 | 否 |
| 邏輯函數 (S函數的一种) |  |  f(x)=\sigma (x)={\frac {1}{1+e^{-x}}} |  f'(x)=f(x)(1-f(x)) |  (0,1) |  C^{\infty } | 是 | 否 | 否 |
| 雙曲正切函數 |  |  f(x)=\tanh(x)={\frac {(e^{x}-e^{-x})}{(e^{x}+e^{-x})}} |  f'(x)=1-f(x)^{2} |  (-1,1) |  C^{\infty } | 是 | 否 | 是 |
| 反正切函數 |  |  f(x)=\tan ^{-1}(x) |  f'(x)={\frac {1}{x^{2}+1}} |  \left(-{\frac {\pi }{2}},{\frac {\pi }{2}}\right) |  C^{\infty } | 是 | 否 | 是 |
| Softsign 函數 |  |  f(x)={\frac {x}{1+|x|}} |  f'(x)={\frac {1}{(1+|x|)^{2}}} |  (-1,1) |  C^{1} | 是 | 否 | 是 |
| 反平方根函數 (ISRU) |  |  f(x)={\frac {x}{\sqrt {1+\alpha x^{2}}}} |  f'(x)=\left({\frac {1}{\sqrt {1+\alpha x^{2}}}}\right)^{3} |  \left(-{\frac {1}{\sqrt {\alpha }}},{\frac {1}{\sqrt {\alpha }}}\right) |  C^{\infty } | 是 | 否 | 是 |
| 線性整流函數 (ReLU) |  |  f(x)={\begin{cases}0&{\text{for }}x<0\\x&{\text{for }}x\geq 0\end{cases}} |  f'(x)={\begin{cases}0&{\text{for }}x<0\\1&{\text{for }}x\geq 0\end{cases}} |  [0,\infty ) |  C^{0} | 是 | 是 | 否 |
| 帶泄露線性整流函數 (Leaky ReLU) |  |  f(x)={\begin{cases}0.01x&{\text{for }}x<0\\x&{\text{for }}x\geq 0\end{cases}} |  f'(x)={\begin{cases}0.01&{\text{for }}x<0\\1&{\text{for }}x\geq 0\end{cases}} |  (-\infty ,\infty ) |  C^{0} | 是 | 是 | 否 |
| 參數化線性整流函數 (PReLU) |  |  f(\alpha ,x)={\begin{cases}\alpha x&{\text{for }}x<0\\x&{\text{for }}x\geq 0\end{cases}} |  f'(\alpha ,x)={\begin{cases}\alpha &{\text{for }}x<0\\1&{\text{for }}x\geq 0\end{cases}} |  (-\infty ,\infty ) |  C^{0} | Yes iff  \alpha \geq 0 | 是 | Yes iff  \alpha =1 |
| 帶泄露隨機線性整流函數 (RReLU) |  |  f(\alpha ,x)={\begin{cases}\alpha x&{\text{for }}x<0\\x&{\text{for }}x\geq 0\end{cases}} |  f'(\alpha ,x)={\begin{cases}\alpha &{\text{for }}x<0\\1&{\text{for }}x\geq 0\end{cases}} |  (-\infty ,\infty ) |  C^{0} | 是 | 是 | 否 |
| 指數線性函數 (ELU) |  |  f(\alpha ,x)={\begin{cases}\alpha (e^{x}-1)&{\text{for }}x<0\\x&{\text{for }}x\geq 0\end{cases}} |  f'(\alpha ,x)={\begin{cases}f(\alpha ,x)+\alpha &{\text{for }}x<0\\1&{\text{for }}x\geq 0\end{cases}} |  (-\alpha ,\infty ) |  {\begin{cases}C_{1}&{\text{when }}\alpha =1\\C_{0}&{\text{otherwise }}\end{cases}} | Yes iff  \alpha \geq 0 | Yes iff  0\leq \alpha \leq 1 | Yes iff  \alpha =1 |
| 擴展指數線性函數 (SELU) |  |  f(\alpha ,x)=\lambda {\begin{cases}\alpha (e^{x}-1)&{\text{for }}x<0\\x&{\text{for }}x\geq 0\end{cases}} with  \lambda =1.0507 and  \alpha =1.67326 |  f'(\alpha ,x)=\lambda {\begin{cases}\alpha (e^{x})&{\text{for }}x<0\\1&{\text{for }}x\geq 0\end{cases}} |  (-\lambda \alpha ,\infty ) |  C^{0} | 是 | 否 | 否 |
| S 型線性整流激活函數 (SReLU) |  |  f_{t_{l},a_{l},t_{r},a_{r}}(x)={\begin{cases}t_{l}+a_{l}(x-t_{l})&{\text{for }}x\leq t_{l}\\x&{\text{for }}t_{l}<x<t_{r}\\t_{r}+a_{r}(x-t_{r})&{\text{for }}x\geq t_{r}\end{cases}}  t_{l},a_{l},t_{r},a_{r} are parameters. |  f'_{t_{l},a_{l},t_{r},a_{r}}(x)={\begin{cases}a_{l}&{\text{for }}x\leq t_{l}\\1&{\text{for }}t_{l}<x<t_{r}\\a_{r}&{\text{for }}x\geq t_{r}\end{cases}} |  (-\infty ,\infty ) |  C^{0} | 否 | 否 | 否 |
| 反平方根線性函數 (ISRLU) |  |  f(x)={\begin{cases}{\frac {x}{\sqrt {1+\alpha x^{2}}}}&{\text{for }}x<0\\x&{\text{for }}x\geq 0\end{cases}} |  f'(x)={\begin{cases}\left({\frac {1}{\sqrt {1+\alpha x^{2}}}}\right)^{3}&{\text{for }}x<0\\1&{\text{for }}x\geq 0\end{cases}} |  \left(-{\frac {1}{\sqrt {\alpha }}},\infty \right) |  C^{2} | 是 | 是 | 是 |
| 自適應分段線性函數 (APL) |  |  f(x)=\max(0,x)+\sum _{s=1}^{S}a_{i}^{s}\max(0,-x+b_{i}^{s}) |  f'(x)=H(x)-\sum _{s=1}^{S}a_{i}^{s}H(-x+b_{i}^{s}) |  (-\infty ,\infty ) |  C^{0} | 否 | 否 | 否 |
| SoftPlus 函數 |  |  f(x)=\ln(1+e^{x}) |  f'(x)={\frac {1}{1+e^{-x}}} |  (0,\infty ) |  C^{\infty } | 是 | 是 | 否 |
| 彎曲恆等函數 |  |  f(x)={\frac {{\sqrt {x^{2}+1}}-1}{2}}+x |  f'(x)={\frac {x}{2{\sqrt {x^{2}+1}}}}+1 |  (-\infty ,\infty ) |  C^{\infty } | 是 | 是 | 是 |
| S 型线性加权函数 (SiLU) (也被稱為Swish) |  |  f(x)=x\cdot \sigma (x) |  f'(x)=f(x)+\sigma (x)(1-f(x)) |  [\approx -0.28,\infty ) |  C^{\infty } | 否 | 否 | 否 |
| 软指数函數 |  |  f(\alpha ,x)={\begin{cases}-{\frac {\ln(1-\alpha (x+\alpha ))}{\alpha }}&{\text{for }}\alpha <0\\x&{\text{for }}\alpha =0\\{\frac {e^{\alpha x}-1}{\alpha }}+\alpha &{\text{for }}\alpha >0\end{cases}} |  f'(\alpha ,x)={\begin{cases}{\frac {1}{1-\alpha (\alpha +x)}}&{\text{for }}\alpha <0\\e^{\alpha x}&{\text{for }}\alpha \geq 0\end{cases}} |  (-\infty ,\infty ) |  C^{\infty } | 是 | 是 | Yes iff  \alpha =0 |
| 正弦函數 |  |  f(x)=\sin(x) |  f'(x)=\cos(x) |  [-1,1] |  C^{\infty } | 否 | 否 | 是 |
| Sinc 函數 |  |  f(x)={\begin{cases}1&{\text{for }}x=0\\{\frac {\sin(x)}{x}}&{\text{for }}x\neq 0\end{cases}} |  f'(x)={\begin{cases}0&{\text{for }}x=0\\{\frac {\cos(x)}{x}}-{\frac {\sin(x)}{x^{2}}}&{\text{for }}x\neq 0\end{cases}} |  [\approx -0.217234,1] |  C^{\infty } | 否 | 否 | 否 |
| 高斯函數 |  |  f(x)=e^{-x^{2}} |  f'(x)=-2xe^{-x^{2}} |  (0,1] |  C^{\infty } | 否 | 否 | 否 |
说明