激活函数

在计算网络中， 一个节点的激活函数定义了该节点在给定的输入或输入的集合下的输出。标准的计算机芯片电路可以看作是根据输入得到开（1）或关（0）输出的數位電路激活函数。这与神经网络中的线性感知机的行为类似。然而，只有非線性激活函数才允許這種網絡僅使用少量節點來計算非平凡問題。 在人工神經網絡中，這個功能也被稱為傳遞函數。

 单变量输入激活函數 
名稱函數圖形方程式導數區間 连续性單調 一阶导数单调 原点近似恒等恆等函數 File:Activation identity.svg       單位階躍函數 File:Activation binary step.svg       邏輯函數 (S函數的一种) File:Activation logistic.svg       雙曲正切函數 File:Activation tanh.svg       反正切函數 File:Activation arctan.svg        Softsign 函數 120px        反平方根函數 (ISRU) File:Activation_ISRU.svg       線性整流函數 (ReLU) File:Activation rectified linear.svg       帶泄露線性整流函數 (Leaky ReLU) File:Activation prelu.svg        參數化線性整流函數 (PReLU) File:Activation prelu.svg       帶泄露隨機線性整流函數 (RReLU) File:Activation prelu.svg        指數線性函數 (ELU) File:Activation elu.svg        擴展指數線性函數 (SELU) 
with  and        S 型線性整流激活函數 (SReLU)  are parameters.       反平方根線性函數 (ISRLU) File:Activation_ISRLU.svg        自適應分段線性函數 (APL)         SoftPlus 函數 File:Activation softplus.svg        彎曲恆等函數 File:Activation bent identity.svg        S 型线性加权函数 (SiLU) (也被稱為Swish)         软指数函數 File:Activation soft exponential.svg       正弦函數 File:Activation sinusoid.svg       Sinc 函數 File:Activation sinc.svg       高斯函數 File:Activation gaussian.svg       
说明
若一函数是连续的，则称其为函数；若一函数阶可导，并且其阶导函数连续，则为函数（）；若一函数对于所有都属于函数，则称其为函数，也称光滑函数。
此處是單位階躍函數。
是在訓練時間從均勻分佈中抽取的隨機變量，並且在測試時間固定為分佈的期望值。
此處是邏輯函數。

 多变量输入激活函数 
 名稱 方程式 導數 區間 光滑性Softmax函數     for  = 1, …,     Maxout函數    
说明

 此處是克羅內克δ函數。

 參見 
邏輯函數
線性整流函數
Softmax函數
人工神經網路
深度學習

參考資料

Category:人工神经网络