在計算網路中， 一個節點的啟用函式定義了該節點在給定的輸入或輸入的集合下的輸出。標準的計算機晶片電路可以看作是根據輸入得到開（1）或關（0）輸出的數位電路啟用函式。這與神經網路中的線性感知機的行為類似。然而，只有非線性啟用函式才允許這種網路僅使用少量節點來計算非平凡問題。 在人工神經網路中，這個功能也被稱為傳遞函式。 單變數輸入啟用函式 名稱 函式圖形 方程式 導數 區間 連續性 單調 一階導數單調 原點近似恆等 恆等函式 f xx fx1 inftyinfty Cinfty 單位階躍函式 f x begin cases 0 text for x 0 1 text for x ge 0end cases fx begin cases 0 text for x ne 0 text 不 存 在 text for x 0end cases 01 C1 邏輯函式 S 函式的一種 f xsigma xfrac 11ex fxf x1f x 01 Cinfty 雙曲正切函式 f xtanh xfrac ex exex ex fx1f x2 11 Cinfty 反正切函式 f xtan1x fxfrac 1x21 left frac pi2frac pi2right Cinfty Softsign 函式 x x2 11 C1 反平方根函式 ISRU f x frac xsqrt 1 alpha x2 fx left frac 1sqrt 1 alpha x2right3 left frac 1sqrt alphafrac 1sqrt alpharight Cinfty 線性整流函式 ReLU f x begin cases 0 text for x 0 x text for x ge 0end cases fx begin cases 0 text for x 0 1 text for x ge 0end cases 0infty C0 帶洩露線性整流函式 Leaky ReLU f x begin cases 001x text for x 0 x text for x ge 0end cases fx begin cases 001 text for x 0 1 text for x ge 0end cases inftyinfty C0 引數化線性整流函式 PReLU f alphax begin cases alpha x text for x 0 x text for x ge 0end cases falphax begin cases alpha text for x 0 1 text for x ge 0end cases inftyinfty C0 帶洩露隨機線性整流函式 RReLU f alpha x begin cases alpha x text for x 0 x text for x ge 0end cases falpha x begin cases alpha text for x 0 1 text for x ge 0end cases inftyinfty C0 指數線性函式 ELU f alphax begin cases alpha ex 1 text for x 0 x text for x ge 0end cases falphax begin cases f alphax alpha text for x 0 1 text for x ge 0end cases alphainfty begin cases C_ 1 text when alpha1 C_0 text otherwise end cases 擴充套件指數線性函式 SELU f alphax lambda begin cases alpha ex 1 text for x 0 x text for x ge 0end cases with lambda 10507 and alpha 167326 falphax lambda begin cases alpha ex text for x 0 1 text for x ge 0end cases lambdaalphainfty C0 S 型線性整流啟用函式 SReLU f_t_la_lt_ra_rx begin cases t_l a_l x t_l text for x le t_l x text for t_l x t_r t_r a_r x t_r text for x ge t_rend cases t_l a_l t_r a_r are parameters f_t_la_lt_ra_rx begin cases a_l text for x le t_l 1 text for t_l x t_r a_r text for x ge t_rend cases inftyinfty C0 反平方根線性函式 ISRLU f x begin cases frac xsqrt 1 alpha x2 text for x 0 x text for x ge 0end cases fx begin cases left frac 1sqrt 1 alpha x2right3 text for x 0 1 text for x ge 0end cases left frac 1sqrt alphainftyright C2 自適應分段線性函式 APL f x max 0x sum_s1S a_is max 0 x b_is fx H x sum_s1S a_is H x b_is inftyinfty C0 SoftPlus 函式 f xln 1ex fxfrac 11ex 0infty Cinfty 彎曲恆等函式 f xfrac sqrt x2 1 12 x fxfrac x2sqrt x2 1 1 inftyinfty Cinfty S 型線性加權函式 SiLU 也被稱為 Swish f xxcdotsigma x fxf xsigma x1f x approx028infty Cinfty 軟指數函式 f alphax begin cases frac ln 1alpha x alphaalpha text for alpha 0 x text for alpha 0 frac ealpha x 1alpha alpha text for alpha 0end cases falphax begin cases frac 11alpha alpha x text for alpha 0 ealpha x text for alpha ge 0end cases inftyinfty Cinfty 正弦函式 f xsin x fxcos x 11 Cinfty Sinc 函式 f xbegin cases 1 text for x 0 frac sin xx text for x ne 0end cases fxbegin cases 0 text for x 0 frac cos xx frac sin xx2 text for x ne 0end cases approx02172341 Cinfty 高斯函式 f xex2 fx2xex2 01 Cinfty 說明 若一函式是連續的，則稱其為 C0 函式；若一函式 n 階可導，並且其 n 階導函式連續，則為 Cn 函式（ngeq 1）；若一函式對於所有 n 都屬於 Cn 函式，則稱其為 Cinfty 函式，也稱光滑函式。 此處是單位階躍函式。 是在訓練時間從均勻分佈中抽取的隨機變數，並且在測試時間固定為分佈的期望值。 此處 sigma 是邏輯函式。 多變數輸入啟用函式 名稱 方程式 導數 區間 光滑性 Softmax 函式 f_i vec x frac ex_isum_j1J ex_j for 1 frac partial f_i vec xpartial x_j f_i vec xdelta_ij f_j vec x 01 Cinfty Maxout 函式 f vec x max_i x_i frac partial fpartial x_j begin cases 1 text for j underset ioperatorname argmax x_i 0 text for j neunderset ioperatorname argmax x_iend cases inftyinfty C0 說明 此處是克羅內克 δ 函式。 參見 邏輯函式 線性整流函式 Softmax 函式 人工神經網路 深度學習 參考資料 Category 人工神經網路