激活函数

在计算网络中， 一个节点的激活函数定义了该节点在给定的输入或输入的集合下的输出。标准的计算机芯片电路可以看作是根据输入得到开（1）或关（0）输出的數位電路激活函数。这与神经网络中的线性感知机的行为类似。然而，只有非線性激活函数才允許這種網絡僅使用少量節點來計算非平凡問題。 在人工神經網絡中，這個功能也被稱為傳遞函數。

单变量输入激活函數 

说明
若一函数是连续的，则称其为函数；若一函数阶可导，并且其阶导函数连续，则为函数（）；若一函数对于所有都属于函数，则称其为函数，也称光滑函数。
此處是單位階躍函數。
是在訓練時間從均勻分佈中抽取的隨機變量，並且在測試時間固定為分佈的期望值。
此處是邏輯函數。

多变量输入激活函数 

说明

 此處是克羅內克δ函數。

參見 
邏輯函數
線性整流函數
Softmax函數
人工神經網路
深度學習

參考資料

人工神经网络