活性化関数
1943年の、いわゆる「マカロックとピッツ」の発表で提案されたもの。
ステップ関数の出力 y は 0 か 1 の二値であり、u がしきい値 b より大きいか小さいかで出力が決定される。入力の総和がしきい値以上であるとき、出力信号が 1 として出力される。
y = H ( u − b ) = { 1 if u ≥ b 0 if u < b {\displaystyle y=H(u-b)=\left\{{\begin{matrix}1&{\mbox{if }}u\geq b\\0&{\mbox{if }}u<b\end{matrix}}\right.}
φ ( x ) = H ( x ) {\displaystyle \varphi (x)=H(x)}
Proceedings of the Fourteenth International Conference on Artificial Intelligence and Statistics (AISTATS-11) 15: 315-323. http://jmlr.csail.mit.edu/proceedings/papers/v15/glorot11a/glorot11a.pdf.
↑ Andrew L. Maas; Awni Y. Hannun; Andrew Y. Ng (2013). Rectifier Nonlinearities Improve Neural Network Acoustic Models. http://web.stanford.edu/~awni/papers/relu_hybrid_icml2013_final.pdf.
↑ Ramachandran, Prajit; Zoph, Barret; Le, Quoc V. (2017-10-27). “Searching for Activation Functions”. arXiv:1710.05941 [cs]. http://arxiv.org/abs/1710.05941.
↑ Youngmin Cho; Lawrence K. Saul (2009).