# Funció d'activació

A les xarxes neuronals artificials, la funció d'activació d'un node defineix la sortida d'aquest node donada una entrada o un conjunt d'entrades. Un circuit integrat estàndard es pot veure com una xarxa digital de funcions d'activació que pot ser "ON" (1) o "OFF" (0), segons l'entrada. Això és similar al perceptró lineal de les xarxes neuronals. Tanmateix, només les funcions d'activació no lineals permeten que aquestes xarxes calculin problemes no trivials utilitzant només un nombre reduït de nodes, i aquestes funcions d'activació s'anomenen no linealitats.
Les funcions d'activació més habituals es poden dividir en tres categories: funcions de cresta, funcions radials i funcions de plec.
La taula següent compara les propietats de diverses funcions d'activació més usuals :
| Nom | Equació | Derivada | Validesa | Ordre de continuïtat | Derivable |
| Identitat/Rampa | $f(x)=x$ | $f'(x)=1$ | $(-\infty ,\infty )$ | $C^{\infty }$ | Sí |
| Esglaó/Heaviside | $f(x)=\left\{{\begin{array}{rcl}0&{\mbox{si}}&x<0\\1&{\mbox{si}}&x\geq 0\end{array}}\right.$ | $f'(x)=\left\{{\begin{array}{rcl}0&{\mbox{si}}&x\neq 0\\?&{\mbox{si}}&x=0\end{array}}\right.$ | $\{0,1\}$ | $C^{-1}$ | NO |
| Lògica (o esglaó suau, o sigmoide) | $f(x)={\frac {1}{1+{\rm {e}}^{-x}}}$ | $f'(x)=f(x)(1-f(x))$ | $(0,1)$ | $C^{\infty }$ | Sí |
| Tangent hiperbòlica | $f(x)=\tanh(x)={\frac {2}{1+{\rm {e}}^{-2x}}}-1$ | $f'(x)=1-f(x)^{2}$ | $(-1,1)$ | $C^{\infty }$ | Sí |
| Arc tangent | $f(x)=\tan ^{-1}(x)$ | $f'(x)={\frac {1}{x^{2}+1}}$ | $(-{\frac {\pi }{2}},{\frac {\pi }{2}})$ | $C^{\infty }$ | Sí |
| Signe suau | $f(x)={\frac {x}{1+|x|}}$ | $f'(x)={\frac {1}{(1+|x|)^{2}}}$ | $(-1,1)$ | $C^{1}$ | Sí |
| Unitat de rectifició lineal (ReLU) | $f(x)=\left\{{\begin{array}{rcl}0&{\mbox{si}}&x<0\\x&{\mbox{si}}&x\geq 0\end{array}}\right.$ | $f'(x)=\left\{{\begin{array}{rcl}0&{\mbox{si}}&x<0\\1&{\mbox{si}}&x\geq 0\end{array}}\right.$ | $[0,\infty [$ | $C^{0}$ | Sí |
| Unitat de rectificació lineal paramètric (PReLU) | $f(x)=\left\{{\begin{array}{rcl}\alpha x&{\mbox{si}}&x<0\\x&{\mbox{si}}&x\geq 0\end{array}}\right.$ | $f'(x)=\left\{{\begin{array}{rcl}\alpha &{\mbox{si}}&x<0\\1&{\mbox{si}}&x\geq 0\end{array}}\right.$ | $(-\infty ,\infty )$ | $C^{0}$ | Sí |
| Unitat exponencial lineal (ELU) | $f(x)=\left\{{\begin{array}{rcl}\alpha ({\rm {e}}^{x}-1)&{\mbox{si}}&x<0\\x&{\mbox{si}}&x\geq 0\end{array}}\right.$ | $f'(x)=\left\{{\begin{array}{rcl}f(x)+\alpha &{\mbox{si}}&x<0\\1&{\mbox{si}}&x\geq 0\end{array}}\right.$ | $(-\alpha ,\infty )$ | $C^{1}$ si $\alpha =1$ | Sí |
| Unitat de rectificació lineal suau (SoftPlus) | $f(x)=\ln(1+{\rm {e}}^{x})$ | $f'(x)={\frac {1}{1+{\rm {e}}^{-x}}}$ | $(0,\infty )$ | $C^{\infty }$ | Sí |
| Identitat corba | $f(x)={\frac {{\sqrt {x^{2}+1}}-1}{2}}+x$ | $f'(x)={\frac {x}{2{\sqrt {x^{2}+1}}}}+1$ | $(-\infty ,\infty )$ | $C^{\infty }$ | Sí |
| Exponencial suau paramètrica (soft exponential) | $f(\alpha ,x)=\left\{{\begin{array}{rcl}-{\frac {\ln(1-\alpha (x+\alpha ))}{\alpha }}&{\mbox{si}}&\alpha <0\\x&{\mbox{si}}&\alpha =0\\{\frac {{\rm {e}}^{\alpha x}-1}{\alpha }}+\alpha &{\mbox{si}}&\alpha >0\end{array}}\right.$ | $f'(\alpha ,x)=\left\{{\begin{array}{rcl}{\frac {1}{1-\alpha (\alpha +x)}}&{\mbox{si}}&\alpha <0\\{\rm {e}}^{\alpha x}&{\mbox{si}}&\alpha \geq 0\end{array}}\right.$ | $(-\infty ,\infty )$ | $C^{\infty }$ | Sí |
| Sinusoide | $f(x)=\sin(x)$ | $f'(x)=\cos(x)$ | $[-1,1]$ | $C^{\infty }$ | Sí |
| Sinus cardinal | $f(x)=\left\{{\begin{array}{rcl}1&{\mbox{si}}&x=0\\{\frac {\sin(x)}{x}}&{\mbox{si}}&x\neq 0\end{array}}\right.$ | $f'(x)=\left\{{\begin{array}{rcl}0&{\mbox{si}}&x=0\\{\frac {\cos(x)}{x}}-{\frac {\sin(x)}{x^{2}}}&{\mbox{si}}&x\neq 0\end{array}}\right.$ | $[\approx -.217234,1]$ | $C^{\infty }$ | Sí |
| Funció gaussienne | $f(x)={\rm {e}}^{-x^{2}}$ | $f'(x)=-2x{\rm {e}}^{-x^{2}}$ | $]0,1]$ | $C^{\infty }$ | Sí |

## Referències

* ↑ Hinkelmann, Knut. «Neural Networks, p. 7». University of Applied Sciences Northwestern Switzerland. Arxivat de l'original el 2018-10-06. [Consulta: 6 octubre 2018].
* ↑ SHARMA, SAGAR. «Activation Functions in Neural Networks» (en anglès). https://towardsdatascience.com,+04-07-2021.+[Consulta: 30 juny 2022].
* ↑ arXiv:1502.01852
* ↑ arXiv:1511.07289v3
* ↑ Luke B. Godfrey and Gashler, Michael S. A Continuum among Logarithmic, Linear, and Exponential Functions, and Its Potential to Improve Generalization in Neural Networks. In Proceedings of the 7th International Joint Conference on Knowledge Discovery, Knowledge Engineering and Knowledge Management: KDIR, pages 481-486. Lisbon, Portugal, November, 2015, arXiv:1602.01321.