רשת עצבית מלאכותית
מבנה רשת עצבית > פונקציית אקטיבציה

כמה מהתכונות שעשויות להיות שימושיות לפונקציית אקטיבציה:
לא ליניארית – כאשר הפונקציה אינה ליניארית, ניתן להוכיח שרשת עצבית של שתי שכבות היא משערך אוניברסלי. פונקציית הזהות אינה מקיימת את תכונה זו. כאשר מספר שכבות משתמשות באקטיבציה של פונקציית זהות, הרשת שקולה למודל של שכבה אחת.
גזירה ברציפות – זו תכונה רצויה המסייעת לאופטימיזציה מבוססת גרדיאנט. פונקציה מדרגה בינארית אינה גזירה ב-0, והנגזרת שלה היא 0 עבור ערכים אחרים, ולכן שיטות מבוססות גרדיאנט עשויות להיתקע.
טווח – כאשר הטווח של פונקציית האקטיבציה סופי, שיטות אימון מבוססות גרדיאנט נוטות להיות יציבות יותר, כי ייצוג התבנית מושפע מאוד ממשקולות מוגבלים. כאשר הטווח אינסופי, האימון בדרך כלל יעיל יותר כיוון שייצוג תבניות משפיע על רוב המשקולות.
מונוטונית – כאשר פונקציית האקטיבציה היא מונוטונית, שטח השגיאה הקשור במודל עם שכבה יחידה מובטח להיות קמור.
קרובות לזהות ליד נקודת הראשית – כאשר פונקציית האקטיבציה ניחנת בתכונה זו, הרשת לומדת ביעילות כאשר המשקולות מאותחלים לערכים אקראיים קטנים. כאשר תכונה זו לא מתקיימת בפונקציית האקטיבציה, נדרשת תשומת לב באתחול ערכי המשקולות. בטבלה שלהלן, פונקציות אקטיבציה שבהן  f(0)=0 וגם  f'(0)=1 וגם  f' רציפה ב-0 מופיע סימון הרומז על קיום תכונה זו.
הטבלה הבאה משווה את התכונות של מספר פונקציות אקטיבציה:
| שם | איור | משוואה | נגזרת (ביחס ל x) | טווח | פונקציה חלקה | מונוטונית | נגזרת מונוטונית | קרובות לזהות ליד הראשית |
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
| זהות |  |  f(x)=x |  f'(x)=1 |  (-\infty ,\infty ) |  C^{\infty } | כן | כן | כן |
| מדרגה |  |  f(x)={\begin{cases}0&{\text{for }}x<0\\1&{\text{for }}x\geq 0\end{cases}} |  f'(x)={\begin{cases}0&{\text{for }}x\neq 0\\?&{\text{for }}x=0\end{cases}} |  \{0,1\} |  C^{-1} | כן | לא | לא |
| לוגיסטית (או סיגמואיד) |  |  f(x)=\sigma (x)={\frac {1}{1+e^{-x}}} |  f'(x)=f(x)(1-f(x)) |  (0,1) |  C^{\infty } | כן | לא | לא |
| TanH |  |  f(x)=\tanh(x)={\frac {(e^{x}-e^{-x})}{(e^{x}+e^{-x})}} |  f'(x)=1-f(x)^{2} |  (-1,1) |  C^{\infty } | כן | לא | כן |
| ArcTan |  |  f(x)=\tan ^{-1}(x) |  f'(x)={\frac {1}{x^{2}+1}} |  \left(-{\frac {\pi }{2}},{\frac {\pi }{2}}\right) |  C^{\infty } | כן | לא | כן |
| Softsign |  |  f(x)={\frac {x}{1+|x|}} |  f'(x)={\frac {1}{(1+|x|)^{2}}} |  (-1,1) |  C^{1} | כן | לא | כן |
| Rectified linear unit ‏(ReLU) |  |  f(x)={\begin{cases}0&{\text{for }}x<0\\x&{\text{for }}x\geq 0\end{cases}} |  f'(x)={\begin{cases}0&{\text{for }}x<0\\1&{\text{for }}x\geq 0\end{cases}} |  [0,\infty ) |  C^{0} | כן | כן | לא |
| Parameteric rectified linear unit ‏(PReLU) |  |  f(\alpha ,x)={\begin{cases}\alpha x&{\text{for }}x<0\\x&{\text{for }}x\geq 0\end{cases}} |  f'(\alpha ,x)={\begin{cases}\alpha &{\text{for }}x<0\\1&{\text{for }}x\geq 0\end{cases}} |  (-\infty ,\infty ) |  C^{0} | כן אם ורק אם  \alpha \geq 0 | כן | כן אם ורק אם  \alpha =1 |
| Randomized leaky rectified linear unit ‏(RReLU) |  |  f(\alpha ,x)={\begin{cases}\alpha x&{\text{for }}x<0\\x&{\text{for }}x\geq 0\end{cases}} |  f'(\alpha ,x)={\begin{cases}\alpha &{\text{for }}x<0\\1&{\text{for }}x\geq 0\end{cases}} |  (-\infty ,\infty ) |  C^{0} | כן | כן | לא |
| Exponential linear unit ‏(ELU) |  |  f(\alpha ,x)={\begin{cases}\alpha (e^{x}-1)&{\text{for }}x<0\\x&{\text{for }}x\geq 0\end{cases}} |  f'(\alpha ,x)={\begin{cases}f(\alpha ,x)+\alpha &{\text{for }}x<0\\1&{\text{for }}x\geq 0\end{cases}} |  (-\alpha ,\infty ) |  {\begin{cases}C_{1}&{\text{when }}\alpha =1\\C_{0}&{\text{otherwise }}\end{cases}} | כן אם ורק אם  \alpha \geq 0 | כן אם ורק אם  0\leq \alpha \leq 1 | כן אם ורק אם  \alpha =1 |
| Scaled exponential linear unit ‏(SELU) |  |  f(\alpha ,x)=\lambda {\begin{cases}\alpha (e^{x}-1)&{\text{for }}x<0\\x&{\text{for }}x\geq 0\end{cases}} with  \lambda =1.0507 and  \alpha =1.67326 |  f'(\alpha ,x)=\lambda {\begin{cases}\alpha (e^{x})&{\text{for }}x<0\\1&{\text{for }}x\geq 0\end{cases}} |  (-\lambda \alpha ,\infty ) |  C^{0} | כן | לא | לא |
| SoftPlus |  |  f(x)=\ln(1+e^{x}) |  f'(x)={\frac {1}{1+e^{-x}}} |  (0,\infty ) |  C^{\infty } | כן | כן | לא |
↑  הסימון  \sigma  הוא פונקציה לוגיסטית.
↑  בהנחה ש- \alpha >0.
↑  α הוא משתנה סטוכסטי הנדגם מהתפלגות אחידה רציפה בזמן האימון ומקובע לתוחלת של ההתפלגות בזמן הבדיקה.
הטבלה הבאה מרכזת פונקציות אקטיבציה שאינן פונקציות של משתנה x יחיד מהשכבה או השכבות הקודמות:
| שם | משוואה | נגזרת | טווח | פונקציה חלקה |
| --- | --- | --- | --- | --- |
| Softmax |  f_{i}({\vec {x}})={\frac {e^{x_{i}}}{\sum _{j=1}^{J}e^{x_{j}}}} for i = 1, …, J |  {\frac {\partial f_{i}({\vec {x}})}{\partial x_{j}}}=f_{i}({\vec {x}})(\delta _{ij}-f_{j}({\vec {x}})) |  (0,1) |  C^{\infty } |
| Maxout |  f({\vec {x}})=\max _{i}x_{i} |  {\frac {\partial f}{\partial x_{j}}}={\begin{cases}1&{\text{for }}j={\underset {i}{\operatorname {argmax} }}\,x_{i}\\0&{\text{for }}j\neq {\underset {i}{\operatorname {argmax} }}\,x_{i}\end{cases}} |  (-\infty ,\infty ) |  C^{0} |
↑  כאשר  \delta _{ij} מסמן את הדלתא של קרונקר.