تابع فعال‌سازی Swish

تابع Swish به شکل زیر تعریف می‌شود:

 

که  می‌تواند ثابت، یا پارامتر قابل یادگیری باشد. اگر  باشد، تابع swish تبدیل به تابع سیگموئید خطی یا SiLU می‌شود.
 در حالت  تابع به ReLU یا  تبدیل می‌شود.
 در حالت  تابع حاصل خطی و برابر با 
 در حالت  تابع به  تبدیل می‌شود.

مشتق

نسبت به 
مشتق تابع swish نسبت به  بدین شکل قابل محاسبه است:

نسبت به  
مشتق تابع swish نسبت به  بدین شکل قابل محاسبه است:

کاربردها 
در سال 2017 دانشمندان در Google توانستند با جایگزینی تابع swish به جای ReLU و Sigmoid، نتایج بهتری برای دیتاست ایمیج‌نت بدست آورند. همچنین عملکرد این تابع در سایر مدل‌ها و دیتاست‌های مشهور برابر یا بهتر از دیگر توابع فعال‌سازی رایح بوده است. البته باید توجه داشت که تابع swish نسبت به ReLU از لحاظ محاسبات چه در محاسبه تابع و چه در محاسبه مشتق بسیار پیچیده‌تر است.

منابع 

شبکه‌های عصبی مصنوعی
توابع و نگاشت‌ها