یکسوساز (شبکه عصبی)

در چاچوب شبکه عصبی مصنوعی، یکسوساز یک تابع فعال‌سازی که به صورت
تعریف شده که در آن x ورودی یک نورون است. این تابع به تابع شیب نیز شناخته می‌شود و قابل مقایسه با یکسوساز نیم‌موج در مهندسی برق است. در سال 2000 در مقاله‌ای در نیچر این تابع فعال‌سازی با انگیزه‌های زیست‌شناسی و توجیه ریاضی قوی توسط هانلوزر و همکاران ارائه شد. این تابع در شبکه‌های عصبی پیچشی به صورت بهینه‌تری نسبت به تابع لجستیک سیگموئید (که بر اساس نظریه احتمالات الهام گرفته شده است. برای اطلاعات بیشتر به رگرسیون لجستیک مراجعه شود) و تابع مشابه ولی کاربردی‌تر تانژانت هذلولوی استفاده شده است. یکسوساز از سال 2015 پرطرفدارترین تابع فعال‌سازی برای شبکه‌های عمیق است.
به واحدی که از تابع یکسوساز استفاده می‌کند واحد یکسو شده‌ی خطی(ReLU) نیز می‌گویند.
یک تقریب هموار برای یکسوساز تابع تحلیلی زیر است
که به آن سافت‌پلاس می‌گویند. مشتق سافت‌پلاس برابر است با
، یا همان تابع لجستیک.
واحدهای یکسو شده‌ی خطی در بینایی کامپیوتر و بازشناسی گفتار توسط شبکه‌های عمیق کاربرد دارند.
انواع
واحد یکسو شده‌ی نویز دار
واحدهای یکسو شده‌ی خطی می‌توانند تعمیم داده شوند تا شامل یک نویز گاوسی باشد.
، با داشتن
واحدهای یکسو شده‌ی نویز دار در ماشین‌های محدود شده‌ی بلتزمن با موفقیت نسبی برای وظیفه‌های بینایی کامپیوتر استفاده شده‌اند.
واحد یکسو شده‌ی بانشت
این واحد‌ها یک شیب نا صفر را در هنگامی که واحد فعال نیست عبور می‌دهند.
f(x) = \begin{cases
x - \mbox{if x > 0 \\
0.01x - \mbox{otherwise
\end{cases
واحد یکسو شده‌ی پارامتردار این ایده را با در نظر گرفتن ضریب نشت به عنوان یک پارامتر قابل یادگیری همراه بقیه‌ی پارامترهای شبکه‌های عصبی کامل‌تر می‌کنند.
f(x) = \begin{cases
x - \mbox{if x > 0 \\
a x - \mbox{otherwise
\end{cases
توجه شود که برای ، عبارت بالا معادل است با
و از این رو با شبکه‌های مکس‌اوت ربط دارند.
واحد‌های نمایی خطی
واحد‌های نمایی خطی سعی می‌کنند میانگین فعال‌بودن‌ها را به صفر نزدیک کنند که باعث سرعت بخشیدن به فرایند یادگیری می‌شود. نشان داده شده که واحدهای نمایی خطی می‌توانند دقت دسته‌بندی بالاتری را نسبت به واحدهای یکسوسازی خطی به دست آورند.
f(x) = \begin{cases
x - \mbox{if x >= 0 \\
a\exp(x)-1 - \mbox{otherwise
\end{cases
یگ پارامتر خارجی است که باید تنظیم شود و شرط باید بر قرار باشد.
برتری‌ها
همخوانی با زیست‌شناسی:یک طرفه، درمقایسه‌ی با تابع پادمتقارن تانژانت هذلولولی
فعال بودن پراکنده: برای مثال، در یک شبکه‌ی راه‌اندازی شده به صورت تصادفی تنها 50% واحد‌های پنهان فعالیت دارند(خروجی غیر صفر دارند).
انتشار مشتق بهینه: عدم وجود مشکل گرادیان محو شونده.
محاسبه‌ی سریع: تنها مقایسه، جمع و ضرب.
مستقل از مقیاس:
برای اولین بار در 2011، نشان داده شد استفاده‌ی یکسوساز به عنوان یک مولفه‌ی غیرخطی اجازه می‌دهد که شبکه‌های عمیق با نظارت بدون نیاز به پیش‌تعلیم بی‌نظارت تعلیم داده شوند. واحدهای یکسوسازی شده‌ی خطی درمقایسه با تابع سیگموئید یا توابع فعال‌سازی مشابه، تعلیم سریع‌تر و بهینه‌تر معماری‌های عمیق را بر روی مجموعه‌داده‌های بزرگ و پیچیده اجازه می‌دهند.
مشکلات احتمالی
مشتق‌ناپذیر در صفر: گرچه در هر نقطه‌ی دیگر مشتق‌پذیر است، شامل نقاط مخالف ولی نزدیک به صفر.
مرکز غیر صفر.
بدون کران.
مشکل مرگ واحدهای یکسوساز خطی: عصب‌های یکسوساز ممکن است به یک وضعیت که در آن به ازای تمام ورودی‌ها غیر فعال باشند سوق داده شوند. در این حالت، هیچ مشتقی به سمت عقب عصب جریان پیدا نمی‌کند و به همین دلیل عصب به صورت دائم در یک وضعیت غیر فعال گیر می‌کند و به اصطلاح می‌میرد. در بعضی از موارد، تعداد زیادی از عصب‌ها در یک شبکه می‌توانند در این وضعیت گیر کنند و به صورتی موثری توانایی مدل را کاهش دهند. این مشکل در حالتی که ضریب یادگیری بالا است می‌تواند رخ دهد. این مشکل می‌تواند با استفاده از واحدهای یکسو شده‌ی با نشت به جای واحدهای سده کاهش پیدا کند.
تابع سیگموئید
مدل توبیت