موضوع مقاله: مبادله بایاس و واریانس | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # مبادله بایاس و واریانس | مقدمه: در علم یادگیری ماشین و مباحث آماری، دو مفهوم بایاس (اریبی) و واریانس حائز اهمیت است. | ## بخش 1: مبادله بایاس و واریانس | اما در واقعیت با کم کردن واریانس (که معادل با پیچیده‌تر کردن مدل است) بایاس افزایش می‌یابد. درواقع یک موازنه و مبادله بین مقادیر بایاس و واریانس وجود دارد و کاهش هردوی آن‌ها امکان‌پذیر نیست. بایاس یا همان اریبی، درواقع مقدار اختلاف تابع آموخته شده از تابع حقیقی را نشان می‌دهد. برای مثال اگر تابع حقیقی باشد و روی داده آموزشی مدل را آموزش بدهیم، مقدار بایاس برابر با عبارت زیر خواهد بود. درواقع مدلی که بر روی داده به‌طور کلی آموزش می‌بیند و روی هر داده به‌صورت بسیار دقیق تمرکز نمی‌کند، واریانس کمتری خواهد داشت. در تصویر زیر ارتباط بین بایاس و واریانس، و نقش آن‌ها در ایجاد بیش‌برازش یا کم‌برازش به‌طور شفاف مشخص شده‌است. هنگامی که پیچیدگی مدل زیاد می‌شود، خطای مدل روی داده آموزش به‌طور پیوسته کاهش می‌یابد. اما با افزایش پیچیدگی، تا جایی که بیش‌برازش اتفاق نیفتد، روی داده اعتبارسنجی نیز خطا کاهش می‌یابد و با رخ دادن بیش‌برازش، خطا روی داده اعتبارسنجی افزایش می‌یابد. در یادگیری بانظارت کم‌برازش هنگامی رخ می‌دهد که مدل در پیدا کردن الگوی دادهٔ ورودی ناموفق است. | ## بخش 2: مبادله بایاس و واریانس | البته نکته قابل توجه آن است که اگر مدلی دارای بایاس زیادی باشد، لزوما واریانس کمی ندارد و ممکن است واریانس مدل نیز زیاد باشد. برای مثال اگر سعی کنیم داده‌ای که به صورت خطی قابل تفکیک نیست را با استفاده از رگرسیون خطی تفکیک کنیم، این مشکل به وجود می‌آید، زیرا مدل‌های رگرسیون خطی قادر به پیدا کردن الگوهای پیچیده در داده نیستند. از طرفی، بیش‌برازش زمانی رخ می‌دهد که مدل علاوه بر اطلاعات اصلی داده، به نویز نیز به مقدار قابل ملاحظه‌ای توجه می‌کند و درصورتی که مجموعه داده دارای نویز زیادی باشد، عملکرد آن روی داده‌هایی که از قبل ندیده به شدت افت می‌کند. یکی از الگوریتم‌های یادگیری ماشین که به نویز حساس هستند و می‌توانند واریانس زیادی داشته باشند، درخت تصمیم است. بررسی خطای میانگین مربعات از منظر بایاس و واریانس برای بررسی این بخش مسئله رگرسیون خطی را در نظر بگیرید. در این مسئله هدف پیدا کردن تابع است به طوری که با یادگیری بر روی داده‌های بتواند در آینده به ازای داده ورودی خروجی را تخمین بزند. حال در این مسئله برای به‌دست آوردن میزان خطا می‌توان از خطای میانگین مربعات استفاده کرد. درنتیجه خطای میانگین مربعات نسبت به معادل است با: طبق روابط بالا ثابت می‌شود که بخش اول عبارت مربوط به خطا برابر با توان دوم بایاس است. در نتیجه می‌توان گفت راهکارهای مقابله با خطای زیاد در مدل به واسطه بایاس و واریانس برای آنکه مدل بایاس زیادی نداشته باشد راهکارهای زیر قابل استفاده است. | ## بخش 3: مبادله بایاس و واریانس | تغییر مدل و معماری: یکی از ابتدایی‌ترین راهکارها در مقابله با بایاس زیاد، تغییر مدل است. همان‌طور که پیشتر نیز اشاره شد استفاده از مدل‌های خطی رگرسیون ممکن است باعث افزایش بایاس شوند. بررسی آنکه مجموعه داده نمایانگر تمام فضای حالات موجود است: درصورتی که در مجموعه داده آموزش، از تعدادی از کلاس‌ها داده به اندازه کافی وجود نداشته باشد، مدل نمی‌تواند پیش‌بینی درستی از آن‌ها داشته باشد. درصورتی که مجموعه داده توازن نداشته باشد، روش‌هایی مانند وزن دادن به دادده‌های موجود، اضافه کردن ضریب جریمه به تابع خطا، یا نمونه سازی مجدد (resampling) می‌تواند به بهبود عملکرد مدل کمک کند. تنظیم پارامترها: بااستفاده از بهینه‌سازی ابرپارامترها می‌توان روند و سرعت یادگیری مدل را تغییر داد. تنظیم k در الگوریتم کی-نزدیک‌ترین همسایه: در صورتی که مقدار k زیاد باشد بایاس افزایش می‌یابد. استفاده از روش‌های یادگیری گروهی (Ensemble Learning): در این روش، از تعداد زیادی مدل برای تخمین خروجی استفاده می‌شود و باتوجه به مجموع خروجی مدل‌ها (که می‌توانند همگی از یک نوع باشند یا چندین الگوریتم متفاوت داشته باشند) خروجی نهایی به دست آورده می‌شود. افزایش داده: افزایش داده باعث می‌شود یک قاعده و تابع کلی‌تر برای مدل کردن ورودی و خروجی پیدا شود. درواقع مدل در معرض داده‌های نویزدار و بدون نویز بیشتری قرار می‌گیرد و عملکردش بهبود می‌یابد. | ## جمع‌بندی | تنظیم تعداد لایه‌ها در شبکه‌های عصبی: در شبکه‌های عصبی با افزایش تعداد لایه‌های مدل، شبکه بر روی داده‌های آموزش بیش‌برازش می‌شود و در نتیجه عملکردش در زمان تست کاهش می‌یابد.