مبادله بایاس و واریانس کیست؟ توضیح بده.
در علم یادگیری ماشین و مباحث آماری، دو مفهوم بایاس (اریبی) و واریانس حائز اهمیت است. درنتیجه مفهومی به نام مبادله بایاس و واریانس (Bias-variance tradeoff) به وجود می‌آید که بیانگر رابطه بین واریانس و بایاس با یکدیگر در مدل‌های یادگیری ماشین است. بایاس نتیجهٔ خطا در انتخاب مدل است. در حالی که واریانس نتیجهٔ حساس بودن بیش از اندازه مدل به داده‌های آموزش است. هریک از این دو، به نوعی مقدار خطای مدل آموزش داده شده را نشان می‌دهند. آنچه در هنگام آموزش یک مدل دنبال می‌شود، کم کردن هردوی بایاس و واریانس است. اما در واقعیت با کم کردن واریانس (که معادل با پیچیده‌تر کردن مدل است) بایاس افزایش می‌یابد. همچنین با کاهش بایاس (که معادل با ساده‌تر کردن مدل است) واریانس افزایش می‌یابد. درواقع یک موازنه و مبادله بین مقادیر بایاس و واریانس وجود دارد و کاهش هردوی آن‌ها امکان‌پذیر نیست. به این حالت تناقض بایاس-واریانس (Bias-Variance dilemma) گفته می‌شود.بایاس یا همان اریبی، درواقع مقدار اختلاف تابع آموخته شده از تابع حقیقی را نشان می‌دهد. معمولاً زیاد بودن بایاس منجر به کم‌برازش (underfitting) می‌شود و در نتیجه مدل حتی در داده‌های آموزش نیز خروجی مورد انتظار را ندارد. برای مثال اگر تابع حقیقی formula_1 باشد و روی داده آموزشی formula_2 مدل را آموزش بدهیم، مقدار بایاس برابر با عبارت زیر خواهد بود.formula_3واریانس به معنی میزان نوسانات مدل حول میانگین آن است. رابطه آن به‌صورت زیر است.formula_4درواقع مدلی که بر روی داده به‌طور کلی آموزش می‌بیند و روی هر داده به‌صورت بسیار دقیق تمرکز نمی‌کند، واریانس کمتری خواهد داشت. هرچه واریانس مدل بیشتر باشد، احتمال بیش‌برازش (Overfitting) بیشتر خواهد بود.در تصویر زیر ارتباط بین بایاس و واریانس، و نقش آن‌ها در ایجاد بیش‌برازش یا کم‌برازش به‌طور شفاف مشخص شده‌است.در یادگیری بانظارت کم‌برازش هنگامی رخ می‌دهد که مدل در پیدا کردن الگوی دادهٔ ورودی ناموفق است. این مدل‌ها عموما واریانس کم و بایاس زیاد دارند. البته نکته قابل توجه آن است که اگر مدلی دارای بایاس زیادی باشد، لزوما واریانس کمی ندارد و ممکن است واریانس مدل نیز زیاد باشد. برای مثال اگر سعی کنیم داده‌ای که به صورت خطی قابل تفکیک نیست را با استفاده از رگرسیون خطی تفکیک کنیم، این مشکل به وجود می‌آید، زیرا مدل‌های رگرسیون خطی قادر به پیدا کردن الگوهای پیچیده در داده نیستند.از طرفی، بیش‌برازش زمانی رخ می‌دهد که مدل علاوه بر اطلاعات اصلی داده، به نویز نیز به مقدار قابل ملاحظه‌ای توجه می‌کند و درصورتی که مجموعه داده دارای نویز زیادی باشد، عملکرد آن روی داده‌هایی که از قبل ندیده به شدت افت می‌کند. یکی از الگوریتم‌های یادگیری ماشین که به نویز حساس هستند و می‌توانند واریانس زیادی داشته باشند، درخت تصمیم است.بررسی خطای میانگین مربعات از منظر بایاس و واریانس.برای بررسی این بخش مسئله رگرسیون خطی را در نظر بگیرید. در این مسئله هدف پیدا کردن تابع formula_5 است به طوری که با یادگیری بر روی داده‌های formula_6 بتواند در آینده به ازای داده ورودی formula_7 خروجی formula_8 را تخمین بزند. برای راحت‌تر شدن محاسبات تابع را به‌صورت formula_9 بازنویسی می‌کنیم. این مسئله گاهی به نام تعمیم شناخته می‌شود. حال در این مسئله برای به‌دست آوردن میزان خطا می‌توان از خطای میانگین مربعات استفاده کرد. درنتیجه می‌توان میزان خطا را به صورت رابطه زیر بازنویسی کرد.formula_10در طول زمان وابستگی formula_11 به formula_12 ثابت است، درنتیجه عبارت بالا به‌صورت زیر نوشته می‌شود.formula_13عبارت formula_14 به تابع formula_15 یا مجموعه داده بستگی ندارد و واریانس formula_8 نسبت به formula_17 است. درنتیجه خطای میانگین مربعات formula_15 نسبت به formula_19 معادل است با:formula_20formula_21formula_22formula_23طبق روابط بالا ثابت می‌شود کهformula_24بخش اول عبارت مربوط به خطا برابر با توان دوم بایاس است. همچنین بخش دوم طبق تعریفی که در ابتدای این متن نیز بررسی شد بیانگر واریانس است. در نتیجه می‌توان گفتformula_25راهکارهای مقابله با خطای زیاد در مدل به واسطه بایاس و واریانس.برای آنکه مدل بایاس زیادی نداشته باشد راهکارهای زیر قابل استفاده است.برای آنکه مدل واریانس زیادی نداشته باشد راهکارهای زیر قابل استفاده است.