یادگیری نظارت‌شده
یادگیری نظارت‌شده یک وظیفه یادگیری ماشینی از یادگیری تابعی است که ورودی را به یک خروجی براساس نمونه‌های ورودی و خروجی ترسیم می‌کند. این یک تابع را از مجموعه آموزشی برچسب زده شده شامل مجموعه ای از "مثال‌های آموزشی" استنباط کند. در یادگیری نظارت شده، هر مثال یک "جفت" متشکل از ورودی (به‌طور معمول یک بردار) و یک مقدار خروجی دلخواه ("سیگنال نظارتی" نیز نامیده می‌شود) است. یک الگوریتم یادگیری نظارت شده داده‌های آموزش را تجزیه و تحلیل می‌کند و یک تابع استنباط شده تولید می‌کند، که می‌تواند برای نگاشت نمونه‌های جدید استفاده شود. یک سناریو بهینه این امکان را برای الگوریتم فراهم می‌کند تا برچسب‌های کلاس را برای موارد دیده نشده به درستی تعیین کند. این امر مستلزم این است که الگوریتم یادگیری از داده‌های آموزش به شرایط دیده نشده به روش «معقول» تعمیم یابد.
وظیفه موازی در روانشناسی انسان و حیوان اغلب به عنوان یادگیری مفهومی شناخته می‌شود.
برای حل مسئله یادگیری تحت نظارت، باید مراحل زیر را انجام دهید:
طیف گسترده‌ای از الگوریتم‌های یادگیری تحت نظارت در دسترس است که هرکدام دارای نقاط قوت و ضعف هستند. هیچ الگوریتم یادگیری واحدی وجود ندارد که در تمام مسائل یادگیری تحت نظارت به بهترین وجه کار کند (به قضیه بدون نهار رایگان مراجعه کنید)
در یادگیری تحت نظارت چهار موضوع اصلی وجود دارد که باید در نظر گرفته شود:
اولین مسئله، تعادل بین بایاس و "واریانس است". تصور کنید که ما چندین مجموعه آموزش مختلف، اما به همان اندازه خوب، در دسترس داریم. یک الگوریتم یادگیری برای ورودی خاص formula_1 بایاس است هنگامی که روی هر یک از این مجموعه داده‌ها آموزش داده می‌شود، به‌طور سیستماتیک هنگام پیش‌بینی خروجی صحیح formula_1 نادرست باشد. الگوریتم یادگیری از واریانس بالایی برخوردار است اگربرای ورودی خاص formula_1 مقادیر خروجی مختلفی را پیش‌بینی کند هنگامی که بر روی مجموعه‌های آموزشی مختلفی آموزش دیده‌است. خطای پیش‌بینی یک طبقه‌بندی یادگرفته شده مربوط به مجموع بایاس و واریانس الگوریتم یادگیری است. به‌طور کلی، بین بایاس و واریانس تعادلی وجود دارد. یک الگوریتم یادگیری با بایاس کم باید «انعطاف‌پذیر» باشد تا بتواند داده‌ها را به خوبی برازش کند. اما اگر الگوریتم یادگیری بیش از حد انعطاف‌پذیر باشد، متناسب با هر مجموعه داده آموزشی خواهد بود و از این رو واریانس بالایی دارد. یک جنبه اصلی بسیاری از روشهای یادگیری تحت نظارت این است که آنها می‌توانند این تعادل را بین بایاس و واریانس (به صورت خودکار یا با ارائه پارامتر بایاس / واریانس که کاربر می‌تواند تنظیم کند) تنظیم کنند.
مسئله دوم، میزان داده‌های آموزشی موجود در رابطه با پیچیدگی عملکرد «واقعی» (طبقه‌بندی یا تابع رگرسیون) است. اگر تابع واقعی ساده باشد، یک الگوریتم یادگیری «انعطاف‌ناپذیر» با بایاس بالا و واریانس کم قادر به یادگیری آن از طریق مقدار کمی داده خواهد بود. اما اگر تابع واقعی بسیار پیچیده باشد (به عنوان مثال، شامل تعاملات پیچیده‌ای بین بسیاری از ویژگی‌های مختلف ورودی باشد و در قسمت‌های مختلف فضای ورودی متفاوت رفتار کند)، در این صورت عملکرد فقط قادر خواهد بود از مقدار بسیار زیادی از داده‌های آموزش بیاموزد و استفاده از الگوریتم یادگیری «انعطاف‌پذیر» با بایاس کم و واریانس زیاد. بین ورودی و خروجی مورد نظر یک مرز مشخص وجود دارد.
مسئله سوم، ابعاد فضای ورودی است. اگر بردارهای ویژگی ورودی ابعاد بسیار بالایی داشته باشند، مسئله یادگیری می‌تواند دشوار باشد حتی اگر تابع واقعی فقط به تعداد کمی از آن ویژگی‌ها بستگی داشته باشد، این بدان دلیل است که بسیاری از ابعاد «اضافی» می‌توانند الگوریتم یادگیری را گمراه و باعث واریانس زیاد آن شوند. از این رو، ابعاد ورودی بالا معمولاً نیاز به تنظیم طبقه‌بندی دارد تا دارای واریانس کم و بایاس زیاد باشد. در عمل، اگر مهندس بتواند به‌طور دستی ویژگی‌های نامربوط را از داده‌های ورودی حذف کند، این امر احتمالاً عملکرد تابع یادگرفته شده را بهبود می‌بخشد. علاوه بر این، الگوریتم‌های زیادی برای انتخاب ویژگی وجود دارد که به دنبال شناسایی ویژگی‌های مربوطه و کنار گذاشتن موارد بی ربط هستند. این نمونه ای از استراتژی کلی تر کاهش ابعاد است که می‌خواهد داده‌های ورودی را قبل از اجرای الگوریتم یادگیری تحت نظارت، در یک فضای با ابعاد پایین‌تر ترسیم کند.
مسئله چهارم میزان اختلال در مقادیر خروجی مورد نظر (متغیرهای هدف نظارتی) است. اگر مقادیر خروجی مورد نظر اغلب نادرست باشند (به دلیل خطاهای انسانی یا خطاهای حسگر)، الگوریتم یادگیری نباید تلاش کند تابعی را پیدا کند که دقیقاً با نمونه‌های آموزش مطابقت داشته باشد. تلاش برای برازش داده خیلی دقیق منجر به بیش برازش خواهد شد. اگر تابعی که سعی در یادگیری آن دارید برای مدل یادگیری شما بسیار پیچیده‌است، حتی در صورت عدم وجود خطای اندازه‌گیری (اختلال تصادفی) می‌توانید دچار پیش برازش شوید. در چنین شرایطی، بخشی از تابع هدف که نمی‌تواند مدل‌سازی شود، داده آموزش شما را خراب می‌کند - این پدیده را اختلال قطعی می‌نامند. وقتی هر دو نوع نویز وجود دارد، بهتر است با برآوردگر بابایاس بالاتر و واریانس پایین‌تر را انتخاب کنید.
در عمل، روش‌های مختلفی برای کاهش اختلال در مقادیر خروجی وجود دارد مانند توقف زود هنگام برای جلوگیری از بیش برازش و همچنین شناسایی و حذف نمونه‌های آموزش پر اختلال قبل از آموزش الگوریتم یادگیری نظارت شده. چندین الگوریتم وجود دارد که نمونه‌های آموزش پر اختلال را شناسایی می‌کند و حذف نمونه‌های آموزش پر اختلال مشکوک قبل از آموزش باعث کاهش خطای تعمیم با اهمیت آماری شده‌است.
از دیگر فاکتورهایی که هنگام انتخاب و استفاده از الگوریتم یادگیری باید در نظر گرفت، موارد زیر است:
هنگام بررسی یک برنامه جدید، مهندس می‌تواند چندین الگوریتم یادگیری را با هم مقایسه کند و به‌طور آزمایشی تعیین کند که کدام یک روی مسئله مورد نظر بهتر کار می‌کند (به اعتبار سنجی متقابل مراجعه کنید). تنظیم عملکرد یک الگوریتم یادگیری می‌تواند بسیار وقت گیر باشد. با توجه به منابع ثابت، معمولاً بهتر است بیشتر از صرف وقت اضافی برای تنظیم الگوریتم‌های یادگیری، وقت بیشتری را برای جمع‌آوری داده‌های آموزش اضافی و ویژگی‌های آموزنده بیشتر صرف کنید.
پرکاربردترین الگوریتم‌های یادگیری عبارتند از:
با توجه به مجموعه ای از formula_4 نمونه‌های آموزشی فرم formula_5 به طوری که formula_6 بردار ویژگی مثال i ام است و formula_7 برچسب آن است (به عنوان مثال، کلاس)، یک الگوریتم یادگیری به دنبال یک تابع است formula_8 ، جایی که formula_9 فضای ورودی است و formula_10 فضای خروجی است. تابع formula_11 عنصری از برخی از توابع احتمالی است formula_12 ، معمولاً "فضای فرضیه" نامیده می "شود". گاهی راحت است که formula_11 را با استفاده از یک تابع امتیازدهی formula_14 به طوری که formula_11 به عنوان برگرداننده formula_16 تعریف می‌شود به طوری که که بالاترین امتیاز را می‌دهد: formula_17 . اجازه دهید formula_18 فضای توابع امتیازدهی را نشان دهد.
با اینکه formula_12 و formula_18 می‌تواند هر فضایی از توابع باشد، بسیاری از الگوریتم‌های یادگیری مدل‌های احتمالی هستند formula_11 به شکل یک مدل احتمال شرطی formula_22در می‌آید، یا formula_23 به شکل یک مدل احتمال مشترک formula_24 در می‌آید. به عنوان مثال، بیز ساده و تحلیل تفکیکی خطی مدل‌های احتمال مشترک هستند، در حالی که رگرسیون لجستیک یک مدل احتمال شرطی است.
دو روش اساسی برای انتخاب formula_23 یا formula_11 وجود دارد: به حداقل رساندن ریسک تجربی و به حداقل رساندن ریسک ساختاری. به حداقل رساندن ریسک تجربی به دنبال تابعی است که به بهترین شکل داده‌های آموزش را برازش کند. به حداقل رساندن ریسک ساختاری شامل یک "تابع مجازات است" که تعادل بایاس / واریانس را کنترل می‌کند.
در هر دو مورد، فرض بر این است که مجموعه آموزش شامل یک نمونه از جفت‌های مستقل و توزیع شده یکسان است ، formula_27 . برای اندازه‌گیری اینکه یک تابع چقدرمتناسب با داده‌های آموزش برازش داده شده، یک تابع هزینه formula_28 تعریف شده‌است. برای آموزش نمونه‌های formula_29 ، تابع هزینه برای پیش‌بینی مقدار formula_30 برابراست باformula_31 .
ریسک formula_32 از تابع formula_11 به عنوان هزینه مورد انتظار formula_11 تعریف می‌شود. این را می‌توان از طریق داده‌های آموزش به صورت زیر تخمین زد
در به حداقل رساندن ریسک تجربی، الگوریتم یادگیری نظارت شده تابع formula_11 که formula_32 را به حداقل می‌رساند جستجو می‌کند. از این رو، می‌توان با به کار بردن الگوریتم بهینه‌سازی برای یافتن ، formula_11 یک الگوریتم یادگیری نظارت شده ساخت.
زمانی که formula_11 توزیع احتمال شرطی است formula_40 و تابع هزینه منفی لگاریتم
درست نمایی است: formula_41 ، به حداقل رساندن ریسک تجربی معادل برآورد درست نمایی بیشینه است.
زمانی که formula_12 شامل بسیاری از توابع است یا مجموعه آموزش به اندازه کافی بزرگ نیست، به حداقل رساندن ریسک تجربی منجر به واریانس بالا و تعمیم ضعیف می‌شود. الگوریتم یادگیری قادر است بدون تعمیم خوب، نمونه‌های آموزش را به خاطر بسپارد. این اصطلاحاً را بیش برازش می‌گویند.
به حداقل رساندن ریسک ساختاری با در نظر گرفتن مجازات قاعده مند سازی در بهینه‌سازی، به دنبال جلوگیری از بیش برازش است. مجازات قاعده مند شدن را می‌توان نوعی تیغ اوکام دانست که تابع‌های ساده‌تر را نسبت به تابع‌های پیچیده ترجیح می‌دهد.
مجازات‌های بسیار متنوعی استفاده شده‌است که با تعاریف مختلف پیچیدگی مطابقت دارد. به عنوان مثال، موردی را در نظر بگیرید که تابع است formula_11 یک تابع خطی از فرم است
یکی از مجازات قاعده مند سازی مشهور formula_45 است، که هنجار اقلیدسی توزین شده وزن‌ها است که به آن نرم formula_46 نیز می‌گویند نرمهای دیگر عبارتند از نرم formula_47 ، formula_48 ، و نرم formula_49 ، که تعداد غیر صفر
formula_50‌ها است مجازات با formula_51 نشان داده خواهد شد.
مسئله بهینه‌سازی یادگیری تحت نظارت، یافتن تابع formula_11 است که مقدار زیر را حداقل می‌رساند
پارامتر formula_54 تعادل بین واریانس و بایاس را کنترل می‌کند. زمانی که formula_55 ، به مسئله به حداقل رساندن ریسک تجربی با تعصب کم و واریانس بالا می‌انجامد. چه زمانی formula_54 بزرگ است، الگوریتم یادگیری تعصب زیاد و واریانس کم خواهد داشت. مقدار formula_54 را می‌توان از طریق اعتبار سنجی متقابل بصورت تجربی انتخاب کرد.
پیچیدگی مجازات دارای یک تفسیر بیزی به عنوان منفی لگاریتم احتمال formula_11 دارد ، formula_59 ، که در این صورت formula_60 احتمال خلفی formula_11 است.
روش‌های آموزشی که در بالا توضیح داده شد، روش‌های آموزش افتراقی هستند، زیرا آنها به دنبال یافتن تابع formula_11 هستند که بین مقادیر مختلف خروجی تمایز خوبی ایجاد می‌کند (به مدل افتراقی مراجعه کنید). برای مورد خاص که در آن formula_24 یک توزیع احتمال توأم است و تابع هزینه منفی لگاریتم
درست نمایی است formula_64 الگوریتم به حداقل رساندن ریسک برای انجام "آموزش تولیدی" انجام می "شود"، زیرا formula_23 می‌تواند به عنوان یک مدل مولد در نظر گرفته شود که نحوه تولید داده را بیان می‌کند. الگوریتم‌های آموزش مولد اغلب ساده‌تر و از نظر محاسباتی کارآمدتر از الگوریتم‌های آموزش افتراقی هستند. در بعضی موارد، می‌توان محلول را به صورت بسته همانند بیز ساده و تحلیل تفکیک خطی محاسبه کرد.
روش‌های مختلفی وجود دارد که می‌تواند مسئله یادگیری نظارت شده استاندارد را تعمیم دهد: