نظریه یادگیری آماری کیست؟ توضیح بده.
نظریه یادگیری آماری چارچوبی برای یادگیری ماشینی است که از زمینه های آمار و آنالیز تابعی گرفته می شود. نظریه یادگیری آماری با مسئله استنباط آماری یافتن یک تابع پیش بینی بر اساس داده ها سر و کار دارد. تئوری یادگیری آماری منجر به کاربردهای موفقی در زمینه هایی مانند بینایی کامپیوتر، بازشناسی گفتار و بیوانفورماتیک شده است.مقدمه.اهداف یادگیری درک و پیش بینی است. یادگیری به دسته های زیادی تقسیم می شود، از جمله یادگیری نظارت‌شده، یادگیری خودران، یادگیری ماشین برخط و یادگیری تقویتی. از دیدگاه تئوری یادگیری آماری، یادگیری تحت نظارت به بهترین وجه قابل درک است. یادگیری تحت نظارت شامل یادگیری از مجموعه داده‌های آموزشی است. هر نقطه در آموزش یک جفت ورودی-خروجی است، جایی که ورودی به یک خروجی نگاشت می شود. مسئله یادگیری شامل استنباط تابعی است که بین ورودی و خروجی نگاشت می شود، به طوری که تابع آموخته شده بتواند برای پیش بینی خروجی از ورودی های آینده استفاده شود.بسته به نوع خروجی، مسائل یادگیری تحت نظارت یا مسائل رگریسون یا مسائل طبقه‌بندی هستند. اگر خروجی یک محدوده پیوسته از مقادیر را بگیرد، مسئله رگرسیون است. مسائل طبقه بندی آنهایی هستند که خروجی آنها عنصری از مجموعه ای مجزا از برچسب ها خواهد بود. طبقه بندی برای کاربردهای یادگیری ماشین بسیار رایج است. به عنوان مثال، در تشخیص چهره، تصویری از چهره یک فرد ورودی است و برچسب خروجی نام آن شخص خواهد بود. ورودی با یک بردار چند بعدی بزرگ نشان داده می شود که عناصر آن پیکسل ها را در تصویر نشان می دهند.پس از یادگیری یک تابع بر اساس داده های مجموعه آموزشی، آن تابع بر روی یک مجموعه آزمایشی از داده ها، داده هایی که در مجموعه آموزشی ظاهر نشده اند، اعتبارسنجی می شود.تعریف صوری.formula_1 را فضای برداری همه ورودی‌های ممکن و formula_2 را فضای برداری همه خروجی‌های ممکن در نظر بگیرید. تئوری یادگیری آماری این دیدگاه را ارائه می‌دهد که توزیع احتمال ناشناخته‌ای در فضای formula_3 وجود دارد، یعنی یک formula_4 ناشناخته‌ای وجود دارد. مجموعه آموزشی از formula_5 نمونه از این توزیع احتمال تشکیل شده است و علامت گذاری شده است.هر formula_7 یک بردار ورودی از داده های آموزشی است و formula_8 خروجی مربوط به آن است.طبق این تعریف، مسئله استنتاج عبارت است از یافتن تابع formula_9 به طوری که formula_10. بگذارید formula_11 فضایی از توابع formula_9 باشد که فضای فرضیه نامیده می‌شود. فضای فرضیه فضای توابعی است که الگوریتم در آن جستجو می کند. بگذارید formula_13 تابع هزینه باشد، معیاری برای تفاوت بین مقدار پیش‌بینی‌شده formula_14 و مقدار واقعی formula_15. ریسک مورد انتظار تعریف شده است:formula_16تابع هدف،آن تابع formula_17است که برآورده میکند:formula_18از آنجایی که توزیع احتمال formula_19 ناشناخته است، باید یک معیار تقریبی برای ریسک مورد انتظار استفاده شود. این مقدار بر اساس مجموعه آموزشی، نمونه ای از این توزیع احتمال ناشناخته است. به آن ریسک تجربی می گویند:formula_20الگوریتم یادگیری که تابع formula_21 را انتخاب می‌کند که ریسک تجربی را به حداقل می‌رساند، حداقل‌سازی ریسک تجربی نامیده می‌شود.تابع هزینه.انتخاب تابع هزینه یک عامل تعیین کننده بر روی تابع formula_21 است که توسط الگوریتم یادگیری انتخاب خواهد شد. تابع هزینه همچنین بر نرخ همگرایی یک الگوریتم تأثیر می گذارد. مهم است که تابع هزینه, محدب باشد.بسته به اینکه مشکل مربوط به رگرسیون یا طبقه بندی باشد، از توابع هزینه متفاوتی استفاده می شود.رگریسون.متداول ترین تابع هزینه برای رگرسیون، تابع هزینه مربعات است (همچنین به عنوان نرم درجه دو شناخته می شود). این تابع هزینه آشنا در کمترین مربعات معمولی استفاده می شود. به این صورت:هزینه قدر مطلق (همچنین به عنوان نرم درجه یک نیز شناخته می شود) گاهی اوقات استفاده می شود:طبقه‌بندی.به نوعی، تابع مشخصه0-1 طبیعی ترین تابع هزینه برای طبقه بندی است. اگر خروجی پیش بینی شده با خروجی واقعی یکسان باشد، مقدار 0 را می گیرد و اگر خروجی پیش بینی شده با خروجی واقعی متفاوت باشد، مقدار 1 را می گیرد. برای طبقه بندی دودویی با formula_25، این تابع برابر است با:که در آن formula_27 تابع پله‌ای یکه است.