مثال‌های حداقل مربعات منظم‌شده کیست؟ توضیح بده.
حداقل مربعات منظم (RLS) خانواده ای از روش ها برای حل مسئله حداقل مربعات طوری که از منظم سازی برای محدود کردن بیشتر راه حل استفاده می شود.RLS به دو دلیل اصلی استفاده می شود. اولین مورد زمانی مطرح می شود که تعداد متغیرها در سیستم خطی از تعداد مشاهدات بیشتر شود. در چنین تنظیماتی، مسئله حداقل مربعات معمولی نامناسب است و در نتیجه برازش آن غیرممکن است زیرا مسئله بهینه سازی مرتبط دارای راه حل های بی نهایت زیادی است. RLS اجازه می دهد تا محدودیت های بیشتری را معرفی کند که به طور منحصر به فرد راه حل را تعیین می کند.دلیل دوم استفاده از RLS زمانی به وجود می آید که مدل آموخته شده از تعمیم ضعیف رنج می برد. RLS می تواند در چنین مواردی برای بهبود تعمیم پذیری مدل با محدود کردن آن در زمان آموزش استفاده شود. این محدودیت می‌تواند راه‌حل را به نحوی «پراکنده» کند یا دانش قبلی را در مورد مشکل منعکس کند، مانند اطلاعات مربوط به همبستگی بین ویژگی‌ها. با نشان دادن این که روش‌های RLS غالباً معادل راه‌حل‌های حداقل مربعات هستند، می‌توان به درک بیزی از این موضوع دست یافت.فرمولاسیون عمومی.یک نوع یادگیری ارائه شده توسط یک فضای احتمالاتی را در نظر بگیرید formula_1 ، formula_2 . فرض کنید formula_3 مجموعه آموزشی از formula_4 جفت متغیر دوبه‌دو مستقل هم‌توزیع نسبت به formula_5 را نشان می دهد. فرض کنید formula_6 تابع ضرر باشد، formula_7 را به عنوان فضای توابع به گونه ای که ریسک مورد انتظار به صورت زیر باشد تعریف می کنیم:هدف اصلی به حداقل رساندن ریسک مورد انتظار است:از آنجایی که مشکل به‌طور کاملا دقیق قابل حل نیست، نیاز داریم تا چگونگی اندازه‌گیری کیفیت یک راه‌حل را بررسی کنیم. یک الگوریتم یادگیری خوب باید یک برآوردگر با ریسک کمی ارائه دهد.به عنوان توزیع توام، توزیع formula_5 به طور معمول ناشناخته است، ریسک تجربی درنظر گرفته شده است. برای حداقل مربعات منظم، مربع تابع ضرر به صورت زیر معرفی شده است:با این حال، اگر توابع از یک فضای نسبتاً نامحدود باشند، مانند مجموعه ای از توابع مربعی انتگرال‌پذیر در formula_12 ، این رویکرد ممکن است باعث بیش‌برازش مدل شود و منجر به تعمیم ضعیف شود. بنابراین، باید به نوعی پیچیدگی تابع formula_13 را محدود یا جریمه کند. در کمترین مربعات منظم‌شده، این کار با انتخاب توابع از فضای بازتولید هسته هیلبرتformula_14 (RKHS) و همچنین با افزودن یک عبارت منظم‌سازی متناسب با نرم تابع در formula_14 به تابع هدف انجام می شود:رگرسیون ریج (یا منظم سازی تیخونوف).یکی از گزینه های رایج برای تابع پناتی formula_17، نرم درجه 2 می باشد.متداول ترین نام ها برای این امر منظم سازی تیخونوف و رگرسیون ریدج نامیده می شود. این یک فرم برای formula_20 به شکل زیر معرفی می کند:نام رگرسیون ریج به این واقعیت اشاره دارد که عبارت formula_22 مقدار های مثبتی در راستای قطر "ridge" ماتریس کووارینانس ماتریس formula_23 اضافه می کند.زمانی که formula_24 یعنی در مورد حداقل مربعات معمولی، شرط formula_25 باعث میشود که ماتریس کوواریانس نمونه رتبه کامل نداشته باشد و بنابراین نمی توان آن را معکوس کرد تا یک راه حل منحصر به فرد به دست آید. به همین دلیل است که در صورتی که formula_25 می تواند بی نهایت راه حل برای مسئله حداقل مربعات معمولی وجود داشته باشد. با این حال، زمانی که formula_27، یعنی زمانی که از رگرسیون ریدج استفاده می شود، اضافه شدن formula_22 به ماتریس کوواریانس نمونه تضمین می‌کند که همه مقادیر ویژه آن بزرگتر مساوی 0 خواهند بود، به بیان دیگر وارون پذیر خواهد شد و جواب یکتا خواهد شد.در مقایسه با حداقل مربعات معمولی، رگرسیون ریج بدون تورش نیست. برای کاهش واریانس و میانگین مربعات خطا، مقداری تورش می پذیرد.رگرسیون لسو.حداقل انتخاب مطلق و تابع لسو یک انتخاب دیگر می باشد. در رگرسیون لسو، تابع پنالتی لسو به صورت نرم درجه 1 انتخاب می شود.توجه داشته باشید که تابع پنالتی لسو محدب است اما کاملا محدب نیست. برخلاف منظم‌سازی تیخونوف، این طرح راه‌حلی با فرم بسته مناسب ندارد، در عوض راه‌حل معمولاً با استفاده از برنامه‌نویسی درجه دوم یا روش‌های بهینه‌سازی محدب عمومی‌تر و همچنین با الگوریتم‌های خاص مانند الگوریتم رگرسیون حداقل زاویه، پیدا می‌شود.تفاوت مهم بین رگرسیون لسو و منظم سازی تیخونوف این است که رگرسیون لسو در مقابل حالت دیگر مقادیر بیشتری از formula_20 را مجبور می‌کند تا برابر 0 باشد. در مقابل در حالی که منظم سازی تیخونوف مقادیر formula_20 را مجبور می‌کند تا مقادیر کوچکی داشته باشند و درنتیجه مقادیر کمی از آن‌ها را مجبور به صفر بودن می‌کند. بنابراین منظم‌سازی LASSO در مواردی است که ما انتظار داریم تعداد ورودی های غیر صفر از formula_20، کم باشد مناسب تر از منظم‌سازی تیخونوف می‌باشد. زمانی که ما انتظار داریم که ورودی‌های formula_20 به صورت کلی کوچک باشند و نه لزوما صفر، منظم‌سازی تیخونوف مناسب‌تر است. اینکه کدام یک از این سازوکارها مناسب‌تر است به مجموعه داده های خاص موجود بستگی دارد.علاوه بر نحوه‌ی انتخاب ویژگی که در بالا توضیح داده شد، لسو دارای محدودیت هایی است. رگرسیون ریج دقت بهتری در صورتی که formula_35 ارائه می دهد(برای متغیرهای بسیار همبسته ). در حالت دیگر formula_36 ، لسو حداکثر formula_37 متغیر انتخاب می کند. علاوه بر این لسو تمایل دارد برخی از متغیرهای دلخواه را از گروه نمونه‌های بسیار همبسته انتخاب کند، بنابراین هیچ اثر گروه‌بندی‌ای وجود ندارد.جریمه "ℓ" 0.افراطی ترین راه برای اعمال پراکندگی این است که بگوییم قدرمطلق ضرایب formula_20 مهم نیست؛ بلکه تنها چیزی که پیچیدگی را تعیین می کند تعداد ورودی های غیر صفر است. این مربوط به تنظیم است. این متناظر این می‌باشد که formula_40 را برابر نرم formula_41 norm، formula_20 قرار دهیم. این تابع منظم‌سازی در حالی که برای پراکندگی که تضمین می کند جذاب است، اما حل آن بسیار دشوار است زیرا انجام این کار مستلزم بهینه سازی تابعی است که حتی محدب ضعیف هم نیست. رگرسیون لسو حداقل ساده‌سازی جریمه formula_41 می‌باشد که منجر به یک مسئله بهینه سازی محدب ضعیف می شود.الستیک‌نت.برای هر formula_44 و formula_45 غیر منفی، هدف به صورت زیر می‌باشد:فرض کنید formula_47 ، سپس راه حل مساله کمینه‌سازی به صورت زیر است:عبارت formula_50 را به عنوان یک تابع جریمه الاستیک‌نت درنظر بگیرید.زمانی که α=1 باشد الستیک نت همان ریدج رگرسیون می شود و زمانی کهformula_51 باشد همان لسو رگرسیون می شود. formula_52 تابع جریمه الاستیک‌نت در نقطه صفر مشتق اول ندارد و به‌طور اکید محدب می‌شود. ,برای formula_53 ویژگی‌های هر دو رگرسیون لسو و ریدج را دارد.یکی از ویژگی های اصلی الستیک‌نت توانایی انتخاب گروه‌هایی از متغیر‌های همبسته می باشد. تفاوت بین بردارهای وزنی برای دو نمونه‌ی formula_54 و formula_55 از رابطه زیر بدست می آید:اگر formula_54 و formula_55 همبستگی بالایی داشته‌باشند یعنی ( formula_60 )، فاصله بین بردارهای وزنی بسیار کم است. در مورد نمونه های همبستگی منفی ( formula_61 ) نمونه های formula_62 را می‌توان درنظر گرفت.فهرست جزئی از روش های RLS.لیستی از انتخاب های ممکن تابع منظم سازیformula_63 در ادامه آمده است.