لسو کیست؟ توضیح بده.
لَسو یکی از روش‌های تنظیم مدل برای انتخاب ویژگی و جلوگیری از بیش‌برازش در رگرسیون است که انتخاب متغیر و نرمال سازی را به منظور افزایش دقت پیش‌بینی و تفسیرپذیری مدل آماری حاصل انجام می‌دهد. این روش باعث می‌شود بسیاری از پارامترهای مدل نهائی صفر شده و مدل به اصطلاح خلوت شود. در روش لَسو نُرمِ formula_1 به تابع هزینه اضافه می‌شود. با این وجود که لسو در ابتدا برای مدل های رگرسیون خطی تعریف شده بود، اما به سادگی به سایر مدل‌های آماری از جمله مدل‌های خطی تعمیم‌یافته، معادله برآورد تعمیم یافته، مدل‌های مخاطرات متناسب، و برآوردگرهای M قابل تعمیم است. تاریخچه.لسو به منظور بهبود دقت پیش‌بینی و تفسیرپذیری مدل‌های رگرسیون معرفی شد. در این روش، مجموعه کاهش یافته ای از متغیرها برای استفاده در یک مدل انتخاب می شوند.لسو به طور مستقل در سال ۱۹۸۶ در زمینه ژئوفیزیک توسعه یافت و در سال ۱۹۹۶ توسط آماردان رابرت تیبشیرانی ترویج شد. این روش، دقت پیش‌بینی را بهبود بخشیده و با کاهش ضرایب خاصی از مدل به صفر، تأثیر آنها در پیش‌بینی نهایی را از میان می برد. با وجود شباهت میان این روش و رگرسیون خط الراس، عملکرد آنها متفاوت است. در رگرسیون خط الراس، اندازه مجموع توان های دوم ضرایب از مقدار ثابتی کوچک تر شده، اما خود ضرایب صفر نمی شوند (انتخاب متغیر انجام نمی پذیرد).تعریف ریاضی.اگر در مسئله رگرسیون، داده‌ها را به صورت formula_2 نمایش دهیم، هدف بدست آوردن formula_3 به عنوان ترکیبی خطی از formula_4 است یعنی formula_5 . رگرسیون خطی معمولی به شکل پایین در پی یافتن formula_6 و formula_7 بهینه است به طوری که خطای میانگین مربعات را کمینه کند:formula_8حال اگر داده‌ها را در ماتریس formula_9 و بردار formula_10 بگنجانیم، مسئله به عبارت پایین تغییر شکل می‌دهد:formula_11دو دلیل کلی برای تغییر و بهبود روش خطای میانگین مربعات وجود دارد. مورد اول اینکه پیچیدگی مدل‌های پارامتری با تعداد پارامترهای مدل و مقادیر آن‌ها سنجیده می‌شود. هرچه این پیچیدگی بیشتر باشد خطر بیش‌برازش برای مدل بیشتر است. پدیدهٔ بیش‌برازش زمانی رخ می‌دهد که مدل به‌جای یادگیری الگوهای موجود در داده، خود داده را به خاطر می‌سپارد. در این حالت، مدل برای آن مجموعه دادهٔ به‌خصوص خوب عمل می‌کند اما برای داده‌های مشابه دیگر عملکرد خوبی ندارد، که یعنی عمل یادگیری به خوبی انجام نشده‌است. در این حالت مدل، بایاس کم و واریانس زیادی دارد و در واقع بیش‌برازش اتفاق افتاده است. برای جلوگیری از بیش‌برازش در مدل‌های خطی مانند رگرسیون خطی یا رگرسیون لجستیک، یک «جریمه» به تابع هزینه اضافه می‌شود تا از افزایش پارامترها جلوگیری شود. به این کار تنظیم مدل گفته می‌شود. در روش لَسو ضریبی از نُرمِ formula_1 به تابع هزینه اضافه می‌شود:formula_13اضافه کردن ضریبی از نُرمِ formula_1 به تابع هزینه معادلِ ایجاد محدودیتی بر روی نُرمِ formula_1 است:formula_16که منظور از formula_17 در واقع، نُرمِ formula_18 است که به صورت زیر محاسبه می‌شود:formula_19استفاده از این باعث می‌شود بسیاری از پارامترهای مدل نهائی که دارای کم‌ترین میزان اهمیت هستند، صفر شده و مدل به اصلاح خلوت شود. بدین ترتیب بایاس مقداری افزایش یافته اما واریانس کاهش می‌یابد. بنابراین لَسو به طور کلی می‌تواند منجر به افزایش دقت مدل شود. هدف دیگری که استفاده از این روش دنبال می‌کند، افزایش قابلیت تبیین مدل است که با کاهش تعداد پارامترهای تخمین‌گر انجام می‌شود.در نرمال سازی لسو، اگر formula_10 بردار formula_21 ، formula_9 بردار formula_23 ، formula_24 formula_25 بردار formula_26 مقادیر پارامتر واقعی و formula_27 جواب باشد، آنگاهformula_28اثبات:formula_29formula_30formula_31formula_32سرعت بخشیدن به لسو.برای تسریع لسو، باید مفروضات دیگری در موردformula_9 وجود داشته باشد. این مفروضات همچنین سازگاری تخمین formula_34 را نیز تضمین می کنند. یک شرط بسیار مفید، شرط مقدار ویژه محدود شده است. برای تعریف شرط، باید چندین نماد را معرفی کنیم. برای formula_35 و formula_36، داریمformula_37متغیر formula_9 شرط محدودیت مقدار ویژه formula_39 روی formula_40 را برآورده می کند اگرformula_41برای فهم بهتر، تصور کنید دلتا همان هت-ستار است. مطلوب این است که ۲ کوچک باشد. دقت کنید که در این صورت ۲ کوچک است، خصوصاً اگرformula_42در نزدیکی formula_43 صاف باشد. برای پیشگیری از این امر، لازم است تابع فوق خمیده باشد. این شرط در صورتی محقق خواهد شد کهformula_44که نتیجه خواهد داد formula_45 اگر formula_46 که امکانپذیر نیست. به جای آن، حالتی را در نظر میگیریم که تابع تنها در جهات خاصی خمیده باشد. این جهات همان formula_47 هستند که formula_48 توسط پشتیبان formula_25 یا formula_50 تعریف میشود. کوواریانس ارتونرمال.اکنون می توان برخی از ویژگی های اساسی برآوردگر لسو را شرح داد.ابتدا فرض کنید که متغیرهای کمکی هستند به طوری که formula_51 ، کهformula_52 دلتای کرونکر است، یا به طور معادل،formula_53، سپس با استفاده از روش های می توان نشان داد کهformula_54ازformula_55 به عنوان عملگر آستانه نُرم یاد می شود، زیرا به جای اینکه مقادیر کوچکتر را به صفر سوق داده و مقادیر بزرگتر را دست نخورده باقی بگذارد، همه مقادیر را به سمت صفر میل می دهد (اگر به اندازه کافی کوچک باشند آنها را دقیقاً صفر می کند) بنابراین، تخمین‌ لسو، ویژگی‌های هر دو رگرسیون خط الراس و را دارا می باشد، زیرا مانند رگرسیون خط الراس، بزرگی همه ضرایب را کاهش می‌دهند و مانند بهترین زیر مجموعه، برخی از آنها را نیز صفر می‌کنند. علاوه بر این، در حالی که رگرسیون خط الراس همه ضرایب را با استفاده از یک ضریب ثابت مقیاس می‌کند، لسو ضرایب را با یک مقدار ثابت به سمت صفر می برد.متغیرهای وابستهدر یک مورد خاص، دو متغیر کمکی، مثلاً j و k، برای هر مشاهده یکسان هستند، به طوری کهformula_56، کهformula_57. سپس مقادیرformula_58 وformula_59 که تابع هدف کمند را به حداقل می رساند به طور منحصر به فرد تعیین نمی شود. در واقع، اگر برخی ازformula_60 که در آنformula_61، سپس اگرformula_62 جایگزین کردنformula_63 توسطformula_64 وformula_65 توسطformula_66، در حالی که همه موارد دیگر را حفظ می کندformula_67 ثابت است، راه حل جدیدی ارائه می دهد، بنابراین تابع هدف کمند دارای پیوستاری از حداقل سازهای معتبر است. انواع مختلفی از کمند، از جمله متعادل‌سازی کشسان، برای رفع این نقص طراحی شده است.مصورسازی.برای مصورسازی محدودیت‌های اعمال شده در دو مدل رگرسیون خط الرأس و لَسو با پارامترهای formula_68 و formula_69 را توجه کنید که جمع خطای مربعات، به شکل خطوط تراز بیضوی نمایش داده می‌شود. به علاوه در مسألۀ رگرسیون ریج، ناحیه‌ای که ضرایب مدل را مشخص می‌کند از رابطه زیر به‌ دست می‌آید:formula_70که دایره‌ای به شعاع formula_71 را نمایش می‌دهد. تصویر برخورد خطوط تراز با محدوده ضرایب در رگرسیون خط الرأس در تصویر روبه‌رو نمایش داده شده است (شکل 1).اما در لَسو، محدودیت اعمال شده روی ضرایب به صورت زیر است:formula_72که در مختصات دوبعدی ناحیه‌ای به شکل لوزی را تشکیل می‌دهد (شکل 2).در هر دو روش اولین محل برخورد این نواحی با خطوط تراز بیضوی به عنوان جواب مسأله در نظر گرفته‌ می‌شود.از آن‌جایی که لوزی برخلاف دایره، دارای گوشه‌هایی است، امکان برخورد خطوط تراز با محدودۀ ضرایب در گوشه‌ها وجود دارد. اگر برخورد با خطوط تراز در یکی از این گوشه‌ها اتفاق افتاده باشد، یکی از ضرایب در مدل برابر با صفر می‌شود. محدودۀ ضرایب لَسو در ابعاد بالاتر، دارای گوشه‌ها و لبه‌های زیادی بوده و شانس برخورد خطوط تراز در این نقاط و درنتیجۀ آن، صفر شدن تعدادی از ضرایب بیشتر می‌شود. بدین ترتیب تعداد پارامترهای غیرصفر در مدل کاهش یافته و مدل به اصطلاح خلوت‌تر می‌شود.پیاده‌سازی (پایتون).با استفاده از کتابخانۀ Sickit-Learn زبان برنامه‌نویسی پایتون می‌توان مدل لَسو را به سادگی، به صورت زیر پیاده‌سازی کرد:from sklearn.linear_model import Lassolasso = Lasso(alpha=0.1)lasso.fit(X_train, y_train)prediction= lasso.predict(X_test)پارامتر تنظیم مدل در این مثال ساده برابر با formula_73 در نظر گرفته‌ شده و پس از آموزش، از مدل برای پیشبینی روی دادۀ جدید استفاده شده است.