موضوع مقاله: لسو | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # لسو | مقدمه: لَسو یکی از روش‌های تنظیم مدل برای انتخاب ویژگی و جلوگیری از بیش‌برازش در رگرسیون است که انتخاب متغیر و نرمال سازی را به منظور افزایش دقت پیش‌بینی و تفسیرپذیری مدل آماری حاصل انجام می‌دهد. | ## بخش 1: لسو | این روش باعث می‌شود بسیاری از پارامترهای مدل نهائی صفر شده و مدل به اصطلاح خلوت شود. با این وجود که لسو در ابتدا برای مدل های رگرسیون خطی تعریف شده بود، اما به سادگی به سایر مدل‌های آماری از جمله مدل‌های خطی تعمیم‌یافته، معادله برآورد تعمیم یافته، مدل‌های مخاطرات متناسب، و برآوردگرهای M قابل تعمیم است. در این روش، مجموعه کاهش یافته ای از متغیرها برای استفاده در یک مدل انتخاب می شوند. لسو به طور مستقل در سال ۱۹۸۶ در زمینه ژئوفیزیک توسعه یافت و در سال ۱۹۹۶ توسط آماردان رابرت تیبشیرانی ترویج شد. این روش، دقت پیش‌بینی را بهبود بخشیده و با کاهش ضرایب خاصی از مدل به صفر، تأثیر آنها در پیش‌بینی نهایی را از میان می برد. در رگرسیون خط الراس، اندازه مجموع توان های دوم ضرایب از مقدار ثابتی کوچک تر شده، اما خود ضرایب صفر نمی شوند (انتخاب متغیر انجام نمی پذیرد). تعریف ریاضی اگر در مسئله رگرسیون، داده‌ها را به صورت نمایش دهیم، هدف بدست آوردن به عنوان ترکیبی خطی از است یعنی . رگرسیون خطی معمولی به شکل پایین در پی یافتن و بهینه است به طوری که خطای میانگین مربعات را کمینه کند: حال اگر داده‌ها را در ماتریس و بردار بگنجانیم، مسئله به عبارت پایین تغییر شکل می‌دهد: دو دلیل کلی برای تغییر و بهبود روش خطای میانگین مربعات وجود دارد. مورد اول اینکه پیچیدگی مدل‌های پارامتری با تعداد پارامترهای مدل و مقادیر آن‌ها سنجیده می‌شود. پدیدهٔ بیش‌برازش زمانی رخ می‌دهد که مدل به‌جای یادگیری الگوهای موجود در داده، خود داده را به خاطر می‌سپارد. | ## بخش 2: لسو | در این حالت، مدل برای آن مجموعه دادهٔ به‌خصوص خوب عمل می‌کند اما برای داده‌های مشابه دیگر عملکرد خوبی ندارد، که یعنی عمل یادگیری به خوبی انجام نشده‌است. در این حالت مدل، بایاس کم و واریانس زیادی دارد و در واقع بیش‌برازش اتفاق افتاده است. برای جلوگیری از بیش‌برازش در مدل‌های خطی مانند رگرسیون خطی یا رگرسیون لجستیک، یک «جریمه» به تابع هزینه اضافه می‌شود تا از افزایش پارامترها جلوگیری شود. در روش لَسو ضریبی از نُرمِ به تابع هزینه اضافه می‌شود: اضافه کردن ضریبی از نُرمِ به تابع هزینه معادلِ ایجاد محدودیتی بر روی نُرمِ است: که منظور از در واقع، نُرمِ است که به صورت زیر محاسبه می‌شود: استفاده از این باعث می‌شود بسیاری از پارامترهای مدل نهائی که دارای کم‌ترین میزان اهمیت هستند، صفر شده و مدل به اصلاح خلوت شود. هدف دیگری که استفاده از این روش دنبال می‌کند، افزایش قابلیت تبیین مدل است که با کاهش تعداد پارامترهای تخمین‌گر انجام می‌شود. در نرمال سازی لسو، اگر بردار ، بردار ، بردار مقادیر پارامتر واقعی و جواب باشد، آنگاه اثبات: سرعت بخشیدن به لسو برای تسریع لسو، باید مفروضات دیگری در مورد وجود داشته باشد. برای و ، داریم متغیر شرط محدودیت مقدار ویژه روی را برآورده می کند اگر برای فهم بهتر، تصور کنید دلتا همان هت-ستار است. کوواریانس ارتونرمال اکنون می توان برخی از ویژگی های اساسی برآوردگر لسو را شرح داد. ابتدا فرض کنید که متغیرهای کمکی متعامد هستند به طوری که ، که دلتای کرونکر است، یا به طور معادل،، سپس با استفاده از روش های زیرگرادیان می توان نشان داد که از به عنوان عملگر آستانه نُرم یاد می شود، زیرا به جای اینکه مقادیر کوچکتر را به صفر سوق داده و مقادیر بزرگتر را دست نخورده باقی بگذارد، همه مقادیر را به سمت صفر میل می دهد (اگر به اندازه کافی کوچک باشند آنها را دقیقاً صفر می کند) بنابراین، تخمین‌ لسو، ویژگی‌های هر دو رگرسیون خط الراس و بهترین زیرمجموعه را دارا می باشد، زیرا مانند رگرسیون خط الراس، بزرگی همه ضرایب را کاهش می‌دهند و مانند بهترین زیر مجموعه، برخی از آنها را نیز صفر می‌کنند. علاوه بر این، در حالی که رگرسیون خط الراس همه ضرایب را با استفاده از یک ضریب ثابت مقیاس می‌کند، لسو ضرایب را با یک مقدار ثابت به سمت صفر می برد. | ## بخش 3: لسو | متغیرهای وابسته در یک مورد خاص، دو متغیر کمکی، مثلاً j و k، برای هر مشاهده یکسان هستند، به طوری که، که. سپس مقادیر و که تابع هدف کمند را به حداقل می رساند به طور منحصر به فرد تعیین نمی شود. در واقع، اگر برخی از که در آن، سپس اگر جایگزین کردن توسط و توسط، در حالی که همه موارد دیگر را حفظ می کند ثابت است، راه حل جدیدی ارائه می دهد، بنابراین تابع هدف کمند دارای پیوستاری از حداقل سازهای معتبر است. انواع مختلفی از کمند، از جمله متعادل‌سازی کشسان، برای رفع این نقص طراحی شده است. مصورسازی برای مصورسازی محدودیت‌های اعمال شده در دو مدل رگرسیون خط الرأس و لَسو با پارامترهای و را توجه کنید که جمع خطای مربعات، به شکل خطوط تراز بیضوی نمایش داده می‌شود. تصویر برخورد خطوط تراز با محدوده ضرایب در رگرسیون خط الرأس در تصویر روبه‌رو نمایش داده شده است (شکل 1). در هر دو روش اولین محل برخورد این نواحی با خطوط تراز بیضوی به عنوان جواب مسأله در نظر گرفته‌ می‌شود. از آن‌جایی که لوزی برخلاف دایره، دارای گوشه‌هایی است، امکان برخورد خطوط تراز با محدودۀ ضرایب در گوشه‌ها وجود دارد. اگر برخورد با خطوط تراز در یکی از این گوشه‌ها اتفاق افتاده باشد، یکی از ضرایب در مدل برابر با صفر می‌شود. محدودۀ ضرایب لَسو در ابعاد بالاتر، دارای گوشه‌ها و لبه‌های زیادی بوده و شانس برخورد خطوط تراز در این نقاط و درنتیجۀ آن، صفر شدن تعدادی از ضرایب بیشتر می‌شود. | ## جمع‌بندی | بدین ترتیب تعداد پارامترهای غیرصفر در مدل کاهش یافته و مدل به اصطلاح خلوت‌تر می‌شود.