موضوع مقاله: کمترین مربعات | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # کمترین مربعات | مقدمه: ساختار ریاضی برای برازش منحنی بر داده‌ها، فرض می‌کنیم اندازه‌گیری‌ها مستقل از هم انجام شده‌اند و خطای نیز در مقابل خطای قابل صرف نظر است (مقادیر بدون خطا هستند). | ## بخش 1: کمترین مربعات | هدف، پیدا کردن مقادیر است، به گونه‌ای که تابع دقیق‌ترین پیش‌بینی را از ارائه دهد. اگر هر از توزیع نرمال حول مقدار واقعی با پهنای پیروی کند، احتمال به دست آوردن متناسب است با: است. احتمال مشاهدهٔ تمام مقادیر این‌طور به دست می‌آید: کمیت که در نما قرار دارد به صورت تعریف می‌شود. به این معنی که ما یک پارامتر چند متغیره به اسم داریم و سعی می‌کنیم را با ترکیبی خطی از تخمین بزنیم یعنی . حال اگر یک بعد دیگر به متغیر اضافه کنیم و مقدارش را همیشه عدد ثابت در نظر بگیریم و را به صورتِ تغییر دهیم، تخمینی که از داریم در واقع ضرب نقطه ای بردار ورودی و بردار پارامترهای ماست یعنی . حال فرض کنیم که تعداد مثالهایی که قرار است برای تخمین پارامترها استفاده کنیم است و این مثالها را به این شکل نمایش دهیم . | ## بخش 2: کمترین مربعات | همان‌طور که در مقدمه گفتیم پارامتر بهینه پارامتری است که تابع را به حداقل برساند یعنی تابع پایین را: از آنجا که تابع نسبت به تابعی کاملاً محدب است، در نقطه مینیمم گرادیان ما صفر خواهد بود و این روش پارامتر بهینه را بدست می‌دهد. هر سطر معادل یک نمونه از داده ماست، سطر ام برابر است با امین نمونه ورودی ما یعنی بردار ، از اینرو یک ماتریس خواهد بود. با کمک این دو ماتریس می‌توان تابع ضرر را به شکل ذیل تعریف کرد: حال گرادیان این تابع را نسبت به پیدا می‌کنیم که می‌شود: با برابر قرار دادن گرادیان با صفر پارامتر بهینه بدست می‌آید: پس پارامتر بهینه ما برابر است با: خطای روش حداقل مربعات خطای برازش خط خطای شیب و عرض از مبدأ خط برازش شده برابر است با : برای خط مبدأ گذر پیاده‌سازی روش حداقل مربعات زبان R در زبان R، برازش تابع خطی به فرم بر داده‌ها به کمک تابع lsfit انجام می‌شود. خروجی تابع در جدولی به صورت زیر برگردانده می‌شود: +جدول مقادیر بازگردانده شدهFEDCBA... این معادل این است که در هنگام بهینه‌سازی هزینهٔ کمترین مربعات را نیز اضافه کرده باشیم. معادل بیزی این مدل این است که توزیع پیشین توزیع لاپلاس را برای پارامترهای مدل خطی استفاده کرده باشیم. | ## بخش 3: کمترین مربعات | تفاوت اساسی بین مدل ridge regression و لاسو این است که در اولی علی‌رغم افزایش جریمه، ضرایب در عین غیرصفر بودن کوچکتر می‌شوند، علی‌رغم اینکه صفر نمی‌شوند، در صورتی که در لاسو با افزایش جریمه، تعداد بسیار بیشتری از ضرایب به سمت صفر میل می‌کنند. می‌توان بهینه‌سازی مربوط به لاسو را با روش‌های بهینه‌سازی درجه دوم یا در حالت کلی بهینه‌سازی محدب انجام داد. به دلیل ایجاد ضرایب کم، لاسو در بسیاری از کاربردها مانند سنجش فشرده مورد استفاده قرار می‌گیرد. لاسو در رگرسیون خطی پیچیدگی مدلهای پارامتری با تعداد پارامترهای مدل و مقادیر آن‌ها سنجیده می‌شود. پدیده بیش‌برازش زمانی رخ می‌دهد که مدل بجای یادگیری الگوهای داده، داده را را حفظ می‌کند و در عمل یادگیری به خوبی انجام نمی‌شود. برای جلوگیری از بیش‌برازش در مدلهای خطی مانند رگرسیون خطی جریمه‌ای به تابع هزینه اضافه می‌شود تا از افزایش زیاد پارامترها جلوگیری شود. | ## جمع‌بندی | یکی از این روشهای تنظیم مدل روش لاسو است که در آن ضریبی از نُرمِ به تابع هزینه اضافه می‌شود، در رگرسیون خطی تابع هزینه به شکل پایین تغییر می‌کند: این روش تنظیم مدل باعث می‌شود که بسیاری از پارامترهای مدل نهائی صفر شوند و مدل به اصلاح خلوت (Sparse) شود.