حداقل مربعات خطی
در محاسبات عددی، اگر یک مجموعه از نقاط را بخواهید با یک خط درون‌یابی کنید و شیب خط (formula_1) و عرض از مبدأ (formula_2) را بدست آورید، کافی است که خطای تعریف شده (formula_3) در زیر را کمینه (مینیمم) کنید:
که formula_5 میانگین formula_6ها و formula_7 تعداد نقاط می‌باشد. formula_1 و formula_2 بدست آمده، بهینه خط عبوری از این نقاط را می‌دهد.
از این روش می‌توانید برای درون‌یابی چندجمله‌ای‌های مرتبه بالاتر نیز استفاده کنید، کافی است که تعریف خطا (formula_3) را مطابق با چندجمله‌ای که می‌خواهید عوض کرده بقیه محاسبات را همان‌طور ادامه داده و ضرایب را بدست آورید.
فرمول کلی یک برآورد خطی با معادله formula_11 به صورت formula_12 است. حال می‌خواهیم این رابطه و خصوصیات آن را به‌طور هندسی مورد بررسی قرار داده و ببینیم چه نتایجی برای ما در بردارند. این بررسی نه تنها از دیدگاه تئوری دارای ارزش می‌باشد بلکه بسیاری از روابطی که از حل معادله‌های پیچیده جبری بدست می‌آیند را بااستفاده از اثبات‌های هندسی ساده کرده و فهم ارتباط این روابط را برای ما آسان می‌کند. فرض کنید مجموعه متغیرهای توضیح دهنده ما به صورت formula_13 باشند می‌دانیم از هم مستقل هستند و بنابراین می‌توانند پایه‌هایی برای زیر فضای formula_14 ازformula_15 به وجود آورند در حقیقت اگر formula_16دلخواهی را در نظر بگیریم formula_17یک عضو دلخواه از زیر فضای ما خواهد بود و داریم:
formula_18 در حقیقت می‌توانیم هر عضو formula_19را به صورت formula_20بنویسیم و حتی را حت تر به صورت مختصاتformula_21بیان کنیم و به همین دلیل برآورد گر OLS(روش حداقل مربعات معمولی) در فضای formula_14قرار دارد یعنی formula_23 می‌دانیم که formula_24از معادله اساسی زیر محاسبه می‌شود: formula_25 با دقت در معادله بالا متوجه می‌شویم که این معادله دارای تفسیر بسیار ساده‌ای می‌باشد.formula_19 را در نظر بگیرید می‌دانیم کهformula_19 همان ماتریس متغیرهای توضیح دهنده‌است و هر ستون آن مربوط به یک متغیر توضیح دهنده می‌باشد که می‌توان معادله بالا را به صورت زیر نوشت formula_28
که همان ضرب داخلی متغیر توضیح دهنده formula_29ام در بردارهای خطا می‌باشد نکته‌ای که در اینجا وجود دارد این است که با توجه به معادله اساسی برای محاسبه برآوردگر در روش OLS متغیرهای بردار متغیرهای توضیح دهنده نسبت به متغیرهای خطای تخمین زده شده عمود می با شند یعنی formula_30 وformula_31ها نسبت به هم عمودند و به این شرط اصطلاحاً شرط عمود بودن (orthogonality conditions) می‌گویند. همان‌طور که در بالا گفتیم formula_32 همان متغیرهای خطای ما می‌باشند که با توجه به برآورد گر ما و روش برآورد به متغیرهای خطای تخمین زده شده (residuals) تبدیل می‌شوند در حقیقت اگر خطا را باformula_33 نمایش دهیم می‌توان آن را به صورت تابعی از formula_16نمایش داد یعنی به صوت اختصاری formula_35. آنچه ما در اینجا بدان علاقه‌مندیم بررسی عناصر خطا در زمانی می‌باشند که متغیرformula_16 با روش OLS تخمین زده شده‌است. ومی توانیم آن را به اختصار به صورت formula_37بنویسیم. ملاحظه کردید که این formula_38نسبت به همه متغیرهای توضیح دهنده عمود است و چون به تک تک پایه‌های فضای برداری ما عمود می‌باشد پس بر کل فضا عمود است و می‌توان آن را به صورت formula_39نوشت؛ و از آن نتیجه گرفت که هر عضو در این فضا عمود بر formula_38است یعنی:
formula_41
پس می‌توان از بحث بالا نتیجه گرفت که formula_42 که به آن اصطلاحاً بردار مقادیر برازانده شده (fitted values) می‌گویند در فضای formula_14قرار دارد و بر formula_44 عمود است، یعنی شرط عمود بودن برای آن بر قرار است و از شرط عمود بودن می‌توان نتیجه گرفت که زاویه‌ای که این دو بردار با هم می‌سازند همان‌طور که شکل ۱ نشان می‌دهد قائمه‌است.
برای اینکه تا حدودی مفهوم عمود بودن (orthogonality) را تشریح کرده باشیم. فرض می‌کنیم دو متغیر توضیح دهنده داشته باشیم و به ترتیب آنهارا با formula_45 نمایش می‌دهیم با توجه به شکل ۲ می‌بینیم که این دومتغیر فضایی را پدید می‌آورند که می‌توانیم آن را با formula_46 نمایش دهیم و همانطور که در شکل نشان می‌دهد این دو متغیر می‌توانند دارای طول‌های یکسان و زاویه‌های یکسان در بین آنه می‌باشند. همان‌طور که می‌بینید بردار متغیرهای برازانده شده (fitted values) در داخل فضای formula_46 قرار گرفته و متغیر formula_33 نسبت به صفحهَ A(شکل۳)عمود است (شکل۴)و formula_49 متغیرهای وابسته که از مجموع متغیرهای مستقل و متغیرهای خطا تشکیل می‌شوند در بیرون و قدری بالاتر ز صفحهA قرار می‌گیرند.
با توجه به توضیحاتی که در بالا داده شد می‌توان فهمید که چرا به روش برآورد مذکور حداقل مربعات گفته می‌شود در واقع با توجه به شکل‌های ۱ و۴ می‌توان فهمید که متغیرهای خطای تخمین زده شدهformula_38 دارای حداقل فاصله از متغیرهای برازانده شده (fitted values) تا فضای متغیرهای توضیح دهنده می‌باشد. یعنی formula_51 اندازه تابع formula_52 را کمینه می‌کند. اگر کمی دقت کنیم متوجه می‌شویم کهformula_53 همان مجموع مربعات خطاست formula_54 و می‌دانیم که برآورد گر formula_44 که formula_35 را کمینه می‌کندformula_53 را نیز کمینه می‌کند. همان‌طور که در شکل۳ مشاهده می‌کنید شکل به ما صفحه را از بال نشان می‌دهد که دو بعدی است نقطه A در این صفحه به‌طور عمودی در زیر formula_49 قرار گرفته‌است و با توجه به معادله formula_59 و اینکه برآورد از روش OLS انجام شده‌است. می‌توان نتیجه گرفت که بردار OA در صفحه همان بردار مقادیر برازانده شده (fitted values) می‌باشد یعنی بدار OA به‌طور هندسی نمایش دهنده formula_42 می‌باشد. والبته چون ستون‌های ماتریس formula_19 همان پایه‌های فضای ما می‌باشند می‌توان OA را با مختصات formula_44 نمایش داد. از آنجا که بحث مختصات پیش کشیده شد می‌توان تفسیر جالبی را ارائه داد اینکه در حقیقت formula_63 میزان مشارکت متغیر پایه formula_31 در تشکیل formula_49 است. حال به شکل۴ نگاهی بیندازید همان‌طور که می‌بینید در شکل ۴ زاویه بین متغیرهای برازانده شده (fitted values) formula_42و خطای تخمین زده شده (residuals)formula_38 قائمه‌است، که با استفاده از آن می‌توانیم اساسی‌ترین معادله مربوط به OLS را بدست آوریم. یعنی: formula_68
می‌دانیم formula_69 همان مجموع مربعات کل formula_70 و همان‌طور که پیش تر گفتیم formula_71 مجموع مربعات متغیرهای توضیح دهندهformula_72 و formula_73 مجموع مربعات خطای تخمین زده شدهformula_74 می‌باشد؛ و فرمول معروف formula_75 اثبات می‌شود، می‌توان رابطه‌های فوق را نیز با استفاده از رابطه زیر به صورتی دیگر نمایش داد:
formula_76 که نکته مهمی را بیان می‌کند تغییرات کل برابر است با تغییرات متغیرهای توضیح دهنده به علاوه تغییرات خطای تخمین زده شده.
اگر فرض کنیم متغیر ما formula_1 بُعد دارد، یعنی formula_78، مسئله رگرسیون به یک مسئله بهینه‌سازی برای پیدا کردن formula_79 پارامتر تبدیل می‌شود. به این معنی که ما یک پارامتر چند متغیره به اسم formula_80 داریم و سعی می‌کنیم که متغیر وابسته که همان formula_81 است را با ترکیبی خطی از بردارد ورودیِ formula_82، تخمین بزنیم یعنی formula_83. حال اگر یک بعد دیگر به متغیر formula_82 اضافه کنیم و مقدارش را همیشه عدد ثابت formula_85 در نظر بگیریم (formula_86) و formula_82 را به صورتِ formula_88 تغییر دهیم، تخمینی که از formula_81 داریم در واقع ضرب نقطه ای بردار ورودی و بردار پارامترهای ماست یعنی formula_90. حال فرض کنیم که تعداد مثالهایی که قرار است برای تخمین پارامترها استفاده کنیم formula_91 است و این مثالها را به این شکل نمایش دهیم formula_92. پارامتر بهینه پارامتری است که یک تابع هزینه را به حداقل برساند و تخمینهایی ما را به متغیر وابسته بسیار نزدیک کند. تابع هزینه را با جمع مربع تفاضل تخمینها با متغیر وابسته تعریف می‌کنیم، به این شکل که formula_93، با این حساب پارامتر بهینه می‌شود:
formula_94
برای بدست آوردن formula_95 یا همان پارامتر بهینه، از تابع هزینه که هم formula_96نسبت به formula_97 گرادیان می‌گیریم و گرادیان را برابر صفر قرار می‌دهیم و پارامتر بهینه را بدست می‌آوریم. از آنجا که تابع formula_96 نسبت به formula_97 تابعی کاملاً محدب است، در نقطه مینیمم گرادیان ما صفر خواهد بود و این روش پارامتر بهینه را بدست می‌دهد. برای تسهیل کار شکل تابع را با بکارگیری چند ماتریس ساده می‌کنیم. دو ماتریس برای این کار نیاز داردیم ماتریس formula_19 و ماتریس formula_49. ماتریس formula_19 ماتریس ورودهای چندمتغیره ماست. هر سطر معادل یک نمونه از داده ماست، سطر formula_29ام برابر است با formula_29امین نمونه ورودی ما یعنی بردار formula_105، از اینرو formula_19 یک ماتریس formula_107 خواهد بود. ماتریس formula_49 از طرف دیگر برابر است با مجموعه متغیرهای وابسته داده ما. سطر formula_29ام این ماتریس برابر است با متغیر وابسته برای formula_29امین نمونه داده ما یا همان formula_111. ماتریس formula_49 یک ماتریس formula_113 است. با کمک این دو ماتریس می‌توان تابع هزینه را به شکل ذیل تعریف کرد:
formula_114
حال گرادیان این تابع را نسبت به formula_97 پیدا می‌کنیم که می‌شود:
formula_116
با برابر قرار دادن گرادیان با صفر پارامتر بهینه بدست می‌آید:
formula_117
پس پارامتر بهینه ما برابر است با:
formula_118