حداقل مربعات خطی

در محاسبات عددی، اگر یک مجموعه از نقاط را بخواهید با یک خط درون‌یابی کنید و شیب خط (m) و عرض از مبدا (h) را بدست آورید، کافی است که خطای تعریف شده (E) در زیر را کمینه (مینیمم) کنید:
\begin{alignat{7
E=(y_i-mx_i-h)^2\\
\frac{dE{dm=0 \to{ \Sigma_i{x_i(y_i-mx_i-h)=0\\
\frac{dE{dh=0 \to{ \Sigma_i{(y_i-mx_i-h)=0\\
\to{ m=\frac{\Sigma_i{x_iy_i-\bar{x\Sigma_i{y_i{\Sigma_i{x_i^2-N\bar{x^2\\
\to{ h=\frac{1{N(\Sigma_i{y_i-mN\bar{x)
\end{alignat
که میانگین‌ها و N تعداد نقاط می‌باشد.m و h بدست آمده، بهینه خط عبوری از این نقاط را می‌دهد.
از این روش می‌توانید برای درون‌یابی چندجمله‌ای‌های مرتبه بالاتر نیز استفاده کنید، کافی است که تعریف خطا (E) را مطابق با چندجمله‌ای که می‌خواهید عوض کرده بقیه محاسبات را همان‌طور ادامه داده و ضرایب را بدست آورید.
هندسه روش کمترین مربعات معمولی
فرمول کلی یک برآورد خطی با معادله به صورت است. حال می‌خواهیم این رابطه و خصوصیات آن را به‌طور هندسی مورد بررسی قرار داده و ببینیم چه نتایجی برای ما در بردارند. این بررسی نه تنها از دیدگاه تئوری دارای ارزش می‌باشد بلکه بسیاری از روابطی که از حل معادله‌های پیچیده جبری بدست می‌آیند را بااستفاده از اثبات‌های هندسی ساده کرده و فهم ارتباط این روابط را برای ما آسان می‌کند. فرض کنید مجموعه متغیرهای توضیح دهنده ما به صورت باشند می‌دانیم از هم مستقل هستند و بنابراین می‌توانند پایه‌هایی برای زیر فضای از به وجود آورند در حقیقت اگر دلخواهی را در نظر بگیریم یک عضو دلخواه از زیر فضای ما خواهد بود و داریم:
X\beta =
\begin{bmatrix
\beta_1 \\
\vdots \\
\beta_k
\end{bmatrix
X_1\beta_1+… +X_k\beta_k=\sum_{i=0^{i=kX_i\beta_i
در حقیقت می‌توانیم هر عضو را به صورت بنویسیم و حتی را حت‌تر به صورت مختصات \begin{bmatrix
\beta_1 \cdots \beta_k
\end{bmatrix
بیان کنیم و به همین دلیل برآورد گر OLS(روش کمترین مربعات معمولی) در فضای قرار دارد یعنی می‌دانیم که از معادله اساسی زیر محاسبه می‌شود:
با دقت در معادله بالا متوجه می‌شویم که این معادله دارای تفسیر بسیار ساده‌ای می‌باشد. را در نظر بگیرید می‌دانیم که همان ماتریس متغیرهای توضیح دهنده‌است و هر ستون آن مربوط به یک متغیر توضیح دهنده می‌باشد که می‌توان معادله بالا را به صورت زیر نوشت
\begin{bmatrix
X_1^\prime \\
\vdots \\
X_k^\prime
\end{bmatrix
(Y-X\hat \beta)=\langle X_i , Y-X\hat \beta \rangle
که همان ضرب داخلی متغیر توضیح دهنده‌ام در بردارهای خطا می‌باشد نکته‌ای که در اینجا وجود دارد این است که با توجه به معادله اساسی برای محاسبه برآوردگردر روش OLS متغیرهای بردار متغیرهای توضیح دهنده نسبت به متغیرهای خطای تخمین زده شده عمود می‌با شند یعنی و‌ها نسبت به هم عمودندو به این شرط اصطلاحا شرط عمود بودن (orthogonality conditions) می‌گویند.
همان‌طور که در بالا گفتیم همان متغیرهای خطای ما می‌باشند که با توجه به برآورد گر ما و روش برآورد به متغیرهای خطای تخمین زده شده(residuals)تبدیل می‌شوند در حقیقت اگر خطا را با نمایش دهیم می‌توان آن را به صورت تابعی از نمایش داد یعنی به صوت اختصاری . آنچه ما در اینجا بدان علاقه مندیم بررسی عناصر خطا در زمانی می‌باشند که متغیر با روش OLS تخمین زده شده‌است. ومی توانیم آن را به اختصار به صورت بنویسیم. ملاحظه کردید که این نسبت به همه متغیرهای توضیح دهنده عمود است و چون به تک تک پایه‌های فضای برداری ما عمود می‌باشد پس بر کل فضا عمود است و می‌توان آن را به صورت نوشت؛ و از آن تیجه گرفت که هر عضو در این فضا عمود بر است یعنی:
پس می‌توان از بحث بالا نتیجه گرفت که که به آن اصطلاحا بردار مقادیر برازانده شده(fitted values) می‌گویند در فضای قرار دارد و بر عمود است، یعنی شرط عمود بودن برای آن بر قرار است و از شرط عمود بودن می‌توان نتیجه گرفت که زاویه‌ای که این دو بردار با هم می‌سازند همان‌طور که شکل ۱ نشان می‌دهد قائمه‌است.
برای اینکه تا حدودی مفهوم عمود بودن(orthogonality)را تشریح کرده باشیم. فرض می‌کنیم دو متغیر توضیح دهنده داشته باشیم و به ترتیب آنهارا با نمایش می‌دهیم با توجه به شکل ۲ می‌بینیم که این دومتغیر فضایی را پدیدمی‌آورن که می‌توانیم آن را با نمایش دهیم وهمانطور که در شکل نشان می‌دهد این دو متغیر می‌توانند دارای طول‌های یکسان و زاویه‌های یکسان در بین آنه می‌باشند. همان‌طور که می‌بینید بردار متغیرهای برازانده شده (fitted values) در داخل فضای قرار گرفته و متغیر نسبت به صفحه A(شکل۳)عمود است (شکل۴)و متغیرهای وابسته که از مجموع متغیرهای مستقل و متغیرهای خطا تشکیل می‌شوند در بیرون وقدری بالاتر ز صفحهA قرار می‌گیرند.
با توجه به توضیحاتی که در بالا داده شد می‌توان فهمید که چرا به روش برآورد مذکور کمترین مربعات گفته می‌شود در واقع با توجه به شکل‌های ۱ و۴ می‌توان فهمید که متغیرهای خطای تخمین زده شده دارای کمترین فاصله از متغیرهای برازانده شده(fitted values) تا فضای متغیرهای توضیح دهنده می‌باشد. یعنی اندازه تابع را کمینه می‌کند. اگر کمی دقت کنیم متوجه می‌شویم که همان مجموع مربعات خطاست و می‌دانیم که برآورد گر که را کمینه می‌کند را نیز کمینه می‌کند.
همان‌طور که در شکل۳ مشاهده می‌کنید شکل به ما صفحه را از بال نشان می‌دهد که دو بعدی است نقطه A در این صفحه به‌طور عمودی در زیر قرار گرفته‌است و با توجه به معادله و اینکه برآورد از روش OLS انجام شده‌است. می‌توان نتیجه گرفت که بردار OA در صفحه همان بردار مقادیر برازانده شده(fitted values) می‌باشد یعنی بدار OA به‌طور هندسی نمایش دهنده می‌باشد. والبته چون ستون‌های ماتریس همان پایه‌های فضای ما می‌باشند می‌توان OA را با مختصات نمایش داد. از آنجا که بحث مختصات پیش کشیده شد می‌توان تفسیر جالبی را ارائه داد اینکه در حقیقت میزان مشارکت متغیر پایه در تشکیل است.
حال به شکل۴ نگاهی بیندازید همان‌طور که می‌بینید در شکل ۴ زاویه بین متغیرهای برازانده شده(fitted values) و خطای تخمین زده شده(residuals) قائمه‌است، که با استفاده از آن می‌توانیم اساسی‌ترین معادله مربوط به OLS را بدست آوریم. یعنی:
\vert \vert Y \vert \vert ^2 =\vert\vert X\hat \beta \vert\vert^2 +\vert\vert \hat u \vert\vert^2
می‌دانیم همان مجموع مربعات کل و همان‌طور که پیش‌تر گفتیم مجموع مربعات متغیرهای توضیح دهنده و مجموع مربعات خطای تخمین زده شده می‌باشد؛ و فرمول معروف اثبات می‌شود، می‌توان رابطه‌های فوق را نیز با استفاده از رابطه زیر به صورتی دیگر نمایش داد:
که نکته مهمی را بیان می‌کند تغییرات کل برابر است با تغییرات متغیرهای توضیح دهنده به علاوه تغییرات خطای تخمین زده شده.
کمترین مربعات
ماتریس وندرماند (Vandermonde matrix)