رگرسیون چندمتغیره
مدل خطی عمومی یک مدل خطی آماری است. به شکل زیر می‌توان نوشت
که در آن Y یک ماتریس با ردیف‌های اندازه‌گیری‌های چند متغیره است، X یک ماتریس است که می‌تواند یک ماتریس طراحی باشد، B یک ماتریس شامل متغیرهایی است که معمولاً تخمین زده می‌شوند و U ماتریسی است که شامل خطاها و نویز است. خطاها معمولاً نسبت به اندازه‌گیری‌ها و طبق یک توزیع معمولی چندمتغیره ناهمبسته فرض می‌شوند. اگر که خطاها مطابق با یک توزیع معمولی چند متغیره نباشند، مدل خطی تعمیم‌یافته برای منطقی تر کردن فرض‌ها در مورد Y و U مورد استفاده قرار می‌گیرد.
مدل خطی عمومی تعدادی از مدل‌های آماری مختلف را با هم مرتبط می‌کند: آنالیز واریانس، آنالیز کوواریانس، آنالیز چندمتغیره واریانس، آنالیز چندمتغیره کوواریانس، رگرسیون خطی معمولی، آزمون تی استیودنت و آزمون اف. مدل خطی عمومی تعمیم یافته‌ای از چند مدل رگرسیون خطی در مورد بیش از یک متغیر وابسته است. اگر Y، B و U بردارهای ستون باشند، معادله ماتریس بالا بیانگر چند رگرسیون خطی خواهد بود.
آزمون‌های فرضی با مدل خطی عمومی را می‌توان به دو روش انجام داد: چندمتغیره یا به شکل آزمون‌های متعدد تک متغیره مستقل. در آزمون‌های چندمتغیره ستون‌های Y با هم مورد بررسی قرار می‌گیرند درحالیکه در آزمون‌های تک متغیره ستون‌های Y مستقلاً بررسی می‌شوند. به‌طور مثال به عنوان آزمون‌های تک متغیره با ماتریس طراحی یکسان.
رگرسیون چند خطی تعمیمی از رگرسیون خطی است با در نظر گرفتن بیش از یک متغیر مستقل و یک مورد خاص مدل‌های خطی عمومی تشکیل شده با محدود کردن تعداد متغیرهای وابسته به یک. به عنوان مثال اگر فرض کنیم متغیر ما formula_2 بُعد دارد یعنی formula_3 مسئله رگرسیون به یک مسئله بهینه‌سازی برای پیدا کردن formula_4 پارامتر تبدیل می‌شود. به این معنی که ما یک پارامتر چند متغیره به اسم formula_5 داریم و سعی می‌کنیم که متغیر وابسته که همان formula_6 است را با ترکیبی خطی از formula_7 بردارد ورودی، تخمین بزنیم یعنی formula_8. حال اگر یک بعد دیگر به متغیر formula_7 اضافه کنیم و مقدارش را همیشه عدد ثابت formula_10 در نظر بگیریم (formula_11) و formula_7 را به صورتِ formula_13 تغییر دهیم، تخمینی که از formula_6 داریم در واقع ضرب نقطه ای بردار ورودی و بردار پارامترهای ماست یعنی formula_15. حال فرض کنیم که تعداد مثال‌هایی که قرار است برای تخمین پارامترها استفاده کنیم formula_16 است و این مثال‌ها را به این شکل نمایش دهیم formula_17. پارامتر بهینه پارامتری است که یک تابع هزینه را به حداقل برساند و تخمینهایی ما را به متغیر وابسته بسیار نزدیک کند. تابع هزینه را با جمع مربع تفاضل تخمین‌ها با متغیر وابسته تعریف می‌کنیم، به این شکل که formula_18، با این حساب پارامتر بهینه می‌شود:
formula_19
در این روش برای بدست آوردن formula_20 یا همان پارامتر بهینه، از تابع formula_21نسبت به formula_22 گرادیان می‌گیریم و گرادیان را برابر صفر قرار می‌دهیم و پارامتر نمونه را بدست می‌آوریم. از آنجا که تابع formula_21 نسبت به formula_22 تابعی کاملاً محدب است، در نقطه مینیمم گرادیان ما صفر خواهد بود و این روش پارامتر بهینه را بدست می‌دهد. برای تسهیل کار شکل تابع را با بکارگیری چند ماتریس ساده می‌کنیم. دو ماتریس برای این کار نیاز داردیم ماتریس formula_25 و ماتریس formula_26. ماتریس formula_25 ماتریس ورودهای چندمتغیره ماست. هر سطر معادل یک نمونه از داده ماست، سطر formula_28ام برابر است با formula_28امین نمونه ورودی ما یعنی بردار formula_30، از اینرو formula_25 یک ماتریس formula_32 خواهد بود. ماتریس formula_26 از طرف دیگر برابر است با مجموعه متغیرهای وابسته داده ما. سطر formula_28ام این ماتریس برابر است با متغیر وابسته برای formula_28امین نمونه داده ما یا همان formula_36. ماتریس formula_26 یک ماتریس formula_38 است. با کمک این دو ماتریس می‌توان تابع هزینه را به شکل ذیل تعریف کرد:
formula_39
حال گرادیان این تابع را نسبت به formula_22 پیدا می‌کنیم که می‌شود:
formula_41
با برابر قرار دادن گرادیان با صفر پارامتر بهینه بدست می‌آید:
formula_42
پس پارامتر بهینه ما برابر است با:
formula_43
روش پارامتر تخمین پارامتر بهینه از طریق کمترین مربعات ممکن است چند اشکال اساسی داشته باشد. یکی آنکه محاسبهformula_44 ممکن است زمانبر باشد. بُعدِ ماتریس مربعی formula_45 برابر است با formula_46 و اگر بعد formula_2 بالا باشد زمان محاسبه معکوس این ماتریس می‌تواند مسئله ساز شود. مضاف بر این، ماتریس ممکن است معکوس پذیر نباشد. از این رو روش‌های کاراتر و سریعتری برای تخمین پارامتر بهینه مورد استفاده قرار می‌گیرد. یکی از این روش‌ها روش گرادیان کاهشی تصادفی است. در این روش هر بار یک مثال را به صورت اتفاقی از نمونه‌های داده انتخاب کرده، گرادیان تابع هزینه را حساب می‌کنیم و کمی در جهت خلاف گرادیان پارامتر را حرکت می‌دهیم تا به یک پارامتر جدید برسیم. گرادیان جهت موضعی بیشترین افزایش را در تابع به ما نشان می‌دهد، برای بیشترین کاهش موضعی در خلاف جهت گرادیان باید حرکت کرد. اینکار را آنقدر ادامه می‌دهیم که گرادیان به اندازه کافی به صفر نزدیک شود. بجای اینکه داده‌ها را به صورت تصادفی انتخاب کنیم می‌توانیم به ترتیب داده شماره formula_48تا داده شماره formula_49 را انتخاب کنیم و بعد دوباره به داده اولی برگردیم و این کار را به صورت چندین انجام دهیم تا گرادیان تابع به اندازه کافی به صفر نزدیک شود. از لحاظ ریاضی این کار را می‌توان به شکل پایین انجام داد، پارامتر formula_22 را در ابتدا به صورت تصادفی مقدار دهی می‌کنیم و بعد برای داده formula_28 ام و تمامی formula_52ها، یعنی از formula_53 تا formula_54 تغییر پایین را اعمال می‌کنیم، دراینجا formula_55 همان مقداریست که در جهت گرادیان هربار حرکت می‌کنیم و formula_56 مشتق جزئی داده formula_28 ام در بُعد formula_52 ام است:
formula_59
برای بدست آوردن پارامتر بهینه formula_20 تابع هزینه یعنی formula_21 را به حداقل می‌رسانیم. می‌توان به همین پارامتر بهینه از روش درست نمایی بیشینه هم رسید. فرض می‌کنیم که متغیر وابسته یعنی formula_6 یک متغیر تصادفی است که مقدارش از یک توزیع طبیعی (توزیع گاوسی) پیروی می‌کند. این توزیع احتمال، واریانس ثابتی به اسم formula_63 دارد ولی میانگین آن ترکیبی خطی از متغیرهای مستقل یعنی formula_13 است. به عبارت دیگر میانگین ما برابر است با formula_65. با احتساب میانگین و واریانس توزیع متغیر وابسته ما می‌شود formula_66. حال اگر فرض کنیم داده‌های ما نسبت به هم مستقل هستند تابع درست نمایی برای تمام داده‌ها می‌شود:
formula_67
حال باید به دنبال پارامتری باشیم که این تابع بزرگنمایی را بیشینه کند. از آنجا که تابع لگاریتم مطلقاً صعودیست، بجای بیشینه کردن این تابع لگاریتمش را هم می‌شود بیشنه کرد و پارامتر بهینه را از آن طریق پیدا کرد:
formula_68
پارامتر بهینه از این طریق برابر است با:
formula_69
همان‌طور که دیدم پارامتری که formula_70 را بیشینه می‌کند همان پارامتری است که formula_21 را به حداقل می‌رساند. این به معنی معادل بودن روش کمترین مربعات با روش درست نمایی بیشنه در رگرسیون خطی است.
پیچیدگی مدل‌های پارامتری با تعداد پارامترهای مدل و مقادیر آن‌ها سنجیده می‌شود. هرچه این پیچیدگی بیشتر باشد خطر بیش‌برازش (Overfitting) برای مدل بیشتر است. پدیده بیش‌برازش زمانی رخ می‌دهد که مدل بجای یادگیری الگوهای داده، داده را را حفظ می‌کند و در عمل یادگیری به خوبی انجام نمی‌شود. برای جلوگیری از بیش‌برازش در مدل‌های خطی مانند رگرسیون خطی یا رگرسیون لجستیک جریمه‌ای به تابع هزینه اضافه می‌شود تا از افزایش زیاد پارامترها جلوگیری شود. به این کار تنظیم مدل یا Regularization گفته می‌شود. دو راه متداول تنظیم مدل‌های خطی روش‌های formula_72 و formula_73 هستند. در روش formula_72 ضریبی از نُرمِ formula_72به تابع هزینه اضافه می‌شود و در روش formula_73 ضریبی از نُرمِ formula_73 که همان نُرمِ اقلیدسی است به تابع هزینه اضافه می‌شود.
در تنظیم مدل به روش formula_72 تابع هزینه را به این شکل تغییر می‌دهیم:
formula_79
این روش تنظیم مدل که به روش لاسو (Lasso) نیز شهرت دارد باعث می‌شود که بسیاری از پارامترهای مدل نهائی صفر شوند و مدل به اصلاح خلوت (Sparse) شود.
در تنظیم مدل به روش formula_73 تابع هزینه را به این شکل تغییر می‌دهیم:
formula_81
در روش تنظیم از طریق formula_73 سعی می‌شود طول اقلیدسی بردار formula_83 کوتاه نگه داشته شود. formula_84 در روش formula_72 و formula_73 یک عدد مثبت است که میزان تنظیم مدل را معین می‌کند. هرچقدر formula_84کوچکتر باشد جریمه کمتری برا بزرگی نرم بردار پارامترها یعنی formula_22 پرداخت می‌کنیم. مقدار ایدئال formula_84 از طریق آزمایش بر روی داده اعتبار (Validation Data) پیدا می‌شود.
یک کاربرد مدل خطی عمومی در تحلیل پویش‌های مغزی متعدد در آزمایش‌های علمی است که Y شامل اطلاعات رسیده از پوینده‌های مغز است، X شامل متغیرهای تجربی طراحی و اختلال‌ها است. به‌طور معمول به روش تک متغیره آزموده می‌گردد (معمولاً در این پیکربندی به یک تک متغیر جرم ارجاع داده می‌شود) و معمولاً به نقشه‌برداری متغیری آماری معروف است.