رگرسیون خطی
برای مطالعهٔ بیشتر

سنفورد وایزبرگ (۱۳۷۴). رگرسیون خطی کاربردی. ترجمهٔ حسینعلی نیرومند. دانشگاه فردوسی مشهد. شابک ۹۷۸۹۶۴۶۳۳۵۱۹۶.
عبدالرضا بازرگان‌لاری (۱۳۸۵). رگرسیون خطی کاربردی. دانشگاه شیراز. شابک ۹۶۴۴۶۲۳۷۴۶.
تقی اخوان نیاکی، مجید خدمتی (۱۳۹۴). تجزیه و تحلیل رگرسیون. دانشگاه صنعتی شریف، مؤسسه انتشارات علمی. شابک ۹۷۸۹۶۴۲۰۸۱۲۵۷.
داگلاس مونتگمری، الیزابت پک (۱۳۹۰). مقدمه ای بر تحلیل رگرسیون خطی. ترجمهٔ ابراهیم رضوی پاریزی. دانشگاه شهید باهنر کرمان. شابک ۹۷۸-۹۶۴-۲۵۰۰-۲۹-۱.
ویلیام وی (۱۳۹۰). تحلیل سریهای زمانی: روشهای یک متغیری و چند متغیری. ترجمهٔ حسینعلی نیرومند. دانشگاه فردوسی مشهد. شابک ۹۶۴۶۳۳۵۱۹۵.
| ن ب وطرح آزمایش | ن ب وطرح آزمایش |
| --- | --- |
روش علمی:  آزمایش  طرح آزمایش  کنترل علمی  روایی (آمار) درونی و اعتبار بیرونی  مورد آزمایشی  آزمایش کور طراحی بهینه: طراحی آزمایش بیزی  انتساب تصادفی  تصادفی‌سازی  تصادفی‌سازی محدود  تکرار آزمایش  تعیین اندازه نمونه 
Treatment   و بلوک‌بندی:  Treatment  اندازه تأثیر  تباین (آمار)  تعامل  اختلاط  تعامد (جبر خطی)  بلوک‌بندی  متغیر وابسته و مستقل  متغیر مزاحمت 
مدل آماری   و استنباط آماری:  رگرسیون خطی  حداقل مربعات معمولی  رگرسیون خطی بیزی تاثیر تصادفی  مدل آمیخته  مدل سلسله‌مراتبی: شبکه‌های بیزی سلسله‌مراتبی تحلیل واریانس  نظریه کوچران  تحلیل واریانس چندمتغیره  تحلیل کوواریانس مقایسه میانگین‌ها  مقایسه چندگانه 
طرح آزمایش   طرح آزمایش کاملا تصادفی:  آزمایش عاملی  Fractional factorial  Plackett-Burman  Taguchi روش‌شناسی سطح پاسخ  Polynomial and rational modeling  Box-Behnken  Central composite بلوک‌بندی  Generalized randomized block design (GRBD)  مربع لاتین  Graeco-Latin square  آرایه متعامد  Latin hypercube   Repeated measures design  Crossover study آزمایش تصادفی کنترل‌شده  Sequential analysis  Sequential probability ratio test 
 Glossary    درگاه:آمار  Statistical outline  Statistical topics :  Glossary    درگاه:آمار  Statistical outline  Statistical topics 
نمونه نمودار یک رگرسیون خطی بسیار ساده
رگرسیون خطی در این شکل صفحه‌ای است که مجموع فواصل نقطه‌های قرمز تا صفحه را به حداقل می‌رساند.
تصویرگری از فرانسیس گالتون در سال ۱۸۷۵ که ارتباط بین قد فرزندان و والدین آنها را نشان می‌دهد. گالتون رابطه بین این دو داده را با یک خط نشان می‌دهد (که با یک شیب و یک عرض از مبدأ تعریف می‌شد) و بر آن نامِ «برگشت (رگرسیون) به میانگین» می‌نهد. اگر چه این خط تمام داده‌ها را بر روی خود نمی‌گنجاند ولی میانگین قد فرزندان را بر حسب قد والدینی که قد یکسانی داشتند تخمین می‌زد. بیضی‌ای که در شکل دیده می‌شود سطح مقطع توزیع مشترک قد فرزندان و والدینشان را نشان می‌دهد که توسط یک توزیع طبیعی دو متغیره تخمین زده شده‌است. خطی که بر روی آن «locus of horizontal tangential points» نوشته شده قد فرزندان را از روی قد والدینشان از طریق کمترین مربعات تخمین می‌زند و خط «locus of vertical tangential points» بالعکس عمل می‌کند، به این معنی که قد والدین را از طریق قد فرزندانش محاسبه می‌کند.
کانتورهای قرمز تابع هزینه را نمایش می‌دهند و اشکال آبی مقید سازی نرم پارامتر را. شکل سمت چپ مربوط به  L_{1} است که پارامتر  \beta  با نابرابری  |\beta _{1}|+|\beta _{2}|\leq t مقید شده‌است و شکل سمت راست مربوط به  L_{2} است که پارامتر آن با نابرابری  \beta _{1}^{2}+\beta _{2}^{2}\leq t^{2}  مقید شده‌است.
نحوه تخمین افزایشی ضرایب در رگرسیون کمترین زاویه (لارس)، در این شکل لارس ۱۱ ضریب برای مدل رگرسیون تولید می‌کند که با ۱۱ رنگ در شکل نشان داده شده‌اند. محور افقی مجموع نرمالیزه شده ضرایب را در ۱۱ مرحله نشان می‌دهد به این معنی که در هر مرحله مجموع ضرایب آن مرحله تقسیم بر مجموع ضرایب مرحله آخر می‌شود. محور عمودی اندازه ضرایب را در هر مرحله نشان می‌دهد. هر خطی سیاه عمودی نشان‌دهنده اضافه شدن یک ضریب جدید به مدل است. همان‌طور شکل نشان می‌دهد هر ضریب بعد از انتخاب شدن مرتباً تغییر خواهد کرد و این تغییر در راستای جهتی است که کمترین مربعات با متغیرهای مستقل اضافه شده ساخته‌است.
رگرسیون چندجمله‌ای با چند درجه مختلف (۳، ۵ و ۹)
رگرسیون چند جمله‌ای درجه سوم (خط سبز)، همراه با بازه اطمینان ۹۵ درصدی (دو خط قرمز) و داده مرجع (خط آبی)
در چهارتایی آنسکوم با اینکه آماره‌هایی نظیر میانگین، واریانس، ضریب همبستگی و مدل خطی به‌دست آمده از رگرسیون خطی برای تمام چهار مجموعه داده یکسان است اما نمودار این داده‌ها کاملاً با همان متفاوتند و تنها مجموعه بالا سمت چپ مدل رگرسیون خطی مناسبی دارد.