payamvha/North_RAG huggingface dataset:
گسترده‌ای در علوم زیستی، رفتاری، اجتماعی، دارایی، اقتصاد و محیط زیست مورد استفاده قرار می‌گیرد. همچنین رگرسیون خطی و مشتقات آن یکی از ابزارهای شناخته شده و پرکاربرد در یادگیری ماشین هستند. با وجود کاربرد زیاد رگرسیون خطی در علوم مختلف، این روش محدودیت‌هایی هم دارد. بسیاری از مسائل پژوهشی در علوم اجتماعی در قالب مدلهای رگرسیون نمی‌گنجند و یک متغیر خروجی ندارند (مانند تجزیه و تحلیل خوشه‌ای برای آشکار ساختن گروه‌های منسجم در داده‌ها). همچنین رگرسیون خطی برای پیدا کردن علّیت بین متغیرهای مستقل و وابسته ابزار
پیدا کردن علّیت بین متغیرهای مستقل و وابسته ابزار مناسبی نیست. مفاهیم. رگرسیون خطی یک مدل آماری برای پیش‌بینی یک یا چند متغیر از روی یک یا چند متغیر دیگر است. به متغیرهایی که پیش‌بینی بر روی آن انجام می‌شود متغیر وابسته و به متغیرهایی که پیش‌بینی به کمک آن‌ها انجام می‌شود متغیرهای مستقل می‌گویند. متغیرهای وابسته را معمولاً با formula_3 و متغیرهای مستقل را با formula_4 نمایش می‌دهند. اگر تنها یک متغیر مستقل وجود داشته باشد مدل رگرسیون خطی را ساده و در غیر این صورت چندگانه می‌نامند. همچنین اگر به جای
غیر این صورت چندگانه می‌نامند. همچنین اگر به جای پیش‌بینی یک متغیر وابسته چندین متغیر وابسته پیش‌بینی شود، مدل رگرسیون خطی را چندمتغیره می‌نامند. واژهٔ «رگرسیون» وام‌واژه‌ای از زبان فرانسوی است و به معنی «برگشت» یا «پس‌گرایی» است؛ این واژه اولین بار توسط فرانسیس گالتون برای توصیف رابطهٔ خطی بین قد فرزندان و والدین‌شان مورد استفاده قرار گرفت. به‌طور دقیق‌تر او از اصطلاح «برگشت (رگرسیون) به میانگین» برای توصیف این رابطه استفاده کرد. اگر فرض کنیم که تنها یک متغیر وابسته و چندین متغیر مستقل وجود داشته باشند،
وابسته و چندین متغیر مستقل وجود داشته باشند، برای سهولت کار همهٔ متغیرهای مستقل را در یک بردار formula_5 می‌گنجانیم. اگر متغیر وابسته مقادیر عددی بگیرد مسئلهٔ مدل‌سازی «رگرسیون» نام می‌گیرد، و در غیر این حالت (یعنی وقتی متغیر وابسته رسته‌ای باشد) به آن «دسته‌بندی آماری» گفته می‌شود. تاریخچه. استفاده از رگرسیون خطی از قرن نوزدهم میلادی شروع شد. اولین بار رگرسیون خطی در قالب کمترین مربعات و در کارهای آدرین ماری لژاندر و کارل فریدریش گاوس ارائه شد. این دو مستقل از یکدیگر و با استفاده از رگرسیون خطی، حرکت
مستقل از یکدیگر و با استفاده از رگرسیون خطی، حرکت سیارات و ستاره‌های دنباله‌دار را پیش‌بینی کردند. گاوس بعدها نظریهٔ کمترین مربعات و قضیه گاوس-مارکوف را در سال ۱۸۲۱ منتشر کرد. کارل پیرسون بعدتر روش گاوس را توسعه داد. او توزیع احتمال مشترک متغیر وابسته و متغیرهای مستقل را توزیع گاوسی فرض کرد. رانلد فیشر اما بعد از او نشان داد که توزیع احتمال شرطی متغیر وابسته به شرط متغیرهای مستقل باید توزیع گاوسی باشد و نه توزیع احتمال مشترک آنها. استفاده از واژه رگرسیون به اواخر قرن نوزدهم بر می‌گردد. در آن زمان فرانسیس
اواخر قرن نوزدهم بر می‌گردد. در آن زمان فرانسیس گالتون برای پیدا کردن رابطهٔ قد فرزندان و والدین از روش رگرسیون استفاده کرد. داده‌ها به او نشان دادند که والدین بلند قد معمولاً فرزندان کوتاه‌قدتری نسبت به خود دارند و بالعکس. او این رابطه را با یک خط نشان داد (که با یک شیب و یک عرض از مبدأ تعریف می‌شد). اگر چه این خط تمام داده‌ها را بر روی خود نمی‌گنجاند ولی میانگین قد فرزندان را بر حسب قد والدینی که قد یکسانی داشتند تخمین می‌زد. اصطلاح رگرسیون در ابتدا فقط برای روش تخمین قد فرزندان از روی قد والدین به کار
برای روش تخمین قد فرزندان از روی قد والدین به کار می‌رفت ولی به تدریج عمومیت پیدا کرد و برای تخمین میانگین یک متغیر وابسته با استفاده از ترکیب خطی چندین متغیر مستقل به کار برده شد. از لحاظ تاریخی رگرسیون خطی معمولاً از روش کمترین مربعات یا استنباط فراوانی گرایانه تخمین زده می‌شد ولی بعدها روشهای دیگری نیز مورد استفاده قرار گرفت. کاربرد اولیهٔ رگرسیون خطی در علوم پایه و علوم تجربی بود و آدولف کوتله استفاده از این روش را در علوم اجتماعی متداول کرد و گسترش داد. در دهه‌های ۱۹۵۰ و ۱۹۶۰ اقتصاددانان از ماشین‌حساب
در دهه‌های ۱۹۵۰ و ۱۹۶۰ اقتصاددانان از ماشین‌حساب الکترومکانیکی برای تخمین مدل رگرسیون خطی استفاده می‌کردند. قبل از دههٔ ۱۹۷۰، گاهی یک شبانه‌روز ساعت طول می‌کشد تا نتیجه یک رگرسیون دریافت شود. پیش‌فرض‌ها. معمولاً چند پیش‌فرض برای استفاده از رگرسیون خطی در نظر گرفته می‌شود. اگر اختلاف بین متغیر وابسته و پیش‌بینی مدل را «خطا» یا «مانده» بنامیم، آن‌گاه مفروضات زیر باید در مدل‌سازی رگرسیون خطی برقرار باشند: تخمین پارامترها. فرق رگرسیون خطی با سایر مدل‌های رگرسیون در این است که در این مدل رابطهٔ بین متغیرهای
در این است که در این مدل رابطهٔ بین متغیرهای مستقل و متغیر وابسته یک رابطهٔ خطی فرض می‌شود. رگرسیون خطی، که خود نوعی تابع پیش‌بینی‌کنندهٔ خطی است، پیش‌بینی متغیر وابسته را از حاصل‌جمع ضرب متغیرهای مستقل در یک سری ضرایب به‌دست می‌آورد. در رگرسیون خطی ساده که تنها یک متغیر مستقل وجود دارد، پیش‌بینی متغیر وابسته شکل یک خط مستقیم به خود می‌گیرد؛ در رگرسیون خطی با دو متغیر شکل پیش‌بینی یک صفحه خواهد بود، و در رگرسیون خطی با بیش از دو متغیر مستقل پیش‌بینی متغیر وابسته به صورت یک اَبَرصفحه خواهد بود. رگرسیون خطی
به صورت یک اَبَرصفحه خواهد بود. رگرسیون خطی ساده. رگرسیون خطی ساده میزان اثر یک متغیر مستقل بر یک متغیر وابسته را می‌سنجد و همبستگی رابطهٔ بین آن‌ها را مورد سنجش قرار می‌دهد. مثلاً تحلیل رگرسیونی سادهٔ زیر با formula_6 نقطه، متغیر مستقل formula_7 و ضرایب formula_8 و formula_9 خطی است: در عبارت پیشین formula_11 مقدار خطاست و پانویس formula_12 شمارهٔ هر مشاهده (هر جفت formula_7 و formula_14) را نشان می‌دهد. با داشتن مجموعه‌ای از این نقطه‌ها می‌توان مدل را به دست آورد: formula_15 عبارت formula_16 «مانده» نام
دست آورد: formula_15 عبارت formula_16 «مانده» نام دارد و تخمینی است از اختلاف بین مقدار محاسبه شده و مقدار واقعی متغیر وابسته: formula_17. برای تخمین این مدل رگرسیون باید سه پارامتر تخمین زده بشوند: دو ضریب formula_8 و formula_9 و مانده (formula_16). روش رایج برای به‌دست‌آوردن پارامترها، روش کمترین مربعات است. در این روش پارامترها را با کمینه‌کردن مجموع مربعات خطا به دست می‌آورند: formula_21 در مورد رگرسیون ساده، پارامترها با این روش برابر خواهند بود با: formula_22 formula_23 که در آن formula_24 و
با: formula_22 formula_23 که در آن formula_24 و formula_25 میانگین formula_4 و formula_3 هستند. تفاوت رگرسیون و همبستگی. معمولاً زمانی می‌توان از رگرسیون استفاده کرد که یک همبستگی بین متغیرهای مستقل و وابسته وجود داشته باشد. این همبستگی را می‌توان به عنوان مثال از ضریب همبستگی پیرسن که عددی در بازه formula_28 است به‌دست‌آورد. ضریب همبستگی مثبت به این معنی است که با افزایش یک متغیر، متغیر دیگر هم افزایش می‌یابد و بالعکس، اما ضریب همبستگی منفی نشان‌دهنده رابطه معکوس بین دو متغیر است یعنی با افزایش یکی دیگری
معکوس بین دو متغیر است یعنی با افزایش یکی دیگری کاهش می‌یابد و بالعکس. ضریب صفر به این معنی است که هیچ رابطه‌ای بین دو متغیر نیست و دو متغیر نسبت به هم مستقلند. هدف مدل‌های همبستگی بررسی میزان رابطهٔ دو یا چند متغیر است. رگرسیون اما به دنبال پیش‌بینی یک یا چند متغیر براساس یک یا چند متغیر دیگر است. به بیان دیگر، همبستگی میزان و شدت رابطهٔ متغیرها را نشان می‌دهد اما رگرسیون معادله‌ای را برای پیش‌بینی متغیرها ارائه می‌کند. آنچه در خروجی نتایج رگرسیون و همبستگی باعث ایجاد تفاوت می‌شود آن است که در همبستگی
باعث ایجاد تفاوت می‌شود آن است که در همبستگی همیشه اثرات متغیرها به صورت دو به دو مورد سنجش قرار می‌گیرد اما در یک مدل رگرسیون اثرات متغیرها به صورت همزمان بررسی می‌شود. یعنی در همبستگی رابطه متغیر formula_29 با متغیر formula_30 به وجود یا عدم وجود متغیر formula_31 ارتباطی ندارد اما اما در رگرسیون تأثیر متغیر formula_29 بر متغیر formula_30 به وجود یا عدم وجود متغیر formula_31 بستگی دارد (به شرط آن که متغیر formula_31 هم در مدل رگرسیون به کار گرفته شود؛ چنین مدل رگرسیون خطی را «چندگانه» می‌نامند). رگرسیون
مدل رگرسیون خطی را «چندگانه» می‌نامند). رگرسیون خطی چندگانه. صورت مسئله. در بسیاری از مسائل رایج رگرسیون، ورودی چندمتغیره است. اگر فرض کنیم متغیر ما formula_36 بُعد دارد، یعنی formula_37، مسئلهٔ رگرسیون به یک مسئلهٔ بهینه‌سازی برای پیدا کردن formula_38 پارامتر تبدیل می‌شود، به این معنی که ما یک پارامتر چندمتغیره به اسم formula_39 داریم و سعی می‌کنیم که متغیر وابسته که همان formula_3 است را با بردار formula_5، تخمین بزنیم که یعنی formula_42. حال اگر یک بعد دیگر به متغیر formula_5 اضافه کنیم و مقدارش را
دیگر به متغیر formula_5 اضافه کنیم و مقدارش را همیشه عدد ثابت formula_44 در نظر بگیریم (formula_45) و formula_5 را به صورتِ formula_47 تغییر دهیم، تخمینی که از formula_3 داریم در واقع ضرب نقطه‌ای بردار ورودی و بردار پارامترهای ماست یعنی formula_49. حال فرض کنیم که تعداد مثال‌هایی که قرار است برای تخمین پارامترها استفاده کنیم formula_50 است و این مثال‌ها را به این شکل نمایش دهیم formula_51. در چنین مدلی پارامتر بهینه آن پارامتری است که یک تابع هزینه را به حداقل برساند و تخمین‌های ما را به متغیر وابسته بسیار
برساند و تخمین‌های ما را به متغیر وابسته بسیار نزدیک کند. تابع هزینه را با جمع مربع تفاضل تخمین‌ها با متغیر وابسته تعریف می‌کنیم، به این شکل که formula_52، و با این حساب پارامتر بهینه عبارت است از: formula_53 کمترین مربعات. در این روش برای به‌دست آوردن formula_54 یا همان پارامتر بهینه، از تابع formula_55نسبت به formula_56 گرادیان می‌گیریم و این گرادیان را برابر صفر قرار می‌دهیم و پارامتر بهینه را به‌دست می‌آوریم. از آنجا که تابع formula_55 نسبت به formula_56 تابعی کاملاً محدب است، در نقطهٔ کمینهٔ این تابع،
تابعی کاملاً محدب است، در نقطهٔ کمینهٔ این تابع، گرادیان صفر خواهد بود و این روش پارامتر بهینه را به‌دست می‌دهد. برای تسهیل کار، شکل تابع را با به‌کارگیری چند ماتریس ساده می‌کنیم. دو ماتریس برای این کار نیاز داریم: ماتریس formula_29 و ماتریس formula_30. ماتریس formula_29 ماتریس ورودیهای چندمتغیرهٔ ماست. در این ماتریس هر سطر معادل یک نمونه از دادهٔ ماست، مثلاً سطر formula_12ام برابر است با formula_12امین نمونه ورودی ما یعنی بردار formula_64، از اینرو formula_29 یک ماتریس formula_66 خواهد بود. ماتریس
formula_29 یک ماتریس formula_66 خواهد بود. ماتریس formula_30 از طرف دیگر برابر است با مجموعه متغیرهای وابسته در دادهٔ ما. سطر formula_12ام این ماتریس برابر است با متغیر وابسته برای formula_12امین نمونهٔ داده ما یا همان formula_14. ماتریس formula_30 یک ماتریس formula_72 است. با کمک این دو ماتریس می‌توان تابع هزینه را به شکل ذیل تعریف کرد: formula_73 حال گرادیان این تابع را نسبت به formula_56 پیدا می‌کنیم که می‌شود: formula_75 با برابر قرار دادن گرادیان با صفر پارامتر بهینه به‌دست می‌آید: formula_76 در روش
پارامتر بهینه به‌دست می‌آید: formula_76 در روش کمترین مربعات معمولاً برای جلوگیری از از بیش‌برازش یا مقابله با مشکل عدم وارونپذیریِ formula_77 از روش تنظیم تیخونوف، کمترین مربعات جزئی، یا رگرسیون مؤلفه‌های اصلی استفاده می‌شود. کمترین مربعات جزئی. کمترین مربعات جزئی یکی از روش‌های جلوگیری از از بیش‌برازش یا مقابله با مشکل عدم وارونپذیریِ formula_77 است. این روش متناوباً مولفه‌هایی متعامد (formula_79 در پایین) که ترکیبی خطی از مقادیر متغیرهای مستقل (formula_80 در پایین) هستند تولید می‌کند و در نهایت راه حل
در پایین) هستند تولید می‌کند و در نهایت راه حل کمترین مربعات را بر روی این بردارها اعمال می‌کند. ضرایب این مولفه‌ها با ضرب نقطه‌ایِ مقادیر متغیرهای وابسته و مستقل برابر است. مقادیر متغیرهای مستقل در ابتدای کار استاندارد شده‌اند به این معنی که میانگین صفر و واریانس یک دارند. در پایان هر مرحله مقادیر متغیرهای مستقل نسبت به مولفه آن مرحله متعامد می‌شوند. این کار باعث می‌شود که در پایان تمام مولفه‌ها نسبت به هم متعامد باشند و ضریب رگرسیون مولفه formula_81 با formula_82 برابر باشد. الگوریتم تولید مولفه‌ها برای
برابر باشد. الگوریتم تولید مولفه‌ها برای formula_83 به شکل پایین است (formula_84 از روش اعتبارسنجی متقابل محاسبه می‌شود): formula_85 از آنجا که formula_86 یا همان مقدار پیش‌بینی شده، ترکیبی خطی از formula_87‌ها است و خود formula_87‌ها هم ترکیبی خطی از مقادیر متغیرهای مستقل هستند، در نهایت مدل رگرسیون ترکیبی خطی از مقادیر متغیرهای مستقل خواهد بود. گرادیان کاهشی تصادفی. روش پارامتر تخمین پارامتر بهینه از طریق کمترین مربعات ممکن است چند اشکال اساسی داشته باشد. یکی آنکه محاسبهٔformula_89 ممکن است زمانبر باشد.
یکی آنکه محاسبهٔformula_89 ممکن است زمانبر باشد. بُعدِ ماتریس مربعی formula_77 برابر است با formula_91 و اگر مقدار formula_36 زیاد باشد زمان محاسبه معکوس این ماتریس می‌تواند مسئله ساز شود. به علاوه این ماتریس ممکن است اساساً معکوس پذیر نباشد. از این رو روش‌های کاراتر و سریعتری برای تخمین پارامتر بهینه مورد استفاده قرار می‌گیرد. یکی از این روش‌ها روش گرادیان کاهشی تصادفی است. در این روش هر بار یک مثال را به‌صورت اتفاقی از نمونه‌های داده انتخاب کرده، گرادیان تابع هزینه را حساب می‌کنیم و کمی در جهت خلاف
تابع هزینه را حساب می‌کنیم و کمی در جهت خلاف گرادیان پارامتر را حرکت می‌دهیم تا به یک پارامتر جدید برسیم. گرادیان جهت موضعی بیشترین افزایش را در تابع به ما نشان می‌دهد، برای بیشترین کاهش موضعی در خلاف جهت گرادیان باید حرکت کرد. اینکار را آنقدر ادامه می‌دهیم که گرادیان به اندازه کافی به صفر نزدیک شود. به‌جای اینکه داده‌ها را به‌صورت تصادفی انتخاب کنیم می‌توانیم به ترتیب داده شماره formula_93 تا داده شماره formula_94 را انتخاب کنیم و بعد دوباره به داده اولی برگردیم و این کار را چندین بار تکرار کنیم تا
اولی برگردیم و این کار را چندین بار تکرار کنیم تا گرادیان تابع به اندازهٔ کافی به صفر نزدیک شود. از لحاظ ریاضی این کار را می‌توان به شکل پایین انجام داد: پارامتر formula_56 را در ابتدا به‌صورت تصادفی مقدار دهی می‌کنیم و بعد برای داده formula_12 ام و تمامی formula_97‌ها، یعنی از formula_98 تا formula_99 تغییر پایین را اعمال می‌کنیم، دراینجا formula_100 همان مقداری است که در جهت گرادیان هربار حرکت می‌کنیم و formula_101 مشتق جزئی داده formula_12 ام در بُعد formula_97 ام است: formula_104 برآورد درست‌نمایی
formula_97 ام است: formula_104 برآورد درست‌نمایی بیشینه. همچنان که پیشتر گفته شد، برای به‌دست آوردن پارامتر بهینه formula_54 می‌بایست تابع هزینه یعنی formula_55 را به حداقل برسانیم. می‌توان به همین پارامتر بهینه از روش برآورد درست‌نمایی بیشینه هم رسید. فرض می‌کنیم که متغیر وابسته یعنی formula_3 یک متغیر تصادفی است که مقدارش از یک توزیع طبیعی (توزیع گاوسی) پیروی می‌کند. این توزیع احتمال، واریانس ثابتی به اسم formula_108 دارد ولی میانگین آن ترکیبی خطی از متغیرهای مستقل یعنی formula_47 است. به عبارت دیگر
متغیرهای مستقل یعنی formula_47 است. به عبارت دیگر میانگین آن برابر است با formula_110. با احتساب میانگین و واریانس، توزیع متغیر وابسته عبارت است از formula_111. حال اگر فرض کنیم داده‌ها نسبت به یکدیگر مستقل هستند آن گاه تابع درست‌نمایی برای تمام داده‌ها می‌شود: formula_112 حال باید به دنبال پارامتری باشیم که این تابع بزرگنمایی را بیشینه کند. از آنجا که تابع لگاریتم مطلقاً صعودیست، به‌جای بیشینه کردن این تابع لگاریتمش را هم می‌شود بیشینه کرد و پارامتر بهینه را از آن طریق پیدا کرد: formula_113 پارامتر بهینه
را از آن طریق پیدا کرد: formula_113 پارامتر بهینه از این طریق برابر است با: formula_114 به این ترتیب پارامتری که formula_115 را بیشینه می‌کند همان پارامتری است که formula_55 را به حداقل می‌رساند. این یعنی در رگرسیون خطی نتیجهٔ روش کمترین مربعات با روش برآورد درست‌نمایی بیشینه یکی است. تنظیم مدل. پیچیدگی مدل‌های پارامتری با تعداد پارامترهای مدل و مقادیر آن‌ها سنجیده می‌شود. هرچه این پیچیدگی بیشتر باشد خطر بیش‌برازش برای مدل بیشتر است. پدیدهٔ بیش‌برازش زمانی رخ می‌دهد که مدل به‌جای یادگیری الگوهای موجود در
رخ می‌دهد که مدل به‌جای یادگیری الگوهای موجود در داده، خود داده را به خاطر می‌سپارد. در این حالت، مدل برای آن مجموعه دادهٔ به‌خصوص خوب عمل می‌کند اما برای داده‌های مشابه دیگر عملکرد خوبی ندارد، که یعنی عمل یادگیری به خوبی انجام نشده‌است. برای جلوگیری از بیش‌برازش در مدل‌های خطی مانند رگرسیون خطی یا رگرسیون لجستیک، یک «جریمه» به تابع هزینه اضافه می‌شود تا از افزایش زیاد پارامترها جلوگیری شود. به این کار تنظیم مدل گفته می‌شود. دو راه متداول تنظیم مدل‌های خطی روش‌های formula_2 و formula_1 هستند. در روش
خطی روش‌های formula_2 و formula_1 هستند. در روش formula_2 ضریبی از نُرمِ formula_2 به تابع هزینه اضافه می‌شود و در روش formula_1 ضریبی از نُرمِ formula_1 که همان نُرمِ اقلیدسی است به تابع هزینهٔ اضافه می‌شود. نام روش‌های formula_2 و formula_1 از نُرمی که در این روش‌ها به تابع هزینه اضافه می‌شود گرفته شده‌است. در تنظیم مدل به روش formula_2 تابع هزینه را به این شکل تغییر می‌دهیم: formula_126 این روش تنظیم مدل که به روش لَسو نیز شهرت دارد باعث می‌شود که بسیاری از پارامترهای مدل نهائی صفر شوند و مدل به اصلاح
از پارامترهای مدل نهائی صفر شوند و مدل به اصلاح خلوت شود. در تنظیم مدل به روش formula_1 که به رگرسیون ستیغی نیز شهرت دارد تابع هزینه را به این شکل تغییر می‌دهیم: formula_128 در روش تنظیم از طریق formula_1 سعی می‌شود طول اقلیدسی بردار formula_130 کوتاه نگه داشته شود. formula_131 در هر دو روش formula_2 و formula_1 یک عدد مثبت است که میزان تنظیم مدل را معین می‌کند. هرچقدر formula_131کوچکتر باشد جریمهٔ کمتری برای بزرگی نرم بردار پارامترها یعنی formula_56 محاسبه می‌شود. مقدار بهینهٔ formula_131 از طریق آزمایش
می‌شود. مقدار بهینهٔ formula_131 از طریق آزمایش بر روی بخشی از داده‌ها پیدا می‌شود که در یادگیری مدل دخالت داده نشده‌اند؛ به این بخش از داده‌ها، دادهٔ اعتبار یا مجموعهٔ اعتبارسنجی گفته می‌شود. با استفاده از ضرایب لاگرانژ می‌توان اثبات کرد که تنظیم مدل formula_2 و formula_1 نوعی بهینه‌سازی مقید هستند. در تنظیم مدل formula_2 تابع هزینه به نحوی کمینه می‌شود که نرمِ formula_2 از یک مقدار مشخصی که بستگی به formula_131 دارد بیشتر نشود. به همین نحو، تنظیم مدل formula_1 تابع هزینه را همزمان با مقید کردن نرم
formula_1 تابع هزینه را همزمان با مقید کردن نرم formula_1 کاهش می‌دهد. تفسیر احتمالی تنظیم مدل. اگر به جای روش برآورد درست‌نمایی بیشینه از روش بیشینه‌سازی احتمال پسین استفاده شود ساختار «تنظیم مدل» به دست می‌آید. اگر مجموعهٔ داده را با formula_144 و پارامتری که به دنبال تخمین آن هستیم را با formula_56 نمایش بدهیم، طبق قانون بیز احتمال پسین یعنی formula_146متناسب خواهد بود با حاصلضرب درست‌نمایی یعنی formula_147 و احتمال پیشین یعنی formula_148: formula_149 از این رو: formula_150 معادلهٔ خط پیشین نشان می‌دهد
این رو: formula_150 معادلهٔ خط پیشین نشان می‌دهد که برای یافتن پارامتر بهینه فقط کافیست که احتمال پیشین را نیز در معادله دخیل کنیم. اگر احتمال پیشین را یک توزیع گاوسی با میانگین صفر و کوواریانس formula_151در نظر بگیریم به معادلهٔ پایین می‌رسیم: formula_152 با ساده کردن این معادله به جواب زیر می‌رسیم که در آن formula_131 برابر است با formula_154: formula_155 این جواب برابر با نتیجهٔ تنظیم مدل با نرم formula_1است. به‌طور مشابه، اگر احتمال پیشین را از نوع توزیع لاپلاس با میانگین صفر در نظر بگیریم به تنظیم مدل
لاپلاس با میانگین صفر در نظر بگیریم به تنظیم مدل با نرم formula_2 خواهیم رسید. انتخاب متغیر. معمولاً تعدادِ زیادِ متغیرهای مستقل، تعبیرپذیری مدلِ نهایی را دچار مشکل می‌کند. مضاف بر این بعضی از متغیرهای مستقل ممکن است باعث کاهش دقت مدل شوند. به همین دلیل حذف این متغیرها و استفاده از تنها یک زیرمجموعه بهینه از متغیرهای مستقل می‌تواند مدلی با کارایی بالاتری تولید کند. روش‌های مختلفی برای انتخاب متغیرها وجود دارد. یکی از ساده‌ترین راه‌ها محاسبه تابع هزینه به ازای تمام زیرمجموعه‌های ممکن و انتخاب زیرمجموعه
ازای تمام زیرمجموعه‌های ممکن و انتخاب زیرمجموعه بهینه با کمترین میزان هزینه است. در این روش مسئله رگرسیون خطی باید به ازای تمامی زیرمجموعه‌ها، یعنی formula_158 بار، حل شود. از این‌رو این روش معمولاً برای مسائلی که داده‌های زیادی دارند یا تعداد متغیرهای مستقل آن بزرگ است (معمولاً formula_159) راه حل مناسبی نیست. روش‌های پیش‌رو و پس‌رو که متناوباً متغیرهای مستقل را انتخاب یا حذف می‌کنند یا روش‌های کوچک سازی که از طریق اعمال محدودیت بر روی پارامترها میزان اثرگذاری آن‌ها را در مدل نهایی مهار می‌کنند، راه‌های
آن‌ها را در مدل نهایی مهار می‌کنند، راه‌های بهتری برای انتخاب متغیر هستند. در روش پیش‌رو، ابتدا عرض از مبدأ از طریق محاسبه میانگین مقادیر متغیر وابسته به‌دست می‌آید، سپس به تناوب در هر مرحله متغیری که باعث بیشترین کاهش تابع هزینه می‌شود به مدل افزوده می‌شود. به زبان دقیق‌تر در مرحله formula_160، یک متغیر از متغیرهای مستقل که تا به حال انتخاب نشده به formula_161 متغیر منتخب اضافه می‌شود. در نهایت بهترین زیرمجموعه از میانِ formula_36 زیرمجموعه‌ای که متناوباً ساخته شده با استفاده از اعتبارسنجی متقابل محاسبه
ساخته شده با استفاده از اعتبارسنجی متقابل محاسبه می‌شود. برای تسریع انتخاب متغیر مستقل بهینه در هر مرحله می‌توان از تجزیه کیوآر استفاده کرد. روش پس‌رو مانند روش پیش‌رو عمل می‌کند با این تفاوت که در ابتدا تمام متغیرهای مستقل مورد استفاده قرار می‌گیرند و در هر مرحله یک متغیر مستقل حذف می‌شود. بهترین متغیر برای حذف در هر مرحله متغیری است که کمترین امتیاز طبیعی را داشته باشد. در روشهای کوچک سازی که همان روشهای تنظیم مدل است، سعی بر این است که برای جلوگیری از بیش‌برازش، میزان اثرگذاری پارامترها مهار شود. به
بیش‌برازش، میزان اثرگذاری پارامترها مهار شود. به همین منظور مسئله بهینه‌سازی به یک بهینه‌سازی مقید تغییر داده می‌شود تا نُرمِ formula_2 یا formula_1 از یک مقدار معینی زیادتر نشود. در روش کوچک سازی formula_2 مسئله بهینه‌سازی به عبارت پایین تغییر شکل می‌دهد که معادل تنظیم مدل لسو است. این روش باعث می‌شود که مدل نهائی به اصطلاح خلوت شود و ضریب بسیاری از متغیرها صفر گردد.formula_166به صورت مشابه در روش کوچک سازی formula_1، مسئله بهینه‌سازی با معادله پایین برابر خواهد بود که معادل رگرسیون ستیغی است. این روش
خواهد بود که معادل رگرسیون ستیغی است. این روش باعث می‌شود که ضرایب رگرسیون زیاد بزرگ نشوند.formula_168 تعمیم. رگرسیون چندک و میانه. رگرسیونهای خطی که بر کمترین مربعات استوارند، معمولاً سعی دارند که میانگین متغیر وابسته را بر اساس توزیع شرطی این متغیر و با کمک ترکیبی خطی از متغیرهای مستقل تخمین بزنند. در مقایسه، رگرسیون چندک هدف را بر محاسبه یک یا چند چندکِ متغیر وابسته می‌گذارد. رگرسیون چندک معمولاً با داده‌های پرت بهتر از رگرسیون معمولی کار می‌کند و پیش‌فرضهای کمتری دارد من‌جمله اینکه توزیع شرطی متغیر
کمتری دارد من‌جمله اینکه توزیع شرطی متغیر وابسته ضرورتاً لازم نیست توزیعی طبیعی باشد. همچنین رگرسیون چندک در مسائلی به کار می‌رود که هدف به‌دست آوردن توزیع مشروط متغیر وابسته باشد نه فقط یک آماره از آن مانند میانگین؛ چه که با استفاده از چندک‌های یک توزیع می‌توان کل توزیع را تقریب زد. اگر formula_169 تابع توزیع تجمعیِ متغیر formula_30 باشد، و formula_171 عددی در formula_172 باشد، آنگاه چندک مرتبط با این عدد به این شکل تعریف می‌شود: formula_173 می‌توان نشان‌داد که: formula_174 که در اینجا formula_175است. حال
که: formula_174 که در اینجا formula_175است. حال اگر تابع توزیع تجمعی را نداشته باشیم و فقط formula_94 نمونه از توزیع متغیر داشته باشیم آنگاه چندک متغیر را با بهینه‌سازی پایین می‌توان به‌دست‌آورد. formula_177 این مسئله بهینه‌سازی با کمک برنامه‌ریزی خطی حل می‌شود. اگر formula_171با formula_179 برابر باشد، رگرسیون خطی، میانه را تخمین خواهد زد و تابع هزینه به مجموع قدر مطلق تفاضل پیش‌بینی و داده وابسته تغییر شکل می‌یابد: formula_180 رگرسیون چندک در علوم بوم‌شناسی کاربرد فراوانی دارد. معمولاً به علت پیچیدگی و
کاربرد فراوانی دارد. معمولاً به علت پیچیدگی و تعداد زیاد عوامل اثرگذار در یک رویداد طبیعی، توزیع‌های شرطی متغیرهای وابسته اغلب واریانس بالا و غیر همسانی دارند که باعث می‌شود رابطه بین متغیرهای مستقل و میانگین توزیع شرطی ضعیف شود؛ تقریب کل توزیع شرطی با استفاده از تخمین خطی چندک‌های توزیع شرطی حاوی اطلاعات بیشتری برای پژوهشگران این رشته‌است و این تقریب از طریق رگرسیون چندک به دست می‌آید. رگرسیون کمترین زاویه (لارس). در رگرسیون کمترین زاویه که به آن رگرسیون لارس هم گفته می‌شود، ضرایب رگرسیون در یک فرایند
لارس هم گفته می‌شود، ضرایب رگرسیون در یک فرایند افزایشی به شکل زیر تخمین زده می‌شوند: رگرسیون لارس مانند رگرسیون لَسو باعث می‌شوند مدل نهائی خلوت شود و بسیاری از ضرایبِ مدل صفر شود. این مدل برای داده‌هایی بُعد بالا مورد استفاده قرار می‌گیرد. رگرسیون خطی با وزنهای موضعی. رگرسیون خطی با وزنهای موضعی همانند کمترین مربعات کار می‌کند با این تفاوت که مسئله پیش‌بینی برای هر کدام از داده‌های جدید متفاوت خواهد بود. در رگرسیون خطی معمولی یک بار مدل تخمین زده می‌شود و بعد برای پیش‌بینی داده‌های جدید از آن استفاده
و بعد برای پیش‌بینی داده‌های جدید از آن استفاده می‌شود. در مدل رگرسیون خطی با وزنهای موضعی اما برای هر داده جدید یک تخمین جدید رخ خواهد داد به گونه‌ای که داده‌های آموزشیِ نزدیکتر به داده جدید وزن بالاتری در مسئله بهینه‌سازی بگیرند و رگرسیون خطی به صورت موضعی انجام شود: formula_192 در اینجا formula_193 وزن موضعی داده جدید formula_5 را با داده آموزشی formula_195 نشان می‌دهد که با فاصله این دو داده نسبت به هم نسبت عکس دارد مانند نمونه پایین: formula_196 در این نوع رگرسیون داده‌های آموزشی که به داده جدید
این نوع رگرسیون داده‌های آموزشی که به داده جدید نزدیکترند وزن بیشتری خواهند گرفت و داده‌های دورتر عملاً نادیده گرفته می‌شوند. رگرسیون خطی تعمیم‌یافته. در رگرسیون خطی تعمیم یافته برای پیش‌بینی متغیر وابسته یک ترکیب خطی از نگاشتی از متغیرهای مستقل را در نظر می‌گیرند نه خود آن متغیرها را. به بیان دیگر: formula_197 در این تابع، formula_198 از فضای formula_199 بُعدی به یک فضای formula_200 بُعدی از طریق نگاشت formula_201 منتقل شده‌است و سپس در آن فضا مقادیر جدید از طریق ترکیبی خطی با هم ترکیب شده‌اند. به عنوان
از طریق ترکیبی خطی با هم ترکیب شده‌اند. به عنوان مثال در رگرسیون خطی ساده می‌توان چندین متغیر جدید را از طریق یک چند جمله‌ای درجه formula_200 تولید کرد و سپس رگرسیون خطی را به‌وسیلهٔ آنها انجام داد، که این کار معادل نگاشت متغیر مستقل به یک فضای formula_200 بعدی و انجام رگرسیون در آن فضاست: formula_204 رگرسیون خطی تعمیم‌یافته را می‌توان زمانی به کار برد که رابطهٔ بین متغیر وابسته و مستقل یک خط راست نباشد اما بتوان از طریق یک انگاشت آن را به خطی راست تبدیل کرد. به عنوان مثال برای پیش‌بینی میزان تنش در یک
کرد. به عنوان مثال برای پیش‌بینی میزان تنش در یک سازه ساختمانی از رگرسیون چند جمله‌ای استفاده می‌کنند چه که رابطهٔ متغیر مستقل و وابسته خطی نیست و شباهت بیشتری به یک تابع درجه دو دارد. مدل سلسله مراتبی. مدل سلسله مراتبی (یا مدل چند سطحی) مدل رگرسیونی است که پارامترهای آن بر اساس خوشه یا سطحی که داده به آن تعلق دارد ممکن است تغییر کند. به عنوان مثال در مسئله پیش‌بینی میزان سلامتی فرد از طریق مقدار درآمد او، از آنجا که افرادی که در یک محله زندگی می‌کنند میزان درآمد و سلامتی آنها به هم وابستگی بیشتری نسبت به