رگرسیون لجستیک
رگرسیون لجستیک یک مدل آماری رگرسیون برای متغیرهای وابسته دوسویی مانند بیماری یا سلامت، مرگ یا زندگی است. این مدل را می‌توان به عنوان مدل خطی تعمیم‌یافته‌ای که از تابع لوجیت به عنوان تابع پیوند استفاده می‌کند و خطایش از توزیع چندجمله‌ای پیروی می‌کند، به‌حساب‌آورد. منظور از دو سویی بودن، رخ داد یک واقعه تصادفی در دو موقعیت ممکنه است. به عنوان مثال خرید یا عدم خرید، ثبت نام یا عدم ثبت نام، ورشکسته شدن یا ورشکسته نشدن و … متغیرهایی هستند که فقط دارای دو موقعیت هستند و مجموع احتمال هر یک آن‌ها در نهایت یک خواهد شد. کاربرد این روش عمدتاً در ابتدای ظهور در مورد کاربردهای پزشکی برای احتمال وقوع یک بیماری مورد استفاده قرار می‌گرفت. لیکن امروزه در تمام زمینه‌های علمی کاربرد وسیعی یافته‌است. به عنوان مثال مدیر سازمانی می‌خواهد بداند در مشارکت یا عدم مشارکت کارمندان کدام متغیرها نقش پیش‌بینی دارند؟ مدیر تبلیغاتی می‌خواهد بداند در خرید یا عدم خرید یک محصول یا برند چه متغیرهایی مهم هستند؟ یک مرکز تحقیقات پزشکی می‌خواهد بداند در مبتلا شدن به بیماری عروق کرنری قلب چه متغیرهایی نقش پیش‌بینی‌کننده دارند؟ تا با اطلاع‌رسانی از احتمال وقوع کاسته شود.
رگرسیون لجستیک می‌تواند یک مورد خاص از مدل خطی عمومی و رگرسیون خطی دیده شود. مدل رگرسیون لجستیک، بر اساس فرض‌های کاملاً متفاوتی (دربارهٔ رابطه متغیرهای وابسته و مستقل) از رگرسیون خطی است. تفاوت مهم این دو مدل در دو ویژگی رگرسیون لجستیک می‌تواند دیده شود. اول توزیع شرطی formula_1 یک توزیع برنولی به جای یک توزیع گوسی است چونکه متغیر وابسته دودویی است. دوم مقادیر پیش‌بینی احتمالاتی است و محدود بین بازه صفر و یک و به کمک تابع توزیع لجستیک بدست می‌آید رگرسیون لجستیک احتمال خروجی پیش‌بینی می‌کند.
این مدل به صورت
است که
رگرسیون لجستیک را می‌توان توسط تابع لجستیک تعریف کرد. دامنه این تابع اعداد حقیقی هستند و برد این تابع بین صفر و یک می‌باشد. این تابع با formula_6 نمایش داده می‌شود و به نحو پایین محاسبه می‌شود:
formula_7
با احتساب تابع لجستیک، رگرسیون لجستیک را می‌توان به شکل پایین بازنویسی کرد:
formula_8 برای بدست آوردن پارامترهای بهینه یعنی formula_9 می‌توان از روش برآورد درست نمایی بیشینه (Maximum Likelihood Estimation) استفاده کرد. اگر فرض کنیم که تعداد مثال‌هایی که قرار است برای تخمین پارامترها استفاده کنیم formula_10 است و این مثال‌ها را به این شکل نمایش دهیم formula_11. پارامتر بهینه پارامتری است که برآورد درست نمایی را بیشینه کند، البته برای سادگی کار برآورد لگاریتم درست نمایی را بیشینه می‌کنیم. لگاریتم درست نمایی داده formula_12 برای پارامتر formula_13 را با formula_14 نمایش می‌دهیم:
formula_15
اگر برای داده formula_16 ام formula_17 باشد، هدف افزایشformula_18 است و اگر formula_19 صفر باشد هدف افزایش مقدار formula_20 است. از این رو از فرمول formula_21 استفاده می‌کنیم که اگر formula_17 باشد، فرمول به ما formula_18 را بدهد و اگر formula_24 بود به ما formula_20 را بدهد.
حال برای بدست آوردن پارامتر بهینه باید formula_13 یی پیدا کنیم که مقدار formula_14 را بیشینه کند. از آنجا که این تابع نسبت به formula_13 مقعر است حتماً یک بیشینه مطلق دارد. برای پیدا کردن جواب می‌توان از روش گرادیان افزایشی از نوع تصادفی اش استفاده کرد (Stochastic Gradient Ascent). در این روش هر بار یک مثال را به‌صورت اتفاقی از نمونه‌های داده انتخاب کرده، گرادیان درست نمایی را حساب می‌کنیم و کمی در جهت گرادیان پارامتر را حرکت می‌دهیم تا به یک پارامتر جدید برسیم. گرادیان جهت موضعی بیشترین افزایش را در تابع به ما نشان می‌دهد، برای همین در آن جهت کمی حرکت می‌کنیم تا به بیشترین افزایش موضعی تابع برسیم. اینکار را آنقدر ادامه می‌دهیم که گرادیان به اندازه کافی به صفر نزدیک شود. به‌جای اینکه داده‌ها را به‌صورت تصادفی انتخاب کنیم می‌توانیم به ترتیب داده شماره formula_29تا داده شماره formula_30 را انتخاب کنیم و بعد دوباره به داده اولی برگردیم و این کار را به‌صورت متناوب چندین بار انجام دهیم تا به اندازه کافی گرادیان به صفر نزدیک شود. از لحاظ ریاضی این کار را می‌توان به شکل پایین انجام داد، پارامتر formula_13 را در ابتدا به‌صورت تصادفی مقدار دهی می‌کنیم و بعد برای داده formula_16ام و تمامی formula_33‌ها، یعنی از formula_34 تا formula_35 تغییر پایین را اعمال می‌کنیم، دراینجا formula_36 همان مقداریست که در جهت گرادیان هربار حرکت می‌کنیم و formula_37 مشتق جزئی داده formula_16ام در بُعد formula_33ام است:
formula_40 پیچیدگی مدل‌های پارامتری با تعداد پارامترهای مدل و مقادیر آن‌ها سنجیده می‌شود. هرچه این پیچیدگی بیشتر باشد خطر بیش‌برازش (Overfitting) برای مدل بیشتر است. پدیده بیش‌برازش زمانی رخ می‌دهد که مدل به‌جای یادگیری الگوهای داده، داده را را حفظ کند و در عمل، فرایند یادگیری به خوبی انجام نمی‌شود. برای جلوگیری از بیش‌برازش در مدل‌های خطی مانند رگرسیون خطی یا رگرسیون لجستیک جریمه‌ای به تابع هزینه اضافه می‌شود تا از افزایش زیاد پارامترها جلوگیری شود. تابع هزینه را در رگرسیون لجستیک با منفی لگاریتم درست‌نمایی تعریف می‌کنیم تا کمینه کردن آن به بیشینه کردن تابع درست نمایی بیانجامد. به این کار تنظیم مدل یا Regularization گفته می‌شود. دو راه متداول تنظیم مدل‌های خطی روش‌های formula_41 و formula_42 هستند. در روش formula_41 ضریبی از نُرمِ formula_41 به تابع هزینه اضافه می‌شود و در روش formula_42 ضریبی از نُرمِ formula_42 که همان نُرمِ اقلیدسی است به تابع هزینه اضافه می‌شود.
در تنظیم مدل به روش formula_41 تابع هزینه را به این شکل تغییر می‌دهیم:
formula_48
این روش تنظیم مدل که به روش لاسو (Lasso) نیز شهرت دارد باعث می‌شود که بسیاری از پارامترهای مدل نهائی صفر شوند و مدل به اصطلاح خلوت (Sparse) شود.
در تنظیم مدل به روش formula_42 تابع هزینه را به این شکل تغییر می‌دهیم:
formula_50
در روش تنظیم از طریق formula_42 سعی می‌شود طول اقلیدسی بردار formula_52 کوتاه نگه داشته شود. formula_53 در روش formula_41 و formula_42 یک عدد مثبت است که میزان تنظیم مدل را معین می‌کند. هرچقدر formula_53 کوچکتر باشد جریمه کمتری برا بزرگی نرم بردار پارامترها یعنی formula_13 پرداخت می‌کنیم. مقدار ایدئال formula_53 از طریق آزمایش بر روی داده اعتبار (Validation Data) پیدا می‌شود.
اگر به‌جای روش درست نمایی بیشینه از روش بیشینه سازی احتمال پسین استفاده کنیم به ساختار «تنظیم مدل» یا همان regularization خواهیم رسید. اگر مجموعه داده را با formula_12 نمایش بدهیم و پارامتری که به دنبال تخمین آن هستیم را با formula_13، احتمال پسین formula_61، طبق قانون بیز متناسب خواهد بود با حاصلضرب درست نمایی یعنی formula_62 و احتمال پیشین یعنی formula_63:
formula_64
ازین رو
formula_65
معادله خط پیشین نشان می‌دهد که برای یافتن پارامتر بهینه فقط کافیست که احتمال پیشین را نیز در معادله دخیل کنیم. اگر احتمال پیشین را یک توزیع احتمال با میانگین صفر و کوواریانس formula_66 در نظر بگیریم به معادله پایین می‌رسیم:
formula_67
با ساده کردن این معادله به نتیجه پایین می‌رسیم:
formula_68
با تغییر علامت معادله، بیشینه‌سازی را به کمینه‌سازی تغییر می‌دهیم، formula_69 در این معادله همان formula_70 است:
formula_71
همان‌طور که دیدیم جواب همان تنظیم مدل با نرم formula_42 است.
حال اگر توزیع پیشین را از نوع توزیع لاپلاس با میانگین صفر در نظر بگیریم به تنظیم مدل با نرم formula_41 خواهیم رسید.
از آنجا که میانگین هر دو توزیع پیشین صفر است، پیش‌فرض تخمین پارامتر بر این بنا شده‌است که اندازه پارامتر مورد نظر کوچک و به صفر نزدیک باشد و این پیش‌فرض با روند تنظیم مدل همخوانی دارد.
رگرسیون لجستیک در زمینه‌های مختلف از جمله یادگیری ماشین، اکثر رشته‌های پزشکی و علوم اجتماعی مورد استفاده قرار می‌گیرد. به عنوان مثال، ، که به‌طور گسترده برای پیش‌بینی مرگ و میر در بیماران مصدوم مورد استفاده قرار می‌گیرد، توسط بوید و همکارانش با استفاده از رگرسیون لجستیک ایجاد شد. مقیاسهای پزشکی دیگری که برای ارزیابی شدت بیماری به کار می‌رود با استفاده از رگرسیون لجستیک ساخته شده‌اند. رگرسیون لجستیک ممکن است برای پیش‌بینی خطر ابتلا به یک بیماری خاص (به عنوان مثال دیابت؛ بیماری انسداد قلب)، بر اساس ویژگی‌های مشاهده شده بیمار (سن، جنس، شاخص توده بدنی، نتایج آزمایش‌های مختلف خون و غیره) مورد استفاده قرار گیرد. رگرسیون لجستیک در علوم سیاسی هم کاربرد دارد. به عنوان مثال این مدل می‌تواند بر روی پیش‌بینی اینکه رای‌دهنده نپالی به کنگره نپالی یا حزب کمونیست نپال یا هر حزب دیگری رای دهد، بر اساس سن، درآمد، جنس، نژاد، وضعیت سکونت، آراء در انتخابات‌های قبلی و غیره کارکند. این روش همچنین می‌تواند در مهندسی مورد استفاده قرار گیرد، به ویژه برای پیش‌بینی احتمال عدم موفقیت یک فرایند، سیستم یا محصول معین. همچنین در برنامه‌های بازاریابی مانند پیش‌بینی تمایل مشتری برای خرید یک محصول یا متوقف کردن اشتراک و غیره مورد استفاده قرار گیرد.
تابع لجستیک به عنوان مدلی برای پیش‌بینی رشد جمعیت توسط پیر فرانسوا ورهولست و کمک آدولف کوتله در دهه ۱۸۳۰ و ۱۸۴۰ توسعه یافت و «لجستیک» نامگذاری شد.
تابع لجستیک به‌طور مستقل در شیمی برای مدل‌سازی واکنش خودکاتالیزی توسعه یافت. واکنش خودکاتالیزی یک واکنش شیمیایی است که یکی از محصولات واکنش خود یک فروکافت برای همان واکنش یا یک واکنش جفت باشد.
تابع لجستیک به‌طور مستقل به عنوان مدلی برای پیش‌بینی رشد جمعیت در سال ۱۹۲۰ توسط ریموند پرل و لاول رید دوباره ایجاد و به چاپ رسید که منجر به استفاده آن در علم آمار شد. آنها در ابتدا این مدل را برای مدل‌سازی جمعیت ایالات متحده آمریکا به کار گرفته بودند. ریموند پرل و لاول رید در ابتدا از کار ورهولست بی‌خبر بودند و احتمالاً در مورد آن از گوستاو دو پاسگیر آگاهی یافتند، اما اعتبار کمی به او دادند و اصطلاحات او را اتخاذ نکردند. تقدم کار ورهولست بعدها مورد تأکید قرار گرفت و اصطلاح «لجستیک» توسط اودنی یول در سال ۱۹۲۵ احیا شد و از آن زمان مورد استفاده قرار گرفت.
در دهه ۱۹۳۰، مدل پروبیت توسط چستر ایتنر بلیس و جان گادوم ابداع شد و اصطلاح «پروبیت» برای آن مورد استفاده قرار گرفت. فیشر کمی بعدتر مدل پروبیت را با تخمین از طریق برآورد درست‌نمایی بیشینه توسعه داد. مدل پروبیت در ابتدا اساساً برای زیست سنجی مورد استفاده قرار می‌گرفت و پیش از آن هم در کارهای مشابهی در این زمینه در دهه ۱۸۶۰ از آن استفاده می‌شد. مدل پروبیت بر توسعه بعدی رگرسیون لجستیک تأثیر گذاشت؛ این دو مدل رقیب یکدیگر بودند.
مدل لجستیک احتمالاً برای اولین بار به عنوان جایگزینی برای مدل پروبیت در زیست سنجی توسط ادوین بیدول ویلسون و شاگردش جین ورسستر در مورد استفاده قرار گرفت. با این حال، توسعه مدل لجستیک به عنوان یک جایگزین کلی برای مدل پروبیت، عمدتاً ناشی از کار جوزف برکسون طی چند دهه بود. وی کلمه «لوجیت» را با قیاس به «پروبیت» ایجاد کرد. مدل لوجیت در ابتدا به عنوان مدلی ضعیف‌تر از پروبیت رد شد، اما به تدریج به برابری با مدل پروبیت دست یافت و بعد از آن پیشی‌گرفت. این محبوبیت نسبی بخاطر سادگی محاسباتی، خصوصیات ریاضی و کلی بودن مدل بود که اجازه استفاده از آن را در حوزه‌های گوناگون می‌داد. دیوید کاکس بعدها اصلاحات فراوانی بر روی مدل لوجیت اعمال کرد.
با توسعه مدل لوجیت به مدلی چندجمله‌ای دامنه کاربرد و محبوبیت مدل به شدت افزایش پیدا کرد.