|  |
| --- |
| بخشی از مجموعه مباحث دربارهٔ آمار |
| تحلیل رگرسیون |
| 
مدل‌ها |
| * رگرسیون خطی
* رگرسیون خطی ساده
* رگرسیون چندجمله‌ای
* رگرسیون چندمتغیره
 |
| * مدل خطی تعمیم‌یافته
* انتخاب گسسته
* رگرسیون لجستیک
* لوجیت چندجمله‌ای
* لوجیت آمیخته
* مدل پروبیت
* پروبیت چندجمله‌ای
* لوجیت مرتب
* پروبیت مرتب
* رگرسیون پواسون
 |
| * مدل سلسله‌مراتبی
* مدل اثرات ثابت
* مدل اثرهای تصادفی
* مدل آمیخته
 |
| * رگرسیون غیرخطی
* رگرسیون ناپارامتری
* رگرسیون نیمه‌پارامتری
* رگرسیون باثبات
* رگرسیون چندک
* رگرسیون ایزوتونیک
* رگرسیون مولفه اصلی
* رگرسیون کمترین زاویه
* رگرسیون موضعی
* رگرسیون مقطع
 |
| * مدل خطا در متغیرها
 |
| 
برآورد |
| * کمترین مربعات
* کمترین مربعات خطی
* کمترین مربعات غیرخطی
 |
| * حداقل مربعات معمولی
* کمترین مربعات وزن‌دار
* روش تعمیم‌یافته کمترین مربعات
 |
| * رگرسیون پاره‌ای کمتری مربعات
* مجموع کمترین مربعات
* کمترین مربعات نامنفی
* تنظیم تیخونوف
* کمترین مربعات منظم
 |
| * کمترین انحرافات مطلق
* کمترین مربعات بازوزن‌داده مکرر
* رگرسیون خطی بیزی
* رگرسیون چندمتغیره خطی بیزی
 |
| 
پیش‌زمینه |
| * اعتبارسنجی مدل رگرسیون
* پاسخ میانگین و پیش‌بینی‌شده
* خطاها و باقی‌مانده‌ها در آمار
* نیکویی برازش
* باقی‌مانده استودنت‌شده
* قضیه گوس-مارکف
 |
| * نشان درگاه درگاه آمار
 |
| * ن
* ب
* و
 |

**رگرسیون لجستیک** (به انگلیسی: Logistic regression) یک مدل آماری رگرسیون برای متغیرهای وابسته دوسویی مانند بیماری یا سلامت، مرگ یا زندگی است. این مدل را می‌توان به عنوان مدل خطی تعمیم‌یافته‌ای که از تابع لوجیت به عنوان تابع پیوند استفاده می‌کند و خطایش از توزیع چندجمله‌ای پیروی می‌کند، به‌حساب‌آورد.
منظور از دو سویی بودن، رخ داد یک واقعه تصادفی در دو موقعیت ممکنه است. به عنوان مثال خرید یا عدم خرید، ثبت نام یا عدم ثبت نام، ورشکسته شدن یا ورشکسته نشدن و … متغیرهایی هستند که فقط دارای دو موقعیت هستند و مجموع احتمال هر یک آن‌ها در نهایت یک خواهد شد. کاربرد این روش عمدتاً در ابتدای ظهور در مورد کاربردهای پزشکی برای احتمال وقوع یک بیماری مورد استفاده قرار می‌گرفت. لیکن امروزه در تمام زمینه‌های علمی کاربرد وسیعی یافته‌است. به عنوان مثال مدیر سازمانی می‌خواهد بداند در مشارکت یا عدم مشارکت کارمندان کدام متغیرها نقش پیش‌بینی دارند؟ مدیر تبلیغاتی می‌خواهد بداند در خرید یا عدم خرید یک محصول یا برند چه متغیرهایی مهم هستند؟ یک مرکز تحقیقات پزشکی می‌خواهد بداند در مبتلا شدن به بیماری عروق کرنری قلب چه متغیرهایی نقش پیش‌بینی‌کننده دارند؟ تا با اطلاع‌رسانی از احتمال وقوع کاسته شود.

رگرسیون لجستیک می‌تواند یک مورد خاص از مدل خطی عمومی و رگرسیون خطی دیده شود. مدل رگرسیون لجستیک، بر اساس فرض‌های کاملاً متفاوتی (دربارهٔ رابطه متغیرهای وابسته و مستقل) از رگرسیون خطی است. تفاوت مهم این دو مدل در دو ویژگی رگرسیون لجستیک می‌تواند دیده شود. اول توزیع شرطی {\displaystyle y|{\vec {x}}} یک توزیع برنولی به جای یک توزیع گوسی است چونکه متغیر وابسته دودویی است. دوم مقادیر پیش‌بینی احتمالاتی است و محدود بین بازه صفر و یک و به کمک تابع توزیع لجستیک به‌دست می‌آید رگرسیون لجستیک احتمال خروجی پیش‌بینی می‌کند.

این مدل به صورت

{\displaystyle \operatorname {logit} (p)=\ln \left({\frac {p}{1-p}}\right)=\beta \_{0}+\beta \_{1}x\_{1,i}+\cdots +\beta \_{k}x\_{k,i},}

{\displaystyle i=1,\dots ,n,\,}

است که

{\displaystyle p=\Pr(y\_{i}=1).\,}

{\displaystyle p=\Pr(y\_{i}=1|{\vec {x\_{i}}};{\vec {\beta }})={\frac {e^{\beta \_{0}+\beta \_{1}x\_{1,i}+\cdots +\beta \_{k}x\_{k,i}}}{1+e^{\beta \_{0}+\beta \_{1}x\_{1,i}+\cdots +\beta \_{k}x\_{k,i}}}}={\frac {1}{1+e^{-\left(\beta \_{0}+\beta \_{1}x\_{1,i}+\cdots +\beta \_{k}x\_{k,i}\right)}}}.}

تابع لجستیک استاندارد
رگرسیون لجستیک را می‌توان توسط تابع لجستیک تعریف کرد. دامنه این تابع اعداد حقیقی هستند و برد این تابع بین صفر و یک می‌باشد. این تابع با {\displaystyle \sigma :\mathbb {R} \rightarrow (0,1)} نمایش داده می‌شود و به نحو پایین محاسبه می‌شود:

{\displaystyle \sigma (t)={\frac {e^{t}}{e^{t}+1}}={\frac {1}{1+e^{-t}}}}

با احتساب تابع لجستیک، رگرسیون لجستیک را می‌توان به شکل پایین بازنویسی کرد:

{\displaystyle \Pr(y\_{i}=1|{\vec {x\_{i}}};{\vec {\beta }})={\frac {1}{1+e^{-\left(\beta \_{0}+\beta \_{1}x\_{1,i}+\cdots +\beta \_{k}x\_{k,i}\right)}}}=\sigma \left(\beta \_{0}+\beta \_{1}x\_{1,i}+\cdots +\beta \_{k}x\_{k,i}\right)}

برآورد پارامترهای بهینه
-----------------------

برای به‌دست آوردن پارامترهای بهینه یعنی {\displaystyle {\vec {\beta }}=[\beta \_{0},\beta \_{1},\cdots ,\beta \_{k}]} می‌توان از روش برآورد درست نمایی بیشینه (Maximum Likelihood Estimation) استفاده کرد. اگر فرض کنیم که تعداد مثال‌هایی که قرار است برای تخمین پارامترها استفاده کنیم {\displaystyle n} است و این مثال‌ها را به این شکل نمایش دهیم {\displaystyle D=({\vec {x\_{1}}},y\_{1}),\cdots ({\vec {x\_{n}}},y\_{n})}. پارامتر بهینه پارامتری است که برآورد درست نمایی را بیشینه کند، البته برای سادگی کار برآورد لگاریتم درست نمایی را بیشینه می‌کنیم. لگاریتم درست نمایی داده {\displaystyle D} برای پارامتر {\displaystyle {\vec {\beta }}} را با {\displaystyle L(D,{\vec {\beta }})} نمایش می‌دهیم:

{\displaystyle L(D,{\vec {\beta }})=\log \left(\prod \_{i=1}^{n}Pr(y\_{i}=1|{\vec {x\_{i}}};{\vec {\beta }})^{y\_{i}}\times Pr(y\_{i}=0|{\vec {x\_{i}}};{\vec {\beta }})^{1-y\_{i}}\right)=\sum \_{i=1}^{n}y\_{i}\times \log Pr(y\_{i}=1|{\vec {x\_{i}}};{\vec {\beta }})+(1-y\_{i})\log Pr(y\_{i}=0|{\vec {x\_{i}}};{\vec {\beta }})}

اگر برای داده {\displaystyle i} ام {\displaystyle y\_{i}=1} باشد، هدف افزایش{\displaystyle \Pr \left(y\_{i}=1|{\vec {x\_{i}}};{\vec {\beta }}\right)} است و اگر {\displaystyle y\_{i}} صفر باشد هدف افزایش مقدار {\displaystyle \Pr \left(y\_{i}=0|{\vec {x\_{i}}};{\vec {\beta }}\right)} است. از این رو از فرمول {\displaystyle Pr(y\_{i}=1|{\vec {x\_{i}}};{\vec {\beta }})^{y\_{i}}\times Pr(y\_{i}=0|{\vec {x\_{i}}};{\vec {\beta }})^{1-y\_{i}}} استفاده می‌کنیم که اگر {\displaystyle y\_{i}=1} باشد، فرمول به ما {\displaystyle \Pr \left(y\_{i}=1|{\vec {x\_{i}}};{\vec {\beta }}\right)} را بدهد و اگر {\displaystyle y\_{i}=0} بود به ما {\displaystyle \Pr \left(y\_{i}=0|{\vec {x\_{i}}};{\vec {\beta }}\right)} را بدهد.

حال برای به‌دست آوردن پارامتر بهینه باید {\displaystyle {\vec {\beta }}} یی پیدا کنیم که مقدار {\displaystyle L(D,{\vec {\beta }})} را بیشینه کند. از آنجا که این تابع نسبت به {\displaystyle {\vec {\beta }}} مقعر است حتماً یک بیشینه مطلق دارد. برای پیدا کردن جواب می‌توان از روش گرادیان افزایشی از نوع تصادفی اش استفاده کرد (Stochastic Gradient Ascent). در این روش هر بار یک مثال را به‌صورت اتفاقی از نمونه‌های داده انتخاب کرده، گرادیان درست نمایی را حساب می‌کنیم و کمی در جهت گرادیان پارامتر را حرکت می‌دهیم تا به یک پارامتر جدید برسیم. گرادیان جهت موضعی بیشترین افزایش را در تابع به ما نشان می‌دهد، برای همین در آن جهت کمی حرکت می‌کنیم تا به بیشترین افزایش موضعی تابع برسیم. اینکار را آنقدر ادامه می‌دهیم که گرادیان به اندازه کافی به صفر نزدیک شود. به‌جای اینکه داده‌ها را به‌صورت تصادفی انتخاب کنیم می‌توانیم به ترتیب داده شماره {\displaystyle 1}تا داده شماره {\displaystyle n} را انتخاب کنیم و بعد دوباره به داده اولی برگردیم و این کار را به‌صورت متناوب چندین بار انجام دهیم تا به اندازه کافی گرادیان به صفر نزدیک شود. از لحاظ ریاضی این کار را می‌توان به شکل پایین انجام داد، پارامتر {\displaystyle {\vec {\beta }}} را در ابتدا به‌صورت تصادفی مقدار دهی می‌کنیم و بعد برای داده {\displaystyle i}ام و تمامی {\displaystyle j}‌ها، یعنی از {\displaystyle j=1} تا {\displaystyle j=m+1} تغییر پایین را اعمال می‌کنیم، دراینجا {\displaystyle \alpha } همان مقداریست که در جهت گرادیان هربار حرکت می‌کنیم و {\displaystyle \left(y\_{i}-{\frac {1}{1+e^{-\left(\beta \_{0}+\beta \_{1}x\_{1,i}+\cdots +\beta \_{k}x\_{k,i}\right)}}}\right){\vec {x\_{i,j}}}} مشتق جزئی داده {\displaystyle i}ام در بُعد {\displaystyle j}ام است:

{\displaystyle {\begin{cases}{\mbox{Initialize}}\,\,{\vec {\beta ^{\,old}}}\,\,{\mbox{randomly}}\\{\mbox{loop until convergence :}}\\\,\,{\mbox{for}}\,\,\,\,i=0\,\,\,\,{\mbox{to}}\,\,\,\,n:\\\,\,\,\,\,\,{\mbox{for}}\,\,\,\,j=0\,\,\,\,{\mbox{to}}\,\,\,\,m:\\\,\,\,\,\,\,\,\,\,\,\,\,{\vec {\beta \_{j}^{\,new}}}={\vec {\beta \_{j}^{\,old}}}+\alpha \left(y\_{i}-{\frac {1}{1+e^{-\left(\beta \_{0}^{\,old}+\beta \_{1}^{\,old}x\_{1,i}+\cdots +\beta \_{k}^{\,old}x\_{k,i}\right)}}}\right){\vec {x\_{i,j}}}\\\,\,\,\,\,\,\beta ^{\,old}=\beta ^{\,new}\end{cases}}}

تنظیم مدل (Regularization)
--------------------------

پیچیدگی مدل‌های پارامتری با تعداد پارامترهای مدل و مقادیر آن‌ها سنجیده می‌شود. هرچه این پیچیدگی بیشتر باشد خطر بیش‌برازش (Overfitting) برای مدل بیش‌تر است. پدیده بیش‌برازش زمانی رخ می‌دهد که مدل به‌جای یادگیری الگوهای داده، داده را را حفظ کند و در عمل، فرآیند یادگیری به خوبی انجام نمی‌شود. برای جلوگیری از بیش‌برازش در مدل‌های خطی مانند رگرسیون خطی یا رگرسیون لجستیک جریمه‌ای به تابع هزینه اضافه می‌شود تا از افزایش زیاد پارامترها جلوگیری شود. تابع هزینه را در رگرسیون لجستیک با منفی لگاریتم درست‌نمایی تعریف می‌کنیم تا کمینه کردن آن به بیشینه کردن تابع درست نمایی بینجامد. به این کار نرمال‌سازی (تنظیم مدل یا Regularization) گفته می‌شود. دو راه متداول تنظیم مدل‌های خطی روش‌های {\displaystyle L\_{1}} و {\displaystyle L\_{2}} هستند. در روش {\displaystyle L\_{1}} ضریبی از نُرمِ {\displaystyle L\_{1}} به تابع هزینه اضافه می‌شود و در روش {\displaystyle L\_{2}} ضریبی از نُرمِ {\displaystyle L\_{2}} که همان نُرمِ اقلیدسی است به تابع هزینه اضافه می‌شود.

کانتورهای قرمز تابع هزینه را نمایش می‌دهند و اشکال آبی مقید سازی نرم پارامتر را. شکل سمت چپ مربوط به {\displaystyle L\_{1}} است که پارامتر {\displaystyle \beta } با نابرابری {\displaystyle |\beta \_{1}|+|\beta \_{2}|\leq t} مقید شده‌است و شکل سمت راست مربوط به {\displaystyle L\_{2}} است که پارامتر آن با نابرابری {\displaystyle \beta \_{1}^{2}+\beta \_{2}^{2}\leq t^{2}} مقید شده‌است.
در تنظیم مدل به روش {\displaystyle L\_{1}} تابع هزینه را به این شکل تغییر می‌دهیم:

{\displaystyle L\_{r}(D,{\vec {\beta }})=-L(D,{\vec {\beta }})+\lambda ||{\vec {\beta }}||\_{1}=-\sum \_{i=1}^{n}y\_{i}\times \log Pr(y\_{i}=1|{\vec {x\_{i}}};{\vec {\beta }})+(1-y\_{i})\log Pr(y\_{i}=0|{\vec {x\_{i}}};{\vec {\beta }})+\lambda \sum \_{k=0}^{m}|\beta \_{k}|}

این روش تنظیم مدل که به روش لاسو (Lasso) نیز شهرت دارد باعث می‌شود که بسیاری از پارامترهای مدل نهائی صفر شوند و مدل به اصطلاح خلوت (Sparse) شود.

در تنظیم مدل به روش {\displaystyle L\_{2}} تابع هزینه را به این شکل تغییر می‌دهیم:

{\displaystyle L\_{r}(D,{\vec {\beta }})=L(D,{\vec {\beta }})+\lambda ||{\vec {\beta }}||\_{2}^{2}=-\sum \_{i=1}^{n}y\_{i}\times \log Pr(y\_{i}=1|{\vec {x\_{i}}};{\vec {\beta }})+(1-y\_{i})\log Pr(y\_{i}=0|{\vec {x\_{i}}};{\vec {\beta }})+\lambda \sum \_{k=0}^{m}\beta \_{k}^{2}}

در روش تنظیم از طریق {\displaystyle L\_{2}} سعی می‌شود طول اقلیدسی بردار {\displaystyle {\vec {\beta }}} کوتاه نگه داشته شود. {\displaystyle \lambda } در روش {\displaystyle L\_{1}} و {\displaystyle L\_{2}} یک عدد مثبت است که میزان تنظیم مدل را معین می‌کند. هرچقدر {\displaystyle \lambda } کوچکتر باشد جریمه کمتری برا بزرگی نرم بردار پارامترها یعنی {\displaystyle {\vec {\beta }}} پرداخت می‌کنیم. مقدار ایدئال {\displaystyle \lambda } از طریق آزمایش بر روی داده اعتبار (Validation Data) پیدا می‌شود.

### تفسیر احتمالی تنظیم مدل

اگر به‌جای روش درست نمایی بیشینه از روش بیشینه سازی احتمال پسین استفاده کنیم به ساختار «تنظیم مدل» یا همان regularization خواهیم رسید. اگر مجموعه داده را با {\displaystyle D} نمایش بدهیم و پارامتری که به دنبال تخمین آن هستیم را با {\displaystyle {\vec {\beta }}}، احتمال پسین {\displaystyle Pr\left({\vec {\beta }}\,|\,D\right)}، طبق قانون بیز متناسب خواهد بود با حاصلضرب درست نمایی یعنی {\displaystyle Pr\left(D\,|\,{\vec {\beta }}\right)} و احتمال پیشین یعنی {\displaystyle Pr\left({\vec {\beta }}\right)}:

{\displaystyle Pr\left({\vec {\beta }}\,|\,D\right)={\frac {Pr\left(D\,|\,{\vec {\beta }}\right)\times Pr\left({\vec {\beta }}\right)}{Pr\left(D\right)}}}

ازین رو

{\displaystyle {\mbox{argmax}}\_{\vec {\beta }}Pr\left({\vec {\beta }}\,|\,D\right)={\mbox{argmax}}\_{\vec {\beta }}{\frac {Pr\left(D\,|\,{\vec {\beta }}\right)\times Pr\left({\vec {\beta }}\right)}{Pr\left(D\right)}}={\mbox{argmax}}\_{\vec {\beta }}Pr\left(D\,|\,{\vec {\beta }}\right)\times Pr\left({\vec {\beta }}\right)}

معادله خط پیشین نشان می‌دهد که برای یافتن پارامتر بهینه فقط کافیست که احتمال پیشین را نیز در معادله دخیل کنیم. اگر احتمال پیشین را یک توزیع احتمال با میانگین صفر و کوواریانس {\displaystyle \tau ^{2}I} در نظر بگیریم به معادله پایین می‌رسیم:

{\displaystyle {\mbox{argmax}}\_{\vec {\beta }}\,\,\log Pr\left(D\,|\,{\vec {\beta }}\right)={\mbox{argmax}}\_{\vec {\beta }}\,\,\log \prod \_{i=1}^{n}Pr(y\_{i}|{\vec {x\_{i}}}\,\,;{\vec {\beta }})Pr\left({\vec {\beta }}\right)={\mbox{argmax}}\_{\vec {\beta }}\,\,\log \left(\prod \_{i=1}^{n}Pr(y\_{i}=1|{\vec {x\_{i}}};{\vec {\beta }})^{y\_{i}}\times Pr(y\_{i}=0|{\vec {x\_{i}}};{\vec {\beta }})^{1-y\_{i}}{\frac {1}{{\sqrt {2\pi }}\tau }}exp\left({\frac {-||{\vec {\beta }}||^{2}}{2\tau }}\right)\right)}

با ساده کردن این معادله به نتیجه پایین می‌رسیم:

{\displaystyle {\mbox{argmax}}\_{\vec {\beta }}\,\,\log Pr\left(D\,|\,{\vec {\beta }}\right)={\mbox{argmax}}\_{\vec {\beta }}\sum \_{i=1}^{n}y\_{i}\times \log Pr(y\_{i}=1|{\vec {x\_{i}}};{\vec {\beta }})+(1-y\_{i})\log Pr(y\_{i}=0|{\vec {x\_{i}}};{\vec {\beta }})-{\frac {1}{2\tau ^{2}}}||{\vec {\beta }}||^{2}-\log {\sqrt {2\pi }}\tau }

با تغییر علامت معادله، بیشینه‌سازی را به کمینه‌سازی تغییر می‌دهیم، {\displaystyle \lambda } در این معادله همان {\displaystyle {\frac {1}{2\tau ^{2}}}} است:

{\displaystyle {\mbox{argmax}}\_{\vec {\beta }}\,\,\log Pr\left(D\,|\,{\vec {\beta }}\right)={\mbox{argmin}}\_{\vec {\beta }}-\left(\sum \_{i=1}^{n}y\_{i}\times \log Pr(y\_{i}=1|{\vec {x\_{i}}};{\vec {\beta }})+(1-y\_{i})\log Pr(y\_{i}=0|{\vec {x\_{i}}};{\vec {\beta }})\right)+\lambda ||{\vec {\beta }}||^{2}}

همان‌طور که دیدیم جواب همان تنظیم مدل با نرم {\displaystyle L\_{2}} است.

حال اگر توزیع پیشین را از نوع توزیع لاپلاس با میانگین صفر در نظر بگیریم به تنظیم مدل با نرم {\displaystyle L\_{1}} خواهیم رسید.

از آنجا که میانگین هر دو توزیع پیشین صفر است، پیش‌فرض تخمین پارامتر بر این بنا شده‌است که اندازه پارامتر مورد نظر کوچک و به صفر نزدیک باشد و این پیش‌فرض با روند تنظیم مدل همخوانی دارد.

کاربردها
--------

رگرسیون لجستیک در زمینه‌های مختلف از جمله یادگیری ماشین، اکثر رشته‌های پزشکی و علوم اجتماعی مورد استفاده قرار می‌گیرد. برای مثال، میزان آسیب‌دیدگی (به انگلیسی: TRISS)، که به‌طور گسترده برای پیش‌بینی مرگ و میر در بیماران مصدوم مورد استفاده قرار می‌گیرد، توسط بوید و همکارانش با استفاده از رگرسیون لجستیک ایجاد شد. مقیاسهای پزشکی دیگری که برای ارزیابی شدت بیماری به کار می‌رود با استفاده از رگرسیون لجستیک ساخته شده‌اند. رگرسیون لجستیک ممکن است برای پیش‌بینی خطر ابتلا به یک بیماری خاص (به عنوان مثال دیابت؛ بیماری انسداد قلب)، بر اساس ویژگی‌های مشاهده شده بیمار (سن، جنس، شاخص توده بدنی، نتایج آزمایش‌های مختلف خون و غیره) مورد استفاده قرار گیرد. رگرسیون لجستیک در علوم سیاسی هم کاربرد دارد. به عنوان مثال این مدل می‌تواند بر روی پیش‌بینی این‌که رای‌دهنده اهل نپال به کنگره نپال یا حزب کمونیست نپال یا هر حزب دیگری رأی دهد، بر اساس سن، درآمد، جنس، نژاد، وضعیت سکونت، آراء در انتخابات‌های قبلی و غیره کار کند. این روش همچنین می‌تواند در مهندسی مورد استفاده قرار گیرد، به ویژه برای پیش‌بینی احتمال عدم موفقیت یک فرایند، سیستم یا محصول معین. همچنین در برنامه‌های بازاریابی مانند پیش‌بینی تمایل مشتری برای خرید یک محصول یا متوقف کردن اشتراک و غیره مورد استفاده قرار گیرد.

تاریخچه
-------

تابع لجستیک به عنوان مدلی برای پیش‌بینی رشد جمعیت توسط پیر فرانسوا ورهولست و کمک آدولف کوتله در دهه ۱۸۳۰ و ۱۸۴۰ توسعه یافت و «لجستیک» نامگذاری شد.

تابع لجستیک به‌طور مستقل در شیمی برای مدل‌سازی واکنش خودکاتالیزی توسعه یافت. واکنش خودکاتالیزی یک واکنش شیمیایی است که یکی از محصولات واکنش خود یک فروکافت برای همان واکنش یا یک واکنش جفت باشد.

تابع لجستیک به‌طور مستقل به عنوان مدلی برای پیش‌بینی رشد جمعیت در سال ۱۹۲۰ توسط ریموند پرل و لاول رید دوباره ایجاد و به چاپ رسید که منجر به استفاده آن در علم آمار شد. آن‌ها در ابتدا این مدل را برای مدل‌سازی جمعیت ایالات متحده آمریکا به کار گرفته بودند. ریموند پرل و لاول رید در ابتدا از کار ورهولست بی‌خبر بودند و احتمالاً در مورد آن از گوستاو دو پاسگیر آگاهی یافتند، اما اعتبار کمی به او دادند و اصطلاحات او را اتخاذ نکردند. تقدم کار ورهولست بعدها مورد تأکید قرار گرفت و اصطلاح «لجستیک» توسط اودنی یول در سال ۱۹۲۵ احیا شد و از آن زمان مورد استفاده قرار گرفت.

در دهه ۱۹۳۰، مدل پروبیت توسط چستر ایتنر بلیس و جان گادوم ابداع شد و اصطلاح «پروبیت» برای آن مورد استفاده قرار گرفت. فیشر کمی بعدتر مدل پروبیت را با تخمین از طریق برآورد درست‌نمایی بیشینه توسعه داد. مدل پروبیت در ابتدا اساساً برای زیست سنجی مورد استفاده قرار می‌گرفت و پیش از آن هم در کارهای مشابهی در این زمینه در دهه ۱۸۶۰ از آن استفاده می‌شد. مدل پروبیت بر توسعه بعدی رگرسیون لجستیک تأثیر گذاشت؛ این دو مدل رقیب یکدیگر بودند.

مدل لجستیک احتمالاً برای اولین بار به عنوان جایگزینی برای مدل پروبیت در زیست سنجی توسط ادوین بیدول ویلسون و شاگردش جین ورسستر در مورد استفاده قرار گرفت. با این حال، توسعه مدل لجستیک به عنوان یک جایگزین کلی برای مدل پروبیت، عمدتاً ناشی از کار جوزف برکسون طی چند دهه بود. وی کلمه «لوجیت» را با قیاس به «پروبیت» ایجاد کرد. مدل لوجیت در ابتدا به عنوان مدلی ضعیف‌تر از پروبیت رد شد، اما به تدریج به برابری با مدل پروبیت دست یافت و بعد از آن پیشی‌گرفت. این محبوبیت نسبی بخاطر سادگی محاسباتی، خصوصیات ریاضی و کلی بودن مدل بود که اجازه استفاده از آن را در حوزه‌های گوناگون می‌داد. دیوید کاکس بعدها اصلاحات فراوانی بر روی مدل لوجیت اعمال کرد.

با توسعه مدل لوجیت به مدلی چندجمله‌ای دامنه کاربرد و محبوبیت مدل به شدت افزایش پیدا کرد.

جستارهای وابسته
---------------

* نسبت شانس‌ها
* تحلیل تفکیک خطی
* پرسپترون
* شبکه عصبی مصنوعی
* کاوش‌های ماشینی در داده‌ها
* رگرسیون خطی
* رگرسیون پواسون

منابع
-----

1. 1 2 3  Hosmer, David W. ; Lemeshow, Stanley (2000). *Applied Logistic Regression* (2nd ed.). Wiley. ISBN 978-0-471-35632-5.
2. ↑  Bühlmann, Peter; van de Geer, Sara (2011). "Statistics for High-Dimensional Data". *Springer Series in Statistics* (به انگلیسی). doi:10.1007/978-3-642-20192-9. ISSN 0172-7397.
3. ↑  Bühlmann, Peter; van de Geer, Sara (2011). *Theory for ℓ1/ℓ2-penalty procedures* (به انگلیسی). Berlin, Heidelberg: Springer Berlin Heidelberg. pp. 249–291. doi:10.1007/978-3-642-20192-9\_8.
4. ↑  Bishop, C. M. (2006), *Pattern Recognition and Machine Learning*, Springer, p. 146, ISBN 978-0-387-31073-2
5. ↑  Bishop, Christopher (2006). *Pattern Recognition and Machine Learning* (به انگلیسی). New York: Christopher.
6. ↑  Natarajan, B. K. (1995). "Sparse Approximate Solutions to Linear Systems". *SIAM Journal on Computing* (به انگلیسی). **24** (2): 227–234. doi:10.1137/s0097539792240406. ISSN 0097-5397.
7. ↑  Bishop, Christopher M (2016-08-23). *Pattern Recognition and Machine Learning* (به انگلیسی). New York: Springer New York. p. 30.`{{cite book}}`: نگهداری یادکرد:تاریخ و سال (link)
8. 1 2 3 4  Robert, Christian (2014-04-03). "Machine Learning, a Probabilistic Perspective". *CHANCE* (به انگلیسی). **27** (2): 62–63. doi:10.1080/09332480.2014.914768. ISSN 0933-2480.
9. ↑  Boyd, C. R.; Tolson, M. A.; Copes, W. S. (1987). "Evaluating trauma care: The TRISS method. Trauma Score and the Injury Severity Score". *The Journal of Trauma*. **27** (4): 370–378. doi:10.1097/00005373-198704000-00005. PMID 3106646.
10. ↑  Kologlu, M.; Elker, D.; Altun, H.; Sayek, I. (2001). "Validation of MPI and PIA II in two different groups of patients with secondary peritonitis". *Hepato-Gastroenterology*. **48** (37): 147–51. PMID 11268952.
11. ↑  Biondo, S.; Ramos, E.; Deiros, M.; Ragué, J. M.; De Oca, J.; Moreno, P.; Farran, L.; Jaurrieta, E. (2000). "Prognostic factors for mortality in left colonic peritonitis: A new scoring system". *Journal of the American College of Surgeons*. **191** (6): 635–42. doi:10.1016/S1072-7515(00)00758-4. PMID 11129812.
12. ↑  Marshall, J. C.; Cook, D. J.; Christou, N. V.; Bernard, G. R.; Sprung, C. L.; Sibbald, W. J. (1995). "Multiple organ dysfunction score: A reliable descriptor of a complex clinical outcome". *Critical Care Medicine*. **23** (10): 1638–52. doi:10.1097/00003246-199510000-00007. PMID 7587228.
13. ↑  Le Gall, J. R.; Lemeshow, S.; Saulnier, F. (1993). "A new Simplified Acute Physiology Score (SAPS II) based on a European/North American multicenter study". *JAMA*. **270** (24): 2957–63. doi:10.1001/jama.1993.03510240069035. PMID 8254858.
14. ↑  David A. Freedman (2009). *Statistical Models: Theory and Practice*. Cambridge University Press. p. 128.
15. ↑  Truett, J; Cornfield, J; Kannel, W (1967). "A multivariate analysis of the risk of coronary heart disease in Framingham". *Journal of Chronic Diseases*. **20** (7): 511–24. doi:10.1016/0021-9681(67)90082-3. PMID 6028270.
16. ↑  Harrell, Frank E. (2001). *Regression Modeling Strategies* (2nd ed.). Springer-Verlag. ISBN 978-0-387-95232-1.
17. ↑  M. Strano; B.M. Colosimo (2006). "Logistic regression analysis for experimental determination of forming limit diagrams". *International Journal of Machine Tools and Manufacture*. **46** (6): 673–682. doi:10.1016/j.ijmachtools.2005.07.005.
18. ↑  Palei, S. K.; Das, S. K. (2009). "Logistic regression model for prediction of roof fall risks in bord and pillar workings in coal mines: An approach". *Safety Science*. **47**: 88–96. doi:10.1016/j.ssci.2008.01.002.
19. ↑  Berry, Michael J.A (1997). *Data Mining Techniques For Marketing, Sales and Customer Support*. Wiley. pp. 10.
20. ↑  Cramer, J. S. (2002-12-01). "The Origins of Logistic Regression" (به انگلیسی). Rochester, NY: 3–5. doi:10.2139/ssrn.360300. `{{cite journal}}`: Cite journal requires `|journal=` (help)
21. ↑  Cramer, J. S. (2002-12-01). "The Origins of Logistic Regression" (به انگلیسی). Rochester, NY: 7. doi:10.2139/ssrn.360300. `{{cite journal}}`: Cite journal requires `|journal=` (help)
22. ↑  Steinfeld J.I. , Francisco J.S. and Hase W.L. *Chemical Kinetics and Dynamics* (2nd ed. , Prentice-Hall 1999) p.151-2 شابک ‎۰−۱۳−۷۳۷۱۲۳−۳
23. ↑  Cramer, J. S. (2002-12-01). "The Origins of Logistic Regression" (به انگلیسی). Rochester, NY: 5. doi:10.2139/ssrn.360300. `{{cite journal}}`: Cite journal requires `|journal=` (help)
24. ↑  Cramer, J. S. (2002-12-01). "The Origins of Logistic Regression" (به انگلیسی). Rochester, NY: 6. doi:10.2139/ssrn.360300. `{{cite journal}}`: Cite journal requires `|journal=` (help)
25. ↑  Cramer, J. S. (2002-12-01). "The Origins of Logistic Regression" (به انگلیسی). Rochester, NY: 6–7. doi:10.2139/ssrn.360300. `{{cite journal}}`: Cite journal requires `|journal=` (help)
26. ↑  Cramer, J. S. (2002-12-01). "The Origins of Logistic Regression" (به انگلیسی). Rochester, NY: 7–9. doi:10.2139/ssrn.360300. `{{cite journal}}`: Cite journal requires `|journal=` (help)
27. ↑  Cramer, J. S. (2002-12-01). "The Origins of Logistic Regression" (به انگلیسی). Rochester, NY: 9. doi:10.2139/ssrn.360300. `{{cite journal}}`: Cite journal requires `|journal=` (help)
28. ↑  Cramer, J. S. (2002-12-01). "The Origins of Logistic Regression" (به انگلیسی). Rochester, NY: 8. doi:10.2139/ssrn.360300. `{{cite journal}}`: Cite journal requires `|journal=` (help)
29. ↑  Cramer, J. S. (2002-12-01). "The Origins of Logistic Regression" (به انگلیسی). Rochester, NY: 11. doi:10.2139/ssrn.360300. `{{cite journal}}`: Cite journal requires `|journal=` (help)
30. ↑  Cramer, J. S. (2002-12-01). "The Origins of Logistic Regression" (به انگلیسی). Rochester, NY: 10–11. doi:10.2139/ssrn.360300. `{{cite journal}}`: Cite journal requires `|journal=` (help)
31. ↑  Walker, SH; Duncan, DB (1967). "Estimation of the probability of an event as a function of several independent variables". *Biometrika*. **54** (1/2): 167–178. doi:10.2307/2333860. JSTOR 2333860.
32. ↑  Cramer, J. S. (2002-12-01). "The Origins of Logistic Regression" (به انگلیسی). Rochester, NY: 13. doi:10.2139/ssrn.360300. `{{cite journal}}`: Cite journal requires `|journal=` (help)

| * ن
* ب
* و
آمار |
| --- |
| 

| آمار توصیفی |
| --- |
| 

|  |  |  |  |  |  |  |  |
| --- | --- | --- | --- | --- | --- | --- | --- |
| توزیع احتمال | 

|  |  |
| --- | --- |
| پارامتر مکان | 
* میانگین (میانگین حسابی، میانگین هندسی، میانگین همساز)
* میانه
* مد

 |
| سنجش‌های پراکندگی | 
* دامنه
* انحراف معیار
* ضریب تغییرات
* صدک
* دامنه بین چارکی

 |
| شکل توزیع‌ها | 
* واریانس
* چولگی
* کشیدگی
* گشتاور
* ال-گشتاور

 |

 |
| توزیع احتمال | شاخص پراکندگی |
| جدول‌های خلاصه | 
* داده‌های گروه‌بندی‌شده
* توزیع فراوانی
* جدول پیشایندی

 |
| ضریب همبستگی | 
* ضریب همبستگی حاصل‌ضرب-گشتاور پیرسون
* ضریب همبستگی رتبه‌ای (ضریب همبستگی رتبه‌ای اسپیرمن، تای کندال)
* همبستگی جزئی
* نمودار نقطه‌ای

 |
| نمودارهای آماری | 
* نمودار میله‌ای
* دونموداره
* نمودار جعبه‌ای
* نمودار کنترل
* همبستگی‌نگار
* نمودار جنگلی
* بافت‌نگار
* نمودار Q-Q
* نمودار احتمال-احتمال
* نمودار توالی
* نمودار پراکنش
* نمودار ساقه و برگ
* نمودار راداری

 |

 |

 |
| 

| گردآوری داده |
| --- |
| 

|  |  |
| --- | --- |
| طراحی مطالعات | 
* اندازه تأثیر
* خطای استاندارد
* توان آماری
* تعیین اندازه نمونه

 |
| روش‌های آمارگیری | 
* نمونه
* پرسشنامه
* نمونه‌گیری طبقه‌بندی‌شده
* نظرسنجی

 |
| آزمایش | 
* طراحی آزمایش
* آزمایش تصادفی
* انتساب تصادفی
* تکرار آزمایش
* بلوک‌بندی
* آزمایش عاملی
* طراحی بهینه

 |
| مطالعات کنترل‌نشده | 
* آزمایش طبیعی
* شبه‌آزمایش
* مطالعه مشاهده‌ای

 |

 |

 |
| 

| استنباط آماری |
| --- |
| 

|  |  |
| --- | --- |
| نظریه آمار | 
* توزیع نمونه‌گیری
* آماره بسنده
* فراتحلیل
* آماره ترتیبی
* آماره کاوشی
* مقدار رکورد
* کامل بودن
* خانواده نمایی
* آزمون جایگشتی (آزمون تصادفیدن)
* توزیع نمونه‌ای
* بوت‌استرپینگ
* آماره U
* کارایی
* آمار باثبات

 |
| استنباط فراوانی‌گرایانه | 
* برآوردگر بدون بایاس (برآوردگر میانگین‌نااریب حداقل واریانس، برآوردگر میانه‌نااریب)
* برآوردگرهای با بایس (برآورد درست‌نمایی بیشینه، روش گشتاورها، برآورد با کمینه فاصله، برآورد چگالی)
* بازه اطمینان
* آزمون فرض آماری
* توان آماری
* آزمون‌های پارامتری (آزمون نسبت درست‌نمایی، آزمون والد، آزمون نمره)

 |
| استنباط بیزی | 
* احتمال بیزی
* احتمال پیشین
* احتمال پسین
* بازه مورد قبول
* عامل بیز
* برآوردگر بیزی
* برآوردگر بیشینه‌گر احتمال پسین

 |
| آزمون‌های خاص | 
* آزمون Z نرمال بودن
* توزیع تی-استیودنت
* آزمون اف
* آزمون خی‌دوی پیرسون
* آزمون مان-ویتنی
* آزمون شاپیرو-ویلک
* آزمون ویلکاکسون
* آزمون کولموگروف-اسمیرنف

 |

 |

 |
| 

| ضریب همبستگی و تحلیل رگرسیون |
| --- |
| 

|  |  |
| --- | --- |
| ضریب همبستگی | 
* ضریب همبستگی پیرسون
* همبستگی جزئی
* اختلاط
* ضریب تشخیص

 |
| تحلیل رگرسیون | 
* خطاها و مانده‌ها در آمار
* اعتبارسنجی مدل رگرسیون
* مدل آمیخته
* مدل معادلات همزمان

 |
| رگرسیون خطی | 
* رگرسیون ساده خطی
* کمینه مربعات خطی
* رگرسیون چندمتغیره
* رگرسیون خطی بیزی

 |
| پیش‌بینی‌های غیراستاندارد | 
* رگرسیون غیرخطی
* رگرسیون ناپارامتری
* رگرسیون نیمه پارامتری
* رگرسیون همنوا
* رگرسیون باثبات
* ناهم‌واریانسی
* هم‌واریانسی

 |
| مدل خطی تعمیم‌یافته | 
* خانواده نمایی
* رگرسیون لجستیک
* رگرسیون دوجمله‌ای
* پواسون

 |
| تقسیم مجموع مربعات | 
* تحلیل واریانس
* تحلیل کوواریانس
* تحلیل واریانس چندمتغیره
* درجه آزادی

 |

 |

 |
| 

| داده‌های رسته‌ای، آمار چندمتغیره، تحلیل سری زمانی یا تحلیل بقا |
| --- |
| 

|  |  |
| --- | --- |
| داده‌های رسته‌ای | 
* کاپای کوهن
* جدول پیشایندی
* مدل گرافی
* رگرسیون پواسون
* آزمون مک‌نمار

 |
| آمار چندمتغیره | 
* رگرسیون چندمتغیره
* تحلیل مؤلفه‌های اصلی
* تحلیل عاملی
* تحلیل خوشه‌ای
* مفصل

 |
| تحلیل سری زمانی | 

|  |  |
| --- | --- |
| عمومی | 
* تجزیه
* تخمین روند
* فرایند مانا
* تصحیح فصلی‌بودن
* هموارسازی نمایی
* هم‌جمعی

 |
| تست‌های خاص | 
* علیت گرانجر
* آماره Q
* آماره دوربین-واتسون

 |
| دامنه زمان | 
* خودهمبستگی
* تابع خودهمبستگی جزئی
* همبستگی متقابل
* آرما
* مدل آریما
* گارچ
* اتورگرسیو برداری

 |
| دامنه فرکانس | 
* تخمین طیفی
* تحلیل فوریه
* موجک

 |

 |
| تحلیل بقا | 
* تابع احتمال بقا
* برآوردگر کاپلان-مه‌یر
* آزمون لگ‌رتبه‌ای
* نرخ خرابی
* مدل خطرهای متناسب
* مدل زمان خرابی شتابیده

 |

 |

 |
| 

| کاربردهای آمار |
| --- |
| 

|  |  |
| --- | --- |
| آمار زیستی | 
* بیوانفورماتیک
* زیست‌سنجشی
* کارآزمایی بالینی و مطالعات
* همه‌گیرشناسی
* آمار پزشکی

 |
| آمار مهندسی | 
* شیمی آماری
* مهندسی روش‌ها
* طراحی احتمالاتی
* کنترل آماری فرایندها کنترل کیفیت
* مهندسی قابلیت اطمینان
* شناسایی سامانه

 |
| آمار اجتماعی | 
* آکچوئری
* سرشماری
* آمار جرم
* آمار جمعیت‌شناسی
* اقتصادسنجی
* حساب‌های ملی
* آمار رسمی
* جامعه آماری
* روان‌سنجی

 |
| تحلیل داده‌های فضایی | 
* نقشه‌نگاری
* آمار زیست‌محیطی
* سامانه اطلاعات جغرافیایی
* زمین‌آمار
* کریگیدن

 |

 |

 |
| 
* **رده**
* **نشان درگاه درگاه ریاضیات**
* **انبار**
* **ویکی‌پروژه**

 |