رگرسیون خطی بیز
در آمار، **رگرسیون خطی بیز**  یک رویکرد به رگرسیون خطی است که در آن تجزیه و تحلیل آماری در چارچوب استنباط بیزی انجام می‌شود. هنگامی که خطاهای مدل رگرسیون خطی از یک توزیع طبیعی پیروی کند، با در نظر گرفتن یک توزیع پیشین بر روی پارامترهای مدل، پیش‌بینی مدل از یک توزیع پسین که از قانون بیز به‌دست آمده، استفاده می‌کند.

تعریف ریاضی
-----------

اگر داده‌ها را با *{\displaystyle \mathbf {D} =[(\mathbf {x\_{1}} ,y\_{1}),\cdots ,(\mathbf {x\_{n}} ,y\_{n})]}* نمایش دهیم، هدف تخمین خطی متغیر y از متغیر {\mathbf {x}} است. در رگرسیون خطی استاندارد متغیرِ میانگینِ مشروط y\_i به شرط بردار {\displaystyle \mathbf {x} \_{i}} به این شکل برای {\displaystyle i=1,\ldots ,n} به دست می‌آید:

{\displaystyle y\_{i}=\mathbf {x} \_{i}^{\rm {T}}{\boldsymbol {\beta }}+\varepsilon \_{i},}

در اینجا *{\displaystyle {\boldsymbol {\beta }}}* و {\displaystyle \mathbf {x} \_{i}} بردارهای *{\displaystyle m\times 1}* هستند، و {\displaystyle \varepsilon \_{i}}ها متغیرهای تصادفیِ مستقل و به‌طور یکسان توزیع شده‌ای هستند که از توزیع پایین پیروی می‌کنند:

{\displaystyle \varepsilon \_{i}\sim {\mathcal {N}}(0,\gamma ^{2}).}

با این حساب، احتمال مشروط y\_i از تابع درست نمایی پایین پیروی می‌کند:

{\displaystyle \rho ({y}\mid \mathbf {X} ,\beta ,\gamma ^{-1}\mathbf {I} )={\mathcal {N}}(y\mid \beta ^{t}\mathbf {x} ,\gamma ^{-1}\mathbf {I} ).}

یکی از راه‌های به دست آوردن پارامتر بهینه روش کمترین مربعات است که مجموع مربعات تفاضل خطاها، یعنی{\displaystyle \Sigma \_{i}\left(y\_{i}-\beta ^{t}\mathbf {x\_{i}} \right)^{2}} به حداقل می‌رساند:

{\displaystyle {\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\rm {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\rm {T}}\mathbf {y} }

در اینجا {\displaystyle \mathbf {X} \_{n\times k}} ماتریس {\displaystyle \mathbf {x} \_{i}} هاست، به شکلی که در سطر i بردار {\displaystyle \mathbf {x} \_{i}} قرار دارد. همچنین تمامی y\_i‌ها در بردار {\displaystyle \mathbf {y} \_{n\times 1}} قرار دارد.

راه حل کمترین مربعات از یک رویکرد فروانی‌گرا استفاده می‌کند که در آن مقادیر *{\displaystyle {\boldsymbol {\beta }}}* فقط از طریق داده‌های موجود تعیین می‌گردد. در روش استنباط بیزی اما، داده‌ها با اطلاعات اضافی در قالب یک توزیع احتمال پیشین مورد بررسی می‌گیرند و توزیع پسین که با استفاده از قانون بیز، توزیع پیشین و تابع درست نمایی به دست می‌آید برای پیش‌بینی مدل مورد استفاده قرار می‌گیرد.

در روش رگرسیون خطی بیز فرض می‌کنیم پارامتر *{\displaystyle {\boldsymbol {\beta }}}* خود یک متغیر تصادفی است که از توزیع طبیعی {\displaystyle \rho (\beta )={\mathcal {N}}(\mathbf {0} ,\alpha \mathbf {I} ^{-1})} پیروی می‌کند و طبق قانون بیز توزیع پسین را به شکل پایین به دست می‌آوریم:

{\displaystyle \rho (\mathbf {\beta } \mid \mathbf {D} )={\frac {\rho (\mathbf {D} \mid \mathbf {\beta } )\times \rho (\mathbf {\beta } )}{\rho (\mathbf {D} )}}={\mathcal {N}}(\beta \mid \mathbf {\mu \_{n}} ,\mathbf {\Sigma \_{n}} )}

در اینجا {\displaystyle \mathbf {\mu \_{n}} =\mathbf {\beta } \mathbf {\Sigma \_{n}} \mathbf {X} ^{t}\mathbf {y} } و {\displaystyle \mathbf {\Sigma \_{n}} ^{-1}=\alpha \mathbf {I} +\beta \mathbf {X} ^{t}\mathbf {X} }

برای پیش‌بینی یک بردار جدید {\mathbf {x}} از رابطه پایین استفاده می‌کنیم:

{\displaystyle \rho (y\mid \mathbf {x} ,\mathbf {D} ,\alpha ,\gamma )=\int \rho (y\mid \beta ,\gamma )\times p(\beta \mid \mathbf {D} ,\alpha ,\gamma )={\mathcal {N}}(y\mid \mathbf {m\_{n}^{t}} \mathbf {x} ,{\frac {1}{\gamma }}+\mathbf {x} ^{t}\mathbf {\Sigma \_{n}} \mathbf {x} )}
  

در اینجا {\displaystyle \mathbf {m\_{n}} =\gamma \mathbf {\Sigma \_{n}} \mathbf {X} ^{t}\mathbf {y} }.

با استفاده از این تابع پیش‌بینی اگر میانگین یا میانه توزیع را به عنوان پیش‌بینی نهایی در نظر بگیریم جواب {\displaystyle \left(\gamma \mathbf {\Sigma \_{n}} \mathbf {X} ^{t}\mathbf {y} \right)^{t}\mathbf {x} } خواهد بود.

جستارهای وابسته
---------------

* کمینه مربعات خطی
* رگرسیون خطی
* رگرسیون لجیستیک
* رگرسیون پواسون

یادداشت‌ها
----------

1. ↑  Bayesian linear regression

پانویس
------

1. ↑  Rencher, Alvin C.; Christensen, William F. (2012-08-15). *Methods of Multivariate Analysis* (به انگلیسی). John Wiley & Sons. p. 155.
2. ↑  Bishop, C. M. (2006), *Pattern Recognition and Machine Learning*, Springer, pp. 152–156, ISBN 978-0-387-31073-2
3. ↑  Bishop, C. M. (2006), *Pattern Recognition and Machine Learning*, Springer, p. 157, ISBN 978-0-387-31073-2
4. ↑  Bishop, C. M. (2006), *Pattern Recognition and Machine Learning*, Springer, p. 157, ISBN 978-0-387-31073-2

| * ن
* ب
* و
نظریه کنترل |
| --- |
| مفاهیم پایه | 
* نظریه کنترل
* تبدیل فوریه
* پاسخ فرکانسی
* تبدیل لاپلاس
* خودتنظیمی منفی
* بازخورد مثبت
* رؤیت‌پذیری
* پرفورمانس
* کمترین مربعات
* فیلتر کالمان
* روش مکان ریشه‌ها
* خودمهار کاری
* نمودار گذر سیگنال
* نمودار بود
* نمودار بلوکی
* کنترل تطبیقی
* نظریه کنترل
* پایداری لیاپانوف

 |
| ویژگی‌های سامانه‌ها | 
* پاسخ ضربه محدود
* تابع تبدیل حلقه-بسته
* کنترل‌پذیری
* State space representation
* تئوری پایداری
* آنالیز & طراحی حالت دایمی
* پویایی‌شناسی سامانه‌ها
* تابع تبدیل

 |
| کنترل دیجیتالی | 
* زمان پیوسته و زمان گسسته
* پردازش سیگنال دیجیتال
* کمیت (پردازش سیگنال)
* نرم‌افزارهای رایانش بی‌درنگ
* نمونه داده
* شناسایی سامانه
* تبدیل زد

 |
| فناوری‌های پیشرفته | 
* شبکه عصبی مصنوعی
* کنترل دیجیتال
* Energy-shaping control
* سامانه کنترل فازی
* کنترل ترکیبی
* کنترل هوشمند
* کنترل پیش‌بینانه مدل
* کنترل Multivariable
* کنترل دستگاه عصبی
* کنترل غیرخطی
* کنترل بهینه
* رایانش بی‌درنگ
* کنترل مقاوم
* کنترل تصادفی
* Coefficient diagram method
* Control reconfiguration
* Distributed parameter systems
* Fractional-order control
* منطق فازی
* H-infinity loop-shaping
* Hankel singular value
* Krener's theorem
* Minor loop feedback
* Perceptual control theory
* رؤیت‌کننده حالت

 |
| افزاره های کنترل کننده | 
* مهندسی مکاترونیک
* Motion control
* جبران‌ساز پیش‌فاز-پس‌فاز
* کنترل عددی
* کنترل‌کننده پی‌آی‌دی
* پی‌ال‌سی
* کنترل برداری (موتور)
* سامانه نهفته
* رباتیک

 |
| کنترل گسترده | 
* Automation and Remote Control
* سامانه کنترل توزیع‌شده
* سامانه کنترل صنعتی
* کنترل فرایند
* اسکادا

 |

|  |  |
| --- | --- |
| آیکون خرد | این یک مقالهٔ خرد مربوط به آمار است. می‌توانید با گسترش آن به ویکی‌پدیا کمک کنید. |