|  |
| --- |
| بخشی از مجموعه مباحث دربارهٔ آمار |
| تحلیل رگرسیون |
| 
مدل‌ها |
| * رگرسیون خطی
* رگرسیون خطی ساده
* رگرسیون چندجمله‌ای
* رگرسیون چندمتغیره
 |
| * مدل خطی تعمیم‌یافته
* انتخاب گسسته
* رگرسیون لجستیک
* لوجیت چندجمله‌ای
* لوجیت آمیخته
* مدل پروبیت
* پروبیت چندجمله‌ای
* لوجیت مرتب
* پروبیت مرتب
* رگرسیون پواسون
 |
| * مدل سلسله‌مراتبی
* مدل اثرات ثابت
* مدل اثرهای تصادفی
* مدل آمیخته
 |
| * رگرسیون غیرخطی
* رگرسیون ناپارامتری
* رگرسیون نیمه‌پارامتری
* رگرسیون باثبات
* رگرسیون چندک
* رگرسیون ایزوتونیک
* رگرسیون مولفه اصلی
* رگرسیون کمترین زاویه
* رگرسیون موضعی
* رگرسیون مقطع
 |
| * مدل خطا در متغیرها
 |
| 
برآورد |
| * کمترین مربعات
* کمترین مربعات خطی
* کمترین مربعات غیرخطی
 |
| * حداقل مربعات معمولی
* کمترین مربعات وزن‌دار
* روش تعمیم‌یافته کمترین مربعات
 |
| * رگرسیون پاره‌ای کمتری مربعات
* مجموع کمترین مربعات
* کمترین مربعات نامنفی
* تنظیم تیخونوف
* کمترین مربعات منظم
 |
| * کمترین انحرافات مطلق
* کمترین مربعات بازوزن‌داده مکرر
* رگرسیون خطی بیزی
* رگرسیون چندمتغیره خطی بیزی
 |
| 
پیش‌زمینه |
| * اعتبارسنجی مدل رگرسیون
* پاسخ میانگین و پیش‌بینی‌شده
* خطاها و باقی‌مانده‌ها در آمار
* نیکویی برازش
* باقی‌مانده استودنت‌شده
* قضیه گوس-مارکف
 |
| * نشان درگاه درگاه آمار
 |
| * ن
* ب
* و
 |

**رگرسیون** خط الرأس روشی برای تخمین ضرایب مدل های رگرسیون چندگانه در حالتی است که متغیرهای مستقل، همبستگی بالایی دارند. در اینجا روش کار مشابه کمترین مربعات است اما برخی ضرایب تخمین زده شده را با هم به سمت صفر سوق می دهیم. این روش در بسیاری از زمینه ها از جمله اقتصاد سنجی، شیمی و مهندسی مورد استفاده قرار می گیرد. نام دیگر آن **نرمال سازی تیخونوف،** که به نام آندری تیخونف نامگذاری شده، است و روشی برای نرمال سازی مسائل غیر خوش ساخت می باشد و به ویژه برای کاهش مشکل هم خطی چندگانه در رگرسیون خطی مفید است، که معمولاً در مدل‌هایی با تعداد زیادی پارامتر رخ می‌دهد. به طور کلی، این روش کارایی بهتری را در مسائل تخمین پارامتر در ازای مقدار قابل قبولی اریبی ارائه می دهد (به مبادله بایاس-واریانس مراجعه کنید).

این نظریه برای اولین بار توسط هورل و کنارد در سال ۱۹۷۰ در مقالات *تکنومتریکس:* "رگرسیون خط الرأس: تخمین اریب مسائل نامتعامد" و "رگرسیون خط الرأس: کاربردها در مسائل نامتعامد" معرفی شد.  

رگرسیون خط الرأس به عنوان یک راه حل برای نادقیق بودن برآوردگرهای حداقل مربعات زمانی که مدل‌های رگرسیون خطی دارای متغیرهای مستقل هم خطی (بسیار همبسته) هستند ارائه شد. این امر تخمین دقیق تری از پارامترهای خط الراس ارائه می دهد، زیرا واریانس و برآوردگر میانگین مربعات آن اغلب کوچکتر از برآوردگرهای حداقل مربعی است که قبلاً مشتق شده بود.

بررسی اجمالی
------------

در ساده ترین حالت، مسئله یک ماتریس لحظه ای وارون پذیر {\displaystyle (\mathbf {X} ^{\mathsf {T}}\mathbf {X} )} با افزودن عناصر مثبت به قطر اصلی و در نتیجه شماره وضعیت آن کاهش می یابد. مشابه برآوردگر کمترین مربعات معمولی ، تخمین‌گر خط الرأس ساده به صورت ذیل می باشد




β
^

R

=
(

X

T

X

+
λ

I

)

−
1

X

T

y

{\displaystyle {\hat {\beta }}\_{R}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +\lambda \mathbf {I} )^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {y} }

{\displaystyle {\hat {\beta }}_{R}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +\lambda \mathbf {I} )^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {y} }
که {\displaystyle \mathbf {y} } پسرفت، {\displaystyle \mathbf {X} } ماتریس طرح ، {\displaystyle \mathbf {I} } ماتریس همانی و لامبدا پارامتر خط الرأس ، {\displaystyle \lambda \geq 0} به عنوان ثابت جابجایی قطرهای ماتریس همانی عمل می کند.  می توان نشان داد که این تخمینگر راه حلی برای مسئله کمترین مربعات مقید به {\displaystyle \beta ^{\mathsf {T}}\beta =c} که می توان آن را به صورت لاگرانژین بیان کرد:


min

β

(

y

−

X

β

)

T

(

y

−

X

β
)
+
λ
(

β

T

β
−
c
)

{\displaystyle \min \_{\beta }\,(\mathbf {y} -\mathbf {X} \beta )^{\mathsf {T}}(\mathbf {y} -\mathbf {X} \beta )+\lambda (\beta ^{\mathsf {T}}\beta -c)}

{\displaystyle \min _{\beta }\,(\mathbf {y} -\mathbf {X} \beta )^{\mathsf {T}}(\mathbf {y} -\mathbf {X} \beta )+\lambda (\beta ^{\mathsf {T}}\beta -c)}
که نشان می دهد \lambda چیزی جز ضریب لاگرانژی از قید نیست.  به طور معمول، \lambda بر اساس یک معیار اکتشافی یا هیوریستیک انتخاب می شود، که در این صورت قید به طور کامل ارضا نمی شود. به طور خاص در مورد {\displaystyle \lambda =0} ، که در آن قید غیر الزام آور است ، تخمینگر خط الرأس به کمترین مربعات معمولی کاهش می یابد. یک رویکرد کلی تر از تنظیم تیخونوف در زیر مورد بحث قرار می گیرد.

رگرسیون خط الرأس به ویژه زمانی که یک زیرمجموعه از ضرایب حقیقی که کوچک یا حتی صفر هستند، وجود دارد، بسیار خوب عمل می کند. اما وقتی همه ضرایب نسبتاً بزرگ هستند، عملکرد آن نسبتاً ضعیفتر خواهد بود ولی با این حال، در این مورد هنوز هم می تواند از رگرسیون خطی بهتر عمل کند(به ازای مقادیر کوچک \lambda).

تاریخچه
-------

نرمال سازی تیخونوف مستقلاً در زمینه های مختلف ابداع، ولیکن به طور گسترده ای به علت کاربرد آن در معادلات انتگرال آندری تیخونوف   و دیوید ال فیلیپس شناخته شد.  برخی از نویسندگان از اصطلاح **نرمال سازی تیخونوف-فیلیپس** استفاده می کنند. تعریف این مسئله در ابعاد محدود توسط آرتور هورل ، که یک رویکرد آماری را در پیش گرفت،  و همچنین مانوس فاستر، که این روش را به عنوان فیلتر کریجینگ تفسیر کرد، بسط داده شد. 

این روش در ادبیات آماری، به عنوان رگرسیون خط الرأس شناخته می شود،  که دلیل این نامگذاری، شکل قطر ماتریس همانی است.

نرمال سازی تیخونوف
------------------

فرض کنید برای یک ماتریس معلوم A و بردار {\displaystyle \mathbf {b} } ، می خواهیم یک بردار {\mathbf {x}} را چنان بیابیم که



A

x

=

b

.

{\displaystyle A\mathbf {x} =\mathbf {b} .}

{\displaystyle A\mathbf {x} =\mathbf {b} .}
روش استاندارد، رگرسیون خطی کمترین مربعات معمولی است. با این حال، اگر به ازای هیچ {\mathbf {x}} ای معادله دارای جواب نبوده و یا بیش از یک {\mathbf {x}} وجود داشته باشد که به ازای آنها معادله دارای جواب باشد، یعنی راه حل منحصر به فرد نباشد، گفته می شود که مسئله غیر خوش تعریف است. در چنین مواردی، تخمین حداقل مربعات معمولی به یک سیستم معادلات بیش از حد تعیین شده یا اغلب به یک سیستم معادلات نامشخص تبدیل می شود. بیشتر پدیده های دنیای واقعی اثر فیلترهای پایین گذر در جهت رو به جلو دارند که در آن A ،{\mathbf {x}} را به {\displaystyle \mathbf {b} } تبدیل می کند. بنابراین، در حل مسئله معکوس، نگاشت معکوس به عنوان یک فیلتر بالاگذر عمل می کند که تمایل نامطلوب تقویت نویز را دارد ( مقادیر ویژه / مقادیر مفرد در نگاشت معکوس بزرگ ترین مقادیر هستند، در صورتی که در نگاشت رو به جلو کوچکترین اند). حداقل مربعات معمولی به دنبال به حداقل رساندن مجموع مجذور باقیمانده است که می تواند به صورت فشرده نوشته شود



‖
A

x

−

b

‖

2

2

,

{\displaystyle \|A\mathbf {x} -\mathbf {b} \|\_{2}^{2},}

{\displaystyle \|A\mathbf {x} -\mathbf {b} \|_{2}^{2},}
که {\displaystyle \|\cdot \|\_{2}} نُرم اقلیدسی است.

به منظور ارجحیت دادن به یک جواب خاص با ویژگی های مطلوب، یک عبارت نرمال سازی را، برای یک **ماتریس تیخونوف** {\displaystyle \Gamma } مناسب، می توان در این کمینه سازی گنجاند:



‖
A

x

−

b

‖

2

2

+
‖
Γ

x

‖

2

2

{\displaystyle \|A\mathbf {x} -\mathbf {b} \|\_{2}^{2}+\|\Gamma \mathbf {x} \|\_{2}^{2}}

{\displaystyle \|A\mathbf {x} -\mathbf {b} \|_{2}^{2}+\|\Gamma \mathbf {x} \|_{2}^{2}}
در بسیاری از موارد، به منظور ارجحیت دادن به راه حل هایی با نُرم کوچکتر، این ماتریس به صورت مضربی از ماتریس همانی ( {\displaystyle \Gamma =\alpha I} ) انتخاب می گردد. این امر با عنوان **تنظیم *L*2** شناخته می شود. در موارد دیگر، با فرض پیوستگی بردار، عملگرهای بالاگذر (به عنوان مثال، یک عملگر تفاضل یا یک عملگر فوریه وزندار) ممکن است برای هموار کردن استفاده شوند. این نرمال سازی، شرطی‌سازی مسئله را بهبود بخشیده و یک راه‌حل عددی مستقیم را ممکن می‌سازد. یک راه حل صریح که با {\displaystyle {\hat {x}}} نشان داده شده است، از رابطه زیر بدست می آید



x
^

=
(

A

⊤

A
+

Γ

⊤

Γ

)

−
1

A

⊤

b

.

{\displaystyle {\hat {x}}=(A^{\top }A+\Gamma ^{\top }\Gamma )^{-1}A^{\top }\mathbf {b} .}

{\displaystyle {\hat {x}}=(A^{\top }A+\Gamma ^{\top }\Gamma )^{-1}A^{\top }\mathbf {b} .}
تأثیر نرمال سازی ممکن است با توجه به مقیاس ماتریس \Gamma  متفاوت باشد. برای {\displaystyle \Gamma =0} این روش به راه حل حداقل مربعات نامنظم تبدیل می شود، مشروط بر اینکه (A T A) -1 وجود داشته باشد.

### نرمال سازی عمومی تیخونوف

برای توزیع های نرمال چند متغیره عمومی، می توان تبدیل متغیری را برای تبدیل آن به حالت بالا اعمال کرد. بدین منظور، می توان به دنبال یک x برای به حداقل رساندن عبارت



‖
A
x
−
b

‖

P

2

+
‖
x
−

x

0

‖

Q

2

,

{\displaystyle \|Ax-b\|\_{P}^{2}+\|x-x\_{0}\|\_{Q}^{2},}

{\displaystyle \|Ax-b\|_{P}^{2}+\|x-x_{0}\|_{Q}^{2},}
که {\displaystyle \|x\|\_{Q}^{2}} مجذور وزندار نُرم یا همان {\displaystyle x^{\top }Qx} است ( با فاصله ماهالانوبیس مقایسه شود). به تعبیر بیزی، P ماتریس کوواریانس معکوسb ، x\_{0} امید ریاضی x، و Q ماتریس کوواریانس معکوس x است. بدین ترتیب ماتریس تیخونوف به عنوان تجزیه ای از ماتریس {\displaystyle Q=\Gamma ^{\top }\Gamma } حاصل شده (به عنوان مثال تجزیه چولیسکای ) و به عنوان یک تبدیل سفید کننده در نظر گرفته می شود.

شکل تعمیم یافته این مسئله راه حل بهینه {\displaystyle x^{\*}} را خواهد داشت که می توان با استفاده از فرمول زیر، صراحتاً آن را نوشت


x

∗

=
(

A

⊤

P
A
+
Q

)

−
1

(

A

⊤

P
b
+
Q

x

0

)
,

{\displaystyle x^{\*}=(A^{\top }PA+Q)^{-1}(A^{\top }Pb+Qx\_{0}),}

{\displaystyle x^{*}=(A^{\top }PA+Q)^{-1}(A^{\top }Pb+Qx_{0}),}
یا معادل آن


x

∗

=

x

0

+
(

A

⊤

P
A
+
Q

)

−
1

(

A

⊤

P
(
b
−
A

x

0

)
)
.

{\displaystyle x^{\*}=x\_{0}+(A^{\top }PA+Q)^{-1}(A^{\top }P(b-Ax\_{0})).}

{\displaystyle x^{*}=x_{0}+(A^{\top }PA+Q)^{-1}(A^{\top }P(b-Ax_{0})).}

نرمال سازی لاورنتیف
-------------------

همانطور که توسط میخائیل لاورنتیف پیشنهاد شده، گاهاً می توان از استفاده ترانهاده{\displaystyle A^{\top }} اجتناب کرد. به عنوان مثال، اگر A متقارن و مثبت-معین باشد، یعنی {\displaystyle A=A^{\top }>0}، معکوس آن {\displaystyle A^{-1}} هم همین خاصیت را خواهد داشت. بنابراین می تواند از آن برای محاسبه مجذور نُرم وزندار {\displaystyle \|x\|\_{P}^{2}=x^{\top }A^{-1}x} در نرمال سازی کلی تیخونوف استفاده کرد که منجر به کمینه سازی زیر خواهد شد



‖
A
x
−
b

‖

A

−
1

2

+
‖
x
−

x

0

‖

Q

2

{\displaystyle \|Ax-b\|\_{A^{-1}}^{2}+\|x-x\_{0}\|\_{Q}^{2}}

{\displaystyle \|Ax-b\|_{A^{-1}}^{2}+\|x-x_{0}\|_{Q}^{2}}
یا به طور معادل به یک عبارت ثابت،


x

⊤

(
A
+
Q
)
x
−
2

x

⊤

(
b
+
Q

x

0

)

{\displaystyle x^{\top }(A+Q)x-2x^{\top }(b+Qx\_{0})}

{\displaystyle x^{\top }(A+Q)x-2x^{\top }(b+Qx_{0})} .
این مسئله کمینه سازی یک راه حل بهینه {\displaystyle x^{\*}} دارد که می توان آن را صراحتاً با کمک فرمول ذیل نوشت


x

∗

=
(
A
+
Q

)

−
1

(
b
+
Q

x

0

)

{\displaystyle x^{\*}=(A+Q)^{-1}(b+Qx\_{0})}

{\displaystyle x^{*}=(A+Q)^{-1}(b+Qx_{0})} ،
که در واقع همان حل مسئله تعمیم یافته تیخونوف می باشد که در آن {\displaystyle A=A^{\top }=P^{-1}.}

نرمال سازی لاورنتیف، در صورت امکان استفاده، برای حل نرمال سازی اصلی تیخونوف سودمند است، زیرا ماتریس لاورنتیف {\displaystyle A+Q} در مقایسه با ماتریس تیخونوف{\displaystyle A^{\top }A+\Gamma ^{\top }\Gamma }، می‌تواند قید خوش تعریف تری داشته باشد، یعنی شماره وضعیت کمتری داشته باشد.

نرمال سازی در فضای هیلبرت
-------------------------

معمولاً مسائل خطی گسسته ای که خوش تعریف نیستند از گسسته سازی معادلات انتگرال ناشی می شوند و می توان نرمال سازی تیخونوف را در حالت بی نهایت بعدی اصلی فرموله کرد. از مطالب بالا می توانیم این گونه تفسیر کنیم که A به عنوان یک اپراتور فشرده در فضاهای هیلبرت، و x و b به عنوان عناصر در دامنه و بُرد A اند. در نتیجه اپراتور {\displaystyle A^{\*}A+\Gamma ^{\top }\Gamma } یک عملگر معکوس محدود شده خود الحاقی است.

ارتباط با تجزیه مقدار های منفرد و فیلتر وینر
--------------------------------------------

با فرض {\displaystyle \Gamma =\alpha I} ، راه حل حداقل مربعات را می توان به روشی خاص با استفاده از تجزیه مقدار های منفرد تجزیه و تحلیل کرد. با فرض وجود تجزیه مقدار مفرد



A
=
U
Σ

V

⊤

{\displaystyle A=U\Sigma V^{\top }}

{\displaystyle A=U\Sigma V^{\top }}
با مقادیر منفرد {\displaystyle \sigma \_{i}} ، راه حل نرمال سازی تیخونوف را می توان به صورت ذیل بیان کرد



x
^

=
V
D

U

⊤

b
,

{\displaystyle {\hat {x}}=VDU^{\top }b,}

{\displaystyle {\hat {x}}=VDU^{\top }b,}
که مقادیر D به صورت مورب روی قطر اصلی قرار دارند


D

i
i

=

σ

i

σ

i

2

+

α

2


{\displaystyle D\_{ii}={\frac {\sigma \_{i}}{\sigma \_{i}^{2}+\alpha ^{2}}}}

{\displaystyle D_{ii}={\frac {\sigma _{i}}{\sigma _{i}^{2}+\alpha ^{2}}}}
و بقیه درایه ها صفر اند. این نشان دهنده تأثیر پارامتر تیخونوف بر روی شماره وضعیت مسئله نرمال سازی است. برای حالت تعمیم‌یافته، نمایش مشابهی را می‌توان با کمک تجزیه با ارزش منفرد تعمیم یافته به دست آورد.

در نهایت، ارتباط آن با فیلتر وینر، به صورت زیر است:



x
^

=

∑

i
=
1

q

f

i



u

i

⊤

b

σ

i


v

i

,

{\displaystyle {\hat {x}}=\sum \_{i=1}^{q}f\_{i}{\frac {u\_{i}^{\top }b}{\sigma \_{i}}}v\_{i},}

{\displaystyle {\hat {x}}=\sum _{i=1}^{q}f_{i}{\frac {u_{i}^{\top }b}{\sigma _{i}}}v_{i},}
که {\displaystyle f\_{i}={\frac {\sigma \_{i}^{2}}{\sigma \_{i}^{2}+\alpha ^{2}}}} وزن های وینر و q رتبه A است.

تعیین ضریب تیخونوف
------------------

مقدار بهینه پارامتر نرمال سازی \alpha  معمولاً ناشناخته است و اغلب در مسائل عملی با یک روش *اد هاک* تعیین می شود. یک رویکرد احتمالی متکی بر تفسیر بیزی در زیر توضیح داده شده است. روش‌های دیگر عبارتند از اصل اختلاف ، اعتبارسنجی متقابل ، روش منحنی L ،  حداکثر احتمال محدود شده و تخمین‌گر ریسک پیش‌بینی‌کننده نااریب. گریس وهبه ثابت کرد که پارامتر بهینه، به معنای اعتبارسنجی متقابل تکی، عبارت زیر را کمینه می کند  



G
=

RSS

τ

2

=

‖
X

β
^

−
y

‖

2

[
Tr
⁡
(
I
−
X
(

X

T

X
+

α

2

I

)

−
1

X

T

)

]

2


,

{\displaystyle G={\frac {\operatorname {RSS} }{\tau ^{2}}}={\frac {\|X{\hat {\beta }}-y\|^{2}}{[\operatorname {Tr} (I-X(X^{T}X+\alpha ^{2}I)^{-1}X^{T})]^{2}}},}

{\displaystyle G={\frac {\operatorname {RSS} }{\tau ^{2}}}={\frac {\|X{\hat {\beta }}-y\|^{2}}{[\operatorname {Tr} (I-X(X^{T}X+\alpha ^{2}I)^{-1}X^{T})]^{2}}},}
که {\displaystyle \operatorname {RSS} } مجموع مربعات باقیمانده است و \tau  عدد مؤثر درجات آزادی است.

با کمک تجزیه مقادیر منفرد قبلی، می توانیم عبارت فوق را به شکل زیر ساده سازی کنیم:



RSS
=

‖

y
−

∑

i
=
1

q

(

u

i

′

b
)

u

i

‖

2

+

‖

∑

i
=
1

q


α

2

σ

i

2

+

α

2


(

u

i

′

b
)

u

i

‖

2

,

{\displaystyle \operatorname {RSS} =\left\|y-\sum \_{i=1}^{q}(u\_{i}'b)u\_{i}\right\|^{2}+\left\|\sum \_{i=1}^{q}{\frac {\alpha ^{2}}{\sigma \_{i}^{2}+\alpha ^{2}}}(u\_{i}'b)u\_{i}\right\|^{2},}

{\displaystyle \operatorname {RSS} =\left\|y-\sum _{i=1}^{q}(u_{i}'b)u_{i}\right\|^{2}+\left\|\sum _{i=1}^{q}{\frac {\alpha ^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}(u_{i}'b)u_{i}\right\|^{2},}

RSS
=

RSS

0

+

‖

∑

i
=
1

q


α

2

σ

i

2

+

α

2


(

u

i

′

b
)

u

i

‖

2

,

{\displaystyle \operatorname {RSS} =\operatorname {RSS} \_{0}+\left\|\sum \_{i=1}^{q}{\frac {\alpha ^{2}}{\sigma \_{i}^{2}+\alpha ^{2}}}(u\_{i}'b)u\_{i}\right\|^{2},}

{\displaystyle \operatorname {RSS} =\operatorname {RSS} _{0}+\left\|\sum _{i=1}^{q}{\frac {\alpha ^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}(u_{i}'b)u_{i}\right\|^{2},}
و



τ
=
m
−

∑

i
=
1

q


σ

i

2

σ

i

2

+

α

2


=
m
−
q
+

∑

i
=
1

q


α

2

σ

i

2

+

α

2


{\displaystyle \tau =m-\sum \_{i=1}^{q}{\frac {\sigma \_{i}^{2}}{\sigma \_{i}^{2}+\alpha ^{2}}}=m-q+\sum \_{i=1}^{q}{\frac {\alpha ^{2}}{\sigma \_{i}^{2}+\alpha ^{2}}}}

{\displaystyle \tau =m-\sum _{i=1}^{q}{\frac {\sigma _{i}^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}=m-q+\sum _{i=1}^{q}{\frac {\alpha ^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}}

رابطه با فرمول احتمال
---------------------

فرموله سازی احتمالی یک مسئله وارون، (به شرطی که همه عدم قطعیت ها، از توزیع گاوسی تبعیت کنند) ماتریس کوواریانس{\displaystyle C\_{M}} را معرفی می کند که نماینده عدم قطعیت های *پیشینی* در پارامترهای مدل، و ماتریس کوواریانس {\displaystyle C\_{D}} نماینده عدم قطعیت در پارامترهای مشاهده شده اند. در حالت خاصی که این دو ماتریس قطری و همسانگرد باشند، خواهیم داشت: {\displaystyle C\_{M}=\sigma \_{M}^{2}I} و {\displaystyle C\_{D}=\sigma \_{D}^{2}I} و در این حالت، معادلات نظریه معکوس به معادلات بالا تبدیل شده و{\displaystyle \alpha ={\sigma \_{D}}/{\sigma \_{M}}} .

تفسیر بیزی
----------

در ابتدا شاید انتخاب راه حل برای این مسئله نرمال سازی، تا حدی تصادفی به نظر بیاید، و در واقع به نظر می رسد ماتریس \Gamma  تا حدی دلخواه باشد، اما این فرآیند را می توان از دیدگاه بیزی توجیه کرد. توجه داشته باشید که برای یک مسئله غیر خوش تعریف، باید فرضیاتی اضافی را برای دستیابی به یک راه حل منحصر به فرد ارائه کرد. از نظر آماری، توزیع احتمال پیشین x، اغلب یک توزیع نرمال چند متغیره در نظر گرفته می شود. برای سادگی، مفروضات زیر مطرح می شوند: میانگین ها صفر اند، اجزا مستقل و دارای انحراف استاندارد یکسان {\displaystyle \sigma \_{x}} هستند. داده ها نیز ممکن است دارای خطا باشند و خطاهای موجود در b نیز مستقل و با میانگین صفر و انحراف معیار {\displaystyle \sigma \_{b}} فرض می شوند. بر اساس این مفروضات و طبق قضیه بیز، راه حل نرمال شده توسط تیخونوف، نسبت به داده ها و توزیع *پیشین* x، محتمل ترین راه حل است.

اگر فرض اولیه نرمال بودن توزیع با فرضیات ناهمواریانسی و عدم همبستگی خطاها جایگزین شود، و اگر هنوز میانگین صفر را فرض کنیم، آنگاه قضیه گاوس-مارکف مستلزم این است که این راه حل، برآوردگر خطی نااریب کمینه است.

پیاده سازی
----------

با کمک کتابخانه Scikit-Learn زبان پایتون می توان به صورت زیر، رگرسیون خط الرأس را پیاده سازی کرد

```
from sklearn.linear\_model import Ridge
clf = Ridge(alpha=1.0)
clf.fit(X, y)

```

مصورسازی
--------

اگر جمع مربعات خطاها را به شکل خطوط تراز نمایش دهیم، آنگاه خواهیم داشت


β

1

2

+

β

2

2

≤

t

2

{\displaystyle \beta \_{1}^{2}+\beta \_{2}^{2}\leq t^{2}}

{\displaystyle \beta _{1}^{2}+\beta _{2}^{2}\leq t^{2}}
که در صفحهٔ مختصات دو بعدی، دایره‌ای به شعاع t را نمایش می‌دهد. بدین ترتیب، محل برخورد منحنی های تراز و دایره \beta  معمولاً نزدیک بیشینه یکی از ضرایب و کمینه دیگری خواهد بود اما هیچکدام صفر مطلق نخواهند بود.

صفحات مرتبط
-----------

* برآوردگر LASSO یکی دیگر از روش های نرمال سازی در آمار است.
* متعادل سازی کشسان
* نرمال سازی ماتریس
* en:Ridge Regression

منابع
-----

1. ↑  Hoerl, Arthur E.; Kennard, Robert W. (1970). "Ridge Regression: Biased Estimation for Nonorthogonal Problems". *Technometrics*. **12** (1): 55–67. doi:10.2307/1267351. JSTOR 1267351.
2. ↑  Hoerl, Arthur E.; Kennard, Robert W. (1970). "Ridge Regression: Applications to Nonorthogonal Problems". *Technometrics*. **12** (1): 69–82. doi:10.2307/1267352. JSTOR 1267352.
3. ↑  For the choice of \lambda in practice, see Khalaf, Ghadban; Shukur, Ghazi (2005). "Choosing Ridge Parameter for Regression Problems". *Communications in Statistics – Theory and Methods*. **34** (5): 1177–1182. doi:10.1081/STA-200056836.
4. ↑  van Wieringen, Wessel (2021-05-31). "Lecture notes on ridge regression". *arXiv*.
5. ↑  Tikhonov, Andrey Nikolayevich (1943). "Об устойчивости обратных задач" [On the stability of inverse problems]. *Doklady Akademii Nauk SSSR*. **39** (5): 195–198. Archived from the original on 2005-02-27.
6. ↑  Tikhonov, A. N. (1963). "О решении некорректно поставленных задач и методе регуляризации". *Doklady Akademii Nauk SSSR*. **151**: 501–504.. Translated in "Solution of incorrectly formulated problems and the regularization method". *Soviet Mathematics*. **4**: 1035–1038.
7. ↑  Phillips, D. L. (1962). "A Technique for the Numerical Solution of Certain Integral Equations of the First Kind". *Journal of the ACM*. **9**: 84–97. doi:10.1145/321105.321114.
8. ↑  Hoerl, Arthur E. (1962). "Application of Ridge Analysis to Regression Problems". *Chemical Engineering Progress*. **58** (3): 54–59.
9. ↑  Foster, M. (1961). "An Application of the Wiener-Kolmogorov Smoothing Theory to Matrix Inversion". *Journal of the Society for Industrial and Applied Mathematics*. **9** (3): 387–392. doi:10.1137/0109031.
10. ↑  Hoerl, A. E.; R. W. Kennard (1970). "Ridge regression: Biased estimation for nonorthogonal problems". *Technometrics*. **12** (1): 55–67. doi:10.1080/00401706.1970.10488634.
11. ↑  P. C. Hansen, "The L-curve and its use in the numerical treatment of inverse problems",
12. ↑  Wahba, G. (1990). "Spline Models for Observational Data". *CBMS-NSF Regional Conference Series in Applied Mathematics*. Society for Industrial and Applied Mathematics. Bibcode:1990smod.conf.....W.
13. ↑  Golub, G.; Heath, M.; Wahba, G. (1979). "Generalized cross-validation as a method for choosing a good ridge parameter" (PDF). *Technometrics*. **21** (2): 215–223. doi:10.1080/00401706.1979.10489751.
14. ↑  "sklearn.linear\_model.Ridge". *scikit-learn* (به انگلیسی). Retrieved 2023-07-06. `{{cite web}}`: Check `|نشانی=` value (help)[*پیوند مرده*]
15. ↑  *Hastie, T. , Tibshirani, R. , & Wainwright, M. (2020). Statistical Learning with Sparsity (Chapman & Hall/CRC Monographs on Statistics and Applied Probability) (1st ed.). Routledge. (به انگلیسی)*.

| * ن
* ب
* و
کمترین مربعات و تحلیل رگرسیون |
| --- |
| Computational statistics | 
* کمترین مربعات
* کمترین مربعات خطی
* کمترین مربعات غیرخطی
* Iteratively reweighted least squares

 |
| همبستگی و وابستگی | 
* ضریب همبستگی پیرسون
* ضریب همبستگی رتبه‌ای (ضریب همبستگی رتبه‌ای اسپیرمن
* تای کندال)
* همبستگی جزئی
* اختلاط

 |
| تحلیل رگرسیون | 
* کمترین مربعات معمولی
* کمترین مربعات جزئی
* مجموع کمترین مربعات
* رگرسیون خط الرأس

 |
| رگرسیون به عنوانمدل آماری | 

|  |  |
| --- | --- |
| رگرسیون خطی | 
* رگرسیون خطی ساده
* کمترین مربعات معمولی
* روش تعمیم‌یافته کمترین مربعات
* Weighted least squares
* رگرسیون چندمتغیره

 |
| ساختار پیش‌بینی | 
* رگرسیون چندجمله‌ای
* Growth curve (statistics)
* Segmented regression
* رگرسیون محلی

 |
| غیراستاندارد | 
* رگرسیون غیرخطی
* Nonparametric
* Semiparametric
* رگرسیون باثبات
* رگرسیون چندک
* Isotonic

 |
| خطاهای غیرنرمال | 
* مدل خطی تعمیم‌یافته
* Binomial
* رگرسیون پواسون
* رگرسیون لجستیک

 |

 |
| Decomposition of variance | 
* تحلیل واریانس
* تحلیل کوواریانس
* تحلیل واریانس چندمتغیره

 |
| توضیح مدل | 
* Stepwise regression
* Model selection
	+ Mallows's *Cp*
	+ معیار اطلاعاتی آکائیکه
	+ معیار اطلاع بیزی-شوارتز
* تصریح مدل
* Regression validation

 |
| پیش‌زمینه | 
* Mean and predicted response
* قضیه گوس-مارکوف
* Errors and residuals
* نیکویی برازش
* Studentized residual
* Minimum mean-square error
* قضیه اف‌دبلیوال

 |
| طرح آزمایش | 
* روش‌شناسی سطح پاسخ
* طراحی بهینه
* Bayesian design

 |
| آنالیز عددی نظریه تقریب | 
* آنالیز عددی
* نظریه تقریب
* انتگرال عددی
* Gaussian quadrature
* چندجمله‌ای‌های متعامد
* چندجمله‌ای چبیشف
* Chebyshev nodes

 |
| کاربردها | 
* برازش منحنی
* منحنی کالیبراسیون
* Numerical smoothing and differentiation
* شناسایی سامانه
* Moving least squares

 |
| 
* رده:تحلیل رگرسیون
* رده:آمار
* نشان درگاه درگاه Mathematics
* Statistics outline
* Statistics topics

 |

<noinclude{{doc|content>