تنظیم تیخونوف

بندانگشتی|آندری نیکولاویچ تیخونف 1975
تنظیم تیخونوف، که به نام آندره تیخونوف نامگذاری شده‌است، روشی برای منظم‌سازی در مسئله کمترین مربعات است. این روش معمولاً در مدلهایی که تعداد زیادی پارامتر دارند خوب عمل می‌کند. به‌طور کلی، این روش در ازای مقدار قابل اغماضی از اریبی، باعث بهبود بازدهی برآورد پارامتر می‌شود.

## تعریف ریاضی
### کمترین مربعات
در مسئله کمترین مربعات هدف یافتن بردار \vec{\beta} است به قسمی که L(D, \vec{\beta}) = ||X\vec{\beta} - Y||^2 به کمترین مقدار ممکن برسد. در اینجا X یک ماتریس k \times k ، \vec{\beta} و Y بردارهای k \times 1 هستند و D = \{X,\, Y\}. برای پیداکردن بهینه تابع، گرادیان L(D, \vec{\beta}) را حساب کرده با صفر برابر می‌کنیم. نخست L(D, \vec{\beta}) را بسط می‌دهیم:


\begin{align}
L(D, \vec{\beta}) &= ||X\vec{\beta} - Y||^2 \\ &= (X\vec{\beta} - Y)^{\top} (X\vec{\beta} - Y) \\ &= Y^{\top}Y- Y^{\top}X\vec{\beta}- \vec{\beta}^{\top}X^{\top}Y+\vec{\beta}^{\top}X^{\top}X\vec{\beta}
\end{align}


حال گرادیان این تابع را نسبت به \vec{\beta} پیدا می‌کنیم که می‌شود:


\begin{align}
\frac{\partial L(D, \vec{\beta})}{\partial \vec{\beta}} &= \frac{\partial \left(Y^{\top}Y- Y^{\top}X\vec{\beta}- \vec{\beta}^{\top}X^{\top}Y+\vec{\beta}^{\top}X^{\top}X\vec{\beta}\right)}{\partial \vec{\beta}}\\ &= -2X^{\top}Y + 2X^{\top}X\vec{\beta}
\end{align}


با برابر قرار دادن گرادیان با صفر پارامتر بهینه بدست می‌آید:


-2X^{\top}Y + 2X^{\top}X\vec{\beta} = 0 \Rightarrow X^{\top}Y = X^{\top}X\vec{\beta}  \Rightarrow \vec{\hat{\beta}} = (X^{\top}X)^{-1}X^{\top}Y


### تنظیم تیخونوف
یکی از مشکلات اساسی که در این روش کمترین مربعات وجود دارد مشکل عدم وجود ماتریس وارون برای (\mathbf{X}^\mathsf{T}\mathbf{X}) است. برای حل این مشکل تنظیم تیخونوف تابع L(D, \vec{\beta}) را به تابع پایین تغییر می‌دهد:


\begin{align}
L(D, \vec{\beta}) &= ||X\vec{\beta} - Y||^2 + ||\Gamma \vec{\beta}||^2 \\ &= (X\vec{\beta} - Y)^{\top} (X\vec{\beta} - Y) + \vec{\beta}^{\top}\Gamma^{\top}\Gamma\vec{\beta} \\ &= Y^{\top}Y- Y^{\top}X\vec{\beta}- \vec{\beta}^{\top}X^{\top}Y+\vec{\beta}^{\top}X^{\top}X\vec{\beta}
\end{align}


حال گرادیان این تابع را نسبت به \vec{\beta} پیدا می‌کنیم که می‌شود:


\begin{align}
\frac{\partial L(D, \vec{\beta})}{\partial \vec{\beta}} &= \frac{\partial \left(Y^{\top}Y- Y^{\top}X\vec{\beta}- \vec{\beta}^{\top}X^{\top}Y+\vec{\beta}^{\top}X^{\top}X\vec{\beta} + \vec{\beta}^{\top}X^{\top}X\vec{\beta}\right)}{\partial \vec{\beta}}\\ &= -2X^{\top}Y +\ 2X^{\top}X\vec{\beta}
+2\vec{\beta}\Gamma^{\top}\Gamma
\end{align}


با برابر قرار دادن گرادیان با صفر پارامتر بهینه بدست می‌آید:


-2X^{\top}Y + 2X^{\top}X\vec{\beta} +2\vec{\beta}\Gamma^{\top}\Gamma = 0 \Rightarrow X^{\top}Y  = \left(X^{\top}X + \Gamma^{\top}\Gamma\right)\vec{\beta} \Rightarrow \vec{\hat{\beta}} = (X^{\top}X + \Gamma^{\top}\Gamma)^{-1}X^{\top}Y


پس پارامتر بهینه ما برابر است با:

{\bf \vec{\hat{\beta}} = (X^{\top}X + \Gamma^{\top}\Gamma)^{-1}X^{\top}Y}

### رگرسیون ستیغی
اگر \Gamma را با \alpha I (در اینجا I ماتریس همانی است) برابر قرار دهیم، به جواب پایین می‌رسیم که همان رگرسیون ستیغی است. در این رگرسیون سعی بر این است که مقادیر پارامتر زیاد بزرگ نشود تا بیش‌برازش اتفاق نیفتد. با استفاده از ضریب لاگرانژ می‌توان نشان داد که این روش معادل بهینه‌سازی \min_{\vec{\beta}}||X\vec{\beta} - Y||^2 تحت محدودیتِ \sum \beta_{i}^{2} \leq c به ازای یک عدد c است.


{\bf \vec{\hat{\beta}} = (X^{\top}X + \alpha^2 I)^{-1}X^{\top}Y}


## جستارهای وابسته
* کمترین مربعات
* بیش‌برازش
* رگرسیون خطی

## منابع

رده:جبر خطی
رده:مسائل‌های معکوس