تنظیم تیخونوف، که به نام آندره تیخونوف نامگذاری شده‌است، روشی برای منظم‌سازی در مسئله کمترین مربعات است. این روش معمولاً در مدلهایی که تعداد زیادی پارامتر دارند خوب عمل می‌کند. به‌طور کلی، این روش در ازای مقدار قابل اغماضی از اریبی، باعث بهبود بازدهی برآورد پارامتر می‌شود.

تعریف ریاضی
-----------

### کمترین مربعات

در مسئله کمترین مربعات هدف یافتن بردار {\displaystyle {\vec {\beta }}} است به قسمی که {\displaystyle L(D,{\vec {\beta }})=||X{\vec {\beta }}-Y||^{2}} به کمترین مقدار ممکن برسد. در اینجا X یک ماتریس {\displaystyle k\times k} ، {\displaystyle {\vec {\beta }}} و Y بردارهای {\displaystyle k\times 1} هستند و {\displaystyle D=\{X,\,Y\}}. برای پیداکردن بهینه تابع، گرادیان {\displaystyle L(D,{\vec {\beta }})} را حساب کرده با صفر برابر می‌کنیم. نخست {\displaystyle L(D,{\vec {\beta }})} را بسط می‌دهیم:

{\displaystyle {\begin{aligned}L(D,{\vec {\beta }})&=||X{\vec {\beta }}-Y||^{2}\\&=(X{\vec {\beta }}-Y)^{\top }(X{\vec {\beta }}-Y)\\&=Y^{\top }Y-Y^{\top }X{\vec {\beta }}-{\vec {\beta }}^{\top }X^{\top }Y+{\vec {\beta }}^{\top }X^{\top }X{\vec {\beta }}\end{aligned}}}

حال گرادیان این تابع را نسبت به {\displaystyle {\vec {\beta }}} پیدا می‌کنیم که می‌شود:

{\displaystyle {\begin{aligned}{\frac {\partial L(D,{\vec {\beta }})}{\partial {\vec {\beta }}}}&={\frac {\partial \left(Y^{\top }Y-Y^{\top }X{\vec {\beta }}-{\vec {\beta }}^{\top }X^{\top }Y+{\vec {\beta }}^{\top }X^{\top }X{\vec {\beta }}\right)}{\partial {\vec {\beta }}}}\\&=-2X^{\top }Y+2X^{\top }X{\vec {\beta }}\end{aligned}}}

با برابر قرار دادن گرادیان با صفر پارامتر بهینه بدست می‌آید:

{\displaystyle -2X^{\top }Y+2X^{\top }X{\vec {\beta }}=0\Rightarrow X^{\top }Y=X^{\top }X{\vec {\beta }}\Rightarrow {\vec {\hat {\beta }}}=(X^{\top }X)^{-1}X^{\top }Y}

### تنظیم تیخونوف

یکی از مشکلات اساسی که در این روش کمترین مربعات وجود دارد مشکل عدم وجود ماتریس وارون برای {\displaystyle (\mathbf {X} ^{\mathsf {T}}\mathbf {X} )} است. برای حل این مشکل تنظیم تیخونوف تابع {\displaystyle L(D,{\vec {\beta }})} را به تابع پایین تغییر می‌دهد:

{\displaystyle {\begin{aligned}L(D,{\vec {\beta }})&=||X{\vec {\beta }}-Y||^{2}+||\Gamma {\vec {\beta }}||^{2}\\&=(X{\vec {\beta }}-Y)^{\top }(X{\vec {\beta }}-Y)+{\vec {\beta }}^{\top }\Gamma ^{\top }\Gamma {\vec {\beta }}\\&=Y^{\top }Y-Y^{\top }X{\vec {\beta }}-{\vec {\beta }}^{\top }X^{\top }Y+{\vec {\beta }}^{\top }X^{\top }X{\vec {\beta }}\end{aligned}}}

حال گرادیان این تابع را نسبت به {\displaystyle {\vec {\beta }}} پیدا می‌کنیم که می‌شود:

{\displaystyle {\begin{aligned}{\frac {\partial L(D,{\vec {\beta }})}{\partial {\vec {\beta }}}}&={\frac {\partial \left(Y^{\top }Y-Y^{\top }X{\vec {\beta }}-{\vec {\beta }}^{\top }X^{\top }Y+{\vec {\beta }}^{\top }X^{\top }X{\vec {\beta }}+{\vec {\beta }}^{\top }X^{\top }X{\vec {\beta }}\right)}{\partial {\vec {\beta }}}}\\&=-2X^{\top }Y+\ 2X^{\top }X{\vec {\beta }}+2{\vec {\beta }}\Gamma ^{\top }\Gamma \end{aligned}}}

با برابر قرار دادن گرادیان با صفر پارامتر بهینه بدست می‌آید:

{\displaystyle -2X^{\top }Y+2X^{\top }X{\vec {\beta }}+2{\vec {\beta }}\Gamma ^{\top }\Gamma =0\Rightarrow X^{\top }Y=\left(X^{\top }X+\Gamma ^{\top }\Gamma \right){\vec {\beta }}\Rightarrow {\vec {\hat {\beta }}}=(X^{\top }X+\Gamma ^{\top }\Gamma )^{-1}X^{\top }Y}

پس پارامتر بهینه ما برابر است با:

{\displaystyle {\bf {{\vec {\hat {\beta }}}=(X^{\top }X+\Gamma ^{\top }\Gamma )^{-1}X^{\top }Y}}}

### رگرسیون ستیغی

اگر \Gamma  را با {\displaystyle \alpha I} (در اینجا I ماتریس همانی است) برابر قرار دهیم، به جواب پایین می‌رسیم که همان رگرسیون ستیغی است. در این رگرسیون سعی بر این است که مقادیر پارامتر زیاد بزرگ نشود تا بیش‌برازش اتفاق نیفتد. با استفاده از ضریب لاگرانژ می‌توان نشان داد که این روش معادل بهینه‌سازی {\displaystyle \min \_{\vec {\beta }}||X{\vec {\beta }}-Y||^{2}} تحت محدودیتِ {\displaystyle \sum \beta \_{i}^{2}\leq c} به ازای یک عدد c است.  

{\displaystyle {\bf {{\vec {\hat {\beta }}}=(X^{\top }X+\alpha ^{2}I)^{-1}X^{\top }Y}}}

جستارهای وابسته
---------------

* کمترین مربعات
* بیش‌برازش
* رگرسیون خطی

منابع
-----

1. ↑  Kennedy, Peter (2003). *A Guide to Econometrics* (Fifth ed.). Cambridge: The MIT Press. pp. 205–206. ISBN 0-262-61183-X.
2. 1 2  Gruber, Marvin (1998). *Improving Efficiency by Shrinkage: The James–Stein and Ridge Regression Estimators*. Boca Raton: CRC Press. pp. 7–15. ISBN 0-8247-0156-9.
3. ↑  Golub, Gene H.; Hansen, Per Christian.; O'Leary, Dianne P. (1999-01-01). "Tikhonov Regularization and Total Least Squares". *SIAM Journal on Matrix Analysis and Applications*. **21** (1): 185–194. doi:10.1137/S0895479897326432. ISSN 0895-4798.
4. ↑  Ng, Andrew Y. (2004). *Feature selection, L1 vs. L2 regularization, and rotational invariance* (PDF). Proc. ICML.