رگرسیون خط الرأس کیست؟ توضیح بده.
رگرسیون خط الرأس روشی برای تخمین ضرایب مدل های رگرسیون چندگانه در حالتی است که متغیرهای مستقل، همبستگی بالایی دارند. در اینجا روش کار مشابه کمترین مربعات است اما برخی ضرایب تخمین زده شده را با هم به سمت صفر سوق می دهیم. این روش در بسیاری از زمینه ها از جمله اقتصاد سنجی، شیمی و مهندسی مورد استفاده قرار می گیرد. نام دیگر آن نرمال سازی تیخونوف، که به نام آندری تیخونف نامگذاری شده، است و روشی برای نرمال سازی مسائل غیر خوش ساخت می باشد و به ویژه برای کاهش مشکل هم خطی چندگانه در رگرسیون خطی مفید است، که معمولاً در مدل‌هایی با تعداد زیادی پارامتر رخ می‌دهد. به طور کلی، این روش کارایی بهتری را در مسائل تخمین پارامتر در ازای مقدار قابل قبولی اریبی ارائه می دهد (به مبادله بایاس-واریانس مراجعه کنید).این نظریه برای اولین بار توسط هورل و کنارد در سال ۱۹۷۰ در مقالات "تکنومتریکس:" "رگرسیون خط الرأس: تخمین اریب مسائل نامتعامد" و "رگرسیون خط الرأس: کاربردها در مسائل نامتعامد" معرفی شد. رگرسیون خط الرأس به عنوان یک راه حل برای نادقیق بودن برآوردگرهای حداقل مربعات زمانی که مدل‌های رگرسیون خطی دارای متغیرهای مستقل هم خطی (بسیار همبسته) هستند ارائه شد. این امر تخمین دقیق تری از پارامترهای خط الراس ارائه می دهد، زیرا واریانس و برآوردگر میانگین مربعات آن اغلب کوچکتر از برآوردگرهای حداقل مربعی است که قبلاً مشتق شده بود.بررسی اجمالی.در ساده ترین حالت، مسئله یک ماتریس لحظه ای وارون پذیر formula_1 با افزودن عناصر مثبت به قطر اصلی و در نتیجه شماره وضعیت آن کاهش می یابد. مشابه برآوردگر کمترین مربعات معمولی ، تخمین‌گر خط الرأس ساده به صورت ذیل می باشدکه formula_3 پسرفت، formula_4 ماتریس طرح ، formula_5 ماتریس همانی و لامبدا پارامتر خط الرأس ، formula_6 به عنوان ثابت جابجایی قطرهای ماتریس همانی عمل می کند. می توان نشان داد که این تخمینگر راه حلی برای مسئله کمترین مربعات مقید به formula_7 که می توان آن را به صورت لاگرانژین بیان کرد:که نشان می دهد formula_9 چیزی جز ضریب لاگرانژی از قید نیست. به طور معمول، formula_9 بر اساس یک معیار اکتشافی یا هیوریستیک انتخاب می شود، که در این صورت قید به طور کامل ارضا نمی شود. به طور خاص در مورد formula_11 ، که در آن قید غیر الزام آور است ، تخمینگر خط الرأس به کمترین مربعات معمولی کاهش می یابد. یک رویکرد کلی تر از تنظیم تیخونوف در زیر مورد بحث قرار می گیرد.رگرسیون خط الرأس به ویژه زمانی که یک زیرمجموعه از ضرایب حقیقی که کوچک یا حتی صفر هستند، وجود دارد، بسیار خوب عمل می کند. اما وقتی همه ضرایب نسبتاً بزرگ هستند، عملکرد آن نسبتاً ضعیفتر خواهد بود ولی با این حال، در این مورد هنوز هم می تواند از رگرسیون خطی بهتر عمل کند(به ازای مقادیر کوچک formula_9).تاریخچه.نرمال سازی تیخونوف مستقلاً در زمینه های مختلف ابداع، ولیکن به طور گسترده ای به علت کاربرد آن در معادلات انتگرال آندری تیخونوف و دیوید ال فیلیپس شناخته شد. برخی از نویسندگان از اصطلاح نرمال سازی تیخونوف-فیلیپس استفاده می کنند. تعریف این مسئله در ابعاد محدود توسط آرتور هورل ، که یک رویکرد آماری را در پیش گرفت، و همچنین مانوس فاستر، که این روش را به عنوان فیلتر کریجینگ تفسیر کرد، بسط داده شد. این روش در ادبیات آماری، به عنوان رگرسیون خط الرأس شناخته می شود، که دلیل این نامگذاری، شکل قطر ماتریس همانی است.نرمال سازی تیخونوف.فرض کنید برای یک ماتریس معلوم formula_13 و بردار formula_14 ، می خواهیم یک بردار formula_15 را چنان بیابیم کهروش استاندارد، رگرسیون خطی کمترین مربعات معمولی است. با این حال، اگر به ازای هیچ formula_15 ای معادله دارای جواب نبوده و یا بیش از یک formula_15 وجود داشته باشد که به ازای آنها معادله دارای جواب باشد، یعنی راه حل منحصر به فرد نباشد، گفته می شود که مسئله غیر خوش تعریف است. در چنین مواردی، تخمین حداقل مربعات معمولی به یک سیستم معادلات بیش از حد تعیین شده یا اغلب به یک سیستم معادلات نامشخص تبدیل می شود. بیشتر پدیده های دنیای واقعی اثر فیلترهای پایین گذر در جهت رو به جلو دارند که در آن formula_13 ،formula_15 را به formula_14 تبدیل می کند. بنابراین، در حل مسئله معکوس، نگاشت معکوس به عنوان یک فیلتر بالاگذر عمل می کند که تمایل نامطلوب تقویت نویز را دارد ( مقادیر ویژه / مقادیر مفرد در نگاشت معکوس بزرگ ترین مقادیر هستند، در صورتی که در نگاشت رو به جلو کوچکترین اند). حداقل مربعات معمولی به دنبال به حداقل رساندن مجموع مجذور باقیمانده است که می تواند به صورت فشرده نوشته شودکه formula_23 نُرم اقلیدسی است.به منظور ارجحیت دادن به یک جواب خاص با ویژگی های مطلوب، یک عبارت نرمال سازی را، برای یک ماتریس تیخونوف formula_24 مناسب، می توان در این کمینه سازی گنجاند:در بسیاری از موارد، به منظور ارجحیت دادن به راه حل هایی با نُرم کوچکتر، این ماتریس به صورت مضربی از ماتریس همانی ( formula_26 ) انتخاب می گردد. این امر با عنوان تنظیم شناخته می شود. در موارد دیگر، با فرض پیوستگی بردار، عملگرهای بالاگذر (به عنوان مثال، یک عملگر تفاضل یا یک عملگر فوریه وزندار) ممکن است برای هموار کردن استفاده شوند. این نرمال سازی، شرطی‌سازی مسئله را بهبود بخشیده و یک راه‌حل عددی مستقیم را ممکن می‌سازد. یک راه حل صریح که با formula_27 نشان داده شده است، از رابطه زیر بدست می آیدتأثیر نرمال سازی ممکن است با توجه به مقیاس ماتریس formula_29 متفاوت باشد. برای formula_30 این روش به راه حل حداقل مربعات نامنظم تبدیل می شود، مشروط بر اینکه (A T A) -1 وجود داشته باشد.نرمال سازی عمومی تیخونوف.برای توزیع های نرمال چند متغیره عمومی، می توان تبدیل متغیری را برای تبدیل آن به حالت بالا اعمال کرد. بدین منظور، می توان به دنبال یک formula_31 برای به حداقل رساندن عبارتکه formula_33 مجذور وزندار نُرم یا همان formula_34 است ( با فاصله ماهالانوبیس مقایسه شود). به تعبیر بیزی، formula_35 ماتریس کوواریانس معکوسformula_36 ، formula_37 امید ریاضی formula_31، و formula_39 ماتریس کوواریانس معکوس formula_31 است. بدین ترتیب ماتریس تیخونوف به عنوان تجزیه ای از ماتریس formula_41 حاصل شده (به عنوان مثال تجزیه چولیسکای ) و به عنوان یک تبدیل سفید کننده در نظر گرفته می شود.شکل تعمیم یافته این مسئله راه حل بهینه formula_42 را خواهد داشت که می توان با استفاده از فرمول زیر، صراحتاً آن را نوشتیا معادل آننرمال سازی لاورنتیف.همانطور که توسط میخائیل لاورنتیف پیشنهاد شده، گاهاً می توان از استفاده ترانهادهformula_45 اجتناب کرد. به عنوان مثال، اگر formula_13 متقارن و مثبت-معین باشد، یعنی formula_47، معکوس آن formula_48 هم همین خاصیت را خواهد داشت. بنابراین می تواند از آن برای محاسبه مجذور نُرم وزندار formula_49 در نرمال سازی کلی تیخونوف استفاده کرد که منجر به کمینه سازی زیر خواهد شدیا به طور معادل به یک عبارت ثابت،این مسئله کمینه سازی یک راه حل بهینه formula_42 دارد که می توان آن را صراحتاً با کمک فرمول ذیل نوشتکه در واقع همان حل مسئله تعمیم یافته تیخونوف می باشد که در آن formula_54نرمال سازی لاورنتیف، در صورت امکان استفاده، برای حل نرمال سازی اصلی تیخونوف سودمند است، زیرا ماتریس لاورنتیف formula_55 در مقایسه با ماتریس تیخونوفformula_56، می‌تواند قید خوش تعریف تری داشته باشد، یعنی شماره وضعیت کمتری داشته باشد.نرمال سازی در فضای هیلبرت.معمولاً مسائل خطی گسسته ای که خوش تعریف نیستند از گسسته سازی معادلات انتگرال ناشی می شوند و می توان نرمال سازی تیخونوف را در حالت بی نهایت بعدی اصلی فرموله کرد. از مطالب بالا می توانیم این گونه تفسیر کنیم که formula_13 به عنوان یک در فضاهای هیلبرت، و formula_31 و formula_36 به عنوان عناصر در دامنه و بُرد formula_13 اند. در نتیجه اپراتور formula_61 یک عملگر معکوس محدود شده است.ارتباط با تجزیه مقدار های منفرد و فیلتر وینر.با فرض formula_26 ، راه حل حداقل مربعات را می توان به روشی خاص با استفاده از تجزیه مقدار های منفرد تجزیه و تحلیل کرد. با فرض وجود تجزیه مقدار مفردبا مقادیر منفرد formula_64 ، راه حل نرمال سازی تیخونوف را می توان به صورت ذیل بیان کردکه مقادیر formula_66 به صورت مورب روی قطر اصلی قرار دارندو بقیه درایه ها صفر اند. این نشان دهنده تأثیر پارامتر تیخونوف بر روی شماره وضعیت مسئله نرمال سازی است. برای حالت تعمیم‌یافته، نمایش مشابهی را می‌توان با کمک تجزیه با ارزش منفرد تعمیم یافته به دست آورد.در نهایت، ارتباط آن با فیلتر وینر، به صورت زیر است:که formula_69 وزن های وینر و formula_70 رتبه formula_13 است.تعیین ضریب تیخونوف.مقدار بهینه پارامتر نرمال سازی formula_72 معمولاً ناشناخته است و اغلب در مسائل عملی با یک روش "اد هاک" تعیین می شود. یک رویکرد احتمالی متکی بر تفسیر بیزی در زیر توضیح داده شده است. روش‌های دیگر عبارتند از اصل اختلاف ، اعتبارسنجی متقابل ، روش منحنی L ، حداکثر احتمال محدود شده و تخمین‌گر ریسک پیش‌بینی‌کننده نااریب . گریس وهبه ثابت کرد که پارامتر بهینه، به معنای اعتبارسنجی متقابل تکی، عبارت زیر را کمینه می کند که formula_74 مجموع مربعات باقیمانده است و formula_75 عدد مؤثر درجات آزادی است.با کمک تجزیه مقادیر منفرد قبلی، می توانیم عبارت فوق را به شکل زیر ساده سازی کنیم:ورابطه با فرمول احتمال.فرموله سازی احتمالی یک مسئله وارون، (به شرطی که همه عدم قطعیت ها، از توزیع گاوسی تبعیت کنند) ماتریس کوواریانسformula_79 را معرفی می کند که نماینده عدم قطعیت های "پیشینی" در پارامترهای مدل، و ماتریس کوواریانس formula_80 نماینده عدم قطعیت در پارامترهای مشاهده شده اند. در حالت خاصی که این دو ماتریس قطری و همسانگرد باشند، خواهیم داشت: formula_81 و formula_82 و در این حالت، معادلات نظریه معکوس به معادلات بالا تبدیل شده وformula_83 .تفسیر بیزی.در ابتدا شاید انتخاب راه حل برای این مسئله نرمال سازی، تا حدی تصادفی به نظر بیاید، و در واقع به نظر می رسد ماتریس formula_29 تا حدی دلخواه باشد، اما این فرآیند را می توان از دیدگاه بیزی توجیه کرد. توجه داشته باشید که برای یک مسئله غیر خوش تعریف، باید فرضیاتی اضافی را برای دستیابی به یک راه حل منحصر به فرد ارائه کرد. از نظر آماری، توزیع احتمال پیشین formula_31، اغلب یک توزیع نرمال چند متغیره در نظر گرفته می شود. برای سادگی، مفروضات زیر مطرح می شوند: میانگین ها صفر اند، اجزا مستقل و دارای انحراف استاندارد یکسان formula_86 هستند . داده ها نیز ممکن است دارای خطا باشند و خطاهای موجود در formula_36 نیز مستقل و با میانگین صفر و انحراف معیار formula_88 فرض می شوند. بر اساس این مفروضات و طبق قضیه بیز، راه حل نرمال شده توسط تیخونوف، نسبت به داده ها و توزیع "پیشین" formula_31، محتمل ترین راه حل است.اگر فرض اولیه نرمال بودن توزیع با فرضیات ناهمواریانسی و عدم همبستگی خطاها جایگزین شود، و اگر هنوز میانگین صفر را فرض کنیم، آنگاه قضیه گاوس-مارکف مستلزم این است که این راه حل، برآوردگر خطی نااریب کمینه است.پیاده سازی.با کمک کتابخانه Scikit-Learn زبان پایتون می توان به صورت زیر، رگرسیون خط الرأس را پیاده سازی کردfrom sklearn.linear_model import Ridgeclf = Ridge(alpha=1.0)clf.fit(X, y)مصورسازی.اگر جمع مربعات خطاها را به شکل خطوط تراز نمایش دهیم، آنگاه خواهیم داشتformula_90که در صفحهٔ مختصات دو بعدی، دایره‌ای به شعاع formula_91 را نمایش می‌دهد. بدین ترتیب، محل برخورد منحنی های تراز و دایره formula_92 معمولاً نزدیک بیشینه یکی از ضرایب و کمینه دیگری خواهد بود اما هیچکدام صفر مطلق نخواهند بود.