موضوع مقاله: استنباط بیزی تغییراتی | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # استنباط بیزی تغییراتی | مقدمه: استنباط بیزی تغییراتی یا استنباط بیزی وردشی، از جمله روش های رایج در یادگیری بیزی است که برای تقریب جواب با استفاده از یک سری فرض های استقلال در توزیع پَسین است. | ## بخش 1: استنباط بیزی تغییراتی | نکته مشکل ساز در یادگیری بیزی این است که برای حساب کردن توزیع پسین لازم است انتگرالی روی تمام حالات ممکن متغیرهای پنهان حساب شود که به درست نمایی حاشیه ای معروف است. استنباط وردشی سعی در تقریب این انتگرال دشوار دارد تا یادگیری مدل و استنباط با آن را آسان تر کند. با استفاده از این تقریب و داشتن پارامترهای مدل، می توان استنباط آماری روی داده های دیده نشده انجام داد. ایده ی کلی این است که هرچه مقدار درست نمایی برای داده های مورد نظر بیشتر باشد، پارامترها برای مدل و داده ها مناسب تر هستند. در این مثال با جزئیات زیاد سعی داریم عملکرد یادگیری و استنباط وردشی را نشان دهیم. مدل ریاضی در مدل سازی پارامترهای مسئله، برای مدل سازی پارامترها، از توزیع مزدوج پیشین استفاده می کنیم. یعنی برای میانگین توزیع نرمال، و برای واریانس توزیع گاما در نظر می گیریم: اکنون نقطه در اختیار داریم و هدف این است که توزیع پسین را برای پارامترهای مدل و یادبگیریم. توزیع مشترک توزیع مشترک متغیرهای مسئله به صورت زیر است: که هرکدام از آنها بر اساس فاکتورهایشان به صورت زیر هستند: که در آن: فرض استقلال توزیع ها فرض کنید که توزیع روی پارامترهای مسئله به صورت تجزیه شوند. | ## بخش 2: استنباط بیزی تغییراتی | چنین فرضی باعث ایجاد خطا در نتیجه ی نهایی خواهد شد، اما در قبال این خطا، سرعت بیشتری در یادگیری مدل به دست می آوریم. بدست آوردن فاکتور q(μ) در عبارت فوق پارامترهای , و مقادیر ثابت نسبت به پارامتر هستند. با کمی بازی با جملات ریاضی می توان توزیع را به فرم گوسی استاندارد نوشت و جمله ای برای میانگین و واریانس آن بدست آورد. به عبارت دیگر: بدست آوردن فاکتور q(τ) بدست آوردن فاکتور تا حد زیادی مشابه مراحل بالاست. الگوریتم محاسبه ی پارامترهای بهینه مسئله بگذارید نتایجی را که از قسمت های قبل بدست آوردیم را یادآوری کنیم: و در هر کدام از موارد فوق، امید روی یک پارامتر، وابسته به امید روی پارامترهای دیگر است. می توان پارامترهای دیگر را دیگر را به صورت زیر نوشت: در عبارات فوق به وابستگی روابط مربوط به , و به همدیگر توجه کنید که تشکیل یک الگوریتم حداکثر سازی امیدریاضی می دهند. می توان مراحل اجرای الگوریتم را به صورت زیر خلاصه کرد: با استفاده از و مقادیر مربوط به و را حساب کنید. مراحل فوق را تا رسیدن به همگرایی (جایی که هیچکدام از پارامترها دیگر تغییر زیادی نکنند.) انجام دهید. | ## بخش 3: استنباط بیزی تغییراتی | می توان نشان داد که این بروز رسانی دوری تضمین شده است که به مقدار بهینه محلی همگرا خواهد شد. می توان اثبات کرد که چون توزیع حول هردو پارامتر و توزیع پسین نمایی است، حتماً به نقطه بهینه جهانی همگرا خواهد شد. نکته ظریف اینجاست این نقطه بهینه مربوط به مسئله با تقریب مستقل بودن توزیع پارامترهای مسئله است و در هر صورت نسبت جواب مسئله اصلی تقریبی است. مربع های کوچک نشان دهنده ی پارامترهای ثابت هستند و مربع های بزرگ نشان دهنده ی متغیرهای تصادفی هستند. فرض کنید یک نمونه مدل مخلوط گوسی به صورت زیر تعریف شده باشد: چند نکته: توزیع توزیع متقارن دیریکله با بعد است که دارای فراپارامتر است. توزیع توزیع ویشارت که توزیع مزدوج پیشین برای ماتریس دقت (عکس ماتریس کواریانس) در توزیع نرمال چند متغیره است. می توان توزیع مشترک روی متغیرهای مسئله را به صورت زیر نوشت: می توان هر کدام از فاکتورهای مسئله را به صورت زیر ساده سازی کرد: که در آن: اگر فرض کنیم بنابرین: که آن تعریف کرده ایم: با به توان رساندن هر دو طرف داریم: به صورتی معادل می توان عبارت فوق را به صورت زیر نوشت: که در آن: همچنین توجه کنید که که به صورت طبیعی از توزیع categorical بدست می آید. با توجه به فاکتوریزه کردن به صورت می توان نوشت: با به توان رساندن دو طرف می توان دید که دارای توزیع دریکله است. | ## جمع‌بندی | که در آن همچنین در نهایت داریم: می توان نتیجه کلی را به اینصورت نوشت: که دارای پارامترهای زیر است: با اجرای پی در پی مراحل بروز رسانی می توان مدل را آموزش داد: محاسبه ی با استفاده از سایر پارامترها(E-step).