موضوع مقاله: مدل ترکیبی | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # مدل ترکیبی | مقدمه: بر خلاف مدل‌های سنتی، مدل‌های مخلوط نیازی به تخصیص مشاهدات فردی به یک زیرجمعیت خاص ندارند. | ## بخش 1: مدل ترکیبی | مدل‌های مخلوط امکان استنتاج‌های آماری در مورد ویژگی‌های زیرجمعیت‌ها را تنها بر اساس مشاهدات کل جمعیت، بدون هیچ گونه اطلاعاتی در مورد هویت‌های زیرجمعیتی فراهم می‌کنند. ساختار مدل ترکیبی عمومی یک مدل ترکیبی با ابعاد محدود یک مدل سلسله مراتبی است که از اجزای زیر تشکیل شده است: N متغیر تصادفی که مشاهده شده‌اند و هر کدام بر اساس ترکیبی از مؤلفه‌های K توزیع می‌شوند. N متغیر نهفته تصادفی که اجزای ترکیبی هر مشاهده را مشخص می‌کند، که هر کدام بر اساس یک توزیع طبقه بندی K بعدی توزیع شده اند. مجموعه ای از پارامترهای Kتایی که هر کدام پارامترهای مربوط به توزیع مربوطه را مشخص می کند. مدل ترکیبی گاوسی یک روش متداول در خوشه‌بندی در یادگیری ماشین، استفاده از مدل آمیخته گوسی یا نرمال است. در این روش، فرض می‌شود که هر خوشه از داده‌ها به شکلی نرمال (گوسی) توزیع شده است و به طور کلی، داده‌ها نمونه‌هایی از یک توزیع آمیخته نرمال هستند. هدف از خوشه‌بندی برمبنای مدل، برآورد پارامترهای توزیع هر خوشه و تعیین برچسب برای مشاهدات است. یک مدل ترکیبی گاوسی بیزی اغلب بسط پیدا می‌کند تا مجموعه‌ای از پارامترهای نامعلوم یا توزیع‌های نرمال چند متغیره را در خود جای دهد. | ## بخش 2: مدل ترکیبی | در مورد توزیع چند متغیره (یعنی توزیعی که بردار x را با N متغیر تصادفی مدل می‌کند)، می‌توان مجموعه‌ای از پارامترها را با استفاده از توزیع قبلی(prior) یک گاوسی ترکیبی بر روی بردار مقادیر تخمینی ارائه شده توسط مدل نشان داد. که در اینجا جزء iام به صورت توزیع های نرمال با وزن‌های ، میاگین‌های و ماتریس کواریانس مشخص می‌شوند. سپس می‌توان با استفاده از فرمول بیز توزیع پیشین را در توزیع ضرب کرد و توزیع پسین بدست می‌آید. و پارامترهای وزن‌ها، میاگین‌ها و ماتریس کواریانس توسط الگوریتم EM به‌روزرسانی خواهند شد. الگوریتم EM به منظور برآورد پارامترهای مدل آمیخته گاوسی از الگوریتم EM استفاده خواهیم کرد. برای این کار ابتدا یک حدس اولیه برای این پارامترها زده می‌شود سپس گام‌های به ترتیب برداشته می‌شوند. همانطور که خواهید دید، حدس‌های اولیه را می‌توان بوسیله الگوریتم k means بدست آورد. به این معنی که برای خوشه‌های حاصل از الگوریتم k means، میانگین، ماتریس کواریانس و وزن‌ها محاسبه می‌شود. | ## بخش 3: مدل ترکیبی | توجه داشته باشید که منظور از وزن، درصدی (احتمال) از داده‌ها است که در یک خوشه قرار دارند. در گام دوم (M-step) با استفاده از متغیرهای پنهان، سعی خواهیم کرد تابع درستنمایی را نسبت به پارامترهای θ بیشینه کنیم. این مراحل (گام E و گام M) تا زمانی که الگوریتم همگرا شود (مقدار تابع درستنمایی تغییر نکند)، ادامه خواهد داشت. به این ترتیب الگوریتم EM علاوه بر برآورد پارامترهای توزیع آمیخته گاوسی، برچسب‌ها یا مقدار متغیر پنهان را نیز مشخص می‌کند. گام اول (E-Step) برای مدل ترکیبی گاوسی همانطور که قبلا اشاره شد، تابع توزیع آمیخته گاوسی را می‌توان به صورت ترکیب وزنی از چندین توزیع نرمال نوشت. بنابراین اگر وزن‌ها را با نشان دهیم، برای K خوشه یا توزیع نرمال، تابع چگالی آمیخته در نقطه x به صورت زیر نوشته خواهد شد. به کمک قانون بیز در احتمال شرطی تابع احتمال پسین برای متغیر پنهان Z که به صورت نشان داده شده، به صورت زیر در خواهد آمد. گام دوم (M-Step) برای مدل ترکیبی گاوسی پس از محاسبه تابع احتمال پسین برای متغیر پنهان، باید پارامترهای توزیع آمیخته گاوسی را برآورد کرده سپس مقدار لگاریتم تابع درستنمایی را محاسبه کنیم. | ## جمع‌بندی | حال با توجه به اینکه لگاریتم یک تابع مقعر محسوب می‌شود از نامساوی جنسن استفاده کرده و سعی می‌کنیم تابع زیر که کران پایین برای تابع بالا است را بیشینه کنیم.