مدل ترکیبی کیست؟ توضیح بده.
مدل ترکیبی یا مدل مخلوط (به انگلیسی: Mixture Model): در آمار، یک مدل ترکیبی، نمایش احتمالی یک جمعیت است که حضور زیرجمعیت‌های مختلف را در آن نشان می‌دهد. بر خلاف مدل‌های سنتی، مدل‌های مخلوط نیازی به تخصیص مشاهدات فردی به یک زیرجمعیت خاص ندارند. در عوض، آنها توزیع احتمال مشاهدات را در کل جمعیت توصیف می کنند. مدل‌های مخلوط امکان استنتاج‌های آماری در مورد ویژگی‌های زیرجمعیت‌ها را تنها بر اساس مشاهدات کل جمعیت، بدون هیچ گونه اطلاعاتی در مورد هویت‌های زیرجمعیتی فراهم می‌کنند.ساختار.مدل ترکیبی عمومی.یک مدل ترکیبی با ابعاد محدود یک مدل سلسله مراتبی است که از اجزای زیر تشکیل شده است:N متغیر تصادفی که مشاهده شده‌اند و هر کدام بر اساس ترکیبی از مؤلفه‌های K توزیع می‌شوند.N متغیر نهفته تصادفی که اجزای ترکیبی هر مشاهده را مشخص می‌کند، که هر کدام بر اساس یک توزیع طبقه بندی K بعدی توزیع شده اند.مجموعه ای از وزن های ترکیبی Kتایی، که احتمالاتی هستند که مجموع آنها 1 است.مجموعه ای از پارامترهای Kتایی که هر کدام پارامترهای مربوط به توزیع مربوطه را مشخص می کند.مدل ترکیبی گاوسی.یک روش متداول در خوشه‌بندی در یادگیری ماشین، استفاده از مدل آمیخته گوسی یا نرمال است. در این روش، فرض می‌شود که هر خوشه از داده‌ها به شکلی نرمال (گوسی) توزیع شده است و به طور کلی، داده‌ها نمونه‌هایی از یک توزیع آمیخته نرمال هستند. هدف از خوشه‌بندی برمبنای مدل، برآورد پارامترهای توزیع هر خوشه و تعیین برچسب برای مشاهدات است. با استفاده از این روش، می‌توانیم بفهمیم هر مشاهده به کدام خوشه تعلق دارد. روش خوشه‌بندی برمبنای مدل یک روش قدرتمند در حوزه یادگیری ماشین است.در شیوه خوشه‌بندی با مدل آمیخته گاوسی، برآورد پارامترهای توزیع آمیخته از یک متغیر پنهان (به انگلیسی: Latent Variable) استفاده می‌شود. به این ترتیب به کمک الگوریتم (EM (Expectation Maximization می‌توان برآورد مناسب برای پارامترها و مقدار متغیر پنهان به دست آورد.یک مدل ترکیبی گاوسی بیزی اغلب بسط پیدا می‌کند تا مجموعه‌ای از پارامترهای نامعلوم یا توزیع‌های نرمال چند متغیره را در خود جای دهد. در مورد توزیع چند متغیره (یعنی توزیعی که بردار x را با N متغیر تصادفی مدل می‌کند)، می‌توان مجموعه‌ای از پارامترها را با استفاده از توزیع قبلی(prior) یک گاوسی ترکیبی بر روی بردار مقادیر تخمینی ارائه شده توسط مدل نشان داد. formula_1که در اینجا جزء iام به صورت توزیع های نرمال با وزن‌های formula_2، میاگین‌های formula_3 و ماتریس کواریانس formula_4 مشخص می‌شوند.سپس می‌توان با استفاده از فرمول بیز توزیع پیشین را در توزیع formula_5 ضرب کرد و توزیع پسین بدست می‌آید.formula_6و پارامترهای وزن‌ها، میاگین‌ها و ماتریس کواریانس توسط الگوریتم EM به‌روزرسانی خواهند شد.الگوریتم EM.به منظور برآورد پارامترهای مدل آمیخته گاوسی از الگوریتم EM استفاده خواهیم کرد. این الگوریتم دارای دو بخش یا گام است. گام متوسط گیری یا Expectation و گام بیشینه‌سازی یا Maximization.در گام اول (E-step) یا گام متوسط‌گیری، هدف برآورد توزیع متغیر پنهان به شرط وزن (π)، میانگین‌ها (Means) و ماتریس کواریانس (Σ) توزیع آمیخته نرمال است. بردار پارامترها را در این جا با نماد θ نشان می‌دهیم. برای این کار ابتدا یک حدس اولیه برای این پارامترها زده می‌شود سپس گام‌های به ترتیب برداشته می‌شوند. همانطور که خواهید دید، حدس‌های اولیه را می‌توان بوسیله الگوریتم k means بدست آورد. به این معنی که برای خوشه‌های حاصل از الگوریتم k means، میانگین، ماتریس کواریانس و وزن‌ها محاسبه می‌شود. توجه داشته باشید که منظور از وزن، درصدی (احتمال) از داده‌ها است که در یک خوشه قرار دارند.در گام دوم (M-step) با استفاده از متغیرهای پنهان، سعی خواهیم کرد تابع درستنمایی را نسبت به پارامترهای θ بیشینه کنیم. این مراحل (گام E و گام M) تا زمانی که الگوریتم همگرا شود (مقدار تابع درستنمایی تغییر نکند)، ادامه خواهد داشت. به این ترتیب الگوریتم EM علاوه بر برآورد پارامترهای توزیع آمیخته گاوسی، برچسب‌ها یا مقدار متغیر پنهان را نیز مشخص می‌کند.گام اول (E-Step) برای مدل ترکیبی گاوسی.همانطور که قبلا اشاره شد، تابع توزیع آمیخته گاوسی را می‌توان به صورت ترکیب وزنی از چندین توزیع نرمال نوشت. بنابراین اگر وزن‌ها را با formula_7 نشان دهیم، برای K خوشه یا توزیع نرمال، تابع چگالی آمیخته در نقطه x به صورت زیر نوشته خواهد شد.formula_8به کمک قانون بیز در احتمال شرطی تابع احتمال پسین برای متغیر پنهان Z که به صورت formula_9 نشان داده شده، به صورت زیر در خواهد آمد. البته در نظر داشته باشید که تابع احتمال پیشین در این حالت همان π است.گام دوم (M-Step) برای مدل ترکیبی گاوسی.پس از محاسبه تابع احتمال پسین برای متغیر پنهان، باید پارامترهای توزیع آمیخته گاوسی را برآورد کرده سپس مقدار لگاریتم تابع درستنمایی را محاسبه کنیم. این گام‌ها تا رسیدن به همگرایی در مقدار تابع درستنمایی تکرار خواهد شد.میانگین برای خوشه‌ kام به صورت زیر برآورد می‌شود.formula_11formula_12برای برآورد وزن‌ برای هر یک از توزیع‌ها نیز از رابطه زیر استفاده می‌کنیم.formula_13به این ترتیب تابع که در ادامه قابل مشاهده است باید بیشینه شود.formula_14حال با توجه به اینکه لگاریتم یک تابع مقعر محسوب می‌شود از نامساوی جنسن استفاده کرده و سعی می‌کنیم تابع زیر که کران پایین برای تابع بالا است را بیشینه کنیم.formula_15