توزیع مزدوج پیشین

مثال

فرم توزیع پیشین مزدوج عموماً می‌تواند با بررسی تابع چگالی احتمال یا تابع جرم احتمال آن توزیع مشخص گردد. به عنوان مثال، یک متغیر تصادفی را در نظر بگیرید که شامل تعداد موفقیت‌های  در  آزمایش برنولی با احتمال موفقیت نامعلوم  در بازهٔ [۰٬۱] است. این متغیر تصادفی با تابع جرم احتمال زیر از توزیع دوجمله ای تبعیت می‌کند:
توزیع مزدوج پیشین معمول توزیع بتا با پارامترهای (, ):
که در آن  و  برای نمایش هرگونه باور یا اطلاعات به کار می‌رود (۱ =  و ۲ =  توزیع یکنواخت را به دست می‌دهند) و B(α, β) تابع بتا است که به عنوان ثابت نرمالیزه کننده استفاده می‌شود.
در اینجا  و  ابرپارامتر خوانده می‌شوند (پارامترهای توزیع پیشین) تا از پارامترهای مدل اساسی (در اینجا q) متمایز گردند. یکی از ویژگی‌های معمول توزیعات پیشین مزدوج این است که ابعاد ابرپارامترها یک واحد بزرگتر از ابعاد پارامترهای توزیع اصلی‌اند. اگر همهٔ پارامترها مقادیر اسکالر باشند آنگاه به این معناست که یک ابرپارامتر بیشتر از پارامتر خواهیم داشت. البته این نکته دربارهٔ پارامترهای با مقادیر برداری و ماتریسی نیز صدق می‌کند. (به مقالهٔ کلی دربارهٔ خانواده نمایی رجوع کنید و توزیع ویشارت را که مزدوج پیشین ماتریس کوواریانس توزیع نرمال چند متغیره است به عنوان مثالی برای ابعاد بزرگ در نظر بگیرید)
آن گاه اگر از این متغیر تصادفی نمونه برداری کنیم و s موفقیت و p شکست به دست آوریم داریم:
که توزیع بتای دیگری با پارامترهای (s + ,  + f) است. این توزیع پسین نیز می‌تواند به عنوان توزیع پیشین نمونه‌های بیشتر با اضافه کردن هر چه بیشتر اطلاعات توسط ابرپارامترها مورد استفاده قرار گیرد.

شبه مشاهدات

اغلب سودمند است که هایپرپارامترهای توزیع مزدوج پیشین را متناظر با انجام تعدادی شبه مشاهده با ویژگی‌هایی که توسط پارامترها مشخص می‌شود در نظر بگیریم. به عنوان مثال، مقادیر  و  برای یک توزیع بتا را می‌توان متناظر با ۱ -   موفقیت و ۱ -  شکست در نظر گرفت اگر مد توزیع پسین برای انتخاب یک تنظیمات پارامتر بهینه انتخاب شود یا  موفقیت و  شکست اگر میانگین توزیع پسین برای انتخاب یک تنظیمات پارامتر بهینه انتخاب شود. در حالت کلی، برای تقریباً تمام توزیعات مزدوج پیشین هایپر پارامترها می‌توانند بر حسب شبه مشاهدات تفسیر شوند. این عمل می‌تواند هم به فراهم آوردن درکی برای معادلات به‌روزرسانی اغلب درهم و شلوغ و هم برای انتخاب هایپرپارامترهای معقول برای یک توزیع پیشین کمک می‌کند.

شباهت با توابع ویژه

توزیعات مزدوج پیشین مشابه تابع ویژه در نظریه عمل‌گرها هستند از این جهت که توزیعاتی هستند که در آن‌ها «عمل‌گر شرطی سازی»، در صورت در نظر گرفتن فرایند تغییر از توزیع پیشین به پسین به عنوان یک عمل‌گر، به روشی کاملاً قابل درک عمل می‌کند.
در هر دو توابع ویژه و توزیعات مزدوج پیشین فضایی با بعد متناهی وجود دارد که توسط عمل‌گر حفظ و نگهداری می‌شود: خروجی فرمی مشابه (فضایی مشابه) ورودی دارد. این عمل به شدت تجزیه و تحلیل را ساده می‌کند چون در غیر این صورت فضایی با بعد نامتناهی (فضای تمام توابع، فضای تمام توزیع‌ها) را در نظر می‌گیرد.
با این وجود، فرایندها تنها مشابه و نه یکسان هستند: شرطی سازی خطی نیست زیرا فضای توزیعات تحت ترکیب خطی بسته نمی‌شود بلکه تحت ترکیب محدب بسته می‌شود و توزیع پسین تنها فرمی مشابه توزیع پیشین دارد و ضریبی اسکالر از آن نیست.
همان‌طور که به راحتی می‌توان تجزیه و تحلیل کرد که چگونه ترکیبی خطی از توابع ویژه تحت استفاده از یک عمل‌گر تکامل می‌یابد (چون عمل‌گر نسبت به این توابع، قطری شده است)، به راحتی می‌توان تجزیه و تحلیل کرد که چگونه یک ترکیب محدب از توزیعات مزدوج پیشین تحت شرط سازی کامل می‌یابد؛ این عمل به وسیلهٔ یک توزیع هایپرپیشین صورت می‌گیرد و متناظر با استفاده از چگالی مخلوط توزیعات مزدوج پیشین به جای تک توزیع مزدوج پیشین است.

سیستم دینامیکی

می‌توان عمل شرطی سازی روی توزیعات مزدوج پیشین را تعریف کردن نوعی سیستم دینامیکی (زمان گسسته) در نظر گرفت: به ازای مجموعه ای داده شده‌ای از هایپرپارامترها، دادهٔ ورودی این هایپرپارامترها را به روز می‌کند. پس می‌توان تغییر در هایپرپارامترها را به نوعی «تکامل زمانی» تعبیر کرد که با «یادگیری» متناظر است. شروع در نقاط متفاوت جریان‌هایی متفاوت در طول زمان را سبب می‌گردد. این نیز مشابه سیستم دینامیکی است که با یک عمل‌گر خطی تعریف می‌شود ولی توجه کنید چون نمونه‌های متفاوت به استنتاج‌های متفاوت ختم می‌شود، این عمل به تنهایی وابسته به زمان نیست بلکه بیشتر وابسته به داده‌است. برای رویکردهای مرتبط، تخمین بیزی بازگشتی و داده گواری را ببینید.

جدول توزیعات مزدوج

فرض کنید n نشان دهندهٔ تعداد مشاهدات باشد. در تمام موارد زیر، فرض می‌شود که داده از n نقطهٔ  (که در موارد چند متغیره بردارهای تصادفی خواهند بود) تشکیل شود.
اگر تابع شباهت متعلق به خانواده نمایی باشد آن گاه توزیع مزدوج پیشین وجود دارد که اغلب اوقات آن نیز عضو خانوادهٔ نمایی است. به خانواده نمایی: توزیعات مزدوج رجوع کنید.