تقریب میدان متوسط
mean field روشی برای تخمین زدن یک میدان های تصادفی مارکوف (به انگلیسی: Markov Random Fields) پیچیده است.
برای یک توزیع احتمال شرطی، با یک گراف پیچیده،محاسبه ی احتمال حاشیه (به انگلیسی: Marginal) متغیر تصادفی دلخواه، کاری بسیار دشوار و غیر قابل حل است.
در یادگیری ماشین های مدرن، استنتاج تنوع (بیزی) (به انگلیسی: Bayes variation) اغلب برای استنتاج کردن توزیع های شرطی برای متغیرهای پنهان با توجه به مشاهدات (و پارامترها) استفاده می شوند. همچنین به عنوان توزیع پیشین متغیرهای پنهان نیز شناخته شده است. توزیع پیشین به صورت زیر تعریف می‌شود:
formula_1/formula_2
برای توزیع های شرطی اغلب از روش های استنتاج های تقریبی استفاده می شود، چرا که محاسبه ی مستقیم احتمالات پیشین برای بسیاری از مدل ها امکان پذیر نیست. ایده‌ی اصلی پشت این کار، انتخاب یک گروه از توزیع‌ها روی متغیرهای پنهان (zها) است. هر کدام از z ها مجموعه‌ای از variational parameter های مربوط به خود را دارد. سپس پارامترهایی که قابل تخمین زدن باشند و حاصل را به توزیع‌های پیشین نزدیک می‌کنند محاسبه می‌شوند. برای این کار از الگوریتم‌های بهینه‌سازی استفاده می‌شود. در واقع استنتاج احتمالاتی به‌عنوان یک مسئله‌ی بهینه‌سازی در نظر گرفته می‌شود:
formula_3
که در آن f یک توزیع احتمال قابل ردیابی یا راه‌حلی برای نمایش برخی از پرسمان‌های احتمالاتی، است. نزدیک بودن دو توزیع را با کولبک لیبر (به انگلیسی: Kullback-Leibler) اندازه‌گیری می‌کنند و به صورت زیر تعریف می‌شود:
formula_4
در اینجا 3 حالت اهمیت زیادی دارند: عموما منطقی‌تر است تا (KL(p||q در نظر گرفته شود، اما به دلایل محاسباتی این کار انجام نمی‌شود. برای انجام استنتاج تنوع، به‌دنبال به حداقل رساندن واگرایی KL بین q و p هستند. در اینجا p توزیع پیشین اصلی و q مقدار تقریب زده‌ی آن است.با این حال نمی‌توان مستقیما این مقدار را به حداقل رساند. اما می‌توان تابعی معادل با آن را به کمترین مقدار خود رساند. این تابع به‌عنوان مدارک پایین‌تر (به انگلیسی: Evidence Lower Bound) یا ELBO شناخته می‌شود. برای بدست آوردن ELBO، نابرابری یانسیس (به انگلیسی: Jansens) برای متغیر تصادفی X به صورت زیر تعریف می‌شود:
formula_5
نابرابری یانسیس بر روی لگاریتم احتمال حاشیه‌ای مشاهدات برای بدست آوردن ELBO، اعمال می‌شود:
formula_6 formula_7 formula_8
با کمک روابط فوق، نتیجه که حاصل می‌شود یک رابطه برای یک مدل احتمالاتی مثل (p(x,z و تقریب (q(z از توزیع پیشین، است:
formula_9
مقدار حاصل از این رابطه‌، کوچکتر و یا مساوی شاهد(به انگلیسی: evidence) که همان لگاریتم احتمال حاشیه‌ای مشاهدات است می‌شود. این رابطه نسبت به q بهینه می‌شود تا یک تقریب مطلوب حاصل شود. حائز اهمیت است که: میدان متوسط (به انگلیسی: mean field) یکی از الگوریتم‌ها برای تقریب استنتاج احتمالات است. در این نوع از استنتاج فرض می شود که توزیع تنوع (به انگلیسی: Bayes variation) در متغیرهای پنهان به صورت زیر فاکتوریزه میشوند:
q(z...,z)=formula_10
در این رابطه به (q(z تقریب تنوع (به انگلیسی: variational approximate) برای یک متغیر و یا "تقریب تنوع محلی" می‌گویند. این تنظیم نسبتا عمومی است، اما می‌توان متغیرهای پنهان z...,z را به R تا گروه z...,z تقسیم کرد و از تقریب استفاده کرد:
formula_11
از آنجایی که متغیرهای پنهان به‌ هم وابسته هستند، عموما این تقریب مقدار دقیق توزیع پیشین را نمی‌دهد. به طور مثال در بیزین‌ها (ترکیبی از چندین مدل گوسی) همه‌ی برچسب‌های خوشه‌ها به یکدیگر وابسته هستند. در مرحله‌ی بینه‌سازی در ابتدا هر (q(z تخمین زده می‌شود، این در حالی است که بقیه‌ی متغیرها ثابت فرض شده‌اند. برای تخمین معمولا از روش بهینه‌سازی هم‌پایه‌ی صعودی (به انگلیسی: coordinate ascent optimization) استفاده می‌شود. اما می‌توان از روش‌های دیگری مانند گرادیان نزولی نیز استفاده کرد. برای این کار باید مراحل زیر انجام شود:
formula_12formula_13formula_15 formula_16formula_17
قدم بعدی بهینه کردن formula_14 است. در این مرحله، قسمت‌هایی که به q وابسته نیستند، حذف می‌شوند:
formula_19
برای بدست آوردن بیشینه‌ی این عبارت با استفاده از لاگرانژ ضرب کننده (به انگلیسی: Lagrange multipliers) از آن نسبت به (q(zj مشتق گرفته می‌شود و جواب حاصل را برابر با صفر قرار داده می‌شود:
formula_20
مرحله‌ی بعدی به روزرسانی است:
formula_21
از آنجایی که معین کننده‌ی شرطی (به انگلیسی: denominator of the conditional) به zj وابسته نیست می‌توان آن را به صورت زیر نوشت:
formula_22
نتیجه‌ی حاصل از این بهینه‌سازی می‌تواند به بهینه‌ی محلی همگرا شود.