بهینه‌ساز بیزی

بهینه‌ساز بیزی روشی مرحله‌ای است برای جستن نقاط بهینه سراسری توابع با ساختاری مجهول و مشتقات مجهول که معمولاً برآورد آنها زمان‌بر و هزینه‌بر است.

راهبرد 

از آنجا که تابع هدف ناشناخته است، راهبرد بیزی این است که آن را به عنوان یک تابع تصادفی در نظر بگیرد و یک توزیع پیشین را مد نظر قرار دهد. پس از جمع‌آوری خروجی‌های تابع، که به عنوان داده ورودی در نظر گرفته می‌شوند، داده‌های قبلی به روز می‌شوند تا توزیع پسین را بر روی تابع هدف تشکیل دهند. توزیع پسین، به نوبه خود، برای ساخت یک تابع اکتساب (که به آن معیار نمونه برداری پسین نیز گفته می‌شود) استفاده می‌شود که نقطه پرس‌وجوی بعدی را تعیین می‌کند.

چندین روش برای تعریف توزیع پیشین بر روی تابع هدف استفاده می‌شود. رایج‌ترین دو روش از فرایندهای گاوسی در روشی به نام کریجینگ استفاده می‌کنند. یک روش کم هزینه تر دیگر از تخمین‌گر پارزن - تری برای ساخت دو توزیع برای نقاط ورودی تابع مجهول استفاده می‌کند و سپس محلی را پیدا می‌کند که بهبود مورد انتظار را بیشینه می‌کند.

بهینه‌سازی بیزی استاندارد وابسته به این است که ارزیابی هر یک از آن‌ها آسان باشد، و مسائلی که از این فرض منحرف می‌شوند به عنوان مسائل بهینه‌سازی بیزی نامتعارف شناخته می‌شوند. مانند:
 وجود نویز
 پردازش موازی
 کیفیت ارزیابی‌ها متکی بر توازن بین دشواری و دقت
 وجود شرایط محیطی تصادفی
 ارزیابی شامل مشتقات

جستارهای وابسته 
 جعبه سیاه
 نظریه سامانه‌ها

منابع 

اصول برنامه‌نویسی
فرانظریه علم
نظریه سامانه‌ها