مدل‌‌های انتشاری کیست؟ توضیح بده.
مدل‌های انتشاری در یادگیری ماشینی، دسته‌ای از مدل‌های متغیر پنهان هستند. این مدل‌ها نوعی زنجیره مارکوف هستند که با استفاده از استنباط بیزی تغییراتی آموزش داده می‌شوند.هدف مدل‌های انتشاری، یادگیری ساختار پنهان یک مجموعه داده با مدل‌سازی روشی است که در آن نقاط داده در فضای پنهان منتشر می‌شوند. در بینایی ماشین، این یعنی یک شبکه عصبی آموزش داده می‌شود تا با یادگیری معکوس فرایند انتشاری، با شروع از نویز گاوسی به تصاویر اصلی برسد.تاریخچه.مدل‌های انتشاری در سال ۲۰۱۵ با ایده‌گرفتن از ترمودینامیک غیرتعادلی معرفی شدند.ایده.مدل‌های انتشاری خانواده‌ای از مدل‌های مولد احتمالی هستند که به تدریج داده‌ها را با اضافه‌کردن نویز تخریب می‌کنند، سپس یادمی‌گیرند که این فرایند را برای تولید نمونه معکوس کنند. یک مدل انتشاری از دو زنجیره مارکوف استفاده می‌کند: یک زنجیره مستقیم که داده‌ها را به‌تدریج به نویز تبدیل می‌کند و یک زنجیره معکوس که نویز را به داده تبدیل می‌کند. اولی معمولاً با هدف تبدیل هر توزیع داده‌ای به یک توزیع پیشین ساده (مثلاً گاوسی استاندارد) به صورت دستی طراحی می‌شود، در حالی که زنجیره مارکوف دوم با یادگیری هسته‌های انتقال توسط شبکه‌های عصبی عمیق، اولی را معکوس می‌کند.جزئیات.فرایند انتشار مستقیم.با داشتن یک نقطه داده نمونه‌برداری‌شده از یک توزیع داده واقعی formula_1، فرایند انتشار مستقیم را این‌گونه تعریف می‌کنیم که در آن مقدار کمی نویز گاوسی را در formula_2 گام به نمونه ورودی اضافه می‌کنیم تا نمونه‌های نویزدار formula_3 تولید شود. اندازه گام‌ها توسط یک برنامه واریانس formula_4 کنترل می‌شود.formula_5نمونه داده به تدریج ویژگی‌های قابل مشاهده خود را با بزرگتر شدن گام formula_6 از دست می‌دهد. درنهایت وقتی formula_7، formula_8 معادل یک توزیع گاوسی همسان‌گرد خواهد شد.یک ویژگی خوب فرایند فوق این است که می‌توانیم formula_9 را در هر گام دلخواه formula_6 به صورت فرم بسته زیر با فرض formula_11 و formula_12 محاسبه کنیم:formula_13توجه کنید که وقتی دو توزیع نرمال با واریانس‌های مختلف، formula_14 و formula_15 ادغام می‌کنیم، توزیع جدید formula_16 خواهد بود. در رابطه بالا انحراف معیار برابر خواهد بود با: formula_17فرایند انتشار معکوس.اگر بتوانیم فرایند بالا را معکوس کنیم و از formula_18 نمونه‌برداری کنیم، می‌توانیم نمونه واقعی را از ورودی نویز گاوسی formula_19 دوباره ایجاد کنیم. توجه کنید که اگر formula_20 به اندازه کافی کوچک باشد، formula_18 نیز گوسی خواهد بود. متأسفانه، ما نمی‌توانیم formula_18 را به راحتی تخمین بزنیم زیرا برای این کار باید از کل مجموعه‌داده استفاده کنیم، بنابراین باید مدلِ formula_23 را برای تقریب این احتمالات شرطی به منظور اجرای فرایند انتشار معکوس یاد بگیریم.formula_24احتمال شرطی معکوس زمانی قابل حل است که روی formula_25 شرط شود:formula_26با اعمال قاعده بیز داریم:formula_27با توجه به تابع چگالی توزیع گاوسی، میانگین و واریانس را می‌توان به صورت زیر به‌دست‌آورد:formula_28می‌دانیم که formula_29 و با جایگذاری در عبارات بالا خواهیم داشت:formula_30تابع هزینه برای آموزش فرایند انتشاری.برای تقریب توزیع احتمال شرطی در فرایند انتشار معکوس formula_31 نیاز به یادگیری یک شبکه عصبی داریم. درواقع می‌خواهیم formula_32 را آموزش دهیم که formula_33 را پیش‌بینی کند. از آن‌جایی که formula_9 به‌عنوان ورودی مدل هنگام آموزش داده می‌شود، می‌توانیم با تغییر عبارت نویز گاوسی formula_35 را از ورودی در گام formula_6 پیش‌بینی کنیم:formula_37پس تابع هزینه برای کمینه کردن اختلاف از formula_38 به صورت زیر خواهد بود:formula_39در مقاله نشان داده شده‌است که آموزش مدل انتشاری با تابع هزینه زیر بهتر انجام می‌شود:formula_40و تابع هزینه نهایی به صورت formula_41 خواهد بود (formula_42 یک مقدار ثابت مستقل از formula_43 است).محدودیت‌ها.فرایند نمونه‌گیری از DDPM با دنبال‌کردن زنجیره مارکوف فرایند انتشار معکوس بسیار کند است، زیرا تعداد گام‌ها formula_2 می‌تواند تا یک یا چند هزار مرحله باشد. در گفته شده «به عنوان مثال، نمونه‌گیری ۵۰ هزار عکس با اندازه ۳۲ × ۳۲ از یک DDPM حدود ۲۰ ساعت طول می‌کشد، اما انجام این کار با یک GAN روی یک پردازنده گرافیکی Nvidia 2080 Ti کمتر از یک دقیقه زمان می‌برد.»کاربرد.بینایی ماشین.مدل‌هایی انتشاری برای تولید، بخش‌بندی، فراتفکیک‌پذیری، تغییر و تعمیر تصاویر به کار می‌روند. همچنین در تولید ویدئو، تشخیص ناهنجاری، تحلیل تصاویر پزشکی و بینایی سه‌بعدی کاربرد دارد.پردازش زبان‌های طبیعی.مدل‌های انتشاری همچنین برای تولید و ترجمه متن استفاده می‌شوند.