| یادگیری ماشین وداده‌کاوی |
| --- |
|  |
| موضوع‌ها
* طبقه‌بندی آماری
* خوشه‌بندی
* تحلیل رگرسیون
* روش تشخیص ناهنجاری
* یادگیری قانون وابستگی
* یادگیری تقویتی
* پیش بینی ساختاریافته
* مهندسی ویژگی
* یادگیری ویژگی
* یادگیری ماشین برخط
* یادگیری نیمه‌نظارتی
* یادگیری بی‌نظارت
* Learning to rank
* Grammar induction

 |
| یادگیری با نظارت(**طبقه‌بندی آماری** •  **تحلیل رگرسیون**)
* یادگیری درخت تصمیم
* Ensembles (Bagging, بوستینگ، جنگل تصادفی)
* *k*-NN
* رگرسیون خطی
* دسته‌بندی کننده بیز ساده
* شبکه‌های عصبی مصنوعی
* رگرسیون لجستیک
* پرسپترون
* Relevance vector machine (RVM)
* ماشین بردار پشتیبانی

 |
| خوشه‌بندی
* کاهش و خوشه‌بندی ترازمند و بازکردی با بهره‌گیری از رده‌بندی
* خوشه‌بندی سلسله‌مراتبی
* خوشه‌بندی کی-میانگین
* الگوریتم امید ریاضی–بیشینه کردن
* DBSCAN
* OPTICS
* انتقال میانگین

 |
| کاهش ابعاد
* تحلیل عاملی
* CCA
* تحلیل مؤلفه‌های مستقل
* آنالیز افتراقی خطی
* فاکتورگیری نامنفی ماتریس
* تحلیل مؤلفه‌های اصلی
* t-SNE

 |
| پیش‌بینی ساختاریافته
* مدل‌های گرافیکی (شبکه‌های بیزی، میدان تصادفی شرطی، مدل پنهان مارکف)

 |
| روش تشخیص ناهنجاری
* الگوریتم کی-نزدیکترین همسایه
* فاکتور پرتی محلی

 |
| شبکه عصبی مصنوعی
* خودرمزگذار
* یادگیری عمیق
* پرسپترون چندلایه
* RNN
* ماشین بولتزمن محدود شده
* ترانسفورمر بینایی
* SOM
* شبکه عصبی پیچشی

 |
| یادگیری تقویتی
* کیو-یادگیری
* SARSA
* یادگیری تفاوت زمانی

 |
| نظریه
* Bias-variance dilemma
* نظریه یادگیری محاسباتی
* Empirical risk minimization
* Occam learning
* یادگیری احتمالا تقریبا صحیح
* Statistical learning
* VC theory

 |
| حوزه‌های یادگیری ماشین
* NIPS
* ICML
* ML
* JMLR
* ArXiv:cs.LG

 |
| * ن
* ب
* و
 |

**مدل‌های انتشاری** (به انگلیسی: Diffusion Models) در یادگیری ماشینی، دسته‌ای از مدل‌های متغیر پنهان (به انگلیسی: Latent Variable Models) هستند. این مدل‌ها نوعی زنجیره مارکوف هستند که با استفاده از استنباط بیزی تغییراتی آموزش داده می‌شوند.
هدف مدل‌های انتشاری، یادگیری ساختار پنهان یک مجموعه داده با مدل‌سازی روشی است که در آن نقاط داده در فضای پنهان (به انگلیسی: latent space) منتشر می‌شوند. در بینایی ماشین، این یعنی یک شبکه عصبی آموزش داده می‌شود تا با یادگیری معکوس فرایند انتشاری، با شروع از نویز گاوسی به تصاویر اصلی برسد.

تاریخچه
-------

مدل‌های انتشاری در سال ۲۰۱۵ با ایده‌گرفتن از ترمودینامیک غیرتعادلی معرفی شدند.

ایده
----

مدل‌های انتشاری خانواده‌ای از مدل‌های مولد احتمالی هستند که به تدریج داده‌ها را با اضافه‌کردن نویز تخریب می‌کنند، سپس یادمی‌گیرند که این فرایند را برای تولید نمونه معکوس کنند. یک مدل انتشاری از دو زنجیره مارکوف استفاده می‌کند: یک زنجیره مستقیم که داده‌ها را به‌تدریج به نویز تبدیل می‌کند و یک زنجیره معکوس که نویز را به داده تبدیل می‌کند. اولی معمولاً با هدف تبدیل هر توزیع داده‌ای به یک توزیع پیشین ساده (مثلاً گاوسی استاندارد) به صورت دستی طراحی می‌شود، در حالی که زنجیره مارکوف دوم با یادگیری هسته‌های انتقال توسط شبکه‌های عصبی عمیق، اولی را معکوس می‌کند.

جزئیات
------

### فرایند انتشار مستقیم

با داشتن یک نقطه داده نمونه‌برداری‌شده از یک توزیع داده واقعی {\textstyle \mathbf {x} \_{0}\sim q(\mathbf {x} )}، فرایند انتشار مستقیم (به انگلیسی: forward diffusion process) را این‌گونه تعریف می‌کنیم که در آن مقدار کمی نویز گاوسی را در T گام به نمونه ورودی اضافه می‌کنیم تا نمونه‌های نویزدار {\textstyle \mathbf {x} \_{1},\dots ,\mathbf {x} \_{T}} تولید شود. اندازه گام‌ها توسط یک برنامه واریانس {\textstyle \{\beta \_{t}\in (0,1)\}\_{t=1}^{T}} کنترل می‌شود.

{\displaystyle q(\mathbf {x} \_{t}\vert \mathbf {x} \_{t-1})={\mathcal {N}}(\mathbf {x} \_{t};{\sqrt {1-\beta \_{t}}}\mathbf {x} \_{t-1},\beta \_{t}\mathbf {I} )\quad q(\mathbf {x} \_{1:T}\vert \mathbf {x} \_{0})=\prod \_{t=1}^{T}q(\mathbf {x} \_{t}\vert \mathbf {x} \_{t-1})}

نمونه داده به تدریج ویژگی‌های قابل مشاهده خود را با بزرگتر شدن گام t از دست می‌دهد. درنهایت وقتی {\displaystyle T\to \infty }، {\displaystyle \mathbf {x} \_{T}} معادل یک توزیع گاوسی همسان‌گرد خواهد شد.

  

یک ویژگی خوب فرایند فوق این است که می‌توانیم {\displaystyle \mathbf {x} \_{t}} را در هر گام دلخواه t به صورت فرم بسته زیر با فرض {\displaystyle \alpha \_{t}=1-\beta \_{t}} و {\displaystyle {\bar {\alpha }}\_{t}=\prod \_{i=1}^{t}\alpha \_{i}} محاسبه کنیم:

{\displaystyle {\begin{aligned}\mathbf {x} \_{t}&={\sqrt {\alpha \_{t}}}\mathbf {x} \_{t-1}+{\sqrt {1-\alpha \_{t}}}{\boldsymbol {\epsilon }}\_{t-1}&{\boldsymbol {\epsilon }}\_{t-1},{\boldsymbol {\epsilon }}\_{t-2},\dots \sim {\mathcal {N}}(\mathbf {0} ,\mathbf {I} )\\&={\sqrt {\alpha \_{t}\alpha \_{t-1}}}\mathbf {x} \_{t-2}+{\sqrt {1-\alpha \_{t}\alpha \_{t-1}}}{\bar {\boldsymbol {\epsilon }}}\_{t-2}&{\bar {\boldsymbol {\epsilon }}}\_{t-2}{\text{ merges two Gaussians}}\\&=\dots \\&={\sqrt {{\bar {\alpha }}\_{t}}}\mathbf {x} \_{0}+{\sqrt {1-{\bar {\alpha }}\_{t}}}{\boldsymbol {\epsilon }}\\q(\mathbf {x} \_{t}\vert \mathbf {x} \_{0})&={\mathcal {N}}(\mathbf {x} \_{t};{\sqrt {{\bar {\alpha }}\_{t}}}\mathbf {x} \_{0},(1-{\bar {\alpha }}\_{t})\mathbf {I} )\end{aligned}}}

توجه کنید که وقتی دو توزیع نرمال با واریانس‌های مختلف، {\textstyle {\mathcal {N}}(\mathbf {0} ,\sigma \_{1}^{2}\mathbf {I} )} و {\textstyle {\mathcal {N}}(\mathbf {0} ,\sigma \_{2}^{2}\mathbf {I} )} ادغام می‌کنیم، توزیع جدید {\displaystyle {\mathcal {N}}(\mathbf {0} ,(\sigma \_{1}^{2}+\sigma \_{2}^{2})\mathbf {I} )} خواهد بود. در رابطه بالا انحراف معیار برابر خواهد بود با: 


(
1
−

α

t

)
+

α

t

(
1
−

α

t
−
1

)

=

1
−

α

t

α

t
−
1



{\displaystyle {\sqrt {(1-\alpha \_{t})+\alpha \_{t}(1-\alpha \_{t-1})}}={\sqrt {1-\alpha \_{t}\alpha \_{t-1}}}}

{\displaystyle {\sqrt {(1-\alpha _{t})+\alpha _{t}(1-\alpha _{t-1})}}={\sqrt {1-\alpha _{t}\alpha _{t-1}}}}
### فرایند انتشار معکوس

اگر بتوانیم فرایند بالا را معکوس کنیم و از {\displaystyle q(\mathbf {x} \_{t-1}\vert \mathbf {x} \_{t})} نمونه‌برداری کنیم، می‌توانیم نمونه واقعی را از ورودی نویز گاوسی {\displaystyle \mathbf {x} \_{T}\sim {\mathcal {N}}(\mathbf {0} ,\mathbf {I} )} دوباره ایجاد کنیم. توجه کنید که اگر {\displaystyle \beta \_{t}} به اندازه کافی کوچک باشد، {\displaystyle q(\mathbf {x} \_{t-1}\vert \mathbf {x} \_{t})} نیز گوسی خواهد بود. متأسفانه، ما نمی‌توانیم {\displaystyle q(\mathbf {x} \_{t-1}\vert \mathbf {x} \_{t})} را به راحتی تخمین بزنیم زیرا برای این کار باید از کل مجموعه‌داده استفاده کنیم، بنابراین باید مدلِ {\displaystyle p\_{\theta }} را برای تقریب این احتمالات شرطی به منظور اجرای فرایند انتشار معکوس یاد بگیریم.

{\displaystyle p\_{\theta }(\mathbf {x} \_{0:T})=p(\mathbf {x} \_{T})\prod \_{t=1}^{T}p\_{\theta }(\mathbf {x} \_{t-1}\vert \mathbf {x} \_{t})\quad p\_{\theta }(\mathbf {x} \_{t-1}\vert \mathbf {x} \_{t})={\mathcal {N}}(\mathbf {x} \_{t-1};{\boldsymbol {\mu }}\_{\theta }(\mathbf {x} \_{t},t),{\boldsymbol {\Sigma }}\_{\theta }(\mathbf {x} \_{t},t))}

احتمال شرطی معکوس زمانی قابل حل است که روی {\displaystyle \mathbf {x} \_{0}} شرط شود:

{\displaystyle q(\mathbf {x} \_{t-1}\vert \mathbf {x} \_{t},\mathbf {x} \_{0})={\mathcal {N}}(\mathbf {x} \_{t-1};\color {blue}{\tilde {\boldsymbol {\mu }}}(\mathbf {x} \_{t},\mathbf {x} \_{0}),\color {red}{{\tilde {\beta }}\_{t}}\mathbf {I} )}

با اعمال قاعده بیز داریم:

{\displaystyle {\begin{aligned}q(\mathbf {x} \_{t-1}\vert \mathbf {x} \_{t},\mathbf {x} \_{0})&=q(\mathbf {x} \_{t}\vert \mathbf {x} \_{t-1},\mathbf {x} \_{0}){\frac {q(\mathbf {x} \_{t-1}\vert \mathbf {x} \_{0})}{q(\mathbf {x} \_{t}\vert \mathbf {x} \_{0})}}\\&\propto \exp {\Big (}-{\frac {1}{2}}{\big (}{\frac {(\mathbf {x} \_{t}-{\sqrt {\alpha \_{t}}}\mathbf {x} \_{t-1})^{2}}{\beta \_{t}}}+{\frac {(\mathbf {x} \_{t-1}-{\sqrt {{\bar {\alpha }}\_{t-1}}}\mathbf {x} \_{0})^{2}}{1-{\bar {\alpha }}\_{t-1}}}-{\frac {(\mathbf {x} \_{t}-{\sqrt {{\bar {\alpha }}\_{t}}}\mathbf {x} \_{0})^{2}}{1-{\bar {\alpha }}\_{t}}}{\big )}{\Big )}\\&=\exp {\Big (}-{\frac {1}{2}}{\big (}{\frac {\mathbf {x} \_{t}^{2}-2{\sqrt {\alpha \_{t}}}\mathbf {x} \_{t}\color {blue}{\mathbf {x} \_{t-1}}\color {black}{+\alpha \_{t}}\color {red}{\mathbf {x} \_{t-1}^{2}}}{\beta \_{t}}}+{\frac {\color {red}{\mathbf {x} \_{t-1}^{2}}\color {black}{-2{\sqrt {{\bar {\alpha }}\_{t-1}}}\mathbf {x} \_{0}}\color {blue}{\mathbf {x} \_{t-1}}\color {black}{+{\bar {\alpha }}\_{t-1}\mathbf {x} \_{0}^{2}}}{1-{\bar {\alpha }}\_{t-1}}}-{\frac {(\mathbf {x} \_{t}-{\sqrt {{\bar {\alpha }}\_{t}}}\mathbf {x} \_{0})^{2}}{1-{\bar {\alpha }}\_{t}}}{\big )}{\Big )}\\&=\exp {\Big (}-{\frac {1}{2}}{\big (}\color {red}{({\frac {\alpha \_{t}}{\beta \_{t}}}+{\frac {1}{1-{\bar {\alpha }}\_{t-1}}})}\mathbf {x} \_{t-1}^{2}-\color {blue}{({\frac {2{\sqrt {\alpha \_{t}}}}{\beta \_{t}}}\mathbf {x} \_{t}+{\frac {2{\sqrt {{\bar {\alpha }}\_{t-1}}}}{1-{\bar {\alpha }}\_{t-1}}}\mathbf {x} \_{0})}\mathbf {x} \_{t-1}\color {black}{+C(\mathbf {x} \_{t},\mathbf {x} \_{0}){\big )}{\Big )}}\end{aligned}}}

با توجه به تابع چگالی توزیع گاوسی، میانگین و واریانس را می‌توان به صورت زیر به‌دست‌آورد:

{\displaystyle {\begin{aligned}{\tilde {\beta }}\_{t}&=1/({\frac {\alpha \_{t}}{\beta \_{t}}}+{\frac {1}{1-{\bar {\alpha }}\_{t-1}}})=1/({\frac {\alpha \_{t}-{\bar {\alpha }}\_{t}+\beta \_{t}}{\beta \_{t}(1-{\bar {\alpha }}\_{t-1})}})=\color {green}{{\frac {1-{\bar {\alpha }}\_{t-1}}{1-{\bar {\alpha }}\_{t}}}\cdot \beta \_{t}}\\{\tilde {\boldsymbol {\mu }}}\_{t}(\mathbf {x} \_{t},\mathbf {x} \_{0})&=({\frac {\sqrt {\alpha \_{t}}}{\beta \_{t}}}\mathbf {x} \_{t}+{\frac {\sqrt {{\bar {\alpha }}\_{t-1}}}{1-{\bar {\alpha }}\_{t-1}}}\mathbf {x} \_{0})/({\frac {\alpha \_{t}}{\beta \_{t}}}+{\frac {1}{1-{\bar {\alpha }}\_{t-1}}})\\&=({\frac {\sqrt {\alpha \_{t}}}{\beta \_{t}}}\mathbf {x} \_{t}+{\frac {\sqrt {{\bar {\alpha }}\_{t-1}}}{1-{\bar {\alpha }}\_{t-1}}}\mathbf {x} \_{0})\color {green}{{\frac {1-{\bar {\alpha }}\_{t-1}}{1-{\bar {\alpha }}\_{t}}}\cdot \beta \_{t}}\\&={\frac {{\sqrt {\alpha \_{t}}}(1-{\bar {\alpha }}\_{t-1})}{1-{\bar {\alpha }}\_{t}}}\mathbf {x} \_{t}+{\frac {{\sqrt {{\bar {\alpha }}\_{t-1}}}\beta \_{t}}{1-{\bar {\alpha }}\_{t}}}\mathbf {x} \_{0}\\\end{aligned}}}

می‌دانیم که {\displaystyle \mathbf {x} \_{0}={\frac {1}{\sqrt {{\bar {\alpha }}\_{t}}}}(\mathbf {x} \_{t}-{\sqrt {1-{\bar {\alpha }}\_{t}}}{\boldsymbol {\epsilon }}\_{t})} و با جایگذاری در عبارات بالا خواهیم داشت:

{\displaystyle {\begin{aligned}{\tilde {\boldsymbol {\mu }}}\_{t}&={\frac {{\sqrt {\alpha \_{t}}}(1-{\bar {\alpha }}\_{t-1})}{1-{\bar {\alpha }}\_{t}}}\mathbf {x} \_{t}+{\frac {{\sqrt {{\bar {\alpha }}\_{t-1}}}\beta \_{t}}{1-{\bar {\alpha }}\_{t}}}{\frac {1}{\sqrt {{\bar {\alpha }}\_{t}}}}(\mathbf {x} \_{t}-{\sqrt {1-{\bar {\alpha }}\_{t}}}{\boldsymbol {\epsilon }}\_{t})\\&=\color {black}{{\frac {1}{\sqrt {\alpha \_{t}}}}{\Big (}\mathbf {x} \_{t}-{\frac {1-\alpha \_{t}}{\sqrt {1-{\bar {\alpha }}\_{t}}}}{\boldsymbol {\epsilon }}\_{t}{\Big )}}\end{aligned}}}

### تابع هزینه برای آموزش فرایند انتشاری

برای تقریب توزیع احتمال شرطی در فرایند انتشار معکوس {\displaystyle p\_{\theta }(\mathbf {x} \_{t-1}\vert \mathbf {x} \_{t})={\mathcal {N}}(\mathbf {x} \_{t-1};{\boldsymbol {\mu }}\_{\theta }(\mathbf {x} \_{t},t),{\boldsymbol {\Sigma }}\_{\theta }(\mathbf {x} \_{t},t))} نیاز به یادگیری یک شبکه عصبی داریم. درواقع می‌خواهیم {\displaystyle {\boldsymbol {\mu }}\_{\theta }} را آموزش دهیم که {\displaystyle {\tilde {\boldsymbol {\mu }}}\_{t}={\frac {1}{\sqrt {\alpha \_{t}}}}{\Big (}\mathbf {x} \_{t}-{\frac {1-\alpha \_{t}}{\sqrt {1-{\bar {\alpha }}\_{t}}}}{\boldsymbol {\epsilon }}\_{t}{\Big )}} را پیش‌بینی کند. از آن‌جایی که {\displaystyle \mathbf {x} \_{t}} به‌عنوان ورودی مدل هنگام آموزش داده می‌شود، می‌توانیم با تغییر عبارت نویز گاوسی {\displaystyle {\boldsymbol {\epsilon }}\_{t}} را از ورودی در گام t پیش‌بینی کنیم:

{\displaystyle {\begin{aligned}{\boldsymbol {\mu }}\_{\theta }(\mathbf {x} \_{t},t)&=\color {black}{{\frac {1}{\sqrt {\alpha \_{t}}}}{\Big (}\mathbf {x} \_{t}-{\frac {1-\alpha \_{t}}{\sqrt {1-{\bar {\alpha }}\_{t}}}}{\boldsymbol {\epsilon }}\_{\theta }(\mathbf {x} \_{t},t){\Big )}}\\\ \rightarrow \mathbf {x} \_{t-1}&={\mathcal {N}}(\mathbf {x} \_{t-1};{\frac {1}{\sqrt {\alpha \_{t}}}}{\Big (}\mathbf {x} \_{t}-{\frac {1-\alpha \_{t}}{\sqrt {1-{\bar {\alpha }}\_{t}}}}{\boldsymbol {\epsilon }}\_{\theta }(\mathbf {x} \_{t},t){\Big )},{\boldsymbol {\Sigma }}\_{\theta }(\mathbf {x} \_{t},t))\end{aligned}}}

پس تابع هزینه برای کمینه کردن اختلاف از {\displaystyle {\tilde {\boldsymbol {\mu }}}} به صورت زیر خواهد بود:

{\displaystyle {\begin{aligned}L\_{t}&=\mathbb {E} \_{\mathbf {x} \_{0},{\boldsymbol {\epsilon }}}{\Big [}{\frac {1}{2\|{\boldsymbol {\Sigma }}\_{\theta }(\mathbf {x} \_{t},t)\|\_{2}^{2}}}\|\color {blue}{{\tilde {\boldsymbol {\mu }}}\_{t}(\mathbf {x} \_{t},\mathbf {x} \_{0})}-\color {green}{{\boldsymbol {\mu }}\_{\theta }(\mathbf {x} \_{t},t)}\|^{2}{\Big ]}\\&=\mathbb {E} \_{\mathbf {x} \_{0},{\boldsymbol {\epsilon }}}{\Big [}{\frac {1}{2\|{\boldsymbol {\Sigma }}\_{\theta }\|\_{2}^{2}}}\|\color {blue}{{\frac {1}{\sqrt {\alpha \_{t}}}}{\Big (}\mathbf {x} \_{t}-{\frac {1-\alpha \_{t}}{\sqrt {1-{\bar {\alpha }}\_{t}}}}{\boldsymbol {\epsilon }}\_{t}{\Big )}}-\color {green}{{\frac {1}{\sqrt {\alpha \_{t}}}}{\Big (}\mathbf {x} \_{t}-{\frac {1-\alpha \_{t}}{\sqrt {1-{\bar {\alpha }}\_{t}}}}{\boldsymbol {\boldsymbol {\epsilon }}}\_{\theta }(\mathbf {x} \_{t},t){\Big )}}\|^{2}{\Big ]}\\&=\mathbb {E} \_{\mathbf {x} \_{0},{\boldsymbol {\epsilon }}}{\Big [}{\frac {(1-\alpha \_{t})^{2}}{2\alpha \_{t}(1-{\bar {\alpha }}\_{t})\|{\boldsymbol {\Sigma }}\_{\theta }\|\_{2}^{2}}}\|{\boldsymbol {\epsilon }}\_{t}-{\boldsymbol {\epsilon }}\_{\theta }(\mathbf {x} \_{t},t)\|^{2}{\Big ]}\\&=\mathbb {E} \_{\mathbf {x} \_{0},{\boldsymbol {\epsilon }}}{\Big [}{\frac {(1-\alpha \_{t})^{2}}{2\alpha \_{t}(1-{\bar {\alpha }}\_{t})\|{\boldsymbol {\Sigma }}\_{\theta }\|\_{2}^{2}}}\|{\boldsymbol {\epsilon }}\_{t}-{\boldsymbol {\epsilon }}\_{\theta }({\sqrt {{\bar {\alpha }}\_{t}}}\mathbf {x} \_{0}+{\sqrt {1-{\bar {\alpha }}\_{t}}}{\boldsymbol {\epsilon }}\_{t},t)\|^{2}{\Big ]}\end{aligned}}}

در مقاله نشان داده شده‌است که آموزش مدل انتشاری با تابع هزینه زیر بهتر انجام می‌شود:

{\displaystyle {\begin{aligned}L\_{t}^{\text{simple}}&=\mathbb {E} \_{t\sim [1,T],\mathbf {x} \_{0},{\boldsymbol {\epsilon }}\_{t}}{\Big [}\|{\boldsymbol {\epsilon }}\_{t}-{\boldsymbol {\epsilon }}\_{\theta }(\mathbf {x} \_{t},t)\|^{2}{\Big ]}\\&=\mathbb {E} \_{t\sim [1,T],\mathbf {x} \_{0},{\boldsymbol {\epsilon }}\_{t}}{\Big [}\|{\boldsymbol {\epsilon }}\_{t}-{\boldsymbol {\epsilon }}\_{\theta }({\sqrt {{\bar {\alpha }}\_{t}}}\mathbf {x} \_{0}+{\sqrt {1-{\bar {\alpha }}\_{t}}}{\boldsymbol {\epsilon }}\_{t},t)\|^{2}{\Big ]}\end{aligned}}}

و تابع هزینه نهایی به صورت {\displaystyle L\_{\text{simple}}=L\_{t}^{\text{simple}}+C} خواهد بود (C یک مقدار ثابت مستقل از \theta  است).

محدودیت‌ها
----------

فرایند نمونه‌گیری از DDPM با دنبال‌کردن زنجیره مارکوف فرایند انتشار معکوس بسیار کند است، زیرا تعداد گام‌ها T می‌تواند تا یک یا چند هزار مرحله باشد. در گفته شده «به عنوان مثال، نمونه‌گیری ۵۰ هزار عکس با اندازه ۳۲ × ۳۲ از یک DDPM حدود ۲۰ ساعت طول می‌کشد، اما انجام این کار با یک GAN روی یک پردازنده گرافیکی Nvidia 2080 Ti کمتر از یک دقیقه زمان می‌برد.»

کاربرد
------

### بینایی ماشین

مدل‌هایی انتشاری برای تولید،  بخش‌بندی، فراتفکیک‌پذیری، تغییر و تعمیر (به انگلیسی: inpainting) تصاویر به کار می‌روند. همچنین در تولید ویدئو، تشخیص ناهنجاری، تحلیل تصاویر پزشکی و بینایی سه‌بعدی کاربرد دارد.

### پردازش زبان‌های طبیعی

مدل‌های انتشاری همچنین برای تولید و ترجمه متن استفاده می‌شوند.

جستارهای وابسته
---------------

* زنجیره مارکوف
* استنباط بیزی تغییراتی
* خودرمزگذار متغیر

منابع
-----

1. 1 2  Ho, Jonathan; Jain, Ajay; Abbeel, Pieter (19 June 2020). "Denoising Diffusion Probabilistic Models". *Advances in Neural Information Processing Systems*. arXiv:2006.11239.
2. ↑  Song, Yang; Ermon, Stefano (2020). "Improved Techniques for Training Score-Based Generative Models". *Advances in Neural Information Processing Systems*. arXiv:2006.09011.
3. ↑  Gu, Shuyang; Chen, Dong; Bao, Jianmin; Wen, Fang; Zhang, Bo; Chen, Dongdong; Yuan, Lu; Guo, Baining (2021). "Vector Quantized Diffusion Model for Text-to-Image Synthesis". *Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition*. arXiv:2111.14822.
4. ↑  Yang, Ling; Zhang, Zhilong (2022). "Diffusion models: A comprehensive survey of methods and applications". *arXiv*.
5. ↑  Weng, Lilian (Jul 2021). "What are diffusion models?". *lilianweng.github.io*.
6. 1 2  Song, Jiaming; Meng, Chenlin; Ermon, Stefano (2020). "Denoising diffusion implicit models". *arxiv*. arXiv:2010.02502.
7. ↑  Nichol, Alexander Quinn; Dhariwal, Prafulla (2021). "Improved denoising diffusion probabilistic models". *International Conference on Machine Learning Systems*.
8. ↑  Prafulla, Dhariwal; Nichol, Alexander (2021). "Diffusion models beat gans on image synthesisDiffusion models beat gans on image synthesis". *Advances in Neural Information Processing Systems*.
9. ↑  Amit, Tomer; Nachmani, Eliya (2021). "Segdiff: Image segmentation with diffusion probabilistic models". *arXiv*.
10. ↑  Wang, Weilun; Bao, Jianmin (2022). "Semantic image synthesis via diffusion models". *arXiv*.
11. ↑  Saharia, Chitwan; Ho, Jonathan (2022). "Image super-resolution via iterative refinement". *IEEE Transactions on Pattern Analysis and Machine Intelligence*.
12. 1 2  Batzolis, Georgios; Stanczuk, Jan (2021). "Conditional image generation with score-based diffusion models". *arXiv*. arXiv:2111.13606.
13. ↑  Kawar, Bahjat; Elad, Michael (2022). "Denoising Diffusion Restoration Models". *ICLR Workshop on Deep Generative Models for Highly Structured Data*.
14. ↑  Kim, Gwanghyun; Kwon, Taesung (2022). "DiffusionCLIP: Text-Guided Diffusion Models for Robust Image Manipulation". *Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition*.
15. ↑  Avrahami, Omri; Lischinski, Dani (2021). "Improved denoising diffusion probabilistic models". *Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition*.
16. ↑  Lugmayr, Andreas; Danelljan, Martin (2022). "Repaint: Inpainting using denoising diffusion probabilistic models". *Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition*.
17. ↑  He, Yingqing; Yang, Tianyu (2022). "Latent Video Diffusion Models for High-Fidelity Video Generation with Arbitrary Lengths". *arXiv*.
18. ↑  Wolleb, Julia; Bieder, Florentin (2022). "Diffusion Models for Medical Anomaly Detection". *arXiv*. arXiv:2203.04306.
19. ↑  Dar, Salman UH; Öztürk, Şaban (2022). "Adaptive diffusion priors for accelerated mri reconstruction". *arXiv*. arXiv:2207.05876.
20. ↑  Saadatnejad, Saeed; Rasekh, Ali; Mofayezi, Mohammadreza; Medghalchi, Yasamin; Rajabzadeh, Sara; Mordan, Taylor; Alahi, Alexandre (2022). "A generic diffusion-based approach for 3D human pose prediction in the wild". *arXiv*. arXiv:2210.05669.
21. ↑  Nachmani, Eliya; Dovrat, Shaked (2021). "Zero-Shot Translation using Diffusion Models". *arXiv*.
22. ↑  Lovelace, Justin; Kishore, Varsha (2022). "Latent Diffusion for Language Generation". *arXiv*.