مدل‌‌های انتشاری
جزئیات > تابع هزینه برای آموزش فرایند انتشاری

برای تقریب توزیع احتمال شرطی در فرایند انتشار معکوس  p_{\theta }(\mathbf {x} _{t-1}\vert \mathbf {x} _{t})={\mathcal {N}}(\mathbf {x} _{t-1};{\boldsymbol {\mu }}_{\theta }(\mathbf {x} _{t},t),{\boldsymbol {\Sigma }}_{\theta }(\mathbf {x} _{t},t)) نیاز به یادگیری یک شبکه عصبی داریم. درواقع می‌خواهیم  {\boldsymbol {\mu }}_{\theta } را آموزش دهیم که  {\tilde {\boldsymbol {\mu }}}_{t}={\frac {1}{\sqrt {\alpha _{t}}}}{\Big (}\mathbf {x} _{t}-{\frac {1-\alpha _{t}}{\sqrt {1-{\bar {\alpha }}_{t}}}}{\boldsymbol {\epsilon }}_{t}{\Big )} را پیش‌بینی کند. از آن‌جایی که  \mathbf {x} _{t} به‌عنوان ورودی مدل هنگام آموزش داده می‌شود، می‌توانیم با تغییر عبارت نویز گاوسی  {\boldsymbol {\epsilon }}_{t} را از ورودی در گام  t پیش‌بینی کنیم:
{\begin{aligned}{\boldsymbol {\mu }}_{\theta }(\mathbf {x} _{t},t)&=\color {black}{{\frac {1}{\sqrt {\alpha _{t}}}}{\Big (}\mathbf {x} _{t}-{\frac {1-\alpha _{t}}{\sqrt {1-{\bar {\alpha }}_{t}}}}{\boldsymbol {\epsilon }}_{\theta }(\mathbf {x} _{t},t){\Big )}}\\\ \rightarrow \mathbf {x} _{t-1}&={\mathcal {N}}(\mathbf {x} _{t-1};{\frac {1}{\sqrt {\alpha _{t}}}}{\Big (}\mathbf {x} _{t}-{\frac {1-\alpha _{t}}{\sqrt {1-{\bar {\alpha }}_{t}}}}{\boldsymbol {\epsilon }}_{\theta }(\mathbf {x} _{t},t){\Big )},{\boldsymbol {\Sigma }}_{\theta }(\mathbf {x} _{t},t))\end{aligned}}
پس تابع هزینه برای کمینه کردن اختلاف از  {\tilde {\boldsymbol {\mu }}} به صورت زیر خواهد بود:
{\begin{aligned}L_{t}&=\mathbb {E} _{\mathbf {x} _{0},{\boldsymbol {\epsilon }}}{\Big [}{\frac {1}{2\|{\boldsymbol {\Sigma }}_{\theta }(\mathbf {x} _{t},t)\|_{2}^{2}}}\|\color {blue}{{\tilde {\boldsymbol {\mu }}}_{t}(\mathbf {x} _{t},\mathbf {x} _{0})}-\color {green}{{\boldsymbol {\mu }}_{\theta }(\mathbf {x} _{t},t)}\|^{2}{\Big ]}\\&=\mathbb {E} _{\mathbf {x} _{0},{\boldsymbol {\epsilon }}}{\Big [}{\frac {1}{2\|{\boldsymbol {\Sigma }}_{\theta }\|_{2}^{2}}}\|\color {blue}{{\frac {1}{\sqrt {\alpha _{t}}}}{\Big (}\mathbf {x} _{t}-{\frac {1-\alpha _{t}}{\sqrt {1-{\bar {\alpha }}_{t}}}}{\boldsymbol {\epsilon }}_{t}{\Big )}}-\color {green}{{\frac {1}{\sqrt {\alpha _{t}}}}{\Big (}\mathbf {x} _{t}-{\frac {1-\alpha _{t}}{\sqrt {1-{\bar {\alpha }}_{t}}}}{\boldsymbol {\boldsymbol {\epsilon }}}_{\theta }(\mathbf {x} _{t},t){\Big )}}\|^{2}{\Big ]}\\&=\mathbb {E} _{\mathbf {x} _{0},{\boldsymbol {\epsilon }}}{\Big [}{\frac {(1-\alpha _{t})^{2}}{2\alpha _{t}(1-{\bar {\alpha }}_{t})\|{\boldsymbol {\Sigma }}_{\theta }\|_{2}^{2}}}\|{\boldsymbol {\epsilon }}_{t}-{\boldsymbol {\epsilon }}_{\theta }(\mathbf {x} _{t},t)\|^{2}{\Big ]}\\&=\mathbb {E} _{\mathbf {x} _{0},{\boldsymbol {\epsilon }}}{\Big [}{\frac {(1-\alpha _{t})^{2}}{2\alpha _{t}(1-{\bar {\alpha }}_{t})\|{\boldsymbol {\Sigma }}_{\theta }\|_{2}^{2}}}\|{\boldsymbol {\epsilon }}_{t}-{\boldsymbol {\epsilon }}_{\theta }({\sqrt {{\bar {\alpha }}_{t}}}\mathbf {x} _{0}+{\sqrt {1-{\bar {\alpha }}_{t}}}{\boldsymbol {\epsilon }}_{t},t)\|^{2}{\Big ]}\end{aligned}}
در مقاله نشان داده شده‌است که آموزش مدل انتشاری با تابع هزینه زیر بهتر انجام می‌شود:
{\begin{aligned}L_{t}^{\text{simple}}&=\mathbb {E} _{t\sim [1,T],\mathbf {x} _{0},{\boldsymbol {\epsilon }}_{t}}{\Big [}\|{\boldsymbol {\epsilon }}_{t}-{\boldsymbol {\epsilon }}_{\theta }(\mathbf {x} _{t},t)\|^{2}{\Big ]}\\&=\mathbb {E} _{t\sim [1,T],\mathbf {x} _{0},{\boldsymbol {\epsilon }}_{t}}{\Big [}\|{\boldsymbol {\epsilon }}_{t}-{\boldsymbol {\epsilon }}_{\theta }({\sqrt {{\bar {\alpha }}_{t}}}\mathbf {x} _{0}+{\sqrt {1-{\bar {\alpha }}_{t}}}{\boldsymbol {\epsilon }}_{t},t)\|^{2}{\Big ]}\end{aligned}}
و تابع هزینه نهایی به صورت  L_{\text{simple}}=L_{t}^{\text{simple}}+C خواهد بود ( C یک مقدار ثابت مستقل از  \theta  است).