مدل‌‌های انتشاری
جزئیات > فرایند انتشار معکوس

اگر بتوانیم فرایند بالا را معکوس کنیم و از  q(\mathbf {x} _{t-1}\vert \mathbf {x} _{t}) نمونه‌برداری کنیم، می‌توانیم نمونه واقعی را از ورودی نویز گاوسی  \mathbf {x} _{T}\sim {\mathcal {N}}(\mathbf {0} ,\mathbf {I} ) دوباره ایجاد کنیم. توجه کنید که اگر  \beta _{t} به اندازه کافی کوچک باشد،  q(\mathbf {x} _{t-1}\vert \mathbf {x} _{t}) نیز گوسی خواهد بود. متأسفانه، ما نمی‌توانیم  q(\mathbf {x} _{t-1}\vert \mathbf {x} _{t}) را به راحتی تخمین بزنیم زیرا برای این کار باید از کل مجموعه‌داده استفاده کنیم، بنابراین باید مدلِ  p_{\theta } را برای تقریب این احتمالات شرطی به منظور اجرای فرایند انتشار معکوس یاد بگیریم.
p_{\theta }(\mathbf {x} _{0:T})=p(\mathbf {x} _{T})\prod _{t=1}^{T}p_{\theta }(\mathbf {x} _{t-1}\vert \mathbf {x} _{t})\quad p_{\theta }(\mathbf {x} _{t-1}\vert \mathbf {x} _{t})={\mathcal {N}}(\mathbf {x} _{t-1};{\boldsymbol {\mu }}_{\theta }(\mathbf {x} _{t},t),{\boldsymbol {\Sigma }}_{\theta }(\mathbf {x} _{t},t))
احتمال شرطی معکوس زمانی قابل حل است که روی  \mathbf {x} _{0} شرط شود:
q(\mathbf {x} _{t-1}\vert \mathbf {x} _{t},\mathbf {x} _{0})={\mathcal {N}}(\mathbf {x} _{t-1};\color {blue}{\tilde {\boldsymbol {\mu }}}(\mathbf {x} _{t},\mathbf {x} _{0}),\color {red}{{\tilde {\beta }}_{t}}\mathbf {I} )
با اعمال قاعده بیز داریم:
{\begin{aligned}q(\mathbf {x} _{t-1}\vert \mathbf {x} _{t},\mathbf {x} _{0})&=q(\mathbf {x} _{t}\vert \mathbf {x} _{t-1},\mathbf {x} _{0}){\frac {q(\mathbf {x} _{t-1}\vert \mathbf {x} _{0})}{q(\mathbf {x} _{t}\vert \mathbf {x} _{0})}}\\&\propto \exp {\Big (}-{\frac {1}{2}}{\big (}{\frac {(\mathbf {x} _{t}-{\sqrt {\alpha _{t}}}\mathbf {x} _{t-1})^{2}}{\beta _{t}}}+{\frac {(\mathbf {x} _{t-1}-{\sqrt {{\bar {\alpha }}_{t-1}}}\mathbf {x} _{0})^{2}}{1-{\bar {\alpha }}_{t-1}}}-{\frac {(\mathbf {x} _{t}-{\sqrt {{\bar {\alpha }}_{t}}}\mathbf {x} _{0})^{2}}{1-{\bar {\alpha }}_{t}}}{\big )}{\Big )}\\&=\exp {\Big (}-{\frac {1}{2}}{\big (}{\frac {\mathbf {x} _{t}^{2}-2{\sqrt {\alpha _{t}}}\mathbf {x} _{t}\color {blue}{\mathbf {x} _{t-1}}\color {black}{+\alpha _{t}}\color {red}{\mathbf {x} _{t-1}^{2}}}{\beta _{t}}}+{\frac {\color {red}{\mathbf {x} _{t-1}^{2}}\color {black}{-2{\sqrt {{\bar {\alpha }}_{t-1}}}\mathbf {x} _{0}}\color {blue}{\mathbf {x} _{t-1}}\color {black}{+{\bar {\alpha }}_{t-1}\mathbf {x} _{0}^{2}}}{1-{\bar {\alpha }}_{t-1}}}-{\frac {(\mathbf {x} _{t}-{\sqrt {{\bar {\alpha }}_{t}}}\mathbf {x} _{0})^{2}}{1-{\bar {\alpha }}_{t}}}{\big )}{\Big )}\\&=\exp {\Big (}-{\frac {1}{2}}{\big (}\color {red}{({\frac {\alpha _{t}}{\beta _{t}}}+{\frac {1}{1-{\bar {\alpha }}_{t-1}}})}\mathbf {x} _{t-1}^{2}-\color {blue}{({\frac {2{\sqrt {\alpha _{t}}}}{\beta _{t}}}\mathbf {x} _{t}+{\frac {2{\sqrt {{\bar {\alpha }}_{t-1}}}}{1-{\bar {\alpha }}_{t-1}}}\mathbf {x} _{0})}\mathbf {x} _{t-1}\color {black}{+C(\mathbf {x} _{t},\mathbf {x} _{0}){\big )}{\Big )}}\end{aligned}}
با توجه به تابع چگالی توزیع گاوسی، میانگین و واریانس را می‌توان به صورت زیر به‌دست‌آورد:
{\begin{aligned}{\tilde {\beta }}_{t}&=1/({\frac {\alpha _{t}}{\beta _{t}}}+{\frac {1}{1-{\bar {\alpha }}_{t-1}}})=1/({\frac {\alpha _{t}-{\bar {\alpha }}_{t}+\beta _{t}}{\beta _{t}(1-{\bar {\alpha }}_{t-1})}})=\color {green}{{\frac {1-{\bar {\alpha }}_{t-1}}{1-{\bar {\alpha }}_{t}}}\cdot \beta _{t}}\\{\tilde {\boldsymbol {\mu }}}_{t}(\mathbf {x} _{t},\mathbf {x} _{0})&=({\frac {\sqrt {\alpha _{t}}}{\beta _{t}}}\mathbf {x} _{t}+{\frac {\sqrt {{\bar {\alpha }}_{t-1}}}{1-{\bar {\alpha }}_{t-1}}}\mathbf {x} _{0})/({\frac {\alpha _{t}}{\beta _{t}}}+{\frac {1}{1-{\bar {\alpha }}_{t-1}}})\\&=({\frac {\sqrt {\alpha _{t}}}{\beta _{t}}}\mathbf {x} _{t}+{\frac {\sqrt {{\bar {\alpha }}_{t-1}}}{1-{\bar {\alpha }}_{t-1}}}\mathbf {x} _{0})\color {green}{{\frac {1-{\bar {\alpha }}_{t-1}}{1-{\bar {\alpha }}_{t}}}\cdot \beta _{t}}\\&={\frac {{\sqrt {\alpha _{t}}}(1-{\bar {\alpha }}_{t-1})}{1-{\bar {\alpha }}_{t}}}\mathbf {x} _{t}+{\frac {{\sqrt {{\bar {\alpha }}_{t-1}}}\beta _{t}}{1-{\bar {\alpha }}_{t}}}\mathbf {x} _{0}\\\end{aligned}}
می‌دانیم که  \mathbf {x} _{0}={\frac {1}{\sqrt {{\bar {\alpha }}_{t}}}}(\mathbf {x} _{t}-{\sqrt {1-{\bar {\alpha }}_{t}}}{\boldsymbol {\epsilon }}_{t}) و با جایگذاری در عبارات بالا خواهیم داشت:
{\begin{aligned}{\tilde {\boldsymbol {\mu }}}_{t}&={\frac {{\sqrt {\alpha _{t}}}(1-{\bar {\alpha }}_{t-1})}{1-{\bar {\alpha }}_{t}}}\mathbf {x} _{t}+{\frac {{\sqrt {{\bar {\alpha }}_{t-1}}}\beta _{t}}{1-{\bar {\alpha }}_{t}}}{\frac {1}{\sqrt {{\bar {\alpha }}_{t}}}}(\mathbf {x} _{t}-{\sqrt {1-{\bar {\alpha }}_{t}}}{\boldsymbol {\epsilon }}_{t})\\&=\color {black}{{\frac {1}{\sqrt {\alpha _{t}}}}{\Big (}\mathbf {x} _{t}-{\frac {1-\alpha _{t}}{\sqrt {1-{\bar {\alpha }}_{t}}}}{\boldsymbol {\epsilon }}_{t}{\Big )}}\end{aligned}}