diffusion modelの理論

研究でDiffusion modelに触れる機会があり, その原理が気になって調べたので, 本記事ではその内容をまとめます。間違いがあったら教えてください。数学的に厳密なことはあまり考えていません。

# 1. 概要
Diffusion modelとは深層学習の生成モデルの1種で, ランダムなデータから徐々にノイズを除去してデータを生成するモデルである。  
Diffusionモデルの数学的な定式化には(筆者の知る限り)2通りの方法がある。1つは, ノイズ除去の各段階を変分オートエンコーダー(VAE)とみなす方法である。  
この方法については, 以下の論文に詳しく載っている。  

[Ho, J., Jain, A., & Abbeel, P. (2020). Denoising diffusion probabilistic models. Advances in neural information processing systems, 33, 6840-6851.](
https://proceedings.neurips.cc/paper/2020/file/4c5bcfec8584af0d967f1ab10179ca4b-Paper.pdf)

上の論文は式変形がかなり丁寧に書かれていて分かりやすいので, 本記事での解説は省略する。個人的には分かりやすい分導出に使っている仮定が多い印象だった。  
またこの論文には, 以下に示すもう1つの方法と同じ結果が得られることについても示されている。

それが, diffusion modelをウィーナー過程の逆過程を計算しているとする方法である。これについては, Yang Song氏の一連の論文で説明されている。

[Song, Y., & Ermon, S. (2019). Generative modeling by estimating gradients of the data distribution. Advances in neural information processing systems, 32.](https://proceedings.neurips.cc/paper_files/paper/2019/file/3001ef257407d5a371a96dcd947c7d93-Paper.pdf)

[Song, Y., & Ermon, S. (2020). Improved techniques for training score-based generative models. Advances in neural information processing systems, 33, 12438-12448.](https://proceedings.neurips.cc/paper/2020/file/92c3b916311a5517d9290576e3ea37ad-Paper.pdf)

[Song, Y., Sohl-Dickstein, J., Kingma, D. P., Kumar, A., Ermon, S., & Poole, B. (2020). Score-based generative modeling through stochastic differential equations. arXiv preprint arXiv:2011.13456.](https://arxiv.org/pdf/2011.13456)

本記事ではこれらの論文(主に3報目)の内容を中心に, diffusion modelの導出を説明する。  

# 2. 前提知識
### 確率過程
ブラウン運動する粒子の位置や株価の値動きなど, あるパラメータ(通常は時刻)に対応して変化する確率変数を**確率過程**という。  

測度論的確率論の枠組みで言うと, 確率空間$(\Omega, F, P)$に対して, 標本空間$\Omega$と別のパラメータ空間$A$(時刻など)から確率変数の値域($\mathbb{R}$など)への写像$\Omega\times A\to B$と考えられる(と思う)(↔︎通常の確率変数は$\Omega\to B$)。  

以下パラメータ$t$の確率過程を$X(t)$のように書く。

### ウィーナー過程   
確率過程$X(t)$が, 
$$dX(t)=\mu(x,t)dt+\sigma(x,t)dB$$  
のように書けるとき, $X(t)$は**ウィーナー過程**に従うという。ここで, $\mu(x,t)dt$はドリフト項といい, ノイズとは別の流れのようなものを表し, $dB$は$\mathcal{N}(0, \sqrt{dt})$に従う微小なブレを表す。

個人的にはこの定義は$dB$の捉え方が曖昧なので, $X$が時刻$t$で値$x$を取る確率を$p(x,t)$のように表すとして, $\Delta t<< 1$のとき, 
    $$p(y, t+\Delta t| x, t)=N(y;x+\mu(x, t)\Delta t, \sigma(x,t)^2\Delta t)$$
と書けるということだと解釈している(以降もこの定義を用いる)。ここで$p(y,s;x,t)$は$X(t)=x$のとき$X(s)=y$となる確率を表す。

$\mu(x,t)=0$だと$X(t)$は時間と共に無限に拡散していくが, $\mu(x,t)=-\theta(x-\mu)$などドリフト項が復元力のようなものを与える場合, $t\to\infty$で$\mu$を中心とした定常分布に収束する(オルンシュタイン=ウーレンベック過程など)。

# 3. Diffusion model
あるデータの分布$p$があり, それに従って観測データ$x_1, ...,x_N$が得られたとする。Diffusion model(に限らず, 生成モデル一般)の目標は, $x_1, ..., x_N$から$p$を推定し, $p$に従ってデータを生成することである。本記事では簡単のため$x$は一次元とするが, 多次元の場合にも容易に拡張できる(多分)。  

Diffusion modelでは, 確率変数の初期値$X(0)$がデータ分布$p$に従い, その後ウィーナー過程をたどる確率過程を考える。オルンシュターン=ウーレンベック過程のような定常分布に収束する過程を用いると, 十分大きい$T$について$X(T)$は既知の定常分布に概ね従う。そこで, ウィーナー過程の逆過程を求めることができれば, まず定常分布からデータを生成し, 逆過程をたどって確率変数を変化させることで, 元の分布$p$に従うデータを生成できる。  

そこでどうやってウィーナー過程の逆過程を求めるかだが, 実はウィーナー過程の逆過程もまた以下のようにウィーナー過程になることが知られている[(Andereson, 1982)](https://www.sciencedirect.com/science/article/pii/0304414982900515)。
$$
-dX=\left(-\mu(x,t)+\frac{1}{p(x,t)}\frac{\partial}{\partial x}\left(p(x,t)\sigma(x,t)^2\right)\right)dt+\sigma(x,t)dW
$$
特に, $\sigma(x,t)$が$x$によらない場合
    $$-dX=\left(-\mu(x,t)+\sigma(t)^2\frac{1}{p(x,t)}\frac{\partial p(x,t)}{\partial x}\right)dt+\sigma(t)dW \quad\cdots(0)$$
となる。つまり, $X(T)$を定常分布に従って生成した後, 上の確率過程に従って$X$を動かしていけば, $p$に従うデータが生成できるのである(実際の深層学習モデルの実装では微小なタイムステップごとに動かしていく)。この式の証明は次節で行う。  

ところで, 上記の式には$p(x,t)$が入っており, これは元の分布$p(;0)$を知らないと計算できないので, 結局$p(;0)$が必要になってしまう。そこで, Diffusion modelでは$\frac{1}{p(x,t)}\frac{\partial p(x,t)}{\partial x}$をデータ$x_1,...,x_N$から深層学習モデルで推定する。深層学習モデルを$s: (x,t)\mapsto s(x,t)$として, 以下のロス関数を最小化する。
$$
L(s)=\int \lambda(t) dt\sum_{x=1}^N\int p(x,t|x_n,0)dx \left(s(x,t)-\frac{1}{p(x,t|x_n,0)}\frac{\partial p(x,t|x_n,0)}{\partial x}\right)^2  
$$
($\lambda(t)$は時刻に関する適当な重みづけの関数)  
これは以下のように計算できる。$\lambda(t)$に従って$t$をサンプリングし(実際は離散的な各タイムステップについて計算している), 各$x_n$について$p(x,t|x_n,0)$に従って$x$をサンプリングし, $||$の中身を計算したものをロス関数とすればよい。  
適切に$\mu(x,t), \sigma(x,t)$を設定すれば$p(x,t|x_n,0)$は計算可能である。たとえばオルンシュタイン=ウーレンベック過程など([Wikipedia](https://ja.wikipedia.org/wiki/オルンシュタイン＝ウーレンベック過程)に初期条件付きの解があります)。   

次に, これを最小化する$s$が$\frac{1}{p(x,t)}\frac{\partial p(x,t)}{\partial x}$に一致することを示す。$N$が十分大きい時,
$$
L(s)\sim\int \lambda(t) dt\int p(x',0)dx'\int p(x,t|x',0)dx \left(s(x,t)-\frac{1}{p(x,t|x',0)}\frac{\partial p(x,t|x',0)}{\partial x}\right)^2  
$$
と近似できる。$L(s)$を$s$について変分をとると,
$$
\delta L(s)=2\int \lambda(t) dt\int p(x',0)dx'\int p(x,t|x',0)dx \left(s(x,t)-\frac{1}{p(x,t|x',0)}\frac{\partial p(x,t|x',0)}{\partial x}\right)\delta s(x,t) 
$$
(変分は関数についての微分のようなもので, 上の式は$s$が$s+\delta s$に微小変化したときの$L$の変化$L(s+\delta s)-L(s)$を表しています。)  
$s$が$L$を最小化するとき, 任意の$\delta s$について$\delta L=0$となるので, 任意の$\delta s$について
$$
0=\int \lambda(t)dt\int p(x',0)dx'\int p(x,t|x',0)dx \left(s(x,t)-\frac{1}{p(x,t|x',0)}\frac{\partial p(x,t|x',0)}{\partial x}\right)\delta s(x,t)
$$
$$
=\int \lambda(t)dt\left\lbrace \int\int p(x,t|x',0)p(x',0)dx's(x,t)\delta s(x,t)dx-\int\int p(x',0)\frac{\partial p(x,t|x',0)}{\partial x}\delta s(x,t)dx'dx\right\rbrace 
$$
$$
=\int \lambda(t)dt\left\lbrace \int p(x,t)s(x,t)\delta s(x,t)dx-\int dx\frac{\partial p(x,t)}{\partial x}\delta s(x,t)\right\rbrace 
$$
$$
=\int \lambda(t)dt\left\lbrace \int p(x,t)\left(s(x,t)-\frac{1}{p(x,t)}\frac{\partial p(x,t)}{\partial x} \right)\delta s(x,t)dx\right\rbrace 
$$
となるので, $s(x,t)=\frac{1}{p(x,t)}\frac{\partial p(x,t)}{\partial x}$となる。

# 4. Anderson, 1982の導出
ここでは前述の式(0), ウィーナー過程の逆過程がウィーナー過程になることを示す。
## チャップマン-コルモゴロフ方程式
ウィーナー過程では, 現在の変化が過去の変数によらず現在の状態にのみ依存する(マルコフ過程)。つまり, 時刻$t_0< t_1< t_2$について
    $$p(x_2,t_2|x_1,t_1;x_0,t_0)=p(x_2,t_2|x_1,t_1)$$
が常に成り立つ。従って,$t_0<t_1<t_2$のとき
    $$p(x_2,t_2|x_0,t_0)＝\int_{-\infty}^{\infty}p(x_2,t_2|x_1,t_1;x_0,t_0)p(x_1,t_1|x_0,t_0)dx_1$$
    $$=\int_{-\infty}^{\infty}p(x_2,t_2|x_1,t_1)p(x_1,t_1|x_0,t_0)dx_1$$
となる(チャップマン-コルモゴロフ方程式)。

## コルモゴロフの前進方程式
Fokker-Planck方程式ともいう。  
まず, 確率変数$X$がウィーナー過程に従うとし, 時刻$t$における$X$の確率分布を$p(x,t)$とする。時刻$t_0$で$X$が値$x_0$をとっていたという条件のもとで, ある$X$の関数$f$の時刻$t$での期待値を考え, $E(t)$とする。つまり
    $$E(t)=\int_{-\infty}^{\infty}f(x)p(x,t|x_0,t_0)dx$$
$E(t)$の時間変化を考えると, 
    $$\frac{d}{dt}E(t)=\frac{d}{dt}\int_{-\infty}^{\infty}f(x)p(x,t|x_0,t_0)dx=\int_{-\infty}^{\infty}f(x)\frac{\partial}{\partial t}p(x,t|x_0,t_0)dx\quad\cdots(1)$$
$t\to t+\Delta t$とすると, 
    $$E(t+\Delta t)=\int_{-\infty}^{\infty}f(y)p(y,t+\Delta t|x_0,t_0)dy$$
$\Delta t$が十分小さい時, チャップマン-コルモゴロフ方程式より, 
    $$=\int_{-\infty}^{\infty}f(y)\left(\int_{-\infty}^{\infty}p(y,t+\Delta t|x,t)p(x,t|x_0,t_0)dy\right)dx$$
    $$=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}f(y)p(y,t+\Delta t|x,t)p(x,t|x_0,t_0)dydx$$
    $$=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}f(y)\frac{1}{\sqrt{2\pi\sigma(x,t)^2}\Delta t}\exp\left(-\frac{(y-x-\mu(x,t)\Delta t)}{2\sigma(x,t)^2\Delta t}\right) p(x,t|x_0,t_0)dydx$$
変数$r$を用いて$y=x+\mu(x,t)\Delta t+\sigma(x,t)r\sqrt{\Delta t}$と変数変換すると,
    $$=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}f\left(x+\mu(x,t)\Delta t+\sigma(x,t)r\sqrt{\Delta t}\right)\exp\left(-\frac{r^2}{2}\right)p(x,t|x_0,t_0)drdx$$
　$f$をテイラー展開する。$\Delta t$の1.5次以上の項を無視すると, 
    $$=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}\int_{-\infty}^{\infty} \left\lbrace f(x)+(\mu(x,t)\Delta t+\sigma(x,t)\sqrt{\Delta t}r)f'(x)+\frac{1}{2}\left(\sigma(x,t)r\sqrt{\Delta t}\right)^2f''(x)\right\rbrace \exp(-\frac{r^2}{2})p(x,t|x_0,t_0)drdx+O({\Delta x}^{1.5})$$
この式は$r$についての積分と$x$についての積分に分解できる。$r$についての積分を先に実行すると, $\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}\exp\left(-\frac{r^2}{2}\right)dr=1$, $\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}r\exp\left(-\frac{r^2}{2}\right)dr=0$, $\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}r^2\exp\left(-\frac{r^2}{2}\right)dr=1$より, 
    $$=\int_{-\infty}^{\infty}f(x)p(x,t|x_0,t_0)dx+\int_{-\infty}^{\infty}\mu(x,t)\Delta tf'(x)p(x,t|x_0,t_0)dx+\int_{-\infty}^{\infty}\frac{1}{2}\left(\sigma(x,t)\sqrt{\Delta t}\right)^2f''(x)p(x,t|x_0,t_0)dx+O\left({\Delta x}^{1.5}\right)$$
    $$=E(x,t)+\Delta t\int_{-\infty}^{\infty}f'(x)\mu(x,t)p(x,t|x_0,t_0)dx+\frac{1}{2}\Delta t\int_{-\infty}^{\infty}f''(x)\sigma(x,t)^2p(x,t|x_0,t_0)dx+O\left({\Delta x}^{1.5}\right)$$
よって, 
    $$\frac{1}{\Delta t}\left(E(t+\Delta t)-E(t)\right)=\int_{-\infty}^{\infty}f'(x)\mu(x,t)p(x,t|x_0,t_0)dx+\frac{1}{2}\int_{-\infty}^{\infty}f''(x)\sigma(x,t)^2p(x,t|x_0,t_0)dx+O\left({\Delta x}^{0.5}\right)\quad\cdots(2)$$
$\Delta t\to0$のとき, 左辺は$\frac{d}{dt}E(t)$となる。右辺については, 部分積分により
    $$\int_{-\infty}^{\infty}f'(x)\mu(x,t)p(x,t|x_0,t_0)dx=\left[f(x)\mu(x,t)p(x,t|x_0,t_0)\right] _ {-\infty}^{\infty}-\int _ {-\infty}^{\infty}f(x)\frac{\partial}{\partial x}\left(\mu(x,t)p(x,t|x_0,t_0)\right)dx$$
$x\to\pm \infty$では$p(x,t|x_0,t_0)\to0$と考えられるので,  $\left[f(x)\mu(x,t)p(x,t|x_0,t_0)\right] _ {-\infty}^{\infty}=0$. よって, 
    $$=-\int _ {-\infty}^{\infty}f(x)\frac{\partial}{\partial x}\left(\mu(x,t)p(x,t|x_0,t_0)\right)dx$$
同様に,
    $$\int _ {-\infty}^{\infty}f''(x)\sigma(x,t)^2p(x,t|x_0,t_0)dx=-\int _ {-\infty}^{\infty}f'(x)\frac{\partial}{\partial x}(\sigma(x,t)^2p(x,t|x_0,t_0))dx$$
    $$=\int _ {-\infty}^{\infty}f(x)\frac{\partial^2}{\partial x^2}(\sigma(x,t)^2p(x,t|x_0,t_0))dx$$
ただし$\lim_{x\to\pm\infty}\frac{\partial}{\partial x}p(x,t|x_0,t_0)$も$0$としている。(1)式と合わせて, (2)式は
    $$\frac{d}{dt}E(x,t)=\int _ {-\infty}^{\infty}f(x)\frac{\partial}{\partial t}p(x,t|x_0,t_0)dx$$
    $$=-\int _ {-\infty}^{\infty}f(x)\frac{\partial}{\partial x}\left(\mu(x,t)p(x,t|x_0,t_0)\right)dx+\frac{1}{2}\int _ {-\infty}^{\infty}f(x)\frac{\partial^2}{\partial x^2}\left(\sigma(x,t)^2p(x,t|x_0,t_0)\right)dx$$
任意の$f(x)$についてこれが成り立つので, $f(x)$の係数を比較して
    $$\frac{\partial}{\partial t}p(x,t|x_0,t_0)=-\frac{\partial}{\partial x}\left(\mu(x,t)p(x,t|x_0,t_0)\right)+\frac{1}{2}\frac{\partial^2}{\partial x^2}\left(\sigma(x,t)^2p(x,t|x_0,t_0)\right)\quad\cdots(3)$$
両辺に$p(x_0,t_0)$をかけて$x_0$で積分すると, 
    $$\frac{\partial}{\partial t}p(x,t)=-\frac{\partial}{\partial x}\left(\mu(x,t)p(x,t)\right)+\frac{1}{2}\frac{\partial^2}{\partial x^2}(\sigma(x,t)^2p(x,t))\quad\cdots(4)$$

これがFokker-Planck方程式(またはコルモゴロフの前進方程式)である。

## コルモゴロフの後退方程式
チャップマン-コルゴモロフ方程式は以下のような形であった。
    $$p(y,s|x_0, t_0)=\int_{-\infty}^{\infty}p(y,s|x,t)p(x,t|x_0,t_0)dx$$
両辺を$t$で微分すると,
    $$0=\int_{-\infty}^{\infty}\left\lbrace \frac{\partial}{\partial t}p(y,s|x,t)p(x,t|x_0, t_0)+p(y,s|x,t)\frac{\partial}{\partial t}p(x,t|x_0,t_0)\right\rbrace dx$$
(3)式より, 
    $$=\int_{-\infty}^{\infty}\left[\frac{\partial}{\partial t}p(y,s|x,t)p(x,t|x_0, t_0)+p(y,s|x,t)\left\lbrace -\frac{\partial}{\partial x}\left(\mu(x,t)p(x,t|x_0,t_0)\right)+\frac{1}{2}\frac{\partial^2}{\partial x^2}\left(\sigma(x,t)^2p(x,t|x_0,t_0)\right)\right\rbrace \right]dx$$
    $$=\int_{-\infty}^{\infty}\frac{\partial}{\partial t}p(y,s|x,t)p(x,t|x_0, t_0)dx-\int_{-\infty}^{\infty}p(y,s|x,t)\frac{\partial}{\partial x}\left(\mu(x,t)p(x,t|x_0,t_0)\right)dx+\frac{1}{2}\int_{-\infty}^{\infty}p(y,s|x,t)\frac{\partial^2}{\partial x^2}\left(\sigma(x,t)^2p(x,t|x_0,t_0)\right)dx\quad\cdots(5)$$
部分積分により, 
    $$\int_{-\infty}^{\infty}p(y,s|x,t)\frac{\partial}{\partial x}\left(\mu(x,t)p(x,t|x_0,t_0)\right)dx=-\int_{-\infty}^{\infty}\frac{\partial}{\partial x}p(y,s|x,t)\mu(x,t)p(x,t|x_0,t_0)$$
同様に, 
    $$\int_{-\infty}^{\infty}p(y,s|x,t)\frac{\partial^2}{\partial x^2}\left(\sigma(x,t)^2p(x,t|x_0,t_0)\right)dx=-\int_{-\infty}^{\infty}\frac{\partial}{\partial x}p(y,s|x,t)\frac{\partial}{\partial x}\left(\sigma(x,t)^2p(x,t|x_0,t_0)\right)dx$$
    $$=\int_{-\infty}^{\infty}\frac{\partial^2}{\partial x^2}p(y,s|x,t)\sigma(x,t)^2p(x,t|x_0,t_0)dx$$
以上より, (5)式は,
    $$0=\int_{-\infty}^{\infty}\frac{\partial}{\partial t}p(y,s|x,t)p(x,t|x_0, t_0)dx
    +\int_{-\infty}^{\infty}\frac{\partial}{\partial x}p(y,s|x,t)\mu(x,t)p(x,t|x_0,t_0)
    +\frac{1}{2}\int_{-\infty}^{\infty}\frac{\partial^2}{\partial x^2}p(y,s|x,t)\sigma(x,t)^2p(x,t|x_0,t_0)dx$$
    $$=\int_{-\infty}^{\infty}\left\lbrace \frac{\partial}{\partial t}p(y,s|x,t)+\mu(x,t)\frac{\partial}{\partial x}p(y,s|x,t)+\frac{1}{2}\sigma(x,t)^2\frac{\partial^2}{\partial x^2}p(y,s|x,t)\right\rbrace p(x,t|x_0,t_0)dx$$
これが任意の$x_0, t_0$について成り立つので, $\{\}$内は$x_0,t_0$に依存しないことから常に$0$.よって, 
    $$\frac{\partial}{\partial t}p(y,s|x,t)=-\mu(x,t)\frac{\partial}{\partial x}p(y,s|x,t)-\frac{1}{2}\sigma(x,t)^2\frac{\partial^2}{\partial x^2}p(y,s|x,t)$$
これがコルモゴロフの後退方程式である。

## Anderson, 1982 の結果
コルモゴロフの前進/後退方程式を使って丁寧に説明されている[こちら](https://ludwigwinkler.github.io/blog/ReverseTimeAnderson/)を参考にした。  
まず以下の微分を考える。
    $$-\frac{\partial}{\partial t}p(y,s;x,t)=-\frac{\partial}{\partial t}\left[p(y,s|x,t)p(x,t)\right]$$
    $$=-\frac{\partial}{\partial t}p(y,s|x,t)p(x,t)-p(y,s|x,t)\frac{\partial}{\partial t}p(x,t)$$
コルモゴロフの前進/後退方程式を代入して, 
    $$=-\left\lbrace -\mu(x,t)\frac{\partial}{\partial x}p(y,s|x,t)-\frac{1}{2}\sigma(x,t)^2\frac{\partial^2}{\partial x^2}p(y,s|x,t)\right\rbrace p(x,t)-p(y,s|x,t)\left\lbrace -\frac{\partial}{\partial x}\left(\mu(x,t)p(x,t)\right)+\frac{1}{2}\frac{\partial^2}{\partial x^2}(\sigma(x,t)^2p(x,t))\right\rbrace \quad\cdots(6)$$
ここで, 
    $$\frac{\partial}{\partial x}p(y,s|x,t)=\frac{\partial}{\partial x}\left[\frac{p(y,s;x,t)}{p(x,t)}\right]$$
    $$=\frac{\frac{\partial}{\partial x}p(y,s;x,t)p(x,t)-p(y,s;x,t)\frac{\partial}{\partial x}p(x,t)}{p(x,t)^2}$$
    $$=\frac{\frac{\partial}{\partial x}p(y,s;x,t)}{p(x,t)}-\frac{p(y,s;x,t)\frac{\partial}{\partial x}p(x,t)}{p(x,t)^2}$$
    $$\frac{\partial}{\partial x}\left(\mu(x,t)p(x,t)\right)=\frac{\partial}{\partial x}\mu(x,t)p(x,t)+\mu(x,t)\frac{\partial}{\partial x}p(x,t)$$
これらを式(6)に代入して, 
    $$-\frac{\partial}{\partial t}p(y,s;x,t)$$
    $$=-\left[-\mu(x,t)\left\lbrace \frac{\frac{\partial}{\partial x}p(y,s;x,t)}{p(x,t)}-\frac{p(y,s;x,t)\frac{\partial}{\partial x}p(x,t)}{p(x,t)^2}\right\rbrace -\frac{1}{2}\sigma(x,t)^2\frac{\partial^2}{\partial x^2}p(y,s|x,t)\right]p(x,t)$$
    $$-p(y,s|x,t)\left[-\left\lbrace \frac{\partial}{\partial x}\mu(x,t)p(x,t)+\mu(x,t)\frac{\partial}{\partial x}p(x,t)\right\rbrace +\frac{1}{2}\frac{\partial^2}{\partial x^2}\left(\sigma(x,t)^2p(x,t)\right)\right]$$
    $$=\mu(x,t)\frac{\partial}{\partial x}p(y,s;x,t)-\cancel{\frac{\mu(x,t)p(y,s;x,t)\frac{\partial}{\partial x}p(x,t)}{p(x,t)}}+
    \frac{1}{2}\sigma(x,t)^2\frac{\partial^2}{\partial x^2}p(y,s|x,t)p(x,t)$$
    $$+p(y,s|x,t)\frac{\partial}{\partial x}\mu(x,t)p(x,t)
    +\cancel{p(y,s|x,t)\mu(x,t)\frac{\partial}{\partial x}p(x,t)}
    -\frac{1}{2}p(y,s|x,t)\frac{\partial^2}{\partial x^2}\left(\sigma(x,t)^2p(x,t)\right)\quad\cdots(7)$$
ここで, 第1項と第3項の和は, 
    $$\mu(x,t)\frac{\partial}{\partial x}p(y,s;x,t)+
    p(y,s|x,t)\frac{\partial}{\partial x}\mu(x,t)p(x,t)$$
    $$=\mu(x,t)\frac{\partial}{\partial x}p(y,s;x,t)+\frac{\partial}{\partial x}\mu(x,t)p(y,s;x,t)=\frac{\partial}{\partial x}\left(\mu(x,t)p(y,s;x,t)\right)$$

一方, 
    $$\frac{1}{2}\frac{\partial^2}{\partial x^2}\left(p(y,s;x,t)\sigma(x,t)^2\right)=\frac{1}{2}\frac{\partial^2}{\partial x^2}\left(p(y,s|x,t)p(x,t)\sigma(x,t)^2\right)$$
    $$\frac{1}{2}\frac{\partial^2}{\partial x^2}p(y,s|x,t)p(x,t)\sigma(x,t)^2
    +\frac{\partial}{\partial x}p(y,s|x,t)\frac{\partial}{\partial x}\left(p(x,t)\sigma(x,t)^2\right)
    +\frac{1}{2}p(y,s|x,t)\frac{\partial^2}{\partial x^2}\left(p(x,t)\sigma(x,t)^2\right)$$
これより第2項を消去する。 
    $$-\frac{\partial}{\partial t}p(y,s;x,t)
    =\frac{\partial}{\partial x}\left(\mu(x,t)p(y,s;x,t)\right)
    +\left\lbrace 
    \frac{1}{2}\frac{\partial^2}{\partial x^2}\left(p(y,s;x,t)\sigma(x,t)^2\right)
    -\frac{\partial}{\partial x}p(y,s|x,t)\frac{\partial}{\partial x}\left(p(x,t)\sigma(x,t)^2\right)
    -\frac{1}{2}p(y,s|x,t)\frac{\partial^2}{\partial x^2}\left(p(x,t)\sigma(x,t)^2\right)\right\rbrace $$
    $$-\frac{1}{2}p(y,s|x,t)\frac{\partial^2}{\partial x^2}\left(\sigma(x,t)^2p(x,t)\right)$$
    $$=\frac{\partial}{\partial x}\left(\mu(x,t)p(y,s;x,t)\right)
    +\frac{1}{2}\frac{\partial^2}{\partial x^2}\left(p(y,s;x,t)\sigma(x,t)^2\right)
    -\frac{\partial}{\partial x}p(y,s|x,t)\frac{\partial}{\partial x}\left(p(x,t)\sigma(x,t)^2\right)
    -p(y,s|x,t)\frac{\partial^2}{\partial x^2}\left(p(x,t)\sigma(x,t)^2\right)$$
    $$=\frac{\partial}{\partial x}\left(\mu(x,t)p(y,s;x,t)\right)
    +\frac{1}{2}\frac{\partial^2}{\partial x^2}\left(p(y,s;x,t)\sigma(x,t)^2\right)
    -\frac{\partial}{\partial x}\left(p(y,s|x,t)\frac{\partial}{\partial x}\left(p(x,t)\sigma(x,t)^2\right)\right)
    $$
    $$=-\frac{\partial}{\partial x}\left(\left(-\mu(x,t)+\frac{1}{p(x,t)}\frac{\partial}{\partial x}\left(p(x,t)\sigma(x,t)^2\right)\right)p(y,s;x,t)\right)
    +\frac{1}{2}\frac{\partial^2}{\partial x^2}\left(p(y,s;x,t)\sigma(x,t)^2\right)$$
両辺に$p(y,s)$をかけて$y$で積分すると, 
    $$-\frac{\partial}{\partial t}p(x,t)=-\frac{\partial}{\partial x}\left(\left(-\mu(x,t)+\frac{1}{p(x,t)}\frac{\partial}{\partial x}\left(p(x,t)\sigma(x,t)^2\right)\right)p(x,t)\right)
    +\frac{1}{2}\frac{\partial^2}{\partial x^2}\left(\sigma(x,t)^2p(x,t)\right)$$
これは, 左辺の符号を除いてコルモゴロフの前進方程式と同じである。つまり, これはウィーナー過程の時刻を逆向きに進む過程もまた, 以下のようなウィーナー過程に属しているといえる。 
    $$-dX=\left(-\mu(x,t)+\frac{1}{p(x,t)}\frac{\partial}{\partial x}\left(p(x,t)\sigma(x,t)^2\right)\right)dt+\sigma(x,t)dW$$
$\sigma(x,t)$が$x$によらない($=\sigma(t)$)とすると, 
    $$-dX=\left(-\mu(x,t)+\sigma(t)^2\frac{\partial}{\partial x}\log p(x,t)\right)dt+\sigma(t)dW$$
となる。