|  |
| --- |
| 统计学系列条目 |
| 統計 |
|  |
| 
理论 |
| * 允许决策规则（英语：）
* 貝氏效率（英语：）
* 
* 機率解释（英语：）
* 
* 貝氏因子（英语：）
* 
* 
* 
* 
* 
* 共轭先验
* 后验预测分布（英语：）
* 超参数（英语：）
* 超先验（英语：）
* 无差别原理（英语：）
* 最大熵原理（英语：）
* 经验貝氏方法（英语：）
* 克伦威尔法则（英语：）
* 伯恩斯坦–冯·米塞斯定理（英语：）
* 施瓦兹准则（英语：）
* 置信区间
* 最大估计
* 激进機率主义（英语：）
 |
| 
方法 |
| * 貝氏线性回归（英语：）
* 貝氏估计（英语：）
* 貝氏计算（英语：）
* 
 |
| * 機率與統計主题
 |
| * 
* 论
* 编
 |

在变分贝叶斯方法中，**证据下界**（英語：，；有时也称为**变分下界**或**负变分自由能**）是一种用于估计一些观测数据的对数似然的下限。

术语和符号
-----

设X和{\displaystyle Z}是随机变量，其联合分布为{\displaystyle p\_{\theta }}。例如，{\displaystyle p\_{\theta }(X)}是X的边缘分布，{\displaystyle p\_{\theta }(Z\mid X)}是在给定X的条件下，{\displaystyle Z}的条件分布。那么对于任何从{\displaystyle p\_{\theta }}中抽取的样本{\displaystyle x\sim p\_{\theta }}和任何分布{\displaystyle q\_{\phi }}，我们有：



ln
⁡

p

θ

(
x
)
≥

E

z
∼

q

ϕ


[

ln
⁡

p

θ

(
x
,
z
)

q

ϕ

(
z
)

]

.

{\displaystyle \ln p\_{\theta }(x)\geq \mathbb {\mathbb {E} } \_{z\sim q\_{\phi }}\left[\ln {\frac {p\_{\theta }(x,z)}{q\_{\phi }(z)}}\right].}

{\displaystyle \ln p_{\theta }(x)\geq \mathbb {\mathbb {E} } _{z\sim q_{\phi }}\left[\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z)}}\right].}

  

我们将上述不等式称为ELBO不等式。其中，左侧称为x的证据，右侧称为x的证据下界（ELBO）。

在变分贝叶斯方法的术语中，分布{\displaystyle p\_{\theta }(X)}称为证据。一些人使用"证据"一词来表示{\displaystyle \ln p\_{\theta }(X)}，而其他作者将{\displaystyle \ln p\_{\theta }(X)}称为对数证据，有些人会交替使用证据和对数证据这两个术语。

ELBO 没有普遍且固定的表示法。在本文中我们使用


L
(
ϕ
,
θ
;
x
)
:=

E

z
∼

q

ϕ

(
⋅

|

x
)

[

ln
⁡

p

θ

(
x
,
z
)

q

ϕ

(
z

|

x
)

]

.

{\displaystyle L(\phi ,\theta ;x):=\mathbb {E} \_{z\sim q\_{\phi }(\cdot |x)}\left[\ln {\frac {p\_{\theta }(x,z)}{q\_{\phi }(z|x)}}\right].}

{\displaystyle L(\phi ,\theta ;x):=\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right].}

动机
--

### 变分贝叶斯推理

假设我们有一个可观察的随机变量X，并且我们想找到其真实分布{\displaystyle p^{\*}}。这将允许我们通过抽样生成数据，并估计未来事件的概率。一般来说，精确找到{\displaystyle p^{\*}}是不可能的，因此我们不得不寻找一个近似。

也就是说，我们定义一个足够大的参数化分布族{\displaystyle \{p\_{\theta }\}\_{\theta \in \Theta }}，然后最小化某种损失函数L，{\displaystyle \min \_{\theta }L(p\_{\theta },p^{\*})}。解决这个问题的一种可能方法是考虑从{\displaystyle p\_{\theta }}到{\displaystyle p\_{\theta +\delta \theta }}的微小变化，并解决{\displaystyle L(p\_{\theta },p^{\*})-L(p\_{\theta +\delta \theta },p^{\*})=0}。这是变分法中的一个变分问题，因此被称为变分方法。

由于明确参数化的分布族并不多（所有经典的分布族，如正态分布、Gumbel分布等都太过简单，无法很好地模拟真实分布），我们考虑隐式参数化的概率分布：

* 首先，定义一个在潜在随机变量Z上的简单分布{\displaystyle p(z)}。通常情况下，正态分布或均匀分布已足够。
* 接下来，定义一个由\theta 参数化的复杂函数族{\displaystyle f\_{\theta }}（例如深度神经网络）。
* 最后，定义一种将任何{\displaystyle f\_{\theta }(z)}转换为可观测随机变量X的简单分布的方法。例如，让{\displaystyle f\_{\theta }(z)=(f\_{1}(z),f\_{2}(z))}具有两个输出，那么我们可以将相应的分布定义为在X上的正态分布{\displaystyle {\mathcal {N}}(f\_{1}(z),e^{f\_{2}(z)})}。

这定义了一个关于{\displaystyle (X,Z)}的联合分布族{\displaystyle p\_{\theta }}。从{\displaystyle p\_{\theta }}中抽取样本{\displaystyle (x,z)\sim p\_{\theta }}变得非常容易：只需从p中抽样{\displaystyle z\sim p}，然后计算{\displaystyle f\_{\theta }(z)}，最后使用{\displaystyle f\_{\theta }(z)}来抽样{\displaystyle x\sim p\_{\theta }(\cdot |z)}。

  

换句话说，我们拥有了一个可观测量和潜在随机变量的生成模型。

现在，我们认为一个分布{\displaystyle p\_{\theta }}是好的，如果它是{\displaystyle p^{\*}}的一个接近近似：



p

θ

(
X
)
≈

p

∗

(
X
)

{\displaystyle p\_{\theta }(X)\approx p^{\*}(X)}

{\displaystyle p_{\theta }(X)\approx p^{*}(X)}由于右侧的分布仅涉及到X，因此左侧的分布必须消除潜在变量Z的影响，即要对Z进行边缘化。

一般情况下，我们无法积分{\displaystyle p\_{\theta }(x)=\int p\_{\theta }(x|z)p(z)dz}，这迫使我们寻找另一个近似。

由于{\displaystyle p\_{\theta }(x)={\frac {p\_{\theta }(x|z)p(z)}{p\_{\theta }(z|x)}}}，因此我们只需要找到一个{\displaystyle p\_{\theta }(z|x)}的好的近似即可。因此，我们定义另一个分布族{\displaystyle q\_{\phi }(z|x)}来近似{\displaystyle p\_{\theta }(z|x)}，这是一个针对潜在变量的判别模型。

下表概述了所有情况:

| X：观测量 | {\displaystyle X,Z} | Z：潜变量 |
| --- | --- | --- |
| {\displaystyle p^{\*}(x)\approx p\_{\theta }(x)\approx {\frac {p\_{\theta }(x|z)p(z)}{q\_{\phi }(z|x)}}}可近似的 |  | {\displaystyle p(z)}，简单 |
|  | {\displaystyle p\_{\theta }(x|z)p(z)}，简单 |  |
| {\displaystyle p\_{\theta }(z|x)\approx q\_{\phi }(z|x)}可近似的 |  | {\displaystyle p\_{\theta }(x|z)}，简单 |

用贝叶斯的方式来说，X是观测到的证据，Z是潜在/未观测到的随机变量。分布p在Z上是Z的先验分布，{\displaystyle p\_{\theta }(x|z)}是似然函数，而{\displaystyle p\_{\theta }(z|x)}是Z的后验分布。

  

给定一个观测值x，我们可以通过计算{\displaystyle p\_{\theta }(z|x)}来推断出可能导致x出现的z。通常的贝叶斯方法是估计积分：


p

θ

(
x
)
=
∫

p

θ

(
x

|

z
)
p
(
z
)
d
z

{\displaystyle p\_{\theta }(x)=\int p\_{\theta }(x|z)p(z)dz}

{\displaystyle p_{\theta }(x)=\int p_{\theta }(x|z)p(z)dz}
然后通过贝叶斯定理计算：


p

θ

(
z

|

x
)
=

p

θ

(
x

|

z
)
p
(
z
)

p

θ

(
x
)


{\displaystyle p\_{\theta }(z|x)={\frac {p\_{\theta }(x|z)p(z)}{p\_{\theta }(x)}}}

{\displaystyle p_{\theta }(z|x)={\frac {p_{\theta }(x|z)p(z)}{p_{\theta }(x)}}}
这通常是非常耗时的，但如果我们可以找到一个在大多数{\displaystyle x,z}下的好近似{\displaystyle q\_{\phi }(z|x)\approx p\_{\theta }(z|x)}，那么我们就可以快速地从x推断出z。因此，寻找一个好的{\displaystyle q\_{\phi }}也称为**摊销推断**。

综上所述，我们找到了一个**变分贝叶斯推断**问题。

### 推导ELBO

变分推断中的一个基本结果是，最小化Kullback–Leibler 散度（KL散度）等价于最大化对数似然：


E

x
∼

p

∗

(
x
)

[
ln
⁡

p

θ

(
x
)
]
=
−
H
(

p

∗

)
−

D

K
L

(

p

∗

(
x
)
‖

p

θ

(
x
)
)

{\displaystyle \mathbb {E} \_{x\sim p^{\*}(x)}[\ln p\_{\theta }(x)]=-H(p^{\*})-D\_{\mathit {KL}}(p^{\*}(x)\|p\_{\theta }(x))}

{\displaystyle \mathbb {E} _{x\sim p^{*}(x)}[\ln p_{\theta }(x)]=-H(p^{*})-D_{\mathit {KL}}(p^{*}(x)\|p_{\theta }(x))}其中{\displaystyle H(p^{\*})=-\mathbb {\mathbb {E} } \_{x\sim p^{\*}}[\ln p^{\*}(x)]}是真实分布的熵。因此，如果我们可以最大化{\displaystyle \mathbb {E} \_{x\sim p^{\*}(x)}[\ln p\_{\theta }(x)]}

我们就可以最小化{\displaystyle D\_{\mathit {KL}}(p^{\*}(x)\|p\_{\theta }(x))}

因此找到一个准确的近似{\displaystyle p\_{\theta }\approx p^{\*}}。要最大化{\displaystyle \mathbb {E} \_{x\sim p^{\*}(x)}[\ln p\_{\theta }(x)]}我们只需从真实分布中抽取许多样本{\displaystyle x\_{i}\sim p^{\*}(x)}，然后使用：


N

max

θ

E

x
∼

p

∗

(
x
)

[
ln
⁡

p

θ

(
x
)
]
≈

max

θ

∑

i

ln
⁡

p

θ

(

x

i

)

{\displaystyle N\max \_{\theta }\mathbb {E} \_{x\sim p^{\*}(x)}[\ln p\_{\theta }(x)]\approx \max \_{\theta }\sum \_{i}\ln p\_{\theta }(x\_{i})}

{\displaystyle N\max _{\theta }\mathbb {E} _{x\sim p^{*}(x)}[\ln p_{\theta }(x)]\approx \max _{\theta }\sum _{i}\ln p_{\theta }(x_{i})}为了最大化{\displaystyle \sum \_{i}\ln p\_{\theta }(x\_{i})}，必须要找到{\displaystyle \ln p\_{\theta }(x\_{i})}：


ln
⁡

p

θ

(
x
)
=
ln
⁡
∫

p

θ

(
x

|

z
)
p
(
z
)
d
z

{\displaystyle \ln p\_{\theta }(x)=\ln \int p\_{\theta }(x|z)p(z)dz}

{\displaystyle \ln p_{\theta }(x)=\ln \int p_{\theta }(x|z)p(z)dz}这通常没有解析解，必须进行估计。估计积分的常用方法是使用重要性采样进行蒙特卡洛积分：


∫

p

θ

(
x

|

z
)
p
(
z
)
d
z
=

E

z
∼

q

ϕ

(
⋅

|

x
)

[

p

θ

(
x
,
z
)

q

ϕ

(
z

|

x
)

]

{\displaystyle \int p\_{\theta }(x|z)p(z)dz=\mathbb {E} \_{z\sim q\_{\phi }(\cdot |x)}\left[{\frac {p\_{\theta }(x,z)}{q\_{\phi }(z|x)}}\right]}

{\displaystyle \int p_{\theta }(x|z)p(z)dz=\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[{\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]}其中，{\displaystyle q\_{\phi }(z|x)}是我们用于进行蒙特卡罗积分的在z上的抽样分布。因此，我们可以看到，如果我们抽样{\displaystyle z\sim q\_{\phi }(\cdot |x)}，那么{\displaystyle {\frac {p\_{\theta }(x,z)}{q\_{\phi }(z|x)}}}是{\displaystyle p\_{\theta }(x)}的一个无偏估计量。不幸的是，这并不能给我们一个对{\displaystyle \ln p\_{\theta }(x)}的无偏估计量，因为\ln 是非线性的。事实上，由于琴生（Jensen）不等式，我们有：


ln
⁡

p

θ

(
x
)
=
ln
⁡

E

z
∼

q

ϕ

(
⋅

|

x
)

[

p

θ

(
x
,
z
)

q

ϕ

(
z

|

x
)

]

≥

E

z
∼

q

ϕ

(
⋅

|

x
)

[

ln
⁡

p

θ

(
x
,
z
)

q

ϕ

(
z

|

x
)

]

{\displaystyle \ln p\_{\theta }(x)=\ln \mathbb {E} \_{z\sim q\_{\phi }(\cdot |x)}\left[{\frac {p\_{\theta }(x,z)}{q\_{\phi }(z|x)}}\right]\geq \mathbb {E} \_{z\sim q\_{\phi }(\cdot |x)}\left[\ln {\frac {p\_{\theta }(x,z)}{q\_{\phi }(z|x)}}\right]}

{\displaystyle \ln p_{\theta }(x)=\ln \mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[{\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]\geq \mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]}事实上，所有明显的{\displaystyle \ln p\_{\theta }(x)}的估计量都是向下偏的，因为无论我们取多少个{\displaystyle z\_{i}\sim q\_{\phi }(\cdot |x)}的样本，我们都可以由琴生不等式得到：


E

z

i

∼

q

ϕ

(
⋅

|

x
)

[

ln
⁡

(

1
N

∑

i



p

θ

(
x
,

z

i

)

q

ϕ

(

z

i

|

x
)

)

]

≤
ln
⁡

E

z

i

∼

q

ϕ

(
⋅

|

x
)

[

1
N

∑

i



p

θ

(
x
,

z

i

)

q

ϕ

(

z

i

|

x
)

]

=
ln
⁡

p

θ

(
x
)

{\displaystyle \mathbb {E} \_{z\_{i}\sim q\_{\phi }(\cdot |x)}\left[\ln \left({\frac {1}{N}}\sum \_{i}{\frac {p\_{\theta }(x,z\_{i})}{q\_{\phi }(z\_{i}|x)}}\right)\right]\leq \ln \mathbb {E} \_{z\_{i}\sim q\_{\phi }(\cdot |x)}\left[{\frac {1}{N}}\sum \_{i}{\frac {p\_{\theta }(x,z\_{i})}{q\_{\phi }(z\_{i}|x)}}\right]=\ln p\_{\theta }(x)}

{\displaystyle \mathbb {E} _{z_{i}\sim q_{\phi }(\cdot |x)}\left[\ln \left({\frac {1}{N}}\sum _{i}{\frac {p_{\theta }(x,z_{i})}{q_{\phi }(z_{i}|x)}}\right)\right]\leq \ln \mathbb {E} _{z_{i}\sim q_{\phi }(\cdot |x)}\left[{\frac {1}{N}}\sum _{i}{\frac {p_{\theta }(x,z_{i})}{q_{\phi }(z_{i}|x)}}\right]=\ln p_{\theta }(x)}减去右边，我们可以看出问题归结为零的有偏估计问题：


E

z

i

∼

q

ϕ

(
⋅

|

x
)

[

ln
⁡

(

1
N

∑

i



p

θ

(

z

i

|

x
)

q

ϕ

(

z

i

|

x
)

)

]

≤
0

{\displaystyle \mathbb {E} \_{z\_{i}\sim q\_{\phi }(\cdot |x)}\left[\ln \left({\frac {1}{N}}\sum \_{i}{\frac {p\_{\theta }(z\_{i}|x)}{q\_{\phi }(z\_{i}|x)}}\right)\right]\leq 0}

{\displaystyle \mathbb {E} _{z_{i}\sim q_{\phi }(\cdot |x)}\left[\ln \left({\frac {1}{N}}\sum _{i}{\frac {p_{\theta }(z_{i}|x)}{q_{\phi }(z_{i}|x)}}\right)\right]\leq 0}通过delta 方法，我们有


E

z

i

∼

q

ϕ

(
⋅

|

x
)

[

ln
⁡

(

1
N

∑

i



p

θ

(

z

i

|

x
)

q

ϕ

(

z

i

|

x
)

)

]

≈
−

1

2
N


V

z
∼

q

ϕ

(
⋅

|

x
)

[

p

θ

(
z

|

x
)

q

ϕ

(
z

|

x
)

]

=
O
(

N

−
1

)

{\displaystyle \mathbb {E} \_{z\_{i}\sim q\_{\phi }(\cdot |x)}\left[\ln \left({\frac {1}{N}}\sum \_{i}{\frac {p\_{\theta }(z\_{i}|x)}{q\_{\phi }(z\_{i}|x)}}\right)\right]\approx -{\frac {1}{2N}}\mathbb {V} \_{z\sim q\_{\phi }(\cdot |x)}\left[{\frac {p\_{\theta }(z|x)}{q\_{\phi }(z|x)}}\right]=O(N^{-1})}

{\displaystyle \mathbb {E} _{z_{i}\sim q_{\phi }(\cdot |x)}\left[\ln \left({\frac {1}{N}}\sum _{i}{\frac {p_{\theta }(z_{i}|x)}{q_{\phi }(z_{i}|x)}}\right)\right]\approx -{\frac {1}{2N}}\mathbb {V} _{z\sim q_{\phi }(\cdot |x)}\left[{\frac {p_{\theta }(z|x)}{q_{\phi }(z|x)}}\right]=O(N^{-1})}如果我们继续推导，我们将得到加权自编码器。但是让我们先回到最简单的情况，即N=1:


ln
⁡

p

θ

(
x
)
=
ln
⁡

E

z
∼

q

ϕ

(
⋅

|

x
)

[

p

θ

(
x
,
z
)

q

ϕ

(
z

|

x
)

]

≥

E

z
∼

q

ϕ

(
⋅

|

x
)

[

ln
⁡

p

θ

(
x
,
z
)

q

ϕ

(
z

|

x
)

]

{\displaystyle \ln p\_{\theta }(x)=\ln \mathbb {E} \_{z\sim q\_{\phi }(\cdot |x)}\left[{\frac {p\_{\theta }(x,z)}{q\_{\phi }(z|x)}}\right]\geq \mathbb {E} \_{z\sim q\_{\phi }(\cdot |x)}\left[\ln {\frac {p\_{\theta }(x,z)}{q\_{\phi }(z|x)}}\right]}

{\displaystyle \ln p_{\theta }(x)=\ln \mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[{\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]\geq \mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]}不等式的紧度有一个解析解：


ln
⁡

p

θ

(
x
)
−

E

z
∼

q

ϕ

(
⋅

|

x
)

[

ln
⁡

p

θ

(
x
,
z
)

q

ϕ

(
z

|

x
)

]

=

D

K
L

(

q

ϕ

(
⋅

|

x
)
‖

p

θ

(
⋅

|

x
)
)
≥
0

{\displaystyle \ln p\_{\theta }(x)-\mathbb {E} \_{z\sim q\_{\phi }(\cdot |x)}\left[\ln {\frac {p\_{\theta }(x,z)}{q\_{\phi }(z|x)}}\right]=D\_{\mathit {KL}}(q\_{\phi }(\cdot |x)\|p\_{\theta }(\cdot |x))\geq 0}

{\displaystyle \ln p_{\theta }(x)-\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]=D_{\mathit {KL}}(q_{\phi }(\cdot |x)\|p_{\theta }(\cdot |x))\geq 0}这样我们就得到了ELBO函数：


L
(
ϕ
,
θ
;
x
)
:=
ln
⁡

p

θ

(
x
)
−

D

K
L

(

q

ϕ

(
⋅

|

x
)
‖

p

θ

(
⋅

|

x
)
)

{\displaystyle L(\phi ,\theta ;x):=\ln p\_{\theta }(x)-D\_{\mathit {KL}}(q\_{\phi }(\cdot |x)\|p\_{\theta }(\cdot |x))}

{\displaystyle L(\phi ,\theta ;x):=\ln p_{\theta }(x)-D_{\mathit {KL}}(q_{\phi }(\cdot |x)\|p_{\theta }(\cdot |x))}
### 最大化 ELBO

对于固定的x，优化{\displaystyle \max \_{\theta ,\phi }L(\phi ,\theta ;x)}的同时试图最大化{\displaystyle \ln p\_{\theta }(x)}和最小化{\displaystyle D\_{\mathit {KL}}(q\_{\phi }(\cdot |x)\|p\_{\theta }(\cdot |x))}。如果{\displaystyle p\_{\theta }}和{\displaystyle q\_{\phi }}的参数化足够灵活，我们会得到一些 {\displaystyle {\hat {\phi }},{\hat {\theta }}}，使得我们同时得到了以下近似：


ln
⁡

p

θ
^

(
x
)
≈

max

θ

ln
⁡

p

θ

(
x
)
;

q

ϕ
^

(
⋅

|

x
)
≈

p

θ
^

(
⋅

|

x
)

{\displaystyle \ln p\_{\hat {\theta }}(x)\approx \max \_{\theta }\ln p\_{\theta }(x);\quad q\_{\hat {\phi }}(\cdot |x)\approx p\_{\hat {\theta }}(\cdot |x)}

{\displaystyle \ln p_{\hat {\theta }}(x)\approx \max _{\theta }\ln p_{\theta }(x);\quad q_{\hat {\phi }}(\cdot |x)\approx p_{\hat {\theta }}(\cdot |x)}由于


E

x
∼

p

∗

(
x
)

[
ln
⁡

p

θ

(
x
)
]
=
−
H
(

p

∗

)
−

D

K
L

(

p

∗

(
x
)
‖

p

θ

(
x
)
)

{\displaystyle \mathbb {E} \_{x\sim p^{\*}(x)}[\ln p\_{\theta }(x)]=-H(p^{\*})-D\_{\mathit {KL}}(p^{\*}(x)\|p\_{\theta }(x))}

{\displaystyle \mathbb {E} _{x\sim p^{*}(x)}[\ln p_{\theta }(x)]=-H(p^{*})-D_{\mathit {KL}}(p^{*}(x)\|p_{\theta }(x))}我们有


ln
⁡

p

θ
^

(
x
)
≈

max

θ

−
H
(

p

∗

)
−

D

K
L

(

p

∗

(
x
)
‖

p

θ

(
x
)
)

{\displaystyle \ln p\_{\hat {\theta }}(x)\approx \max \_{\theta }-H(p^{\*})-D\_{\mathit {KL}}(p^{\*}(x)\|p\_{\theta }(x))}

{\displaystyle \ln p_{\hat {\theta }}(x)\approx \max _{\theta }-H(p^{*})-D_{\mathit {KL}}(p^{*}(x)\|p_{\theta }(x))}所以



θ
^

≈
arg
⁡
min

D

K
L

(

p

∗

(
x
)
‖

p

θ

(
x
)
)

{\displaystyle {\hat {\theta }}\approx \arg \min D\_{\mathit {KL}}(p^{\*}(x)\|p\_{\theta }(x))}

{\displaystyle {\hat {\theta }}\approx \arg \min D_{\mathit {KL}}(p^{*}(x)\|p_{\theta }(x))}也就是说： 最大化ELBO将同时使我们得到一个准确的生成模型{\displaystyle p\_{\hat {\theta }}\approx p^{\*}}和一个准确的判别模型 {\displaystyle q\_{\hat {\phi }}(\cdot |x)\approx p\_{\hat {\theta }}(\cdot |x)}。

主要形式
----

ELBO具有许多可能的表达式，每个表达式都有不同的强调。


E

z
∼

q

ϕ

(
⋅

|

x
)

[

ln
⁡

p

θ

(
x
,
z
)

q

ϕ

(
z

|

x
)

]

=
∫

q

ϕ

(
z

|

x
)
ln
⁡

p

θ

(
x
,
z
)

q

ϕ

(
z

|

x
)

d
z

{\displaystyle \mathbb {E} \_{z\sim q\_{\phi }(\cdot |x)}\left[\ln {\frac {p\_{\theta }(x,z)}{q\_{\phi }(z|x)}}\right]=\int q\_{\phi }(z|x)\ln {\frac {p\_{\theta }(x,z)}{q\_{\phi }(z|x)}}dz}

{\displaystyle \mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]=\int q_{\phi }(z|x)\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}dz}这个形式表明，如果我们抽样{\displaystyle z\sim q\_{\phi }(\cdot |x)} ， 则{\displaystyle \ln {\frac {p\_{\theta }(x,z)}{q\_{\phi }(z|x)}}}是 ELBO 的无偏估计量。


ln
⁡

p

θ

(
x
)
−

D

K
L

(

q

ϕ

(
⋅

|

x
)

‖

p

θ

(
⋅

|

x
)
)

{\displaystyle \ln p\_{\theta }(x)-D\_{\mathit {KL}}(q\_{\phi }(\cdot |x)\;\|\;p\_{\theta }(\cdot |x))}

{\displaystyle \ln p_{\theta }(x)-D_{\mathit {KL}}(q_{\phi }(\cdot |x)\;\|\;p_{\theta }(\cdot |x))}这种形式显示 ELBO 是证据{\displaystyle \ln p\_{\theta }(x)}的下界 ，并且关于\phi 最大化 ELBO 等价于最小化从{\displaystyle p\_{\theta }(\cdot |x)}到{\displaystyle q\_{\phi }(\cdot |x)} KL 散度 .


E

z
∼

q

ϕ

(
⋅

|

x
)

[
ln
⁡

p

θ

(
x

|

z
)
]
−

D

K
L

(

q

ϕ

(
⋅

|

x
)

‖

p
)

{\displaystyle \mathbb {E} \_{z\sim q\_{\phi }(\cdot |x)}[\ln p\_{\theta }(x|z)]-D\_{\mathit {KL}}(q\_{\phi }(\cdot |x)\;\|\;p)}

{\displaystyle \mathbb {E} _{z\sim q_{\phi }(\cdot |x)}[\ln p_{\theta }(x|z)]-D_{\mathit {KL}}(q_{\phi }(\cdot |x)\;\|\;p)}这种形式显示，最大化ELBO同时试图将{\displaystyle q\_{\phi }(\cdot |x)}保持接近p，并将{\displaystyle q\_{\phi }(\cdot |x)}集中在最大化{\displaystyle \ln p\_{\theta }(x|z)}的那些z上。也就是说，近似后验{\displaystyle q\_{\phi }(\cdot |x)}在保持先验p的同时，朝着最大似然{\displaystyle \arg \max \_{z}\ln p\_{\theta }(x|z)}移动。


H
(

q

ϕ

(
⋅

|

x
)
)
+

E

z
∼
q
(
⋅

|

x
)

[
ln
⁡

p

θ

(
z

|

x
)
]
+
ln
⁡

p

θ

(
x
)

{\displaystyle H(q\_{\phi }(\cdot |x))+\mathbb {E} \_{z\sim q(\cdot |x)}[\ln p\_{\theta }(z|x)]+\ln p\_{\theta }(x)}

{\displaystyle H(q_{\phi }(\cdot |x))+\mathbb {E} _{z\sim q(\cdot |x)}[\ln p_{\theta }(z|x)]+\ln p_{\theta }(x)}这个形式显示，最大化ELBO同时试图保持{\displaystyle q\_{\phi }(\cdot |x)}的熵高，并将{\displaystyle q\_{\phi }(\cdot |x)}集中于最大化{\displaystyle \ln p\_{\theta }(z|x)}的那些z 。也就是说，近似后验{\displaystyle q\_{\phi }(\cdot |x)}在均匀分布和向最大后验{\displaystyle \arg \max \_{z}\ln p\_{\theta }(z|x)}之间保持平衡。

### 数据处理不等式

假设我们从{\displaystyle p^{\*}}中取N个独立样本，并将它们收集在数据集{\displaystyle D=\{x\_{1},...x\_{N}\}}中，则我们具有经验分布{\displaystyle q\_{D}(x)={\frac {1}{N}}\sum \_{i}\delta \_{x\_{i}}}。其中\delta 表示冲激函数（Dirac函数）。

从{\displaystyle p\_{\theta }(x)}拟合{\displaystyle q\_{D}(x)}通常可以通过最大化对数似然{\displaystyle \ln p\_{\theta }(D)}来完成：



D

K
L

(

q

D

(
x
)
‖

p

θ

(
x
)
)
=
−

1
N

∑

i

ln
⁡

p

θ

(

x

i

)
−
H
(

q

D

)
=
−

1
N

ln
⁡

p

θ

(
D
)
+
H
(

q

D

)

{\displaystyle D\_{\mathit {KL}}(q\_{D}(x)\|p\_{\theta }(x))=-{\frac {1}{N}}\sum \_{i}\ln p\_{\theta }(x\_{i})-H(q\_{D})=-{\frac {1}{N}}\ln p\_{\theta }(D)+H(q\_{D})}

{\displaystyle D_{\mathit {KL}}(q_{D}(x)\|p_{\theta }(x))=-{\frac {1}{N}}\sum _{i}\ln p_{\theta }(x_{i})-H(q_{D})=-{\frac {1}{N}}\ln p_{\theta }(D)+H(q_{D})}现在，根据 ELBO 不等式，我们可以约束{\displaystyle \ln p\_{\theta }(D)} ， 因此



D

K
L

(

q

D

(
x
)
‖

p

θ

(
x
)
)
≤
−

1
N

L
(
ϕ
,
θ
;
D
)
−
H
(

q

D

)

{\displaystyle D\_{\mathit {KL}}(q\_{D}(x)\|p\_{\theta }(x))\leq -{\frac {1}{N}}L(\phi ,\theta ;D)-H(q\_{D})}

{\displaystyle D_{\mathit {KL}}(q_{D}(x)\|p_{\theta }(x))\leq -{\frac {1}{N}}L(\phi ,\theta ;D)-H(q_{D})}右侧简化为 KL 散度，因此我们得到：



D

K
L

(

q

D

(
x
)
‖

p

θ

(
x
)
)
≤
−

1
N

∑

i

L
(
ϕ
,
θ
;

x

i

)
−
H
(

q

D

)
=

D

K
L

(

q

D
,
ϕ

(
x
,
z
)
;

p

θ

(
x
,
z
)
)

{\displaystyle D\_{\mathit {KL}}(q\_{D}(x)\|p\_{\theta }(x))\leq -{\frac {1}{N}}\sum \_{i}L(\phi ,\theta ;x\_{i})-H(q\_{D})=D\_{\mathit {KL}}(q\_{D,\phi }(x,z);p\_{\theta }(x,z))}

{\displaystyle D_{\mathit {KL}}(q_{D}(x)\|p_{\theta }(x))\leq -{\frac {1}{N}}\sum _{i}L(\phi ,\theta ;x_{i})-H(q_{D})=D_{\mathit {KL}}(q_{D,\phi }(x,z);p_{\theta }(x,z))}这个结果可以解释为数据处理不等式的一个特例。

在这个解释下，最大化{\displaystyle L(\phi ,\theta ;D)=\sum \_{i}L(\phi ,\theta ;x\_{i})}等价于最小化{\displaystyle D\_{\mathit {KL}}(q\_{D,\phi }(x,z);p\_{\theta }(x,z))}，其中上式是真实的需要估计的量{\displaystyle D\_{\mathit {KL}}(q\_{D}(x);p\_{\theta }(x))}的上界，通过数据处理不等式获得。也就是说，我们通过将潜在空间与观测空间连接起来，为了更高效地最小化KL散度而付出了较弱的不等式代价。