证据下界

在变分贝叶斯方法中，证据下界（英語：evidence lower bound，ELBO；有时也称为变分下界或负变分自由能）是一种用于估计一些观测数据的对数似然的下限。 设 X {\displaystyle X} 和 Z {\displaystyle Z} 是随机变量，其联合分布为 p θ {\displaystyle p_{\theta }} 。例如， p θ ( X ) {\displaystyle p_{\theta }(X)} 是 X {\displaystyle X} 的边缘分布， p θ ( Z ∣ X ) {\displaystyle p_{\theta }(Z\mid X)} 是在给定 X {\displaystyle X} 的条件下， Z {\displaystyle Z} 的条件分布。那么对于任何从 p θ {\displaystyle p_{\theta }} 中抽取的样本 x ∼ p θ {\displaystyle x\sim p_{\theta }} 和任何分布 q ϕ {\displaystyle q_{\phi }} ，我们有： ln ⁡ p θ ( x ) ≥ E z ∼ q ϕ [ ln ⁡ p θ ( x , z ) q ϕ ( z ) ] . {\displaystyle \ln p_{\theta }(x)\geq \mathbb {\mathbb {E} } _{z\sim q_{\phi }}\left[\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z)}}\right].} 我们将上述不等式称为ELBO不等式。其中，左侧称为 x {\displaystyle x} 的证据，右侧称为 x {\displaystyle x} 的证据下界（ELBO）。 在变分贝叶斯方法的术语中，分布 p θ ( X ) {\displaystyle p_{\theta }(X)} 称为证据。一些人使用“证据”一词来表示 ln ⁡ p θ ( X ) {\displaystyle \ln p_{\theta }(X)} ，而其他作者将 ln ⁡ p θ ( X ) {\displaystyle \ln p_{\theta }(X)} 称为对数证据，有些人会交替使用证据和对数证据这两个术语。 ELBO 没有普遍且固定的表示法。在本文中我们使用 L ( ϕ , θ ; x ) := E z ∼ q ϕ ( ⋅ | x ) [ ln ⁡ p θ ( x , z ) q ϕ ( z | x ) ] . {\displaystyle L(\phi ,\theta ;x):=\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right].} 假设我们有一个可观察的随机变量 X {\displaystyle X} ，并且我们想找到其真实分布 p ∗ {\displaystyle p^{*}} 。这将允许我们通过抽样生成数据，并估计未来事件的概率。一般来说，精确找到 p ∗ {\displaystyle p^{*}} 是不可能的，因此我们不得不寻找一个近似。 也就是说，我们定义一个足够大的参数化分布族 { p θ } θ ∈ Θ {\displaystyle \{p_{\theta }\}_{\theta \in \Theta }} ，然后最小化某种损失函数 L {\displaystyle L} ， min θ L ( p θ , p ∗ ) {\displaystyle \min _{\theta }L(p_{\theta },p^{*})} 。解决这个问题的一种可能方法是考虑从 p θ {\displaystyle p_{\theta }} 到 p θ + δ θ {\displaystyle p_{\theta +\delta \theta }} 的微小变化，并解决 L ( p θ , p ∗ ) − L ( p θ + δ θ , p ∗ ) = 0 {\displaystyle L(p_{\theta },p^{*})-L(p_{\theta +\delta \theta },p^{*})=0} 。这是变分法中的一个变分问题，因此被称为变分方法。 由于明确参数化的分布族并不多（所有经典的分布族，如正态分布、Gumbel分布等都太过简单，无法很好地模拟真实分布），我们考虑隐式参数化的概率分布： 首先，定义一个在潜在随机变量 Z {\displaystyle Z} 上的简单分布 p ( z ) {\displaystyle p(z)} 。通常情况下，正态分布或均匀分布已足够。 接下来，定义一个由 θ {\displaystyle \theta } 参数化的复杂函数族 f θ {\displaystyle f_{\theta }} （例如深度神经网络）。 最后，定义一种将任何 f θ ( z ) {\displaystyle f_{\theta }(z)} 转换为可观测随机变量 X {\displaystyle X} 的简单分布的方法。例如，让 f θ ( z ) = ( f 1 ( z ) , f 2 ( z ) ) {\displaystyle f_{\theta }(z)=(f_{1}(z),f_{2}(z))} 具有两个输出，那么我们可以将相应的分布定义为在 X {\displaystyle X} 上的正态分布 N ( f 1 ( z ) , e f 2 ( z ) ) {\displaystyle {\mathcal {N}}(f_{1}(z),e^{f_{2}(z)})} 。 这定义了一个关于 ( X , Z ) {\displaystyle (X,Z)} 的联合分布族 p θ {\displaystyle p_{\theta }} 。从 p θ {\displaystyle p_{\theta }} 中抽取样本 ( x , z ) ∼ p θ {\displaystyle (x,z)\sim p_{\theta }} 变得非常容易：只需从 p {\displaystyle p} 中抽样 z ∼ p {\displaystyle z\sim p} ，然后计算 f θ ( z ) {\displaystyle f_{\theta }(z)} ，最后使用 f θ ( z ) {\displaystyle f_{\theta }(z)} 来抽样 x ∼ p θ ( ⋅ | z ) {\displaystyle x\sim p_{\theta }(\cdot |z)} 。 换句话说，我们拥有了一个可观测量和潜在随机变量的生成模型。 现在，我们认为一个分布 p θ {\displaystyle p_{\theta }} 是好的，如果它是 p ∗ {\displaystyle p^{*}} 的一个接近近似： p θ ( X ) ≈ p ∗ ( X ) {\displaystyle p_{\theta }(X)\approx p^{*}(X)} 由于右侧的分布仅涉及到 X {\displaystyle X} ，因此左侧的分布必须消除潜在变量 Z {\displaystyle Z} 的影响，即要对 Z {\displaystyle Z} 进行边缘化。 一般情况下，我们无法积分 p θ ( x ) = ∫ p θ ( x | z ) p ( z ) d z {\displaystyle p_{\theta }(x)=\int p_{\theta }(x|z)p(z)dz} ，这迫使我们寻找另一个近似。 由于 p θ ( x ) = p θ ( x | z ) p ( z ) p θ ( z | x ) {\displaystyle p_{\theta }(x)={\frac {p_{\theta }(x|z)p(z)}{p_{\theta }(z|x)}}} ，因此我们只需要找到一个 p θ ( z | x ) {\displaystyle p_{\theta }(z|x)} 的好的近似即可。因此，我们定义另一个分布族 q ϕ ( z | x ) {\displaystyle q_{\phi }(z|x)} 来近似 p θ ( z | x ) {\displaystyle p_{\theta }(z|x)} ，这是一个针对潜在变量的判别模型。 下表概述了所有情况: 用贝叶斯的方式来说， X {\displaystyle X} 是观测到的证据， Z {\displaystyle Z} 是潜在/未观测到的随机变量。分布 p {\displaystyle p} 在 Z {\displaystyle Z} 上是 Z {\displaystyle Z} 的先验分布， p θ ( x | z ) {\displaystyle p_{\theta }(x|z)} 是似然函数，而 p θ ( z | x ) {\displaystyle p_{\theta }(z|x)} 是 Z {\displaystyle Z} 的后验分布。 给定一个观测值 x {\displaystyle x} ，我们可以通过计算 p θ ( z | x ) {\displaystyle p_{\theta }(z|x)} 来推断出可能导致 x {\displaystyle x} 出现的 z {\displaystyle z} 。通常的贝叶斯方法是估计积分： p θ ( x ) = ∫ p θ ( x | z ) p ( z ) d z {\displaystyle p_{\theta }(x)=\int p_{\theta }(x|z)p(z)dz} 然后通过贝叶斯定理计算： p θ ( z | x ) = p θ ( x | z ) p ( z ) p θ ( x ) {\displaystyle p_{\theta }(z|x)={\frac {p_{\theta }(x|z)p(z)}{p_{\theta }(x)}}} 这通常是非常耗时的，但如果我们可以找到一个在大多数 x , z {\displaystyle x,z} 下的好近似 q ϕ ( z | x ) ≈ p θ ( z | x ) {\displaystyle q_{\phi }(z|x)\approx p_{\theta }(z|x)} ，那么我们就可以快速地从 x {\displaystyle x} 推断出 z {\displaystyle z} 。因此，寻找一个好的 q ϕ {\displaystyle q_{\phi }} 也称为摊销推断。 综上所述，我们找到了一个变分贝叶斯推断问题。 变分推断中的一个基本结果是，最小化Kullback–Leibler 散度（KL散度）等价于最大化对数似然： E x ∼ p ∗ ( x ) [ ln ⁡ p θ ( x ) ] = − H ( p ∗ ) − D K L ( p ∗ ( x ) ‖ p θ ( x ) ) {\displaystyle \mathbb {E} _{x\sim p^{*}(x)}[\ln p_{\theta }(x)]=-H(p^{*})-D_{\mathit {KL}}(p^{*}(x)\|p_{\theta }(x))} 其中 H ( p ∗ ) = − E x ∼ p ∗ [ ln ⁡ p ∗ ( x ) ] {\displaystyle H(p^{*})=-\mathbb {\mathbb {E} } _{x\sim p^{*}}[\ln p^{*}(x)]} 是真实分布的熵。因此，如果我们可以最大化 E x ∼ p ∗ ( x ) [ ln ⁡ p θ ( x ) ] {\displaystyle \mathbb {E} _{x\sim p^{*}(x)}[\ln p_{\theta }(x)]} 我们就可以最小化 D K L ( p ∗ ( x ) ‖ p θ ( x ) ) {\displaystyle D_{\mathit {KL}}(p^{*}(x)\|p_{\theta }(x))} 因此找到一个准确的近似 p θ ≈ p ∗ {\displaystyle p_{\theta }\approx p^{*}} 。要最大化 E x ∼ p ∗ ( x ) [ ln ⁡ p θ ( x ) ] {\displaystyle \mathbb {E} _{x\sim p^{*}(x)}[\ln p_{\theta }(x)]} 我们只需从真实分布中抽取许多样本 x i ∼ p ∗ ( x ) {\displaystyle x_{i}\sim p^{*}(x)} ，然后使用： N max θ E x ∼ p ∗ ( x ) [ ln ⁡ p θ ( x ) ] ≈ max θ ∑ i ln ⁡ p θ ( x i ) {\displaystyle N\max _{\theta }\mathbb {E} _{x\sim p^{*}(x)}[\ln p_{\theta }(x)]\approx \max _{\theta }\sum _{i}\ln p_{\theta }(x_{i})} 为了最大化 ∑ i ln ⁡ p θ ( x i ) {\displaystyle \sum _{i}\ln p_{\theta }(x_{i})} ，必须要找到 ln ⁡ p θ ( x i ) {\displaystyle \ln p_{\theta }(x_{i})} ： ln ⁡ p θ ( x ) = ln ⁡ ∫ p θ ( x | z ) p ( z ) d z {\displaystyle \ln p_{\theta }(x)=\ln \int p_{\theta }(x|z)p(z)dz} 这通常没有解析解，必须进行估计。估计积分的常用方法是使用重要性采样进行蒙特卡洛积分： ∫ p θ ( x | z ) p ( z ) d z = E z ∼ q ϕ ( ⋅ | x ) [ p θ ( x , z ) q ϕ ( z | x ) ] {\displaystyle \int p_{\theta }(x|z)p(z)dz=\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[{\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]} 其中， q ϕ ( z | x ) {\displaystyle q_{\phi }(z|x)} 是我们用于进行蒙特卡罗积分的在 z {\displaystyle z} 上的抽样分布。因此，我们可以看到，如果我们抽样 z ∼ q ϕ ( ⋅ | x ) {\displaystyle z\sim q_{\phi }(\cdot |x)} ，那么 p θ ( x , z ) q ϕ ( z | x ) {\displaystyle {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}} 是 p θ ( x ) {\displaystyle p_{\theta }(x)} 的一个无偏估计量。不幸的是，这并不能给我们一个对 ln ⁡ p θ ( x ) {\displaystyle \ln p_{\theta }(x)} 的无偏估计量，因为 ln {\displaystyle \ln } 是非线性的。事实上，由于琴生（Jensen）不等式，我们有： ln ⁡ p θ ( x ) = ln ⁡ E z ∼ q ϕ ( ⋅ | x ) [ p θ ( x , z ) q ϕ ( z | x ) ] ≥ E z ∼ q ϕ ( ⋅ | x ) [ ln ⁡ p θ ( x , z ) q ϕ ( z | x ) ] {\displaystyle \ln p_{\theta }(x)=\ln \mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[{\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]\geq \mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]} 事实上，所有明显的 ln ⁡ p θ ( x ) {\displaystyle \ln p_{\theta }(x)} 的估计量都是向下偏的，因为无论我们取多少个 z i ∼ q ϕ ( ⋅ | x ) {\displaystyle z_{i}\sim q_{\phi }(\cdot |x)} 的样本，我们都可以由琴生不等式得到： E z i ∼ q ϕ ( ⋅ | x ) [ ln ⁡ ( 1 N ∑ i p θ ( x , z i ) q ϕ ( z i | x ) ) ] ≤ ln ⁡ E z i ∼ q ϕ ( ⋅ | x ) [ 1 N ∑ i p θ ( x , z i ) q ϕ ( z i | x ) ] = ln ⁡ p θ ( x ) {\displaystyle \mathbb {E} _{z_{i}\sim q_{\phi }(\cdot |x)}\left[\ln \left({\frac {1}{N}}\sum _{i}{\frac {p_{\theta }(x,z_{i})}{q_{\phi }(z_{i}|x)}}\right)\right]\leq \ln \mathbb {E} _{z_{i}\sim q_{\phi }(\cdot |x)}\left[{\frac {1}{N}}\sum _{i}{\frac {p_{\theta }(x,z_{i})}{q_{\phi }(z_{i}|x)}}\right]=\ln p_{\theta }(x)} 减去右边，我们可以看出问题归结为零的有偏估计问题： E z i ∼ q ϕ ( ⋅ | x ) [ ln ⁡ ( 1 N ∑ i p θ ( z i | x ) q ϕ ( z i | x ) ) ] ≤ 0 {\displaystyle \mathbb {E} _{z_{i}\sim q_{\phi }(\cdot |x)}\left[\ln \left({\frac {1}{N}}\sum _{i}{\frac {p_{\theta }(z_{i}|x)}{q_{\phi }(z_{i}|x)}}\right)\right]\leq 0} 通过delta 方法，我们有 E z i ∼ q ϕ ( ⋅ | x ) [ ln ⁡ ( 1 N ∑ i p θ ( z i | x ) q ϕ ( z i | x ) ) ] ≈ − 1 2 N V z ∼ q ϕ ( ⋅ | x ) [ p θ ( z | x ) q ϕ ( z | x ) ] = O ( N − 1 ) {\displaystyle \mathbb {E} _{z_{i}\sim q_{\phi }(\cdot |x)}\left[\ln \left({\frac {1}{N}}\sum _{i}{\frac {p_{\theta }(z_{i}|x)}{q_{\phi }(z_{i}|x)}}\right)\right]\approx -{\frac {1}{2N}}\mathbb {V} _{z\sim q_{\phi }(\cdot |x)}\left[{\frac {p_{\theta }(z|x)}{q_{\phi }(z|x)}}\right]=O(N^{-1})} 如果我们继续推导，我们将得到加权自编码器。但是让我们先回到最简单的情况，即 N = 1 {\displaystyle N=1} : ln ⁡ p θ ( x ) = ln ⁡ E z ∼ q ϕ ( ⋅ | x ) [ p θ ( x , z ) q ϕ ( z | x ) ] ≥ E z ∼ q ϕ ( ⋅ | x ) [ ln ⁡ p θ ( x , z ) q ϕ ( z | x ) ] {\displaystyle \ln p_{\theta }(x)=\ln \mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[{\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]\geq \mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]} 不等式的紧度有一个解析解： ln ⁡ p θ ( x ) − E z ∼ q ϕ ( ⋅ | x ) [ ln ⁡ p θ ( x , z ) q ϕ ( z | x ) ] = D K L ( q ϕ ( ⋅ | x ) ‖ p θ ( ⋅ | x ) ) ≥ 0 {\displaystyle \ln p_{\theta }(x)-\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]=D_{\mathit {KL}}(q_{\phi }(\cdot |x)\|p_{\theta }(\cdot |x))\geq 0} 这样我们就得到了ELBO函数： L ( ϕ , θ ; x ) := ln ⁡ p θ ( x ) − D K L ( q ϕ ( ⋅ | x ) ‖ p θ ( ⋅ | x ) ) {\displaystyle L(\phi ,\theta ;x):=\ln p_{\theta }(x)-D_{\mathit {KL}}(q_{\phi }(\cdot |x)\|p_{\theta }(\cdot |x))} 对于固定的 x {\displaystyle x} ，优化 max θ , ϕ L ( ϕ , θ ; x ) {\displaystyle \max _{\theta ,\phi }L(\phi ,\theta ;x)} 的同时试图最大化 ln ⁡ p θ ( x ) {\displaystyle \ln p_{\theta }(x)} 和最小化 D K L ( q ϕ ( ⋅ | x ) ‖ p θ ( ⋅ | x ) ) {\displaystyle D_{\mathit {KL}}(q_{\phi }(\cdot |x)\|p_{\theta }(\cdot |x))} 。如果 p θ {\displaystyle p_{\theta }} 和 q ϕ {\displaystyle q_{\phi }} 的参数化足够灵活，我们会得到一些 ϕ ^ , θ ^ {\displaystyle {\hat {\phi }},{\hat {\theta }}} ，使得我们同时得到了以下近似： ln ⁡ p θ ^ ( x ) ≈ max θ ln ⁡ p θ ( x ) ; q ϕ ^ ( ⋅ | x ) ≈ p θ ^ ( ⋅ | x ) {\displaystyle \ln p_{\hat {\theta }}(x)\approx \max _{\theta }\ln p_{\theta }(x);\quad q_{\hat {\phi }}(\cdot |x)\approx p_{\hat {\theta }}(\cdot |x)} 由于 E x ∼ p ∗ ( x ) [ ln ⁡ p θ ( x ) ] = − H ( p ∗ ) − D K L ( p ∗ ( x ) ‖ p θ ( x ) ) {\displaystyle \mathbb {E} _{x\sim p^{*}(x)}[\ln p_{\theta }(x)]=-H(p^{*})-D_{\mathit {KL}}(p^{*}(x)\|p_{\theta }(x))} 我们有 ln ⁡ p θ ^ ( x ) ≈ max θ − H ( p ∗ ) − D K L ( p ∗ ( x ) ‖ p θ ( x ) ) {\displaystyle \ln p_{\hat {\theta }}(x)\approx \max _{\theta }-H(p^{*})-D_{\mathit {KL}}(p^{*}(x)\|p_{\theta }(x))} 所以 θ ^ ≈ arg ⁡ min D K L ( p ∗ ( x ) ‖ p θ ( x ) ) {\displaystyle {\hat {\theta }}\approx \arg \min D_{\mathit {KL}}(p^{*}(x)\|p_{\theta }(x))} 也就是说： 最大化ELBO将同时使我们得到一个准确的生成模型 p θ ^ ≈ p ∗ {\displaystyle p_{\hat {\theta }}\approx p^{*}} 和一个准确的判别模型 q ϕ ^ ( ⋅ | x ) ≈ p θ ^ ( ⋅ | x ) {\displaystyle q_{\hat {\phi }}(\cdot |x)\approx p_{\hat {\theta }}(\cdot |x)} 。 ELBO具有许多可能的表达式，每个表达式都有不同的强调。 E z ∼ q ϕ ( ⋅ | x ) [ ln ⁡ p θ ( x , z ) q ϕ ( z | x ) ] = ∫ q ϕ ( z | x ) ln ⁡ p θ ( x , z ) q ϕ ( z | x ) d z {\displaystyle \mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]=\int q_{\phi }(z|x)\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}dz} 这个形式表明，如果我们抽样 z ∼ q ϕ ( ⋅ | x ) {\displaystyle z\sim q_{\phi }(\cdot |x)} ， 则 ln ⁡ p θ ( x , z ) q ϕ ( z | x ) {\displaystyle \ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}} 是 ELBO 的无偏估计量。 ln ⁡ p θ ( x ) − D K L ( q ϕ ( ⋅ | x ) ‖ p θ ( ⋅ | x ) ) {\displaystyle \ln p_{\theta }(x)-D_{\mathit {KL}}(q_{\phi }(\cdot |x)\;\|\;p_{\theta }(\cdot |x))} 这种形式显示 ELBO 是证据 ln ⁡ p θ ( x ) {\displaystyle \ln p_{\theta }(x)} 的下界 ，并且关于 ϕ {\displaystyle \phi } 最大化 ELBO 等价于最小化从 p θ ( ⋅ | x ) {\displaystyle p_{\theta }(\cdot |x)} 到 q ϕ ( ⋅ | x ) {\displaystyle q_{\phi }(\cdot |x)} KL 散度 . E z ∼ q ϕ ( ⋅ | x ) [ ln ⁡ p θ ( x | z ) ] − D K L ( q ϕ ( ⋅ | x ) ‖ p ) {\displaystyle \mathbb {E} _{z\sim q_{\phi }(\cdot |x)}[\ln p_{\theta }(x|z)]-D_{\mathit {KL}}(q_{\phi }(\cdot |x)\;\|\;p)} 这种形式显示，最大化ELBO同时试图将 q ϕ ( ⋅ | x ) {\displaystyle q_{\phi }(\cdot |x)} 保持接近 p {\displaystyle p} ，并将 q ϕ ( ⋅ | x ) {\displaystyle q_{\phi }(\cdot |x)} 集中在最大化 ln ⁡ p θ ( x | z ) {\displaystyle \ln p_{\theta }(x|z)} 的那些 z {\displaystyle z} 上。也就是说，近似后验 q ϕ ( ⋅ | x ) {\displaystyle q_{\phi }(\cdot |x)} 在保持先验 p {\displaystyle p} 的同时，朝着最大似然 arg ⁡ max z ln ⁡ p θ ( x | z ) {\displaystyle \arg \max _{z}\ln p_{\theta }(x|z)} 移动。 H ( q ϕ ( ⋅ | x ) ) + E z ∼ q ( ⋅ | x ) [ ln ⁡ p θ ( z | x ) ] + ln ⁡ p θ ( x ) {\displaystyle H(q_{\phi }(\cdot |x))+\mathbb {E} _{z\sim q(\cdot |x)}[\ln p_{\theta }(z|x)]+\ln p_{\theta }(x)} 这个形式显示，最大化ELBO同时试图保持 q ϕ ( ⋅ | x ) {\displaystyle q_{\phi }(\cdot |x)} 的熵高，并将 q ϕ ( ⋅ | x ) {\displaystyle q_{\phi }(\cdot |x)} 集中于最大化 ln ⁡ p θ ( z | x ) {\displaystyle \ln p_{\theta }(z|x)} 的那些 z {\displaystyle z} 。也就是说，近似后验 q ϕ ( ⋅ | x ) {\displaystyle q_{\phi }(\cdot |x)} 在均匀分布和向最大后验 arg ⁡ max z ln ⁡ p θ ( z | x ) {\displaystyle \arg \max _{z}\ln p_{\theta }(z|x)} 之间保持平衡。 假设我们从 p ∗ {\displaystyle p^{*}} 中取 N {\displaystyle N} 个独立样本，并将它们收集在数据集 D = { x 1 , . . . , x N } {\displaystyle D=\{x_{1},...,x_{N}\}} 中，则我们具有经验分布 q D ( x ) = 1 N ∑ i δ x i {\displaystyle q_{D}(x)={\frac {1}{N}}\sum _{i}\delta _{x_{i}}} 。其中 δ {\displaystyle \delta } 表示冲激函数（Dirac函数）。 从 p θ ( x ) {\displaystyle p_{\theta }(x)} 拟合 q D ( x ) {\displaystyle q_{D}(x)} 通常可以通过最大化对数似然 ln ⁡ p θ ( D ) {\displaystyle \ln p_{\theta }(D)} 来完成： D K L ( q D ( x ) ‖ p θ ( x ) ) = − 1 N ∑ i ln ⁡ p θ ( x i ) − H ( q D ) = − 1 N ln ⁡ p θ ( D ) + H ( q D ) {\displaystyle D_{\mathit {KL}}(q_{D}(x)\|p_{\theta }(x))=-{\frac {1}{N}}\sum _{i}\ln p_{\theta }(x_{i})-H(q_{D})=-{\frac {1}{N}}\ln p_{\theta }(D)+H(q_{D})} 现在，根据 ELBO 不等式，我们可以约束 ln ⁡ p θ ( D ) {\displaystyle \ln p_{\theta }(D)} ， 因此 D K L ( q D ( x ) ‖ p θ ( x ) ) ≤ − 1 N L ( ϕ , θ ; D ) − H ( q D ) {\displaystyle D_{\mathit {KL}}(q_{D}(x)\|p_{\theta }(x))\leq -{\frac {1}{N}}L(\phi ,\theta ;D)-H(q_{D})} 右侧简化为 KL 散度，因此我们得到： D K L ( q D ( x ) ‖ p θ ( x ) ) ≤ − 1 N ∑ i L ( ϕ , θ ; x i ) − H ( q D ) = D K L ( q D , ϕ ( x , z ) ; p θ ( x , z ) ) {\displaystyle D_{\mathit {KL}}(q_{D}(x)\|p_{\theta }(x))\leq -{\frac {1}{N}}\sum _{i}L(\phi ,\theta ;x_{i})-H(q_{D})=D_{\mathit {KL}}(q_{D,\phi }(x,z);p_{\theta }(x,z))} 这个结果可以解释为数据处理不等式的一个特例。 在这个解释下，最大化 L ( ϕ , θ ; D ) = ∑ i L ( ϕ , θ ; x i ) {\displaystyle L(\phi ,\theta ;D)=\sum _{i}L(\phi ,\theta ;x_{i})} 等价于最小化 D K L ( q D , ϕ ( x , z ) ; p θ ( x , z ) ) {\displaystyle D_{\mathit {KL}}(q_{D,\phi }(x,z);p_{\theta }(x,z))} ，其中上式是真实的需要估计的量 D K L ( q D ( x ) ; p θ ( x ) ) {\displaystyle D_{\mathit {KL}}(q_{D}(x);p_{\theta }(x))} 的上界，通过数据处理不等式获得。也就是说，我们通过将潜在空间与观测空间连接起来，为了更高效地最小化KL散度而付出了较弱的不等式代价。 Kingma. Auto-Encoding Variational Bayes. arXiv:1312.6114 .  Burda, Yuri; Grosse, Roger; Salakhutdinov, Ruslan. Importance Weighted Autoencoders. 2015-09-01 [2023-03-22]. （原始内容存档于2023-03-22）.  Kingma, Diederik P.; Welling, Max. An Introduction to Variational Autoencoders. Foundations and Trends in Machine Learning. 2019-11-27, 12 (4). Section 2.7 [2023-03-22]. ISSN 1935-8237. arXiv:1906.02691 . doi:10.1561/2200000056. （原始内容存档于2023-03-22） （English）.  引文格式1维护：未识别语文类型 (link) 事实上，根据Jensen不等式，有 E x ∼ p ( x ) [ max θ ∑ i ln ⁡ p θ ( x i ) ] ≥ max θ E x ∼ p ( x ) [ ∑ i ln ⁡ p θ ( x i ) ] = N max θ E x ∼ p ∗ ( x ) [ ln ⁡ p θ ( x ) ] {\displaystyle \mathbb {E} _{x\sim p^{}(x)}\left[\max {\theta }\sum {i}\ln p{\theta }(x{i})\right]\geq \max {\theta }\mathbb {E} {x\sim p^{}(x)}\left[\sum {i}\ln p{\theta }(x_{i})\right]=N\max {\theta }\mathbb {E} {x\sim p^{*}(x)}[\ln p{\theta }(x)]} 这个估计量存在向上的偏差。这可以看作是过度拟合：对于一些有限的采样数据 x i {\displaystyle x{i}} ，通常存在一些 θ {\displaystyle \theta } 比整个 p ∗ {\displaystyle p^{*}} 分布更好地拟合它们。