证据下界

在变分贝叶斯方法中，证据下界（evidence lower bound，ELBO；有时也称为变分下界或负变分自由能）是一种用于估计一些观测数据的对数似然的下限。
术语和符号.
设formula_1和formula_2是随机变量，其联合分布为formula_3。例如，formula_4是formula_1的边缘分布，formula_6是在给定formula_1的条件下，formula_2的条件分布。那么对于任何从formula_3中抽取的样本formula_10和任何分布formula_11，我们有：
formula_12
我们将上述不等式称为ELBO不等式。其中，左侧称为formula_13的证据，右侧称为formula_13的证据下界（ELBO）。
在变分贝叶斯方法的术语中，分布formula_4称为证据。一些人使用“证据”一词来表示formula_16，而其他作者将formula_16称为对数证据，有些人会交替使用证据和对数证据这两个术语。
ELBO 没有普遍且固定的表示法。在本文中我们使用formula_18
动机.
变分贝叶斯推理.
假设我们有一个可观察的随机变量formula_19，并且我们想找到其真实分布formula_20。这将允许我们通过抽样生成数据，并估计未来事件的概率。一般来说，精确找到formula_20是不可能的，因此我们不得不寻找一个近似。
也就是说，我们定义一个足够大的参数化分布族formula_22，然后最小化某种损失函数formula_23，formula_24。解决这个问题的一种可能方法是考虑从formula_3到formula_26的微小变化，并解决formula_27。这是变分法中的一个变分问题，因此被称为变分方法。
由于明确参数化的分布族并不多（所有经典的分布族，如正态分布、Gumbel分布等都太过简单，无法很好地模拟真实分布），我们考虑隐式参数化的概率分布：
这定义了一个关于formula_37的联合分布族formula_3。从formula_3中抽取样本formula_40变得非常容易：只需从formula_41中抽样formula_42，然后计算formula_32，最后使用formula_32来抽样formula_45。
换句话说，我们拥有了一个可观测量和潜在随机变量的生成模型。
现在，我们认为一个分布formula_3是好的，如果它是formula_20的一个接近近似：formula_48由于右侧的分布仅涉及到formula_19，因此左侧的分布必须消除潜在变量formula_28的影响，即要对formula_28进行边缘化。
一般情况下，我们无法积分formula_52，这迫使我们寻找另一个近似。
由于formula_53，因此我们只需要找到一个formula_54的好的近似即可。因此，我们定义另一个分布族formula_55来近似formula_54，这是一个针对潜在变量的判别模型。
下表概述了所有情况:
用贝叶斯的方式来说，formula_19是观测到的证据，formula_28是潜在/未观测到的随机变量。分布formula_41在formula_28上是formula_28的先验分布，formula_62是似然函数，而formula_54是formula_28的后验分布。
给定一个观测值formula_13，我们可以通过计算formula_54来推断出可能导致formula_13出现的formula_68。通常的贝叶斯方法是估计积分：
formula_69
然后通过贝叶斯定理计算：
formula_70
这通常是非常耗时的，但如果我们可以找到一个在大多数formula_71下的好近似formula_72，那么我们就可以快速地从formula_13推断出formula_68。因此，寻找一个好的formula_75也称为摊销推断。
综上所述，我们找到了一个变分贝叶斯推断问题。
推导ELBO.
变分推断中的一个基本结果是，最小化Kullback–Leibler 散度（KL散度）等价于最大化对数似然：formula_76其中formula_77是真实分布的熵。因此，如果我们可以最大化formula_78
我们就可以最小化formula_79
因此找到一个准确的近似formula_80。要最大化formula_78我们只需从真实分布中抽取许多样本formula_82，然后使用：formula_83为了最大化formula_84，必须要找到formula_85：formula_86这通常没有解析解，必须进行估计。估计积分的常用方法是使用重要性采样进行蒙特卡洛积分：formula_87其中，formula_55是我们用于进行蒙特卡罗积分的在formula_68上的抽样分布。因此，我们可以看到，如果我们抽样formula_90，那么formula_91是formula_92的一个无偏估计量。不幸的是，这并不能给我们一个对formula_93的无偏估计量，因为formula_94是非线性的。事实上，由于琴生（Jensen）不等式，我们有：formula_95事实上，所有明显的formula_93的估计量都是向下偏的，因为无论我们取多少个formula_97的样本，我们都可以由琴生不等式得到：formula_98减去右边，我们可以看出问题归结为零的有偏估计问题：formula_99通过delta 方法，我们有formula_100如果我们继续推导，我们将得到加权自编码器。但是让我们先回到最简单的情况，即formula_101:formula_95不等式的紧度有一个解析解：formula_103这样我们就得到了ELBO函数：formula_104
最大化 ELBO.
对于固定的formula_13，优化formula_106的同时试图最大化formula_93和最小化formula_108。如果formula_3和formula_75的参数化足够灵活，我们会得到一些 formula_111，使得我们同时得到了以下近似：formula_112由于formula_76我们有formula_114所以formula_115也就是说： 最大化ELBO将同时使我们得到一个准确的生成模型formula_116和一个准确的判别模型 formula_117。
主要形式.
ELBO具有许多可能的表达式，每个表达式都有不同的强调。formula_118这个形式表明，如果我们抽样formula_119 ， 则formula_120是 ELBO 的无偏估计量。formula_121这种形式显示 ELBO 是证据formula_93的下界 ，并且关于formula_123最大化 ELBO 等价于最小化从formula_124到formula_125 KL 散度 .formula_126这种形式显示，最大化ELBO同时试图将formula_125保持接近formula_41，并将formula_125集中在最大化formula_130的那些formula_68上。也就是说，近似后验formula_125在保持先验formula_41的同时，朝着最大似然formula_134移动。formula_135这个形式显示，最大化ELBO同时试图保持formula_125的熵高，并将formula_125集中于最大化formula_138的那些formula_68 。也就是说，近似后验formula_125在均匀分布和向最大后验formula_141之间保持平衡。
数据处理不等式.
假设我们从formula_20中取formula_143个独立样本，并将它们收集在数据集formula_144中，则我们具有经验分布formula_145。其中formula_146表示冲激函数（Dirac函数）。
从formula_92拟合formula_148通常可以通过最大化对数似然formula_149来完成：formula_150现在，根据 ELBO 不等式，我们可以约束formula_149 ， 因此formula_152右侧简化为 KL 散度，因此我们得到：formula_153这个结果可以解释为数据处理不等式的一个特例。
在这个解释下，最大化formula_154等价于最小化formula_155，其中上式是真实的需要估计的量formula_156的上界，通过数据处理不等式获得。也就是说，我们通过将潜在空间与观测空间连接起来，为了更高效地最小化KL散度而付出了较弱的不等式代价。