證據下界

在變分貝葉斯方法中，證據下界是一種用於估計一些觀測資料的對數似然的下限。術語和符號.設formula_1和formula_2是隨機變數，其聯合分佈為formula_3。例如，formula_4是formula_1的邊緣分佈，formula_6是在給定formula_1的條件下，formula_2的條件分佈。那麼對於任何從formula_3中抽取的樣本formula_10和任何分佈formula_11，我們有：formula_12我們將上述不等式稱為ELBO不等式。其中，左側稱為formula_13的證據，右側稱為formula_13的證據下界。在變分貝葉斯方法的術語中，分佈formula_4稱為證據。一些人使用“證據”一詞來表示formula_16，而其他作者將formula_16稱為對數證據，有些人會交替使用證據和對數證據這兩個術語。ELBO 沒有普遍且固定的表示法。在本文中我們使用formula_18動機.變分貝葉斯推理.假設我們有一個可觀察的隨機變數formula_19，並且我們想找到其真實分佈formula_20。這將允許我們透過抽樣生成資料，並估計未來事件的機率。一般來說，精確找到formula_20是不可能的，因此我們不得不尋找一個近似。也就是說，我們定義一個足夠大的引數化分佈族formula_22，然後最小化某種損失函式formula_23，formula_24。解決這個問題的一種可能方法是考慮從formula_3到formula_26的微小變化，並解決formula_27。這是變分法中的一個變分問題，因此被稱為變分方法。由於明確引數化的分佈族並不多，我們考慮隱式引數化的機率分佈：這定義了一個關於formula_37的聯合分佈族formula_3。從formula_3中抽取樣本formula_40變得非常容易：只需從formula_41中抽樣formula_42，然後計算formula_32，最後使用formula_32來抽樣formula_45。換句話說，我們擁有了一個可觀測量和潛在隨機變數的生成模型。現在，我們認為一個分佈formula_3是好的，如果它是formula_20的一個接近近似：formula_48由於右側的分佈僅涉及到formula_19，因此左側的分佈必須消除潛在變數formula_28的影響，即要對formula_28進行邊緣化。一般情況下，我們無法積分formula_52，這迫使我們尋找另一個近似。由於formula_53，因此我們只需要找到一個formula_54的好的近似即可。因此，我們定義另一個分佈族formula_55來近似formula_54，這是一個針對潛在變數的判別模型。下表概述了所有情況:用貝葉斯的方式來說，formula_19是觀測到的證據，formula_28是潛在/未觀測到的隨機變數。分佈formula_41在formula_28上是formula_28的先驗分佈，formula_62是似然函式，而formula_54是formula_28的後驗分佈。給定一個觀測值formula_13，我們可以透過計算formula_54來推斷出可能導致formula_13出現的formula_68。通常的貝葉斯方法是估計積分：formula_69然後透過貝葉斯定理計算：formula_70這通常是非常耗時的，但如果我們可以找到一個在大多數formula_71下的好近似formula_72，那麼我們就可以快速地從formula_13推斷出formula_68。因此，尋找一個好的formula_75也稱為攤銷推斷。綜上所述，我們找到了一個變分貝葉斯推斷問題。推導ELBO.變分推斷中的一個基本結果是，最小化Kullback–Leibler 散度等價於最大化對數似然：formula_76其中formula_77是真實分佈的熵。因此，如果我們可以最大化formula_78我們就可以最小化formula_79因此找到一個準確的近似formula_80。要最大化formula_78我們只需從真實分佈中抽取許多樣本formula_82，然後使用：formula_83為了最大化formula_84，必須要找到formula_85：formula_86這通常沒有解析解，必須進行估計。估計積分的常用方法是使用重要性取樣進行蒙特卡洛積分：formula_87其中，formula_55是我們用於進行蒙特卡羅積分的在formula_68上的抽樣分佈。因此，我們可以看到，如果我們抽樣formula_90，那麼formula_91是formula_92的一個無偏估計量。不幸的是，這並不能給我們一個對formula_93的無偏估計量，因為formula_94是非線性的。事實上，由於琴生不等式，我們有：formula_95事實上，所有明顯的formula_93的估計量都是向下偏的，因為無論我們取多少個formula_97的樣本，我們都可以由琴生不等式得到：formula_98減去右邊，我們可以看出問題歸結為零的有偏估計問題：formula_99透過delta 方法，我們有formula_100如果我們繼續推導，我們將得到加權自編碼器。但是讓我們先回到最簡單的情況，即formula_101:formula_95不等式的緊度有一個解析解：formula_103這樣我們就得到了ELBO函式：formula_104最大化 ELBO.對於固定的formula_13，最佳化formula_106的同時試圖最大化formula_93和最小化formula_108。如果formula_3和formula_75的引數化足夠靈活，我們會得到一些 formula_111，使得我們同時得到了以下近似：formula_112由於formula_76我們有formula_114所以formula_115也就是說： 最大化ELBO將同時使我們得到一個準確的生成模型formula_116和一個準確的判別模型 formula_117。主要形式.ELBO具有許多可能的表示式，每個表示式都有不同的強調。formula_118這個形式表明，如果我們抽樣formula_119 ， 則formula_120是 ELBO 的無偏估計量。formula_121這種形式顯示 ELBO 是證據formula_93的下界 ，並且關於formula_123最大化 ELBO 等價於最小化從formula_124到formula_125 KL 散度 .formula_126這種形式顯示，最大化ELBO同時試圖將formula_125保持接近formula_41，並將formula_125集中在最大化formula_130的那些formula_68上。也就是說，近似後驗formula_125在保持先驗formula_41的同時，朝著最大似然formula_134移動。formula_135這個形式顯示，最大化ELBO同時試圖保持formula_125的熵高，並將formula_125集中於最大化formula_138的那些formula_68 。也就是說，近似後驗formula_125在均勻分佈和向最大後驗formula_141之間保持平衡。資料處理不等式.假設我們從formula_20中取formula_143個獨立樣本，並將它們收集在資料集formula_144中，則我們具有經驗分佈formula_145。其中formula_146表示衝激函式。從formula_92擬合formula_148通常可以透過最大化對數似然formula_149來完成：formula_150現在，根據 ELBO 不等式，我們可以約束formula_149 ， 因此formula_152右側簡化為 KL 散度，因此我們得到：formula_153這個結果可以解釋為資料處理不等式的一個特例。在這個解釋下，最大化formula_154等價於最小化formula_155，其中上式是真實的需要估計的量formula_156的上界，透過資料處理不等式獲得。也就是說，我們透過將潛在空間與觀測空間連線起來，為了更高效地最小化KL散度而付出了較弱的不等式代價。