信息瓶頸

信息瓶頸  是信息論中的一種方法 ， 由 、 費爾南多 · 佩雷拉 （ Fernando C. Pereira ） 與於1999年提出 。 對於一隨機變量 ， 假設已知其與觀察變量之間的聯合概率分佈 。 此時 ， 當需要概括 （ 聚類 ） 時 ， 可以通過信息瓶頸方法來分析如何最優化地平衡準確度與複雜度 （ 數據壓縮 ） 。 該方法的應用還包括分佈聚類 （ distributional clustering ） 與降維等 。 此外 ， 信息瓶頸也被用於分析深度學習的過程 。 信息瓶項方法中運用了互信息的概念 。 假設壓縮後的隨機變量爲 ， 我們試圖用代替來預測 。 此時 ， 可使用以下算法得到最優的 ： 其中與分別爲與之間 、 以及與之間的互信息 ， 可由計算得到 。 則表示拉格朗日乘數 。