信息瓶颈

信息瓶颈（）是信息论中的一种方法，由、费尔南多·佩雷拉（Fernando C. Pereira）与威廉·比亚莱克于1999年提出。对于一随机变量，假设已知其与观察变量之间的联合概率分布。此时，当需要概括（聚类）时，可以通过信息瓶颈方法来分析如何最优化地平衡准确度与复杂度（数据压缩）。该方法的应用还包括分布聚类（distributional clustering）与降维等。此外，信息瓶颈也被用于分析深度学习的过程。

信息瓶项方法中运用了互信息的概念。假设压缩后的随机变量为，我们试图用代替来预测。此时，可使用以下算法得到最优的：


其中与分别为与之间、以及与之间的互信息，可由计算得到。则表示拉格朗日乘数。

 参考文献 

Category:聚类分析
Category:多變量統計
Category:信息论