信息瓶颈 信息瓶颈英語information bottleneck是信息论中的一种方法由纳夫塔利泰斯比英语Naftali Tishby费尔南多佩雷拉Fernando C Pereira与威廉比亚莱克于年提出对于一随机变量 X displaystyle X 假设已知其与观察变量 Y displaystyle Y 之间的联合概率分布 p  X  Y  displaystyle pXY 此时当需要概括聚类 X displaystyle X 时可以通过信息瓶颈方法来分析如何最优化地平衡准确度与复杂度数据压缩该方法的应用还包括分布聚类distributional clustering与降维等此外信息瓶颈也被用于分析深度学习的过程 信息瓶项方法中运用了互信息的概念假设压缩后的随机变量为 T displaystyle T 我们试图用 T displaystyle T 代替 X displaystyle X 来预测 Y displaystyle Y 此时可使用以下算法得到最优的 T displaystyle T  min p  t  x  I  X  T   β I  T  Y   displaystyle min ptxIXTbeta ITY 其中 I  X  T  displaystyle IXT 与 I  T  Y  displaystyle ITY 分别为 X displaystyle X 与 T displaystyle T 之间以及 T displaystyle T 与 Y displaystyle Y 之间的互信息可由 p  X  Y  displaystyle pXY 计算得到 β displaystyle beta  则表示拉格朗日乘数