法諾不等式 法諾不等式Fanos inequality也稱為法諾引理Fano lemma是信息论中的一個定理說明噪音信道中的平均信息损失和错误分类概率之間的關係法諾不等式是羅伯特法諾是年代於麻省理工学院教授博士讨论班的时候推導的後來放在年編寫的教科書中 法諾不等式在信息论中提供了解码器错误概率的下界在统计学中提供了密度估计英语Densityestimation时极小化极大风险英语minimax risks的下界 用符号 H    displaystyle Hcdot  表示熵 H  X  Y  displaystyle HXY 表示随机变量X与Y之间的条件熵 X  displaystyle tilde X 表示对于X的分类e表示分类错误的事件 e   X  X   displaystyle eXneq tilde X 法诺不等式是说 H  X  Y   H  e   P  e  log    supp  X      displaystyle HXYleq HePelogtextsuppX 这里 supp  X  displaystyle textsuppX 是X可能取值有限个的集合