吉布斯不等式说明：若 formula_1，且formula_2，则有：在信息论和概率论，它能应用在Fano不等式和讯号源编码定理的证明。约西亚·吉布斯在19世纪提出它。
证明.吉布斯不等式等价于：证明最右的项小于或等于0的方法有几种：
引理.对于n个变数的概率分布P，其熵的最大值是：