吉布斯不等式

吉布斯不等式說明：

若 ，且，則有：

 ，等號成立若且唯若

在信息論和概率論，它能應用在法諾不等式和訊號源編碼定理的證明。

約西亞·吉布斯在19世紀提出它。

證明
吉布斯不等式等價於：
 （見相對熵）

證明最右的項小於或等於0的方法有幾種：
 已知 ，等號成立若且唯若 ：
 

 根據對數求和不等式或延森不等式：

引理
對於n個變數的概率分布P，其熵的最大值是：
 

概率不等式