吉布斯不等式

thumb | 200px | 約西亞 · 吉布斯 吉布斯不等式說明 ： 若 ， 且 ， 則有 ： ， 等號成立若且唯若 在信息論和概率論 ， 它能應用在法諾不等式和訊號源編碼定理的證明 。 約西亞 · 吉布斯在19世紀提出它 。