吉布斯不等式 吉布斯不等式說明 若  i   n p i   i   n q i   displaystyle sum inpisum inqi 且 p i  q i       displaystyle piqiin  則有   i   n p i log  p i    i   n p i log  q i displaystyle sum inpilog pileq sum inpilog qi 等號成立若且唯若 p i  q i  i displaystyle piqiforall i 在信息論和概率論它能應用在法諾不等式和訊號源編碼定理的證明 約西亞吉布斯在世紀提出它