Ανισότητα Γκιμπς

Στα μαθηματικά, η ανισότητα Γκιμπς ή ανισότητα πληροφορίας (αναφέρεται και ως ανισότητα Gibbs) λέει ότι για οποιεσδήποτε δύο διακριτές κατανομές  και , ισχύει ότι
.

Η ανισότητα παίρνει το όνομά της από τον Τζοσάια Γουίλαρντ Γκιμπς.

Αποδείξεις

Απόδειξη με ανισότητα Τζένσεν

Θα χρησιμοποιήσουμε την εξής μορφή της ανισότητας Τζένσεν για κοίλη συνάρτηση  και τυχαία μεταβλητή :

Θεωρούμε την τυχαία μεταβλητή  με κατανομή την  και την συνάρτηση , που είναι κυρτή. Επομένως,
.

Αναδιατάσσοντας, λαμβάνουμε την ανισότητα Γκμιπς,
.

Απόδειξη με ανισότητα λογαρίθμου-αθροίσματος

Η ανισότητα λογαρίθμου-αθροίσματος δίνει ότι για οποιεσδήποτε ακολουθίες  και 
,
όπου  και .

Θέτοντας  και , τότε , λαμβάνουμε 
.

Αναδιατάσσοντας όπως στην προηγούμενη απόδειξη, λαμβάνουμε το ζητούμενο.

Δείτε επίσης 
 Εντροπία πληροφοριών
 Απόκλιση Kullback–Leibler (Χρησιμοποιείται στην απόδειξη ότι η απόκλιση είναι πάντοτε μη-αρνητική)
 Θεωρία πληροφορίας
 Ανισότητα λογαρίθμου-αθροίσματος

Παραπομπές 

Ανισότητες
Θεωρία της Πληροφορίας