Ανισότητα λογαρίθμου-αθροίσματος

Στα μαθηματικά, η ανισότητα λογαρίθμου-αθροίσματος λέει ότι για μη-αρνητικούς πραγματικούς αριθμούς  και , ισχύει ότι

Η ανισότητα βρίσκει αρκετές εφαρμογές στην θεωρία πληροφορίας.

Απόδειξη 

Θα χρησιμοποιήσουμε την εξής μορφή της ανισότητας Γένσεν:

για κάθε  και  με .

Έστω  και . Τότε,

Χρησιμοποιώντας την παραπάνω μορφή της ανισότητας Γένσεν για την κυρτή συνάρτηση  με  και , έχουμε ότι

Συνδυάζοντας τις () και () λαμβάνουμε την ζητούμενη ανισότητα.

Δείτε επίσης 
 Εντροπία πληροφοριών
 Απόκλιση Kullback-Leibler 
 Ανισότητα Γκιμπς

Παραπομπές 

Ανισότητες
Θεωρία της Πληροφορίας