Απόκλιση Κούλμπακ-Λάιμπλερ

Στην θεωρία πληροφορίας, η απόκλιση Κούλμπακ-Λάιμπερ ή σχετική εντροπία (αναφέρεται και ως απόκλιση Kullback-Leibler) μεταξύ δύο κατανομών πιθανότητας  και  ορίζεται ως

Για διακριτές τυχαίες μεταβλητές με πεδίο ορισμού , αυτή η ποσότητα είναι ίση με

και για συνεχείς τυχαίες μεταβλητές είναι ίση με

Η ποσότητα αυτή μπορεί να ερμηνευτεί ως η αναμενόμενη τιμή της έξτρα πληροφορίας που χρειάζεται για να κωδικοποιήσουμε την τυχαία μεταβλητή  με κατανομή  υποθέτοντας ότι στην πραγματικότητα έχει κατανομή .

Η συνάρτηση είναι απόκλιση και όχι μετρική απόσταση καθώς δεν ικανοποιεί την τριγωνική ανισότητα ούτε είναι συμμετρική. 

Παράδειγμα

Για τις κατανομές  και , η απόκλιση KL δίνεται από

και

Από αυτό το παράδειγμα φαίνεται ότι η απόκλιση δεν είναι συμμετρική.

Ιδιότητες

 (Μη-μηδενικότητα) Για οποιεσδήποτε δύο κατανομές  και , ισχύει ότι

 (Κυρτότητα) Η απόκλιση Κούλμπακ-Λάιμπλερ είναι κυρτή συνάρτηση στα ζεύγη των κατανομών , δηλαδή για κάθε ζεύγη κατανομών  και  και για κάθε πραγματικό αριθμό , ισχύει ότι

 (Ανεξάρτητες μεταβλητές) Η απόκλιση Κούλμπακ-Λάιμπλερ είναι αθροιστική για τις ανεξάρτητες τυχαίες μεταβλητές  και , δηλαδή με  και ,

 Δείτε επίσης 
 Εντροπία πληροφοριών
 Ανισότητα Γκιμπς
 Ανισότητα Γένσεν
Παραπομπές

Κατηγορία:Θεωρία της Πληροφορίας
Κατηγορία:Όρος με ελλιπή ελληνική μετάφραση