Απόκλιση Kullback–Leibler

Στην θεωρία πληροφορίας, η απόκλιση Kullback-Leibler (KL) (ή σχετική εντροπία) μεταξύ δύο κατανομών πιθανότητας  και  ορίζεται ως

Για διακριτές τυχαίες μεταβλητές με πεδίο ορισμού , αυτή η ποσότητα είναι ίση με

και για συνεχείς τυχαίες μεταβλητές είναι ίση με

Η ποσότητα αυτή μπορεί να ερμηνευτεί ως η αναμενόμενη τιμή της έξτρα πληροφορίας που χρειάζεται για να κωδικοποιήσουμε την τυχαία μεταβλητή  με κατανομή  υποθέτοντας ότι στην πραγματικότητα έχει κατανομή .

Η συνάρτηση είναι απόκλιση και όχι μετρική απόσταση καθώς δεν ικανοποιεί την τριγωνική ανισότητα ούτε είναι συμμετρική.

Παράδειγμα

Για τις κατανομές  και , η απόκλιση KL δίνεται από

και

Από αυτό το παράδειγμα φαίνεται ότι η απόκλιση δεν είναι συμμετρική.

Ιδιότητες

 (Μη-μηδενικότητα) Για οποιεσδήποτε δύο κατανομές  και , ισχύει ότι

Από την ανισότητα λογαρίθμου-αθροίσματος έχουμε ότι

 (Κυρτότητα) Η απόκλιση Kullback-Leibler είναι κυρτή συνάρτηση στα ζεύγη των κατανομών , δηλαδή για κάθε ζεύγη κατανομών  και  και για κάθε πραγματικό αριθμό , ισχύει ότι

 (Ανεξάρτητες μεταβλητές) Η απόκλιση Kullback-Leibler είναι αθροιστική για τις ανεξάρτητες τυχαίες μεταβλητές  και , δηλαδή με  και ,

Ξεκινώντας από τον ορισμό για την απόκλιση ,

Παραπομπές

Θεωρία της Πληροφορίας
Όρος με ελλιπή ελληνική μετάφραση