Απόκλιση Κούλμπακ-Λάιμπλερ

Στην θεωρία πληροφορίας, η **απόκλιση Κούλμπακ-Λάιμπερ** ή **σχετική εντροπία** (αναφέρεται και ως **απόκλιση Kullback-Leibler**) μεταξύ δύο κατανομών πιθανότητας p και q ορίζεται ως
:
  D_{\mathrm{KL}}(p \Vert q) := \operatorname{E}_{X \sim p}[- \log q(x) + \log p(X)].

Για διακριτές τυχαίες μεταβλητές με πεδίο ορισμού \mathcal{X}, αυτή η ποσότητα είναι ίση με
:
  D_{\mathrm{KL}}(p \Vert q) = \sum_{x \in \mathcal{X}} p(x) \log \left( \frac{p(x)}{q(x)} \right),

και για συνεχείς τυχαίες μεταβλητές είναι ίση με
:
  D_{\mathrm{KL}}(p \Vert q) = \int_{x \in \mathcal{X}} p(x) \log \left( \frac{p(x)}{q(x)} \right) \,\mathrm{d}x.

Η ποσότητα αυτή μπορεί να ερμηνευτεί ως η αναμενόμενη τιμή της έξτρα πληροφορίας που χρειάζεται για να κωδικοποιήσουμε την τυχαία μεταβλητή X με κατανομή p υποθέτοντας ότι στην πραγματικότητα έχει κατανομή q.

Η συνάρτηση είναι απόκλιση και όχι μετρική απόσταση καθώς δεν ικανοποιεί την τριγωνική ανισότητα ούτε είναι συμμετρική. 

## Παράδειγμα
center|thumb|550px|Οι κατανομές πιθανότητας <math>p</math> και <math>q</math>.

Για τις κατανομές p = \big( \tfrac{1}{3}, \tfrac{1}{3}, \tfrac{1}{3}\big) και q = (0.2, 0.5, 0.3), η απόκλιση KL δίνεται από
:
\begin{align}
D_{\mathrm{KL}}(p \Vert q)
 & = p_1 \log_2 (p_1/q_1) + p_2 \log_2 (p_2/q_2) + p_3 \log_2 (p_3/q_3) \\
 & = \frac{1}{3} \cdot \log_2 \left( \frac{1/3}{0.2} \right) 
   + \frac{1}{3} \cdot \log_2 \left( \frac{1/3}{0.5} \right)
   + \frac{1}{3} \cdot \log_2 \left( \frac{1/3}{0.3} \right) \\
 & \approx 0.1013,
\end{align}

και
:
\begin{align}
D_{\mathrm{KL}}(p \Vert q)
 & = q_1 \log_2 (q_1/p_1) + q_2 \log_2 (q_2/p_2) + q_3 \log_2 (q_3/p_3) \\
 & = 0.2 \cdot \log_2 \left( \frac{0.2}{1/3} \right) 
   + 0.5 \cdot \log_2 \left( \frac{0.5}{1/3} \right)
   + 0.3 \cdot \log_2 \left( \frac{0.3}{1/3} \right) \\
 & \approx 0.0994.
\end{align}

Από αυτό το παράδειγμα φαίνεται ότι η απόκλιση δεν είναι συμμετρική.

## Ιδιότητες

* (**Μη-μηδενικότητα**) Για οποιεσδήποτε δύο κατανομές p και q, ισχύει ότι
::D_{\mathrm{KL}}(p \Vert q) \geq 0.
(p \Vert q)
 = \sum_{x \in \mathcal{X}} p(x) \log \left( \frac{p(x)}{q(x)} \right)
 \geq \left( \sum_{x \in \mathcal{X}} p(x) \right) \log \left( \frac{\sum_{x \in \mathcal{X}} p(x)}{\sum_{x \in \mathcal{X}} q(x)} \right)
 = 1 \cdot \log \left( \frac{1}{1} \right) = 0.

}}
* (**Κυρτότητα**) Η απόκλιση Κούλμπακ-Λάιμπλερ είναι κυρτή συνάρτηση στα ζεύγη των κατανομών (p, q), δηλαδή για κάθε ζεύγη κατανομών (p_1, q_1) και (p_2, q_2) και για κάθε πραγματικό αριθμό 0 , ισχύει ότι
::
D_{\mathrm{KL}}(\lambda \cdot p_1 + (1-\lambda) \cdot p_2 \Vert \lambda \cdot q_1 + (1-\lambda) \cdot q_2)
 \leq \lambda \cdot D_{\mathrm{KL}}(p_1 \Vert q_1) + (1-\lambda) \cdot D_{\mathrm{KL}}(p_2 \Vert q_2).

* (**[[Ανεξαρτησία (Θεωρία πιθανοτήτων)|Ανεξάρτητες μεταβλητές]]**) Η απόκλιση Κούλμπακ-Λάιμπλερ είναι αθροιστική για τις ανεξάρτητες τυχαίες μεταβλητές X και Y, δηλαδή με p_{(X, Y)}(x, y) = p_1(x) p_2(y) και q_{(X, Y)}(x, y) = q_1(x) q_2(y),
::
D_{\mathrm{KL}}(p \Vert q) = D_{\mathrm{KL}}(p_1 \Vert q_1) + D_{\mathrm{KL}}(p_2 \Vert q_2).

(p \Vert q),
:
\begin{align}
D_{\mathrm{KL}}(p \Vert q)
 & = \sum_{x \in \mathcal{X}} \sum_{y \in \mathcal{Y}} p_{(X, Y)}(x, y) \log_2 \left( \frac{p_{(X, Y)}(x, y)}{q_{(X, Y)}(x, y)}\right) \\
 & = \sum_{x \in \mathcal{X}} \sum_{y \in \mathcal{Y}} p_{(X, Y)}(x, y) \log_2 p_{(X, Y)}(x, y) - \sum_{x \in \mathcal{X}} \sum_{y \in \mathcal{Y}} p_{(X, Y)}(x, y) \log_2 q_{(X, Y)}(x, y) \\
 & = \sum_{x \in \mathcal{X}} \sum_{y \in \mathcal{Y}} p_1(x) p_2(y) \log_2 (p_1(x) p_2(y)) - \sum_{x \in \mathcal{X}} \sum_{y \in \mathcal{Y}} p_1(x) p_2(y) \log_2 (q_1(x) q_2(y)) \\
 & = \sum_{x \in \mathcal{X}} \sum_{y \in \mathcal{Y}} p_1(x) p_2(y) \log_2 p_1(x) + \sum_{x \in \mathcal{X}} \sum_{y \in \mathcal{Y}} p_1(x) p_2(y) \log_2 p_2(y) \\
 & \qquad \qquad - \sum_{x \in \mathcal{X}} \sum_{y \in \mathcal{Y}} p_1(x) p_2(y) \log_2 q_1(x) - \sum_{x \in \mathcal{X}} \sum_{y \in \mathcal{Y}} p_1(x) p_2(y) \log_2 q_2(y) \\
 & = \sum_{x \in \mathcal{X}} p_1(x) \log_2 p_1(x) \left( \sum_{y \in \mathcal{Y}} p_2(y) \right) + \sum_{y \in \mathcal{Y}} p_2(y) \log_2 p_2(y) \left( \sum_{x \in \mathcal{X}} p_2(x) \right) \\
 & \qquad \qquad - \sum_{x \in \mathcal{X}} p_1(x) \log_2 q_1(x) \left( \sum_{y \in \mathcal{Y}} q_2(y) \right) - \sum_{y \in \mathcal{Y}} q_1(y) \log_2 q_2(y) \left( \sum_{x \in \mathcal{X}} q_2(x) \right) \\
 & = \sum_{x \in \mathcal{X}} p_1(x) \log_2 \left(\frac{p_1(x)}{p_2(x)} \right) - \sum_{x \in \mathcal{X}} q_1(x) \log_2 \left( \frac{q_1(x)}{q_2(x)} \right) \\
 & = D_{\mathrm{KL}}(p_1 \Vert q_1) + D_{\mathrm{KL}}(p_2 \Vert q_2).
\end{align}

}}
## Δείτε επίσης
* Εντροπία πληροφοριών
* Ανισότητα Γκιμπς
* Ανισότητα Γένσεν
## Παραπομπές


Κατηγορία:Θεωρία της Πληροφορίας
Κατηγορία:Όρος με ελλιπή ελληνική μετάφραση