Αμοιβαία πληροφορία

Στην θεωρία πληροφορίας, η αμοιβαία πληροφορία είναι η ποσότητα που ορίζεται ως η σχετική εντροπία μεταξύ της από-κοινού κατανομής και το γινόμενο των περιθωριακών κατανομών, δύο διακριτών τυχαίων μεταβλητών  και , ως εξής:

ή ισοδύναμα, με την χρήση της απόκλισης Kullback-Leibler  ως εξής:

Ιδιότητες 

 (Μη-αρνητικότητα) Για κάθε τυχαία μεταβλητή , ισχύει ότι .

 (Συμμετρία) Για κάθε δύο τυχαίες μεταβλητές  και , ισχύει ότι . 

Προκύπτει από τον ορισμό της αμοιβαίας πληροφορίας και το γεγονός ότι .

 .

χρησιμοποιώντας ότι  και .

Από την παρακάτω ιδιότητα προκύπτει η ονομασία αμοιβαία πληροφορία:

 

Από τις ιδιότητες της από-κοινού πληροφορίας, προκύπτει ότι . Επομένως, από την προηγούμενη ιδιότητα προκύπτει ότι,

Δείτε επίσης 
 Εντροπία πληροφοριών
 Απόκλιση Kullback-Leibler
 Από-κοινού εντροπία
 Υπό-συνθήκη εντροπία

Παραπομπές 

Θεωρία της Πληροφορίας