Bedingte Entropie

Bedingte Entropie is in da Informationstheorie a Maß fia de „Ungewissheit“ iwan Weat vo oana Zuafoisvariablen , de wo vableibt, nachdem as Ergebnis vo oana andan Zufoisvariablen  bekannt wead. De bedingte Entropie wead  gschriem und hod oan Weat zwischen 0 und , vo da urspringlichn Entropie von . Sie wead in da gleichn Maßeinheit wia de Entropie gmessn.

Speziej hod sie an Weat 0, wenn aus  da Weat vo  funktional bestimmt weadn ko und an Wert , wenn  und  stochastisch unabhängig san.

 Definition 
Wenn  a diskrete Zufoisvariable und  ia Weatevoarat is, d. h.  is a hextns obzejbore Menge mit   ( soi jeds Element vo  mit ned negativa Woascheinlichkeit onehma), dann is de Entropie vo  duach

definiad, wo fia  tipischaweis de Weate 2 (Bit) oda e (Nat) fia de entsprechendn Einheitn ognumma wean.

Wenn owa  a Ereignis mit  is, dann definiad ma de bedingte Entropie vo  gegem  duach Ersetzn vo da Woarscheinlichkeit duach de bedingte Woarscheinlichkeit, d. h.
.

Etz sei  a diskrete Zufoisvariable mit Weatevoarat . Dann is de bedingte Entropie vo  gegem  definiad ois gewichtetes Mittl der bedingten Entropien von  gegeben den Ereignissen  für , d. h.
.

Auf hehara Abstraktionsebene handeltsa si bei  um an Erwortungswert vo da Informationsfunktion  und bei
 um de bedingte Erwortung vo da Informationsfunktion  in Bezug af de vo  afgspanntn -Algebra.Olav Kallenberg: Foundation's of Modern Probability. Springer, New York 2002, ISBN 0387953132, S. 220.

 Beleg 

Kategorie:Stochastik
Kategorie:Informationstheorie