Entropie (Inligtingsteorie)

In Inligtingsteorie, is die entropie van 'n  ewekansige veranderlike die gemiddelde vlak van "inligting", "verrassing" of "onsekerheid" ingebore aan die veranderlike se moontlike uitkomste. Gegewe 'n diskrete ewekansige veranderlike , met moontlike uitkomste , wat met waarskynlikheid   plaasvind, die entropie van  word formeel gedefinieer as:

waar  dui die som bo die veranderlike se moontlike waardes aan. Die keuse van basis vir , die logaritme, verskil vir verskillende toepassings. Basis 2 gee die eenheid van bis (of "shannons"), terwyl basis e gee "natuurlike eenhede" nat, en basis 10 gee eenhede van "dits", "bans", of "hartleys". 'n Ekwivalente definisie van entropie is die verwagte waarde van die selfinligting van 'n veranderlike.

duimnael|300px|Twee bisse entropie: In die geval van twee billike muntgooie, die inligtingsentropie in bisse is die basis-2-logaritme van die aantal moontlike uitkomste; met twee munte is daar vier moontlike uitkomste, en twee bisse van entropie.In die algemeen is inligtingsentropie die gemiddelde hoeveelheid inligting wat deur 'n gebeurtenis oorgedra word, wanneer alle moontlike uitkomste in ag geneem word.

Die konsep van inligtingsentropie is deur Claude Shannon bekendgestel in sy 1948-artikel "A Mathematical Theory of Communication", en word ook na verwys as Shannon-entropie.

 Sien ook 
 Entropie (termodinamika)

 Verwysings 

Kategorie:Inligtingsteorie