Entropie (Inligtingsteorie)

In Inligtingsteorie, is die entropie van 'n  ewekansige veranderlike die gemiddelde vlak van "inligting", "verrassing" of "onsekerheid" ingebore aan die veranderlike se moontlike uitkomste. Gegewe 'n diskrete ewekansige veranderlike , met moontlike uitkomste , wat met waarskynlikheid   plaasvind, die entropie van  word formeel gedefinieer as:

waar  dui die som bo die veranderlike se moontlike waardes aan. Die keuse van basis vir , die logaritme, verskil vir verskillende toepassings. Basis 2 gee die eenheid van bis (of "shannons"), terwyl basis e gee "natuurlike eenhede" nat, en basis 10 gee eenhede van "dits", "bans", of "hartleys". 'n Ekwivalente definisie van entropie is die verwagte waarde van die selfinligting van 'n veranderlike.

Die konsep van inligtingsentropie is deur Claude Shannon bekendgestel in sy 1948-artikel "A Mathematical Theory of Communication", en word ook na verwys as Shannon-entropie.

Sien ook 
 Entropie (termodinamika)

Verwysings 

Inligtingsteorie