Gesamentlike entropie

In Inligtingsteorie, is Gesamentlike entropie 'n maatstaf van die onsekerheid wat verband hou met 'n stel van ewekansige veranderlike.

Definisie 
Die gesamentlike Shannon entropie (in bisse) van twee diskrete ewekansige veranderlike  en  met beelde  en  word gedefinieer as

 

waar  en  is besondere waardes van  en , onderskeidelik,  is die gesamentlike waarskynlikheid van hierdie waardes wat saam voorkom, en  word gedefinieer as 0 as .

Vir meer as twee ewekansige veranderlikes  brei die uit na

  

waar  is besondere waardes van , onderskeidelik,  is die waarskynlikheid dat hierdie waardes saam voorkom, en  word gedefinieer as 0 as .

Verwysings 

Inligtingsteorie