La entropía "H" (en bits) es la suma ponderada, de todos los símbolos "a" con probabilidad no nula "w", de la cantidad de información de cada símbolo: