Tal como definió Shannon (1948), la cantidad de información "h" (en bits) de cada símbolo "a" con probabilidad no nula "w" es