Shannon demostró, oportunamente, que no es posible comprimir una fuente estadísticamente más allá del nivel indicado por su entropía.