Una forma de «medir la información» asociada a un mensaje o hecho observado es calcular como algunas probabilidades han crecido y otras han decrecido.