Dada una fuente "F" que emite mensajes, resulta frecuente observar que los mensajes emitidos no resultan equiprobables sino que tienen una cierta probabilidad de ocurrencia dependiendo del mensaje.