Supongamos que tenemos una fuente de información que emite o transmite "símbolos" de cierto conjunto formula_1 que por propósitos pedagógicos llamaremos simplemente "palabras", de forma que la probabilidad de emisión de una palabra sea independiente del símbolo anterior formula_2, siendo formula_3.