Las probabilidades de aparición de ciertas secuencias de signos son objeto de estudio de la teoría de la información, de hecho la cantidad total de información en una secuencia de cierto tipo viene dada por: