Claude Elwood Shannon fue uno de los primeros en interesarse en la redundancia estadística de las lenguas naturales, en particular de la lengua inglesa.