I norsk tekst opptrer omtrent 32 = 2 tegn eller bokstaver. Hvis de hadde opptrådt fritt i en tekst, ville hver av dem opptre med en sannsynlighet 1/32 og med et tilsvarende informasjonsinnhold av 5 bits. Men sannsynlighetene for hver bokstav er ganske forskjellig og kan enkelt bestemmes ved å telle opp hvor mange bokstaver av hver sort man har i en større tekst. Da kommer man frem til et informasjonsinnhold på ca. 4 bits per bokstav. Hadde man i stedet talt opp ord må samme måte, ville informasjonsinnholdet bli enda mindre. Det skyldes at i mange ord vil bestemte bokstavkombinasjoner ikke opptre. For eksempel på norsk vil ikke en h kunne følge en j. På denne måten finner man at informasjonsinnholdet kommer ned under 3 bits per bokstav. Ved å se på større symboler med enda flere bokstaver, vil informasjonsinnholdet bli enda lavere. Shannon spekulerte om det kunne komme helt ned i en bit per bokstav eller tegn.