I informasjonsteori er entropi det samme som uforutsigbarhet. En linje bestående av repetisjon av et eneste tegn etter hverandre vil være fullstendig forutsigbart, og entropi er dermed fraværende. En tekst som består av kjente ord og overholder de grammatiske regler vil være mer uforutsigbart, og med det mer entropisk, selv om det i stor grad er mulig å gjette seg til hvilket tegn som er det neste ut ifra informasjonen man har tilegnet seg fra de foregående ordene og setningene. Inneholder teksten skrivefeil og brudd på grammatikkreglene øker entropien mens forutsigbarheten minker, og sannsynligheten for tap av informasjon øker i takt med antall feil. En linje satt tilfeldig sammen av en samling helt tilfeldige tegn har ingen informasjon å vise til, forutsigbarheten er null og entropien maksimal.