Om informasjonsmengden en kilde tilskrives brukes bokstaven . H er et tall som kan betraktes som det gjennomsnittlige antall bits i et budskap. H kalles også for informasjonskildens . Entropibegrepet kan brukes til kompliserte situasjoner. et realistisk tilfelle er en informasjonskilde som lik telegrafien lager budskaper i form av rekker med symboler tatt ut av et fast "alfabet" av symboler. Noen symboler vil være mer hyppige enn andre. Entropien H kan betraktes som det gjennomsnittlige antall bits kilden frembringer per symbol i sitt alfabet.