Mængden af information i en besked kan måles ved hjælp af begrebet konceptet entropi. Entropi er et mål for usikkerheden i en informationskilde og kan udtrykkes som sandsynligheden for forskellige hændelser. Jo større sandsynligheden er for en bestemt hændelse, desto mindre information giver den.