Using a statistical description for data, information theory quantifies the number of bits needed to describe the data, which is the information entropy of the source.
Χρησιμοποιώντας μία στατιστική περιγραφή για δεδομένα, η θεωρία της πληροφορίας προσδιορίζει τον αριθμό των bits που χρειάζεται για να περιγραφούν τα δεδομένα, ο οποίος είναι η εντροπία πληροφορίας της πηγής.