Ինֆորմացիոն էնտրոպիան ( H {\displaystyle H} ) ինֆորմացիայի քաոսի չափն է, առաջնային այբուբենի ինչ֊որ սիմվոլի հայտնվելու անորոշությունը։ Ինֆորմացիոն կորուստների բացակայության դեպքում էնտրոպիան հավասար է փոխանցվող հաղորդագրության մեկ սիմվոլի համար պահանջվող ինֆորմացիայի քանակին։ Էնտրոպիան տվյալների աղբյուրի համար, հավանականությունների մոդելի համատեքստում, որոշված քանակն է։ Տվյալների աղբյուրի էնտրոպիայի աստիճանը՝ տվյալների մեկ տարրի համար, բիտերի միջին քանակն է, որը պահանջվում է նրա ծածկագրման համար՝ առանց ինֆորմացիայի կորուստի՝ լավագույնս կոդավորելու դեպքում։ Էնտրոպիան սահմանափակում է առավելագույն հնարավոր, առանց կորուստների սեղմումը, որը կարող է իրագործվել տեսականորեն՝ սովորական հավաքածույի օգտագործման դեպքում, կամ գործնականում՝ Հաֆմանի կոդավորման, Լեմպել֊Զիվա֊Վելչայի կոդավորման, կամ հանրահաշվական կոդավորման օգտագործման դեպքում։