الإنتروبيا كتحدد مقدار عدم التأكد الي كتنطوي عليه قيمة واحد من المتغيرات العشوائية أو واحد من نتائج العمليات العشوائية.