سلسلة ماركوف
تقيس إنتروبيا شانون المعلومات الواردة في الرسالة بدلاً من الجزء المحدد من الرسالة (أو الذي يمكن التنبؤ به). "تشمل الأمثلة الأخيرة التكرار في بنية اللغة أو الخصائص الإحصائية المتعلقة بترددات حدوث أزواج الحروف أو الكلمات، والثلاثيات (triplets) وما إلى ذلك." انظر سلسلة ماركوف .