Markov chain
تقيس إنتروبيا شانون المعلومات الواردة في الرسالة بدلاً من الجزء المحدد من الرسالة (أو الذي يمكن التنبؤ به). "تشمل الأمثلة الأخيرة التكرار في بنية اللغة أو الخصائص الإحصائية المتعلقة بترددات حدوث أزواج الحروف أو الكلمات، والثلاثيات (triplets) وما إلى ذلك." انظر سلسلة ماركوف .