سلسلة ماركوف
سلسلة ماركوف في وقت متقطع هي السلسلة X1, X2, X3... متكونة من متغيرات عشوائية. مجموعة القيمات الممكنة تدعي فضاء الحالات. وXn تدعى حالة العملية في الآن n.