，非正式地说，一个随机过程的熵率或信源信息率是在一个随机过程的平均信息的时间密度。对于一个索引可数的随机过程，熵率 Η("X") 是 "n" 个 "X" 过程作为成员的联合熵，在 "n" 趋向无穷时的极限：前提是该极限存在。另一种相关量为：对于强平稳随机过程， formula_3熵率可以被认为是随机信源的一般特性；这是渐近均分割性。
马尔可夫链的熵率.因为由不可约、非周期性、持久性的马尔可夫链定义的随机过程呈平稳分布，熵率与初始分布无关。例如，对于在可数状态下定义的，转