correlation）。压缩数据的冗余是指 formula_9 个消息的期望压缩数据长度为formula_10（或期望数据熵率 formula_11）与熵值 formula_12（或熵率 formula_13）的差。（这里我们假设数据是遍历的也是平稳的，例如无记忆信源。）虽然熵率之差 formula_14 会随着 formula_15 增加而任意小，实际的差 formula_16 已不能（尽管理论上可以）在有限熵的无记忆信源情况下上界为 1。