余为0，效率为100%，因此无法压缩。
其它的冗余概念.两个变量之间"冗余"的度量是互信息或者正规化变量。多个变量之间冗余的度量是全相关（total correlation）。压缩数据的冗余是指 formula_9 个消息的期望压缩数据长度为formula_10（或期望数据熵率 formula_11）与熵值 formula_12（或熵率 formula_13）的差。（这里我们假设数据是遍历的也是平稳的，例如无记忆信源。）虽然熵率之差 formula_14 会随着 formula