候，formula_6表示能够得到的最大压缩率。与相对信息冗余互补的是效率formula_7，于是formula_8。均匀分布的无记忆信源的冗余为0，效率为100%，因此无法压缩。
其它的冗余概念.两个变量之间"冗余"的度量是互信息或者正规化变量。多个变量之间冗余的度量是全相关（total correlation）。压缩数据的冗余是指 formula_9 个消息的期望压缩数据长度为formula_10（或期望数据熵率 formula_11）与熵值 formula_12（或熵率