记忆信源的消息之间没有相互依赖性，所以无记忆信源的信息率为formula_2。信源的绝对信息率为即是消息空间基数的对数值。这个公式也称作Hartley函数。这是传送用这个字母表表示的信息的最大信息率。其中对数要根据所用的测量单位选择合适的底数。当且仅当信源是无记忆的且均匀分布的时候，绝对信息率等于信息率。绝对信息冗余定义为即信息率与绝对信息率之间的差。formula_5称为相对信息冗余，它表示了最大的数据压缩率，这个压缩率用文件大小减小比例所表示。当用原始文件与压缩后的文件表示的时候，f