消息所用数据位的数目与消息中所包含的实际信息的数据位的数目的差值。数据压缩是一种用来消除不需要的冗余的方法，校验和是在经过有限信道容量的噪声信道中通信，为了进行错误校正而增加冗余的方法。
定量定义.在描述原始数据的冗余时，信源信息率为平均每个符号的熵。对于无记忆信源，这仅是每个符号的熵；而对于一个随机过程的最普遍形式为前 "n" 个符号的联合熵除以 "n" 之后，随着 "n" 趋于无穷时的极限在信息论中经常提及一种语言的“熵率”或者“信息熵”。当信源是英文散文时这是正确的。由于