）的熵和目标编码表的大小的一个函数，给出了此函数的上界和下界。
陈述.信源编码是从信息源的符号（序列）到码符号集（通常是bit）的映射，使得信源符号可以从二进制位元（无损信源编码）或有一些失真（有损信源编码）中准确恢复。这是在数据压缩的概念。
信源编码定理.在信息论中，信源编码定理非正式地陈述为：
码符号的信源编码定理.令 表示两个有限编码表，并令 和 （分别）表示来自那些编码表的所有有限字的集合。设 为从 取值的随机变量，令