信源编码定理 在信息论中香农的信源编码定理或无噪声编码定理确立了数据压缩的限度以及香农熵的操作意义 信源编码定理表明在极限情况下随着独立同分布随机变量数据流的长度趋于无穷不可能把数据压缩得码率每个符号的比特的平均数比信源的香农熵还小又不丢失信息但是有可能使码率任意接近香农熵且损失的概率极小 码符号的信源编码定理把码字的最小可能期望长度看作输入字看作随机变量的熵和目标编码表的大小的一个函数给出了此函数的上界和下界