信源編碼定理

在信息論中 ， 香農的信源編碼定理 （ 或無噪聲編碼定理 ） 確立了數據壓縮的限度 ， 以及香農熵的操作意義 。 信源編碼定理表明 （ 在極限情況下 ， 隨着獨立同分布隨機變量數據流的長度趨於無窮 ） 不可能把數據壓縮得碼率 （ 每個符號的比特的平均數 ） 比信源的香農熵還小 ， 又不丟失信息 。 但是有可能使碼率任意接近香農熵 ， 且損失的概率極小 。 碼符號的信源編碼定理把碼字的最小可能期望長度看作輸入字 （ 看作隨機變量 ） 的熵和目標編碼表的大小的一個函數 ， 給出了此函數的上界和下界 。