着紧密的联系:其中S(X)为热力学熵，H(X)为信息熵，formula_6为波兹曼常数。事实上这个关系也就是广义的波兹曼熵公式，或是在正则系综内的热力学熵表示式。如此可知，玻尔兹曼与吉布斯在统计物理学中对熵的工作，启发了信息论的熵。信息熵是信源编码定理中，压缩率的下限。当我们用少于信息熵的资讯量做编码，那么我们一定有资讯的损失。夏农在大数定律和的基础上定义了和典型序列。典型集是典型序列的集合。因为一个独立同分布的formula_3序列属于由formula_3定义的典型集的机