的集合，formula_3是定义在formula_2上的随机变量。信息熵是随机事件不确定性的度量。信息熵与物理学中的热力学熵有着紧密的联系:其中S(X)为热力学熵，H(X)为信息熵，formula_6为波兹曼常数。事实上这个关系也就是广义的波兹曼熵公式，或是在正则系综内的热力学熵表示式。如此可知，玻尔兹曼与吉布斯在统计物理学中对熵的工作，启发了信息论的熵。信息熵是信源编码定理中，压缩率的下限。当我们用少于信息熵的资讯量做编码，那么我们一定有资讯的损失。夏农在大数定律和的基础上定义了和典型-{序