实验，则熵为codice_2，因为可以用长度为codice_2的比特流表示。但是如果一枚硬币的两面完全相同，那个这个系列抛硬币事件的熵等于零，因为结果能被准确预测。现实世界里，我们收集到的数据的熵介于上面两种情况之间。另一个稍微复杂的例子是假设一个随机变量codice_5，取三种可能值，概率分别为，那么编码平均比特长度是：。其熵为3/2。因此熵实际是对随机变量的比特量和顺次发生概率相乘再总和的数学期望。
定义.依据Boltzmann's H-theorem，香农把随机变量"