，后者只是由概率这一因素单独决定的。
信息的度量.
信息熵.美国数学家克劳德·香农被称为“信息论之父”。人们通常将香农于1948年10月发表于《》上的论文《》作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和于1920年代先后发表的研究成果。在该文中，香农给出了信息熵的定义：其中formula_2为有限个事件x的集合，formula_3是定义在formula_2上的随机变量。信息熵是随机事件不确定性的度量。信息熵与物理学中的热力学熵有着紧密的联