，也更有实在意义。信息论却不考虑一段消息的重要性或内在意义，因为这些是数据的质量的问题而不是数据量（数据的长度）和可读性方面上的问题，后者只是由概率这一因素单独决定的。
信息的度量.
信息熵.美国数学家克劳德·香农被称为“信息论之父”。人们通常将香农于1948年10月发表于《》上的论文《》作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和于1920年代先后发表的研究成果。在该文中，香农给出了信息熵的定义：其中formula_2为有限个事件x的集合，