信息论
美國數學家克劳德·香农被称为“信息论之父”。人们通常将香农于1948年10月发表于《》上的论文《》作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和於1920年代先後發表的研究成果。在该文中，香农给出了信息熵的定义：