情報理論
1948年6月と10月、クロード・シャノンは Bell System Technical Journal 誌で古典的論文 "A Mathematical Theory of Communication" を発表し、情報理論を学問分野として確立し、世界的な注目を浴びた。
この論文以前、ベル研究所で考えられていた情報の理論は限定的であり、あらゆる事象が同じ確率で発生することを暗黙の前提としていた。1924年、ハリー・ナイキストの論文 Certain Factors Affecting Telegraph Speed(テレグラフの速度を制限する要因)では、通信システムにおける「情報; intelligence」と「回線速度」の定量化に関する理論が述べられている。それによると、情報の転送速度 W は W = K log  m {\displaystyle W=K\log m} で表され、m は選択可能な電圧レベル数、K はある定数である。1928年、ラルフ・ハートレーの論文 Transmission of Information(情報の伝送)では、測定可能な量として「情報; information」という用語が使われている。