ルートヴィッヒ・ボルツマン
確率の異なる事象群を扱う情報理論の基礎となる数学は、ルートヴィッヒ・ボルツマンとウィラード・ギブスによる統計力学からもたらされた。情報理論におけるエントロピーと熱力学におけるエントロピーは単なる用語の類似以上の関連がある（ランダウアーの原理参照）。