Claude Shannon
H是夏農資訊熵的前身。克劳德·香农在H定理後提出他對資訊熵的量測香农的熵 (信息论)有一個物理量稱為資訊熵，或資訊不確定性，是"H"的相反數。藉由把資訊熵由離散延伸成連續的情況（也稱作微分熵），就可以得到(1)的公式，因此也可以對"H"有更多的理論。