Dette uttrykket for informasjonsinnholdet ble gitt av Claude Shannon i 1948, og har akkurat samme form som den termodynamiske entropien til Gibbs. Konstanten spiller i informasjonsteori samme rolle som Boltzmanns konstant i statistisk mekanikk. Og man kan lett argumentere for at det skal være en slik direkte sammenheng som gjort allerede i 1927 av Szilard. Desto større entropien er for et termodynamisk system, desto mer informasjon må man angi for å beskrive systemets mikrotilstander.