1928年,R.V.L.哈特莱提出了信息定量化的初步设想,他将符号取值数m的对数定义为信息量,即I=log2m。对信息量作深入、系统研究的是信息论创始人C.E.仙农。1948年,仙农指出信源给出的符号是随机的,信源的信息量应是概率的函数,以信源的信息熵表示,即,其中Pi表示信源不同种类符号的概率,i= 1,2,…,n。例如,若一个连续信源被等概率量化为4层,即4 种符号。这个信源每个符号所给出的信息最应为,与哈特莱公式I=log2m=log24=2bit一致。实质上哈特莱公式是等概率时仙农公式的特例。