把信息描述为信息熵,是状态量,其存在是绝对的;信息量是熵增,是过程量,是与信息传播行为有关的量,其存在是相对的。在考虑到系统性、统计性的基础上,认为:信息量是因具体信源和具体信宿范围决定的,描述信息潜在可能流动价值的统计量。本说法符合熵增原理所要求的条件:一、“具体信源和信宿范围”构成孤立系统,信息量是系统行为而不仅仅是信源或信宿的单独行为。二、界定了信息量是统计量。此种表述还说明,信息量并不依赖具体的传播行为而存在,是对“具体信源和具体信宿”的某信息潜在可能流动价值的评价,而不是针对已经实现了的信息流动的。由此,信息量实现了信息的度量。如何计算信息量的多少?在日常生活中,极少发生的事件一旦发生是容易引起人们关注的,而司空见惯的事不会引起注意,也就是说,极少见的事件所带来的信息量多。如果用统计学的术语来描述,就是出现概率小的事件信息量多。因此,事件出现得概率越小,信息量愈大。即信息量的多少是与事件发生频繁(即概率大小)成反比。⒈如已知事件Xi已发生,则表示Xi所含有或所提供的信息量H(Xi) = −例题:若估计在一次国际象棋比赛中谢军获得冠军的可能性为0.1(记为事件A),而在另一次国际象棋比赛中她得到冠军的可能性为0.9(记为事件B)。试分别计算当你得知她获得冠军时,从这两个事件中获得的信息量各为多少?H(A)=-≈3.32(比特)H(B)=-≈0.152(比特)⒉统计信息量的计算公式为:Xi —— 表示第i个状态(总共有n种状态);P(Xi)——表示第i个状态出现的概率;H(X)——表示用以消除这个事物的不确定性所需要的信息量。例题:向空中投掷硬币,落地后有两种可能的状态,一个是正面朝上,另一个是反面朝上,每个状态出现的概率为1/2。如投掷均匀的正六面体的骰子,则可能会出现的状态有6个,每一个状态出现的概率均为1/6。试通过计算来比较状态的不肯定性与硬币状态的不肯定性的大小。H(硬币)= -(2×1/2)×≈1(比特)H(骰子)= -(1/6×6)×≈2.6(比特)由以上计算可以得出两个推论:[推论1] 当且仅当某个P(Xi)=1,其余的都等于0时, H(X)= 0。[推论2]当且仅当某个P(Xi)=1/n,i=1, 2,……, n时,H(X)有极大值log n。如今被称为信息化社会,现代情报学理论及其应用,非常注重信息量化测度。