系统有温差,表明“有序”;没有温差,表明“无序”。从这个角度来看,熵增加的过程是有序向无序的过程 我们从不确定性的角度引入了“信息熵”。但是“熵”并不是由于描述不确定性而首先引入的新词。它是从物理中的热力学领域借来的。信息熵表示信息的确定性(有序性)。比如,一信息由两个事件组成,事件的概率分别为1/200 和 199/200。可以计算,这个信息的信息熵很小,即概率为199/200的事件很大可能发生在收到的信息中。如果上述信息的事件的概率分别为1/2 和 1/2,这时信息的信息熵达到最大值,我们很难判断哪个事件可能发生在收到的信息中(信息的无序性)。 熵的概念也被推广到统计力学等学科上,也被用于社会科学中。在社会科学中,熵的概念的应用有时有令人混淆之处。人们用“正熵”来表示“不能再被利用的热量”,这时是热力学熵的概念。从这个角度来看,人类所有的活动都使熵增加。但是人们有时用熵来表示有序性,这时人类社会的组织化,秩序化都使熵减少。