ula_2出现的机率为formula_3），则有：这个公式和热力学的熵的本质一样，故也称为熵。从公式可知，当各个符号出现的机率相等，即「不确定性」最高时，信息熵最大。故信息可以视为「不确定性」或「选择的自由度」的度量。美国数学家、控制论的奠基人诺伯特·维纳在他的《控制论——动物和机器中的通讯与控制问题》中认为，信息是“我们在适应外部世界，控制外部世界的过程中同外部世界交换的内容的名称”。英国学者阿希贝（）认为，信息的本性在于事物本身具有变异度。意大利学者朗高在《信息论：新的趋势与未决问题》中认为，信息