基本内容 实际信源多为有记忆序列信源,只有在掌握全部序列的概率特性后,才能计算出该信源中平均一个符号的熵HL(U)(L为符号数这通常是困难的。如果序列信源简化为简单的一阶、齐次、遍历马氏链,则比较简单。根据符号的条件概率Pji(即前一符号为i条件下后一符号为j的概率),可以求出遍历信源的稳定概率Pi,再由Pi和Pji求出HL(U)。即如图1 。其中H(U|V)称为条件熵,即前一符号V已知时后一符号U的不确定度。信息量与信息熵在概念上是有区别的。在收到符号之前是不能肯定信源到底发送什么符号,通信的目的就是使接收者在收到符号后,解除对信源存在的疑义(不确定度),使不确定度变为零。这说明接收者从发送者的信源中获得的信息量是一个相对的量(H(U)-0)。而信息熵是描述信源本身统计特性的物理量,它表示信源产生符号的平均不确定度,不管有无接收者,它总是客观存在的量。从信源中一个符号V中获取另一符号u的信息量可用互信息表示,即I(U;V)= H(U)-H(U|V)表示在收到V以后仍然存在对信源符号U的疑义(不确定度)。一般情况下I(U;V)≤H(U)即获得的信息量比信源给出的信息熵要小。连续信源可有无限个取值,输出信息量是无限大,但互信息是两个熵值之差,是相对量。这样,不论连续或离散信源,接收者获取的信息量仍然保持信息的一切特性,且是有限值。信息量的引入,使通信、信息以及相关学科得以建立在定量分析的基础上,为各有关理论的确立与发展提供了保证。所谓信息量是指从N个相等可能事件中选出一个事件所需要的信息度量或含量,也就是在辩识N个事件中特定的一个事件的过程中所需要提问"是或否"的最少次数.香农(C. E. Shannon)信息论应用概率来描述不确定性。信息是用不确定性的量度定义的.一个消息的可能性愈小,其信息愈多;而消息的可能性愈大,则其信息愈少.事件出现的概率小,不确定性越多,信息量就大,反之则少。