标题：信道容量
概念
什么是信道容量信息论不研究信号在信道中传输的物理过程，它假定信道的传输特性是已知的，这样信道就可以用抽象的数学模型来描述。在信息论中，信道通常表示成：{X,P(Y|X),Y}，即信道输入随机变量X、输出随机变量Y以及在输入已知的情况下，输出的条件概率分布 P(Y|X)。  信道容量根据信道的统计特性是否随时间变化分为：
①恒参信道（平稳信道）：信道的统计特性不随时间变化。卫星通信信道在某种意义下可以近似为恒参信道。
②随参信道（非平稳信道）：信道的统计特性随时间变化。如短波通信中，其信道可看成随参信道
信道容量是信道的一个参数，反映了信道所能传输的最大信息量，其大小与信源无关。对不同的输入概率分布，互信息一定存在最大值。我们将这个最大值定义为信道的容量。一但转移概率矩阵确定以后，信道容量也完全确定了。尽管信道容量的定义涉及到输入概率分布，但信道容量的数值与输入概率分布无关。我们将不同的输入概率分布称为试验信源，对不同的试验信源，互信息也不同。其中必有一个试验信源使互信息达到最大。这个最大值就是信道容量。
信道容量有时也表示为单位时间内可传输的二进制位的位数（称信道的数据传输速率，位速率），以位/秒（b/s）形式予以表示，简记为bps。
通信的目的是为了获得信息，为度量信息的多少（信息量），我们用到了熵这个概念。在信号通过信道传输的过程中，我们涉及到了两个熵，发射端处信源熵——即发端信源的不确定度，接收端处在接收信  信道容量号条件下的发端信源熵——即在接收信号条件下发端信源的不确定度。接收到了信号，不确定度小了，我们也就在一定程度上消除了发端信源的不确定性，也就是在一定程度上获得了发端信源的信息，这部分信息的获取是通过信道传输信号带来的。如果在通信的过程中熵不能够减小（不确定度减小）的话，也就没有通信的必要了。最理想的情况就是在接收信号条件下信源熵变为0（不确定度完全消失），这时，发端信息完全得到。
通信信道，发端 X，收端 Y。从信息传输的角度看，通过信道传输了I(X;Y)=H(X)-H(X|Y），（接收Y前后对于X的不确定度的变化）。I该值与两个概率有关， p(x),p(y|x），特定信道转移概率一定，那么在所有 p(x) 分布中，max I(X;Y）就是该信道的信道容量C（互信息的上凸性）。
单用户信道容量信道是由输入集A、输出集B和条件概率P(y│x），y∈B,x∈A所规定的。当B是离散集时，归一性要求就是（图1）  图1当B是连续集时，P(y│x）应理解为条件概率密度，上式就成为积分形式。如A和B都是离散集，信道所传送的信息率（每符号）就是输出符号和输入符号之间的互信息  图2（图2）
互信息与P(y│x）有关，也与输入符号的概率P(x）有关，后者可由改变编码器来变动。若能改变P(x）使I(X;Y）最大，就能充分利用信道传输信息的能力，这个最大值就称为单用户信道容量C，即 （图3）  图3式中∑为所有允许的输入符号概率分布的集。
当A或B是连续集时，相应的概率应理解为概率密度，求和号应改为积分，其他都相仿。
多用户信道容量多用户信道容量问题要复杂一些。以二址接入信道为例， 这种信道有两个输入 X2∈A1和X2∈A2，分别与两个信源联结，发送信息率分别为R1和R2；有一个输出Y，用它去提取这两个信源的信息。若信道的条件概率为P(y│x1,x2），则（图4）  图4式中I(X1;Y│X2）为条件互信息，就是当X2已确知时从Y中获得的关于X1的信息； I（X2;Y│X1）的意义相仿；I(X1,X2;Y）为无条件互信息，就是从Y中获得的关于X1和X2的信息。E1和 E2分别为所有允许的输入符号的概率分布P1(x1）和P2(x2）的集。
当X1和X2相互独立时，这些条件互信息要比相应的无条件互信息大，因此两个信息率R1和R2的上界必为上面三个式子所限制。若调整P1(x1）和P2(x2）能使这些互信息都达到最大，就得到式中的C1，C2，C0。（图5）  图5因此R1和R2的范围将如图中的一个截角四边形区域，其外围封闭线就是二址接入信道的容量上界。m址接入信道有类似的结果。更一般的多用户的情况还要复杂。
要使信道容量有确切的含义，尚须证明相应的编码定理，就是说当信息率低于信道容量时必存在一种编码方法，使之在信道中传输而不发生错误或错误可任意逼近于零。已经过严格证明的只有无记忆单用户信道和多用户信道中的某些多址接入信道和退化型广播信道。对某些有记忆信道，只能得到容量的上界和下界，确切容量尚不易规定。
计算
相关概念信道的输入、输出都取值于离散符号集，且都用一个随机变量来表示的信道就是离散单符号信道。由于信道中存在干扰，因此输入符号在传输中将会产生错误，这种信道干扰对传输的影响可用传递概率来描述。
信道传递概率通常称为前向概率。它是由于信道噪声引起的，所以通常用它描述信道噪声的特性。
有时把p(x）称为输入符号的先验概率。而对应的把p(x|y）称为输入符号的后验（后向）概率。
平均互信息 I(X;Y) 是接收到输出符号集Y后所获得的关于输入符号集X的信息量。信源的不确定性为H(X），由于干扰的存在，接收端收到 Y后对信源仍然存在的不确定性为H(X|Y），又称为信道疑义度。信宿所消除的关于信源的不确定性，也就是获得的关于信源的信息为 I(X;Y），它是平均意义上每传送一个符号流经信道的信息量，从这个意义上来说，平均互信息又称为信道的信息传输率，通常用 R 表示。
有时我们所关心的是信道在单位时间内平均传输的信息量。如果平均传输一个符号为t秒，则信道平均每秒钟传输的信息量为Rt一般称为信息传输速率。
对于固定的信道，总存在一种信源（某种输入概率分布），使信道平均传输一个符号接收端获得的信息量最大，也就是说对于每个固定信道都有一个最大的信息传输率，这个最大的信息传输率即为信道容量，而相应的输入概率分布称为最佳输入分布。
信道容量是信道传送信息的最大能力的度量，信道实际传送的信息量必然不大于信道容量。
要使信道容量有确切的含义，尚须证明相应的编码定理，就是说当信息率低于信道容量时必存在一种编码方法，使之在信道中传输而不发生错误或错误可任意逼近于零。已经过严格证明的只有无记忆单用户信道和多用户信道中的某些多址接入信道和退化型广播信道。对某些有记忆信道，只能得到容量的上界和下界，确切容量尚不易规定。
信道容量计算思路为了评价实际信道的利用率，应具体计算已给信道的容量。这是一个求最大值的问题。由于互信息对输入符号概率而言是凸函数，其极值将为最大值，因此这也就是求极值的问题。对于离散信道，P(x）是一组数，满足非负性和归一性等条件，可用拉格朗日乘子法求得条件极值。对于连续信道，P(x）是一函数，须用变分法求条件极值。但是对于大部分信道，这些方法常常不能得到显式的解，有时还会得到不允许的解，如求得的P(x）为负值等。为了工程目的，常把信道近似表示成某些易于解出容量的模式，如二元对称  信道容量信道和高斯信道。
对于其他信道的容量计算曾提出过一些方法，但都有较多的限制。比较通用的解法是迭代计算，可借助计算机得到较精确的结果。
对于连续信道，只需把输入集和输出集离散化，就仍可用迭代公式来计算。当然如此形成的离散集，包含的元的数目越多，精度越高，计算将越繁。对于信息论中的其他量，如信息率失真函数，可靠性函数等，都可以用类似的方法得到的各种迭代公式来计算。
信道容量定理从求信道容量的问题实际上是在约束条件下求多元函数极值的问题，在通常情况下，计算量是非常大的。下面我们介绍一般离散信道的平均互信息达到信道容量的充要条件，在某些情况下它可以帮助我们较快地找到极值点。（定理略去）
信道容量定理只给出了达到信道容量时，最佳输入概率分布应满足的条件，并没有给出最佳输入概率分布值，也没有给出信道容量的数值。另外，定理本身也隐含着达到信道容量的最佳分布不一定是唯一的，只要输入概率分布满足充要条件式，就是信道的最佳输入分布。在一些特殊情况下，我们常常利用这一定理寻求输入分布和信道容量值。
离散多符号信道及其信道容量实际离散信道的输入和输出常常是随机变量序列，用随机矢量来表示，称为离散多符号信道。
若在任意时刻信道的输出只与此时刻信道的输入有关，而与其他时刻的输入和输出无关，则称之为离散无记忆信道，简称为DMC(discrete memoryless channel）。
输入、输出随机序列的长度为N的离散无记忆平稳信道通常称为离散无记忆信道的N次扩展信道。
对于离散无记忆N次扩展信道，当信源是平稳无记忆信源时，其平均互信息等于单符号信道的平均互信息的N倍。
当信源也是无记忆信源并且每一时刻的输入分布各自达到最佳输入分布时，才能达到这个信道容量NC。
组合信道及其信道容量前面我们分析了单符号离散信道和离散无记忆信道的扩展信道。实际应用中常常会遇到两个或更多个信道组合在一起使用的情况。例如，待发送的消息比较多时，可能要用两个或更多个信道并行发送，这种组合信道称为并联信道；有时消息会依次地通过几个信道串联发送，例如无线电中继信道，数据处理系统，这种组合信道称为级联信道。在研究较复杂信道时，为使问题简化，往往可以将它们分解成几个简单的信道的组合。这一节我们将讨论这两种组合信道的信道容量与其组成信道的信道容量之间的关系。
独立并联信道的信道容量才等于各信道容量之和。
级联信道是信道最基本的组合形式，许多实际信道都可以看成是其组成信道的级联。两个单符号信道组成的最简单的级联信道X→Y→Z 组成一个马尔可夫链。根据马尔可夫链的性质，级联信道的总的信道矩阵等于这两个串接信道的信道矩阵的乘积。求得级联信道的总的信道矩阵后，级联信道的信道容量就可以用求离散单符号信道的信道容量的方法计算。