system: [SYSTEM]

user: 4. 相关性分析及其应用 4.1. 互信息及相关概念 4.1.1. 互信息定义 互信息定义的是两个或多个随机变量之间的共享信息量，即变量间的共享信息量越多，其互信息越大[ 40 ] 。例如，对于连续型随机变量X和Y，其互信息的定义为： (10) 式中， 是随机变量X，Y的联合分布，而 和 分别表示其边缘分布。由定义式可以看出，若变量X、Y是相互独立的，则 ，则互信息为0，说明X、Y之间共享的信息是0，由其中一个变量的信息得不到另一个变量的任何信息。 4.1.2. 互信息的性质 互信息和联合熵以及条件熵之间有密切关联。对随机变量X和Y，若其联合分布函数为 ，则其联合熵可定义为： (11) 结合信息熵、联合熵和互信息的定义可知， (12) 另一方面，对随机变量X和Y，X关于Y的条件分布函数为 ，则X关于Y的条件熵为： (13) 结合信息熵、条件熵和互信息的定义可知， (14) (15) 式(14)、(15)表明一个变量的信息熵是该变量关于另一个变量的条件熵以及两个变量的互信息之和。从这个关系，我们可以知道，两随机变量间的互信息越大，其条件熵便越小，即在已知变量X的情况下，若X和Y的互信息越大，则Y残存的不确定性便越少。取极端情况，若随机变量X和Y完全相关时，两随机变量间的互信息趋于正无穷，而条件熵则趋于负无穷；若随机变量X和Y完全独立，则它们之间的互信息为0，则有 。 4.1.3. 互信息在水文水资源中的应用 互信息作为一种相关性分析方法，目前被较多地应用于水文站网的设计与优化中。传统的站网设计方法主要为数理统计法和克里格法等，其缺点在于均无法度量站点的信息量和站网间的信息传递量，而信息熵、互信息等不仅能从数据、精度等方面进行统计评价，还可从水文监测网的系统性和信息关联度等方面评价每个观测点和观测网系统提供信息的能力，具有较大的优越性[ 41 ] 。Langbein [ 42 ] 首次提出熵理论能用来量化监测系统的效率和效益。Rodriguez-Iturbe和Mejia [ 43 ] 用互信息的数学计算方式扩展了这一观点。此后，一些学者研究了基于熵和互信息的站网设计方法。譬如，Harmancioglu [ 44 ] 提出了一种互信息最小的准则，利用该方法进行站网设计得到的冗余信息量最少；Markus等[ 45 ] 定义了信息传送量和信息接收量，并认为站点的信息传送量和接收量的差值越大，该站点的价值便越大；Sarlak和Sorman [ 46 ] 将这两种方法进行了分析比较，讨论了最适用于这两种方法的概率密度函数。除此之外，Caselton和Husain [ 47 ] 、Alfonso等[ 48 ] 也给出了信息熵和互信息在水文站网设计方面的应用实例。另一方面，一些学者对先前的工作进行了改进。譬如，Husain [ 49 ] 用熵和互信息表达出了水文站网的信息传输能力，并提出了一种站网设计方法；Yang和Burn [ 50 ] 指出该方法在降雨量估计过程中对全区域的熵值插补只考虑了最近的站点，产生了误差，并提出了定向信息传递系数来描述站点的信息量和信息的转换、丢失等过程，实例证明其设计方法减小了误差。Harmancioglu和Alpaslan [ 51 ] 使用了信息不确定度的方法来进行水质监测网络设计；Ozkul等[ 52 ] 认为该方法在多元变量的情况下，熵的计算式受到分类间隔大小(Class interval size)的影响，对其方法进行了改进，并用密西西比河流域的数据进行了检验，得到了满意的结果。从这些学者的应用成果来看，互信息法的优点在于它是一种非参数的方法，且对变量的函数形式没有限制，即可以服从任何分布；其次，它不受线性和正态性假设的限制，适用于水文研究领域。同时，我们不可忽视该方法也有其自身的缺陷，当有效样本量较小时，该方法可靠性很低；另一方面，其计算必须基于一个有效分布来进行，且当分布是多元分布时，计算过程会较复杂。因此也有一些学者在这一方面进行了研究。譬如，Al-Zahrani和Husain [ 53 ] 采用了二元伽马分布进行熵和互信息的计算，并将其应用于沙特阿拉伯的第三水文区域的网络评估中；Sarlak和Sorman [ 46 ] 分别讨论了用正态、对数正态分布进行站网间最小互信息的计算，还讨论了用正态、对数正态、伽马分布进行信息传送量和接收量的计算，得出了两种方法最为适用的概率密度函数；Yoo等[ 54 ] 对比了混合对数正态分布函数和连续正态分布函数进行熵计算的特点，得出使用混合对数正态分布函数进行计算时，熵和互信息对降雨的时空间歇性参数更为敏感这一结论。近些年来，也有一些学者引进了一些新的方法进行了站网的设计与优化。譬如，陈颖[ 55 ] 在已有的描述站点间信息传输规律的互信息距离模型和相关系数距离模型基础上，提出了互信息沿线距离模型和相关系数沿线距离模型；通过密苏里流域站点的数据将四种模型进行了对比，得出最佳模型为互信息距离模型。Su和You [ 56 ] 应用二维互信息–距离关系建立模型来估计无资料区域和已有站点间的互信息量，将其应用到石门水库流域的时空信息模式的调查中；该应用表明信息传递效率决定了信息内容的空间分布，但其自身受到时空尺度的较大影响。 此外，互信息还被用于水文预报中。譬如，赵铜铁钢和杨大文[ 57 ] 基于互信息的概念探讨了如何选择径流预报输入变量，并结合宜昌水文站的日径流预报进行了研究，得出基于互信息可以有效判断待选预报因子与预报变量间的相互关系，提高了预报精度。龚伟[ 58 ] 提出了适用于高维高相关数据的互信息计算方法。并通过在不同流域和采用不同模型的应用分析，提出了水文预报中模型选择和改进的策略，检验了信息熵和互信息计算方法对流域水文数据的适用性。 4.2. Copula熵 4.2.1. Copula函数定义 Copula原理起源于Sklar的一篇重要的文章，Sklar将一个联合分布分解为n个边际分布与一个连接函数叠加的形式[ 59 ] 。这个函数描述了变量之间的相关关系，称为Copula函数。Copula函数本质上是一类将联合函数与它们各自的边际分布联系在一起的函数的总称。它在联合分布函数问题中表现出很强的灵活性，并得到了广泛的应用[ 60 ] 。 4.2.2. Copula熵理论 Copula熵理论是Ma和Sun在2008年提出的概念，将熵与Copula函数结合起来，采用Copula函数的熵度量变量间的相关性。因为能综合考虑多变量的相关性以及非线性问题，故适用于水文分析领域。该理论的构建方式结合了两个理论的优点，将信息熵的理论进行了扩展，用一维熵函数与Copula函数结合的形式替代了不易处理的联合熵和互信息，具有明显的优势[ 61 ] 。 设随机变量X为d维随机变量，其边缘分布函数为F i (X)， ，其中，U为服从均匀分布的随机变量，u为随机变量U的具体数值。则Copula函数的熵可表示为： (16) 式中， 为Copula函数的概率密度函数。 4.2.3. Copula熵的应用 Copula熵是近几年才被提出的概念，故目前Copula熵在水文水资源领域的应用还较少，但Copula熵法在水文相关性分析中已显示了其明显的优越性。陈璐和郭生练[ 62 ] 基于Copula熵进行BP神经网络因子的选择，验证了Copula熵的适用性。卢韦伟等[ 63 ] 将Copula熵法与传统的线性相关法进行了比较分析；并用得到的模型对金沙江流域进行了径流预报，得到了精度较高的结果。Chen等[ 64 ] 用Copula熵法分析了长江及其五条支流间的相关关系，并提出用蒙特卡洛法计算Copula熵，而不需计算联合熵和边缘熵，使相关性的评估更直接，且避免了系统偏差的累积效应。 由此可见，用Copula熵进行相关性分析是水文相关性分析的一条新途径。Copula熵方法的优点在于它可度量变量的线性和非线性相关关系，并且不受维数限制，超越了传统线性相关系数和互信息在相关性衡量的二维限制；此外，它对边际分布不作任何假设，结果合理可信；Copula函数值可以采用非参数估计方法获得，在衡量非椭圆分布族的相关性方面效果优良。但Copula熵方法尚不成熟，其在水文水资源领域的应用也需要在今后进一步完善和扩展。