转移熵 转移熵英語transfer entropy是测量两个随机过程之间有向时间不对称信息转移量的一种非参数统计量过程X到另一个过程Y的转移熵可定义为在已知Y过去值的情况下了解X的过去值所能减少Y未来值不确定性的程度更具体地说假定 X t displaystyle Xt 和 Y t displaystyle Yt  t  N displaystyle tin mathbb N  表示两个随机过程并用香农熵来度量信息量则转移熵可定义为 T X  Y  H  Y t  Y t    t  L   H  Y t  Y t    t  L  X t    t  L   displaystyle TXrightarrow YHleftYtmid YttLrightHleftYtmid YttLXttLright 其中H  X  表示X的香农熵此外还可以使用其他类型的熵度量例如雷尼熵英语Rényi entropy对上述定义进行扩展 转移熵可看作一种条件互信息英语Conditional mutual information其条件为受影响变量的历史值 Y t    t  L displaystyle YttL  T X  Y  I  Y t  X t    t  L  Y t    t  L   displaystyle TXrightarrow YIYtXttLmid YttL 对向量自回归过程而言转移熵可简化为格兰杰因果关系 因而转移熵适用于非线性信号分析等格兰杰因果关系的模型假设不成立的场合然而它通常需要更多的样本才能进行准确估计熵公式中的概率可以使用分箱最近邻等不用方法来估计或为了降低复杂性而使用非均匀嵌入方法虽然转移熵的原始定义是建立在双变量分析英语Bivariate analysis基础上的但后来也扩展到多变量分析中这种扩展可以以其他潜在源变量为条件 或考虑从一组源进行转移不过这些都需要更多的样本 转移熵被用于估计神经元的功能连接社交网络中的社会影响以及武装冲突事件之间的统计因果关系等转移熵是有向信息英语Directed information的有限形式于年由詹姆斯马西英语James Massey定义为 I  X n  Y n    i   n I  X i  Y i  Y i    displaystyle IXnto Ynsum inIXiYiYi 其中 X n displaystyle Xn 表示向量 X   X       X n displaystyle XXXn  Y n displaystyle Yn 则表示 Y   Y       Y n displaystyle YYYn 有向信息在描述具有或没有反馈的通信信道的基本极限信道容量中起着关键作用