对数求和不等式

对数求和不等式（Log sum inequality）是一个不等式 ，可用于证明信息论中的多个定理。

定理陈述 
对任何非负实数  和正数  ，并记
 及 
则有如下的对数求和不等式：

上式中，等号成立的充分必要条件是所有  都相等。

证明 
设辅助函数  ，容易验证这个函数是一个凸（Convex）函数，我们有 

 

推导中第二行的不等号，是由琴生不等式得到的 （可验证  ， ）。

应用 
对数求和不等式可用于证明信息论中的几个不等式，例如吉布斯不等式或KL散度的基本性质 。 

例如，证明吉布斯不等式时，将 看作  ，将  看作 ，得到

一般情形 
这个不等式对于收敛的无穷级数亦成立，即当  时，附加假设  和  即可使不等式成立。  

另一种推广则是将对数函数一般化。只要将对数函数换为任何一个，其使得 是一个凸（Convex）函数即可。2004年，Csiszár证明了将对数函数换成一个单调非减函数，定理亦成立。

参考文献 

 T.S. Han, K. Kobayashi, Mathematics of information and coding. American Mathematical Society, 2001. . 
 Information Theory course materials, Utah State University . Retrieved on 2009-06-14. 
  
包含证明的条目
信息论
不等式
D