矩生成函数

在概率论和统计学中，一个实数值随机变量的动差母函数（moment-generating function）又称动差生成函数，矩亦被称作动差，矩生成函数是其概率分布的一种替代规范。因此，与直接使用概率密度函数或累积分布函数相比，它为分析结果提供了替代途径的基础。对于由随机变量的加权和定义的分布的矩生成函数，有特别简单的结果。然而，并非所有随机变量都具有矩生成函数。

顾名思义，矩生成函数可用于计算分布的矩：关于 0 的第$n$个矩是矩生成函数的第$n$阶导数，在 0 处求值。

除了实值分布（单变量分布），矩生成函数可以定义为向量或矩阵值的随机变量，甚至可以扩展到更一般的情况。

与特征函数不同，一个实数值分布的矩生成函数并不总是存在。分布的矩生成函数的行为与分布的性质之间存在关系，例如矩的存在。

## 定义

随机变数$X$的动差母函数定义为：

$$M_X(t)=\mathbb{E}\left(e^{tX}\right), \quad t \in \mathbb{R}$$

前提是这个期望值存在。

## 计算

如果$X$具有连续概率密度函数$f(x)$，则它的动差母函数由下式给出：

$$M_X(t) = \int_{-\infty}^\infty e^{tx} f(x)\,\mathrm{d}x$$

$$= \int_{-\infty}^\infty \left( 1+ tx + \frac{t^2x^2}{2!} + \cdots\right) f(x)\,\mathrm{d}x$$

$$= 1 + tm_1 + \frac{t^2m_2}{2!} +\cdots$$

其中$m_i$是第$i$阶矩。$M_X(-t)$是$f(x)$的双边拉普拉斯变换。

不管概率分布是不是连续，矩生成函数都可以用黎曼-斯蒂尔吉斯积分给出：

$$M_X(t) = \int_{0}^1 e^{tx}\,dF(x)$$

其中$F$是累积分布函数。

如果$X_1,X_2,\ldots,X_n$是一系列独立的随机变量，且

$$S_n = \sum_{i=1}^n a_i X_i$$

其中$a_i$是常数，则$S_n$的概率密度函数是每一个$X_i$的概率密度函数的卷积，而$S_n$的矩生成函数则为：

$M_{S_n}(t)=M_{X_1}(a_1t)M_{X_2}(a_2t)\cdots M_{X_n}(a_nt)$。

对于分量为实数的向量值随机变量X，矩生成函数为：

$$M_X(\mathbf{t}) = \operatorname{E}\left( e^{\langle \mathbf{t}, \mathbf{X}\rangle}\right)$$

其中$\mathbf{t}$是一个向量，$\langle \mathbf{t} , \mathbf{X}\rangle$ 是数量积。

## 意义

只要矩生成函数在$t=0$周围的开区间存在，第$n$个矩为：

$\operatorname{\mathbb{E}}\left(X^n\right)=M_X^{(n)}(0)=\left.\frac{\mathrm{d}^n M_X(t)}{\mathrm{d}t^n}\right|_{t=0}$。

如果矩生成函数在这个区间内是有限的，则它唯一决定了一个概率分布。

一些其它在概率论中常见的积分变换也与矩生成函数有关，包括特征函数以及概率生成函数。

累积量生成函数是矩生成函数的对数。

## 例子

下面是一些矩生成函数和特征函数的例子，用于比较。可以看出，特征函数是矩生成函数$M_X(t)$存在时的威克转动（Wick rotation）。

分布｜矩生成函数 $M_X(t)$｜特征函数 $\varphi (t)$

退化 $\delta_a$｜$e^{ta}$｜$e^{ita}$

伯努利 $P(X = 1) = p$｜$1 - p + pe^t$｜$1 - p + pe^{it}$

几何 $(1 - p)^{k-1}\,p$｜$\frac{p e^t }{1 - (1 - p) e^t}$ $\forall t < -\ln(1 - p)$｜$\frac{p e^{it}}{1 - (1 - p)\,e^{it}}$

二项式 $B(n, p)$｜$\left(1 - p + pe^t\right)^n$｜$\left(1 - p + pe^{it}\right)^n$

负二项 $\operatorname{NB}(r, p)$此处定义为：每次独立随机试验的成功率为$p$时，第$r$次成功前的失败次数的分布。定义上的差异详见负二项分布。｜$\left(\frac{p}{1 - e^t + pe^t}\right)^r, t<-\log(1-p)$｜$\left(\frac{p}{1 - e^{it} + pe^{it}}\right)^r$

卜瓦松 $\operatorname{Pois}(\lambda)$｜$e^{\lambda(e^t - 1)}$｜$e^{\lambda(e^{it} - 1)}$

均匀(连续型) $\operatorname U(a, b)$｜$\frac{e^{tb} - e^{ta}}{t(b - a)}$｜$\frac{e^{itb} - e^{ita}}{it(b - a)}$

均匀(离散型) $\operatorname{DU}(a, b)$｜$\frac{e^{at} - e^{(b + 1)t}}{(b - a + 1)(1 - e^{t})}$｜$\frac{e^{ait} - e^{(b + 1)it}}{(b - a + 1)(1 - e^{it})}$

拉普拉斯 $L(\mu, b)$｜$\frac{e^{t\mu}}{1 - b^2t^2}, ~ \left \vert t \right \vert < \frac{1}{b}$｜$\frac{e^{it\mu}}{1 + b^2t^2}$

正态 $N(\mu, \sigma^2)$｜$e^{t\mu + \frac{1}{2}\sigma^2t^2}$｜$e^{it\mu - \frac{1}{2}\sigma^2t^2}$

卡方(Chi-squared) $\chi^2_k$｜$(1 - 2t)^{-\frac{k}{2}}$｜$(1 - 2it)^{-\frac{k}{2}}$

Noncentral chi-squared $\chi^2_k(\lambda)$｜$e^{\frac{\lambda t}{1-2t}}(1 - 2t)^{-\frac{k}{2}}$｜$e^{i\lambda t/(1-2it)}(1 - 2it)^{-\frac{k}{2}}$

伽玛(Gamma) $\Gamma(k, \theta)$｜$(1 - t\theta)^{-k}, ~ \forall t < \tfrac{1}{\theta}$｜$(1 - it\theta)^{-k}$

指数(Exponential) $\operatorname{Exp}(\lambda)$｜$\left(1 - t\lambda^{-1}\right)^{-1}, ~ t < \lambda$｜$\left(1 - it\lambda^{-1}\right)^{-1}$

多元正态 $N(\mathbf{\mu}, \mathbf{\Sigma})$｜$e^{\mathbf{t}^\mathrm{T} \left(\boldsymbol{\mu} + \frac{1}{2} \mathbf{\Sigma t}\right)}$｜$e^{\mathbf{t}^\mathrm{T} \left(i \boldsymbol{\mu} - \frac{1}{2} \boldsymbol{\Sigma} \mathbf{t}\right)}$

柯西(Cauchy) $\operatorname{Cauchy}(\mu, \theta)$｜不存在｜$e^{it\mu - \theta|t|}$

Multivariate Cauchy $\operatorname{MultiCauchy}(\mu, \Sigma)$｜不存在｜$\!\, e^{i\mathbf{t}^{\mathrm{T}}\boldsymbol\mu - \sqrt{\mathbf{t}^{\mathrm{T}}\boldsymbol{\Sigma} \mathbf{t}}}$