矩生成函數

在機率論和統計學中，一個實數值隨機變量的動差母函數（moment-generating function）又稱動差生成函數，動差亦被稱作矩，矩生成函數是其機率分佈的一種替代規範。因此，與直接使用機率密度函數或累積分佈函數相比，它為分析結果提供了替代途徑的基礎。對於由隨機變量的加權和定義的分佈的矩生成函數，有特別簡單的結果。然而，並非所有隨機變量都具有矩生成函數。

顧名思義，矩生成函數可用於計算分佈的矩：關於 0 的第$n$個矩是矩生成函數的第$n$階導數，在 0 處求值。

除了實值分佈（單變量分佈），矩生成函數可以定義為向量或矩陣值的隨機變量，甚至可以擴展到更一般的情況。

與特徵函數不同，一個實數值分佈的矩生成函數並不總是存在。分佈的矩生成函數的行為與分佈的性質之間存在關係，例如矩的存在。

## 定義

隨機變數$X$的動差母函數定義為：

$$M_X(t)=\mathbb{E}\left(e^{tX}\right), \quad t \in \mathbb{R}$$

前提是這個期望值存在。

## 計算

如果$X$具有連續機率密度函數$f(x)$，則它的動差母函數由下式給出：

$$M_X(t) = \int_{-\infty}^\infty e^{tx} f(x)\,\mathrm{d}x$$

$$= \int_{-\infty}^\infty \left( 1+ tx + \frac{t^2x^2}{2!} + \cdots\right) f(x)\,\mathrm{d}x$$

$$= 1 + tm_1 + \frac{t^2m_2}{2!} +\cdots$$

其中$m_i$是第$i$階矩。$M_X(-t)$是$f(x)$的雙邊拉普拉斯變換。

不管機率分布是不是連續，矩生成函數都可以用黎曼-斯蒂爾吉斯積分給出：

$$M_X(t) = \int_{0}^1 e^{tx}\,dF(x)$$

其中$F$是累積分布函數。

如果$X_1,X_2,\ldots,X_n$是一系列獨立的隨機變量，且

$$S_n = \sum_{i=1}^n a_i X_i$$

其中$a_i$是常數，則$S_n$的機率密度函數是每一個$X_i$的機率密度函數的卷積，而$S_n$的矩生成函數則為：

$M_{S_n}(t)=M_{X_1}(a_1t)M_{X_2}(a_2t)\cdots M_{X_n}(a_nt)$。

對於分量為實數的向量值隨機變量X，矩生成函數為：

$$M_X(\mathbf{t}) = \operatorname{E}\left( e^{\langle \mathbf{t}, \mathbf{X}\rangle}\right)$$

其中$\mathbf{t}$是一個向量，$\langle \mathbf{t} , \mathbf{X}\rangle$ 是數量積。

## 意義

只要矩生成函數在$t=0$周圍的開區間存在，第$n$個矩為：

$\operatorname{\mathbb{E}}\left(X^n\right)=M_X^{(n)}(0)=\left.\frac{\mathrm{d}^n M_X(t)}{\mathrm{d}t^n}\right|_{t=0}$。

如果矩生成函數在這個區間內是有限的，則它唯一決定了一個機率分布。

一些其它在機率論中常見的積分變換也與矩生成函數有關，包括特徵函數以及機率生成函數。

累積量生成函數是矩生成函數的對數。

## 例子

下面是一些矩生成函數和特徵函數的例子，用於比較。可以看出，特徵函數是矩生成函數$M_X(t)$存在時的威克轉動（Wick rotation）。

分布｜矩生成函數 $M_X(t)$｜特徵函數 $\varphi (t)$

退化 $\delta_a$｜$e^{ta}$｜$e^{ita}$

伯努利 $P(X = 1) = p$｜$1 - p + pe^t$｜$1 - p + pe^{it}$

幾何 $(1 - p)^{k-1}\,p$｜$\frac{p e^t }{1 - (1 - p) e^t}$ $\forall t < -\ln(1 - p)$｜$\frac{p e^{it}}{1 - (1 - p)\,e^{it}}$

二項式 $B(n, p)$｜$\left(1 - p + pe^t\right)^n$｜$\left(1 - p + pe^{it}\right)^n$

負二項 $\operatorname{NB}(r, p)$此處定義為：每次獨立隨機試驗的成功率為$p$時，第$r$次成功前的失敗次數的分佈。定義上的差異詳見負二項分布。｜$\left(\frac{p}{1 - e^t + pe^t}\right)^r, t<-\log(1-p)$｜$\left(\frac{p}{1 - e^{it} + pe^{it}}\right)^r$

卜瓦松 $\operatorname{Pois}(\lambda)$｜$e^{\lambda(e^t - 1)}$｜$e^{\lambda(e^{it} - 1)}$

均勻(連續型) $\operatorname U(a, b)$｜$\frac{e^{tb} - e^{ta}}{t(b - a)}$｜$\frac{e^{itb} - e^{ita}}{it(b - a)}$

均勻(離散型) $\operatorname{DU}(a, b)$｜$\frac{e^{at} - e^{(b + 1)t}}{(b - a + 1)(1 - e^{t})}$｜$\frac{e^{ait} - e^{(b + 1)it}}{(b - a + 1)(1 - e^{it})}$

拉普拉斯 $L(\mu, b)$｜$\frac{e^{t\mu}}{1 - b^2t^2}, ~ \left \vert t \right \vert < \frac{1}{b}$｜$\frac{e^{it\mu}}{1 + b^2t^2}$

正態 $N(\mu, \sigma^2)$｜$e^{t\mu + \frac{1}{2}\sigma^2t^2}$｜$e^{it\mu - \frac{1}{2}\sigma^2t^2}$

卡方(Chi-squared) $\chi^2_k$｜$(1 - 2t)^{-\frac{k}{2}}$｜$(1 - 2it)^{-\frac{k}{2}}$

Noncentral chi-squared $\chi^2_k(\lambda)$｜$e^{\frac{\lambda t}{1-2t}}(1 - 2t)^{-\frac{k}{2}}$｜$e^{i\lambda t/(1-2it)}(1 - 2it)^{-\frac{k}{2}}$

伽瑪(Gamma) $\Gamma(k, \theta)$｜$(1 - t\theta)^{-k}, ~ \forall t < \tfrac{1}{\theta}$｜$(1 - it\theta)^{-k}$

指數(Exponential) $\operatorname{Exp}(\lambda)$｜$\left(1 - t\lambda^{-1}\right)^{-1}, ~ t < \lambda$｜$\left(1 - it\lambda^{-1}\right)^{-1}$

多元正態 $N(\mathbf{\mu}, \mathbf{\Sigma})$｜$e^{\mathbf{t}^\mathrm{T} \left(\boldsymbol{\mu} + \frac{1}{2} \mathbf{\Sigma t}\right)}$｜$e^{\mathbf{t}^\mathrm{T} \left(i \boldsymbol{\mu} - \frac{1}{2} \boldsymbol{\Sigma} \mathbf{t}\right)}$

柯西(Cauchy) $\operatorname{Cauchy}(\mu, \theta)$｜不存在｜$e^{it\mu - \theta|t|}$

Multivariate Cauchy $\operatorname{MultiCauchy}(\mu, \Sigma)$｜不存在｜$\!\, e^{i\mathbf{t}^{\mathrm{T}}\boldsymbol\mu - \sqrt{\mathbf{t}^{\mathrm{T}}\boldsymbol{\Sigma} \mathbf{t}}}$