特徵函數 (機率論)

在機率論中，任何隨機變量的特徵函數（縮寫：ch.f，複數形式：ch.f's）完全定義了它的機率分布。在實直線上，它由以下公式給出，其中$X$是任何具有該分布的隨機變量：

$\varphi_X(t) = \operatorname{E}\left(e^{itX}\right)$。

其中$t$是一個實數，$i$是虛數單位，$E$表示期望值。

用矩母函數$M_X(t)$來表示（如果它存在），特徵函數就是$iX$的矩母函數，或$X$在虛數軸上求得的矩母函數。

$$\varphi_X(t) = M_{iX}(t) = M_X(it)$$

與矩母函數不同，特徵函數總是存在。

如果$F_X$是累積分布函數，那麼特徵函數由黎曼－斯蒂爾傑斯積分給出：

$\operatorname{E}\left(e^{itX}\right) = \int_{-\infty}^{\infty} e^{itx}\,dF_X(x)$。

在機率密度函數$f_X$存在的情況下，該公式就變為：

$\operatorname{E}\left(e^{itX}\right) = \int_{-\infty}^{\infty} e^{itx} f_X(x)\,dx$。

如果$X$是一個向量值隨機變量，我們便取自變量$t$為向量，$tX$為數量積。

$R$或$R^n$上的每一個機率分布都有特徵函數，因為我們是在有限測度的空間上對一個有界函數進行積分，且對於每一個特徵函數都正好有一個機率分布。

一個對稱機率密度函數的特徵函數（也就是滿足$f_X(x)=f_X(-x)$）是實數，因為從$x>0$所獲得的虛數部分與從$x<0$所獲得的相互抵消。

## 連續性

勒維連續定理說明，假設$(X_n)_{n=1}^\infty$為一個隨機變量序列，其中每一個$X_n$都有特徵函數$\varphi_n$，那麼它依分布收斂於某個隨機變量$X$：

$X_n \xrightarrow{\mathcal D} X$當$n \to \infty$

如果

$\varphi_n \quad \xrightarrow{\textrm{pointwise}} \quad \varphi$當$n \to \infty$

且$\varphi(t)$在$\ t=0$處連續，$\varphi$是$X$的特徵函數。

勒維連續定理可以用來證明弱大數定律。

### 反演定理

在累積機率分布函數與特徵函數之間存在雙射。也就是說，兩個不同的機率分布不能有相同的特徵函數。

給定一個特徵函數φ，可以用以下公式求得對應的累積機率分布函數$F$：

$F_X(y) - F_X(x) = \lim_{\tau \to +\infty} \frac{1} {2\pi} <pre> \int_{-\tau}^{+\tau} \frac{e^{-itx} - e^{-ity}} {it}\, \varphi_X(t)\, dt$。

一般地，這是一個廣義積分；被積分的函數可能只是條件可積而不是勒貝格可積的，也就是說，它的絕對值的積分可能是無窮大。

### 博赫納-辛欽定理/公理化定義

任意一個函數$\varphi$是對應於某個機率律$\mu$的特徵函數，若且唯若滿足以下三個條件：

- $\varphi \,$是連續的。
- $\varphi(0) = 1 \,$。
- $\varphi \,$是一個正定函數（注意這是一個複雜的條件，與$\varphi >0$不等價）。

### 計算性質

特徵函數對於處理獨立隨機變量的函數特別有用。例如，如果$X_1$、$X_2$、……、$X_n$是一個獨立（不一定同分布）的隨機變量的序列，且

$$S_n = \sum_{i=1}^n a_i X_i,\,\!$$

其中$a_i$是常數，那麼$S_n$的特徵函數為：

$$\varphi_{S_n}(t)=\varphi_{X_1}(a_1t)\varphi_{X_2}(a_2t)\cdots \varphi_{X_n}(a_nt). \,\!$$

特別地，$\varphi_{X+Y}(t) = \varphi_X(t)\varphi_Y(t)$。這是因為：

$\varphi_{X+Y}(t)=E\left(e^{it(X+Y)}\right)=E\left(e^{itX}e^{itY}\right)=E\left(e^{itX}\right)E\left(e^{itY}\right)=\varphi_X(t) \varphi_Y(t)$。

注意我們需要$X$和$Y$的獨立性來確立第三和第四個表達式的相等性。

另外一個特殊情況，是$a_i=\frac{1}{n}$且$S_n$為樣本平均值。在這個情況下，用$\overline{X}$表示平均值，我們便有：

$\varphi_{\overline{X}}(t)=\left(\varphi_X \left ( \frac{t}{n} \right )\right)^n$。

## 特徵函數舉例

分布｜特徵函數 $\varphi(t)$

退化分布 $\delta_a$｜$e^{ita}$

伯努利分布 $\mathrm{Bern}(p)$｜$1-p+pe^{it}$

二項分布 $B(n, p)$｜$(1-p+pe^{it})^n$

負二項分布 $NB(r, p)$｜$\biggl(\frac{1-p}{1 - p e^{i\,t}}\biggr)^{\!r}$

泊松分布 $\mathrm{Pois}(\lambda)$｜$e^{\lambda(e^{it}-1)}$

連續均勻分布 $U(a, b)$｜$\frac{e^{itb} - e^{ita}}{it(b-a)}$

拉普拉斯分布 $L(\mu, b)$｜$\frac{e^{it\mu}}{1 + b^2t^2}$

正態分布 $N(\mu, \sigma^2)$｜$e^{it\mu - \frac{1}{2}\sigma^2t^2}$

卡方分布 $\chi_k^2$｜$(1 - 2it)^{- \frac{k}{2}}$

柯西分布 $C(\mu, \theta)$｜$e^{it\mu -\theta|t|}$

伽瑪分布 $\Gamma(k, \theta)$｜$(1 - it\theta)^{-k}$

指數分布 $\mathrm{Exp}(\lambda)$｜$(1 - it\lambda^{-1})^{-1}$

多元正態分布 $N(\mu, \Sigma)$｜$e^{it^T\mu - \frac{1}{2}t^T\Sigma t}$

多元柯西分布 $\mathrm{MultiCauchy}(\mu, \Sigma)$｜$e^{it^T\mu - \sqrt{t^T\Sigma t}}$

Oberhettinger (1973) 提供的特徵函數表.

## 特徵函數的應用

由於連續定理，特徵函數被用於中心極限定理的最常見的證明中。

### 矩

特徵函數還可以用來求出某個隨機變量的矩。只要第n個矩存在，特徵函數就可以微分n次，得到：

$$\operatorname{E}\left(X^n\right) = i^{-n}\, \varphi_X^{(n)}(0) <pre> = i^{-n}\, \left[\frac{d^n}{dt^n} \varphi_X(t)\right]_{t=0}. \,\!$$

例如，假設$X$具有標準柯西分布。那麼$\varphi_X(t)=e^{-|t|}$。它在$t=0$處不可微，說明柯西分布沒有期望值。另外，注意到$n$個獨立的觀測的樣本平均值$\overline{X}$具有特徵函數$\varphi_{\overline{X}}(t)=(e^{- \frac{\left \vert t \right \vert}{n}})^n=e^{-|t|}$，利用前一節的結果。這就是標準柯西分布的特徵函數；因此，樣本平均值與總體本身具有相同的分布。

特徵函數的對數是一個累積量母函數，它對於求出累積量是十分有用的；注意有時定義累積量母函數為矩母函數的對數，而把特徵函數的對數稱為第二累積量母函數。

### 一個例子

具有尺度參數$\theta$和形狀參數k的伽瑪分布的特徵函數為：

$(1 - \theta\,i\,t)^{-k}$。

現在假設我們有：

$\ X \sim \Gamma(k_1,\theta)$且$\ Y \sim \Gamma(k_2,\theta)$

其中$X$和$Y$相互獨立，我們想要知道$X+Y$的分布是什麼。$X$和$Y$特徵函數分別為：

$$\varphi_X(t)=(1 - \theta\,i\,t)^{-k_1},\,\qquad \varphi_Y(t)=(1 - \theta\,i\,t)^{-k_2}$$

根據獨立性和特徵函數的基本性質，可得：

$\varphi_{X+Y}(t)=\varphi_X(t)\varphi_Y(t)=(1 - \theta\,i\,t)^{-k_1}(1 - \theta\,i\,t)^{-k_2}=\left(1 - \theta\,i\,t\right)^{-(k_1+k_2)}$。

這就是尺度參數為$\theta$、形狀參數為$k_1+k_2$的伽瑪分布的特徵函數，因此我們得出結論：

$X+Y \sim \Gamma(k_1+k_2,\theta)$。

這個結果可以推廣到$n$個獨立、具有相同尺度參數的伽瑪隨機變量：

$\forall i \in \{1,\ldots, n\} : X_i \sim \Gamma(k_i,\theta) \qquad \Rightarrow \qquad \sum_{i=1}^n X_i \sim \Gamma\left(\sum_{i=1}^nk_i,\theta\right)$。

## 多元特徵函數

如果$X$是一個多元隨機變量，那麼它的特徵函數定義為：

$\varphi_X(t)=\operatorname{E}\left(e^{it\cdot X}\right)$。

這裡的點表示向量的點積，而向量$t$位於$X$的對偶空間內。用更加常見的矩陣表示法，就是：

$\varphi_X(t)=\operatorname{E}\left(e^{it^TX}\right)$。

### 例子

如果$X\sim N(0,\Sigma) \,$是一個平均值為零的多元高斯隨機變量，那麼：

$$\varphi_X(t)=\operatorname{E}\left(e^{it^T X}\right) =\int_{x\in \mathbf{R}^n}\frac{1}{\left(2\pi\right)^{n/2}\left|\Sigma\right|^{1/2}} \, e^{-\frac{1}{2}x^T\Sigma^{-1}x}\cdot e^{it^T x} \, dx = e^{-\frac{1}{2}t^T\Sigma t}, \quad t \in \mathbf{R}^n,$$

其中$|\Sigma|$表示正定矩陣 Σ的行列式。

## 矩陣值隨機變量

如果$X$是一個矩陣值隨機變量，那麼它的特徵函數為：

$$\varphi_X(T)=\operatorname{E}\left(e^{i\, \mathrm{Tr}(XT)}\right)$$

在這裡，$\mathrm{Tr}(\cdot)$是跡函數，$\ XT$表示$T$與$X$的矩陣乘積。由於矩陣XT一定有跡，因此矩陣X必須與矩陣T的轉置的大小相同；因此，如果X是m × n矩陣，那麼T必須是n × m矩陣。

注意乘法的順序不重要（$XT\neq TX$但$\ tr(XT)=tr(TX)$）。

矩陣值隨機變量的例子包括威沙烏地分布和矩陣正態分布。

## 相關概念

相關概念有矩母函數和機率母函數。特徵函數對於所有機率分布都存在，但矩母函數不是這樣。

特徵函數與傅立葉變換有密切的關係：一個機率密度函數$p(x)$的特徵函數是$p(x)$的連續傅立葉變換的共軛複數（按照通常的慣例）。

$$\varphi_X(t) = \langle e^{itX} \rangle = \int_{-\infty}^{\infty} e^{itx}p(x)\, dx = \overline{\left( \int_{-\infty}^{\infty} e^{-itx}p(x)\, dx \right)} = \overline{P(t)},$$

其中$P(t)$表示機率密度函數$p(x)$的連續傅立葉變換。類似地，從$\varphi_X(t)$可以通過傅立葉逆變換求出$p(x)$：

$p(x) = \frac{1}{2\pi} \int_{-\infty}^{\infty} e^{itx} P(t)\, dt = \frac{1}{2\pi} \int_{-\infty}^{\infty} e^{itx} \overline{\varphi_X(t)}\, dt$。

確實，即使當隨機變量沒有密度時，特徵函數仍然可以視為對應於該隨機變量的測度的傅立葉變換。

## 參考文獻

- Lukacs E. (1970) Characteristic Functions. Griffin, London. pp. 350
- Bisgaard, T. M., Sasvári, Z. (2000) Characteristic Functions and Moment Sequences, Nova Science