統計獨立性

在機率論裡，說兩個事件是**獨立**的，直覺上是指一次實驗中一事件的發生不會影響到另一事件發生的機率。例如，在一般情況下可以認為連續兩次擲骰子得到的點數結果是相互獨立的。類似地，兩個隨機變數是獨立的，若其在一事件給定觀測量的條件機率分布和另一事件沒有被觀測的機率分布是一樣的。

對於兩個以上的事件，需要區分兩種獨立的概念。如果集合中的任意兩個事件相互獨立，則這些事件稱為**兩兩獨立**(pairwise independent)，而事件**相互獨立**(mutually independent) 指每個事件獨立於集合中其他事件的任何交集。在機率論、統計學和隨機過程的標準文獻中，沒有限定詞的**獨立**通常指**相互獨立**。

## 獨立事件

### 對於兩個事件

兩個事件 _A_ 和 _B_ 是**獨立的** **若且唯若** $\mathrm {Pr} (A\cap B)=\mathrm {Pr} (A)\mathrm {Pr} (B)$ 。

這裡，_A_ ∩ _B_ 是 _A_ 和 _B_ 的交集，即為 _A_ 和 _B_ 兩個事件都會發生的事件。

### 對於任意個事件

若有限個事件構成的集合 $\{A_{i}\}_{i=1}^{n}$ 中每對事件都是獨立的，則這些事件是**兩兩獨立**(pairwise independent) 的。

即**若且唯若**對任意的 $i,j\in \{1,...,n\},i\neq j$ ，有

　
: $\mathrm {Pr} (A_{i}\cap A_{j})=\mathrm {Pr} (A_{i})\mathrm {Pr} (A_{j})$

 
若有限個事件構成的集合 $\{A_{i}\}_{i=1}^{n}$ 中每個事件都與任何其他事件構成的交集獨立，則這些事件是**相互獨立**(mutually independent) 的。

即**若且唯若**對其任一有限子集 _A_1, ..., _A_n，會有

　
: $\Pr(A_{1}\cap \cdots \cap A_{n})=\Pr(A_{1})\,\cdots \,\Pr(A_{n})$ 。

或寫作： $\Pr \left(\bigcap _{i=1}^{n}A_{i}\right)=\prod _{i=1}^{n}\Pr(A_{i}).\!\,$

這被稱為獨立事件的_乘法規則_。

### 獨立事件的性質

若兩個事件 _A_ 和 _B_ 是獨立的，則其 _B_ 給之 _A_ 的條件機率和 _A_ 的「無條件機率」一樣，即

　
: $\Pr(A\mid B)=\Pr(A)\,$ 。

至少有兩個理由可以解釋為何此一敘述不可以當做獨立性的定義：(1)_A_ 和 _B_ 兩個事件在此敘述中並不對稱，及 (2) 當機率為 0 亦可包含於此敘述時，會有問題產生。

若回想條件機率 Pr (_A_ | _B_) 的定義為

　
: $\Pr(A\mid B)={\Pr(A\cap B) \over \Pr(B)},$ (只要 Pr (_B_) ≠ 0 )

則上面的敘述則會等價於

　
: $\Pr(A\cap B)=\Pr(A)\Pr(B)$

即為上面所給定的標準定義。

注意獨立性並不和它在地方話裡的有相同的意思。例如，一事件獨立於其自身若且唯若：

　
: $\Pr(A)=\Pr(A\cap A)=\Pr(A)\Pr(A)\,$

亦即，其機率不是零就是一。因此，當一事件或其補集幾乎確定會發生，它即是獨立於其本身。例如，若事件 _A_ 從單位區間的連續型均勻分布上選了 0.5，則 _A_ 是獨立於其自身的，儘管重言式地，_A_ 完全決定了 _A_。

## 獨立隨機變數

上面所定義的是_事件_的獨立性。在這一節中，我們將處理隨機變數的獨立性。若 _X_ 是一實數值隨機變數且 _a_ 是一數字的話，則 _X_ ≤ _a_ 的事件是一個事件，所以可以有意義地說它是否會獨立於其他的事件。

兩個隨機變數 _X_ 和 _Y_ 是獨立的若且唯若對任何數字 _a_ 和 _b_，事件 [_X_ ≤ _a_](_X_ 小於或等於 _a_ 的事件) 和 [_Y_ ≤ _b_] 為如上面所定義的獨立事件。類似地，隨意數量的隨機變數是明確地獨立的，若對任一有限子集 _X_1, ..., _X_n 和任一數字的有限子集 _a_1, ..., _a_n，其事件 [_X_1 ≤ _a_1], ..., [_X_n ≤ _a_n] 會是如上面所定義的獨立事件。

其量測可以由事件 [_X_ ∈ _A_] 來取代上面所定義的事件 [_X_ ≤ _a_]，其中 _A_ 為任一包絡集合。此一定義完全和上述其隨機變數的值為實數的定義等價。且他有著可以作用於複值隨機變數和在任一拓撲空間中取值之隨機變數上的優點。

即使任意數目中的任二個隨機變數都是獨立的，但它們可能仍舊會無法互相獨立；這種的獨立被稱為兩兩獨立。

若 _X_ 和 _Y_ 是獨立的，則其期望值 _E_ 會有下列的好性質：
E [_X_ _Y_] = E[_X_] E[_Y_],
（假定都存在）且其變異數（若存在）滿足

　
: var(_X_ + _Y_) = var(_X_) + var(_Y_),

因為其共變異數 cov (_X_,_Y_) 為零。(其逆命題不成立，即若兩個隨機變數的共變異數為 0，它們不一定獨立。)

此外，具有分布函數 _F_X(_x_) 及 _F_Y(_y_) 和機率密度 _f_X(_x_) 及 _f_Y(_y_) 的隨機變數 _X_ 和 _Y_ 為獨立的，若且唯若其相結合的隨機變數 (_X_,_Y_) 有一共同分布

　
: : $F_{X,Y}(x,y)=F_{X}(x)F_{Y}(y),$

或等價地，有一共同密度

　
: : $f_{X,Y}(x,y)=f_{X}(x)f_{Y}(y)$ 。

類似的表示式亦可以用來兩個以上的隨機變數上。

## 條件獨立隨機變數

直覺地，兩個隨機變數 _X_ 和 _Y_ 給定 _Z_ 條件獨立，如果：一旦知道了 _Z_，從 _Y_ 的值便不能得出任何關於 _X_ 的訊息。例如，相同的數量 _Z_ 的兩個測量 _X_ 和 _Y_ 不是獨立的，但它們是**給定 _Z_ 條件獨立**（除非兩個測量的誤差是有關聯的）。

條件獨立的正式定義是基於條件分布的想法。如果 _X_、_Y_ 和 _Z_ 是離散型隨機變數，那麼我們定義 _X_ 和 _Y_ 給定 _Z_ 條件獨立，如果對於所有使 $\mathrm {Pr} (Z\leq z)>0$ 的 _x_、_y_ 和 _z_，都有：

　
: $\mathrm {P} (X\leq x,Y\leq y\;|\;Z=z)=\mathrm {Pr} (X\leq x\;|\;Z=z)\cdot \mathrm {Pr} (Y\leq y\;|\;Z=z)$

另一方面，如果隨機變數是連續的，且具有聯合機率密度 _p_，那麼 _X_ 和 _Y_ 給定 _Z_ 條件獨立，如果對於所有使 $p_{Z}(z)>0$ 的實數 _x_、_y_ 和 _z_，都有：

　
: $p_{XY|Z}(x,y|z)=p_{X|Z}(x|z)\cdot p_{Y|Z}(y|z)$

如果 _X_ 和 _Y_ 給定 _Z_ 條件獨立，那麼對於任何滿足 $\mathrm {Pr} (Z=z)>0$ 的 _x_、_y_ 和 _z_，都有：

　
: $\ \mathrm {Pr} (X=x|Y=y,Z=z)=\mathrm {Pr} (X=x|Z=z)$

也就是說，_X_ 給定 _Y_ 和 _Z_ 的條件分布，與僅僅給定 _Z_ 的條件分布是相同的。對於連續的情況下的條件機率密度函數，也有一個類似的公式。

獨立性可以視為條件獨立的一個特例，因為機率可以視為不給定任何事件的條件機率。

## 另見

* 耦合
* 獨立且同態隨機變數

## 書籍

* Kirby Faciane (2006). _Statistics for Empirical and Quantitative Finance_. H.C. Baird: Philadelphia. ISBN 0-9788208-9-4.