|  |
| --- |
| 统计学系列条目 |
| 論 |
|  |
| * 概率
	+
* 決定論
* 非決定論
* 随机性
 |
| * 空間
	+
* 样本空间
* 随机试验
	+ 伯努利試驗
* 事件
	+ 互補事件
	+ 互斥
	+ 基本事件（英语：）
	+ 结果
	+ 单元素
 |
| * + 期望值
	+ 條件
* 概率分布
	+ 離散型均勻分佈
	+ 伯努利分布
	+ 二項式分布
	+ 幾何分佈
	+ 负二项分布
	+ 超几何分布
	+ 泊松分布
	+ 连续型均匀分布
	+ 正态分布
	+ 对数正态分布
	+ 多元正态分布
	+ 指数分布
	+ Gamma分布
	+ Beta分布
	+ 帕累托分布
* 联合分布
* 
 |
| * 随机过程
	+ 伯努利过程
	+ 隨機漫步
	+ 维纳过程
	+ 馬可夫過程
	+ 伊藤過程
 |
| * 統計獨立性
* 条件独立
* 
* 
* 
* 布尔不等式
 |
| * 文氏图
* 樹形圖
 |
| * 
* 论
* 编
 |

在機率論裡，說兩個事件是**獨立**的，直覺上是指一次实验中一事件的發生不會影響到另一事件發生的機率。例如，在一般情况下可以认为连续两次掷骰子得到的点数结果是相互獨立的。類似地，兩個隨機變量是獨立的，若其在一事件給定觀測量的條件機率分佈和另一事件沒有被觀測的機率分佈是一樣的。

对于两个以上的事件，需要区分两种独立的概念。如果集合中的任意两个事件相互独立，则这些事件称为**两两独立**（），而事件**相互独立**（）指每个事件独立于集合中其他事件的任何交集。在概率论、统计学和随机过程的标准文献中，没有限定词的**独立**通常指**相互独立**。

獨立事件
----

### 对于兩個事件

兩個事件*A*和*B*是**獨立的** **当且仅当** {\displaystyle \mathrm {Pr} (A\cap B)=\mathrm {Pr} (A)\mathrm {Pr} (B)}。

這裡，*A* ∩ *B*是*A*和*B*的交集，即為*A*和*B*兩個事件都會發生的事件。

### 对于任意個事件

若有限个事件构成的集合{\displaystyle \{A\_{i}\}\_{i=1}^{n}}中每对事件都是独立的，则这些事件是**兩兩獨立**(pairwise independent)的。

即**当且仅当**对任意的{\displaystyle i,j\in \{1,...n\},i\neq j}，有

{\displaystyle \mathrm {Pr} (A\_{i}\cap A\_{j})=\mathrm {Pr} (A\_{i})\mathrm {Pr} (A\_{j})}

  

若有限个事件构成的集合{\displaystyle \{A\_{i}\}\_{i=1}^{n}}中每个事件都与任何其他事件构成的交集独立，则这些事件是**相互獨立**(mutually independent) 的。

即**当且仅当**對其任一有限子集*A*1, ... *A**n*，會有

\Pr(A\_{1}\cap \cdots \cap A\_{n})=\Pr(A\_{1})\,\cdots \,\Pr(A\_{n})。
或写作：\Pr \left(\bigcap \_{{i=1}}^{n}A\_{i}\right)=\prod \_{{i=1}}^{n}\Pr(A\_{i}).\!\,

這被稱為獨立事件的*乘法規則*。

### 独立事件的性质

若兩個事件*A*和*B*是獨立的，則其*B*給之*A*的條件機率和*A*的「無條件機率」一樣，即

\Pr(A\mid B)=\Pr(A)\,。
至少有兩個理由可以解釋為何此一敘述不可以當做獨立性的定義：(1)*A*和*B*兩個事件在此敘述中並不對稱，及(2)當機率為0亦可包含於此敘述時，會有問題產生。

若回想條件機率Pr(*A* | *B*)的定義為

\Pr(A\mid B)={\Pr(A\cap B) \over \Pr(B)}, (只要Pr(*B*) ≠ 0 )
則上面的敘述則會等價於

\Pr(A\cap B)=\Pr(A)\Pr(B)
即為上面所給定的標準定義。

注意獨立性並不和它在地方話裡的有相同的意思。例如，一事件獨立於其自身当且仅当：

\Pr(A)=\Pr(A\cap A)=\Pr(A)\Pr(A)\,
亦即，其機率不是零就是一。因此，當一事件或其補集幾乎確定會發生，它即是獨立於其本身。例如，若事件*A*從單位區間的連續型均勻分佈上選了0.5，則*A*是獨立於其自身的，儘管重言式地，*A*完全決定了*A*。

獨立隨機變量
------

上面所定義的是*事件*的獨立性。在這一節中，我們將處理隨機變量的獨立性。若*X*是一實數值隨機變量且*a*是一數字的話，則*X* ≤ *a*的事件是一個事件，所以可以有意義地說它是否會獨立於其他的事件。

兩個隨機變數*X*和*Y*是獨立的若且唯若對任何數字*a*和*b*，事件[*X* ≤ *a*](*X*小於或等於*a*的事件)和[*Y* ≤ *b*]為如上面所定義的獨立事件。類似地，隨意數量的隨機變數是明確地獨立的，若對任一有限子集*X*1, ... *X**n*和任一數字的有限子集*a*1, ... *a**n*，其事件[*X*1 ≤ *a*1], ... [*X**n* ≤ *a**n*]會是如上面所定義的獨立事件。

其量測可以由事件[*X* ∈ *A*]來取代上面所定義的事件[*X* ≤ *a*]，其中*A*為任一包絡集合。此一定義完全和上述其隨機變數的值為實數的定義等價。且他有著可以作用於複值隨機變數和在任一拓撲空間中取值之隨機變數上的優點。

即使任意數目中的任二個隨機變數都是獨立的，但它們可能仍舊會無法互相獨立；這種的獨立被稱為兩兩獨立。

若*X*和*Y*是獨立的，則其期望值*E*會有下列的好性質：
E[*X* *Y*] = E[*X*] E[*Y*],
（假定都存在）且其方差（若存在）满足

var(*X* + *Y*) = var(*X*) + var(*Y*),
因为其協方差 cov(*X*,*Y*) 為零。(其逆命题不成立，即若兩個隨機變數的協方差為0，它們不一定独立。)

此外，具有分佈函數*F**X*(*x*) 及 *F**Y*(*y*)和機率密度*f**X*(*x*) 及 *f**Y*(*y*)的隨機變數*X*和*Y*為獨立的，若且唯若其相結合的隨機變數(*X*,*Y*)有一共同分佈

F\_{{X,Y}}(x,y)=F\_{X}(x)F\_{Y}(y),
或等價地，有一共同密度

{\displaystyle f\_{X,Y}(x,y)=f\_{X}(x)f\_{Y}(y)}。
類似的表示式亦可以用來兩個以上的隨機變數上。

條件獨立隨機變數
--------

条目：条件独立
直觉地，两个随机变量*X*和*Y*给定*Z*条件独立，如果：一旦知道了*Z*，从*Y*的值便不能得出任何关于*X*的信息。例如，相同的数量*Z*的两个测量*X*和*Y*不是独立的，但它们是**给定*Z*条件独立**（除非两个测量的误差是有关联的）。

条件独立的正式定义是基于条件分布的想法。如果*X*、*Y*和*Z*是离散型随机变量，那么我们定义*X*和*Y*给定*Z*条件独立，如果对于所有使{\displaystyle \mathrm {Pr} (Z\leq z)>0}的*x*、*y*和*z*，都有：

{\displaystyle \mathrm {P} (X\leq x,Y\leq y\;|\;Z=z)=\mathrm {Pr} (X\leq x\;|\;Z=z)\cdot \mathrm {Pr} (Y\leq y\;|\;Z=z)}
另一方面，如果随机变量是连续的，且具有联合概率密度*p*，那么*X*和*Y*给定*Z*条件独立，如果对于所有使p\_{Z}(z)>0的实数*x*、*y*和*z*，都有：

p\_{{XY|Z}}(x,y|z)=p\_{{X|Z}}(x|z)\cdot p\_{{Y|Z}}(y|z)
如果*X*和*Y*给定*Z*条件独立，那么对于任何满足{\displaystyle \mathrm {Pr} (Z=z)>0}的*x*、*y*和*z*，都有：

{\displaystyle \ \mathrm {Pr} (X=x|Y=y,Z=z)=\mathrm {Pr} (X=x|Z=z)}
也就是说，*X*给定*Y*和*Z*的条件分布，与仅仅给定*Z*的条件分布是相同的。对于连续的情况下的条件概率密度函数，也有一个类似的公式。 

独立性可以视为条件独立的一个特例，因为概率可以视为不给定任何事件的条件概率。

另見
--

* 耦合
* 獨立且同態隨機變數

書籍
--

* Kirby Faciane (2006). *Statistics for Empirical and Quantitative Finance*. H.C. Baird: Philadelphia. ISBN 0-9788208-9-4.

参考资料
----

1. ↑  Feller, W.. . Wiley. 1971.