卡方检验

卡方检验（Chi-Squared Test或 χ 2 {\displaystyle \chi ^{2}} Test）是一种统计量的分布在零假设成立时近似服从卡方分布（ χ 2 {\displaystyle \chi ^{2}} 分布）的假设检验。在没有其他的限定条件或说明时，卡方检验一般代指的是皮尔森卡方检定。在卡方检验的一般运用中，研究人员将观察量的值划分成若干互斥的分类，并且使用一套理论（或虛無假說）尝试去说明观察量的值落入不同分类的概率分布的模型。而卡方检验的目的就在于去衡量这个假设对观察结果所反映的程度。 在十九世纪，统计分析方法主要被用于生物数据分析。当时主流意见认为正态分布普遍适用于此类数据，例如乔治·比德尔·艾里爵士以及梅里曼教授（英语：Mansfield Merriman），而卡尔·皮尔森在他1900年的论文中就针对了他们的研究数据作出了指正。 直到十九世纪末期，皮尔森指出了部分数据具有明显的偏态，正态分布并不是普遍适用。为了更好地对这些观察数据进行建模，皮尔森在1893年至1916年发表的系列文章中提出了一个包含正态分布以及众多偏态分布的连续概率分布族——皮尔森分布族（英语：Pearson Distribution）。同时，他指出数据统计分析的步骤应该是在从皮尔森分布族中选取合适的分布来进行建模后，使用拟合优度检验技术来评价模型和实验数据间的拟合优度。 在1900年，皮尔森发表了著名的关于 χ 2 {\displaystyle \chi ^{2}} 检验的文章，该文章被认为是现代统计学的基石之一。在该文章中，皮尔森研究了拟合优度检验： 假设实验中从总体中随机取样得到的 n {\displaystyle n} 个观察值被划分为 k {\displaystyle k} 个互斥的分类，这样每个分类都有一个对应的实际观察次数 x i {\displaystyle x_{i}} （ i = 1 , 2 , . . . , k {\displaystyle i=1,2,...,k} ）。研究人员会对实验中各个观察值落入第 i {\displaystyle i} 个分类的概率 p i {\displaystyle p_{i}} 的分布提出零假设，从而获得了对应所有第 i {\displaystyle i} 分类的理论期望次数 m i = n p i {\displaystyle m_{i}=np_{i}} 以及限制条件 ∑ i = 1 k p i = 1 {\displaystyle \sum _{i=1}^{k}{p_{i}}=1} 以及 ∑ i = 1 k m i = ∑ i = 1 k x i = n {\displaystyle \sum _{i=1}^{k}{m_{i}}=\sum _{i=1}^{k}{x_{i}}=n} 。 皮尔森提出，在上述零假设成立以及 n {\displaystyle n} 趋向 ∞ {\displaystyle \infty } 的时候，以下统计量的极限分布趋向 χ 2 {\displaystyle \chi ^{2}} 分布。 X 2 = ∑ i = 1 k ( x i − m i ) 2 m i = ∑ i = 1 k x i 2 m i − n {\displaystyle X^{2}=\sum _{i=1}^{k}{\frac {(x_{i}-m_{i})^{2}}{m_{i}}}=\sum _{i=1}^{k}{\frac {x_{i}^{2}}{m_{i}}}-n} 皮尔森首先讨论零假设中所有分类的理论期望次数 m i {\displaystyle m_{i}} 均为足够大且已知的情况，同时假设各分类的实际观测次数 x i {\displaystyle x_{i}} 均服从正态分布。皮尔森由此得到当样本容量 n {\displaystyle n} 足够大时， X 2 {\displaystyle X^{2}} 趋近服从自由度为 ( k − 1 ) {\displaystyle (k-1)} 的 χ 2 {\displaystyle \chi ^{2}} 分布。 然而，皮尔森在讨论当零假设中的理论期望次数 m i {\displaystyle m_{i}} 未知并依赖于必须由样本去进行估计的若干参数的情况时，记 m i {\displaystyle m_{i}} 为实际的理论期望次数以及 m i ′ {\displaystyle m'_{i}} 为估计的理论期望次数，认为 X 2 − X ′ 2 = ∑ i = 1 k x i 2 m i − ∑ i = 1 k x i 2 m i ′ {\displaystyle X^{2}-X'^{2}=\sum _{i=1}^{k}{\frac {x_{i}^{2}}{m_{i}}}-\sum _{i=1}^{k}{\frac {x_{i}^{2}}{m'_{i}}}} 的值通常为正且足够小以至于可以忽略。皮尔森总结为，如果我们认为 X ′ 2 {\displaystyle X'^{2}} 也服从自由度为 ( k − 1 ) {\displaystyle (k-1)} 的 χ 2 {\displaystyle \chi ^{2}} 分布，那么由此近似带来的误差通常足够小并不会对实际决策的结论带来实质性的影响。这个结论在应用层面造成了长达20年的争论，直到费歇尔在1922年及1924年的论文发表后才暂告一段落。 皮爾森卡方檢定，是最有名的卡方檢驗，有兩種用途，分別是「適配度檢定」（Goodness of Fit test）以及「獨立性檢定」。科學文章中，當提到卡方檢定而沒有特別註明是哪一種時，通常便是指皮爾森卡方檢定。 葉氏連續性修正（英语：Yates's correction for continuity）：當用皮爾森卡方檢定做獨立性檢定時，若任何一個欄位的期望次數小於5，會使「近似於卡方分配」的假設不可信，統計值會系統性地偏高，導致過度地拒絕虛無假設，此時可以做葉氏連續性修正。 Cochran–Mantel–Haenszel chi-squared test（英语：Cochran–Mantel–Haenszel statistics）。 McNemar's test（英语：McNemar's test），用於某些 2 × 2 表格的配對樣本。 Tukey's test of additivity（英语：Tukey's test of additivity）。 portmanteau test（英语：portmanteau test），用於時間數列分析裡檢定自我相關的存在。 似然比檢定（英語：likelihood ratio test），在建立統計模型時，用於檢定證據是否支持某個複雜的模型（使用變數較多）優於簡單的模型（使用變數較少），其中簡單模型所使用的變數全部包含於複雜模型中。 建立虛無假設（Null Hypothesis），即认为观测值与理论值的差异是由于随机误差所致； 确定数据间的实际差异，即求出卡方值； 如卡方值大于某特定概率标准（即显著性差异）下的理论值，则拒绝零假说，即实测值与理论值的差异在该显著水準下是显著的。 卡方分布 t檢定 卡方檢定的歷史演進與精確檢定 （页面存档备份，存于互联网档案馆） Chi-Square Calculator from GraphPad （页面存档备份，存于互联网档案馆） Vassar College's 2×2 Chi-Square with Expected Values Pearson, Karl. On the criterion that a given system of deviations from the probable in the case of a correlated system of variables is such that it can be reasonably supposed to have arisen from random sampling (PDF). Philosophical Magazine Series 5. 1900, 50: 157–175 [2017-07-27]. doi:10.1080/14786440009463897. （原始内容存档 (PDF)于2018-11-23）.  Pearson, Karl. Contributions to the mathematical theory of evolution [abstract]. Proceedings of the Royal Society. 1893, 54: 329–333. JSTOR 115538. doi:10.1098/rspl.1893.0079.  Pearson, Karl. Contributions to the mathematical theory of evolution, II: Skew variation in homogeneous material. Philosophical Transactions of the Royal Society. 1895, 186: 343–414. Bibcode:1895RSPTA.186..343P. JSTOR 90649. doi:10.1098/rsta.1895.0010.  Pearson, Karl. Mathematical contributions to the theory of evolution, X: Supplement to a memoir on skew variation. Philosophical Transactions of the Royal Society A. 1901, 197: 443–459. Bibcode:1901RSPTA.197..443P. JSTOR 90841. doi:10.1098/rsta.1901.0023.  Pearson, Karl. Mathematical contributions to the theory of evolution, XIX: Second supplement to a memoir on skew variation. Philosophical Transactions of the Royal Society A. 1916, 216: 429–457. Bibcode:1916RSPTA.216..429P. JSTOR 91092. doi:10.1098/rsta.1916.0009.  Cochran, William G. The Chi-square Test of Goodness of Fit. The Annals of Mathematical Statistics. 1952, 23: 315–345. JSTOR 2236678.  Fisher, Ronald A. On the Interpretation of chi-squared from Contingency Tables, and the Calculation of P. Journal of the Royal Statistical Society. 1922, 85: 87–94. JSTOR 2340521.  Fisher, Ronald A. The Conditions Under Which chi-squared Measures the Discrepancey Between Observation and Hypothesis. Journal of the Royal Statistical Society. 1924, 87: 442–450. JSTOR 2341149.