显著性差异

統計學的假說檢定中，顯著性差異（或统计学意义，）是對數據差異性的評價，當某次實驗的结果在虛無假說下不大可能发生时，就認為該結果具有顯著性差異。更準確而言，譬如某項研究設定了一個數值α（顯著水準），表示虛無假說本來正確但卻被拒絕的出錯概率（並非虛無假設為真的機率、對立假設為假的機率、實驗再現失敗率），然後用p值表示虛無假說条件为真時得到某結果或更極端结果的概率。當  時，就可以認為結果具有統計學意義，或數據之間具有了顯著性差異。顯著水準應當在開始數據收集前就設定，通常習慣設定為5%或更低，因研究的具體學科領域而異。

在任何涉及到从总体中抽取样本的实验或观察性研究中，观察到的结果都有可能只不过是由抽样误差产生的。但是，如果一个观察结果的  值小于（或等于）显著性水平 ，研究者就可以得出“该结果能反映总体的特征”的结论，并拒绝零假设。

顯著性差異的原因可能是：
參與比對的數據是來自不同實驗對象，如比－西一般能力測驗中，大學學歷被試組的成績與小學學歷被試組之間，會存在顯著性差異；
也可能是因為實驗處理對實驗對象造成了改變，因而前測、後測的數據會有顯著性差異。例如，記憶術研究發現，被試者學習某記憶法前的成績，和學習記憶法後的記憶成績會有顯著性差異，則這一差異很可能來自於這種記憶法對被試記憶能力的改變。

 歷史 
顯著性差異的提出可追溯到18世纪，约翰·阿布斯诺特和皮埃尔-西蒙·拉普拉斯作出了男女出生概率均等的零假设，然后计算了人类出生时性别比的p值。

1925年，羅納德·費雪在《》一书中提出了统计假设检验的思想，称之为“显著性检验”（）。費雪建議将1/20（=0.05）的概率作为拒绝虛無假說的一个截断值。在1933年的一篇论文中，耶日·内曼和埃贡·皮尔逊把这个截断值称为“显著性水平”，並賦予它符號 。他们建议， 值應當在收集任何数据收集之前提前设定。

費雪最初將显著性水平定為0.05，但他并不打算将这一截断值定死。在他1956年出版的《统计方法与科学推断》一书中，他建议根据具体情况确定显著性水平。

相關概念
显著性水平  是  值的阈值，當  時就拒絕零假设（即使零假设仍有可能是正确的）。这意味着  也是在零假设正确的情况下错误地将其否定的概率，称为伪阳性或型一錯誤、棄真錯誤、 錯誤。

而有些研究者偏好使用置信水平。它是零假设成立时不拒绝零假设的概率。"Conclusions about statistical significance are possible with the help of the confidence interval. If the confidence interval does not include the value of zero effect, it can be assumed that there is a statistically significant result." 置信水平和置信区间是Neyman于1937年提出的。

 顯著水準 
顯著水準（，符號： ）常用于假设检验中检验假设和实验结果是否一致，它代表在虛無假說（記作）為真時，錯誤地拒絕的機率，即發生型一錯誤（棄真錯誤、 錯誤）的機率。

比如，我們從兩個母體中分別抽取了兩組樣本數據A和B，這兩組數據在顯著水準  下具備顯著性差異。這是說，兩組數據所代表的母體具備顯著性差異的可能性為95%；但它們代表的母體仍有5%的可能性是沒有顯著性差異的，這5%是由於抽样误差造成的。也可表述为：

如果拒绝“两组数据一致（二者不具备显著性差异）”的零假设（接受“两组数据不一致”的备择假设），此时有5%的可能性犯第一类错误；
如果  两组数据不具备显著差异； 实际数据具有显著差异，則 ，即統計100次，預期是  情況，但可能出現5次的  情況。

當假說檢定所測得之數據之間具有顯著性差異，實驗的虛無假說就可被推翻，也就是拒絕，接受對立假說（alternative hypothesis，記作或）；反之，若數據之間不具備顯著性差異，則拒絕對立假說，不拒絕虛無假說。通常情況下，實驗結果需要證明達到顯著水準 或，才可以說數據之間具備了顯著性差異，否則就如上所述，容易作出錯誤的推論。在作結論時，應確實描述方向性（例如顯著大於或顯著小於）。

数学表述为：引入p值作为检验样本（test statistic）观察值的最低顯著水準。在  或  的条件下，若零假设成立的概率（）小于 ，则表示零假设成立的情况下得到这种观测结果的概率，比1%或5%還低，在该显著性水平下，我们可拒绝该零假设。

P(X=x)<α=0.05为“显著（significant)”，统计分析软件SPSS中以*标记；
P(X=x)<α=0.01为“极显著（extremely significant）”，通常以**标记。

 局限性 
研究人员常常只关注他们的结果是否具有统计学意义，但其报告的结果可能并没有实质性，或者研究结果无法重現。统计学意义与实际意义之间也不能等同，有统计学意义的研究未必就有实际意义。

 效应值 

效应值是衡量一项研究的实际意义。统计上显著的结果可能效应量很低。为了衡量结果的研究意义，研究人员最好同时给出效应值和p值。效应量量化了效应的强度，例如以标准差为单位的两个平均值之间的距离（Cohen's d）、两个变量之间的相关系数或其平方，以及其他度量。

 再现性 

统计上显著的结果未必能够轻易重現。特别是一些有显著性差异的结果实际上是假阳性。重现结果每失败一次，都意味着研究结果实际上为假阳性的可能性增加。

 参见 
 假說檢定
 A/B測試

 多重比較謬誤
 样本量确定
 德州神槍手謬誤

 参考文献 

Category:假設檢定