信赖区间

在统计学中，一个概率样本的置信区间（confidence interval，CI），是对产生这个样本的总体的参数分布（parametric distribution）中的某一个未知母数值，以区间形式给出的估计。相对于点估计（point estimation）用一个样本统计量来估计参数值，置信区间还蕴含了估计的精确度的信息。在现代机器学习中越来越常用的置信集合（confidence set）概念是置信区间在多维分析的推广。
置信区间在频率学派中间使用，其在贝叶斯统计中的对应概念是可信区间（credible interval）。两者建立在不同的概念基础上的，贝叶斯统计将分布的位置参数视为随机变量，并对给定观测到的数据之后未知参数的后验分布进行描述，故无论对随机样本还是已观测数据，构造出来的可信区间，其可信水平都是一个合法的概率；而置信区间的置信水平，只在考虑随机样本时可以被理解为一个概率。

**定义**

**对随机样本的定义**
定义置信区间最清晰的方式是从一个随机样本出发。考虑一个一维随机变量服从分布，又假设是的参数之一。假设我们的数据采集计划将要独立地抽样次，得到一个随机样本，注意这里所有的都是随机的，我们是在讨论一个尚未被观测的数据集。如果存在统计量（统计量定义为样本的一个函数，且不得依赖于任何未知参数）满足使得：
 
则称为一个用于估计参数的置信区间，其中的，称为置信水平，在假设检验中也称为显着性水平。

**对观测到的数据的定义**
接续随机样本版本的定义，现在，对于随机变量的一个已经观测到的样本，注意这里用小写x表记的都是已经观测到的数字，没有随机性了，定义基于数据的置信区间为：
 
注意，置信区间可以是单尾或者双尾的，单尾的置信区间中设定或者，具体前者还是后者取决于所构造的置信区间的方向。
初学者常犯一个概念性错误，是将基于观测到的数据所同样构造的置信区间的置信水平，误认为是它包含真实未知参数的真实值的概率。正确的理解是：置信水平只有在描述这个同样构造置信区间的过程（或称方法）的意义下才能被视为一个概率。一个基于已经观测到的数据所构造出来的置信区间，其两个端点已经不再具有随机性，因此，类似的构造的间隔将会包含真正的值的比例在所有值中，其包含未知参数的真实值的概率是0或者1，但我们不能知道是前者还是后者。

**例子**

**例1：正态分布，已知总体方差**
水平的正态置信区间为：
   (双尾)
   (单尾)
   (单尾)
以下为方便起见，只列出双尾置信区间的例子，且区间中用""进行简记：

**例2：正态分布，未知总体方差**
水平的双尾正态置信区间为：
 

**例3：两个独立正态样本**
设有两个独立正态样本和，样本大小为和，估计总体均值之差，假设总体方差未知但相等：(如果未知且不等就要应用Welch公式来确定t分布的自由度)
水平的双尾正态置信区间为：
 ，其中且分别表示和的样本标准差。

**常见误解**
从常态分布产生的50个样本中得出的50个信赖区间
信赖区间及信心水准常被误解，出版的研究也显示出既使是专业的科学家也常做出错误的诠释。- 以95%的信赖区间来说，建构出一个信赖区间，不代表分布的参数有95%的机率会落在该信赖区间内（也就是说该区间有95%的机率涵盖了分布参数）。 依照严格的频率学派诠释，一旦信赖区间被建构完全，此区间不是涵盖了参数就是没涵盖参数，已经没有机率可言。95%机率指的是建构信赖区间步骤的可靠性，不是针对一个特定的区间。内曼本人（信赖区间的原始提倡者）在他的原始论文提出此点：「在上面的叙述中可以注意到，机率是指统计学家在未来关心的估计问题。事实上，我已多次说明，正确结果的频率会趋向于α。考虑到一个样本已被抽取，特定端点也已被计算完成。我们能说在这个特定的例子里真值落到端点中的机率等于α吗？答案明显是否定的。参数是未知的常数，无法做出对其值的机率叙述……」
Deborah Mayo针对此点进一步说道：「无论如何必须强调，在看到资料的数值后，Neyman–Pearson理论从不允许做出以下结论，特定产生的信赖区间涵盖了真值的机率或信心为(1 − α)100%。Seidenfeld的评论似乎源于一种（并非不寻常的）期望，Neyman–Pearson信赖区间能提供他们无法合理提供的，也就是未知参数落入特定区间的机率大小、信心高低或支持程度的测度。随着Savage (1962)之后，参数落入特定区间的机率可能是指最终精密度的测度。最终精密度的测度令人向往而且信赖区间又常被(错误地)解释成可提供此测度，然而此解释是不被保证的。无可否认的，『信赖』二字助长了此误解。」- 95%信赖区间不代表有95%的样本资料落在此信赖区间。- 信赖区间不是样本参数的可能值的确定范围，虽然它常被启发为可能值的范围。- 从一个实验中算出的一个95%信赖区间，不代表从不同实验得到的样本参数有95%落在该区间中 

**构造法**
一般来说，置信区间的构造需要先找到一个枢轴变量（pivotal quantity，或称pivot），其表达式依赖于样本以及待估计的未知参数(但不能依赖于总体的其它未知参数)，其分布不依赖于任何未知参数。
下面以上述例2为例，说明如何利用枢轴变量构造置信区间。对于一个正态分布的随机样本，可以证明(此证明对初学者并不容易)如下统计量互相独立：
   和   
它们的分布是：
   和  
所以根据t分布的定义，有

于是反解如下等式左边括号中的不等式

就得到了例2中双尾置信区间的表达式。

**与参数检验的联系**
有时，置信区间可以用来进行母数检验。例如在上面的例1中构造的双尾水平置信区间，可以用来检验具有相应的显着水平为的双尾对立假说，具体地说是如下检验：
正态分布总体，知道总体方差，在显着水平下检验：
  vs 
检验方法是：当（且仅当）相应的水平置信区间不包含时拒绝零假设
例1中构造的双尾水平置信区间也可以用来检验如下两个显着水平为的单尾对立假设：
  vs 
和
  vs 
检验方法是完全类似的，比如对于上述第一个单尾检验，当且仅当双尾置信区间的左端点大于时拒绝零假设。

**参考文献**

**参考书目**
 罗纳德·费雪 (1956) Statistical Methods and Scientific Inference. Oliver and Boyd, Edinburgh. (See p. 32.)- 弗罗因德 (1962) Mathematical Statistics Prentice Hall, Englewood Cliffs, NJ. (See pp. 227–228.)- 伊安·海金 (1965) Logic of Statistical Inference. Cambridge University Press, Cambridge- 齐平 (1962) Introduction to Statistical Inference. D. Van Nostrand, Princeton, NJ.- 杰克·基弗(1977)  "Conditional Confidence Statements and Confidence Estimators (with discussion)" Journal of the American Statistical Association, 72, 789–827.- 泽西·内曼 (1937)  "Outline of a Theory of Statistical Estimation Based on the Classical Theory of Probability" Philosophical Transactions of the Royal Society of London A, 236, 333–380. (Seminal work.)- G.K.罗宾逊 (1975)  "Some Counterexamples to the Theory of Confidence Intervals." Biometrika, 62, 155–161.