推论统计学

推论统计学，或称统计推断（Statistical inference），是利用资料分析推断几率分布特性的过程。推论统计分析对母体的特性进行推断，例如通过检定假设和导出估计量。通常假定观测到的数据集是从较大母体中抽样所得。

推论统计可与描述统计相对照。描述统计仅关注观测数据本身的特性，并不以数据来自更大母体为前提。在机器学习中，“推断”一词有时被用来指“通过评估已训练的模型进行预测”；在此语境下，对模型特性的推断称为“训练”或“学习”（而非“推断”），而利用模型进行预测则称为“推断”（而非“预测”）；另见预测推断。

统计推断的结果常用来决定下一步的做法，可能是进行更深入的试验或问卷，或决定是否实施某项方案。

## 引言

统计推断依据从母体中以某种抽样方式抽取的数据，对母体做出命题。对于希望进行推断的某个母体假设，统计推断包含（一）选取描述数据生成过程的统计模型，以及（二）从模型推导出命题。

Konishi 与 Kitagawa 指出：“统计推断中的大多数问题，都可视为与统计建模相关的问题。”与此相关，大卫·考克斯爵士曾说：“如何将实质问题转化为统计模型，往往是分析中最关键的环节。”

统计推断的结论是一个统计命题。常见的统计命题形式包括：

- 点估计，即最佳近似某参数的特定值。
- 区间估计，例如信赖区间（或集合估计）。信赖区间是利用样本数据构建的区间，使得若重复进行许多次独立抽样（在数学上取极限），则固定比例（例如95%信赖区间对应95%）的结果区间会包含参数的真实值。
- 可信区间，即包含例如95%后验信念的值的集合。
- 拒绝假设。
- 将数据点聚类或分类成若干组别。

## 模型与假设

任何统计推断都需要若干假设。统计模型是一组关于观测数据及类似数据生成方式的假设集合。统计模型的描述通常强调感兴趣的母体量，即我们希望进行推断的对象。描述统计通常作为更正式推断之前的初步步骤。

### 模型／假设的层次

统计学家将建模假设区分为三个层次：

- 完全参数型：描述数据生成过程的几率分布，假设可由只含有限个未知参数的几率分布族完全描述。例如，可以假设母体值的分布确为常态分布，均值与变异数未知，且数据集由“简单”随机抽样生成。广义线性模型族是广泛使用的灵活参数模型。
- 非参数型：对数据生成过程所作的假设远少于参数统计，可以达到最低限度。例如，每个连续几率分布都有中位数，可用样本中位数或Hodges–Lehmann–Sen 估计量来估计，后者在数据来自简单随机抽样时具有良好性质。
- 半参数型：这一术语通常意指介于完全参数型与非参数型之间的假设。例如，可以假设母体分布具有有限均值，并进一步假设母体中均值响应水准与某共变量呈真正线性关系（参数假设），但不对均值周围的变异数作任何参数假设（即不对任何异方差性的存在或可能形式作假设）。更一般地，半参数模型通常可分为“结构”与“随机变异”两个分量，一个以参数方式处理，另一个以非参数方式处理。著名的 Cox 模型即为一套半参数假设。

### 有效模型／假设的重要性

<image>

无论采用何种层次的假设，正确校准的推断通常要求这些假设是正确的，即数据生成机制确实已被正确指定。

“简单”随机抽样的错误假设可能使统计推断失效。更复杂的半参数和完全参数假设同样值得警惕。例如，错误地假设 Cox 模型在某些情况下可能导致错误结论。对母体常态性的错误假设也会使某些基于回归的推断失效。大多数人口抽样专家对使用任何参数模型都持怀疑态度：“大多数抽样统计学家在涉及信赖区间时，仅对基于非常大样本的估计量作出陈述，因为中央极限定理保证这些估计量的分布近似常态。”尤其是，常态分布“若用于任何类型的经济学母体，将是一个完全不切实际且极为危险的假设”。此处，中央极限定理指出：“对于非常大的样本”，若分布无重尾，样本均值的分布近似常态。

#### 近似分布

由于难以精确指定样本统计量的分布，人们已发展出许多近似这些分布的方法。

对于有限样本，近似结果衡量极限分布与统计量样本分布之间的接近程度：例如，根据贝里-埃森定理，在有 10,000 个独立样本的情况下，常态分布能近似（精确到两位有效数字）许多母体分布下样本均值的分布。然而在许多实际应用中，根据模拟研究和统计学家的经验，当有 10 个或更多独立样本时，常态近似已能很好地逼近样本均值的分布。继柯尔莫哥洛夫在 1950 年代的工作之后，现代统计学使用逼近理论和泛函分析来量化近似误差。这一方法研究几率分布的度量几何，以库尔巴克-莱布勒散度、布雷格曼散度和海灵格距离等指标量化近似误差。

对于无限大的样本，极限结果（如中央极限定理）描述样本统计量在极限存在时的极限分布。极限结果并非关于有限样本的陈述，对有限样本确实毫无意义。

$n$

$n$

然而，对极限分布的渐近理论常被援引于有限样本的研究。例如，极限结果常被援引以为广义矩估计法和广义估计方程提供正当性，后两者在计量经济学和生物统计学中广受使用。极限分布与真实分布之差异（即近似的“误差”）的量级可通过模拟进行评估。将极限结果以启发式方式应用于有限样本，在许多应用中是常见做法，尤其是对具有对数凹概似函数的低维统计模型（如单参数指数族）。

### 基于随机化的模型

对于由随机化设计产生的给定数据集，统计量的随机化分布（在虚无假设下）定义为：对随机化设计可能生成的所有方案评估检定统计量。在频率论推断中，随机化使推断能够基于随机化分布而非主观模型，这在调查抽样和实验设计中尤为重要。来自随机化研究的统计推断也比许多其他情境更为直接。在贝氏推断中，随机化同样重要：在调查抽样中，使用无放回抽样确保样本与母体的可交换性；在随机化实验中，随机化为共变量资讯提供随机缺失假设。

客观随机化允许适当的归纳程序。许多统计学家偏好对由明确随机化程序生成的数据进行基于随机化的分析。（然而，在具有成熟理论知识和实验控制的科学领域中，随机化实验确实可能在不提升推断质量的情况下增加实验成本。）类似地，主要统计权威机构推荐随机化实验的结果，认为其比观察性研究更具可靠性。然而，一个良好的观察性研究可能优于一个糟糕的随机化实验。

随机化实验的统计分析可以基于实验方案中规定的随机化方案，而不需要主观模型。

然而，某些假设在任何时候都无法使用能准确描述随机化实验或随机样本的客观统计模型来检验。在某些情况下，此类随机化研究不经济或不符合伦理。

#### 随机实验的模型分析

在分析随机化实验的数据时，标准做法是援引统计模型，例如线性模型或逻辑斯回归模型。然而，随机化方案指导统计模型的选择，若不了解随机化方案，便无法选择适当的模型。在分析随机化实验数据时忽略实验方案，可能导致严重误导性的结果；常见错误包括忘记实验中使用的区组设计，以及将同一实验单元上的重复测量误认为对不同实验单元施加处理的独立重复。

#### 无模型随机化推断

无模型技术为基于模型的方法提供补充，后者采用简化现实的还原论策略。前者结合、演化、整合并动态训练算法，以适应过程的情境相似性，并学习观测值的内在特征。

例如，无模型简单线性回归基于以下两种设计之一：

- 随机设计：观测值对 $(X_1,Y_1), (X_2,Y_2), \cdots , (X_n,Y_n)$ 独立同分布（iid）。
- 确定性设计：变数 $X_1, X_2, \cdots, X_n$ 为确定性的，但对应的响应变量 $Y_1,Y_2, \cdots, Y_n$ 是随机且独立的，具有共同的条件分布，即 $P\left (Y_j \leq y | X_j =x\right ) = D_x(y)$，与指标 $j$ 无关。

在任一情况下，对共同条件分布 $D_x(.)$ 特征的无模型随机化推断依赖某些正则条件，例如函数光滑性。例如，对母体特征“条件均值” $\mu(x)=E(Y | X = x)$ 的无模型随机化推断，在 $\mu(x)$ 光滑的假设下，可通过局部平均或局部多项式拟合进行一致估计。此外，依靠渐近常态性或重抽样，可以构建母体特征——即条件均值 $\mu(x)$——的信赖区间。

## 推断范式

不同的统计推断流派已各自确立。这些流派——或称“范式”——并非互斥的，在一种范式下运作良好的方法，在其他范式下往往也有吸引人的诠释。

Bandyopadhyay 与 Forster 描述了四种范式：古典（即频率论）范式、贝氏范式、概似论者范式，以及基于赤池资讯量准则的范式。

### 频率论推断

此范式通过考虑对母体分布的（假想）重复抽样（以生成类似于当前数据集的数据集）来校准命题的可信度。通过考察重复抽样下数据集的特征，可以量化统计命题的频率论性质——尽管在实践中，这种量化可能具有挑战性。

#### 频率论推断的例子

- p值
- 信赖区间
- 虚无假设显著性检定

#### 频率论推断、客观性与决策理论

频率论推断（或古典推断）的一种诠释是：它仅适用于频率几率的情境，即对母体进行重复抽样的情境。然而，Neyman 的方法是在实验前几率的框架下发展这些程序的。也就是说，在进行实验之前，先确定一个得出结论的规则，使得正确的几率受到适当控制：此类几率无需具有频率论或重复抽样的诠释。相比之下，贝氏推断使用条件几率（即以观测数据为条件的几率），而频率论方法使用边际（但以未知参数为条件的）几率。

显著性检定和信赖区间的频率论程序可以在不考虑效用函数的情况下构建。然而，频率论统计的某些部分（如统计决策理论）确实涵盖效用函数。特别是，最优推断的频率论发展（如最小方差无偏估计量或一致最强力检定）使用损失函数，损失函数起到（负）效用函数的作用。统计学家无需明确陈述损失函数即可证明统计程序具有最优性。然而，损失函数在陈述最优性时往往很有用：例如，中位数无偏估计量在绝对值损失函数下是最优的（它使期望损失最小），而最小平方估计量在平方误差损失函数下是最优的。

使用频率论推断的统计学家必须自行选择感兴趣的参数及所用的估计量/检定统计量，而缺乏明显的显式效用和先验分布，使频率论程序被广泛视为“客观的”。

### 贝氏推断

贝氏演算使用几率的“语言”描述信念的程度；信念为正值，积分为一，并遵循几率公理。贝氏推断使用可得的后验信念作为提出统计命题的基础。使用贝氏方法有几种不同的正当性理由。

#### 贝氏推断的例子

- 用于区间估计的可信区间
- 用于模型比较的贝氏因子

#### 贝氏推断、主观性与决策理论

许多非正式贝氏推断基于后验的“直观合理”摘要。例如，后验均值、中位数和众数、最高后验密度区间以及贝氏因子都可以这种方式引入。虽然用户无需陈述效用函数即可进行此类推断，但这些摘要都在某种程度上依赖所陈述的先验信念，通常被视为主观结论。（无需外部输入的先验构建方法已被提出，但尚未完全发展。）

正式的贝氏推断以明确陈述的效用函数或损失函数为校准标准；“贝氏规则”是使后验不确定性下期望效用最大化的规则。因此，正式贝氏推断在决策理论意义上自动提供最优决策。给定假设、数据和效用，几乎任何问题都可以进行贝氏推断，尽管并非每个统计推断都需要具有贝氏诠释。非正式贝氏分析在逻辑上可能是不一致的；使用适当先验（即可积分为一的先验）的贝氏程序的一个特征是，它们保证是一致的。贝氏推断的一些倡导者主张，推断必须在此决策论框架内进行，且贝氏推断不应以后验信念的评估和总结作为结论。

### 基于概似函数的推断

基于概似函数的推断是一种用于根据观测数据估计统计模型参数的范式。概似论通过使用概似函数来处理统计问题，概似函数记为 $L(x | \theta)$，量化在特定参数值集 $\theta$ 下观测到给定数据 $x$ 的几率。在基于概似函数的推断中，目标是找到使概似函数最大化的参数值集，等效地，最大化观测到给定数据的几率。

基于概似函数的推断过程通常涉及以下步骤：

- 建立统计模型：根据所面对的问题定义统计模型，指定分布假设以及观测数据与未知参数之间的关系。模型可以是简单的（如已知变异数的常态分布），也可以是复杂的（如具有多层随机效应的层次模型）。
- 构建概似函数：给定统计模型，通过将观测数据的联合几率密度函数或质量函数作为未知参数的函数来构建概似函数。此函数表示在不同参数值下观测到数据的几率。
- 最大化概似函数：下一步是找到使概似函数最大化的参数值集，可使用数值最优化算法等技术实现。估计的参数值（通常记为 $\bar{y}$）即为最大概似估计量（MLE）。
- 评估不确定性：获得最大概似估计量后，必须量化与参数估计相关的不确定性，可通过计算标准误、信赖区间，或基于渐近理论或拔靴法等模拟技术进行假设检定来实现。
- 模型检验：在获得参数估计量并评估其不确定性之后，需要评估统计模型的适切性，包括检查模型中的假设，以及使用拟合优度检定、残差分析或图形诊断来评估模型对数据的拟合程度。
- 推断与诠释：最后，根据估计的参数和模型评估进行统计推断，包括对母体参数得出结论、进行预测，或根据估计的模型检定假设。

### 基于 AIC 的推断

赤池资讯量准则（AIC）是对给定数据集的统计模型相对质量的估计量。给定一组数据的模型集合，AIC 估计每个模型相对于其他各模型的质量，从而提供模型选择的手段。

AIC 建立在信息论的基础上：它提供一个估计量，衡量在使用给定模型表示生成数据的过程时，相对损失的资讯量。（在此过程中，它处理模型拟合优度与模型简洁性之间的权衡。）

### 其他推断范式

#### 最短描述长度

最短描述长度（MDL）原则的发展源于信息论和科尔莫哥洛夫复杂度理论的思想。MDL 原则选取能最大程度压缩数据的统计模型；推断过程无需假设反事实或不可证伪的“数据生成机制”或数据的几率模型，而这在频率论或贝氏方法中可能会发生。

然而，若现实中确实存在某“数据生成机制”，则根据夏农的信源编码定理，它平均且渐近地提供了数据的 MDL 描述。在最小化描述长度（或描述复杂性）方面，MDL 估计类似于最大概似估计和最大后验概率估计（使用最大熵贝氏先验）。然而，MDL 避免假设已知底层几率模型；MDL 原则也可以在不假设（例如）数据源自独立抽样的情况下应用。

MDL 原则已被应用于信息论中的通信编码理论、线性回归和资料探勘。

MDL 推断程序的评估常使用计算复杂性理论中的技术或标准。

#### 信念推断

信念推断是一种基于信念几率（又称“信念分布”）的统计推断方法。在后续研究中，这一方法被批评为定义不清、适用范围极为有限，甚至是谬误的。然而，这一论点与以下论证相同：所谓的信赖分布并非有效的几率分布，但这并未使信赖区间的应用失效，因此也不必然使从信念论据得出的结论失效。有人曾尝试将费雪早期信念论据的工作重新诠释为使用上下几率的推断理论的特例。

#### 结构推断

乔治·巴纳德在 1938 年至 1939 年间基于费雪和皮特曼的思想，发展了“结构推断”或“枢轴推断”，这是一种在群族上使用不变几率的方法。巴纳德在信念推断程序“定义明确且有用”的受限模型类上重新整理了信念推断的论据。唐纳德·弗雷泽基于群论为结构推断建立了一套一般理论，并将其应用于线性模型。弗雷泽所建立的理论与决策理论和贝氏统计有密切联系，若最优频率论决策规则存在，则能提供该规则。

## 推断主题

以下主题通常被涵盖在统计推断的范畴之中。

- 统计假设
- 统计决策理论
- 估计理论
- 统计假设检定
- 统计学中的意见修正
- 实验设计、变异数分析与回归分析
- 调查抽样
- 统计数据摘要

## 预测推断

预测推断是一种统计推断方法，强调根据过去观测值对未来观测值的预测。

最初，预测推断基于可观测的参数，是研究几率的主要目的，但在二十世纪由于布鲁诺·德菲内蒂所开创的新参数方法而失去青睐。这一方法将现象建模为带有误差的物理系统（例如天体力学）。德菲内蒂关于可交换性的思想——未来观测应与过去观测表现相似——随着其 1937 年法文论文于 1974 年被译成英文而引起英语世界的关注，此后，这一思想由西摩·盖赛尔等统计学家加以倡导。

## 参考文献

- Cox, D. R. (2006). Principles of Statistical Inference, Cambridge University Press. .
- Fisher, R. A. (1955), “Statistical methods and scientific induction”, Journal of the Royal Statistical Society, Series B, 17, 69—78. (criticism of statistical theories of Jerzy Neyman and 沃德·亚伯拉罕)
- Freedman, D. A. (2010). Statistical Models and Causal Inferences: A Dialogue with the Social Sciences (Edited by David Collier, Jasjeet S. Sekhon, and Philip B. Stark), Cambridge University Press.
- Reprinted as
- Konishi S., Kitagawa G. (2008), Information Criteria and Statistical Modeling, Springer.
- Le Cam, Lucian. (1986) Asymptotic Methods of Statistical Decision Theory, Springer.
- Moore, D. S.; McCabe, G. P.; Craig, B. A. (2015), Introduction to the Practice of Statistics, Eighth Edition, Macmillan.
- (reply to Fisher 1955)
- Peirce, C. S. (1877–1878), “Illustrations of the logic of science” (series), Popular Science Monthly, vols. 12-13. Relevant individual papers:
- (1878 March), “The Doctrine of Chances”, Popular Science Monthly, v. 12, March issue, pp. 604 –615. Internet Archive Eprint.
- (1878 June), “The Order of Nature”, Popular Science Monthly, v. 13, pp. 203 –217. Internet Archive Eprint.
- (1878 August), “Deduction, Induction, and Hypothesis”, Popular Science Monthly, v. 13, pp. 470 –482. Internet Archive Eprint.
- Peirce, C. S. (1883), “A Theory of probable inference”, Studies in Logic, pp. 126-181 , Little, Brown, and Company. (Reprinted 1983, John Benjamins Publishing Company, )

## 延伸阅读

- Casella, G., Berger, R.L. (2001). Statistical Inference. Duxbury Press.
- Held L., Bové D.S. (2014). Applied Statistical Inference—Likelihood and Bayes (Springer).
- Rahlf, Thomas (2014). “Statistical Inference”, in Claude Diebolt, and Michael Haupert (eds.), “Handbook of Cliometrics (Springer Reference Series)”, Berlin/Heidelberg: Springer. http://www.springerreference.com/docs/html/chapterdbid/372458.html
- Young, G.A., Smith, R.L. (2005). Essentials of Statistical Inference, CUP.

## 外部链接

- MIT OpenCourseWare : Statistical Inference
- NPTEL Statistical Inference , youtube link
- Statistical induction and prediction