统计插补

在统计学中，统计插补（Imputation），又称缺失值插补或缺失数据插补，是指用替代值替换缺失数据的过程。若替换的是整个数据点，称为单元插补（unit imputation）；若替换的是数据点中的某个分量，则称为项目插补（item imputation）。缺失数据会引发三个主要问题：引入大量偏倚、使数据处理和分析更加困难、以及降低统计Q2265984。

由于缺失数据会给分析带来困难，插补被视为避免列表删除（listwise deletion）缺陷的一种方式。大多数统计软件默认会丢弃含有缺失值的个案，这可能引入偏倚或影响结果代表性。插补则通过基于其他可用信息估计替代值来保留所有个案。一旦所有缺失值被插补完成，即可使用针对完整数据的标准技术对数据集进行分析。目前常用的缺失数据处理方法包括：热卡插补、冷卡插补、列表删除与成对删除、均值插补、非负矩阵分解、回归插补、末次观测结转（LOCF）、随机回归插补以及多重插补等。

## 缺失数据的机制

缺失数据的机制通常分为三类。完全随机缺失（MCAR, missing completely at random）指数据缺失与否与任何观测或未观测到的变量无关；随机缺失（MAR, missing at random）指缺失与否依赖于已观测到的变量，但不依赖于未观测的变量；非随机缺失（MNAR, missing not at random）指缺失与否与未观测的变量本身有关。不同插补方法在三种机制下的表现各有差异，多数方法在MAR假设下表现良好，而在MNAR下可能产生偏倚。

## 列表删除与成对删除

### 列表删除

列表删除（listwise deletion，亦称完全案例分析）是最常见的缺失数据处理方式，即直接删除含有缺失值的所有个案。若数据为完全随机缺失（MCAR），列表删除不会引入额外偏倚，但会因有效样本量减少而降低统计检验功效。例如1000个样本中有80个含缺失值，删除后有效样本降至920。若缺失机制不是MCAR，列表删除将使剩余样本不再代表总体，从而引入偏倚。

### 成对删除

成对删除（pairwise deletion，或称可用案例分析）在分析特定变量时仅删除该变量缺失的个案，而在分析其他变量时保留该个案。使用成对删除会导致各参数估计的总样本量不一致，甚至可能产生超过100%的相关等数学上不可能的结果。尽管列表删除和成对删除有诸多缺点，但由于实现简单，它们仍是最流行的缺失数据处理方法。

## 单值插补

### 热卡插补

热卡插补（hot-deck imputation）曾是一种常见方法，它从同一数据集中随机选取相似记录的值来填补缺失值。其名称源于穿孔卡片时代——当时正被处理（即“热”的）卡片堆中的数据被用作填补来源。热卡插补的一种特殊形式称为末次观测结转（LOCF, last observation carried forward），即按某变量对数据集排序后，用缺失值上方最近的观测值进行填补。当个案是同一对象在不同时间点的重复测量时，LOCF相当于假设“若某次测量缺失，最合理的猜测是其值与上次测量相同”。然而，LOCF已知会增加偏倚风险并可能导致错误结论，因此不推荐使用。

### 冷卡插补

冷卡插补（cold-deck imputation）则从另一数据集或历史调查中选择供体值。随着计算能力的提升，更先进的插补方法已基本取代了原始的随机和排序热卡插补技术。冷卡插补适用于跨时间间隔的调查，可以从过去相似项目的回答中获取替换值。

### 均值插补

均值插补（mean substitution）将缺失值替换为该变量在其他所有个案上的均值。其优点是不改变该变量的样本均值，但缺点是会人为削弱变量之间的相关性——因为插补值与任何其他变量之间必然不存在关联。因此均值插补在单变量分析中具有一定优势，但在多变量分析中存在问题。均值插补可在类别内进行（如按性别分组），是广义回归插补的一个特例。

### 非负矩阵分解

Q10843505（NMF）在处理缺失数据时，可以在最小化代价函数的过程中忽略缺失值，而非将其当作零来处理从而引入偏倚。这使得NMF成为一种数学上完备的插补方法。研究表明，在已知NMF分量的情况下，缺失数据对代价函数的影响可降至二阶效应级别。

### 回归插补

回归插补（regression imputation）使用其他变量建立回归模型，预测含有缺失值的变量。该模型的拟合值即用作缺失值的替代。问题在于插补值不包含误差项，因此所有估计值恰好落在回归线上而无残差方差，导致变量间的关系被高估、插补值的精度也被夸大。随机回归插补（stochastic regression imputation）通过添加回归方差来引入误差，在一定程度上改进了上述问题，偏倚较前述方法更小。

## 多重插补

为应对单次插补带来的噪声问题，鲁宾（Rubin, 1987）提出了多重插补（multiple imputation）方法，通过对多个插补数据集的结果进行平均来计入不确定性。所有多重插补方法遵循三个步骤：

- 插补——类似单值插补但重复进行m次，每次从分布中随机抽取插补值，最终得到m个完整数据集。
- 分析——对每个完整数据集分别进行分析，得到m组分析结果。
- 合并——通过计算目标变量的均值、方差和置信区间，将m组结果整合为一个最终结果。

多重插补可用于MCAR、MAR乃至MNAR情况，但在MNAR下仍可能存在偏倚。链式方程多重插补（MICE, multiple imputation by chained equations），亦称完全条件设定（fully conditional specification）或序贯回归多重插补，是常用的多重插补方法之一。MICE在设计上针对MAR数据，但模拟研究表明在足够辅助变量的支持下也可处理MNAR数据。

近年来的多重插补方法引入机器学习技术以提升性能。MIDAS（Multiple Imputation with Denoising Autoencoders）使用去噪自编码器——一种无监督神经网络——来学习观测数据的细粒度潜在表示，在精度和效率上优于传统多重插补策略。

相对于单值插补，多重插补计入了插补的不确定性。单值插补将插补值视为真实值，忽视了不确定性，可能导致结果过于精确以及错误的结论。多重插补通过多次插补来描述不确定性及真实值可能取值的范围。此外，多重插补的实现并不困难，多种统计软件均提供了相应工具。例如R语言中的MICE包可执行链式方程多重插补；MIDAS可用R语言的rMIDAS包或Python的MIDASpy包实现。

## 插补引入的潜在偏倚

插补方法虽有用，但若使用不当或假设不成立，可能引入不同程度的偏倚：

- 均值插补对相关结构的破坏：均值插补人为地将缺失值设为常数，人为削弱或消除变量间的相关性，使多变量分析结果失真。
- 回归插补对方差和精度的扭曲：回归插补使用回归模型的拟合值替代缺失值，不包含误差项，导致估计值落在回归线上而无残差，使变量间关系被过度确定，插补值的精度被高估。
- LOCF的系统性偏倚：末次观测结转假设缺失后的测量值与最后一次观测相同，这在大多数纵向研究中不成立，可能导致治疗效果被高估或低估，增加错误结论的风险。
- 单值插补忽视不确定性：单值插补将插补值当作真实值处理，未反映插补过程的不确定性，会导致置信区间过窄、p值偏小，从而夸大统计显著性。
- 列表删除在非MCAR下的选择偏倚：当缺失机制不是MCAR时，列表删除会使完整样本不再代表总体，产生选择性偏倚。
- MNAR下多重插补的局限性：多重插补通常假设数据为MAR，若实际为MNAR，即使多重插补也可能产生偏倚。
- 模型设定误差：插补结果的准确性依赖于模型的正确设定。若插补模型忽略重要变量或使用错误的函数形式，将产生系统性偏倚。
- 对分布形态的扭曲：大量插补值集中在某一点（如均值）或沿回归线分布，会改变变量的整体分布形态，影响后续统计分析的有效性。

因此，研究者应根据数据缺失机制、变量关系和研究背景谨慎选择插补方法，并对插补结果进行敏感性分析。