統計插補

在統計學中，統計插補（Imputation），又稱缺失值插補或缺失數據插補，是指用替代值替換缺失數據的過程。若替換的是整個數據點，稱為單元插補（unit imputation）；若替換的是數據點中的某個分量，則稱為項目插補（item imputation）。缺失數據會引發三個主要問題：引入大量偏倚、使數據處理和分析更加困難、以及降低統計Q2265984。

由於缺失數據會給分析帶來困難，插補被視為避免列表刪除（listwise deletion）缺陷的一種方式。大多數統計軟體默認會丟棄含有缺失值的個案，這可能引入偏倚或影響結果代表性。插補則通過基於其他可用資訊估計替代值來保留所有個案。一旦所有缺失值被插補完成，即可使用針對完整數據的標準技術對數據集進行分析。目前常用的缺失數據處理方法包括：熱卡插補、冷卡插補、列表刪除與成對刪除、均值插補、非負矩陣分解、回歸插補、末次觀測結轉（LOCF）、隨機回歸插補以及多重插補等。

## 缺失數據的機制

缺失數據的機制通常分為三類。完全隨機缺失（MCAR, missing completely at random）指數據缺失與否與任何觀測或未觀測到的變量無關；隨機缺失（MAR, missing at random）指缺失與否依賴於已觀測到的變量，但不依賴於未觀測的變量；非隨機缺失（MNAR, missing not at random）指缺失與否與未觀測的變量本身有關。不同插補方法在三種機制下的表現各有差異，多數方法在MAR假設下表現良好，而在MNAR下可能產生偏倚。

## 列表刪除與成對刪除

### 列表刪除

列表刪除（listwise deletion，亦稱完全案例分析）是最常見的缺失數據處理方式，即直接刪除含有缺失值的所有個案。若數據為完全隨機缺失（MCAR），列表刪除不會引入額外偏倚，但會因有效樣本量減少而降低統計檢驗功效。例如1000個樣本中有80個含缺失值，刪除後有效樣本降至920。若缺失機制不是MCAR，列表刪除將使剩餘樣本不再代表總體，從而引入偏倚。

### 成對刪除

成對刪除（pairwise deletion，或稱可用案例分析）在分析特定變量時僅刪除該變量缺失的個案，而在分析其他變量時保留該個案。使用成對刪除會導致各參數估計的總樣本量不一致，甚至可能產生超過100%的相關等數學上不可能的結果。儘管列表刪除和成對刪除有諸多缺點，但由於實現簡單，它們仍是最流行的缺失數據處理方法。

## 單值插補

### 熱卡插補

熱卡插補（hot-deck imputation）曾是一種常見方法，它從同一數據集中隨機選取相似記錄的值來填補缺失值。其名稱源於穿孔卡片時代——當時正被處理（即「熱」的）卡片堆中的數據被用作填補來源。熱卡插補的一種特殊形式稱為末次觀測結轉（LOCF, last observation carried forward），即按某變量對數據集排序後，用缺失值上方最近的觀測值進行填補。當個案是同一對象在不同時間點的重複測量時，LOCF相當於假設「若某次測量缺失，最合理的猜測是其值與上次測量相同」。然而，LOCF已知會增加偏倚風險並可能導致錯誤結論，因此不推薦使用。

### 冷卡插補

冷卡插補（cold-deck imputation）則從另一數據集或歷史調查中選擇供體值。隨著計算能力的提升，更先進的插補方法已基本取代了原始的隨機和排序熱卡插補技術。冷卡插補適用於跨時間間隔的調查，可以從過去相似項目的回答中獲取替換值。

### 均值插補

均值插補（mean substitution）將缺失值替換為該變量在其他所有個案上的均值。其優點是不改變該變量的樣本均值，但缺點是會人為削弱變量之間的相關性——因為插補值與任何其他變量之間必然不存在關聯。因此均值插補在單變量分析中具有一定優勢，但在多變量分析中存在問題。均值插補可在類別內進行（如按性別分組），是廣義回歸插補的一個特例。

### 非負矩陣分解

Q10843505（NMF）在處理缺失數據時，可以在最小化代價函數的過程中忽略缺失值，而非將其當作零來處理從而引入偏倚。這使得NMF成為一種數學上完備的插補方法。研究表明，在已知NMF分量的情況下，缺失數據對代價函數的影響可降至二階效應級別。

### 回歸插補

回歸插補（regression imputation）使用其他變量建立回歸模型，預測含有缺失值的變量。該模型的擬合值即用作缺失值的替代。問題在於插補值不包含誤差項，因此所有估計值恰好落在回歸線上而無殘差方差，導致變量間的關係被高估、插補值的精度也被誇大。隨機回歸插補（stochastic regression imputation）通過添加回歸方差來引入誤差，在一定程度上改進了上述問題，偏倚較前述方法更小。

## 多重插補

為應對單次插補帶來的噪聲問題，魯賓（Rubin, 1987）提出了多重插補（multiple imputation）方法，通過對多個插補數據集的結果進行平均來計入不確定性。所有多重插補方法遵循三個步驟：

- 插補——類似單值插補但重複進行m次，每次從分布中隨機抽取插補值，最終得到m個完整數據集。
- 分析——對每個完整數據集分別進行分析，得到m組分析結果。
- 合併——通過計算目標變量的均值、方差和置信區間，將m組結果整合為一個最終結果。

多重插補可用於MCAR、MAR乃至MNAR情況，但在MNAR下仍可能存在偏倚。鏈式方程多重插補（MICE, multiple imputation by chained equations），亦稱完全條件設定（fully conditional specification）或序貫回歸多重插補，是常用的多重插補方法之一。MICE在設計上針對MAR數據，但模擬研究表明在足夠輔助變量的支持下也可處理MNAR數據。

近年來的多重插補方法引入機器學習技術以提升性能。MIDAS（Multiple Imputation with Denoising Autoencoders）使用去噪自編碼器——一種無監督神經網路——來學習觀測數據的細粒度潛在表示，在精度和效率上優於傳統多重插補策略。

相對於單值插補，多重插補計入了插補的不確定性。單值插補將插補值視為真實值，忽視了不確定性，可能導致結果過於精確以及錯誤的結論。多重插補通過多次插補來描述不確定性及真實值可能取值的範圍。此外，多重插補的實現並不困難，多種統計軟體均提供了相應工具。例如R語言中的MICE包可執行鏈式方程多重插補；MIDAS可用R語言的rMIDAS包或Python的MIDASpy包實現。

## 插補引入的潛在偏倚

插補方法雖有用，但若使用不當或假設不成立，可能引入不同程度的偏倚：

- 均值插補對相關結構的破壞：均值插補人為地將缺失值設為常數，人為削弱或消除變量間的相關性，使多變量分析結果失真。
- 回歸插補對方差和精度的扭曲：回歸插補使用回歸模型的擬合值替代缺失值，不包含誤差項，導致估計值落在回歸線上而無殘差，使變量間關係被過度確定，插補值的精度被高估。
- LOCF的系統性偏倚：末次觀測結轉假設缺失後的測量值與最後一次觀測相同，這在大多數縱向研究中不成立，可能導致治療效果被高估或低估，增加錯誤結論的風險。
- 單值插補忽視不確定性：單值插補將插補值當作真實值處理，未反映插補過程的不確定性，會導致置信區間過窄、p值偏小，從而誇大統計顯著性。
- 列表刪除在非MCAR下的選擇偏倚：當缺失機制不是MCAR時，列表刪除會使完整樣本不再代表總體，產生選擇性偏倚。
- MNAR下多重插補的局限性：多重插補通常假設數據為MAR，若實際為MNAR，即使多重插補也可能產生偏倚。
- 模型設定誤差：插補結果的準確性依賴於模型的正確設定。若插補模型忽略重要變量或使用錯誤的函數形式，將產生系統性偏倚。
- 對分布形態的扭曲：大量插補值集中在某一點（如均值）或沿回歸線分布，會改變變量的整體分布形態，影響後續統計分析的有效性。

因此，研究者應根據數據缺失機制、變量關係和研究背景謹慎選擇插補方法，並對插補結果進行敏感性分析。