重要性采样

重要性采样（英語：importance sampling）是统计学中估计某一分布性质时使用的一种方法。该方法从与原分布不同的另一个分布中采样，而对原先分布的性质进行估计。重要性采样与计算物理学中的伞形采样（英语：Umbrella sampling）相关。 假设 X : Ω → R {\displaystyle X:\Omega \to \mathbb {R} } 为概率空间 ( Ω , F , P ) {\displaystyle (\Omega ,{\mathcal {F}},P)} 上的一个随机变量。我们想要估计X的期望值，记作E[X;P]。如果根据P随机抽取样本 x 1 , … , x n {\displaystyle x_{1},\ldots ,x_{n}} ，估计的期望值即 E ^ n [ X ; P ] = 1 n ∑ i = 1 n x i {\displaystyle {\widehat {\mathbf {E} }}_{n}[X;P]={\frac {1}{n}}\sum _{i=1}^{n}x_{i}} 这一估计的精确度取决于X的方差， var ⁡ [ E ^ n ; P ] = var ⁡ [ X ; P ] / n {\displaystyle \operatorname {var} [{\widehat {\mathbf {E} }}_{n};P]=\operatorname {var} [X;P]/n} 而重要性采样的基本思想则是从另一个分布中抽取样本，用以降低E[X;P]估计的方差。进行重要性采样时，首先选择一个随机变量 L ≥ 0 {\displaystyle L\geq 0} ，使得E[L;P]=1，并满足P上几乎处处 L ( ω ) ≠ 0 {\displaystyle L(\omega )\neq 0} 。由此，可以定义新的概率 E [ X ; P ] = E [ X L ; P ( L ) ] . {\displaystyle \mathbf {E} [X;P]=\mathbf {E} \left[{\frac {X}{L}};P^{(L)}\right].} 于是，我们可以从P(L)上抽样，通过变量X/L估计E[X;P]。如果 var ⁡ [ X L ; P ( L ) ] < var ⁡ [ X ; P ] {\displaystyle \operatorname {var} \left[{\frac {X}{L}};P^{(L)}\right]<\operatorname {var} [X;P]} 成立，此时的估计便优于直接在原分布上采样得到的估计。 当X在Ω上不变号时，最优的L为 L ∗ = X E [ X ; P ] ≥ 0 {\displaystyle L^{*}={\frac {X}{\mathbf {E} [X;P]}}\geq 0} 。此时X/L*即为要估计的E[X;P]，只需一个样本便可得到该值。然而由于L*与要估计的E[X;P]有关，在实际操作中我们无法取到理论上最优的L*。不过，我们仍可以采用如下方式逼近该理论值： ∀ a ∈ R , P ( L ∗ ) ( X ∈ [ a ; a + d a ] ) = ∫ ω ∈ { X ∈ [ a ; a + d a ] } X ( ω ) E [ X ; P ] d P ( ω ) = 1 E [ X ; P ] a P ( X ∈ [ a ; a + d a ] ) {\displaystyle {\begin{aligned}\forall a\in \mathbb {R} ,\;P^{(L^{*})}(X\in [a;a+da])&=\int _{\omega \in \{X\in [a;a+da]\}}{\frac {X(\omega )}{E[X;P]}}dP(\omega )\\&={\frac {1}{E[X;P]}}\;a\,P(X\in [a;a+da])\end{aligned}}} 于是，要估计的期望值可改写为： E [ X ; P ] = ∫ a = − ∞ + ∞ a P ( X ∈ [ a ; a + d a ] ) {\displaystyle E[X;P]=\int _{a=-\infty }^{+\infty }a\,P(X\in [a;a+da])} 注意到，更优（即让估计值方差更小）的P(L)会使得样本分布的频率与其在E[X;P]计算中的权重更加相关。这也是该方法得名“重要性采样”的原因。 重要性采样常用于蒙特卡洛积分。当 P {\displaystyle P} 为均匀分布、 Ω = R {\displaystyle \Omega =\mathbb {R} } 时，E[X;P]即为实函数 X : R → R {\displaystyle X:\mathbb {R} \to \mathbb {R} } 的积分。 Arouna, Bouhari. Adaptative Monte Carlo Method, A Variance Reduction Technique. Monte Carlo Methods and Their Applications. 2004, 10 (1): 1–24. doi:10.1515/156939604323091180.  Bucklew, James Antonio. Introduction to Rare Event Simulation. New York: Springer-Verlag. 2004.  Doucet, A.; de Freitas, N.; Gordon, N. Sequential Monte Carlo Methods in Practice. Springer. 2001. ISBN 978-0-387-95146-1.  Ferrari, M.; Bellini, S. Importance Sampling simulation of turbo product codes. The IEEE International Conference on Communications. 2001, 9: 2773–2777. doi:10.1109/ICC.2001.936655.  Mazonka, Oleg. Easy as Pi: The Importance Sampling Method (PDF). Journal of Reference. 2016, 16 [2017-09-18]. （原始内容存档 (PDF)于2021-04-14）.  Oberg, Tommy. Modulation, Detection, and Coding. New York: John Wiley & Sons. 2001.  Press, WH; Teukolsky, SA; Vetterling, WT; Flannery, BP. Section 7.9.1 Importance Sampling. Numerical Recipes: The Art of Scientific Computing 3rd. New York: Cambridge University Press. 2007 [2017-09-18]. ISBN 978-0-521-88068-8. （原始内容存档于2011-08-11）.  Ripley, B. D. Stochastic Simulation. Wiley & Sons. 1987.  Smith, P. J.; Shafi, M.; Gao, H. Quick simulation: A review of importance sampling techniques in communication systems. IEEE J. Select. Areas Commun. 1997, 15 (4): 597–613. doi:10.1109/49.585771.  Srinivasan, R. Importance sampling – Applications in communications and detection. Berlin: Springer-Verlag. 2002.