U-统计量

U-统计量是统计学中一类特定的、具有对称性的统计量，它在估计理论中扮演重要角色。名称中的“ U”为无偏（unbiased）之意。在初等统计学中，U-统计量与最小方差无偏估计量 (UMVUE) 有密切联系。 U-统计量的一个重要性是，对概率分布来说，其可估计参数的最小方差无偏估计量 是一个U-统计量。 因此通过研究U-统计量的一般性质，可以系统地了解这些估计量的统计学性质。 U-统计量在非参数统计中尤其重要，不少用于估计和统计检验的统计量，在形式上都是U-统计量。U-统计量通常具有良好的渐近正态性，这方便了基于它的统计推断。 近年来，U-统计量在研究复杂的随机过程和随机网络类型数据的随机性质方面，发挥了作用。 目前，统计学家们对U-统计量性质的了解，几乎全都基于Hoeffding发表于1948年的经典论文。在这篇论文里，Hoeffding给出了U-统计量最重要的性质——它的ANOVA分解。 定义 h ( x 1 , … , x r ) : R r → R {\displaystyle h(x_{1},\ldots ,x_{r}):\mathbb {R} ^{r}\to \mathbb {R} } 为一个函数，其具有对称性，即交换任意 x i , x j {\displaystyle x_{i},x_{j}} 的位置， h {\displaystyle h} 的值保持不变。对随机变量 X 1 , … , X n {\displaystyle X_{1},\ldots ,X_{n}} ，基于 h {\displaystyle h} 的U-统计量定义如下： U n = 1 ( n r ) ∑ 1 ≤ i 1 < ⋯ < i r ≤ n h ( X i 1 , … , X i r ) {\displaystyle U_{n}={\frac {1}{\binom {n}{r}}}\sum _{1\leq i_{1}<\cdots <i_{r}\leq n}h(X_{i_{1}},\ldots ,X_{i_{r}})} 这里， h ( ⋅ ) {\displaystyle h(\cdot )} 称为U-统计量的核函数（Kernel function），而核函数的维数 r {\displaystyle r} 称为该U-统计量的度（degree）。 定义 h ( x 1 , … , x r ; y 1 , … , y s ) : R r + s → R {\displaystyle h(x_{1},\ldots ,x_{r};y_{1},\ldots ,y_{s}):\mathbb {R} ^{r+s}\to \mathbb {R} } 为一个函数，其对 X {\displaystyle X} 和 Y {\displaystyle Y} 分别具有对称性，即交换任意 x i 1 , x i 2 {\displaystyle x_{i_{1}},x_{i_{2}}} 的位置或交换任意 y j 1 , y j 2 {\displaystyle y_{j_{1}},y_{j_{2}}} 的位置， h {\displaystyle h} 的值保持不变（但不能随意交换 x i , y j {\displaystyle x_{i},y_{j}} ）。对随机变量 X 1 , … , X m ; Y 1 , … , Y n {\displaystyle X_{1},\ldots ,X_{m};Y_{1},\ldots ,Y_{n}} ，基于 h {\displaystyle h} 的两样本U-统计量定义如下： U m , n = 1 ( m r ) ( n s ) ∑ 1 ≤ i 1 < ⋯ < i r ≤ m ∑ 1 ≤ j 1 < ⋯ < j s ≤ n h ( X 1 , … , X r ; Y 1 , … , Y s ) {\displaystyle U_{m,n}={\frac {1}{{\binom {m}{r}}{\binom {n}{s}}}}\sum _{1\leq i_{1}<\cdots <i_{r}\leq m}\sum _{1\leq j_{1}<\cdots <j_{s}\leq n}h(X_{1},\ldots ,X_{r};Y_{1},\ldots ,Y_{s})} 目前在机器学习中，最常见的情形是 r = s = 1 {\displaystyle r=s=1} ，例如能量距离和最大平均差异（MMD）。 Hoeffding的ANOVA分解定理是现代U-统计量理论的基础。为表述该定理，定义： μ = E [ h ( X 1 , … , X r ) ] {\displaystyle \mu =\mathbb {E} [h(X_{1},\ldots ,X_{r})]} 。 对所有 1 ≤ k ≤ r {\displaystyle 1\leq k\leq r} ，定义投影函数： a k ( x 1 , … , x k ) = E [ h ( X 1 , … , X r ) | X 1 = x 1 , … , X k = x k ] − μ {\displaystyle a_{k}(x_{1},\ldots ,x_{k})=\mathbb {E} [h(X_{1},\ldots ,X_{r})|X_{1}=x_{1},\ldots ,X_{k}=x_{k}]-\mu } 然后定义正交化投影函数： g 1 ( x 1 ) = a 1 ( x 1 ) {\displaystyle g_{1}(x_{1})=a_{1}(x_{1})} ， g 2 ( x 1 , x 2 ) = a 2 ( x 1 , x 2 ) − g 1 ( x 1 ) − g 2 ( x 2 ) {\displaystyle g_{2}(x_{1},x_{2})=a_{2}(x_{1},x_{2})-g_{1}(x_{1})-g_{2}(x_{2})} ，等等，每一个 g k {\displaystyle g_{k}} 都定义为相应的 a k {\displaystyle a_{k}} 减去之前定义过的所有 g 1 , … , g k − 1 {\displaystyle g_{1},\ldots ,g_{k-1}} ，直至最后一个函数 g r {\displaystyle g_{r}} ： g r ( x 1 , … , x r ) = a r ( x 1 , … , x r ) − ∑ j = 1 r − 1 ∑ 1 ≤ i 1 < ⋯ < i j ≤ r g j ( x i 1 , … , x i j ) {\displaystyle g_{r}(x_{1},\ldots ,x_{r})=a_{r}(x_{1},\ldots ,x_{r})-\sum _{j=1}^{r-1}\sum _{1\leq i_{1}<\cdots <i_{j}\leq r}g_{j}(x_{i_{1}},\ldots ,x_{i_{j}})} Hoeffding的ANOVA分解定理的内容是： U n − μ = ( n r ) − 1 ∑ k = 1 r ( n − k r − k ) ⋅ ∑ 1 ≤ i 1 < ⋯ < i k ≤ n g k ( X i 1 , … , X i k ) {\displaystyle U_{n}-\mu ={\binom {n}{r}}^{-1}\sum _{k=1}^{r}{\binom {n-k}{r-k}}\cdot \sum _{1\leq i_{1}<\cdots <i_{k}\leq n}g_{k}(X_{i_{1}},\ldots ,X_{i_{k}})} 所有的正交化投影函数 g k {\displaystyle g_{k}} 都满足： E [ g k ( X 1 , … , X k ) | X 1 , … , X k − 1 ] = 0 {\displaystyle \mathbb {E} [g_{k}(X_{1},\ldots ,X_{k})|X_{1},\ldots ,X_{k-1}]=0} 因此，所有的分解项之间是互不相关的，并且度为 k {\displaystyle k} 的分解项之平均的阶为 O p ( n − k / 2 ) {\displaystyle O_{p}\left(n^{-k/2}\right)} . 在大多数应用中，一个U-统计量的ANOVA分解中最重要的是前一项或前两项。根据分解项的性质，可以得到如下的两项ANOVA分解式： U n − μ = r n ∑ i = 1 n g 1 ( X i ) + r ( r − 1 ) n ( n − 1 ) ∑ 1 ≤ i < j ≤ n g 2 ( X i , X j ) + O p ( n − 3 / 2 ) {\displaystyle U_{n}-\mu ={\frac {r}{n}}\sum _{i=1}^{n}g_{1}(X_{i})+{\frac {r(r-1)}{n(n-1)}}\sum _{1\leq i<j\leq n}g_{2}(X_{i},X_{j})+O_{p}(n^{-3/2})} U-统计量的渐近正态性是Hoeffding的ANOVA分解定理的简单推论。具体而言，有如下结论：记 ξ 1 2 = V a r ( g 1 ( X 1 ) ) {\displaystyle \xi _{1}^{2}=\mathrm {Var} (g_{1}(X_{1}))} ，则: n 1 / 2 ( U n − μ )   → d   N ( 0 , r 2 ξ 1 2 ) {\displaystyle n^{1/2}\left(U_{n}-\mu \right)\ {\stackrel {d}{\to }}\ N\left(0,r^{2}\xi _{1}^{2}\right)} 同时，分解定理也指出了应该如何正确地一阶逼近U-统计量的方差，和对其进行t-标准化。 由该定理出发，在不同强度的假设条件下，可以用一项或两项的Edgeworth展开来高精度地逼近U-统计量的分布。 度为1的例子：令 h ( x ) = x {\displaystyle h(x)=x} ，则U-统计量 1 n ∑ i = 1 n h ( X i ) = X ¯ n {\displaystyle {\frac {1}{n}}\sum _{i=1}^{n}h(X_{i})={\bar {X}}_{n}} 是样本均值。 度为2的例子：令 h ( x 1 , x 2 ) = | x 1 − x 2 | {\displaystyle h(x_{1},x_{2})=|x_{1}-x_{2}|} ，则U-统计量 1 ( n 2 ) ∑ 1 ≤ i < j ≤ n h ( X i , X j ) {\displaystyle {\frac {1}{\binom {n}{2}}}\sum _{1\leq i<j\leq n}h(X_{i},X_{j})} 称为“平均成对偏差”。 另一个度为2的例子：令 h ( x 1 , x 2 ) = ( x 1 − x 2 ) 2 / 2 {\displaystyle h(x_{1},x_{2})=(x_{1}-x_{2})^{2}/2} ，则U-统计量有如下变形： 1 ( n 2 ) ∑ 1 ≤ i < j ≤ n h ( X i , X j ) = ∑ ( X i − X ¯ ) 2 / ( n − 1 ) {\displaystyle {\frac {1}{\binom {n}{2}}}\sum _{1\leq i<j\leq n}h(X_{i},X_{j})=\sum (X_{i}-{\bar {X}})^{2}/(n-1)} 这正是人们熟知的样本方差 S n 2 {\displaystyle S_{n}^{2}} 。 度为3的例子：样本偏度定义中的分子项： 1 n ∑ i = 1 n ( X i − X ¯ ) 3 {\displaystyle {\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-{\bar {X}})^{3}} 展开后可以写成一个U-统计量。 在机器学习中，用核函数方法进行一样本或两样本非参数统计检验时，检验统计量是一个能量距离或最大平均差异（MMD），两者均为U-统计量或表达式包含两样本U-统计量。 V-统计量 Cox & Hinkley (1974),p. 200, p. 258 Hoeffding (1948), between Eq's(4.3),(4.4) U-Statistics : Theory and Practice.. Routledge. ISBN 9781351405850.  Page 508 in Koroljuk, V. S.; Borovskich, Yu. V. Theory of U-statistics. Mathematics and its Applications 273 Translated by P. V. Malyshev and D. V. Malyshev from the 1989 Russian original. Dordrecht: Kluwer Academic Publishers Group. 1994: x+552. ISBN 0-7923-2608-3. MR 1472486.  Pages 381–382 in Borovskikh, Yu. V. U-statistics in Banach spaces. Utrecht: VSP. 1996: xii+420. ISBN 90-6764-200-2. MR 1419498.  Page xii in Kwapień, Stanisƚaw; Woyczyński, Wojbor A. Random series and stochastic integrals: Single and multiple. Probability and its Applications. Boston, MA: Birkhäuser Boston, Inc. 1992: xvi+360. ISBN 0-8176-3572-6. MR 1167198.  Hoeffding, Wassily. A Class of Statistics with Asymptotically Normal Distribution. The Annals of Mathematical Statistics. 1948-09, 19 (3): 293–325. doi:10.1214/aoms/1177730196.  Bickel, P. J.; Gotze, F.; van Zwet, W. R. The Edgeworth Expansion for $U$-Statistics of Degree Two. The Annals of Statistics. 1986-12, 14 (4): 1463–1484. doi:10.1214/aos/1176350170.  Maesono, Yoshihiko. Edgeworth expansions of a studentized U-statistic and a jackknife estimator of variance. Journal of Statistical Planning and Inference. 1997-05, 61 (1): 61–84. doi:10.1016/S0378-3758(96)00148-6.  Putter, Hein; van Zwet, Willem R. Empirical Edgeworth expansions for symmetric statistics. The Annals of Statistics. 1998-08, 26 (4): 1540–1569. doi:10.1214/aos/1024691253.  Jing, Bing-Yi; Wang, Qiying. Edgeworth expansion for U -statistics under minimal conditions. The Annals of Statistics. 2003-08, 31 (4): 1376–1391. doi:10.1214/aos/1059655916.  Yuan Zhang; Dong Xia. Edgeworth expansions for network moments. The Annals of Statistics. 2022-04-01, 50 (2): 726–753. doi:10.1214/21-AOS2125.  使用|accessdate=需要含有|url= (帮助) Székely, Gábor J.; Rizzo, Maria L. Energy statistics: A class of statistics based on distances. Journal of Statistical Planning and Inference. 2013-08, 143 (8): 1249–1272. doi:10.1016/j.jspi.2013.03.018.  Gretton, Arthur; Borgwardt, Karsten M.; Rasch, Malte J.; Schölkopf, Bernhard; Smola, Alexander. A Kernel Two-Sample Test. Journal of Machine Learning Research. 2012, 13 (25): 723–773 [2020-06-26]. （原始内容存档于2022-02-04）.