核回归

核回归（又称局部加权线性回归）是统计学中用于估计随机变量的条件期望的非参数方法。目的是找到一对随机变量X和Y之间的非线性关系。 在任何非参数回归中 ，变量的条件期望 Y {\displaystyle Y} 相对于变量 X {\displaystyle X} 可以写成： E ⁡ ( Y | X ) = m ( X ) {\displaystyle \operatorname {E} (Y|X)=m(X)} m为一个未知函数。 1964年， Nadaraya和Watson都提出了估算 m {\displaystyle m} 作为局部加权平均值，使用内核作为加权函数的方法。 Nadaraya–Watson估计量为： m ^ h ( x ) = ∑ i = 1 n K h ( x − x i ) y i ∑ j = 1 n K h ( x − x j ) {\displaystyle {\widehat {m}}_{h}(x)={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})y_{i}}{\sum _{j=1}^{n}K_{h}(x-x_{j})}}} K h {\displaystyle K_{h}} 是一个带宽为 h {\displaystyle h} 的核。 分母是一个总和为1的加权项。 E ⁡ ( Y | X = x ) = ∫ y f ( y | x ) d y = ∫ y f ( x , y ) f ( x ) d y {\displaystyle \operatorname {E} (Y|X=x)=\int yf(y|x)dy=\int y{\frac {f(x,y)}{f(x)}}dy} 将内核密度估计用于具有内核K的联合分布f（x，y）和f（x） ， f ^ ( x , y ) = 1 n ∑ i = 1 n K h ( x − x i ) K h ( y − y i ) {\displaystyle {\hat {f}}(x,y)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)K_{h}\left(y-y_{i}\right)} , f ^ ( x ) = 1 n ∑ i = 1 n K h ( x − x i ) {\displaystyle {\hat {f}}(x)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)} , 我们得到 E ^ ⁡ ( Y | X = x ) = ∫ y ∑ i = 1 n K h ( x − x i ) K h ( y − y i ) ∑ j = 1 n K h ( x − x j ) d y , = ∑ i = 1 n K h ( x − x i ) ∫ y K h ( y − y i ) d y ∑ j = 1 n K h ( x − x j ) , = ∑ i = 1 n K h ( x − x i ) y i ∑ j = 1 n K h ( x − x j ) , {\displaystyle {\begin{aligned}\operatorname {\hat {E}} (Y|X=x)&=\int {\frac {y\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)K_{h}\left(y-y_{i}\right)}{\sum _{j=1}^{n}K_{h}\left(x-x_{j}\right)}}dy,\\&={\frac {\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)\int y\,K_{h}\left(y-y_{i}\right)dy}{\sum _{j=1}^{n}K_{h}\left(x-x_{j}\right)}},\\&={\frac {\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)y_{i}}{\sum _{j=1}^{n}K_{h}\left(x-x_{j}\right)}},\end{aligned}}} 这便是Nadaraya–Watson估计量。 m ^ P C ( x ) = h − 1 ∑ i = 2 n ( x i − x i − 1 ) K ( x − x i h ) y i {\displaystyle {\widehat {m}}_{PC}(x)=h^{-1}\sum _{i=2}^{n}(x_{i}-x_{i-1})K\left({\frac {x-x_{i}}{h}}\right)y_{i}} 此处 h {\displaystyle h} 为带宽（或平滑参数）。 m ^ G M ( x ) = h − 1 ∑ i = 1 n [ ∫ s i − 1 s i K ( x − u h ) d u ] y i {\displaystyle {\widehat {m}}_{GM}(x)=h^{-1}\sum _{i=1}^{n}\left[\int _{s_{i-1}}^{s_{i}}K\left({\frac {x-u}{h}}\right)du\right]y_{i}} 此处 s i = x i − 1 + x i 2 {\displaystyle s_{i}={\frac {x_{i-1}+x_{i}}{2}}} 此示例基于加拿大截面工资数据，该数据由1971年加拿大人口普查公用带中的随机样本组成，这些样本适用于受过普通教育的男性（13年级）。共有205个观测值。 右图显示了使用二阶高斯核以及渐近变化范围的估计回归函数 以下R语言命令使用npreg()函数提供最佳平滑效果并创建上面给出的图形。 这些命令可以通过剪切和粘贴在命令提示符下输入。 install.packages("np") library(np) # non parametric library data(cps71) attach(cps71) m <- npreg(logwage~age) plot(m,plot.errors.method="asymptotic", plot.errors.style="band", ylim=c(11,15.2)) points(age,logwage,cex=.25) 大卫·萨尔斯堡 （David Salsburg）指出 ，用于内核回归的算法是独立开发的，并且已用于模糊系统 ：“通过几乎完全相同的计算机算法，模糊系统和基于内核密度的回归似乎是完全独立于彼此而开发的。 ” MATLAB 这些页面 （页面存档备份，存于互联网档案馆）上提供了免费的MATLAB工具箱，其中包括内核回归，内核密度估计，危险函数的内核估计以及许多其他工具的实现（此工具箱是本书的一部分 ）。 Stata npregress ， kernreg2 （页面存档备份，存于互联网档案馆） R ： np package的函数npreg可以执行内核回归。 Python ：所述KernelReg在混合数据类型类statsmodels.nonparametric子包（包括其他内核密度相关的类），封装kernel_regression （页面存档备份，存于互联网档案馆）作为的延伸sklearn （低效存储器明智的，有用的，只有对于小数据集） GNU Octave数学程序包： 内核平滑 局部回归 Nadaraya, E. A. On Estimating Regression. Theory of Probability and Its Applications. 1964, 9 (1): 141–2. doi:10.1137/1109020.  Watson, G. S. Smooth regression analysis. Sankhyā: The Indian Journal of Statistics, Series A. 1964, 26 (4): 359–372. JSTOR 25049340.  Bierens, Herman J. https://books.google.com/books?id=M5QBuJVtbWQC&pg=PA212 |chapterurl=缺少标题 (帮助). The Nadaraya–Watson kernel regression function estimator. New York: Cambridge University Press. 1994: 212–247. ISBN 0-521-41900-X.  Salsburg, D. The Lady Tasting Tea: How Statistics Revolutionized Science in the Twentieth Century. W.H. Freeman. 2002: 290–91. ISBN 0-8050-7134-2.  Horová, I.; Koláček, J.; Zelinka, J. Kernel Smoothing in MATLAB: Theory and Practice of Kernel Smoothing. Singapore: World Scientific Publishing. 2012. ISBN 978-981-4405-48-5.  np: Nonparametric kernel smoothing methods for mixed data types. [2019-10-14]. （原始内容存档于2020-08-17）.  Kloke, John; McKean, Joseph W. Nonparametric Statistical Methods Using R. CRC Press. 2014: 98–106. ISBN 978-1-4398-7343-4.  Henderson, Daniel J.; Parmeter, Christopher F. Applied Nonparametric Econometrics. Cambridge University Press. 2015 [2019-10-14]. ISBN 978-1-107-01025-3. （原始内容存档于2020-08-06）.  Li, Qi; Racine, Jeffrey S. Nonparametric Econometrics: Theory and Practice. Princeton University Press. 2007. ISBN 0-691-12161-3.  Pagan, A.; Ullah, A. Nonparametric Econometrics. Cambridge University Press. 1999 [2019-10-14]. ISBN 0-521-35564-8. （原始内容存档于2016-06-24）.  Simonoff, Jeffrey S. Smoothing Methods in Statistics. Springer. 1996. ISBN 0-387-94716-7.  可缩放比例的内核回归 （页面存档备份，存于互联网档案馆） （使用Matlab软件）。 使用电子表格 （使用Microsoft Excel ） 进行内核回归的教程 。 在线内核回归演示 （页面存档备份，存于互联网档案馆） Requires。 NET 3.0或更高版本。 具有自动带宽选择功能的内核回归 （页面存档备份，存于互联网档案馆） （使用Python）