核回归

核回归（又称局部加权线性回归）是统计学中用于估计随机变量的条件期望的非参数方法。目的是找到一对随机变量X和Y之间的非线性关系。 

在任何非参数回归中 ，变量的条件期望 相对于变量可以写成： 

m为一个未知函数。

 Nadaraya–Watson核回归 
1964年， Nadaraya和Watson都提出了估算作为局部加权平均值，使用内核作为加权函数的方法。    Nadaraya–Watson估计量为： 

是一个带宽为  的核。 分母是一个总和为1的加权项。

 推导 

将内核密度估计用于具有内核K的联合分布f（x，y）和f（x） ， 

,
,

我们得到

这便是Nadaraya–Watson估计量。

 Priestley–Chao核估计函数 

此处  为带宽（或平滑参数）。

 Gasser–Müller核估计函数 

此处 

 示例 

此示例基于加拿大截面工资数据，该数据由1971年加拿大人口普查公用带中的随机样本组成，这些样本适用于受过普通教育的男性（13年级）。共有205个观测值。 

右图显示了使用二阶高斯核以及渐近变化范围的估计回归函数

 程序实例 
以下R语言命令使用npreg()函数提供最佳平滑效果并创建上面给出的图形。 这些命令可以通过剪切和粘贴在命令提示符下输入。  install.packages("np")
 library(np) # non parametric library
 data(cps71)
 attach(cps71)

 m <- npreg(logwage~age)

 plot(m,plot.errors.method="asymptotic",
   plot.errors.style="band",
   ylim=c(11,15.2))

 points(age,logwage,cex=.25)

 相关资料 
大卫·萨尔斯堡 （David Salsburg）指出 ，用于内核回归的算法是独立开发的，并且已用于模糊系统 ：“通过几乎完全相同的计算机算法，模糊系统和基于内核密度的回归似乎是完全独立于彼此而开发的。 ”  

 统计实现 

 MATLAB 这些页面 上提供了免费的MATLAB工具箱，其中包括内核回归，内核密度估计，危险函数的内核估计以及许多其他工具的实现（此工具箱是本书的一部分 ）。 
 Stata npregress ， kernreg2  
 R ： np package的函数npreg可以执行内核回归。   
 Python ：所述KernelReg在混合数据类型类statsmodels.nonparametric子包（包括其他内核密度相关的类），封装kernel_regression 作为的延伸sklearn （低效存储器明智的，有用的，只有对于小数据集） 
 GNU Octave数学程序包： 

 相关资料 

 内核平滑 
 局部回归 

 参考文献 

 延申阅读 






 外部链接 

 可缩放比例的内核回归  （使用Matlab软件）。 
 使用电子表格 （使用Microsoft Excel ） 进行内核回归的教程 。 
 在线内核回归演示  Requires。 NET 3.0或更高版本。 
 具有自动带宽选择功能的内核回归  （使用Python） 

Category:無母數迴歸