**核回归（又称局部加权线性回归）**是统计学中用于估计随机变量的条件期望的非参数方法。目的是找到一对随机变量***X***和***Y***之间的非线性关系。 

在任何非参数回归中 ，变量的条件期望 Y相对于变量X可以写成： 

{\displaystyle \operatorname {E} (Y|X)=m(X)}

m为一个未知函数。

Nadaraya–Watson核回归
------------------

1964年， Nadaraya和Watson都提出了估算m作为局部加权平均值，使用内核作为加权函数的方法。    Nadaraya–Watson估计量为： 

{\displaystyle {\widehat {m}}\_{h}(x)={\frac {\sum \_{i=1}^{n}K\_{h}(x-x\_{i})y\_{i}}{\sum \_{j=1}^{n}K\_{h}(x-x\_{j})}}}

{\displaystyle K\_{h}}是一个带宽为 h 的核。 分母是一个总和为1的加权项。

### 推导

{\displaystyle \operatorname {E} (Y|X=x)=\int yf(y|x)dy=\int y{\frac {f(x,y)}{f(x)}}dy}

将内核密度估计用于具有内核***K***的联合分布*f（x，y）*和*f（x）* ， 

{\displaystyle {\hat {f}}(x,y)={\frac {1}{n}}\sum \_{i=1}^{n}K\_{h}\left(x-x\_{i}\right)K\_{h}\left(y-y\_{i}\right)},
{\displaystyle {\hat {f}}(x)={\frac {1}{n}}\sum \_{i=1}^{n}K\_{h}\left(x-x\_{i}\right)},

我们得到

{\displaystyle {\begin{aligned}\operatorname {\hat {E}} (Y|X=x)&=\int {\frac {y\sum \_{i=1}^{n}K\_{h}\left(x-x\_{i}\right)K\_{h}\left(y-y\_{i}\right)}{\sum \_{j=1}^{n}K\_{h}\left(x-x\_{j}\right)}}dy,\\&={\frac {\sum \_{i=1}^{n}K\_{h}\left(x-x\_{i}\right)\int y\,K\_{h}\left(y-y\_{i}\right)dy}{\sum \_{j=1}^{n}K\_{h}\left(x-x\_{j}\right)}},\\&={\frac {\sum \_{i=1}^{n}K\_{h}\left(x-x\_{i}\right)y\_{i}}{\sum \_{j=1}^{n}K\_{h}\left(x-x\_{j}\right)}},\end{aligned}}}

这便是Nadaraya–Watson估计量。

Priestley–Chao核估计函数
-------------------

{\displaystyle {\widehat {m}}\_{PC}(x)=h^{-1}\sum \_{i=2}^{n}(x\_{i}-x\_{i-1})K\left({\frac {x-x\_{i}}{h}}\right)y\_{i}}

此处 h 为带宽（或平滑参数）。

Gasser–Müller核估计函数
------------------

{\displaystyle {\widehat {m}}\_{GM}(x)=h^{-1}\sum \_{i=1}^{n}\left[\int \_{s\_{i-1}}^{s\_{i}}K\left({\frac {x-u}{h}}\right)du\right]y\_{i}}

此处 {\displaystyle s\_{i}={\frac {x\_{i-1}+x\_{i}}{2}}}

示例
--

此示例基于加拿大截面工资数据，该数据由1971年加拿大人口普查公用带中的随机样本组成，这些样本适用于受过普通教育的男性（13年级）。共有205个观测值。 

右图显示了使用二阶高斯核以及渐近变化范围的估计回归函数

### 程序实例

以下R语言命令使用`npreg()`函数提供最佳平滑效果并创建上面给出的图形。 这些命令可以通过剪切和粘贴在命令提示符下输入。 

```
 install.packages("np")
 library(np) # non parametric library
 data(cps71)
 attach(cps71)

 m <- npreg(logwage~age)

 plot(m,plot.errors.method="asymptotic",
   plot.errors.style="band",
   ylim=c(11,15.2))

 points(age,logwage,cex=.25)
```

相关资料
----

大卫·萨尔斯堡 （David Salsburg）指出 ，用于内核回归的算法是独立开发的，并且已用于模糊系统 ："通过几乎完全相同的计算机算法，模糊系统和基于内核密度的回归似乎是完全独立于彼此而开发的。 "

统计实现
----

* MATLAB 这些页面 （页面存档备份，存于）上提供了免费的MATLAB工具箱，其中包括内核回归，内核密度估计，危险函数的内核估计以及许多其他工具的实现（此工具箱是本书的一部分 ）。
* Stata npregress ， kernreg2 （页面存档备份，存于）
* R ： *np package*的函数`npreg`可以执行内核回归。
* Python ：所述`KernelReg`在混合数据类型类`statsmodels.nonparametric`子包（包括其他内核密度相关的类），封装kernel\_regression （页面存档备份，存于）作为的延伸sklearn （低效存储器明智的，有用的，只有对于小数据集）
* GNU Octave数学程序包：

相关资料
----

* 内核平滑
* 局部回归

参考文献
----

1. ↑  Nadaraya, E. A.. Theory of Probability and Its Applications. 1964, **9** (1): 141–2. doi:10.1137/1109020.
2. ↑  Watson, G. S.. Sankhyā: The Indian Journal of Statistics, Series A. 1964, **26** (4): 359–372. JSTOR 25049340.
3. ↑  Bierens, Herman J.  `|chapterurl=`缺少标题 (帮助).. New York: Cambridge University Press. 1994: 212–247. ISBN 0-521-41900-X.
4. ↑  Salsburg, D.. W.H. Freeman. 2002: 290–91. ISBN 0-8050-7134-2.
5. ↑  Horová, I.; Koláček, J.; Zelinka, J.. Singapore: World Scientific Publishing. 2012. ISBN 978-981-4405-48-5.
6. ↑ .  [2019-10-14]. （原始内容存档于2020-08-17）.
7. ↑  Kloke, John; McKean, Joseph W.. CRC Press. 2014: 98–106. ISBN 978-1-4398-7343-4.

延申阅读
----

* Henderson, Daniel J.; Parmeter, Christopher F.. Cambridge University Press. 2015  [2019-10-14]. ISBN 978-1-107-01025-3. （原始内容存档于2020-08-06）.
* Li, Qi; Racine, Jeffrey S.. Princeton University Press. 2007. ISBN 0-691-12161-3.
* Pagan, A.; Ullah, A.. Cambridge University Press. 1999  [2019-10-14]. ISBN 0-521-35564-8. （原始内容存档于2016-06-24）.
* Simonoff, Jeffrey S.. Springer. 1996. ISBN 0-387-94716-7.

外部链接
----

* 可缩放比例的内核回归 （页面存档备份，存于） （使用Matlab软件）。
* 使用电子表格 （使用Microsoft Excel ） 进行内核回归的教程 。
* 在线内核回归演示 （页面存档备份，存于） Requires。 NET 3.0或更高版本。
* 具有自动带宽选择功能的内核回归 （页面存档备份，存于） （使用Python）