半参数回归

统计学中，半参数回归包括结合了参数模型和非参数模型的回归模型。它们通常用于完全非参数模型可能表现不佳的情况，或者研究人员希望使用参数模型，但与回归子集有关的函数形式或误差密度不为人知的情况。半参数回归模型是半参数建模的一种特殊类型。半参数模型包含参数成分，依赖于参数假设，可能会出现规范误差与不一致的情况。 目前已有许多不同的半参数回归方法。最流行的方法是部分线性模型、指数模型和变系数模型。 部分线性模型如下 Y i = X i ′ β + g ( Z i ) + u i , i = 1 , … , n , {\displaystyle Y_{i}=X'_{i}\beta +g\left(Z_{i}\right)+u_{i},\,\quad i=1,\ldots ,n,\,} 其中 Y i {\displaystyle Y_{i}} 是因变量， X i {\displaystyle X_{i}} 是解释变量的 p × 1 {\displaystyle p\times 1} 向量， β {\displaystyle \beta } 是未知参数的 p × 1 {\displaystyle p\times 1} 向量， Z i ∈ R q {\displaystyle Z_{i}\in \operatorname {R} ^{q}} 。部分线性模型的参数部分由参数向量 β {\displaystyle \beta } 给出，而非参数部分是未知函数 g ( Z i ) {\displaystyle g\left(Z_{i}\right)} 。假设数据与 E ( u i | X i , Z i ) = 0 {\displaystyle E\left(u_{i}|X_{i},Z_{i}\right)=0} 独立同分布，模型允许未知形式的条件异方差误差过程 E ( u i 2 | x , z ) = σ 2 ( x , z ) {\displaystyle E\left(u_{i}^{2}|x,z\right)=\sigma ^{2}\left(x,z\right)} 。这类模型由Robinson (1988)提出，并由Racine & Li (2007)扩展到处理分类协变量。 这种方法先获得 β {\displaystyle \beta } 的 n {\displaystyle {\sqrt {n}}} 一致估计量，然后用适当的非参数回归方法，从 Y i − X i ′ β ^ {\displaystyle Y_{i}-X'_{i}{\hat {\beta }}} 对 z {\displaystyle z} 的非参数回归中推出 g ( Z i ) {\displaystyle g\left(Z_{i}\right)} 的估计量。 单一指数模型的形式是 Y = g ( X ′ β 0 ) + u , {\displaystyle Y=g\left(X'\beta _{0}\right)+u,\,} 其中 Y {\displaystyle Y} 、 X {\displaystyle X} 、 β 0 {\displaystyle \beta _{0}} 的定义与上文相同，误差项 u {\displaystyle u} 满足 E ( u | X ) = 0 {\displaystyle E\left(u|X\right)=0} 。单一指数模型得名于模型的参数部分 x ′ β {\displaystyle x'\beta } ，是标量单指数。非参数部分是未知函数 g ( ⋅ ) {\displaystyle g\left(\cdot \right)} 。 市村(1993)提出的单一指数模型法如下。考虑 y {\displaystyle y} 连续情形，给定函数 g ( ⋅ ) {\displaystyle g\left(\cdot \right)} 的已知形式， β 0 {\displaystyle \beta _{0}} 可用非线性最小二乘法估计，使函数 ∑ i = 1 ( Y i − g ( X i ′ β ) ) 2 . {\displaystyle \sum _{i=1}\left(Y_{i}-g\left(X'_{i}\beta \right)\right)^{2}.} 最小化。 g ( ⋅ ) {\displaystyle g\left(\cdot \right)} 的函数形式未知，需要估计。对给定 β {\displaystyle \beta } 值，函数估计值可用核密度估计得到，为 G ( X i ′ β ) = E ( Y i | X i ′ β ) = E [ g ( X i ′ β o ) | X i ′ β ] {\displaystyle G\left(X'_{i}\beta \right)=E\left(Y_{i}|X'_{i}\beta \right)=E\left[g\left(X'_{i}\beta _{o}\right)|X'_{i}\beta \right]} 市村(1993)建议用下式估计 g ( X i ′ β ) {\displaystyle g\left(X'_{i}\beta \right)} ： G ^ − i ( X i ′ β ) , {\displaystyle {\hat {G}}_{-i}\left(X'_{i}\beta \right),\,} 为 G ( X i ′ β ) {\displaystyle G\left(X'_{i}\beta \right)} 的留一非参数核估计量. Klein & Spady (1993)提出，若因变量 y {\displaystyle y} 是二元的，并假设 X i {\displaystyle X_{i}} 、 u i {\displaystyle u_{i}} 独立，则可用最大似然估计法估计 β {\displaystyle \beta } 。对数似然函数为 L ( β ) = ∑ i ( 1 − Y i ) ln ⁡ ( 1 − g ^ − i ( X i ′ β ) ) + ∑ i Y i ln ⁡ ( g ^ − i ( X i ′ β ) ) , {\displaystyle L\left(\beta \right)=\sum _{i}\left(1-Y_{i}\right)\ln \left(1-{\hat {g}}_{-i}\left(X'_{i}\beta \right)\right)+\sum _{i}Y_{i}\ln \left({\hat {g}}_{-i}\left(X'_{i}\beta \right)\right),} 其中 g ^ − i ( X i ′ β ) {\displaystyle {\hat {g}}_{-i}\left(X'_{i}\beta \right)} 是留一估计量。 Hastie & Tibshirani (1993)提出了一种平滑系数模型 Y i = α ( Z i ) + X i ′ β ( Z i ) + u i = ( 1 + X i ′ ) ( α ( Z i ) β ( Z i ) ) + u i = W i ′ γ ( Z i ) + u i , {\displaystyle Y_{i}=\alpha \left(Z_{i}\right)+X'_{i}\beta \left(Z_{i}\right)+u_{i}=\left(1+X'_{i}\right)\left({\begin{array}{c}\alpha \left(Z_{i}\right)\\\beta \left(Z_{i}\right)\end{array}}\right)+u_{i}=W'_{i}\gamma \left(Z_{i}\right)+u_{i},} 其中 X i {\displaystyle X_{i}} 是 k × 1 {\displaystyle k\times 1} 向量， β ( z ) {\displaystyle \beta \left(z\right)} 是 z {\displaystyle z} 的未定平滑函数向量。 γ ( ⋅ ) {\displaystyle \gamma \left(\cdot \right)} 可表为 γ ( Z i ) = ( E [ W i W i ′ | Z i ] ) − 1 E [ W i Y i | Z i ] . {\displaystyle \gamma \left(Z_{i}\right)=\left(E\left[W_{i}W'_{i}|Z_{i}\right]\right)^{-1}E\left[W_{i}Y_{i}|Z_{i}\right].} 非参数回归 See Li and Racine (2007) for an in-depth look at nonparametric regression methods. Robinson, P.M. Root-n Consistent Semiparametric Regression. Econometrica (The Econometric Society). 1988, 56 (4): 931–954. JSTOR 1912705. doi:10.2307/1912705.  Li, Qi; Racine, Jeffrey S. Nonparametric Econometrics: Theory and Practice. Princeton University Press. 2007. ISBN 978-0-691-12161-1.  Racine, J.S.; Qui, L. A Partially Linear Kernel Estimator for Categorical Data. Unpublished Manuscript, Mcmaster University. 2007.  Ichimura, H. Semiparametric Least Squares (SLS) and Weighted SLS Estimation of Single Index Models. Journal of Econometrics. 1993, 58 (1–2): 71–120. doi:10.1016/0304-4076(93)90114-K.  Klein, R. W.; R. H. Spady. An Efficient Semiparametric Estimator for Binary Response Models. Econometrica (The Econometric Society). 1993, 61 (2): 387–421. CiteSeerX 10.1.1.318.4925 . JSTOR 2951556. doi:10.2307/2951556.  Hastie, T.; R. Tibshirani. Varying-Coefficient Models. Journal of the Royal Statistical Society, Series B. 1993, 55: 757–796.