再生核ヒルベルト空間

関数解析学（数学の一分野）において、**再生核ヒルベルト空間**（**RKHS**）（さいせいかくヒルベルトくうかん、英: reproducing kernel hilbert space）は、点評価が連続線形汎函数であるような関数から成るヒルベルト空間である。点評価が連続線形であるとは、大雑把に言えば、RKHSに属する関数fとgがノルムとして近い（\Vert f-g\Vertが小さい）とき、fとgは各点でも近い（|f(x)-g(x)|が任意のxで小さい）ということである。逆は必ずしも成り立つ必要は無い。例えば、ノルムを一様ノルムとしたとき関数列\sin^n (x) は各点収束するが一様収束しない。（ただし、一様ノルムは極化恒等式を満たさないためにいかなる内積からも誘導されないから、これは反例ではない。）

関数のヒルベルト空間であってRKHSでないものを作るのは簡単ではない。しかし、いくつかの例は見つかっている。

''L''<sup>2</sup> 空間は関数のヒルベルト空間ではない（したがってRKHSではない）が、関数の同値類のヒルベルト空間ではある（例えば、f(x)=0とg(x)=1_{\mathbb{Q}}で定義された f と g は*L*2では同値である）。一方、 *L*2ノルムがノルムであるようなRKHSは存在する。例として、帯域制限関数の空間がある(詳細は後)。

RKHSは、その中の任意の関数を再生するような核と関係している。関数を「再生する」とは、関数の定義域内の任意の x に対して、その関数の「 x での評価」が、核から生成される関数との内積をとることで可能である、ということである。そのような再生核は、評価関数が全て連続である時かつその時に限って存在する。

再生核が最初に提唱されたのは調和関数や重調和方程式の境界値問題に関するStanislaw Zarembaの1907年の研究である。同時期に、James Mercerは積分方程式の理論における再生性を満たすような関数を研究した。その後再生核のアイデアは20年近く放置されたが、セゲー・ガーボル、、サロモン・ボホナーによる論文で再び触れられるようになった。その後1950年代前半にナフマン・アロンシャインとステファン・ベルグマンがこのテーマを体系的に発展させた。

再生核ヒルベルト空間には、複素解析や調和解析、量子力学など様々な応用がある。その中でも特に、RKHS内で経験損失を最小化するような関数は訓練データで評価された核関数の線形結合で書けるというのおかげで、の分野で再生核ヒルベルト空間が重要である。これは、経験損失最小化問題を無限次元の最適化問題から有限次元最適化問題へ簡単かできるために、実用上有用な結果である。

簡単のため、ここでは実数値ヒルベルト空間の概要を説明する。この理論は簡単に複素数値関数に拡張することができ、したがって解析関数空間であるような再生核ヒルベルト空間の重要な例を多く含んでいる。

## 定義
Xを集合とし、Hを、X上で各点での加算とスカラー倍が定義された実数値関数から成るヒルベルト空間とする。ヒルベルト空間Hでの評価汎関数とは、点x\in Xについて、関数を受け取って

:  L_{x} : f \mapsto f(x)  \text{   } \forall f \in H 

と評価する線形汎関数である。Hが**再生核ヒルベルト空間**であるとは、任意のx \in Xについて、L_xがH上の任意のfで連続であることである。同値な条件は、L_xがH上の有界作用素である、つまり

を満たすM_x > 0が存在することである。任意のx\in XについてM_xでなければならないが、\sup_x M_x = \inftyでも良い。

性質 () は、内積が存在し、かつ定義域の任意の点でHの任意の関数を評価できるための最も弱い条件であるが、このままでは応用に使いづらい。性質 () から、H上の関数 f の評価汎関数が、 f とある関数 K_x の内積で得られることが導かれ、こちらをRKHSの定義とする方が直感的である。この関数K_xは**再生核** と呼ばれる。RKHSはこの「再生核」から名前が来ている。正確には、リースの表現定理から、Xの任意の点xに対して、Hのただ1つの要素K_xが存在して、再生性

が成り立つ。K_xはXから\mathbb{R}（複素ヒルベルト空間なら\mathbb{C}）への関数であり、Hの要素であるから、

:  K_x(y) = L_y(K_x)= \langle K_x,\ K_y \rangle_H, 

が成り立つ。ただし、K_y\in HはL_yを生むようなHの元である。

これによって、Hの再生核が以下の関数 K: X \times X \to \mathbb{R} として定義できる。

:  K(x,y) = \langle K_x,\ K_y \rangle_H. 

定義から、 K: X \times X \to \mathbb{R} （複素なら\mathbb{C}）は対称（複素なら共役対称）であり、正定値でもある、つまり

:  \sum_{i,j =1}^n c_i c_j K(x_i, x_j)=
\sum_{i=1}^n c_i \left\langle K_{x_i} , \sum_{j=1}^n c_j K_{x_j} \right\rangle_{H} = 
 \left\langle \sum_{i=1}^n c_i K_{x_i} , \sum_{j=1}^n c_j K_{x_j} \right\rangle_{H} =
\left\|\sum_{i=1}^nc_iK_{x_i}\right\|_H^2 \ge  0 

が任意の n \in \mathbb{N}, x_1, \dots, x_n \in X, \text{ and } c_1, \dots, c_n \in \mathbb{R}. で成り立つ。Moore–Aronszajnの定理 (下に説明あり) は、ある種これの逆であり、関数Kがこれらの条件を満たすならば、Kが再生核であるようなX上の関数のヒルベルト空間が存在する、という主張である。

## 例
な連続関数の集合HはRKHSであることを以下に示す。遮断周波数として定数  0をとり、ヒルベルト空間を以下のように定義する。

:  H = \{ f \in C(\mathbb{R}) \mid \operatorname{supp}(F) \subset [-a,a] \} 

ただし、C(\mathbb{R})は自乗可積分な連続関数の集合であり、 F(\omega) = \int_{-\infty}^\infty f(t) e^{-i\omega t} \, dt は fのフーリエ変換である。ヒルベルト空間の内積として、

: \langle f, g\rangle_{L^2} = \int_{-\infty}^\infty f(x) \cdot \overline{g(x)} \, dx.

と定義する。フーリエ逆変換から

:  f(x) = \frac{1}{2 \pi} \int_{-a}^a F(\omega) e^{ix \omega} \, d\omega .

が成り立つ。コーシー＝シュワルツの不等式とプランシュレルの定理より、任意のxについて以下が成り立つ。

:  |f(x)| \le 
\frac{1}{2 \pi} \sqrt{ \int_{-a}^a 2a |F(\omega)|^2 \, d\omega} 
=\frac{1}{\pi}\sqrt{\frac{a}{2}\int_{-\infty}^\infty |F(\omega)|^2 \, d\omega} 
= \sqrt{\frac{a}{\pi}} \|f\|_{L^2}.  

この不等式より評価汎函数が有界であり、したがってHがRKHSであることが示せた。

この例での核関数K_xは

:K_x(y) = \frac{a}{\pi} \operatorname{sinc}\left ( \frac{a}{\pi} (y-x) \right )=\frac{\sin(a(y-x))}{\pi(y-x)}.

で表される。上の式で定義されたK_x(y)のフーリエ変換は、

:\int_{-\infty}^\infty K_x(y)e^{-i \omega y} \, dy = 
\begin{cases}
e^{-i \omega x} &\text{if } \omega \in [-a, a], \\
0 &\textrm{otherwise},
\end{cases}
 

である。したがって、プランシュレルの定理より

: \langle f, K_x\rangle_{L^2} = \int_{-\infty}^\infty f(y) \cdot \overline{K_x(y)} \, dy 
= \frac{1}{2\pi} \int_{-a}^a F(\omega) \cdot e^{i\omega x} \, d\omega = f(x) .

となり、核の再生性を実際に確認できた。

このK_xはディラックのデルタ関数の「帯域制限版」であり、遮断周波数aが無限に行くとK_x(y)は\delta(y-x)に収束する。

## ムーア・アロンシャインの定理
ここまで、再生核ヒルベルト空間から、対称で正定値(英語版)な再生核関数を定義してきた。一方ムーア・アロンシャインの定理は逆方向の定理である。つまり、対称で正定値な核を1つとると、再生核ヒルベルト空間がただ1つに定まるという定理である。この定理は当初「アロンシャインの再生核定理」と呼ばれていたが、彼がE・H・ムーアの名を定理につけた。

: **定理** Kを集合X上の対称正定値核とすると、Kが再生核であるようなX上のヒルベルト空間がただ1つ存在する。

**証明** X上の任意のxに対してK_x = K(x, \cdot)と定義する。H_0を\{K_x : x \in X\}の線形空間とする。H_0上の内積を以下のように定義する。

:  \left\langle \sum_{j=1}^n b_j K_{y_j}, \sum_{i=1}^m a_i K_{x_i} \right \rangle_{H_0} = \sum_{i=1}^m \sum_{j=1}^n {a_i} b_j K(y_j, x_i),

この定義からK(x,y)=\left\langle K_{x}, K_{y} \right\rangle_{H_0}を得る。内積の対称性はKの対称性から示せ、内積の正定値性もKの正定値性から示せる。

H_0を内積に関して完備にしたものをHとする。Hは以下の形で表される関数で構成される。

:  f(x) = \sum_{i=1}^\infty a_i K_{x_i} (x) \quad \text{where} \quad \lim_{n \to \infty}\sup_{p\geq0}\left\|\sum_{i=n}^{n+p} a_i K_{x_i}\right\|_{H_0} = 0.

すると、再生性()を示せる:

: \langle f, K_x \rangle_H = \sum_{i=1}^\infty a_i\left \langle K_{x_i}, K_x \right \rangle_{H_0}= \sum_{i=1}^\infty a_i K (x_i, x) = f(x).

一意性を証明するために、Gを、Kが再生核であるような、関数から成るヒルベルト空間とする。Xの任意のxとyについて、

: \langle K_x, K_y \rangle_H = K(x, y) = \langle K_x, K_y \rangle_G.

線形性より\langle \cdot, \cdot \rangle_H = \langle \cdot, \cdot \rangle_Gが\{K_x : x \in X\}の張る空間上で成り立つ。Gは完備であってH_0を含むから、H_0を完備化したものを含む、つまりH \subset G。

ここから、逆にGの任意の要素がHの要素であることであることを示したい。fをGの要素とする。HはGの部分空間だから、f_H \in Hとf_{H^\perp} \in H^\perpを使ってf=f_H + f_{H^\perp}と分解できる。今x\in Xについて、KがGとHの再生核であるから、

:f(x) = \langle K_x , f \rangle_G = \langle K_x, f_H \rangle_G + \langle K_x, f_{H^\bot} \rangle_G = \langle K_x , f_H \rangle_G =  \langle K_x , f_H \rangle_H = f_H(x),   

が成り立つ。 K_x はHに属するからGでの f_{H^\bot} との内積が0となる事実を使った。上の式からGでf=f_Hが成り立ち、証明完了となる。

## 積分作用素とマーサーの定理
を使えば、積分作用素を通して対称正定値核Kを特徴づけることができ、RKHSの新たな視点を得ることが出来る。Xを狭義正で有限なボレル測度\muがあるようなコンパクト集合であるとし、K: X \times X \to \Rを連続対称正定値関数とする。積分作用素T_K: L_2(X) \to L_2(X)を以下のように定義する。

:  [T_K f](\cdot) =\int_X  K(\cdot,t) f(t)\, d\mu(t) 

ただし、L_2(X)は \mu の測度の下で自乗可積分な関数の空間である。

マーサーの定理によると、積分作用素T_Kの固有値と固有関数がKのテイラー展開を意味している。したがって、この固有値と固有関数を使って、再生核がKであるようなRKHSを構成できる。詳細は以下の通りである。

上記の仮定のもとでは、T_Kはコンパクトで連続で自己随伴で正定値な作用素である。自己随伴な作用素についてのスペクトル定理より、\lim_{i \to \infty}\sigma_i = 0たる減少列(\sigma_i)_i \geq 0 が存在して、L_2(X)の正規直交基底\{\varphi_i\}を用いてT_K\varphi_i(x) = \sigma_i\varphi_i(x)と表せる。T_Kの正定値性より、任意のiに対して\sigma_i > 0となる。更に、T_K は連続関数の空間C(X)へ連続的に写像するから、連続関数を固有ベクトルとできる。つまり、任意のiに対して\varphi_i \in C(X)である。したがって、マーサーの定理から、Kは固有値と連続な固有写像を用いて以下のように書ける。

:  K(x,y) = \sum_{j=1}^\infty \sigma_j \, \varphi_j(x) \, \varphi_j(y) 

ただし、上の式は、任意のx,y\in Xに対して

:  \lim_{n \to \infty}\sup_{u,v} \left |K(u,v) - \sum_{j=1}^n \sigma_j \, \varphi_j(u) \, \varphi_j(v) \right | = 0 

が成り立つことを意味している。このような級数表現は、Kのマーサー核やマーサー表現と呼ばれる。

更に、再生核がKであるようなRKHSHは以下のように与えられる。

: H = \left \{ f \in L_2(X) \,\Bigg\vert\, \sum_{i=1}^\infty \frac{\left\langle f,\varphi_i \right \rangle^2_{L_2}}{\sigma_i} 
ここで、Hの内積は以下の式である。

: \left\langle f,g \right\rangle_H = \sum_{i=1}^\infty \frac{\left\langle f,\varphi_i \right\rangle_{L_2}\left\langle g,\varphi_i \right\rangle_{L_2}}{\sigma_i}. 

である。RKHSのこのような表現は、確率や統計で応用があり、例えば確率過程でのやなどがある。

## 特徴写像
特徴写像とは、特徴空間と呼ばれるヒルベルト空間Fに移す写像 \varphi\colon X \rightarrow F である。これまでの章では、有界連続な評価関数と、正定値関数と、積分作用素の間の関係を見てきた。この章では、特徴写像を使った別のRKHSの表現を説明する。

特徴写像はを通して核を定義する。 K は明らかに対称であり、更にFでの内積の性質から正定値性も得られる。逆に、各正定値関数と対応する再生核ヒルベルト空間には、()が成り立つような特徴写像が無限にある。

例えば、簡単なものでは F = H 、任意の x \in X に対して \varphi(x) = K_x とすれば良い。このようにすれば、再生性から()が成り立つ。他に典型的な特徴写像の例としては、前の章の積分作用素に関連したもので、 F = \ell^2 、 \varphi(x) = (\sqrt{\sigma_i} \varphi_i(x))_i とするものもある。

核と特徴写像の間のこのような関係から、正定値関数(Hの内積としての再生核)の新しい理解の仕方が得られる。更に、各特徴写像から、正定値関数の定義を通してRKHSを自然に定義できる。

最後に、特徴写像から、RKHSの新しい観点を明らかにするような関数空間を構築できる。以下の線形空間を考える。

:  H_\varphi = \{ f: X \to \mathbb{R} \mid \exists w \in F, f(x) = \langle w, \varphi(x) \rangle_{F}, \forall \text{  } x \in X \} . 

H_\psi上のノルムを以下のように定義できる。

:  \|f\|_\varphi = \inf \{\|w\|_F : w \in F, f(x) = \langle w, \varphi(x)\rangle_F, \forall \text{  } x \in X \} .

 H_{\varphi} は、核が K(x,y) = \langle\varphi(x), \varphi(y)\rangle_F で定義されたRKHSとなる。この表現では、RKHSの要素は特徴空間の要素同士の内積であり、したがってRKHSの世周防は超空間として見ることができる。RKHSのこの見方は、機械学習でのカーネル法と関係がある。

## 性質
RKHSの有用な性質として以下のようなものがある。

* (X_i)_{i=1}^pを集合の列とし、(K_i)_{i=1}^p をそれぞれ (X_i)_{i=1}^p上の正定値関数とする。すると、
*:: K((x_1,\ldots ,x_p),(y_1,\ldots,y_p)) = K_1(x_1,y_1)\cdots K_p(x_p,y_p)
*: は X = X_1 \times \dots \times X_p上の核である。
* X_0 \subset Xとすると、 K の定義域をX_0 \times X_0 に制限したものもまた再生核となる。
* 任意のx\in Xについて K(x, x) = 1 となるように正規化したKを考える。 X上の擬距離空間を以下のように定義する。
*::  d_K(x,y) = \|K_x - K_y\|_H^2 = 2(1-K(x,y)) \qquad \forall x \in X . 
*: コーシー＝シュワルツの不等式より、
*::  K(x,y)^2 \le K(x, x)K(y, y)=1 \qquad \forall x,y \in X.
*: このこの不等式から、Kは入力間のと見ることができる。x, y \in Xが似ていればK(x,y)は1に近くなり、x,y \in Xが似ていなければ、K(x,y)は0に近くなる。

*  \{ K_x \mid x \in X \} によって生成される空間の閉包は H と一致する。

## 一般的な例

### 双線形核

: K(x,y) = \langle x,y\rangle 

であるようなRKHSである。

この核に対応するRKHS Hは、\|f\|_H^2=\|\beta\|^2を満たす\betaでf(x) = \langle x,\beta\rangleと表される関数で構成された双対空間である。

### 多項式核

:  K(x,y) = (\alpha\langle x,y \rangle + 1)^d, \qquad \alpha \in \R, d \in \N 

### 
他の一般的な核として、 K(x,y) = K(\|x - y\|)を満たすものがある。例えば以下がある。

* **ガウシアン**(**自乗指数**)**核**:
*::  K(x,y) = e^{-\frac{\|x - y\|^2}{2\sigma^2}},  \qquad \sigma > 0 
* **ラプラシアン核**:
*::  K(x,y) = e^{-\frac{\|x - y\|}{\sigma}}, \qquad \sigma > 0 
*: この核で定義されたRKHS Hにある関数fの自乗ノルムは以下の通りである。
*:: \|f\|_H^2=\int_{\mathbb R}\Big( \frac1{\sigma} f(x)^2 + \sigma  f'(x)^2\Big) \mathrm d x.

### [[ベルグマン核]]
次にベルグマン核の例を説明する。Xを有限集合とし、X上の全ての複素数値関数から構成される空間をHとする。すると、Hの要素は複素数列と解釈することができる。内積を複素ベクトルとしての内積で定義すると、K_xはxで1となり他で0となるような関数となる。つまり

: K(x,y)=\begin{cases} 1 & x=y \\ 0 & x \neq y \end{cases}

となるから、K(x,y)は単位行列と考えることができる。この場合、Hは\mathbb{C}^nと同型である。

X= \mathbb{D} (\mathbb{D}は単位円板)の場合はより複雑である。ベルグマン空間 H^2 (\mathbb{D}) は、\mathbb{D}上の二乗可積分な正則関数の空間である。H^2(\mathbb{D})の再生核は

: K(x,y)=\frac{1}{\pi}\frac{1}{(1-x\overline{y})^2}

であることが示せる。最後に、 L^2(\R) の要素であって帯域幅が 2a であるような帯域制限関数の空間は、再生核が

: K(x,y)=\frac{\sin a(x-y)}{\pi (x-y)}

## ベクトル値関数への拡張
この章では、RKHSの定義をベクトル値関数空間に拡張する。この拡張は、やで特に重要である。ベクトル値関数空間となって生じる主な違いは、再生核 \Gamma が、Xの任意の要素x,yに対して半正定値行列であるような対称関数であることである。より厳密には、ベクトル値RKHS(vvRKHS)は、任意の c \in \mathbb{R}^T と x \in X について

:  \Gamma_xc(y) = \Gamma(x, y)c \in H  \text{ for } y \in X 

と

:  \langle f, \Gamma_x c \rangle_H = f(x)^\intercal c.  

となるような関数f:X\rightarrow \mathbb{R}^Tのヒルベルト空間と定義される。この2つ目の性質がスカラー値の場合の再生性に対応している。この定義でも、スカラー値RKHSで見ていたような積分作用素、有界評価関数、特徴空間との関係が成り立つ。  vvRKHSの同値な定義として有界な評価汎関数のあるベクトル値ヒルベルト空間をとり、Rieszの表現定理から再生核の唯一存在性を示すことができる。Mercerの定理もベクトル値に拡張することができ、したがってvvRKHSの特徴写像による見方も得られる。最後に、 \{ \Gamma_xc : x \in X, c \in \mathbb{R}^T \} の張る空間の閉包が H と一致することも示せ、ここでスカラー値の場合と似た性質が得られる。

要素ごとに見ることでvvRKHSを直感的に理解できる。\Lambda = \{1, \dots, T \} とする。空間 X \times \Lambda と対応する再生核を考える。上に述べたとおり、この再生核に対応するRKHSは\{ \gamma_{(x,t)} : x \in X, t \in \Lambda \} が張る空間の閉包で与えられる。ただし、任意のペアに対して \gamma_{(x,t)} (y,s)  = \gamma( (x,t), (y,s)) である。

スカラー値RKHSとの関係は、行列値核が()の核と以下の式で関連していることから分かる。

:  \Gamma(x,y)_{(t,s)} = \gamma((x,t), (y,s)). 

更に、()の形の核は上の式で行列値核を定義する。では、写像 D: H_\Gamma \to H_\gamma を

:  (Df)(x,t) = \langle f(x), e_t \rangle_{\mathbb{R}^T} 

と定義する。ただし、 e_t は\mathbb{R}^Tの直交基底の t 番目の要素である。 D は全単射であり、 H_\Gamma と H_\gamma の間の等長写像となる。

vvRKHSのこのような見方はマルチタスク学習で有用ではあるものの、この等長変換はベクトル値の場合の研究をスカラー値の場合の研究に帰結させるものではない。実際、この等長変換によってもともとの核の性質がたびたび無くなり、スカラー値核や入力空間が複雑になりすぎる。

行列値再生核の中でも重要な種類に、スカラー値核とT次元対称半正定値行列の積で表されるような、分離可能核と呼ばれるものがある。これまでの議論の観点から表せば、分離可能核はXの任意の要素x,yとTの任意の要素s,tに対して以下の式で表される。

:  \gamma((x,t),(y,s)) =  K(x,y) K_T(t,s) 

スカラー値核が入力間の依存関係を表現していたのに対して、行列値核は入力と出力の両方の依存関係を表現していることが分かる。

最後に、このような理論は更に関数空間の関数空間に拡張できるが、このような空間での核を得るのはより難しい。

## RKHSとReLU関数の関係
ReLU関数は通常f(x)=\max \{0, x\}で定義され、活性化関数としてReLU関数が使われているニューラルネットワークの構造の中枢である。  再生核ヒルベルト空間を使ってReLUに似た非線形関数を構築することができる。以下、実際に構築の仕方を紹介し、そこから ReLUが活性化関数に使われているニューラルネットワークの表現力を導出する過程を説明する。

ヒルベルト空間として、f(0) = 0であって導関数が自乗可積分な関数の空間 \mathcal{H}=L^1_2(0)[0, \infty) を考える。内積は以下のように定義する。 

:  \langle f,g \rangle_{\mathcal{H}} = \int_0^\infty f'(x)g'(x) \, dx 

再生核を構成するためには密な部分空間を考えれば十分であるから、f\in C^1[0, \infty)かつf(0)=0とする(?)。微分積分学の基本公式から

: f(y)= \int_0^y f'(x) \, dx = \int_0^\infty G(x,y) f'(x) \, dx = \langle K_y,f \rangle

となる。ただし

: G(x,y)= 
\begin{cases} 1, & x 

: K(x, y)=K_y(x)=\int_0^x G(z, y) \, dz=
\begin{cases}
  x, & 0\leq x

更に X\times X = [0,\infty)\times [0,\infty) 上のmin関数はReLU関数で以下のように表現できる。 

:  \min(x,y) = x -\operatorname{ReLU}(x-y)  =  y - \operatorname{ReLU}(y-x) 

この式を使って、をこのRKHSにを適用すると、ニューラルネットワークにおいてReLU活性化関数を使うのが最適だと証明できる。

## 関連項目
* 
* 
* カーネル法
* 
* 

## 出典

## 参考文献
* Alvarez, Mauricio, Rosasco, Lorenzo and Lawrence, Neil, “Kernels for Vector-Valued Functions: a Review,” https://arxiv.org/abs/1106.6251, June 2011.
* 
* Berlinet, Alain and Thomas, Christine. *Reproducing kernel Hilbert spaces in Probability and Statistics*, Kluwer Academic Publishers, 2004.
* 
* De Vito, Ernest, Umanita, Veronica, and Villa, Silvia. "An extension of Mercer theorem to vector-valued measurable kernels," , June 2013.
* Durrett, Greg.  9.520 Course Notes, Massachusetts Institute of Technology, https://www.mit.edu/~9.520/scribe-notes/class03_gdurett.pdf, February 2010.
* 
* Okutmustur, Baver.   “Reproducing Kernel Hilbert Spaces,” M.S. dissertation, Bilkent University, http://www.thesis.bilkent.edu.tr/0002953.pdf, August 2005.
* Paulsen, Vern. “An introduction to the theory of reproducing kernel Hilbert spaces,” http://www.math.uh.edu/~vern/rkhs.pdf.
* 
* Rosasco, Lorenzo and Poggio, Thomas.  "A Regularization Tour of Machine Learning – MIT 9.520 Lecture Notes" Manuscript, Dec. 2014.
* Wahba, Grace,  *Spline Models for Observational Data*, SIAM, 1990.
*