再生核ヒルベルト空間
マーサーの定理(英語版)を使えば、積分作用素を通して対称正定値核 K {\displaystyle K} を特徴づけることができ、RKHSの新たな視点を得ることが出来る。 X {\displaystyle X} を狭義正で有限なボレル測度 μ {\displaystyle \mu } があるようなコンパクト集合であるとし、 K : X × X → R {\displaystyle K:X\times X\to \mathbb {R} } を連続対称正定値関数とする。積分作用素 T K : L 2 ( X ) → L 2 ( X ) {\displaystyle T_{K}:L_{2}(X)\to L_{2}(X)} を以下のように定義する。
[ T K f ] ( ⋅ ) = ∫ X K ( ⋅ , t ) f ( t ) d μ ( t ) {\displaystyle [T_{K}f](\cdot )=\int _{X}K(\cdot ,t)f(t)\,d\mu (t)}
ただし、 L 2 ( X ) {\displaystyle L_{2}(X)} は μ {\displaystyle \mu } の測度の下で自乗可積分な関数の空間である。
マーサーの定理によると、積分作用素 T K {\displaystyle T_{K}} の固有値と固有関数が K {\displaystyle K} のテイラー展開を意味している。
次にベルグマン核の例を説明する。 X {\displaystyle X} を有限集合とし、 X {\displaystyle X} 上の全ての複素数値関数から構成される空間を H {\displaystyle H} とする。すると、 H {\displaystyle H} の要素は複素数列と解釈することができる。内積を複素ベクトルとしての内積で定義すると、 K x {\displaystyle K_{x}} は x {\displaystyle x} で1となり他で0となるような関数となる。つまり
K ( x , y ) = { 1 x = y 0 x ≠ y {\displaystyle K(x,y)={\begin{cases}1&x=y\\0&x\neq y\end{cases}}}
となるから、 K ( x , y ) {\displaystyle K(x,y)} は単位行列と考えることができる。この場合、 H {\displaystyle H} は C n {\displaystyle \mathbb {C} ^{n}} と同型である。
X = D {\displaystyle X=\mathbb {D} } ( D {\displaystyle \mathbb {D} } は単位円板)の場合はより複雑である。
再生核が最初に提唱されたのは調和関数や重調和方程式の境界値問題に関するStanislaw Zarembaの1907年の研究である。同時期に、James Mercerは積分方程式の理論における再生性を満たすような関数を研究した。その後再生核のアイデアは20年近く放置されたが、セゲー・ガーボル、ステファン・ベルグマン(英語版)、サロモン・ボホナーによる論文で再び触れられるようになった。その後1950年代前半にナフマン・アロンシャインとステファン・ベルグマンがこのテーマを体系的に発展させた。
再生核ヒルベルト空間には、複素解析や調和解析、量子力学など様々な応用がある。その中でも特に、RKHS内で経験損失を最小化するような関数は訓練データで評価された核関数の線形結合で書けるというリプレゼンター定理(英語版)のおかげで、統計的学習理論(英語版)の分野で再生核ヒルベルト空間が重要である。これは、経験損失最小化問題を無限次元の最適化問題から有限次元最適化問題へ簡単かできるために、実用上有用な結果である。
簡単のため、ここでは実数値ヒルベルト空間の概要を説明する。この理論は簡単に複素数値関数に拡張することができ、したがって解析関数空間であるような再生核ヒルベルト空間の重要な例を多く含んでいる。
H ψ {\displaystyle H_{\psi }} 上のノルムを以下のように定義できる。
‖ f ‖ φ = inf { ‖ w ‖ F : w ∈ F , f ( x ) = ⟨ w , φ ( x ) ⟩ F , ∀ x ∈ X } . {\displaystyle \|f\|_{\varphi }=\inf\{\|w\|_{F}:w\in F,f(x)=\langle w,\varphi (x)\rangle _{F},\forall {\text{ }}x\in X\}.}
H φ {\displaystyle H_{\varphi }} は、核が K ( x , y ) = ⟨ φ ( x ) , φ ( y ) ⟩ F {\displaystyle K(x,y)=\langle \varphi (x),\varphi (y)\rangle _{F}} で定義されたRKHSとなる。この表現では、RKHSの要素は特徴空間の要素同士の内積であり、したがってRKHSの世周防は超空間として見ることができる。RKHSのこの見方は、機械学習でのカーネル法と関係がある。
更に、再生核が K {\displaystyle K} であるようなRKHS H {\displaystyle H} は以下のように与えられる。
H = { f ∈ L 2 ( X ) | ∑ i = 1 ∞ ⟨ f , φ i ⟩ L 2 2 σ i < ∞ } {\displaystyle H=\left\{f\in L_{2}(X)\,{\Bigg \vert }\,\sum _{i=1}^{\infty }{\frac {\left\langle f,\varphi _{i}\right\rangle _{L_{2}}^{2}}{\sigma _{i}}}<\infty \right\}}
ここで、 H {\displaystyle H} の内積は以下の式である。
⟨ f , g ⟩ H = ∑ i = 1 ∞ ⟨ f , φ i ⟩ L 2 ⟨ g , φ i ⟩ L 2 σ i . {\displaystyle \left\langle f,g\right\rangle _{H}=\sum _{i=1}^{\infty }{\frac {\left\langle f,\varphi _{i}\right\rangle _{L_{2}}\left\langle g,\varphi _{i}\right\rangle _{L_{2}}}{\sigma _{i}}}.}
である。RKHSのこのような表現は、確率や統計で応用があり、例えば確率過程でのカルーネン・レーベ変換(英語版)やカーネル主成分分析(英語版)などがある。