再生核ヒルベルト空間
)
関数のヒルベルト空間であってRKHSでないものを作るのは簡単ではない。しかし、いくつかの例は見つかっている。
L 空間は関数のヒルベルト空間ではない(したがってRKHSではない)が、関数の同値類のヒルベルト空間ではある(例えば、 f ( x ) = 0 {\displaystyle f(x)=0} と g ( x ) = 1 Q {\displaystyle g(x)=1_{\mathbb {Q} }} で定義された f {\displaystyle f} と g {\displaystyle g} はLでは同値である)。一方、 LノルムがノルムであるようなRKHSは存在する。例として、帯域制限関数の空間がある(詳細は後)。
RKHSは、その中の任意の関数を再生するような核と関係している。関数を「再生する」とは、関数の定義域内の任意の x {\displaystyle x} に対して、その関数の「 x {\displaystyle x} での評価」が、核から生成される関数との内積をとることで可能である、ということである。そのような再生核は、評価関数が全て連続である時かつその時に限って存在する。
この章では、RKHSの定義をベクトル値関数空間に拡張する。この拡張は、マルチタスク学習(英語版)や多様体正則化(英語版)で特に重要である。ベクトル値関数空間となって生じる主な違いは、再生核 Γ {\displaystyle \Gamma } が、 X {\displaystyle X} の任意の要素 x , y {\displaystyle x,y} に対して半正定値行列であるような対称関数であることである。より厳密には、ベクトル値RKHS(vvRKHS)は、任意の c ∈ R T {\displaystyle c\in \mathbb {R} ^{T}} と x ∈ X {\displaystyle x\in X} について
Γ x c ( y ) = Γ ( x , y ) c ∈ H for y ∈ X {\displaystyle \Gamma _{x}c(y)=\Gamma (x,y)c\in H{\text{ for }}y\in X}
と
⟨ f , Γ x c ⟩ H = f ( x ) ⊺ c . {\displaystyle \langle f,\Gamma _{x}c\rangle _{H}=f(x)^{\intercal }c.}
となるような関数 f : X → R T {\displaystyle f:X\rightarrow \mathbb {R} ^{T}} のヒルベルト空間と定義される。この2つ目の性質がスカラー値の場合の再生性に対応している。
⟨ ∑ j = 1 n b j K y j , ∑ i = 1 m a i K x i ⟩ H 0 = ∑ i = 1 m ∑ j = 1 n a i b j K ( y j , x i ) , {\displaystyle \left\langle \sum _{j=1}^{n}b_{j}K_{y_{j}},\sum _{i=1}^{m}a_{i}K_{x_{i}}\right\rangle _{H_{0}}=\sum _{i=1}^{m}\sum _{j=1}^{n}{a_{i}}b_{j}K(y_{j},x_{i}),}
この定義から K ( x , y ) = ⟨ K x , K y ⟩ H 0 {\displaystyle K(x,y)=\left\langle K_{x},K_{y}\right\rangle _{H_{0}}} を得る。内積の対称性は K {\displaystyle K} の対称性から示せ、内積の正定値性も K {\displaystyle K} の正定値性から示せる。
H 0 {\displaystyle H_{0}} を内積に関して完備にしたものを H {\displaystyle H} とする。 H {\displaystyle H} は以下の形で表される関数で構成される。
f ( x ) = ∑ i = 1 ∞ a i K x i ( x ) where lim n → ∞ sup p ≥ 0 ‖ ∑ i = n n + p a i K x i ‖ H 0 = 0. {\displaystyle f(x)=\sum _{i=1}^{\infty }a_{i}K_{x_{i}}(x)\quad {\text{where}}\quad \lim _{n\to \infty }\sup _{p\geq 0}\left\|\sum _{i=n}^{n+p}a_{i}K_{x_{i}}\right\|_{H_{0}}=0.
}
この不等式より評価汎函数が有界であり、したがって H {\displaystyle H} がRKHSであることが示せた。
この例での核関数 K x {\displaystyle K_{x}} は
K x ( y ) = a π sinc  ( a π ( y − x ) ) = sin  ( a ( y − x ) ) π ( y − x ) . {\displaystyle K_{x}(y)={\frac {a}{\pi }}\operatorname {sinc} \left({\frac {a}{\pi }}(y-x)\right)={\frac {\sin(a(y-x))}{\pi (y-x)}}.}
で表される。上の式で定義された K x ( y ) {\displaystyle K_{x}(y)} のフーリエ変換は、
∫ − ∞ ∞ K x ( y ) e − i ω y d y = { e − i ω x if ω ∈ [ − a , a ] , 0 otherwise , {\displaystyle \int _{-\infty }^{\infty }K_{x}(y)e^{-i\omega y}\,dy={\begin{cases}e^{-i\omega x}&{\text{if }}\omega \in [-a,a],\\0&{\textrm {otherwise}},\end{cases}}}
K ( x , y ) = ⟨ x , y ⟩ {\displaystyle K(x,y)=\langle x,y\rangle }
であるようなRKHSである。
この核に対応するRKHS H {\displaystyle H} は、 ‖ f ‖ H 2 = ‖ β ‖ 2 {\displaystyle \|f\|_{H}^{2}=\|\beta \|^{2}} を満たす β {\displaystyle \beta } で f ( x ) = ⟨ x , β ⟩ {\displaystyle f(x)=\langle x,\beta \rangle } と表される関数で構成された双対空間である。