再生核ヒルベルト空間
ReLU関数は通常 f ( x ) = max { 0 , x } {\displaystyle f(x)=\max\{0,x\}} で定義され、活性化関数としてReLU関数が使われているニューラルネットワークの構造の中枢である。 再生核ヒルベルト空間を使ってReLUに似た非線形関数を構築することができる。以下、実際に構築の仕方を紹介し、そこから ReLUが活性化関数に使われているニューラルネットワークの表現力を導出する過程を説明する。
ヒルベルト空間として、 f ( 0 ) = 0 {\displaystyle f(0)=0} であって導関数が自乗可積分な関数の空間 H = L 2 1 ( 0 ) [ 0 , ∞ ) {\displaystyle {\mathcal {H}}=L_{2}^{1}(0)[0,\infty )} を考える。内積は以下のように定義する。
⟨ f , g ⟩ H = ∫ 0 ∞ f ′ ( x ) g ′ ( x ) d x {\displaystyle \langle f,g\rangle _{\mathcal {H}}=\int _{0}^{\infty }f'(x)g'(x)\,dx}
つまり、任意の i {\displaystyle i} に対して φ i ∈ C ( X ) {\displaystyle \varphi _{i}\in C(X)} である。したがって、マーサーの定理から、 K {\displaystyle K} は固有値と連続な固有写像を用いて以下のように書ける。
K ( x , y ) = ∑ j = 1 ∞ σ j φ j ( x ) φ j ( y ) {\displaystyle K(x,y)=\sum _{j=1}^{\infty }\sigma _{j}\,\varphi _{j}(x)\,\varphi _{j}(y)}
ただし、上の式は、任意の x , y ∈ X {\displaystyle x,y\in X} に対して
lim n → ∞ sup u , v | K ( u , v ) − ∑ j = 1 n σ j φ j ( u ) φ j ( v ) | = 0 {\displaystyle \lim _{n\to \infty }\sup _{u,v}\left|K(u,v)-\sum _{j=1}^{n}\sigma _{j}\,\varphi _{j}(u)\,\varphi _{j}(v)\right|=0}
が成り立つことを意味している。このような級数表現は、 K {\displaystyle K} のマーサー核やマーサー表現と呼ばれる。