再生核ヒルベルト空間
= min ( x , y ) {\displaystyle K(x,y)=K_{y}(x)=\int _{0}^{x}G(z,y)\,dz={\begin{cases}x,&0\leq x<y\\y,&{\text{otherwise.}}\end{cases}}=\min(x,y)}
更に X × X = [ 0 , ∞ ) × [ 0 , ∞ ) {\displaystyle X\times X=[0,\infty )\times [0,\infty )} 上のmin関数はReLU関数で以下のように表現できる。
min ( x , y ) = x − ReLU  ( x − y ) = y − ReLU  ( y − x ) {\displaystyle \min(x,y)=x-\operatorname {ReLU} (x-y)=y-\operatorname {ReLU} (y-x)}
この式を使って、リプレゼンター定理(英語版)をこのRKHSにを適用すると、ニューラルネットワークにおいてReLU活性化関数を使うのが最適だと証明できる。
X {\displaystyle X} を集合とし、 H {\displaystyle H} を、 X {\displaystyle X} 上で各点での加算とスカラー倍が定義された実数値関数から成るヒルベルト空間とする。ヒルベルト空間 H {\displaystyle H} での評価汎関数とは、点 x ∈ X {\displaystyle x\in X} について、関数を受け取って
L x : f ↦ f ( x ) ∀ f ∈ H {\displaystyle L_{x}:f\mapsto f(x){\text{ }}\forall f\in H}
と評価する線形汎関数である。 H {\displaystyle H} が再生核ヒルベルト空間であるとは、任意の x ∈ X {\displaystyle x\in X} について、 L x {\displaystyle L_{x}} が H {\displaystyle H} 上の任意の f {\displaystyle f} で連続であることである。同値な条件は、 L x {\displaystyle L_{x}} が H {\displaystyle H} 上の有界作用素である、つまり
を満たす M x > 0 {\displaystyle M_{x}>0} が存在することである。任意の x ∈ X {\displaystyle x\in X} について M x < ∞ {\displaystyle M_{x}<\infty } でなければならないが、 sup x M x = ∞ {\textstyle \sup _{x}M_{x}=\infty } でも良い。