再生核ヒルベルト空間

関数解析学において、再生核ヒルベルト空間は、点評価が連続線形汎函数であるような関数から成るヒルベルト空間である。点評価が連続線形であるとは、大雑把に言えば、RKHSに属する関数とがノルムとして近いとき、とは各点でも近いということである。逆は必ずしも成り立つ必要は無い。例えば、ノルムを一様ノルムとしたとき関数列 は各点収束するが一様収束しない。

関数のヒルベルト空間であってRKHSでないものを作るのは簡単ではない。しかし、いくつかの例は見つかっている。

//L//2 空間は関数のヒルベルト空間ではないが、関数の同値類のヒルベルト空間ではある。一方、 //L//2ノルムがノルムであるようなRKHSは存在する。例として、帯域制限関数の空間がある。

RKHSは、その中の任意の関数を再生するような核と関係している。関数を「再生する」とは、関数の定義域内の任意のに対して、その関数の「での評価」が、核から生成される関数との内積をとることで可能である、ということである。そのような再生核は、評価関数が全て連続である時かつその時に限って存在する。

再生核が最初に提唱されたのは調和関数や重調和方程式の境界値問題に関するStanislaw Zarembaの1907年の研究である。同時期に、James Mercerは積分方程式の理論における再生性を満たすような関数を研究した。その後再生核のアイデアは20年近く放置されたが、セゲー・ガーボル、ステファン・ベルグマン、サロモン・ボホナーによる論文で再び触れられるようになった。その後1950年代前半にナフマン・アロンシャインとステファン・ベルグマンがこのテーマを体系的に発展させた。

再生核ヒルベルト空間には、複素解析や調和解析、量子力学など様々な応用がある。その中でも特に、RKHS内で経験損失を最小化するような関数は訓練データで評価された核関数の線形結合で書けるというリプレゼンター定理のおかげで、統計的学習理論の分野で再生核ヒルベルト空間が重要である。これは、経験損失最小化問題を無限次元の最適化問題から有限次元最適化問題へ簡単かできるために、実用上有用な結果である。

簡単のため、ここでは実数値ヒルベルト空間の概要を説明する。この理論は簡単に複素数値関数に拡張することができ、したがって解析関数空間であるような再生核ヒルベルト空間の重要な例を多く含んでいる。

1. 定義
-----

を集合とし、を、上で各点での加算とスカラー倍が定義された実数値関数から成るヒルベルト空間とする。ヒルベルト空間での評価汎関数とは、点について、関数を受け取って

と評価する線形汎関数である。が再生核ヒルベルト空間であるとは、任意のについて、が上の任意ので連続であることである。同値な条件は、が上の有界作用素である、つまり

を満たすが存在することである。任意のについてでなければならないが、でも良い。

性質  は、内積が存在し、かつ定義域の任意の点での任意の関数を評価できるための最も弱い条件であるが、このままでは応用に使いづらい。性質  から、上の関数の評価汎関数が、とある関数の内積で得られることが導かれ、こちらをRKHSの定義とする方が直感的である。この関数は再生核date=September 2022}} と呼ばれる。RKHSはこの「再生核」から名前が来ている。正確には、リースの表現定理から、の任意の点に対して、のただ1つの要素が存在して、再生性

が成り立つ。はからへの関数であり、の要素であるから、

が成り立つ。ただし、はを生むようなの元である。

これによって、の再生核が以下の関数として定義できる。

定義から、は対称であり、正定値でもある、つまり

が任意ので成り立つ。Moore–Aronszajnの定理  は、ある種これの逆であり、関数がこれらの条件を満たすならば、が再生核であるような上の関数のヒルベルト空間が存在する、という主張である。

2. 例
----

周波数帯域有限な連続関数の集合はRKHSであることを以下に示す。遮断周波数として定数 をとり、ヒルベルト空間を以下のように定義する。

ただし、は自乗可積分な連続関数の集合であり、はのフーリエ変換である。ヒルベルト空間の内積として、

と定義する。フーリエ逆変換から

が成り立つ。コーシー＝シュワルツの不等式とプランシュレルの定理より、任意のについて以下が成り立つ。

この不等式より評価汎函数が有界であり、したがってがRKHSであることが示せた。

この例での核関数は

で表される。上の式で定義されたのフーリエ変換は、

である。したがって、プランシュレルの定理より

となり、核の再生性を実際に確認できた。

このはディラックのデルタ関数の「帯域制限版」であり、遮断周波数が無限に行くとはに収束する。

3. ムーア・アロンシャインの定理
-----------------

ここまで、再生核ヒルベルト空間から、対称で正定値な再生核関数を定義してきた。一方ムーア・アロンシャインの定理は逆方向の定理である。つまり、対称で正定値な核を1つとると、再生核ヒルベルト空間がただ1つに定まるという定理である。この定理は当初「アロンシャインの再生核定理」と呼ばれていたが、彼がE・H・ムーアの名を定理につけた。

定理 を集合上の対称正定値核とすると、が再生核であるような上のヒルベルト空間がただ1つ存在する。証明 上の任意のに対してと定義する。をの線形空間とする。上の内積を以下のように定義する。

この定義からを得る。内積の対称性はの対称性から示せ、内積の正定値性もの正定値性から示せる。

を内積に関して完備にしたものをとする。は以下の形で表される関数で構成される。

すると、再生性を示せる:

一意性を証明するために、を、が再生核であるような、関数から成るヒルベルト空間とする。の任意のとについて、

線形性よりがの張る空間上で成り立つ。は完備であってを含むから、を完備化したものを含む、つまり。

ここから、逆にの任意の要素がの要素であることであることを示したい。をの要素とする。はの部分空間だから、とを使ってと分解できる。今について、がとの再生核であるから、

が成り立つ。はに属するからでのとの内積が0となる事実を使った。上の式からでが成り立ち、証明完了となる。

4. 積分作用素とマーサーの定理
----------------

マーサーの定理を使えば、積分作用素を通して対称正定値核を特徴づけることができ、RKHSの新たな視点を得ることが出来る。を狭義正で有限なボレル測度があるようなコンパクト集合であるとし、を連続対称正定値関数とする。積分作用素を以下のように定義する。

ただし、はの測度の下で自乗可積分な関数の空間である。

マーサーの定理によると、積分作用素の固有値と固有関数がのテイラー展開を意味している。したがって、この固有値と固有関数を使って、再生核がであるようなRKHSを構成できる。詳細は以下の通りである。

上記の仮定のもとでは、はコンパクトで連続で自己随伴で正定値な作用素である。自己随伴な作用素についてのスペクトル定理より、たる減少列が存在して、の正規直交基底を用いてと表せる。の正定値性より、任意のに対してとなる。更に、は連続関数の空間へ連続的に写像するから、連続関数を固有ベクトルとできる。つまり、任意のに対してである。したがって、マーサーの定理から、は固有値と連続な固有写像を用いて以下のように書ける。

ただし、上の式は、任意のに対して

が成り立つことを意味している。このような級数表現は、のマーサー核やマーサー表現と呼ばれる。

更に、再生核がであるようなRKHSは以下のように与えられる。

ここで、の内積は以下の式である。

である。RKHSのこのような表現は、確率や統計で応用があり、例えば確率過程でのカルーネン・レーベ変換やカーネル主成分分析などがある。

5. 特徴写像
-------

特徴写像とは、特徴空間と呼ばれるヒルベルト空間に移す写像である。これまでの章では、有界連続な評価関数と、正定値関数と、積分作用素の間の関係を見てきた。この章では、特徴写像を使った別のRKHSの表現を説明する。

特徴写像は:を通して核を定義する。は明らかに対称であり、更にでの内積の性質から正定値性も得られる。逆に、各正定値関数と対応する再生核ヒルベルト空間には、が成り立つような特徴写像が無限にある。

例えば、簡単なものでは、任意のに対してとすれば良い。このようにすれば、再生性からが成り立つ。他に典型的な特徴写像の例としては、前の章の積分作用素に関連したもので、、とするものもある。

核と特徴写像の間のこのような関係から、正定値関数の新しい理解の仕方が得られる。更に、各特徴写像から、正定値関数の定義を通してRKHSを自然に定義できる。

最後に、特徴写像から、RKHSの新しい観点を明らかにするような関数空間を構築できる。以下の線形空間を考える。

上のノルムを以下のように定義できる。

は、核がで定義されたRKHSとなる。この表現では、RKHSの要素は特徴空間の要素同士の内積であり、したがってRKHSの世周防は超空間として見ることができる。RKHSのこの見方は、機械学習でのカーネル法と関係がある。

6. 性質
-----

RKHSの有用な性質として以下のようなものがある。

を集合の列とし、 をそれぞれ上の正定値関数とする。すると、 は上の核である。
とすると、の定義域をに制限したものもまた再生核となる。
任意のについてとなるように正規化したを考える。 上の擬距離空間を以下のように定義する。 コーシー＝シュワルツの不等式より、 このこの不等式から、は入力間の類似性測度と見ることができる。が似ていればは1に近くなり、が似ていなければ、は0に近くなる。
によって生成される空間の閉包はと一致する。

7. 一般的な例
--------

7.1. 双線形核
---------

であるようなRKHSである。

この核に対応するRKHS は、を満たすでと表される関数で構成された双対空間である。

7.2. 多項式核
---------

7.3. 動径基底函数核
------------

他の一般的な核として、を満たすものがある。例えば以下がある。

ガウシアン核:
ラプラシアン核: この核で定義されたRKHS にある関数の自乗ノルムは以下の通りである。

7.4. ベルグマン核
-----------

次にベルグマン核の例を説明する。を有限集合とし、上の全ての複素数値関数から構成される空間をとする。すると、の要素は複素数列と解釈することができる。内積を複素ベクトルとしての内積で定義すると、はで1となり他で0となるような関数となる。つまり

となるから、は単位行列と考えることができる。この場合、はと同型である。

の場合はより複雑である。ベルグマン空間 は、上の二乗可積分な正則関数の空間である。の再生核は

であることが示せる。最後に、の要素であって帯域幅がであるような帯域制限関数の空間は、再生核が

8. ベクトル値関数への拡張
--------------

この章では、RKHSの定義をベクトル値関数空間に拡張する。この拡張は、マルチタスク学習や多様体正則化で特に重要である。ベクトル値関数空間となって生じる主な違いは、再生核が、の任意の要素に対して半正定値行列であるような対称関数であることである。より厳密には、ベクトル値RKHSは、任意のとについて

と

となるような関数のヒルベルト空間と定義される。この2つ目の性質がスカラー値の場合の再生性に対応している。この定義でも、スカラー値RKHSで見ていたような積分作用素、有界評価関数、特徴空間との関係が成り立つ。 vvRKHSの同値な定義として有界な評価汎関数のあるベクトル値ヒルベルト空間をとり、Rieszの表現定理から再生核の唯一存在性を示すことができる。Mercerの定理もベクトル値に拡張することができ、したがってvvRKHSの特徴写像による見方も得られる。最後に、の張る空間の閉包がと一致することも示せ、ここでスカラー値の場合と似た性質が得られる。

要素ごとに見ることでvvRKHSを直感的に理解できる。とする。空間と対応する再生核:を考える。上に述べたとおり、この再生核に対応するRKHSはが張る空間の閉包で与えられる。ただし、任意のペア}}に対してである。

スカラー値RKHSとの関係は、行列値核がの核と以下の式で関連していることから分かる。

更に、の形の核は上の式で行列値核を定義する。では、写像を

と定義する。ただし、はの直交基底の番目の要素である。は全単射であり、との間の等長写像となる。

vvRKHSのこのような見方はマルチタスク学習で有用ではあるものの、この等長変換はベクトル値の場合の研究をスカラー値の場合の研究に帰結させるものではない。実際、この等長変換によってもともとの核の性質がたびたび無くなり、スカラー値核や入力空間が複雑になりすぎる。

行列値再生核の中でも重要な種類に、スカラー値核と次元対称半正定値行列の積で表されるような、分離可能核と呼ばれるものがある。これまでの議論の観点から表せば、分離可能核はの任意の要素との任意の要素に対して以下の式で表される。

スカラー値核が入力間の依存関係を表現していたのに対して、行列値核は入力と出力の両方の依存関係を表現していることが分かる。

最後に、このような理論は更に関数空間の関数空間に拡張できるが、このような空間での核を得るのはより難しい。

9. RKHSとReLU関数の関係
-----------------

ReLU関数は通常で定義され、活性化関数としてReLU関数が使われているニューラルネットワークの構造の中枢である。 再生核ヒルベルト空間を使ってReLUに似た非線形関数を構築することができる。以下、実際に構築の仕方を紹介し、そこから ReLUが活性化関数に使われているニューラルネットワークの表現力を導出する過程を説明する。

ヒルベルト空間として、であって導関数が自乗可積分な関数の空間を考える。内積は以下のように定義する。

再生核を構成するためには密な部分空間を考えれば十分であるから、かつとする。微分積分学の基本公式から

となる。ただし

更に上のmin関数はReLU関数で以下のように表現できる。

この式を使って、リプレゼンター定理をこのRKHSにを適用すると、ニューラルネットワークにおいてReLU活性化関数を使うのが最適だと証明できる。

10. 関連項目
--------

カーネル法

11. 出典
------

12. 参考文献
--------

Alvarez, Mauricio, Rosasco, Lorenzo and Lawrence, Neil, “Kernels for Vector-Valued Functions: a Review,” https://arxiv.org/abs/1106.6251, June 2011.
Berlinet, Alain and Thomas, Christine. //Reproducing kernel Hilbert spaces in Probability and Statistics//, Kluwer Academic Publishers, 2004.
De Vito, Ernest, Umanita, Veronica, and Villa, Silvia. "An extension of Mercer theorem to vector-valued measurable kernels," 1110.4017}}, June 2013.
Durrett, Greg. 9.520 Course Notes, Massachusetts Institute of Technology, https://www.mit.edu/~9.520/scribe-notes/class03_gdurett.pdf, February 2010.
Okutmustur, Baver. “Reproducing Kernel Hilbert Spaces,” M.S. dissertation, Bilkent University, http://www.thesis.bilkent.edu.tr/0002953.pdf, August 2005.
Paulsen, Vern. “An introduction to the theory of reproducing kernel Hilbert spaces,” http://www.math.uh.edu/~vern/rkhs.pdf.
Rosasco, Lorenzo and Poggio, Thomas. "A Regularization Tour of Machine Learning – MIT 9.520 Lecture Notes" Manuscript, Dec. 2014.
Wahba, Grace, //Spline Models for Observational Data//, [1], 1990.