機械学習と繰り込み群の関係
柴 正太郎 → 船井 正太郎(KEK → OIST)共同研究者：磯 暁、横尾 純斗（KEK, 総研大）
Phys. Rev. E 97 (2018) 053304 [arXiv: 1801.07172 [hep-th]]2018年6月1日 @ 大阪大学

人工知能 ≠ 人間の脳、だが…
 機械学習は、脳の構造を模して設計されている。
 脳の働き（学習・判断）が再現できれば、脳に同じような仕組みがあると考えてよいのではないか。
神経細胞「学習」によって調整
神経細胞

Inputs 𝑣𝑖

weights 𝑤𝑖bias (threshold) 𝑏

Output =非線形関数

Input 𝑣𝑖

グーグルの猫（2012年）[Le et al., ’12]

➢ 人間の脳が学習する様子を、機械学習によって再現した好例だと考えられている。
YouTubeの動画から切り出した1000万枚の静止画を入力
人間は“何も”教えていない出力される画像が、入力画像となるべく同じになるように学習(autoencoder)多層のニューラルネットワーク(NN)➢ 各ニューロンはどのような画像を学習するか？


特定のニューロンのみが反応する（大きな値をもつ）入力画像を作ると、人間の顔や猫の顔が現れる。
すなわち、人間や猫に反応するニューロンがある。



簡単な形（線や角、三角形）に反応するニューロンもある。
一般に深い層（入力から遠い層）のニューロンが、より複雑な形に反応するようだ。



人間が「特徴」を掴み「概念」を認識するプロセスを再現しているように見える。

➢ 「特徴」を掴む、とはどういう意味か？


画像に含まれる情報のうち、重要な部分を特徴として選び出し、他の部分は捨ててしまう。



これは coarse graining（粗視化）と似ている。
ならば、繰り込み群 (RG) と関係しているだろう。

RG flow に沿って進むと、relevant パラメータ（≒特徴）は大きくなり、irrelevant パラメータは小さくなる。



物理学の観点から機械学習の仕組みが議論できそう…
[Mehta-Schwab, ’14]
[Lin-Tegmark-Rolnick, ’16]
[Sato, ’16]
[Aoki-Kobayashi, ’16]
[Koch-Janusz, Ringel, ‘ 17]

我々の実験とその結果

我々の実験（前半）[Iso-SS-Yokoo, ’18]

1.

2次元イジング模型のスピン配位のサンプルを、数値計算で生成する（白黒画像で表せる）。
温度は T=0, 0.25, …, 6 の25種類。

2.

スピン配位の画像を入力したとき、似た画像を出力するニューラルネットワークを作る。
(Autoencoder, 教師なし学習)

3.

出力された（再構成された）画像を再び、そのNNに入力する。この操作を繰り返し行うと、再構成画像の flow が得られる。

スピン配位のサンプル生成➢ 2次元イジング模型のスピン配位を考える。

サイズは10x10, 周期的境界条件を課す。


ハミルトニアンは、強磁性の場合(J>0)を考える。
（隣り合うスピンの方向は低温で同じになる傾向）

T=2


スピン配位はモンテカルロシミュレーションを用いて生成する（ランダムな配位から始め、確率 𝑝𝑖,𝑗 でスピンをフリップ

T=6）。
様々な温度Tを設定する。

Autoencoder（教師なし学習）➢ Autoencoder（グーグルの猫でも活躍）は、入力された画像の「特徴」を掴むと考えられている。
特徴の定義を知りたい

入力画像を粗視化して(𝑣𝑖 → ℎ𝑎 )、再構成する(ℎ𝑎 → 𝑣෤𝑖 )NNであると見做せる。



そこで、入力画像と（理想的には）同じ確率で同じ画像を出力するNNを作ってみる。



このタイプの autoencoder は制限ボルツマンマシン (RBM)と呼ばれる。



画像が出力される確率は、エネルギー関数とボルツマン分布を用いて定義される。

weights 𝑤𝑖𝑎 , bias 𝑏𝑎 , 𝑐𝑖visiblehidden

RBMの学習の損失関数として、相対エントロピーを選ぶ。
（極小に近づくように学習する）



相対エントロピーは、KL divergenceとも呼ばれる。

学習する画像は各温度1000個の配位（計25000個）

入力画像 = 𝑣𝑖 である確率 ／ 出力画像 = 𝑣𝑖 である確率➢ 我々の実験では…


入力画像はスピン (↑↓) の配位： 𝑣𝑖 = ±1

RBMの出力は（再構成画像の）スピンの期待値を示す。

白黒画像が再構成される


最終的な出力画像（再構成画像）ではスピン 𝑣෤𝑖 = ±1 となるように、期待値 𝑣෤𝑖 を確率 (1 ± 𝑣෤𝑖 )/2 で置換。

 入力画像の確率分布 𝑞 𝑣𝑖 は、出力画像の確率分布
KL divergence෤ 𝑖 }) と似ているが、異なる。
は小さいが、 𝑝({𝑣0ではない！
 その出力画像を再びRBMに入力すると、さらに異なる確率分布 𝑝෨෤ 𝑣𝑖 をもつ画像が出力される。


この操作を繰り返すと、画像の確率分布の flow が得ら෨෤ 𝑣𝑖 ) → …
れる： 𝑞 𝑣𝑖 → 𝑝({𝑣෤ 𝑖 }) → 𝑝(

➢ 素朴な期待として…


この“RBM flow”は、RG flowと対応するだろう。
特にhidden層のサイズ 𝑛ℎ がvisible層のサイズ 𝑛𝑣 より小さい
場合は、RBMが画像を “coarse graining” するだろう。



もしくは、学習した画像と同じ確率分布、すべての温度の配位が同じ確率で出力されるように、flowする可能性も。

我々の実験（後半）[Iso-SS-Yokoo, ’18]

➢ RBM flowがRG flowと対応しているかを調べる。


画像の確率分布のflowを、議論をしやすくするために温度のflowに読み替えよう。



そのため、入力画像（スピン配位）の温度を判定して出力する、別のNNを作る。（教師あり学習）

このNNに（RBMが再構成した画像を含む）すべての画像を入力して、それらの温度を測る。

すると、確率分布のRBM flowは温度分布のRBM flowに読み替えられる： 𝑇 𝑣𝑖෨ 𝑣 )→…
෨ 𝑖 }) → 𝑇(→ 𝑇({𝑣𝑖各々の配位のサイズは小さいが、大量の配位を考えるため、温度を定義することは可能。

もしRBMがRGと対応していれば、温度のRBM flowは2次元イジング模型のRG flowと対応しているはずだ。



そうならば、温度のRBM flowは相転移温度 T=2.27 から離れていく方向に流れるはずだ。 相互作用係数 𝐽 = 1 は固定

Temperatures (25)Temp measurement(supervised learning)
Configurations (10x10)

hidden(16-400)

Reconstructedconfigurations (10x10)

RBM(unsupervised learning)
Configurations ofIsing model (10x10)

Our setuphidden (64)

結果：RBMはRGと異なる！が…
RBM (𝑛ℎ ≤ 𝑛𝑣 = 100) の場合、温度のflowは相転移温度T=2.27 に近づいていく。



例えばRBM (𝑛ℎ = 81) の場合、温度 T=0 のみ、T=6 のみのスピン配位を入力すると…

Probabilitytemperature
T=0の配位を入力した場合

T=6の配位を入力した場合

➢ RBM flowは、RG flowとは逆の方向に流れることがわかった。


面白い結果！だが、疑問も浮かんでくる。例えば…

RBMは相転移について何も教えられていないが、RBMflowを見ると相転移温度を知っているようだ。何故か？

RBMは結局、学習した画像からどのような特徴を抽出したのだろうか？

T=2.25の配位を入力した場合

結果についての解析と考察

RBMにとっての「特徴」とは？
➢ 各温度のスピン配位は、特徴的な長さスケールを持つ。RBMはそれを特徴と捉えるようだ。
例えば、RBMに特定の温度の配位のみ学習させると、そのスケールを持つように画像が再構成されていき、RBM flowはその温度に近づいていく。

T=2

T=6
T=0, …, 6の配位を学習したRBM

T=0の配位のみを学習したRBM



異なる温度のスピン配位は、異なるスケールをもつ。
RBMが様々な温度の配位を学習すると、様々なスケールを特徴として捉えるだろう。



様々なスケールを含む自然な配位は、スケール不変な配位であろう。これは、相転移温度 T=2.27 におけるスピン配位に他ならない。

RBM flowが流れると特徴が強調されて、相転移温度の配位に近づくのだろう。従って、RBM flowの固定点（終着点）こそ、RBMが捉えた「特徴」と考えられる。

以上の仮説について確認するため、RBMのweight行列を解析してみよう。

行列積 WWT を解析する➢ Visible層に 𝑣𝑖 を入力したとき、hidden層の出力が ℎ𝑎 である確率はcan beregarded as external field.
➢ Hidden層に ℎ𝑎 を入力したとき、visible層の出力が 𝑣
෤𝑖 である確率は
Substitute ℎ𝑎 for 𝐵𝑎 ,since they tend to correlate.
Hopfield
network limit➢ 𝑤𝑤 𝑇 には学習した内容について重要な情報が含まれているはず（Hidden層の基底に依存しないことも好都合）。

➢ 𝑤𝑤

𝑇

行列の要素

Hidden: 𝑛ℎ = 16𝑤の自由度が小さく対角行列になれない

クラスターの大きさと対応する

100 (input 𝑣) x
100 (output 𝑣)
෤ 行列

Hidden: 𝑛ℎ = 100 = 𝑛𝑣
ほとんど対角行列𝑛ℎ = 16 の場合、対角成分の周りで値が減少する様子を詳しく観察できる。
RBMは各温度の配位がもつ特徴的なスケールを確かに掴んでいるようだ。

Hidden: 𝑛ℎ = 400
ほとんど単位行列𝑣෤𝑖 を𝑣𝑖 自身に近づける➢ 𝑤𝑤 𝑇 行列の特異値分解 (SVD)

入力画像 𝑣 を固有ベクトルの線形結合で展開する。

ベクトル 𝑣 を 𝑤𝑤 𝑇 行列の左右両側に掛け算する。
𝑣が𝑤𝑤 𝑇 の主成分を多く含むほど、値が大きくなる。



この平均値（各温度ごと1000個の入力𝑣）を計算すると、相転移温度 T=2.27 付近で急激な変化を示す。
→ 磁化のような振る舞い
RBMが相転移温度を学習した証拠といえるだろう。

𝑛ℎ➢ 𝑤𝑤 𝑇 行列の固有値スペクトル

RBMが特定の温度の配位のみを学習した場合、数個のみの固有値が特に大きな値をもつ（主成分）。

RBMがすべての温度 T=0, 0.25, …, 6 の配位を学習した場
合、すべての固有値が近い値をもつ（≒スケール不変）
様々な温度での様々なスケールを学習するために、多くのニューロンが必要なのだろう。

log |𝜆𝑎 |log |𝜆𝑎 |RBM:T=0

RBM:T=0,…,6𝑛ℎ𝑛ℎまとめ＆今後の方針➢ 2次元イジング模型のスピン配位を表す白黒画像を用いて、RBMによる機械学習を行った。
➢ RBMによって再構成された画像のflow (RBM flow) は、RG flowとは逆方向に流れることがわかった。
➢ RBM flowの固定点は、スケール不変な画像であった。

これが、RBMが捉えた「特徴」と考えられる。
➢ RBM flowは一般に（1つ以上の）固定点をもち、それらはRBMが捉えた特徴に対応するだろう。

固定点仮説



図形（秋の物理学会にて講演予定）、自然画像、音声認識、言語認識など、様々なデータの機械学習で確認していく。

脳が同じような仕組みで認識している可能性も探りたい。