+
2015年度

第1回駒場物性セミナー

第11回全脳アーキテクチャ勉強会

深層学習の学習過程における相転移
京都大学大学院情報学研究科システム科学専攻
大関 真之

自己紹介}

大関真之}

京都大学大学院情報学研究科システム科学専攻助教}
}}

東京工業大学大学院理工学研究科物性物理学専攻博士課程修了}}

理論物理学：統計力学、量子アニーリング
機械学習：深層学習、ボルツマン機械学習

指導教官：西森秀稔「統計力学、量子アニーリング、etc」

ローマ大学物理学科プロジェクト雇用研究員}Leader：Giorgio Parisi「統計力学、最適化問題、etc」

引用：Google Scholar Citation，顔 東工大の研究者たち Vol.13 西森秀稔	

2015.08.26 深層学習の学習過程における相転移自己紹介}

大関真之}

京都大学大学院情報学研究科システム科学専攻助教
}
}

}
}
}

理論物理学：統計力学、量子アニーリング
機械学習：深層学習、ボルツマン機械学習

基盤研究(B)「量子アニーリングが拓く計算技術と機械学習の新時代」新学術領域「スパースモデリングの深化と高次元データ駆動科学の創成」
CREST「ビッグデータ時代に向けた革新的アルゴリズム基盤」

2015.08.26 深層学習の学習過程における相転移自己紹介}

大関真之}

京都大学大学院情報学研究科システム科学専攻助教}
}}

理論物理学：統計力学、量子アニーリング
機械学習：深層学習、ボルツマン機械学習

カンニング大関？！
}}

朝日新聞（H27.1.16）、Newton（H27.2.26）、ケトル（H27.6.15）
TBSテレビ「あさチャン！」(H27.1.19)、NHK総合「おはよう日本」（H27.3.27）
FOCUS

Informatics試験を受けて，答えがわからないとき正解，不正解の傾向が似ているペアに，周りの人たちの答案を覗いてみたいが現れると，カンニングが疑われるとと思うことはないだろうか。本人はバレいうわけだ。

ないと思っていても，経験を積んだ教員

カンニングを見破るプログラムを開発
テストの正答データからカンニングの有無を検出
入試，資格試験，昇進試験など，私たちはことあるごとに試験を受ける。その結果次第で人生を左右してしまうこともあるので，ほとんどの人は一生懸命勉強していい成績を残2015.08.26 深層学習の学習過程における相転移が答案をチェックすると，不正が発覚す性善説で精度が向上る場合がある。カンニングの検出は，長「ボルツマン機械学習は，もともと 1 つ年，人の勘に頼るところが大きかったが，1 つの要素の相互作用を見つけるのが得京都大学大学院情報学研究科の大関真之意なプログラムです。それぞれの問題助教らが，「機械学習」を利用した新しでの正解，不正解のデータから，生徒いプログラムを開発した。

同士のつながりを推定して，どのペア採点データからカンニングを検出特定していきます」（大関助教）

でカンニングがおこなわれているかを
機械学習は，大量のデータの間にあただ，1 つ 1 つの要素の関係性を調る関係性を自動的に割り出していく技

べるボツルマン機械学習では，たくさ術で，ビッグデータ時代に様々な場面んのデータが必要になる。プログラムがで使われている。大関助教は画像処理

あるペアの関係性を判定するには，特などに使われる「ボルツマン機械学習」

定の数式を解く必要がある。要素の数

今日は深層学習と統計力学の話

統計力学の話

原子と分子、そして物質}

物質の構成単位としての原子と分子}

微視的には水は!

}

巨視的には、温度や圧力が変わると、見た目がガラリと変わる

温度	

引用: wikipedia

2015.08.26 深層学習の学習過程における相転移

原子と分子、そして物質}

物質の構成単位としての原子と分子}

微視的には水は!

}

巨視的には、温度や圧力が変わると、見た目がガラリと変わる

温度	

引用: wikipedia

2015.08.26 深層学習の学習過程における相転移

原子と分子、そして物質}

磁石の構成単位：磁気モーメント（スピン）}

微視的にはスピンが並ぶ}

巨視的には、温度の変化で、相転移が起こる
磁化	

強磁性相	

常磁性相	
温度	

2015.08.26 深層学習の学習過程における相転移統計力学的アプローチの出発点}

ミクロな世界とマクロな世界を結ぶ処方箋}

ハミルトニアン（エネルギー関数：ミクロ世界のルール）}

例：調和振動子（バネの運動）}

例：Ising模型（磁性体のモデル）

2015.08.26 深層学習の学習過程における相転移統計力学的アプローチの出発点}

ミクロな世界とマクロな世界を結ぶ処方箋}

}

ハミルトニアン（エネルギー関数：ミクロ世界のルール）}

例：調和振動子（バネの運動）}

例：Ising模型（磁性体のモデル）

確率分布による記述}Gibbs-Boltzmann分布}

分配関数

2015.08.26 深層学習の学習過程における相転移統計力学的アプローチの中間層}

分配関数の計算命!
}

等エネルギー面にある状態の数を先に勘定する．

2015.08.26 深層学習の学習過程における相転移統計力学的アプローチの中間層}

分配関数の計算命!
}

等エネルギー面にある状態の数を先に勘定する．

}

エントロピーの登場

2015.08.26 深層学習の学習過程における相転移統計力学的アプローチの中間層}

分配関数の計算命!
}

等エネルギー面にある状態の数を先に勘定する．

}

エントロピーの登場}

とてつもない自由度の数であるということを思い出す．（熱力学的極限）

2015.08.26 深層学習の学習過程における相転移統計力学的アプローチの中間層}一気にマクロの世界へ!
}

積分の意味：全領域の足し上げ！

2015.08.26 深層学習の学習過程における相転移統計力学的アプローチの中間層}

一気にマクロの世界へ!
}

積分の意味：全領域の足し上げ！

}

Nを大きくすると…効果が局在化

2015.08.26 深層学習の学習過程における相転移統計力学的アプローチの終着点}

一気にマクロの世界へ!
}鞍点評価}

自由エネルギーの登場

2015.08.26 深層学習の学習過程における相転移統計力学的アプローチの終着点}

一気にマクロの世界へ!
}鞍点評価}

自由エネルギーの登場}

分配関数の評価を通じて、全ての必要な熱力学量が計算できる！

「物質は、エネルギーが低く、エントロピーの大きい、平衡状態を実現する！」

2015.08.26 深層学習の学習過程における相転移自由エネルギーの形状と相転移}

磁性体の場合：Ising模型

磁化	温度	

2015.08.26 深層学習の学習過程における相転移自由エネルギーの形状と相転移}

磁性体の場合：Ising模型

磁化	温度	

2015.08.26 深層学習の学習過程における相転移自由エネルギーの形状と相転移}

磁性体の場合：Ising模型

磁化	温度	

2015.08.26 深層学習の学習過程における相転移自由エネルギーの形状と相転移}

変わった磁性体の場合：Potts模型

内部エネルギー	

温度	

2015.08.26 深層学習の学習過程における相転移自由エネルギーの形状と相転移}

変わった磁性体の場合：Potts模型

内部エネルギー	

温度	

2015.08.26 深層学習の学習過程における相転移自由エネルギーの形状と相転移}

変わった磁性体の場合：Potts模型

内部エネルギー	

温度	

2015.08.26 深層学習の学習過程における相転移自由エネルギーの形状と相転移}

変わった磁性体の場合：Potts模型

内部エネルギー	

温度	

2015.08.26 深層学習の学習過程における相転移自由エネルギーの形状と相転移}

変わった磁性体の場合：Potts模型

内部エネルギー	

温度	

2015.08.26 深層学習の学習過程における相転移自由エネルギーの形状と相転移}

変わった磁性体の場合：Potts模型

内部エネルギー	

温度	

2015.08.26 深層学習の学習過程における相転移自由エネルギーの形状と相転移}

変わった磁性体の場合：Potts模型

内部エネルギー	

温度	

2015.08.26 深層学習の学習過程における相転移統計力学と機械学習？
}

なぜ統計力学者が機械学習に興味を持つか？
}

ボルツマン機械学習=統計力学}

最尤法（尤度最大化）＝自由エネルギーの最小化

2015.08.26 深層学習の学習過程における相転移統計力学と機械学習の関係
}

最尤法
}

分配関数の計算、熱期待値の計算が命}

平均場近似法、信念伝搬法(Belief Propagation)}マルコフ連鎖モンテカルロ法¨

ランダムな初期点からの真面目な計算

2015.08.26 深層学習の学習過程における相転移統計力学と機械学習の関係}

最尤法}分配関数の計算、熱期待値の計算が命}

平均場近似法、信念伝搬法(Belief Propagation)}マルコフ連鎖モンテカルロ法¨}

コントラスティヴ・ダイヴァージェンス法 [G. Hinton (2002)]¨}

ランダムな初期点からの真面目な計算

データ点からのちょっと真面目な計算

疑似最尤法
}

分配関数の近似計算、熱期待値の近似計算}

データを利用して尤度を近似 [J. Besag (1975)]

2015.08.26 深層学習の学習過程における相転移鍵はデータ利用

深層学習解体}

深層学習前史}}}

多層ニューラルネットワークに対する期待誤差逆伝搬法の成功と失敗（勾配消失問題）

深層学習のアーキテクチャ}

大量の教師無しデータによるPretraining}
}}

自己符号化器(auto encoder)等の利用
学習の結果出力された結果を更に教師無しデータとして採用

少量の教師ありデータによるFine Tuning

2015.08.26 深層学習の学習過程における相転移鍵はデータ利用

統計力学的アプローチ

M. Ohzeki:J. Phys. Soc. Jpn., 84, (2015) 034003}

教師無し学習と教師有り学習の効果を見る}

手で解析できるように極端に単純化}

}

単純パーセプトロン＋大量の高次元データ入力データには構造がある}

教師無し学習でも意味がある情報利得を仮定

2015.08.26 深層学習の学習過程における相転移統計力学的アプローチ

M. Ohzeki:J. Phys. Soc. Jpn., 84, (2015) 034003}

教師無し学習と教師有り学習の効果を見る}

手で解析できるように極端に単純化}}

単純パーセプトロン＋大量の高次元データ入力データには構造がある}

教師無し学習でも意味がある情報利得を仮定

引用: wikipedia

2015.08.26 深層学習の学習過程における相転移統計力学的アプローチ

M. Ohzeki:J. Phys. Soc. Jpn., 84, (2015) 034003}

教師無し学習と教師有り学習の効果を見る}

手で解析できるように極端に単純化}}

入力データには構造がある}

}

単純パーセプトロン＋大量の高次元データ
教師無し学習でも意味がある情報利得を仮定

自由エネルギーを計算して調べてみよう！

引用: wikipedia

2015.08.26 深層学習の学習過程における相転移統計力学的アプローチ

M. Ohzeki:J. Phys. Soc. Jpn., 84, (2015) 034003}

自由エネルギーを計算しよう！
}

ベイズの定理より事後確率を計算}

学習により獲得した識別性能を見る}

スピングラス理論のレプリカ法を援用

引用: wikipedia

2015.08.26 深層学習の学習過程における相転移統計力学的アプローチ

M. Ohzeki:J. Phys. Soc. Jpn., 84, (2015) 034003}

最尤法で学習できた場合の性能評価}

汎化誤差の解析結果}

赤，緑、水、紫、青とマージンが小さくなり識別が難しい場合を検討−1−2−2−3−3−4−4logεlogε−1−5−5−6−6−7−7−8α＝10100 200 300 400 500 600 700 800 900 1000
β2015.08.26 深層学習の学習過程における相転移−8α＝10α=100 100 200 300 400 500 600 700 800 900 1000β統計力学的アプローチ

M. Ohzeki:J. Phys. Soc. Jpn., 84, (2015) 034003}

教師無し学習(β)と教師あり学習(α)の問題数における相転移
0−1logε−2−3−4

β＝100−5−6−70

β＝20012345α2015.08.26 深層学習の学習過程における相転移

678910統計力学と機械学習
1.2
マルコフ連鎖モンテカルロ法の加速研究}(x0,x0)1

そもそも詳細釣り合い条件は十分条件
0.80.8詳細釣り合いの破れ
1<x2>}

0.60.40.2}

0.6<x>}

0.4(xeq,xeq)

破ってもよい．但し釣り合い条件は満たす．
0−0.2
−0.4

00.5

<x1>

2015.08.26 深層学習の学習過程における相転移

10.2
0−0.2
0123time45統計力学と機械学習
1.2
マルコフ連鎖モンテカルロ法の加速研究}(x0,x0)1

そもそも詳細釣り合い条件は十分条件
0.8

0.8

詳細釣り合いの破れ
1<x2>}

0.6
0.40.2}

0.6<x>}

0.4(xeq,xeq)

破ってもよい．但し釣り合い条件は満たす．
0−0.2}

−0.4

00.5

詳細釣り合いの破れを伴う確率過程<x1>}
}
}

10.2
0−0.2
0123time

4

諏訪藤堂法（離散変数のMCMC）[H. Suwa and S. Todo (2010)]
ひねり詳細釣り合い条件（離散変数のMCMC）[K. S. Turitsyn (2011)]
大関=一木法（連続変数のLangevin dynamics＋離散変数のMCMC）[MO and A. Ichiki (2015)]

2015.08.26 深層学習の学習過程における相転移5計算技術と機械学習の新時代

M. Ohzeki, A. Ichiki and M. Yasuda: to appear soon}

コントラスティヴ・ダイヴァージェンスの加速
詳細釣り合いの破れたMCMCの採用による劇的な加速−0.4

Loglikelihood function}

1DCC
BvD

−0.5
−0.6
−0.7

CD-1−0.8−0.9
12

34 5 6 7 8
iteration step

2015.08.26 深層学習の学習過程における相転移

MCMC910

まとめ}

統計力学と機械学習の協奏}

深層学習のアーキテクチャ：PretrainingとFine Tuning}
}

0

教師無し学習は、ポテンシャルを引き上げる
教師あり学習は、ポテンシャルへ到達させる−1−2logε[M. Ohzeki:J. Phys. Soc. Jpn., 84, (2015) 034003]−3−4β＝100−5

深層学習の学習法：Contrastive divergence}
}−6

加速された確率過程の利用：詳細釣り合いの破れ
より効率よい最尤法の実践が可能となる−0.4[M. Ohzeki, A. Ichiki and M. Yasuda: to appear soon]−0.5−70β＝200
12Loglikelihood function}

345α678910D-1CBCvD

−0.6
−0.7

CD-1

−0.8
−0.91

2015.08.26 深層学習の学習過程における相転移

234 5 6 7 8
iteration step

MCMC
910