林祐輔（所属: Japan Digital Design，連絡先: bheprr@gmail.com，Twitter: @hayashiyus）

イントロ（1/n）
今日は，表現学習と熱力学の形式的類似性を紹介した後，その拘束条件について議論します．
そのお話をする前に，生成モデルの基礎についてお話します．

生成モデルと認識

参考文献[1]: Hideaki Shimazaki (2020) arXiv:2006.13158 [q-bio.NC]
参考文献[2]: Sumio Watanabe, Mathematical Theory of Bayesian Statistics, CRC Press (2018)林祐輔（所属: Japan Digital Design，連絡先: bheprr@gmail.com，Twitter: @hayashiyus）

イントロ（2/n）● 機械学習でやっていること
Ø 入力と出力を結びつける関数を推定する．

活性化関数（非線形関数）

目的関数（誤差関数）

真の教師ラベルモデルの予測林祐輔（所属: Japan Digital Design，連絡先: bheprr@gmail.com，Twitter: @hayashiyus）

イントロ（3/n）● ニューラルネットの層を一つ増やしたときに何が起こるか．

線形分離不可能な複雑な分布● 統計モデルの内部では，入力線形分離可能な単純な分布を，より単純な分布をもつ特徴量に変換している．

中間層無しのニューラルネットは，ロジスティック回帰モデルと同値．

林祐輔（所属: Japan Digital Design，連絡先: bheprr@gmail.com，Twitter: @hayashiyus）

イントロ（4/n）● 生成モデル（VAE）

ニューラルネットがつくる確率関数

ガウス分布

林祐輔（所属: Japan Digital Design，連絡先: bheprr@gmail.com，Twitter: @hayashiyus）

イントロ（5/n）● 生成モデル（VAE）

ガウス分布

ニューラルネットがつくる確率関数

林祐輔（所属: Japan Digital Design，連絡先: bheprr@gmail.com，Twitter: @hayashiyus）

イントロ（6/n）
順過程

参考文献[3]: Kingma and Welling (2019) arXiv:1906.02691 [cs.LG]

逆過程林祐輔（所属: Japan Digital Design，連絡先: bheprr@gmail.com，Twitter: @hayashiyus）

イントロ（7/n）
逆過程

順過程

デコーダーのグラフィカルモデル

エンコーダーのグラフィカルモデル

参考文献[3]: Kingma and Welling (2019) arXiv:1906.02691 [cs.LG]林祐輔（所属: Japan Digital Design，連絡先: bheprr@gmail.com，Twitter: @hayashiyus）

イントロ（8/n）● 生成モデルの学習は，順過程と逆過程，それぞれの関数を推定するプロセスと理解できる．
その目的関数（損失関数）は，順過程と逆過程，それぞれの同時分布を近づける形になっている．

順過程

逆過程

この変分下限を＜自由エネルギー＞とみなす
エントロピー生成と自由エネルギーにはデータのエントロピー

VAEの目的関数 変分下限（ELBO）の関係式が成り立つのでを同一視すると約束すれば全系のエントロピー生成率

林祐輔（所属: Japan Digital Design，連絡先: bheprr@gmail.com，Twitter: @hayashiyus）

表現学習の熱力学（9/n）
ここから表現学習と熱力学の形式的類似性について議論していきます．後半で，転移学習のプロセスに準静的過程のアナロジーを導入して，サイクルとその熱効率について議論します．
● 確率熱力学：ゆらぐ系の熱力学．微小系が状態確率をから状態とし，その逆過程の確率を とするとき， とエントロピー生成に遷移する過程（順過程と呼ぶ）のとの距離が，微小系の状態変化に伴うを決定する．

ゆらぐ系のエントロピー生成

特徴量の生成プロセスの学習

情報幾何として共通の幾何構造

参考文献[4]: Ito, Oizumi and Amari (2020) arXiv:1810.09545v5 [cond-mat.stat-mech]林祐輔（所属: Japan Digital Design，連絡先: bheprr@gmail.com，Twitter: @hayashiyus）

表現学習の熱力学（10/n）● 生成モデルの単純なモデル：変分オートエンコーダー（VAE）を考える．

ーーダコンエ順過程ーダコー

デ逆過程

VAEの目的関数 変分下限（ELBO）

全系のエントロピー生成率

林祐輔（所属: Japan Digital Design，連絡先: bheprr@gmail.com，Twitter: @hayashiyus）

表現学習の熱力学（11/n）● 全系のエントロピー生成：順過程と逆過程とで，グラフィカルモデルの全要素について矢印の向きが逆になる．

順過程

逆過程

● 部分系のエントロピー生成：順過程と逆過程とで，グラフィカルモデルの一部の要素について矢印の向きが逆になる．

順過程

逆過程

林祐輔（所属: Japan Digital Design，連絡先: bheprr@gmail.com，Twitter: @hayashiyus）

表現学習の熱力学（12/n）● 生成モデルの学習プロセス：データ行う順過程の確率分布
逆過程の確率分布から潜在因子（特徴量） の生成と教師ラベルと，潜在因子（特徴量） からデータと教師ラベルの距離を可能な限り近づけようとするプロセス．

部分系のエントロピー生成と解釈可能．
データのエントロピー

再構成誤差

正則化項

分類誤差ーーダ
コンーダコエー

デコーダー

デ

参考文献[5]: Alemi and Fischer (2018) arXiv:1807.04162v3 [cs.LG]の予測ををデコードする

林祐輔（所属: Japan Digital Design，連絡先: bheprr@gmail.com，Twitter: @hayashiyus）

表現学習の熱力学（13/n）● 表現学習における熱力学諸法則の導出

データのエントロピー再構成誤差

正則化項

分類誤差

● 自由エネルギーが定義される最適曲面の上では，以下が成り立つ．

参考文献[5]: Alemi and Fischer (2018) arXiv:1807.04162v3 [cs.LG]林祐輔（所属: Japan Digital Design，連絡先: bheprr@gmail.com，Twitter: @hayashiyus）

表現学習の熱力学（14/n）● 等温準静過程のアナロジーを考えることで，統計モデルの分類誤差を低い値に抑えたままデータのドメインを変化させること（＝転移学習）はできないか？
熱力学表現学習● データのドメインを変化させる間，分類誤差の値が一定となるような“熱力学的操作”を考える．

参考文献[6]: Gao and Chaudhari (2020) arXiv:2002.12406v1 [cs.LG]

MNIST の 0〜4 までの数字（ドメイン）について訓練
残った 5〜9 までの数字（ドメイン）について転移学習林祐輔（所属: Japan Digital Design，連絡先: bheprr@gmail.com，Twitter: @hayashiyus）

転移学習とはなにか（15/n）
特定のドメインで訓練が終了した学習済みモデルを，別のドメインの学習に再利用すること．少ない
訓練データで高い分類性能を引き出すアルゴリズムを考えたりすることができる．

https://medium.com/@subodh.malgonde/transfer-learning-using-tensorflow-52a4f6bcde3e

学習済みモデルのパラメータを，別のドメインのデータの学習に再利用林祐輔（所属: Japan Digital Design，連絡先: bheprr@gmail.com，Twitter: @hayashiyus）

熱力学エンジンの拘束条件（16/n）
自由エネルギーや準静過程の意味は，熱力学エンジンの最大熱効率を求めるカルノーの定理を考えるとはっきりしてくる．カルノーサイクルに関する議論を振り返る．

① 等温準静過程（膨張）高温熱浴に接したまま膨張② 断熱準静過程（膨張）エンジンを熱浴から離して断熱膨張③ 等温準静過程（圧縮）
低温熱浴に接したまま圧縮④ 断熱準静過程（圧縮）エンジンを熱浴から離して断熱圧縮林祐輔（所属: Japan Digital Design，連絡先: bheprr@gmail.com，Twitter: @hayashiyus）

熱力学エンジンの拘束条件（17/n）● pV-平面上に描かれた準静サイクルを，TS-平面上に描き直すと平行四辺形があらわれる．
pV-平面

TS-平面

林祐輔（所属: Japan Digital Design，連絡先: bheprr@gmail.com，Twitter: @hayashiyus）

熱力学エンジンの拘束条件（18/n）● カルノーの定理より，準静過程を組み合わせた準静サイクルが最大熱効率（カルノー効率）を与えることが示される．
TS-平面カルノー効率

林祐輔（所属: Japan Digital Design，連絡先: bheprr@gmail.com，Twitter: @hayashiyus）

熱力学エンジンの拘束条件（19/n）● 等温準静過程のアナロジーを考えることで，統計モデルの分類誤差を低い値に抑えたままデータのドメインを変化させること（＝転移学習）はできないか？
熱力学

参考文献[6]: Gao and Chaudhari (2020) arXiv:2002.12406v1 [cs.LG]

表現学習林祐輔（所属: Japan Digital Design，連絡先: bheprr@gmail.com，Twitter: @hayashiyus）

表現学習の熱力学（20/n）● 分類誤差を“温度”にみたてて，等温準静過程に沿ってモデルのパラメータ等を動かしていく．

要請①についての連立一次確率微分方程式

要請②

どういうときに転移学習が成功してどういうときには失敗するのか不明

要請③

参考文献[6]: Gao and Chaudhari (2020) arXiv:2002.12406v1 [cs.LG]

MNIST の 0〜4 までの数字（ドメイン）について訓練
残った 5〜9 までの数字（ドメイン）について転移学習林祐輔（所属: Japan Digital Design，連絡先: bheprr@gmail.com，Twitter: @hayashiyus）

表現学習の熱力学（21/n）● 等温準静過程に加え，断熱準静過程に対応する熱力学的操作も導入することができれば表現学習版のカルノーサイクルを考えることができる．
熱力学

表現学習

？

林祐輔（所属: Japan Digital Design，連絡先: bheprr@gmail.com，Twitter: @hayashiyus）

表現学習の熱力学（22/n）● 表現学習版のカルノーサイクルを考えるために，断熱準静過程に対応する熱力学的操作を導入したい．
熱力学

表現学習

？

林祐輔（所属: Japan Digital Design，連絡先: bheprr@gmail.com，Twitter: @hayashiyus）

表現学習の熱力学（23/n）● 断熱準静過程のアナロジーを表現学習に持ち込む．

要請①についての連立一次確率微分方程式
要請②

要請③要請④（断熱条件）

林祐輔（所属: Japan Digital Design，連絡先: bheprr@gmail.com，Twitter: @hayashiyus）

表現学習の熱力学（24/n）● 表現学習版の熱力学第1法則・第2法則から，カルノーサイクルが最大熱効率を与えることを確認．

最大熱効率（カルノー効率）

参考文献[7]: Hideaki Shimazaki, Neural Engine Hypothesis (Dynamic Neuroscience pp267-291), Springer (2017)

林祐輔（所属: Japan Digital Design，連絡先: bheprr@gmail.com，Twitter: @hayashiyus）

表現学習の熱力学（25/n）● まとめØ エントロピー生成と生成モデルの損失関数を同一視することで，変分下限と自由エネルギーを対応させる関係式を発見．

Ø“断熱準静過程”を表現学習に導入．
ドメインBからCへの転移Ø 表現学習版のカルノーサイクルを考え，これが最大熱効率を与えることを確認．

林祐輔（所属: Japan Digital Design，連絡先: bheprr@gmail.com，Twitter: @hayashiyus）

Appendix（26/n）https://camelllia.net/study.html