深層ニューラルネットワークと非平衡臨界現象- ディープラーニングに潜む普遍的な法則の探求 東京大学

知の物理学研究センター
玉井 敬一

KT, T. Okubo, T. V.T. Duy, N. Natori and S. Todo. arXiv: 2307.02284
上智大学
第 3 回「学習物理」領域セミナー（兼 第 55 回「ディープラーニングと物理学」セミナー）
2023 年 11 月 9 日

自己紹介• 玉井 敬一
学歴・職歴

博士（理学）

2011 年 4 月 – 2013 年 3 月: 東京大学理学部物理学科
指導教員: 宮下 精二 教授 (理論)、酒井 広文 准教授 (実験)2013 年 4 月 – 2018 年 3 月: 東京大学大学院理学系研究科物理学専攻
指導教員: 佐野 雅己 教授

2018 年 4 月 – 2020 年 3 月: 東京大学物性研究所 (CCMS)
受入所員: 川島 直輝 教授

2020 年 4 月 – 2022 年 5 月: 産業技術総合研究所 (CD-FMat)
受入所員: 三宅 隆 材料インフォマティクスチーム長2022 年 6 月 –: 東京大学大学院理学系研究科知の物理学研究センター
受入教員: 藤堂 眞治 教授

肩書は当時ディープラーニングの応用研究の躍進• 深層学習の応用は質・量ともに急激に発展中• AlphaGo, MidJourney, ChatGPT, Bing AI Chat, …

• モデル規模も急激に成長• Transformer などでは大きなモデルを使うほど性能が上がる？
(Neural network scaling laws)

Fig. from: X.-w. Xu et al. Nat. Electron. 1, 216, (2018);
J. Kaplan et al. arXiv: 2001.08361

ディープラーニングのエネルギー問題• 深層学習のより広範な社会実装を目指していく上で、エネルギー問題がボトルネックになり得る• 大規模モデルは地球環境への負荷も大きい• そもそも大規模計算資源にアクセスできないケースもある• 少なくとも、モデルから予測・生成物を得る際のエネルギー
消費は抑えたいTab. from E. Strubell, A. Ganesh, A. McCallum. ACL2019

ディープラーニングのエネルギー問題• 深層学習のより広範な社会実装を目指していく上で、エネルギー問題がボトルネックになり得る• 大規模モデルは地球環境への負荷も大きい• そもそも大規模計算資源にアクセスできないケースもある• 少なくとも、モデルから予測・生成物を得る際のエネルギー消費は抑えたい• 自然界から学べるところはないか？
• 人間の脳が日常的に消費するエネルギー：~ 20 W
（高性能 GPU の消費電力： 600 W ）• 「人間の知的活動が現在の AI よりエネルギー効率が良いか」自体は微妙な問題

本講演のテーゼ：

非平衡臨界現象を「横の糸」にすると非平衡臨界現象
自然知能と人工知能の共通/相違点を見通しよく整理できる（かも）臨界現象のスケーリング則：
平衡相転移の場合• 二次相転移の転移点近傍で物理量が冪乗則を示す• 系の詳細に依存しない普遍的な臨界指数

普遍クラス• 非普遍的パラメータ込みでリスケールすれば様々な系の振る舞いが 1 本の曲線上に乗る

Fig. from S. Lubeck. Int. J. Mod. Phys. B 18, 3977 (2004);
J. V. Sengers and J. M. H. Levelt Sengers in Progress in liquid Physics (1978, John Wiley&Sons)

実験で見る非平衡臨界現象• スケーリング則が非平衡系の実験でも見られ始めた
液晶電気対流の欠陥乱流転移

開放せん断流における乱流遷移

K. A. Takeuchi et al. Phys. Rev. Lett. 99, 234503 (2007); Phys. Rev. E 80 051116 (2009)
M. Sano and KT. Nat. Phys. 12, 249 (2016); K. Kohyama et al. (incl. KT) Proc. TSFP-12 (2022)
See also: G. Lemoult et al. Nat. Phys. 12, 254 (2016); L. Klotz et al. Phys. Rev. Lett. 128, 014502 (2022)

代表的な非平衡臨界現象としての吸収状態転移• ふたつの系の共通点• 定性的に異なるふたつの状態の空間的共存• 一方の状態がもう一方の状態より好まれやすい
液晶電気対流：トポロジカル欠陥による弾性エネルギー損
層流-乱流遷移：層流の線型安定性• 吸収状態：一度到達すると自発的に出ていけない状態

Pictures on Public Domain重力の向き吸収状態転移の臨界現象

1+1 次元 DP• 確率数理モデルを使った理論研究が大きく進展• モデルの例：Directed percolation (DP), Contact process• 描像：消失過程と増殖過程のせめぎあい ＋ 拡散・飽和

消失拡散

平均場理論

増殖飽和（ :の割合）• 空間次元が 3 以下では平均場理論と異なる指数の冪乗則• 相関長と相関時間（平均場理論ではも同様）

Fig. from KT. PhD Dissertation (UTokyo) and H. Hinrichsen. Adv. Phys. 49, 815 (2000)

神経系ダイナミクスと吸収状態転移の関係？
• ひとつは誰もが既に馴染みがあるはず！

Turing の慧眼：神経発火と雪崩のアナロジー
Alan Turing…

…

• 「脳がある種の臨界状態にあるのでは？」という指摘
が 1950 年の頃からなされていた

A. M. Turing. Mind LIX (236), 433 (1950)

神経系ダイナミクスと吸収状態転移の関係？
• 神経雪崩：ニューロンのバーストの連鎖現象• 一度雪崩が収まると、再度雪崩を引き起こすイベントが発生するまでそのまま（吸収状態）PDF• 臨界現象のような冪的振る舞いがパラメータの細かい調整なしで現れる（自己組織化臨界）

Fig. by Alan Stonebraker (Stonebraker Design | Scientific illustration and more… (alanstonebraker.com))
P. Bak, C. Tang & K. Wiesenfeld. Phys. Rev. Lett. 59, 381 (1987); Phys. Rev. A 38, 364 (1988)

神経系ダイナミクスと吸収状態転移の関係？
• 動物の脳でも（少なくとも擬似的に）自己組織化臨界を実現しているという実験証拠が集まってきている

J. M. Beggs & D. Plenz. J. Neurosci. 23(35), 11167 (2003)
G. B. Morales et al. PNAS 120, e2208998120 (2023)

深層ニューラルネットワークではどうなの？

深層ニューラルネットワークの「忘却転移」？
• 初期化した全結合深層パーセプトロンの信号順伝播••: 入力、 : preactivation,: 重み行列、 : バイアス
: 隠れ層のニューロン数（「幅」）、: hyperparameter,: 活性化関数withQ. 異なる入力信号を同じ初期化ニューラルネットに入れたとき、信号が伝播するにつれ差異はどうなるか？
「相関係数」（を 1 から引いたもの）で定量化

深層ニューラルネットワークの「忘却転移」？
• 初期化した全結合深層パーセプトロンの信号順伝播••: 入力、 : preactivation,: 重み行列、 : バイアス
: 隠れ層のニューロン数（「幅」）、: hyperparameter,: 活性化関数with

00-10-0.2-20-30-0.4
0400800

Hidden layer depth L

ニューロン多体現象としての「忘却転移」• 忘却解 () の微小摂動に対する安定性を定量化• 幅が狭いと任意の hyperparameter で安定• 幅が広いと不安定な hyperparameter 領域が現れる“More is different”「最大 Lyapunov指数」（用語の濫用を含む）

n = 50n=9n=1

Weight initialization

幅無限極限での「忘却転移」の記述• 完全に忘却した（異なる入力信号を与えたにもかかわらず対応する preactivationが全く同じ）状態 (ordered state) は吸収状態•幅の極限（『熱力学極限』）が扱いやすい• Preactivation pair
• Preactivation の分散

withが多変量ガウス分布に従う・相関係数の漸化式が書き下せる

非自明
固定点

自明な固定点See also: B. Poole et al. NeurIPS2016; S. S. Schoenholz et al. ICLR2017; J.-h. Lee et al. ICLR2018;
A. G. de G. Matthews et al. ICLR2018; G. Yang. NeurIPS2019

幅無限極限での「忘却転移」の記述• 完全に忘却した（異なる入力信号を与えたにもかかわらず対応する preactivationが全く同じ）状態 (ordered state) は吸収状態•幅の極限（『熱力学極限』）が扱いやすい• Preactivation pair
• Preactivation の分散が多変量ガウス分布に従う・相関係数の漸化式が書き下せる

See also: B. Poole et al. NeurIPS2016; S. S. Schoenholz et al. ICLR2017; J.-h. Lee et al. ICLR2018;
A. G. de G. Matthews et al. ICLR2018; G. Yang. NeurIPS2019

「忘却転移」のスケーリング:
全結合パーセプトロンの場合• 臨界点近傍の秩序変数冪乗則が見られるや「相関深さ 」に• 指数が吸収状態転移の平均場理論と同じ！（MF 普遍クラス）• 現象論的スケーリングも有効• 秩序変数の平均場理論的記述：: 非普遍的パラメータ（活性化関数形、 に依存）

臨界点(近傍)のネットワークの個性は非普遍パラメータに押し込まれる！

Hidden layer depth L

非普遍的パラメータ：
全結合パーセプトロンの場合• 臨界点でのネットワークの振る舞いは preactivation の分散 とパラメータ で特徴づけられる(1) 臨界点の位置と preactivation 分散• 相関係数の自明な固定点の安定性条件と分散の固定点条件を連立して（数値的に）解くのが手っ取り早い• 純経験的手段なら有限サイズスケーリング(2) 非普遍的パラメータ• (1) の結果を使えば一種の順問題• 秩序変数の冪減衰の係数の逆数でもある

“So What?”• 全結合に興味を絞るのをひとまずよしとしても……

1. 訓練過程でパラメータは初期値から離れるわけで、初期化時のネットワークの性質が分かったところでどうもしないのでは？
2. よしんばどうかするとして、各パラメータを知ってディープラーニング設計上の意味があるのか？

たかが初期化、されど初期化 :NTK と Lazy Learning• 勾配降下法による学習ダイナミクス• 訓練データ：• 損失関数：• 時間発展簡単のため、出力は1 次元とする
NN の学習パラメータ: NN の出力: 学習率

パラメータ：
ニューラルネットワーク出力：

Neural Tangent Kernel (NTK)

See also: A. Jacot et al. NeurIPS2018, J.-h. Lee et al. NeurIPS2019

たかが初期化、されど初期化 :NTK と Lazy Learning
無限幅の場合……
• 訓練過程でニューラルネットワークの各パラメータが初期値からほとんど動かない (lazy)• NTK が決定論的になり、訓練過程でも一定• 学習率 が以下なら、訓練過程が初期値まわりの線型化ダイナミクスに帰着• 経験的には、学習率がその閾値を超えたあたりから、性能が急激に悪くなる

See also: A. Jacot et al. NeurIPS2018, J. Lee et al. NeurIPS2019
Fig. from: L. Xiao et al. ICML2020

それぞれの相での学習ダイナミクス• 無限幅全結合パーセプトロンの場合、NTK が具体的に解析可能
結果の要点• 秩序相では、の最大固有値は深さによらず、深層 での preactivation 分散 に比例。最小固有値が深さに関して指数関数的に小さくなる
条件数増大、訓練困難• カオス相では、の最大固有値も最小固有値も深さに関して指数関数的に増大。 に比例もする訓練は可能。ただ、依存せず、汎化しないがデータセットにほとんど

See also: A. Jacot et al. NeurIPS2018; J. Lee et al. NeurIPS2019; L. Xiao et al. ICML2020

それぞれの相での学習ダイナミクス• 無限幅全結合パーセプトロンの場合、NTK が具体的に解析可能
結果の要点

Lazy learning において、• 秩序相では、の最大固有値は深さによらず、深層ニューラルネットワークの訓練・汎化には深層 での preactivation 分散 に比例。最小固有値が深さに関して指数関数的に小さくなる
初期化が臨界点に十分近いことが必要条件数増大、訓練困難学習率設計の際に の最大固有値も最小固有値もが重要な役割を果たす• カオス相では、深さに関して指数関数的に増大。 に比例もする訓練は可能。ただ、依存せず、汎化しないがデータセットにほとんど

See also: A. Jacot et al. NeurIPS2018; J. Lee et al. NeurIPS2019; L. Xiao et al. ICML2020

有限幅の場合は？
• 無限幅のように分散・共分散を（の誤差内で）追跡する理論構築も不可能ではない (Edgeworth 展開)• ニューロン間の非自明な相関を考慮するため煩雑• 有限サイズスケーリングの考え方が有効• 臨界点直上の現象論的記述• 普遍スケーリング

Hidden layer depth L
See also: S. Yaida. MSML2020 (Proceeding: PMLR 107, 165 (2020));
K. T. Grosvenor and R. Jefferson. SciPost Phys. 12, 081 (2022)

「忘却転移」のスケーリング:
畳み込み NN の場合• 畳み込みニューラルネットワークに対しても同様のスケーリング解析を行う• 「ニューロン間の『相互作用』が局所的」という、アーキテクチャの定性的な違いが普遍クラスに反映
Directed percolation (DP) 普遍クラス全結合パーセプトロン

1 次元畳み込み NN

See also: L. Xiao et al. ICML2018

今後の展望・私見• 実際の学習ではさらに、データ点の分布の仕方に由来するスケールが入るはず• 臨界点に初期化したからと言って闇雲に深くしても、性能は出ない。データ・アーキテクチャ・アルゴリズムのすべてを踏まえた設計吟味の必要性は lazy learning でも変わらなそう• Neural network scaling law を示すアーキテクチャでは、nonscalability の問題が打破されている？ Yes ならどのように？

• 少なくとも古典的なパーセプトロンや畳み込み NN は、自己組織化臨界を実現していない（普通の相転移）• よりモダンなディープラーニング技術（残差ブロック等）の効果を臨界現象の文脈で解釈できるか？

今後の展望・私見• 経験的には、性能とモデル規模対性能比の間に一種のトレードオフがありそう• 熱機関のパワーと効率のトレードオフのように、統計力学で言えることは無いか？

• 深層学習の理論的理解を目指す場合でも、（当面は）数値計算やヒューリスティクスを駆使して進んでいくのが良さそう（物理屋が得意？）• Directed percolation は（現時点で）数学的には超難問（厳密解は空間 1 次元ですら未解決）

まとめ「非平衡臨界現象」をキーワードに、自然知能、人工知能のダイナミクスを整理する試みを紹介• 吸収状態転移が自然知能・人工知能を統一的に理解する足掛かりとなる可能性を示唆• 神経系が（擬似的）自己組織化臨界現象を実現している可能性を示唆する理論・実験研究が増えている• 古典的な人工深層ニューラルネットワークにおける信号伝搬ダイナミクスは吸収状態転移の臨界現象の枠組みで見通しよく整理できる。ただし自己組織化臨界現象は示さない