深層ニューラルネットワークの解剖――統計力学によるアプローチ
吉野

元〈大阪大学サイバーメディアセンター

yoshino＠cmc.osaka-u.ac.jp〉
4

深 層 ニ ュ ー ラ ル ネ ッ ト ワ ー ク（Deep

データとする，というものがある．
（1）はガ

Neural Network, DNN）を 用 い た 機 械 学 習

ラス・ジャミング系の統計力学に深く関係

は，深層学習とよばれ，画像認識，機械翻する．他方，（2）はいわば結晶（隠された訳などで身近なものとなった．しかしその「教師機械」）を推定する統計力学である．

高い学習能力のメカニズムはよくわかって

DNN の構成要素として最も単純なのは，おらず，ブラックボックスとして使われて符号を取り出す関数 （f h）＝sgn（h）を活性いる面が無視できない．最先端の応用では化関数とするもので，ニューロンの状態は様々なノウハウが駆使されるが，単純化しイジング変数 Si＝±1 になる．これはいわた状況設定から考える物理学の発想がこの

ゆるパーセプトロンの一つである．単体のブラックボックスにメスを入れるのに役立場合は（1）（2）のシナリオともに深く理解つであろう．ニューラルネットワークを用されている．しかしこれを多数組み合わせ

いた機械学習はスピングラスに端を発する

た DNN の理論解析は困難とされてきた．

ランダム系の統計力学，情報統計力学において伝統的に重要なテーマである．

この困難は次のように克服できる．まず，
全パーセプトロンの入出力関係が満足されN ビットの入力を，N ビットの出力に変ることを拘束条件として導入することによ換する「関数」を，DNN でデザインするこり，シナプス結合 Jij のほかにニューロン Siとを考えてみよう．この N を DNN の「幅」

も力学変数に加えることができる．これにとよぶことにする．入出力を含めて，ネッ

よって，入力と出力を多段階の非線形写像

トワークには多数のニューロンがある．あで結ぶ問題が，局所的な相互作用をもつ多るニューロンの状態を変数 Si で表そう．こ体系の統計力学として捉え直される．

れが入力信号 h＝å j Jij Sj の関数として Si＝得られた系には入出力層以外にランダム（f h）で決まるとする．ここで Sj は隣接する，ネスはない．ここで重要なヒントとなるの上流側，すなわち入力層に近い方の層にあは，無限大次元の剛体球ガラスなど，近年

るニューロンの状態で Jij はシナプス結合

急速に発展したガラス・ジャミング系の平とよばれる．f（h）は活性化関数とよばれ均場理論である．そこではハミルトニアン

る．この DNN（このさき機械とよぶ）は多にランダムネスがない系に対してもスピンくの調節可能なシナプス結合 Jij をもち，グラスなどランダム系で用いられたレプリ

これを調節してデザインできる機械の全体カ法が強力なツールとなることが明らかに集合を Ω0 としよう．

なっている．

統計力学的には次のような問いが立つ．

レプリカ法で理論を構成して解析した結M 個の異なる入出力データの組が訓練デー

果，熱力学極限 N（幅），M（データ数）→∞

タ（境界条件）として与えられたとして，

で，比 α＝M /N の増大とともに（1）レプリ

これに完全に適合する機械は，シナプス結カ対称性の破れを伴うガラス転移，（2）結合 Jij を色々変えて，何通り作ることがで晶化が，ネットワークの両端から逐次的にきるか？

起こって解空間 Ω が狭くなること，ネッ

この「正解の集合」を Ω とし，

その統計力学を考えるのである．

（液体領域）が残されることがわかった．

ある．人工的だがシンプルなシナリオとしこれはある種の濡れ転移とみなせる．現実て，（1）ランダムな入出力データ，（2）Ω0

的には幅 N は有限であり，転移はクロスから無作為に選んだ一つの「教師機械」にオーバーとなり，系は深さ方向にダイナ

ランダムなデータを入力し，対応する出力

ミックスが変化する複雑な液体となる．

最近の研究から

深層ニューラルネットワークの解剖

深層ニューラルネットワーク（DNN）：
多数の層からなる層状のニ ュ ー ラ ル ネ ッ ト ワ ー ク．
様々なタイプがあるが，ここでは多くの層からなる中間層（隠れ層）を通して，入 力 層
から出力層まで信号が逆戻りせずに伝搬するネットワーク
を考える．
スピングラス：
強磁性と反強磁性相互作用がランダムに混在した磁性体．
ガラス・ジャミング系：
ガラス系とはガラス状態，すなわち乱れたパターンを（準）安定な固体状態としてもつ系である．例えば，ある
箱に N 個の球を入れるとして，球同士を重なりを許さない「剛体の制約を充足する」
配置の位相空間 Ω での統計力学が考えられる．これは剛体球系の液体 ‒ 結晶転移，結晶を押しかためた最密充填とともに，過冷却状態でのガラ
ス転移，ガラスを押し固めた
ジャミング（ランダム充填）を研究する舞台である．
レプリカ法：
ガラス系の統計力学における代表的な理論手法．DNN の問題では，下図のように，同じ訓練データのもとで学習している複数の機械をレプリカとする．これらを互いに比べることによって，どの程度似通った機械になっているのか，
またその深さ方向 z での変化を探ることができる．

トワークが十分深ければ中央部に「遊び」

学習の問題で重要なのは，訓練データでを取り出し，この組を「生徒機械」の訓練――用語解説――

レプリカ法の概念図．
濡れ転移：
例えば気相と液層が共存する
とき，温度の低下とともに壁の表面から液相が厚みを増していく現象．

589©2021 日本物理学会

1.

はじめに

深層ニューラルネットワークは画像や音声の認識，機械翻訳などで大きな成功を収めている．多くの物理学者も興味をもち，研究に活用するアイディアが活発に議論されている．1, 2） 非常に表現能力の高い機械であることは間違いない．しかし，その学習のメカニズムはよくわかっておらず，ブラックボックスのまま使われている面が無視できな
い．*1

図1

人工データに基づく学習のための 2 つのシナリオ．

機械学習の性能は，機械だけで議論できず，機械とデー

る．ある「教師機械」を考え，これにランダムなデータをタのセットで決まる．標準的な DNN による学習では，多入力して，その出力を取り出し，この入力・出力のセット

数の入力・出力データのセットを「訓練データ」とし，個々を「生徒機械」の学習に使う．学習データの数を増やしての入力に対して対応する期待された出力が出てくるようにいくと，生徒機械のシナプス結合 J student が，教師機械のJ teacher に次第に近づいていくことが期待される．*3

シナプス結合 Jij などのパラメータを調節する．このプロセスが（教師あり）学習である．

この「教師機械」は，現実のデータの背後にあるもの，

現実のデータがどのような性質をもっているのかは難し

例えば物理法則の役割をしていると考えればよいだろう．

い問題である．統計力学的な解析では，現実のデータの代

そうすると，どのような教師機械を考えるかが重要である．

わりに，解析の見通しがクリアな単純な人工データのモデ

一番素朴にはアーキテクチュアは生徒機械と同じとしたうル（以下ではシナリオとよぶ）のアンサンブルでまず考察

えで，ランダムなシナプス結合 J teacher を生成して教師機械‒するのが常套手段である（図 1）．3 5） 当然，人工データととしてしまう．膨大な数のパラメータが互いに無相関に決現実のデータの性質の違いは問われ，シナリオを見直し，められているランダム教師と，ごく少数のパラメータで記

ステップアップする努力が求められる．

述される物理法則とはずいぶん異なる．したがってこれはシナリオ（1）：丸暗記―clustering / SAT-UNSAT 転移，

単純すぎる設定だが，まずはこれから始める．
*4 の一種である．「教師 ‒このシナリオは「統計的推定」

もっとも素朴なシナリオでは，入出力の各ビットが，互生徒機械」のシナリオはベイズの定理に基づいた統計的推

いに相関のない全くランダムなデータを用いる．これは現実のデータからはるかに遠い状況ではあるが，機械の「丸6）定を説明するのによく用いられる．
我々の設定は，「ベ5* とよばれる最も理想化されたベイズ推定に相イズ最適」

暗記力」がわかる．これも一つの能力ではあり，DNN がど当する．隠された教師の J teacher を，与えられた訓練データ

れほどの丸暗記力をもつのかも，一つの基本問題である．

から推定するというこの設定は，隠れた結晶（教師）を探1.1

ガラス転移 / ジャミング

統計力学的視点からは，これは「制約充足問題」の一つと捉えられ，物理のガラス転移，ジャミングの問題と深く関わるところも大変興味深い点である．*2
1.2

シナリオ（2）：教師 ‒ 生徒機械―結晶化

す，結晶化の統計力学ともみなせる．
1.3

現実にもう一歩近づくには統計力学では熱力学極限 N →∞を取ることが自然である．さらに，本稿で議論する DNN では層間の結合が密な次に，ただやみくもに暗記する能力とは違う，「真似す結合（図 2 参照）であるため幅 N →∞で∞次元系になり，る能力」を測ろうというのが「教師 ‒ 生徒機械」の設定であ平均場理論が正確になる，という利点がある．しかし現実の系で幅 N は有限であり，相転移はすべてクロスオーバー*1 例えば次のような未解決問題がある．DNN ではしばしば，訓練デー

タの数を遥かに上回るパラメータ数で学習を行うという異常なモデリング（over-parametrization）になる．これは物理法則が自然界の膨大なデータを，極めて少数のパラメータで表現できる（と信じられている）ことと比べると，センスが真逆である．実験データのデータ数よりもパラメータ数が多いフィッティング曲線など，常識的には受け入れられるものではないだろう．では，over-parametrization の状況
でも，単なる丸暗記でない，意味のある学習が DNN で実現しているように見える理由は何か？
*2 訓練データの数 M の増大によって制約が厳しくなると解空間 Ω は狭くなっていく．それだけでなく，制約が厳しくなることによって Ωが複数の部分空間に分裂する clustering 転移が，グラフの彩色問題，
6, 7）
k-SAT 問題などの「制約充足問題」ではしばしば見られる．
制約をさらに厳しくしていくと，クラスターの位相体積があるところで 0になり，SAT-UNSAT 転移，すなわちそれ以上多い制約を満たせなくなる限界に達する．
熱運動する剛体球の集団（例えば硬いコロイド粒子）を箱に閉じ込めたうえで箱を潰していくと圧力が上昇する．急激に圧縮すると系は結晶化するチャンスを逃してガラス化が起こる．8） これが clustering
転移に対応する．さらに圧縮すると完全に身動きができない，ランダムなパッキング状態，ジャミングに至る．これが SAT-UNSAT 転移に対応する．

590©2021 日本物理学会になる．実際，数値シミュレーションを行うと幅 N に依存した有限の緩和時間 τN をもつ「液体」として振る舞うこと
11）
がわかる．
N →∞での相転移現象は，τN よりも短い時間スケールでの振る舞いに反映されると期待される．
また上のシナリオでは N ビットの訓練データにおける各ビット間に相関があるとは考えておらず，データは N 次元の情報をもつ．しかし，現実のデータは N ビットだったと*3 この訓練のあと，いわゆる汎化能力を次のように測定できる．すな

わち，生徒機械と教師機械に，訓練には使わなかった新しいランダ
ムな入力を入れてその出力を取り出し，生徒機械が教師機械とどの程度同じ出力を未知のデータに対して出せるのかを測ればよい．
44‒6）* 誤り訂正符号，圧縮センシングなど多くの問題がある．
*5 すなわち，教師 ‒ 生徒機械が全く同じアーキテクチュアで，生徒は教師のシナプス結合 J teacher の値はそのものは知らないものの，教師に関するそれ以外のすべて（J teacher の分布，入力・出力は何か）を完全に知ったうえで J teacher を推定しようとしている．これはスピングラス 9）
では西森線上にいることに相当する．4, 10）
日本物理学会誌

Vol. 76, No. 9, 2021

「正解」の空間体積はガードナー
Gardner 3）が解析しており，体積とよばれる．拘束条件となる訓練データの入出力を
S0, i ，SL,（i＝1,2, ..., N）として，DNN のガードナー体積はi
V（）｛S 0, i , S L , i ｝（L－1, N ）（L , N ）

 －β
μ

v r ）
（
=   TrJ■    Tr S ■  e  μ  ■ ■ ■=（1,1）
■=（1,1）（2）と表せる．ここで和 TrJ ■はパーセプトロン■への入力に参加するすべてのシナプス結合に関する状態和であり，和
TrS はすべての訓練データのパターン μ＝1，2，...，M に関
11）
図 2 多層パーセプトロンネットワークの概念図．
各層に N 個のニューロンがある．入力を 0 層，出力を L 層とし，その他 l＝1，2，...，L−1 を隠れ層とよぶ．各ニューロンには，M 個の訓練データ μ＝1，...M に応じた発火パターン S μ＝±1 があり，M 成分のベクトルスピン S＝（S 1, S 2, ...S M）（緑矢印）として表せる．パーセプトロンは■，シナプス結合は黄色線で表している．隣接する層間の結合は密なので平均場模型的（∞次元系），これが 1 次
元的に連なったある種の 1＋∞次元系である．

するニューロンの状態和である．
ガードナー体積には「正解」だけを勘定に入れる．
「正解」の条件は，すべての訓練データのパターン μ＝1，2，...，Mについてすべてのパーセプトロン ■＝（1, 1），...，（L, N），
が入出力関係式（1）を満たしていることである．これを境界条件とするために式（2）に入れてあるのが「ボルツマン

してもビット間に相関があり，埋め込まれている情報の有効的な次元は低いことが多い．*6

因子」
e−βv（r）＝θ（r）

以上から有限幅 N 効果が重要であると考えられる．また（3）

教師にある種の有効的次元 D（ < N）をもたせるシナリオ 12）である．θ（r）は階段関数で r > 0 の場合のみ状態和に寄与が考えられる．これらは今後の課題として最後に議論する．

する．式（21）で次の変数を導入した．

2.

Nr■≡ S■ μ

深層パーセプトロンネットワーク

μ

i =1

J ■i
μ
S■
N （i）

（4）

最も単純な DNN として，図 2 のような，幅 N，深さ L

力学変数としてシナプス結合 J ■i のみとすると，多数回畳の多層パーセプトロンのネットワークを考える．各層 l＝

み込まれた非常に複雑な長距離相互作用系の問題になって

0，1，...，L で N 個のベクトルスピン Sl, i＝（S 1l, i , S 2l, i , ..., S Ml, i）

しまう．ここではニューロンも力学変数に入れたことに（i＝1, 2, ..., N）がある．各成分 μ＝1，2，...，M は M 組の訓

よってこの畳み込みが解かれ，系全体の有効ハミルトニア

練データに対応し，その値は入出力層 l＝0，L では訓練デー

ンが å ■ å μ v（r■μ ）のように局所的なハミルトニアンの和タ そ の も の を 表 し，l＝1，2，...，L−1 で は 隠 れ 層 に あ るとして表せているのが重要なポイントである．これで DNN

ニューロンの状態を表す．

のガードナー体積をある 1＋∞次元の系の分配関数とみな

パーセプトロン■＝（l, i）の出力 S■μ は
 1 N
S■μ = sgn  J ■k S■μ（k） μ = 1, 2, , M .
 N
k =1

すことができるようになり，格段に解析しやすくなった．
（1）

我々の問題は 1＋∞次元空間の剛体球系の統計力学に近い．剛体相互作用する 2 つの球のボルツマン因子はまさにのように決まる．ニューロン S は±1 の値をとるイジング

式（3）の形であり，r が向き合う 2 つの球の表面間の距離変数となる．ここで■（k）＝（l−1, k）で，J ■k は■と■（k）を（gap）である．そのため式（4）をギャップ（gap）変数とよぶ．

N

ガードナーが解析した単体のパーセプトロン 3）を含めて，結ぶシナプス結合である．シナプス結合は å k＝1（J ■k ）2＝Nのように規格化されているとする．図 2 のように隣接する層のニューロン間は密に結合している．

連続自由度の制約充足問題 7）その逆問題としての統計的推定問題は，剛体球系の統計力学と関係が深い．*8

ここで議論するのは，完璧に学習できた「正解」の空間の統計力学である．*7 単体のパーセプトロンの場合には E.

3.

*6 例えばアルファベットの手書き文字画像を集めた公開データである

MNIST では N＝28×28＝784 ピクセルのデータに D〜14 次元位の情12）報しかないと推定されている．
*7 標準的な学習は次のように行われるであろう．まず，シナプス結合を適当に初期化しておき，各訓練データ μ の入力データ S μ0,（i＝1,2, ...,iN）に対して，このパーセプトロンネットワークが出す出力を求める．
その出力と，訓練データの出力データ，すなわち望まれるスピン配位 S μL,（j j＝1, 2, ..., N）とは食い違っている．そこで，このズレに対して適当なコスト関数（loss function）を定義し，これが小さくなってい
くようにシナプス結合を変化させていく．この際，今のモデルでは活性化関数が符号関数なので通常の逆誤差伝搬法は使えないが，モンテカルロ法は使える．
最近の研究から

深層ニューラルネットワークの解剖

レプリカ理論の構成

ガードナー体積 V（｛S0, i , SL, i｝）は訓練データ（｛S0, i , SL, i｝）に適合する DNN の集合の大きさである．訓練データの数
M を増やしていくと，これは小さくなっていく．そのとき，
この位相空間の内部にどのような変化が起こるのかが興味深い問題である．この問題を解析するためにレプリカ法を*8 剛体球系では，エネルギーは 0 か∞しかなく，その統計力学はエントロピーがすべてを支配する．例えば，高密度の剛体球系では乱れた液体状態にいるよりも結晶配置をとった方が粒子がラットリング
運動でうごきまわるスペース（自由体積）が大きくなり，エントロ
ピー的に有利になって結晶化（Alder 転移）が起こる．

591©2021 日本物理学会

用いる．11） その意義を説明する．
同じ訓練データ（｛S0, i , SL, i｝）を用いて独立に学習している n 個の機械があると想像してみよう．
（リードページの図参照）レプリカ a＝1，2，...，n はそれぞれ異なる機械である．しかし，同じ訓練データで学習しているのであるから，互いに多少とも似通ったものになっているのではないかと思われる．あるパーセプトロン■への入力に寄与する
シナプス結合，またそのパーセプトロンの出力が 2 つの機
械 a と b でどの程度似ているかは，それらの間の重なり
Qab, ■ =

1 N
1 M
μ a
μ b
a
b
（5）
（J ■i ）（
J ■i ）
qab, ■ =
（S■）
（S■）

N i =1M 
μ =1で特徴づけられる（規格化より Qaa, ■＝qaa, ■＝1）．レプリカ
a，b の配位が遠ければこれらの重なりは 0 となり，逆に近ければ有限の大きさになるであろう．

図 3 レプリカ間の重なりについての Parisi 仮説 14）の概念図．11） n×n の qab
行列において階層的なブロック構造を仮定．小ブロック群の大きさは（b），
対 応 す る 行 列 成 分 は（c）の よ う に な っ て い る．k → ∞，n → 0 極 限 で は
0 < x < 1 の定義域をもつ関数 q（ x）によって行列の成分が表される．Qab 行列についても同じ．シナリオ（2）教師 ‒ 生徒機械の場合はレプリカ a＝0 を追加し，教師 ‒ 生徒間の重なり Q0a＝R，q0a＝r もパラメータとする．

レプリカ系の有効ハミルトニアンは単に独立な n レプリに実行可能であるのは，この模型において隣接する層間の結合が密で，平均場模型的（∞次元系）であるからである．*9

カのハミルトニアンの和である．ハミルトニアンだけを考

強磁性ならば秩序パラメータである磁化 m に共役な磁えると次の 2 つの対称性がある：（i）シナプス結合，ニュー場 h を無限小に弱く掛けることによって熱力学極限 N →∞ロンが正負の値を取る確率の対称性（ii）レプリカ対称性，における自発的対称性の破れを limh → 0limN →∞m によって検すなわちすべてのレプリカは同等で，添字 a＝1，2，...，n の出できる．レプリカ間の重なりに共役な外場を導入する理置換に関して系は不変．訓練データによって（i）の対称

由もこれと同じであり，ある種のランダム磁場を掛ける操性は境界で破られているが，同じ境界条件がすべてのレ作とも解釈できる．このことは Parisi‒Virasoro 13）によってプリカに働くので（ii）レプリカ対称性は破られていない．

スピングラスの場合について最初に議論された．自由エネ

N，M →∞では，上に導入した n×n 行列 Qab, ■ と qab, ■，がルギー F［｛Qab（l）, qab（l）｝］を最小化することは，熱力学極秩序変数の役割をし，上の対称性（i）（ii）の（自発的な）破限をとったのち外場を切ることに相当する．この方法にれがもし起これば検知できる．ガードナーが単体のパーセ

よって，スピングラス 4, 9, 14）のような外的なランダムネス

プトロン■を解析した際 3）は 1 つの Qab, ■で済んでいたのが，がない構造ガラス 8）や乱れのないスピン系 7）などにレプリ

大幅に拡張されていることになる．

カ法を導入できる．今の DNN の問題でも入出力層以外にさて，訓練データをランダムに生成すると，様々なもの

おいて外的なランダムネスはないので有効である．

が得られ，ガードナー体積もそれぞれに異なるであろう．

S ,S
訓練データに関する平均…
¯ 0 L について補足する．シナ

一つの興味は，「典型的なサンプル」の振る舞いである．

リオ（1）丸暗記の場合，これは文字通りランダムな境界条

典型的なサンプルの振る舞いは，訓練データ S0 , SL の生成件に関する平均である．またシナリオ（2）教師 ‒ 生徒機械に関して平均…
¯

においては，教師機械の入出力を生徒機械の境界条件とし

S0 , SLをとった自由エネルギーて使う．教師機械を表すためにもう一つレプリカ a＝0 を

S0 , S L－βF = log V（）｛S 0, i , S L , i ｝

S0 , S Ln= n V（）｛S 0, i , S L , i ｝

（6）

n=0

から得られる．ここで V は n 個のレプリカのガードナーn追加で導入しておき，生徒機械 a＝1，2，...，n との重なり
Q0a , q0a も定義しておく．この場合に得られる自由エネル
ギーは Franz‒Parisi ポテンシャル 15）とよばれる．

体積の単純な積である．レプリカ数 n を実数に解析接続し，
テイラー展開 V n＝1＋n log V＋O（n2）を用いた．
自由エネルギーは，先に導入した秩序パラメータの関数
F＝F［｛Qab（l）, qab（l）｝］

レプリカ間の重なりは図 3 に示した階層構造をもつとす
る Parisi 仮説 14）を仮定する．自由エネルギー（6）を求める（7）

ために n → 0 極限を考えるが，このとき図 3（c）のように，行列成分は行列の対角線からの距離に関係した変数 x の関数となる．同じ固定境界条件をすべてのレプリカが受けるとなる．ここでレプリカ間の重なりは同じ層の中では均一ため q（ x, 0）＝q（ x, L）＝1 である．このもとで自由エネル

で，層のラベル l＝0，1，2，...，L にのみ依存するとしている．

ギー（7）の変分方程式（Parisi 方程式）を数値的に解き，各上の自由エネルギーを導出する詳細は省略するが，

11）

重要なポイントを述べる．まず，2 種類の秩序パラメータ式（5）に共役な外場をそれぞれ導入し，これらに関する自由エネルギーを求める．これをルジャンドル変換することによって，秩序パラメータを変数とする自由エネルギー汎関数 F［｛Qab（l）, qab（l）｝］が得られる．この手続きが解析的
592©2021 日本物理学会

層 l での秩序パラメータ関数 Q（ x, l），q（ x, l）を求めた．シ*9 個々のシナプス結合の強さは O（1/ N ）と小さい．このため自由エネ
ルギーにおける相互作用の寄与を cumulant 展開で評価でき，その際，複雑な高次項は無視できる．さらにシナプス結合の数を c，その強さを O（1/ c ）としておき，N À c À 1 と考えると，層をまたぐループの寄与も無視できる．また前述のように，入出力層にある訓練データにおいても異なるビット間に相関がないとしている．このとき，tree11）
近似に基づく上の自由エネルギーの表式（7）が厳密になる．
日本物理学会誌

Vol. 76, No. 9, 2021

パラメータが連続的に立ち上がる 2 次転移になっている．
またシナプスとニューロンの EA 秩序パラメータは各層で同時に転移している．相転移が 2 次転移であることは，自由エネルギーランドスケープの変化が滑らかであることを意味し，学習アルゴリズムの観点からは朗報である．
シナリオ（1）で最初の層が相転移する臨界点は α（1）≃g2.03 であり，その後，l 層目が相転移する臨界点は ln α（l）∝gl のように l に対して指数関数的に増大する．シナリオ（2）でも同様である．これらのことは，典型的な訓練データに対する DNN の記憶容量が，層の数 L に対して指数関数的に増大することを意味している．つまり DNN の「丸暗記能力」は非常に高いと言える．層の数 L が有限であれば，
図 4（b）のように十分大きな α によって液体領域は消失す
る．中央部に高い自由度が残されることは，学習ダイナ
ミックスにおいて中央部が系の緩和を助ける可能性を示唆
図 4 DNN のデザイン空間において濡れ転移が訓練データの増大とともに進行する様子．11） Parisi 方程式の解．L＝20 の系．（a）シナリオ（1）α＝50，
100，200，1,000，2,000，4,000．（b）シナリオ（2）教師 ‒ 生徒機械 α＝25，100，
250，500，625，714．訓練データの増大とともにガードナー体積が減少し，
Edwards‒Anderson 秩序パラメータ qEA（l）＝q（1, l），QEA（l）＝Q（1, l）が有限の領域が両端の入出力層近傍からネットワーク内側に成長していく．なおシナリオ（2）はベイズ最適な推定になっているため教師 ‒ 生徒機械の重なりは生徒 ‒ 生徒機械の重なりと等しく r＝qEA ，R＝QEA である．スピングラ
スの西森線上でも同種の恒等式が成り立つ．4, 10）

する．

5.

階層性のくりこみ

前章では EA 秩序パラメータに注目した．系のハミルト

ニアンにおいてはシナプス結合，ニューロンが正負の値をとる対称性は破れていないが，境界条件で破れている．その影響が，α とともに拘束条件がきつくなることによってネットワークの内部に伝わる濡れ転移を引き起こした．

ナリオ（2）ではこれに加え，教師 ‒ 生徒の重なり R，r を求

ここではもう一つの対称性，レプリカ対称性の破れ（RSB）14）を議論する．Parisi 仮説で秩序パラメータ関数がめた．

x 依存性をもつとき，レプリカ対称性，すなわちレプリカ

DNN のデザイン空間における「濡れ転移」の添字に関する置換対称性が自発的に破れていることにな

まず秩序パラメータ関数 Q（ x, l），q（ x, l）のうち，行列る．シナリオ（2）はベイズ最適であるため，RSB は起この対角線にもっとも近い非対角成分である x＝1 での値，らず，前章で得た「固体」は「結晶」（教師機械そのもの）

qEA（l）＝q（1, l）と QEA（l）＝Q（1, l）に注目する．これはスピ

である．

4.

ングラスにおいて Edwards‒Anderson（EA）秩序パラメータ

一方，シナリオ（1）では以下のように RSB が起こり，

図 4 に示すように，シ

前章の「固体」は「ガラス」であることがわかる．2 つの秩

ナリオ（1）丸暗記，（2）教師 ‒ 生徒機械どちらでも訓練デー

序パラメータ関数の逆関数から，レプリカ間の重なり分布

タ数の増大によって α＝M /N が増大していくと，EA 秩序

関数 14）が次のように得られる．

とよばれているものである．

4, 9, 14）

パラメータが有限の領域が，両端の入出力層近傍からネッ（
p q, l）=

トワーク内側に向かって成長していくことがわかる．これd（x q, l）
d（
x Q, l）
P（Q, l）
=
dq
dQ

（8）

16）
はいわゆる「濡れ転移」の様相である（用語解説参照）．

これは同じ訓練データで学習している任意に選んだ 2 つのネットワークの中央部には，EA 秩序パラメータが 0 の「液機械の重なりの分布関数である．

体」領域がある．ここは解空間が広く，同じ訓練データで

図 5 に示すように，秩序パラメータ関数は逐次相転移を学習している異なる機械が，互いに非常に異なったものに反映して，河岸段丘のような関数になる．今，ある l 層がなっている．一方，両端付近にある EA 秩序パラメータが有限の領域は「固体」であり，解空間が狭まっている．*10, *11

ガラス転移するとき，ある（ xl−1 < ）xl で立ち上がる 1 段のより詳しく見ると，α の増大に伴う「固体領域」の増大は，一層一層，逐次転移によって起こっていること，その一つ一つは連続転移であることがわかった．すなわち EA 秩序
*10 前に述べたようにこの問題は 1＋∞次元の剛体球系に類似している．

両端付近が先に固化するのも，その方が系全体のエントロピーとして有利になるためと考えられる．
*11 α の増大とともに EA 秩序パラメータの値も増大する．ジャミング（SAT/UNSAT 転移）では上限の 1 に達する．
最近の研究から

深層ニューラルネットワークの解剖

階段ができる．このとき同時に，すでにガラスになっている 1，2，..，l−1 層目でも同じ場所 xl に階段が追加される．
これを反映してレプリカ間の重なり分布関数は，逐次相転移のたびにデルタピークが分裂して数を増やしていく．*12
この状況を概念的にまとめたのが図 6 である．RSB は解空間がクラスターに分裂（ガラス転移，エルゴード性の破*12 これは学習ダイナミックスにおいて，少しずつ訓練データを増やしながら学習させるアニーリングが有効に働く可能性を示唆する．

593©2021 日本物理学会

造も単純である．これは N →∞での理論が示唆する，空間的変化する自由エネルギー地形を反映していると考えられる．

7.

おわりに

現実にもう一歩近づくには 1.3 節で触れたように有限サ

イズ N の効果の考察が重要である．また教師機械に隠れた
有効次元 D（ < N）をもたせるシナリオ 12）も興味深い．これ
らの効果は，層間をまたぐ相互作用のループ補正 11）を評価することによって考察できると考えられる．*14
本稿で議論した DNN デザイン空間のように「端における拘束」が重要な問題は，様々な分野にある．例えば生物においては，外界に対する望ましい入出力関係を実現する
ように系を進化させる遺伝子制御ネットワークやタンパク11）
図 5 シナリオ（1）での秩序パラメータ関数および重なり分布関数．
L＝20，α＝4,000．（a）（c），：入力層側の l＝1，2，...，8 での q（ x, l），Q
（ x, l）が表示されている（出力層側での l＝18，..，12，11 はこれと同じ）．（b），（d）：これから得られる重なり分布関数（式（8）参照）P（q, l），P（Q, l）のうち l＝1，2
を例示．

17）
質のアロステリック効果などがある．
またガラスの物理においても，蒸着法を用いて層状に成長させることによって得られる ultrastable-glass とよばれる熱的，力学的に非常18）に安定なガラス状態が注目されている．
今後これらの問

題にも本研究のアプローチが展開できる可能性がある．
本研究は科研費基盤研究（B）19H01812 の助成を受けて行われたものです．
参考文献

図 6 DNN のデザイン空間における濡れ転移によって形成される階層的ク
11）
ラスターとその空間変化．
クラスターの大きさは含まれる解の数の多さを表す（解の総数はすべての層で同じであるが，それは表現されていない）．
シナリオ（2）では RSB は起こらず，各層に教師機械の配位を中心とした結晶（例えば黄色で表示したクラスター 1 つ）があると考えればよい．

れに対応）することを意味する．*13 DNN ではこのクラス
ターが階層構造をもち，かつこれがネットワークの両端から内部に向かって段階的に，簡単なものに繰り込まれる．

6.

有限幅効果―複雑な液体

幅 N が有限の現実の系では，濡れ転移はすべてクロス

オーバーとなり，熱力学的には系はつねに液体状態にある．
また各層内でのニューロン■の置換に関して系は不変であるのでレプリカ間の重なり式（5）は十分長時間観測すれば

1）G. Carleo et al., Rev. Mod. Phys. 91, 045002（2019）.
2）田中章詞，富谷昭夫，橋本幸士，『ディープラーニングと物理学』（講談社，2019）．
3）E. Gardner, J. Phys A: Math. Gen. 21, 257（1988）; E. Gardner and B. Derrida, J. Phys A: Math. Gen. 22, 1983（1989）.
4）西森秀稔，『スピングラス理論と情報統計力学』（岩波書店，1999）．
5）小渕智之，樺島祥介，日本物理学会誌 76, 140（2021）．
6）L. Zdeborová and F. Krzakala, Adv. Phys. 65, 453（2016）.
7）H. Yoshino, SciPost Phys. （4 6）, 040（2018）.
8）G. Parisi, P. Urbani, and F. Zampoini, Theory of simple glasses: Exact solutions in inﬁnite dimensions（Cambridge Univ. Press, 2020）.
9）高山 一，『スピングラス』（丸善，1991）．
10）Y. Iba, J. Phys A: Math. Gen. 32, 3875（1999）.
11） H. Yoshino, SciPost Phys. Core 2, 005（2020）.
12）S. Goldt et al., Phys. Rev. X 10, 041044（2020）.
13）G. Parisi and M. A. Virasoro, J. Phys. 50, 3317（1989）.
14）M. Mézard, G. Parisi, and M. A. Virasoro, Spin glass theory and beyond（World Scientiﬁc, 1987）.
15）S. Franz and G. Parisi, J. Phys. I, 5, 1401（1995）.
16）M. E. Fisher, in Statistical mechanics of membranes and surfaces, edited by
D. Nelson, T. Piran, and S. Weinverg（World Scientiﬁc, 1989）．また同書のD. Nelson による 1 章，Fig. 2a.
17）A.Wagner, Arrival of the ﬁttest: How nature innovates（Penguin Random
House, 2014）. https://youtu.be/aD4HUGVN6Ko18）M. Ediger, J. Chem. Phys. 147, 210901（2017）.

（2021 年 4 月 2 日原稿受付）

0 となる．これは回転対称性のある強磁性ベクトルスピン
模型で，系全体の磁化が回転してしまうことに似ている．
しかし，シナリオ（1）の学習ダイナミックスの数値シ
ミュレーションを行うとダイナミックスに特徴的な層構造11）が見られることがわかった．
ネットワークの両端付近で最もダイナミックスが遅く，複雑な多段階緩和になっており，逆に中央にいくほどダイナミックスが速く，緩和の構

*13 DNN を「デザインする位相空間」でのガラス転移であることに注意しておく．ここで想定している DNN はすべての拘束条件（訓練デー
タの入出力関係）を完全に満たした「正解」であり，それ自体はガラスではない．

594©2021 日本物理学会

Anatomy of Deep Neural Networks―A Statistical
Mechanics Approach
Hajime Yoshino
abstract: Statistical mechanics of a deep neural network, feedforward
network of perceptrons, is studied using the replica method. We considered two scenarios 1）random scenario 2）teacher-student scenario in a
Bayes optimal setting. The analysis performed in the thermodynamics
limit revealed characteristic wetting transitions in the solution space.

*14 入出力層にある訓練データに相関をもたせると，ループ補正を通じ，学習しているネットワーク内部でも相関が生まれる．
日本物理学会誌

Vol. 76, No. 9, 2021