1勾配ランジュバン動力学
平均場ランジュバン動力学

微分方程式2• まずは「微分方程式」から始める．

意味：
とも書く．

• 𝑁回和を取ると (Δ𝑡 = 𝑡/𝑀)：• 𝑀 → ∞とすると：
積分表示

3

Δ𝑡
[積分の歴史 ～ルベーグ積分までの道のり～;
https://wakara.co.jp/mathlog/20200904_2]

例：勾配流（勾配降下法）• 関数𝑈(𝑥)を最小化したい．

とする：再急降下方向．⇒ 「勾配流」

勾配が0にならない限り𝑈(𝑥𝑡 )は減少し続ける．

Polyak– Lojasiewicz 条件:(PL-条件)(𝛼 > 0)

例：二次関数𝑈(𝑥) = 𝑥 2

線形収束

4

5

• ブラウン運動のような確率的にふるまうダイナ
ミクスを記述したい• 現実世界のダイナミクスにはノイズが含まれているはず．
（微妙な空気のゆらぎ，電圧の揺れ，観測できない不確実性，... ）例：ロボットの動作，金融時系列，天気・雲の動き

「確率」微分方程式

6• 各更新ステップで”ノイズ”を加える：(Δ𝑡 → 0)(スモールオーダーの項は無視)

𝜎𝑡 : 𝑡にのみ依存する量 (ノイズの大きさを調整)：標準正規分布※ Δ𝑡 → 0として何らかの意味で“収束”するかは自明ではない．正確には「伊藤積分」として厳密に定義できる．

𝑁(0, 𝜎 2 )の確率密度関数 (平均0,分散𝜎 2 )：𝑑次元の場合：[数学の景色: https://mathlandscape.com/normal-distrib/]確率密度関数

参考

確率変数𝑋が集合𝐴に入る確率 = 密度関数の𝐴上での積分

注意：• 密度関数自体は𝑋 = 𝑥となる確率ではない．
• 積分してはじめて確率になる．
• ℝ全体での積分は１になる．
Fact:

𝐴

独立な確率変数𝑋, 𝑌の和 (𝒁 = 𝑿 + 𝒀) の分布の確率密度はで与えられる．（積や和ではないことに注意！）
確認:
の変数変換

7

正規分布の性質

参考• 正規分布の分散：(標準偏差 𝑡 ⇔ 分散𝑡)𝑋 ∼ 𝑁(0,1) ⇒ 𝑡𝑋 ∼ 𝑁(0, 𝑡)
確認:
𝑧 = 𝑡𝑥と変数変換して積分𝑁(0, 𝑡)の密度関数• 独立な正規分布に従う確率変数の和：𝑋 ∼ 𝑁(0, 𝑡), 𝑌 ∼ 𝑁 0, 𝑠

⇒ 𝑍 = 𝑋 + 𝑌 ∼ 𝑁(0, 𝑡 + 𝑠)

正規分布の再生性確認:← 𝑁(0, 𝑠 + 𝑡)の密度8ブラウン運動（𝑓 𝑥

9= 0, 𝜎𝑡 = 1に対応．𝑋0 = 0とする）(Δ𝑡 = 𝑡/𝑀)

Δ𝑡

𝑁(0, Δ𝑡)Δ𝑡(正規分布の性質より)•
𝑀個•

これのΔ𝑡 → 0としたものが「ブラウン運動」
ブラウン運動を𝐵𝑡 と書く．
※ Δ𝑡はちょうど良いスケールである．これより小さいオーダー
なら0に収束し，大きいオーダーなら無限大に発散．

𝑡ブラウン運動の性質 (定義)10

1. 𝐵0 = 0
2. 任意の0 = 𝑡0 < 𝑡1 < ⋯ < 𝑡𝑛 に対して，
𝐵𝑡𝑘 − 𝐵𝑡𝑘−1 𝑘 = 1, … , 𝑛
は互いに独立3. 任意の𝑡 > 𝑠 ≥ 0に対して，
𝐵𝑡 − 𝐵𝑠 ∼ 𝑁(0, 𝑡 − 𝑠)
さらに，「4. 標本路𝑡 ↦ 𝐵𝑡 は確率1で連続」を加えたものがブラウン運動の定義．

特に𝐵𝑡+Δ𝑡 − 𝐵𝑡 ∼ 𝑁(0, Δ𝑡)

つまり𝐵𝑡+Δ𝑡 − 𝐵𝑡 = Δ𝑡𝜉𝑡 (𝜉𝑡 ∼ 𝑁(0,1))11確率微分方程式12(Δ𝑡 → 0)(スモールオーダーの項は無視)(Δ𝑡 = 𝑡/𝑀)

(Δ𝑡 → 0; 𝑀 → ∞)と見做せるが，実際は微分できないので積分で定義．

と書く

とも書く

（伊藤積分）

生成作用素13

𝑝𝑡 : 𝑋𝑡 の確率密度関数
期待値:
ただし，𝜉 ∼ 𝑁(0,1)で𝑋𝑡 とは独立．

テイラー展開

期待値=0

•
•
1/2

期待値=1

Fokker-Planck方程式
でもある．

部分積分

Fokker-Planck方程式 [𝑝𝑡 の時間発展を記述した偏微分方程式]：

多変量の場合:14

15：生成作用素••：随伴作用素部分積分

Ornstein–Uhlenbeck 過程 (OU-過程)

16(𝑣𝑡 (𝑥) = −𝑥, 𝜎𝑡 = 2)

FP-方程式：
解(平均: 𝑥0 𝑒 −𝑡 , 分散: 1 − 𝑒 −2𝑡 )(𝑋0 = 𝑥0 定数ではなく)

𝑋0 ∼ 𝑝0 の場合:

• 初期値𝑥0 を指数関数的オーダーで忘れていく．
• 指数関数的速さで標準正規分布𝑵(𝟎, 𝟏)に近づいていく．

数値実験

17

一般化：勾配ランジュバン動力学

18

一般化

勾配ランジュバン動力学(𝑈 𝑥 = 𝑥 2 Τ2 , 𝜆 = 1ならOU-過程)※ 𝑈(𝑥)を最小化する勾配流にノイズを加えたもの．

FP-方程式：

定常分布：

これ以上分布は変化しない(𝑈 𝑥 = 𝑥 2 /2, 𝜆 = 1なら確かに𝑝∗ 𝑥 ∝ exp − 𝑥 2 Τ2 = 𝑁(0,1)の密度関数)

定常分布の導出 (確認)=定数𝑝∗ からサンプリングするためにGLDを走らせれば良い⇒ マルコフ連鎖モンテカルロ法

19

20

𝑈 𝑥 = 𝑥4 − 𝑥2,

𝜆 = 0.08

応用

21• ベイズ事後分布からのサンプリング (松田先生の講義を参照)

一般に分布の形は複雑になる．直接サンプリングは難しい．

: 負の対数尤度（データへの当てはまり）: 事前分布の負の対数 （事前的不確実性）• 拡散モデル (次回講義)

収束解析

22

勾配ランジュバン動力学はどれくらいのスピードで定常分布に近づく？
➢ 分布間の「近さ」とは？

• KL-divergence (☆重要)• Fisher-divergence※どちらも非負で，𝑝 = 𝑞の時のみ0になる．

➢ 統計学・情報理論・機械学習で頻出．

➢ 最尤推定量はデータ生成分布からのKL-divを近似的に最小化➢ KL-divergenceは相対エントロピーとも言われる．

23=𝜕𝑡 ∫ 𝑝𝑡 d𝑥 = 𝜕𝑡 1 = 0

部分積分⇒ Fisher-divが0にならない限り，KL-divは減り続ける．

ガウシアン対数Sobolev不等式

24• OU-過程で収束を示してみよう．
𝑝∗ 𝑥 ∝ exp(−𝑥 2 /2) (標準正規分布)(𝑈 𝑥 = 𝑥 2 /2, 𝜆 = 1)勾配流のところで出たPL-条件に対応

定理 (ガウシアン対数ソボレフ不等式)𝑝∗ 𝑥 ∝ exp(−𝑥 2 /2)とする (標準正規分布)．
任意の確率密度関数𝑝に対して，次の不等式が成り立つ:

よって，

線形収束！

ガウシアン対数ソボレフ不等式の証明

参考

証明の方法は何通りもある．ここでは，半群を用いた方法で示す．

：OU-過程の生成作用素

性質• 𝜕𝑡 𝑃𝑡 𝑓 = 𝑃𝑡 ℒ𝑓 (生成作用素の性質)• 𝑃𝑡 𝑃𝑠 𝑓 = 𝑃𝑡+𝑠 𝑓 (半群性)𝑝𝑡 (⋅ |𝑋0 = 𝑥)の形より，

特に，両辺絶対値を取って，⋯（１）
今，𝜓 𝑟 = 𝑟log(𝑟)に対して，
とする．

25

(証明続き)26

参考すると，生成作用素の性質より，𝑔 = 𝑃𝑡−𝑠 𝑓に対して，⋯（２）
今，前ページの式(1)より，であるが，コーシーシュワルツの不等式からさらに右辺はと抑えられるので，式(2)の右辺は次のように抑えられる:(半群性)

(証明続き)27

参考
よって，両辺を𝑠に関して[0, 𝑡]の間で積分すると，を得る．
𝑝𝑡 (⋅ |𝑋0 = 𝑥)の形から，(適当な可積分性のもと)なので，両辺𝑡 → ∞とすると，

を得る．
最後に，

1
2

を代入すれば，KL(𝑝| 𝑝∗ ≤ 𝐼(𝑝||𝑝∗ )を得る．
証明終

参考文献
確率積分および確率微分方程式については，数多くの良書があるが，たとえば，以下の書籍は参考になる:• エクセンダール: 確率微分方程式 (日本語訳版)．丸善出版, 2012.
• 舟木：確率微分方程式．岩波書店，2005.
• Kuo: Introduction to Stochastic Integration. Springer, 2005.

収束解析に関する理論は，以下の本が有用である:• Bakry, Gentil and Ledoux: Analysis and Geometry of Markov
Diffusion Operators. Springer, 2014.
特に，ガウシアン対数ソボレフ不等式はこの本を参考にした．証明の元ネタは以下の論文による:• Bakry and Emery: Diffusions hypercontractives. Seminaire de
Probabilities, XIX, 1983/1984. Lecture Notes in Mathematics, vol.
1123, pp. 177—206, Springer.

28

Sharp minima vs flat minima

29

SGDは「フラットな局所最適解」に落ちやすい→良い汎化性能を示すという説

Keskar, Mudigere, Nocedal, Smelyanskiy, Tang (2017):
On large-batch training for deep learning: generalization gap and sharp minima.

≅正規分布→ ランダムウォークはフラットな領域にとどまりやすい•「フラット」という概念は座標系の取り方によるから意味がないという批判．
(Dinh et al., 2017)•PAC-Bayesによる解析 (Dziugaite, Roy,2017)

ノイズによる平滑化効果

30smoothing[Kleinberg, Li, and Yuan, ICML2018]

確率的勾配を用いる ⇒ 解にノイズを乗せている⇒ 目的関数の平滑化

ノイズを加えて平滑化した目的関数を最適化．

関連研究: Graduated optimization• Graduated non-convexity
Blake and Zisserman: Visual reconstruction, volume 2. MIT press Cambridge, 1987.

• Gaussian kernelとの畳み込み
Z. Wu. The effective energy transformation scheme as a special
continuation approach to global optimization with application tomolecular conformation. SIAM Journal on Optimization, 6(3):748-768,
1996.

• Graduated optimization
Hazan, Levy, and Shalev-Shwartz: On graduated optimization forstochastic non-convex problems. International conference on
machine learning, pp. 1833-1841, 2016.

𝜎-nice性の導入．多項式オーダーでの収束．

𝐿෠ 𝛿 𝑥 = E𝑢∼𝑈(B(R𝑑)) [𝐿(𝑥 + 𝛿𝑢)]Survey:Mobahi and Fisher III. On the link between gaussian homotopy
continuation and convex envelopes. Energy Minimization
Methods in Computer Vision and Pattern Recognition, pp. 43-56,
2015.

31

GLD

32

• 勾配ランジュバン動力学 (多次元版)
Gradient Langevin Dynamics (GLD)
サンプリング：なる分布からサンプリングしたい．
非凸最適化： 𝜇∗ からのサンプリングはmin 𝐿(𝑥)を近似的に解くことも出来る．
𝑥𝜆: 温度パラメータ(勾配ランジュバン動力学)
定常分布：[Gelfand and Mitter (1991); Borkar andMitter (1999); Welling and Teh (2011)]

例

33

最尤推定：

正則化学習：回帰 (𝑦𝑖 ∈ ℝ, 𝑧𝑖 ∈ ℝ𝑑 )判別 (𝑦𝑖 ∈ {±1}, 𝑧𝑖 ∈ ℝ𝑑 )

34

Gaussian noise

Gradient descent

GLDのFokker-Planck方程式

35: 𝑋𝑡 の分布の確率密度関数

Fokker-Planck方程式
Mass: 𝜇𝑡 (𝑥)次のように解釈できる:

Vector field:𝑣𝑡−𝑣𝑡 とおく[連続の方程式]

連続の方程式の意味

領域に入り込んでくる量領域から出ていく量𝜖
差分（「入り込む量」−「出ていく量」）=

36

連続の方程式

37「連続の方程式」
この方程式の意味(∀𝑓: コンパクトサポート，𝐶 ∞ -級)

d𝑇• ベクトル場𝑣𝑡 で生成される写像を𝑇𝑡 とする: 𝑡 𝑥 = 𝑣𝑡 𝑇𝑡 𝑥 .
d𝑡𝑑𝑑• 𝜇𝑡 は写像𝑇𝑡 : 𝑅 → 𝑅 による𝜇0 の押し出し：𝜇𝑡 = 𝑇𝑡# 𝜇0 .
つまり，𝒙 ∼ 𝝁𝟎 に対する𝑻𝒕 (𝒙)の分布が𝝁𝒕 ．
(一般の𝑡)(分布)[連続の方程式]

Wasserstein距離について

参考

𝜇, 𝜈:距離空間(𝒳, 𝑐)上の確率測度(通常𝒳はPoland空間)

Π 𝜇, 𝜈 : 周辺分布が𝜇, 𝜈である𝒳 × 𝒳上の同時分布の集合
周辺分布を固定した同時分布の中で最小化• 分布のサポートがずれていてもwell-defined• 底空間の距離が反映されている※KL-divergenceは距離が反映されない．

（双対表現: Kantorovich双対）「輸送距離」とも言われる

38

接ベクトル参考

定理• 𝜌𝑡 = 𝑇𝑡# 𝜌0
•

d𝑇𝑡
d𝑡

𝑤 = 𝑣𝑡 𝑇𝑡 𝑤

• ある𝜙𝑡 を用いて𝑣𝑡 = 𝛻𝜙𝑡 と書けるとする．
この時，以下が成り立つ:

詳細は以下を参照:
Ambrosio, Gigli, and Savaré. Gradient Flows in Metric Spaces and in theSpace of Probability Measures. Lectures in Mathematics. ETH Zürich.
Birkhäuser Basel, 2008.
𝑣𝑡

𝑇𝑡

39

輸送写像

参考

40

Brenierの定理
𝜌0 , 𝜌1 が確率密度関数を持つ時，以下が成り立つ:• Infを達成する写像𝑇 ∗ が存在する．
• しかも，ある凸関数𝜓が存在して𝑇 ∗ 𝑥 ∈ 𝜕𝜓 𝑥 と書ける．
• この𝑇 ∗ を最適輸送写像という．

Benamou-Brenier formula (連続の方程式と𝑊2 距離の関係):
同条件のもと

ただし，infは𝜌0 から𝜌1 へ連続の方程式で“繋ぐ”
全ての速度ベクトル場𝑣𝑡 に関して取る．
𝜌0• 𝜌𝑡 = 𝑇𝑡# 𝜌0
d𝑇𝑡•
𝑤 = 𝑣𝑡 𝑇𝑡 𝑤
d𝑡

𝑇𝑡

𝑣𝑡

𝜌1

定常分布

定常分布: 𝜕𝑡 𝜇𝑡 = 0 ⇒ 𝑣𝑡 = 0 (分布がこれ以上動かない)

実は，これは以下の目的関数を最小化するWasserstein勾配流である:

𝐿を最小化

ガウスノイズによって分布を拡散させる力

確かにこの最適解は定常分布と等しい:

41

Wasserstein勾配流以下，無視連続の方程式 𝜇𝑡 = −𝛻 ⋅ [𝑣𝑡 𝜇𝑡 ] に従っているなら42

Wasserstein勾配流

43

特に
(GLD)
は最急降下方向で，以下が成り立つ．
=: −𝑣𝑡定常分布𝝁∗ からのKL-divを最小化するWasserstein勾配流
Fisher divergence:対数ソボレフ不等式と幾何的エルゴード性

44

定常分布
定義 (対数ソボレフ不等式 (𝝁∗ の性質))ある𝛼 > 0が存在して，任意の(𝜇 ∗ に対して絶対連続な)確率分布𝜈に対し，

KL-div

幾何的エルゴード性

例：• 二次関数+有界関数• Weak Morse型関数

Fisher-div

𝜇𝑡 : 𝑋𝑡 の周辺分布(対数ソボレフより)定常分布へKL-divergenceの意味で線形収束[Bakry, Gentil, and Ledoux: Analysis and Geometry of Markov Diffusion Operators. Springer, 2014. Th. 5.2.1]

対数ソボレフ不等式の十分条件

45

強凸な場合 (Bakry-Emery規準):∇∇⊤ 𝐿 𝑥 ≽ 𝜇𝐼⇒

[Bakry and Émery, 1985]

𝑥2

例：OU-過程．𝐿 𝑥 = 2 なので，𝜇 = 1で成り立つ.
(正定値対称行列)「∇∇⊤ 𝐿 𝑥 ≽ 𝜇𝐼」 ⇔ 「𝑢⊤ ∇∇⊤ 𝐿 𝑥 𝑢 ≽ 𝜇 𝑢 2 」

Bounded perturbation lemma (Hollley-Stroock):と書けて，𝜇が𝛼′-LSI条件を満たすとする．
𝜇の𝛼-LSI定数は以下を満たす:[R. Holley and D. Stroock. Logarithmic sobolev inequalities and stochastic Ising models. Journal of statistical physics, 46(56):1159–1194, 1987.]

例：𝐿 𝑥 = ℓ 𝑥 + 𝜆1 𝑥 2 で ℓ 𝑥≤ 𝐵なら，𝜇∗ は𝛼 = 2𝜆𝜆1exp(−4𝐵/𝜆)でLSI条件を満たす．

離散時間ダイナミクスの収束レート

46

過程: 𝐿 は𝑀-平滑:定理[Vempala and Wibisono, 2019](𝜆 = 1としている)

定理 (informal)
散逸性と平滑性の条件のもと (and other technical condition),

幾何的エルゴード性

時間離散化の誤差

where 𝑐, 𝑐𝐶𝐿𝑆,𝛽,𝑑 > 0 are constants.

𝐸𝜋∞ 𝐿 𝑋

− 𝐿(𝑋 ∗ )定常分布が最適解まわりにどれだけ集中しているか[Raginsky, Rakhlin and Telgarsky, 2017; Xu, Chen, Zou, and Gu, 2018; Erdogdu, Mackey and Shamir, 2018]• 温度パラメータ𝜆が十分小さければ，目的関数が非凸でも最適解の近くに到達できる．
• ただし，一般には対数ソボレフ不等式は𝜆−1 に指数的に依存することに注意．
（そうでない場合もある：強凸目的関数，Weak Morse関数）

時間離散化 + 確率的分散縮小勾配法
定常分布:

研究紹介

連続時間SDE:

離散時間近似 (Euler-Maruyama近似):
計算にO(n)かかる (大規模データで困る)→ 確率的勾配を用いる 𝛻෨𝑘 = 𝐵1 σ𝑖∈𝐼𝑘 𝛻𝑓𝑖 (𝑋𝑘 )➢ 全勾配は計算に時間がかかる→確率的勾配を用いる．
➢ 確率的勾配は分散が大きい→分散縮小法(SVRG,SARAH)と組み合わせる．
分散縮小型確率的勾配:
SVRG:
SARAH:෨ 𝛻෨𝑘 はm回に一回更新する．(𝑚 = 𝑛でOK)※ 𝑋,
GLDはノイズを加えつつ最適化するので，分散縮小とやや相性が悪い．

47

分散縮小勾配法の収束レート

48

研究紹介

結果： 対数ソボレフ不等式 + 滑らかさの仮定の下，
KL-divergenceの意味での収束が分散縮小型確率的勾配を用いることで高速化できることを証明．
意義： ➢ KL-divergenceは“強いノルム”．
➢ 目的関数の性質を対数ソボレフ不等式の定数に集約できる．
𝐷(𝜇𝑡 | 𝜈 ≤ 𝜖までの計算量• Vempala&Wibisono (2019): 非確率的勾配
勾配計算量• Our result: 確率的勾配+分散縮小法
勾配計算量： 𝒏倍高速“Weak Morse”条件における対数ソボレフ定数も導出
実は一般的に対数ソボレフ定数は逆温度パラメータ𝛾へ指数的に依存．
→ Weak Morse条件では多項式オーダーに緩和される．
• 0 < ∃𝜆+ ≤(任意の停留点のHessianの固有値の絶対値)• 大域的最適解以外の停留点は全て鞍点かつ最小固有値が−𝜆+ 以下

49

研究紹介

提案手法

50

GLDによるNNの最適化

二層NNの最適化
観測モデル:

where.

教師生徒設定 with ReLU活性化関数:
Teacher

Student (overparameterization)• 教師と生徒で同じサイズとする. (おそらく緩和可能)• 生徒は教師を多項式時間で推定できるか？

51

勾配ランジュバン動力学による最適化

52

L2-正則化あり経験損失関数:

L2-正則化ReLUではL2-正則化はスパース正則化 (L1-正則化) でもある．
二段階最適化(1) 探索フェーズ: GLD

ガウスノイズ(2) 収束フェーズ: ノイズ無し・正則化なしの勾配法

収束の様子53

探索フェーズ:最適解近傍への収束

ニューロン２ニューロン１

収束フェーズ:ニューロン３

目的関数値

最適解まわりでは大体強凸→ 普通の勾配法で線形収束
二段階の収束フェーズ：実験的にも観測されている (Hidden progress)

収束解析

54

[Akiyama and Suzuki: Excess Risk of Two-Layer ReLU Neural Networks in Teacher-Student Settings and its
Superiority to Kernel Methods. arXiv:2205.14818]➢➢➢∘ )のm番目の特異値は𝜎𝑊 ∘ = (𝑤1∘ , … , 𝑤𝑚
min で下から抑えられる．

定理 (informal)(𝑚, 𝑑, 𝜎min 固定の元で)適当な定数時間𝐾1 が存在して，Phase 1 (大域的探索フェーズ): しばらく探索すると期待損失をある閾値以下まで減らせる (真に近くなる)

𝑅 Θ 𝐾1≤ 𝜖0

Phase 2 (収束フェーズ): 大域的最適解へ線形収束

𝑅෠0 Θ 𝑘− 𝑅෠0 Θ∗ ≤ 𝑐1 exp(−𝑐2 (𝑘 − 𝐾1 )).

数値実験：二段階の学習ダイナミクス
探索フェーズ収束フェーズ55

予測誤差の比較• 前ページのアルゴリズムで最適化して得られた解Θ𝑘• 線形推定量の予測誤差の下限:

線形推定量は次元の呪いを受ける→ 特徴量も学習することで改善

56

Related work
Non-overparameterized setting:• [Li & Yuan, 2017] showed global convergence under 𝑀 = 𝑚
and a special network structure (ResNet like structure).
• [Zhong et al., 2017] showed local convergence under 𝑀 = 𝑚,i.e., they showed convergence when the initial solution isclose to the true parameter.
Overparameterized setting:• [Li, Ma & Zhang, 2020] showed global convergence of GD foran overparameterized setting 𝑀 > 𝑚.

True network

where 𝑄 is a small constant.

➢ Tensor decomposition technique is used.
➢ The true network has a special structure.
➢ The convergence is not exactly shown (it converges as 𝑑 → ∞).

• [Chizat, 2019]: Convergence to sparse solution with sparse reg.
➢ BLASSO [De Castro & Gamboa, 2012]

2-homogeneous activation + NDSC condition
ReLU

Guarantee ← [Akiyama&Suzuki, 2021]

57

58

平均場ランジュバン動力学

2層NNのGLDによる最適化

59

例:ニューロンが沢山あると普通のGLDの理論が適用できない．
しかし，平均場ランジュバン動力学の理論により理論保証ができる．
(逆にニューロン数無限大の極限を考えると理論保証可能になる)多粒子化（平均場）：
𝑀→∞…

定理 (Hu, Ren, Šiška, and Szpruch, 2021; Mei, Montanari, and Nguye, 2018)

𝑀 → ∞, 𝑡 → ∞の極限で粒子𝜃𝑗 の分布𝜇𝑡 は以下の分布に収束:
エントロピー

重要：分布𝝁に対しては凸関数！(if 損失が凸)Objective of mean field NN
Mean field NN Model:
where
Loss function (empirical risk + regularization):convex +Vanilla GLD

strongly convex= strongly convex

Nonlinear extension!

Linear60

General form of mean field LD

61

Mean field Langevin dynamics:
convex➢ Wasserstein gradient flow to minimize ℒ:➢ SDE the Fokker-Planck equation of which corresponds to this Wasserstein GF

Q: Discretization error?
Definition (first variation)
𝛿𝐹
The first variation 𝛿𝜇: 𝒫 × ℝ𝑑 → ℝ is defined as a continuous functional such as

62

Vanilla GLD:
(linear)非線形Fokker-Planck方程式

63• MF-LD obeys the following nonlinear FokkerPlanck equation:
Mass: 𝜇 (𝑥)
𝑡

Then,

[Continuity equation]

Vector field: 𝑏(𝑥, 𝜇𝑡=: −𝑣𝑡(∵continuity
equation)

GLD：(Definition of 𝑝𝜇𝑡 )This is the Wasserstein gradient flow to minimize ℒ.
𝑡 ) nonlinearly depends on 𝜇 , we say “nonlinear Fokker-Planck”.
※ Since 𝛿𝐹(𝜇𝑡𝛿𝜇MF-LD to optimize mean field NN

64

Loss function:(escape from local min.)[Noise perturbation]• Finite particle approximation:

Equivalent to GLD for optimizing
a finite width neural network

Neuronℎ𝑥 (⋅)

𝑥(distribution of 𝑋𝑡 )(vector field)

Other applications

65

Mean field Langevin dynamics can be applied to several
problems where a distribution is optimized.
• Nonparametric density estimation via MMD minimization

𝑘: positive definite kernel

where 𝑘𝜇 = ∫ 𝑘 𝑥,⋅ 𝜇(d𝑥) (kernel embedding).
➢➢: Empirical distribution (training data)(see also Chizat (2022,TMLR))• Variational inference to approximate Bayesian posterior(KSD: Kernel Stein Discrepancy from a posterior distribution)

Convergence of MF-LD

66

Proximal Gibbs measure:

Them (Entropy sandwich)[Nitanda, Wu, Suzuki (AISTATS2022)][Chizat (2022)]

Suppose that 𝑝𝜇 satisfies log-Sobolev inequality with constant 𝛼,
then

for all 𝜈.

LSI is satisfied byHolley--Stroock if
the loss and its
gradient arebounded．

67

有限粒子近似難しさ: McKean-Vlasov過程

68• 粒子間相互作用のある確率微分方程式はMcKean-Vlasov過程として知られている． (McKean, Kac,…, 60年代)• 離散時間・有限粒子での収束を示す際にはPropagation of chaosの評価が難しい．(粒子を増やすことでそれぞれがあたかも独立に振る舞う現象)

Propagation of chaos

一つの粒子の微小な変化が他の粒子に伝播して増幅される可能性がある．

𝑡=1

𝑡=2

𝑡=3

𝑡=4

研究の流れ平均場NNの線形収束
連続時間・無限粒子[Nitanda, Wu, Suzuki(AISTATS2022)][Chizat (2022)]69

時間・空間離散化：「二重ループの手法」• PDA法 [Nitanda, Wu, Suzuki: NeurIPS2021]• P-SDCA法 [Oko, Suzuki, Wu, Nitanda:
ICLR2022]• 無限次元拡張 [Nishikawa, Suzuki, Nitanda:
NeurIPS2022]

難しい：Propagation of chaos(McKean, Kac,…, 60年代より)
空間離散化・連続時間:
Uniform-in-time propagation of chaos- Super対数Sobolev不等式[Suzuki, Nitanda, Wu (ICLR2023)]- Leave-one-out型評価[Chen, Ren, Wang (arXiv2022)]

時間・空間離散化・確率的勾配：「一重ループの手法」

Suzuki, Wu, Nitanda(arXiv:2306.07221)

離散時間・有限横幅の手法

70

粒子双対平均化法

粒子確率的双対座標上昇法(Particle Dual Averaging; PDA)(Particle Stochastic Dual Coordinate Ascent; P-SDCA)[Nitanda, Wu, Suzuki: NeurIPS2021][Oko, Suzuki, Wu, Nitanda: ICLR2022]

主問題

ഥ (𝒕) の決定に双対平均化法のルールを用いる
𝒈

解:

時間離散化

計算量解析：

ただし•双対変数の座標をランダムに選択し，その座標に関して最適化．
→確率的双対座標上昇法

計算量解析：
双対ギャップ𝝐𝑷 を達成するのに必要な外側ループ数：(GLDによる)⇒合計: 𝑶(𝝐−𝟑 )の勾配アップデートで十分．

➢

by Fenchelの双対定理

双対問題

具体形が得られる．

→ この分布からは以下の勾配ランジュバン動力学を用いてサンプリング可能:

1. 外側ループ:
2. 内側ループ:=𝑞に関する線形汎関数で近似 (勾配を用いる)
ഥ (𝒕)は基本的に勾配)(線形近似; 𝒈近似

初の多項式オーダー最適化手法➢➢

指数オーダーでの収束を達成
サンプルサイズ𝑛への依存を緩和

71

𝑀個の粒子のサンプリングサンプリングで近似

目標の分布を更新(勾配降下)

勾配降下による更新

粒子双対平均化法 (Particle Dual Averaging; PDA)

72

[Nitanda, Wu, Suzuki: NeurIPS2021]

線形近似
Approximation(ഥ𝒈(𝒕) は基本的に勾配)𝑞に関する線形汎関数で近似 (勾配を用いる)

双対平均化法 (Nesterov, 2005; 2009; Xiao, 2009)
サンプリングで近似具体形が得られる

解析解:→この分布からは以下の勾配ランジュバン動力学を用いてサンプリング可能:
離散化

勾配ランジュバン動力学

Algorithm description
GLD
GLD

73

In each iteration, the potential for
updating each particle is given by 𝑔ത(𝑡) .

Each neuron

勾配計算

分布の更新
サンプリング収束解析

74

定理 (informal)

1. 外側ループ:(T:外側ループの回数，M:粒子数)2. 内側ループ:𝑡-回目の外部ループにおいて，以下の回数だけGLDの内部ループを更新:
全体の複雑さ:- 𝑂(𝜖 −3 ) 回のGLD更新で𝜖-最適解が得られる．

- ネットワークの横幅 (粒子数) は𝑀 = 𝜖 −2 poly(𝑛, 𝑑) で十分．
※厳密に離散時間・有限粒子数で多項式時間を達成した初めての方法．
※時間離散化，有限粒子近似の誤差も含んだ解析 (厳密な解析)．

• 多項式オーダー• 簡単な解析Kernel alignment
P-SDCAで学習

一層目：
特徴抽出
カーネルalignment:

一層目で抽出された特徴量が教師信号(y)とどれだけ相関しているか？
→ 高いほど特徴量が真の関数の成分を多く含んでいる．

固有値の分布：一層目ほぼ固定

一層目も学習することで真の関数により適合した特徴量が学習できている．

75

76

有限和での収束改善[Oko, Suzuki, Nitanda, and Wu: Particle Stochastic Dual Coordinate Ascent:Exponential convergent algorithm for mean field neural network optimization. The
Tenth International Conference on Learning Representations (ICLR2022)]

Modification to SDCA

77

[Oko, Suzuki, Nitanda, and Wu: Particle Stochastic Dual Coordinate Ascent: Exponential convergent
algorithm for mean field neural network optimization. The Tenth International Conference on Learning
Representations (ICLR2022)]

訓練損失：有限和• 問題意識:➢外側ループの計算量を有限和の構造を活かして改
善したい．
➢SDCA (Stochastic Dual Coordinate Ascent) を用いることで線形収束を達成：
𝐿𝑛+𝜇log 1/𝜖 .

※ PDA: 1/𝜖

粒子確率的双対座標上昇法

78(Particle Stochastic Dual Coordinate Ascent; P-SDCA)
主問題=(Fenchelの双対定理)

双対問題

ただし

双対変数の座標をランダムに選択しその座標に関して最適化．
→双対座標上昇法

線形収束することを証明
exp(− 𝑛 + 𝜅 −1 𝑡)
PDAが1/𝑡なので大幅改善

One coordinate update

参考79

We update just one coordinate 𝑔𝑖 per iteration.
proximal gradient descent (2nd term is linearized)(ideal update)(requires integration)→ We can sample particles via GLD.

(particle approximation),(𝑚 ∈ [𝑀])We “refresh” particles
each 𝑛෤ iteration.

Algorithm description

参考

At every 𝑛෤ iteration,
we refresh particles.

Particle weight
updateDual coordinate
ascent80

Discretization error

参考81(A1) ℓ𝑖 is 𝛾-smooth.
(A2) ℎ𝑖 𝜃≤ 1 for all 𝜃.

(A3) Other technical conditions.

Lemma (informal)

It holds that

(Ideal update)uniformly over 𝑖 ∈ 𝑛 , 𝑡 ∈ [𝑛] with probability 1 − 𝛿.

If 𝑡 > 𝑛, the error can exponentially diverge.
⇒ We re-sample 𝜃𝑚 𝑀
෤ updates.
𝑚=1 by GLD at each 𝑡 = 𝑛

収束レート82(A1) ℓ𝑖 は1/𝛾-平滑.
(A2) ℎ𝑖 𝜃≤ 1 が全ての𝜃で成立.

(A3) その他テクニカルな条件.
定理 (収束レート)を仮定し，粒子数が以下を満たすとする:

෥
𝑛
=𝑂(1)
𝑛𝜆2

より正確にはすると条件数回の更新で双対ギャップ𝜖𝑃 を達成する:

Total complexity:

もし決定的な手法を用いたら，勾配の評価(num of particles)𝑀∗ = 𝑂 𝜖𝑃 𝜆2 −1数は以下のようになる(n倍多い):𝐾 ∗ : algorithm dependent,𝑡end = 𝑂(𝜆𝑛𝛾log(1/𝜖𝑃 ) )complexity 2
to generate 𝑀∗ particles.

Experiments

𝜆1 = 10−2 : fixed

83

84

無限次元パラメータへの拡張[Nishikawa, Suzuki, Nitanda, Wu: Two-layer neural network on infinite-dimensional
data: global optimization guarantee in the mean-field regime. NeurIPS2022]

無限次元へ拡張

85

各ニューロン
無限次元ヒルベルト空間の元を入力とする

推定すべきパラメータの次元も無限になる
出力
応用例：
(実数)
• 関数データ解析• グラフを入力とするデータ解析 (グラフを表す特徴量空間を用いる)

𝜈0 : ℋ上のガウス測度．対応する再生核ヒルベルト空間をℋ𝐾 とする．
（平均0, 分散共分散オペレーターΣ, i.e., ℋ𝐾 : = Σ1/2 ℋ）

我々の提案手法
粒子双対座標平均化法 (PDA)，粒子双対座標降下法 (PSDCA)+
無限次元勾配ランジュバン動力学[Nishikawa, Suzuki, Nitanda, Wu: Two-layer neural network on infinite-dimensional data:
global optimization guarantee in the mean-field regime. NeurIPS2022]

収束解析

86

• 無限次元版PDA
Theorem𝑓 ∗ : 最適解に対応するニューラルネットワーク
𝜂: 内部ループのステップサイズ

𝑇: 外部ループの更新回数

𝐾: 内部ループの更新回数

𝑀: 粒子数 (ニューラルネットワークの横幅)

Λ: 内部反復のスペクトルギャップ➢ 無限次元空間では測度の絶対連続性が簡単に崩れるのでうまく対処する必要があった．
➢ 弱収束のみを用いて収束を保証• 無限次元版P-SDCA
Theorem(𝑛: sample size)

数値実験• 真の関数：１ニューロンの関数• 比較対象：ヒルベルト空間内でのリッジ回帰(線形関数)，Nadaraya-Watson推定量 (非線形関数)87

研究の流れ平均場NNの線形収束
連続時間・無限粒子[Nitanda, Wu, Suzuki(AISTATS2022)][Chizat (2022)]88

時間・空間離散化：「二重ループの手法」• PDA法 [Nitanda, Wu, Suzuki: NeurIPS2021]• P-SDCA法 [Oko, Suzuki, Wu, Nitanda:
ICLR2022]• 無限次元拡張 [Nishikawa, Suzuki, Nitanda:
NeurIPS2022]

難しい：Propagation of chaos(McKean, Kac,…, 60年代より)
空間離散化・連続時間:
Uniform-in-time propagation of chaos- Super対数Sobolev不等式[Suzuki, Nitanda, Wu (ICLR2023)]- Leave-one-out型評価[Chen, Ren, Wang (arXiv2022)]

時間・空間離散化・確率的勾配：「一重ループの手法」

Suzuki, Wu, Nitanda(arXiv:2306.07221)[Suzuki, Wu, Nitanda: Convergence of mean-field Langevindynamics: Time and space discretization, stochastic
gradient, and variance reduction. arXiv:2306.07221, 2023]

一重ループの方法(時間離散化)

かつ

ただし(確率的勾配)(空間離散化)(𝑖)• 時間離散化: 𝑋𝑡 → 𝑋𝑘
• 空間離散化: 𝑁粒子で近似 (𝜇ො𝑘 ) [もっとも難しい]• 確率的勾配: 勾配計算を軽量化

89

Numerical experiment

Training error with 𝑟 𝑥 = 𝑥 4

Test error with 𝑟 𝑥 = 𝑥 2

90

Decomposition of objective
Continuous

91

Discrete𝜇𝑡2(e.g., 𝒰 𝜇 = 𝔼[ 𝑓𝜇 − 𝑓𝜇∗ ])Decomposition of objective:(1) Discretization error(propagation of chaos)(2) Geometric ergodicity• Naïve evaluation gives exponential growth as 𝒕:[Mei et al. (2018, Theorem 3)]
exp 𝑡 𝑁 −1•

Otherwise, weak interaction/strong regularization has been required.

Uniform log-Sobolev inequality

92

(2)

𝑋𝑘
(𝑁)
𝑋𝑘

(1)
𝑋𝑘

𝒳𝑘 =

𝑖
𝑋𝑘

(𝑵)

Potential of the joint distribution 𝝁𝒌

𝑁𝑁∼ 𝜇𝑘 : Joint distribution
𝑖=1
of 𝑁 particles.
on ℝ𝒅×𝑵 :where➢ The finite particle dynamics is the Wasserstein gradient flow that minimizes(Approximate) Uniform log-Sobolev inequality [Chen et al. 2022]
For any 𝑵,

where
Recall(Fisher divergence)[Chen, Ren, Wang. Uniform-in-time propagation of chaos formean field langevin dynamics. arXiv:2212.03050, 2022.]

収束解析: proximal Gibbs measure
定理 (１ステップ更新の減少; Suzuki, Wu, Nitanda (2023))

𝑝𝜇 は対数Sobolev不等式を定数𝛼で満たすとする.
損失関数の凸性と平滑性の仮定のもと，

時間
離散化

確率的
勾配

空間
離散化

既存研究では粒子数は時間に対して指数関数的に依存[Mei et al., 2018; Javanmard et al., 2019; De Bortoli et al., 2020]
Assumption: 1. 𝐹: 𝒫 → ℝ is convex and has a form of 𝐹 𝜇 = 𝐿 𝜇 + 𝜆1 𝔼𝜇 𝑥 2 .
2. (smoothness)∇(boundedness)

𝛿𝐿 𝜇
𝛿𝜇

∇

𝑥 −∇

𝛿𝐿 𝜇
𝛿𝜇

𝑥

𝛿𝐿 𝜈
𝛿𝜇

𝑦

≤ 𝑅.

≤ 𝐶(𝑊2 𝜇, 𝜈 + 𝑥 − 𝑦 ) and93

Log Sobolev for Lipschitz cont. obj

94

Proximal Gibbs measure:

Assumption:
𝜇 satisfies the LSI if there exits 𝛼 > 0 such that for any 𝜙 s.t. 𝜇 𝜙 2 = 1, it holds that

1. Holley—Strook argument:[Bakry & Emery, 1985; Holley & Stroock, 1987]

⇒

(New)
2. Lipschitz perturbation argument + Miclo’s trick:[Cattiaux & Guillin, 2022; Bardet et al., 2018](Lipschitz continuous)⇒確率的勾配の計算量

95

SGD-MFLD:(有限和),(確率的勾配)(Mini-batch size = 𝐵)

更新回数のバウンド:
By setting
the iteration complexity becomes

時間
離散化

空間
離散化

確率的
勾配

,

to achieve 𝜖 + 𝑂(1/(𝜆2 𝛼𝑁)) accuracy.
➢ 𝐵 = 𝑛 ∧ 1/(𝜆2 𝛼𝜖) is the optimal mini-batch size. → 𝑘 = 𝑂 log 𝜖 −1 Τ𝜖 .

分散縮小勾配法

96

SVRG-MFLD:(有限和),(分散縮小勾配)ሶ(𝑋は𝑚回に一回更新)

時間
離散化

空間
離散化

確率的
勾配の誤差

線形GLDの既存解析[Kinoshita, Suzuki:
NeurIPS2022] の非線形への拡張/改善

更新回数：
ただし𝐵 = 𝑚 = 𝑛1/3 .

総勾配計算回数：

𝑛 in Kinoshita&Suzuki(2022)

統計的性質• ℓ𝑖 : ロジスティック損失• ℎ𝑧 𝑥 = 𝑅ത ⋅ [tanh 𝑥1 , 𝑧 + 𝑥2 + 𝑥3 ]/2• 𝑘-スパースパリティ問題➢ 𝑋 ∼ Unif( −1,1 𝑑 ) (up to freedom of rotation)➢ 𝑌 = 𝑋𝑖1 𝑋𝑖2 … 𝑋𝑖𝑘 for 𝑖𝑗 ∈ 𝑑 with 𝑖𝑗 ≠ 𝑖𝑙 .
Q: この問題設定でカーネル法を上回る？
A: Yes.
[Suzuki, Wu, Oko, Nitanda: Feature learning via mean-field Langevindynamics: classifying sparse parities and beyond. 2023]

97統計的性質98• ℓ𝑖 : ロジスティック損失• ℎ𝑧 𝑥 = 𝑅ത ⋅ [tanh 𝑥1 , 𝑧 + 𝑥2 + 𝑥3 ]/2• 𝑘-スパースパリティ問題➢ 𝑋 ∼ Unif( −1,1 𝑑 ) (up to freedom of rotation)➢ 𝑌 = 𝑋𝑖1 𝑋𝑖2 … 𝑋𝑖𝑘 for 𝑖𝑗 ∈ 𝑑 with 𝑖𝑗 ≠ 𝑖𝑙 .
Q: この問題設定でカーネル法を上回る？
A: Yes.
[Suzuki, Wu, Oko, Nitanda: Feature learning via mean-field Langevindynamics: classifying sparse parities and beyond. 2023]

特徴学習によって次元への依存性が改善されている．

99

補足資料
「拡散モデル」

DALL·E/DALL·E 2100

文章による説明から画像を生成するモデル「An astronaut riding ahorse in a photorealisticstyle」

DALL·E: [Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray, Chelsea Voss, Alec Radford, MarkChen, Ilya Sutskever: Zero-Shot Text-to-Image Generation. ICML2021.]
DALL·E2:[Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey Chu, Mark Chen: Hierarchical TextConditional Image Generation with CLIP Latents. arXiv:2204.06125]

101「Teddy bears shopping for
groceries in the style ofukiyo-e」

他の作例

Jason Allen "Théâtre D'opéra Spatial“ generated by
Midjourney. Colorado State Fair’s fine art competition, 1st prize
in digital art category

102

Generated by NovelAI

文章での条件付け

103[VQ-VAE]
ベクトルから
画像を復元
画像
エンコーダ

画像
デコーダ

画像をエンコード
したベクトル
対応するように学習
文章「芝の上の犬」

文章
エンコーダ[CLIP]

文章をエンコード
したベクトル
画像生成時

同様の考え方が翻訳など，ほとんどの深層学習モデルで使われている．

デコーダー：拡散モデル[Sohl-Dickstein et al., 2015; Song & Ermon, 2019; Song et al., 2020; Ho et al., 2020;
Vahdat et al., 2021]
順過程：所望の分布を正規分布に変換していく (OU-過程)．

(𝑌𝑡 ∼ 𝑋𝑇−𝑡 )逆過程：正規分布 (ノイズの分布) から逆にたどって所望の分布に逆変換していく．

[Vahdat, Kreis, Kautz: Score-based Generative Modeling in Latent Space. arXiv:2106.05931]

104変分オートエンコーダとの関係

105[Kingma, Welling: Auto-Encoding Variational Bayes. 2014.]

出力：𝑦

潜在変数：𝑧𝑦の分布が𝑥の分布に近くなるようにネッ
トワークを学習

入力：𝑥106[Song et al.: SCORE-BASED GENERATIVE MODELING THROUGH STOCHASTIC DIFFERENTIAL EQUATIONS. ICLR2021.

元の分布

潜在変数(ノイズ)の分布(正規分布)

・・・

復元された分布

・・・

VAE

107

出やすい（自然な画像）

正規分布
出にくい（不自然な画像）トイデータ例
恐竜型の分布を再現[https://github.com/Kei18/tiny-tiny-diffusion]
注意：こうやって出てきた恐竜が生成された画像なのではなくて，各座標が一つの画像に対応．

108

順過程

109

順過程:
OU-過程
𝑝𝑡 を𝑋𝑡 の確率密度関数とする．

形がわかっている！
𝒙𝟎 が与えられれば𝒙𝒕 のサンプリングも可能

ただし，𝜇𝑡 = exp −𝑡 , 𝜎𝑡2 = 1 − exp −2𝑡 .

前回講義資料より，順過程は指数関数的に標準正規分布に近づく．

標準正規分布

元の分布
OU-過程[Vahdat, Kreis, Kautz: Score-based
Generative Modeling in Latent
Space. arXiv:2106.05931]

逆過程

110

逆過程:
𝑌0 ∼ 𝑝𝑇ത(𝑡 ∈ [0, 𝑇])

事実：𝑌𝑡 の分布=𝑋 𝑇−𝑡
ത の分布[Haussmann & Pardoux, 1986]

すなわち，𝑌𝑡 ∼ 𝑝𝑇−𝑡
順過程を逆にたどることによって，(ほぼ)正規分布に従うノイズを徐々に修正して元の画像の分布を再現できる．

こっちで終わる

こっちから始める

拡散モデルの利点• 多峰な分布からのサンプリングがしやすい．
➢「簡単な分布」→「難しい分布」へと変化していくことで偏りなくサンプリングできる．
直接ターゲットの分布のスコアを推定してからGLDなどでサンプリングしようとすると谷を乗り越えられない．

• 元の分布のスコアは複雑でも，拡散させた𝑋𝑡 の分
布は滑らか→推定しやすい→汎化しやすい．
• ノイズから元分布への写像を直接End-to-endで学習するのではなく中間的な分布𝑝𝑡 の情報を用いる
ので学習が安定する．

111

スコアの推定
逆過程:

112

(未知)

(未知)
ത
(𝑡 ∈ [0, 𝑇])[Haussmann & Pardoux, 1986]⇒ 𝑌𝑡 ∼ 𝑝𝑇−𝑡近似モデル (生成モデル):(𝑝𝑇 は𝑁(0, 𝐼)に十分近い)ത(𝑡 ∈ [0, 𝑇])𝑌෠ 𝑇ത を生成画像として用いる．
定理 (Girsanov’s theorem)⇒ スコア関数𝛻log(𝑝𝑡 )をできるだけ正確に推定できれば良い.

スコアマッチング
未知，計算できない．計算できるものに置き換えたい．
(𝑋 𝑇−𝑡ത と𝑌𝑡 は同じ分布)

113

スコアマッチング

114(前ページの導出より)

スコアマッチング

115

を解けばよい．
しかし，𝑋0 の分布を知らないので𝑋0 による期待値は取れない．
→ サンプル平均で代用する (有限データからの学習)．

観測値 (𝑛データ点, 𝐷𝑛 = 𝑥𝑖 𝑛𝑖=1 ):経験スコアマッチング損失:

条件付分布はOU過程からサンプリングできる！

(正規分布)

陽に求まる！(正規分布の密度より)

誤差解析の理論研究• 拡散モデルの逆向きSDEとしての定式化: Song et al. (2021)[近似誤差解析]• KL-divergence bound via Girsanov’s theorem: Chen et al.
(2022)• Error bound with LSI: Lee et al. (2022a)➢ With smoothness: Chen et al. (2022) and Lee et al. (2022b)• Error propagation with manifold assumption: Pidstrigach(2022)[Generalization analysis]• Wasserstein dist bound (𝑛−1/𝑑 ) with manifold assumption:
De Bortoli (2022)

116これまでのまとめ

117• 順過程：
標準正規分布へ向かう勾配ランジュバン動力学（OU-過程）Fokker-Planck方程式：• 逆過程 (reverse SDE)：ǁ𝑡を逆向き時間として(t = ∞ → 𝑡 = 0へ向かう)

𝑡小

順

ǁ
𝑡大

逆

として次のページで導出．

𝑡大

ǁ
𝑡小
d𝑡 = −d𝑡ǁ前向き・後ろ向きFokker-Planck方程式

118: 時刻𝑠での値を𝑋𝑠 = 𝑥で条件付けた時刻𝑡における𝑋𝑡 の確率密度．
• 前向き方程式• 後向き方程式(part1より)(後ろ向き方程式の確認)(∵生成作用素 (part1より))

逆向きSDEの導出(𝑠 < 𝑡を想定)

119

120

まとめると，

時間を反転させて，d𝑠ǁ ← −d𝑠とすると，

これはドリフト項が− 𝑏 − 2𝛻𝑥 log 𝑝 𝑠, 𝑥
= 𝑥 + 2𝛻𝑥 log(𝜇𝑠 (𝑥))かつ𝜎𝑡2 = 2の拡散過程の前向きFK-方程式に他ならない．

𝑠ǁ → 0とすることで，時刻0における分布を得ることができる．
つまり，ドリフト項をデータから推定し，逆過程を走らせることでデータの分
布からのサンプリングができるようになる．

画像の場合• U-Net121[Olaf, Fischer, Brox: U-Net: Convolutional Networks for Biomedical Image Segmentation. MICCAI
2015]➢ 画像のsegmentationなどで標準的なネットワーク➢ 画像生成用の拡散モデルではスコア関数 𝑡, 𝑥 ↦ 𝑠(𝑥,Ƹ 𝑡)のモデルとして最も多く利用されている．

Latent diffusion model[Rombach, Robin, et al. "High-resolution image synthesis with latent diffusion models."
CVPR2022.]• 低次元潜在変数の空間で拡散モデルを走らせる．
➢計算量を削減できる．
➢汎化誤差の意味でも意義があると考えられる．
➢Stable diffusionで用いられている．

潜在空間にエンコード

低次元潜在空間

潜在空間からもとの空間(画像)にデコード

122

ODEに変換123• Probability flow ODE (PF-ODE)

逆向きSDEのFP-方程式= −𝑣𝑡 (𝑦)この偏微分方程式は以下のODEに対応する連続の方程式である：

逆向きSDEを走らせる代わりに，てこのODEを走らせても良い．

としPF-ODEを使った手法
様々な解法が提案されています．
• ナイーブに実装すると時間離散化誤差が強く影響 [2].
• 拡散モデル用に実装を工夫する必要がある [3,4,5]．

124➢ 線形多段法 [4]，Heun法 [2]，変形exp-Runge-Kutta法 [3]，高次漸近展開 [5]• スコアの推定誤差には鋭敏かもしれない．

← 計算を工夫したODE型の方法は
ステップ数を減らしても誤差が発散しにくい．

1.
2.
3.
4.
5.

Song, Meng, Ermon: Denoising Diffusion Implicit Models. ICLR2021.
Karas et al.: Elucidating the Design Space of Diffusion-Based Generative Models. NeurIPS2022
Lu et al.: DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10
Steps. NeurIPS2022.
Liu et al.: Pseudo Numerical Methods for Diffusion Models on Manifolds. ICLR2022.
Dockhorn, Vahdat, Kreis: GENIE: Higher-Order Denoising Diffusion Solvers. NeurIPS2022.

125• 理論：ODEベースの手法の方が「速い」（離散化誤差が小さい）➢ Chen et al.: The probability flow ODE is provably fast. 2023.
➢ Li et al.: Towards Faster Non-Asymptotic Convergence for
Diffusion-Based Generative Models. 2023.

SDE手法：O(1/𝑇)

ODE手法：O(1/𝑇 2 )（𝑇は離散化後のステップ数）

拡散モデルの統計理論

126[Kazusato Oko, Shunta Akiyama, Taiji Suzuki: Diffusion Models are Minimax Optimal Distribution Estimators. ICML2023]
Forward process

Backward process
Stable diffusion, 2022.

経験スコアマッチング推定量:定理(𝑌𝑡 ∼ 𝑋𝑇−𝑡 )Let 𝑌෠ be the r.v. generated by the backward process w.r.t. 𝑠,Ƹ then(𝑠: 密度関数の滑らかさ)(for any 𝛿 > 0).

どちらも（ほぼ）ミニマックス最適 [Yang & Barron, 1999; Niles-Weed &Berthet, 2022].

(Estimator for 𝑊1 distance requires some modification)