1

確率数理要論(12)

機械学習応用• 勾配ランジュバン動力学• 拡散モデルGLD

2• 勾配ランジュバン動力学
Stochastic Gradient Langevin Dynamics (SGLD)
非凸最適化：(非凸でも良い)サンプリング：𝛽: 逆温度パラメータ(勾配ランジュバン動力学)

定常分布：[Gelfand and Mitter (1991); Borkar andMitter (1999); Welling and Teh (2011)]

3

Gaussian noise

Gradient descent

GLDのFokker-Planck方程式: 𝑋𝑡 の分布 (密度関数であると考えてもらって問題ない)

Fokker-Planck方程式
Mass: 𝜇𝑡 (𝑥)次のように解釈できる:

Vector field:𝑣𝑡−𝑣𝑡 とおく[連続の方程式]

4連続の方程式

5「連続の方程式」
この方程式の意味(∀𝑓: コンパクトサポート，𝐶 ∞ -級)

d𝑇• ベクトル場𝑣𝑡 で生成される写像を𝑇𝑡 とする: 𝑡 𝑤 = 𝑣𝑡 𝑇𝑡 𝑤 .
d𝑡𝑑𝑑• 𝜌𝑡 は写像𝑇𝑡 : 𝑅 → 𝑅 による𝜌0 の押し出し：𝜌𝑡 = 𝑇𝑡# 𝜌0 .
つまり，𝑤 ∼ 𝜌0 に対する𝑇𝑡 (𝑤)の分布が𝜌𝑡 ．
(𝑡 = 0で導出: 𝑇0 = 𝐼 (恒等写像))(分布)[連続の方程式]

連続の方程式

6「連続の方程式」
この方程式の意味(∀𝑓: コンパクトサポート，𝐶 ∞ -級)

d𝑇• ベクトル場𝑣𝑡 で生成される写像を𝑇𝑡 とする: 𝑡 𝑤 = 𝑣𝑡 𝑇𝑡 𝑤 .
d𝑡𝑑𝑑• 𝜌𝑡 は写像𝑇𝑡 : 𝑅 → 𝑅 による𝜌0 の押し出し：𝜌𝑡 = 𝑇𝑡# 𝜌0 .
つまり，𝑤 ∼ 𝜌0 に対する𝑇𝑡 (𝑤)の分布が𝜌𝑡 ．
(一般の𝑡)(分布)(連続の方程式)

定常分布

定常分布: 𝜕𝑡 𝜇𝑡 = 0 ⇒ 𝑣𝑡 = 0 (分布がこれ以上動かない)

実は，これは以下の目的関数を最小化するWasserstein勾配流である:

確かにこの最適解は定常分布と等しい:

7Wasserstein勾配流以下，無視連続の方程式 𝜇𝑡 = −𝛻 ⋅ [𝑣𝑡 𝜇𝑡 ] に従っているなら

8Wasserstein勾配流9特に(GLD)は最急降下方向で，以下が成り立つ．
=: −𝑣𝑡定常分布𝝁∗ からのKL-divを最小化するWasserstein勾配流
Fisher divergence:Wasserstein距離について

参考

𝜇, 𝜈:距離空間(𝒳, 𝑐)上の確率測度(通常𝒳はPoland空間)

Π 𝜇, 𝜈 : 周辺分布が𝜇, 𝜈である𝒳 × 𝒳上の同時分布の集合
周辺分布を固定した同時分布の中で最小化• 分布のサポートがずれていてもwell-defined• 底空間の距離が反映されている※KL-divergenceは距離が反映されない．

（双対表現: Kantorovich双対）「輸送距離」とも言われる

10接ベクトル参考定理• 𝜌𝑡 = 𝑇𝑡# 𝜌0•d𝑇𝑡d𝑡𝑤 = 𝑣𝑡 𝑇𝑡 𝑤

• ある𝜙𝑡 を用いて𝑣𝑡 = 𝛻𝜙𝑡 と書けるとする．
この時，以下が成り立つ:

詳細は以下を参照:
Ambrosio, Gigli, and Savaré. Gradient Flows in Metric Spaces and in theSpace of Probability Measures. Lectures in Mathematics. ETH Zürich.
Birkhäuser Basel, 2008.
𝑣𝑡

𝑇𝑡

11

輸送写像

参考12Brenierの定理
𝜌0 , 𝜌1 が確率密度関数を持つ時，以下が成り立つ:• Infを達成する写像𝑇 ∗ が存在する．
• しかも，ある凸関数𝜓が存在して𝑇 ∗ 𝑥 ∈ 𝜕𝜓 𝑥 と書ける．
• この𝑇 ∗ を最適輸送写像という．

Benamou-Brenier formula (連続の方程式と𝑊2 距離の関係):
同条件のもと

ただし，infは𝜌0 から𝜌1 へ連続の方程式で“繋ぐ”全ての速度ベクトル場𝑣𝑡 に関して取る．
𝜌0• 𝜌𝑡 = 𝑇𝑡# 𝜌0d𝑇𝑡•𝑤 = 𝑣𝑡 𝑇𝑡 𝑤d𝑡𝑇𝑡𝑣𝑡

𝜌1

定常分布

適当な条件のもとGLDの定常分布は以下で与えられる:➢ 𝛽が大きければ，定常分布は最適解周りに集中する．
➢ 定常分布からのサンプリングにも使える (というかこっちが本来の目的)．

13対数ソボレフ不等式と幾何的エルゴード性

14定常分布例：• 二次関数+有界関数• Weak Morse型関数

対数ソボレフ不等式 (𝝅∞ の性質):
任意の(𝜋∞ に対して絶対連続な)確率分布に対し，KL-div

幾何的エルゴード性

Fisher-div

𝜌𝑡 : 𝑋𝑡 の周辺分布

定常分布へKL-divergenceの意味で指数オーダーの収束[Bakry, Gentil, and Ledoux: Analysis and Geometry of Markov Diffusion Operators. Springer, 2014. Th. 5.2.1]

対数ソボレフ不等式の十分条件
強凸な場合:

𝐿(𝑥) が𝜇-強凸 ⇒15[Bakry and Émery, 1985]

Bounded perturbation lemma (Hollley-Stroock):[R. Holley and D. Stroock. Logarithmic sobolev inequalities and stochastic Ising models. Journal of statistical physics, 46(56):1159–1194, 1987.]• 散逸的 (dissipative):• 平滑性:[Raginsky, Rakhlin and Telgarsky, 2017]離散時間ダイナミクスの収束レート

16

過程: 𝐿 は𝑀-平滑:定理[Vempala and Wibisono, 2019]

定理 (informal)
散逸性と平滑性の条件のもと (and other technical condition),

幾何的エルゴード性

時間離散化の誤差

where 𝑐, 𝑐𝐶𝐿𝑆,𝛽,𝑑 > 0 are constants.

𝐸𝜋∞ 𝐿 𝑋− 𝐿(𝑋 ∗ )定常分布が最適解まわりにどれだけ集中しているか[Raginsky, Rakhlin and Telgarsky, 2017; Xu, Chen, Zou, and Gu, 2018; Erdogdu, Mackey and Shamir, 2018]• 逆温度パラメータ𝛽が十分大きければ，目的関数が非凸でも最適解の近くに到達できる．
• ただし，一般には対数ソボレフ不等式は𝛽に指数的に依存することに注意．
（そうでない場合もある：強凸目的関数，Weak Morse関数）

17

拡散モデル

DALL·E/DALL·E 218

文章による説明から画像を生成するモデル「An astronaut riding ahorse in a photorealisticstyle」

DALL·E: [Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray, Chelsea Voss, Alec Radford, MarkChen, Ilya Sutskever: Zero-Shot Text-to-Image Generation. ICML2021.]
DALL·E2:[Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey Chu, Mark Chen: Hierarchical TextConditional Image Generation with CLIP Latents. arXiv:2204.06125]

19「Teddy bears shopping for
groceries in the style ofukiyo-e」

特徴ベクトルの役割: DALL·Eで説明

20[VQ-VAE]
ベクトルから画像を復元
画像エンコーダ

画像
デコーダ

画像をエンコードしたベクトル
対応するように学習
文章「芝の上の犬」

文章
エンコーダ[CLIP]

文章をエンコードしたベクトル
画像生成時同様の考え方が翻訳など，ほとんどの深層学習モデルで使われている．

他の作例

Jason Allen "Théâtre D'opéra Spatial“ generated byMidjourney. Colorado State Fair’s fine art competition, 1st prize
in digital art category

21

Generated by NovelAI

デコーダー：拡散モデル (GLIDE)
順モデル：所望の分布からノイズに変換

逆モデル：ノイズから所望の分布へ変換

22

23

• 順過程：ノイズの分布が標準正規分布の場合標準正規分布へ向かう勾配ランジュバン動力学（OU-過程）Fokker-Planck方程式：• 逆過程 (reverse SDE)：
ǁ𝑡を逆向き時間として(∞ → 0へ向かう)として次のページで導出．

逆向きSDEのFK-方程式(𝑠 < 𝑡を想定)

24

25

まとめると，時間を反転させて，d𝑠ǁ ← −d𝑠とすると，これはドリフト項が− 𝑏 − 2∇𝑥 log 𝑝 𝑠, 𝑥= 𝑥 + 2∇𝑥 log(𝜇𝑠 (𝑥))の拡散過程の前向き方程式に他ならない．

𝑠ǁ → 0とすることで，時刻0における分布を得ることができる．
つまり，ドリフト項をデータから推定し，逆過程を走らせることでデータの分布からのサンプリングができるようになる．