近年の深層学習について
⽥中章詞 (RIKEN AIP/iTHEMS)@DLAP2023 6/1, 2023

⾃⼰紹介
■

所属
■ 研究
理研 AIP/iTHEMS
機械学習 (理論/応⽤)└── 上級研究員
数理物理 (素粒⼦理論)
 AkinoriTanaka-phys

学術変⾰領域研究ÿＡĀ 2022〜2026年度
B01

班： 深層学習~数理x応⽤ 代表

āンðー唐⽊⽥ 亮u³ (産総研)
瀧 雅⼈u³ (⽴教⼤学)
⽬的
深層学習~研究

1.

導⼊

1.

導⼊ ↩

■ 1-1.

深層学習x

教師あº機械学習

catdog

f¸ : X → Y

実世界 運⽤

?

...

...

f¸ : X → Y

データ

を導⼊ → う~い ¸ を取»こxw実現しようxす»{ 深層ニューùûネッø ²使う⼿法 ＝ 教師あº~場合~ 深層学習

1.

導⼊ ↩

■ 1-2.

物理学x~関連深層学習~ 物理学へ~ 応⽤

物理学~問題{対y»<汎⽤的z=⼿法xzºttあ»
相転移検出
MCMC~⾼速化,
量⼦状態探索⇕ 相互~発展|⾒込~¼»[Carrasquilla & Melko, arXiv:1605.01735][Liu et al., arXiv:1610.03137] [Kanwar & Shanahan, arXiv:1904.12072][Carleo & Troyer, arXiv:1606.02318]

物理学~ 深層学習へ~ 応⽤

物理学x関連w数理的⼿法|近年1盛³{取º込~¼vい»Physics-Informed NN [Greydanus, Dzamba, & Yosinski, arXiv:1906.01563]

ûューùûýッø平均場解析
拡散Ă÷û[Poole et al., arXiv:1606.05340][Sohl-Dickstein et al., arXiv:1503.03585]

2.

深層学習 (2019~)

2.

深層学習 (2019~) ↩

~登場
深層学習xいえz決~ºs1ýッøワー¿²ー½ö¿Áă|軒並Transformer z»²~{置}換わsv}vい»：■ 2-1. Transformer

時系列÷ータÿ⾔語zyĀ年

そ~時~最先端ò÷û
~2017 úカüンøNN (LSTMzy)
2017-

Transformer [Vaswani et al., arXiv:1706.03762]

画像÷ータ

年

そ~時~最先端ò÷û
~2020 畳込NN
2020-

Vision Transformer [Dosovitskiy et al., arXiv:2010.11929][Vaswani et al.,arXiv:1706.03762]¸º抜粋

深層NN 深y»w良いxいう²~wzい：~最初~図zy参照 ~w1何{本質的z改良~¸う{思わ¼»
ResNet [He et al.,arXiv:1512.03385]

2.

深層学習 (2019~) ↩

■ 2-1. Transformer~登場~¹±ーúン°則

Transformer[Kaplan et al., arXiv:2001.08361]¸º抜粋

計算機, ÷ータサイº, パùñータ数を¹Áーû = 好きzqö¹ø精度を上rら¼»xいうsx{...
DeepL翻訳 や ChatGPT zy Transformer {基uいvい»x思わ¼»2

2.

深層学習 (2019~) ↩

■ 2-1. Transformer

機構

~登場

Attention¿エúÿ要求Ā{対しv、類似度~⼤きい鍵を探し、対応す»値を渡す

Self-attention:

⾃⼰注意

画像認識w Self attention wzい²~²使sv²良い：MLP-Mixer [Tolstikhin et al.,arXiv:2105.01601]

RaftMLP [Tatsunami & TAKI,
arXiv:2108.04384]

2.

深層学習 (2019~) ↩

拡散ò÷û~登場
ÿ画像Ā⽣成Ă÷ûw²⼤}z変⾰|起s»：■ 2-2.

年

そ~時~最先端ò÷û

2013

VAE [Kingma & Welling, arXiv:1312.6114]

2014-2019

GAN [Goodfellow et al., arXiv:1406.2661]

2019-現在 拡散ò÷û [Song & Ermon, arXiv:1907.05600]

画像 → þ´º ~向}{変更²加え~[Song et al., arXiv:2011.13456]

画像 ← þ´º ~÷ý»¹²学習u{»2

よº抜粋

2.

深層学習 (2019~) ↩

拡散ò÷û~登場様々zĂ÷û|yw{数多úúー¹：
Stable diﬀusion ÿ公開Ă÷ûx~úン¿付}Ā

■ 2-2.

z絵描}ºsy³[Rombach et al., arXiv:2112.10752]

https://page.line.me/877ieiqs

Midjourney https://www.midjourney.com/home/?callbackUrl=%2Fapp%2F

2.

深層学習 (2019~) ↩

基盤ò÷û"?
訓練済~ ⼤規模⾔語Ă÷û (LLM) や 拡散Ă÷û (Stable diﬀusion zy)➡ s¼¹²別~様々z¿¹¿~±{ 再学習ÿ転移学習Ā u{»sx|w}»
再利⽤w}»公開Ă÷û：{¹呼び出ysx|w}»
õ±´ンÁューûンÀ / 知識~蒸留■ 2-3. "https://huggingface.co/[Hinton, Vinyals, & Dean, arXiv:1503.02531][Bommasani et al., arXiv:2108.07258]¸º抜粋

機械学習 = 学習²û´úºĀ~均⼀化} ※ 注意：s~⽅向性以外²あ»2. 深層学習 = ²ー½ö¿Áă~均⼀化
3. 基盤Ă÷û = Ă÷û~均⼀化1.

3.

過剰パùñータの数理3.

過剰パùñータの数理 ↩

■ 3-1.

過剰パùñータ~統計学

òチベーション

深層学習 = 魔法~杖 wあº1上⼿い背後{必z理由|あ»z
深層学習＝過剰ñùāー¿{¸»統計学？

過剰パùñータ = 過剰適合
過⼩適合

深層学習*以前*

深層学習*以後*

過剰適合

新たz領域

ò÷ûの複雑さÿパùñータ数zyĀ

汎化誤差
経験誤差

学習理論
情報量規準
PAC

ò÷ûの複雑さÿパùñータ数zyĀ

汎化誤差
経験誤差

⼆重ÿ多重Ā降下現象~理論
over-parametrization ~統計学

3.

過剰パùñータの数理 ↩

■ 3-1.

過剰パùñータ~統計学

òチベーション

深層学習 = 魔法~杖 wあº1上⼿い背後{必z理由|あ»z
深層学習＝過剰ñùāー¿{¸»統計学？

過剰パùñータ = 過剰適合

⼆重降下|起s»例：
double descent daniela

検索https://twitter.com/daniela_witten/status/1292293102103748609

¸º抜粋

3.

過剰パùñータの数理 ↩

■ 3-1.

過剰パùñータ~統計学

òチベーション

深層学習 = 魔法~杖 wあº1上⼿い背後{必z理由|あ»z

深層ニューùûýッøでも⼆重降下|起}»[Nakkiran et al., arXiv:1912.02292]

ùンÀĀ⾏列{¸»解析：
汎化誤差解析{¸»理論：¸º抜粋[Hastie et al., arXiv:1903.08560][Nakada & Imaizumi, arXiv:2103.00500]

3.

過剰パùñータの数理 ↩

■ 3-2.

無限幅ニューùûネッø~理論
理論的{単純z過剰ñùāー¿極限

深層ニューùûýッø~幅幅を無限{⾶す解析
深層ニューùûýッø~

１層
1

層⽬

...

普遍性定理

任意~関数幅無限⼤で表現できる

多層
層⽬

1

...

層⽬

層⽬

(l-1)

2

...

l

層⽬

層⽬

L

...

...

...

...

...

...

...

...

...

...

...

ùンÀĀNN~平均場解析 初期 ~振る舞いûューùû接核理論 (NTK) 訓練~振る舞い
NN

NN

3.

過剰パùñータの数理 ↩

■ 3-2.

無限幅ニューùûネッø~理論

無限幅NN Gaussian Process {z» [Poole et al., arXiv:1606.05340] , [Lee et al., arXiv:1711.00165]
1

層⽬

...

2

層⽬

...

(l-1)

層⽬

l

層⽬

層⽬

L

...

...

...

...

...

...

...

...

...

...

...

重⾏列~共分散 {ついv~仮定 Ā´²¹~分散 {関す»仮定Ãw2ïW∙j W∙k ð = N δjkïb2 ð = Ãb2

xwv1l層⽬ ~⼊⼒{中⼼極限定理²適⽤y»ÿ幅無限⼤ N → ∞ĀN

hl = ∑ W∙j ϕ(hj
j=1

(l−1)

) + b ∼ N (0, Ãw2 ïϕ(h(l−1) )2 ð + Ãb2 )3.

過剰パùñータの数理 ↩

■ 3-2.

無限幅ニューùûネッø~理論

無限幅NN Gaussian Process {z» [Poole et al., arXiv:1606.05340] , [Lee et al., arXiv:1711.00165]

分類~時：異z»⼊⼒ x, y ²⼊¼時~振舞い|知ºい
1

層⽬

2

層⽬

...

(hl [x], hl [y])

...

(l-1)

層⽬

層⽬

層⽬

l

L

1

層⽬

2

層⽬

(l-1)

層⽬

層⽬

層⽬

l

L

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

~ "⼆点関数"l= ïhl [x]hl [y]ðqxy

幅無限⼤ N → ∞ w1やºGaussian{z»
無限幅(Gaussian = free theory) {¹~z¼²Feynmann図w補正:[Halverson, Maiti, & Stoner, arXiv:2008.08601]

...

...

3.

過剰パùñータの数理 ↩

■ 3-2.

無限幅ニューùûネッø~理論

⼆点関数" ~相転移 [Poole et al., arXiv:1606.05340]"

層tx{再起式{従う：
l
(l−1)
qxy
≈ C(qxy)C

x傾き1~直 実際~NN~⼆点相関
線

ϕ=
tanh

相転移" (無秩序/秩序)"秩序パùñータ∂Cχ1 =∂c c=1= Ãw2 ∫

dz

e

2
2

−z

2π

(ϕ (
′

q ∞ z))

2

3.

過剰パùñータの数理 ↩

■ 3-2.

無限幅ニューùûネッø~理論
Backpropagation ~ 平均場解析
秩序変数 χ1 = Backpropagation~分散係数→ χ ≈ 1:"»º¹~縁" w勾配|消失/発散wzいNN~Fisher情報⾏列 F (¸) ~固有値

[Schoenholz et al., arXiv:1611.01232]

1[KARAKIDA, Akaho, & Amari,arXiv:1806.01316]

勾配更新 ¸t+1 = ¸t − ·∇¸ E(¸) ~収束ÿ必要Ā条件

Neural Tangent Kernel [Jacot, Gabriel, & Hongler, arXiv:1806.07572]

同x極限w訓練÷ý»¹²議論1⼤域収束|証明w}»
Feature Learning 極限¸º訓練性~良い無限幅極限[Yang & Hu, arXiv:2011.14522]

４. 拡散ò÷û４. 拡散ò÷û ↩

⽣成ò÷ûx与え¹¼÷ー¿{¹1}¼{似÷ー¿²作º出yĂ÷û■ 4-1.

例： ⽂章⽣成

例: 画像⽣成eﬀectiveness/ )÷ータ( http://karpathy.github.io/2015/05/21/rnn-

÷ータ
LARTIUSls:
O,'tis Marcius!
Let's fetch him off, or
make remain alike.

■

⽣成
→

( https://www.cs.toronto.edu/~kriz/cifar.html )AKINORI:
Came, bloody
decrees,
By city, not herbrows, he is bloody
woe!

⼀つ~考え⽅÷ー¿ x  X 上 確率分布 p(x) {従う
⽣成÷ー¿ y  X 上 Ă÷û q¸ (y) {従う⽣成→４. 拡散ò÷û ↩
■ 4-1.

⽣成ò÷ûx

深層⽣成モデル = 深層学習を⽤いた⽣成ò÷û

潜在空間ò÷û

Z²別途⽤意1Z → X ²推定Variational AutoEncoder, VAE[Kingma & Welling, arXiv:1312.6114]

Generative Adversarial Net, GAN[Goodfellow et al., arXiv:1406.2661]
X

上で~直接ò÷û

X

上~確率²直接推定w{{{»Autoregressive model
Flow-based model[Dinh, Krueger, & Y. Bengio, arXiv:1410.8516] ,[Dinh, Sohl-Dickstein, & S. Bengio, arXiv:1605.08803]

４. 拡散ò÷û ↩
■ 4-1.

⽣成ò÷ûx

拡散ò÷û

深層⽣成モデル = 深層学習を⽤いた⽣成ò÷ûX上~ ù¿øû場 ²推定y»Noise conditioned score network, NCSN[Song & Ermon, arXiv:1907.05600]

Denoising diﬀusion prob model, DDPM
[Ho, Jain & Abbeel, arXiv:2006.11239]

良い点
⾼¿ºúö³z÷ー¿⽣成|可能ÿ画像w{zº~成功Ā■

悪い点Ă÷û{¹~標本抽出 = ù¿øû場~
ÿ確率Ā積分 ³ 推論|遅い■４. 拡散ò÷û ↩
■ 4-2.

拡散ò÷û lightning review

拡散ÿþイºĀ~逆プロ»¹ÿ÷þイºĀをò÷û化し系列

論⽂
Deep Unsupervised Learning using Nonequilibrium
Thermodynamics [Sohl-Dickstein et al., arXiv:1503.03585]
Denoising Diffusion Probabilistic Models[Ho, Jain, & Abbeel, arXiv:2006.11239]
Diffusion Models Beat GANs on Image Synthesis[Dhariwal & Nichol, arXiv:2105.05233]

内容<⾮平衡熱⼒学={着想を得た
始祖的z論⽂上~論⽂を更{進化させた²~
w、拡散ò÷ûブーð~⽕付け役
画像⽣成w GAN を凌駕す»こxを⽰した ブーð~⽕付け役 2

拡散ÿþイºĀ⼊º÷ータ分布~ ¹コアÿフォー¹Ā~推定

論⽂
Generative Modeling by Estimating Gradients of the Data Distribution[Song & Ermon, arXiv:1907.05600]
Score-Based Generative Modeling through Stochastic Differential
Equations [Song et al., arXiv:2011.13456]

内容
拡散ò÷û＝¹コ²推定{
よ»最初~解釈
確率微分⽅程式(SDE){よ»統⼀的z枠組４. 拡散ò÷û ↩
■ 4-2.

拡散ò÷û lightning review
→

SDE:

→

→

dx(t) = f (x(t), t)dt +ùúフøg(t) dw(t)

ノイズ強度

時刻 t ~分布|従う⽅程式：Fokker-Planck⽅程式∂pt (x)= −∇x ⋅ (∂tv(x, t)f (x,t)−pt (x))g(t)22 ∇x log pt (x)

時間²逆転u{FP⽅程式{対応y»À´úÿ¿¹ |わ{¼þ´º ³ ÷ー¿⽣成？

４. 拡散ò÷û ↩
■ 4-2.

拡散ò÷û lightning review←←←

逆向きSDE: dx(Ä ) = −(f (x(Ä ), t) − g(t) ∇ log p (x(Ä )))dÄ + g(t)dwˉ (Ä )g(t)確率フロー: dx(Ä ) = − (f (x(Ä ), t) − 2 ∇ log p (x(Ä ))) dÄ
2

x

t

2

x

∇x log pt (x) ? →ûューùûýッø s¸ (x, t) w近似y»÷ータけ{¹訓練で}»¹³²þッÁンÀ:詳細

t[Hyvärinen, 2005] ,÷þ´¸ンÀ ¹³²þッÁンÀ:

https://hohno0223.github.io/comp_phys_spring_school2023/[Vincent, 2011]~<⽣成模型⼊⾨=参照

４. 拡散ò÷û ↩

拡散ò÷û{おq»様々z疑問
画像⽣成wGAN²凌駕w性能²⽰y~z|？
訓練~安定性~±？
拡散/逆拡散~ñùÀ´Āÿ≒ 物理？Ā|本質的z~{？
画像⽣成{時間|{{»？
⽣成時間/¿ºúö³~間{øüーùºõ|あ»¸う{⾒え»■ 4-3.

[Dhariwal & Nichol, arXiv:2105.05233][Lipman et al., arXiv:2210.02747]

最適輸送(OT)x~関連？ 2-Wasserstein 勾配流？
画像⽣成wOT¸使わ¼v}vい»(V)AE [Tolstikhin et al. arXiv:1711.01558]

GAN [Arjovsky, Chintala, & Bottou, arXiv:1701.07875] , [TANAKA,
arXiv:1910.06832]

よº抜粋

付録：最近の深層学習の実装⾯について

深層学習ù´ブùú ↩

⼤ コア ùイブùú： TensorFlow / PyTorch■2

TensorFlow https://www.tensorﬂow.org/Áューøú²û|⾮常{充実：⾊々z´ン¿ーõ·´¹w動{ysx|可能

https://www.tensorﬂow.org/tutorials?hl=ja

TensorFlow.js (JavaScript) / TensorFlow Lite (Raspi)

Google研究ā´ン 後述~ JAX x Flax/Haiku {移⾏{?

https://twitter.com/mattlynley/status/1538185558953893888

PyTorch https://pytorch.org/

ðッÁ処理z¹1z⼿軽{ ·ンÀûGPU ³ þûÁGPU
https://aru47.hatenablog.com/entry/2020/11/06/225052

⽤途別{ù´öùú|分{¼vい»³²ù´öùú：torch
÷ー¿処理⽤：torchvision / torchaudio / ...
研究w~使⽤率⾼1後述~ HaggingFace ~÷õ¹ûø

https://pytorch.org/docs/stable/index.html

https://www.assemblyai.com/blog/pytorch-vs-tensorﬂow-in-2023/

深層学習ù´ブùú ↩
■第3勢⼒：JAX + α

JAX https://jax.readthedocs.io/

⾃動微分 + jit³ンñ´û(CPU/GPU/TPU) 付}~ numpy x思え良い
Google |開発1⽐較的若い÷ý¸·¿ø
関数型⾔語~設計思想
標準w並列計算
ùンÀĀ変数 ~取º扱い|独特ÿseed や遷移²明⽰w1再現性⾼Āûューùûýッø⼊svいzい2後述
適当z関数²定義 ³ 導関数 jax.grad() w計算可能}¼z¹他~ù´öùúÿsympyzyĀw²出来»|1jit ³ンñ´ûwGPU 等{最適化w}»~|良い変数~取º扱い² tree 構造w定義w}»~w1複雑z関数実装²整理wやyい{²w¼zい深層学習ù´ブùú ↩
■第3勢⼒：JAX + α
JAX w 例え線形回帰² SGD w解：

Python
1
2
3
4
5
6
7
8
9

10

def loss(params, xs, ys):w, b = params
os = w * xs + b

return jnp.mean((os - ys)**2)# training
params = jnp.array([1., 1.])

while not convergent:xs, ys = data_generator.sample()params -= 0.1*jax.grad(loss)(params, xs, ys)s¼¹いz¹簡単1複雑z深層ûューùûýッø？³ 他~ù´öùú深層学習ù´ブùú ↩
■第3勢⼒：JAX + α

Flax https://ﬂax.readthedocs.io/
Google Research|開発

Haiku https://dm-haiku.readthedocs.io/
DeepMind|開発

両⽅共{Ă÷û 純粋z関数 (訓練ñùāー¿²含~zい) xwv実装
Pythonここ~構成法両者w少し違う

1
2

model = ... #params = model.init(...)

5
6

params -= 0.1*jax.grad(loss)(params, xs, ys)
#test

3
4

7
8

while not convergent:xs, ys = data_generator.sample()xs, ys = data_generator.sample()print(model.apply(params, xs) == ys)##

こ~値|更新さ¼»#

更新 (jax.jitを{け»x良い)

出⼒ model.apply(params, x){¹ Adam zy²使え»2ÿFlax  TrainStatexいうAPIw model/params/optimizer ²~x±v管理w}»Ā
optax https://optax.readthedocs.io/深層学習ù´ブùú ↩
■そ~他~深層学習ùイブùú
MXNet (ワ·ンøン⼤/»ーý¾ーāýン⼤ ³ AWS?)

https://mxnet.apache.org/

CNTK (Microsoft) https://learn.microsoft.com/en-us/cognitive-toolkit/...

Python以外²あº~y2TensorFlow (C++) https://www.tensorﬂow.org/api_docs/cc
PyTorch (C++) https://pytorch.org/cppdocs/
Flux (Julia lang) https://ﬂuxml.ai/Flux.jl/stable/
Mathematica

https://reference.wolfram.com/language/tutorial/NeuralNetworksIntroduction.html.ja?source=footer

全部調y}¼vい~{³2他{²沢⼭あ»x思い~y2深層学習ù´ブùú ↩
■深層強化学習ùイブùú
深層強化学習²{zºz⼿軽{w}»¸う{zsvい~y環境~ùイブùú：·ンÀû¸ー¸·ンø：OpenAI Gym ³ GymnasiumþûÁ¸ー¸·ンø： PettingZoo他
Atari²ーĀ{関wv1z}¹著作権~関係{¹ROM~ù´»ン¹²承諾y»形
w~À¶ンýーù可能{変更
深層強化学習~ùイブùú：TensorFlowùー¹：TF-Agents他
PyTorchùー¹：PFRL
他
JAXùー¹：RLax
他
個⼈的{ coax
|良い気|w~yhttps://gymnasium.farama.org/

https://pettingzoo.farama.org/

https://www.tensorﬂow.org/agents?hl=ja

http://pfrl.readthedocs.io/

https://rlax.readthedocs.io/

https://coax.readthedocs.io/基板ò÷û使⽤のためのù´ブùú ↩
■ HuggingFace https://huggingface.co/²āú»~AIùンÁăー企業：
GitHub~¸うz÷ùッøõ¹ーĀ：■ 訓練済みò÷ûを使うùイブùú
共{1⾃前÷ー¿＋層~付⾜w 追加訓練 ²可能

https://ja.wikipedia.org/wiki/Hugging_Face
https://huggingface.co/docs/hub/Transformers https://huggingface.co/docs/transformers/

名前~通º1Transformer系~Ă÷û²扱うsx|w}»
Diﬀusers https://huggingface.co/docs/diﬀusers/

名前~通º1拡散Ă÷û系~Ă÷û²扱うsx|w}»
TenforFlow / PyTorch / Flax²µýーø2

基板ò÷û使⽤のためのù´ブùú ↩
Transformers https://huggingface.co/docs/transformers/

基本構造

pipeline└── tokenizer└── model└──

そ~他 事後処理zy

例：英和翻訳 (checkpoint作成者~⽅：https://twitter.com/voleneko )PythonPython1
2from transformers import pipeline

675translator("I'm now talking about how

34translator = pipeline('translation',model='staka/fugumt-en-ja')

to use the Transformers library inpython.")output

私は今1
PythonwTransformersùイブùúを使⽤する⽅法についv話しvいるxころw
す2'}][{'translation_text': '取º~x±´ン¹タン¹⋯ ⽂字{番号を振»ûーû⋯ transformer ò÷û⋯8

dir_t = vars(translator)
for key in dir_t.keys():print(key, ": ",type(dir_t[key]))

outputtask :<class 'str'>

model :

<class '....'>

tokenizer : <class '....'>
device : <class'torch.device'>...

基板ò÷û使⽤のためのù´ブùú ↩
Transformers https://huggingface.co/docs/transformers/

基本構造

pipeline└── tokenizer└── model└──

取º~x±´ン¹タン¹⋯ ⽂字{番号を振»ûーû⋯ transformer ò÷û⋯

そ~他 事後処理zy

例：画像分類
Pythonhttps://huggingface.co/datasets/huggingface/documentationimages/resolve/main/pipeline-cat-chonk.jpeg

678

Python1
2
3
45from transformers import pipelinemodel="google/vit-base-patch16-224")

classifier(images="xxx.jpeg")[0]{'score': 0.44030264019966125,'label': 'lynx, catamount'} #print(key, ": ",type(dir_c[key]))

outputclassifier = pipeline(

outputdir_c = vars(classifier)for key in dir_c.keys():

⼭猫

task :<class 'str'>

model :

<class '...'>

image_processor :'...'>
device : <class'torch.device'>...

<class基板ò÷û使⽤のためのù´ブùú ↩
Diﬀusers https://huggingface.co/docs/diﬀusers/

基本構造

取º~x±´ン¹タン¹⋯ ¹コ²推定ò÷û└── model└── scheduler ⋯ þ´º付与/除去~¹Á¸ューùーpipeline⋯

例：ネコ画像⽣成器
Python1
2
3
4
5
6from diffusers import DDPMPipeline
ddpm = DDPMPipeline.from_pretrained("google/ddpm-cat-256").to("cuda")
images = ddpm(num_inference_steps=50,
batch_size=3).images

Python789dir_d = vars(ddpm)
for key in dir_d.keys():print(key, ": ",type(dir_d[key]))

output_internal_dict :<class'...'>
unet : <class '...'>
scheduler : <class '...'>unet| model {対応セキュúö³úスクについて ↩
TensorFlow:

参考：Ă÷û}~²~|÷ýÀùĀ{w}»https://github.com/tensorﬂow/tensorﬂow/blob/master/SECURITY.md

keras~ ùĀÀ層 {¸»²~？

https://keras.io/api/layers/core_layers/lambda/： ssw~話{限¹z1Ă÷û~ýーùw pickle ²使う|1s¼{任意³ーù実⾏~脆弱性|あ»：~ WARNING
参考：
TF/Flax ⼤丈夫¹wい~w1HaggingFace~場合1}s~÷ー¿|あ»場合
}¼²流⽤w}»2後述2
PyTorchhttps://pytorch.org/docs/stable/generated/torch.load.html
https://huggingface.co/docs/hub/security-pickle~情報調y¹¼vいzいwy…
いz¼{wv²1事前学習Ă÷û²使う場合注意|必要2

Flax/Haikuセキュúö³úスクについて ↩

上w~確認pickle {関wv1前úー¸~Haggingface~注意úー¸{¸»x：■ HaggingFace Hub...you can only reference functions and classes from the top level module; you cannot
embed them in the pickle file itself. (pickle)ファイû 内{関数を埋め込めzい

トップüベûモ¸ューûからの関数/クラ¹参照しかできず、

何| pickle w呼¼vい»{⾒¼1あ»程度~危険度|わ{»2
OS~·¹öĀ³ーû系
os Ă¸ューûzy組込関数w·¹öĀ{触¼»系eval, exec zy：
Hub ~úý¸øú~ "Files and versions" w1pickle õ±´û|あ»場合1}~
横~ pickle ²¿úッ¿y»x1何|´ンýーøu¼vい»{⾒¼»2ÿ}wv怪wい場合⾚⾊w警告|出vい»ĀĂ÷û| .safetensors xいう拡張⼦~場合更{安全x~sx³

https://qiita.com/tkmz/items/717d524083b71a4af75f

セキュúö³úスクについて ↩

ò÷ûをyうしvも使いくzい場合
安全z PyTorchĂ÷û|⼤半zz… w²万|⼀~場合|あ»~w1xいう⽅1
from_tf=True あ»い from_flax=True xy»(HaggingFace Hub {TensorFlow/Flax~Ă÷û重|あ»場合~有効)■ PyTorch

Python1
2
3from transformers import AutoModelForTokenClassification
model = AutoModelForTokenClassification.from_pretrained("distilbert-base-uncased",
from_tf=True)

outputAll TF 2.0 model weights were used when initializing
DistilBertForTokenClassification.
All the weights of DistilBertForTokenClassification were initialized from the TF
2.0 model.
If your task is similar to the task the model of the checkpoint was trained on,
you can already use DistilBertForTokenClassification for predictions without
further training.

Ă÷û|zい場合1¸ùー|出~y2

TensorFlow/Flaxセキュúö³úスクについて ↩
■xいうわqw
訓練済Ă÷û²使う~|s¼{¹重要{zsv»x思わ¼~y|1}~使⽤{注意wvuい2sudo ³þンù²使う時~気持{z»x良い{²：With great power comes great responsibility■xいうも~~
原義~ÿ正義~？Āハッカー~⽅々¿ùッキンÀÿ世間的{いうハッキンÀ※Āやらzい x思い~y：参考x以下~引⽤：
https://cruel.org/freeware/hacker.html

順不同) ハッカー問題を解決し1物事を築}ます2そしv⾃由x⾃発的z助け合いを信条xしvいます2 ... 実y~科学や芸術分野wも1⼀番⾼い⽔準wこ~ハッカー精神|⾒¹れます2... ハッ»ー²
声⾼{名乗»別~集団が存在しますが1彼¹ハッ»ーであºませ³2こ¼コンピュータ{侵⼊しº1電話~がけしºす»⼈々ÿ主{男~¼½Āです2本物~ハッカーこ~連中を<クラッカーÿcrackerĀ=x呼び1⼀切関わºを持ちたくzいx思っvいます2...

(※

元来1ハッ½ング{悪い意味あºませ³： https://ja.wikipedia.org/wiki/ÿッキンÀ

GPU

の使⽤

ss~w紹介w全v~ù´öùúw使⽤可能2⾃前w⽤意y»場合注意：
1. NVIDIA ùù´ðー²À¶ンýーù1 nvidia-smi |通»sx²確認
2. ùù´ðーxCUDA~ðー¸ョン対応²確認´wCUDA²⼊¼»(~ CUDA Driver)
3. CUDAðー¸ョン{適w TensorFlow/PyTorch/JAX ²À¶ンýーù
う~GPU²認識w}vい»場合1pip w~À¶ンýーù|簡単
docker´āー¸|あ»場合 2,3 結合可能2GPU使⽤~際
https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html

docker run --gpus

枚数 ...

~º÷·ョン²tv³ンöú²開2(docker >=19.03)
JAX ~ docker´āー¸ 公式~²~|~zいÿ開発中？Āwy|1
TensorFlow~´āー¸²ùー¹{y»xう~い}~w2
Python 以外w~使⽤{関wv僕わ{º~{³2yい~{³2ご静聴ありがとうごvいまwた1.

導⼊

深層学習x
1-2. 物理学x~関連
2. 深層学習 2019~2-1. Transformer~登場
2-2. 拡散ò÷û~登場
2-3. "基盤ò÷û"3. 過剰āùñータ~数理
3-1. 過剰āùñータ~統計学
3-2. 無限幅ニューùûýッø~理論
４. 拡散ò÷û
4-1. ⽣成ò÷ûx
4-2. 拡散ò÷û lightning review
4-3. 拡散ò÷û{おけ»様々z疑問
1-1.

深層学習ù´ブùú基板ò÷û使⽤~た±~ù´ブùú»キュúö³ú¹¿{ついv
GPU ~使⽤