Hugging Face's logo

jmercat
/
diffusion_koch_feed_cat_3

Robotics
Safetensors
lerobot
diffusion-policy
model_hub_mixin
pytorch_model_hub_mixin
Model card Files Community
jmercat commited on
Commit
8f8d781
•
1 Parent(s): 32bfeaf

Upload folder using huggingface_hub

Browse files
Files changed (4) hide show
  1. README.md +12 -0
  2. config.json +55 -0
  3. config.yaml +263 -0
  4. model.safetensors +3 -0
README.md ADDED
@@ -0,0 +1,12 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ library_name: lerobot
3
+ tags:
4
+ - diffusion-policy
5
+ - model_hub_mixin
6
+ - pytorch_model_hub_mixin
7
+ - robotics
8
+ ---
9
+
10
+ This model has been pushed to the Hub using the [PytorchModelHubMixin](https://huggingface.co/docs/huggingface_hub/package_reference/mixins#huggingface_hub.PyTorchModelHubMixin) integration:
11
+ - Library: https://github.com/huggingface/lerobot
12
+ - Docs: [More Information Needed]
config.json ADDED
@@ -0,0 +1,55 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "beta_end": 0.02,
3
+ "beta_schedule": "squaredcos_cap_v2",
4
+ "beta_start": 0.0001,
5
+ "clip_sample": true,
6
+ "clip_sample_range": 1.0,
7
+ "crop_is_random": true,
8
+ "crop_shape": [
9
+ 432,
10
+ 576
11
+ ],
12
+ "diffusion_step_embed_dim": 128,
13
+ "do_mask_loss_for_padding": false,
14
+ "down_dims": [
15
+ 512,
16
+ 512,
17
+ 512
18
+ ],
19
+ "horizon": 128,
20
+ "input_normalization_modes": {
21
+ "observation.images.phone": "mean_std",
22
+ "observation.state": "mean_std"
23
+ },
24
+ "input_shapes": {
25
+ "observation.images.phone": [
26
+ 3,
27
+ 480,
28
+ 640
29
+ ],
30
+ "observation.state": [
31
+ 6
32
+ ]
33
+ },
34
+ "kernel_size": 5,
35
+ "n_action_steps": 32,
36
+ "n_groups": 8,
37
+ "n_obs_steps": 1,
38
+ "noise_scheduler_type": "DDPM",
39
+ "num_inference_steps": null,
40
+ "num_train_timesteps": 100,
41
+ "output_normalization_modes": {
42
+ "action": "mean_std"
43
+ },
44
+ "output_shapes": {
45
+ "action": [
46
+ 6
47
+ ]
48
+ },
49
+ "prediction_type": "sample",
50
+ "pretrained_backbone_weights": "ResNet18_Weights.IMAGENET1K_V1",
51
+ "spatial_softmax_num_keypoints": 32,
52
+ "use_film_scale_modulation": true,
53
+ "use_group_norm": false,
54
+ "vision_backbone": "resnet18"
55
+ }
config.yaml ADDED
@@ -0,0 +1,263 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ resume: false
2
+ device: cuda
3
+ use_amp: false
4
+ seed: 1000
5
+ dataset_repo_id: jmercat/koch_feed_cat_2
6
+ video_backend: pyav
7
+ training:
8
+ offline_steps: 16000
9
+ num_workers: 4
10
+ batch_size: 64
11
+ eval_freq: -1
12
+ log_freq: 200
13
+ save_checkpoint: true
14
+ save_freq: 1600
15
+ online_steps: 0
16
+ online_rollout_n_episodes: 1
17
+ online_rollout_batch_size: 1
18
+ online_steps_between_rollouts: 1
19
+ online_sampling_ratio: 0.5
20
+ online_env_seed: null
21
+ online_buffer_capacity: null
22
+ online_buffer_seed_size: 0
23
+ do_online_rollout_async: false
24
+ image_transforms:
25
+ enable: false
26
+ max_num_transforms: 3
27
+ random_order: false
28
+ brightness:
29
+ weight: 1
30
+ min_max:
31
+ - 0.8
32
+ - 1.2
33
+ contrast:
34
+ weight: 1
35
+ min_max:
36
+ - 0.8
37
+ - 1.2
38
+ saturation:
39
+ weight: 1
40
+ min_max:
41
+ - 0.5
42
+ - 1.5
43
+ hue:
44
+ weight: 1
45
+ min_max:
46
+ - -0.05
47
+ - 0.05
48
+ sharpness:
49
+ weight: 1
50
+ min_max:
51
+ - 0.8
52
+ - 1.2
53
+ grad_clip_norm: 10
54
+ lr: 0.0001
55
+ lr_scheduler: cosine
56
+ lr_warmup_steps: 500
57
+ adam_betas:
58
+ - 0.95
59
+ - 0.999
60
+ adam_eps: 1.0e-08
61
+ adam_weight_decay: 1.0e-06
62
+ delta_timestamps:
63
+ action:
64
+ - 0.0
65
+ - 0.03333333333333333
66
+ - 0.06666666666666667
67
+ - 0.1
68
+ - 0.13333333333333333
69
+ - 0.16666666666666666
70
+ - 0.2
71
+ - 0.23333333333333334
72
+ - 0.26666666666666666
73
+ - 0.3
74
+ - 0.3333333333333333
75
+ - 0.36666666666666664
76
+ - 0.4
77
+ - 0.43333333333333335
78
+ - 0.4666666666666667
79
+ - 0.5
80
+ - 0.5333333333333333
81
+ - 0.5666666666666667
82
+ - 0.6
83
+ - 0.6333333333333333
84
+ - 0.6666666666666666
85
+ - 0.7
86
+ - 0.7333333333333333
87
+ - 0.7666666666666667
88
+ - 0.8
89
+ - 0.8333333333333334
90
+ - 0.8666666666666667
91
+ - 0.9
92
+ - 0.9333333333333333
93
+ - 0.9666666666666667
94
+ - 1.0
95
+ - 1.0333333333333334
96
+ - 1.0666666666666667
97
+ - 1.1
98
+ - 1.1333333333333333
99
+ - 1.1666666666666667
100
+ - 1.2
101
+ - 1.2333333333333334
102
+ - 1.2666666666666666
103
+ - 1.3
104
+ - 1.3333333333333333
105
+ - 1.3666666666666667
106
+ - 1.4
107
+ - 1.4333333333333333
108
+ - 1.4666666666666666
109
+ - 1.5
110
+ - 1.5333333333333334
111
+ - 1.5666666666666667
112
+ - 1.6
113
+ - 1.6333333333333333
114
+ - 1.6666666666666667
115
+ - 1.7
116
+ - 1.7333333333333334
117
+ - 1.7666666666666666
118
+ - 1.8
119
+ - 1.8333333333333333
120
+ - 1.8666666666666667
121
+ - 1.9
122
+ - 1.9333333333333333
123
+ - 1.9666666666666666
124
+ - 2.0
125
+ - 2.033333333333333
126
+ - 2.066666666666667
127
+ - 2.1
128
+ - 2.1333333333333333
129
+ - 2.1666666666666665
130
+ - 2.2
131
+ - 2.2333333333333334
132
+ - 2.2666666666666666
133
+ - 2.3
134
+ - 2.3333333333333335
135
+ - 2.3666666666666667
136
+ - 2.4
137
+ - 2.433333333333333
138
+ - 2.466666666666667
139
+ - 2.5
140
+ - 2.533333333333333
141
+ - 2.566666666666667
142
+ - 2.6
143
+ - 2.6333333333333333
144
+ - 2.6666666666666665
145
+ - 2.7
146
+ - 2.7333333333333334
147
+ - 2.7666666666666666
148
+ - 2.8
149
+ - 2.8333333333333335
150
+ - 2.8666666666666667
151
+ - 2.9
152
+ - 2.933333333333333
153
+ - 2.966666666666667
154
+ - 3.0
155
+ - 3.033333333333333
156
+ - 3.066666666666667
157
+ - 3.1
158
+ - 3.1333333333333333
159
+ - 3.1666666666666665
160
+ - 3.2
161
+ - 3.2333333333333334
162
+ - 3.2666666666666666
163
+ - 3.3
164
+ - 3.3333333333333335
165
+ - 3.3666666666666667
166
+ - 3.4
167
+ - 3.433333333333333
168
+ - 3.466666666666667
169
+ - 3.5
170
+ - 3.533333333333333
171
+ - 3.566666666666667
172
+ - 3.6
173
+ - 3.6333333333333333
174
+ - 3.6666666666666665
175
+ - 3.7
176
+ - 3.7333333333333334
177
+ - 3.7666666666666666
178
+ - 3.8
179
+ - 3.8333333333333335
180
+ - 3.8666666666666667
181
+ - 3.9
182
+ - 3.933333333333333
183
+ - 3.966666666666667
184
+ - 4.0
185
+ - 4.033333333333333
186
+ - 4.066666666666666
187
+ - 4.1
188
+ - 4.133333333333334
189
+ - 4.166666666666667
190
+ - 4.2
191
+ - 4.233333333333333
192
+ eval:
193
+ n_episodes: 5
194
+ batch_size: 5
195
+ use_async_envs: false
196
+ wandb:
197
+ enable: true
198
+ disable_artifact: false
199
+ project: lerobot
200
+ notes: ''
201
+ fps: 30
202
+ env:
203
+ name: real_world
204
+ task: null
205
+ state_dim: 6
206
+ action_dim: 6
207
+ fps: ${fps}
208
+ override_dataset_stats:
209
+ observation.images.phone:
210
+ mean:
211
+ - - - 0.485
212
+ - - - 0.456
213
+ - - - 0.406
214
+ std:
215
+ - - - 0.229
216
+ - - - 0.224
217
+ - - - 0.225
218
+ policy:
219
+ name: diffusion
220
+ n_obs_steps: 1
221
+ horizon: 128
222
+ n_action_steps: 32
223
+ input_shapes:
224
+ observation.images.phone:
225
+ - 3
226
+ - 480
227
+ - 640
228
+ observation.state:
229
+ - ${env.state_dim}
230
+ output_shapes:
231
+ action:
232
+ - ${env.action_dim}
233
+ input_normalization_modes:
234
+ observation.images.phone: mean_std
235
+ observation.state: mean_std
236
+ output_normalization_modes:
237
+ action: mean_std
238
+ vision_backbone: resnet18
239
+ crop_shape:
240
+ - 432
241
+ - 576
242
+ crop_is_random: true
243
+ pretrained_backbone_weights: ResNet18_Weights.IMAGENET1K_V1
244
+ use_group_norm: false
245
+ spatial_softmax_num_keypoints: 32
246
+ down_dims:
247
+ - 512
248
+ - 512
249
+ - 512
250
+ kernel_size: 5
251
+ n_groups: 8
252
+ diffusion_step_embed_dim: 128
253
+ use_film_scale_modulation: true
254
+ noise_scheduler_type: DDPM
255
+ num_train_timesteps: 100
256
+ beta_schedule: squaredcos_cap_v2
257
+ beta_start: 0.0001
258
+ beta_end: 0.02
259
+ prediction_type: sample
260
+ clip_sample: true
261
+ clip_sample_range: 1.0
262
+ num_inference_steps: null
263
+ do_mask_loss_for_padding: false
model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:5a30d2d293595ed6ac6ba8a815a5259045c37d5b6485733e63b2f7bec662db10
3
+ size 210612832