Hugging Face's logo

m1b
/
act_koch_multitask_film_20K

Transformers
Safetensors
model_hub_mixin
pytorch_model_hub_mixin
Inference Endpoints
Model card Files Community
m1b commited on
Commit
93a8d05
•
1 Parent(s): 3fe83ae

Upload folder using huggingface_hub

Browse files
Files changed (4) hide show
  1. README.md +9 -0
  2. config.json +52 -0
  3. config.yaml +234 -0
  4. model.safetensors +3 -0
README.md ADDED
@@ -0,0 +1,9 @@
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ tags:
3
+ - model_hub_mixin
4
+ - pytorch_model_hub_mixin
5
+ ---
6
+
7
+ This model has been pushed to the Hub using the [PytorchModelHubMixin](https://huggingface.co/docs/huggingface_hub/package_reference/mixins#huggingface_hub.PyTorchModelHubMixin) integration:
8
+ - Library: [More Information Needed]
9
+ - Docs: [More Information Needed]
config.json ADDED
@@ -0,0 +1,52 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "chunk_size": 100,
3
+ "dim_feedforward": 3200,
4
+ "dim_model": 512,
5
+ "dropout": 0.1,
6
+ "feedforward_activation": "relu",
7
+ "input_normalization_modes": {
8
+ "observation.images.laptop": "mean_std",
9
+ "observation.images.phone": "mean_std",
10
+ "observation.state": "mean_std"
11
+ },
12
+ "input_shapes": {
13
+ "dataset_index": [
14
+ 1
15
+ ],
16
+ "observation.images.laptop": [
17
+ 3,
18
+ 480,
19
+ 640
20
+ ],
21
+ "observation.images.phone": [
22
+ 3,
23
+ 480,
24
+ 640
25
+ ],
26
+ "observation.state": [
27
+ 6
28
+ ]
29
+ },
30
+ "kl_weight": 10.0,
31
+ "latent_dim": 32,
32
+ "n_action_steps": 100,
33
+ "n_decoder_layers": 1,
34
+ "n_encoder_layers": 4,
35
+ "n_heads": 8,
36
+ "n_obs_steps": 1,
37
+ "n_vae_encoder_layers": 4,
38
+ "output_normalization_modes": {
39
+ "action": "mean_std"
40
+ },
41
+ "output_shapes": {
42
+ "action": [
43
+ 6
44
+ ]
45
+ },
46
+ "pre_norm": false,
47
+ "pretrained_backbone_weights": "ResNet18_Weights.IMAGENET1K_V1",
48
+ "replace_final_stride_with_dilation": false,
49
+ "temporal_ensemble_coeff": null,
50
+ "use_vae": false,
51
+ "vision_backbone": "resnet18"
52
+ }
config.yaml ADDED
@@ -0,0 +1,234 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ resume: false
2
+ device: cuda
3
+ seed: 84
4
+ dataset_repo_id:
5
+ - m1b/koch_pick_red_lego_new_camera
6
+ - m1b/koch_pick_red_lego_green_box
7
+ video_backend: pyav
8
+ training:
9
+ offline_steps: 50000
10
+ online_steps: 0
11
+ online_steps_between_rollouts: 1
12
+ online_sampling_ratio: 0.5
13
+ online_env_seed: ???
14
+ eval_freq: -1
15
+ log_freq: 200
16
+ save_checkpoint: true
17
+ save_freq: 20000
18
+ num_workers: 4
19
+ batch_size: 8
20
+ image_transforms:
21
+ enable: false
22
+ max_num_transforms: 3
23
+ random_order: false
24
+ brightness:
25
+ weight: 1
26
+ min_max:
27
+ - 0.8
28
+ - 1.2
29
+ contrast:
30
+ weight: 1
31
+ min_max:
32
+ - 0.8
33
+ - 1.2
34
+ saturation:
35
+ weight: 1
36
+ min_max:
37
+ - 0.5
38
+ - 1.5
39
+ hue:
40
+ weight: 1
41
+ min_max:
42
+ - -0.05
43
+ - 0.05
44
+ sharpness:
45
+ weight: 1
46
+ min_max:
47
+ - 0.8
48
+ - 1.2
49
+ lr: 1.0e-05
50
+ lr_backbone: 1.0e-05
51
+ weight_decay: 0.0001
52
+ grad_clip_norm: 10
53
+ delta_timestamps:
54
+ action:
55
+ - 0.0
56
+ - 0.03333333333333333
57
+ - 0.06666666666666667
58
+ - 0.1
59
+ - 0.13333333333333333
60
+ - 0.16666666666666666
61
+ - 0.2
62
+ - 0.23333333333333334
63
+ - 0.26666666666666666
64
+ - 0.3
65
+ - 0.3333333333333333
66
+ - 0.36666666666666664
67
+ - 0.4
68
+ - 0.43333333333333335
69
+ - 0.4666666666666667
70
+ - 0.5
71
+ - 0.5333333333333333
72
+ - 0.5666666666666667
73
+ - 0.6
74
+ - 0.6333333333333333
75
+ - 0.6666666666666666
76
+ - 0.7
77
+ - 0.7333333333333333
78
+ - 0.7666666666666667
79
+ - 0.8
80
+ - 0.8333333333333334
81
+ - 0.8666666666666667
82
+ - 0.9
83
+ - 0.9333333333333333
84
+ - 0.9666666666666667
85
+ - 1.0
86
+ - 1.0333333333333334
87
+ - 1.0666666666666667
88
+ - 1.1
89
+ - 1.1333333333333333
90
+ - 1.1666666666666667
91
+ - 1.2
92
+ - 1.2333333333333334
93
+ - 1.2666666666666666
94
+ - 1.3
95
+ - 1.3333333333333333
96
+ - 1.3666666666666667
97
+ - 1.4
98
+ - 1.4333333333333333
99
+ - 1.4666666666666666
100
+ - 1.5
101
+ - 1.5333333333333334
102
+ - 1.5666666666666667
103
+ - 1.6
104
+ - 1.6333333333333333
105
+ - 1.6666666666666667
106
+ - 1.7
107
+ - 1.7333333333333334
108
+ - 1.7666666666666666
109
+ - 1.8
110
+ - 1.8333333333333333
111
+ - 1.8666666666666667
112
+ - 1.9
113
+ - 1.9333333333333333
114
+ - 1.9666666666666666
115
+ - 2.0
116
+ - 2.033333333333333
117
+ - 2.066666666666667
118
+ - 2.1
119
+ - 2.1333333333333333
120
+ - 2.1666666666666665
121
+ - 2.2
122
+ - 2.2333333333333334
123
+ - 2.2666666666666666
124
+ - 2.3
125
+ - 2.3333333333333335
126
+ - 2.3666666666666667
127
+ - 2.4
128
+ - 2.433333333333333
129
+ - 2.466666666666667
130
+ - 2.5
131
+ - 2.533333333333333
132
+ - 2.566666666666667
133
+ - 2.6
134
+ - 2.6333333333333333
135
+ - 2.6666666666666665
136
+ - 2.7
137
+ - 2.7333333333333334
138
+ - 2.7666666666666666
139
+ - 2.8
140
+ - 2.8333333333333335
141
+ - 2.8666666666666667
142
+ - 2.9
143
+ - 2.933333333333333
144
+ - 2.966666666666667
145
+ - 3.0
146
+ - 3.033333333333333
147
+ - 3.066666666666667
148
+ - 3.1
149
+ - 3.1333333333333333
150
+ - 3.1666666666666665
151
+ - 3.2
152
+ - 3.2333333333333334
153
+ - 3.2666666666666666
154
+ - 3.3
155
+ eval:
156
+ n_episodes: 1
157
+ batch_size: 1
158
+ use_async_envs: false
159
+ wandb:
160
+ enable: true
161
+ disable_artifact: false
162
+ project: lerobot
163
+ notes: ''
164
+ fps: 30
165
+ env:
166
+ name: koch
167
+ task: Koch-v0
168
+ state_dim: 6
169
+ action_dim: 6
170
+ fps: ${fps}
171
+ gym:
172
+ fps: ${fps}
173
+ override_dataset_stats:
174
+ observation.images.laptop:
175
+ mean:
176
+ - - - 0.485
177
+ - - - 0.456
178
+ - - - 0.406
179
+ std:
180
+ - - - 0.229
181
+ - - - 0.224
182
+ - - - 0.225
183
+ observation.images.phone:
184
+ mean:
185
+ - - - 0.485
186
+ - - - 0.456
187
+ - - - 0.406
188
+ std:
189
+ - - - 0.229
190
+ - - - 0.224
191
+ - - - 0.225
192
+ policy:
193
+ name: act
194
+ n_obs_steps: 1
195
+ chunk_size: 100
196
+ n_action_steps: 100
197
+ input_shapes:
198
+ observation.images.laptop:
199
+ - 3
200
+ - 480
201
+ - 640
202
+ observation.images.phone:
203
+ - 3
204
+ - 480
205
+ - 640
206
+ observation.state:
207
+ - ${env.state_dim}
208
+ dataset_index:
209
+ - 1
210
+ output_shapes:
211
+ action:
212
+ - ${env.action_dim}
213
+ input_normalization_modes:
214
+ observation.images.laptop: mean_std
215
+ observation.images.phone: mean_std
216
+ observation.state: mean_std
217
+ output_normalization_modes:
218
+ action: mean_std
219
+ vision_backbone: resnet18
220
+ pretrained_backbone_weights: ResNet18_Weights.IMAGENET1K_V1
221
+ replace_final_stride_with_dilation: false
222
+ pre_norm: false
223
+ dim_model: 512
224
+ n_heads: 8
225
+ dim_feedforward: 3200
226
+ feedforward_activation: relu
227
+ n_encoder_layers: 4
228
+ n_decoder_layers: 1
229
+ use_vae: false
230
+ latent_dim: 32
231
+ n_vae_encoder_layers: 4
232
+ temporal_ensemble_momentum: null
233
+ dropout: 0.1
234
+ kl_weight: 10.0
model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:58cac77f89db732555e704e5cd90e8171e241a18138f0a072d31c437db03e1b8
3
+ size 136992792