Hugging Face's logo

stanfordmimi
/
synthpose-hrnet-48-mmpose

Model card Files Community
yonigozlan HF staff commited on
Commit
9cc4736
•
1 Parent(s): 8671d09

Upload 2 files

Browse files
Files changed (2) hide show
  1. hrnet-w48_dark.pth +3 -0
  2. td-hm_hrnet-w48_dark-8xb32-210e_merge_bedlam_infinity_coco_3DPW_eval_rich-384x288_pretrained.py +1779 -0
hrnet-w48_dark.pth ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:6d91d6cc57c701c48472a61187fe46a1d9925b1eb43f7e796016c28ed320897e
3
+ size 800020597
td-hm_hrnet-w48_dark-8xb32-210e_merge_bedlam_infinity_coco_3DPW_eval_rich-384x288_pretrained.py ADDED
@@ -0,0 +1,1779 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ auto_scale_lr = dict(base_batch_size=512)
2
+ backend_args = dict(backend='local')
3
+ codec = dict(
4
+ heatmap_size=(
5
+ 72,
6
+ 96,
7
+ ),
8
+ input_size=(
9
+ 288,
10
+ 384,
11
+ ),
12
+ sigma=3,
13
+ type='MSRAHeatmap',
14
+ unbiased=True)
15
+ combined_dataset = dict(
16
+ datasets=[
17
+ dict(
18
+ ann_file='combined_dataset_15fps/train/annotations.json',
19
+ data_mode='topdown',
20
+ data_prefix=dict(img=''),
21
+ data_root='/scratch/users/yonigoz/infinity_datasets/',
22
+ pipeline=[],
23
+ type='InfinityDataset',
24
+ used_data_keys=[
25
+ 'nose',
26
+ 'left_eye',
27
+ 'right_eye',
28
+ 'left_ear',
29
+ 'right_ear',
30
+ 'left_shoulder',
31
+ 'right_shoulder',
32
+ 'left_elbow',
33
+ 'right_elbow',
34
+ 'left_wrist',
35
+ 'right_wrist',
36
+ 'left_hip',
37
+ 'right_hip',
38
+ 'left_knee',
39
+ 'right_knee',
40
+ 'left_ankle',
41
+ 'right_ankle',
42
+ 'sternum',
43
+ 'rshoulder',
44
+ 'lshoulder',
45
+ 'r_lelbow',
46
+ 'l_lelbow',
47
+ 'r_melbow',
48
+ 'l_melbow',
49
+ 'r_lwrist',
50
+ 'l_lwrist',
51
+ 'r_mwrist',
52
+ 'l_mwrist',
53
+ 'r_ASIS',
54
+ 'l_ASIS',
55
+ 'r_PSIS',
56
+ 'l_PSIS',
57
+ 'r_knee',
58
+ 'l_knee',
59
+ 'r_mknee',
60
+ 'l_mknee',
61
+ 'r_ankle',
62
+ 'l_ankle',
63
+ 'r_mankle',
64
+ 'l_mankle',
65
+ 'r_5meta',
66
+ 'l_5meta',
67
+ 'r_toe',
68
+ 'l_toe',
69
+ 'r_big_toe',
70
+ 'l_big_toe',
71
+ 'l_calc',
72
+ 'r_calc',
73
+ 'C7',
74
+ 'L2',
75
+ 'T11',
76
+ 'T6',
77
+ ]),
78
+ dict(
79
+ ann_file='train_annotations.json',
80
+ data_mode='topdown',
81
+ data_prefix=dict(img='training_images/'),
82
+ data_root='/scratch/users/yonigoz/BEDLAM/data/',
83
+ pipeline=[],
84
+ type='InfinityDataset',
85
+ used_data_keys=[
86
+ 'nose',
87
+ 'left_eye',
88
+ 'right_eye',
89
+ 'left_ear',
90
+ 'right_ear',
91
+ 'left_shoulder',
92
+ 'right_shoulder',
93
+ 'left_elbow',
94
+ 'right_elbow',
95
+ 'left_wrist',
96
+ 'right_wrist',
97
+ 'left_hip',
98
+ 'right_hip',
99
+ 'left_knee',
100
+ 'right_knee',
101
+ 'left_ankle',
102
+ 'right_ankle',
103
+ 'sternum',
104
+ 'rshoulder',
105
+ 'lshoulder',
106
+ 'r_lelbow',
107
+ 'l_lelbow',
108
+ 'r_melbow',
109
+ 'l_melbow',
110
+ 'r_lwrist',
111
+ 'l_lwrist',
112
+ 'r_mwrist',
113
+ 'l_mwrist',
114
+ 'r_ASIS',
115
+ 'l_ASIS',
116
+ 'r_PSIS',
117
+ 'l_PSIS',
118
+ 'r_knee',
119
+ 'l_knee',
120
+ 'r_mknee',
121
+ 'l_mknee',
122
+ 'r_ankle',
123
+ 'l_ankle',
124
+ 'r_mankle',
125
+ 'l_mankle',
126
+ 'r_5meta',
127
+ 'l_5meta',
128
+ 'r_toe',
129
+ 'l_toe',
130
+ 'r_big_toe',
131
+ 'l_big_toe',
132
+ 'l_calc',
133
+ 'r_calc',
134
+ 'C7',
135
+ 'L2',
136
+ 'T11',
137
+ 'T6',
138
+ ]),
139
+ dict(
140
+ ann_file='3DPW/train_annotations.json',
141
+ data_mode='topdown',
142
+ data_prefix=dict(img=''),
143
+ data_root='/scratch/users/yonigoz/',
144
+ pipeline=[],
145
+ type='InfinityDataset',
146
+ used_data_keys=[
147
+ 'nose',
148
+ 'left_eye',
149
+ 'right_eye',
150
+ 'left_ear',
151
+ 'right_ear',
152
+ 'left_shoulder',
153
+ 'right_shoulder',
154
+ 'left_elbow',
155
+ 'right_elbow',
156
+ 'left_wrist',
157
+ 'right_wrist',
158
+ 'left_hip',
159
+ 'right_hip',
160
+ 'left_knee',
161
+ 'right_knee',
162
+ 'left_ankle',
163
+ 'right_ankle',
164
+ 'sternum',
165
+ 'rshoulder',
166
+ 'lshoulder',
167
+ 'r_lelbow',
168
+ 'l_lelbow',
169
+ 'r_melbow',
170
+ 'l_melbow',
171
+ 'r_lwrist',
172
+ 'l_lwrist',
173
+ 'r_mwrist',
174
+ 'l_mwrist',
175
+ 'r_ASIS',
176
+ 'l_ASIS',
177
+ 'r_PSIS',
178
+ 'l_PSIS',
179
+ 'r_knee',
180
+ 'l_knee',
181
+ 'r_mknee',
182
+ 'l_mknee',
183
+ 'r_ankle',
184
+ 'l_ankle',
185
+ 'r_mankle',
186
+ 'l_mankle',
187
+ 'r_5meta',
188
+ 'l_5meta',
189
+ 'r_toe',
190
+ 'l_toe',
191
+ 'r_big_toe',
192
+ 'l_big_toe',
193
+ 'l_calc',
194
+ 'r_calc',
195
+ 'C7',
196
+ 'L2',
197
+ 'T11',
198
+ 'T6',
199
+ ]),
200
+ dict(
201
+ ann_file='annotations/person_keypoints_train2017.json',
202
+ data_mode='topdown',
203
+ data_prefix=dict(img='images/train2017/'),
204
+ data_root='/scratch/users/yonigoz/coco_dataset',
205
+ pipeline=[
206
+ dict(
207
+ mapping=[
208
+ (
209
+ 0,
210
+ 0,
211
+ ),
212
+ (
213
+ 1,
214
+ 1,
215
+ ),
216
+ (
217
+ 2,
218
+ 2,
219
+ ),
220
+ (
221
+ 3,
222
+ 3,
223
+ ),
224
+ (
225
+ 4,
226
+ 4,
227
+ ),
228
+ (
229
+ 5,
230
+ 5,
231
+ ),
232
+ (
233
+ 6,
234
+ 6,
235
+ ),
236
+ (
237
+ 7,
238
+ 7,
239
+ ),
240
+ (
241
+ 8,
242
+ 8,
243
+ ),
244
+ (
245
+ 9,
246
+ 9,
247
+ ),
248
+ (
249
+ 10,
250
+ 10,
251
+ ),
252
+ (
253
+ 11,
254
+ 11,
255
+ ),
256
+ (
257
+ 12,
258
+ 12,
259
+ ),
260
+ (
261
+ 13,
262
+ 13,
263
+ ),
264
+ (
265
+ 14,
266
+ 14,
267
+ ),
268
+ (
269
+ 15,
270
+ 15,
271
+ ),
272
+ (
273
+ 16,
274
+ 16,
275
+ ),
276
+ ],
277
+ num_keypoints=52,
278
+ type='KeypointConverter'),
279
+ ],
280
+ type='CocoDataset'),
281
+ ],
282
+ metainfo=dict(from_file='configs/_base_/datasets/infinity.py'),
283
+ pipeline=[
284
+ dict(type='LoadImage'),
285
+ dict(type='GetBBoxCenterScale'),
286
+ dict(direction='horizontal', type='RandomFlip'),
287
+ dict(type='RandomHalfBody'),
288
+ dict(type='RandomBBoxTransform'),
289
+ dict(input_size=(
290
+ 288,
291
+ 384,
292
+ ), type='TopdownAffine'),
293
+ dict(
294
+ encoder=dict(
295
+ heatmap_size=(
296
+ 72,
297
+ 96,
298
+ ),
299
+ input_size=(
300
+ 288,
301
+ 384,
302
+ ),
303
+ sigma=3,
304
+ type='MSRAHeatmap',
305
+ unbiased=True),
306
+ type='GenerateTarget'),
307
+ dict(type='PackPoseInputs'),
308
+ ],
309
+ test_mode=False,
310
+ type='CombinedDataset',
311
+ used_data_keys=[
312
+ 'nose',
313
+ 'left_eye',
314
+ 'right_eye',
315
+ 'left_ear',
316
+ 'right_ear',
317
+ 'left_shoulder',
318
+ 'right_shoulder',
319
+ 'left_elbow',
320
+ 'right_elbow',
321
+ 'left_wrist',
322
+ 'right_wrist',
323
+ 'left_hip',
324
+ 'right_hip',
325
+ 'left_knee',
326
+ 'right_knee',
327
+ 'left_ankle',
328
+ 'right_ankle',
329
+ 'sternum',
330
+ 'rshoulder',
331
+ 'lshoulder',
332
+ 'r_lelbow',
333
+ 'l_lelbow',
334
+ 'r_melbow',
335
+ 'l_melbow',
336
+ 'r_lwrist',
337
+ 'l_lwrist',
338
+ 'r_mwrist',
339
+ 'l_mwrist',
340
+ 'r_ASIS',
341
+ 'l_ASIS',
342
+ 'r_PSIS',
343
+ 'l_PSIS',
344
+ 'r_knee',
345
+ 'l_knee',
346
+ 'r_mknee',
347
+ 'l_mknee',
348
+ 'r_ankle',
349
+ 'l_ankle',
350
+ 'r_mankle',
351
+ 'l_mankle',
352
+ 'r_5meta',
353
+ 'l_5meta',
354
+ 'r_toe',
355
+ 'l_toe',
356
+ 'r_big_toe',
357
+ 'l_big_toe',
358
+ 'l_calc',
359
+ 'r_calc',
360
+ 'C7',
361
+ 'L2',
362
+ 'T11',
363
+ 'T6',
364
+ ])
365
+ custom_hooks = [
366
+ dict(type='SyncBuffersHook'),
367
+ ]
368
+ data_mode = 'topdown'
369
+ data_root = ''
370
+ dataset_3DPW = dict(
371
+ ann_file='3DPW/train_annotations.json',
372
+ data_mode='topdown',
373
+ data_prefix=dict(img=''),
374
+ data_root='/scratch/users/yonigoz/',
375
+ pipeline=[],
376
+ type='InfinityDataset',
377
+ used_data_keys=[
378
+ 'nose',
379
+ 'left_eye',
380
+ 'right_eye',
381
+ 'left_ear',
382
+ 'right_ear',
383
+ 'left_shoulder',
384
+ 'right_shoulder',
385
+ 'left_elbow',
386
+ 'right_elbow',
387
+ 'left_wrist',
388
+ 'right_wrist',
389
+ 'left_hip',
390
+ 'right_hip',
391
+ 'left_knee',
392
+ 'right_knee',
393
+ 'left_ankle',
394
+ 'right_ankle',
395
+ 'sternum',
396
+ 'rshoulder',
397
+ 'lshoulder',
398
+ 'r_lelbow',
399
+ 'l_lelbow',
400
+ 'r_melbow',
401
+ 'l_melbow',
402
+ 'r_lwrist',
403
+ 'l_lwrist',
404
+ 'r_mwrist',
405
+ 'l_mwrist',
406
+ 'r_ASIS',
407
+ 'l_ASIS',
408
+ 'r_PSIS',
409
+ 'l_PSIS',
410
+ 'r_knee',
411
+ 'l_knee',
412
+ 'r_mknee',
413
+ 'l_mknee',
414
+ 'r_ankle',
415
+ 'l_ankle',
416
+ 'r_mankle',
417
+ 'l_mankle',
418
+ 'r_5meta',
419
+ 'l_5meta',
420
+ 'r_toe',
421
+ 'l_toe',
422
+ 'r_big_toe',
423
+ 'l_big_toe',
424
+ 'l_calc',
425
+ 'r_calc',
426
+ 'C7',
427
+ 'L2',
428
+ 'T11',
429
+ 'T6',
430
+ ])
431
+ dataset_bedlam = dict(
432
+ ann_file='train_annotations.json',
433
+ data_mode='topdown',
434
+ data_prefix=dict(img='training_images/'),
435
+ data_root='/scratch/users/yonigoz/BEDLAM/data/',
436
+ pipeline=[],
437
+ type='InfinityDataset',
438
+ used_data_keys=[
439
+ 'nose',
440
+ 'left_eye',
441
+ 'right_eye',
442
+ 'left_ear',
443
+ 'right_ear',
444
+ 'left_shoulder',
445
+ 'right_shoulder',
446
+ 'left_elbow',
447
+ 'right_elbow',
448
+ 'left_wrist',
449
+ 'right_wrist',
450
+ 'left_hip',
451
+ 'right_hip',
452
+ 'left_knee',
453
+ 'right_knee',
454
+ 'left_ankle',
455
+ 'right_ankle',
456
+ 'sternum',
457
+ 'rshoulder',
458
+ 'lshoulder',
459
+ 'r_lelbow',
460
+ 'l_lelbow',
461
+ 'r_melbow',
462
+ 'l_melbow',
463
+ 'r_lwrist',
464
+ 'l_lwrist',
465
+ 'r_mwrist',
466
+ 'l_mwrist',
467
+ 'r_ASIS',
468
+ 'l_ASIS',
469
+ 'r_PSIS',
470
+ 'l_PSIS',
471
+ 'r_knee',
472
+ 'l_knee',
473
+ 'r_mknee',
474
+ 'l_mknee',
475
+ 'r_ankle',
476
+ 'l_ankle',
477
+ 'r_mankle',
478
+ 'l_mankle',
479
+ 'r_5meta',
480
+ 'l_5meta',
481
+ 'r_toe',
482
+ 'l_toe',
483
+ 'r_big_toe',
484
+ 'l_big_toe',
485
+ 'l_calc',
486
+ 'r_calc',
487
+ 'C7',
488
+ 'L2',
489
+ 'T11',
490
+ 'T6',
491
+ ])
492
+ dataset_coco = dict(
493
+ ann_file='annotations/person_keypoints_train2017.json',
494
+ data_mode='topdown',
495
+ data_prefix=dict(img='images/train2017/'),
496
+ data_root='/scratch/users/yonigoz/coco_dataset',
497
+ pipeline=[
498
+ dict(
499
+ mapping=[
500
+ (
501
+ 0,
502
+ 0,
503
+ ),
504
+ (
505
+ 1,
506
+ 1,
507
+ ),
508
+ (
509
+ 2,
510
+ 2,
511
+ ),
512
+ (
513
+ 3,
514
+ 3,
515
+ ),
516
+ (
517
+ 4,
518
+ 4,
519
+ ),
520
+ (
521
+ 5,
522
+ 5,
523
+ ),
524
+ (
525
+ 6,
526
+ 6,
527
+ ),
528
+ (
529
+ 7,
530
+ 7,
531
+ ),
532
+ (
533
+ 8,
534
+ 8,
535
+ ),
536
+ (
537
+ 9,
538
+ 9,
539
+ ),
540
+ (
541
+ 10,
542
+ 10,
543
+ ),
544
+ (
545
+ 11,
546
+ 11,
547
+ ),
548
+ (
549
+ 12,
550
+ 12,
551
+ ),
552
+ (
553
+ 13,
554
+ 13,
555
+ ),
556
+ (
557
+ 14,
558
+ 14,
559
+ ),
560
+ (
561
+ 15,
562
+ 15,
563
+ ),
564
+ (
565
+ 16,
566
+ 16,
567
+ ),
568
+ ],
569
+ num_keypoints=52,
570
+ type='KeypointConverter'),
571
+ ],
572
+ type='CocoDataset')
573
+ dataset_infinity = dict(
574
+ ann_file='combined_dataset_15fps/train/annotations.json',
575
+ data_mode='topdown',
576
+ data_prefix=dict(img=''),
577
+ data_root='/scratch/users/yonigoz/infinity_datasets/',
578
+ pipeline=[],
579
+ type='InfinityDataset',
580
+ used_data_keys=[
581
+ 'nose',
582
+ 'left_eye',
583
+ 'right_eye',
584
+ 'left_ear',
585
+ 'right_ear',
586
+ 'left_shoulder',
587
+ 'right_shoulder',
588
+ 'left_elbow',
589
+ 'right_elbow',
590
+ 'left_wrist',
591
+ 'right_wrist',
592
+ 'left_hip',
593
+ 'right_hip',
594
+ 'left_knee',
595
+ 'right_knee',
596
+ 'left_ankle',
597
+ 'right_ankle',
598
+ 'sternum',
599
+ 'rshoulder',
600
+ 'lshoulder',
601
+ 'r_lelbow',
602
+ 'l_lelbow',
603
+ 'r_melbow',
604
+ 'l_melbow',
605
+ 'r_lwrist',
606
+ 'l_lwrist',
607
+ 'r_mwrist',
608
+ 'l_mwrist',
609
+ 'r_ASIS',
610
+ 'l_ASIS',
611
+ 'r_PSIS',
612
+ 'l_PSIS',
613
+ 'r_knee',
614
+ 'l_knee',
615
+ 'r_mknee',
616
+ 'l_mknee',
617
+ 'r_ankle',
618
+ 'l_ankle',
619
+ 'r_mankle',
620
+ 'l_mankle',
621
+ 'r_5meta',
622
+ 'l_5meta',
623
+ 'r_toe',
624
+ 'l_toe',
625
+ 'r_big_toe',
626
+ 'l_big_toe',
627
+ 'l_calc',
628
+ 'r_calc',
629
+ 'C7',
630
+ 'L2',
631
+ 'T11',
632
+ 'T6',
633
+ ])
634
+ dataset_type = 'InfinityDataset'
635
+ default_hooks = dict(
636
+ badcase=dict(
637
+ badcase_thr=5,
638
+ enable=False,
639
+ metric_type='loss',
640
+ out_dir='badcase',
641
+ type='BadCaseAnalysisHook'),
642
+ checkpoint=dict(
643
+ interval=10,
644
+ max_keep_ckpts=2,
645
+ rule='greater',
646
+ save_best='infinity/AP',
647
+ type='CheckpointHook'),
648
+ logger=dict(interval=1000, type='LoggerHook'),
649
+ param_scheduler=dict(type='ParamSchedulerHook'),
650
+ sampler_seed=dict(type='DistSamplerSeedHook'),
651
+ timer=dict(type='IterTimerHook'),
652
+ visualization=dict(
653
+ enable=True, interval=500, type='PoseVisualizationHook'))
654
+ default_scope = 'mmpose'
655
+ env_cfg = dict(
656
+ cudnn_benchmark=False,
657
+ dist_cfg=dict(backend='nccl'),
658
+ mp_cfg=dict(mp_start_method='fork', opencv_num_threads=0))
659
+ launcher = 'none'
660
+ load_from = '/scratch/users/yonigoz/mmpose_data/work_dirs/merge_bedlam_infinity_coco_3DPW_eval_bedlam_final/HRNet/w48_dark_pretrained/epoch_30.pth'
661
+ log_level = 'INFO'
662
+ log_processor = dict(
663
+ by_epoch=True, num_digits=6, type='LogProcessor', window_size=50)
664
+ model = dict(
665
+ backbone=dict(
666
+ extra=dict(
667
+ stage1=dict(
668
+ block='BOTTLENECK',
669
+ num_blocks=(4, ),
670
+ num_branches=1,
671
+ num_channels=(64, ),
672
+ num_modules=1),
673
+ stage2=dict(
674
+ block='BASIC',
675
+ num_blocks=(
676
+ 4,
677
+ 4,
678
+ ),
679
+ num_branches=2,
680
+ num_channels=(
681
+ 48,
682
+ 96,
683
+ ),
684
+ num_modules=1),
685
+ stage3=dict(
686
+ block='BASIC',
687
+ num_blocks=(
688
+ 4,
689
+ 4,
690
+ 4,
691
+ ),
692
+ num_branches=3,
693
+ num_channels=(
694
+ 48,
695
+ 96,
696
+ 192,
697
+ ),
698
+ num_modules=4),
699
+ stage4=dict(
700
+ block='BASIC',
701
+ num_blocks=(
702
+ 4,
703
+ 4,
704
+ 4,
705
+ 4,
706
+ ),
707
+ num_branches=4,
708
+ num_channels=(
709
+ 48,
710
+ 96,
711
+ 192,
712
+ 384,
713
+ ),
714
+ num_modules=3)),
715
+ in_channels=3,
716
+ init_cfg=dict(
717
+ checkpoint=
718
+ '/scratch/users/yonigoz/mmpose_data/ckpts/hrnet/td-hm_hrnet-w48_dark-8xb32-210e_coco-384x288-39c3c381_20220916.pth',
719
+ prefix='backbone',
720
+ type='Pretrained'),
721
+ type='HRNet'),
722
+ data_preprocessor=dict(
723
+ bgr_to_rgb=True,
724
+ mean=[
725
+ 123.675,
726
+ 116.28,
727
+ 103.53,
728
+ ],
729
+ std=[
730
+ 58.395,
731
+ 57.12,
732
+ 57.375,
733
+ ],
734
+ type='PoseDataPreprocessor'),
735
+ head=dict(
736
+ decoder=dict(
737
+ heatmap_size=(
738
+ 72,
739
+ 96,
740
+ ),
741
+ input_size=(
742
+ 288,
743
+ 384,
744
+ ),
745
+ sigma=3,
746
+ type='MSRAHeatmap',
747
+ unbiased=True),
748
+ deconv_out_channels=None,
749
+ in_channels=48,
750
+ loss=dict(type='KeypointMSELoss', use_target_weight=True),
751
+ out_channels=52,
752
+ type='HeatmapHead'),
753
+ test_cfg=dict(flip_mode='heatmap', flip_test=True, shift_heatmap=True),
754
+ type='TopdownPoseEstimator')
755
+ optim_wrapper = dict(optimizer=dict(lr=0.0005, type='Adam'))
756
+ param_scheduler = [
757
+ dict(
758
+ begin=0, by_epoch=False, end=500, start_factor=0.001, type='LinearLR'),
759
+ dict(
760
+ begin=0,
761
+ by_epoch=True,
762
+ end=30,
763
+ gamma=0.1,
764
+ milestones=[
765
+ 14,
766
+ 20,
767
+ ],
768
+ type='MultiStepLR'),
769
+ ]
770
+ resume = False
771
+ test_cfg = dict()
772
+ test_dataloader = dict(
773
+ batch_size=32,
774
+ dataset=dict(
775
+ ann_file='/scratch/users/yonigoz/RICH/downsampled/val_annotations.json',
776
+ data_mode='topdown',
777
+ data_prefix=dict(img=''),
778
+ data_root='',
779
+ pipeline=[
780
+ dict(type='LoadImage'),
781
+ dict(type='GetBBoxCenterScale'),
782
+ dict(input_size=(
783
+ 288,
784
+ 384,
785
+ ), type='TopdownAffine'),
786
+ dict(type='PackPoseInputs'),
787
+ ],
788
+ test_mode=True,
789
+ type='InfinityDataset',
790
+ used_data_keys=[
791
+ 'nose',
792
+ 'left_eye',
793
+ 'right_eye',
794
+ 'left_ear',
795
+ 'right_ear',
796
+ 'left_shoulder',
797
+ 'right_shoulder',
798
+ 'left_elbow',
799
+ 'right_elbow',
800
+ 'left_wrist',
801
+ 'right_wrist',
802
+ 'left_hip',
803
+ 'right_hip',
804
+ 'left_knee',
805
+ 'right_knee',
806
+ 'left_ankle',
807
+ 'right_ankle',
808
+ 'sternum',
809
+ 'rshoulder',
810
+ 'lshoulder',
811
+ 'r_lelbow',
812
+ 'l_lelbow',
813
+ 'r_melbow',
814
+ 'l_melbow',
815
+ 'r_lwrist',
816
+ 'l_lwrist',
817
+ 'r_mwrist',
818
+ 'l_mwrist',
819
+ 'r_ASIS',
820
+ 'l_ASIS',
821
+ 'r_PSIS',
822
+ 'l_PSIS',
823
+ 'r_knee',
824
+ 'l_knee',
825
+ 'r_mknee',
826
+ 'l_mknee',
827
+ 'r_ankle',
828
+ 'l_ankle',
829
+ 'r_mankle',
830
+ 'l_mankle',
831
+ 'r_5meta',
832
+ 'l_5meta',
833
+ 'r_toe',
834
+ 'l_toe',
835
+ 'r_big_toe',
836
+ 'l_big_toe',
837
+ 'l_calc',
838
+ 'r_calc',
839
+ 'C7',
840
+ 'L2',
841
+ 'T11',
842
+ 'T6',
843
+ ]),
844
+ drop_last=False,
845
+ num_workers=4,
846
+ persistent_workers=True,
847
+ sampler=dict(round_up=False, shuffle=False, type='DefaultSampler'))
848
+ test_evaluator = [
849
+ dict(
850
+ ann_file='/scratch/users/yonigoz/RICH/downsampled/val_annotations.json',
851
+ type='InfinityMetric',
852
+ use_area=False,
853
+ used_data_keys=[
854
+ 'nose',
855
+ 'left_eye',
856
+ 'right_eye',
857
+ 'left_ear',
858
+ 'right_ear',
859
+ 'left_shoulder',
860
+ 'right_shoulder',
861
+ 'left_elbow',
862
+ 'right_elbow',
863
+ 'left_wrist',
864
+ 'right_wrist',
865
+ 'left_hip',
866
+ 'right_hip',
867
+ 'left_knee',
868
+ 'right_knee',
869
+ 'left_ankle',
870
+ 'right_ankle',
871
+ 'sternum',
872
+ 'rshoulder',
873
+ 'lshoulder',
874
+ 'r_lelbow',
875
+ 'l_lelbow',
876
+ 'r_melbow',
877
+ 'l_melbow',
878
+ 'r_lwrist',
879
+ 'l_lwrist',
880
+ 'r_mwrist',
881
+ 'l_mwrist',
882
+ 'r_ASIS',
883
+ 'l_ASIS',
884
+ 'r_PSIS',
885
+ 'l_PSIS',
886
+ 'r_knee',
887
+ 'l_knee',
888
+ 'r_mknee',
889
+ 'l_mknee',
890
+ 'r_ankle',
891
+ 'l_ankle',
892
+ 'r_mankle',
893
+ 'l_mankle',
894
+ 'r_5meta',
895
+ 'l_5meta',
896
+ 'r_toe',
897
+ 'l_toe',
898
+ 'r_big_toe',
899
+ 'l_big_toe',
900
+ 'l_calc',
901
+ 'r_calc',
902
+ 'C7',
903
+ 'L2',
904
+ 'T11',
905
+ 'T6',
906
+ ]),
907
+ dict(
908
+ ann_file='/scratch/users/yonigoz/RICH/downsampled/val_annotations.json',
909
+ type='InfinityCocoMetric',
910
+ use_area=False,
911
+ used_data_keys=[
912
+ 'nose',
913
+ 'left_eye',
914
+ 'right_eye',
915
+ 'left_ear',
916
+ 'right_ear',
917
+ 'left_shoulder',
918
+ 'right_shoulder',
919
+ 'left_elbow',
920
+ 'right_elbow',
921
+ 'left_wrist',
922
+ 'right_wrist',
923
+ 'left_hip',
924
+ 'right_hip',
925
+ 'left_knee',
926
+ 'right_knee',
927
+ 'left_ankle',
928
+ 'right_ankle',
929
+ 'sternum',
930
+ 'rshoulder',
931
+ 'lshoulder',
932
+ 'r_lelbow',
933
+ 'l_lelbow',
934
+ 'r_melbow',
935
+ 'l_melbow',
936
+ 'r_lwrist',
937
+ 'l_lwrist',
938
+ 'r_mwrist',
939
+ 'l_mwrist',
940
+ 'r_ASIS',
941
+ 'l_ASIS',
942
+ 'r_PSIS',
943
+ 'l_PSIS',
944
+ 'r_knee',
945
+ 'l_knee',
946
+ 'r_mknee',
947
+ 'l_mknee',
948
+ 'r_ankle',
949
+ 'l_ankle',
950
+ 'r_mankle',
951
+ 'l_mankle',
952
+ 'r_5meta',
953
+ 'l_5meta',
954
+ 'r_toe',
955
+ 'l_toe',
956
+ 'r_big_toe',
957
+ 'l_big_toe',
958
+ 'l_calc',
959
+ 'r_calc',
960
+ 'C7',
961
+ 'L2',
962
+ 'T11',
963
+ 'T6',
964
+ ]),
965
+ dict(
966
+ ann_file='/scratch/users/yonigoz/RICH/downsampled/val_annotations.json',
967
+ type='InfinityAnatomicalMetric',
968
+ use_area=False,
969
+ used_data_keys=[
970
+ 'nose',
971
+ 'left_eye',
972
+ 'right_eye',
973
+ 'left_ear',
974
+ 'right_ear',
975
+ 'left_shoulder',
976
+ 'right_shoulder',
977
+ 'left_elbow',
978
+ 'right_elbow',
979
+ 'left_wrist',
980
+ 'right_wrist',
981
+ 'left_hip',
982
+ 'right_hip',
983
+ 'left_knee',
984
+ 'right_knee',
985
+ 'left_ankle',
986
+ 'right_ankle',
987
+ 'sternum',
988
+ 'rshoulder',
989
+ 'lshoulder',
990
+ 'r_lelbow',
991
+ 'l_lelbow',
992
+ 'r_melbow',
993
+ 'l_melbow',
994
+ 'r_lwrist',
995
+ 'l_lwrist',
996
+ 'r_mwrist',
997
+ 'l_mwrist',
998
+ 'r_ASIS',
999
+ 'l_ASIS',
1000
+ 'r_PSIS',
1001
+ 'l_PSIS',
1002
+ 'r_knee',
1003
+ 'l_knee',
1004
+ 'r_mknee',
1005
+ 'l_mknee',
1006
+ 'r_ankle',
1007
+ 'l_ankle',
1008
+ 'r_mankle',
1009
+ 'l_mankle',
1010
+ 'r_5meta',
1011
+ 'l_5meta',
1012
+ 'r_toe',
1013
+ 'l_toe',
1014
+ 'r_big_toe',
1015
+ 'l_big_toe',
1016
+ 'l_calc',
1017
+ 'r_calc',
1018
+ 'C7',
1019
+ 'L2',
1020
+ 'T11',
1021
+ 'T6',
1022
+ ]),
1023
+ dict(prefix='at0.05_', type='PCKAccuracy'),
1024
+ dict(prefix='at0.1_', thr=0.1, type='PCKAccuracy'),
1025
+ dict(prefix='at0.2_', thr=0.2, type='PCKAccuracy'),
1026
+ ]
1027
+ test_pipeline = [
1028
+ dict(type='LoadImage'),
1029
+ dict(type='GetBBoxCenterScale'),
1030
+ dict(input_size=(
1031
+ 288,
1032
+ 384,
1033
+ ), type='TopdownAffine'),
1034
+ dict(type='PackPoseInputs'),
1035
+ ]
1036
+ train_cfg = dict(by_epoch=True, max_epochs=30, val_interval=3)
1037
+ train_dataloader = dict(
1038
+ batch_size=32,
1039
+ dataset=dict(
1040
+ datasets=[
1041
+ dict(
1042
+ ann_file='combined_dataset_15fps/train/annotations.json',
1043
+ data_mode='topdown',
1044
+ data_prefix=dict(img=''),
1045
+ data_root='/scratch/users/yonigoz/infinity_datasets/',
1046
+ pipeline=[],
1047
+ type='InfinityDataset',
1048
+ used_data_keys=[
1049
+ 'nose',
1050
+ 'left_eye',
1051
+ 'right_eye',
1052
+ 'left_ear',
1053
+ 'right_ear',
1054
+ 'left_shoulder',
1055
+ 'right_shoulder',
1056
+ 'left_elbow',
1057
+ 'right_elbow',
1058
+ 'left_wrist',
1059
+ 'right_wrist',
1060
+ 'left_hip',
1061
+ 'right_hip',
1062
+ 'left_knee',
1063
+ 'right_knee',
1064
+ 'left_ankle',
1065
+ 'right_ankle',
1066
+ 'sternum',
1067
+ 'rshoulder',
1068
+ 'lshoulder',
1069
+ 'r_lelbow',
1070
+ 'l_lelbow',
1071
+ 'r_melbow',
1072
+ 'l_melbow',
1073
+ 'r_lwrist',
1074
+ 'l_lwrist',
1075
+ 'r_mwrist',
1076
+ 'l_mwrist',
1077
+ 'r_ASIS',
1078
+ 'l_ASIS',
1079
+ 'r_PSIS',
1080
+ 'l_PSIS',
1081
+ 'r_knee',
1082
+ 'l_knee',
1083
+ 'r_mknee',
1084
+ 'l_mknee',
1085
+ 'r_ankle',
1086
+ 'l_ankle',
1087
+ 'r_mankle',
1088
+ 'l_mankle',
1089
+ 'r_5meta',
1090
+ 'l_5meta',
1091
+ 'r_toe',
1092
+ 'l_toe',
1093
+ 'r_big_toe',
1094
+ 'l_big_toe',
1095
+ 'l_calc',
1096
+ 'r_calc',
1097
+ 'C7',
1098
+ 'L2',
1099
+ 'T11',
1100
+ 'T6',
1101
+ ]),
1102
+ dict(
1103
+ ann_file='train_annotations.json',
1104
+ data_mode='topdown',
1105
+ data_prefix=dict(img='training_images/'),
1106
+ data_root='/scratch/users/yonigoz/BEDLAM/data/',
1107
+ pipeline=[],
1108
+ type='InfinityDataset',
1109
+ used_data_keys=[
1110
+ 'nose',
1111
+ 'left_eye',
1112
+ 'right_eye',
1113
+ 'left_ear',
1114
+ 'right_ear',
1115
+ 'left_shoulder',
1116
+ 'right_shoulder',
1117
+ 'left_elbow',
1118
+ 'right_elbow',
1119
+ 'left_wrist',
1120
+ 'right_wrist',
1121
+ 'left_hip',
1122
+ 'right_hip',
1123
+ 'left_knee',
1124
+ 'right_knee',
1125
+ 'left_ankle',
1126
+ 'right_ankle',
1127
+ 'sternum',
1128
+ 'rshoulder',
1129
+ 'lshoulder',
1130
+ 'r_lelbow',
1131
+ 'l_lelbow',
1132
+ 'r_melbow',
1133
+ 'l_melbow',
1134
+ 'r_lwrist',
1135
+ 'l_lwrist',
1136
+ 'r_mwrist',
1137
+ 'l_mwrist',
1138
+ 'r_ASIS',
1139
+ 'l_ASIS',
1140
+ 'r_PSIS',
1141
+ 'l_PSIS',
1142
+ 'r_knee',
1143
+ 'l_knee',
1144
+ 'r_mknee',
1145
+ 'l_mknee',
1146
+ 'r_ankle',
1147
+ 'l_ankle',
1148
+ 'r_mankle',
1149
+ 'l_mankle',
1150
+ 'r_5meta',
1151
+ 'l_5meta',
1152
+ 'r_toe',
1153
+ 'l_toe',
1154
+ 'r_big_toe',
1155
+ 'l_big_toe',
1156
+ 'l_calc',
1157
+ 'r_calc',
1158
+ 'C7',
1159
+ 'L2',
1160
+ 'T11',
1161
+ 'T6',
1162
+ ]),
1163
+ dict(
1164
+ ann_file='3DPW/train_annotations.json',
1165
+ data_mode='topdown',
1166
+ data_prefix=dict(img=''),
1167
+ data_root='/scratch/users/yonigoz/',
1168
+ pipeline=[],
1169
+ type='InfinityDataset',
1170
+ used_data_keys=[
1171
+ 'nose',
1172
+ 'left_eye',
1173
+ 'right_eye',
1174
+ 'left_ear',
1175
+ 'right_ear',
1176
+ 'left_shoulder',
1177
+ 'right_shoulder',
1178
+ 'left_elbow',
1179
+ 'right_elbow',
1180
+ 'left_wrist',
1181
+ 'right_wrist',
1182
+ 'left_hip',
1183
+ 'right_hip',
1184
+ 'left_knee',
1185
+ 'right_knee',
1186
+ 'left_ankle',
1187
+ 'right_ankle',
1188
+ 'sternum',
1189
+ 'rshoulder',
1190
+ 'lshoulder',
1191
+ 'r_lelbow',
1192
+ 'l_lelbow',
1193
+ 'r_melbow',
1194
+ 'l_melbow',
1195
+ 'r_lwrist',
1196
+ 'l_lwrist',
1197
+ 'r_mwrist',
1198
+ 'l_mwrist',
1199
+ 'r_ASIS',
1200
+ 'l_ASIS',
1201
+ 'r_PSIS',
1202
+ 'l_PSIS',
1203
+ 'r_knee',
1204
+ 'l_knee',
1205
+ 'r_mknee',
1206
+ 'l_mknee',
1207
+ 'r_ankle',
1208
+ 'l_ankle',
1209
+ 'r_mankle',
1210
+ 'l_mankle',
1211
+ 'r_5meta',
1212
+ 'l_5meta',
1213
+ 'r_toe',
1214
+ 'l_toe',
1215
+ 'r_big_toe',
1216
+ 'l_big_toe',
1217
+ 'l_calc',
1218
+ 'r_calc',
1219
+ 'C7',
1220
+ 'L2',
1221
+ 'T11',
1222
+ 'T6',
1223
+ ]),
1224
+ dict(
1225
+ ann_file='annotations/person_keypoints_train2017.json',
1226
+ data_mode='topdown',
1227
+ data_prefix=dict(img='images/train2017/'),
1228
+ data_root='/scratch/users/yonigoz/coco_dataset',
1229
+ pipeline=[
1230
+ dict(
1231
+ mapping=[
1232
+ (
1233
+ 0,
1234
+ 0,
1235
+ ),
1236
+ (
1237
+ 1,
1238
+ 1,
1239
+ ),
1240
+ (
1241
+ 2,
1242
+ 2,
1243
+ ),
1244
+ (
1245
+ 3,
1246
+ 3,
1247
+ ),
1248
+ (
1249
+ 4,
1250
+ 4,
1251
+ ),
1252
+ (
1253
+ 5,
1254
+ 5,
1255
+ ),
1256
+ (
1257
+ 6,
1258
+ 6,
1259
+ ),
1260
+ (
1261
+ 7,
1262
+ 7,
1263
+ ),
1264
+ (
1265
+ 8,
1266
+ 8,
1267
+ ),
1268
+ (
1269
+ 9,
1270
+ 9,
1271
+ ),
1272
+ (
1273
+ 10,
1274
+ 10,
1275
+ ),
1276
+ (
1277
+ 11,
1278
+ 11,
1279
+ ),
1280
+ (
1281
+ 12,
1282
+ 12,
1283
+ ),
1284
+ (
1285
+ 13,
1286
+ 13,
1287
+ ),
1288
+ (
1289
+ 14,
1290
+ 14,
1291
+ ),
1292
+ (
1293
+ 15,
1294
+ 15,
1295
+ ),
1296
+ (
1297
+ 16,
1298
+ 16,
1299
+ ),
1300
+ ],
1301
+ num_keypoints=52,
1302
+ type='KeypointConverter'),
1303
+ ],
1304
+ type='CocoDataset'),
1305
+ ],
1306
+ metainfo=dict(from_file='configs/_base_/datasets/infinity.py'),
1307
+ pipeline=[
1308
+ dict(type='LoadImage'),
1309
+ dict(type='GetBBoxCenterScale'),
1310
+ dict(direction='horizontal', type='RandomFlip'),
1311
+ dict(type='RandomHalfBody'),
1312
+ dict(type='RandomBBoxTransform'),
1313
+ dict(input_size=(
1314
+ 288,
1315
+ 384,
1316
+ ), type='TopdownAffine'),
1317
+ dict(
1318
+ encoder=dict(
1319
+ heatmap_size=(
1320
+ 72,
1321
+ 96,
1322
+ ),
1323
+ input_size=(
1324
+ 288,
1325
+ 384,
1326
+ ),
1327
+ sigma=3,
1328
+ type='MSRAHeatmap',
1329
+ unbiased=True),
1330
+ type='GenerateTarget'),
1331
+ dict(type='PackPoseInputs'),
1332
+ ],
1333
+ test_mode=False,
1334
+ type='CombinedDataset',
1335
+ used_data_keys=[
1336
+ 'nose',
1337
+ 'left_eye',
1338
+ 'right_eye',
1339
+ 'left_ear',
1340
+ 'right_ear',
1341
+ 'left_shoulder',
1342
+ 'right_shoulder',
1343
+ 'left_elbow',
1344
+ 'right_elbow',
1345
+ 'left_wrist',
1346
+ 'right_wrist',
1347
+ 'left_hip',
1348
+ 'right_hip',
1349
+ 'left_knee',
1350
+ 'right_knee',
1351
+ 'left_ankle',
1352
+ 'right_ankle',
1353
+ 'sternum',
1354
+ 'rshoulder',
1355
+ 'lshoulder',
1356
+ 'r_lelbow',
1357
+ 'l_lelbow',
1358
+ 'r_melbow',
1359
+ 'l_melbow',
1360
+ 'r_lwrist',
1361
+ 'l_lwrist',
1362
+ 'r_mwrist',
1363
+ 'l_mwrist',
1364
+ 'r_ASIS',
1365
+ 'l_ASIS',
1366
+ 'r_PSIS',
1367
+ 'l_PSIS',
1368
+ 'r_knee',
1369
+ 'l_knee',
1370
+ 'r_mknee',
1371
+ 'l_mknee',
1372
+ 'r_ankle',
1373
+ 'l_ankle',
1374
+ 'r_mankle',
1375
+ 'l_mankle',
1376
+ 'r_5meta',
1377
+ 'l_5meta',
1378
+ 'r_toe',
1379
+ 'l_toe',
1380
+ 'r_big_toe',
1381
+ 'l_big_toe',
1382
+ 'l_calc',
1383
+ 'r_calc',
1384
+ 'C7',
1385
+ 'L2',
1386
+ 'T11',
1387
+ 'T6',
1388
+ ]),
1389
+ num_workers=4,
1390
+ persistent_workers=True,
1391
+ sampler=dict(
1392
+ batch_size=32,
1393
+ shuffle=True,
1394
+ source_ratio=[
1395
+ 1,
1396
+ 1,
1397
+ 1,
1398
+ 1,
1399
+ ],
1400
+ type='MultiSourceSampler'))
1401
+ train_pipeline = [
1402
+ dict(type='LoadImage'),
1403
+ dict(type='GetBBoxCenterScale'),
1404
+ dict(direction='horizontal', type='RandomFlip'),
1405
+ dict(type='RandomHalfBody'),
1406
+ dict(type='RandomBBoxTransform'),
1407
+ dict(input_size=(
1408
+ 288,
1409
+ 384,
1410
+ ), type='TopdownAffine'),
1411
+ dict(
1412
+ encoder=dict(
1413
+ heatmap_size=(
1414
+ 72,
1415
+ 96,
1416
+ ),
1417
+ input_size=(
1418
+ 288,
1419
+ 384,
1420
+ ),
1421
+ sigma=3,
1422
+ type='MSRAHeatmap',
1423
+ unbiased=True),
1424
+ type='GenerateTarget'),
1425
+ dict(type='PackPoseInputs'),
1426
+ ]
1427
+ train_sampler = dict(
1428
+ batch_size=32,
1429
+ shuffle=True,
1430
+ source_ratio=[
1431
+ 1,
1432
+ 1,
1433
+ 1,
1434
+ 1,
1435
+ ],
1436
+ type='MultiSourceSampler')
1437
+ used_data_keys = [
1438
+ 'nose',
1439
+ 'left_eye',
1440
+ 'right_eye',
1441
+ 'left_ear',
1442
+ 'right_ear',
1443
+ 'left_shoulder',
1444
+ 'right_shoulder',
1445
+ 'left_elbow',
1446
+ 'right_elbow',
1447
+ 'left_wrist',
1448
+ 'right_wrist',
1449
+ 'left_hip',
1450
+ 'right_hip',
1451
+ 'left_knee',
1452
+ 'right_knee',
1453
+ 'left_ankle',
1454
+ 'right_ankle',
1455
+ 'sternum',
1456
+ 'rshoulder',
1457
+ 'lshoulder',
1458
+ 'r_lelbow',
1459
+ 'l_lelbow',
1460
+ 'r_melbow',
1461
+ 'l_melbow',
1462
+ 'r_lwrist',
1463
+ 'l_lwrist',
1464
+ 'r_mwrist',
1465
+ 'l_mwrist',
1466
+ 'r_ASIS',
1467
+ 'l_ASIS',
1468
+ 'r_PSIS',
1469
+ 'l_PSIS',
1470
+ 'r_knee',
1471
+ 'l_knee',
1472
+ 'r_mknee',
1473
+ 'l_mknee',
1474
+ 'r_ankle',
1475
+ 'l_ankle',
1476
+ 'r_mankle',
1477
+ 'l_mankle',
1478
+ 'r_5meta',
1479
+ 'l_5meta',
1480
+ 'r_toe',
1481
+ 'l_toe',
1482
+ 'r_big_toe',
1483
+ 'l_big_toe',
1484
+ 'l_calc',
1485
+ 'r_calc',
1486
+ 'C7',
1487
+ 'L2',
1488
+ 'T11',
1489
+ 'T6',
1490
+ ]
1491
+ val_cfg = dict()
1492
+ val_dataloader = dict(
1493
+ batch_size=32,
1494
+ dataset=dict(
1495
+ ann_file='/scratch/users/yonigoz/RICH/downsampled/val_annotations.json',
1496
+ data_mode='topdown',
1497
+ data_prefix=dict(img=''),
1498
+ data_root='',
1499
+ pipeline=[
1500
+ dict(type='LoadImage'),
1501
+ dict(type='GetBBoxCenterScale'),
1502
+ dict(input_size=(
1503
+ 288,
1504
+ 384,
1505
+ ), type='TopdownAffine'),
1506
+ dict(type='PackPoseInputs'),
1507
+ ],
1508
+ test_mode=True,
1509
+ type='InfinityDataset',
1510
+ used_data_keys=[
1511
+ 'nose',
1512
+ 'left_eye',
1513
+ 'right_eye',
1514
+ 'left_ear',
1515
+ 'right_ear',
1516
+ 'left_shoulder',
1517
+ 'right_shoulder',
1518
+ 'left_elbow',
1519
+ 'right_elbow',
1520
+ 'left_wrist',
1521
+ 'right_wrist',
1522
+ 'left_hip',
1523
+ 'right_hip',
1524
+ 'left_knee',
1525
+ 'right_knee',
1526
+ 'left_ankle',
1527
+ 'right_ankle',
1528
+ 'sternum',
1529
+ 'rshoulder',
1530
+ 'lshoulder',
1531
+ 'r_lelbow',
1532
+ 'l_lelbow',
1533
+ 'r_melbow',
1534
+ 'l_melbow',
1535
+ 'r_lwrist',
1536
+ 'l_lwrist',
1537
+ 'r_mwrist',
1538
+ 'l_mwrist',
1539
+ 'r_ASIS',
1540
+ 'l_ASIS',
1541
+ 'r_PSIS',
1542
+ 'l_PSIS',
1543
+ 'r_knee',
1544
+ 'l_knee',
1545
+ 'r_mknee',
1546
+ 'l_mknee',
1547
+ 'r_ankle',
1548
+ 'l_ankle',
1549
+ 'r_mankle',
1550
+ 'l_mankle',
1551
+ 'r_5meta',
1552
+ 'l_5meta',
1553
+ 'r_toe',
1554
+ 'l_toe',
1555
+ 'r_big_toe',
1556
+ 'l_big_toe',
1557
+ 'l_calc',
1558
+ 'r_calc',
1559
+ 'C7',
1560
+ 'L2',
1561
+ 'T11',
1562
+ 'T6',
1563
+ ]),
1564
+ drop_last=False,
1565
+ num_workers=4,
1566
+ persistent_workers=True,
1567
+ sampler=dict(round_up=False, shuffle=False, type='DefaultSampler'))
1568
+ val_evaluator = [
1569
+ dict(
1570
+ ann_file='/scratch/users/yonigoz/RICH/downsampled/val_annotations.json',
1571
+ type='InfinityMetric',
1572
+ use_area=False,
1573
+ used_data_keys=[
1574
+ 'nose',
1575
+ 'left_eye',
1576
+ 'right_eye',
1577
+ 'left_ear',
1578
+ 'right_ear',
1579
+ 'left_shoulder',
1580
+ 'right_shoulder',
1581
+ 'left_elbow',
1582
+ 'right_elbow',
1583
+ 'left_wrist',
1584
+ 'right_wrist',
1585
+ 'left_hip',
1586
+ 'right_hip',
1587
+ 'left_knee',
1588
+ 'right_knee',
1589
+ 'left_ankle',
1590
+ 'right_ankle',
1591
+ 'sternum',
1592
+ 'rshoulder',
1593
+ 'lshoulder',
1594
+ 'r_lelbow',
1595
+ 'l_lelbow',
1596
+ 'r_melbow',
1597
+ 'l_melbow',
1598
+ 'r_lwrist',
1599
+ 'l_lwrist',
1600
+ 'r_mwrist',
1601
+ 'l_mwrist',
1602
+ 'r_ASIS',
1603
+ 'l_ASIS',
1604
+ 'r_PSIS',
1605
+ 'l_PSIS',
1606
+ 'r_knee',
1607
+ 'l_knee',
1608
+ 'r_mknee',
1609
+ 'l_mknee',
1610
+ 'r_ankle',
1611
+ 'l_ankle',
1612
+ 'r_mankle',
1613
+ 'l_mankle',
1614
+ 'r_5meta',
1615
+ 'l_5meta',
1616
+ 'r_toe',
1617
+ 'l_toe',
1618
+ 'r_big_toe',
1619
+ 'l_big_toe',
1620
+ 'l_calc',
1621
+ 'r_calc',
1622
+ 'C7',
1623
+ 'L2',
1624
+ 'T11',
1625
+ 'T6',
1626
+ ]),
1627
+ dict(
1628
+ ann_file='/scratch/users/yonigoz/RICH/downsampled/val_annotations.json',
1629
+ type='InfinityCocoMetric',
1630
+ use_area=False,
1631
+ used_data_keys=[
1632
+ 'nose',
1633
+ 'left_eye',
1634
+ 'right_eye',
1635
+ 'left_ear',
1636
+ 'right_ear',
1637
+ 'left_shoulder',
1638
+ 'right_shoulder',
1639
+ 'left_elbow',
1640
+ 'right_elbow',
1641
+ 'left_wrist',
1642
+ 'right_wrist',
1643
+ 'left_hip',
1644
+ 'right_hip',
1645
+ 'left_knee',
1646
+ 'right_knee',
1647
+ 'left_ankle',
1648
+ 'right_ankle',
1649
+ 'sternum',
1650
+ 'rshoulder',
1651
+ 'lshoulder',
1652
+ 'r_lelbow',
1653
+ 'l_lelbow',
1654
+ 'r_melbow',
1655
+ 'l_melbow',
1656
+ 'r_lwrist',
1657
+ 'l_lwrist',
1658
+ 'r_mwrist',
1659
+ 'l_mwrist',
1660
+ 'r_ASIS',
1661
+ 'l_ASIS',
1662
+ 'r_PSIS',
1663
+ 'l_PSIS',
1664
+ 'r_knee',
1665
+ 'l_knee',
1666
+ 'r_mknee',
1667
+ 'l_mknee',
1668
+ 'r_ankle',
1669
+ 'l_ankle',
1670
+ 'r_mankle',
1671
+ 'l_mankle',
1672
+ 'r_5meta',
1673
+ 'l_5meta',
1674
+ 'r_toe',
1675
+ 'l_toe',
1676
+ 'r_big_toe',
1677
+ 'l_big_toe',
1678
+ 'l_calc',
1679
+ 'r_calc',
1680
+ 'C7',
1681
+ 'L2',
1682
+ 'T11',
1683
+ 'T6',
1684
+ ]),
1685
+ dict(
1686
+ ann_file='/scratch/users/yonigoz/RICH/downsampled/val_annotations.json',
1687
+ type='InfinityAnatomicalMetric',
1688
+ use_area=False,
1689
+ used_data_keys=[
1690
+ 'nose',
1691
+ 'left_eye',
1692
+ 'right_eye',
1693
+ 'left_ear',
1694
+ 'right_ear',
1695
+ 'left_shoulder',
1696
+ 'right_shoulder',
1697
+ 'left_elbow',
1698
+ 'right_elbow',
1699
+ 'left_wrist',
1700
+ 'right_wrist',
1701
+ 'left_hip',
1702
+ 'right_hip',
1703
+ 'left_knee',
1704
+ 'right_knee',
1705
+ 'left_ankle',
1706
+ 'right_ankle',
1707
+ 'sternum',
1708
+ 'rshoulder',
1709
+ 'lshoulder',
1710
+ 'r_lelbow',
1711
+ 'l_lelbow',
1712
+ 'r_melbow',
1713
+ 'l_melbow',
1714
+ 'r_lwrist',
1715
+ 'l_lwrist',
1716
+ 'r_mwrist',
1717
+ 'l_mwrist',
1718
+ 'r_ASIS',
1719
+ 'l_ASIS',
1720
+ 'r_PSIS',
1721
+ 'l_PSIS',
1722
+ 'r_knee',
1723
+ 'l_knee',
1724
+ 'r_mknee',
1725
+ 'l_mknee',
1726
+ 'r_ankle',
1727
+ 'l_ankle',
1728
+ 'r_mankle',
1729
+ 'l_mankle',
1730
+ 'r_5meta',
1731
+ 'l_5meta',
1732
+ 'r_toe',
1733
+ 'l_toe',
1734
+ 'r_big_toe',
1735
+ 'l_big_toe',
1736
+ 'l_calc',
1737
+ 'r_calc',
1738
+ 'C7',
1739
+ 'L2',
1740
+ 'T11',
1741
+ 'T6',
1742
+ ]),
1743
+ dict(prefix='at0.05_', type='PCKAccuracy'),
1744
+ dict(prefix='at0.1_', thr=0.1, type='PCKAccuracy'),
1745
+ dict(prefix='at0.2_', thr=0.2, type='PCKAccuracy'),
1746
+ ]
1747
+ val_pipeline = [
1748
+ dict(type='LoadImage'),
1749
+ dict(type='GetBBoxCenterScale'),
1750
+ dict(input_size=(
1751
+ 288,
1752
+ 384,
1753
+ ), type='TopdownAffine'),
1754
+ dict(type='PackPoseInputs'),
1755
+ ]
1756
+ vis_backends = [
1757
+ dict(type='LocalVisBackend'),
1758
+ dict(
1759
+ init_kwargs=dict(
1760
+ entity='yonigoz',
1761
+ name=
1762
+ 'merge_bedlam_infinity_coco_3DPW_eval_bedlam/HRNet/w48_dark_pretrained',
1763
+ project='synthetic_finetuning'),
1764
+ type='WandbVisBackend'),
1765
+ ]
1766
+ visualizer = dict(
1767
+ name='visualizer',
1768
+ type='PoseLocalVisualizer',
1769
+ vis_backends=[
1770
+ dict(type='LocalVisBackend'),
1771
+ dict(
1772
+ init_kwargs=dict(
1773
+ entity='yonigoz',
1774
+ name=
1775
+ 'merge_bedlam_infinity_coco_3DPW_eval_bedlam/HRNet/w48_dark_pretrained',
1776
+ project='synthetic_finetuning'),
1777
+ type='WandbVisBackend'),
1778
+ ])
1779
+ work_dir = '/scratch/users/yonigoz/mmpose_data/work_dirs/merge_bedlam_infinity_coco_3DPW_eval_bedlam_final/HRNet/w48_dark_pretrained'