diff --git "a/debugger_ovh_transformers.ipynb" "b/debugger_ovh_transformers.ipynb" --- "a/debugger_ovh_transformers.ipynb" +++ "b/debugger_ovh_transformers.ipynb" @@ -12187,7 +12187,1114 @@ " 44%|██████████████████▏ | 269/606 [01:04<01:04, 5.20it/s]\u001b[A\n", " 45%|██████████████████▎ | 270/606 [01:04<01:05, 5.17it/s]\u001b[A\n", " 45%|██████████████████▎ | 271/606 [01:04<01:04, 5.20it/s]\u001b[A\n", - " 45%|██████████████████▍ | 272/606 [01:04<01:04, 5.15it/s]\u001b[A" + " 45%|██████████████████▍ | 272/606 [01:04<01:04, 5.15it/s]\u001b[A\n", + " 45%|██████████████████▍ | 273/606 [01:05<01:06, 4.98it/s]\u001b[A\n", + " 45%|██████████████████▌ | 274/606 [01:05<01:09, 4.77it/s]\u001b[A\n", + " 45%|██████████████████▌ | 275/606 [01:05<01:11, 4.62it/s]\u001b[A\n", + " 46%|██████████████████▋ | 276/606 [01:05<01:14, 4.45it/s]\u001b[A\n", + " 46%|██████████████████▋ | 277/606 [01:06<01:12, 4.53it/s]\u001b[A\n", + " 46%|██████████████████▊ | 278/606 [01:06<01:13, 4.48it/s]\u001b[A\n", + " 46%|██████████████████▉ | 279/606 [01:06<01:12, 4.52it/s]\u001b[A\n", + " 46%|██████████████████▉ | 280/606 [01:06<01:10, 4.62it/s]\u001b[A\n", + " 46%|███████████████████ | 281/606 [01:06<01:09, 4.68it/s]\u001b[A\n", + " 47%|███████████████████ | 282/606 [01:07<01:10, 4.62it/s]\u001b[A\n", + " 47%|███████████████████▏ | 283/606 [01:07<01:09, 4.66it/s]\u001b[A\n", + " 47%|███████████████████▏ | 284/606 [01:07<01:08, 4.68it/s]\u001b[A\n", + " 47%|███████████████████▎ | 285/606 [01:07<01:14, 4.32it/s]\u001b[A\n", + " 47%|███████████████████▎ | 286/606 [01:08<01:17, 4.14it/s]\u001b[A\n", + " 47%|███████████████████▍ | 287/606 [01:08<01:22, 3.89it/s]\u001b[A\n", + " 48%|███████████████████▍ | 288/606 [01:08<01:23, 3.80it/s]\u001b[A\n", + " 48%|███████████████████▌ | 289/606 [01:08<01:18, 4.03it/s]\u001b[A\n", + " 48%|███████████████████▌ | 290/606 [01:09<01:22, 3.84it/s]\u001b[A\n", + " 48%|███████████████████▋ | 291/606 [01:09<01:14, 4.23it/s]\u001b[A\n", + " 48%|███████████████████▊ | 292/606 [01:09<01:15, 4.18it/s]\u001b[A\n", + " 48%|███████████████████▊ | 293/606 [01:09<01:18, 3.96it/s]\u001b[A\n", + " 49%|███████████████████▉ | 294/606 [01:10<01:16, 4.10it/s]\u001b[A\n", + " 49%|███████████████████▉ | 295/606 [01:10<01:16, 4.06it/s]\u001b[A\n", + " 49%|████████████████████ | 296/606 [01:10<01:18, 3.95it/s]\u001b[A\n", + " 49%|████████████████████ | 297/606 [01:10<01:18, 3.92it/s]\u001b[A\n", + " 49%|████████████████████▏ | 298/606 [01:11<01:12, 4.26it/s]\u001b[A\n", + " 49%|████████████████████▏ | 299/606 [01:11<01:12, 4.25it/s]\u001b[A\n", + " 50%|████████████████████▎ | 300/606 [01:11<01:12, 4.21it/s]\u001b[A\n", + " 50%|████████████████████▎ | 301/606 [01:11<01:12, 4.20it/s]\u001b[A\n", + " 50%|████████████████████▍ | 302/606 [01:12<01:13, 4.15it/s]\u001b[A\n", + " 50%|████████████████████▌ | 303/606 [01:12<01:13, 4.12it/s]\u001b[A\n", + " 50%|████████���███████████▌ | 304/606 [01:12<01:10, 4.28it/s]\u001b[A\n", + " 50%|████████████████████▋ | 305/606 [01:12<01:12, 4.17it/s]\u001b[A\n", + " 50%|████████████████████▋ | 306/606 [01:13<01:18, 3.83it/s]\u001b[A\n", + " 51%|████████████████████▊ | 307/606 [01:13<01:17, 3.88it/s]\u001b[A\n", + " 51%|████████████████████▊ | 308/606 [01:13<01:18, 3.80it/s]\u001b[A\n", + " 51%|████████████████████▉ | 309/606 [01:13<01:20, 3.71it/s]\u001b[A\n", + " 51%|████████████████████▉ | 310/606 [01:14<01:15, 3.90it/s]\u001b[A\n", + " 51%|█████████████████████ | 311/606 [01:14<01:15, 3.91it/s]\u001b[A\n", + " 51%|█████████████████████ | 312/606 [01:14<01:09, 4.25it/s]\u001b[A\n", + " 52%|█████████████████████▏ | 313/606 [01:14<01:09, 4.24it/s]\u001b[A\n", + " 52%|█████████████████████▏ | 314/606 [01:14<01:08, 4.28it/s]\u001b[A\n", + " 52%|█████████████████████▎ | 315/606 [01:15<01:07, 4.32it/s]\u001b[A\n", + " 52%|█████████████████████▍ | 316/606 [01:15<01:05, 4.45it/s]\u001b[A\n", + " 52%|█████████████████████▍ | 317/606 [01:15<01:13, 3.94it/s]\u001b[A\n", + " 52%|█████████████████████▌ | 318/606 [01:15<01:08, 4.18it/s]\u001b[A\n", + " 53%|█████████████████████▌ | 319/606 [01:16<01:08, 4.21it/s]\u001b[A\n", + " 53%|█████████████████████▋ | 320/606 [01:16<01:07, 4.21it/s]\u001b[A\n", + " 53%|█████████████████████▋ | 321/606 [01:16<01:05, 4.33it/s]\u001b[A\n", + " 53%|█████████████████████▊ | 322/606 [01:16<01:03, 4.45it/s]\u001b[A\n", + " 53%|█████████████████████▊ | 323/606 [01:17<01:02, 4.51it/s]\u001b[A\n", + " 53%|█████████████████████▉ | 324/606 [01:17<01:07, 4.18it/s]\u001b[A\n", + " 54%|█████████████████████▉ | 325/606 [01:17<01:06, 4.20it/s]\u001b[A\n", + " 54%|██████████████████████ | 326/606 [01:17<01:06, 4.19it/s]\u001b[A\n", + " 54%|██████████████████████ | 327/606 [01:18<01:05, 4.27it/s]\u001b[A\n", + " 54%|██████████████████████▏ | 328/606 [01:18<01:06, 4.20it/s]\u001b[A\n", + " 54%|██████████████████████▎ | 329/606 [01:18<01:06, 4.15it/s]\u001b[A\n", + " 54%|██████████████████████▎ | 330/606 [01:18<01:02, 4.38it/s]\u001b[A\n", + " 55%|██████████████████████▍ | 331/606 [01:19<01:08, 4.03it/s]\u001b[A\n", + " 55%|██████████████████████▍ | 332/606 [01:19<01:04, 4.24it/s]\u001b[A\n", + " 55%|██████████████████████▌ | 333/606 [01:19<01:00, 4.48it/s]\u001b[A\n", + " 55%|██████████████████████▌ | 334/606 [01:19<01:02, 4.36it/s]\u001b[A\n", + " 55%|██████████████████████▋ | 335/606 [01:19<00:59, 4.57it/s]\u001b[A\n", + " 55%|██████████████████████▋ | 336/606 [01:20<00:56, 4.76it/s]\u001b[A\n", + " 56%|██████████████████████▊ | 337/606 [01:20<00:53, 5.06it/s]\u001b[A\n", + " 56%|██████████████████████▊ | 338/606 [01:20<00:54, 4.90it/s]\u001b[A\n", + " 56%|██████████████████████▉ | 339/606 [01:20<00:55, 4.78it/s]\u001b[A\n", + " 56%|███████████████████████ | 340/606 [01:20<00:58, 4.53it/s]\u001b[A\n", + " 56%|███████████████████████ | 341/606 [01:21<01:00, 4.40it/s]\u001b[A\n", + " 56%|███████████████████████▏ | 342/606 [01:21<00:57, 4.57it/s]\u001b[A\n", + " 57%|███████████████████████▏ | 343/606 [01:21<00:58, 4.53it/s]\u001b[A\n", + " 57%|███████████████████████▎ | 344/606 [01:21<00:55, 4.74it/s]\u001b[A\n", + " 57%|███████████████████████▎ | 345/606 [01:22<00:58, 4.43it/s]\u001b[A\n", + " 57%|███████████████████████▍ | 346/606 [01:22<00:55, 4.70it/s]\u001b[A\n", + " 57%|███████████████████████▍ | 347/606 [01:22<00:55, 4.63it/s]\u001b[A\n", + " 57%|███████████████████████▌ | 348/606 [01:22<00:55, 4.64it/s]\u001b[A\n", + " 58%|███████████████████████▌ | 349/606 [01:22<00:52, 4.89it/s]\u001b[A\n", + " 58%|███████████████████████▋ | 350/606 [01:23<00:52, 4.92it/s]\u001b[A\n", + " 58%|███████████████████████▋ | 351/606 [01:23<00:51, 4.96it/s]\u001b[A\n", + " 58%|███████████████████████▊ | 352/606 [01:23<00:54, 4.68it/s]\u001b[A\n", + " 58%|███████████████████████▉ | 353/606 [01:23<00:52, 4.87it/s]\u001b[A\n", + " 58%|███████████████████████▉ | 354/606 [01:23<00:53, 4.67it/s]\u001b[A\n", + " 59%|████████████████████████ | 355/606 [01:24<00:56, 4.48it/s]\u001b[A\n", + " 59%|████████████████████████ | 356/606 [01:24<00:56, 4.43it/s]\u001b[A\n", + " 59%|████████████████████████▏ | 357/606 [01:24<00:53, 4.63it/s]\u001b[A\n", + " 59%|████████████████████████▏ | 358/606 [01:24<00:55, 4.46it/s]\u001b[A\n", + " 59%|████████████████████████▎ | 359/606 [01:24<00:52, 4.74it/s]\u001b[A\n", + " 59%|████████████████████████▎ | 360/606 [01:25<00:50, 4.88it/s]\u001b[A\n", + " 60%|████████████████████████▍ | 361/606 [01:25<00:51, 4.72it/s]\u001b[A\n", + " 60%|████████████████████████▍ | 362/606 [01:25<00:50, 4.86it/s]\u001b[A\n", + " 60%|████████████████████████▌ | 363/606 [01:25<00:50, 4.85it/s]\u001b[A\n", + " 60%|████████████████████████▋ | 364/606 [01:26<00:50, 4.82it/s]\u001b[A\n", + " 60%|████████████████████████▋ | 365/606 [01:26<00:51, 4.65it/s]\u001b[A\n", + " 60%|████████████████████████▊ | 366/606 [01:26<00:54, 4.41it/s]\u001b[A\n", + " 61%|████████████████████████▊ | 367/606 [01:26<00:52, 4.53it/s]\u001b[A\n", + " 61%|████████████████████████▉ | 368/606 [01:26<00:51, 4.58it/s]\u001b[A\n", + " 61%|████████████████████████▉ | 369/606 [01:27<00:51, 4.63it/s]\u001b[A\n", + " 61%|█████████████████████████ | 370/606 [01:27<00:48, 4.84it/s]\u001b[A\n", + " 61%|█████████████████████████ | 371/606 [01:27<00:49, 4.78it/s]\u001b[A\n", + " 61%|█████████████████████████▏ | 372/606 [01:27<00:47, 4.89it/s]\u001b[A\n", + " 62%|█████████████████████████▏ | 373/606 [01:27<00:50, 4.62it/s]\u001b[A\n", + " 62%|█████████████████████████▎ | 374/606 [01:28<00:48, 4.74it/s]\u001b[A\n", + " 62%|█████████████████████████▎ | 375/606 [01:28<00:47, 4.87it/s]\u001b[A\n", + " 62%|█████████████████████████▍ | 376/606 [01:28<00:48, 4.70it/s]\u001b[A\n", + " 62%|█████████████████████████▌ | 377/606 [01:28<00:50, 4.57it/s]\u001b[A\n", + " 62%|█████████████████████████▌ | 378/606 [01:28<00:47, 4.76it/s]\u001b[A\n", + " 63%|█████████████████████████▋ | 379/606 [01:29<00:46, 4.86it/s]\u001b[A\n", + " 63%|█████████████████████████▋ | 380/606 [01:29<00:46, 4.89it/s]\u001b[A\n", + " 63%|█████████████████████████▊ | 381/606 [01:29<00:45, 4.97it/s]\u001b[A\n", + " 63%|█████████████████████████▊ | 382/606 [01:29<00:50, 4.46it/s]\u001b[A\n", + " 63%|█████████████████████████▉ | 383/606 [01:30<00:47, 4.70it/s]\u001b[A\n", + " 63%|█████████████████████████▉ | 384/606 [01:30<00:47, 4.65it/s]\u001b[A\n", + " 64%|██████████████████████████ | 385/606 [01:30<00:49, 4.42it/s]\u001b[A\n", + " 64%|██████████████████████████ | 386/606 [01:30<00:46, 4.73it/s]\u001b[A\n", + " 64%|██████████████████████████▏ | 387/606 [01:30<00:42, 5.11it/s]\u001b[A\n", + " 64%|██████████████████████████▎ | 388/606 [01:31<00:41, 5.22it/s]\u001b[A\n", + " 64%|██████████████████████████▎ | 389/606 [01:31<00:41, 5.18it/s]\u001b[A\n", + " 64%|██████████████████████████▍ | 390/606 [01:31<00:41, 5.23it/s]\u001b[A\n", + " 65%|██████████████████████████▍ | 391/606 [01:31<00:43, 4.97it/s]\u001b[A\n", + " 65%|██████████████████████████▌ | 392/606 [01:31<00:42, 5.04it/s]\u001b[A\n", + " 65%|██████████████████████████▌ | 393/606 [01:31<00:38, 5.48it/s]\u001b[A\n", + " 65%|██████████████████████████▋ | 394/606 [01:32<00:41, 5.15it/s]\u001b[A\n", + " 65%|██████████████████████████▋ | 395/606 [01:32<00:40, 5.16it/s]\u001b[A\n", + " 65%|██████████████████████████▊ | 396/606 [01:32<00:42, 4.99it/s]\u001b[A\n", + " 66%|██████████████████████████▊ | 397/606 [01:32<00:44, 4.68it/s]\u001b[A\n", + " 66%|██████████████████████████▉ | 398/606 [01:33<00:43, 4.79it/s]\u001b[A\n", + " 66%|██████████████████████████▉ | 399/606 [01:33<00:45, 4.57it/s]\u001b[A\n", + " 66%|███████████████████████████ | 400/606 [01:33<00:45, 4.54it/s]\u001b[A\n", + " 66%|███████████████████████████▏ | 401/606 [01:33<00:44, 4.63it/s]\u001b[A\n", + " 66%|███████████████████████████▏ | 402/606 [01:33<00:41, 4.89it/s]\u001b[A\n", + " 67%|███████████████████████████▎ | 403/606 [01:34<00:43, 4.71it/s]\u001b[A\n", + " 67%|███████████████████████████▎ | 404/606 [01:34<00:44, 4.54it/s]\u001b[A\n", + " 67%|███████████████████████████▍ | 405/606 [01:34<00:43, 4.61it/s]\u001b[A\n", + " 67%|███████████████████████████▍ | 406/606 [01:34<00:43, 4.61it/s]\u001b[A\n", + " 67%|███████████████████████████▌ | 407/606 [01:35<00:45, 4.36it/s]\u001b[A\n", + " 67%|███████████████████████████▌ | 408/606 [01:35<00:43, 4.60it/s]\u001b[A\n", + " 67%|███████████████████████████▋ | 409/606 [01:35<00:44, 4.47it/s]\u001b[A\n", + " 68%|███████████████████████████▋ | 410/606 [01:35<00:47, 4.13it/s]\u001b[A\n", + " 68%|███████████████████████████▊ | 411/606 [01:35<00:45, 4.26it/s]\u001b[A\n", + " 68%|███████████████████████████▊ | 412/606 [01:36<00:43, 4.43it/s]\u001b[A\n", + " 68%|███████████████████████████▉ | 413/606 [01:36<00:42, 4.58it/s]\u001b[A\n", + " 68%|████████████████████████████ | 414/606 [01:36<00:37, 5.06it/s]\u001b[A\n", + " 68%|████████████████████████████ | 415/606 [01:36<00:38, 5.01it/s]\u001b[A\n", + " 69%|████████████████████████████▏ | 416/606 [01:37<00:41, 4.54it/s]\u001b[A\n", + " 69%|████████████████████████████▏ | 417/606 [01:37<00:41, 4.57it/s]\u001b[A\n", + " 69%|████████████████████████████▎ | 418/606 [01:37<00:43, 4.27it/s]\u001b[A\n", + " 69%|████████████████████████████▎ | 419/606 [01:37<00:43, 4.30it/s]\u001b[A\n", + " 69%|████████████████████████████▍ | 420/606 [01:37<00:41, 4.48it/s]\u001b[A\n", + " 69%|████████████████████████████▍ | 421/606 [01:38<00:40, 4.59it/s]\u001b[A\n", + " 70%|████████████████████████████▌ | 422/606 [01:38<00:40, 4.60it/s]\u001b[A\n", + " 70%|████████████████████████████▌ | 423/606 [01:38<00:40, 4.48it/s]\u001b[A\n", + " 70%|████████████████████████████▋ | 424/606 [01:38<00:41, 4.41it/s]\u001b[A\n", + " 70%|████████████████████████████▊ | 425/606 [01:39<00:40, 4.43it/s]\u001b[A\n", + " 70%|████████████████████████████▊ | 426/606 [01:39<00:39, 4.54it/s]\u001b[A\n", + " 70%|████████████████████████████▉ | 427/606 [01:39<00:35, 5.05it/s]\u001b[A\n", + " 71%|████████████████████████████▉ | 428/606 [01:39<00:34, 5.15it/s]\u001b[A\n", + " 71%|█████████████████████████████ | 429/606 [01:39<00:35, 5.02it/s]\u001b[A\n", + " 71%|█████████████████████████████ | 430/606 [01:40<00:35, 4.90it/s]\u001b[A\n", + " 71%|█████████████████████████████▏ | 431/606 [01:40<00:39, 4.49it/s]\u001b[A\n", + " 71%|█████████████████████████████▏ | 432/606 [01:40<00:38, 4.50it/s]\u001b[A\n", + " 71%|█████████████████████████████▎ | 433/606 [01:40<00:37, 4.57it/s]\u001b[A\n", + " 72%|█████████████████████████████▎ | 434/606 [01:40<00:37, 4.63it/s]\u001b[A\n", + " 72%|█████████████████████████████▍ | 435/606 [01:41<00:36, 4.70it/s]\u001b[A\n", + " 72%|█████████████████████████████▍ | 436/606 [01:41<00:37, 4.54it/s]\u001b[A\n", + " 72%|█████████████████████████████▌ | 437/606 [01:41<00:36, 4.65it/s]\u001b[A\n", + " 72%|█████████████████████████████▋ | 438/606 [01:41<00:34, 4.90it/s]\u001b[A\n", + " 72%|█████████████████████████████▋ | 439/606 [01:41<00:32, 5.08it/s]\u001b[A\n", + " 73%|█████████████████████████████▊ | 440/606 [01:42<00:33, 5.01it/s]\u001b[A\n", + " 73%|█████████████████████████████▊ | 441/606 [01:42<00:34, 4.81it/s]\u001b[A\n", + " 73%|█████████████████████████████▉ | 442/606 [01:42<00:36, 4.55it/s]\u001b[A\n", + " 73%|█████████████████████████████▉ | 443/606 [01:42<00:34, 4.79it/s]\u001b[A\n", + " 73%|██████████████████████████████ | 444/606 [01:43<00:33, 4.79it/s]\u001b[A\n", + " 73%|██████████████████████████████ | 445/606 [01:43<00:32, 4.93it/s]\u001b[A\n", + " 74%|██████████████████████████████▏ | 446/606 [01:43<00:32, 4.96it/s]\u001b[A\n", + " 74%|██████████████████████████████▏ | 447/606 [01:43<00:31, 5.07it/s]\u001b[A\n", + " 74%|██████████████████████████████▎ | 448/606 [01:43<00:31, 5.08it/s]\u001b[A\n", + " 74%|██████████████████████████████▍ | 449/606 [01:43<00:30, 5.23it/s]\u001b[A\n", + " 74%|██████████████████████████████▍ | 450/606 [01:44<00:28, 5.53it/s]\u001b[A\n", + " 74%|██████████████████████████████▌ | 451/606 [01:44<00:28, 5.47it/s]\u001b[A\n", + " 75%|██████████████████████████████▌ | 452/606 [01:44<00:29, 5.27it/s]\u001b[A\n", + " 75%|██████████████████████████████▋ | 453/606 [01:44<00:29, 5.14it/s]\u001b[A\n", + " 75%|██████████████████████████████▋ | 454/606 [01:44<00:30, 4.99it/s]\u001b[A\n", + " 75%|██████████████████████████████▊ | 455/606 [01:45<00:29, 5.04it/s]\u001b[A\n", + " 75%|██████████████████████████████▊ | 456/606 [01:45<00:29, 5.03it/s]\u001b[A\n", + " 75%|██████████████████████████████▉ | 457/606 [01:45<00:29, 5.02it/s]\u001b[A\n", + " 76%|██████████████████████████████▉ | 458/606 [01:45<00:30, 4.88it/s]\u001b[A\n", + " 76%|███████████████████████████████ | 459/606 [01:45<00:29, 4.96it/s]\u001b[A\n", + " 76%|███████████████████████████████ | 460/606 [01:46<00:30, 4.78it/s]\u001b[A\n", + " 76%|███████████████████████████████▏ | 461/606 [01:46<00:31, 4.57it/s]\u001b[A\n", + " 76%|███████████████████████████████▎ | 462/606 [01:46<00:31, 4.57it/s]\u001b[A\n", + " 76%|███████████████████████████████▎ | 463/606 [01:46<00:31, 4.56it/s]\u001b[A\n", + " 77%|███████████████████████████████▍ | 464/606 [01:47<00:32, 4.39it/s]\u001b[A\n", + " 77%|███████████████████████████████▍ | 465/606 [01:47<00:31, 4.41it/s]\u001b[A\n", + " 77%|███████████████████████████████▌ | 466/606 [01:47<00:30, 4.53it/s]\u001b[A\n", + " 77%|███████████████████████████████▌ | 467/606 [01:47<00:30, 4.58it/s]\u001b[A\n", + " 77%|███████████████████████████████▋ | 468/606 [01:47<00:30, 4.56it/s]\u001b[A\n", + " 77%|███████████████████████████████▋ | 469/606 [01:48<00:29, 4.65it/s]\u001b[A\n", + " 78%|██████████████████���████████████▊ | 470/606 [01:48<00:28, 4.72it/s]\u001b[A\n", + " 78%|███████████████████████████████▊ | 471/606 [01:48<00:27, 4.93it/s]\u001b[A\n", + " 78%|███████████████████████████████▉ | 472/606 [01:48<00:28, 4.72it/s]\u001b[A\n", + " 78%|████████████████████████████████ | 473/606 [01:48<00:28, 4.63it/s]\u001b[A\n", + " 78%|████████████████████████████████ | 474/606 [01:49<00:28, 4.70it/s]\u001b[A\n", + " 78%|████████████████████████████████▏ | 475/606 [01:49<00:28, 4.68it/s]\u001b[A\n", + " 79%|████████████████████████████████▏ | 476/606 [01:49<00:27, 4.71it/s]\u001b[A\n", + " 79%|████████████████████████████████▎ | 477/606 [01:49<00:29, 4.38it/s]\u001b[A\n", + " 79%|████████████████████████████████▎ | 478/606 [01:50<00:29, 4.38it/s]\u001b[A\n", + " 79%|████████████████████████████████▍ | 479/606 [01:50<00:30, 4.22it/s]\u001b[A\n", + " 79%|████████████████████████████████▍ | 480/606 [01:50<00:29, 4.26it/s]\u001b[A\n", + " 79%|████████████████████████████████▌ | 481/606 [01:50<00:27, 4.53it/s]\u001b[A\n", + " 80%|████████████████████████████████▌ | 482/606 [01:50<00:26, 4.68it/s]\u001b[A\n", + " 80%|████████████████████████████████▋ | 483/606 [01:51<00:24, 5.10it/s]\u001b[A\n", + " 80%|████████████████████████████████▋ | 484/606 [01:51<00:22, 5.48it/s]\u001b[A\n", + " 80%|████████████████████████████████▊ | 485/606 [01:51<00:22, 5.29it/s]\u001b[A\n", + " 80%|████████████████████████████████▉ | 486/606 [01:51<00:22, 5.24it/s]\u001b[A\n", + " 80%|████████████████████████████████▉ | 487/606 [01:51<00:23, 5.10it/s]\u001b[A\n", + " 81%|█████████████████████████████████ | 488/606 [01:52<00:21, 5.40it/s]\u001b[A\n", + " 81%|█████████████████████████████████ | 489/606 [01:52<00:20, 5.65it/s]\u001b[A\n", + " 81%|█████████████████████████████████▏ | 490/606 [01:52<00:20, 5.57it/s]\u001b[A\n", + " 81%|█████████████████████████████████▏ | 491/606 [01:52<00:20, 5.49it/s]\u001b[A\n", + " 81%|█████████████████████████████████▎ | 492/606 [01:52<00:19, 5.79it/s]\u001b[A\n", + " 81%|█████████████████████████████████▎ | 493/606 [01:52<00:19, 5.80it/s]\u001b[A\n", + " 82%|█████████████████████████████████▍ | 494/606 [01:53<00:23, 4.67it/s]\u001b[A\n", + " 82%|█████████████████████████████████▍ | 495/606 [01:53<00:25, 4.29it/s]\u001b[A\n", + " 82%|█████████████████████████████████▌ | 496/606 [01:53<00:24, 4.43it/s]\u001b[A\n", + " 82%|█████████████████████████████████▋ | 497/606 [01:53<00:24, 4.48it/s]\u001b[A\n", + " 82%|█████████████████████████████████▋ | 498/606 [01:54<00:24, 4.33it/s]\u001b[A\n", + " 82%|█████████████████████████████████▊ | 499/606 [01:54<00:23, 4.55it/s]\u001b[A\n", + " 83%|█████████████████████████████████▊ | 500/606 [01:54<00:22, 4.71it/s]\u001b[A\n", + " 83%|█████████████████████████████████▉ | 501/606 [01:54<00:22, 4.61it/s]\u001b[A\n", + " 83%|█████████████████████████████████▉ | 502/606 [01:55<00:23, 4.43it/s]\u001b[A\n", + " 83%|██████████████████████████████████ | 503/606 [01:55<00:22, 4.54it/s]\u001b[A\n", + " 83%|██████████████████████████████████ | 504/606 [01:55<00:21, 4.65it/s]\u001b[A\n", + " 83%|██████████████████████████████████▏ | 505/606 [01:55<00:21, 4.76it/s]\u001b[A\n", + " 83%|██████████████████████████████████▏ | 506/606 [01:55<00:21, 4.62it/s]\u001b[A\n", + " 84%|██████████████████████████████████▎ | 507/606 [01:56<00:21, 4.52it/s]\u001b[A\n", + " 84%|██████████████████████████████████▎ | 508/606 [01:56<00:22, 4.45it/s]\u001b[A\n", + " 84%|██████████████████████████████████▍ | 509/606 [01:56<00:23, 4.21it/s]\u001b[A\n", + " 84%|██████████████████████████████████▌ | 510/606 [01:56<00:22, 4.28it/s]\u001b[A\n", + " 84%|██████████████████████████████████▌ | 511/606 [01:57<00:20, 4.56it/s]\u001b[A\n", + " 84%|██████████████████████████████████▋ | 512/606 [01:57<00:20, 4.56it/s]\u001b[A\n", + " 85%|██████████████████████████████████▋ | 513/606 [01:57<00:19, 4.72it/s]\u001b[A\n", + " 85%|██████████████████████████████████▊ | 514/606 [01:57<00:18, 5.02it/s]\u001b[A\n", + " 85%|██████████████████████████████████▊ | 515/606 [01:57<00:18, 4.91it/s]\u001b[A\n", + " 85%|██████████████████████████████████▉ | 516/606 [01:58<00:18, 4.91it/s]\u001b[A\n", + " 85%|██████████████████████████████████▉ | 517/606 [01:58<00:17, 5.21it/s]\u001b[A\n", + " 85%|███████████████████████████████████ | 518/606 [01:58<00:16, 5.24it/s]\u001b[A\n", + " 86%|███████████████████████████████████ | 519/606 [01:58<00:16, 5.13it/s]\u001b[A\n", + " 86%|███████████████████████████████████▏ | 520/606 [01:58<00:18, 4.61it/s]\u001b[A\n", + " 86%|███████████████████████████████████▏ | 521/606 [01:59<00:19, 4.29it/s]\u001b[A\n", + " 86%|███████████████████████████████████▎ | 522/606 [01:59<00:19, 4.23it/s]\u001b[A\n", + " 86%|███████████████████████████████████▍ | 523/606 [01:59<00:20, 4.03it/s]\u001b[A\n", + " 86%|███████████████████████████████████▍ | 524/606 [01:59<00:22, 3.71it/s]\u001b[A\n", + " 87%|███████████████████████████████████▌ | 525/606 [02:00<00:22, 3.52it/s]\u001b[A\n", + " 87%|███████████████████████████████████▌ | 526/606 [02:00<00:22, 3.51it/s]\u001b[A\n", + " 87%|███████████████████████████████████▋ | 527/606 [02:00<00:24, 3.28it/s]\u001b[A\n", + " 87%|███████████████████████████████████▋ | 528/606 [02:01<00:22, 3.48it/s]\u001b[A\n", + " 87%|███████████████████████████████████▊ | 529/606 [02:01<00:23, 3.33it/s]\u001b[A\n", + " 87%|███████████████████████████████████▊ | 530/606 [02:01<00:24, 3.11it/s]\u001b[A\n", + " 88%|███████████████████████████████████▉ | 531/606 [02:02<00:25, 2.90it/s]\u001b[A\n", + " 88%|███████████████████████████████████▉ | 532/606 [02:02<00:25, 2.90it/s]\u001b[A\n", + " 88%|████████████████████████████████████ | 533/606 [02:02<00:22, 3.21it/s]\u001b[A\n", + " 88%|████████████████████████████████████▏ | 534/606 [02:03<00:19, 3.67it/s]\u001b[A\n", + " 88%|████████████████████████████████████▏ | 535/606 [02:03<00:19, 3.61it/s]\u001b[A\n", + " 88%|████████████████████████████████████▎ | 536/606 [02:03<00:18, 3.71it/s]\u001b[A\n", + " 89%|████████████████████████████████████▎ | 537/606 [02:03<00:17, 3.84it/s]\u001b[A\n", + " 89%|████████████████████████████████████▍ | 538/606 [02:04<00:17, 3.99it/s]\u001b[A\n", + " 89%|████████████████████████████████████▍ | 539/606 [02:04<00:17, 3.87it/s]\u001b[A\n", + " 89%|████████████████████████████████████▌ | 540/606 [02:04<00:16, 3.99it/s]\u001b[A\n", + " 89%|████████████████████████████████████▌ | 541/606 [02:04<00:16, 4.01it/s]\u001b[A\n", + " 89%|████████████████████████████████████▋ | 542/606 [02:04<00:15, 4.21it/s]\u001b[A\n", + " 90%|████████████████████████████████████▋ | 543/606 [02:05<00:14, 4.31it/s]\u001b[A\n", + " 90%|████████████████████████████████████▊ | 544/606 [02:05<00:14, 4.39it/s]\u001b[A\n", + " 90%|████████████████████████████████████▊ | 545/606 [02:05<00:14, 4.21it/s]\u001b[A\n", + " 90%|████████████████████████████████████▉ | 546/606 [02:05<00:14, 4.16it/s]\u001b[A\n", + " 90%|█████████████████████████████████████ | 547/606 [02:06<00:15, 3.72it/s]\u001b[A\n", + " 90%|█████████████████████████████████████ | 548/606 [02:06<00:15, 3.76it/s]\u001b[A\n", + " 91%|█████████████████████████████████████▏ | 549/606 [02:06<00:17, 3.28it/s]\u001b[A\n", + " 91%|█████████████████████████████████████▏ | 550/606 [02:07<00:17, 3.19it/s]\u001b[A\n", + " 91%|█████████████████████████████████████▎ | 551/606 [02:07<00:17, 3.16it/s]\u001b[A\n", + " 91%|█████████████████████████████████████▎ | 552/606 [02:07<00:15, 3.53it/s]\u001b[A\n", + " 91%|█████████████████████████████████████▍ | 553/606 [02:08<00:15, 3.49it/s]\u001b[A\n", + " 91%|█████████████████████████████████████▍ | 554/606 [02:08<00:14, 3.61it/s]\u001b[A\n", + " 92%|█████████████████████████████████████▌ | 555/606 [02:08<00:13, 3.68it/s]\u001b[A\n", + " 92%|█████████████████████████████████████▌ | 556/606 [02:08<00:13, 3.80it/s]\u001b[A\n", + " 92%|█████████████████████████████████████▋ | 557/606 [02:09<00:13, 3.57it/s]\u001b[A\n", + " 92%|█████████████████████████████████████▊ | 558/606 [02:09<00:13, 3.47it/s]\u001b[A\n", + " 92%|█████████████████████████████████████▊ | 559/606 [02:09<00:12, 3.62it/s]\u001b[A\n", + " 92%|█████████████████████████████████████▉ | 560/606 [02:09<00:12, 3.75it/s]\u001b[A\n", + " 93%|█████████████████████████████████████▉ | 561/606 [02:10<00:11, 3.90it/s]\u001b[A\n", + " 93%|██████████████████████████████████████ | 562/606 [02:10<00:10, 4.13it/s]\u001b[A\n", + " 93%|██████████████████████████████████████ | 563/606 [02:10<00:11, 3.82it/s]\u001b[A\n", + " 93%|██████████████████████████████████████▏ | 564/606 [02:10<00:10, 3.95it/s]\u001b[A\n", + " 93%|██████████████████████████████████████▏ | 565/606 [02:11<00:10, 4.01it/s]\u001b[A\n", + " 93%|██████████████████████████████████████▎ | 566/606 [02:11<00:10, 3.97it/s]\u001b[A\n", + " 94%|██████████████████████████████████████▎ | 567/606 [02:11<00:09, 4.01it/s]\u001b[A\n", + " 94%|██████████████████████████████████████▍ | 568/606 [02:11<00:09, 4.02it/s]\u001b[A\n", + " 94%|██████████████████████████████████████▍ | 569/606 [02:12<00:08, 4.15it/s]\u001b[A\n", + " 94%|██████████████████████████████████████▌ | 570/606 [02:12<00:08, 4.21it/s]\u001b[A\n", + " 94%|██████████████████████████████████████▋ | 571/606 [02:12<00:08, 4.22it/s]\u001b[A\n", + " 94%|██████████████████████████████████████▋ | 572/606 [02:12<00:09, 3.69it/s]\u001b[A\n", + " 95%|██████████████████████████████████████▊ | 573/606 [02:13<00:09, 3.56it/s]\u001b[A\n", + " 95%|██████████████████████████████████████▊ | 574/606 [02:13<00:09, 3.52it/s]\u001b[A\n", + " 95%|██████████████████████████████████████▉ | 575/606 [02:13<00:08, 3.48it/s]\u001b[A\n", + " 95%|██████████████████████████████████████▉ | 576/606 [02:14<00:08, 3.46it/s]\u001b[A\n", + " 95%|███████████████████████████████████████ | 577/606 [02:14<00:08, 3.51it/s]\u001b[A\n", + " 95%|███████████████████████████████████████ | 578/606 [02:14<00:07, 3.66it/s]\u001b[A\n", + " 96%|███████████████████████████████████████▏ | 579/606 [02:14<00:07, 3.84it/s]\u001b[A\n", + " 96%|███████████████████████████████████████▏ | 580/606 [02:15<00:06, 3.85it/s]\u001b[A\n", + " 96%|███████████████████████████████████████▎ | 581/606 [02:15<00:05, 4.22it/s]\u001b[A\n", + " 96%|███████████████████████████████████████▍ | 582/606 [02:15<00:05, 4.19it/s]\u001b[A\n", + " 96%|███████████████████████████████████████▍ | 583/606 [02:15<00:05, 3.94it/s]\u001b[A\n", + " 96%|███████████████████████████████████████▌ | 584/606 [02:16<00:05, 4.02it/s]\u001b[A\n", + " 97%|███████████████████████████████████████▌ | 585/606 [02:16<00:05, 3.84it/s]\u001b[A\n", + " 97%|███████████████████████████████████████▋ | 586/606 [02:16<00:05, 3.90it/s]\u001b[A\n", + " 97%|███████████████████████████████████████▋ | 587/606 [02:16<00:04, 3.92it/s]\u001b[A\n", + " 97%|█████████████████████████████��█████████▊ | 588/606 [02:17<00:04, 3.82it/s]\u001b[A\n", + " 97%|███████████████████████████████████████▊ | 589/606 [02:17<00:04, 3.66it/s]\u001b[A\n", + " 97%|███████████████████████████████████████▉ | 590/606 [02:17<00:04, 3.64it/s]\u001b[A\n", + " 98%|███████████████████████████████████████▉ | 591/606 [02:18<00:04, 3.66it/s]\u001b[A\n", + " 98%|████████████████████████████████████████ | 592/606 [02:18<00:03, 3.55it/s]\u001b[A\n", + " 98%|████████████████████████████████████████ | 593/606 [02:18<00:03, 3.80it/s]\u001b[A\n", + " 98%|████████████████████████████████████████▏| 594/606 [02:18<00:03, 3.94it/s]\u001b[A\n", + " 98%|████████████████████████████████████████▎| 595/606 [02:19<00:02, 3.80it/s]\u001b[A\n", + " 98%|████████████████████████████████████████▎| 596/606 [02:19<00:02, 3.73it/s]\u001b[A\n", + " 99%|████████████████████████████████████████▍| 597/606 [02:19<00:02, 3.87it/s]\u001b[A\n", + " 99%|████████████████████████████████████████▍| 598/606 [02:19<00:02, 3.96it/s]\u001b[A\n", + " 99%|████████████████████████████████████████▌| 599/606 [02:20<00:01, 3.85it/s]\u001b[A\n", + " 99%|████████████████████████████████████████▌| 600/606 [02:20<00:01, 4.24it/s]\u001b[A\n", + " 99%|████████████████████████████████████████▋| 601/606 [02:20<00:01, 3.83it/s]\u001b[A\n", + " 99%|████████████████████████████████████████▋| 602/606 [02:20<00:01, 3.67it/s]\u001b[A\n", + "100%|████████████████████████████████████████▊| 603/606 [02:21<00:00, 3.49it/s]\u001b[A\n", + "100%|████████████████████████████████████████▊| 604/606 [02:21<00:00, 3.69it/s]\u001b[A\n", + "100%|████████████████████████████████████████▉| 605/606 [02:21<00:00, 3.72it/s]\u001b[A\n", + " \u001b[A\n", + "\u001b[A{'eval_loss': 3.2627265453338623, 'eval_wer': 1.0, 'eval_runtime': 145.0882, 'eval_samples_per_second': 33.38, 'eval_steps_per_second': 4.177, 'epoch': 0.29}\n", + " 6%|██ | 105/1825 [1:04:48<8:17:55, 17.37s/it]\n", + "100%|█████████████████████████████████████████| 606/606 [02:24<00:00, 4.52it/s]\u001b[A\n", + " \u001b[ASaving model checkpoint to ./checkpoint-105\n", + "Configuration saved in ./checkpoint-105/config.json\n", + "Model weights saved in ./checkpoint-105/pytorch_model.bin\n", + "Configuration saved in ./checkpoint-105/preprocessor_config.json\n", + "Configuration saved in ./preprocessor_config.json\n", + "Deleting older checkpoint [checkpoint-90] due to args.save_total_limit\n", + "{'loss': 3.1647, 'learning_rate': 7.146814404432133e-05, 'epoch': 0.29} \n", + "{'loss': 3.1678, 'learning_rate': 7.142659279778393e-05, 'epoch': 0.29} \n", + "{'loss': 3.0838, 'learning_rate': 7.138504155124653e-05, 'epoch': 0.3} \n", + "{'loss': 3.2472, 'learning_rate': 7.134349030470913e-05, 'epoch': 0.3} \n", + "{'loss': 3.1308, 'learning_rate': 7.130193905817175e-05, 'epoch': 0.3} \n", + " 6%|██▏ | 110/1825 [1:05:36<8:23:47, 17.63s/it]The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length.\n", + "***** Running Evaluation *****\n", + " Num examples = 4843\n", + " Batch size = 8\n", + "\n", + " 0%| | 0/606 [00:00