Training in progress, step 12500

pytorch_model.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:b417ec2155aa1de4a791603fc6b8006f18bbc821be5de32bbda90261afcd5fed
+oid sha256:337932fa0f77992f7cb6e52685618cd7ec42e647083d6f2659221c6b440e01c7
 size 1262817457

wandb/run-20220129_215451-1vipdbow/files/output.log

@@ -14222,3 +14222,595 @@ Configuration saved in ./checkpoint-12000/config.json
 {'eval_loss': 0.24390804767608643, 'eval_wer': 0.37467822346769203, 'eval_runtime': 295.4584, 'eval_samples_per_second': 19.603, 'eval_steps_per_second': 0.308, 'epoch': 1.74}
 Model weights saved in ./checkpoint-12000/pytorch_model.bin
 Configuration saved in ./checkpoint-12000/preprocessor_config.json
+Configuration saved in ./preprocessor_config.json
+Deleting older checkpoint [checkpoint-11000] due to args.save_total_limit
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                   | 12099/13822 [13:06:05<1:09:51,  2.43s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                  | 12199/13822 [13:11:16<1:04:15,  2.38s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                 | 12299/13822 [13:16:27<1:01:27,  2.42s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                | 12399/13822 [13:21:39<57:50,  2.44s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████               | 12499/13822 [13:26:50<52:55,  2.40s/it]
+ 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████               | 12500/13822 [13:26:53<54:10,  2.46s/it]The following columns in the evaluation set  don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length.
+***** Running Evaluation *****
+  Num examples = 5792
+  Batch size = 64
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████��████████████████████████████████████████████████████████████████████████████████████| 91/91 [04:06<00:00,  2.37s/it]
+
+Configuration saved in ./checkpoint-12500/config.json
+Model weights saved in ./checkpoint-12500/pytorch_model.bin
+Configuration saved in ./checkpoint-12500/preprocessor_config.json

wandb/run-20220129_215451-1vipdbow/run-1vipdbow.wandb

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:6249647cd3f2e58d7be2e27a66014aae4ee40891aa9bceb28e3ac8f48a7060ac
-size 89872982
+oid sha256:46847c76c42b8aeb611625e097c5203610e9f57ca5f81f0a567971fddfcfdc08
+size 93899465