Training in progress, step 3500

pytorch_model.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:a5f96c3b4e0b4c1dbdc754039133f48b28857a1c2c542122ae02ca5292fd921c
+oid sha256:1257222c5e625617929a2e12f3acb0f6948aa46cf9891681c85e8a74c330a249
 size 1262083569

wandb/run-20220202_141009-3kd8yz7g/files/output.log

@@ -3294,3 +3294,554 @@ Deleting older checkpoint [checkpoint-2000] due to args.save_total_limit
 Configuration saved in ./checkpoint-3000/config.json
 Model weights saved in ./checkpoint-3000/pytorch_model.bin
 Configuration saved in ./checkpoint-3000/preprocessor_config.json
+Configuration saved in ./preprocessor_config.json
+Deleting older checkpoint [checkpoint-2500] due to args.save_total_limit
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 78%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                     | 3100/4000 [8:44:55<2:46:50, 11.12s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                 | 3199/4000 [9:00:59<2:01:06,  9.07s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                             | 3299/4000 [9:17:16<1:53:19,  9.70s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 85%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                        | 3399/4000 [9:33:31<1:33:29,  9.33s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                    | 3499/4000 [9:49:46<1:21:35,  9.77s/it]
+{'loss': 0.0447, 'learning_rate': 4.9710474062988955e-05, 'epoch': 87.5}
+ 88%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                    | 3500/4000 [9:50:00<1:31:59, 11.04s/it]The following columns in the evaluation set  don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length.
+***** Running Evaluation *****
+  Num examples = 2613
+  Batch size = 72
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+Configuration saved in ./checkpoint-3500/config.json
+{'eval_loss': 0.4518083930015564, 'eval_wer': 0.3460563023078874, 'eval_runtime': 138.0899, 'eval_samples_per_second': 18.922, 'eval_steps_per_second': 0.268, 'epoch': 87.5}
+Model weights saved in ./checkpoint-3500/pytorch_model.bin
+Configuration saved in ./checkpoint-3500/preprocessor_config.json

wandb/run-20220202_141009-3kd8yz7g/run-3kd8yz7g.wandb

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:a7016433851d9dc09cdd53acb3c0a228758e0a262f7a937476b546b0852d6403
-size 21925687
+oid sha256:d2d26d114b646dee64f78b9c7b9d3ffb103cf3b2dece9a8a4ec678a960b92efe
+size 25664706