Training in progress, step 12000

pytorch_model.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:227d04111a8bc52d27ab348ad591613317a7e3e38cdd1cfc6c77133b7691878a
+oid sha256:b417ec2155aa1de4a791603fc6b8006f18bbc821be5de32bbda90261afcd5fed
 size 1262817457

wandb/run-20220129_215451-1vipdbow/files/output.log

@@ -13629,3 +13629,596 @@ Deleting older checkpoint [checkpoint-10000] due to args.save_total_limit
 Configuration saved in ./checkpoint-11500/config.json
 Model weights saved in ./checkpoint-11500/pytorch_model.bin
 Configuration saved in ./checkpoint-11500/preprocessor_config.json
+Configuration saved in ./preprocessor_config.json
+Deleting older checkpoint [checkpoint-10500] due to args.save_total_limit
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                        | 11599/13822 [12:33:46<1:29:41,  2.42s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                       | 11700/13822 [12:39:02<1:28:05,  2.49s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 85%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                      | 11799/13822 [12:44:08<1:21:59,  2.43s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                     | 11900/13822 [12:49:20<1:17:22,  2.42s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                    | 11999/13822 [12:54:28<1:14:36,  2.46s/it]
+ 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                    | 12000/13822 [12:54:31<1:15:02,  2.47s/it]The following columns in the evaluation set  don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length.
+***** Running Evaluation *****
+  Num examples = 5792
+  Batch size = 64
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+Configuration saved in ./checkpoint-12000/config.json
+{'eval_loss': 0.24390804767608643, 'eval_wer': 0.37467822346769203, 'eval_runtime': 295.4584, 'eval_samples_per_second': 19.603, 'eval_steps_per_second': 0.308, 'epoch': 1.74}
+Model weights saved in ./checkpoint-12000/pytorch_model.bin
+Configuration saved in ./checkpoint-12000/preprocessor_config.json

wandb/run-20220129_215451-1vipdbow/run-1vipdbow.wandb

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:dc92ec3387a344dbc2810a36d3fcbda131e4d2a3029e4f885b116ed4f40a2d91
-size 85777260
+oid sha256:6249647cd3f2e58d7be2e27a66014aae4ee40891aa9bceb28e3ac8f48a7060ac
+size 89872982