daze-unlv's picture
Training in progress, epoch 3
746052e verified
{'loss': 1.3881, 'grad_norm': 0.6003227233886719, 'learning_rate': 4.708318749270797e-05, 'epoch': 0.18}
{'loss': 1.3876, 'grad_norm': 0.4613286256790161, 'learning_rate': 4.416637498541594e-05, 'epoch': 0.35}
{'loss': 1.3873, 'grad_norm': 0.5309109687805176, 'learning_rate': 4.124956247812391e-05, 'epoch': 0.53}
{'loss': 1.387, 'grad_norm': 0.5379341244697571, 'learning_rate': 3.8332749970831875e-05, 'epoch': 0.7}
{'loss': 1.3871, 'grad_norm': 0.450338214635849, 'learning_rate': 3.5415937463539846e-05, 'epoch': 0.88}
[0 1 1 ... 2 0 2] [0 0 2 ... 0 1 0]
{'eval_loss': 1.3862946033477783, 'eval_accuracy': 0.27516136743963665, 'eval_runtime': 8.2231, 'eval_samples_per_second': 508.686, 'eval_steps_per_second': 8.026, 'epoch': 1.0}
{'loss': 1.387, 'grad_norm': 0.4391946792602539, 'learning_rate': 3.249912495624781e-05, 'epoch': 1.05}
{'loss': 1.3868, 'grad_norm': 0.6134280562400818, 'learning_rate': 2.9582312448955786e-05, 'epoch': 1.23}
{'loss': 1.3868, 'grad_norm': 0.3446740210056305, 'learning_rate': 2.666549994166375e-05, 'epoch': 1.4}
{'loss': 1.3869, 'grad_norm': 0.46841052174568176, 'learning_rate': 2.374868743437172e-05, 'epoch': 1.58}
{'loss': 1.3868, 'grad_norm': 0.44693630933761597, 'learning_rate': 2.083187492707969e-05, 'epoch': 1.75}
{'loss': 1.3868, 'grad_norm': 0.38131844997406006, 'learning_rate': 1.7915062419787655e-05, 'epoch': 1.93}
[2 3 3 ... 2 0 0] [0 0 2 ... 0 1 0]
{'eval_loss': 1.3862946033477783, 'eval_accuracy': 0.24910351422424098, 'eval_runtime': 8.2657, 'eval_samples_per_second': 506.069, 'eval_steps_per_second': 7.985, 'epoch': 2.0}
{'loss': 1.3867, 'grad_norm': 0.4255264699459076, 'learning_rate': 1.4998249912495627e-05, 'epoch': 2.1}
{'loss': 1.3867, 'grad_norm': 0.3835676610469818, 'learning_rate': 1.2081437405203595e-05, 'epoch': 2.28}
{'loss': 1.3865, 'grad_norm': 0.46268701553344727, 'learning_rate': 9.164624897911563e-06, 'epoch': 2.45}
{'loss': 1.3865, 'grad_norm': 0.4126572906970978, 'learning_rate': 6.247812390619531e-06, 'epoch': 2.63}
{'loss': 1.3866, 'grad_norm': 0.4346488416194916, 'learning_rate': 3.3309998833275e-06, 'epoch': 2.8}
{'loss': 1.3866, 'grad_norm': 0.42973408102989197, 'learning_rate': 4.141873760354685e-07, 'epoch': 2.98}