Saving weights and logs of step 375000

checkpoint_375000

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e4489341b8ace14468fc4657f38e720a21dad9c54f5865afeb29d741a19c0c42
+size 1530270447

events.out.tfevents.1626474829.t1v-n-f5c06ea1-w-0.798495.3.v2

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:1395ce551f9ffcb161ea916dbb89a9a0a6f09f83ec89a3c88836317833f93a73
-size 4512466
+oid sha256:ca08ea32c7b140286dc6ffe246623708432c9476cf231e474bfe37cc3052a57f
+size 6768608

flax_model.msgpack

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:e52614107797350149958dda0688808f3d7bbe79cc7afe82432a2d292150efa0
+oid sha256:7868c84d277acee0cfd1403ad8145a128ae46b441818a9cad349b775d0a0138f
 size 510090043

wandb/run-20210716_223350-8eukt20m/files/output.log

@@ -4129,3 +4129,1658 @@ tcmalloc: large alloc 2715181056 bytes == 0x3dece4000 @  0x7f2f3656a680 0x7f2f36
 [02:11:03] - INFO - absl - Saved checkpoint at checkpoint_360000
 [02:11:04] - INFO - huggingface_hub.repository - git version 2.25.1
 git-lfs/2.9.2 (GitHub; linux amd64; go 1.13.5)
+[02:11:05] - DEBUG - huggingface_hub.repository - [Repository] is a valid git repo
+[02:12:18] - INFO - huggingface_hub.repository - Uploading LFS objects: 100% (3/3), 2.0 GB | 48 MB/s, done.
+
+
+
+Training...: 30049it [3:32:43,  5.52it/s]
+
+
+
+
+Training...: 30099it [3:33:04,  6.76it/s]
+
+
+
+
+Training...: 30148it [3:33:24,  7.40it/s]
+
+
+
+
+Training...: 30199it [3:33:44,  5.97it/s]
+
+
+
+
+Training...: 30249it [3:34:04,  5.50it/s]
+
+
+
+
+
+Training...: 30300it [3:34:37,  3.91s/it]
+
+
+
+
+Training...: 30349it [3:34:44,  7.39it/s]
+
+
+
+
+Training...: 30399it [3:35:04,  6.50it/s]
+
+
+
+
+
+Training...: 30450it [3:35:37,  3.86s/it]
+
+
+
+
+
+Training...: 30501it [3:35:58,  2.86s/it]
+
+
+
+
+
+Training...: 30550it [3:36:18,  3.80s/it]
+
+
+
+
+
+Training...: 30600it [3:36:38,  3.48s/it]
+
+
+
+
+
+Training...: 30651it [3:36:58,  2.75s/it]
+
+
+
+
+
+Training...: 30703it [3:37:19,  1.42s/it]
+
+
+
+
+
+Training...: 30755it [3:37:39,  1.27it/s]
+
+
+
+
+
+Training...: 30804it [3:37:59,  1.06s/it]
+
+
+
+
+
+Training...: 30855it [3:38:19,  1.40it/s]
+
+
+
+
+Training...: 30905it [3:38:39,  1.23it/s]
+
+
+
+
+
+Training...: 30955it [3:38:59,  1.19it/s]
+
+
+
+
+
+Training...: 31008it [3:39:20,  2.84it/s]
+
+
+
+
+
+Training...: 31055it [3:39:40,  1.11it/s]
+
+
+
+
+
+Training...: 31106it [3:40:00,  1.67it/s]
+
+
+
+
+
+Training...: 31157it [3:40:20,  2.02it/s]
+
+
+
+
+Training...: 31199it [3:40:27,  6.12it/s]
+
+
+
+
+
+Training...: 31249it [3:40:47,  6.47it/s]
+
+
+
+
+
+Training...: 31299it [3:41:07,  2.97it/s]
+
+
+
+
+
+Training...: 31349it [3:41:27,  6.86it/s]
+
+
+
+
+Training...: 31399it [3:41:47,  6.17it/s]
+
+
+
+
+
+Training...: 31449it [3:42:07,  7.31it/s]
+
+
+
+
+Training...: 31499it [3:42:27,  5.47it/s]
+
+
+
+
+Training...: 31549it [3:42:48,  6.34it/s]
+
+
+
+
+Training...: 31599it [3:43:07,  4.99it/s]
+
+
+
+
+Training...: 31649it [3:43:28,  7.16it/s]
+
+
+
+
+
+Training...: 31699it [3:43:48,  6.99it/s]
+
+
+
+
+
+Training...: 31749it [3:44:08,  5.93it/s]
+
+
+
+
+Training...: 31799it [3:44:28,  6.18it/s]
+
+
+
+
+Training...: 31849it [3:44:48,  5.36it/s]
+
+
+
+
+Training...: 31899it [3:45:08,  5.37it/s]
+
+
+
+
+Training...: 31949it [3:45:28,  6.66it/s]
+
+
+
+
+Training...: 31999it [3:45:48,  5.63it/s]
+
+
+
+
+Training...: 32049it [3:46:09,  6.98it/s]
+
+
+
+
+Training...: 32099it [3:46:29,  6.19it/s]
+
+
+
+
+Training...: 32149it [3:46:48,  6.46it/s]
+
+
+
+
+Training...: 32199it [3:47:09,  6.64it/s]
+
+
+
+
+
+Training...: 32250it [3:47:42,  3.82s/it]
+
+
+
+
+
+Training...: 32301it [3:48:02,  2.68s/it]
+
+
+
+
+
+Training...: 32353it [3:48:23,  1.61s/it]
+
+
+
+
+
+Training...: 32402it [3:48:43,  2.09s/it]
+
+
+
+
+
+Training...: 32455it [3:49:03,  1.26it/s]
+
+
+
+
+
+Training...: 32506it [3:49:23,  1.73it/s]
+
+
+
+
+
+Training...: 32552it [3:49:43,  1.95s/it]
+
+
+
+
+
+Training...: 32603it [3:50:03,  1.46s/it]
+
+
+
+
+Training...: 32649it [3:50:10,  5.84it/s]
+
+
+
+
+Training...: 32699it [3:50:30,  7.86it/s]
+
+
+
+
+
+Training...: 32749it [3:50:50,  6.87it/s]
+
+
+
+
+
+Training...: 32799it [3:51:10,  6.97it/s]
+
+
+
+
+Training...: 32849it [3:51:30,  5.59it/s]
+
+
+
+
+Training...: 32899it [3:51:51,  7.57it/s]
+
+
+
+
+Training...: 32949it [3:52:10,  7.21it/s]
+
+
+
+
+Training...: 32999it [3:52:30,  5.83it/s]
+
+
+
+
+Training...: 33049it [3:52:50,  6.87it/s]
+
+
+
+
+Training...: 33099it [3:53:10,  6.14it/s]
+
+
+
+
+Training...: 33148it [3:53:31,  6.53it/s]
+
+
+
+
+Training...: 33199it [3:53:51,  4.01it/s]
+
+
+
+
+Training...: 33249it [3:54:11,  7.08it/s]
+
+
+
+
+Training...: 33299it [3:54:31,  5.60it/s]
+
+
+
+
+Training...: 33349it [3:54:51,  7.41it/s]
+
+
+
+
+Training...: 33399it [3:55:11,  8.72it/s]
+
+
+
+
+Training...: 33449it [3:55:31,  6.84it/s]
+
+
+
+
+Training...: 33499it [3:55:51,  7.95it/s]
+
+
+
+
+Training...: 33549it [3:56:12,  5.92it/s]
+
+
+
+
+Training...: 33599it [3:56:31,  5.02it/s]
+
+
+
+
+Training...: 33649it [3:56:52,  5.86it/s]
+
+
+
+
+Training...: 33699it [3:57:12,  5.13it/s]
+
+
+
+
+Training...: 33749it [3:57:32,  3.74it/s]
+
+
+
+
+Training...: 33799it [3:57:52,  6.57it/s]
+
+
+
+
+
+Training...: 33850it [3:58:25,  4.01s/it]
+
+
+
+
+
+Training...: 33901it [3:58:45,  2.54s/it]
+
+
+
+
+
+Training...: 33952it [3:59:06,  2.01s/it]
+
+
+
+
+
+Training...: 34003it [3:59:26,  1.45s/it]
+
+
+
+
+
+Training...: 34053it [3:59:46,  1.48s/it]
+
+
+
+
+
+Training...: 34104it [4:00:06,  1.08s/it]
+
+
+
+
+
+Training...: 34152it [4:00:26,  2.01s/it]
+
+
+
+
+
+Training...: 34202it [4:00:46,  1.96s/it]
+
+
+
+
+
+Training...: 34254it [4:01:07,  1.14s/it]
+
+
+
+
+
+Training...: 34304it [4:01:27,  1.08s/it]
+
+
+
+
+
+Training...: 34352it [4:01:47,  2.20s/it]
+
+
+
+
+
+Training...: 34403it [4:02:07,  1.44s/it]
+
+
+
+
+
+Training...: 34453it [4:02:27,  1.49s/it]
+
+
+
+
+Training...: 34499it [4:02:34,  7.69it/s]
+
+
+
+
+Training...: 34549it [4:02:54,  5.71it/s]
+
+
+
+
+
+Training...: 34599it [4:03:14,  6.37it/s]
+
+
+
+
+Training...: 34648it [4:03:34,  7.29it/s]
+
+
+
+
+Training...: 34699it [4:03:54,  3.82it/s]
+
+
+
+
+Training...: 34749it [4:04:14,  5.02it/s]
+
+
+
+
+Training...: 34799it [4:04:34,  5.28it/s]
+
+
+
+
+Training...: 34849it [4:04:54,  4.22it/s]
+
+
+
+
+Training...: 34899it [4:05:15,  3.85it/s]
+
+
+
+
+Training...: 34949it [4:05:35,  7.71it/s]
+
+
+
+
+Training...: 34999it [4:05:55,  4.57it/s]
+
+
+
+
+Training...: 35049it [4:06:15,  7.10it/s]
+
+
+
+
+
+Training...: 35099it [4:06:35,  5.61it/s]
+
+
+
+
+Training...: 35149it [4:06:55,  3.81it/s]
+
+
+
+
+Training...: 35199it [4:07:15,  5.50it/s]
+
+
+
+
+Training...: 35249it [4:07:36,  6.99it/s]
+
+
+
+
+Training...: 35299it [4:07:56,  4.94it/s]
+
+
+
+
+Training...: 35349it [4:08:16,  5.39it/s]
+
+
+
+
+Training...: 35399it [4:08:36,  4.12it/s]
+
+
+
+
+Training...: 35449it [4:08:56,  5.16it/s]
+
+
+
+
+Training...: 35499it [4:09:16,  7.37it/s]
+
+
+
+
+Training...: 35549it [4:09:36,  6.40it/s]
+
+
+
+
+Training...: 35599it [4:09:56,  7.87it/s]
+
+
+
+
+Training...: 35649it [4:10:16,  4.42it/s]
+
+
+
+
+Training...: 35699it [4:10:36,  6.51it/s]
+
+
+
+
+Training...: 35749it [4:10:57,  6.37it/s]
+
+
+
+
+Training...: 35799it [4:11:17,  5.09it/s]
+
+
+
+
+Training...: 35849it [4:11:37,  5.65it/s]
+
+
+
+
+Training...: 35899it [4:11:57,  5.67it/s]
+
+
+
+
+Training...: 35949it [4:12:17,  6.90it/s]
+
+
+
+
+
+Training...: 36000it [4:12:50,  3.49s/it]
+
+
+
+
+
+Training...: 36050it [4:13:11,  3.68s/it]
+
+
+
+
+
+Training...: 36101it [4:13:31,  2.75s/it]
+
+
+
+
+
+Training...: 36153it [4:13:51,  1.74s/it]
+
+
+
+
+
+Training...: 36201it [4:14:11,  2.88s/it]
+
+
+
+
+
+Training...: 36251it [4:14:31,  2.88s/it]
+
+
+
+
+
+Training...: 36303it [4:14:51,  1.51s/it]
+
+
+
+
+
+Training...: 36351it [4:15:11,  2.44s/it]
+
+
+
+
+
+Training...: 36402it [4:15:31,  2.08s/it]
+
+
+
+
+
+Training...: 36455it [4:15:52,  1.20it/s]
+
+
+
+
+
+Training...: 36506it [4:16:12,  1.39it/s]
+
+
+
+
+Training...: 36558it [4:16:32,  2.14it/s]
+
+
+
+
+
+Training...: 36604it [4:16:52,  1.32s/it]
+
+
+
+
+
+Training...: 36656it [4:17:12,  1.37it/s]
+
+
+
+
+Training...: 36706it [4:17:33,  1.41it/s]
+
+
+
+
+Training...: 36755it [4:17:52,  1.13it/s]
+
+
+
+
+
+Training...: 36806it [4:18:13,  1.70it/s]
+
+
+
+
+Training...: 36856it [4:18:33,  1.67it/s]
+
+
+
+
+Training...: 36907it [4:18:53,  1.99it/s]
+
+
+
+
+
+Training...: 36958it [4:19:13,  2.31it/s]
+
+
+
+
+Training...: 37007it [4:19:33,  2.01it/s]
+
+
+
+Training...: 37049it [4:19:39,  7.19it/s]
+
+
+
+
+Training...: 37099it [4:19:59,  5.47it/s]
+
+
+
+
+Training...: 37149it [4:20:19,  5.47it/s]
+
+
+
+
+Training...: 37199it [4:20:40,  6.84it/s]
+
+
+
+
+Training...: 37249it [4:21:00,  6.73it/s]
+
+
+
+
+Training...: 37299it [4:21:20,  5.40it/s]
+
+
+
+
+Training...: 37349it [4:21:40,  3.92it/s]
+
+
+
+
+Training...: 37399it [4:22:00,  4.58it/s]
+
+
+
+
+Training...: 37449it [4:22:20,  7.00it/s]
+
+
+
+
+Training...: 37499it [4:22:40,  3.86it/s]
+
+
+
+
+Training...: 37549it [4:23:00,  4.47it/s]
+
+
+
+
+Training...: 37599it [4:23:20,  4.98it/s]
+
+
+
+
+Training...: 37649it [4:23:41,  6.11it/s]
+
+
+
+
+Training...: 37699it [4:24:01,  5.03it/s]
+
+
+
+
+Training...: 37749it [4:24:21,  5.13it/s]
+
+
+
+
+Training...: 37799it [4:24:41,  3.79it/s]
+
+
+
+
+Training...: 37849it [4:25:01,  4.04it/s]
+
+
+
+
+Training...: 37899it [4:25:21,  3.51it/s]
+
+
+
+
+Training...: 37949it [4:25:41,  5.50it/s]
+
+
+
+
+Training...: 37999it [4:26:02,  7.09it/s]
+
+
+
+
+Training...: 38049it [4:26:22,  7.84it/s]
+
+
+
+
+Training...: 38099it [4:26:42,  4.48it/s]
+
+
+
+
+Training...: 38149it [4:27:02,  3.70it/s]
+
+
+
+
+Training...: 38199it [4:27:22,  3.68it/s]
+
+
+
+
+Training...: 38249it [4:27:42,  5.31it/s]
+
+
+
+
+Training...: 38299it [4:28:02,  4.45it/s]
+
+
+
+
+Training...: 38349it [4:28:22,  3.46it/s]
+
+
+
+
+Training...: 38399it [4:28:42,  3.78it/s]
+
+
+
+
+
+Training...: 38450it [4:29:16,  3.89s/it]
+
+
+
+
+
+Training...: 38500it [4:29:36,  4.16s/it]
+
+
+
+
+Training...: 38549it [4:29:42,  4.93it/s]
+
+
+
+
+Training...: 38599it [4:30:03,  3.73it/s]
+
+
+
+
+
+Training...: 38650it [4:30:36,  3.35s/it]
+
+
+
+
+
+Training...: 38701it [4:30:56,  2.60s/it]
+
+
+
+
+
+Training...: 38752it [4:31:16,  2.08s/it]
+
+
+
+
+
+Training...: 38800it [4:31:36,  3.14s/it]
+
+
+
+
+
+Training...: 38850it [4:31:56,  4.02s/it]
+
+
+
+
+
+Training...: 38900it [4:32:16,  4.00s/it]
+
+
+
+
+
+Training...: 38953it [4:32:37,  1.50s/it]
+
+
+
+
+
+Training...: 39000it [4:32:57,  3.46s/it]
+
+
+
+
+
+Training...: 39050it [4:33:17,  4.08s/it]
+
+
+
+
+
+Training...: 39101it [4:33:37,  2.90s/it]
+
+
+
+
+
+Training...: 39152it [4:33:57,  2.03s/it]
+
+
+
+
+
+Training...: 39204it [4:34:18,  1.25s/it]
+
+
+
+
+
+Training...: 39250it [4:34:37,  4.03s/it]
+
+
+
+
+
+Training...: 39302it [4:34:58,  1.90s/it]
+
+
+
+
+
+Training...: 39352it [4:35:18,  2.23s/it]
+
+
+
+
+
+Training...: 39404it [4:35:38,  1.09s/it]
+
+
+
+
+
+Training...: 39452it [4:35:58,  2.05s/it]
+
+
+
+
+
+Training...: 39506it [4:36:19,  1.35it/s]
+
+
+
+
+
+Training...: 39557it [4:36:39,  2.04it/s]
+
+
+
+
+
+Training...: 39606it [4:36:59,  1.48it/s]
+
+
+
+Training...: 39649it [4:37:05,  5.31it/s]
+
+
+
+
+Training...: 39699it [4:37:25,  4.37it/s]
+
+
+
+
+Training...: 39749it [4:37:45,  4.14it/s]
+
+
+
+
+Training...: 39799it [4:38:05,  3.98it/s]
+
+
+
+
+Training...: 39849it [4:38:25,  3.97it/s]
+
+
+
+
+Training...: 39899it [4:38:46,  3.69it/s]
+
+
+
+
+Training...: 39949it [4:39:06,  3.84it/s]
+
+
+
+
+Training...: 39999it [4:39:26,  3.76it/s]
+Training...: 39999it [4:39:39,  3.76it/s]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+Training...: 40050it [4:41:03,  4.00s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40099it [4:41:10,  3.96it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 40150it [4:41:43,  3.72s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 40202it [4:42:03,  2.22s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 40251it [4:42:23,  2.77s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 40303it [4:42:44,  1.70s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 40354it [4:43:04,  1.05s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 40405it [4:43:24,  1.05it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40457it [4:43:44,  1.49it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 40505it [4:44:04,  1.07it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 40555it [4:44:25,  1.27it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 40603it [4:44:44,  1.51s/it]██████████████████████████████████████████████████████████████████████���██████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40656it [4:45:05,  1.66it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40708it [4:45:25,  2.17it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40758it [4:45:45,  2.34it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40805it [4:46:05,  1.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40855it [4:46:25,  1.23it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40908it [4:46:46,  2.12it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40958it [4:47:06,  2.40it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41010it [4:47:26,  3.60it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41060it [4:47:46,  4.08it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+Training...: 41099it [4:47:52,  3.90it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41149it [4:48:12,  3.43it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41199it [4:48:32,  3.60it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41249it [4:48:52,  3.30it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41299it [4:49:12,  4.21it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41349it [4:49:32,  4.23it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41399it [4:49:52,  3.79it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 41450it [4:50:26,  3.81s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 41500it [4:50:46,  4.14s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 41550it [4:51:06,  3.80s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 41601it [4:51:26,  2.91s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 41651it [4:51:46,  2.77s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 41702it [4:52:07,  2.08s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 41750it [4:52:26,  3.88s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 41800it [4:52:47,  3.94s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 41852it [4:53:07,  2.25s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 41904it [4:53:27,  1.11s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 41950it [4:53:47,  4.14s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 42003it [4:54:07,  1.72s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 42054it [4:54:28,  1.10s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 42105it [4:54:48,  1.08it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42156it [4:55:08,  1.61it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42208it [4:55:28,  2.08it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42258it [4:55:48,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42309it [4:56:09,  2.44it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42359it [4:56:29,  2.93it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42406it [4:56:49,  1.56it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42458it [4:57:09,  2.14it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+Training...: 42499it [4:57:15,  4.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42549it [4:57:35,  3.47it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 42612it [4:58:10,  4.44it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+Training...: 42649it [4:58:15,  3.27it/s]███████████████████████████████████████████��█████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42699it [4:58:35,  3.66it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42749it [4:58:55,  3.00it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42799it [4:59:15,  3.62it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42849it [4:59:35,  4.71it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42899it [4:59:56,  3.30it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42949it [5:00:16,  4.54it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42999it [5:00:36,  3.48it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 43050it [5:01:09,  3.94s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 43100it [5:01:29,  3.77s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 43151it [5:01:49,  2.93s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 43202it [5:02:10,  2.03s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 43252it [5:02:30,  2.17s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 43302it [5:02:50,  2.06s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 43354it [5:03:10,  1.09s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 43401it [5:03:30,  2.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 43452it [5:03:50,  2.02s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 43502it [5:04:10,  1.98s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 43553it [5:04:31,  1.45s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 43604it [5:04:51,  1.15s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 43655it [5:05:11,  1.15it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 43706it [5:05:31,  1.34it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 43756it [5:05:51,  1.47it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 43807it [5:06:12,  1.79it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 43858it [5:06:32,  1.95it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 43909it [5:06:52,  2.32it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 43955it [5:07:12,  1.11it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44007it [5:07:32,  1.60it/s]██████████████████████████████████████████████████████████████���██████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44058it [5:07:52,  2.23it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44108it [5:08:12,  2.17it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44155it [5:08:32,  1.10it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44207it [5:08:53,  2.02it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44260it [5:09:13,  3.21it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44306it [5:09:33,  1.33it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44357it [5:09:53,  1.76it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44406it [5:10:13,  1.26it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44460it [5:10:33,  2.73it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44509it [5:10:53,  2.73it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44560it [5:11:13,  3.71it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44606it [5:11:33,  1.27it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+Training...: 44649it [5:11:39,  3.43it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44699it [5:11:59,  3.32it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44749it [5:12:20,  3.15it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44799it [5:12:40,  3.43it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44849it [5:13:00,  3.95it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44899it [5:13:20,  3.64it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44949it [5:13:40,  3.10it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44999it [5:14:00,  2.94it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+tcmalloc: large alloc 2715181056 bytes == 0x3dece4000 @  0x7f2f3656a680 0x7f2f3658abdd 0x7f2f1cb2420d 0x7f2f1cb32340 0x7f2f1cb31e87 0x7f2f1cb31e87 0x7f2f1cb31e87 0x7f2f1cb31e87 0x7f2f1cb31e87 0x7f2f1cb31e87 0x7f2f1cb31e87 0x7f2f1cb31e87 0x7f2f1cb31e87 0x7f2f1cb31e87 0x7f2f1cb31e87 0x7f2f1cb31e87 0x7f2f1cb2dbd3 0x7f2f1cb2e1fe 0x504d56 0x56acb6 0x568d9a 0x5f5b33 0x56bc9b 0x5f5956 0x56aadf 0x5f5956 0x56fb87 0x568d9a 0x5f5b33 0x56bc9b 0x568d9a
+[03:54:04] - INFO - absl - Saved checkpoint at checkpoint_375000
+[03:54:06] - INFO - huggingface_hub.repository - git version 2.25.1
+git-lfs/2.9.2 (GitHub; linux amd64; go 1.13.5)

wandb/run-20210716_223350-8eukt20m/files/wandb-summary.json

@@ -1 +1 @@
-{"training_step": 360000, "learning_rate": 2.2505695596919395e-05, "train_loss": 1.887866497039795, "_runtime": 13024, "_timestamp": 1626487854, "_step": 602, "eval_step": 360000, "eval_accuracy": 0.6445966958999634, "eval_loss": 1.7940189838409424}
+{"training_step": 375000, "learning_rate": 2.2184511180967093e-05, "train_loss": 1.831762671470642, "_runtime": 19206, "_timestamp": 1626494036, "_step": 903, "eval_step": 370000, "eval_accuracy": 0.6454317569732666, "eval_loss": 1.7911626100540161}