Saving weights and logs of step 270000

checkpoint_270000

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:604fbc02f5a29e6fad1bf121b4d919f8670d4620db9c2514624b59074ae9c530
+size 1530270447

events.out.tfevents.1626429561.t1v-n-f5c06ea1-w-0.782479.3.v2

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:6baa4dfe14b70daba8c6d14ea658997087fa377200562303f482068decdecc6a
-size 4512750
+oid sha256:0599d8d3ce4d8246dc97b1f228ee17b75e7c5ccdc29e78918472dfab84bcd085
+size 6769176

flax_model.msgpack

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:e4f57a1046f9d750c7c442b0cb51c1f3ff5ae3b06db89be5867e0b10668ea146
+oid sha256:6f3acdf0e3ac9d006fca9cd63b54a99889366de31da41d04dd2c066ccdc1f7e0
 size 510090043

wandb/run-20210716_095921-13hxxunp/files/output.log

@@ -3559,3 +3559,1724 @@ tcmalloc: large alloc 2715181056 bytes == 0x433920000 @  0x7fe91a70f680 0x7fe91a
 [13:37:01] - INFO - absl - Saved checkpoint at checkpoint_255000
 [13:37:02] - INFO - huggingface_hub.repository - git version 2.25.1
 git-lfs/2.9.2 (GitHub; linux amd64; go 1.13.5)
+[13:37:03] - DEBUG - huggingface_hub.repository - [Repository] is a valid git repo
+[13:38:13] - INFO - huggingface_hub.repository - Uploading LFS objects: 100% (3/3), 2.0 GB | 47 MB/s, done.
+
+
+
+Training...: 30049it [3:33:06,  2.69it/s]
+
+
+
+
+Training...: 30099it [3:33:26,  2.67it/s]
+
+
+
+
+Training...: 30149it [3:33:46,  2.67it/s]
+
+
+
+
+Training...: 30199it [3:34:06,  2.67it/s]
+
+
+
+
+Training...: 30249it [3:34:26,  2.67it/s]
+
+
+
+
+Training...: 30299it [3:34:46,  2.69it/s]
+
+
+
+
+
+Training...: 30372it [3:35:21,  9.72it/s]
+
+
+
+
+Training...: 30424it [3:35:41, 11.00it/s]
+
+
+
+Training...: 30449it [3:35:46,  2.67it/s]
+
+
+
+
+Training...: 30499it [3:36:06,  2.67it/s]
+
+
+
+
+Training...: 30549it [3:36:26,  2.69it/s]
+
+
+
+
+Training...: 30599it [3:36:46,  2.67it/s]
+
+
+
+
+
+Training...: 30668it [3:37:21,  6.77it/s]
+
+
+
+Training...: 30699it [3:37:27,  2.67it/s]
+
+
+
+
+Training...: 30749it [3:37:47,  2.67it/s]
+
+
+
+
+Training...: 30799it [3:38:07,  2.69it/s]
+
+
+
+
+Training...: 30849it [3:38:27,  2.67it/s]
+
+
+
+
+Training...: 30899it [3:38:47,  2.68it/s]
+
+
+
+
+
+Training...: 30972it [3:39:21,  9.64it/s]
+
+
+
+Training...: 30999it [3:39:27,  2.67it/s]
+
+
+
+
+Training...: 31049it [3:39:47,  2.70it/s]
+
+
+
+
+
+Training...: 31124it [3:40:22, 10.95it/s]
+
+
+
+Training...: 31149it [3:40:27,  2.69it/s]
+
+
+
+
+Training...: 31199it [3:40:47,  2.67it/s]
+
+
+
+
+
+Training...: 31269it [3:41:22,  8.05it/s]
+
+
+
+Training...: 31299it [3:41:27,  2.67it/s]
+
+
+
+
+Training...: 31349it [3:41:47,  2.67it/s]
+
+
+
+
+Training...: 31399it [3:42:07,  2.69it/s]
+
+
+
+
+
+Training...: 31474it [3:42:42, 11.00it/s]
+
+
+
+Training...: 31499it [3:42:47,  2.82it/s]
+
+
+
+
+
+Training...: 31576it [3:43:22, 12.21it/s]
+
+
+
+Training...: 31599it [3:43:27,  2.67it/s]
+
+
+
+
+Training...: 31649it [3:43:47,  2.69it/s]
+
+
+
+
+Training...: 31699it [3:44:07,  2.67it/s]
+
+
+
+
+Training...: 31749it [3:44:27,  2.69it/s]
+
+
+
+
+Training...: 31799it [3:44:47,  2.67it/s]
+
+
+
+
+Training...: 31849it [3:45:07,  2.67it/s]
+
+
+
+
+
+Training...: 31920it [3:45:42,  8.31it/s]
+
+
+
+
+Training...: 31970it [3:46:02,  8.24it/s]
+
+
+
+
+Training...: 32020it [3:46:22,  8.23it/s]
+
+
+
+Training...: 32049it [3:46:28,  2.67it/s]
+
+
+
+
+Training...: 32099it [3:46:48,  2.67it/s]
+
+
+
+
+Training...: 32149it [3:47:08,  2.69it/s]
+
+
+
+
+
+Training...: 32222it [3:47:42,  9.66it/s]
+
+
+
+
+Training...: 32272it [3:48:02,  9.57it/s]
+
+
+
+
+Training...: 32322it [3:48:22,  9.56it/s]
+
+
+
+Training...: 32349it [3:48:28,  2.67it/s]
+
+
+
+
+Training...: 32399it [3:48:48,  2.69it/s]
+
+
+
+
+
+Training...: 32476it [3:49:23, 12.21it/s]
+
+
+
+
+Training...: 32526it [3:49:43, 12.12it/s]
+
+
+
+
+Training...: 32576it [3:50:03, 12.03it/s]
+
+
+
+Training...: 32599it [3:50:08,  2.67it/s]
+
+
+
+
+Training...: 32649it [3:50:28,  2.65it/s]
+
+
+
+
+Training...: 32699it [3:50:48,  2.67it/s]
+
+
+
+
+
+Training...: 32768it [3:51:23,  6.79it/s]
+
+
+
+
+Training...: 32818it [3:51:43,  6.79it/s]
+
+
+
+
+Training...: 32868it [3:52:03,  6.78it/s]
+
+
+
+Training...: 32899it [3:52:09,  2.67it/s]
+
+
+
+
+Training...: 32949it [3:52:29,  2.67it/s]
+
+
+
+
+Training...: 32999it [3:52:49,  2.69it/s]
+Training...: 32999it [3:53:02,  2.69it/s]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+Training...: 33054it [3:54:26,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 33106it [3:54:46,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 33156it [3:55:06,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 33208it [3:55:26,  1.59it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 33250it [3:55:46,  4.01s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 33300it [3:56:06,  4.01s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 33349it [3:56:13,  2.70it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+
+Training...: 33404it [3:56:46,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 33452it [3:57:06,  2.24s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 33499it [3:57:13,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 33549it [3:57:33,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 33599it [3:57:53,  2.70it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 33649it [3:58:13,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 33699it [3:58:33,  2.82it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 33749it [3:58:53,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 33799it [3:59:13,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+
+Training...: 33854it [3:59:47,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 33899it [3:59:53,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 33949it [4:00:13,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 33999it [4:00:33,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34049it [4:00:53,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+
+Training...: 34106it [4:01:27,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 34149it [4:01:33,  2.68it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34199it [4:01:53,  2.63it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34249it [4:02:13,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34299it [4:02:34,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34349it [4:02:54,  2.70it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34399it [4:03:14,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34449it [4:03:34,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34499it [4:03:54,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34549it [4:04:14,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34599it [4:04:34,  2.70it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34649it [4:04:54,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34699it [4:05:14,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34749it [4:05:34,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34799it [4:05:54,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34849it [4:06:14,  2.65it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34899it [4:06:34,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34949it [4:06:54,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34999it [4:07:14,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+
+Training...: 35052it [4:07:48,  2.24s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 35099it [4:07:54,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 35149it [4:08:14,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 35199it [4:08:34,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 35249it [4:08:54,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 35299it [4:09:15,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 35349it [4:09:35,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 35399it [4:09:55,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 35449it [4:10:15,  2.70it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 35499it [4:10:35,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 35549it [4:10:55,  2.68it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 35599it [4:11:15,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 35649it [4:11:35,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 35699it [4:11:55,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 35749it [4:12:15,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 35799it [4:12:35,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 35849it [4:12:55,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 35899it [4:13:15,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 35949it [4:13:35,  2.66it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 35999it [4:13:55,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 36049it [4:14:15,  2.70it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 36099it [4:14:35,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 36149it [4:14:55,  2.84it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 36199it [4:15:15,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 36249it [4:15:35,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+
+Training...: 36304it [4:16:09,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 36354it [4:16:29,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 36399it [4:16:35,  2.70it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+
+Training...: 36454it [4:17:09,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 36499it [4:17:15,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 36549it [4:17:35,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 36599it [4:17:56,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 36649it [4:18:16,  2.63it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 36699it [4:18:36,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+
+Training...: 36758it [4:19:09,  1.59it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 36808it [4:19:29,  1.59it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 36849it [4:19:36,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+
+Training...: 36912it [4:20:10,  3.10it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 36962it [4:20:30,  3.11it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+Training...: 36999it [4:20:36,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+
+Training...: 37058it [4:21:10,  1.59it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 37099it [4:21:16,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 37149it [4:21:36,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 37199it [4:21:56,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 37249it [4:22:16,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 37299it [4:22:36,  2.65it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 37349it [4:22:56,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 37399it [4:23:16,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 37449it [4:23:36,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+
+Training...: 37504it [4:24:10,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 37554it [4:24:30,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 37604it [4:24:50,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 37656it [4:25:10,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 37699it [4:25:17,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 37749it [4:25:37,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+
+Training...: 37808it [4:26:10,  1.59it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 37852it [4:26:30,  2.25s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 37899it [4:26:37,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 37949it [4:26:57,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+
+Training...: 38002it [4:27:30,  2.24s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 38049it [4:27:37,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 38099it [4:27:57,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+
+Training...: 38154it [4:28:30,  1.40s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 38199it [4:28:37,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 38249it [4:28:57,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 38299it [4:29:17,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 38349it [4:29:37,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 38399it [4:29:57,  2.67it/s]█████████████████████��█████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+
+Training...: 38456it [4:30:31,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 38508it [4:30:51,  1.59it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 38549it [4:30:57,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 38599it [4:31:17,  2.81it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+
+Training...: 38660it [4:31:51,  2.25it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 38710it [4:32:11,  2.26it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 38752it [4:32:31,  2.24s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 38799it [4:32:37,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 38849it [4:32:58,  2.70it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 38899it [4:33:18,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 38949it [4:33:38,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 38999it [4:33:58,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+Training...: 38999it [4:34:11,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+Training...: 39049it [4:35:22,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 39099it [4:35:42,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 39149it [4:36:02,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 39199it [4:36:22,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 39249it [4:36:42,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 39299it [4:37:02,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 39349it [4:37:22,  2.69it/s]████████████████████████████████████���██████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 39399it [4:37:42,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 39449it [4:38:02,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 39499it [4:38:22,  2.65it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 39549it [4:38:42,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 39599it [4:39:02,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 39649it [4:39:22,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 39699it [4:39:42,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 39749it [4:40:02,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 39799it [4:40:22,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 39849it [4:40:43,  2.70it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 39899it [4:41:03,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 39949it [4:41:23,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 39999it [4:41:43,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40049it [4:42:03,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40099it [4:42:23,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40149it [4:42:43,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40199it [4:43:03,  2.68it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40249it [4:43:23,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40299it [4:43:43,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40349it [4:44:03,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40399it [4:44:23,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40449it [4:44:43,  2.68it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40499it [4:45:03,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40549it [4:45:23,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40599it [4:45:43,  2.73it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40649it [4:46:03,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40699it [4:46:23,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40749it [4:46:43,  2.65it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40799it [4:47:03,  2.81it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40849it [4:47:23,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40899it [4:47:43,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40949it [4:48:03,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40999it [4:48:23,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41049it [4:48:43,  2.70it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41099it [4:49:03,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41149it [4:49:24,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41199it [4:49:44,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41249it [4:50:04,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41299it [4:50:24,  2.63it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41349it [4:50:44,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41399it [4:51:04,  2.67it/s]█████████████████████████████��█████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41449it [4:51:24,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41499it [4:51:44,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41549it [4:52:04,  2.68it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41599it [4:52:24,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41649it [4:52:44,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41699it [4:53:04,  2.70it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41749it [4:53:24,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41799it [4:53:44,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41849it [4:54:04,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41899it [4:54:24,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41949it [4:54:44,  2.65it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41999it [4:55:04,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42049it [4:55:24,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42099it [4:55:44,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42149it [4:56:05,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42199it [4:56:25,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42249it [4:56:45,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42299it [4:57:05,  2.70it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42349it [4:57:25,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42399it [4:57:45,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42449it [4:58:05,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42499it [4:58:25,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42549it [4:58:45,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42599it [4:59:05,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42649it [4:59:25,  2.68it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42699it [4:59:45,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42749it [5:00:05,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42799it [5:00:25,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42849it [5:00:45,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42899it [5:01:05,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42949it [5:01:25,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42999it [5:01:45,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 43049it [5:02:05,  2.66it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 43099it [5:02:25,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 43149it [5:02:45,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 43199it [5:03:05,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 43249it [5:03:25,  2.81it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 43299it [5:03:45,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 43349it [5:04:05,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 43399it [5:04:25,  2.70it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 43449it [5:04:45,  2.67it/s]██████████████████████████���████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 43499it [5:05:06,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 43549it [5:05:26,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 43599it [5:05:46,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 43649it [5:06:06,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 43699it [5:06:26,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 43749it [5:06:46,  2.63it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 43799it [5:07:06,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 43849it [5:07:26,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 43899it [5:07:46,  2.70it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 43949it [5:08:06,  2.68it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 43999it [5:08:26,  2.70it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44049it [5:08:46,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44099it [5:09:06,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44149it [5:09:26,  2.70it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44199it [5:09:46,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44249it [5:10:06,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44299it [5:10:26,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44349it [5:10:46,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44399it [5:11:06,  2.65it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44449it [5:11:26,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44499it [5:11:47,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44549it [5:12:07,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44599it [5:12:27,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44649it [5:12:47,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44699it [5:13:07,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44749it [5:13:27,  2.70it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44799it [5:13:47,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44849it [5:14:07,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44899it [5:14:27,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44949it [5:14:47,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44999it [5:15:07,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+Training...: 44999it [5:15:20,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+tcmalloc: large alloc 2715181056 bytes == 0x3cc702000 @  0x7fe91a70f680 0x7fe91a72fbdd 0x7fe900cc920d 0x7fe900cd7340 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd2bd3 0x7fe900cd31fe 0x504d56 0x56acb6 0x568d9a 0x5f5b33 0x56bc9b 0x5f5956 0x56aadf 0x5f5956 0x56fb87 0x568d9a 0x5f5b33 0x56bc9b 0x568d9a
+[15:21:47] - INFO - absl - Saved checkpoint at checkpoint_270000
+[15:21:48] - INFO - huggingface_hub.repository - git version 2.25.1
+git-lfs/2.9.2 (GitHub; linux amd64; go 1.13.5)

wandb/run-20210716_095921-13hxxunp/files/wandb-summary.json

@@ -1 +1 @@
-{"training_step": 255000, "learning_rate": 2.5809171347646043e-05, "train_loss": 2.0180368423461914, "_runtime": 13051, "_timestamp": 1626442613, "_step": 604, "eval_step": 252000, "eval_accuracy": 0.6234615445137024, "eval_loss": 1.9333853721618652}
+{"training_step": 270000, "learning_rate": 2.555258834036067e-05, "train_loss": 1.988334059715271, "_runtime": 19337, "_timestamp": 1626448899, "_step": 907, "eval_step": 270000, "eval_accuracy": 0.627289354801178, "eval_loss": 1.9077463150024414}