Saving weights and logs of step 285000

checkpoint_285000

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:09c7100e2c8ec3739793e58810befc59750e55e2951a150d3db28504866a9cf0
+size 1530270447

events.out.tfevents.1626429561.t1v-n-f5c06ea1-w-0.782479.3.v2

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:0599d8d3ce4d8246dc97b1f228ee17b75e7c5ccdc29e78918472dfab84bcd085
-size 6769176
+oid sha256:b86f3a6e88344e2adef49462e88d8ee7d913302f0e78fac7c59790fb606d0da7
+size 9025460

flax_model.msgpack

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:6f3acdf0e3ac9d006fca9cd63b54a99889366de31da41d04dd2c066ccdc1f7e0
+oid sha256:c93e97777895ccd589540253276f6dab6bfc20932778f15a1627ba2dda8086e3
 size 510090043

wandb/run-20210716_095921-13hxxunp/files/output.log

@@ -5280,3 +5280,1779 @@ tcmalloc: large alloc 2715181056 bytes == 0x3cc702000 @  0x7fe91a70f680 0x7fe91a
 [15:21:47] - INFO - absl - Saved checkpoint at checkpoint_270000
 [15:21:48] - INFO - huggingface_hub.repository - git version 2.25.1
 git-lfs/2.9.2 (GitHub; linux amd64; go 1.13.5)
+[15:21:49] - DEBUG - huggingface_hub.repository - [Repository] is a valid git repo
+[15:23:20] - INFO - huggingface_hub.repository - Uploading LFS objects: 100% (3/3), 2.0 GB | 31 MB/s, done.
+
+
+
+Training...: 45049it [5:18:13,  2.64it/s]
+
+
+
+
+Training...: 45099it [5:18:34,  2.70it/s]
+
+
+
+
+Training...: 45149it [5:18:54,  2.67it/s]
+
+
+
+
+Training...: 45199it [5:19:14,  2.68it/s]
+
+
+
+
+Training...: 45249it [5:19:34,  2.70it/s]
+
+
+
+
+
+Training...: 45306it [5:20:07,  1.09it/s]
+
+
+
+
+Training...: 45349it [5:20:14,  2.69it/s]
+
+
+
+
+
+Training...: 45400it [5:20:47,  4.01s/it]
+
+
+
+
+Training...: 45449it [5:20:54,  2.77it/s]
+
+
+
+
+
+Training...: 45499it [5:21:14,  2.67it/s]
+
+
+
+
+
+Training...: 45549it [5:21:34,  2.67it/s]
+
+
+
+
+
+Training...: 45599it [5:21:54,  2.69it/s]
+
+
+
+
+
+Training...: 45649it [5:22:14,  2.67it/s]
+
+
+
+
+
+Training...: 45699it [5:22:34,  2.68it/s]
+
+
+
+
+
+Training...: 45749it [5:22:54,  2.67it/s]
+
+
+
+
+
+Training...: 45799it [5:23:14,  2.67it/s]
+
+
+
+
+
+
+Training...: 45854it [5:23:48,  1.39s/it]
+
+
+
+
+
+Training...: 45904it [5:24:08,  1.39s/it]
+
+
+
+
+Training...: 45949it [5:24:14,  2.67it/s]
+
+
+
+
+
+Training...: 45999it [5:24:34,  2.67it/s]
+
+
+
+
+
+Training...: 46049it [5:24:54,  2.67it/s]
+
+
+
+
+
+Training...: 46099it [5:25:14,  2.70it/s]
+
+
+
+
+
+
+Training...: 46156it [5:25:48,  1.09it/s]
+
+
+
+
+Training...: 46199it [5:25:54,  2.69it/s]
+
+
+
+
+
+
+Training...: 46256it [5:26:28,  1.09it/s]
+
+
+
+
+
+Training...: 46304it [5:26:48,  1.39s/it]
+
+
+
+
+Training...: 46349it [5:26:54,  2.73it/s]
+
+
+
+
+
+Training...: 46399it [5:27:15,  2.67it/s]
+
+
+
+
+
+Training...: 46449it [5:27:35,  2.69it/s]
+
+
+
+
+
+Training...: 46499it [5:27:55,  2.67it/s]
+
+
+
+
+
+Training...: 46549it [5:28:15,  2.67it/s]
+
+
+
+
+
+Training...: 46599it [5:28:35,  2.67it/s]
+
+
+
+
+
+Training...: 46649it [5:28:55,  2.67it/s]
+
+
+
+
+
+Training...: 46699it [5:29:15,  2.69it/s]
+
+
+
+
+
+Training...: 46749it [5:29:35,  2.67it/s]
+
+
+
+
+
+Training...: 46799it [5:29:55,  2.67it/s]
+
+
+
+
+
+Training...: 46849it [5:30:15,  2.68it/s]
+
+
+
+
+
+Training...: 46899it [5:30:35,  2.67it/s]
+
+
+
+
+
+Training...: 46949it [5:30:55,  2.71it/s]
+
+
+
+
+
+Training...: 46999it [5:31:15,  2.67it/s]
+
+
+
+
+
+Training...: 47049it [5:31:35,  2.67it/s]
+
+
+
+
+
+Training...: 47099it [5:31:55,  2.67it/s]
+
+
+
+
+
+Training...: 47149it [5:32:15,  2.67it/s]
+
+
+
+
+
+Training...: 47199it [5:32:35,  2.69it/s]
+
+
+
+
+
+Training...: 47249it [5:32:55,  2.67it/s]
+
+
+
+
+
+Training...: 47299it [5:33:15,  2.68it/s]
+
+
+
+
+
+Training...: 47349it [5:33:35,  2.67it/s]
+
+
+
+
+
+
+Training...: 47406it [5:34:09,  1.09it/s]
+
+
+
+
+
+Training...: 47456it [5:34:29,  1.09it/s]
+
+
+
+
+
+Training...: 47506it [5:34:49,  1.09it/s]
+
+
+
+
+
+Training...: 47552it [5:35:09,  2.24s/it]
+
+
+
+
+
+Training...: 47602it [5:35:29,  2.24s/it]
+
+
+
+
+
+Training...: 47650it [5:35:49,  4.01s/it]
+
+
+
+
+
+Training...: 47706it [5:36:09,  1.09it/s]
+
+
+
+
+
+Training...: 47756it [5:36:29,  1.09it/s]
+
+
+
+
+
+Training...: 47806it [5:36:49,  1.09it/s]
+
+
+
+
+
+Training...: 47858it [5:37:09,  1.59it/s]
+
+
+
+
+
+Training...: 47902it [5:37:29,  2.24s/it]
+
+
+
+
+
+Training...: 47954it [5:37:49,  1.39s/it]
+
+
+
+
+
+Training...: 48004it [5:38:09,  1.39s/it]
+
+
+
+
+
+Training...: 48056it [5:38:29,  1.09it/s]
+
+
+
+
+
+Training...: 48106it [5:38:49,  1.09it/s]
+
+
+
+
+
+Training...: 48156it [5:39:10,  1.09it/s]
+
+
+
+
+
+Training...: 48206it [5:39:30,  1.09it/s]
+
+
+
+
+
+Training...: 48258it [5:39:50,  1.58it/s]
+
+
+
+
+
+Training...: 48302it [5:40:09,  2.24s/it]
+
+
+
+
+
+Training...: 48352it [5:40:29,  2.25s/it]
+
+
+
+
+
+Training...: 48402it [5:40:49,  2.28s/it]
+
+
+
+
+
+Training...: 48454it [5:41:10,  1.39s/it]
+
+
+
+
+
+Training...: 48508it [5:41:30,  1.59it/s]
+
+
+
+
+Training...: 48549it [5:41:36,  2.70it/s]
+
+
+
+
+
+
+Training...: 48606it [5:42:10,  1.09it/s]
+
+
+
+
+
+Training...: 48656it [5:42:30,  1.09it/s]
+
+
+
+
+Training...: 48699it [5:42:36,  2.67it/s]
+
+
+
+
+
+Training...: 48749it [5:42:56,  2.67it/s]
+
+
+
+
+
+Training...: 48799it [5:43:16,  2.67it/s]
+
+
+
+
+
+
+Training...: 48860it [5:43:50,  2.26it/s]
+
+
+
+Training...: 48899it [5:43:57,  2.69it/s]
+
+
+
+
+
+
+Training...: 48956it [5:44:30,  1.09it/s]
+
+
+
+
+Training...: 48999it [5:44:37,  2.67it/s]
+
+
+
+
+
+Training...: 49049it [5:44:57,  2.67it/s]
+
+
+
+
+
+Training...: 49099it [5:45:17,  2.67it/s]
+
+
+
+
+
+Training...: 49149it [5:45:37,  2.69it/s]
+
+
+
+
+
+
+Training...: 49212it [5:46:11,  3.11it/s]
+
+
+
+
+Training...: 49249it [5:46:17,  2.67it/s]
+
+
+
+
+
+Training...: 49314it [5:46:51,  4.17it/s]
+
+
+
+Training...: 49349it [5:46:57,  2.67it/s]
+
+
+
+
+Training...: 49399it [5:47:17,  2.69it/s]
+
+
+
+
+
+Training...: 49464it [5:47:51,  4.15it/s]
+
+
+
+Training...: 49499it [5:47:57,  2.67it/s]
+
+
+
+
+Training...: 49549it [5:48:17,  2.67it/s]
+
+
+
+
+
+Training...: 49614it [5:48:51,  3.69it/s]
+
+
+
+Training...: 49649it [5:48:57,  2.70it/s]
+
+
+
+
+
+Training...: 49720it [5:49:32,  8.20it/s]
+
+
+
+Training...: 49749it [5:49:37,  2.68it/s]
+
+
+
+
+Training...: 49799it [5:49:57,  2.67it/s]
+
+
+
+
+Training...: 49849it [5:50:17,  2.67it/s]
+
+
+
+
+
+Training...: 49918it [5:50:52,  6.79it/s]
+
+
+
+Training...: 49949it [5:50:57,  2.67it/s]
+
+
+
+
+
+Training...: 50020it [5:51:32,  8.22it/s]
+
+
+
+Training...: 50049it [5:51:37,  2.67it/s]
+
+
+
+
+Training...: 50099it [5:51:57,  2.67it/s]
+
+
+
+
+Training...: 50149it [5:52:17,  2.69it/s]
+
+
+
+
+
+Training...: 50214it [5:52:52,  4.16it/s]
+
+
+
+
+Training...: 50264it [5:53:12,  4.15it/s]
+
+
+
+Training...: 50299it [5:53:18,  2.67it/s]
+
+
+
+
+
+Training...: 50364it [5:53:52,  4.15it/s]
+
+
+
+Training...: 50399it [5:53:58,  2.67it/s]
+
+
+
+
+Training...: 50449it [5:54:18,  2.67it/s]
+
+
+
+
+Training...: 50499it [5:54:38,  2.69it/s]
+
+
+
+
+
+Training...: 50568it [5:55:12,  6.76it/s]
+
+
+
+Training...: 50599it [5:55:18,  2.69it/s]
+
+
+
+
+
+Training...: 50670it [5:55:52,  8.23it/s]
+
+
+
+Training...: 50699it [5:55:58,  2.67it/s]
+
+
+
+
+
+Training...: 50770it [5:56:32,  8.16it/s]
+
+
+
+Training...: 50799it [5:56:38,  2.67it/s]
+
+
+
+
+Training...: 50849it [5:56:58,  2.67it/s]
+
+
+
+
+
+Training...: 50916it [5:57:32,  5.39it/s]
+
+
+
+Training...: 50949it [5:57:38,  2.67it/s]
+
+
+
+
+Training...: 50999it [5:58:11,  2.70it/s]
+Evaluating ...:   2%|█▊                                                                          | 12/500 [00:00<00:21, 22.78it/s]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+Training...: 51049it [5:59:22,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 51102it [5:59:55,  2.24s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 51149it [6:00:02,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 51199it [6:00:22,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 51249it [6:00:42,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 51300it [6:01:15,  4.01s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 51352it [6:01:36,  2.24s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 51404it [6:01:56,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 51454it [6:02:16,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 51504it [6:02:36,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 51554it [6:02:56,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 51606it [6:03:16,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 51656it [6:03:36,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 51708it [6:03:56,  1.59it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 51750it [6:04:16,  4.01s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 51800it [6:04:36,  4.01s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 51852it [6:04:56,  2.24s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 51902it [6:05:16,  2.25s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 51954it [6:05:36,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 52004it [6:05:56,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 52054it [6:06:16,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 52104it [6:06:36,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 52156it [6:06:56,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 52206it [6:07:17,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 52256it [6:07:37,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 52304it [6:07:56,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 52358it [6:08:17,  1.59it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 52408it [6:08:37,  1.59it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 52452it [6:08:56,  2.24s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 52502it [6:09:16,  2.24s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 52552it [6:09:37,  2.25s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 52604it [6:09:57,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 52654it [6:10:17,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 52706it [6:10:37,  1.09it/s]█████████████████���█████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 52756it [6:10:57,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 52810it [6:11:17,  2.25it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 52852it [6:11:37,  2.25s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 52904it [6:11:57,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 52954it [6:12:17,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 53004it [6:12:37,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 53056it [6:12:57,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 53106it [6:13:17,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 53156it [6:13:37,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 53208it [6:13:57,  1.59it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 53258it [6:14:17,  1.59it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 53308it [6:14:37,  1.59it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 53352it [6:14:57,  2.25s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 53402it [6:15:17,  2.25s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 53452it [6:15:37,  2.24s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 53502it [6:15:57,  2.25s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 53554it [6:16:17,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 53604it [6:16:37,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 53650it [6:16:57,  4.01s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 53706it [6:17:18,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 53756it [6:17:38,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 53806it [6:17:58,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 53856it [6:18:18,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 53906it [6:18:38,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 53949it [6:18:44,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 53999it [6:19:04,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 54049it [6:19:24,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 54099it [6:19:44,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 54149it [6:20:04,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+
+Training...: 54204it [6:20:38,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 54254it [6:20:58,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 54304it [6:21:18,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 54356it [6:21:38,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 54399it [6:21:45,  2.63it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 54449it [6:22:05,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 54499it [6:22:25,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 54549it [6:22:45,  2.70it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 54599it [6:23:05,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 54649it [6:23:25,  2.68it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 54699it [6:23:45,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 54749it [6:24:05,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 54799it [6:24:25,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 54849it [6:24:45,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 54899it [6:25:05,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 54949it [6:25:25,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 54999it [6:25:45,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 55049it [6:26:05,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 55099it [6:26:25,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 55149it [6:26:45,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 55199it [6:27:05,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 55249it [6:27:25,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 55299it [6:27:45,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 55349it [6:28:05,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 55399it [6:28:25,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 55449it [6:28:45,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 55499it [6:29:05,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 55549it [6:29:25,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 55599it [6:29:45,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 55649it [6:30:06,  2.70it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 55699it [6:30:26,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 55749it [6:30:46,  2.68it/s]█████████████████████���█████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 55799it [6:31:06,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 55849it [6:31:26,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 55899it [6:31:46,  2.70it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 55949it [6:32:06,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 55999it [6:32:26,  2.70it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 56049it [6:32:46,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 56099it [6:33:06,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 56149it [6:33:26,  2.70it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 56199it [6:33:46,  2.66it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 56249it [6:34:06,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 56299it [6:34:26,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 56349it [6:34:46,  2.77it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 56399it [6:35:06,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 56449it [6:35:26,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 56499it [6:35:46,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 56549it [6:36:06,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 56599it [6:36:26,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 56649it [6:36:46,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 56699it [6:37:06,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 56749it [6:37:26,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 56799it [6:37:46,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 56849it [6:38:06,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 56899it [6:38:27,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 56949it [6:38:47,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 56999it [6:39:07,  2.70it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+Training...: 56999it [6:39:20,  2.70it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+Training...: 57049it [6:40:31,  2.67it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 57099it [6:40:51,  2.69it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 57149it [6:41:11,  2.67it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 57202it [6:41:44,  2.25s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 57256it [6:42:04,  1.09it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 57299it [6:42:11,  2.67it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 57349it [6:42:31,  2.69it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 57399it [6:42:51,  2.67it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 57450it [6:43:24,  4.00s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 57500it [6:43:44,  4.01s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 57550it [6:44:04,  4.01s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 57600it [6:44:24,  4.01s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 57650it [6:44:44,  4.01s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 57704it [6:45:05,  1.39s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 57754it [6:45:25,  1.39s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 57804it [6:45:45,  1.39s/it]��████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 57854it [6:46:05,  1.39s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 57906it [6:46:25,  1.09it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 57958it [6:46:45,  1.59it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 58000it [6:47:05,  4.01s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 58050it [6:47:25,  4.01s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 58106it [6:47:45,  1.09it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 58154it [6:48:05,  1.39s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 58206it [6:48:25,  1.09it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 58256it [6:48:45,  1.09it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 58304it [6:49:05,  1.39s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 58358it [6:49:25,  1.59it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 58408it [6:49:45,  1.59it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 58452it [6:50:05,  2.24s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 58502it [6:50:25,  2.25s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 58552it [6:50:45,  2.25s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 58602it [6:51:05,  2.24s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 58652it [6:51:25,  2.25s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 58704it [6:51:45,  1.39s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 58754it [6:52:05,  1.39s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 58808it [6:52:26,  1.59it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 58858it [6:52:46,  1.59it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 58902it [6:53:05,  2.24s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 58954it [6:53:26,  1.40s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 59004it [6:53:46,  1.39s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 59052it [6:54:05,  2.25s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 59102it [6:54:26,  2.25s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 59154it [6:54:46,  1.39s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 59208it [6:55:06,  1.60it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 59260it [6:55:26,  2.26it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 59306it [6:55:46,  1.09it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 59356it [6:56:06,  1.09it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 59399it [6:56:12,  2.67it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 59452it [6:56:46,  2.24s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 59502it [6:57:06,  2.24s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 59554it [6:57:26,  1.39s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 59604it [6:57:46,  1.40s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 59650it [6:58:06,  4.01s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 59706it [6:58:26,  1.09it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 59756it [6:58:46,  1.09it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 59806it [6:59:06,  1.09it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 59856it [6:59:26,  1.09it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 59908it [6:59:46,  1.59it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 59958it [7:00:07,  1.59it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 59999it [7:00:26,  2.67it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+tcmalloc: large alloc 2715181056 bytes == 0x41d306000 @  0x7fe91a70f680 0x7fe91a72fbdd 0x7fe900cc920d 0x7fe900cd7340 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd2bd3 0x7fe900cd31fe 0x504d56 0x56acb6 0x568d9a 0x5f5b33 0x56bc9b 0x5f5956 0x56aadf 0x5f5956 0x56fb87 0x568d9a 0x5f5b33 0x56bc9b 0x568d9a
+[17:05:48] - INFO - absl - Saved checkpoint at checkpoint_285000
+[17:05:49] - INFO - huggingface_hub.repository - git version 2.25.1
+git-lfs/2.9.2 (GitHub; linux amd64; go 1.13.5)

wandb/run-20210716_095921-13hxxunp/files/wandb-summary.json

@@ -1 +1 @@
-{"training_step": 270000, "learning_rate": 2.555258834036067e-05, "train_loss": 1.988334059715271, "_runtime": 19337, "_timestamp": 1626448899, "_step": 907, "eval_step": 270000, "eval_accuracy": 0.627289354801178, "eval_loss": 1.9077463150024414}
+{"training_step": 285000, "learning_rate": 2.5296008971054107e-05, "train_loss": 1.990069031715393, "_runtime": 25579, "_timestamp": 1626455141, "_step": 1209, "eval_step": 282000, "eval_accuracy": 0.6294167041778564, "eval_loss": 1.893365740776062}