Saving weights and logs of step 300000

checkpoint_300000

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:6871ad76b64c25dba81499753fe5d81cb29ae47e0273e2c1d5076aebf9939680
+size 1530270447

events.out.tfevents.1626429561.t1v-n-f5c06ea1-w-0.782479.3.v2

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:3ae792ad0d3fd96afe988dcf6a59693b9d68d42201ed7b38b1b7d80543a658e9
-size 10627574
+oid sha256:284e0d9a865e4999c9430beb1ddc24ba9439a4a04b77594e8edd154a89055472
+size 11281886

flax_model.msgpack

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:c93e97777895ccd589540253276f6dab6bfc20932778f15a1627ba2dda8086e3
+oid sha256:a08bc06de8e2261ead63b6966f3532eeab82b895ad375a7789666478594b6200
 size 510090043

wandb/run-20210716_095921-13hxxunp/files/output.log

@@ -8236,3 +8236,547 @@ Training...: 70649it [8:14:57,  2.68it/s]█████████████
 
 
 
+Training...: 70699it [8:15:17,  2.69it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 70749it [8:15:37,  2.67it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 70799it [8:15:57,  2.67it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 70849it [8:16:17,  2.67it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 70899it [8:16:37,  2.67it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 70949it [8:16:57,  2.70it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 70999it [8:17:17,  2.67it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71049it [8:17:37,  2.68it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71099it [8:17:57,  2.67it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71149it [8:18:17,  2.67it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71199it [8:18:37,  2.69it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71249it [8:18:57,  2.67it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71299it [8:19:18,  2.69it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71349it [8:19:38,  2.67it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71399it [8:19:58,  2.67it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71449it [8:20:18,  2.70it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71499it [8:20:38,  2.67it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71549it [8:20:58,  2.70it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71599it [8:21:18,  2.67it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71649it [8:21:38,  2.67it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71699it [8:21:58,  2.67it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71749it [8:22:18,  2.67it/s]█████████████████��███████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71799it [8:22:38,  2.69it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71849it [8:22:58,  2.67it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71899it [8:23:18,  2.69it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71949it [8:23:38,  2.67it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71999it [8:23:58,  2.67it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 72049it [8:24:18,  2.70it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 72099it [8:24:38,  2.67it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 72149it [8:24:58,  2.67it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 72199it [8:25:18,  2.67it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+
+Training...: 72250it [8:25:51,  4.01s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 72304it [8:26:12,  1.39s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 72354it [8:26:32,  1.39s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 72406it [8:26:52,  1.09it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 72456it [8:27:12,  1.09it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 72504it [8:27:32,  1.45s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 72558it [8:27:52,  1.59it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 72610it [8:28:12,  2.26it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 72656it [8:28:32,  1.09it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 72706it [8:28:52,  1.09it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 72758it [8:29:12,  1.60it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 72808it [8:29:32,  1.59it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 72858it [8:29:52,  1.59it/s]███████��█████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 72908it [8:30:12,  1.59it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 72960it [8:30:33,  2.25it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 73010it [8:30:53,  2.25it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 73060it [8:31:13,  2.25it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 73110it [8:31:33,  2.26it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 73154it [8:31:52,  1.39s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 73204it [8:32:13,  1.39s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 73258it [8:32:33,  1.59it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 73310it [8:32:53,  2.24it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 73360it [8:33:13,  2.25it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 73410it [8:33:33,  2.26it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 73460it [8:33:53,  2.26it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 73512it [8:34:13,  3.10it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 73564it [8:34:33,  4.16it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 73610it [8:34:53,  2.13it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 73664it [8:35:13,  4.15it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 73706it [8:35:33,  1.09it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 73758it [8:35:53,  1.59it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 73808it [8:36:13,  1.59it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 73854it [8:36:33,  1.43s/it]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 73910it [8:36:53,  2.26it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 73960it [8:37:13,  2.25it/s]���████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 74010it [8:37:33,  2.26it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 74062it [8:37:54,  3.11it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 74106it [8:38:13,  1.09it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 74156it [8:38:33,  1.09it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 74208it [8:38:54,  1.59it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 74258it [8:39:14,  1.59it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 74308it [8:39:34,  1.59it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 74358it [8:39:54,  1.59it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 74408it [8:40:14,  1.59it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 74460it [8:40:34,  2.26it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 74499it [8:40:40,  2.69it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 74549it [8:41:00,  2.67it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 74599it [8:41:20,  2.67it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 74664it [8:41:54,  4.16it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 74712it [8:42:14,  2.86it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+Training...: 74749it [8:42:20,  2.70it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+
+Training...: 74808it [8:42:54,  1.59it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 74860it [8:43:14,  2.25it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 74910it [8:43:34,  2.25it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 74949it [8:43:40,  2.67it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 74999it [8:44:00,  2.70it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+Training...: 74999it [8:44:14,  2.70it/s]█████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+tcmalloc: large alloc 2715181056 bytes == 0x41d306000 @  0x7fe91a70f680 0x7fe91a72fbdd 0x7fe900cc920d 0x7fe900cd7340 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd2bd3 0x7fe900cd31fe 0x504d56 0x56acb6 0x568d9a 0x5f5b33 0x56bc9b 0x5f5956 0x56aadf 0x5f5956 0x56fb87 0x568d9a 0x5f5b33 0x56bc9b 0x568d9a
+[18:50:39] - INFO - absl - Saved checkpoint at checkpoint_300000
+[18:50:41] - INFO - huggingface_hub.repository - git version 2.25.1
+git-lfs/2.9.2 (GitHub; linux amd64; go 1.13.5)

wandb/run-20210716_095921-13hxxunp/files/wandb-summary.json

@@ -1 +1 @@
-{"training_step": 295650, "learning_rate": 2.5113835363299586e-05, "train_loss": 1.995354413986206, "_runtime": 30063, "_timestamp": 1626459625, "_step": 1424, "eval_step": 294000, "eval_accuracy": 0.6318913698196411, "eval_loss": 1.8787811994552612}
+{"training_step": 300000, "learning_rate": 2.503942778275814e-05, "train_loss": 1.888529658317566, "_runtime": 31870, "_timestamp": 1626461432, "_step": 1512, "eval_step": 300000, "eval_accuracy": 0.6334131956100464, "eval_loss": 1.8694549798965454}