Saving weights and logs of step 405000

checkpoint_405000

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:9369cd5ba96168c0086cfd82f5255af351872e10108e79f9614b331201e7bcdc
+size 1530270447

events.out.tfevents.1626474829.t1v-n-f5c06ea1-w-0.798495.3.v2

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:75dc7a9230b0bd19c8b226ed40f2a9c3830385799f0740e05d58ac7de081c9ec
-size 9024892
+oid sha256:ebe67d3138fcc13c1f7f62a59affae5de2f739125b634dacd187b86d9ba3bf50
+size 11281034

flax_model.msgpack

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:73d7c0f9ed8a78dfda719fb2997836329a518af60dbbe9a0adef50432277abe6
+oid sha256:670d8948058094e69227e75ef600426a33ff0a508c61a724331413906ca925e6
 size 510090043

wandb/run-20210716_223350-8eukt20m/files/output.log

@@ -7418,3 +7418,1656 @@ tcmalloc: large alloc 2715181056 bytes == 0x3b84d0000 @  0x7f2f3656a680 0x7f2f36
 [05:38:07] - INFO - absl - Saved checkpoint at checkpoint_390000
 [05:38:08] - INFO - huggingface_hub.repository - git version 2.25.1
 git-lfs/2.9.2 (GitHub; linux amd64; go 1.13.5)
+[05:38:08] - DEBUG - huggingface_hub.repository - [Repository] is a valid git repo
+[05:39:23] - INFO - huggingface_hub.repository - Uploading LFS objects: 100% (3/3), 2.0 GB | 46 MB/s, done.
+
+
+
+
+
+Training...: 60058it [7:00:02,  1.56it/s]
+
+
+
+
+Training...: 60110it [7:00:22,  2.69it/s]
+
+
+
+
+Training...: 60159it [7:00:42,  1.99it/s]
+
+
+
+Training...: 60199it [7:00:48,  2.79it/s]
+
+
+
+
+Training...: 60249it [7:01:09,  3.04it/s]
+
+
+
+
+Training...: 60299it [7:01:29,  2.90it/s]
+
+
+
+
+Training...: 60349it [7:01:49,  3.13it/s]
+
+
+
+
+
+Training...: 60410it [7:02:23,  2.75it/s]
+
+
+
+Training...: 60449it [7:02:29,  2.97it/s]
+
+
+
+
+Training...: 60499it [7:02:49,  2.96it/s]
+
+
+
+
+
+Training...: 60558it [7:03:23,  1.81it/s]
+
+
+
+
+Training...: 60612it [7:03:43,  3.45it/s]
+
+
+
+Training...: 60649it [7:03:49,  2.82it/s]
+
+
+
+
+Training...: 60699it [7:04:09,  3.28it/s]
+
+
+
+
+Training...: 60749it [7:04:29,  3.19it/s]
+
+
+
+
+Training...: 60799it [7:04:49,  2.92it/s]
+
+
+
+
+Training...: 60849it [7:05:10,  3.14it/s]
+
+
+
+
+Training...: 60899it [7:05:30,  3.14it/s]
+
+
+
+
+Training...: 60949it [7:05:50,  3.03it/s]
+
+
+
+
+Training...: 60999it [7:06:10,  2.96it/s]
+
+
+
+
+Training...: 61049it [7:06:30,  3.07it/s]
+
+
+
+
+Training...: 61099it [7:06:50,  3.02it/s]
+
+
+
+
+Training...: 61149it [7:07:10,  3.04it/s]
+
+
+
+
+Training...: 61199it [7:07:30,  3.09it/s]
+
+
+
+
+Training...: 61249it [7:07:50,  2.80it/s]
+
+
+
+
+Training...: 61299it [7:08:10,  2.85it/s]
+
+
+
+
+Training...: 61349it [7:08:30,  2.92it/s]
+
+
+
+
+
+Training...: 61412it [7:09:05,  3.55it/s]
+
+
+
+Training...: 61449it [7:09:10,  3.10it/s]
+
+
+
+
+Training...: 61499it [7:09:30,  2.81it/s]
+
+
+
+
+Training...: 61549it [7:09:50,  2.83it/s]
+
+
+
+
+
+Training...: 61616it [7:10:25,  5.29it/s]
+
+
+
+Training...: 61649it [7:10:31,  2.96it/s]
+
+
+
+
+Training...: 61699it [7:10:51,  3.02it/s]
+
+
+
+
+Training...: 61749it [7:11:11,  3.06it/s]
+
+
+
+
+Training...: 61799it [7:11:31,  3.17it/s]
+
+
+
+
+Training...: 61849it [7:11:51,  2.95it/s]
+
+
+
+
+Training...: 61899it [7:12:11,  2.88it/s]
+
+
+
+
+Training...: 61949it [7:12:31,  2.96it/s]
+
+
+
+
+Training...: 61999it [7:12:51,  2.79it/s]
+
+
+
+
+Training...: 62049it [7:13:11,  3.22it/s]
+
+
+
+
+Training...: 62099it [7:13:31,  2.96it/s]
+
+
+
+
+Training...: 62149it [7:13:51,  2.81it/s]
+
+
+
+
+Training...: 62199it [7:14:12,  3.04it/s]
+
+
+
+
+Training...: 62249it [7:14:32,  2.91it/s]
+
+
+
+
+Training...: 62299it [7:14:52,  3.17it/s]
+
+
+
+
+Training...: 62349it [7:15:12,  2.91it/s]
+
+
+
+
+Training...: 62399it [7:15:32,  3.01it/s]
+
+
+
+
+Training...: 62449it [7:15:52,  2.90it/s]
+
+
+
+
+
+Training...: 62514it [7:16:26,  4.60it/s]
+
+
+
+Training...: 62549it [7:16:32,  2.90it/s]
+
+
+
+
+Training...: 62599it [7:16:52,  2.95it/s]
+
+
+
+
+Training...: 62649it [7:17:12,  3.12it/s]
+
+
+
+
+Training...: 62699it [7:17:32,  3.00it/s]
+
+
+
+
+Training...: 62749it [7:17:52,  3.06it/s]
+
+
+
+
+Training...: 62799it [7:18:12,  3.40it/s]
+
+
+
+
+Training...: 62849it [7:18:32,  2.94it/s]
+
+
+
+
+Training...: 62899it [7:18:53,  2.96it/s]
+
+
+
+
+Training...: 62949it [7:19:13,  3.04it/s]
+
+
+
+
+Training...: 62999it [7:19:33,  2.96it/s]
+
+
+
+
+
+Training...: 63050it [7:20:06,  3.91s/it]
+
+
+
+
+
+Training...: 63100it [7:20:26,  3.80s/it]
+
+
+
+
+Training...: 63149it [7:20:33,  3.06it/s]
+
+
+
+
+Training...: 63199it [7:20:53,  2.92it/s]
+
+
+
+
+
+Training...: 63251it [7:21:26,  2.83s/it]
+
+
+
+
+
+Training...: 63301it [7:21:46,  2.76s/it]
+
+
+
+
+
+Training...: 63350it [7:22:06,  3.91s/it]
+
+
+
+
+
+Training...: 63401it [7:22:27,  2.70s/it]
+
+
+
+
+
+Training...: 63453it [7:22:47,  1.73s/it]
+
+
+
+
+
+Training...: 63504it [7:23:07,  1.09s/it]
+
+
+
+
+
+Training...: 63555it [7:23:27,  1.02s/it]
+
+
+
+
+
+Training...: 63601it [7:23:47,  2.78s/it]
+
+
+
+
+
+Training...: 63653it [7:24:07,  1.66s/it]
+
+
+
+
+
+Training...: 63703it [7:24:27,  1.59s/it]
+
+
+
+
+
+Training...: 63754it [7:24:47,  1.32s/it]
+
+
+
+
+
+Training...: 63805it [7:25:08,  1.06s/it]
+
+
+
+
+
+Training...: 63858it [7:25:28,  1.73it/s]
+
+
+
+
+
+Training...: 63904it [7:25:48,  1.41s/it]
+
+
+
+
+
+Training...: 63955it [7:26:08,  1.13s/it]
+
+
+
+
+
+Training...: 64005it [7:26:28,  1.03it/s]
+
+
+
+
+
+Training...: 64055it [7:26:48,  1.12s/it]
+
+
+
+
+
+Training...: 64105it [7:27:08,  1.15it/s]
+
+
+
+
+Training...: 64153it [7:27:28,  1.47s/it]
+
+
+
+
+
+Training...: 64203it [7:27:48,  1.48s/it]
+
+
+
+
+
+Training...: 64255it [7:28:08,  1.03it/s]
+
+
+
+
+
+Training...: 64307it [7:28:29,  1.44it/s]
+
+
+
+
+
+Training...: 64353it [7:28:48,  1.51s/it]
+
+
+
+
+Training...: 64409it [7:29:09,  2.73it/s]
+
+
+
+
+Training...: 64455it [7:29:29,  1.06it/s]
+
+
+
+
+
+Training...: 64507it [7:29:49,  1.43it/s]
+
+
+
+
+
+Training...: 64557it [7:30:09,  1.65it/s]
+
+
+
+
+Training...: 64609it [7:30:29,  2.89it/s]
+
+
+
+
+
+Training...: 64662it [7:30:50,  3.67it/s]
+
+
+
+
+Training...: 64705it [7:31:09,  1.06s/it]
+
+
+
+
+Training...: 64757it [7:31:29,  1.87it/s]
+
+
+
+
+Training...: 64808it [7:31:49,  1.76it/s]
+
+
+
+
+Training...: 64858it [7:32:10,  2.09it/s]
+
+
+
+
+
+Training...: 64906it [7:32:30,  1.23it/s]
+
+
+
+
+
+Training...: 64957it [7:32:50,  1.48it/s]
+
+
+
+
+
+Training...: 65004it [7:33:09,  1.40s/it]
+
+
+
+
+
+Training...: 65055it [7:33:30,  1.06s/it]
+
+
+
+
+
+Training...: 65106it [7:33:50,  1.23it/s]
+
+
+
+
+
+Training...: 65156it [7:34:10,  1.14it/s]
+
+
+
+
+
+Training...: 65207it [7:34:30,  1.45it/s]
+
+
+
+
+Training...: 65261it [7:34:50,  2.75it/s]
+
+
+
+
+Training...: 65310it [7:35:10,  3.12it/s]
+
+
+
+
+Training...: 65361it [7:35:31,  2.69it/s]
+
+
+
+
+
+Training...: 65407it [7:35:50,  1.41it/s]
+
+
+
+
+Training...: 65456it [7:36:10,  1.23it/s]
+
+
+
+
+Training...: 65509it [7:36:31,  2.35it/s]
+
+
+
+
+Training...: 65562it [7:36:51,  2.87it/s]
+
+
+
+
+Training...: 65611it [7:37:11,  3.57it/s]
+
+
+
+
+Training...: 65663it [7:37:31,  4.32it/s]
+
+
+
+
+Training...: 65712it [7:37:51,  4.04it/s]
+
+
+
+
+Training...: 65760it [7:38:11,  2.35it/s]
+
+
+
+
+Training...: 65811it [7:38:31,  3.41it/s]
+
+
+
+
+Training...: 65861it [7:38:51,  3.13it/s]
+
+
+
+
+Training...: 65909it [7:39:11,  3.46it/s]
+
+
+
+
+Training...: 65964it [7:39:32,  3.80it/s]
+
+
+
+
+Training...: 66014it [7:39:52,  3.67it/s]
+
+
+
+
+Training...: 66064it [7:40:12,  4.91it/s]
+
+
+
+
+Training...: 66111it [7:40:32,  2.37it/s]
+
+
+
+
+Training...: 66163it [7:40:52,  3.50it/s]
+
+
+
+
+Training...: 66212it [7:41:12,  4.36it/s]
+
+
+
+
+Training...: 66263it [7:41:32,  5.03it/s]
+
+
+
+
+Training...: 66314it [7:41:52,  4.31it/s]
+
+
+
+
+Training...: 66359it [7:42:12,  2.08it/s]
+
+
+
+
+Training...: 66412it [7:42:32,  2.86it/s]
+
+
+
+
+Training...: 66462it [7:42:52,  3.30it/s]
+
+
+
+
+Training...: 66514it [7:43:12,  5.40it/s]
+
+
+
+
+Training...: 66560it [7:43:33,  2.24it/s]
+
+
+
+
+Training...: 66615it [7:43:53,  3.90it/s]
+
+
+
+
+Training...: 66666it [7:44:13,  6.64it/s]
+
+
+
+
+Training...: 66715it [7:44:33,  4.98it/s]
+
+
+
+
+Training...: 66761it [7:44:53,  3.79it/s]
+
+
+
+
+Training...: 66811it [7:45:13,  2.68it/s]
+
+
+
+
+Training...: 66862it [7:45:33,  4.70it/s]
+
+
+
+
+Training...: 66914it [7:45:53,  5.48it/s]
+
+
+
+
+Training...: 66967it [7:46:13,  5.56it/s]
+
+
+
+
+Training...: 67017it [7:46:34,  5.69it/s]
+
+
+
+
+Training...: 67065it [7:46:54,  7.59it/s]
+
+
+
+Training...: 67099it [7:46:59,  3.12it/s]
+
+
+
+
+Training...: 67149it [7:47:19,  2.81it/s]
+
+
+
+
+Training...: 67199it [7:47:39,  2.80it/s]
+
+
+
+
+Training...: 67249it [7:47:59,  2.79it/s]
+
+
+
+
+Training...: 67299it [7:48:19,  2.91it/s]
+
+
+
+
+Training...: 67349it [7:48:39,  2.83it/s]
+
+
+
+
+Training...: 67399it [7:48:59,  2.96it/s]
+
+
+
+
+Training...: 67449it [7:49:19,  3.13it/s]
+
+
+
+
+Training...: 67499it [7:49:39,  2.86it/s]
+
+
+
+
+
+Training...: 67550it [7:50:13,  4.01s/it]
+
+
+
+
+
+Training...: 67600it [7:50:33,  4.06s/it]
+
+
+
+
+Training...: 67649it [7:50:40,  2.97it/s]
+
+
+
+
+
+Training...: 67700it [7:51:13,  4.04s/it]
+
+
+
+
+Training...: 67749it [7:51:20,  2.86it/s]
+
+
+
+
+
+
+Training...: 67802it [7:51:53,  2.02s/it]
+
+
+
+
+Training...: 67849it [7:52:00,  2.82it/s]
+
+
+
+
+Training...: 67899it [7:52:20,  2.81it/s]
+
+
+
+
+Training...: 67949it [7:52:40,  2.91it/s]
+
+
+
+
+Training...: 67999it [7:53:00,  2.74it/s]
+
+
+
+
+
+
+Training...: 68052it [7:53:33,  2.20s/it]
+
+
+
+
+
+Training...: 68102it [7:53:54,  2.27s/it]
+
+
+
+
+
+Training...: 68151it [7:54:14,  2.78s/it]
+
+
+
+
+Training...: 68199it [7:54:20,  2.95it/s]
+
+
+
+
+
+Training...: 68249it [7:54:40,  2.91it/s]
+
+
+
+
+
+Training...: 68299it [7:55:00,  3.03it/s]
+
+
+
+
+
+Training...: 68349it [7:55:20,  2.76it/s]
+
+
+
+
+
+Training...: 68399it [7:55:41,  2.99it/s]
+
+
+
+
+
+Training...: 68449it [7:56:01,  2.79it/s]
+
+
+
+
+
+Training...: 68499it [7:56:21,  2.86it/s]
+
+
+
+
+
+Training...: 68549it [7:56:41,  3.03it/s]
+
+
+
+
+
+
+Training...: 68603it [7:57:14,  1.59s/it]
+
+
+
+
+
+Training...: 68656it [7:57:35,  1.06it/s]
+
+
+
+
+Training...: 68699it [7:57:41,  2.92it/s]
+
+
+
+
+
+Training...: 68749it [7:58:01,  2.89it/s]
+
+
+
+
+
+Training...: 68799it [7:58:21,  2.93it/s]
+
+
+
+
+
+Training...: 68849it [7:58:41,  2.86it/s]
+
+
+
+
+
+Training...: 68899it [7:59:01,  3.03it/s]
+
+
+
+
+
+Training...: 68949it [7:59:21,  3.04it/s]
+
+
+
+
+
+Training...: 68999it [7:59:41,  2.86it/s]
+
+
+
+
+
+Training...: 69049it [8:00:01,  2.90it/s]
+
+
+
+
+
+
+Training...: 69108it [8:00:36,  2.19it/s]
+
+
+
+
+Training...: 69154it [8:00:55,  1.40s/it]
+
+
+
+
+Training...: 69199it [8:01:02,  2.87it/s]
+
+
+
+
+
+Training...: 69249it [8:01:22,  2.84it/s]
+
+
+
+
+
+Training...: 69299it [8:01:42,  3.13it/s]
+
+
+
+
+
+Training...: 69349it [8:02:02,  2.93it/s]
+
+
+
+
+
+Training...: 69399it [8:02:22,  2.92it/s]
+
+
+
+
+
+Training...: 69449it [8:02:42,  2.88it/s]
+
+
+
+
+
+Training...: 69499it [8:03:02,  2.88it/s]
+
+
+
+
+Training...: 69549it [8:03:22,  2.91it/s]
+
+
+
+
+Training...: 69599it [8:03:42,  2.99it/s]
+
+
+
+
+Training...: 69649it [8:04:02,  3.05it/s]
+
+
+
+
+
+Training...: 69699it [8:04:22,  2.86it/s]
+
+
+
+
+
+Training...: 69749it [8:04:42,  3.03it/s]
+
+
+
+
+Training...: 69799it [8:05:03,  2.78it/s]
+
+
+
+
+Training...: 69849it [8:05:23,  3.02it/s]
+
+
+
+
+Training...: 69899it [8:05:43,  3.00it/s]
+
+
+
+
+Training...: 69949it [8:06:03,  2.86it/s]
+
+
+
+
+Training...: 69999it [8:06:23,  2.89it/s]
+Training...: 69999it [8:06:36,  2.89it/s]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+Training...: 70051it [8:08:00,  2.79s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 70101it [8:08:20,  2.84s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 70149it [8:08:27,  3.05it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 70199it [8:08:47,  2.95it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 70249it [8:09:07,  3.07it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 70299it [8:09:27,  2.88it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 70350it [8:10:00,  4.08s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 70400it [8:10:20,  3.78s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 70450it [8:10:40,  3.91s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 70503it [8:11:01,  1.72s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 70554it [8:11:21,  1.40s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 70604it [8:11:41,  1.26s/it]█████████████████████████████████████████████████████████████████████████████��███████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 70655it [8:12:01,  1.18it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 70705it [8:12:21,  1.01s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 70751it [8:12:41,  2.79s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 70802it [8:13:01,  2.01s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 70851it [8:13:21,  2.84s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 70903it [8:13:41,  1.73s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 70954it [8:14:02,  1.25s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71000it [8:14:21,  4.04s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71051it [8:14:41,  2.77s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71103it [8:15:02,  1.69s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71154it [8:15:22,  1.17s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71205it [8:15:42,  1.18it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71256it [8:16:02,  1.08it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71308it [8:16:22,  1.68it/s]████████████████████���████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71353it [8:16:42,  1.56s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71402it [8:17:02,  2.05s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71453it [8:17:22,  1.59s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71505it [8:17:43,  1.19it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71557it [8:18:03,  1.47it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71604it [8:18:23,  1.35s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71658it [8:18:43,  1.72it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 71704it [8:19:03,  1.16s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 71754it [8:19:23,  1.24s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71804it [8:19:43,  1.40s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71854it [8:20:03,  1.18s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71906it [8:20:23,  1.22it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 71958it [8:20:44,  1.69it/s]██████████████████████████████████████████████████████████████████████████████████████████���██████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 72010it [8:21:04,  2.59it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 72055it [8:21:23,  1.05s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 72107it [8:21:44,  1.38it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 72158it [8:22:04,  1.63it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 72210it [8:22:24,  2.16it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 72258it [8:22:44,  1.85it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 72310it [8:23:04,  2.35it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 72358it [8:23:24,  1.57it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 72407it [8:23:44,  1.64it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+Training...: 72449it [8:23:50,  2.98it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 72499it [8:24:10,  2.82it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 72549it [8:24:30,  2.81it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 72599it [8:24:50,  3.10it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 72649it [8:25:10,  2.94it/s]███████████████████████████████████████��█████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 72699it [8:25:30,  2.95it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 72749it [8:25:50,  2.80it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 72799it [8:26:11,  2.78it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 72849it [8:26:31,  2.91it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 72899it [8:26:51,  2.88it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 72949it [8:27:11,  2.92it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 72999it [8:27:31,  2.88it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 73049it [8:27:51,  3.04it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 73099it [8:28:11,  2.84it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 73149it [8:28:31,  2.84it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 73199it [8:28:51,  2.96it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 73249it [8:29:11,  2.81it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 73299it [8:29:31,  2.89it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 73349it [8:29:51,  2.77it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 73399it [8:30:11,  2.82it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 73449it [8:30:31,  3.08it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 73500it [8:31:05,  3.91s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 73550it [8:31:25,  3.67s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 73600it [8:31:45,  3.91s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 73649it [8:31:52,  2.99it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 73699it [8:32:12,  2.92it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 73749it [8:32:32,  2.88it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 73800it [8:33:05,  3.94s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 73849it [8:33:12,  2.73it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 73899it [8:33:32,  2.84it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 73949it [8:33:52,  2.94it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 73999it [8:34:12,  2.88it/s]██████████████████████████████████████████████████████████████████���██████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 74050it [8:34:45,  3.80s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 74099it [8:34:52,  2.89it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 74149it [8:35:12,  2.85it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 74199it [8:35:32,  2.94it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 74249it [8:35:52,  2.79it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 74299it [8:36:13,  2.98it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 74349it [8:36:33,  2.80it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 74399it [8:36:53,  2.80it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 74449it [8:37:13,  2.91it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 74500it [8:37:46,  4.00s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 74549it [8:37:53,  2.99it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 74599it [8:38:13,  2.80it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 74649it [8:38:33,  2.84it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 74699it [8:38:53,  2.80it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 74750it [8:39:26,  3.91s/it]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 74799it [8:39:33,  2.97it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 74849it [8:39:53,  2.81it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 74899it [8:40:13,  2.87it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 74949it [8:40:33,  2.80it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 74999it [8:40:53,  2.84it/s]█████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+tcmalloc: large alloc 2715181056 bytes == 0x390142000 @  0x7f2f3656a680 0x7f2f3658abdd 0x7f2f1cb2420d 0x7f2f1cb32340 0x7f2f1cb31e87 0x7f2f1cb31e87 0x7f2f1cb31e87 0x7f2f1cb31e87 0x7f2f1cb31e87 0x7f2f1cb31e87 0x7f2f1cb31e87 0x7f2f1cb31e87 0x7f2f1cb31e87 0x7f2f1cb31e87 0x7f2f1cb31e87 0x7f2f1cb31e87 0x7f2f1cb2dbd3 0x7f2f1cb2e1fe 0x504d56 0x56acb6 0x568d9a 0x5f5b33 0x56bc9b 0x5f5956 0x56aadf 0x5f5956 0x56fb87 0x568d9a 0x5f5b33 0x56bc9b 0x568d9a
+[07:20:57] - INFO - absl - Saved checkpoint at checkpoint_405000
+[07:20:59] - INFO - huggingface_hub.repository - git version 2.25.1
+git-lfs/2.9.2 (GitHub; linux amd64; go 1.13.5)

wandb/run-20210716_223350-8eukt20m/files/wandb-summary.json

@@ -1 +1 @@
-{"training_step": 390000, "learning_rate": 2.1863324946025386e-05, "train_loss": 1.789033055305481, "_runtime": 25449, "_timestamp": 1626500279, "_step": 1205, "eval_step": 390000, "eval_accuracy": 0.6484184265136719, "eval_loss": 1.7725799083709717}
+{"training_step": 405000, "learning_rate": 2.154214416805189e-05, "train_loss": 1.9235954284667969, "_runtime": 31619, "_timestamp": 1626506449, "_step": 1506, "eval_step": 400000, "eval_accuracy": 0.6498574614524841, "eval_loss": 1.7630767822265625}