Saving weights and logs of step 195000

checkpoint_195000

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:b1dfea49ce1d75d3f0c4989d396866ba4a79a2515c71a51b3dfd3be36921cab4
+size 1530270447

events.out.tfevents.1626397185.t1v-n-f5c06ea1-w-0.760449.3.v2

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:289e1440dd701af5c9e46591bb052d075b1b422f54683f331d91b777cf594e7d
-size 4512750
+oid sha256:2017301a757fdc3aadf603c3968e71dcf4806bc2cb83db678df96141ac551ec2
+size 6769034

flax_model.msgpack

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:ea5b4277cef19be5408649bb26375886911775e3090e6c2dd0a93154c3321da6
+oid sha256:322f4d57c371fb8423fd846cacd809f7b62d9bacf125bd148e325775f80f6118
 size 510090043

wandb/run-20210716_005946-3bte92ft/files/output.log

@@ -3442,3 +3442,1716 @@ tcmalloc: large alloc 2715181056 bytes == 0x43c98e000 @  0x7f779c64f680 0x7f779c
 [04:38:12] - INFO - absl - Saved checkpoint at checkpoint_180000
 [04:38:13] - INFO - huggingface_hub.repository - git version 2.25.1
 git-lfs/2.9.2 (GitHub; linux amd64; go 1.13.5)
+[04:38:14] - DEBUG - huggingface_hub.repository - [Repository] is a valid git repo
+[04:39:17] - INFO - huggingface_hub.repository - Uploading LFS objects: 100% (3/3), 2.0 GB | 52 MB/s, done.
+
+
+
+
+Training...: 30049it [3:33:48,  2.64it/s]
+
+
+
+
+
+Training...: 30099it [3:34:08,  2.71it/s]
+
+
+
+
+
+Training...: 30180it [3:34:43, 13.73it/s]
+
+
+
+Training...: 30199it [3:34:48,  2.67it/s]
+
+
+
+
+
+Training...: 30256it [3:35:22,  1.09it/s]
+
+
+
+
+
+Training...: 30300it [3:35:41,  4.01s/it]
+
+
+
+
+Training...: 30349it [3:35:48,  2.70it/s]
+
+
+
+
+
+
+Training...: 30400it [3:36:21,  4.01s/it]
+
+
+
+
+Training...: 30449it [3:36:28,  2.83it/s]
+
+
+
+
+
+
+Training...: 30502it [3:37:02,  2.25s/it]
+
+
+
+
+
+Training...: 30552it [3:37:22,  2.25s/it]
+
+
+
+
+
+Training...: 30604it [3:37:42,  1.40s/it]
+
+
+
+
+Training...: 30649it [3:37:48,  2.68it/s]
+
+
+
+
+
+Training...: 30699it [3:38:08,  2.70it/s]
+
+
+
+
+
+Training...: 30749it [3:38:29,  2.67it/s]
+
+
+
+
+
+Training...: 30799it [3:38:49,  2.67it/s]
+
+
+
+
+
+Training...: 30849it [3:39:09,  2.70it/s]
+
+
+
+
+
+
+Training...: 30906it [3:39:42,  1.09it/s]
+
+
+
+
+Training...: 30949it [3:39:49,  2.63it/s]
+
+
+
+
+
+Training...: 30999it [3:40:09,  2.68it/s]
+
+
+
+
+
+Training...: 31049it [3:40:29,  2.67it/s]
+
+
+
+
+
+Training...: 31099it [3:40:49,  2.70it/s]
+
+
+
+
+
+Training...: 31149it [3:41:09,  2.67it/s]
+
+
+
+
+
+
+Training...: 31206it [3:41:42,  1.09it/s]
+
+
+
+
+Training...: 31249it [3:41:49,  2.68it/s]
+
+
+
+
+
+
+Training...: 31304it [3:42:22,  1.39s/it]
+
+
+
+
+
+Training...: 31352it [3:42:42,  2.24s/it]
+
+
+
+
+Training...: 31399it [3:42:49,  2.67it/s]
+
+
+
+
+
+Training...: 31449it [3:43:09,  2.70it/s]
+
+
+
+
+
+Training...: 31499it [3:43:29,  2.67it/s]
+
+
+
+
+
+Training...: 31549it [3:43:49,  2.68it/s]
+
+
+
+
+
+Training...: 31599it [3:44:09,  2.65it/s]
+
+
+
+
+
+Training...: 31649it [3:44:29,  2.66it/s]
+
+
+
+
+
+Training...: 31699it [3:44:49,  2.70it/s]
+
+
+
+
+
+Training...: 31749it [3:45:10,  2.67it/s]
+
+
+
+
+
+Training...: 31799it [3:45:30,  2.68it/s]
+
+
+
+
+
+Training...: 31849it [3:45:50,  2.67it/s]
+
+
+
+
+
+Training...: 31899it [3:46:10,  2.67it/s]
+
+
+
+
+
+
+Training...: 31956it [3:46:43,  1.09it/s]
+
+
+
+
+Training...: 31999it [3:46:50,  2.67it/s]
+
+
+
+
+
+Training...: 32049it [3:47:10,  2.68it/s]
+
+
+
+
+
+Training...: 32099it [3:47:30,  2.67it/s]
+
+
+
+
+
+Training...: 32149it [3:47:50,  2.69it/s]
+
+
+
+
+
+Training...: 32199it [3:48:10,  2.70it/s]
+
+
+
+
+
+Training...: 32249it [3:48:30,  2.67it/s]
+
+
+
+
+
+
+Training...: 32302it [3:49:03,  2.24s/it]
+
+
+
+
+Training...: 32349it [3:49:10,  2.68it/s]
+
+
+
+
+
+
+Training...: 32404it [3:49:44,  1.40s/it]
+
+
+
+
+Training...: 32449it [3:49:50,  2.70it/s]
+
+
+
+
+
+Training...: 32499it [3:50:10,  2.67it/s]
+
+
+
+
+
+
+Training...: 32554it [3:50:44,  1.39s/it]
+
+
+
+
+Training...: 32599it [3:50:50,  2.67it/s]
+
+
+
+
+
+Training...: 32649it [3:51:10,  2.69it/s]
+
+
+
+
+
+Training...: 32699it [3:51:30,  2.75it/s]
+
+
+
+
+
+
+Training...: 32756it [3:52:04,  1.09it/s]
+
+
+
+
+Training...: 32799it [3:52:10,  2.69it/s]
+
+
+
+
+
+
+Training...: 32856it [3:52:44,  1.09it/s]
+
+
+
+
+Training...: 32899it [3:52:50,  2.67it/s]
+
+
+
+
+
+
+Training...: 32958it [3:53:24,  1.59it/s]
+
+
+
+
+Training...: 32999it [3:53:31,  2.67it/s]
+
+
+
+
+
+Training...: 33049it [3:53:51,  2.70it/s]
+
+
+
+
+
+Training...: 33099it [3:54:11,  2.68it/s]
+
+
+
+
+
+Training...: 33149it [3:54:31,  2.68it/s]
+
+
+
+
+
+Training...: 33199it [3:54:51,  2.68it/s]
+
+
+
+
+
+Training...: 33249it [3:55:11,  2.68it/s]
+
+
+
+
+
+Training...: 33299it [3:55:31,  2.71it/s]
+
+
+
+
+
+Training...: 33349it [3:55:51,  2.67it/s]
+
+
+
+
+
+Training...: 33399it [3:56:11,  2.64it/s]
+
+
+
+
+
+
+Training...: 33458it [3:56:45,  1.59it/s]
+
+
+
+
+Training...: 33499it [3:56:51,  2.67it/s]
+
+
+
+
+
+Training...: 33549it [3:57:11,  2.70it/s]
+
+
+
+
+
+Training...: 33599it [3:57:31,  2.67it/s]
+
+
+
+
+
+Training...: 33649it [3:57:51,  2.69it/s]
+
+
+
+
+
+Training...: 33699it [3:58:11,  2.67it/s]
+
+
+
+
+
+Training...: 33749it [3:58:31,  2.67it/s]
+
+
+
+
+
+Training...: 33799it [3:58:51,  2.67it/s]
+
+
+
+
+
+Training...: 33849it [3:59:11,  2.67it/s]
+
+
+
+
+
+Training...: 33899it [3:59:31,  2.69it/s]
+
+
+
+
+
+Training...: 33949it [3:59:51,  2.67it/s]
+
+
+
+
+
+Training...: 33999it [4:00:11,  2.68it/s]
+
+
+
+
+
+Training...: 34049it [4:00:31,  2.67it/s]
+
+
+
+
+
+Training...: 34099it [4:00:51,  2.67it/s]
+
+
+
+
+
+Training...: 34149it [4:01:11,  2.70it/s]
+
+
+
+
+
+Training...: 34199it [4:01:32,  2.67it/s]
+
+
+
+
+
+Training...: 34249it [4:01:52,  2.67it/s]
+
+
+
+
+
+Training...: 34312it [4:02:26,  3.09it/s]
+
+
+
+
+Training...: 34362it [4:02:46,  3.09it/s]
+
+
+
+Training...: 34399it [4:02:52,  2.70it/s]
+
+
+
+
+Training...: 34449it [4:03:12,  2.68it/s]
+
+
+
+
+Training...: 34499it [4:03:32,  2.68it/s]
+
+
+
+
+
+Training...: 34568it [4:04:06,  6.72it/s]
+
+
+
+
+Training...: 34614it [4:04:26,  3.70it/s]
+
+
+
+Training...: 34649it [4:04:32,  2.70it/s]
+
+
+
+
+Training...: 34699it [4:04:52,  2.67it/s]
+
+
+
+
+Training...: 34749it [4:05:12,  2.68it/s]
+
+
+
+
+Training...: 34799it [4:05:32,  2.67it/s]
+
+
+
+
+Training...: 34849it [4:05:52,  2.68it/s]
+
+
+
+
+
+Training...: 34918it [4:06:26,  6.72it/s]
+
+
+
+Training...: 34949it [4:06:32,  2.67it/s]
+
+
+
+
+Training...: 34999it [4:06:52,  2.69it/s]
+
+
+
+
+
+Training...: 35070it [4:07:27,  8.06it/s]
+
+
+
+
+Training...: 35110it [4:07:46,  2.21it/s]
+
+
+
+Training...: 35149it [4:07:52,  2.70it/s]
+
+
+
+
+Training...: 35199it [4:08:12,  2.67it/s]
+
+
+
+
+Training...: 35249it [4:08:32,  2.70it/s]
+
+
+
+
+Training...: 35299it [4:08:52,  2.67it/s]
+
+
+
+
+Training...: 35349it [4:09:12,  2.77it/s]
+
+
+
+
+Training...: 35399it [4:09:33,  2.68it/s]
+
+
+
+
+Training...: 35449it [4:09:53,  2.68it/s]
+
+
+
+
+
+Training...: 35516it [4:10:27,  5.35it/s]
+
+
+
+
+Training...: 35566it [4:10:47,  5.33it/s]
+
+
+
+Training...: 35599it [4:10:53,  2.69it/s]
+
+
+
+
+
+Training...: 35670it [4:11:27,  8.11it/s]
+
+
+
+Training...: 35699it [4:11:33,  2.68it/s]
+
+
+
+
+Training...: 35749it [4:11:53,  2.70it/s]
+
+
+
+
+Training...: 35799it [4:12:13,  2.67it/s]
+
+
+
+
+
+Training...: 35866it [4:12:47,  5.34it/s]
+
+
+
+Training...: 35899it [4:12:53,  2.67it/s]
+
+
+
+
+Training...: 35949it [4:13:13,  2.67it/s]
+
+
+
+
+Training...: 35999it [4:13:46,  2.70it/s]
+Evaluating ...:   4%|██████▎                                                                                                                                               | 21/500 [00:00<00:21, 22.49it/s]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+Training...: 36054it [4:15:10,  1.40s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 36104it [4:15:30,  1.40s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 36156it [4:15:51,  1.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 36199it [4:15:57,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+
+Training...: 36256it [4:16:31,  1.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 36306it [4:16:51,  1.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 36358it [4:17:11,  1.59it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 36400it [4:17:30,  4.01s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 36452it [4:17:51,  2.24s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 36504it [4:18:11,  1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 36554it [4:18:31,  1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 36599it [4:18:37,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 36649it [4:18:57,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 36699it [4:19:17,  2.69it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+
+Training...: 36754it [4:19:51,  1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 36804it [4:20:11,  1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 36856it [4:20:31,  1.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 36906it [4:20:51,  1.09it/s]████████████████████████████████████████████████████████████████████��████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 36949it [4:20:58,  2.63it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 36999it [4:21:18,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 37049it [4:21:38,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 37099it [4:21:58,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 37149it [4:22:18,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 37199it [4:22:38,  2.69it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 37249it [4:22:58,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 37299it [4:23:18,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 37349it [4:23:38,  2.73it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 37399it [4:23:58,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 37449it [4:24:18,  2.69it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 37499it [4:24:38,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 37549it [4:24:58,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 37599it [4:25:18,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 37649it [4:25:38,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 37699it [4:25:58,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 37749it [4:26:18,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 37799it [4:26:38,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 37849it [4:26:58,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 37899it [4:27:18,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 37949it [4:27:38,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 37999it [4:27:58,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 38049it [4:28:18,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 38099it [4:28:38,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 38149it [4:28:59,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 38199it [4:29:19,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 38249it [4:29:39,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 38299it [4:29:59,  2.69it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 38349it [4:30:19,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 38399it [4:30:39,  2.65it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 38449it [4:30:59,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 38499it [4:31:19,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 38549it [4:31:39,  2.69it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 38599it [4:31:59,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 38649it [4:32:19,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 38699it [4:32:39,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 38749it [4:32:59,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 38799it [4:33:19,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 38849it [4:33:39,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 38899it [4:33:59,  2.78it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 38949it [4:34:19,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 38999it [4:34:39,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 39049it [4:34:59,  2.71it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████��████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 39099it [4:35:19,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 39149it [4:35:39,  2.69it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 39199it [4:35:59,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 39249it [4:36:19,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 39299it [4:36:39,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 39349it [4:37:00,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 39399it [4:37:20,  2.63it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 39449it [4:37:40,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 39499it [4:38:00,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 39549it [4:38:20,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 39599it [4:38:40,  2.68it/s]████████████████████████████████████████████████████████████████████████████████████████████��████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 39649it [4:39:00,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 39699it [4:39:20,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 39749it [4:39:40,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 39799it [4:40:00,  2.74it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 39849it [4:40:20,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 39899it [4:40:40,  2.69it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 39949it [4:41:00,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 39999it [4:41:20,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40049it [4:41:40,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40099it [4:42:00,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40149it [4:42:20,  2.70it/s]████████████████████████████████████████████████████████████████████��████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40199it [4:42:40,  2.66it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40249it [4:43:00,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40299it [4:43:20,  2.63it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40349it [4:43:40,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40399it [4:44:00,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40449it [4:44:20,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40499it [4:44:40,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40549it [4:45:00,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40599it [4:45:21,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40649it [4:45:41,  2.71it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40699it [4:46:01,  2.68it/s]████████████████████████████████████████████��████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40749it [4:46:21,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40799it [4:46:41,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40849it [4:47:01,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40899it [4:47:21,  2.71it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40949it [4:47:41,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 40999it [4:48:01,  2.71it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41049it [4:48:21,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41099it [4:48:41,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41149it [4:49:01,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41199it [4:49:21,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41249it [4:49:41,  2.70it/s]████████████████████��████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41299it [4:50:01,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41349it [4:50:21,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41399it [4:50:41,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41449it [4:51:01,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41499it [4:51:21,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41549it [4:51:41,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41599it [4:52:01,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41649it [4:52:21,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41699it [4:52:41,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41749it [4:53:01,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41799it [4:53:21,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41849it [4:53:42,  2.63it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41899it [4:54:02,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41949it [4:54:22,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 41999it [4:54:42,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+Training...: 41999it [4:54:55,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+Training...: 42060it [4:56:19,  2.25it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42112it [4:56:40,  3.10it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42162it [4:57:00,  3.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+Training...: 42199it [4:57:06,  2.78it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 42249it [4:57:26,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 42299it [4:57:46,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 42349it [4:58:06,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 42399it [4:58:26,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 42449it [4:58:46,  2.69it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+
+Training...: 42508it [4:59:20,  1.59it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 42558it [4:59:40,  1.59it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 42610it [5:00:00,  2.25it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 42662it [5:00:20,  3.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42699it [5:00:26,  2.63it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 42749it [5:00:46,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42799it [5:01:06,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████���███████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 42862it [5:01:40,  3.02it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 42906it [5:02:00,  1.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 42956it [5:02:20,  1.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 42999it [5:02:26,  2.69it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 43049it [5:02:46,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 43099it [5:03:06,  2.73it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 43149it [5:03:26,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 43199it [5:03:47,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 43249it [5:04:07,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 43299it [5:04:27,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 43349it [5:04:47,  2.68it/s]██████████████████████████████████████████████████��██████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 43399it [5:05:07,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 43449it [5:05:27,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 43499it [5:05:47,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 43549it [5:06:07,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 43599it [5:06:27,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 43649it [5:06:47,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 43699it [5:07:07,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 43749it [5:07:27,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 43799it [5:07:47,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 43849it [5:08:07,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 43899it [5:08:27,  2.67it/s]████████████████████████��████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 43949it [5:08:47,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 43999it [5:09:07,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44049it [5:09:27,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44099it [5:09:47,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44149it [5:10:07,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44199it [5:10:27,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44249it [5:10:47,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44299it [5:11:07,  2.69it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44349it [5:11:27,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44399it [5:11:47,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44449it [5:12:07,  2.70it/s]��████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44499it [5:12:28,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44549it [5:12:48,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44599it [5:13:08,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44649it [5:13:28,  2.78it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44699it [5:13:48,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44749it [5:14:08,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44799it [5:14:28,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44849it [5:14:48,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44899it [5:15:08,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44949it [5:15:28,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 44999it [5:15:48,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+tcmalloc: large alloc 2715181056 bytes == 0x3cda66000 @  0x7f779c64f680 0x7f779c66fbdd 0x7f7782c0920d 0x7f7782c17340 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c12bd3 0x7f7782c131fe 0x504d56 0x56acb6 0x568d9a 0x5f5b33 0x56bc9b 0x5f5956 0x56aadf 0x5f5956 0x56fb87 0x568d9a 0x5f5b33 0x56bc9b 0x568d9a
+[06:21:45] - INFO - absl - Saved checkpoint at checkpoint_195000
+[06:21:46] - INFO - huggingface_hub.repository - git version 2.25.1
+git-lfs/2.9.2 (GitHub; linux amd64; go 1.13.5)

wandb/run-20210716_005946-3bte92ft/files/wandb-summary.json

@@ -1 +1 @@
-{"training_step": 180000, "learning_rate": 2.5134970201179385e-05, "train_loss": 2.1479721069335938, "_runtime": 13098, "_timestamp": 1626410284, "_step": 604, "eval_step": 180000, "eval_accuracy": 0.6029029488563538, "eval_loss": 2.0708253383636475}
+{"training_step": 195000, "learning_rate": 2.470570325385779e-05, "train_loss": 2.0666136741638184, "_runtime": 19312, "_timestamp": 1626416498, "_step": 906, "eval_step": 192000, "eval_accuracy": 0.606447696685791, "eval_loss": 2.0452046394348145}