diff --git "a/wandb/run-20210716_005946-3bte92ft/files/output.log" "b/wandb/run-20210716_005946-3bte92ft/files/output.log"
--- "a/wandb/run-20210716_005946-3bte92ft/files/output.log"
+++ "b/wandb/run-20210716_005946-3bte92ft/files/output.log"
@@ -1752,3 +1752,1693 @@ tcmalloc: large alloc 1530273792 bytes == 0x32311e000 @  0x7f779c64f680 0x7f779c
 [02:52:47] - INFO - absl - Saved checkpoint at checkpoint_165000
 [02:52:48] - INFO - huggingface_hub.repository - git version 2.25.1
 git-lfs/2.9.2 (GitHub; linux amd64; go 1.13.5)
+[02:52:48] - DEBUG - huggingface_hub.repository - [Repository] is a valid git repo
+[02:54:38] - INFO - huggingface_hub.repository - Uploading LFS objects: 100% (3/3), 2.0 GB | 25 MB/s, done.
+
+
+
+Training...: 15049it [1:49:09,  2.66it/s]
+
+
+
+
+Training...: 15099it [1:49:29,  2.68it/s]
+
+
+
+
+Training...: 15149it [1:49:49,  2.67it/s]
+
+
+
+
+Training...: 15199it [1:50:09,  2.71it/s]
+
+
+
+
+Training...: 15249it [1:50:29,  2.68it/s]
+
+
+
+
+Training...: 15299it [1:50:49,  2.70it/s]
+
+
+
+
+Training...: 15349it [1:51:09,  2.67it/s]
+
+
+
+
+Training...: 15399it [1:51:30,  2.27it/s]
+
+
+
+
+Training...: 15449it [1:51:50,  2.67it/s]
+
+
+
+
+Training...: 15499it [1:52:10,  2.68it/s]
+
+
+
+
+Training...: 15549it [1:52:30,  2.70it/s]
+
+
+
+
+Training...: 15599it [1:52:50,  2.68it/s]
+
+
+
+
+Training...: 15649it [1:53:10,  2.68it/s]
+
+
+
+
+Training...: 15699it [1:53:30,  2.67it/s]
+
+
+
+
+Training...: 15749it [1:53:50,  2.67it/s]
+
+
+
+
+
+Training...: 15800it [1:54:23,  4.01s/it]
+
+
+
+
+
+Training...: 15850it [1:54:43,  4.01s/it]
+
+
+
+
+Training...: 15899it [1:54:50,  2.68it/s]
+
+
+
+
+Training...: 15949it [1:55:10,  2.68it/s]
+
+
+
+
+Training...: 15999it [1:55:30,  2.67it/s]
+
+
+
+
+Training...: 16049it [1:55:50,  2.70it/s]
+
+
+
+
+
+Training...: 16100it [1:56:23,  4.01s/it]
+
+
+
+
+
+Training...: 16150it [1:56:43,  4.01s/it]
+
+
+
+
+
+Training...: 16200it [1:57:03,  4.01s/it]
+
+
+
+
+
+Training...: 16250it [1:57:23,  4.01s/it]
+
+
+
+
+
+Training...: 16302it [1:57:44,  2.24s/it]
+
+
+
+
+
+Training...: 16352it [1:58:04,  2.25s/it]
+
+
+
+
+
+Training...: 16402it [1:58:24,  2.24s/it]
+
+
+
+
+
+Training...: 16454it [1:58:44,  1.39s/it]
+
+
+
+
+
+Training...: 16500it [1:59:04,  4.01s/it]
+
+
+
+
+
+Training...: 16554it [1:59:24,  1.38s/it]
+
+
+
+
+
+Training...: 16604it [1:59:44,  1.40s/it]
+
+
+
+
+
+Training...: 16656it [2:00:04,  1.09it/s]
+
+
+
+
+
+Training...: 16706it [2:00:24,  1.09it/s]
+
+
+
+
+
+Training...: 16756it [2:00:44,  1.09it/s]
+
+
+
+
+
+Training...: 16806it [2:01:04,  1.09it/s]
+
+
+
+
+
+Training...: 16856it [2:01:24,  1.09it/s]
+
+
+
+
+
+Training...: 16906it [2:01:44,  1.09it/s]
+
+
+
+
+
+Training...: 16958it [2:02:04,  1.59it/s]
+
+
+
+
+
+Training...: 17008it [2:02:25,  1.59it/s]
+
+
+
+
+
+Training...: 17058it [2:02:45,  1.59it/s]
+
+
+
+
+
+Training...: 17110it [2:03:05,  2.25it/s]
+
+
+
+
+
+Training...: 17152it [2:03:24,  2.24s/it]
+
+
+
+
+
+Training...: 17202it [2:03:44,  2.25s/it]
+
+
+
+
+
+Training...: 17252it [2:04:04,  2.25s/it]
+
+
+
+
+
+Training...: 17304it [2:04:24,  1.39s/it]
+
+
+
+
+
+Training...: 17354it [2:04:45,  1.39s/it]
+
+
+
+
+
+Training...: 17404it [2:05:05,  1.39s/it]
+
+
+
+
+
+Training...: 17454it [2:05:25,  1.40s/it]
+
+
+
+
+
+Training...: 17506it [2:05:45,  1.09it/s]
+
+
+
+
+
+Training...: 17556it [2:06:05,  1.09it/s]
+
+
+
+
+
+Training...: 17603it [2:06:25,  1.78s/it]
+
+
+
+
+
+Training...: 17658it [2:06:45,  1.59it/s]
+
+
+
+
+
+Training...: 17710it [2:07:05,  2.25it/s]
+
+
+
+
+
+Training...: 17754it [2:07:25,  1.39s/it]
+
+
+
+
+
+Training...: 17806it [2:07:45,  1.09it/s]
+
+
+
+
+
+Training...: 17860it [2:08:05,  2.27it/s]
+
+
+
+
+
+Training...: 17902it [2:08:25,  2.24s/it]
+
+
+
+
+
+Training...: 17952it [2:08:45,  2.25s/it]
+
+
+
+
+
+Training...: 17999it [2:09:05,  2.70it/s]
+Step... (168000 | Loss: 2.175922393798828, Learning Rate: 2.547838448663242e-05)
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+Training...: 18068it [2:10:30,  6.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 18120it [2:10:50,  8.17it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 18170it [2:11:10,  8.15it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████��████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 18218it [2:11:30,  6.16it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 18272it [2:11:50,  9.48it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+Training...: 18299it [2:11:56,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 18349it [2:12:16,  2.69it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 18399it [2:12:36,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 18449it [2:12:56,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 18499it [2:13:16,  2.71it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 18549it [2:13:36,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 18599it [2:13:56,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 18649it [2:14:16,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 18715it [2:14:50,  5.22it/s]████████████████████████████████████████████████████████████████████████████████████████████████��████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 18766it [2:15:11,  5.35it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 18818it [2:15:31,  6.71it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 18868it [2:15:51,  6.71it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 18918it [2:16:11,  6.74it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 18968it [2:16:31,  6.73it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 19018it [2:16:51,  6.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 19066it [2:17:11,  5.37it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 19120it [2:17:31,  8.14it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 19170it [2:17:51,  8.11it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+Training...: 19199it [2:17:57,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 19249it [2:18:17,  2.68it/s]█████████████████████████████████████████████████████████████████████████���███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 19312it [2:18:51,  3.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 19366it [2:19:11,  5.33it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 19416it [2:19:31,  5.36it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 19468it [2:19:51,  6.69it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 19518it [2:20:11,  6.60it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 19564it [2:20:31,  3.90it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 19618it [2:20:51,  6.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 19670it [2:21:12,  8.18it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 19720it [2:21:32,  8.13it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 19770it [2:21:52,  8.18it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 19817it [2:22:12,  6.52it/s]████████████████████████████████████████████████��████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 19872it [2:22:32,  9.59it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+Training...: 19899it [2:22:37,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 19949it [2:22:57,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 19999it [2:23:17,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 20049it [2:23:37,  2.82it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 20099it [2:23:57,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 20149it [2:24:17,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 20199it [2:24:38,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 20249it [2:24:58,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 20299it [2:25:18,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 20349it [2:25:38,  2.68it/s]█████████████████████████���███████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 20399it [2:25:58,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 20449it [2:26:18,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 20499it [2:26:38,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 20549it [2:26:58,  2.63it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 20599it [2:27:18,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 20649it [2:27:38,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 20699it [2:27:58,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 20749it [2:28:18,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 20799it [2:28:38,  2.69it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 20849it [2:28:58,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 20912it [2:29:32,  2.95it/s]��████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+Training...: 20949it [2:29:38,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 20999it [2:29:58,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 21049it [2:30:18,  2.69it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 21099it [2:30:38,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 21149it [2:30:58,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 21199it [2:31:19,  2.65it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 21249it [2:31:39,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 21299it [2:31:59,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 21349it [2:32:19,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 21399it [2:32:39,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 21449it [2:32:59,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 21499it [2:33:19,  2.66it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 21549it [2:33:39,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 21599it [2:33:59,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 21649it [2:34:19,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 21699it [2:34:39,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 21749it [2:34:59,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 21799it [2:35:19,  2.69it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 21849it [2:35:39,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 21899it [2:35:59,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 21949it [2:36:19,  2.68it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████��██████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 21999it [2:36:39,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 22049it [2:36:59,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 22099it [2:37:19,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 22149it [2:37:39,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 22199it [2:37:59,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 22249it [2:38:19,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 22299it [2:38:39,  2.74it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 22349it [2:39:00,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 22399it [2:39:20,  2.71it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 22449it [2:39:40,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 22499it [2:40:00,  2.81it/s]██████████████████████████████████████████████████████████████████████████████████████��██████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 22549it [2:40:20,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 22599it [2:40:40,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 22649it [2:41:00,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 22699it [2:41:20,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 22749it [2:41:40,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 22799it [2:42:00,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 22849it [2:42:20,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 22899it [2:42:40,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 22949it [2:43:00,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 22999it [2:43:20,  2.63it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 23049it [2:43:40,  2.67it/s]██████████████████████████████████████████████████████████████��██████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 23099it [2:44:00,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 23149it [2:44:20,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 23199it [2:44:40,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 23249it [2:45:00,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 23299it [2:45:20,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 23349it [2:45:40,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 23399it [2:46:00,  2.72it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 23449it [2:46:20,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 23499it [2:46:40,  2.71it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 23549it [2:47:00,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 23599it [2:47:21,  2.68it/s]██████████████████████████████████████��██████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 23649it [2:47:41,  2.65it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 23699it [2:48:01,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 23749it [2:48:21,  2.71it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 23799it [2:48:41,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 23849it [2:49:01,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 23899it [2:49:21,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 23949it [2:49:41,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 23999it [2:50:01,  2.71it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+Training...: 23999it [2:50:14,  2.71it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+Training...: 24050it [2:51:38,  4.01s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 24102it [2:51:58,  2.24s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 24152it [2:52:18,  2.24s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 24202it [2:52:39,  2.25s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 24254it [2:52:59,  1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 24304it [2:53:19,  1.40s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 24354it [2:53:39,  1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 24404it [2:53:59,  1.40s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 24452it [2:54:19,  2.24s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 24506it [2:54:39,  1.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 24558it [2:54:59,  1.59it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 24608it [2:55:19,  1.59it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████��██████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 24658it [2:55:39,  1.59it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 24710it [2:55:59,  2.26it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 24762it [2:56:20,  3.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 24812it [2:56:40,  3.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 24858it [2:56:59,  1.59it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 24908it [2:57:20,  1.59it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 24962it [2:57:40,  3.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 25012it [2:58:00,  3.10it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 25062it [2:58:20,  3.10it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 25106it [2:58:40,  1.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 25156it [2:59:00,  1.09it/s]██████████████████████████████████████████████████████████████████████████████████████████████��██████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 25210it [2:59:20,  2.24it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 25262it [2:59:40,  3.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 25308it [3:00:00,  1.59it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 25356it [3:00:20,  1.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 25406it [3:00:40,  1.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 25458it [3:01:00,  1.59it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 25508it [3:01:20,  1.59it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 25555it [3:01:40,  1.16s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 25608it [3:02:00,  1.59it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 25660it [3:02:20,  2.25it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 25710it [3:02:40,  2.25it/s]███████████████████████████████████████████████████████████████���█████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 25762it [3:03:00,  3.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 25814it [3:03:21,  4.02it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 25858it [3:03:40,  1.59it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 25908it [3:04:00,  1.59it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 25960it [3:04:20,  2.24it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 26010it [3:04:41,  2.24it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 26056it [3:05:00,  1.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 26108it [3:05:20,  1.59it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 26158it [3:05:41,  1.59it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 26208it [3:06:01,  1.58it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 26258it [3:06:21,  1.59it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 26308it [3:06:41,  1.59it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 26360it [3:07:01,  2.25it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 26410it [3:07:21,  2.25it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 26460it [3:07:41,  2.25it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 26510it [3:08:01,  2.25it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 26560it [3:08:21,  2.25it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 26610it [3:08:41,  2.25it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 26658it [3:09:01,  1.50it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 26712it [3:09:21,  3.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 26762it [3:09:41,  3.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 26812it [3:10:01,  3.09it/s]█���███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 26864it [3:10:21,  4.12it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 26911it [3:10:42,  2.91it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 26966it [3:11:02,  5.34it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 27008it [3:11:21,  1.59it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 27062it [3:11:42,  3.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 27114it [3:12:02,  4.14it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 27164it [3:12:22,  4.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 27216it [3:12:42,  5.36it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 27266it [3:13:02,  5.33it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 27316it [3:13:22,  5.34it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 27358it [3:13:42,  1.59it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 27412it [3:14:02,  3.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 27462it [3:14:22,  3.08it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 27512it [3:14:42,  3.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 27564it [3:15:02,  4.13it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 27614it [3:15:22,  4.13it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 27666it [3:15:42,  5.31it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 27718it [3:16:02,  6.73it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 27758it [3:16:22,  1.59it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 27812it [3:16:42,  3.10it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 27864it [3:17:02,  4.13it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████��████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 27914it [3:17:22,  4.13it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 27964it [3:17:42,  4.13it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 28011it [3:18:02,  2.84it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 28066it [3:18:23,  5.33it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 28116it [3:18:43,  5.35it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 28166it [3:19:03,  5.34it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 28218it [3:19:23,  6.71it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+Training...: 28249it [3:19:29,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 28318it [3:20:03,  6.71it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+Training...: 28349it [3:20:09,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 28399it [3:20:29,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████���███████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 28449it [3:20:49,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 28499it [3:21:09,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 28549it [3:21:29,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 28599it [3:21:49,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 28649it [3:22:09,  2.71it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 28714it [3:22:43,  4.11it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+Training...: 28749it [3:22:49,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 28799it [3:23:09,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 28849it [3:23:29,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 28918it [3:24:03,  6.69it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 28970it [3:24:24,  8.12it/s]████████████████████████████████████████████████████████████��████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 29014it [3:24:43,  4.13it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 29064it [3:25:03,  4.10it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+Training...: 29099it [3:25:09,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 29168it [3:25:44,  6.71it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 29218it [3:26:04,  6.72it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 29270it [3:26:24,  8.12it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 29320it [3:26:44,  8.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+Training...: 29349it [3:26:49,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 29399it [3:27:09,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 29449it [3:27:30,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 29499it [3:27:50,  2.70it/s]█████████████████████████████████████���███████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 29566it [3:28:24,  5.30it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 29618it [3:28:44,  6.71it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 29670it [3:29:04,  8.19it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 29712it [3:29:24,  3.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+Training...: 29749it [3:29:30,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 29799it [3:29:50,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 29866it [3:30:24,  5.34it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+Training...: 29899it [3:30:30,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 29949it [3:30:50,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 29999it [3:31:23,  2.71it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+Evaluating ...:   3%|████▌                                                                                                                                                 | 15/500 [00:00<00:21, 22.39it/s]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+tcmalloc: large alloc 2715181056 bytes == 0x43c98e000 @  0x7f779c64f680 0x7f779c66fbdd 0x7f7782c0920d 0x7f7782c17340 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c12bd3 0x7f7782c131fe 0x504d56 0x56acb6 0x568d9a 0x5f5b33 0x56bc9b 0x5f5956 0x56aadf 0x5f5956 0x56fb87 0x568d9a 0x5f5b33 0x56bc9b 0x568d9a
+[04:38:12] - INFO - absl - Saved checkpoint at checkpoint_180000
+[04:38:13] - INFO - huggingface_hub.repository - git version 2.25.1
+git-lfs/2.9.2 (GitHub; linux amd64; go 1.13.5)