Saving weights and logs of step 135000

Load data & train tokenizer.ipynb

@@ -85,29 +85,28 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 45,
-   "id": "e12a921a",
+   "execution_count": 1,
+   "id": "6b89ed82",
    "metadata": {},
-   "outputs": [
-    {
-     "data": {
-      "text/plain": [
-       "{'input_ids': [4, 3620], 'attention_mask': [1, 1]}"
-      ]
-     },
-     "execution_count": 45,
-     "metadata": {},
-     "output_type": "execute_result"
-    }
-   ],
+   "outputs": [],
    "source": [
-    "tokenizer(\"<mask> word\")"
+    "import transformers"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "5ad59ec0",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "x = transformers.FillMaskPipeline"
    ]
   },
   {
    "cell_type": "code",
    "execution_count": null,
-   "id": "441cd5af",
+   "id": "4cb13b65",
    "metadata": {},
    "outputs": [],
    "source": [
@@ -117,7 +116,7 @@
   {
    "cell_type": "code",
    "execution_count": 46,
-   "id": "cbb3b0bc",
+   "id": "617073b7",
    "metadata": {},
    "outputs": [
     {

checkpoint_135000

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:3a080463686525430cb78ca56cad979b53fe60d205f42470d294073bc5f5016d
+size 1530270447

config.json

@@ -1,5 +1,4 @@
 {
-  "_name_or_path": ".",
   "architectures": [
     "BigBirdForMaskedLM"
   ],
@@ -24,7 +23,6 @@
   "position_embedding_type": "absolute",
   "rescale_embeddings": false,
   "sep_token_id": 66,
-  "torch_dtype": "float32",
   "transformers_version": "4.9.0.dev0",
   "type_vocab_size": 2,
   "use_bias": true,

flax_model.msgpack

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:add27bd9d7241f5a4b61c16d8cce9edb9f15c7eda90ceeb2a495d38cef982a04
+oid sha256:29ed0773269721507328c69a2ccd94dd845503587ae4a89525ec4f204ab05f0d
 size 510090043

wandb/run-20210715_185845-dq8uirtg/files/output.log

@@ -3610,3 +3610,464 @@ Training...: 31248it [3:41:07,  2.74it/s]█████████████
 
 
 
+Training...: 31298it [3:41:27,  2.75it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 31348it [3:41:47,  2.70it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 31398it [3:42:07,  2.72it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 31448it [3:42:27,  2.69it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 31498it [3:42:47,  2.63it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 31548it [3:43:07,  2.69it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 31598it [3:43:27,  2.68it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 31648it [3:43:47,  2.74it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 31698it [3:44:07,  2.66it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 31748it [3:44:27,  2.74it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 31798it [3:44:48,  2.68it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 31848it [3:45:08,  2.68it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 31898it [3:45:28,  2.70it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 31948it [3:45:48,  2.70it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 31998it [3:46:08,  2.72it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+Training...: 31998it [3:46:21,  2.72it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+Training...: 32048it [3:47:32,  2.68it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 32098it [3:47:52,  2.71it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 32149it [3:48:25,  4.01s/it]██████���███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 32198it [3:48:32,  2.70it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 32248it [3:48:52,  2.69it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 32298it [3:49:12,  2.68it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 32348it [3:49:32,  2.69it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 32398it [3:49:52,  2.68it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 32448it [3:50:12,  2.70it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 32498it [3:50:32,  2.68it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 32548it [3:50:52,  2.70it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 32599it [3:51:25,  4.01s/it]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 32648it [3:51:32,  2.69it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 32698it [3:51:52,  2.74it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 32748it [3:52:12,  2.69it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 32798it [3:52:32,  2.72it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 32849it [3:53:05,  4.01s/it]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 32901it [3:53:26,  2.24s/it]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 32951it [3:53:46,  2.24s/it]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 33003it [3:54:06,  1.39s/it]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 33053it [3:54:26,  1.40s/it]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 33105it [3:54:46,  1.09it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 33153it [3:55:06,  1.40s/it]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 33205it [3:55:26,  1.08it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 33255it [3:55:46,  1.09it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 33305it [3:56:06,  1.08it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 33357it [3:56:26,  1.58it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 33401it [3:56:46,  2.24s/it]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 33451it [3:57:06,  2.26s/it]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 33501it [3:57:26,  2.25s/it]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 33553it [3:57:46,  1.40s/it]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 33607it [3:58:07,  1.58it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 33657it [3:58:27,  1.58it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 33701it [3:58:46,  2.24s/it]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 33753it [3:59:07,  1.39s/it]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 33803it [3:59:27,  1.39s/it]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 33853it [3:59:47,  1.40s/it]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 33905it [4:00:07,  1.09it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 33957it [4:00:27,  1.59it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34007it [4:00:47,  1.58it/s]████████████████████████████████████████████████████████████��█| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34059it [4:01:07,  2.26it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34109it [4:01:27,  2.23it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34152it [4:01:47,  1.61s/it]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34203it [4:02:07,  1.38s/it]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34255it [4:02:27,  1.09it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34304it [4:02:47,  1.01s/it]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34353it [4:03:07,  1.40s/it]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34405it [4:03:27,  1.09it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34457it [4:03:47,  1.59it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34507it [4:04:08,  1.89it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34553it [4:04:27,  1.40s/it]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34603it [4:04:47,  1.40s/it]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34654it [4:05:08,  1.05s/it]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34705it [4:05:28,  1.09it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34756it [4:05:48,  1.39it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34809it [4:06:08,  2.24it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34853it [4:06:28,  1.39s/it]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34907it [4:06:48,  1.59it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34957it [4:07:08,  1.59it/s]██████████████████████████████████████���███████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 34998it [4:07:27,  2.70it/s]██████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+tcmalloc: large alloc 2715181056 bytes == 0x3dd038000 @  0x7f7011c37680 0x7f7011c57bdd 0x7f6ff81f120d 0x7f6ff81ff340 0x7f6ff81fee87 0x7f6ff81fee87 0x7f6ff81fee87 0x7f6ff81fee87 0x7f6ff81fee87 0x7f6ff81fee87 0x7f6ff81fee87 0x7f6ff81fee87 0x7f6ff81fee87 0x7f6ff81fee87 0x7f6ff81fee87 0x7f6ff81fee87 0x7f6ff81fabd3 0x7f6ff81fb1fe 0x504d56 0x56acb6 0x568d9a 0x5f5b33 0x56bc9b 0x5f5956 0x56aadf 0x5f5956 0x56fb87 0x568d9a 0x5f5b33 0x56bc9b 0x568d9a
+[23:12:05] - INFO - absl - Saved checkpoint at checkpoint_135000
+[23:12:06] - INFO - huggingface_hub.repository - git version 2.25.1
+git-lfs/2.9.2 (GitHub; linux amd64; go 1.13.5)

wandb/run-20210715_185845-dq8uirtg/files/wandb-summary.json

@@ -1 +1 @@
-{"training_step": 131250, "learning_rate": 2.4770188247202896e-05, "train_loss": 2.2838871479034424, "_runtime": 13625, "_timestamp": 1626389150, "_step": 629, "eval_step": 126000, "eval_accuracy": 0.5787546038627625, "eval_loss": 2.237921953201294}
+{"training_step": 135000, "learning_rate": 2.4608441890450194e-05, "train_loss": 2.3477954864501953, "_runtime": 15192, "_timestamp": 1626390717, "_step": 705, "eval_step": 132000, "eval_accuracy": 0.5815154314041138, "eval_loss": 2.216282367706299}