diff --git "a/experiment/rwkv-x-exp/v5-r3-memory/L12-D2048-E1e-1-ctx4k/part2.ipynb" "b/experiment/rwkv-x-exp/v5-r3-memory/L12-D2048-E1e-1-ctx4k/part2.ipynb" --- "a/experiment/rwkv-x-exp/v5-r3-memory/L12-D2048-E1e-1-ctx4k/part2.ipynb" +++ "b/experiment/rwkv-x-exp/v5-r3-memory/L12-D2048-E1e-1-ctx4k/part2.ipynb" @@ -1,3 +1,150669 @@ -version https://git-lfs.github.com/spec/v1 -oid sha256:0db5673fbf59261a65cafb957510a87538f738b6cebffd10ed532db38dfdcb01 -size 53132732 +{ + "cells": [ + { + "cell_type": "markdown", + "id": "8f9ba648", + "metadata": { + "tags": [ + "papermill-error-cell-tag" + ] + }, + "source": [ + "An Exception was encountered at 'In [9]'." + ] + }, + { + "attachments": {}, + "cell_type": "markdown", + "id": "0fa80441", + "metadata": { + "papermill": { + "duration": 0.005046, + "end_time": "2023-09-06T16:21:38.086651", + "exception": false, + "start_time": "2023-09-06T16:21:38.081605", + "status": "completed" + }, + "tags": [] + }, + "source": [ + "# RWKV v5\n", + "\n", + "Simple memory training for a small model\n", + "\n", + "**Note:** This project assumes you have the rwkv-infctx conda env setup" + ] + }, + { + "attachments": {}, + "cell_type": "markdown", + "id": "bbfc0a03", + "metadata": { + "papermill": { + "duration": 0.002135, + "end_time": "2023-09-06T16:21:38.092947", + "exception": false, + "start_time": "2023-09-06T16:21:38.090812", + "status": "completed" + }, + "tags": [] + }, + "source": [ + "# Basic Setup" + ] + }, + { + "cell_type": "code", + "execution_count": 1, + "id": "1fe0f82c", + "metadata": { + "execution": { + "iopub.execute_input": "2023-09-06T16:21:38.098818Z", + "iopub.status.busy": "2023-09-06T16:21:38.098531Z", + "iopub.status.idle": "2023-09-06T16:21:38.979393Z", + "shell.execute_reply": "2023-09-06T16:21:38.978561Z" + }, + "papermill": { + "duration": 0.886067, + "end_time": "2023-09-06T16:21:38.981283", + "exception": false, + "start_time": "2023-09-06T16:21:38.095216", + "status": "completed" + }, + "tags": [] + }, + "outputs": [ + { + "name": "stdout", + "output_type": "stream", + "text": [ + "CITATION.cff RWKV-v4wavenet\t RWKV-v5headsize32 checkpoint\tnotebook\r\n", + "LICENSE RWKV-v5\t\t RWKV-v5r2\t datapath\toutput\r\n", + "README.md RWKV-v5altwavenet RWKV-v5rstack\t docker\r\n", + "RWKV-v4neo RWKV-v5headsize2x RWKV-v5wavenet model\r\n" + ] + } + ], + "source": [ + "# First lets setup the various directories, and init the model\n", + "!ls ../../../../../\n", + "!mkdir -p ../../../../../model/\n", + "!mkdir -p ../../../../../datapath/\n", + "!mkdir -p ../../../../../checkpoint/" + ] + }, + { + "cell_type": "code", + "execution_count": 2, + "id": "333141ec", + "metadata": { + "execution": { + "iopub.execute_input": "2023-09-06T16:21:38.991928Z", + "iopub.status.busy": "2023-09-06T16:21:38.991392Z", + "iopub.status.idle": "2023-09-06T16:21:41.124533Z", + "shell.execute_reply": "2023-09-06T16:21:41.123643Z" + }, + "papermill": { + "duration": 2.140539, + "end_time": "2023-09-06T16:21:41.126606", + "exception": false, + "start_time": "2023-09-06T16:21:38.986067", + "status": "completed" + }, + "tags": [] + }, + "outputs": [ + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\u001b[33mWARNING: Running pip as the 'root' user can result in broken permissions and conflicting behaviour with the system package manager. It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venv\u001b[0m\u001b[33m\r\n", + "\u001b[0m" + ] + } + ], + "source": [ + "# Additional dependencies for eval stuff\n", + "!pip install -q aiocsv aiofiles" + ] + }, + { + "cell_type": "code", + "execution_count": 3, + "id": "5bae6c49", + "metadata": { + "execution": { + "iopub.execute_input": "2023-09-06T16:21:41.136483Z", + "iopub.status.busy": "2023-09-06T16:21:41.136334Z", + "iopub.status.idle": "2023-09-06T16:21:41.142021Z", + "shell.execute_reply": "2023-09-06T16:21:41.141451Z" + }, + "papermill": { + "duration": 0.011523, + "end_time": "2023-09-06T16:21:41.143031", + "exception": false, + "start_time": "2023-09-06T16:21:41.131508", + "status": "completed" + }, + "tags": [] + }, + "outputs": [ + { + "name": "stdout", + "output_type": "stream", + "text": [ + "DEEPSPEED_STRAT: deepspeed_stage_1\n", + "ENABLE_WANDB: True\n", + "GPU_DEVICES: auto\n", + "DIR_NAME: L12-D2048-E1e-1-ctx4k\n", + "NOTEBOOK_DIR: /actions-runner/_work/RWKV-infctx-trainer/RWKV-infctx-trainer/notebook/experiment/rwkv-x-exp/v5-r3-memory/L12-D2048-E1e-1-ctx4k\n", + "INFERENCE_DIR: /actions-runner/_work/RWKV-infctx-trainer/RWKV-infctx-trainer/RWKV-v5\n", + "TRAINER_DIR: /actions-runner/_work/RWKV-infctx-trainer/RWKV-infctx-trainer/RWKV-v5\n", + "PROJECT_DIR: /actions-runner/_work/RWKV-infctx-trainer/RWKV-infctx-trainer\n" + ] + } + ], + "source": [ + "DEEPSPEED_STRAT=\"deepspeed_stage_1\"\n", + "GPU_DEVICES=\"auto\"\n", + "ENABLE_WANDB=True\n", + "\n", + "# Layer count and embed dim to start with\n", + "LAYER_COUNT=12\n", + "EMBED_DIM=2048\n", + "\n", + "EMBED_SCALE=0.1\n", + "EMBED_SCALE_LABEL=str(EMBED_SCALE).replace(\".\", \"_\")\n", + "\n", + "WANDB_PREFIX=f\"v5r3-L{LAYER_COUNT}-D{EMBED_DIM}-E{EMBED_SCALE}\"\n", + "FILENAME_PREFIX=f\"v5r3-L{LAYER_COUNT}-D{EMBED_DIM}-E{EMBED_SCALE_LABEL}\"\n", + "\n", + "print(\"DEEPSPEED_STRAT:\", DEEPSPEED_STRAT)\n", + "print(\"ENABLE_WANDB:\", ENABLE_WANDB)\n", + "print(\"GPU_DEVICES:\", GPU_DEVICES)\n", + "\n", + "if ENABLE_WANDB:\n", + " WANDB_MODE=\"online\"\n", + "else:\n", + " WANDB_MODE=\"disabled\"\n", + "\n", + "# Computing the notebook, and various paths\n", + "import os\n", + "NOTEBOOK_DIR=os.path.dirname(os.path.abspath(\"__file__\"))\n", + "CONFIG_DIR=os.path.abspath(os.path.join(NOTEBOOK_DIR, \"../\"))\n", + "PROJECT_DIR=os.path.abspath(os.path.join(CONFIG_DIR, \"../../../../\"))\n", + "TRAINER_DIR=os.path.abspath(os.path.join(PROJECT_DIR, \"./RWKV-v5/\"))\n", + "INFERENCE_DIR=os.path.abspath(os.path.join(PROJECT_DIR, \"./RWKV-v5/\"))\n", + "\n", + "# Get the notebook dir name\n", + "DIR_NAME=os.path.basename(NOTEBOOK_DIR)\n", + "\n", + "# Log names and dir\n", + "print(\"DIR_NAME:\", DIR_NAME)\n", + "print(\"NOTEBOOK_DIR:\", NOTEBOOK_DIR)\n", + "print(\"INFERENCE_DIR:\", INFERENCE_DIR)\n", + "print(\"TRAINER_DIR:\", TRAINER_DIR)\n", + "print(\"PROJECT_DIR:\", PROJECT_DIR)" + ] + }, + { + "cell_type": "code", + "execution_count": 4, + "id": "c0de3166", + "metadata": { + "execution": { + "iopub.execute_input": "2023-09-06T16:21:41.151365Z", + "iopub.status.busy": "2023-09-06T16:21:41.151176Z", + "iopub.status.idle": "2023-09-06T16:27:17.337465Z", + "shell.execute_reply": "2023-09-06T16:27:17.336590Z" + }, + "papermill": { + "duration": 336.192521, + "end_time": "2023-09-06T16:27:17.339221", + "exception": false, + "start_time": "2023-09-06T16:21:41.146700", + "status": "completed" + }, + "tags": [] + }, + "outputs": [ + { + "name": "stdout", + "output_type": "stream", + "text": [ + "--2023-09-06 16:21:41-- https://huggingface.co/rwkv-x-dev/rwkv-x-playground/resolve/main/experiment/rwkv-x-exp/v5-r3-memory/L12-D2048-E1e-1-ctx4k/v5r3-L12-D2048-E0_1-enwiki-4k.pth\r\n", + "Resolving huggingface.co (huggingface.co)... 13.33.33.102, 13.33.33.110, 13.33.33.20, ...\r\n", + "Connecting to huggingface.co (huggingface.co)|13.33.33.102|:443... connected.\r\n", + "HTTP request sent, awaiting response... " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "302 Found\r\n", + "Location: https://cdn-lfs.huggingface.co/repos/2e/f7/2ef78555202aa92abdbdf476ce3d0fd5a8b15f7245edf0b80d4d30572355f30d/fcd2c54e435c74dc2a43bd3bbde6594de9c6937156caf9f72a77137ed3d49539?response-content-disposition=attachment%3B+filename*%3DUTF-8%27%27v5r3-L12-D2048-E0_1-enwiki-4k.pth%3B+filename%3D%22v5r3-L12-D2048-E0_1-enwiki-4k.pth%22%3B&Expires=1694276501&Policy=eyJTdGF0ZW1lbnQiOlt7IkNvbmRpdGlvbiI6eyJEYXRlTGVzc1RoYW4iOnsiQVdTOkVwb2NoVGltZSI6MTY5NDI3NjUwMX19LCJSZXNvdXJjZSI6Imh0dHBzOi8vY2RuLWxmcy5odWdnaW5nZmFjZS5jby9yZXBvcy8yZS9mNy8yZWY3ODU1NTIwMmFhOTJhYmRiZGY0NzZjZTNkMGZkNWE4YjE1ZjcyNDVlZGYwYjgwZDRkMzA1NzIzNTVmMzBkL2ZjZDJjNTRlNDM1Yzc0ZGMyYTQzYmQzYmJkZTY1OTRkZTljNjkzNzE1NmNhZjlmNzJhNzcxMzdlZDNkNDk1Mzk%7EcmVzcG9uc2UtY29udGVudC1kaXNwb3NpdGlvbj0qIn1dfQ__&Signature=CI61yjWgEWnbmEXPc-wPNVHfdsEO2SQfSDn7vOjQ7Hh%7EdsoGq591AfvsbeKBNfhOGa5jqdGrS-L83TUjfWEygfteOhNTryi-noWjp6Su6U0Cy0NV742DJDSjTPuCEpiIg1kkKP%7EI5qaveJTJrUQQLahYV20Djlh%7EkLRgNGLplnHLyIJUC5hRX8eyxEdJQnt8nC95k7cKLKz-yWIXtsdoHj%7EZcVToiGG3IFw%7EdNAjm1ns8WTbdW2v8si4lEZd9WCGf0Brx77zxWrFP1Ot9U5fk4AbQzBnmLE-xOLe0w4%7EhSY%7EburifbyLbNO-f-GEY6UFaFni8ILeziJIkPOJPb8mJA__&Key-Pair-Id=KVTP0A1DKRTAX [following]\r\n", + "--2023-09-06 16:21:41-- https://cdn-lfs.huggingface.co/repos/2e/f7/2ef78555202aa92abdbdf476ce3d0fd5a8b15f7245edf0b80d4d30572355f30d/fcd2c54e435c74dc2a43bd3bbde6594de9c6937156caf9f72a77137ed3d49539?response-content-disposition=attachment%3B+filename*%3DUTF-8%27%27v5r3-L12-D2048-E0_1-enwiki-4k.pth%3B+filename%3D%22v5r3-L12-D2048-E0_1-enwiki-4k.pth%22%3B&Expires=1694276501&Policy=eyJTdGF0ZW1lbnQiOlt7IkNvbmRpdGlvbiI6eyJEYXRlTGVzc1RoYW4iOnsiQVdTOkVwb2NoVGltZSI6MTY5NDI3NjUwMX19LCJSZXNvdXJjZSI6Imh0dHBzOi8vY2RuLWxmcy5odWdnaW5nZmFjZS5jby9yZXBvcy8yZS9mNy8yZWY3ODU1NTIwMmFhOTJhYmRiZGY0NzZjZTNkMGZkNWE4YjE1ZjcyNDVlZGYwYjgwZDRkMzA1NzIzNTVmMzBkL2ZjZDJjNTRlNDM1Yzc0ZGMyYTQzYmQzYmJkZTY1OTRkZTljNjkzNzE1NmNhZjlmNzJhNzcxMzdlZDNkNDk1Mzk%7EcmVzcG9uc2UtY29udGVudC1kaXNwb3NpdGlvbj0qIn1dfQ__&Signature=CI61yjWgEWnbmEXPc-wPNVHfdsEO2SQfSDn7vOjQ7Hh%7EdsoGq591AfvsbeKBNfhOGa5jqdGrS-L83TUjfWEygfteOhNTryi-noWjp6Su6U0Cy0NV742DJDSjTPuCEpiIg1kkKP%7EI5qaveJTJrUQQLahYV20Djlh%7EkLRgNGLplnHLyIJUC5hRX8eyxEdJQnt8nC95k7cKLKz-yWIXtsdoHj%7EZcVToiGG3IFw%7EdNAjm1ns8WTbdW2v8si4lEZd9WCGf0Brx77zxWrFP1Ot9U5fk4AbQzBnmLE-xOLe0w4%7EhSY%7EburifbyLbNO-f-GEY6UFaFni8ILeziJIkPOJPb8mJA__&Key-Pair-Id=KVTP0A1DKRTAX\r\n", + "Resolving cdn-lfs.huggingface.co (cdn-lfs.huggingface.co)... " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "18.155.68.128, 18.155.68.94, 18.155.68.73, ...\r\n", + "Connecting to cdn-lfs.huggingface.co (cdn-lfs.huggingface.co)|18.155.68.128|:443... connected.\r\n", + "HTTP request sent, awaiting response... " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "200 OK\r\n", + "Length: 1721187013 (1.6G) [binary/octet-stream]\r\n", + "Saving to: ‘v5r3-L12-D2048-E0_1-enwiki-4k.pth’\r\n", + "\r\n", + "\r", + " v5r3-L12- 0%[ ] 0 --.-KB/s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D 0%[ ] 24.35K 99.2KB/s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2 0%[ ] 58.35K 119KB/s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D20 0%[ ] 147.29K 200KB/s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D204 0%[ ] 314.86K 320KB/s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048 0%[ ] 517.01K 421KB/s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048- 0%[ ] 727.37K 493KB/s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E 0%[ ] 935.73K 544KB/s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0 0%[ ] 1.13M 589KB/s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0_ 0%[ ] 1.37M 633KB/s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "v5r3-L12-D2048-E0_1 0%[ ] 1.62M 673KB/s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "5r3-L12-D2048-E0_1- 0%[ ] 1.87M 716KB/s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "r3-L12-D2048-E0_1-e 0%[ ] 2.15M 744KB/s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "3-L12-D2048-E0_1-en 0%[ ] 2.43M 778KB/s eta 35m 56s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-L12-D2048-E0_1-enw 0%[ ] 2.73M 812KB/s eta 35m 56s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "L12-D2048-E0_1-enwi 0%[ ] 3.04M 845KB/s eta 35m 56s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "12-D2048-E0_1-enwik 0%[ ] 3.38M 878KB/s eta 35m 56s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2-D2048-E0_1-enwiki 0%[ ] 3.67M 850KB/s eta 32m 53s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-D2048-E0_1-enwiki- 0%[ ] 4.29M 937KB/s eta 32m 53s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "D2048-E0_1-enwiki-4 0%[ ] 4.55M 948KB/s eta 32m 53s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2048-E0_1-enwiki-4k 0%[ ] 4.84M 959KB/s eta 32m 53s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "048-E0_1-enwiki-4k. 0%[ ] 5.13M 1012KB/s eta 32m 53s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "48-E0_1-enwiki-4k.p 0%[ ] 5.42M 1.04MB/s eta 28m 28s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "8-E0_1-enwiki-4k.pt 0%[ ] 5.73M 1.08MB/s eta 28m 28s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-E0_1-enwiki-4k.pth 0%[ ] 6.05M 1.11MB/s eta 28m 28s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "E0_1-enwiki-4k.pth 0%[ ] 6.36M 1.13MB/s eta 28m 28s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "0_1-enwiki-4k.pth 0%[ ] 6.70M 1.16MB/s eta 28m 28s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "_1-enwiki-4k.pth 0%[ ] 7.03M 1.18MB/s eta 26m 41s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "1-enwiki-4k.pth 0%[ ] 7.38M 1.21MB/s eta 26m 41s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-enwiki-4k.pth 0%[ ] 7.73M 1.23MB/s eta 26m 41s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "enwiki-4k.pth 0%[ ] 8.07M 1.25MB/s eta 26m 41s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "nwiki-4k.pth 0%[ ] 8.42M 1.26MB/s eta 26m 41s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "wiki-4k.pth 0%[ ] 8.77M 1.29MB/s eta 25m 10s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "iki-4k.pth 0%[ ] 9.13M 1.31MB/s eta 25m 10s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "ki-4k.pth 0%[ ] 9.49M 1.31MB/s eta 25m 10s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "i-4k.pth 0%[ ] 9.85M 1.40MB/s eta 25m 10s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-4k.pth 0%[ ] 10.20M 1.34MB/s eta 25m 10s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "4k.pth 0%[ ] 10.56M 1.36MB/s eta 24m 2s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "k.pth 0%[ ] 10.93M 1.38MB/s eta 24m 2s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + ".pth 0%[ ] 11.29M 1.37MB/s eta 24m 2s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "pth 0%[ ] 11.64M 1.41MB/s eta 24m 2s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "th 0%[ ] 12.01M 1.43MB/s eta 24m 2s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "h 0%[ ] 12.37M 1.44MB/s eta 23m 12s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " 0%[ ] 12.74M 1.45MB/s eta 23m 12s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v 0%[ ] 13.10M 1.45MB/s eta 23m 12s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5 0%[ ] 13.45M 1.43MB/s eta 23m 12s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r 0%[ ] 13.82M 1.43MB/s eta 23m 12s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3 0%[ ] 14.18M 1.42MB/s eta 22m 34s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3- 0%[ ] 14.55M 1.47MB/s eta 22m 34s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L 0%[ ] 14.91M 1.47MB/s eta 22m 34s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L1 0%[ ] 15.28M 1.43MB/s eta 22m 34s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12 0%[ ] 15.64M 1.48MB/s eta 22m 34s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12- 0%[ ] 16.01M 1.47MB/s eta 22m 3s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D 0%[ ] 16.39M 1.48MB/s eta 22m 3s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2 1%[ ] 16.77M 1.48MB/s eta 22m 3s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D20 1%[ ] 17.12M 1.47MB/s eta 22m 3s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D204 1%[ ] 17.50M 1.48MB/s eta 22m 3s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048 1%[ ] 17.89M 1.53MB/s eta 21m 27s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048- 1%[ ] 18.28M 1.53MB/s eta 21m 27s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E 1%[ ] 18.68M 1.56MB/s eta 21m 27s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0 1%[ ] 19.10M 1.41MB/s eta 21m 31s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0_ 1%[ ] 19.81M 1.55MB/s eta 21m 31s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "v5r3-L12-D2048-E0_1 1%[ ] 20.13M 1.54MB/s eta 21m 31s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "5r3-L12-D2048-E0_1- 1%[ ] 20.44M 1.53MB/s eta 21m 31s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "r3-L12-D2048-E0_1-e 1%[ ] 20.77M 1.52MB/s eta 21m 31s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "3-L12-D2048-E0_1-en 1%[ ] 21.12M 1.49MB/s eta 20m 57s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-L12-D2048-E0_1-enw 1%[ ] 21.47M 1.47MB/s eta 20m 57s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "L12-D2048-E0_1-enwi 1%[ ] 21.84M 1.51MB/s eta 20m 57s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "12-D2048-E0_1-enwik 1%[ ] 22.22M 1.51MB/s eta 20m 57s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2-D2048-E0_1-enwiki 1%[ ] 22.60M 1.49MB/s eta 20m 57s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-D2048-E0_1-enwiki- 1%[ ] 22.98M 1.48MB/s eta 20m 41s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "D2048-E0_1-enwiki-4 1%[ ] 23.38M 1.53MB/s eta 20m 41s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2048-E0_1-enwiki-4k 1%[ ] 23.78M 1.53MB/s eta 20m 41s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "048-E0_1-enwiki-4k. 1%[ ] 24.18M 1.51MB/s eta 20m 41s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "48-E0_1-enwiki-4k.p 1%[ ] 24.58M 1.53MB/s eta 20m 41s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "8-E0_1-enwiki-4k.pt 1%[ ] 24.99M 1.52MB/s eta 20m 19s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-E0_1-enwiki-4k.pth 1%[ ] 25.41M 1.53MB/s eta 20m 19s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "E0_1-enwiki-4k.pth 1%[ ] 25.82M 1.53MB/s eta 20m 19s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "0_1-enwiki-4k.pth 1%[ ] 26.24M 1.52MB/s eta 20m 19s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "_1-enwiki-4k.pth 1%[ ] 26.65M 1.56MB/s eta 20m 19s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "1-enwiki-4k.pth 1%[ ] 27.07M 1.64MB/s eta 19m 56s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-enwiki-4k.pth 1%[ ] 27.50M 1.56MB/s eta 19m 56s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "enwiki-4k.pth 1%[ ] 27.91M 1.60MB/s eta 19m 56s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "nwiki-4k.pth 1%[ ] 28.33M 1.62MB/s eta 19m 56s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "wiki-4k.pth 1%[ ] 28.74M 1.63MB/s eta 19m 42s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "iki-4k.pth 1%[ ] 29.17M 1.65MB/s eta 19m 42s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "ki-4k.pth 1%[ ] 29.59M 1.66MB/s eta 19m 42s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "i-4k.pth 1%[ ] 30.00M 1.67MB/s eta 19m 42s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-4k.pth 1%[ ] 30.43M 1.68MB/s eta 19m 42s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "4k.pth 1%[ ] 30.85M 1.69MB/s eta 19m 24s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "k.pth 1%[ ] 31.27M 1.69MB/s eta 19m 24s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + ".pth 1%[ ] 31.68M 1.70MB/s eta 19m 24s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "pth 1%[ ] 32.11M 1.70MB/s eta 19m 24s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "th 1%[ ] 32.53M 1.70MB/s eta 19m 24s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "h 2%[ ] 32.95M 1.72MB/s eta 19m 7s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " 2%[ ] 33.03M 1.65MB/s eta 19m 7s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v 2%[ ] 33.46M 1.67MB/s eta 19m 7s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5 2%[ ] 33.88M 1.67MB/s eta 19m 7s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r 2%[ ] 34.30M 1.68MB/s eta 19m 7s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3 2%[ ] 34.70M 1.69MB/s eta 18m 59s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3- 2%[ ] 35.15M 1.69MB/s eta 18m 59s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L 2%[ ] 35.59M 1.71MB/s eta 18m 59s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L1 2%[ ] 36.01M 1.69MB/s eta 18m 59s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12 2%[ ] 36.45M 1.78MB/s eta 18m 59s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12- 2%[ ] 36.91M 1.82MB/s eta 18m 39s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D 2%[ ] 37.38M 1.81MB/s eta 18m 39s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2 2%[ ] 37.84M 1.80MB/s eta 18m 39s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D20 2%[ ] 38.01M 1.78MB/s eta 18m 39s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D204 2%[ ] 38.44M 1.75MB/s eta 18m 39s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048 2%[ ] 38.90M 1.68MB/s eta 18m 37s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048- 2%[ ] 39.78M 1.80MB/s eta 18m 37s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E 2%[ ] 40.14M 1.84MB/s eta 18m 37s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0 2%[ ] 40.54M 1.77MB/s eta 18m 37s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0_ 2%[ ] 40.93M 1.83MB/s eta 18m 37s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "v5r3-L12-D2048-E0_1 2%[ ] 41.35M 1.80MB/s eta 18m 14s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "5r3-L12-D2048-E0_1- 2%[ ] 41.77M 1.83MB/s eta 18m 14s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "r3-L12-D2048-E0_1-e 2%[ ] 42.21M 1.81MB/s eta 18m 14s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "3-L12-D2048-E0_1-en 2%[ ] 42.61M 1.79MB/s eta 18m 14s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-L12-D2048-E0_1-enw 2%[ ] 43.07M 1.87MB/s eta 18m 14s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "L12-D2048-E0_1-enwi 2%[ ] 43.21M 1.74MB/s eta 18m 6s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "12-D2048-E0_1-enwik 2%[ ] 43.63M 1.80MB/s eta 18m 6s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2-D2048-E0_1-enwiki 2%[ ] 44.10M 1.73MB/s eta 18m 6s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-D2048-E0_1-enwiki- 2%[ ] 44.58M 1.80MB/s eta 18m 6s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "D2048-E0_1-enwiki-4 2%[ ] 45.07M 1.73MB/s eta 18m 6s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2048-E0_1-enwiki-4k 2%[ ] 45.55M 1.93MB/s eta 17m 51s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "048-E0_1-enwiki-4k. 2%[ ] 46.04M 1.81MB/s eta 17m 51s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "48-E0_1-enwiki-4k.p 2%[ ] 46.52M 1.89MB/s eta 17m 51s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "8-E0_1-enwiki-4k.pt 2%[ ] 47.02M 1.90MB/s eta 17m 51s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-E0_1-enwiki-4k.pth 2%[ ] 47.52M 1.90MB/s eta 17m 51s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "E0_1-enwiki-4k.pth 2%[ ] 48.02M 1.98MB/s eta 17m 32s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "0_1-enwiki-4k.pth 2%[ ] 48.50M 1.98MB/s eta 17m 32s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "_1-enwiki-4k.pth 2%[ ] 48.99M 2.05MB/s eta 17m 32s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "1-enwiki-4k.pth 3%[ ] 49.50M 2.03MB/s eta 17m 32s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-enwiki-4k.pth 3%[ ] 50.00M 2.03MB/s eta 17m 32s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "enwiki-4k.pth 3%[ ] 50.13M 1.99MB/s eta 17m 21s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "nwiki-4k.pth 3%[ ] 50.61M 1.98MB/s eta 17m 21s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "wiki-4k.pth 3%[ ] 51.11M 2.07MB/s eta 17m 21s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "iki-4k.pth 3%[ ] 51.60M 2.03MB/s eta 17m 21s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "ki-4k.pth 3%[ ] 52.08M 2.12MB/s eta 17m 21s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "i-4k.pth 3%[ ] 52.58M 2.10MB/s eta 17m 3s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-4k.pth 3%[ ] 53.08M 2.14MB/s eta 17m 3s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "4k.pth 3%[ ] 53.60M 2.10MB/s eta 17m 3s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "k.pth 3%[ ] 54.11M 2.15MB/s eta 17m 3s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + ".pth 3%[ ] 54.63M 2.11MB/s eta 17m 3s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "pth 3%[ ] 55.13M 2.10MB/s eta 16m 49s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "th 3%[ ] 55.25M 2.04MB/s eta 16m 49s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "h 3%[ ] 55.74M 2.02MB/s eta 16m 49s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " 3%[ ] 56.25M 2.09MB/s eta 16m 49s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v 3%[ ] 56.77M 2.05MB/s eta 16m 49s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5 3%[ ] 57.25M 2.13MB/s eta 16m 40s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r 3%[ ] 57.77M 2.06MB/s eta 16m 40s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3 3%[ ] 58.27M 2.15MB/s eta 16m 40s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3- 3%[ ] 58.77M 2.13MB/s eta 16m 40s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L 3%[ ] 59.29M 2.12MB/s eta 16m 40s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L1 3%[ ] 59.41M 2.06MB/s eta 16m 31s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12 3%[ ] 59.94M 2.04MB/s eta 16m 31s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12- 3%[ ] 60.47M 2.13MB/s eta 16m 31s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D 3%[ ] 61.00M 2.09MB/s eta 16m 31s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2 3%[ ] 61.52M 2.18MB/s eta 16m 31s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D20 3%[ ] 62.07M 2.17MB/s eta 16m 15s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D204 3%[ ] 62.60M 2.24MB/s eta 16m 15s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048 3%[ ] 63.18M 2.24MB/s eta 16m 15s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048- 3%[ ] 63.30M 2.12MB/s eta 16m 15s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E 3%[ ] 63.86M 2.02MB/s eta 16m 14s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0 3%[ ] 64.91M 2.15MB/s eta 16m 14s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0_ 3%[ ] 65.33M 2.21MB/s eta 16m 14s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "v5r3-L12-D2048-E0_1 4%[ ] 65.75M 2.14MB/s eta 16m 14s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "5r3-L12-D2048-E0_1- 4%[ ] 66.21M 2.21MB/s eta 16m 14s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "r3-L12-D2048-E0_1-e 4%[ ] 66.68M 2.17MB/s eta 15m 57s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "3-L12-D2048-E0_1-en 4%[ ] 67.16M 2.15MB/s eta 15m 57s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-L12-D2048-E0_1-enw 4%[ ] 67.27M 2.09MB/s eta 15m 57s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "L12-D2048-E0_1-enwi 4%[ ] 67.79M 2.05MB/s eta 15m 57s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "12-D2048-E0_1-enwik 4%[ ] 68.32M 2.08MB/s eta 15m 57s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2-D2048-E0_1-enwiki 4%[ ] 68.85M 2.04MB/s eta 15m 51s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-D2048-E0_1-enwiki- 4%[ ] 69.39M 2.07MB/s eta 15m 51s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "D2048-E0_1-enwiki-4 4%[ ] 69.94M 2.05MB/s eta 15m 51s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2048-E0_1-enwiki-4k 4%[ ] 70.49M 2.14MB/s eta 15m 51s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "048-E0_1-enwiki-4k. 4%[ ] 71.02M 2.06MB/s eta 15m 51s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "48-E0_1-enwiki-4k.p 4%[ ] 71.57M 2.33MB/s eta 15m 38s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "8-E0_1-enwiki-4k.pt 4%[ ] 72.13M 2.15MB/s eta 15m 38s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-E0_1-enwiki-4k.pth 4%[ ] 72.71M 2.24MB/s eta 15m 38s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "E0_1-enwiki-4k.pth 4%[ ] 73.29M 2.26MB/s eta 15m 38s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "0_1-enwiki-4k.pth 4%[ ] 73.41M 2.15MB/s eta 15m 38s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "_1-enwiki-4k.pth 4%[ ] 74.00M 2.22MB/s eta 15m 29s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "1-enwiki-4k.pth 4%[ ] 74.60M 2.21MB/s eta 15m 29s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-enwiki-4k.pth 4%[ ] 75.08M 2.23MB/s eta 15m 29s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "enwiki-4k.pth 4%[ ] 75.79M 2.27MB/s eta 15m 29s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "nwiki-4k.pth 4%[ ] 76.33M 2.37MB/s eta 15m 29s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "wiki-4k.pth 4%[ ] 76.91M 2.36MB/s eta 15m 15s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "iki-4k.pth 4%[ ] 77.49M 2.45MB/s eta 15m 15s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "ki-4k.pth 4%[ ] 78.10M 2.41MB/s eta 15m 15s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "i-4k.pth 4%[ ] 78.71M 2.48MB/s eta 15m 15s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-4k.pth 4%[ ] 79.30M 2.43MB/s eta 15m 15s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "4k.pth 4%[ ] 79.91M 2.49MB/s eta 15m 3s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "k.pth 4%[ ] 80.52M 2.45MB/s eta 15m 3s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + ".pth 4%[ ] 81.13M 2.51MB/s eta 15m 3s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "pth 4%[ ] 81.72M 2.46MB/s eta 15m 3s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "th 5%[> ] 82.33M 2.52MB/s eta 15m 3s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "h 5%[> ] 82.94M 2.47MB/s eta 14m 51s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " 5%[> ] 83.54M 2.57MB/s eta 14m 51s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v 5%[> ] 84.14M 2.50MB/s eta 14m 51s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5 5%[> ] 84.75M 2.54MB/s eta 14m 51s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r 5%[> ] 85.36M 2.50MB/s eta 14m 51s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3 5%[> ] 85.97M 2.54MB/s eta 14m 40s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3- 5%[> ] 86.58M 2.51MB/s eta 14m 40s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L 5%[> ] 87.19M 2.55MB/s eta 14m 40s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L1 5%[> ] 87.82M 2.51MB/s eta 14m 40s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12 5%[> ] 88.43M 2.56MB/s eta 14m 40s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12- 5%[> ] 89.05M 2.52MB/s eta 14m 29s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D 5%[> ] 89.69M 2.57MB/s eta 14m 29s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2 5%[> ] 90.32M 2.54MB/s eta 14m 29s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D20 5%[> ] 90.97M 2.59MB/s eta 14m 29s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D204 5%[> ] 91.61M 2.56MB/s eta 14m 29s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048 5%[> ] 92.27M 2.62MB/s eta 14m 18s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048- 5%[> ] 92.94M 2.60MB/s eta 14m 18s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E 5%[> ] 93.61M 2.66MB/s eta 14m 18s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0 5%[> ] 94.30M 2.64MB/s eta 14m 18s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0_ 5%[> ] 94.99M 2.71MB/s eta 14m 18s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "v5r3-L12-D2048-E0_1 5%[> ] 95.71M 2.70MB/s eta 14m 5s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "5r3-L12-D2048-E0_1- 5%[> ] 96.43M 2.77MB/s eta 14m 5s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "r3-L12-D2048-E0_1-e 5%[> ] 97.18M 2.77MB/s eta 14m 5s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "3-L12-D2048-E0_1-en 5%[> ] 97.93M 2.85MB/s eta 14m 5s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-L12-D2048-E0_1-enw 6%[> ] 98.71M 2.85MB/s eta 14m 5s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "L12-D2048-E0_1-enwi 6%[> ] 99.50M 2.94MB/s eta 13m 50s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "12-D2048-E0_1-enwik 6%[> ] 100.32M 2.95MB/s eta 13m 50s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2-D2048-E0_1-enwiki 6%[> ] 101.16M 3.06MB/s eta 13m 50s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-D2048-E0_1-enwiki- 6%[> ] 102.02M 3.08MB/s eta 13m 50s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "D2048-E0_1-enwiki-4 6%[> ] 102.89M 3.20MB/s eta 13m 50s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2048-E0_1-enwiki-4k 6%[> ] 103.79M 3.26MB/s eta 13m 31s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "048-E0_1-enwiki-4k. 6%[> ] 104.00M 3.10MB/s eta 13m 31s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "48-E0_1-enwiki-4k.p 6%[> ] 104.91M 3.28MB/s eta 13m 31s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "8-E0_1-enwiki-4k.pt 6%[> ] 105.80M 3.30MB/s eta 13m 31s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-E0_1-enwiki-4k.pth 6%[> ] 106.77M 3.49MB/s eta 13m 31s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "E0_1-enwiki-4k.pth 6%[> ] 107.79M 3.57MB/s eta 13m 14s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "0_1-enwiki-4k.pth 6%[> ] 108.85M 3.73MB/s eta 13m 14s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "_1-enwiki-4k.pth 6%[> ] 109.96M 3.78MB/s eta 13m 14s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "1-enwiki-4k.pth 6%[> ] 111.11M 3.96MB/s eta 13m 14s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-enwiki-4k.pth 6%[> ] 112.30M 4.03MB/s eta 13m 14s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "enwiki-4k.pth 6%[> ] 113.50M 4.13MB/s eta 12m 47s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "nwiki-4k.pth 6%[> ] 113.80M 4.11MB/s eta 12m 47s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "wiki-4k.pth 7%[> ] 115.05M 4.19MB/s eta 12m 47s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "iki-4k.pth 7%[> ] 116.25M 4.43MB/s eta 12m 47s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "ki-4k.pth 7%[> ] 116.44M 3.99MB/s eta 12m 39s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "i-4k.pth 7%[> ] 119.21M 4.42MB/s eta 12m 39s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-4k.pth 7%[> ] 120.21M 4.54MB/s eta 12m 39s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "4k.pth 7%[> ] 121.27M 4.48MB/s eta 12m 39s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "k.pth 7%[> ] 122.36M 4.60MB/s eta 12m 39s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + ".pth 7%[> ] 123.49M 4.55MB/s eta 12m 8s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "pth 7%[> ] 124.64M 4.66MB/s eta 12m 8s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "th 7%[> ] 125.82M 4.61MB/s eta 12m 8s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "h 7%[> ] 127.02M 4.71MB/s eta 12m 8s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " 7%[> ] 128.24M 4.65MB/s eta 12m 8s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v 7%[> ] 129.47M 4.75MB/s eta 11m 46s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5 7%[> ] 130.74M 4.66MB/s eta 11m 46s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r 8%[> ] 132.02M 4.75MB/s eta 11m 46s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3 8%[> ] 133.32M 4.66MB/s eta 11m 46s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3- 8%[> ] 134.63M 4.72MB/s eta 11m 46s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L 8%[> ] 135.96M 4.75MB/s eta 11m 23s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L1 8%[> ] 136.72M 4.69MB/s eta 11m 23s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12 8%[> ] 139.18M 5.03MB/s eta 11m 23s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12- 8%[> ] 139.77M 4.88MB/s eta 11m 23s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D 8%[> ] 140.38M 4.81MB/s eta 11m 23s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2 8%[> ] 141.36M 4.71MB/s eta 11m 7s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D20 8%[> ] 142.36M 4.86MB/s eta 11m 7s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D204 8%[> ] 143.33M 4.70MB/s eta 11m 7s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048 8%[> ] 144.33M 4.85MB/s eta 11m 7s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048- 8%[> ] 145.30M 4.73MB/s eta 11m 7s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E 8%[> ] 146.29M 4.63MB/s eta 10m 53s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0 8%[> ] 146.86M 4.59MB/s eta 10m 53s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0_ 8%[> ] 147.63M 4.40MB/s eta 10m 53s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "v5r3-L12-D2048-E0_1 9%[> ] 148.69M 4.58MB/s eta 10m 53s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "5r3-L12-D2048-E0_1- 9%[> ] 149.74M 4.35MB/s eta 10m 53s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "r3-L12-D2048-E0_1-e 9%[> ] 150.80M 4.53MB/s eta 10m 42s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "3-L12-D2048-E0_1-en 9%[> ] 151.80M 4.41MB/s eta 10m 42s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-L12-D2048-E0_1-enw 9%[> ] 152.85M 4.72MB/s eta 10m 42s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "L12-D2048-E0_1-enwi 9%[> ] 152.89M 4.05MB/s eta 10m 42s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "12-D2048-E0_1-enwik 9%[> ] 154.83M 4.28MB/s eta 10m 42s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2-D2048-E0_1-enwiki 9%[> ] 155.60M 4.21MB/s eta 10m 32s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-D2048-E0_1-enwiki- 9%[> ] 155.96M 4.22MB/s eta 10m 32s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "D2048-E0_1-enwiki-4 9%[> ] 156.61M 4.00MB/s eta 10m 32s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2048-E0_1-enwiki-4k 9%[> ] 157.46M 4.09MB/s eta 10m 32s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "048-E0_1-enwiki-4k. 9%[> ] 158.30M 3.88MB/s eta 10m 32s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "48-E0_1-enwiki-4k.p 9%[> ] 159.18M 3.97MB/s eta 10m 27s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "8-E0_1-enwiki-4k.pt 9%[> ] 160.05M 3.86MB/s eta 10m 27s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-E0_1-enwiki-4k.pth 9%[> ] 160.93M 3.87MB/s eta 10m 27s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "E0_1-enwiki-4k.pth 9%[> ] 161.83M 3.77MB/s eta 10m 27s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "0_1-enwiki-4k.pth 9%[> ] 162.72M 3.78MB/s eta 10m 27s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "_1-enwiki-4k.pth 9%[> ] 163.64M 3.67MB/s eta 10m 19s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "1-enwiki-4k.pth 10%[=> ] 164.57M 3.68MB/s eta 10m 19s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-enwiki-4k.pth 10%[=> ] 165.49M 3.57MB/s eta 10m 19s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "enwiki-4k.pth 10%[=> ] 166.41M 3.77MB/s eta 10m 19s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "nwiki-4k.pth 10%[=> ] 167.35M 3.57MB/s eta 10m 19s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "wiki-4k.pth 10%[=> ] 168.29M 3.54MB/s eta 10m 11s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "iki-4k.pth 10%[=> ] 169.22M 3.64MB/s eta 10m 11s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "ki-4k.pth 10%[=> ] 170.18M 3.55MB/s eta 10m 11s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "i-4k.pth 10%[=> ] 171.11M 3.72MB/s eta 10m 11s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-4k.pth 10%[=> ] 172.07M 3.67MB/s eta 10m 11s" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "4k.pth 10%[=> ] 172.14M 3.33MB/s eta 10m 7s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "k.pth 10%[=> ] 174.02M 3.63MB/s eta 10m 7s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + ".pth 10%[=> ] 174.29M 3.62MB/s eta 10m 7s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "pth 10%[=> ] 174.97M 3.50MB/s eta 10m 7s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "th 10%[=> ] 175.66M 3.38MB/s eta 10m 7s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "h 10%[=> ] 176.36M 3.41MB/s eta 10m 0s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " 10%[=> ] 177.08M 3.27MB/s eta 10m 0s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v 10%[=> ] 177.82M 3.29MB/s eta 10m 0s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5 10%[=> ] 178.57M 3.19MB/s eta 10m 0s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r 10%[=> ] 179.32M 3.18MB/s eta 9m 57s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3 10%[=> ] 180.07M 3.09MB/s eta 9m 57s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3- 11%[=> ] 180.83M 3.09MB/s eta 9m 57s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L 11%[=> ] 181.61M 2.99MB/s eta 9m 57s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L1 11%[=> ] 182.39M 3.10MB/s eta 9m 57s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12 11%[=> ] 183.18M 2.92MB/s eta 9m 53s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12- 11%[=> ] 183.96M 3.26MB/s eta 9m 53s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D 11%[=> ] 184.75M 3.04MB/s eta 9m 53s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2 11%[=> ] 185.55M 3.01MB/s eta 9m 53s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D20 11%[=> ] 186.35M 3.00MB/s eta 9m 53s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D204 11%[=> ] 187.14M 3.11MB/s eta 9m 48s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048 11%[=> ] 187.96M 3.06MB/s eta 9m 48s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048- 11%[=> ] 188.68M 3.00MB/s eta 9m 48s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E 11%[=> ] 190.07M 3.14MB/s eta 9m 48s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0 11%[=> ] 190.63M 3.09MB/s eta 9m 45s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0_ 11%[=> ] 191.18M 3.16MB/s eta 9m 45s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "v5r3-L12-D2048-E0_1 11%[=> ] 191.68M 3.04MB/s eta 9m 45s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "5r3-L12-D2048-E0_1- 11%[=> ] 192.27M 3.08MB/s eta 9m 45s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "r3-L12-D2048-E0_1-e 11%[=> ] 192.88M 3.01MB/s eta 9m 45s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "3-L12-D2048-E0_1-en 11%[=> ] 193.11M 2.85MB/s eta 9m 44s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-L12-D2048-E0_1-enw 11%[=> ] 193.74M 2.82MB/s eta 9m 44s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "L12-D2048-E0_1-enwi 11%[=> ] 194.38M 2.81MB/s eta 9m 44s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "12-D2048-E0_1-enwik 11%[=> ] 195.02M 2.77MB/s eta 9m 44s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2-D2048-E0_1-enwiki 11%[=> ] 195.68M 2.84MB/s eta 9m 44s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-D2048-E0_1-enwiki- 11%[=> ] 196.33M 2.69MB/s eta 9m 42s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "D2048-E0_1-enwiki-4 12%[=> ] 196.99M 2.61MB/s eta 9m 42s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2048-E0_1-enwiki-4k 12%[=> ] 198.13M 2.65MB/s eta 9m 42s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "048-E0_1-enwiki-4k. 12%[=> ] 198.60M 2.58MB/s eta 9m 42s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "48-E0_1-enwiki-4k.p 12%[=> ] 199.08M 2.69MB/s eta 9m 41s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "8-E0_1-enwiki-4k.pt 12%[=> ] 199.58M 2.43MB/s eta 9m 41s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-E0_1-enwiki-4k.pth 12%[=> ] 200.08M 2.41MB/s eta 9m 41s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "E0_1-enwiki-4k.pth 12%[=> ] 200.60M 2.44MB/s eta 9m 41s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "0_1-enwiki-4k.pth 12%[=> ] 201.13M 2.39MB/s eta 9m 41s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "_1-enwiki-4k.pth 12%[=> ] 201.66M 2.37MB/s eta 9m 41s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "1-enwiki-4k.pth 12%[=> ] 202.19M 2.37MB/s eta 9m 41s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-enwiki-4k.pth 12%[=> ] 202.74M 2.33MB/s eta 9m 41s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "enwiki-4k.pth 12%[=> ] 203.27M 2.30MB/s eta 9m 41s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "nwiki-4k.pth 12%[=> ] 203.83M 2.34MB/s eta 9m 41s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "wiki-4k.pth 12%[=> ] 204.38M 2.26MB/s eta 9m 41s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "iki-4k.pth 12%[=> ] 204.93M 2.21MB/s eta 9m 41s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "ki-4k.pth 12%[=> ] 205.49M 2.40MB/s eta 9m 41s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "i-4k.pth 12%[=> ] 206.05M 2.21MB/s eta 9m 41s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-4k.pth 12%[=> ] 206.61M 2.21MB/s eta 9m 41s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "4k.pth 12%[=> ] 207.18M 2.30MB/s eta 9m 40s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "k.pth 12%[=> ] 207.75M 2.26MB/s eta 9m 40s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + ".pth 12%[=> ] 208.32M 2.26MB/s eta 9m 40s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "pth 12%[=> ] 208.88M 2.34MB/s eta 9m 40s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "th 12%[=> ] 209.44M 2.29MB/s eta 9m 40s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "h 12%[=> ] 210.02M 2.30MB/s eta 9m 39s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " 12%[=> ] 210.58M 2.37MB/s eta 9m 39s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v 12%[=> ] 211.14M 2.31MB/s eta 9m 39s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5 12%[=> ] 211.71M 2.31MB/s eta 9m 39s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r 12%[=> ] 212.27M 2.34MB/s eta 9m 39s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3 12%[=> ] 212.85M 2.31MB/s eta 9m 38s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3- 13%[=> ] 213.41M 2.35MB/s eta 9m 38s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L 13%[=> ] 213.97M 2.32MB/s eta 9m 38s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L1 13%[=> ] 214.54M 2.31MB/s eta 9m 38s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12 13%[=> ] 215.11M 2.35MB/s eta 9m 38s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12- 13%[=> ] 215.68M 2.33MB/s eta 9m 37s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D 13%[=> ] 216.25M 2.37MB/s eta 9m 37s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2 13%[=> ] 216.82M 2.35MB/s eta 9m 37s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D20 13%[=> ] 217.39M 2.34MB/s eta 9m 37s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D204 13%[=> ] 217.97M 2.36MB/s eta 9m 37s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048 13%[=> ] 218.55M 2.35MB/s eta 9m 36s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048- 13%[=> ] 219.14M 2.35MB/s eta 9m 36s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E 13%[=> ] 219.72M 2.39MB/s eta 9m 36s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0 13%[=> ] 220.32M 2.38MB/s eta 9m 36s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0_ 13%[=> ] 220.93M 2.40MB/s eta 9m 36s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "v5r3-L12-D2048-E0_1 13%[=> ] 221.54M 2.39MB/s eta 9m 35s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "5r3-L12-D2048-E0_1- 13%[=> ] 222.14M 2.47MB/s eta 9m 35s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "r3-L12-D2048-E0_1-e 13%[=> ] 222.75M 2.42MB/s eta 9m 35s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "3-L12-D2048-E0_1-en 13%[=> ] 223.39M 2.41MB/s eta 9m 35s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-L12-D2048-E0_1-enw 13%[=> ] 224.04M 2.46MB/s eta 9m 35s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "L12-D2048-E0_1-enwi 13%[=> ] 224.68M 2.46MB/s eta 9m 33s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "12-D2048-E0_1-enwik 13%[=> ] 225.35M 2.57MB/s eta 9m 33s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2-D2048-E0_1-enwiki 13%[=> ] 226.02M 2.54MB/s eta 9m 33s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-D2048-E0_1-enwiki- 13%[=> ] 226.71M 2.56MB/s eta 9m 33s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "D2048-E0_1-enwiki-4 13%[=> ] 227.41M 2.67MB/s eta 9m 33s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2048-E0_1-enwiki-4k 13%[=> ] 228.13M 2.65MB/s eta 9m 30s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "048-E0_1-enwiki-4k. 13%[=> ] 228.47M 2.51MB/s eta 9m 30s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "48-E0_1-enwiki-4k.p 14%[=> ] 229.82M 2.80MB/s eta 9m 30s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "8-E0_1-enwiki-4k.pt 14%[=> ] 230.27M 2.74MB/s eta 9m 30s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-E0_1-enwiki-4k.pth 14%[=> ] 230.57M 2.65MB/s eta 9m 30s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "E0_1-enwiki-4k.pth 14%[=> ] 231.14M 2.67MB/s eta 9m 29s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "0_1-enwiki-4k.pth 14%[=> ] 231.74M 2.64MB/s eta 9m 29s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "_1-enwiki-4k.pth 14%[=> ] 232.33M 2.70MB/s eta 9m 29s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "1-enwiki-4k.pth 14%[=> ] 232.96M 2.64MB/s eta 9m 29s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-enwiki-4k.pth 14%[=> ] 233.52M 2.56MB/s eta 9m 29s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "enwiki-4k.pth 14%[=> ] 234.64M 2.65MB/s eta 9m 29s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "nwiki-4k.pth 14%[=> ] 235.10M 2.59MB/s eta 9m 29s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "wiki-4k.pth 14%[=> ] 235.55M 2.61MB/s eta 9m 29s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "iki-4k.pth 14%[=> ] 236.02M 2.52MB/s eta 9m 29s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "ki-4k.pth 14%[=> ] 236.43M 2.45MB/s eta 9m 27s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "i-4k.pth 14%[=> ] 236.89M 2.46MB/s eta 9m 27s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-4k.pth 14%[=> ] 237.08M 2.49MB/s eta 9m 27s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "4k.pth 14%[=> ] 237.60M 2.29MB/s eta 9m 27s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "k.pth 14%[=> ] 238.10M 2.22MB/s eta 9m 27s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + ".pth 14%[=> ] 238.63M 2.24MB/s eta 9m 27s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "pth 14%[=> ] 239.14M 2.19MB/s eta 9m 27s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "th 14%[=> ] 239.68M 2.22MB/s eta 9m 27s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "h 14%[=> ] 240.22M 2.23MB/s eta 9m 27s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " 14%[=> ] 240.75M 2.12MB/s eta 9m 27s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v 14%[=> ] 241.29M 2.32MB/s eta 9m 27s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5 14%[=> ] 241.83M 2.15MB/s eta 9m 27s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r 14%[=> ] 242.38M 2.17MB/s eta 9m 27s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3 14%[=> ] 242.93M 2.19MB/s eta 9m 27s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3- 14%[=> ] 243.47M 2.21MB/s eta 9m 27s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L 14%[=> ] 244.02M 2.23MB/s eta 9m 26s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L1 14%[=> ] 244.58M 2.23MB/s eta 9m 26s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12 14%[=> ] 245.13M 2.25MB/s eta 9m 26s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12- 14%[=> ] 245.68M 2.29MB/s eta 9m 26s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D 15%[==> ] 246.22M 2.25MB/s eta 9m 26s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2 15%[==> ] 246.77M 2.31MB/s eta 9m 25s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D20 15%[==> ] 247.33M 2.25MB/s eta 9m 25s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D204 15%[==> ] 247.88M 2.30MB/s eta 9m 25s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048 15%[==> ] 248.43M 2.27MB/s eta 9m 25s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048- 15%[==> ] 248.97M 2.30MB/s eta 9m 25s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E 15%[==> ] 249.52M 2.27MB/s eta 9m 25s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0 15%[==> ] 250.07M 2.30MB/s eta 9m 25s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0_ 15%[==> ] 250.61M 2.27MB/s eta 9m 25s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "v5r3-L12-D2048-E0_1 15%[==> ] 251.18M 2.30MB/s eta 9m 25s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "5r3-L12-D2048-E0_1- 15%[==> ] 251.72M 2.27MB/s eta 9m 25s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "r3-L12-D2048-E0_1-e 15%[==> ] 252.29M 2.31MB/s eta 9m 24s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "3-L12-D2048-E0_1-en 15%[==> ] 252.83M 2.27MB/s eta 9m 24s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-L12-D2048-E0_1-enw 15%[==> ] 253.39M 2.31MB/s eta 9m 24s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "L12-D2048-E0_1-enwi 15%[==> ] 253.96M 2.31MB/s eta 9m 24s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "12-D2048-E0_1-enwik 15%[==> ] 254.52M 2.32MB/s eta 9m 24s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2-D2048-E0_1-enwiki 15%[==> ] 255.10M 2.33MB/s eta 9m 23s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-D2048-E0_1-enwiki- 15%[==> ] 255.66M 2.33MB/s eta 9m 23s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "D2048-E0_1-enwiki-4 15%[==> ] 256.25M 2.35MB/s eta 9m 23s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2048-E0_1-enwiki-4k 15%[==> ] 256.83M 2.32MB/s eta 9m 23s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "048-E0_1-enwiki-4k. 15%[==> ] 257.43M 2.36MB/s eta 9m 23s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "48-E0_1-enwiki-4k.p 15%[==> ] 258.02M 2.35MB/s eta 9m 22s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "8-E0_1-enwiki-4k.pt 15%[==> ] 258.63M 2.43MB/s eta 9m 22s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-E0_1-enwiki-4k.pth 15%[==> ] 259.24M 2.40MB/s eta 9m 22s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "E0_1-enwiki-4k.pth 15%[==> ] 259.86M 2.47MB/s eta 9m 22s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "0_1-enwiki-4k.pth 15%[==> ] 260.50M 2.45MB/s eta 9m 22s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "_1-enwiki-4k.pth 15%[==> ] 261.16M 2.52MB/s eta 9m 20s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "1-enwiki-4k.pth 15%[==> ] 261.82M 2.52MB/s eta 9m 20s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-enwiki-4k.pth 15%[==> ] 262.49M 2.56MB/s eta 9m 20s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "enwiki-4k.pth 16%[==> ] 263.18M 2.58MB/s eta 9m 20s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "nwiki-4k.pth 16%[==> ] 263.89M 2.63MB/s eta 9m 20s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "wiki-4k.pth 16%[==> ] 264.61M 2.71MB/s eta 9m 17s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "iki-4k.pth 16%[==> ] 265.36M 2.71MB/s eta 9m 17s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "ki-4k.pth 16%[==> ] 266.13M 2.78MB/s eta 9m 17s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "i-4k.pth 16%[==> ] 266.91M 2.82MB/s eta 9m 17s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-4k.pth 16%[==> ] 267.72M 2.90MB/s eta 9m 17s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "4k.pth 16%[==> ] 268.55M 2.95MB/s eta 9m 14s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "k.pth 16%[==> ] 269.41M 3.04MB/s eta 9m 14s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + ".pth 16%[==> ] 270.30M 3.10MB/s eta 9m 14s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "pth 16%[==> ] 271.21M 3.21MB/s eta 9m 14s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "th 16%[==> ] 272.16M 3.28MB/s eta 9m 14s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "h 16%[==> ] 273.13M 3.39MB/s eta 9m 8s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " 16%[==> ] 274.14M 3.47MB/s eta 9m 8s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v 16%[==> ] 275.02M 3.36MB/s eta 9m 8s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5 16%[==> ] 276.94M 3.72MB/s eta 9m 8s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r 16%[==> ] 277.72M 3.73MB/s eta 9m 3s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3 16%[==> ] 278.54M 3.75MB/s eta 9m 3s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3- 17%[==> ] 279.36M 3.76MB/s eta 9m 3s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L 17%[==> ] 280.21M 3.78MB/s eta 9m 3s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L1 17%[==> ] 281.08M 3.79MB/s eta 9m 3s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12 17%[==> ] 281.97M 3.82MB/s eta 8m 59s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12- 17%[==> ] 282.75M 3.54MB/s eta 8m 59s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D 17%[==> ] 284.44M 3.77MB/s eta 8m 59s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2 17%[==> ] 285.10M 3.68MB/s eta 8m 59s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D20 17%[==> ] 285.43M 3.45MB/s eta 8m 57s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D204 17%[==> ] 286.54M 3.47MB/s eta 8m 57s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048 17%[==> ] 287.19M 3.45MB/s eta 8m 57s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048- 17%[==> ] 287.89M 3.41MB/s eta 8m 57s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E 17%[==> ] 288.61M 3.21MB/s eta 8m 57s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0 17%[==> ] 289.35M 3.30MB/s eta 8m 53s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0_ 17%[==> ] 290.08M 3.24MB/s eta 8m 53s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "v5r3-L12-D2048-E0_1 17%[==> ] 290.83M 3.27MB/s eta 8m 53s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "5r3-L12-D2048-E0_1- 17%[==> ] 291.58M 3.21MB/s eta 8m 53s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "r3-L12-D2048-E0_1-e 17%[==> ] 292.35M 3.14MB/s eta 8m 53s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "3-L12-D2048-E0_1-en 17%[==> ] 293.11M 3.16MB/s eta 8m 51s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-L12-D2048-E0_1-enw 17%[==> ] 293.88M 3.09MB/s eta 8m 51s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "L12-D2048-E0_1-enwi 17%[==> ] 294.66M 3.16MB/s eta 8m 51s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "12-D2048-E0_1-enwik 17%[==> ] 295.43M 3.05MB/s eta 8m 51s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2-D2048-E0_1-enwiki 18%[==> ] 296.21M 3.14MB/s eta 8m 51s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-D2048-E0_1-enwiki- 18%[==> ] 296.99M 3.34MB/s eta 8m 47s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "D2048-E0_1-enwiki-4 18%[==> ] 297.77M 3.23MB/s eta 8m 47s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2048-E0_1-enwiki-4k 18%[==> ] 298.50M 3.22MB/s eta 8m 47s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "048-E0_1-enwiki-4k. 18%[==> ] 299.30M 3.30MB/s eta 8m 47s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "48-E0_1-enwiki-4k.p 18%[==> ] 300.08M 3.30MB/s eta 8m 47s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "8-E0_1-enwiki-4k.pt 18%[==> ] 300.86M 3.27MB/s eta 8m 44s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-E0_1-enwiki-4k.pth 18%[==> ] 301.66M 3.36MB/s eta 8m 44s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "E0_1-enwiki-4k.pth 18%[==> ] 302.32M 3.33MB/s eta 8m 44s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "0_1-enwiki-4k.pth 18%[==> ] 303.11M 3.30MB/s eta 8m 44s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "_1-enwiki-4k.pth 18%[==> ] 303.89M 3.27MB/s eta 8m 44s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "1-enwiki-4k.pth 18%[==> ] 304.69M 3.36MB/s eta 8m 41s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-enwiki-4k.pth 18%[==> ] 305.47M 3.32MB/s eta 8m 41s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "enwiki-4k.pth 18%[==> ] 306.25M 3.32MB/s eta 8m 41s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "nwiki-4k.pth 18%[==> ] 307.05M 3.36MB/s eta 8m 41s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "wiki-4k.pth 18%[==> ] 307.83M 3.33MB/s eta 8m 41s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "iki-4k.pth 18%[==> ] 308.61M 3.41MB/s eta 8m 38s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "ki-4k.pth 18%[==> ] 309.41M 3.33MB/s eta 8m 38s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "i-4k.pth 18%[==> ] 310.21M 3.40MB/s eta 8m 38s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-4k.pth 18%[==> ] 310.99M 3.39MB/s eta 8m 38s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "4k.pth 18%[==> ] 311.29M 3.01MB/s eta 8m 38s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "k.pth 19%[==> ] 313.05M 3.33MB/s eta 8m 38s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + ".pth 19%[==> ] 313.63M 3.26MB/s eta 8m 38s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "pth 19%[==> ] 314.24M 3.13MB/s eta 8m 38s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "th 19%[==> ] 314.85M 3.17MB/s eta 8m 38s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "h 19%[==> ] 315.49M 3.12MB/s eta 8m 34s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " 19%[==> ] 316.14M 3.04MB/s eta 8m 34s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v 19%[==> ] 316.82M 3.07MB/s eta 8m 34s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5 19%[==> ] 317.49M 3.04MB/s eta 8m 34s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r 19%[==> ] 318.19M 2.96MB/s eta 8m 34s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3 19%[==> ] 318.89M 3.00MB/s eta 8m 32s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3- 19%[==> ] 319.61M 2.92MB/s eta 8m 32s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L 19%[==> ] 320.35M 2.90MB/s eta 8m 32s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L1 19%[==> ] 321.08M 2.91MB/s eta 8m 32s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12 19%[==> ] 321.82M 2.87MB/s eta 8m 32s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12- 19%[==> ] 322.55M 3.22MB/s eta 8m 30s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D 19%[==> ] 322.86M 2.87MB/s eta 8m 30s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2 19%[==> ] 323.57M 2.90MB/s eta 8m 30s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D20 19%[==> ] 324.27M 2.94MB/s eta 8m 30s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D204 19%[==> ] 325.04M 3.03MB/s eta 8m 30s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048 19%[==> ] 325.82M 3.04MB/s eta 8m 28s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048- 19%[==> ] 326.60M 3.08MB/s eta 8m 28s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E 19%[==> ] 327.38M 3.15MB/s eta 8m 28s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0 19%[==> ] 328.16M 3.14MB/s eta 8m 28s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0_ 20%[===> ] 328.96M 3.18MB/s eta 8m 28s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "v5r3-L12-D2048-E0_1 20%[===> ] 329.74M 3.23MB/s eta 8m 25s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "5r3-L12-D2048-E0_1- 20%[===> ] 330.54M 3.21MB/s eta 8m 25s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "r3-L12-D2048-E0_1-e 20%[===> ] 331.33M 3.28MB/s eta 8m 25s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "3-L12-D2048-E0_1-en 20%[===> ] 332.13M 3.26MB/s eta 8m 25s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-L12-D2048-E0_1-enw 20%[===> ] 332.93M 3.33MB/s eta 8m 25s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "L12-D2048-E0_1-enwi 20%[===> ] 333.71M 3.32MB/s eta 8m 22s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "12-D2048-E0_1-enwik 20%[===> ] 334.50M 3.30MB/s eta 8m 22s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2-D2048-E0_1-enwiki 20%[===> ] 335.30M 3.35MB/s eta 8m 22s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-D2048-E0_1-enwiki- 20%[===> ] 336.10M 3.29MB/s eta 8m 22s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "D2048-E0_1-enwiki-4 20%[===> ] 336.72M 3.15MB/s eta 8m 21s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2048-E0_1-enwiki-4k 20%[===> ] 338.19M 3.34MB/s eta 8m 21s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "048-E0_1-enwiki-4k. 20%[===> ] 338.69M 3.25MB/s eta 8m 21s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "48-E0_1-enwiki-4k.p 20%[===> ] 339.29M 3.21MB/s eta 8m 21s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "8-E0_1-enwiki-4k.pt 20%[===> ] 339.89M 3.20MB/s eta 8m 21s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-E0_1-enwiki-4k.pth 20%[===> ] 340.52M 3.12MB/s eta 8m 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "E0_1-enwiki-4k.pth 20%[===> ] 341.18M 3.12MB/s eta 8m 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "0_1-enwiki-4k.pth 20%[===> ] 341.83M 3.08MB/s eta 8m 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "_1-enwiki-4k.pth 20%[===> ] 342.52M 3.03MB/s eta 8m 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "1-enwiki-4k.pth 20%[===> ] 343.21M 3.03MB/s eta 8m 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-enwiki-4k.pth 20%[===> ] 343.91M 2.97MB/s eta 8m 16s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "enwiki-4k.pth 20%[===> ] 344.63M 2.99MB/s eta 8m 16s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "nwiki-4k.pth 21%[===> ] 345.35M 2.96MB/s eta 8m 16s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "wiki-4k.pth 21%[===> ] 346.08M 2.91MB/s eta 8m 16s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "iki-4k.pth 21%[===> ] 346.83M 2.93MB/s eta 8m 16s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "ki-4k.pth 21%[===> ] 347.58M 2.87MB/s eta 8m 14s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "i-4k.pth 21%[===> ] 348.33M 2.97MB/s eta 8m 14s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-4k.pth 21%[===> ] 349.10M 3.00MB/s eta 8m 14s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "4k.pth 21%[===> ] 349.88M 3.04MB/s eta 8m 14s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "k.pth 21%[===> ] 350.64M 3.08MB/s eta 8m 14s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + ".pth 21%[===> ] 351.43M 3.09MB/s eta 8m 11s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "pth 21%[===> ] 352.21M 3.19MB/s eta 8m 11s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "th 21%[===> ] 352.99M 3.18MB/s eta 8m 11s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "h 21%[===> ] 353.71M 3.20MB/s eta 8m 11s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " 21%[===> ] 354.10M 3.20MB/s eta 8m 11s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v 21%[===> ] 354.82M 3.21MB/s eta 8m 9s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5 21%[===> ] 355.54M 3.22MB/s eta 8m 9s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r 21%[===> ] 356.25M 3.26MB/s eta 8m 9s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3 21%[===> ] 357.04M 3.26MB/s eta 8m 9s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3- 21%[===> ] 357.83M 3.29MB/s eta 8m 9s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L 21%[===> ] 358.63M 3.33MB/s eta 8m 7s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L1 21%[===> ] 359.43M 3.28MB/s eta 8m 7s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12 21%[===> ] 360.22M 3.34MB/s eta 8m 7s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12- 21%[===> ] 361.02M 3.34MB/s eta 8m 7s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D 22%[===> ] 361.82M 3.30MB/s eta 8m 7s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2 22%[===> ] 362.60M 3.38MB/s eta 8m 4s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D20 22%[===> ] 363.39M 3.38MB/s eta 8m 4s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D204 22%[===> ] 364.19M 3.34MB/s eta 8m 4s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048 22%[===> ] 364.99M 3.39MB/s eta 8m 4s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048- 22%[===> ] 365.79M 3.39MB/s eta 8m 4s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E 22%[===> ] 366.58M 3.33MB/s eta 8m 1s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0 22%[===> ] 367.38M 3.38MB/s eta 8m 1s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0_ 22%[===> ] 368.18M 3.37MB/s eta 8m 1s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "v5r3-L12-D2048-E0_1 22%[===> ] 368.97M 3.41MB/s eta 8m 1s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "5r3-L12-D2048-E0_1- 22%[===> ] 369.79M 3.38MB/s eta 8m 1s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "r3-L12-D2048-E0_1-e 22%[===> ] 370.58M 3.35MB/s eta 7m 59s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "3-L12-D2048-E0_1-en 22%[===> ] 371.39M 3.39MB/s eta 7m 59s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-L12-D2048-E0_1-enw 22%[===> ] 372.19M 3.41MB/s eta 7m 59s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "L12-D2048-E0_1-enwi 22%[===> ] 373.00M 3.43MB/s eta 7m 59s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "12-D2048-E0_1-enwik 22%[===> ] 373.83M 3.42MB/s eta 7m 59s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2-D2048-E0_1-enwiki 22%[===> ] 374.64M 3.41MB/s eta 7m 56s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-D2048-E0_1-enwiki- 22%[===> ] 375.49M 3.44MB/s eta 7m 56s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "D2048-E0_1-enwiki-4 22%[===> ] 376.32M 3.45MB/s eta 7m 56s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2048-E0_1-enwiki-4k 22%[===> ] 377.16M 3.44MB/s eta 7m 56s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "048-E0_1-enwiki-4k. 23%[===> ] 378.00M 3.50MB/s eta 7m 56s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "48-E0_1-enwiki-4k.p 23%[===> ] 378.88M 3.47MB/s eta 7m 53s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "8-E0_1-enwiki-4k.pt 23%[===> ] 379.74M 3.47MB/s eta 7m 53s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-E0_1-enwiki-4k.pth 23%[===> ] 380.61M 3.54MB/s eta 7m 53s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "E0_1-enwiki-4k.pth 23%[===> ] 381.52M 3.53MB/s eta 7m 53s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "0_1-enwiki-4k.pth 23%[===> ] 382.43M 3.52MB/s eta 7m 53s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "_1-enwiki-4k.pth 23%[===> ] 383.33M 3.61MB/s eta 7m 50s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "1-enwiki-4k.pth 23%[===> ] 384.27M 3.61MB/s eta 7m 50s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-enwiki-4k.pth 23%[===> ] 385.11M 3.45MB/s eta 7m 50s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "enwiki-4k.pth 23%[===> ] 386.86M 3.65MB/s eta 7m 50s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "nwiki-4k.pth 23%[===> ] 387.57M 3.59MB/s eta 7m 47s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "wiki-4k.pth 23%[===> ] 388.29M 3.64MB/s eta 7m 47s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "iki-4k.pth 23%[===> ] 389.04M 3.61MB/s eta 7m 47s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "ki-4k.pth 23%[===> ] 389.80M 3.55MB/s eta 7m 47s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "i-4k.pth 23%[===> ] 390.58M 3.58MB/s eta 7m 47s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-4k.pth 23%[===> ] 391.39M 3.55MB/s eta 7m 45s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "4k.pth 23%[===> ] 392.22M 3.50MB/s eta 7m 45s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "k.pth 23%[===> ] 393.05M 3.55MB/s eta 7m 45s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + ".pth 23%[===> ] 393.91M 3.51MB/s eta 7m 45s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "pth 24%[===> ] 394.77M 3.55MB/s eta 7m 45s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "th 24%[===> ] 395.64M 3.53MB/s eta 7m 42s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "h 24%[===> ] 396.54M 3.44MB/s eta 7m 42s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " 24%[===> ] 397.43M 3.52MB/s eta 7m 42s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v 24%[===> ] 398.35M 3.43MB/s eta 7m 42s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5 24%[===> ] 399.25M 3.56MB/s eta 7m 42s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r 24%[===> ] 400.18M 3.60MB/s eta 7m 38s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3 24%[===> ] 401.11M 3.62MB/s eta 7m 38s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3- 24%[===> ] 402.05M 3.73MB/s eta 7m 38s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L 24%[===> ] 402.99M 3.76MB/s eta 7m 38s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L1 24%[===> ] 403.94M 3.76MB/s eta 7m 38s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12 24%[===> ] 404.04M 3.50MB/s eta 7m 37s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12- 24%[===> ] 405.74M 3.75MB/s eta 7m 37s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D 24%[===> ] 406.36M 3.68MB/s eta 7m 37s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2 24%[===> ] 406.99M 3.72MB/s eta 7m 37s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D20 24%[===> ] 407.68M 3.65MB/s eta 7m 37s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D204 24%[===> ] 408.19M 3.35MB/s eta 7m 34s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048 24%[===> ] 409.57M 3.45MB/s eta 7m 34s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048- 24%[===> ] 410.08M 3.31MB/s eta 7m 34s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E 25%[====> ] 410.61M 3.27MB/s eta 7m 34s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0 25%[====> ] 411.16M 3.14MB/s eta 7m 34s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0_ 25%[====> ] 411.71M 3.12MB/s eta 7m 33s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "v5r3-L12-D2048-E0_1 25%[====> ] 412.27M 2.96MB/s eta 7m 33s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "5r3-L12-D2048-E0_1- 25%[====> ] 412.83M 2.85MB/s eta 7m 33s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "r3-L12-D2048-E0_1-e 25%[====> ] 413.41M 2.78MB/s eta 7m 33s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "3-L12-D2048-E0_1-en 25%[====> ] 413.99M 2.67MB/s eta 7m 33s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-L12-D2048-E0_1-enw 25%[====> ] 414.58M 2.55MB/s eta 7m 32s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "L12-D2048-E0_1-enwi 25%[====> ] 415.18M 2.50MB/s eta 7m 32s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "12-D2048-E0_1-enwik 25%[====> ] 415.77M 2.53MB/s eta 7m 32s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2-D2048-E0_1-enwiki 25%[====> ] 415.79M 2.29MB/s eta 7m 32s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-D2048-E0_1-enwiki- 25%[====> ] 416.86M 2.39MB/s eta 7m 32s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "D2048-E0_1-enwiki-4 25%[====> ] 417.25M 2.39MB/s eta 7m 32s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2048-E0_1-enwiki-4k 25%[====> ] 417.69M 2.27MB/s eta 7m 32s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "048-E0_1-enwiki-4k. 25%[====> ] 418.13M 2.30MB/s eta 7m 32s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "48-E0_1-enwiki-4k.p 25%[====> ] 418.60M 2.27MB/s eta 7m 32s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "8-E0_1-enwiki-4k.pt 25%[====> ] 419.05M 2.22MB/s eta 7m 32s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-E0_1-enwiki-4k.pth 25%[====> ] 419.54M 2.24MB/s eta 7m 32s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "E0_1-enwiki-4k.pth 25%[====> ] 420.02M 2.18MB/s eta 7m 32s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "0_1-enwiki-4k.pth 25%[====> ] 420.50M 2.20MB/s eta 7m 32s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "_1-enwiki-4k.pth 25%[====> ] 420.99M 2.14MB/s eta 7m 32s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "1-enwiki-4k.pth 25%[====> ] 421.47M 2.09MB/s eta 7m 32s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-enwiki-4k.pth 25%[====> ] 421.96M 2.10MB/s eta 7m 32s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "enwiki-4k.pth 25%[====> ] 422.43M 2.07MB/s eta 7m 32s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "nwiki-4k.pth 25%[====> ] 422.91M 2.26MB/s eta 7m 32s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "wiki-4k.pth 25%[====> ] 423.35M 2.04MB/s eta 7m 32s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "iki-4k.pth 25%[====> ] 423.66M 2.00MB/s eta 7m 32s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "ki-4k.pth 25%[====> ] 424.10M 2.04MB/s eta 7m 32s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "i-4k.pth 25%[====> ] 424.61M 2.03MB/s eta 7m 32s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-4k.pth 25%[====> ] 425.11M 2.07MB/s eta 7m 32s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "4k.pth 25%[====> ] 425.63M 2.06MB/s eta 7m 32s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "k.pth 25%[====> ] 426.14M 2.10MB/s eta 7m 31s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + ".pth 25%[====> ] 426.66M 2.09MB/s eta 7m 31s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "pth 26%[====> ] 427.16M 2.12MB/s eta 7m 31s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "th 26%[====> ] 427.68M 2.10MB/s eta 7m 31s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "h 26%[====> ] 428.19M 2.13MB/s eta 7m 31s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " 26%[====> ] 428.71M 2.11MB/s eta 7m 31s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v 26%[====> ] 429.22M 2.14MB/s eta 7m 31s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5 26%[====> ] 429.72M 2.12MB/s eta 7m 31s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r 26%[====> ] 430.24M 2.15MB/s eta 7m 31s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3 26%[====> ] 430.75M 2.12MB/s eta 7m 31s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3- 26%[====> ] 431.27M 2.15MB/s eta 7m 31s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L 26%[====> ] 431.79M 2.13MB/s eta 7m 31s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L1 26%[====> ] 432.30M 2.15MB/s eta 7m 31s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12 26%[====> ] 432.82M 2.13MB/s eta 7m 31s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12- 26%[====> ] 433.33M 2.15MB/s eta 7m 31s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D 26%[====> ] 433.85M 2.13MB/s eta 7m 30s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2 26%[====> ] 434.38M 2.16MB/s eta 7m 30s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D20 26%[====> ] 434.91M 2.14MB/s eta 7m 30s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D204 26%[====> ] 435.44M 2.17MB/s eta 7m 30s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048 26%[====> ] 435.97M 2.16MB/s eta 7m 30s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048- 26%[====> ] 436.50M 2.19MB/s eta 7m 30s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E 26%[====> ] 437.05M 2.17MB/s eta 7m 30s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0 26%[====> ] 437.61M 2.21MB/s eta 7m 30s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0_ 26%[====> ] 438.16M 2.20MB/s eta 7m 30s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "v5r3-L12-D2048-E0_1 26%[====> ] 438.74M 2.24MB/s eta 7m 30s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "5r3-L12-D2048-E0_1- 26%[====> ] 439.30M 2.23MB/s eta 7m 29s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "r3-L12-D2048-E0_1-e 26%[====> ] 439.89M 2.28MB/s eta 7m 29s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "3-L12-D2048-E0_1-en 26%[====> ] 440.49M 2.28MB/s eta 7m 29s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-L12-D2048-E0_1-enw 26%[====> ] 441.10M 2.34MB/s eta 7m 29s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "L12-D2048-E0_1-enwi 26%[====> ] 441.71M 2.34MB/s eta 7m 29s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "12-D2048-E0_1-enwik 26%[====> ] 442.35M 2.40MB/s eta 7m 28s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2-D2048-E0_1-enwiki 26%[====> ] 442.99M 2.40MB/s eta 7m 28s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-D2048-E0_1-enwiki- 27%[====> ] 443.66M 2.48MB/s eta 7m 28s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "D2048-E0_1-enwiki-4 27%[====> ] 444.33M 2.49MB/s eta 7m 28s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2048-E0_1-enwiki-4k 27%[====> ] 445.04M 2.57MB/s eta 7m 28s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "048-E0_1-enwiki-4k. 27%[====> ] 445.75M 2.59MB/s eta 7m 27s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "48-E0_1-enwiki-4k.p 27%[====> ] 446.49M 2.72MB/s eta 7m 27s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "8-E0_1-enwiki-4k.pt 27%[====> ] 447.14M 2.73MB/s eta 7m 27s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-E0_1-enwiki-4k.pth 27%[====> ] 447.88M 2.86MB/s eta 7m 27s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "E0_1-enwiki-4k.pth 27%[====> ] 448.66M 2.92MB/s eta 7m 27s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "0_1-enwiki-4k.pth 27%[====> ] 449.43M 2.95MB/s eta 7m 24s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "_1-enwiki-4k.pth 27%[====> ] 450.21M 3.08MB/s eta 7m 24s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "1-enwiki-4k.pth 27%[====> ] 450.72M 3.03MB/s eta 7m 24s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-enwiki-4k.pth 27%[====> ] 451.47M 3.14MB/s eta 7m 24s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "enwiki-4k.pth 27%[====> ] 452.39M 3.19MB/s eta 7m 24s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "nwiki-4k.pth 27%[====> ] 453.35M 3.34MB/s eta 7m 22s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "wiki-4k.pth 27%[====> ] 454.35M 3.39MB/s eta 7m 22s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "iki-4k.pth 27%[====> ] 455.38M 3.55MB/s eta 7m 22s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "ki-4k.pth 27%[====> ] 456.46M 3.62MB/s eta 7m 22s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "i-4k.pth 27%[====> ] 457.57M 3.80MB/s eta 7m 22s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-4k.pth 27%[====> ] 458.71M 3.89MB/s eta 7m 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "4k.pth 28%[====> ] 459.79M 4.08MB/s eta 7m 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "k.pth 28%[====> ] 460.97M 4.19MB/s eta 7m 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + ".pth 28%[====> ] 462.18M 4.31MB/s eta 7m 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "pth 28%[====> ] 463.38M 4.55MB/s eta 7m 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "th 28%[====> ] 464.72M 4.69MB/s eta 7m 13s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "h 28%[====> ] 465.94M 4.78MB/s eta 7m 13s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " 28%[====> ] 466.93M 4.93MB/s eta 7m 13s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v 28%[====> ] 468.14M 4.99MB/s eta 7m 13s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5 28%[====> ] 469.71M 5.26MB/s eta 7m 13s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r 28%[====> ] 471.33M 5.38MB/s eta 7m 7s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3 28%[====> ] 473.02M 5.68MB/s eta 7m 7s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3- 28%[====> ] 474.77M 5.84MB/s eta 7m 7s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L 29%[====> ] 476.38M 6.12MB/s eta 7m 7s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L1 29%[====> ] 478.21M 6.31MB/s eta 7m 7s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12 29%[====> ] 480.04M 6.66MB/s eta 6m 59s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12- 29%[====> ] 481.88M 6.84MB/s eta 6m 59s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D 29%[====> ] 483.93M 7.04MB/s eta 6m 59s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2 29%[====> ] 485.64M 7.36MB/s eta 6m 59s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D20 29%[====> ] 487.11M 7.37MB/s eta 6m 59s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D204 29%[====> ] 489.08M 7.71MB/s eta 6m 50s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048 29%[====> ] 491.21M 7.89MB/s eta 6m 50s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048- 30%[=====> ] 493.55M 8.33MB/s eta 6m 50s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E 30%[=====> ] 495.94M 8.57MB/s eta 6m 50s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0 30%[=====> ] 498.32M 8.77MB/s eta 6m 50s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0_ 30%[=====> ] 500.94M 9.30MB/s eta 6m 39s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "v5r3-L12-D2048-E0_1 30%[=====> ] 502.96M 9.34MB/s eta 6m 39s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "5r3-L12-D2048-E0_1- 30%[=====> ] 504.88M 9.61MB/s eta 6m 39s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "r3-L12-D2048-E0_1-e 30%[=====> ] 507.41M 9.80MB/s eta 6m 39s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "3-L12-D2048-E0_1-en 31%[=====> ] 510.45M 10.3MB/s eta 6m 39s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-L12-D2048-E0_1-enw 31%[=====> ] 512.55M 10.4MB/s eta 6m 28s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "L12-D2048-E0_1-enwi 31%[=====> ] 515.80M 10.7MB/s eta 6m 28s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "12-D2048-E0_1-enwik 31%[=====> ] 519.18M 11.2MB/s eta 6m 28s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2-D2048-E0_1-enwiki 31%[=====> ] 522.54M 11.4MB/s eta 6m 28s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-D2048-E0_1-enwiki- 32%[=====> ] 526.02M 12.0MB/s eta 6m 28s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "D2048-E0_1-enwiki-4 32%[=====> ] 529.60M 12.1MB/s eta 6m 12s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2048-E0_1-enwiki-4k 32%[=====> ] 533.19M 12.5MB/s eta 6m 12s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "048-E0_1-enwiki-4k. 32%[=====> ] 536.99M 12.7MB/s eta 6m 12s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "48-E0_1-enwiki-4k.p 32%[=====> ] 538.91M 11.7MB/s eta 6m 12s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "8-E0_1-enwiki-4k.pt 33%[=====> ] 542.74M 12.1MB/s eta 6m 2s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-E0_1-enwiki-4k.pth 33%[=====> ] 545.64M 12.0MB/s eta 6m 2s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "E0_1-enwiki-4k.pth 33%[=====> ] 548.72M 12.2MB/s eta 6m 2s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "0_1-enwiki-4k.pth 33%[=====> ] 551.86M 12.3MB/s eta 6m 2s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "_1-enwiki-4k.pth 33%[=====> ] 555.10M 12.3MB/s eta 6m 2s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "1-enwiki-4k.pth 34%[=====> ] 558.36M 12.6MB/s eta 5m 49s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-enwiki-4k.pth 34%[=====> ] 561.68M 12.6MB/s eta 5m 49s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "enwiki-4k.pth 34%[=====> ] 563.79M 11.9MB/s eta 5m 49s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "nwiki-4k.pth 34%[=====> ] 567.58M 12.0MB/s eta 5m 49s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "wiki-4k.pth 34%[=====> ] 570.00M 11.7MB/s eta 5m 40s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "iki-4k.pth 34%[=====> ] 572.47M 11.9MB/s eta 5m 40s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "ki-4k.pth 35%[======> ] 574.99M 11.6MB/s eta 5m 40s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "i-4k.pth 35%[======> ] 577.54M 11.3MB/s eta 5m 40s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-4k.pth 35%[======> ] 580.10M 11.5MB/s eta 5m 40s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "4k.pth 35%[======> ] 582.69M 11.2MB/s eta 5m 31s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "k.pth 35%[======> ] 585.30M 10.9MB/s eta 5m 31s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + ".pth 35%[======> ] 587.05M 10.9MB/s eta 5m 31s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "pth 35%[======> ] 590.71M 10.8MB/s eta 5m 31s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "th 36%[======> ] 592.58M 10.5MB/s eta 5m 24s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "h 36%[======> ] 594.52M 11.0MB/s eta 5m 24s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " 36%[======> ] 596.46M 10.6MB/s eta 5m 24s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v 36%[======> ] 598.43M 10.4MB/s eta 5m 24s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5 36%[======> ] 600.44M 10.2MB/s eta 5m 24s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r 36%[======> ] 602.46M 9.80MB/s eta 5m 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3 36%[======> ] 604.50M 9.55MB/s eta 5m 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3- 36%[======> ] 606.57M 9.29MB/s eta 5m 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L 37%[======> ] 608.66M 9.77MB/s eta 5m 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L1 37%[======> ] 610.75M 9.40MB/s eta 5m 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12 37%[======> ] 612.88M 9.27MB/s eta 5m 11s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12- 37%[======> ] 615.02M 9.19MB/s eta 5m 11s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D 37%[======> ] 617.18M 9.10MB/s eta 5m 11s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2 37%[======> ] 619.33M 9.00MB/s eta 5m 11s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D20 37%[======> ] 621.50M 8.91MB/s eta 5m 11s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D204 37%[======> ] 623.69M 9.09MB/s eta 5m 5s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048 38%[======> ] 625.89M 9.34MB/s eta 5m 5s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048- 38%[======> ] 628.10M 9.05MB/s eta 5m 5s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E 38%[======> ] 630.32M 9.13MB/s eta 5m 5s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0 38%[======> ] 632.54M 9.20MB/s eta 5m 5s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0_ 38%[======> ] 634.77M 9.33MB/s eta 4m 58s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "v5r3-L12-D2048-E0_1 38%[======> ] 634.91M 8.69MB/s eta 4m 58s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "5r3-L12-D2048-E0_1- 38%[======> ] 635.42M 8.32MB/s eta 4m 58s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "r3-L12-D2048-E0_1-e 39%[======> ] 641.49M 9.27MB/s eta 4m 58s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "3-L12-D2048-E0_1-en 39%[======> ] 643.49M 8.54MB/s eta 4m 53s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-L12-D2048-E0_1-enw 39%[======> ] 646.07M 9.05MB/s eta 4m 53s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "L12-D2048-E0_1-enwi 39%[======> ] 647.64M 8.75MB/s eta 4m 53s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "12-D2048-E0_1-enwik 39%[======> ] 649.25M 8.57MB/s eta 4m 53s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2-D2048-E0_1-enwiki 39%[======> ] 650.89M 8.45MB/s eta 4m 53s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-D2048-E0_1-enwiki- 39%[======> ] 652.55M 8.23MB/s eta 4m 48s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "D2048-E0_1-enwiki-4 39%[======> ] 654.24M 8.51MB/s eta 4m 48s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2048-E0_1-enwiki-4k 39%[======> ] 655.96M 8.36MB/s eta 4m 48s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "048-E0_1-enwiki-4k. 40%[=======> ] 657.68M 8.01MB/s eta 4m 48s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "48-E0_1-enwiki-4k.p 40%[=======> ] 658.88M 7.54MB/s eta 4m 45s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "8-E0_1-enwiki-4k.pt 40%[=======> ] 662.04M 7.80MB/s eta 4m 45s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-E0_1-enwiki-4k.pth 40%[=======> ] 663.30M 7.43MB/s eta 4m 45s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "E0_1-enwiki-4k.pth 40%[=======> ] 664.58M 7.60MB/s eta 4m 45s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "0_1-enwiki-4k.pth 40%[=======> ] 665.88M 7.28MB/s eta 4m 45s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "_1-enwiki-4k.pth 40%[=======> ] 667.18M 7.32MB/s eta 4m 41s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "1-enwiki-4k.pth 40%[=======> ] 668.39M 7.50MB/s eta 4m 41s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-enwiki-4k.pth 40%[=======> ] 669.86M 7.08MB/s eta 4m 41s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "enwiki-4k.pth 40%[=======> ] 671.22M 6.57MB/s eta 4m 41s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "nwiki-4k.pth 40%[=======> ] 672.13M 6.73MB/s eta 4m 41s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "wiki-4k.pth 40%[=======> ] 672.91M 6.24MB/s eta 4m 39s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "iki-4k.pth 41%[=======> ] 674.30M 6.20MB/s eta 4m 39s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "ki-4k.pth 41%[=======> ] 675.71M 6.15MB/s eta 4m 39s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "i-4k.pth 41%[=======> ] 677.13M 6.02MB/s eta 4m 39s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-4k.pth 41%[=======> ] 678.57M 5.92MB/s eta 4m 39s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "4k.pth 41%[=======> ] 679.99M 5.95MB/s eta 4m 35s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "k.pth 41%[=======> ] 681.44M 6.23MB/s eta 4m 35s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + ".pth 41%[=======> ] 682.89M 5.68MB/s eta 4m 35s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "pth 41%[=======> ] 684.35M 5.92MB/s eta 4m 35s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "th 41%[=======> ] 685.82M 5.89MB/s eta 4m 35s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "h 41%[=======> ] 687.29M 5.91MB/s eta 4m 32s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " 41%[=======> ] 688.75M 6.09MB/s eta 4m 32s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v 42%[=======> ] 690.24M 6.02MB/s eta 4m 32s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5 42%[=======> ] 691.72M 6.05MB/s eta 4m 32s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r 42%[=======> ] 693.19M 6.16MB/s eta 4m 32s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3 42%[=======> ] 694.69M 6.11MB/s eta 4m 29s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3- 42%[=======> ] 696.18M 6.13MB/s eta 4m 29s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L 42%[=======> ] 697.66M 6.22MB/s eta 4m 29s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L1 42%[=======> ] 699.16M 6.17MB/s eta 4m 29s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12 42%[=======> ] 700.66M 6.26MB/s eta 4m 29s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12- 42%[=======> ] 702.14M 6.20MB/s eta 4m 25s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D 42%[=======> ] 703.64M 6.29MB/s eta 4m 25s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2 42%[=======> ] 705.14M 6.22MB/s eta 4m 25s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D20 43%[=======> ] 706.63M 6.31MB/s eta 4m 25s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D204 43%[=======> ] 708.13M 6.24MB/s eta 4m 25s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048 43%[=======> ] 709.63M 6.10MB/s eta 4m 22s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048- 43%[=======> ] 711.11M 6.33MB/s eta 4m 22s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E 43%[=======> ] 712.60M 6.31MB/s eta 4m 22s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0 43%[=======> ] 714.10M 6.41MB/s eta 4m 22s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0_ 43%[=======> ] 715.60M 6.33MB/s eta 4m 22s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "v5r3-L12-D2048-E0_1 43%[=======> ] 717.08M 6.48MB/s eta 4m 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "5r3-L12-D2048-E0_1- 43%[=======> ] 718.32M 6.35MB/s eta 4m 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "r3-L12-D2048-E0_1-e 43%[=======> ] 719.82M 6.31MB/s eta 4m 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "3-L12-D2048-E0_1-en 43%[=======> ] 721.32M 6.42MB/s eta 4m 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-L12-D2048-E0_1-enw 44%[=======> ] 722.82M 6.35MB/s eta 4m 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "L12-D2048-E0_1-enwi 44%[=======> ] 724.32M 6.47MB/s eta 4m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "12-D2048-E0_1-enwik 44%[=======> ] 725.83M 6.35MB/s eta 4m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2-D2048-E0_1-enwiki 44%[=======> ] 727.33M 6.48MB/s eta 4m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-D2048-E0_1-enwiki- 44%[=======> ] 728.85M 6.37MB/s eta 4m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "D2048-E0_1-enwiki-4 44%[=======> ] 730.36M 6.45MB/s eta 4m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2048-E0_1-enwiki-4k 44%[=======> ] 731.88M 6.41MB/s eta 4m 12s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "048-E0_1-enwiki-4k. 44%[=======> ] 733.41M 6.47MB/s eta 4m 12s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "48-E0_1-enwiki-4k.p 44%[=======> ] 734.94M 6.38MB/s eta 4m 12s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "8-E0_1-enwiki-4k.pt 44%[=======> ] 736.47M 6.49MB/s eta 4m 12s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-E0_1-enwiki-4k.pth 44%[=======> ] 738.02M 6.28MB/s eta 4m 12s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "E0_1-enwiki-4k.pth 45%[========> ] 739.57M 6.52MB/s eta 4m 9s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "0_1-enwiki-4k.pth 45%[========> ] 741.13M 6.31MB/s eta 4m 9s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "_1-enwiki-4k.pth 45%[========> ] 742.71M 6.57MB/s eta 4m 9s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "1-enwiki-4k.pth 45%[========> ] 744.29M 6.36MB/s eta 4m 9s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-enwiki-4k.pth 45%[========> ] 745.88M 6.62MB/s eta 4m 9s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "enwiki-4k.pth 45%[========> ] 747.47M 6.59MB/s eta 4m 5s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "nwiki-4k.pth 45%[========> ] 749.10M 6.73MB/s eta 4m 5s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "wiki-4k.pth 45%[========> ] 750.74M 6.62MB/s eta 4m 5s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "iki-4k.pth 45%[========> ] 752.35M 6.19MB/s eta 4m 5s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "ki-4k.pth 46%[========> ] 755.19M 6.50MB/s eta 4m 2s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "i-4k.pth 46%[========> ] 756.39M 6.63MB/s eta 4m 2s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-4k.pth 46%[========> ] 757.63M 6.39MB/s eta 4m 2s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "4k.pth 46%[========> ] 758.88M 6.54MB/s eta 4m 2s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "k.pth 46%[========> ] 760.18M 6.27MB/s eta 4m 2s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + ".pth 46%[========> ] 760.68M 6.25MB/s eta 4m 0s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "pth 46%[========> ] 761.79M 6.10MB/s eta 4m 0s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "th 46%[========> ] 763.13M 6.12MB/s eta 4m 0s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "h 46%[========> ] 764.52M 5.98MB/s eta 4m 0s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " 46%[========> ] 765.93M 6.00MB/s eta 4m 0s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v 46%[========> ] 767.36M 5.88MB/s eta 3m 58s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5 46%[========> ] 768.83M 5.89MB/s eta 3m 58s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r 46%[========> ] 770.30M 5.78MB/s eta 3m 58s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3 47%[========> ] 771.80M 6.18MB/s eta 3m 58s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3- 47%[========> ] 773.32M 5.65MB/s eta 3m 58s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L 47%[========> ] 774.83M 5.86MB/s eta 3m 55s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L1 47%[========> ] 776.38M 5.82MB/s eta 3m 55s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12 47%[========> ] 777.94M 6.04MB/s eta 3m 55s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12- 47%[========> ] 779.52M 5.99MB/s eta 3m 55s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D 47%[========> ] 781.10M 6.21MB/s eta 3m 55s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2 47%[========> ] 782.68M 6.14MB/s eta 3m 51s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D20 47%[========> ] 784.29M 6.34MB/s eta 3m 51s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D204 47%[========> ] 785.89M 6.27MB/s eta 3m 51s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048 47%[========> ] 787.52M 6.47MB/s eta 3m 51s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048- 48%[========> ] 789.14M 6.38MB/s eta 3m 51s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E 48%[========> ] 790.77M 6.57MB/s eta 3m 48s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0 48%[========> ] 792.41M 6.47MB/s eta 3m 48s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0_ 48%[========> ] 794.05M 6.67MB/s eta 3m 48s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "v5r3-L12-D2048-E0_1 48%[========> ] 795.71M 6.55MB/s eta 3m 48s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "5r3-L12-D2048-E0_1- 48%[========> ] 797.36M 6.74MB/s eta 3m 48s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "r3-L12-D2048-E0_1-e 48%[========> ] 799.02M 6.62MB/s eta 3m 45s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "3-L12-D2048-E0_1-en 48%[========> ] 800.68M 6.80MB/s eta 3m 45s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-L12-D2048-E0_1-enw 48%[========> ] 802.35M 6.68MB/s eta 3m 45s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "L12-D2048-E0_1-enwi 48%[========> ] 804.00M 6.95MB/s eta 3m 45s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "12-D2048-E0_1-enwik 49%[========> ] 805.68M 6.70MB/s eta 3m 45s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2-D2048-E0_1-enwiki 49%[========> ] 807.35M 6.89MB/s eta 3m 42s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-D2048-E0_1-enwiki- 49%[========> ] 809.00M 6.76MB/s eta 3m 42s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "D2048-E0_1-enwiki-4 49%[========> ] 810.68M 7.03MB/s eta 3m 42s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2048-E0_1-enwiki-4k 49%[========> ] 812.35M 6.79MB/s eta 3m 42s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "048-E0_1-enwiki-4k. 49%[========> ] 814.00M 7.07MB/s eta 3m 42s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "48-E0_1-enwiki-4k.p 49%[========> ] 814.54M 6.72MB/s eta 3m 39s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "8-E0_1-enwiki-4k.pt 49%[========> ] 817.08M 7.15MB/s eta 3m 39s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-E0_1-enwiki-4k.pth 49%[========> ] 818.72M 7.10MB/s eta 3m 39s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "E0_1-enwiki-4k.pth 49%[========> ] 820.38M 6.99MB/s eta 3m 39s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "0_1-enwiki-4k.pth 50%[=========> ] 822.04M 7.17MB/s eta 3m 39s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "_1-enwiki-4k.pth 50%[=========> ] 823.64M 7.06MB/s eta 3m 35s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "1-enwiki-4k.pth 50%[=========> ] 824.32M 7.09MB/s eta 3m 35s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-enwiki-4k.pth 50%[=========> ] 825.69M 6.85MB/s eta 3m 35s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "enwiki-4k.pth 50%[=========> ] 827.36M 7.08MB/s eta 3m 35s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "nwiki-4k.pth 50%[=========> ] 829.02M 6.86MB/s eta 3m 35s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "wiki-4k.pth 50%[=========> ] 830.69M 7.08MB/s eta 3m 33s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "iki-4k.pth 50%[=========> ] 832.36M 6.86MB/s eta 3m 33s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "ki-4k.pth 50%[=========> ] 834.05M 7.08MB/s eta 3m 33s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "i-4k.pth 50%[=========> ] 835.72M 6.83MB/s eta 3m 33s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-4k.pth 51%[=========> ] 837.39M 7.21MB/s eta 3m 33s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "4k.pth 51%[=========> ] 838.24M 6.73MB/s eta 3m 30s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "k.pth 51%[=========> ] 841.22M 6.89MB/s eta 3m 30s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + ".pth 51%[=========> ] 842.38M 6.83MB/s eta 3m 30s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "pth 51%[=========> ] 842.83M 6.67MB/s eta 3m 30s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "th 51%[=========> ] 844.00M 6.36MB/s eta 3m 30s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "h 51%[=========> ] 845.29M 6.49MB/s eta 3m 27s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " 51%[=========> ] 846.60M 6.35MB/s eta 3m 27s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v 51%[=========> ] 847.93M 6.37MB/s eta 3m 27s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5 51%[=========> ] 849.13M 6.23MB/s eta 3m 27s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r 51%[=========> ] 850.38M 6.04MB/s eta 3m 27s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3 51%[=========> ] 851.77M 6.13MB/s eta 3m 25s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3- 51%[=========> ] 853.16M 5.99MB/s eta 3m 25s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L 52%[=========> ] 853.86M 6.02MB/s eta 3m 25s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L1 52%[=========> ] 855.08M 5.68MB/s eta 3m 25s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12 52%[=========> ] 856.54M 5.92MB/s eta 3m 25s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12- 52%[=========> ] 858.02M 5.85MB/s eta 3m 23s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D 52%[=========> ] 859.32M 5.82MB/s eta 3m 23s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2 52%[=========> ] 860.72M 6.01MB/s eta 3m 23s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D20 52%[=========> ] 862.19M 5.54MB/s eta 3m 23s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D204 52%[=========> ] 864.88M 6.15MB/s eta 3m 21s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048 52%[=========> ] 865.24M 5.38MB/s eta 3m 21s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048- 52%[=========> ] 867.52M 5.85MB/s eta 3m 21s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E 52%[=========> ] 868.18M 5.61MB/s eta 3m 21s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0 52%[=========> ] 868.97M 5.56MB/s eta 3m 19s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0_ 52%[=========> ] 869.80M 5.36MB/s eta 3m 19s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "v5r3-L12-D2048-E0_1 53%[=========> ] 870.64M 5.18MB/s eta 3m 19s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "5r3-L12-D2048-E0_1- 53%[=========> ] 871.44M 5.10MB/s eta 3m 19s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "r3-L12-D2048-E0_1-e 53%[=========> ] 872.19M 4.89MB/s eta 3m 19s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "3-L12-D2048-E0_1-en 53%[=========> ] 873.04M 4.94MB/s eta 3m 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-L12-D2048-E0_1-enw 53%[=========> ] 873.91M 4.62MB/s eta 3m 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "L12-D2048-E0_1-enwi 53%[=========> ] 874.43M 4.58MB/s eta 3m 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "12-D2048-E0_1-enwik 53%[=========> ] 875.08M 4.35MB/s eta 3m 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2-D2048-E0_1-enwiki 53%[=========> ] 876.00M 4.20MB/s eta 3m 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-D2048-E0_1-enwiki- 53%[=========> ] 876.93M 4.32MB/s eta 3m 17s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "D2048-E0_1-enwiki-4 53%[=========> ] 877.85M 3.78MB/s eta 3m 17s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2048-E0_1-enwiki-4k 53%[=========> ] 878.79M 4.20MB/s eta 3m 17s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "048-E0_1-enwiki-4k. 53%[=========> ] 879.72M 3.75MB/s eta 3m 17s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "48-E0_1-enwiki-4k.p 53%[=========> ] 880.68M 3.71MB/s eta 3m 17s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "8-E0_1-enwiki-4k.pt 53%[=========> ] 881.63M 3.84MB/s eta 3m 16s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-E0_1-enwiki-4k.pth 53%[=========> ] 882.58M 3.48MB/s eta 3m 16s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "E0_1-enwiki-4k.pth 53%[=========> ] 884.19M 3.56MB/s eta 3m 16s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "0_1-enwiki-4k.pth 53%[=========> ] 885.36M 3.60MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "_1-enwiki-4k.pth 53%[=========> ] 885.85M 3.49MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "1-enwiki-4k.pth 53%[=========> ] 886.35M 3.43MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-enwiki-4k.pth 54%[=========> ] 886.85M 3.32MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "enwiki-4k.pth 54%[=========> ] 887.36M 3.32MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "nwiki-4k.pth 54%[=========> ] 887.86M 3.22MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "wiki-4k.pth 54%[=========> ] 888.33M 3.15MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "iki-4k.pth 54%[=========> ] 888.85M 3.03MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "ki-4k.pth 54%[=========> ] 889.39M 2.91MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "i-4k.pth 54%[=========> ] 889.94M 2.83MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-4k.pth 54%[=========> ] 890.50M 2.75MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "4k.pth 54%[=========> ] 890.72M 2.43MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "k.pth 54%[=========> ] 891.96M 2.50MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + ".pth 54%[=========> ] 892.36M 2.34MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "pth 54%[=========> ] 892.79M 2.37MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "th 54%[=========> ] 892.88M 1.96MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "h 54%[=========> ] 893.61M 2.03MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " 54%[=========> ] 893.91M 2.02MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v 54%[=========> ] 894.22M 1.93MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5 54%[=========> ] 894.55M 1.88MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r 54%[=========> ] 894.88M 1.85MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3 54%[=========> ] 895.21M 1.78MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3- 54%[=========> ] 895.55M 1.74MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L 54%[=========> ] 895.89M 1.67MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L1 54%[=========> ] 896.24M 1.64MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12 54%[=========> ] 896.58M 1.57MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12- 54%[=========> ] 896.94M 1.50MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D 54%[=========> ] 897.30M 1.50MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2 54%[=========> ] 897.66M 1.46MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D20 54%[=========> ] 898.00M 1.57MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D204 54%[=========> ] 898.38M 1.44MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048 54%[=========> ] 898.74M 1.44MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048- 54%[=========> ] 899.10M 1.48MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E 54%[=========> ] 899.46M 1.47MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0 54%[=========> ] 899.82M 1.46MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0_ 54%[=========> ] 900.18M 1.48MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "v5r3-L12-D2048-E0_1 54%[=========> ] 900.54M 1.47MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "5r3-L12-D2048-E0_1- 54%[=========> ] 900.89M 1.52MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "r3-L12-D2048-E0_1-e 54%[=========> ] 901.25M 1.50MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "3-L12-D2048-E0_1-en 54%[=========> ] 901.58M 1.54MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-L12-D2048-E0_1-enw 54%[=========> ] 901.89M 1.53MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "L12-D2048-E0_1-enwi 54%[=========> ] 902.25M 1.51MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "12-D2048-E0_1-enwik 54%[=========> ] 902.63M 1.54MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2-D2048-E0_1-enwiki 55%[==========> ] 902.99M 1.53MB/s eta 3m 16s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-D2048-E0_1-enwiki- 55%[==========> ] 903.35M 1.56MB/s eta 3m 16s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "D2048-E0_1-enwiki-4 55%[==========> ] 903.72M 1.54MB/s eta 3m 16s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2048-E0_1-enwiki-4k 55%[==========> ] 904.08M 1.54MB/s eta 3m 16s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "048-E0_1-enwiki-4k. 55%[==========> ] 904.46M 1.56MB/s eta 3m 16s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "48-E0_1-enwiki-4k.p 55%[==========> ] 904.82M 1.54MB/s eta 3m 16s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "8-E0_1-enwiki-4k.pt 55%[==========> ] 905.19M 1.58MB/s eta 3m 16s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-E0_1-enwiki-4k.pth 55%[==========> ] 905.58M 1.58MB/s eta 3m 16s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "E0_1-enwiki-4k.pth 55%[==========> ] 905.96M 1.56MB/s eta 3m 16s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "0_1-enwiki-4k.pth 55%[==========> ] 906.35M 1.59MB/s eta 3m 16s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "_1-enwiki-4k.pth 55%[==========> ] 906.74M 1.58MB/s eta 3m 16s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "1-enwiki-4k.pth 55%[==========> ] 907.13M 1.62MB/s eta 3m 16s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-enwiki-4k.pth 55%[==========> ] 907.54M 1.62MB/s eta 3m 16s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "enwiki-4k.pth 55%[==========> ] 907.94M 1.59MB/s eta 3m 16s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "nwiki-4k.pth 55%[==========> ] 908.36M 1.65MB/s eta 3m 16s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "wiki-4k.pth 55%[==========> ] 908.79M 1.65MB/s eta 3m 16s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "iki-4k.pth 55%[==========> ] 909.22M 1.70MB/s eta 3m 16s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "ki-4k.pth 55%[==========> ] 909.68M 1.70MB/s eta 3m 16s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "i-4k.pth 55%[==========> ] 910.13M 1.70MB/s eta 3m 16s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-4k.pth 55%[==========> ] 910.60M 1.75MB/s eta 3m 16s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "4k.pth 55%[==========> ] 911.10M 1.79MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "k.pth 55%[==========> ] 911.60M 1.86MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + ".pth 55%[==========> ] 912.11M 1.87MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "pth 55%[==========> ] 912.64M 1.89MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "th 55%[==========> ] 913.21M 1.97MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "h 55%[==========> ] 913.79M 1.99MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " 55%[==========> ] 914.38M 2.08MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v 55%[==========> ] 915.00M 2.12MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5 55%[==========> ] 915.64M 2.21MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r 55%[==========> ] 916.32M 2.26MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3 55%[==========> ] 917.00M 2.37MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3- 55%[==========> ] 917.74M 2.42MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L 55%[==========> ] 918.49M 2.54MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L1 56%[==========> ] 919.27M 2.63MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12 56%[==========> ] 920.10M 2.77MB/s eta 3m 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12- 56%[==========> ] 920.96M 2.85MB/s eta 3m 14s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D 56%[==========> ] 921.85M 3.01MB/s eta 3m 14s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2 56%[==========> ] 922.79M 3.09MB/s eta 3m 14s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D20 56%[==========> ] 923.75M 3.26MB/s eta 3m 14s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D204 56%[==========> ] 924.77M 3.35MB/s eta 3m 14s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048 56%[==========> ] 925.83M 3.47MB/s eta 3m 12s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048- 56%[==========> ] 926.27M 3.50MB/s eta 3m 12s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E 56%[==========> ] 927.27M 3.57MB/s eta 3m 12s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0 56%[==========> ] 928.44M 3.79MB/s eta 3m 12s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0_ 56%[==========> ] 929.63M 3.93MB/s eta 3m 12s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "v5r3-L12-D2048-E0_1 56%[==========> ] 930.83M 4.15MB/s eta 3m 11s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "5r3-L12-D2048-E0_1- 56%[==========> ] 932.14M 4.30MB/s eta 3m 11s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "r3-L12-D2048-E0_1-e 56%[==========> ] 933.46M 4.57MB/s eta 3m 11s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "3-L12-D2048-E0_1-en 56%[==========> ] 934.80M 4.68MB/s eta 3m 11s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-L12-D2048-E0_1-enw 57%[==========> ] 936.21M 4.82MB/s eta 3m 11s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "L12-D2048-E0_1-enwi 57%[==========> ] 937.75M 5.13MB/s eta 3m 8s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "12-D2048-E0_1-enwik 57%[==========> ] 939.38M 5.32MB/s eta 3m 8s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2-D2048-E0_1-enwiki 57%[==========> ] 940.04M 5.35MB/s eta 3m 8s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-D2048-E0_1-enwiki- 57%[==========> ] 941.57M 5.55MB/s eta 3m 8s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "D2048-E0_1-enwiki-4 57%[==========> ] 943.33M 5.91MB/s eta 3m 8s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2048-E0_1-enwiki-4k 57%[==========> ] 945.04M 6.09MB/s eta 3m 6s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "048-E0_1-enwiki-4k. 57%[==========> ] 946.97M 6.23MB/s eta 3m 6s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "48-E0_1-enwiki-4k.p 57%[==========> ] 948.97M 6.66MB/s eta 3m 6s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "8-E0_1-enwiki-4k.pt 57%[==========> ] 950.96M 6.88MB/s eta 3m 6s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-E0_1-enwiki-4k.pth 58%[==========> ] 952.97M 7.26MB/s eta 3m 6s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "E0_1-enwiki-4k.pth 58%[==========> ] 955.11M 7.48MB/s eta 3m 2s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "0_1-enwiki-4k.pth 58%[==========> ] 957.44M 8.00MB/s eta 3m 2s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "_1-enwiki-4k.pth 58%[==========> ] 958.36M 7.80MB/s eta 3m 2s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "1-enwiki-4k.pth 58%[==========> ] 960.55M 7.92MB/s eta 3m 2s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-enwiki-4k.pth 58%[==========> ] 963.10M 8.40MB/s eta 3m 2s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "enwiki-4k.pth 58%[==========> ] 965.74M 8.62MB/s eta 2m 58s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "nwiki-4k.pth 59%[==========> ] 968.47M 9.09MB/s eta 2m 58s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "wiki-4k.pth 59%[==========> ] 971.32M 9.30MB/s eta 2m 58s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "iki-4k.pth 59%[==========> ] 974.27M 9.82MB/s eta 2m 58s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "ki-4k.pth 59%[==========> ] 977.36M 10.1MB/s eta 2m 58s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "i-4k.pth 59%[==========> ] 980.57M 10.6MB/s eta 2m 52s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-4k.pth 59%[==========> ] 983.00M 10.7MB/s eta 2m 52s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "4k.pth 60%[===========> ] 986.29M 11.3MB/s eta 2m 52s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "k.pth 60%[===========> ] 989.66M 11.5MB/s eta 2m 52s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + ".pth 60%[===========> ] 993.21M 12.0MB/s eta 2m 52s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "pth 60%[===========> ] 996.86M 12.4MB/s eta 2m 46s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "th 60%[===========> ] 1001M 12.9MB/s eta 2m 46s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "h 61%[===========> ] 1004M 13.0MB/s eta 2m 46s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " 61%[===========> ] 1008M 13.5MB/s eta 2m 46s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v 61%[===========> ] 1012M 13.6MB/s eta 2m 40s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5 61%[===========> ] 1016M 13.8MB/s eta 2m 40s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r 62%[===========> ] 1020M 14.0MB/s eta 2m 40s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3 62%[===========> ] 1023M 14.1MB/s eta 2m 40s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3- 62%[===========> ] 1.00G 14.0MB/s eta 2m 40s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L 62%[===========> ] 1.00G 14.2MB/s eta 2m 34s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L1 62%[===========> ] 1.01G 14.4MB/s eta 2m 34s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12 63%[===========> ] 1.01G 14.5MB/s eta 2m 34s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12- 63%[===========> ] 1.01G 13.6MB/s eta 2m 34s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D 63%[===========> ] 1.02G 13.9MB/s eta 2m 29s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2 63%[===========> ] 1.02G 13.7MB/s eta 2m 29s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D20 63%[===========> ] 1.02G 13.7MB/s eta 2m 29s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D204 64%[===========> ] 1.03G 13.7MB/s eta 2m 29s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048 64%[===========> ] 1.03G 13.5MB/s eta 2m 29s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048- 64%[===========> ] 1.03G 13.6MB/s eta 2m 23s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E 64%[===========> ] 1.04G 13.7MB/s eta 2m 23s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0 64%[===========> ] 1.04G 13.6MB/s eta 2m 23s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0_ 65%[============> ] 1.04G 13.4MB/s eta 2m 23s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "v5r3-L12-D2048-E0_1 65%[============> ] 1.05G 13.4MB/s eta 2m 23s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "5r3-L12-D2048-E0_1- 65%[============> ] 1.05G 13.3MB/s eta 2m 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "r3-L12-D2048-E0_1-e 65%[============> ] 1.05G 13.5MB/s eta 2m 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "3-L12-D2048-E0_1-en 65%[============> ] 1.06G 13.3MB/s eta 2m 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-L12-D2048-E0_1-enw 66%[============> ] 1.06G 13.3MB/s eta 2m 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "L12-D2048-E0_1-enwi 66%[============> ] 1.06G 13.5MB/s eta 2m 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "12-D2048-E0_1-enwik 66%[============> ] 1.07G 13.7MB/s eta 2m 12s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2-D2048-E0_1-enwiki 66%[============> ] 1.07G 13.7MB/s eta 2m 12s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-D2048-E0_1-enwiki- 67%[============> ] 1.08G 13.6MB/s eta 2m 12s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "D2048-E0_1-enwiki-4 67%[============> ] 1.08G 13.7MB/s eta 2m 12s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2048-E0_1-enwiki-4k 67%[============> ] 1.08G 14.6MB/s eta 2m 12s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "048-E0_1-enwiki-4k. 67%[============> ] 1.09G 14.5MB/s eta 2m 6s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "48-E0_1-enwiki-4k.p 68%[============> ] 1.09G 14.7MB/s eta 2m 6s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "8-E0_1-enwiki-4k.pt 68%[============> ] 1.09G 14.8MB/s eta 2m 6s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-E0_1-enwiki-4k.pth 68%[============> ] 1.09G 13.8MB/s eta 2m 6s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "E0_1-enwiki-4k.pth 68%[============> ] 1.10G 13.9MB/s eta 2m 2s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "0_1-enwiki-4k.pth 68%[============> ] 1.10G 13.8MB/s eta 2m 2s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "_1-enwiki-4k.pth 68%[============> ] 1.10G 13.5MB/s eta 2m 2s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "1-enwiki-4k.pth 69%[============> ] 1.11G 13.6MB/s eta 2m 2s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-enwiki-4k.pth 69%[============> ] 1.11G 12.6MB/s eta 1m 59s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "enwiki-4k.pth 69%[============> ] 1.11G 12.1MB/s eta 1m 59s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "nwiki-4k.pth 69%[============> ] 1.11G 11.7MB/s eta 1m 59s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "wiki-4k.pth 69%[============> ] 1.12G 11.3MB/s eta 1m 59s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "iki-4k.pth 69%[============> ] 1.12G 10.9MB/s eta 1m 56s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "ki-4k.pth 69%[============> ] 1.12G 10.5MB/s eta 1m 56s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "i-4k.pth 69%[============> ] 1.12G 10.0MB/s eta 1m 56s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-4k.pth 70%[=============> ] 1.12G 9.64MB/s eta 1m 56s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "4k.pth 70%[=============> ] 1.12G 9.20MB/s eta 1m 56s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "k.pth 70%[=============> ] 1.12G 8.79MB/s eta 1m 54s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + ".pth 70%[=============> ] 1.13G 8.39MB/s eta 1m 54s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "pth 70%[=============> ] 1.13G 7.98MB/s eta 1m 54s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "th 70%[=============> ] 1.13G 7.58MB/s eta 1m 54s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "h 70%[=============> ] 1.13G 8.05MB/s eta 1m 54s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " 70%[=============> ] 1.13G 7.63MB/s eta 1m 52s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v 70%[=============> ] 1.14G 7.39MB/s eta 1m 52s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5 70%[=============> ] 1.14G 7.30MB/s eta 1m 52s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r 71%[=============> ] 1.14G 7.55MB/s eta 1m 52s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3 71%[=============> ] 1.14G 7.13MB/s eta 1m 52s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3- 71%[=============> ] 1.14G 7.33MB/s eta 1m 49s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L 71%[=============> ] 1.14G 7.35MB/s eta 1m 49s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L1 71%[=============> ] 1.15G 7.16MB/s eta 1m 49s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12 71%[=============> ] 1.15G 7.22MB/s eta 1m 49s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12- 71%[=============> ] 1.15G 7.27MB/s eta 1m 49s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D 71%[=============> ] 1.15G 7.32MB/s eta 1m 47s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2 71%[=============> ] 1.15G 7.36MB/s eta 1m 47s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D20 72%[=============> ] 1.15G 7.41MB/s eta 1m 47s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D204 72%[=============> ] 1.16G 7.44MB/s eta 1m 47s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048 72%[=============> ] 1.16G 7.48MB/s eta 1m 47s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048- 72%[=============> ] 1.16G 7.51MB/s eta 1m 44s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E 72%[=============> ] 1.16G 7.54MB/s eta 1m 44s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0 72%[=============> ] 1.16G 7.56MB/s eta 1m 44s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0_ 72%[=============> ] 1.17G 7.58MB/s eta 1m 44s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "v5r3-L12-D2048-E0_1 72%[=============> ] 1.17G 7.60MB/s eta 1m 44s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "5r3-L12-D2048-E0_1- 72%[=============> ] 1.17G 7.61MB/s eta 1m 42s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "r3-L12-D2048-E0_1-e 73%[=============> ] 1.17G 7.63MB/s eta 1m 42s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "3-L12-D2048-E0_1-en 73%[=============> ] 1.17G 7.64MB/s eta 1m 42s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-L12-D2048-E0_1-enw 73%[=============> ] 1.17G 7.65MB/s eta 1m 42s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "L12-D2048-E0_1-enwi 73%[=============> ] 1.18G 7.66MB/s eta 1m 42s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "12-D2048-E0_1-enwik 73%[=============> ] 1.18G 7.70MB/s eta 1m 40s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2-D2048-E0_1-enwiki 73%[=============> ] 1.18G 7.67MB/s eta 1m 40s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-D2048-E0_1-enwiki- 73%[=============> ] 1.18G 7.68MB/s eta 1m 40s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "D2048-E0_1-enwiki-4 73%[=============> ] 1.18G 7.68MB/s eta 1m 40s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2048-E0_1-enwiki-4k 73%[=============> ] 1.18G 7.70MB/s eta 1m 40s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "048-E0_1-enwiki-4k. 74%[=============> ] 1.19G 7.70MB/s eta 97s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "48-E0_1-enwiki-4k.p 74%[=============> ] 1.19G 7.71MB/s eta 97s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "8-E0_1-enwiki-4k.pt 74%[=============> ] 1.19G 7.71MB/s eta 97s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-E0_1-enwiki-4k.pth 74%[=============> ] 1.19G 7.71MB/s eta 97s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "E0_1-enwiki-4k.pth 74%[=============> ] 1.19G 7.71MB/s eta 97s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "0_1-enwiki-4k.pth 74%[=============> ] 1.20G 7.72MB/s eta 95s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "_1-enwiki-4k.pth 74%[=============> ] 1.20G 7.72MB/s eta 95s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "1-enwiki-4k.pth 74%[=============> ] 1.20G 7.73MB/s eta 95s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-enwiki-4k.pth 74%[=============> ] 1.20G 7.74MB/s eta 95s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "enwiki-4k.pth 75%[==============> ] 1.20G 7.75MB/s eta 95s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "nwiki-4k.pth 75%[==============> ] 1.20G 7.75MB/s eta 92s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "wiki-4k.pth 75%[==============> ] 1.21G 7.76MB/s eta 92s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "iki-4k.pth 75%[==============> ] 1.21G 7.75MB/s eta 92s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "ki-4k.pth 75%[==============> ] 1.21G 7.59MB/s eta 92s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "i-4k.pth 75%[==============> ] 1.21G 7.88MB/s eta 90s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-4k.pth 75%[==============> ] 1.21G 7.76MB/s eta 90s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "4k.pth 75%[==============> ] 1.21G 7.55MB/s eta 90s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "k.pth 75%[==============> ] 1.22G 7.38MB/s eta 90s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + ".pth 76%[==============> ] 1.22G 7.16MB/s eta 90s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "pth 76%[==============> ] 1.22G 7.43MB/s eta 89s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "th 76%[==============> ] 1.22G 7.16MB/s eta 89s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "h 76%[==============> ] 1.22G 7.14MB/s eta 89s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " 76%[==============> ] 1.22G 6.97MB/s eta 89s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v 76%[==============> ] 1.22G 6.79MB/s eta 89s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5 76%[==============> ] 1.23G 6.64MB/s eta 87s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r 76%[==============> ] 1.23G 6.90MB/s eta 87s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3 76%[==============> ] 1.23G 6.85MB/s eta 87s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3- 76%[==============> ] 1.23G 6.56MB/s eta 87s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L 76%[==============> ] 1.23G 6.39MB/s eta 87s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L1 77%[==============> ] 1.23G 6.72MB/s eta 85s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12 77%[==============> ] 1.24G 6.60MB/s eta 85s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12- 77%[==============> ] 1.24G 6.74MB/s eta 85s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D 77%[==============> ] 1.24G 6.93MB/s eta 85s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2 77%[==============> ] 1.24G 6.97MB/s eta 85s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D20 77%[==============> ] 1.24G 6.98MB/s eta 83s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D204 77%[==============> ] 1.25G 7.20MB/s eta 83s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048 77%[==============> ] 1.25G 7.22MB/s eta 83s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048- 77%[==============> ] 1.25G 6.76MB/s eta 83s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E 78%[==============> ] 1.25G 7.17MB/s eta 81s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0 78%[==============> ] 1.25G 6.95MB/s eta 81s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0_ 78%[==============> ] 1.25G 7.04MB/s eta 81s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "v5r3-L12-D2048-E0_1 78%[==============> ] 1.25G 6.91MB/s eta 81s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "5r3-L12-D2048-E0_1- 78%[==============> ] 1.25G 6.69MB/s eta 81s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "r3-L12-D2048-E0_1-e 78%[==============> ] 1.26G 6.76MB/s eta 79s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "3-L12-D2048-E0_1-en 78%[==============> ] 1.26G 6.60MB/s eta 79s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-L12-D2048-E0_1-enw 78%[==============> ] 1.26G 6.59MB/s eta 79s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "L12-D2048-E0_1-enwi 78%[==============> ] 1.26G 6.51MB/s eta 79s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "12-D2048-E0_1-enwik 78%[==============> ] 1.26G 6.29MB/s eta 79s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2-D2048-E0_1-enwiki 78%[==============> ] 1.26G 6.35MB/s eta 78s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-D2048-E0_1-enwiki- 78%[==============> ] 1.26G 5.71MB/s eta 78s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "D2048-E0_1-enwiki-4 79%[==============> ] 1.27G 6.10MB/s eta 78s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2048-E0_1-enwiki-4k 79%[==============> ] 1.27G 6.11MB/s eta 78s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "048-E0_1-enwiki-4k. 79%[==============> ] 1.27G 5.80MB/s eta 78s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "48-E0_1-enwiki-4k.p 79%[==============> ] 1.27G 6.01MB/s eta 76s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "8-E0_1-enwiki-4k.pt 79%[==============> ] 1.27G 5.55MB/s eta 76s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-E0_1-enwiki-4k.pth 79%[==============> ] 1.27G 5.46MB/s eta 76s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "E0_1-enwiki-4k.pth 79%[==============> ] 1.27G 5.40MB/s eta 76s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "0_1-enwiki-4k.pth 79%[==============> ] 1.27G 5.16MB/s eta 76s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "_1-enwiki-4k.pth 79%[==============> ] 1.27G 5.23MB/s eta 75s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "1-enwiki-4k.pth 79%[==============> ] 1.28G 5.03MB/s eta 75s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-enwiki-4k.pth 79%[==============> ] 1.28G 5.18MB/s eta 75s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "enwiki-4k.pth 79%[==============> ] 1.28G 4.98MB/s eta 75s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "nwiki-4k.pth 79%[==============> ] 1.28G 5.05MB/s eta 75s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "wiki-4k.pth 79%[==============> ] 1.28G 4.88MB/s eta 74s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "iki-4k.pth 79%[==============> ] 1.28G 4.82MB/s eta 74s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "ki-4k.pth 80%[===============> ] 1.28G 4.88MB/s eta 74s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "i-4k.pth 80%[===============> ] 1.28G 4.81MB/s eta 74s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-4k.pth 80%[===============> ] 1.28G 4.89MB/s eta 74s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "4k.pth 80%[===============> ] 1.29G 4.91MB/s eta 72s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "k.pth 80%[===============> ] 1.29G 4.97MB/s eta 72s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + ".pth 80%[===============> ] 1.29G 5.09MB/s eta 72s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "pth 80%[===============> ] 1.29G 5.06MB/s eta 72s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "th 80%[===============> ] 1.29G 5.28MB/s eta 72s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "h 80%[===============> ] 1.29G 5.21MB/s eta 71s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " 80%[===============> ] 1.29G 5.17MB/s eta 71s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v 80%[===============> ] 1.29G 5.27MB/s eta 71s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5 80%[===============> ] 1.29G 4.79MB/s eta 71s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r 80%[===============> ] 1.30G 5.16MB/s eta 70s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3 80%[===============> ] 1.30G 4.94MB/s eta 70s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3- 81%[===============> ] 1.30G 4.84MB/s eta 70s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L 81%[===============> ] 1.30G 4.91MB/s eta 70s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L1 81%[===============> ] 1.30G 4.68MB/s eta 70s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12 81%[===============> ] 1.30G 4.68MB/s eta 69s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12- 81%[===============> ] 1.30G 4.76MB/s eta 69s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D 81%[===============> ] 1.30G 4.54MB/s eta 69s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2 81%[===============> ] 1.30G 4.52MB/s eta 69s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D20 81%[===============> ] 1.30G 4.49MB/s eta 69s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D204 81%[===============> ] 1.31G 4.41MB/s eta 68s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048 81%[===============> ] 1.31G 4.42MB/s eta 68s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048- 81%[===============> ] 1.31G 4.29MB/s eta 68s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E 81%[===============> ] 1.31G 4.34MB/s eta 68s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0 81%[===============> ] 1.31G 4.68MB/s eta 68s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0_ 81%[===============> ] 1.31G 4.47MB/s eta 66s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "v5r3-L12-D2048-E0_1 81%[===============> ] 1.31G 4.56MB/s eta 66s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "5r3-L12-D2048-E0_1- 82%[===============> ] 1.31G 4.52MB/s eta 66s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "r3-L12-D2048-E0_1-e 82%[===============> ] 1.32G 4.70MB/s eta 66s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "3-L12-D2048-E0_1-en 82%[===============> ] 1.32G 4.76MB/s eta 66s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-L12-D2048-E0_1-enw 82%[===============> ] 1.32G 4.66MB/s eta 65s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "L12-D2048-E0_1-enwi 82%[===============> ] 1.32G 4.88MB/s eta 65s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "12-D2048-E0_1-enwik 82%[===============> ] 1.32G 4.85MB/s eta 65s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2-D2048-E0_1-enwiki 82%[===============> ] 1.32G 4.97MB/s eta 65s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-D2048-E0_1-enwiki- 82%[===============> ] 1.32G 4.85MB/s eta 65s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "D2048-E0_1-enwiki-4 82%[===============> ] 1.32G 5.10MB/s eta 64s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2048-E0_1-enwiki-4k 82%[===============> ] 1.33G 5.03MB/s eta 64s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "048-E0_1-enwiki-4k. 82%[===============> ] 1.33G 5.16MB/s eta 64s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "48-E0_1-enwiki-4k.p 82%[===============> ] 1.33G 5.14MB/s eta 64s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "8-E0_1-enwiki-4k.pt 82%[===============> ] 1.33G 5.04MB/s eta 64s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-E0_1-enwiki-4k.pth 82%[===============> ] 1.33G 5.14MB/s eta 62s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "E0_1-enwiki-4k.pth 83%[===============> ] 1.33G 5.09MB/s eta 62s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "0_1-enwiki-4k.pth 83%[===============> ] 1.33G 5.28MB/s eta 62s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "_1-enwiki-4k.pth 83%[===============> ] 1.33G 5.24MB/s eta 62s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "1-enwiki-4k.pth 83%[===============> ] 1.33G 5.17MB/s eta 62s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-enwiki-4k.pth 83%[===============> ] 1.34G 5.26MB/s eta 61s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "enwiki-4k.pth 83%[===============> ] 1.34G 5.19MB/s eta 61s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "nwiki-4k.pth 83%[===============> ] 1.34G 5.28MB/s eta 61s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "wiki-4k.pth 83%[===============> ] 1.34G 5.16MB/s eta 61s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "iki-4k.pth 83%[===============> ] 1.34G 5.29MB/s eta 61s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "ki-4k.pth 83%[===============> ] 1.34G 5.17MB/s eta 59s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "i-4k.pth 83%[===============> ] 1.34G 5.29MB/s eta 59s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-4k.pth 83%[===============> ] 1.34G 5.18MB/s eta 59s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "4k.pth 83%[===============> ] 1.35G 5.35MB/s eta 59s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "k.pth 84%[===============> ] 1.35G 5.25MB/s eta 59s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + ".pth 84%[===============> ] 1.35G 5.22MB/s eta 58s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "pth 84%[===============> ] 1.35G 5.30MB/s eta 58s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "th 84%[===============> ] 1.35G 5.22MB/s eta 58s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "h 84%[===============> ] 1.35G 5.34MB/s eta 58s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " 84%[===============> ] 1.35G 5.23MB/s eta 58s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v 84%[===============> ] 1.35G 5.42MB/s eta 56s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5 84%[===============> ] 1.36G 5.42MB/s eta 56s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r 84%[===============> ] 1.36G 5.32MB/s eta 56s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3 84%[===============> ] 1.36G 5.32MB/s eta 56s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3- 84%[===============> ] 1.36G 5.28MB/s eta 56s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L 84%[===============> ] 1.36G 5.22MB/s eta 55s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L1 84%[===============> ] 1.36G 5.29MB/s eta 55s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12 84%[===============> ] 1.36G 5.21MB/s eta 55s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12- 85%[================> ] 1.36G 5.35MB/s eta 55s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D 85%[================> ] 1.36G 5.27MB/s eta 55s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2 85%[================> ] 1.37G 5.38MB/s eta 54s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D20 85%[================> ] 1.37G 5.41MB/s eta 54s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D204 85%[================> ] 1.37G 5.50MB/s eta 54s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048 85%[================> ] 1.37G 5.60MB/s eta 54s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048- 85%[================> ] 1.37G 5.53MB/s eta 54s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E 85%[================> ] 1.37G 5.54MB/s eta 52s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0 85%[================> ] 1.37G 5.46MB/s eta 52s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0_ 85%[================> ] 1.37G 5.55MB/s eta 52s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "v5r3-L12-D2048-E0_1 85%[================> ] 1.38G 5.54MB/s eta 52s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "5r3-L12-D2048-E0_1- 85%[================> ] 1.38G 5.52MB/s eta 52s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "r3-L12-D2048-E0_1-e 85%[================> ] 1.38G 5.73MB/s eta 51s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "3-L12-D2048-E0_1-en 86%[================> ] 1.38G 5.74MB/s eta 51s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-L12-D2048-E0_1-enw 86%[================> ] 1.38G 5.76MB/s eta 51s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "L12-D2048-E0_1-enwi 86%[================> ] 1.38G 6.05MB/s eta 51s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "12-D2048-E0_1-enwik 86%[================> ] 1.38G 6.01MB/s eta 51s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2-D2048-E0_1-enwiki 86%[================> ] 1.38G 6.04MB/s eta 49s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-D2048-E0_1-enwiki- 86%[================> ] 1.39G 6.20MB/s eta 49s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "D2048-E0_1-enwiki-4 86%[================> ] 1.39G 6.03MB/s eta 49s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2048-E0_1-enwiki-4k 86%[================> ] 1.39G 6.21MB/s eta 49s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "048-E0_1-enwiki-4k. 86%[================> ] 1.39G 6.20MB/s eta 49s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "48-E0_1-enwiki-4k.p 86%[================> ] 1.39G 6.50MB/s eta 48s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "8-E0_1-enwiki-4k.pt 86%[================> ] 1.39G 6.51MB/s eta 48s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-E0_1-enwiki-4k.pth 87%[================> ] 1.39G 6.65MB/s eta 48s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "E0_1-enwiki-4k.pth 87%[================> ] 1.40G 7.11MB/s eta 48s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "0_1-enwiki-4k.pth 87%[================> ] 1.40G 6.77MB/s eta 48s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "_1-enwiki-4k.pth 87%[================> ] 1.40G 6.93MB/s eta 46s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "1-enwiki-4k.pth 87%[================> ] 1.40G 6.87MB/s eta 46s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-enwiki-4k.pth 87%[================> ] 1.40G 7.03MB/s eta 46s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "enwiki-4k.pth 87%[================> ] 1.40G 7.15MB/s eta 46s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "nwiki-4k.pth 87%[================> ] 1.41G 7.37MB/s eta 46s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "wiki-4k.pth 87%[================> ] 1.41G 7.27MB/s eta 44s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "iki-4k.pth 87%[================> ] 1.41G 7.74MB/s eta 44s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "ki-4k.pth 88%[================> ] 1.41G 8.05MB/s eta 44s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "i-4k.pth 88%[================> ] 1.41G 8.00MB/s eta 44s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-4k.pth 88%[================> ] 1.42G 8.24MB/s eta 44s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "4k.pth 88%[================> ] 1.42G 8.18MB/s eta 42s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "k.pth 88%[================> ] 1.42G 8.37MB/s eta 42s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + ".pth 88%[================> ] 1.42G 8.58MB/s eta 42s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "pth 88%[================> ] 1.42G 8.86MB/s eta 42s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "th 88%[================> ] 1.43G 9.26MB/s eta 42s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "h 89%[================> ] 1.43G 9.46MB/s eta 39s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " 89%[================> ] 1.43G 9.86MB/s eta 39s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v 89%[================> ] 1.43G 9.82MB/s eta 39s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5 89%[================> ] 1.44G 10.0MB/s eta 39s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r 89%[================> ] 1.44G 10.4MB/s eta 39s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3 89%[================> ] 1.44G 9.95MB/s eta 36s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3- 89%[================> ] 1.44G 10.5MB/s eta 36s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L 90%[=================> ] 1.44G 10.5MB/s eta 36s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L1 90%[=================> ] 1.45G 10.6MB/s eta 36s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12 90%[=================> ] 1.45G 10.9MB/s eta 36s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12- 90%[=================> ] 1.45G 11.3MB/s eta 33s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D 90%[=================> ] 1.46G 11.3MB/s eta 33s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2 91%[=================> ] 1.46G 11.6MB/s eta 33s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D20 91%[=================> ] 1.46G 12.0MB/s eta 33s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D204 91%[=================> ] 1.47G 12.1MB/s eta 33s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048 91%[=================> ] 1.47G 12.4MB/s eta 29s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048- 92%[=================> ] 1.47G 12.8MB/s eta 29s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E 92%[=================> ] 1.48G 12.9MB/s eta 29s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0 92%[=================> ] 1.48G 13.2MB/s eta 29s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2048-E0_ 92%[=================> ] 1.49G 12.7MB/s eta 25s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "v5r3-L12-D2048-E0_1 92%[=================> ] 1.49G 12.8MB/s eta 25s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "5r3-L12-D2048-E0_1- 93%[=================> ] 1.49G 12.8MB/s eta 25s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "r3-L12-D2048-E0_1-e 93%[=================> ] 1.49G 13.0MB/s eta 25s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "3-L12-D2048-E0_1-en 93%[=================> ] 1.50G 13.1MB/s eta 25s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-L12-D2048-E0_1-enw 93%[=================> ] 1.50G 13.2MB/s eta 22s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "L12-D2048-E0_1-enwi 93%[=================> ] 1.50G 13.3MB/s eta 22s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "12-D2048-E0_1-enwik 94%[=================> ] 1.51G 13.4MB/s eta 22s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2-D2048-E0_1-enwiki 94%[=================> ] 1.51G 13.4MB/s eta 22s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-D2048-E0_1-enwiki- 94%[=================> ] 1.51G 13.5MB/s eta 22s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "D2048-E0_1-enwiki-4 94%[=================> ] 1.52G 13.5MB/s eta 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "2048-E0_1-enwiki-4k 94%[=================> ] 1.52G 13.5MB/s eta 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "048-E0_1-enwiki-4k. 95%[==================> ] 1.52G 13.6MB/s eta 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "48-E0_1-enwiki-4k.p 95%[==================> ] 1.53G 13.6MB/s eta 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "8-E0_1-enwiki-4k.pt 95%[==================> ] 1.53G 13.6MB/s eta 18s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-E0_1-enwiki-4k.pth 95%[==================> ] 1.53G 13.6MB/s eta 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "E0_1-enwiki-4k.pth 95%[==================> ] 1.54G 13.5MB/s eta 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "0_1-enwiki-4k.pth 96%[==================> ] 1.54G 13.4MB/s eta 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "_1-enwiki-4k.pth 96%[==================> ] 1.54G 13.4MB/s eta 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "1-enwiki-4k.pth 96%[==================> ] 1.55G 14.1MB/s eta 15s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-enwiki-4k.pth 96%[==================> ] 1.55G 12.9MB/s eta 11s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "enwiki-4k.pth 96%[==================> ] 1.55G 13.1MB/s eta 11s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "nwiki-4k.pth 97%[==================> ] 1.55G 13.0MB/s eta 11s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "wiki-4k.pth 97%[==================> ] 1.56G 12.9MB/s eta 11s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "iki-4k.pth 97%[==================> ] 1.56G 12.9MB/s eta 11s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "ki-4k.pth 97%[==================> ] 1.56G 12.8MB/s eta 8s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "i-4k.pth 97%[==================> ] 1.57G 12.7MB/s eta 8s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "-4k.pth 97%[==================> ] 1.57G 12.6MB/s eta 8s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "4k.pth 97%[==================> ] 1.57G 11.9MB/s eta 8s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "k.pth 98%[==================> ] 1.57G 11.9MB/s eta 6s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + ".pth 98%[==================> ] 1.57G 10.8MB/s eta 6s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "pth 98%[==================> ] 1.58G 10.8MB/s eta 6s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "th 98%[==================> ] 1.58G 10.4MB/s eta 6s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "h 98%[==================> ] 1.58G 9.87MB/s eta 5s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " 98%[==================> ] 1.58G 9.45MB/s eta 5s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v 98%[==================> ] 1.58G 9.12MB/s eta 5s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5 98%[==================> ] 1.58G 9.15MB/s eta 5s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r 98%[==================> ] 1.59G 8.76MB/s eta 5s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3 99%[==================> ] 1.59G 8.35MB/s eta 3s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3- 99%[==================> ] 1.59G 8.02MB/s eta 3s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L 99%[==================> ] 1.59G 8.47MB/s eta 3s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L1 99%[==================> ] 1.59G 8.08MB/s eta 3s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12 99%[==================> ] 1.59G 7.88MB/s eta 3s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12- 99%[==================> ] 1.60G 7.72MB/s eta 1s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D 99%[==================> ] 1.60G 7.50MB/s eta 1s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D2 99%[==================> ] 1.60G 7.28MB/s eta 1s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D20 99%[==================> ] 1.60G 7.09MB/s eta 1s " + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + " v5r3-L12-D204 99%[==================> ] 1.60G 6.86MB/s eta 1s \r", + "v5r3-L12-D2048-E0_1 100%[===================>] 1.60G 6.89MB/s in 5m 34s \r\n", + "\r\n", + "2023-09-06 16:27:17 (4.91 MB/s) - ‘v5r3-L12-D2048-E0_1-enwiki-4k.pth’ saved [1721187013/1721187013]\r\n", + "\r\n" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "total 1.6G\r\n", + "drwxr-xr-x 2 root root 3 Sep 6 16:21 .\r\n", + "drwxr-xr-x 20 root root 24 Sep 6 16:21 ..\r\n", + "-rw-r--r-- 1 root root 1.7G Sep 6 15:04 v5r3-L12-D2048-E0_1-enwiki-4k.pth\r\n" + ] + } + ], + "source": [ + "# Download the model directly (stop gap till HF sync issues is resolved)\n", + "!cd \"{TRAINER_DIR}\" && cd \"../model/\" && \\\n", + " wget -nc \"https://huggingface.co/rwkv-x-dev/rwkv-x-playground/resolve/main/experiment/rwkv-x-exp/v5-r3-memory/{DIR_NAME}/{FILENAME_PREFIX}-enwiki-4k.pth\"\n", + "\n", + "!cd \"{TRAINER_DIR}\" && cd \"../model/\" && \\\n", + " ls -alh ." + ] + }, + { + "attachments": {}, + "cell_type": "markdown", + "id": "5176ef5b", + "metadata": { + "papermill": { + "duration": 0.051299, + "end_time": "2023-09-06T16:27:17.447337", + "exception": false, + "start_time": "2023-09-06T16:27:17.396038", + "status": "completed" + }, + "tags": [] + }, + "source": [ + "# Enwiki Stage 2 : Basic Instruct Tuning" + ] + }, + { + "cell_type": "code", + "execution_count": 5, + "id": "d5c54c51", + "metadata": { + "execution": { + "iopub.execute_input": "2023-09-06T16:27:17.550805Z", + "iopub.status.busy": "2023-09-06T16:27:17.550559Z", + "iopub.status.idle": "2023-09-06T16:27:32.626011Z", + "shell.execute_reply": "2023-09-06T16:27:32.625244Z" + }, + "papermill": { + "duration": 15.129219, + "end_time": "2023-09-06T16:27:32.627774", + "exception": false, + "start_time": "2023-09-06T16:27:17.498555", + "status": "completed" + }, + "tags": [] + }, + "outputs": [ + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "Downloading readme: 0%| | 0.00/7.79k [00:00=12.1), as this is known to have freeze issues\r\n", + "# - The terms used in wandb / the progress bar can be confusing, see the github README.md for beter clarifications\r\n", + "# - When resuming from checkpoint, the estimated time is inaccurate\r\n", + "#\r\n", + "\r\n", + "[RWKV.model] Configuring optimizer with\r\n", + " - lr_init: 4.000e-04 (0.0004)\r\n", + " - lr_final: 3.000e-04 (0.0003)\r\n", + "\r\n" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "Using /root/.cache/torch_extensions/py310_cu118 as PyTorch extensions root...\r\n", + "Detected CUDA files, patching ldflags\r\n", + "Emitting ninja build file /root/.cache/torch_extensions/py310_cu118/fused_adam/build.ninja...\r\n", + "Building extension module fused_adam...\r\n", + "Allowing ninja to set a default number of workers... (overridable by setting the environment variable MAX_JOBS=N)\r\n" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "ninja: no work to do.\r\n", + "Loading extension module fused_adam...\r\n", + "Time to load fused_adam op: 0.07197451591491699 seconds\r\n", + "Loading `train_dataloader` to estimate number of stepping batches.\r\n" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "Rank: 0 partition count [1, 1] and sizes[(860549120, False), (768, False)] \r\n" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r\n", + " | Name | Type | Params\r\n", + "--------------------------------------\r\n", + "0 | emb | Embedding | 102 M \r\n", + "1 | blocks | ModuleList | 654 M \r\n", + "2 | ln_out | LayerNorm | 4.1 K \r\n", + "3 | head | Linear | 102 M \r\n", + "--------------------------------------\r\n", + "860 M Trainable params\r\n", + "0 Non-trainable params\r\n", + "860 M Total params\r\n", + "3,442.200 Total estimated model params size (MB)\r\n" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\r", + "Training: 0it [00:00, ?it/s]\r", + "Training: 0%| | 0/14932 [00:00Execution using papermill encountered an exception here and stopped:" + ] + }, + { + "cell_type": "code", + "execution_count": 9, + "id": "c6f152ff", + "metadata": { + "execution": { + "iopub.execute_input": "2023-09-06T16:51:06.543089Z", + "iopub.status.busy": "2023-09-06T16:51:06.542771Z", + "iopub.status.idle": "2023-09-06T16:51:06.548302Z", + "shell.execute_reply": "2023-09-06T16:51:06.547314Z" + }, + "papermill": { + "duration": 0.694033, + "end_time": "2023-09-06T16:51:06.549477", + "exception": true, + "start_time": "2023-09-06T16:51:05.855444", + "status": "failed" + }, + "tags": [] + }, + "outputs": [ + { + "ename": "IndentationError", + "evalue": "unexpected indent (598249315.py, line 3)", + "output_type": "error", + "traceback": [ + "\u001b[0;36m Cell \u001b[0;32mIn[9], line 3\u001b[0;36m\u001b[0m\n\u001b[0;31m python3 ../memory_script/eval_v5_memory_guided.py \"{PROJECT_DIR}/model/{FILENAME_PREFIX}-enwiki-instruct.pth\"\u001b[0m\n\u001b[0m ^\u001b[0m\n\u001b[0;31mIndentationError\u001b[0m\u001b[0;31m:\u001b[0m unexpected indent\n" + ] + } + ], + "source": [ + "# Lets do a quick memory test\n", + "!python3\n", + " python3 ../memory_script/eval_v5_memory_guided.py \"{PROJECT_DIR}/model/{FILENAME_PREFIX}-enwiki-instruct.pth\"" + ] + }, + { + "cell_type": "markdown", + "id": "30ba2692", + "metadata": { + "papermill": { + "duration": null, + "end_time": null, + "exception": null, + "start_time": null, + "status": "pending" + }, + "tags": [] + }, + "source": [ + "## Tune 1 : Simple Memory instruct finetuning\n", + "\n", + "- Tune 1: Low ctx size (512), Training with only the input masked. This does very limited memory training, and is used primarily to train the instruction set." + ] + }, + { + "cell_type": "code", + "execution_count": null, + "id": "f4b49799", + "metadata": { + "papermill": { + "duration": null, + "end_time": null, + "exception": null, + "start_time": null, + "status": "pending" + }, + "tags": [] + }, + "outputs": [], + "source": [ + "%%script bash\n", + "\n", + "########################################\n", + "# Generate the required jsonl dataset\n", + "########################################\n", + "\n", + "# Reset the dataset dir\n", + "mkdir -p ../dataset\n", + "rm -rf ../dataset/*.jsonl\n", + "\n", + "# Generate the various datasets\n", + "echo \"## Generating word reptition dataset ##\"\n", + "\n", + "# We do a strong bias for smaller word count, to teach the concept from scratch\n", + "# so that the model can learn the function. \n", + "#\n", + "# Note that all document samples, are randomized between the target word count, \n", + "# to half of the target word count.\n", + "python3 ../memory_script/gen_limited_segmented_jsonl.py ../dataset/word-2-count.jsonl 2 5000 &\n", + "python3 ../memory_script/gen_limited_segmented_jsonl.py ../dataset/word-5-count.jsonl 5 5000 &\n", + "python3 ../memory_script/gen_limited_segmented_jsonl.py ../dataset/word-10-count.jsonl 10 2500 &\n", + "python3 ../memory_script/gen_limited_segmented_jsonl.py ../dataset/word-15-count.jsonl 15 2500 &\n", + "python3 ../memory_script/gen_limited_segmented_jsonl.py ../dataset/word-20-count.jsonl 20 2500 &\n", + "python3 ../memory_script/gen_limited_segmented_jsonl.py ../dataset/word-25-count.jsonl 25 2500 &\n", + "python3 ../memory_script/gen_limited_segmented_jsonl.py ../dataset/word-40-count.jsonl 40 2500 &\n", + "python3 ../memory_script/gen_limited_segmented_jsonl.py ../dataset/word-50-count.jsonl 50 2500 &\n", + "python3 ../memory_script/gen_limited_segmented_jsonl.py ../dataset/word-60-count.jsonl 80 2500 &\n", + "python3 ../memory_script/gen_limited_segmented_jsonl.py ../dataset/word-80-count.jsonl 80 2500 &\n", + "\n", + "# With a slight mix of the larger word count\n", + "python3 ../memory_script/gen_limited_segmented_jsonl.py ../dataset/word-100-count.jsonl 100 2500 &\n", + "python3 ../memory_script/gen_limited_segmented_jsonl.py ../dataset/word-200-count.jsonl 200 2500 &\n", + "\n", + "wait\n", + "echo \"## Done ##\"\n", + "\n", + "ls -alh ../dataset/" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "id": "f45649ff", + "metadata": { + "papermill": { + "duration": null, + "end_time": null, + "exception": null, + "start_time": null, + "status": "pending" + }, + "tags": [] + }, + "outputs": [], + "source": [ + "# Start the finetune model training\n", + "!cd \"{TRAINER_DIR}\" && \\\n", + " export WANDB_MODE=\"{WANDB_MODE}\" && \\\n", + " python3 lightning_trainer.py fit \\\n", + " -c \"{CONFIG_DIR}/config-mem-instruct.yaml\" \\\n", + " --trainer.logger.init_args.name=\"{WANDB_PREFIX} - Mem-Instruct (train-ctx=512, {DEEPSPEED_STRAT})\" \\\n", + " --trainer.strategy=\"{DEEPSPEED_STRAT}\" \\\n", + " --trainer.devices=\"{GPU_DEVICES}\" \\\n", + " --trainer.callbacks.init_args.dirpath=\"../checkpoint/{FILENAME_PREFIX}-mem-instruct/\" \\\n", + " --model.load_model=\"../model/{FILENAME_PREFIX}-enwiki-instruct.pth\" \\\n", + " --model.ctx_len=512 \\\n", + " --model.bptt_learning_range=1" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "id": "eee1dae8", + "metadata": { + "papermill": { + "duration": null, + "end_time": null, + "exception": null, + "start_time": null, + "status": "pending" + }, + "tags": [] + }, + "outputs": [], + "source": [ + "# Lets export the model from the checkpoint\n", + "!cd \"{TRAINER_DIR}\" && \\\n", + " python3 export_checkpoint.py \\\n", + " \"../checkpoint/{FILENAME_PREFIX}-mem-instruct/last.ckpt\" \\\n", + " \"../model/{FILENAME_PREFIX}-mem-instruct.pth\" \"bf16\"\n", + "!cd \"{TRAINER_DIR}\" && ls -alh \"../model/{FILENAME_PREFIX}-mem-instruct.pth\"" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "id": "77c46f2c", + "metadata": { + "papermill": { + "duration": null, + "end_time": null, + "exception": null, + "start_time": null, + "status": "pending" + }, + "tags": [] + }, + "outputs": [], + "source": [ + "# Lets do a quick memory test\n", + "!python3 ../memory_script/eval_v5_memory_guided.py \"{PROJECT_DIR}/model/{FILENAME_PREFIX}-mem-instruct.pth\"" + ] + }, + { + "cell_type": "markdown", + "id": "afe593cc", + "metadata": { + "papermill": { + "duration": null, + "end_time": null, + "exception": null, + "start_time": null, + "status": "pending" + }, + "tags": [] + }, + "source": [ + "## Tune 2 : Low ctx size (512), memory training\n", + "\n", + "- Tune 2: Low ctx size (512), Training with instruction & input masked. This forces the actual memory training on the output tokens." + ] + }, + { + "cell_type": "code", + "execution_count": null, + "id": "e27a0ba5", + "metadata": { + "papermill": { + "duration": null, + "end_time": null, + "exception": null, + "start_time": null, + "status": "pending" + }, + "tags": [] + }, + "outputs": [], + "source": [ + "%%script bash\n", + "\n", + "########################################\n", + "# Generate the required jsonl dataset\n", + "########################################\n", + "\n", + "# Reset the dataset dir\n", + "mkdir -p ../dataset\n", + "rm -rf ../dataset/*.jsonl\n", + "\n", + "# Generate the various datasets\n", + "echo \"## Generating word reptition dataset ##\"\n", + "\n", + "#\n", + "# We switch over to fully masked instruct+input, to properly learn the memorization task\n", + "#\n", + "python3 ../memory_script/gen_limited_prompt_completion_jsonl.py ../dataset/word-2-count.jsonl 2 5000 &\n", + "for i in {5..95..5} \n", + "do\n", + " python3 ../memory_script/gen_limited_prompt_completion_jsonl.py ../dataset/gen-word-$i-count.jsonl $i 5000 & \n", + "done\n", + "python3 ../memory_script/gen_limited_prompt_completion_jsonl.py ../dataset/word-100-count.jsonl 100 5000 &\n", + "python3 ../memory_script/gen_limited_prompt_completion_jsonl.py ../dataset/word-200-count.jsonl 200 5000 &\n", + "\n", + "#\n", + "# We mixin the shuffled word list, so that we ensure all words / tokens are learned\n", + "# however this might intrduce an exclusion bias (if seen this word, never repeat it), \n", + "# so we limit the mixture of this data samples\n", + "#\n", + "python3 ../memory_script/shuffle_limited_prompt_completion_jsonl.py ../dataset/shuffle-word-10-count.jsonl 10 20 &\n", + "python3 ../memory_script/shuffle_limited_prompt_completion_jsonl.py ../dataset/shuffle-word-15-count.jsonl 15 20 &\n", + "python3 ../memory_script/shuffle_limited_prompt_completion_jsonl.py ../dataset/shuffle-word-25-count.jsonl 25 30 &\n", + "python3 ../memory_script/shuffle_limited_prompt_completion_jsonl.py ../dataset/shuffle-word-50-count.jsonl 50 50 &\n", + "python3 ../memory_script/shuffle_limited_prompt_completion_jsonl.py ../dataset/shuffle-word-75-count.jsonl 75 50 &\n", + "python3 ../memory_script/shuffle_limited_prompt_completion_jsonl.py ../dataset/shuffle-word-100-count.jsonl 100 50 &\n", + "python3 ../memory_script/shuffle_limited_prompt_completion_jsonl.py ../dataset/shuffle-word-200-count.jsonl 200 50 &\n", + "\n", + "wait\n", + "echo \"## Done ##\"\n", + "\n", + "ls -alh ../dataset/" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "id": "71899f60", + "metadata": { + "papermill": { + "duration": null, + "end_time": null, + "exception": null, + "start_time": null, + "status": "pending" + }, + "tags": [] + }, + "outputs": [], + "source": [ + "# Start the finetune model training\n", + "!cd \"{TRAINER_DIR}\" && \\\n", + " export WANDB_MODE=\"{WANDB_MODE}\" && \\\n", + " python3 lightning_trainer.py fit \\\n", + " -c \"{CONFIG_DIR}/config-mem-template.yaml\" \\\n", + " --trainer.logger.init_args.name=\"{WANDB_PREFIX} - Mem-Tune ctx-512 (train-ctx=512, {DEEPSPEED_STRAT})\" \\\n", + " --trainer.strategy=\"{DEEPSPEED_STRAT}\" \\\n", + " --trainer.devices=\"{GPU_DEVICES}\" \\\n", + " --trainer.callbacks.init_args.dirpath=\"../checkpoint/{FILENAME_PREFIX}-mem-ctx-512/\" \\\n", + " --model.lr_init=5e-4 \\\n", + " --model.lr_final=4e-4 \\\n", + " --data.max_token_size=512 \\\n", + " --model.ctx_len=512 \\\n", + " --model.bptt_learning_range=1 \\\n", + " --model.load_model=\"../model/{FILENAME_PREFIX}-mem-instruct.pth\"" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "id": "29773d32", + "metadata": { + "papermill": { + "duration": null, + "end_time": null, + "exception": null, + "start_time": null, + "status": "pending" + }, + "tags": [] + }, + "outputs": [], + "source": [ + "# Lets export the model from the checkpoint\n", + "!cd \"{TRAINER_DIR}\" && \\\n", + " python3 export_checkpoint.py \\\n", + " \"../checkpoint/{FILENAME_PREFIX}-mem-ctx-512/last.ckpt\" \\\n", + " \"../model/{FILENAME_PREFIX}-mem-ctx-512.pth\" \"bf16\"\n", + "!cd \"{TRAINER_DIR}\" && ls -alh \"../model/{FILENAME_PREFIX}-mem-ctx-512.pth\"" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "id": "680bcd20", + "metadata": { + "papermill": { + "duration": null, + "end_time": null, + "exception": null, + "start_time": null, + "status": "pending" + }, + "tags": [] + }, + "outputs": [], + "source": [ + "# Lets do a quick memory test\n", + "!python3 ../memory_script/eval_v5_memory_guided.py \"{PROJECT_DIR}/model/{FILENAME_PREFIX}-mem-ctx-512.pth\"" + ] + } + ], + "metadata": { + "kernelspec": { + "display_name": "Python 3 (ipykernel)", + "language": "python", + "name": "python3" + }, + "language_info": { + "codemirror_mode": { + "name": "ipython", + "version": 3 + }, + "file_extension": ".py", + "mimetype": "text/x-python", + "name": "python", + "nbconvert_exporter": "python", + "pygments_lexer": "ipython3", + "version": "3.10.12" + }, + "papermill": { + "default_parameters": {}, + "duration": 1770.227487, + "end_time": "2023-09-06T16:51:07.320378", + "environment_variables": {}, + "exception": true, + "input_path": "/actions-runner/_work/RWKV-infctx-trainer/RWKV-infctx-trainer/notebook/experiment/rwkv-x-exp/v5-r3-memory/L12-D2048-E1e-1-ctx4k/part2.ipynb", + "output_path": "/actions-runner/_work/RWKV-infctx-trainer/RWKV-infctx-trainer/output/experiment/rwkv-x-exp/v5-r3-memory/L12-D2048-E1e-1-ctx4k/part2.ipynb", + "parameters": {}, + "start_time": "2023-09-06T16:21:37.092891", + "version": "2.4.0" + } + }, + "nbformat": 4, + "nbformat_minor": 5 +} \ No newline at end of file