Saving weights and logs of step 165000

checkpoint_165000

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:1249a98181f6c88b99edd430d005ee524d792f1377b801369a13ea56ec4bffd7
+size 1530270447

events.out.tfevents.1626397185.t1v-n-f5c06ea1-w-0.760449.3.v2

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:a215185a808c330bebad4945b14953ccf9bbc8481899abf78109b6c0a0d6804b
-size 436270
+oid sha256:394effd12a2e58d256ab80dfb0bc02c37268c5098be5d3050c5b05ce5c717c3f
+size 2256324

flax_model.msgpack

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:0ec0fb67c52b43bbdf61a82273bba1919d00f297e8de79d79148b5f14a013a41
+oid sha256:fff3acc43f8a71e6b8176ce73e92121516e50ce55d7c1c1e43afc3e343513e85
 size 510090043

run.sh

@@ -16,7 +16,7 @@ python ./run_mlm_flax_no_accum.py \
     --adam_beta2="0.98" \
     --logging_steps="50" \
     --eval_steps="6000" \
-    --num_train_epochs="2"\
+    --num_train_epochs="3"\
     --preprocessing_num_workers="96" \
     --save_steps="15000" \
     --learning_rate="3e-5" \

wandb/debug-internal.log

@@ -1 +1 @@
-run-20210715_185845-dq8uirtg/logs/debug-internal.log
+run-20210716_005946-3bte92ft/logs/debug-internal.log

wandb/debug.log

@@ -1 +1 @@
-run-20210715_185845-dq8uirtg/logs/debug.log
+run-20210716_005946-3bte92ft/logs/debug.log

wandb/latest-run

@@ -1 +1 @@
-run-20210715_185845-dq8uirtg
+run-20210716_005946-3bte92ft

wandb/run-20210715_185845-dq8uirtg/files/output.log

@@ -5735,3 +5735,13 @@ tcmalloc: large alloc 2715181056 bytes == 0x3dd038000 @  0x7f7011c37680 0x7f7011
 [00:56:49] - INFO - absl - Saved checkpoint at checkpoint_150000
 [00:56:51] - INFO - huggingface_hub.repository - git version 2.25.1
 git-lfs/2.9.2 (GitHub; linux amd64; go 1.13.5)
+[00:56:51] - DEBUG - huggingface_hub.repository - [Repository] is a valid git repo
+[00:57:59] - INFO - huggingface_hub.repository - Uploading LFS objects: 100% (2/2), 2.0 GB | 48 MB/s, done.
+
+
+
+Training...: 50048it [5:53:37,  2.66it/s]
+
+
+
+

wandb/run-20210715_185845-dq8uirtg/files/wandb-summary.json

@@ -1 +1 @@
-{"training_step": 150000, "learning_rate": 2.396145646343939e-05, "train_loss": 2.3190174102783203, "_runtime": 21476, "_timestamp": 1626397001, "_step": 1008, "eval_step": 150000, "eval_accuracy": 0.5905819535255432, "eval_loss": 2.15248703956604}
+{"training_step": 150050, "learning_rate": 2.3959299142006785e-05, "train_loss": 2.5135111808776855, "_runtime": 21575, "_timestamp": 1626397100, "_step": 1009, "eval_step": 150000, "eval_accuracy": 0.5905819535255432, "eval_loss": 2.15248703956604}

wandb/run-20210715_185845-dq8uirtg/logs/debug-internal.log

@@ -12794,3 +12794,46 @@
 2021-07-16 00:56:54,268 INFO    Thread-8  :735392 [dir_watcher.py:_on_file_modified():229] file/dir modified: /home/dat/pino-roberta-base/wandb/run-20210715_185845-dq8uirtg/files/output.log
 2021-07-16 00:57:00,563 DEBUG   HandlerThread:735392 [handler.py:handle_request():124] handle_request: stop_status
 2021-07-16 00:57:00,642 DEBUG   SenderThread:735392 [sender.py:send_request():193] send_request: stop_status
+2021-07-16 00:57:10,333 DEBUG   SenderThread:735392 [sender.py:send():179] send: stats
+2021-07-16 00:57:15,776 DEBUG   HandlerThread:735392 [handler.py:handle_request():124] handle_request: stop_status
+2021-07-16 00:57:15,776 DEBUG   SenderThread:735392 [sender.py:send_request():193] send_request: stop_status
+2021-07-16 00:57:30,909 DEBUG   HandlerThread:735392 [handler.py:handle_request():124] handle_request: stop_status
+2021-07-16 00:57:30,910 DEBUG   SenderThread:735392 [sender.py:send_request():193] send_request: stop_status
+2021-07-16 00:57:40,405 DEBUG   SenderThread:735392 [sender.py:send():179] send: stats
+2021-07-16 00:57:46,048 DEBUG   HandlerThread:735392 [handler.py:handle_request():124] handle_request: stop_status
+2021-07-16 00:57:46,049 DEBUG   SenderThread:735392 [sender.py:send_request():193] send_request: stop_status
+2021-07-16 00:58:00,292 INFO    Thread-8  :735392 [dir_watcher.py:_on_file_modified():229] file/dir modified: /home/dat/pino-roberta-base/wandb/run-20210715_185845-dq8uirtg/files/output.log
+2021-07-16 00:58:01,179 DEBUG   HandlerThread:735392 [handler.py:handle_request():124] handle_request: stop_status
+2021-07-16 00:58:01,180 DEBUG   SenderThread:735392 [sender.py:send_request():193] send_request: stop_status
+2021-07-16 00:58:02,293 INFO    Thread-8  :735392 [dir_watcher.py:_on_file_modified():229] file/dir modified: /home/dat/pino-roberta-base/wandb/run-20210715_185845-dq8uirtg/files/output.log
+2021-07-16 00:58:04,294 INFO    Thread-8  :735392 [dir_watcher.py:_on_file_modified():229] file/dir modified: /home/dat/pino-roberta-base/wandb/run-20210715_185845-dq8uirtg/files/output.log
+2021-07-16 00:58:06,294 INFO    Thread-8  :735392 [dir_watcher.py:_on_file_modified():229] file/dir modified: /home/dat/pino-roberta-base/wandb/run-20210715_185845-dq8uirtg/files/output.log
+2021-07-16 00:58:08,295 INFO    Thread-8  :735392 [dir_watcher.py:_on_file_modified():229] file/dir modified: /home/dat/pino-roberta-base/wandb/run-20210715_185845-dq8uirtg/files/output.log
+2021-07-16 00:58:10,475 DEBUG   SenderThread:735392 [sender.py:send():179] send: stats
+2021-07-16 00:58:16,319 DEBUG   HandlerThread:735392 [handler.py:handle_request():124] handle_request: stop_status
+2021-07-16 00:58:16,319 DEBUG   SenderThread:735392 [sender.py:send_request():193] send_request: stop_status
+2021-07-16 00:58:20,476 DEBUG   SenderThread:735392 [sender.py:send():179] send: history
+2021-07-16 00:58:20,476 DEBUG   SenderThread:735392 [sender.py:send():179] send: summary
+2021-07-16 00:58:20,478 INFO    SenderThread:735392 [sender.py:_save_file():841] saving file wandb-summary.json with policy end
+2021-07-16 00:58:21,299 INFO    Thread-8  :735392 [dir_watcher.py:_on_file_modified():229] file/dir modified: /home/dat/pino-roberta-base/wandb/run-20210715_185845-dq8uirtg/files/wandb-summary.json
+2021-07-16 00:58:21,299 INFO    Thread-8  :735392 [dir_watcher.py:_on_file_modified():229] file/dir modified: /home/dat/pino-roberta-base/wandb/run-20210715_185845-dq8uirtg/files/output.log
+2021-07-16 00:58:22,299 INFO    Thread-8  :735392 [dir_watcher.py:_on_file_modified():229] file/dir modified: /home/dat/pino-roberta-base/wandb/run-20210715_185845-dq8uirtg/files/output.log
+2021-07-16 00:58:24,300 INFO    Thread-8  :735392 [dir_watcher.py:_on_file_modified():229] file/dir modified: /home/dat/pino-roberta-base/wandb/run-20210715_185845-dq8uirtg/files/output.log
+2021-07-16 00:58:26,301 INFO    Thread-8  :735392 [dir_watcher.py:_on_file_modified():229] file/dir modified: /home/dat/pino-roberta-base/wandb/run-20210715_185845-dq8uirtg/files/output.log
+2021-07-16 00:58:28,302 INFO    Thread-8  :735392 [dir_watcher.py:_on_file_modified():229] file/dir modified: /home/dat/pino-roberta-base/wandb/run-20210715_185845-dq8uirtg/files/output.log
+2021-07-16 00:58:28,809 WARNING MainThread:735392 [internal.py:wandb_internal():147] Internal process interrupt: 1
+2021-07-16 00:58:29,458 WARNING MainThread:735392 [internal.py:wandb_internal():147] Internal process interrupt: 2
+2021-07-16 00:58:29,458 ERROR   MainThread:735392 [internal.py:wandb_internal():150] Internal process interrupted.
+2021-07-16 00:58:30,202 INFO    SenderThread:735392 [sender.py:finish():945] shutting down sender
+2021-07-16 00:58:30,203 INFO    SenderThread:735392 [dir_watcher.py:finish():282] shutting down directory watcher
+2021-07-16 00:58:30,203 INFO    WriterThread:735392 [datastore.py:close():288] close: /home/dat/pino-roberta-base/wandb/run-20210715_185845-dq8uirtg/run-dq8uirtg.wandb
+2021-07-16 00:58:30,205 INFO    HandlerThread:735392 [handler.py:finish():638] shutting down handler
+2021-07-16 00:58:30,303 INFO    SenderThread:735392 [dir_watcher.py:finish():312] scan: /home/dat/pino-roberta-base/wandb/run-20210715_185845-dq8uirtg/files
+2021-07-16 00:58:30,303 INFO    SenderThread:735392 [dir_watcher.py:finish():318] scan save: /home/dat/pino-roberta-base/wandb/run-20210715_185845-dq8uirtg/files/requirements.txt requirements.txt
+2021-07-16 00:58:30,303 INFO    SenderThread:735392 [dir_watcher.py:finish():318] scan save: /home/dat/pino-roberta-base/wandb/run-20210715_185845-dq8uirtg/files/output.log output.log
+2021-07-16 00:58:30,303 INFO    SenderThread:735392 [dir_watcher.py:finish():318] scan save: /home/dat/pino-roberta-base/wandb/run-20210715_185845-dq8uirtg/files/wandb-metadata.json wandb-metadata.json
+2021-07-16 00:58:30,303 INFO    SenderThread:735392 [dir_watcher.py:finish():318] scan save: /home/dat/pino-roberta-base/wandb/run-20210715_185845-dq8uirtg/files/config.yaml config.yaml
+2021-07-16 00:58:30,303 INFO    SenderThread:735392 [dir_watcher.py:finish():318] scan save: /home/dat/pino-roberta-base/wandb/run-20210715_185845-dq8uirtg/files/wandb-summary.json wandb-summary.json
+2021-07-16 00:58:30,304 INFO    SenderThread:735392 [file_pusher.py:finish():177] shutting down file pusher
+2021-07-16 00:58:30,304 INFO    SenderThread:735392 [file_pusher.py:join():182] waiting for file pusher
+2021-07-16 00:58:30,369 INFO    MainThread:735392 [internal.py:handle_exit():78] Internal process exited

wandb/run-20210715_185845-dq8uirtg/logs/debug.log

@@ -23,3 +23,5 @@ config: {}
 2021-07-15 18:58:47,838 INFO    MainThread:734136 [wandb_run.py:_config_callback():872] config_cb None None {'output_dir': './', 'overwrite_output_dir': True, 'do_train': False, 'do_eval': False, 'do_predict': False, 'evaluation_strategy': 'IntervalStrategy.NO', 'prediction_loss_only': False, 'per_device_train_batch_size': 1, 'per_device_eval_batch_size': 1, 'per_gpu_train_batch_size': None, 'per_gpu_eval_batch_size': None, 'gradient_accumulation_steps': 1, 'eval_accumulation_steps': None, 'learning_rate': 3e-05, 'weight_decay': 0.0095, 'adam_beta1': 0.9, 'adam_beta2': 0.98, 'adam_epsilon': 1e-08, 'max_grad_norm': 1.0, 'num_train_epochs': 2.0, 'max_steps': -1, 'lr_scheduler_type': 'SchedulerType.LINEAR', 'warmup_ratio': 0.0, 'warmup_steps': 10000, 'log_level': -1, 'log_level_replica': -1, 'log_on_each_node': True, 'logging_dir': './runs/Jul15_18-58-37_t1v-n-f5c06ea1-w-0', 'logging_strategy': 'IntervalStrategy.STEPS', 'logging_first_step': False, 'logging_steps': 50, 'save_strategy': 'IntervalStrategy.STEPS', 'save_steps': 15000, 'save_total_limit': 20, 'save_on_each_node': False, 'no_cuda': False, 'seed': 42, 'fp16': False, 'fp16_opt_level': 'O1', 'fp16_backend': 'auto', 'fp16_full_eval': False, 'local_rank': -1, 'tpu_num_cores': None, 'tpu_metrics_debug': False, 'debug': [], 'dataloader_drop_last': False, 'eval_steps': 6000, 'dataloader_num_workers': 0, 'past_index': -1, 'run_name': './', 'disable_tqdm': False, 'remove_unused_columns': True, 'label_names': None, 'load_best_model_at_end': False, 'metric_for_best_model': None, 'greater_is_better': None, 'ignore_data_skip': False, 'sharded_ddp': [], 'deepspeed': None, 'label_smoothing_factor': 0.0, 'adafactor': False, 'group_by_length': False, 'length_column_name': 'length', 'report_to': ['tensorboard', 'wandb'], 'ddp_find_unused_parameters': None, 'dataloader_pin_memory': True, 'skip_memory_metrics': True, 'use_legacy_prediction_loop': False, 'push_to_hub': True, 'resume_from_checkpoint': './', 'push_to_hub_model_id': '', 'push_to_hub_organization': None, 'push_to_hub_token': None, 'mp_parameters': ''}
 2021-07-15 18:58:47,839 INFO    MainThread:734136 [wandb_run.py:_config_callback():872] config_cb None None {'model_name_or_path': None, 'model_type': 'big_bird', 'config_name': './', 'tokenizer_name': './', 'cache_dir': None, 'use_fast_tokenizer': True, 'dtype': 'float32'}
 2021-07-15 18:58:47,840 INFO    MainThread:734136 [wandb_run.py:_config_callback():872] config_cb None None {'dataset_name': None, 'dataset_config_name': None, 'train_ref_file': None, 'validation_ref_file': None, 'overwrite_cache': False, 'validation_split_percentage': 5, 'max_seq_length': 4096, 'preprocessing_num_workers': 96, 'mlm_probability': 0.15, 'pad_to_max_length': False, 'line_by_line': False, 'max_eval_samples': 4000}
+2021-07-16 00:58:28,922 INFO    MainThread:734136 [wandb_run.py:_atexit_cleanup():1593] got exitcode: 255
+2021-07-16 00:58:28,922 INFO    MainThread:734136 [wandb_run.py:_restore():1565] restore

wandb/run-20210716_005946-3bte92ft/files/config.yaml

@@ -0,0 +1,308 @@
+wandb_version: 1
+
+__cached__setup_devices:
+  desc: null
+  value: cpu
+_n_gpu:
+  desc: null
+  value: 0
+_wandb:
+  desc: null
+  value:
+    cli_version: 0.10.33
+    framework: huggingface
+    huggingface_version: 4.9.0.dev0
+    is_jupyter_run: false
+    is_kaggle_kernel: false
+    python_version: 3.8.10
+    t:
+      1:
+      - 1
+      - 3
+      - 11
+      4: 3.8.10
+      5: 0.10.33
+      6: 4.9.0.dev0
+      8:
+      - 5
+adafactor:
+  desc: null
+  value: false
+adam_beta1:
+  desc: null
+  value: 0.9
+adam_beta2:
+  desc: null
+  value: 0.98
+adam_epsilon:
+  desc: null
+  value: 1.0e-08
+cache_dir:
+  desc: null
+  value: null
+config_name:
+  desc: null
+  value: ./
+dataloader_drop_last:
+  desc: null
+  value: false
+dataloader_num_workers:
+  desc: null
+  value: 0
+dataloader_pin_memory:
+  desc: null
+  value: true
+dataset_config_name:
+  desc: null
+  value: null
+dataset_name:
+  desc: null
+  value: null
+ddp_find_unused_parameters:
+  desc: null
+  value: null
+debug:
+  desc: null
+  value: []
+deepspeed:
+  desc: null
+  value: null
+disable_tqdm:
+  desc: null
+  value: false
+do_eval:
+  desc: null
+  value: false
+do_predict:
+  desc: null
+  value: false
+do_train:
+  desc: null
+  value: false
+dtype:
+  desc: null
+  value: float32
+eval_accumulation_steps:
+  desc: null
+  value: null
+eval_steps:
+  desc: null
+  value: 6000
+evaluation_strategy:
+  desc: null
+  value: IntervalStrategy.NO
+fp16:
+  desc: null
+  value: false
+fp16_backend:
+  desc: null
+  value: auto
+fp16_full_eval:
+  desc: null
+  value: false
+fp16_opt_level:
+  desc: null
+  value: O1
+gradient_accumulation_steps:
+  desc: null
+  value: 1
+greater_is_better:
+  desc: null
+  value: null
+group_by_length:
+  desc: null
+  value: false
+ignore_data_skip:
+  desc: null
+  value: false
+label_names:
+  desc: null
+  value: null
+label_smoothing_factor:
+  desc: null
+  value: 0.0
+learning_rate:
+  desc: null
+  value: 3.0e-05
+length_column_name:
+  desc: null
+  value: length
+line_by_line:
+  desc: null
+  value: false
+load_best_model_at_end:
+  desc: null
+  value: false
+local_rank:
+  desc: null
+  value: -1
+log_level:
+  desc: null
+  value: -1
+log_level_replica:
+  desc: null
+  value: -1
+log_on_each_node:
+  desc: null
+  value: true
+logging_dir:
+  desc: null
+  value: ./runs/Jul16_00-59-37_t1v-n-f5c06ea1-w-0
+logging_first_step:
+  desc: null
+  value: false
+logging_steps:
+  desc: null
+  value: 50
+logging_strategy:
+  desc: null
+  value: IntervalStrategy.STEPS
+lr_scheduler_type:
+  desc: null
+  value: SchedulerType.LINEAR
+max_eval_samples:
+  desc: null
+  value: 4000
+max_grad_norm:
+  desc: null
+  value: 1.0
+max_seq_length:
+  desc: null
+  value: 4096
+max_steps:
+  desc: null
+  value: -1
+metric_for_best_model:
+  desc: null
+  value: null
+mlm_probability:
+  desc: null
+  value: 0.15
+model_name_or_path:
+  desc: null
+  value: null
+model_type:
+  desc: null
+  value: big_bird
+mp_parameters:
+  desc: null
+  value: ''
+no_cuda:
+  desc: null
+  value: false
+num_train_epochs:
+  desc: null
+  value: 3.0
+output_dir:
+  desc: null
+  value: ./
+overwrite_cache:
+  desc: null
+  value: false
+overwrite_output_dir:
+  desc: null
+  value: true
+pad_to_max_length:
+  desc: null
+  value: false
+past_index:
+  desc: null
+  value: -1
+per_device_eval_batch_size:
+  desc: null
+  value: 1
+per_device_train_batch_size:
+  desc: null
+  value: 1
+per_gpu_eval_batch_size:
+  desc: null
+  value: null
+per_gpu_train_batch_size:
+  desc: null
+  value: null
+prediction_loss_only:
+  desc: null
+  value: false
+preprocessing_num_workers:
+  desc: null
+  value: 96
+push_to_hub:
+  desc: null
+  value: true
+push_to_hub_model_id:
+  desc: null
+  value: ''
+push_to_hub_organization:
+  desc: null
+  value: null
+push_to_hub_token:
+  desc: null
+  value: null
+remove_unused_columns:
+  desc: null
+  value: true
+report_to:
+  desc: null
+  value:
+  - tensorboard
+  - wandb
+resume_from_checkpoint:
+  desc: null
+  value: ./
+run_name:
+  desc: null
+  value: ./
+save_on_each_node:
+  desc: null
+  value: false
+save_steps:
+  desc: null
+  value: 15000
+save_strategy:
+  desc: null
+  value: IntervalStrategy.STEPS
+save_total_limit:
+  desc: null
+  value: 20
+seed:
+  desc: null
+  value: 42
+sharded_ddp:
+  desc: null
+  value: []
+skip_memory_metrics:
+  desc: null
+  value: true
+tokenizer_name:
+  desc: null
+  value: ./
+tpu_metrics_debug:
+  desc: null
+  value: false
+tpu_num_cores:
+  desc: null
+  value: null
+train_ref_file:
+  desc: null
+  value: null
+use_fast_tokenizer:
+  desc: null
+  value: true
+use_legacy_prediction_loop:
+  desc: null
+  value: false
+validation_ref_file:
+  desc: null
+  value: null
+validation_split_percentage:
+  desc: null
+  value: 5
+warmup_ratio:
+  desc: null
+  value: 0.0
+warmup_steps:
+  desc: null
+  value: 10000
+weight_decay:
+  desc: null
+  value: 0.0095

wandb/run-20210716_005946-3bte92ft/files/output.log

@@ -0,0 +1,1754 @@
+[01:00:01] - INFO - absl - Restoring checkpoint from ./checkpoint_150000
+tcmalloc: large alloc 1530273792 bytes == 0x9e3b8000 @  0x7f779c64f680 0x7f779c670824 0x5b9a14 0x50b2ae 0x50cb1b 0x5a6f17 0x5f3010 0x56fd36 0x568d9a 0x5f5b33 0x56aadf 0x568d9a 0x68cdc7 0x67e161 0x67e1df 0x67e281 0x67e627 0x6b6e62 0x6b71ed 0x7f779c4640b3 0x5f96de
+/home/dat/pino/lib/python3.8/site-packages/jax/lib/xla_bridge.py:386: UserWarning: jax.host_count has been renamed to jax.process_count. This alias will eventually be removed; please update your code.
+  warnings.warn(
+/home/dat/pino/lib/python3.8/site-packages/jax/lib/xla_bridge.py:373: UserWarning: jax.host_id has been renamed to jax.process_index. This alias will eventually be removed; please update your code.
+  warnings.warn(
+Epoch ... (1/3):   0%|                                                                                                                                                                | 0/3 [00:00<?, ?it/s]
+Training...: 0it [00:00, ?it/s]
+
+
+
+
+
+Training...: 54it [04:42,  1.40s/it]
+
+
+
+
+Training...: 99it [04:49,  2.67it/s]
+
+
+
+
+
+Training...: 178it [05:24, 12.74it/s]
+
+
+
+Training...: 199it [05:29,  2.69it/s]
+
+
+
+
+
+Training...: 249it [05:49,  2.67it/s]
+
+
+
+
+
+
+Training...: 300it [06:22,  4.01s/it]
+
+
+
+
+Training...: 349it [06:29,  2.68it/s]
+
+
+
+
+
+Training...: 399it [06:49,  2.74it/s]
+
+
+
+
+Training...: 449it [07:09,  2.67it/s]
+
+
+
+
+Training...: 499it [07:29,  2.67it/s]
+
+
+
+
+Training...: 549it [07:49,  2.70it/s]
+
+
+
+
+Training...: 599it [08:09,  2.68it/s]
+
+
+
+
+Training...: 649it [08:29,  2.70it/s]
+
+
+
+
+
+Training...: 699it [08:49,  2.67it/s]
+
+
+
+
+
+Training...: 749it [09:09,  2.70it/s]
+
+
+
+
+
+Training...: 799it [09:29,  2.68it/s]
+
+
+
+
+
+Training...: 849it [09:49,  2.67it/s]
+
+
+
+
+
+
+Training...: 906it [10:23,  1.09it/s]
+
+
+
+
+
+Training...: 956it [10:43,  1.09it/s]
+
+
+
+
+
+Training...: 1006it [11:03,  1.09it/s]
+
+
+
+
+
+Training...: 1056it [11:23,  1.09it/s]
+
+
+
+
+Training...: 1099it [11:29,  2.67it/s]
+
+
+
+
+Training...: 1149it [11:49,  2.67it/s]
+
+
+
+
+
+Training...: 1199it [12:09,  2.67it/s]
+
+
+
+
+
+Training...: 1249it [12:29,  2.70it/s]
+
+
+
+
+
+Training...: 1299it [12:50,  2.67it/s]
+
+
+
+
+
+Training...: 1349it [13:10,  2.69it/s]
+
+
+
+
+
+Training...: 1399it [13:30,  2.68it/s]
+
+
+
+
+
+Training...: 1449it [13:50,  2.67it/s]
+
+
+
+
+
+Training...: 1499it [14:10,  2.67it/s]
+
+
+
+
+
+
+Training...: 1550it [14:43,  4.01s/it]
+
+
+
+
+Training...: 1599it [14:50,  2.70it/s]
+
+
+
+
+
+Training...: 1649it [15:10,  2.65it/s]
+
+
+
+
+
+Training...: 1699it [15:30,  2.69it/s]
+
+
+
+
+
+Training...: 1749it [15:50,  2.68it/s]
+
+
+
+
+
+Training...: 1799it [16:10,  2.67it/s]
+
+
+
+
+
+Training...: 1849it [16:30,  2.67it/s]
+
+
+
+
+
+Training...: 1899it [16:50,  2.67it/s]
+
+
+
+
+
+Training...: 1949it [17:10,  2.70it/s]
+
+
+
+
+
+Training...: 1999it [17:30,  2.68it/s]
+
+
+
+
+
+Training...: 2049it [17:50,  2.70it/s]
+
+
+
+
+
+Training...: 2099it [18:10,  2.67it/s]
+
+
+
+
+
+Training...: 2149it [18:30,  2.68it/s]
+
+
+
+
+
+Training...: 2199it [18:50,  2.68it/s]
+
+
+
+
+
+Training...: 2249it [19:10,  2.68it/s]
+
+
+
+
+
+Training...: 2299it [19:30,  2.70it/s]
+
+
+
+
+
+Training...: 2349it [19:50,  2.67it/s]
+
+
+
+
+
+Training...: 2399it [20:10,  2.70it/s]
+
+
+
+
+
+Training...: 2449it [20:30,  2.67it/s]
+
+
+
+
+
+Training...: 2499it [20:50,  2.63it/s]
+
+
+
+
+
+Training...: 2549it [21:11,  2.68it/s]
+
+
+
+
+
+Training...: 2599it [21:31,  2.68it/s]
+
+
+
+
+
+Training...: 2649it [21:51,  2.73it/s]
+
+
+
+
+
+Training...: 2699it [22:11,  2.67it/s]
+
+
+
+
+
+Training...: 2749it [22:31,  2.67it/s]
+
+
+
+
+
+Training...: 2799it [22:51,  2.68it/s]
+
+
+
+
+
+Training...: 2849it [23:11,  2.64it/s]
+
+
+
+
+
+Training...: 2899it [23:31,  2.68it/s]
+
+
+
+
+
+Training...: 2949it [23:51,  2.68it/s]
+
+
+
+
+
+Training...: 2999it [24:11,  2.74it/s]
+
+
+
+
+
+
+Training...: 3058it [24:45,  1.59it/s]
+
+
+
+
+Training...: 3099it [24:51,  2.70it/s]
+
+
+
+
+
+Training...: 3149it [25:11,  2.67it/s]
+
+
+
+
+
+Training...: 3199it [25:31,  2.69it/s]
+
+
+
+
+
+Training...: 3249it [25:51,  2.68it/s]
+
+
+
+
+
+
+Training...: 3300it [26:24,  4.01s/it]
+
+
+
+
+
+Training...: 3354it [26:45,  1.39s/it]
+
+
+
+
+Training...: 3399it [26:51,  2.68it/s]
+
+
+
+
+
+Training...: 3449it [27:11,  2.70it/s]
+
+
+
+
+
+Training...: 3499it [27:31,  2.67it/s]
+
+
+
+
+
+
+Training...: 3558it [28:05,  1.59it/s]
+
+
+
+
+
+Training...: 3608it [28:25,  1.59it/s]
+
+
+
+
+
+Training...: 3658it [28:45,  1.60it/s]
+
+
+
+
+Training...: 3699it [28:52,  2.67it/s]
+
+
+
+
+
+Training...: 3749it [29:12,  2.67it/s]
+
+
+
+
+
+
+Training...: 3804it [29:45,  1.39s/it]
+
+
+
+
+Training...: 3849it [29:52,  2.68it/s]
+
+
+
+
+
+Training...: 3899it [30:12,  2.69it/s]
+
+
+
+
+
+
+Training...: 3956it [30:45,  1.09it/s]
+
+
+
+
+Training...: 3999it [30:52,  2.68it/s]
+
+
+
+
+
+
+Training...: 4057it [31:25,  1.46it/s]
+
+
+
+
+Training...: 4099it [31:32,  2.66it/s]
+
+
+
+
+
+
+Training...: 4152it [32:05,  2.25s/it]
+
+
+
+
+
+Training...: 4201it [32:25,  2.88s/it]
+
+
+
+
+Training...: 4249it [32:32,  2.66it/s]
+
+
+
+
+
+Training...: 4299it [32:52,  2.68it/s]
+
+
+
+
+
+
+Training...: 4356it [33:26,  1.09it/s]
+
+
+
+
+Training...: 4399it [33:32,  2.68it/s]
+
+
+
+
+
+Training...: 4449it [33:52,  2.67it/s]
+
+
+
+
+
+Training...: 4499it [34:12,  2.69it/s]
+
+
+
+
+
+Training...: 4549it [34:32,  2.68it/s]
+
+
+
+
+
+Training...: 4599it [34:52,  2.69it/s]
+
+
+
+
+
+Training...: 4649it [35:12,  2.68it/s]
+
+
+
+
+
+
+Training...: 4703it [35:46,  1.64s/it]
+
+
+
+
+Training...: 4749it [35:52,  2.67it/s]
+
+
+
+
+
+
+Training...: 4806it [36:26,  1.09it/s]
+
+
+
+
+Training...: 4849it [36:32,  2.70it/s]
+
+
+
+
+
+Training...: 4899it [36:53,  2.67it/s]
+
+
+
+
+
+
+Training...: 4958it [37:26,  1.59it/s]
+
+
+
+
+Training...: 4999it [37:33,  2.65it/s]
+
+
+
+
+
+Training...: 5049it [37:53,  2.30it/s]
+
+
+
+
+
+Training...: 5099it [38:13,  2.68it/s]
+
+
+
+
+
+
+Training...: 5152it [38:46,  2.25s/it]
+
+
+
+
+
+Training...: 5206it [39:06,  1.09it/s]
+
+
+
+
+Training...: 5249it [39:13,  2.68it/s]
+
+
+
+
+
+Training...: 5299it [39:33,  2.69it/s]
+
+
+
+
+
+
+Training...: 5358it [40:07,  1.59it/s]
+
+
+
+
+
+Training...: 5408it [40:27,  1.58it/s]
+
+
+
+
+
+Training...: 5460it [40:47,  2.24it/s]
+
+
+
+
+Training...: 5499it [40:53,  2.68it/s]
+
+
+
+
+
+Training...: 5549it [41:13,  2.70it/s]
+
+
+
+
+
+Training...: 5599it [41:33,  2.67it/s]
+
+
+
+
+
+Training...: 5649it [41:53,  2.68it/s]
+
+
+
+
+
+Training...: 5699it [42:13,  2.67it/s]
+
+
+
+
+
+
+Training...: 5756it [42:47,  1.09it/s]
+
+
+
+
+Training...: 5799it [42:53,  2.68it/s]
+
+
+
+
+
+
+Training...: 5856it [43:27,  1.09it/s]
+
+
+
+
+
+Training...: 5906it [43:47,  1.09it/s]
+
+
+
+
+Training...: 5949it [43:53,  2.68it/s]
+
+
+
+
+
+Training...: 5999it [44:27,  2.69it/s]
+Evaluating ...:   0%|                                                                                                                                                               | 0/500 [00:00<?, ?it/s]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+Training...: 6049it [45:56,  2.66it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 6099it [46:16,  2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 6149it [46:36,  2.72it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 6199it [46:56,  2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 6249it [47:16,  2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 6299it [47:36,  2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 6349it [47:56,  2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 6399it [48:16,  2.70it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 6449it [48:36,  2.68it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 6499it [48:56,  2.69it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 6549it [49:16,  2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 6599it [49:36,  2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 6649it [49:56,  2.71it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 6699it [50:16,  2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 6749it [50:36,  2.69it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 6799it [50:56,  2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 6849it [51:16,  2.67it/s]███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████��████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 6899it [51:37,  2.70it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 6949it [51:57,  2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 6999it [52:17,  2.70it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 7049it [52:37,  2.68it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 7099it [52:57,  2.68it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 7149it [53:17,  2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 7199it [53:37,  2.68it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 7249it [53:57,  2.71it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 7299it [54:17,  2.68it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 7349it [54:37,  2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 7399it [54:57,  2.68it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 7449it [55:17,  2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 7499it [55:37,  2.70it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 7549it [55:57,  2.68it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 7599it [56:17,  2.69it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 7649it [56:37,  2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 7699it [56:57,  2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 7749it [57:17,  2.70it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 7799it [57:37,  2.68it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 7849it [57:57,  2.69it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 7899it [58:17,  2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 7949it [58:37,  2.68it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 7999it [58:57,  2.70it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 8049it [59:18,  2.65it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 8099it [59:38,  2.70it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 8149it [59:58,  2.68it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 8199it [1:00:18,  2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 8249it [1:00:38,  2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 8299it [1:00:58,  2.68it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 8349it [1:01:18,  2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 8399it [1:01:38,  2.69it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 8449it [1:01:58,  2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 8499it [1:02:18,  2.68it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 8549it [1:02:38,  2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 8599it [1:02:58,  2.71it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 8649it [1:03:18,  2.68it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 8699it [1:03:38,  2.68it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 8749it [1:03:58,  2.68it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 8799it [1:04:18,  2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 8849it [1:04:38,  2.70it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 8899it [1:04:58,  2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 8949it [1:05:18,  2.70it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 8999it [1:05:38,  2.68it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 9049it [1:05:58,  2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 9099it [1:06:18,  2.70it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 9149it [1:06:38,  2.68it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 9199it [1:06:58,  2.70it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 9249it [1:07:18,  2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 9299it [1:07:39,  2.75it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 9349it [1:07:59,  2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 9399it [1:08:19,  2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 9449it [1:08:39,  2.71it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 9499it [1:08:59,  2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 9549it [1:09:19,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████��████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 9599it [1:09:39,  2.68it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 9649it [1:09:59,  2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 9699it [1:10:19,  2.71it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 9749it [1:10:39,  2.68it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 9799it [1:10:59,  2.69it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 9849it [1:11:19,  2.68it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 9899it [1:11:39,  2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 9949it [1:11:59,  2.71it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 9999it [1:12:19,  2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 10049it [1:12:39,  2.69it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 10099it [1:12:59,  2.67it/s]██████████████████████████████████████████████████████████��██████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 10149it [1:13:19,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 10199it [1:13:39,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 10249it [1:13:59,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 10299it [1:14:19,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 10349it [1:14:39,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 10399it [1:14:59,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 10449it [1:15:19,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 10499it [1:15:39,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 10549it [1:16:00,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 10599it [1:16:20,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 10649it [1:16:40,  2.67it/s]██████████████████████████████████��██████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 10699it [1:17:00,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 10749it [1:17:20,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 10799it [1:17:40,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 10849it [1:18:00,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 10899it [1:18:20,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 10949it [1:18:40,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 10999it [1:19:00,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 11049it [1:19:20,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 11099it [1:19:40,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 11149it [1:20:00,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 11199it [1:20:20,  2.68it/s]██████████��██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 11249it [1:20:40,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 11299it [1:21:00,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 11349it [1:21:20,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 11399it [1:21:40,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 11449it [1:22:00,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 11499it [1:22:20,  2.76it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 11549it [1:22:40,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 11599it [1:23:00,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 11649it [1:23:20,  2.71it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 11699it [1:23:40,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 11749it [1:24:00,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 11799it [1:24:21,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 11849it [1:24:41,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 11899it [1:25:01,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 11949it [1:25:21,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+Training...: 11999it [1:25:41,  2.69it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+Training...: 11999it [1:25:54,  2.69it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+Training...: 12049it [1:27:05,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 12099it [1:27:25,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+                                         █████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 12200it [1:28:18,  4.01s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 12249it [1:28:25,  2.71it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 12299it [1:28:45,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 12350it [1:29:18,  4.01s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 12400it [1:29:38,  4.01s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 12450it [1:29:58,  4.01s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 12504it [1:30:19,  1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 12554it [1:30:39,  1.40s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 12599it [1:30:45,  2.63it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 12649it [1:31:05,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 12699it [1:31:25,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 12750it [1:31:59,  4.01s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 12800it [1:32:19,  4.01s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 12854it [1:32:39,  1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 12906it [1:32:59,  1.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 12949it [1:33:06,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 13000it [1:33:39,  4.01s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 13052it [1:33:59,  2.24s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 13102it [1:34:19,  2.25s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 13152it [1:34:39,  2.25s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 13200it [1:34:59,  4.01s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 13250it [1:35:19,  4.07s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 13302it [1:35:39,  2.25s/it]███████████████████████████████████████████���█████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 13352it [1:35:59,  2.24s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 13402it [1:36:19,  2.24s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 13452it [1:36:39,  2.25s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 13504it [1:37:00,  1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 13554it [1:37:20,  1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 13604it [1:37:40,  1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 13656it [1:38:00,  1.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 13706it [1:38:20,  1.08it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 13756it [1:38:40,  1.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 13808it [1:39:00,  1.59it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 13858it [1:39:20,  1.59it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 13910it [1:39:40,  2.25it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 13954it [1:40:00,  1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 14004it [1:40:20,  1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 14054it [1:40:40,  1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 14108it [1:41:00,  1.59it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 14152it [1:41:20,  2.25s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 14210it [1:41:41,  2.25it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 14252it [1:42:00,  2.25s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 14300it [1:42:20,  4.01s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 14350it [1:42:40,  4.07s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 14402it [1:43:00,  2.25s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 14452it [1:43:21,  2.24s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 14502it [1:43:41,  2.25s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 14552it [1:44:01,  2.24s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 14604it [1:44:21,  1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 14654it [1:44:41,  1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 14704it [1:45:01,  1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 14754it [1:45:21,  1.40s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 14804it [1:45:41,  1.41s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 14854it [1:46:01,  1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 14904it [1:46:21,  1.39s/it]███████████████████████████████████████████████████████████████████████████████████████████████████████████���█████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 14956it [1:46:41,  1.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 14999it [1:47:01,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+tcmalloc: large alloc 1354776576 bytes == 0x37c662000 @  0x7f779c64f680 0x7f779c66fbdd 0x7f7782c0920d 0x7f7782c17340 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c12bd3 0x7f7782c131fe 0x504d56 0x56acb6 0x568d9a 0x5f5b33 0x56bc9b 0x5f5956 0x56aadf 0x5f5956 0x56fb87 0x568d9a 0x5f5b33 0x56bc9b 0x568d9a 0x68cdc7 0x67e161 0x67e1df
+tcmalloc: large alloc 2715181056 bytes == 0x3cda66000 @  0x7f779c64f680 0x7f779c66fbdd 0x7f7782c0920d 0x7f7782c17340 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c12bd3 0x7f7782c131fe 0x504d56 0x56acb6 0x568d9a 0x5f5b33 0x56bc9b 0x5f5956 0x56aadf 0x5f5956 0x56fb87 0x568d9a 0x5f5b33 0x56bc9b 0x568d9a
+tcmalloc: large alloc 1530273792 bytes == 0x32311e000 @  0x7f779c64f680 0x7f779c670824 0x5f7b11 0x7f7782c12c6f 0x7f7782c131fe 0x504d56 0x56acb6 0x568d9a 0x5f5b33 0x56bc9b 0x5f5956 0x56aadf 0x5f5956 0x56fb87 0x568d9a 0x5f5b33 0x56bc9b 0x568d9a 0x68cdc7 0x67e161 0x67e1df 0x67e281 0x67e627 0x6b6e62 0x6b71ed 0x7f779c4640b3 0x5f96de
+[02:52:47] - INFO - absl - Saved checkpoint at checkpoint_165000
+[02:52:48] - INFO - huggingface_hub.repository - git version 2.25.1
+git-lfs/2.9.2 (GitHub; linux amd64; go 1.13.5)

wandb/run-20210716_005946-3bte92ft/files/requirements.txt

@@ -0,0 +1,95 @@
+absl-py==0.13.0
+aiohttp==3.7.4.post0
+astunparse==1.6.3
+async-timeout==3.0.1
+attrs==21.2.0
+cachetools==4.2.2
+certifi==2021.5.30
+chardet==4.0.0
+charset-normalizer==2.0.1
+chex==0.0.8
+click==8.0.1
+configparser==5.0.2
+cycler==0.10.0
+datasets==1.9.1.dev0
+dill==0.3.4
+dm-tree==0.1.6
+docker-pycreds==0.4.0
+filelock==3.0.12
+flatbuffers==1.12
+flax==0.3.4
+fsspec==2021.7.0
+gast==0.4.0
+gitdb==4.0.7
+gitpython==3.1.18
+google-auth-oauthlib==0.4.4
+google-auth==1.32.1
+google-pasta==0.2.0
+grpcio==1.34.1
+h5py==3.1.0
+huggingface-hub==0.0.12
+idna==3.2
+install==1.3.4
+jax==0.2.17
+jaxlib==0.1.68
+joblib==1.0.1
+keras-nightly==2.5.0.dev2021032900
+keras-preprocessing==1.1.2
+kiwisolver==1.3.1
+libtpu-nightly==0.1.dev20210615
+markdown==3.3.4
+matplotlib==3.4.2
+msgpack==1.0.2
+multidict==5.1.0
+multiprocess==0.70.12.2
+numpy==1.19.5
+oauthlib==3.1.1
+opt-einsum==3.3.0
+optax==0.0.9
+packaging==21.0
+pandas==1.3.0
+pathtools==0.1.2
+pillow==8.3.1
+pip==20.0.2
+pkg-resources==0.0.0
+promise==2.3
+protobuf==3.17.3
+psutil==5.8.0
+pyarrow==4.0.1
+pyasn1-modules==0.2.8
+pyasn1==0.4.8
+pyparsing==2.4.7
+python-dateutil==2.8.1
+pytz==2021.1
+pyyaml==5.4.1
+regex==2021.7.6
+requests-oauthlib==1.3.0
+requests==2.26.0
+rsa==4.7.2
+sacremoses==0.0.45
+scipy==1.7.0
+sentry-sdk==1.3.0
+setuptools==44.0.0
+shortuuid==1.0.1
+six==1.15.0
+smmap==4.0.0
+subprocess32==3.5.4
+tensorboard-data-server==0.6.1
+tensorboard-plugin-wit==1.8.0
+tensorboard==2.5.0
+tensorflow-estimator==2.5.0
+tensorflow==2.5.0
+termcolor==1.1.0
+tokenizers==0.10.3
+toolz==0.11.1
+torch==1.9.0
+tqdm==4.61.2
+transformers==4.9.0.dev0
+typing-extensions==3.7.4.3
+urllib3==1.26.6
+wandb==0.10.33
+werkzeug==2.0.1
+wheel==0.36.2
+wrapt==1.12.1
+xxhash==2.0.2
+yarl==1.6.3

wandb/run-20210716_005946-3bte92ft/files/wandb-metadata.json

@@ -0,0 +1,45 @@
+{
+    "os": "Linux-5.4.0-1043-gcp-x86_64-with-glibc2.29",
+    "python": "3.8.10",
+    "heartbeatAt": "2021-07-16T00:59:48.465389",
+    "startedAt": "2021-07-16T00:59:46.395439",
+    "docker": null,
+    "cpu_count": 96,
+    "cuda": null,
+    "args": [
+        "--push_to_hub",
+        "--output_dir=./",
+        "--model_type=big_bird",
+        "--config_name=./",
+        "--tokenizer_name=./",
+        "--max_seq_length=4096",
+        "--weight_decay=0.0095",
+        "--warmup_steps=10000",
+        "--overwrite_output_dir",
+        "--adam_beta1=0.9",
+        "--adam_beta2=0.98",
+        "--logging_steps=50",
+        "--eval_steps=6000",
+        "--num_train_epochs=3",
+        "--preprocessing_num_workers=96",
+        "--save_steps=15000",
+        "--learning_rate=3e-5",
+        "--per_device_train_batch_size=1",
+        "--per_device_eval_batch_size=1",
+        "--save_total_limit=20",
+        "--max_eval_samples=4000",
+        "--resume_from_checkpoint=./"
+    ],
+    "state": "running",
+    "program": "./run_mlm_flax_no_accum.py",
+    "codePath": "run_mlm_flax_no_accum.py",
+    "git": {
+        "remote": "https://huggingface.co/flax-community/pino-roberta-base",
+        "commit": "d8a2b47859c5144d1e156d0c91575425e87ee087"
+    },
+    "email": null,
+    "root": "/home/dat/pino-roberta-base",
+    "host": "t1v-n-f5c06ea1-w-0",
+    "username": "dat",
+    "executable": "/home/dat/pino/bin/python"
+}

wandb/run-20210716_005946-3bte92ft/files/wandb-summary.json

@@ -0,0 +1 @@
+{"training_step": 165000, "learning_rate": 2.556423714850098e-05, "train_loss": 2.123889923095703, "_runtime": 6771, "_timestamp": 1626403957, "_step": 301, "eval_step": 162000, "eval_accuracy": 0.5958945751190186, "eval_loss": 2.1219091415405273}

wandb/run-20210716_005946-3bte92ft/logs/debug.log

@@ -0,0 +1,26 @@
+2021-07-16 00:59:46,396 INFO    MainThread:760449 [wandb_setup.py:_flush():69] setting env: {}
+2021-07-16 00:59:46,397 INFO    MainThread:760449 [wandb_setup.py:_flush():69] setting login settings: {}
+2021-07-16 00:59:46,397 INFO    MainThread:760449 [wandb_init.py:_log_setup():337] Logging user logs to /home/dat/pino-roberta-base/wandb/run-20210716_005946-3bte92ft/logs/debug.log
+2021-07-16 00:59:46,397 INFO    MainThread:760449 [wandb_init.py:_log_setup():338] Logging internal logs to /home/dat/pino-roberta-base/wandb/run-20210716_005946-3bte92ft/logs/debug-internal.log
+2021-07-16 00:59:46,397 INFO    MainThread:760449 [wandb_init.py:init():370] calling init triggers
+2021-07-16 00:59:46,397 INFO    MainThread:760449 [wandb_init.py:init():375] wandb.init called with sweep_config: {}
+config: {}
+2021-07-16 00:59:46,397 INFO    MainThread:760449 [wandb_init.py:init():419] starting backend
+2021-07-16 00:59:46,397 INFO    MainThread:760449 [backend.py:_multiprocessing_setup():70] multiprocessing start_methods=fork,spawn,forkserver, using: spawn
+2021-07-16 00:59:46,448 INFO    MainThread:760449 [backend.py:ensure_launched():135] starting backend process...
+2021-07-16 00:59:46,499 INFO    MainThread:760449 [backend.py:ensure_launched():139] started backend process with pid: 761704
+2021-07-16 00:59:46,501 INFO    MainThread:760449 [wandb_init.py:init():424] backend started and connected
+2021-07-16 00:59:46,505 INFO    MainThread:760449 [wandb_init.py:init():472] updated telemetry
+2021-07-16 00:59:46,506 INFO    MainThread:760449 [wandb_init.py:init():491] communicating current version
+2021-07-16 00:59:47,160 INFO    MainThread:760449 [wandb_init.py:init():496] got version response upgrade_message: "wandb version 0.11.0 is available!  To upgrade, please run:\n $ pip install wandb --upgrade"
+
+2021-07-16 00:59:47,160 INFO    MainThread:760449 [wandb_init.py:init():504] communicating run to backend with 30 second timeout
+2021-07-16 00:59:47,331 INFO    MainThread:760449 [wandb_init.py:init():529] starting run threads in backend
+2021-07-16 00:59:48,508 INFO    MainThread:760449 [wandb_run.py:_console_start():1623] atexit reg
+2021-07-16 00:59:48,509 INFO    MainThread:760449 [wandb_run.py:_redirect():1497] redirect: SettingsConsole.REDIRECT
+2021-07-16 00:59:48,510 INFO    MainThread:760449 [wandb_run.py:_redirect():1502] Redirecting console.
+2021-07-16 00:59:48,512 INFO    MainThread:760449 [wandb_run.py:_redirect():1558] Redirects installed.
+2021-07-16 00:59:48,512 INFO    MainThread:760449 [wandb_init.py:init():554] run started, returning control to user process
+2021-07-16 00:59:48,518 INFO    MainThread:760449 [wandb_run.py:_config_callback():872] config_cb None None {'output_dir': './', 'overwrite_output_dir': True, 'do_train': False, 'do_eval': False, 'do_predict': False, 'evaluation_strategy': 'IntervalStrategy.NO', 'prediction_loss_only': False, 'per_device_train_batch_size': 1, 'per_device_eval_batch_size': 1, 'per_gpu_train_batch_size': None, 'per_gpu_eval_batch_size': None, 'gradient_accumulation_steps': 1, 'eval_accumulation_steps': None, 'learning_rate': 3e-05, 'weight_decay': 0.0095, 'adam_beta1': 0.9, 'adam_beta2': 0.98, 'adam_epsilon': 1e-08, 'max_grad_norm': 1.0, 'num_train_epochs': 3.0, 'max_steps': -1, 'lr_scheduler_type': 'SchedulerType.LINEAR', 'warmup_ratio': 0.0, 'warmup_steps': 10000, 'log_level': -1, 'log_level_replica': -1, 'log_on_each_node': True, 'logging_dir': './runs/Jul16_00-59-37_t1v-n-f5c06ea1-w-0', 'logging_strategy': 'IntervalStrategy.STEPS', 'logging_first_step': False, 'logging_steps': 50, 'save_strategy': 'IntervalStrategy.STEPS', 'save_steps': 15000, 'save_total_limit': 20, 'save_on_each_node': False, 'no_cuda': False, 'seed': 42, 'fp16': False, 'fp16_opt_level': 'O1', 'fp16_backend': 'auto', 'fp16_full_eval': False, 'local_rank': -1, 'tpu_num_cores': None, 'tpu_metrics_debug': False, 'debug': [], 'dataloader_drop_last': False, 'eval_steps': 6000, 'dataloader_num_workers': 0, 'past_index': -1, 'run_name': './', 'disable_tqdm': False, 'remove_unused_columns': True, 'label_names': None, 'load_best_model_at_end': False, 'metric_for_best_model': None, 'greater_is_better': None, 'ignore_data_skip': False, 'sharded_ddp': [], 'deepspeed': None, 'label_smoothing_factor': 0.0, 'adafactor': False, 'group_by_length': False, 'length_column_name': 'length', 'report_to': ['tensorboard', 'wandb'], 'ddp_find_unused_parameters': None, 'dataloader_pin_memory': True, 'skip_memory_metrics': True, 'use_legacy_prediction_loop': False, 'push_to_hub': True, 'resume_from_checkpoint': './', 'push_to_hub_model_id': '', 'push_to_hub_organization': None, 'push_to_hub_token': None, 'mp_parameters': '', '_n_gpu': 0, '__cached__setup_devices': 'cpu'}
+2021-07-16 00:59:48,520 INFO    MainThread:760449 [wandb_run.py:_config_callback():872] config_cb None None {'model_name_or_path': None, 'model_type': 'big_bird', 'config_name': './', 'tokenizer_name': './', 'cache_dir': None, 'use_fast_tokenizer': True, 'dtype': 'float32'}
+2021-07-16 00:59:48,521 INFO    MainThread:760449 [wandb_run.py:_config_callback():872] config_cb None None {'dataset_name': None, 'dataset_config_name': None, 'train_ref_file': None, 'validation_ref_file': None, 'overwrite_cache': False, 'validation_split_percentage': 5, 'max_seq_length': 4096, 'preprocessing_num_workers': 96, 'mlm_probability': 0.15, 'pad_to_max_length': False, 'line_by_line': False, 'max_eval_samples': 4000}