Saving weights and logs of step 500

0a45948 almost 3 years ago

No virus

62.3 kB

	2021-07-10 11:28:58.039466: W tensorflow/stream_executor/platform/default/dso_loader.cc:64] Could not load dynamic library 'libcudart.so.11.0'; dlerror: libcudart.so.11.0: cannot open shared object file: No such file or directory
	[11:28:59] - INFO - __main__ - Training/evaluation parameters TrainingArguments(
	_n_gpu=-1,
	adafactor=False,
	adam_beta1=0.9,
	adam_beta2=0.999,
	adam_epsilon=1e-08,
	dataloader_drop_last=False,
	dataloader_num_workers=0,
	dataloader_pin_memory=True,
	ddp_find_unused_parameters=None,
	debug=[],
	deepspeed=None,
	disable_tqdm=False,
	do_eval=False,
	do_predict=False,
	do_train=False,
	eval_accumulation_steps=None,
	eval_steps=500,
	evaluation_strategy=IntervalStrategy.NO,
	fp16=False,
	fp16_backend=auto,
	fp16_full_eval=False,
	fp16_opt_level=O1,
	gradient_accumulation_steps=1,
	greater_is_better=None,
	group_by_length=False,
	ignore_data_skip=False,
	label_names=None,
	label_smoothing_factor=0.0,
	learning_rate=0.0003,
	length_column_name=length,
	load_best_model_at_end=False,
	local_rank=-1,
	log_level=-1,
	log_level_replica=-1,
	log_on_each_node=True,
	logging_dir=./runs/Jul10_11-28-59_t1v-n-112df4a9-w-0,
	logging_first_step=False,
	logging_steps=500,
	logging_strategy=IntervalStrategy.STEPS,
	lr_scheduler_type=SchedulerType.LINEAR,
	max_grad_norm=1.0,
	max_steps=-1,
	metric_for_best_model=None,
	mp_parameters=,
	no_cuda=False,
	num_train_epochs=8.0,
	output_dir=./,
	overwrite_output_dir=True,
	past_index=-1,
	per_device_eval_batch_size=4,
	per_device_train_batch_size=4,
	prediction_loss_only=False,
	push_to_hub=True,
	push_to_hub_model_id=flax-community/roberta-base-mr,
	push_to_hub_organization=None,
	push_to_hub_token=vdIAyRvCACJNslYtyLHufmNDnUIyknPzUgVDMFiXqJoulvMqjoubonLJzXOJQJczWfRMJumVaMFjGSFVnQAMdswvZkzNIthKrxBeARBXfqnIwjABkKpCbjGEgnkjpjKi,
	remove_unused_columns=True,
	report_to=['wandb'],
	resume_from_checkpoint=None,
	run_name=hf-flax-robert-base-mr,
	save_on_each_node=False,
	save_steps=500,
	save_strategy=IntervalStrategy.STEPS,
	save_total_limit=None,
	seed=42,
	sharded_ddp=[],
	skip_memory_metrics=True,
	tpu_metrics_debug=False,
	tpu_num_cores=None,
	use_legacy_prediction_loop=False,
	warmup_ratio=0.0,
	warmup_steps=1000,
	weight_decay=0.0,
	)
	[11:28:59] - DEBUG - urllib3.connectionpool - Starting new HTTPS connection (1): s3.amazonaws.com:443
	[11:28:59] - DEBUG - urllib3.connectionpool - https://s3.amazonaws.com:443 "HEAD /datasets.huggingface.co/datasets/datasets/csv/csv.py HTTP/1.1" 200 0
	[11:28:59] - WARNING - datasets.builder - Using custom data configuration default-81af252916854639
	Downloading and preparing dataset csv/default (download: Unknown size, generated: Unknown size, post-processed: Unknown size, total: Unknown size) to /home/nipunsadvilkar/.cache/huggingface/datasets/csv/default-81af252916854639/0.0.0/e138af468cb14e747fb46a19c787ffcfa5170c821476d20d5304287ce12bbc23...
	0 tables [00:00, ? tables/s] 0 tables [00:00, ? tables/s] Dataset csv downloaded and prepared to /home/nipunsadvilkar/.cache/huggingface/datasets/csv/default-81af252916854639/0.0.0/e138af468cb14e747fb46a19c787ffcfa5170c821476d20d5304287ce12bbc23. Subsequent calls will reuse this data.
	0%\| \| 0/5 [00:00<?, ?ba/s] 20%\|██ \| 1/5 [00:00<00:00, 8.07ba/s] 40%\|████ \| 2/5 [00:00<00:00, 7.27ba/s] 80%\|████████ \| 4/5 [00:00<00:00, 9.13ba/s] 100%\|██████████\| 5/5 [00:00<00:00, 9.74ba/s]
	0%\| \| 0/2 [00:00<?, ?ba/s] 50%\|█████ \| 1/2 [00:00<00:00, 8.60ba/s] 100%\|██████████\| 2/2 [00:00<00:00, 10.32ba/s]
	0%\| \| 0/5 [00:00<?, ?ba/s] 20%\|██ \| 1/5 [00:00<00:03, 1.11ba/s] 40%\|████ \| 2/5 [00:01<00:02, 1.06ba/s] 60%\|██████ \| 3/5 [00:02<00:01, 1.22ba/s] 80%\|████████ \| 4/5 [00:03<00:00, 1.22ba/s] 100%\|██████████\| 5/5 [00:03<00:00, 1.60ba/s] 100%\|██████████\| 5/5 [00:03<00:00, 1.37ba/s]
	0%\| \| 0/2 [00:00<?, ?ba/s] 50%\|█████ \| 1/2 [00:00<00:00, 1.06ba/s] 100%\|██████████\| 2/2 [00:01<00:00, 1.43ba/s] 100%\|██████████\| 2/2 [00:01<00:00, 1.35ba/s]
	[11:29:05] - INFO - absl - Starting the local TPU driver.
	[11:29:05] - INFO - absl - Unable to initialize backend 'tpu_driver': Not found: Unable to find driver in registry given worker: local://
	[11:29:05] - INFO - absl - Unable to initialize backend 'gpu': Not found: Could not find registered platform with name: "cuda". Available platform names are: Host Interpreter TPU
	[11:29:08] - DEBUG - git.cmd - Popen(['git', 'version'], cwd=/home/nipunsadvilkar/sample/roberta-base-mr, universal_newlines=False, shell=None, istream=None)
	huggingface/tokenizers: The current process just got forked, after parallelism has already been used. Disabling parallelism to avoid deadlocks...
	To disable this warning, you can either:
	- Avoid using `tokenizers` before the fork if possible
	- Explicitly set the environment variable TOKENIZERS_PARALLELISM=(true \| false)
	[11:29:08] - DEBUG - git.cmd - Popen(['git', 'version'], cwd=/home/nipunsadvilkar/sample/roberta-base-mr, universal_newlines=False, shell=None, istream=None)
	huggingface/tokenizers: The current process just got forked, after parallelism has already been used. Disabling parallelism to avoid deadlocks...
	To disable this warning, you can either:
	- Avoid using `tokenizers` before the fork if possible
	- Explicitly set the environment variable TOKENIZERS_PARALLELISM=(true \| false)
	huggingface/tokenizers: The current process just got forked, after parallelism has already been used. Disabling parallelism to avoid deadlocks...
	To disable this warning, you can either:
	- Avoid using `tokenizers` before the fork if possible
	- Explicitly set the environment variable TOKENIZERS_PARALLELISM=(true \| false)
	[11:29:10] - DEBUG - git.cmd - Popen(['git', 'rev-parse', '--show-toplevel'], cwd=/home/nipunsadvilkar/sample/roberta-base-mr, universal_newlines=False, shell=None, istream=None)
	huggingface/tokenizers: The current process just got forked, after parallelism has already been used. Disabling parallelism to avoid deadlocks...
	To disable this warning, you can either:
	- Avoid using `tokenizers` before the fork if possible
	- Explicitly set the environment variable TOKENIZERS_PARALLELISM=(true \| false)
	[11:29:10] - DEBUG - urllib3.connectionpool - Starting new HTTPS connection (1): api.wandb.ai:443
	[11:29:10] - DEBUG - urllib3.connectionpool - https://api.wandb.ai:443 "POST /graphql HTTP/1.1" 200 None
	wandb: Currently logged in as: nipunsadvilkar (use `wandb login --relogin` to force relogin)
	huggingface/tokenizers: The current process just got forked, after parallelism has already been used. Disabling parallelism to avoid deadlocks...
	To disable this warning, you can either:
	- Avoid using `tokenizers` before the fork if possible
	- Explicitly set the environment variable TOKENIZERS_PARALLELISM=(true \| false)
	huggingface/tokenizers: The current process just got forked, after parallelism has already been used. Disabling parallelism to avoid deadlocks...
	To disable this warning, you can either:
	- Avoid using `tokenizers` before the fork if possible
	- Explicitly set the environment variable TOKENIZERS_PARALLELISM=(true \| false)
	2021-07-10 11:29:11.076322: W tensorflow/stream_executor/platform/default/dso_loader.cc:64] Could not load dynamic library 'libcudart.so.11.0'; dlerror: libcudart.so.11.0: cannot open shared object file: No such file or directory
	wandb: Tracking run with wandb version 0.10.33
	wandb: Syncing run hardy-shape-9
	wandb: View project at https://wandb.ai/nipunsadvilkar/hf-flax-robert-base-mr
	wandb: View run at https://wandb.ai/nipunsadvilkar/hf-flax-robert-base-mr/runs/2mowkjdf
	wandb: Run data is saved locally in /home/nipunsadvilkar/sample/roberta-base-mr/wandb/run-20210710_112910-2mowkjdf
	wandb: Run `wandb offline` to turn off syncing.
	2021-07-10 11:29:12.228649: W tensorflow/stream_executor/platform/default/dso_loader.cc:64] Could not load dynamic library 'libcuda.so.1'; dlerror: libcuda.so.1: cannot open shared object file: No such file or directory
	2021-07-10 11:29:12.228690: W tensorflow/stream_executor/cuda/cuda_driver.cc:326] failed call to cuInit: UNKNOWN ERROR (303)

	/home/nipunsadvilkar/roberta_mr_env/lib/python3.8/site-packages/jax/lib/xla_bridge.py:382: UserWarning: jax.host_count has been renamed to jax.process_count. This alias will eventually be removed; please update your code.
	warnings.warn(
	/home/nipunsadvilkar/roberta_mr_env/lib/python3.8/site-packages/jax/lib/xla_bridge.py:369: UserWarning: jax.host_id has been renamed to jax.process_index. This alias will eventually be removed; please update your code.
	warnings.warn(
	Epoch ... (1/8): 0%\| \| 0/8 [00:00<?, ?it/s]
	Training...: 0%\| \| 0/147 [00:00<?, ?it/s][A
	Training...: 1%\|█ \| 1/147 [01:13<2:59:11, 73.64s/it][A
	Training...: 3%\|█████▏ \| 5/147 [01:13<26:00, 10.99s/it][A
	Training...: 6%\|█████████▍ \| 9/147 [01:13<11:26, 4.98s/it][A
	Training...: 9%\|█████████████▌ \| 13/147 [01:13<06:15, 2.80s/it][A
	Training...: 12%\|█████████████████▋ \| 17/147 [01:14<03:45, 1.73s/it][A
	Training...: 14%\|█████████████████████▊ \| 21/147 [01:14<02:21, 1.13s/it][A
	Training...: 17%\|██████████████████████████ \| 25/147 [01:14<01:32, 1.32it/s][A
	Training...: 20%\|██████████████████████████████▏ \| 29/147 [01:14<01:01, 1.92it/s][A
	Training...: 22%\|██████████████████████████████████▎ \| 33/147 [01:14<00:43, 2.63it/s][A
	Training...: 25%\|██████████████████████████████████████▌ \| 37/147 [01:14<00:29, 3.71it/s][A
	Training...: 28%\|██████████████████████████████████████████▋ \| 41/147 [01:14<00:20, 5.12it/s][A
	Training...: 31%\|██████████████████████████████████████████████▊ \| 45/147 [01:15<00:14, 6.95it/s][A
	Training...: 33%\|███████████████████████████████████████████████████ \| 49/147 [01:15<00:10, 9.23it/s][A
	Training...: 36%\|███████████████████████████████████████████████████████▏ \| 53/147 [01:15<00:07, 11.89it/s][A
	Training...: 39%\|███████████████████████████████████████████████████████████▎ \| 57/147 [01:15<00:06, 14.90it/s][A
	Training...: 41%\|███████████████████████████████████████████████████████████████▍ \| 61/147 [01:15<00:04, 18.12it/s][A
	Training...: 44%\|███████████████████████████████████████████████████████████████████▋ \| 65/147 [01:15<00:03, 21.41it/s][A
	Training...: 47%\|███████████████████████████████████████████████████████████████████████▊ \| 69/147 [01:15<00:03, 24.42it/s][A
	Training...: 50%\|███████████████████████████████████████████████████████████████████████████▉ \| 73/147 [01:15<00:02, 27.32it/s][A
	Training...: 52%\|████████████████████████████████████████████████████████████████████████████████▏ \| 77/147 [01:15<00:02, 29.69it/s][A
	Training...: 55%\|████████████████████████████████████████████████████████████████████████████████████▎ \| 81/147 [01:16<00:02, 31.47it/s][A
	Training...: 58%\|████████████████████████████████████████████████████████████████████████████████████████▍ \| 85/147 [01:16<00:01, 32.56it/s][A
	Training...: 61%\|████████████████████████████████████████████████████████████████████████████████████████████▋ \| 89/147 [01:16<00:01, 33.23it/s][A
	Training...: 63%\|████████████████████████████████████████████████████████████████████████████████████████████████▊ \| 93/147 [01:16<00:01, 33.96it/s][A
	Training...: 66%\|████████████████████████████████████████████████████████████████████████████████████████████████████▉ \| 97/147 [01:16<00:01, 34.56it/s][A
	Training...: 69%\|████████████████████████████████████████████████████████████████████████████████████████████████████████▍ \| 101/147 [01:16<00:01, 35.01it/s][A
	Training...: 71%\|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ \| 105/147 [01:16<00:01, 35.13it/s][A
	Training...: 74%\|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ \| 109/147 [01:16<00:01, 25.26it/s][A
	Training...: 77%\|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ \| 113/147 [01:17<00:01, 27.66it/s][A
	Training...: 80%\|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ \| 117/147 [01:17<00:01, 29.60it/s][A
	Training...: 82%\|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ \| 121/147 [01:17<00:00, 31.34it/s][A
	Training...: 85%\|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ \| 125/147 [01:17<00:00, 32.63it/s][A
	Training...: 88%\|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ \| 129/147 [01:17<00:00, 33.77it/s][A
	Training...: 90%\|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ \| 133/147 [01:17<00:00, 34.32it/s][A
	Training...: 93%\|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ \| 137/147 [01:17<00:00, 34.55it/s][A
	Training...: 96%\|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ \| 141/147 [01:17<00:00, 34.96it/s][A
	Training...: 99%\|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ \| 145/147 [01:17<00:00, 35.33it/s][A Training...: 100%\|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████\| 147/147 [01:18<00:00, 1.88it/s]
	Epoch ... (1/8): 12%\|███████████████████ \| 1/8 [01:19<09:16, 79.51s/it]
	Training...: 0%\| \| 0/147 [00:00<?, ?it/s][A
	Training...: 3%\|████▏ \| 4/147 [00:00<00:04, 33.48it/s][A
	Training...: 5%\|████████▍ \| 8/147 [00:00<00:03, 35.35it/s][A
	Training...: 8%\|████████████▍ \| 12/147 [00:00<00:03, 35.75it/s][A
	Training...: 11%\|████████████████▋ \| 16/147 [00:00<00:03, 35.91it/s][A
	Training...: 14%\|████████████████████▊ \| 20/147 [00:00<00:03, 36.09it/s][A
	Training...: 16%\|████████████████████████▉ \| 24/147 [00:00<00:03, 36.12it/s][A
	Training...: 19%\|█████████████████████████████▏ \| 28/147 [00:00<00:03, 35.29it/s][A
	Training...: 22%\|█████████████████████████████████▎ \| 32/147 [00:00<00:03, 35.48it/s][A
	Training...: 24%\|█████████████████████████████████████▍ \| 36/147 [00:01<00:04, 25.32it/s][A
	Training...: 27%\|█████████████████████████████████████████▋ \| 40/147 [00:01<00:03, 28.04it/s][A
	Training...: 30%\|█████████████████████████████████████████████▊ \| 44/147 [00:01<00:03, 29.98it/s][A
	Training...: 33%\|█████████████████████████████████████████████████▉ \| 48/147 [00:01<00:03, 31.66it/s][A
	Training...: 35%\|██████████████████████████████████████████████████████ \| 52/147 [00:01<00:02, 33.11it/s][A
	Training...: 38%\|██████████████████████████████████████████████████████████▎ \| 56/147 [00:01<00:02, 34.10it/s][A
	Training...: 41%\|██████████████████████████████████████████████████████████████▍ \| 60/147 [00:01<00:02, 34.89it/s][A
	Training...: 44%\|██████████████████████████████████████████████████████████████████▌ \| 64/147 [00:01<00:02, 35.53it/s][A
	Training...: 46%\|██████████████████████████████████████████████████████████████████████▊ \| 68/147 [00:02<00:02, 35.89it/s][A
	Training...: 49%\|██████████████████████████████████████████████████████████████████████████▉ \| 72/147 [00:02<00:02, 36.00it/s][A
	Training...: 52%\|███████████████████████████████████████████████████████████████████████████████ \| 76/147 [00:02<00:01, 36.13it/s][A
	Training...: 54%\|███████████████████████████████████████████████████████████████████████████████████▎ \| 80/147 [00:02<00:01, 36.17it/s][A
	Training...: 57%\|███████████████████████████████████████████████████████████████████████████████████████▍ \| 84/147 [00:02<00:01, 35.95it/s][A
	Training...: 60%\|███████████████████████████████████████████████████████████████████████████████████████████▌ \| 88/147 [00:02<00:01, 34.63it/s][A
	Training...: 63%\|███████████████████████████████████████████████████████████████████████████████████████████████▊ \| 92/147 [00:02<00:01, 34.94it/s][A
	Training...: 65%\|███████████████████████████████████████████████████████████████████████████████████████████████████▉ \| 96/147 [00:02<00:01, 35.13it/s][A
	Training...: 68%\|███████████████████████████████████████████████████████████████████████████████████████████████████████▍ \| 100/147 [00:02<00:01, 34.97it/s][A
	Training...: 71%\|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌ \| 104/147 [00:03<00:01, 35.34it/s][A
	Training...: 73%\|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ \| 108/147 [00:03<00:01, 22.46it/s][A
	Training...: 76%\|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ \| 112/147 [00:03<00:01, 25.15it/s][A
	Training...: 79%\|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ \| 116/147 [00:03<00:01, 27.39it/s][A
	Training...: 82%\|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ \| 120/147 [00:03<00:00, 28.83it/s][A
	Training...: 84%\|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ \| 124/147 [00:03<00:00, 30.67it/s][A
	Training...: 87%\|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ \| 128/147 [00:03<00:00, 31.99it/s][A
	Training...: 90%\|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ \| 132/147 [00:04<00:00, 32.69it/s][A
	Training...: 93%\|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ \| 136/147 [00:04<00:00, 33.31it/s][A
	Training...: 95%\|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ \| 140/147 [00:04<00:00, 33.00it/s][A
	Training...: 98%\|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ \| 144/147 [00:04<00:00, 33.39it/s][A Training...: 100%\|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████\| 147/147 [00:04<00:00, 32.58it/s]
	Epoch ... (1/8): 25%\|██████████████████████████████████████ \| 2/8 [01:24<03:35, 35.84s/it]
	Training...: 0%\| \| 0/147 [00:00<?, ?it/s][A
	Training...: 2%\|███▏ \| 3/147 [00:00<00:04, 29.71it/s][A
	Training...: 5%\|███████▎ \| 7/147 [00:00<00:04, 33.36it/s][A
	Training...: 7%\|███████████▍ \| 11/147 [00:00<00:03, 34.34it/s][A
	Training...: 10%\|███████████████▌ \| 15/147 [00:00<00:03, 35.04it/s][A
	Training...: 13%\|███████████████████▊ \| 19/147 [00:00<00:03, 35.56it/s][A
	Training...: 16%\|███████████████████████▉ \| 23/147 [00:00<00:03, 35.89it/s][A
	Training...: 18%\|████████████████████████████ \| 27/147 [00:00<00:03, 36.07it/s][A
	Training...: 21%\|████████████████████████████████▎ \| 31/147 [00:00<00:03, 36.19it/s][A
	Training...: 24%\|████████████████████████████████████▍ \| 35/147 [00:01<00:05, 20.28it/s][A
	Training...: 27%\|████████████████████████████████████████▌ \| 39/147 [00:01<00:04, 23.37it/s][A
	Training...: 29%\|████████████████████████████████████████████▊ \| 43/147 [00:01<00:03, 26.17it/s][A
	Training...: 32%\|████████████████████████████████████████████████▉ \| 47/147 [00:01<00:03, 28.63it/s][A
	Training...: 35%\|█████████████████████████████████████████████████████ \| 51/147 [00:01<00:03, 30.56it/s][A
	Training...: 37%\|█████████████████████████████████████████████████████████▏ \| 55/147 [00:01<00:02, 32.11it/s][A
	Training...: 40%\|█████████████████████████████████████████████████████████████▍ \| 59/147 [00:01<00:02, 32.58it/s][A
	Training...: 43%\|█████████████████████████████████████████████████████████████████▌ \| 63/147 [00:02<00:02, 30.43it/s][A
	Training...: 46%\|█████████████████████████████████████████████████████████████████████▋ \| 67/147 [00:02<00:02, 31.79it/s][A
	Training...: 48%\|█████████████████████████████████████████████████████████████████████████▉ \| 71/147 [00:02<00:02, 33.00it/s][A
	Training...: 51%\|██████████████████████████████████████████████████████████████████████████████ \| 75/147 [00:02<00:02, 33.64it/s][A
	Training...: 54%\|██████████████████████████████████████████████████████████████████████████████████▏ \| 79/147 [00:02<00:01, 34.23it/s][A
	Training...: 56%\|██████████████████████████████████████████████████████████████████████████████████████▍ \| 83/147 [00:02<00:01, 34.80it/s][A
	Training...: 59%\|██████████████████████████████████████████████████████████████████████████████████████████▌ \| 87/147 [00:02<00:01, 35.27it/s][A
	Training...: 62%\|██████████████████████████████████████████████████████████████████████████████████████████████▋ \| 91/147 [00:02<00:01, 35.69it/s][A
	Training...: 65%\|██████████████████████████████████████████████████████████████████████████████████████████████████▉ \| 95/147 [00:02<00:01, 35.62it/s][A
	Training...: 67%\|███████████████████████████████████████████████████████████████████████████████████████████████████████ \| 99/147 [00:03<00:01, 35.84it/s][A
	Training...: 70%\|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ \| 103/147 [00:03<00:01, 35.82it/s][A
	Training...: 73%\|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ \| 107/147 [00:03<00:01, 35.84it/s][A
	Training...: 76%\|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ \| 111/147 [00:03<00:01, 22.75it/s][A
	Training...: 78%\|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ \| 115/147 [00:03<00:01, 25.59it/s][A
	Training...: 81%\|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ \| 119/147 [00:03<00:01, 27.75it/s][A
	Training...: 84%\|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ \| 123/147 [00:03<00:00, 29.62it/s][A
	Training...: 86%\|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ \| 127/147 [00:04<00:00, 31.08it/s][A
	Training...: 89%\|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ \| 131/147 [00:04<00:00, 32.12it/s][A
	Training...: 92%\|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ \| 135/147 [00:04<00:00, 33.10it/s][A
	Training...: 95%\|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ \| 139/147 [00:04<00:00, 33.89it/s][A
	Training...: 97%\|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ \| 143/147 [00:04<00:00, 34.52it/s][A
	Training...: 100%\|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████\| 147/147 [00:04<00:00, 34.60it/s][A Training...: 100%\|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████\| 147/147 [00:04<00:00, 31.57it/s]
	Epoch ... (1/8): 38%\|█████████████████████████████████████████████████████████ \| 3/8 [01:30<01:49, 21.92s/it]
	Training...: 0%\| \| 0/147 [00:00<?, ?it/s][A
	Training...: 3%\|████▏ \| 4/147 [00:00<00:04, 32.60it/s][A
	Training...: 5%\|████████▍ \| 8/147 [00:00<00:04, 34.61it/s][A
	Training...: 8%\|████████████▍ \| 12/147 [00:00<00:03, 35.40it/s][A
	Training...: 11%\|████████████████▋ \| 16/147 [00:00<00:03, 35.49it/s][A
	Training...: 14%\|████████████████████▊ \| 20/147 [00:00<00:03, 35.74it/s][A
	Training...: 16%\|████████████████████████▉ \| 24/147 [00:00<00:03, 35.67it/s][A
	Training...: 19%\|█████████████████████████████▏ \| 28/147 [00:00<00:03, 35.13it/s][A
	Training...: 22%\|█████████████████████████████████▎ \| 32/147 [00:00<00:03, 35.11it/s][A
	Training...: 24%\|█████████████████████████████████████▍ \| 36/147 [00:01<00:03, 35.22it/s][A
	Training...: 27%\|█████████████████████████████████████████▋ \| 40/147 [00:01<00:04, 22.49it/s][A
	Training...: 30%\|█████████████████████████████████████████████▊ \| 44/147 [00:01<00:04, 25.10it/s][A
	Training...: 33%\|█████████████████████████████████████████████████▉ \| 48/147 [00:01<00:03, 27.61it/s][A
	Training...: 35%\|██████████████████████████████████████████████████████ \| 52/147 [00:01<00:03, 29.65it/s][A
	Training...: 38%\|██████████████████████████████████████████████████████████▎ \| 56/147 [00:01<00:02, 31.29it/s][A
	[A Epoch ... (1/8): 38%\|█████████████████████████████████████████████████████████ \| 3/8 [01:32<01:49, 21.92s/it]
	Training...: 38%\|██████████████████████████████████████████████████████████▎ \| 56/147 [00:02<00:02, 31.29it/s][A

	Step... (500 \| Loss: 4.267045974731445, Learning Rate: 0.0001500000071246177)
	Evaluating ...: 0%\| \| 0/58 [00:00<?, ?it/s][A[A

	Evaluating ...: 2%\|██▌ \| 1/58 [00:04<04:02, 4.26s/it][A[A

	Evaluating ...: 16%\|███████████████████████▌ \| 9/58 [00:04<00:17, 2.82it/s][A[A

	Evaluating ...: 31%\|██████████████████████████████████████████████▊ \| 18/58 [00:04<00:06, 6.66it/s][A[A

	Evaluating ...: 47%\|██████████████████████████████████████████████████████████████████████▎ \| 27/58 [00:04<00:02, 11.53it/s][A[A

	Evaluating ...: 60%\|███████████████████████████████████████████████████████████████████████████████████████████ \| 35/58 [00:04<00:01, 16.82it/s][A[A

	Evaluating ...: 74%\|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ \| 43/58 [00:04<00:00, 23.10it/s][A[A

	Evaluating ...: 90%\|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ \| 52/58 [00:04<00:00, 31.08it/s][A[A Evaluating ...: 100%\|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████\| 58/58 [00:04<00:00, 11.69it/s]huggingface/tokenizers: The current process just got forked, after parallelism has already been used. Disabling parallelism to avoid deadlocks...
	To disable this warning, you can either:
	- Avoid using `tokenizers` before the fork if possible
	- Explicitly set the environment variable TOKENIZERS_PARALLELISM=(true \| false)
	huggingface/tokenizers: The current process just got forked, after parallelism has already been used. Disabling parallelism to avoid deadlocks...
	To disable this warning, you can either:
	- Avoid using `tokenizers` before the fork if possible
	- Explicitly set the environment variable TOKENIZERS_PARALLELISM=(true \| false)

	[11:30:56] - INFO - huggingface_hub.repository - git version 2.25.1
	git-lfs/2.9.2 (GitHub; linux amd64; go 1.13.5)
	huggingface/tokenizers: The current process just got forked, after parallelism has already been used. Disabling parallelism to avoid deadlocks...
	To disable this warning, you can either:
	- Avoid using `tokenizers` before the fork if possible
	- Explicitly set the environment variable TOKENIZERS_PARALLELISM=(true \| false)
	[11:30:56] - DEBUG - huggingface_hub.repository - [Repository] is a valid git repo
	huggingface/tokenizers: The current process just got forked, after parallelism has already been used. Disabling parallelism to avoid deadlocks...
	To disable this warning, you can either:
	- Avoid using `tokenizers` before the fork if possible
	- Explicitly set the environment variable TOKENIZERS_PARALLELISM=(true \| false)
	huggingface/tokenizers: The current process just got forked, after parallelism has already been used. Disabling parallelism to avoid deadlocks...
	To disable this warning, you can either:
	- Avoid using `tokenizers` before the fork if possible
	- Explicitly set the environment variable TOKENIZERS_PARALLELISM=(true \| false)