(failed reverse-i-search)`conda ac': ^C
(base) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ conda activate tpuenv
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ls
config.json  create_config.py  requirements.txt  run_clm_flax.py  tokenizer.json  train_tokenizer.py
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ./run_clm_flax.py \
>     --output_dir="${MODEL_DIR}" \
>     --model_type="gpt2-medium" \
>     --config_name="${MODEL_DIR}" \
>     --tokenizer_name="${MODEL_DIR}" \
>     --dataset_name="imthanhlv/binhvq_dedup" \
>     --do_train \
>     --do_eval \
>     --block_size="512" \
>     --per_device_train_batch_size="64" \
>     --per_device_eval_batch_size="64" \
>     --learning_rate="5e-3" --warmup_steps="1000" \
>     --adam_beta1="0.9" --adam_beta2="0.98" --weight_decay="0.01" \
>     --overwrite_output_dir \
>     --num_train_epochs="20" \
>     --logging_steps="500" \
>     --save_steps="2500" \
>     --eval_steps="2500" \
>     --preprocessing_num_workers=96 \
>     --push_to^Cub
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ./run_clm_flax.py     --output_dir="${MODEL_DIR}"     --model_type="gpt2-medium"     --config
_name="${MODEL_DIR}"     --tokenizer_name="${MODEL_DIR}"     --dataset_name="imthanhlv/binhvq_dedup"     --do_train     --do_eval     --block_size="512"
  --per_device_train_batch_size="64"     --per_device_eval_batch_size="64"     --learning_rate="5e-3" --warmup_steps="1000"     --adam_beta1="0.9" --adam_b
eta2="0.98" --weight_decay="0.01"     --overwrite_output_dir     --num_train_epochs="20"     --logging_steps="500"     --save_steps="50000"     --eval_step
s="2500"     --preprocessing_num_workers=96 --push-to-hub
INFO:absl:Unable to initialize backend 'tpu_driver': NOT_FOUND: Unable to find driver in registry given worker:
INFO:absl:Unable to initialize backend 'gpu': NOT_FOUND: Could not find registered platform with name: "cuda". Available platform names are: TPU Interprete
r Host
Traceback (most recent call last):
  File "./run_clm_flax.py", line 766, in <module>
    main()
  File "./run_clm_flax.py", line 310, in main
    model_args, data_args, training_args = parser.parse_args_into_dataclasses()
  File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/hf_argparser.py", line 215, in parse_args_into_dataclasses
    raise ValueError(f"Some specified arguments are not used by the HfArgumentParser: {remaining_args}")
ValueError: Some specified arguments are not used by the HfArgumentParser: ['--push-to-hub']
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ./run_clm_flax.py     --output_dir="${MODEL_DIR}"     --model_type="gpt2-medium"     --config
_name="${MODEL_DIR}"     --tokenizer_name="${MODEL_DIR}"     --dataset_name="imthanhlv/binhvq_dedup"     --do_train     --do_eval     --block_size="512"
  --per_device_train_batch_size="64"     --per_device_eval_batch_size="64"     --learning_rate="5e-3" --warmup_steps="1000"     --adam_beta1="0.9" --adam_b
eta2="0.98" --weight_decay="0.01"     --overwrite_output_dir     --num_train_epochs="20"     --logging_steps="500"     --save_steps="50000"     --eval_step
s="2500"     --preprocessing_num_workers=96  --push_to_hub
INFO:absl:Unable to initialize backend 'tpu_driver': NOT_FOUND: Unable to find driver in registry given worker:
INFO:absl:Unable to initialize backend 'gpu': NOT_FOUND: Could not find registered platform with name: "cuda". Available platform names are: TPU Interprete
r Host
INFO:__main__:Training/evaluation parameters TrainingArguments(output_dir='.', overwrite_output_dir=True, do_train=True, do_eval=True, per_device_train_bat
ch_size=64, per_device_eval_batch_size=64, learning_rate=0.005, weight_decay=0.01, adam_beta1=0.9, adam_beta2=0.98, adam_epsilon=1e-08, adafactor=False, nu
m_train_epochs=20.0, warmup_steps=1000, logging_steps=500, save_steps=50000, eval_steps=2500, seed=42, push_to_hub=True, hub_model_id=None, hub_token=None)
Traceback (most recent call last):
  File "./run_clm_flax.py", line 766, in <module>
    main()
  File "./run_clm_flax.py", line 347, in main
    repo_name = get_full_repo_name(
  File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/file_utils.py", line 2663, in get_full_repo_name
    username = whoami(token)["name"]
  File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/huggingface_hub/hf_api.py", line 374, in whoami
    raise ValueError(
ValueError: You need to pass a valid `token` or login by using `huggingface-cli login`
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ^C
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ huggingface-cli login

        _|    _|  _|    _|    _|_|_|    _|_|_|  _|_|_|  _|      _|    _|_|_|      _|_|_|_|    _|_|      _|_|_|  _|_|_|_|
        _|    _|  _|    _|  _|        _|          _|    _|_|    _|  _|            _|        _|    _|  _|        _|
        _|_|_|_|  _|    _|  _|  _|_|  _|  _|_|    _|    _|  _|  _|  _|  _|_|      _|_|_|    _|_|_|_|  _|        _|_|_|
        _|    _|  _|    _|  _|    _|  _|    _|    _|    _|    _|_|  _|    _|      _|        _|    _|  _|        _|
        _|    _|    _|_|      _|_|_|    _|_|_|  _|_|_|  _|      _|    _|_|_|      _|        _|    _|    _|_|_|  _|_|_|_|

        To login, `huggingface_hub` now requires a token generated from https://huggingface.co/settings/token.
        (Deprecated, will be removed in v0.3.0) To login with username and password instead, interrupt with Ctrl+C.

Token:
Login successful
Your token has been saved to /home/lethanh/.huggingface/token
Authenticated through git-credential store but this isn't the helper defined on your machine.
You might have to re-authenticate when pushing to the Hugging Face Hub. Run the following command in your terminal in case you want to set this credential
helper as the default

git config --global credential.helper store
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ git config --global credential.helper store
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ./run_clm_flax.py     --output_dir="${MODEL_DIR}"     --model_type="gpt2-medium"     --config
_name="${MODEL_DIR}"     --tokenizer_name="${MODEL_DIR}"     --dataset_name="imthanhlv/binhvq_dedup"     --do_train     --do_eval     --block_size="512"
  --per_device_train_batch_size="64"     --per_device_eval_batch_size="64"     --learning_rate="5e-3" --warmup_steps="1000"     --adam_beta1="0.9" --adam_b
eta2="0.98" --weight_decay="0.01"     --overwrite_output_dir     --num_train_epochs="20"     --logging_steps="500"     --save_steps="50000"     --eval_step
s="2500"     --preprocessing_num_workers=96  --push_to_hub
INFO:absl:Unable to initialize backend 'tpu_driver': NOT_FOUND: Unable to find driver in registry given worker:
INFO:absl:Unable to initialize backend 'gpu': NOT_FOUND: Could not find registered platform with name: "cuda". Available platform names are: TPU Interprete
r Host
INFO:__main__:Training/evaluation parameters TrainingArguments(output_dir='.', overwrite_output_dir=True, do_train=True, do_eval=True, per_device_train_bat
ch_size=64, per_device_eval_batch_size=64, learning_rate=0.005, weight_decay=0.01, adam_beta1=0.9, adam_beta2=0.98, adam_epsilon=1e-08, adafactor=False, nu
m_train_epochs=20.0, warmup_steps=1000, logging_steps=500, save_steps=50000, eval_steps=2500, seed=42, push_to_hub=True, hub_model_id=None, hub_token=None)
/home/lethanh/workspace/vigpt2medium/. is already a clone of https://huggingface.co/imthanhlv/vigpt2medium. Make sure you pull the latest changes with `rep
o.git_pull()`.
WARNING:huggingface_hub.repository:/home/lethanh/workspace/vigpt2medium/. is already a clone of https://huggingface.co/imthanhlv/vigpt2medium. Make sure yo
u pull the latest changes with `repo.git_pull()`.
WARNING:datasets.load:Using the latest cached version of the module from /home/lethanh/hfcache/modules/datasets_modules/datasets/imthanhlv--binhvq_dedup/60
d03216e35c1b592ca70ae909d1c1f504292e38e9622d04108a14fe9c34868e (last modified on Sun Jan  2 13:15:15 2022) since it couldn't be found locally at imthanhlv/
binhvq_dedup., or remotely on the Hugging Face Hub.
Traceback (most recent call last):
  File "./run_clm_flax.py", line 766, in <module>
    main()
  File "./run_clm_flax.py", line 365, in main
    dataset = load_dataset(
  File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/datasets/load.py", line 1657, in load_dataset
    builder_instance = load_dataset_builder(
  File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/datasets/load.py", line 1499, in load_dataset_builder
    builder_cls = import_main_class(dataset_module.module_path)
  File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/datasets/load.py", line 109, in import_main_class
    module = importlib.import_module(module_path)
  File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/importlib/__init__.py", line 127, in import_module
    return _bootstrap._gcd_import(name[level:], package, level)
  File "<frozen importlib._bootstrap>", line 1014, in _gcd_import
  File "<frozen importlib._bootstrap>", line 991, in _find_and_load
  File "<frozen importlib._bootstrap>", line 975, in _find_and_load_unlocked
  File "<frozen importlib._bootstrap>", line 671, in _load_unlocked
  File "<frozen importlib._bootstrap_external>", line 848, in exec_module
  File "<frozen importlib._bootstrap>", line 219, in _call_with_frames_removed
  File "/home/lethanh/hfcache/modules/datasets_modules/datasets/imthanhlv--binhvq_dedup/60d03216e35c1b592ca70ae909d1c1f504292e38e9622d04108a14fe9c34868e/bi
nhvq_dedup.py", line 4, in <module>
    import lm_dataformat
ModuleNotFoundError: No module named 'lm_dataformat'
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ pip install lm_dataformat
Collecting lm_dataformat
  Downloading lm_dataformat-0.0.20-py3-none-any.whl (5.8 kB)
Collecting ujson
  Downloading ujson-5.1.0-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (44 kB)
     |████████████████████████████████| 44 kB 3.7 MB/s
Collecting zstandard
  Downloading zstandard-0.16.0-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (2.9 MB)
     |████████████████████████████████| 2.9 MB 28.7 MB/s
Collecting jsonlines
  Downloading jsonlines-3.0.0-py3-none-any.whl (8.5 kB)
Requirement already satisfied: attrs>=19.2.0 in /home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages (from jsonlines->lm_dataformat) (21.4.0)
Installing collected packages: zstandard, ujson, jsonlines, lm-dataformat
Successfully installed jsonlines-3.0.0 lm-dataformat-0.0.20 ujson-5.1.0 zstandard-0.16.0
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ./run_clm_flax.py     --output_dir="${MODEL_DIR}"     --model_type="gpt2-medium"     --config
_name="${MODEL_DIR}"     --tokenizer_name="${MODEL_DIR}"     --dataset_name="imthanhlv/binhvq_dedup"     --do_train     --do_eval     --block_size="512"
  --per_device_train_batch_size="64"     --per_device_eval_batch_size="64"     --learning_rate="5e-3" --warmup_steps="1000"     --adam_beta1="0.9" --adam_b
eta2="0.98" --weight_decay="0.01"     --overwrite_output_dir     --num_train_epochs="20"     --logging_steps="500"     --save_steps="50000"     --eval_step
s="2500"     --preprocessing_num_workers=96  --push_to_hub
INFO:absl:Unable to initialize backend 'tpu_driver': NOT_FOUND: Unable to find driver in registry given worker:
INFO:absl:Unable to initialize backend 'gpu': NOT_FOUND: Could not find registered platform with name: "cuda". Available platform names are: Host TPU Inter
preter
INFO:__main__:Training/evaluation parameters TrainingArguments(output_dir='.', overwrite_output_dir=True, do_train=True, do_eval=True, per_device_train_bat
ch_size=64, per_device_eval_batch_size=64, learning_rate=0.005, weight_decay=0.01, adam_beta1=0.9, adam_beta2=0.98, adam_epsilon=1e-08, adafactor=False, nu
m_train_epochs=20.0, warmup_steps=1000, logging_steps=500, save_steps=50000, eval_steps=2500, seed=42, push_to_hub=True, hub_model_id=None, hub_token=None)
/home/lethanh/workspace/vigpt2medium/. is already a clone of https://huggingface.co/imthanhlv/vigpt2medium. Make sure you pull the latest changes with `rep
o.git_pull()`.
WARNING:huggingface_hub.repository:/home/lethanh/workspace/vigpt2medium/. is already a clone of https://huggingface.co/imthanhlv/vigpt2medium. Make sure yo
u pull the latest changes with `repo.git_pull()`.
WARNING:datasets.builder:Reusing dataset binhvq (/home/lethanh/hfcache/datasets/imthanhlv___binhvq/text/1.0.0/60d03216e35c1b592ca70ae909d1c1f504292e38e9622
d04108a14fe9c34868e)
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.98it/s]
loading configuration file ./config.json
Model config GPT2Config {
  "_name_or_path": ".",
  "activation_function": "gelu_new",
  "architectures": [
    "GPT2LMHeadModel"
  ],
  "attn_pdrop": 0.0,
  "bos_token_id": 50256,
  "embd_pdrop": 0.0,
  "eos_token_id": 50256,
  "initializer_range": 0.02,
  "layer_norm_epsilon": 1e-05,
  "model_type": "gpt2",
  "n_ctx": 1024,
  "n_embd": 1024,
  "n_head": 16,
  "n_inner": null,
  "n_layer": 24,
  "n_positions": 1024,
  "n_special": 0,
  "predict_special_tokens": true,
  "reorder_and_upcast_attn": false,
  "resid_pdrop": 0.0,
  "scale_attn_by_inverse_layer_idx": false,
  "scale_attn_weights": true,
  "summary_activation": null,
  "summary_first_dropout": 0.1,
  "summary_proj_to_labels": true,
  "summary_type": "cls_index",
  "summary_use_proj": true,
  "task_specific_params": {
    "text-generation": {
      "do_sample": true,
      "max_length": 50
    }
  },
  "transformers_version": "4.15.0",
  "use_cache": true,
  "vocab_size": 50257
}

Could not locate the tokenizer configuration file, will try to use the model config instead.
loading configuration file ./config.json
Model config GPT2Config {
  "_name_or_path": ".",
  "activation_function": "gelu_new",
  "architectures": [
    "GPT2LMHeadModel"
  ],
  "attn_pdrop": 0.0,
  "bos_token_id": 50256,
  "embd_pdrop": 0.0,
  "eos_token_id": 50256,
  "initializer_range": 0.02,
  "layer_norm_epsilon": 1e-05,
  "model_type": "gpt2",
  "n_ctx": 1024,
  "n_embd": 1024,
  "n_head": 16,
  "n_inner": null,
  "n_layer": 24,
  "n_positions": 1024,
  "n_special": 0,
  "predict_special_tokens": true,
  "reorder_and_upcast_attn": false,
  "resid_pdrop": 0.0,
  "scale_attn_by_inverse_layer_idx": false,
  "scale_attn_weights": true,
  "summary_activation": null,
  "summary_first_dropout": 0.1,
  "summary_proj_to_labels": true,
  "summary_type": "cls_index",
  "summary_use_proj": true,
  "task_specific_params": {
    "text-generation": {
      "do_sample": true,
      "max_length": 50
    }
  },
  "transformers_version": "4.15.0",
  "use_cache": true,
  "vocab_size": 50257
}

Didn't find file ./vocab.json. We won't load it.
Didn't find file ./merges.txt. We won't load it.
Didn't find file ./added_tokens.json. We won't load it.
Didn't find file ./special_tokens_map.json. We won't load it.
Didn't find file ./tokenizer_config.json. We won't load it.
loading file None
loading file None
loading file ./tokenizer.json
loading file None
loading file None
loading file None
loading configuration file ./config.json
Model config GPT2Config {
  "_name_or_path": ".",
  "activation_function": "gelu_new",
  "architectures": [
    "GPT2LMHeadModel"
  ],
  "attn_pdrop": 0.0,
  "bos_token_id": 50256,
  "embd_pdrop": 0.0,
  "eos_token_id": 50256,
  "initializer_range": 0.02,
  "layer_norm_epsilon": 1e-05,
  "model_type": "gpt2",
  "n_ctx": 1024,
  "n_embd": 1024,
  "n_head": 16,
  "n_inner": null,
  "n_layer": 24,
  "n_positions": 1024,
  "n_special": 0,
  "predict_special_tokens": true,
  "reorder_and_upcast_attn": false,
  "resid_pdrop": 0.0,
  "scale_attn_by_inverse_layer_idx": false,
  "scale_attn_weights": true,
  "summary_activation": null,
  "summary_first_dropout": 0.1,
  "summary_proj_to_labels": true,
  "summary_type": "cls_index",
  "summary_use_proj": true,
  "task_specific_params": {
    "text-generation": {
      "do_sample": true,
      "max_length": 50
    }
  },
  "transformers_version": "4.15.0",
  "use_cache": true,
  "vocab_size": 50257
}

Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained.
 #2: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:40<00:00,  3.14s/ba]
 #1: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:43<00:00,  3.15s/ba]
 #5: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:43<00:00,  3.15s/ba]
 #19: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:42<00:00,  3.15s/ba]
 #24: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:42<00:00,  3.15s/ba]
 #3: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00,  3.16s/ba]
 #20: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00,  3.16s/ba]
 #29: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:43<00:00,  3.16s/ba]
 #54: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:42<00:00,  3.15s/ba]
 #17: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00,  3.16s/ba]
 #56: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:43<00:00,  3.15s/ba]
 #22: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00,  3.17s/ba]
 #32: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00,  3.16s/ba]
 #14: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00,  3.17s/ba]
 #44: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00,  3.16s/ba]
 #43: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00,  3.16s/ba]
 #58: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00,  3.16s/ba]
 #35: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00,  3.17s/ba]
 #38: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00,  3.17s/ba]
 #30: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00,  3.17s/ba]
 #41: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00,  3.17s/ba]
 #23: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:47<00:00,  3.18s/ba]
 #45: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00,  3.17s/ba]
 #78: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:43<00:00,  3.15s/ba]
 #57: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00,  3.17s/ba]
 #55: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00,  3.17s/ba]
 #60: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00,  3.17s/ba]
 #15: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:48<00:00,  3.18s/ba]
 #74: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00,  3.16s/ba]
 #21: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:48<00:00,  3.18s/ba]
 #59: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00,  3.17s/ba]
 #18: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:49<00:00,  3.18s/ba]
 #75: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00,  3.16s/ba]
 #27: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:48<00:00,  3.18s/ba]
 #72: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00,  3.16s/ba]
 #47: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:47<00:00,  3.18s/ba]
 #76: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00,  3.16s/ba]
 #82: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:43<00:00,  3.16s/ba]
 #80: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00,  3.16s/ba]
 #61: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00,  3.17s/ba]
 #77: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00,  3.16s/ba]
 #63: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00,  3.17s/ba]
 #51: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:48<00:00,  3.18s/ba]
 #79: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00,  3.16s/ba]
 #86: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00,  3.16s/ba]
 #85: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00,  3.16s/ba]
 #91: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00,  3.16s/ba]
 #69: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00,  3.17s/ba]
 #6: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00,  3.20s/ba]
 #0: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00,  3.20s/ba]
 #7: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00,  3.20s/ba]
 #49: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:49<00:00,  3.18s/ba]
 #36: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00,  3.19s/ba]
 #40: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00,  3.19s/ba]
 #10: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00,  3.20s/ba]
 #84: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00,  3.17s/ba]
 #50: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00,  3.19s/ba]
 #11: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:53<00:00,  3.20s/ba]
 #92: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00,  3.17s/ba]
 #42: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00,  3.19s/ba]
 #12: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:53<00:00,  3.20s/ba]
 #73: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:48<00:00,  3.18s/ba]
 #33: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00,  3.20s/ba]
 #4: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:53<00:00,  3.20s/ba]
 #66: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:49<00:00,  3.18s/ba]
 #13: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:53<00:00,  3.20s/ba]
 #83: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00,  3.17s/ba]
 #37: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:51<00:00,  3.19s/ba]
 #88: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00,  3.17s/ba]
 #31: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00,  3.20s/ba]
 #81: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:47<00:00,  3.18s/ba]
 #9: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:54<00:00,  3.21s/ba]
 #68: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:49<00:00,  3.18s/ba]
 #16: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:54<00:00,  3.21s/ba]
 #67: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00,  3.19s/ba]
 #65: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00,  3.19s/ba]
 #53: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00,  3.20s/ba]
 #8: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:54<00:00,  3.21s/ba]
 #46: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:51<00:00,  3.20s/ba]
 #70: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00,  3.19s/ba]
 #62: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:51<00:00,  3.19s/ba]
 #39: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:53<00:00,  3.20s/ba]
 #34: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:54<00:00,  3.21s/ba]
 #64: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00,  3.20s/ba]
 #25: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:55<00:00,  3.21s/ba]
 #90: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:49<00:00,  3.19s/ba]
 #94: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00,  3.19s/ba]
 #71: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00,  3.20s/ba]
 #28: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:56<00:00,  3.22s/ba]
 #26: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:57<00:00,  3.22s/ba]
 #87: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:51<00:00,  3.19s/ba]
 #95: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00,  3.19s/ba]
 #93: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00,  3.19s/ba]
 #89: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:54<00:00,  3.21s/ba]
 #48: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [11:00<00:00,  3.24s/ba]
 #52: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [11:03<00:00,  3.25s/ba]
https://symbolize.stripped_domain/r/?trace=7fba8e9a4410,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a
3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9
a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e
9a3d9d&map=921e3427503a047331cf19475748bda2:7fba80899000-7fba8ec9ec30
E0102 13:46:29.353747   55243 process_state.cc:1069] RAW: Signal 11 raised at PC: 0x7fba8e9a4410 while already in FailureSignalHandler!
E0102 13:46:29.353806   55243 process_state.cc:1103] RAW: Raising 11 signal with default behavior
 #8: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.05ba/s]
 #10: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.10ba/s]
 #1: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.22s/ba]
 #12: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.06s/ba]
 #0: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.27s/ba]
 #4: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.42s/ba]
 #2: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.45s/ba]
 #16: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.22s/ba]
 #3: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.45s/ba]
 #5: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.47s/ba]
 #6: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.48s/ba]
 #7: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.48s/ba]
 #19: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.24s/ba]
 #9: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.48s/ba]
 #15: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.40s/ba]
 #23: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.34s/ba]
 #14: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00,  1.51s/ba]
 #18: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.49s/ba]
 #11: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00,  1.66s/ba]
 #13: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00,  1.63s/ba]
 #20: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00,  1.51s/ba]
 #21: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00,  1.58s/ba]
 #17: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00,  1.69s/ba]
 #31: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.45s/ba]
 #22: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00,  1.63s/ba]
 #24: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00,  1.62s/ba]
 #29: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00,  1.56s/ba]
 #32: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00,  1.51s/ba]
 #26: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00,  1.62s/ba]
 #34: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.49s/ba]
 #25: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00,  1.68s/ba]
 #39: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.43s/ba]
 #30: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00,  1.61s/ba]
 #28: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00,  1.68s/ba]
 #44: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.41s/ba]
 #33: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00,  1.66s/ba]
 #40: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00,  1.53s/ba]
 #45: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.39s/ba]
 #27: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00,  1.77s/ba]
 #41: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00,  1.50s/ba]
 #38: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00,  1.58s/ba]
 #62: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.01s/ba]
 #35: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00,  1.64s/ba]
 #63: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.04s/ba]
 #47: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.40s/ba]
 #43: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00,  1.52s/ba]
 #37: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00,  1.66s/ba]
 #65: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.01s/ba]
 #64: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.05s/ba]
 #48: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.42s/ba]
 #46: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.47s/ba]
 #66: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.03s/ba]
 #67: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.02s/ba]
 #58: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.22s/ba]
 #42: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00,  1.63s/ba]
 #36: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00,  1.77s/ba]
 #70: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.01s/ba]
 #71: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.00ba/s]
 #49: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.49s/ba]
 #69: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.05s/ba]
 #68: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.07s/ba]
 #56: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.34s/ba]
 #51: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00,  1.53s/ba]
 #50: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00,  1.55s/ba]
 #55: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.39s/ba]
 #59: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.36s/ba]
 #61: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.32s/ba]
 #52: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.39s/ba]
 #53: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.43s/ba]
 #60: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.41s/ba]
 #57: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.47s/ba]
 #72: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.14s/ba]
 #54: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.48s/ba]
 #73: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.15s/ba]
 #81: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.06ba/s]
 #79: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.01s/ba]
 #75: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.18s/ba]
 #82: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.03ba/s]
 #76: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.21s/ba]
 #74: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.32s/ba]
 #86: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.01ba/s]
 #83: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.03s/ba]
 #77: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.26s/ba]
 #78: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.27s/ba]
 #89: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.04ba/s]
 #88: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.00ba/s]
 #84: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.11s/ba]
 #80: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.25s/ba]
 #87: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.08s/ba]
 #90: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.00s/ba]
 #85: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.17s/ba]
 #91: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.01s/ba]
 #95: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.07ba/s]
 #94: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.03ba/s]
 #93: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.00s/ba]
 #92: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00,  1.03s/ba]
https://symbolize.stripped_domain/r/?trace=7fba8e9a4410,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a
3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9
a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e
9a3d9d&map=921e3427503a047331cf19475748bda2:7fba80899000-7fba8ec9ec30
E0102 13:46:41.095923   56001 process_state.cc:1069] RAW: Signal 11 raised at PC: 0x7fba8e9a4410 while already in FailureSignalHandler!
E0102 13:46:41.096767   56001 process_state.cc:1103] RAW: Raising 11 signal with default behavior
https://symbolize.stripped_domain/r/?trace=7fba8e9a4410,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a
3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9
a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e
9a3d9d&map=921e3427503a047331cf19475748bda2:7fba80899000-7fba8ec9ec30
E0102 13:46:41.097659   56000 process_state.cc:1069] RAW: Signal 11 raised at PC: 0x7fba8e9a4410 while already in FailureSignalHandler!
E0102 13:46:41.097727   56000 process_state.cc:1103] RAW: Raising 11 signal with default behavior
 #2: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:12<00:00,  1.24s/ba]
 #9: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:13<00:00,  1.24s/ba]
 #3: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:13<00:00,  1.24s/ba]
 #47: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:11<00:00,  1.23s/ba]
 #5: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00,  1.25s/ba]
 #29: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:13<00:00,  1.24s/ba]
 #23: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:13<00:00,  1.24s/ba]
 #6: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00,  1.25s/ba]
 #14: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00,  1.25s/ba]
 #94: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:10<00:00,  1.23s/ba]
 #86: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:11<00:00,  1.23s/ba]
 #30: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00,  1.25s/ba]
 #18: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00,  1.25s/ba]
 #13: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00,  1.26s/ba]
 #55: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00,  1.25s/ba]
 #1: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00,  1.26s/ba]
 #4: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00,  1.26s/ba]
 #49: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00,  1.25s/ba]
 #56: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00,  1.25s/ba]
 #58: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00,  1.25s/ba]
 #0: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00,  1.26s/ba]
 #57: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:13<00:00,  1.24s/ba]
 #8: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00,  1.26s/ba]
 #19: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00,  1.26s/ba]
 #11: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00,  1.26s/ba]
 #87: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:12<00:00,  1.24s/ba]
 #62: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00,  1.25s/ba]
 #90: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:12<00:00,  1.24s/ba]
 #54: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00,  1.25s/ba]
 #25: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00,  1.26s/ba]
 #17: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00,  1.26s/ba]
 #91: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:12<00:00,  1.24s/ba]
 #20: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00,  1.26s/ba]
 #21: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00,  1.26s/ba]
 #85: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:12<00:00,  1.24s/ba]
 #89: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:12<00:00,  1.24s/ba]
 #52: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00,  1.25s/ba]
 #59: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00,  1.25s/ba]
 #92: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:12<00:00,  1.24s/ba]
 #16: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00,  1.26s/ba]
 #12: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00,  1.26s/ba]
 #69: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00,  1.25s/ba]
 #41: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00,  1.26s/ba]
 #32: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00,  1.26s/ba]
 #44: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00,  1.26s/ba]
 #35: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00,  1.26s/ba]
 #64: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00,  1.25s/ba]
 #67: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00,  1.25s/ba]
 #63: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00,  1.25s/ba]
 #37: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00,  1.26s/ba]
 #70: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00,  1.25s/ba]
 #24: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00,  1.26s/ba]
 #74: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00,  1.25s/ba]
 #93: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:13<00:00,  1.24s/ba]
 #7: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:18<00:00,  1.27s/ba]
 #46: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00,  1.26s/ba]
 #40: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00,  1.26s/ba]
 #75: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00,  1.25s/ba]
 #82: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00,  1.25s/ba]
 #81: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00,  1.25s/ba]
 #65: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00,  1.26s/ba]
 #15: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:18<00:00,  1.27s/ba]
 #31: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:18<00:00,  1.27s/ba]
 #53: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00,  1.26s/ba]
 #33: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:18<00:00,  1.27s/ba]
 #42: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00,  1.26s/ba]
 #73: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00,  1.25s/ba]
 #66: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00,  1.26s/ba]
 #61: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00,  1.26s/ba]
 #51: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00,  1.26s/ba]
 #60: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00,  1.26s/ba]
 #50: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00,  1.26s/ba]
 #95: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00,  1.25s/ba]
 #80: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00,  1.25s/ba]
 #84: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00,  1.25s/ba]
 #28: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:19<00:00,  1.27s/ba]
 #88: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00,  1.25s/ba]
 #27: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:19<00:00,  1.27s/ba]
 #43: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:18<00:00,  1.27s/ba]
 #38: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:18<00:00,  1.27s/ba]
 #78: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00,  1.26s/ba]
 #34: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:19<00:00,  1.27s/ba]
 #79: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00,  1.26s/ba]
 #76: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00,  1.26s/ba]
 #22: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:20<00:00,  1.28s/ba]
 #48: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:19<00:00,  1.27s/ba]
 #45: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:19<00:00,  1.27s/ba]
 #72: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00,  1.26s/ba]
 #10: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:21<00:00,  1.28s/ba]
 #26: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:20<00:00,  1.28s/ba]
 #39: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:19<00:00,  1.27s/ba]
 #71: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:18<00:00,  1.27s/ba]
 #77: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00,  1.26s/ba]
 #36: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:20<00:00,  1.28s/ba]
 #68: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:20<00:00,  1.28s/ba]
 #83: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:19<00:00,  1.27s/ba]
https://symbolize.stripped_domain/r/?trace=7fba8e9a4410,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a
3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9
a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e
9a3d9d&map=921e3427503a047331cf19475748bda2:7fba80899000-7fba8ec9ec30
E0102 13:51:18.395334   56123 process_state.cc:1069] RAW: Signal 11 raised at PC: 0x7fba8e9a4410 while already in FailureSignalHandler!
E0102 13:51:18.395427   56123 process_state.cc:1103] RAW: Raising 11 signal with default behavior
 #0: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.50ba/s]
 #1: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.86ba/s]
 #2: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.86ba/s]
 #29: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.35ba/s]
 #4: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.73ba/s]
 #15: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.87ba/s]
 #12: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.79ba/s]
 #10: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.76ba/s]
 #3: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.65ba/s]
 #6: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.67ba/s]
 #19: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.81ba/s]
 #7: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.62ba/s]
 #8: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.63ba/s]
 #5: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.59ba/s]
 #17: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.75ba/s]
 #13: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.68ba/s]
 #48: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.94ba/s]
 #21: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.82ba/s]
 #20: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.77ba/s]
 #9: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.58ba/s]
 #23: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.69ba/s]
 #49: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.75ba/s]
 #30: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.77ba/s]
 #16: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.58ba/s]
 #51: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.85ba/s]
 #31: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.75ba/s]
 #22: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.63ba/s]
 #18: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.57ba/s]
 #11: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.46ba/s]
 #25: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.63ba/s]
 #34: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.73ba/s]
 #33: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.71ba/s]
 #53: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.82ba/s]
 #27: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.61ba/s]
 #14: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.45ba/s]
 #26: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.57ba/s]
 #24: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.56ba/s]
 #32: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.63ba/s]
 #52: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.51ba/s]
 #28: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.56ba/s]
 #54: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.66ba/s]
 #39: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.74ba/s]
 #41: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.79ba/s]
 #40: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.72ba/s]
 #47: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.91ba/s]
 #36: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.58ba/s]
 #37: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.56ba/s]
 #50: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.08ba/s]
 #35: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.51ba/s]
 #45: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.74ba/s]
 #42: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.63ba/s]
 #38: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.53ba/s]
 #46: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.72ba/s]
 #63: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.74ba/s]
 #43: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.60ba/s]
 #65: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.80ba/s]
 #44: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.60ba/s]
 #67: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.74ba/s]
 #68: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.67ba/s]
 #56: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.04ba/s]
 #75: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.77ba/s]
 #58: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.04ba/s]
 #57: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.96ba/s]
 #61: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.07ba/s]
 #60: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.02ba/s]
 #66: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.27ba/s]
 #55: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.79ba/s]
 #59: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.89ba/s]
 #64: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.03ba/s]
 #62: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.95ba/s]
 #69: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.17ba/s]
 #70: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.16ba/s]
 #83: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.70ba/s]
 #71: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.18ba/s]
 #77: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.35ba/s]
 #82: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.56ba/s]
 #74: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.20ba/s]
 #86: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.77ba/s]
 #72: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.08ba/s]
 #88: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.82ba/s]
 #73: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.02ba/s]
 #76: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.08ba/s]
 #93: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  3.07ba/s]
 #94: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  3.05ba/s]
 #79: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.06ba/s]
 #85: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.38ba/s]
 #95: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  3.11ba/s]
 #87: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.42ba/s]
 #89: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.61ba/s]
 #90: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.66ba/s]
 #80: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.02ba/s]
 #84: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.20ba/s]
 #81: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.98ba/s]
 #92: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.62ba/s]
 #78: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00,  1.89ba/s]
 #91: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00,  2.24ba/s]
https://symbolize.stripped_domain/r/?trace=7fba8e9a4410,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a
3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9
a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e
9a3d9d&map=921e3427503a047331cf19475748bda2:7fba80899000-7fba8ec9ec30
E0102 13:51:27.875289   56422 process_state.cc:1069] RAW: Signal 11 raised at PC: 0x7fba8e9a4410 while already in FailureSignalHandler!
E0102 13:51:27.877104   56422 process_state.cc:1103] RAW: Raising 11 signal with default behavior
WARNING:__main__:Unable to display metrics through TensorBoard because some package are not installed: No module named 'tensorflow'
INFO:__main__:***** Running training *****
INFO:__main__:  Num examples = 26035798
INFO:__main__:  Num Epochs = 20
INFO:__main__:  Instantaneous batch size per device = 64
INFO:__main__:  Total train batch size (w. parallel & distributed) = 512
INFO:__main__:  Total optimization steps = 1017020
Epoch ... :   0%|                                                                                                                   | 0/20 [01:32<?, ?it/s]
Traceback (most recent call last):
  File "./run_clm_flax.py", line 766, in <module>
    main()
  File "./run_clm_flax.py", line 681, in main
    state, train_metric = p_train_step(state, batch)
  File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/_src/traceback_util.py", line 162, in reraise_with_filtered_traceback
    return fun(*args, **kwargs)
  File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/_src/api.py", line 2058, in cache_miss
    out_tree, out_flat = f_pmapped_(*args, **kwargs)
  File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/_src/api.py", line 1934, in f_pmapped
    out = pxla.xla_pmap(
  File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/core.py", line 1727, in bind
    return call_bind(self, fun, *args, **params)
  File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/core.py", line 1652, in call_bind
    outs = primitive.process(top_trace, fun, tracers, params)
  File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/core.py", line 1730, in process
    return trace.process_map(self, fun, tracers, params)
  File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/core.py", line 633, in process_call
    return primitive.impl(f, *tracers, **params)
  File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/interpreters/pxla.py", line 766, in xla_pmap_impl
    compiled_fun, fingerprint = parallel_callable(
  File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/linear_util.py", line 263, in memoized_fun
    ans = call(fun, *args)
  File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/interpreters/pxla.py", line 797, in parallel_callable
    pmap_executable = pmap_computation.compile()
  File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/_src/profiler.py", line 206, in wrapper
    return func(*args, **kwargs)
  File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/interpreters/pxla.py", line 1048, in compile
    self._executable = PmapExecutable.from_hlo(self._hlo, *self.compile_args)
  File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/interpreters/pxla.py", line 1171, in from_hlo
    compiled = dispatch.compile_or_get_cached(
  File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/_src/dispatch.py", line 534, in compile_or_get_cached
    return backend_compile(backend, computation, compile_options)
  File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/_src/profiler.py", line 206, in wrapper
    return func(*args, **kwargs)
  File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/_src/dispatch.py", line 514, in backend_compile
    return backend.compile(built_c, compile_options=options)
jax._src.traceback_util.UnfilteredStackTrace: RuntimeError: RESOURCE_EXHAUSTED: Ran out of memory in memory space hbm. Used 33.22G of 15.48G hbm. Exceeded
hbm capacity by 17.74G.

Total hbm usage >= 33.74G:
    reserved        530.00M
    program          33.22G
    arguments            0B

Output size 0B; shares 0B with arguments.

Program hbm requirement 33.22G:
    global           196.0K
    scoped           205.0K
    HLO temp         33.22G (100.0% utilization: Unpadded (32.90G) Padded (32.91G), 1.0% fragmentation (323.29M))

  Largest program allocations in hbm:

  1. Size: 3.07G
     Shape: bf16[64,511,50257]{1,2,0:T(8,128)(2,1)}
     Unpadded size: 3.06G
     Extra memory due to padding: 6.57M (1.0x expansion)
     XLA label: %fusion.10.remat_uncompressed.remat2 = bf16[64,511,50257]{1,2,0:T(8,128)(2,1)} copy(bf16[64,511,50257]{2,0,1:T(8,128)(2,1)} %fusion.10.rema
t_compressed)
     Allocation type: HLO temp
     ==========================

  2. Size: 1.00G
     Operator: op_type="dot_general" op_name="pmap(train_step)/jit(jvp(_einsum))/dot_general[\n  dimension_numbers=(((3,), (3,)), ((0, 2), (0, 2)))\n  prec
ision=None\n  preferred_element_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/flax/linen/attention.py" source
_line=89
     Shape: f32[64,16,512,512]{2,3,1,0:T(8,128)}
     Unpadded size: 1.00G
     XLA label: %fusion.40.remat5 = f32[64,16,512,512]{2,3,1,0:T(8,128)} fusion(bf16[64,512,16,64]{1,3,2,0:T(8,128)(2,1)} %bitcast.17, bf16[64,512,16,64]{1
,3,2,0:T(8,128)(2,1)} %bitcast.18, f32[64,512,512]{1,2,0:T(8,128)} %get-tuple-element.5480), kind=kOutput, calls=%fus...
     Allocation type: HLO temp
     ==========================

  3. Size: 1.00G
     Operator: op_type="dot_general" op_name="pmap(train_step)/jit(transpose(jvp(_einsum)))/dot_general[\n  dimension_numbers=(((2,), (3,)), ((0, 1), (0, 2
)))\n  precision=None\n  preferred_element_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/
gpt2/modeling_flax_gpt2.py" source_line=275
     Shape: f32[64,16,512,512]{2,3,1,0:T(8,128)}
     Unpadded size: 1.00G
     XLA label: %fusion.7601.remat = f32[64,16,512,512]{2,3,1,0:T(8,128)} fusion(bf16[64,512,16,64]{1,3,2,0:T(8,128)(2,1)} %bitcast.2049, bf16[64,512,16,64
]{1,3,2,0:T(8,128)(2,1)} %bitcast.16), kind=kOutput, calls=%fused_computation.5202.clone, metadata={op_type="dot_gene...
     Allocation type: HLO temp
     ==========================

  4. Size: 256.00M
     Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n  dimension_numbers=(((2,), (1,)), ((), ()))\n  precision=None\n  preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
     Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
     Unpadded size: 256.00M
     XLA label: %fusion.7169 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.592.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5486, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3342...
     Allocation type: HLO temp
     ==========================

  5. Size: 256.00M
     Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n  dimension_numbers=(((2,), (1,)), ((), ()))\n  precision=None\n  preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
     Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
     Unpadded size: 256.00M
     XLA label: %fusion.7170 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.583.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5301, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3354...
     Allocation type: HLO temp
     ==========================

  6. Size: 256.00M
     Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n  dimension_numbers=(((2,), (1,)), ((), ()))\n  precision=None\n  preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
     Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
     Unpadded size: 256.00M
     XLA label: %fusion.7171 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.582.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5286, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3366...
     Allocation type: HLO temp
     ==========================

  7. Size: 256.00M
     Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n  dimension_numbers=(((2,), (1,)), ((), ()))\n  precision=None\n  preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
     Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
     Unpadded size: 256.00M
     XLA label: %fusion.7172 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.581.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5271, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3378...
     Allocation type: HLO temp
     ==========================

  8. Size: 256.00M
     Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n  dimension_numbers=(((2,), (1,)), ((), ()))\n  precision=None\n  preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
     Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
     Unpadded size: 256.00M
     XLA label: %fusion.7173 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.580.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5256, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3390...
     Allocation type: HLO temp
     ==========================

  9. Size: 256.00M
     Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n  dimension_numbers=(((2,), (1,)), ((), ()))\n  precision=None\n  preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
     Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
     Unpadded size: 256.00M
     XLA label: %fusion.7174 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.579.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5241, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3402...
     Allocation type: HLO temp
     ==========================

  10. Size: 256.00M
     Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n  dimension_numbers=(((2,), (1,)), ((), ()))\n  precision=None\n  preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
     Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
     Unpadded size: 256.00M
     XLA label: %fusion.7175 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.578.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5226, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3414...
     Allocation type: HLO temp
     ==========================

  11. Size: 256.00M
     Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n  dimension_numbers=(((2,), (1,)), ((), ()))\n  precision=None\n  preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
     Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
     Unpadded size: 256.00M
     XLA label: %fusion.7176 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.577.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5211, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3426...
     Allocation type: HLO temp
     ==========================

  12. Size: 256.00M
     Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n  dimension_numbers=(((2,), (1,)), ((), ()))\n  precision=None\n  preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
     Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
     Unpadded size: 256.00M
     XLA label: %fusion.7177 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.576.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5196, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3438...
     Allocation type: HLO temp
     ==========================

  13. Size: 256.00M
     Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n  dimension_numbers=(((2,), (1,)), ((), ()))\n  precision=None\n  preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
     Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
     Unpadded size: 256.00M
     XLA label: %fusion.7178 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.575.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5181, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3450...
     Allocation type: HLO temp
     ==========================

  14. Size: 256.00M
     Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n  dimension_numbers=(((2,), (1,)), ((), ()))\n  precision=None\n  preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
     Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
     Unpadded size: 256.00M
     XLA label: %fusion.7179 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.574.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5166, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3462...
     Allocation type: HLO temp
     ==========================

  15. Size: 256.00M
     Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n  dimension_numbers=(((2,), (1,)), ((), ()))\n  precision=None\n  preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
     Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
     Unpadded size: 256.00M
     XLA label: %fusion.7180 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.591.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5463, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3474...
     Allocation type: HLO temp
     ==========================

  16. Size: 256.00M
     Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n  dimension_numbers=(((2,), (1,)), ((), ()))\n  precision=None\n  preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
     Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
     Unpadded size: 256.00M
     XLA label: %fusion.7181 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.573.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5151, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3486...
     Allocation type: HLO temp
     ==========================

  17. Size: 256.00M
     Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n  dimension_numbers=(((2,), (1,)), ((), ()))\n  precision=None\n  preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
     Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
     Unpadded size: 256.00M
     XLA label: %fusion.7182 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.572.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5136, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3498...
     Allocation type: HLO temp
     ==========================

  18. Size: 256.00M
     Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n  dimension_numbers=(((2,), (1,)), ((), ()))\n  precision=None\n  preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
     Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
     Unpadded size: 256.00M
     XLA label: %fusion.7183 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.571.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5121, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3510...
     Allocation type: HLO temp
     ==========================

  19. Size: 256.00M
     Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n  dimension_numbers=(((2,), (1,)), ((), ()))\n  precision=None\n  preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
     Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
     Unpadded size: 256.00M
     XLA label: %fusion.7184 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.570.remat, f3
2[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.2077, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3522), kind=k...
     Allocation type: HLO temp
     ==========================

  20. Size: 256.00M
     Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n  dimension_numbers=(((2,), (1,)), ((), ()))\n  precision=None\n  preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
     Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
     Unpadded size: 256.00M
     XLA label: %fusion.7185 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.590.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5440, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3534...
     Allocation type: HLO temp
     ==========================

The stack trace below excludes JAX-internal frames.
The preceding is the original exception that occurred, unmodified.

--------------------

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "./run_clm_flax.py", line 766, in <module>
    main()
  File "./run_clm_flax.py", line 681, in main
    state, train_metric = p_train_step(state, batch)
  File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/_src/dispatch.py", line 514, in backend_compile
    return backend.compile(built_c, compile_options=options)
RuntimeError: RESOURCE_EXHAUSTED: Ran out of memory in memory space hbm. Used 33.22G of 15.48G hbm. Exceeded hbm capacity by 17.74G.

Total hbm usage >= 33.74G:
    reserved        530.00M
    program          33.22G
    arguments            0B

Output size 0B; shares 0B with arguments.

Program hbm requirement 33.22G:
    global           196.0K
    scoped           205.0K
    HLO temp         33.22G (100.0% utilization: Unpadded (32.90G) Padded (32.91G), 1.0% fragmentation (323.29M))

  Largest program allocations in hbm:

  1. Size: 3.07G
     Shape: bf16[64,511,50257]{1,2,0:T(8,128)(2,1)}
     Unpadded size: 3.06G
     Extra memory due to padding: 6.57M (1.0x expansion)
     XLA label: %fusion.10.remat_uncompressed.remat2 = bf16[64,511,50257]{1,2,0:T(8,128)(2,1)} copy(bf16[64,511,50257]{2,0,1:T(8,128)(2,1)} %fusion.10.rema
t_compressed)
     Allocation type: HLO temp
     ==========================

  2. Size: 1.00G
     Operator: op_type="dot_general" op_name="pmap(train_step)/jit(jvp(_einsum))/dot_general[\n  dimension_numbers=(((3,), (3,)), ((0, 2), (0, 2)))\n  prec
ision=None\n  preferred_element_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/flax/linen/attention.py" source
_line=89
     Shape: f32[64,16,512,512]{2,3,1,0:T(8,128)}
     Unpadded size: 1.00G
     XLA label: %fusion.40.remat5 = f32[64,16,512,512]{2,3,1,0:T(8,128)} fusion(bf16[64,512,16,64]{1,3,2,0:T(8,128)(2,1)} %bitcast.17, bf16[64,512,16,64]{1
,3,2,0:T(8,128)(2,1)} %bitcast.18, f32[64,512,512]{1,2,0:T(8,128)} %get-tuple-element.5480), kind=kOutput, calls=%fus...
     Allocation type: HLO temp
     ==========================

  3. Size: 1.00G
     Operator: op_type="dot_general" op_name="pmap(train_step)/jit(transpose(jvp(_einsum)))/dot_general[\n  dimension_numbers=(((2,), (3,)), ((0, 1), (0, 2
)))\n  precision=None\n  preferred_element_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/
gpt2/modeling_flax_gpt2.py" source_line=275
     Shape: f32[64,16,512,512]{2,3,1,0:T(8,128)}
     Unpadded size: 1.00G
     XLA label: %fusion.7601.remat = f32[64,16,512,512]{2,3,1,0:T(8,128)} fusion(bf16[64,512,16,64]{1,3,2,0:T(8,128)(2,1)} %bitcast.2049, bf16[64,512,16,64
]{1,3,2,0:T(8,128)(2,1)} %bitcast.16), kind=kOutput, calls=%fused_computation.5202.clone, metadata={op_type="dot_gene...
     Allocation type: HLO temp
     ==========================

  4. Size: 256.00M
     Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n  dimension_numbers=(((2,), (1,)), ((), ()))\n  precision=None\n  preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
     Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
     Unpadded size: 256.00M
     XLA label: %fusion.7169 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.592.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5486, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3342...
     Allocation type: HLO temp
     ==========================

  5. Size: 256.00M
     Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n  dimension_numbers=(((2,), (1,)), ((), ()))\n  precision=None\n  preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
     Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
     Unpadded size: 256.00M
     XLA label: %fusion.7170 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.583.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5301, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3354...
     Allocation type: HLO temp
     ==========================

  6. Size: 256.00M
     Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n  dimension_numbers=(((2,), (1,)), ((), ()))\n  precision=None\n  preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
     Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
     Unpadded size: 256.00M
     XLA label: %fusion.7171 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.582.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5286, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3366...
     Allocation type: HLO temp
     ==========================

  7. Size: 256.00M
     Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n  dimension_numbers=(((2,), (1,)), ((), ()))\n  precision=None\n  preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
     Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
     Unpadded size: 256.00M
     XLA label: %fusion.7172 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.581.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5271, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3378...
     Allocation type: HLO temp
     ==========================

  8. Size: 256.00M
     Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n  dimension_numbers=(((2,), (1,)), ((), ()))\n  precision=None\n  preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
     Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
     Unpadded size: 256.00M
     XLA label: %fusion.7173 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.580.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5256, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3390...
     Allocation type: HLO temp
     ==========================

  9. Size: 256.00M
     Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n  dimension_numbers=(((2,), (1,)), ((), ()))\n  precision=None\n  preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
     Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
     Unpadded size: 256.00M
     XLA label: %fusion.7174 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.579.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5241, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3402...
     Allocation type: HLO temp
     ==========================

  10. Size: 256.00M
     Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n  dimension_numbers=(((2,), (1,)), ((), ()))\n  precision=None\n  preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
     Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
     Unpadded size: 256.00M
     XLA label: %fusion.7175 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.578.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5226, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3414...
     Allocation type: HLO temp
     ==========================

  11. Size: 256.00M
     Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n  dimension_numbers=(((2,), (1,)), ((), ()))\n  precision=None\n  preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
     Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
     Unpadded size: 256.00M
     XLA label: %fusion.7176 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.577.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5211, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3426...
     Allocation type: HLO temp
     ==========================

  12. Size: 256.00M
     Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n  dimension_numbers=(((2,), (1,)), ((), ()))\n  precision=None\n  preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
     Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
     Unpadded size: 256.00M
     XLA label: %fusion.7177 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.576.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5196, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3438...
     Allocation type: HLO temp
     ==========================

  13. Size: 256.00M
     Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n  dimension_numbers=(((2,), (1,)), ((), ()))\n  precision=None\n  preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
     Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
     Unpadded size: 256.00M
     XLA label: %fusion.7178 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.575.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5181, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3450...
     Allocation type: HLO temp
     ==========================

  14. Size: 256.00M
     Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n  dimension_numbers=(((2,), (1,)), ((), ()))\n  precision=None\n  preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
     Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
     Unpadded size: 256.00M
     XLA label: %fusion.7179 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.574.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5166, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3462...
     Allocation type: HLO temp
     ==========================

  15. Size: 256.00M
     Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n  dimension_numbers=(((2,), (1,)), ((), ()))\n  precision=None\n  preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
     Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
     Unpadded size: 256.00M
     XLA label: %fusion.7180 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.591.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5463, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3474...
     Allocation type: HLO temp
     ==========================

  16. Size: 256.00M
     Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n  dimension_numbers=(((2,), (1,)), ((), ()))\n  precision=None\n  preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
     Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
     Unpadded size: 256.00M
     XLA label: %fusion.7181 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.573.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5151, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3486...
     Allocation type: HLO temp
     ==========================

  17. Size: 256.00M
     Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n  dimension_numbers=(((2,), (1,)), ((), ()))\n  precision=None\n  preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
     Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
     Unpadded size: 256.00M
     XLA label: %fusion.7182 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.572.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5136, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3498...
     Allocation type: HLO temp
     ==========================

  18. Size: 256.00M
     Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n  dimension_numbers=(((2,), (1,)), ((), ()))\n  precision=None\n  preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
     Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
     Unpadded size: 256.00M
     XLA label: %fusion.7183 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.571.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5121, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3510...
     Allocation type: HLO temp
     ==========================

  19. Size: 256.00M
     Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n  dimension_numbers=(((2,), (1,)), ((), ()))\n  precision=None\n  preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
     Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
     Unpadded size: 256.00M
     XLA label: %fusion.7184 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.570.remat, f3
2[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.2077, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3522), kind=k...
     Allocation type: HLO temp
     ==========================

  20. Size: 256.00M
     Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n  dimension_numbers=(((2,), (1,)), ((), ()))\n  precision=None\n  preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
     Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
     Unpadded size: 256.00M
     XLA label: %fusion.7185 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.590.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5440, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3534...
     Allocation type: HLO temp
     ==========================


(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ^C
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ^C
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ^C
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ^C
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ^C
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ script log.txt
Script started, file is log.txt
(base) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ vim log.txt
(base) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ qqqqqqq^C
(base) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$